;  ;   

全台网中媒体数据交换平台的背景

现代信息技术和电视数字媒体技术的发展和融合，正在改变着电视节目生产的流程、工作方式和操作环境，使传统的电视制播工艺和管理方式及手段发生革命性的变化。目前各个大中型电视台基本完成了主要节目的数字化制作、播出和存储，但在系统的建设过程中，大多都是相对独立而分散的，从电视台数字化网络化的建设发展趋势看，全程文件化，全程数字化必定会取代这种分散独立的数字岛屿的模式。

为规范、指导各地电视台网络化建设，2006年，国家广播电影电视总局科技司编制了《电视台数字化网络化建设白皮书》（以下简称白皮书），白皮书本身也在不断的发展和完善，目前最新的版本是2007。白皮书提出台内网建设的难点主要是架构建设环境体系、互联互通体系等四个体系。媒体文件交换平台的建设，主要是为了解决互联互通问题，满足各个业务系统之间媒体数据交换流转的需要。在媒体数据交换平台的建设实践中，有许多重要问题是需要仔细考虑的，下面笔者就其中的一些问题提出自己的想法。

若干技术问题的探讨

问题1：如何定位全台网中各业务系统的文件

全台网中包含了多个业务系统，大部分业务系统都有自己的存储设备，不同的业务系统使用的存储架构也可能不同；而且媒体文件数据分布在多个不同的存储体上，各业务系统内部对资源位置的描述方式也不同。因此如何保证EMB可以正确识别数据存储的位置，顺利各个业务系统的文件成为EMB设计中的一个关键问题。

举例来说，全台网中有制作系统A，制作和外系统的文件交换需要交换平台中的EMB来完成。制作系统中的某个文件，制作系统在内部访问的时候，路径是X:\；假设EMB可以同时通过两种方式访问这个文件，一种是通过ftp的方式，一种是通过将改存储体直接mount到一个目录下，直接访问，如下图所示：

因为业务系统和交换平台访问同一个文件有这种访问路径的差异，就需要考虑业务系统在向交换平台发起文件交换任务的时候，如何提交文件的存储路径；进一步地，还要考虑存储路径如何转换和映射。

总结起来，这个问题有三种解决思路：

方式一，各业务系统向媒体数据交换平台发起文件交换任务的时候，使用一个全台统一制定的资源描述路径。

所谓全台统一资源描述路径是一种逻辑路径，和进行文件访问时使用的物理路径可以完全不同。交换平台无法直接通过这个路径访问该文件，还需要转换为交换平台能访问的物理路径，这个转换工作是由交换平台完成的。

这种方式的一个优点是将业务系统内部使用的物理路径进行了屏蔽；另外一个优点是具有可读性，通过资源描述可以知道文件的来源系统等信息，而且根据需要还可以增加更多信息。

但这种方式的缺点也是很明显的，首先是规范的制定本身就工作量很大；而且需要各业务系统在向媒体数据交换平台提交任务的时候，先将业务系统内部的物理路径转换为统一资源描述路径，加上交换平台的路径转换，实际上完成一次文件交换需要两次路径转换。这样既增加了业务系统的工作量，也增加了整个系统的复杂度。

方式二，各业务系统自己完成路径转换，在向交换平台提交任务的时候直接使用交换平台能实际访问文件的物理路径。

这种模式理解起来很简单，交换平台在处理这个问题时也变得很简单，但存在一个明显的问题就是业务系统需要关心交换平台是如何访问自己的文件的，而且还承担了路径转换的工作，这无疑对业务系统提出了比较高的要求，甚至会让业务系统觉得不甚合理。

但在某些特定的情况，这种方式也是不错的选择，比如当交换平台是通过FTP方式访问业务系统的情况下，可以由业务系统直接告知交换平台FTP路径。这种情况下业务系统的工作量也很小。

方式三，各业务系统直接使用内部路径提交到交换平台，交换平台完成路径转换工作。

这种方式下，各个系统在向交换平台提交任务的时候，直接使用系统内部访问路径，无须关心交换平台是通过什么样的物理路径来访问该系统的。交换平台自己维护路径映射关系，实现路径转换工作。

这种方式的一个优点是业务系统不需要做任何修改，也不需要知道交换平台如何访问本系统，大大减少了业务系统的工作量；还有一个优点是，业务系统的内部访问路径和交换平台访问路径可以是一对多的关系，交换平台可以进行负载均衡和错误路径管理，具有更大系统弹性。

综上所述，方式三更好的体现了交换平台的价值，但其它两个方式在某些情况下也有其使用的意义。

问题2：路径变更管理问题

白皮书：“台内网中任何部分发生变更，都会直接或间接地影响整个系统，所以对于系统变更必须制定严格的变更制度规范，以保证系统运行和维护的安全。”

当交换平台使用光纤直接接入的方式访问业务系统的时候，交换平台和业务系统的存储存在着耦合性。表现在各个业务系统独立维护自己的存储，可以进行物理或者配置上的变更，比如增加盘阵、阵列扩容、修改盘符等。当调整的部分是开放给交换平台访问的情况下，交换平台也需要做相应的适配。如果这个过程中业务系统和交换平台协调得不好，一方面会导致交换平台因为无法正常访问业务系统的文件而频繁报错；另外一方面因为交换平台在不知情的情况下继续访问业务系统的存储体，导致业务系统的调整出现不可预测的问题。

比如，制作系统中有一个FC盘阵，交换平台是通过FC的方式直接访问改存储体的（例如通过安装SNFS或者SANergy的客户端）。如果制作系统进行了阵列扩容，新加了硬盘，内部增加了一个盘符N，这些动作交换平台默认是并不知道的，以后向交换平台提交新的N盘符为路径的任务文件时，交换平台将无法访问；再或者制作系统对某个存储区进行调整，重新划分了RAID组等情况，交换平台如果不做相应的调整也将无法访问这个存储区。如下图：

总之，在全台网复杂的存储集成环境下，如何实现业务系统和交换平台之间的协调配合、实现方便的问题定位和变更记录，避免存储访问出错，是一个需要考虑的问题。

方式一，采用人工通知的方式

这是目前普遍采用的方式，当业务系统有存储变更的时候，业务系统的网管会使用人工的方式通知交换平台的管理员，由交换平台的管理员来做相应的调整。但这种方式下完全依赖于人的沟通和协调，没有固定的章法可循，难以对存储变更进行有效控制，也无法记录变更历史，容易造成混乱。

方法二，采用路径变更登记管理的方式

为了实现业务系统和交换平台之间的协调配合，实现路径配置工作的简便和避免出错，可以考虑将路径变更的工作按照一个标准流程的工作分为几个阶段（如下图）：

第一阶段：业务系统对存储进行调整，调整前，需要向交换平台发起内部路径挂起的申请。一旦申请后，以后涉及到这个内部路径的新任务，交换平台将不再执行。这个阶段是业务系统内部完成，以业务系统内部对存储访问正常为准。

第二阶段：如果业务系统存储的调整涉及到交换平台，比如新加了一个盘符需要交换平台访问，业务系统管理员需要在交换平台进行路径变更登记，填写路径变更的相关信息。

第三阶段：交换平台的管理员看到路径的变更信息后，先和该业务系统的管理员进行确认。如果需要在网络层面做适配的，还需要向网络系统管理员提出网络链路连通性的需求，进行网络上的适配。 然后完成交换平台内部配置。

第四阶段：最后交换平台的管理员将该业务系统的内部路径状态设置为“正常服务”。这样各系统的管理员就可以知道交换平台已经做好了适配，涉及到新路径的任务就可以正常执行了。

需要说明的是，方式二也不是必然比方式一更值得采用的，还需要考虑到方式二的成本。首先，交换平台需要提供路径变更登记的功能，其次，业务系统的管理员还需要使用这个软件进行登记。在全台网中，如果是业务系统较少，文件访问方式比较单一（比如全部使用FTP方式），或者需要交换平台访问的路径数量也不多（比如每个系统就一个或少数几个固定的路径）的情况下，使用方式二就显得成本过于高昂了。

问题3：保证业务系统带宽问题  

一般来说，交换平台的效率是越高越好；但是交换的效率高也意味的对业务系统的存储带宽消耗也大。比如某个制作系统对存储带宽的使用要求较高，如果交换平台在访问该系统的时候占用的存储带宽过大，可能会导致制作系统对素材文件处理速度变慢，甚至出现丢帧等问题。如下图所示：

在这种情况下，需要对交换平台执行的任务进行限速处理来保证业务的存储带宽。限速功能听起来是容易的，但仔细考虑的话还有很多复杂的情形。而且限速的实现方式也是多种多样的：

方式一，单任务限速

可以为某个业务系统指定单个任务的传输速度，交换平台在执行任务时，将控制传输速度不超过这个数值。

这个方案的特点是处理逻辑简单，但只是提供了一种简单机制，具体任务的速度是多少，还是要人来把握调整，而且没有考虑多任务并发的情况，可能难以获得很好的效果。

方式二，单任务限速加上并发数量限制

这个方式是在方式一的基础上加上任务并发数量的限制。

这个方案的特点是能比较好的控制住总体带宽，但有可能存在效率的损失。比如A系统只有一个任务在执行的时候，分配给交换平台的带宽是充分的，但是此时因为受单任务带宽的限制，只用利用部分带宽。

方式三，总体限速，动态分配带宽

在交换平台中指定各个系统的总体带宽限制。交换平台将动态的管理和分配各个系统执行的任务的带宽总量。更具对某个业务系统带宽的占用情况，动态的调整任务的传输速度。

这个方案的特点是能较好的控制总体带宽，达到预期的效果；而且还可以在最大程度上保证交换的高效率。但是因为执行的各个任务的速度是有关联的，处理逻辑更加复杂，如果还要对执行中的任务速度进行调整，将更加复杂。

综上所述，方案一提供了基本的限速机制，在需求简单的时候已经可以满足要求；方案二能控制总体带宽，大部分情况下应该是能满足需求的；方案三比较完善，但是实现过于复杂，因为根据实际情况慎重考虑。

还需要指出的是，一旦一个系统进行了限速，也会影响到和它交互的系统。比如制作系统提供给交换平台使用的带宽为100MB/s，而媒资系统因为带宽很大，没有做限制。但在媒资和制作交换的过程中，实际上媒资的交换带宽也被限制了。出于效率的考虑，限速功能应该慎用。

问题4：MD5计算方案的选择

在业务系统间进行媒体文件交换的时候，提高节目文件传输安全级别，特别是保证播出安全非常重要。一个文件的MD5码相当于是一个文件的指纹，通常应用于防止文件被篡改。通过对目前安全技术的考察和分析，使用MD5校验保证文件的正确性是个不错的选择。MD5的算法很容易实现，MD5计算是一个占用CPU和I/O资源都比较高的操作，其耗费的资源不可忽视。最安全的方式自然是在交换的每个环节都加上MD5计算，但考虑到资源消耗和效率损失，计算方案需要对安全和效率做一个综合考虑。

交换平台完成的媒体文件处理的类型主要有两种，一种是传输，一种是转码。其中传输任务不会对文件的数据进行改变，也就是说如果拷贝的过程正常的话，源文件和目标文件二进制数据是相同的；而转码新生成的文件二进制数据和源文件是肯定不同的。

l  在文件交换类型是传输的情况

有下面几种MD5计算方式：

方式一，防止篡改，只对源文件进行校验

这种方式下，校验源文件的MD5码和文件的拷贝是同时完成的，额外的资源消耗较小。

方式二，防止篡改，并且保证传输过程，只对目标文件进行校验

这种方式下，文件拷贝到目标系统后，再对拷贝后的文件计算MD5码，和源文件的MD5进行校验，这种方式下，生成MD5码需要将文件完整的再读一遍，资源消耗比较大。

在实际的业务场景中，目标系统可以自行决定是否对传输后的文件进行MD5计算，或者有选择的进行MD5计算，比如接收系统可以对于素材不验证，对待播节目才进行验证。再考虑到文件拷贝成功却文件数据错误这种情况极其罕见，使用方式一就可以满足大部分业务的要求。

l  在文件交换类型是转码的情况下

在转码的情况下，生成的文件和源文件已经发生了变化，所以不用进行和源文件的MD5校验。如果源文件可以不落地的转码到目标系统，可以采用如下的MD5计算方式：

交换平台边转码边传输，同时校验源的MD5码，直接生成目标文件。这种方式下，校验源文件的MD5码和文件的转码是同时完成的，额外的资源消耗较小。

如果转码的过程中需要用到转换平台的缓存，可以使用如下的MD5计算方式：

交换平台转码生成缓存文件，同时校验源的MD5码；转码完成后，EMB拷贝生成目标文件。

在转码的情况下，生成的文件和源文件已经发生了变化，所以不用进行和源文件的MD5校验。

总结

在全台网架构中，媒体文件交换平台是一个核心系统，它和全台网的各个业务都有交互，承担了重要的工作。而交换平台的建设，也包含了很多的技术要点，常常比我们以为的要更加复杂，上面探讨的只是这众多技术点中的一些代表。在很多情况下，技术方案的选择都需要根据实际情况来决定。我们需要避免出现通过复杂方案解决简单问题，造成大炮打蚊子的局面；或者因为对问题的复杂程度考虑不够，而导致项目在实际的运行中出现问题的情况。