|
事实上在如此抽象和多模式的MPEG-7标准中,寻求适合跨媒体的实际检索方案确实很难,因而自打MPEG-7出现以来,称赞者多,应用者少。然而,应用的研究表明,既然MPEG-7定义的是多媒体内容描述接口,就可以通过这一被打通了的接口,在时间(同步)和空间(空间位置和三维感受)的对象关系中,利用面向对象的程序设计(Object-Oriented Programming,OOP)工具,对MPEG-1/2/4关于面向对象的运动矢量和形状描述子,采用继承、封装和多态模式,直接调用接口;还可以利用面向方面的编程设计(Aspect-Oriented Programming,AOP)组件,对OOP形成互补,既对同一对象层次的公用行为建模,又在交叉关系的定义中,以层次化的纵向方面描述和处理请求、导言、元数据及描述子,从而实现栅格化的检索机制:只要输入查询的特定声音即可找到特定的场景;只要画出一些线段或是相似形即可获得一组图形、标志和符号的图像;只要检索对象的颜色或纹理即可得到所选特征的相似图像;只要给定运动图像的对象运动关系即可获得包含时空描述的图像组;等等。一句话,只要给定了规范的内容描述,就能获得相似场景的多个素材;描述的约束条件越多且越准,指向的检索目标就越确定。 那么,MPEG-7的适应性应用就回到了如何准确地描述数据对象的内容特征上,并以合理的数据结构及算法实现高效索引。这就需要进一步在MPEG-7的演绎中,规范和定义描述原则,同时也成为MPEG-7的目的之所在。 (1)多重和分层描述原则 由于描述特征具有相对含义,不同用户、不同应用就存在不同的描述特征。那么,相同的资料就可以通过不同类型的特征描述,应用多重描述和分层描述,以不同的粒度提供不同的辨别级别。多重描述是在多媒体数据生成处理的各阶段,对相同资料进行多方向描述,并把描述附加到相同资料的多份拷贝上。而分层描述是基于多媒体资料的抽象级别,在不同的抽象级别上描述多媒体内容。抽象级别与特征抽取的方式有关,许多低级特征完全可以全自动地抽取,但是高级特征往往需要更多的人工交互,从不同的应用需求角度来描述媒体资料,例如从子对象的角度、运动分析的序列角度、视频的情节结构等角度来描述多媒体内容。描述模式支持不同描述子的分层表示,第n层描述是n-1层描述的增强、精炼或补充,以便逐层处理,高效检索。 (2)关系描述原则 用描述模式定义描述子之间的各种关系,以达到1个描述子在多个描述模式中使用。在描述不同时间范围内描述子的关联性时,可选择描述子与整个数据和部分时间的层次型子集关联,或描述子与时间段的顺序型子集关联。 (3)查询检索原则 运用交叉模式下的音频、视觉或其他描述子,检索基于视觉描述的音频数据查询,或逆过程;以描述模式支持描述子的优先级,既反映信任度与可靠级,又以优先级处理查询请求,同时支持描述子作为句柄,直接引用数据,操控多媒体资料。 值得注意的是,这些用以描述的数据,可以在逻辑上与相关资料同处相同数据流或相同存储池中,也可以在物理上同时存在或异地存在,当内容和它的描述不在一个地方时,以资料与描述的双向链接实现内容的检索,并由此而构成无限资料的“网络虚拟现实”。而恰恰就是这一特征,为跨媒体的内容整合及其检索应用提供了必要前提。 四. 跨媒体的DEMO系统应用 图3绘出了辽宁新媒体多业务平台内容整合的全系统原理,其中桔色部分表达了在元素层数据整合的DEMO系统位置。如图所示,系统构成了面向多业务的新媒体内容服务,其中元素层的内容整合在DEMO系统中充当了核心,从而创建“传媒辛迪加”。 |
|
|
|
|