央视总台姜文波:文化元宇宙的共性技术及央视总台的探索实践

10月19日,2023世界VR产业大会在江西省南昌市成功开幕,中央广播电视总台编务会议成员、世界超高清视频产业联盟理事长姜文波在开幕演讲环节做了题为《文化元宇宙》的主旨发言。

央视总台姜文波:文化元宇宙的共性技术及央视总台的探索实践-DVBCN

相信“元宇宙”这个概念已无需再具体阐释,在姜文波看来,“文化元宇宙”便是利用各种视听技术构建历史文化场景和历史文化人物,同时又能让当代人照进该场景与虚拟人实现对话,能以虚实融合的技术讲述历史文化故事等。

文化元宇宙的共性技术共包含四个方面:

1)超写实数字人制作技术

可根据人物的特征通过三维数字技术、自然语言大模型等创作出的超写实数字人,不仅形象像真人一般,更能实现语言交流、唱歌跳舞等交互行为。

2)大场景三维扫描与重建技术

通过采集真实世界的文化场景以及三维信号,通过LED大屏、投影、全息等方式能还原三维空间沉浸式的虚拟场景。

3)三维菁彩声技术(Audio Vivid)

可采集真实世界的三维空间声音,通过三维菁彩声的编解码技术,再以音响、耳机等的渲染实现还原三维的声像以及特定的人、对象的声音等。

4)XR虚实融合超高清制作技术

通过LED大屏、投影、全息等方式构建一个虚拟的空间,现实人可以照进这个空间实现与数字人的互动。

电视媒体虚拟制作技术的演进中是先从字母、图像等的包装开始的,基于UE、Unity等渲染引擎的实时渲染,实现了虚拟场景的元素、场景与真实环境进行无缝对接,大幅度提升了艺术的效果,已经广泛应用于电视节目的制作中,如央视春晚大部分节目运用到了AR的技术来渲染整体的节目效果。另外,在今年的杭州亚运会开幕式上,首次使用了虚拟数字人参与点燃了火炬。

随着超高清、物联网、5G、大数据等技术的快速演进,也为视听媒体虚拟制造提供了强有力的支持,VR、AR、XR、VP等虚拟现实技术也应用的愈加普遍,不仅提升了视听媒体的视音频的质量,也增强了其多维性、智能化、交互性,为视听媒体打造沉浸式的虚拟空间提供了可能。

超写实数字人制作技术也是文化元宇宙的一项重要技术,当前主要是从数字主播开始兴起,主要有三个发展阶段,包括2D动画生成的数字人(1.0阶段)、3D动捕等生成的数字人(2.0阶段)、AIGC生成的数字人(3.0阶段)。而AIGC超写实数字人的核心技术主要包括基于4D光场的超写实数字人建模,及基于大模型构建的具有自然语言对话系统的数字人,还包括有多模态数字人实时驱动与交互下的呈现系统而成的数字人。

大场景三维扫描与重建技术中,一是超大规模场景下的轻量化、智能扫描方式,主要是通过无人机快速地形勘测,VISlam技术实时预览,现场CG仿真路径规划以及无人机自主导航精细采集等一系列前沿技术实现高度智能和轻量化的超大范围场景采集。二是通过基于百亿像素级实现的超写实建模,采用语义引导金字塔分层多视图立体重构实现准确精细的超大规模场景重构,采用分布式GPU并行处理技术大幅提升运算效率。三是通过AI光影渲染技术对三维模型的渲染,实现不同光照下景色重现,通过AI重光照技术进行百亿像素纹理图像融合处理,利用神经辐射场技术渲染照片级写实图像及视频内容。

三维菁彩声技术,这是我国自主研发的三维声技术,也是全球首个基于AI技术的音频编解码标准,是面向我国研发高质高效、自主可控的环绕声/三维声编解码和渲染技术的需要,聚焦三维声音频采集制作、编码传输、渲染呈现关键技术,在汽车音响、广播、家庭电视伴音、影音娱乐等领域贯穿创作、分发、呈现全链路环节,打破声道限制。“超高清视频+三维菁彩声”已应用于总台春晚、中秋晚会、杭州亚运会等重大节目及赛事制作中,让声音在现实三维空间精准再现带给观众身临其境的沉浸式感受。

XR虚实融合超高清制作技术,其通过三维渲染引擎在LED屏幕上实时呈现动态虚拟场景,打破了传统抠像技术的限制,。实现了虚拟空间与现实世界的无缝衔接。技术优势方面,能实现分布式集群+超高清的实时渲染以构建真实场景,可实现多机位的实时切换,能满足AI多模态运动捕捉需求等,其已在2021年央视春晚中就实现了应用,以实时变换的虚拟空间重构舞台表现形式,也应用于《元宵晚会》《国家宝藏》《中国诗词大会》《315晚会》等节目中。

此外,在XR技术应用基础上,央视总台结合VR实时绘制,再现了“神笔马良”的神来之笔。VR画师通过佩戴VR眼镜、手持VR手柄绘制三维立体影像,在现场大屏实时呈现精彩、神奇的绘制放果,为观众带来焕然一新的虚拟视觉体验,充分展现了技术与艺术的融合魅力。

相关文章
CCBN2024‖中国广电首席战略官徐达发出三点倡议,共同推动5G产业繁荣发展
CCBN2024‖中国广电首席战略官徐达发出三…
中国广电广州公司高管大变动!滕建新任董事长、谌颖任副董事长
中国广电广州公司高管大变动!滕建新任…
广电总局、工信部、央视总台、北京市政府签署“中国(北京)超高清电视先锋行动计划”合作备忘录
广电总局、工信部、央视总台、北京市政…
广电5G用户超2500万,下半年5G NR广播在北京、上海、南京、深圳、武汉试商用
广电5G用户超2500万,下半年5G NR广播在…
CCBN‖中国广电曾庆军:5G NR广播计划优先在地铁、体育场馆、高速沿线等区域启动试点示范
CCBN‖中国广电曾庆军:5G NR广播计划优…
信息量巨多!广电总局局长曹淑敏CCBN2024最新发言
信息量巨多!广电总局局长曹淑敏CCBN202…
我还没有学会写个人说明!