中科院顾亚平:家庭声场和音效的智能处理和应用

在2021 GFIC 5G全球家庭互联网大会的5G+4K/8K超高清论坛上,中国科学院声学研究所东海研究站二级研究员、博士生导师 顾亚平发表题为《家庭声场和音效的智能处理和应用》的精彩演讲。

中科院顾亚平:家庭声场和音效的智能处理和应用-DVBCN

受到家庭环境的影响,家庭声场的布置不可能达到理想的效果。自适应声抵消技术可有效通过“电”来改变“声场”。在普通扬声器基础上,可以实现低音增强、高音增强、室内小区域声音音质改善、室内混响抵消或增强。——顾亚平

空气声信号处理技术

顾亚平介绍,空气声信号处理的最新技术发展情况。主要是:

空气声的定义和应用范围。空气声是指声音在空气中的声传播。包括:声波频率小于1Hz的次声,声波频率为20Hz-20KHz音频可听声,声波频率大于20KHz的超声。

聚焦在音频声信号处理中,高保真音频编解码、低时延音频编解码、媒体分发网络传输中的视音频同步、虚拟3D环绕音效处理、DOA 空气声方位估计等前沿技术研发进展。

顾亚平介绍到解决低时延音频编解码是音视频同步的首要条件:音频信号频率低、采样频率相对也低.高时延音频编解码会产生声音的混叠、分辨不清。高时延的音频编解码会带来设备间音视频传输的不同步。

顾亚平介绍到,音视频信号编解码、家庭内联网传输、设备间媒体共享需要解决音视频同步的问题:1.音视频编解码不同步 2.网络传输带来不同步 3.网络质量不好带来的丢包、抖动、延时。而解决这些问题的关键技术点在于1.插入同步码元信息,2.插入时间戳,而设备间的互联互通协议也是其难点所在。

顾亚平介绍到,3D环绕音效处理的关键技术是音效定位和回声效果。

多通路环绕声系统需要使用多个扬声器进行声音的重放,同时对扬声器的质量和摆放位置也有较高的要求。而虚拟环绕声技术可以很好的解决这一问题。虚拟环绕声技术系统简洁、性价比较高,在音响、数字电视、个人多媒体产品、虚拟现实等领域得到广泛应用。利用头部相关传递函数(HRTF)对多通路环绕声音频信号进行数字信号处理,通过耳机或者两个扬声器重放出来,让人感觉到有环绕声的效果。

音效定位出环绕使用者身边不同位置的音源。这种音源追踪的能力,就叫做定位音效,它使用当时的HRTF的功能来达到这种神奇的效果。所谓HRTF的全名是Head—Related Transfer Function(头部相关位置转换),就是在三度立体空间中,人耳是如何监测和分辨出声音来源的方法。简单的说一下,就是声波会以几百万分之一秒的差距先后传到你的耳朵里面,而我们的大脑可以分辨出那些细微的差别,利用这些差别来分辨声波的形态,然后在换算成声音在空间里的位置来源。

在多数的3D音效的声卡上,都是使用HRTF的换算法来转换游戏里的声音效果,误导你的大脑听到声音是来自不同地方的。支援声源定位的游戏将声音与游戏的物件、人物或是其他的声音的来源结合在一起,当这些声音与你在游戏中的位置改变时,声卡就将依据相对位置来调整声波讯号的发送。

回声效果除了重现游戏的音效的方位之外,3D音效的开发者还试着利用回声与其他环境声音的效果来让游戏的声音效果变得更加立体,其实所谓的回声(reverb effect)基本上就是音波的反射。3D更具说服力。

空气声信号处理的应用

围绕家庭这个角度出发,顾亚平介绍了空气声信号处理的最新应用进展情况。

顾亚平介绍到,家庭声场布置的好坏,直接影响到收听的效果。家庭音效主要取决于直达声与反射声。音箱发出的声音会向着空间中的不同方向传播,但最先到达我们耳朵的声音是由鼓和人耳的连线这一方向传播的(两点之间直线最短)。在声学中称为直达声。与此同时,向其他方向传播的声音会经过一次反射后,在直达声到达人耳后相继到达人耳。这些声音的总和在声学中称为早期反射声。

顾亚平指出音质的好坏与空间、音箱摆位、聆听位置都是有密切的关系。从传统的2.1声道、4.1声道、5.1声道、7.1声道到9.1、11.1等等,人们对音箱的使用需求越来越高、专业度也越来越强。受到空间大小、产品性能、环境等影响,每个人都会根据自家环境有不同的摆放位置,就算是很普通的家用音箱,摆放也是很有讲究的。

真正影响这声场和环绕感的是以下这四个指标:一是音源。全景声是声场定位和环绕感最好的音源。二是扬声器数量。所谓环绕感,就是一部分声音不但从前方传来,还从侧方和后方传来。所以想要精准的还原现实世界中的360度声场即环绕感的前提就是我们的侧面和后面都有音箱。所以通常来说,7.1系统的环绕感要强于5.1系统。这和音箱和功放本身的音质并无关系。三是功放的调节。音源是我们没办法改变的,如果你觉得环绕感仍然不足,可以适当地增加侧环绕音箱和后环绕音箱的增益,从而改善环绕感。说句题外话,当音源已经是杜比全景声或者DTSX等次时代音轨时,建议功放选择bypass,而不要选择内部的各种环绕声算法。否则会出现杜比全景声经过DTS处理的令人窒息的离奇事件。四是扬声器的摆放。其实扬声器的摆放,也就是音箱的摆位,不止影响声场,更影响音质。

顾亚平指出受到家庭环境的影响,家庭声场的布置不可能达到理想的效果。自适应声抵消技术可有效通过“电”来改变“声场”。在普通扬声器基础上,可以实现低音增强、高音增强、室内小区域声音音质改善、室内混响抵消或增强。

顾亚平介绍,空气声定位技术可以非常有效的在智慧家庭中实现:说话人目标定位、室内声音目标的定位和跟踪、室内声源实时检测和分析从而提高语音的识别正确率,提升智慧家庭的全方位感知,帮助家庭智慧医疗早期预报和检测。

空气声定位测量技术

顾亚平介绍到,DOA 空气声方位估计可以利用频率在20KHz以下的音频信号,对室内目标进行定位。常用技术TDOA、MUSIC等关键算法的研究和实现,结合多基阵融合处理技术,多智能设备的融合处理技术:实现对移动或固定目标的精确定位。

相关文章
以旧换新全面开启 虹魔方推动电视“换智”升级
以旧换新全面开启 虹魔方推动电视“换智”…
专访|阿里云佘俊泉:持续突破和创新,实现可持续的发展和增长|GDCC智算奔涌
专访|阿里云佘俊泉:持续突破和创新,…
青年演员杜娟在中日高级别人文交流论坛上的发言
青年演员杜娟在中日高级别人文交流论坛…
专访|云宙时代栾亚建:致力成为领先的CDN及边缘计算服务提供商
专访|云宙时代栾亚建:致力成为领先的C…
火山引擎许思安:火山引擎边缘云,“加速”游戏体验升级|CDN 云智跃进
火山引擎许思安:火山引擎边缘云,“加速…
中央广播电视总台与华为成功签署深化全面战略合作协议
中央广播电视总台与华为成功签署深化全…
我还没有学会写个人说明!