技术应用

通过仔细规划来成功实现实时声学处理

发布时间:2021-12-29 00:00:00 来源:ADI,David Katz 责任编辑:wenwei

【导读】低延时时、实时声学处理是许多嵌入式处理应用的关键因素,其中包括语音预处理、语音识别和主动降噪(ANC)。随着这些应用领域对实时性能的要求稳步提高,开发人员需要以战略思维来妥善应对这些要求。由于许多大型系统都由芯片提供可观的性能,因此我们往往会将出现的任何额外任务都加载到这些设备上,但我们需要知道,延时时和其确定性是非常关键的因素,如果未仔细考虑,很容易引发重大的实时系统问题。本文将探讨设计人员在选择SoC和专用音频DSP时应考虑的问题,以避免实时声学系统出现令人不快的意外。


低延时声学系统的应用非常广泛。例如,单单是在汽车领域,低延时对于个人音频区域、路噪降噪和车内通讯系统等都至关重要。


随着汽车电气化趋势涌现,路噪降噪变得更加重要,因为没有内燃机产生明显噪音。所以,与汽车道路接触相关的噪音会变得更明显、更扰人。减少这种噪音不仅能带来更舒适的驾驶体验,还能减少驾驶员疲劳感。与在专用音频DSP上部署低延时时声学系统相比,在SoC上部署会面临诸多挑战。这些问题包括延时时、可扩展性、可升级性、算法考量、硬件加速和客户支持。我们来逐一进行介绍。


延时


在实时声学处理系统中,延时问题非常重要。如果处理器跟不上系统的实时数据搬运和计算需求,会导致不可接受的音频断续。


一般来说,SoC会配备小型片内SRAM,因此,大部分本地存储器访问必须依赖缓存。这导致代码和数据的使用具有不确定性,还会增大处理延时。对于ANC这样的实时应用来说,单是这一点就无法接受。但是,事实上,SoC也会运行管理繁重的多任务非实时操作系统。这会放大系统的不确定性操作特性,使其很难在多任务环境中支持相对复杂的声学处理。


图1显示了一个运行实时音频处理负载的SoC的具体示例,在处理更高优先级的SoC任务时,CPU负载出现峰值。例如,在执行以SoC为中心的任务时,包括在系统上进行媒体渲染、浏览或执行应用,可能会出现这些峰值。当峰值超过100% CPU负载时,SoC将不再实时运行,这会导致音频丢失。


7.png

图1. 除了运行其他任务外,运行高音频负载处理的典型SoC的瞬时CPU负载。1


另一方面,音频DSP的架构是为了在整个信号处理路径(从采样音频输入到处理(例如,音效+噪声抑制)到扬声器输出)中实现低延时。L1指令和数据SRAM是最接近处理器内核的单周期存储器,足以支持多个处理算法,无需将中间数据转存到片外存储器。此外,片内L2存储器(离内核较远,但访问速度仍然比片外DRAM快得多)可以在L1 SRAM的存储容量不够时,提供中间数据操作缓存。最后,音频DSP通常运行实时操作系统(RTOS),确保可以在新输入数据到达之前完成输入数据处理并将其搬移到目标位置,从而确保数据缓冲区在实时操作期间不会上溢。


系统启动时的实际延时时(通常通过启动发声来表征)也是重要指标,尤其是对于汽车系统,它要求在启动后的某个窗口内播报提示音。在SoC领域,通常采用很长的启动时序,其中包括启动整个设备的操作系统,所以很难或无法满足这个启动要求。另一方面,可以对运行自己的RTOS、不受其他无关的系统优先级影响的独立式音频DSP实施优化,以加快其启动速度,从而满足启动发声要求。


可扩展性


虽然在诸如噪声控制等应用中,对于SoC来说,延时是个问题,但对于想要执行声学处理的SoC来说,可扩展性是另一个缺点。换句话说,控制具有许多不同子系统的大型系统(例如汽车多媒体主机和仪表盘)的SoC无法轻易从低端扩展到满足高端音频需求,这是因为每个子系统组件的可扩展性需求之间始终存在冲突,需要在整体SoC利用率方面进行权衡。例如,如果前端SoC连接到远端收音模组,并且适配多种车型,那么该收音模组需要从几个通道扩展到多个通道,而每个通道都会加剧之前提到的实时问题。这是因为SoC控制下的每个附加特性都会改变SoC的实时行为,以及多个功能所使用的关键架构组件的资源可用性。这些资源包括存储器带宽、处理器内核周期和系统总线结构仲裁槽等方面。


除了有关连接到多任务SoC的其他子系统的问题外,声学系统本身也存在扩展性问题。其中涉及低端到高端的扩展(例如,增加ANC应用中麦克风和扬声器通道的数量),也涉及音频体验扩展,从基本的音频解码和立体声播放一直到3D虚拟化和其他高级功能。虽然这些要求不具有ANC系统的实时限制,但它们与系统音频处理器的选择直接相关。


使用一个单独的音频DSP作为SoC的协处理器是解决音频可扩展性问题的极佳解决方案,可以实现模块化的系统设计和成本优化的解决方案。SoC可以减少对大型系统实时声学处理需求的关注,将这种处理需求转移到低延时音频DSP上进行。此外,音频DSP提供代码兼容和引脚兼容选项,涵盖几种不同的价格/性能/存储容量等级,让系统设计人员能够最大限度地灵活选择适合给定产品层级的音频性能产品。


1636632377710900.png

图2. ADSP-2156x DSP,高度可扩展的音频处理器。


可升级性


随着如今的汽车越来越普遍地采用OTA,通过发布关键补丁或提供新功能进行升级变得越来越重要。由于其各个子系统之间的依赖性增加,这可能会导致SoC的关键问题。首先,多个处理和数据移动线程会在SoC上争夺资源。在添加新功能时,尤其是在处于活动高峰期间时,这会加剧处理器MIPS和存储空间的竞争。从音频的角度来看,其他SoC控制域中的新增特性可能会对实时声学性能产生无法预测的影响。这种情况带来的一个负面影响是:新功能必须在所有操作平面上进行交叉测试,导致彼此竞争的子系统的各种操作模式之间出现无数排列组合。所以,每个升级包的软件验证次数都会成倍增加。


从另一个角度来看,可以说除了受SoC控制的其他子系统的功能图谱外,SoC音频性能的改善还取决于可用的SoC MIPS。


算法开发与性能


显然,在开发实时声学算法时,音频DSP旨在达成任务目标。与SoC的显著区别在于,独立音频DSP可以提供图形化开发环境,让缺乏DSP编码经验的工程师能够在其设计中集成高质量的声学处理。这种类型的工具可以在不牺牲质量和性能的情况下通过缩短开发时间来降低开发成本。


例如,ADI的SigmaStudio®图形音频开发环境提供多种集成至直观的图形用户界面(GUI)的信号处理算法,从而能够创建复杂的音频信号流。它还支持采用图形A2B配置进行音频传输,非常有助于加快实时声学系统开发。


音频辅助硬件特性


除了专为高效并行浮点计算和数据访问而设计的处理器内核架构外,音频DSP通常还采用专用的多通道加速器来运行通用算法,例如快速傅立叶变换(FFT)、有限和无限脉冲响应(FIR和IIR)滤波,以及异步采样速率转换(ASRC)。这样允许在内核CPU之外进行实时音频滤波、采样和频域转换,从而提高内核的有效性能。此外,由于它们采用优化的架构,提供数据流管理功能,所以有助于构建灵活且方便用户使用的编程模型。


由于音频通道数量、滤波器流、采样速率等增加,我们需要使用配置程度最高的引脚接口,以支持在线采样速率转换、精密时钟和同步高速串行端口来高效的路由数据,避免导致延时或外部接口逻辑增加。ADI的SHARC®系列处理器的数字音频互连口(DAI)就展现了这种能力,如图4所示。


1636632358730894.jpg

图3. ADI公司的SigmaStudio图形开发环境。


1636632345127240.png

图4. 数字音频互连(DAI)框图。


客户支持


在使用嵌入式处理器进行开发时,我们常常会忽略一点,即客户对设备的支持。


尽管SoC供应商提倡在他们的内置DSP产品上运行声学算法,但在实际使用时这会带来一些负担。一方面,供应商的支持通常更复杂,因为SoC应用开发领域一般不涉及声学专业知识。因此,往往很难为想要基于SoC的片内DSP技术开发自己的声学算法的客户提供支持。而是由供应商提供标准算法,并收取可观的NRE费用,然后将声学算法移植到SoC的一个或多个内核中。即使如此,也无法保证一定能成功,在供应商无法提供成熟、低延时的框架软件时更是如此。最后,适合基于SoC的声学处理的第三方生态系统往往相当脆弱,因为这个领域不是SoC关注的重点。


显然,专用音频DSP可为开发复杂的声学系统提供更强大的生态系统,从优化的算法库和设备驱动程序到实时操作系统和易于使用的开发工具。此外,有助于加快产品上市的以音频为主的参考平台(例如ADI的SHARC音频模块平台,如图5所示)对于SoC来说比较少见,但在独立音频DSP领域却很常见。


11.jpg

图5. SHARC音频模块(SAM)开发平台。


总之,很明显,设计实时声学系统需要细致、战略性的规划系统资源,不能单单通过在多任务SoC上分配处理裕量来进行管理。相反,针对低延时处理而优化独立的音频DSP有望提高其耐用性,缩短开发时间,实现出色的可扩展性,以适应未来的系统需求和性能等级。


参考电路 


1 Paul Beckmann。“多核SOC处理器:性能、分析和优化” 。2017年 度AES国际汽车音频大会,2017年8月。



免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:


通过SiC技术电机逆变器实现电动汽车行驶里程拓展的承诺

想要轻松改造智能开关,如何选择单火线电源很关键!

用于实现O-RAN无线解决方案的5G技术设备

SiC-SBD和Si-FRED: 谁能突破功率半导体器件性能天花板?

功率半导体冷知识:IGBT短路结温和次数


为您推荐

大联大世平携手安森美:从电网到 GPU,AI 数据中心高效能电源架构方案解析 业界新闻

大联大世平携手安森美:从电网到 GPU,AI 数据中心高效能电源架构方案解析

AI 算力爆发带动服务器功率持续走高,机柜功率从 250kW 向 1MW、2MW 升级,电源系统已经成为制约 AI 数据中心规模化落地的核心瓶颈。近期大联大世平集团联合安森美(onsemi)举办线上技术研讨会,围绕 AI 数据中心电源供应新世代主题,分享从电网到 GPU 的全链路高效电源架构,详解 800VDC 直流供电、SST 技术、碳化硅功率器件、BBU 后备方案等技术路线,同时测算电源效率提升带来的规模化节能收益,梳理全球数据中心布局、头部厂商落地节奏与当前技术落地限制,为 AI 服务器电源设计工程师提供方案参考。

能源电路 电源管理 EMC安规 GPU onsemi(安森美)

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基 技术应用

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基

随着互联设备普及与欧盟《网络弹性法案》(CRA)落地,嵌入式产品安全已经从附加功能变成硬性要求。意法半导体 MDRF 安全平台总监 Jacques Fournier 分享 ST“安全始于设计(Security by Design)” 战略:把安全前置到产品定义阶段,依托 IDM 垂直整合能力,打通软硬件安全、密码技术、漏洞评估全链条;同时提前布局后量子密码 PQC,正视 AI 带来的攻防双面变化,通过跨部门安全协作机制,把安全能力转化为客户产品的信任基石。

ST(意法半导体)

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案 业界新闻

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案

机器人行业重心正从展台演示转向工业、服务场景工程化落地,灵巧手作为机器人末端核心执行单元迎来爆发增长。近期大联大世平联合恩智浦(NXP)举办线上研讨会,恩智浦分享机器人分层架构、TSN 确定性通信方案以及 i.MX RT1180 在关节与灵巧手实时控制上的技术优势;大联大世平则解读灵巧手市场数据、主流驱动路线,并推出基于 NXP 芯片、搭载压力感知、支持 ROS2 与 EtherCAT 的完整灵巧手参考方案,依托分销技术服务与生态协同,帮助客户缩短研发周期,推动人形机器人、工业机器人规模化落地。

通信广电 NXP(恩智浦)

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利 业界新闻

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利

手机直连卫星 D2C 是补齐地面通信盲区的关键技术。紫光展锐与智利头部电信运营商 Entel 完成 D2C 现场测试,搭载 T8300(5G)、T7300(LTE)两大平台,在真实卫星与地面混合网络环境下,验证卫星建链、消息收发、天地切换等核心能力。Entel 已认可本次测试成果,将其作为终端厂商接入当地 D2C 服务的技术参考文档,有效降低品牌厂商的适配难度与验证成本,加速智利地区手机直连卫星终端生态规模化。

通信广电 测试测量 紫光展锐

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可 业界新闻

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可

智能旗舰终端对光学传感性能、品质稳定性与供应链交付提出严苛标准。数字光电技术厂商艾迈斯欧司朗近期荣获荣耀 “旗舰能力建设奖”,该奖项是对其光学传感技术、全流程质量管理体系以及稳定交付能力的认可。艾迈斯欧司朗为荣耀提供环境光、接近传感、dToF 测距等多款传感产品,依托全球研发制造与本地化快速响应机制,支撑旗舰机型量产迭代。未来双方将持续协同,以光学传感方案升级智能终端用户体验。

传感技术

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆