技术应用

如何避免音频信号处理中的常见错误

发布时间:2023-01-11 00:00:00 责任编辑:lina

【导读】音频信号处理产品的设计和编码软件有其独特的挑战。那么,开发人员最常犯的错误是什么?如何避免这些错误呢?


无论最终产品是什么,无论他们使用什么语言编写代码,世界各地的软件开发人员都面临着同样的挑战——不断变化的客户需求、紧迫的交期、整合和客户支持,以上只是几个例子。


但是有一种类型的软件开发涉及了解和解决非常具体的问题。音频信号处理产品的设计和编码软件有其独特的挑战。那么,开发人员最常犯的错误是什么?如何避免这些错误呢?


了解信号处理对于在音频领域工作的软件工程师很有帮助,但这不是必需的。然而,有些领域对音频有一些了解确实有所帮助。


首先,是增益结构,了解音量控制可以为我们的系统增加增益。这适用于我们软件的内部结构,并将影响我们插入原型的所有小工具。结果可能是声音输出令人不满意。开发人员以为这是由于代码中的错误造成的,而实际上这是增益结构的问题。知道这一点可以在不必要的调试中节省大量时间。


其次,软件开发人员有时会忘记音频滤波会增加群延迟。如果我们忘记了这个基本事实,我们可能会过分承诺我们的算法的性能,我们会认为它会比实际行动得更快。


第三,一个虽然很小但很重要的点是实际数据和理论数据之间的差异。数学有零,但音频没有。在数学中,算法的设计使用理论数据。当使用实际数据测试我们的系统时,我们可能会发现一个信号似乎是无声的。在那种情况下,放大它总是值得的——它可能有点嘶嘶声,也可能全是零。


最后,我们不可能只采用一种算法并将其部署在所有设备上。我们需要在开发过程中尽早考虑我们的算法将要有的部署约束条件。一些DSP非常高效且功耗低,但它们的内存可能有限。其他的可能非常适合用于AI处理,但它们会引入更高的延迟。如果你能设计一个权衡空间和时间的算法,那就太好了。但实际上,大多数算法无法做到这一点,因此我们可能会发现自己无法获得功耗最低的嵌入式设备。


在任何开发中,在开发开始之前了解客户需求是必不可少的。但在处理音频时,这一点更为重要。为什么呢?因为对于音频,客户不仅需要一个运行良好的系统,他们还需要一个可以输出出色音频的系统。问题是每个人听到的声音都不一样(例如,年龄会影响听力敏锐度),而且我们对听起来“好”的声音都有个人偏好。我们可能会发现我们花了很长时间开发的一种产品,最终客户根本不喜欢。


对于大多数音频开发人员来说,这是一个持续存在的问题。音频的评估比视觉算法的评估更难。这是为什么?因为视觉结果可以并排放置并同时将它们相互进行比较。但你不能同时比较音频:你不能同时听两件事。因此,音频结果的A/B测试只能是顺序的,不能同时进行。所以,测试音频需要更长的时间,我们可能需要听两个小时的测试录音仅仅是为了评估对算法的小调整。我们要确保项目的计划包含有比我们认为需要的更长的测试时间。


我们可以通过商定使用一种普遍被接受的音频测试指标(例如MOS分数)来避免这种主观性。这些输入的音频和预期所需的观众对结果的评价。确实有助于评估质量,但不会给我们提供改进的原因。许多常见的测试和指标是为有线电话等传统的现有应用开发的,并且偏向于这些应用。因此,使用指标会有所帮助,但这不是绝对的答案。在我们开始工作之前,要确保我们的客户把他们的愿景告诉我们,因为他们希望音频听起来像什么,这一点至关重要。


了解客户的愿景对于下一个要注意的问题整合也很重要。我们的音频是系统的一部分。所有部分都必须协同工作,但系统的其余部分受处理音频的消耗限制,而我们的音频也受系统其余部分消耗的限制。如果音频在实际的系统上断断续续,那么在空的系统上开发运行良好的东西是没有意义的,而且会浪费很多资源。所以,早点整合吧。但是,正如开发人员都知道的,整合的成本很高。为了防止将时间浪费在整合不合适的内容上,我们首先需要与客户交谈。并且,在开始开发之前,获取所选用例中的一些录音样本,同时预览它们或离线工作来估计我们将能够实现的目标并确保它符合客户的愿景。


开发人员会犯的一个常见错误是在开发过程中没有尽早获得软件流。这很重要,因为如果我们不尽早进行流式传输,我们可能会要处理导致结果过分承诺的文件。如果我们正在编写一种算法,它每访问一位音频就向数据结构添加一个成分,则数据结构的大小与我们正在处理的文件的大小成正比。然而,一旦文件被音频流替换,数据结构可能会在设备运行时无限增大。通过尽早流式传输,可以降低开发风险,并且可以进一步确保我们的算法已准备好进行大规模生产。


另外,从一开始就考虑测试过程。仅通过音频输出进行测试很困难,因为它是实数信号。要确保尽可能多地进行单元测试,而不是依赖于不同处理器和平台之间可能不同的音频输出。


查看编码过程本身,我们需要在定点和浮点之间做出决定。定点曾经是表示用于存储和计算的音频样本的“go to”方法。定点计算将使用与整数计算相同的ALU部件,一个简单的数学技巧是大致估计连续变化的数量,在精度和数量大小之间进行权衡。


浮点在ALU中实现起来更复杂,但在现代CPU中(例如在移动设备中)使用它几乎没有或完全没有损失。存在的损失被工程时间要求的减少和用于优化算法的时间量的增加所抵消。音频算法通常庞大而复杂,而浮点可以用更少的工程资源实现它们,因为它简化了运算。使用浮点数的开发人员无需担心整数上溢或下溢。


关于手机,值得记住的是,手机中通常使用的CPU不仅会处理浮点运算,还会将其矢量化。因此,如果这是我们的用例,请确保我们设计的代码能够进行矢量化。


另一个技巧是在试验系统行为时将音频大量写入文件。根据我们写入的介质,我们可能需要一个工作线程,例如一张SD卡。这个工作线程就像一个软件管家,我们可以将音频数据提供给它;它耐心等待,然后将其交给设备。这意味着我们的核心算法不必等待和阻止运行时的行为。如果要写入多个文件,请检查它们是否都从同一位置开始。例如,如果我们停止其中一个文件的开头40ms,我们会发现系统中会出现无法解释的40ms延迟。


在音频信号处理方面,粗心的人会遇到很多陷阱。但是,通过正确的准备,我们可以通往成功的产品开发。


(原文刊登于EDN姊妹网站Embedded,参考链接:Common mistakes in audio signal processing – and how to avoid them,由Ricardo Xie编译。)


免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:

面向高功率充放电应用的先进电动车电池热管理技术

如何为汽车智能配电系统选择功率开关管

氮化镓栅极驱动专利:RC负偏压关断专利技术之台达电子篇

车规碳化硅功率模块 - 衬底和外延篇

碳化硅器件动态特性测试技术剖析


为您推荐

大联大世平携手安森美:从电网到 GPU,AI 数据中心高效能电源架构方案解析 业界新闻

大联大世平携手安森美:从电网到 GPU,AI 数据中心高效能电源架构方案解析

AI 算力爆发带动服务器功率持续走高,机柜功率从 250kW 向 1MW、2MW 升级,电源系统已经成为制约 AI 数据中心规模化落地的核心瓶颈。近期大联大世平集团联合安森美(onsemi)举办线上技术研讨会,围绕 AI 数据中心电源供应新世代主题,分享从电网到 GPU 的全链路高效电源架构,详解 800VDC 直流供电、SST 技术、碳化硅功率器件、BBU 后备方案等技术路线,同时测算电源效率提升带来的规模化节能收益,梳理全球数据中心布局、头部厂商落地节奏与当前技术落地限制,为 AI 服务器电源设计工程师提供方案参考。

能源电路 电源管理 EMC安规 GPU onsemi(安森美)

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基 技术应用

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基

随着互联设备普及与欧盟《网络弹性法案》(CRA)落地,嵌入式产品安全已经从附加功能变成硬性要求。意法半导体 MDRF 安全平台总监 Jacques Fournier 分享 ST“安全始于设计(Security by Design)” 战略:把安全前置到产品定义阶段,依托 IDM 垂直整合能力,打通软硬件安全、密码技术、漏洞评估全链条;同时提前布局后量子密码 PQC,正视 AI 带来的攻防双面变化,通过跨部门安全协作机制,把安全能力转化为客户产品的信任基石。

ST(意法半导体)

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案 业界新闻

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案

机器人行业重心正从展台演示转向工业、服务场景工程化落地,灵巧手作为机器人末端核心执行单元迎来爆发增长。近期大联大世平联合恩智浦(NXP)举办线上研讨会,恩智浦分享机器人分层架构、TSN 确定性通信方案以及 i.MX RT1180 在关节与灵巧手实时控制上的技术优势;大联大世平则解读灵巧手市场数据、主流驱动路线,并推出基于 NXP 芯片、搭载压力感知、支持 ROS2 与 EtherCAT 的完整灵巧手参考方案,依托分销技术服务与生态协同,帮助客户缩短研发周期,推动人形机器人、工业机器人规模化落地。

通信广电 NXP(恩智浦)

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利 业界新闻

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利

手机直连卫星 D2C 是补齐地面通信盲区的关键技术。紫光展锐与智利头部电信运营商 Entel 完成 D2C 现场测试,搭载 T8300(5G)、T7300(LTE)两大平台,在真实卫星与地面混合网络环境下,验证卫星建链、消息收发、天地切换等核心能力。Entel 已认可本次测试成果,将其作为终端厂商接入当地 D2C 服务的技术参考文档,有效降低品牌厂商的适配难度与验证成本,加速智利地区手机直连卫星终端生态规模化。

通信广电 测试测量 紫光展锐

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可 业界新闻

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可

智能旗舰终端对光学传感性能、品质稳定性与供应链交付提出严苛标准。数字光电技术厂商艾迈斯欧司朗近期荣获荣耀 “旗舰能力建设奖”,该奖项是对其光学传感技术、全流程质量管理体系以及稳定交付能力的认可。艾迈斯欧司朗为荣耀提供环境光、接近传感、dToF 测距等多款传感产品,依托全球研发制造与本地化快速响应机制,支撑旗舰机型量产迭代。未来双方将持续协同,以光学传感方案升级智能终端用户体验。

传感技术

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆