技术应用

具有深度学习能力的传感器融合

发布时间:2022-09-06 00:00:00 来源:瑞萨电子 责任编辑:wenwei

【导读】传感器被越来越多地应用于我们的日常生活中,以帮助收集各种应用中有意义的数据,例如建筑暖通空调系统、工业自动化、医疗保健、门禁控制和安全系统等。传感器融合网络有助于从多个传感器获取数据,以提供设备周围环境更全面的感知。换句话说,传感器融合结合多个物理传感器的数据,即使单独的传感器本身不可靠,融合后的结果会更加准确,有助于减少感知过程中的不确定性。


1660820210507030.jpg


为了进一步提高智能化和可靠性,使用深度学习进行传感器融合,在工业和消费领域正变得越来越重要。


从数据科学的角度来看,这种模式通过采用智能监测和传感器融合策略,以及运用优化的机器学习,从传感器数据中中获取相关知识。主要目标之一是有效预测工业运行环境中的异常行为,以避免重大事故带来的损害。


瑞萨电子提供智能端点传感设备和集成了丰富模拟外设的微控制器。这些微控制器作为传感设备的核心,为不同应用提供更精确的传感器融合方案。常用的方式是:


冗余传感器:提供相同的信息类型。


互补传感器:提供独立(不相干)的信息类型。


协同传感器:顺序收集外部的信息。


1660820197460404.jpg


传感器网络中的通信是整个方案的核心,有以下几种选择:


分散式:传感器节点之间没有通信。


集中式:所有传感器把测量值提供给中央节点。


分布式:节点之间按照一定的频率交换信息(例如,每采集五次就交换一次数据)。


集中式方案也可以被看作是分布式方案的一个特例。传感器的每一次采集都会发送给融合节点,如下图示。


1660820182964669.jpg


深度学习


一个有效的传感器融合方案,先决条件是精确校准和同步传感器。瑞萨提供了一系列解决方案,使用集中式方案,在端点设备上运行先进的传感器融合算法,实现决策推断。


晚期融合可以实现互操作,而早期融合可以为人工智能提供丰富的数据做预测。我们借用不同策略的长处。现代方法通常会对设备上的传感器,在时间和空间上做融合,然后将融合后的数据输入神经网络执行预测。这些数据用于AI训练或实时算法的软件闭环(SIL)测试。由于前期的数据融合,在此阶段这些算法只需要接收有限的信息量。


深度学习使用神经网络来实现先进的机器学习,可以利用高性能计算平台,如瑞萨的RA MCU和RZ MPU来做训练和执行。深度神经网络由若干处理层组成,这些处理层从传感器融合中学习,对数据进行不同程度的抽象化。深度神经网络的层数越多,学到的表征就越抽象。


深度学习提供了一种表征学习的形式,通过使用简单的表征来表示数据。深度学习技术可以使用几个层的组合来理解特征,每个层都有独特的数学转换,以产生抽象的表征,更好地区分数据中的高级特征,以加强对真实形式的分离和理解。


多流神经网络的优势在于从多模态数据中生成有效的预测,其中每个流对网络产生整体联合推断都很重要。多流方法已在多模态数据融合方面取得成功,深度神经网络已被成功应用于多个应用中,如机器翻译和时序数据融合。


允许深度神经网络在基于MCU的端点应用上进行训练和部署,是一个巨大的突破,有助于加快行业应用。瑞萨的RA MCU平台和相关的灵活软件包与人工智能建模工具相结合,提供了多层结构化神经网络应用能力。通常,更多的层能让网络学到更多的抽象特征。在异质混合中堆叠多种类型的层,可以胜过同质混合的层。瑞萨的传感解决方案可以通过多个传感器的反馈来弥补系统在处理相关类型的信息时单个传感器的不足。


灵活的瑞萨高级(RA)微控制器(MCU)是业界领先的32位MCU,是构建智能传感器的绝佳选择。由于RA系列的MCU种类繁多,您可以根据您的应用需求选择最佳产品。RA MCU平台与强大的支持和软件生态系统相结合,将有助于加快传感器融合和深度学习模块的工业4.0应用开发。


作为瑞萨广泛的解决方案和设计支持的一部分,瑞萨为多功能人工智能物联网(AIoT)传感器解决方案提供了参考设计。它针对工业预测维护、支持手势识别的智能家居/物联网设备、可穿戴设备(主动跟踪)以及创新性的人机界面或(HMI)(手指感知)等移动应用提供了解决方案。作为该解决方案的一部分,瑞萨可以提供丰富的硬件,包括物联网专用RA微控制器、空气质量传感器、光传感器、温度和湿度传感器、6轴加速度传感器以及蜂窝、蓝牙通信芯片等。


1660820167817506.png


随着工业4.0系统中传感器数量的不断增加,对传感器融合的需求也在不断增长,以理解这些传感器产生的海量数据。市面上也出现越来越多集成传感器融合的设备。例如,融合了振动、声音、温度和磁场传感器数据的智能状态监测盒可用于机器状态监测。还可以选配用于监测加速度、角速度、冲击和振动的其他传感器配件。


该系统通过人工智能算法实现传感器融合,以更好地对异常运行状况进行分类,从而产生更准确的推断决策。这种边缘人工智能架构简化了对传感器融合所产生的大数据的处理,确保只有最相关的数据被发送到边缘人工智能处理器或云端,以便进一步分析并可能用于训练ML算法。


使用基于AI的深度学习有几个好处


●   AI算法可以采用传感器融合,利用多个传感器的数据来弥补单个传感器数据的不足。


●   AI算法可以先根据传感器数据的相关性对传感器分类,再把数据送给与之对应的任务。


●   通过在边缘设备或云上的持续训练,AI/ML算法可以让设备通过不断学习来识别以前未识别的系统行为变化。


●   AI算法可以预测可能的故障源,实现预测性维护,提高生产效率。


传感器融合与人工智能深度学习相结合,可以发挥传感器数据的最大作用。基于AI/ML的增强型传感器融合可用于系统的多个层级,包括数据层、融合层和决策层。传感器融合的基本功能包括实现数据的平滑和过滤以及预测传感器和系统状态。


瑞萨电子邀请您使用我们的高性能MCU和A&P产品组合。结合完整的软件平台,它能为您提供有针对性的深度学习模型和工具,用以构建下一代传感器融合解决方案。


来源:瑞萨电子,作者:Suad Jusuf  



免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:


共存、竞争还是融合:5G和Wi-Fi 6该如何相处?

200kW逆变器参考设计

带过流保护的低侧栅极驱动器PCB布局技巧

如何利用模态分析设计优质的振动传感器外壳

专业电池为无线物联网设备提供稳定的电源


为您推荐

nRF7120/nRF7120E 亮相:Nordic 把 Wi‑Fi、多协议无线和边缘 AI 集成一颗芯片 新品速递

nRF7120/nRF7120E 亮相:Nordic 把 Wi‑Fi、多协议无线和边缘 AI 集成一颗芯片

低功耗无线方案厂商 Nordic Semiconductor 推出全新 nRF71 系列超低功耗 SoC,将 Wi‑Fi 6/6E、低功耗蓝牙、Thread 以及 Axon NPU 边缘 AI 硬件加速器集成在单颗芯片。相比 nRF70 系列 Wi‑Fi 产品,新品待机功耗最多降低 20 倍,搭配 Neuton AI 工具链、nRF Cloud 云端 OTA 能力,无需额外 AI 处理器,就可以在电池供电设备完成关键词识别、异常检测、图像分类等本地推理,适配智能家居、Matter 网关、可穿戴、工业传感器,让设备依靠电池可连续运行多年。

医疗穿戴 智能家居 互联技术 传感技术 传感器 NORDIC

瞄准高端应用!华普微HPSxxxGSR传感器发布,支持高自由度开发设置 选型指南

瞄准高端应用!华普微HPSxxxGSR传感器发布,支持高自由度开发设置

随着物联网和智能化时代的到来,市场对高精度、高可靠性压力传感技术的需求日益增长。华普微电子近日推出了HPSxxxGSR系列高精度数字型表压传感器,该系列产品采用小尺寸单管口SOP封装,内部集成了MEMS压力芯片和信号调理芯片,通过24位ADC对传感器的零点、灵敏度、温漂和非线性进行数字补偿,输出与施加压力呈线性关系的信号。这款传感器专为满足医疗电子、汽车电子和智能家电等领域对压力测量的"高可靠性、高集成度、高灵敏度、高精度"核心需求而设计,为智能系统提供了理想的压力感知解决方案。

医疗穿戴 智能家居 传感技术 测试测量 传感器

运动追踪+冲击检测双感知!意法半导体微型AI传感器开启智能设备新维度 业界新闻

运动追踪+冲击检测双感知!意法半导体微型AI传感器开启智能设备新维度

意法半导体(STMicroelectronics)推出业界首款集成运动追踪与高重力冲击测量的微型AI惯性测量单元(IMU),采用3.3mm×2.8mm紧凑封装。该传感器支持冲击检测精度与动态角度解析,可精准重构智能设备运动轨迹与冲击事件,适配移动设备、可穿戴设备、消费医疗产品以及智能家居、智能工业和智能驾驶设备等场景,推动消费电子、医疗监护及工业4.0设备迈向高可靠感知新阶段。

医疗穿戴 智能家居 传感技术 测试测量 传感器 ST(意法半导体)

气体传感器选型指南:环境适应性、成本分析与核心IC解决方案 业界新闻

气体传感器选型指南:环境适应性、成本分析与核心IC解决方案

气体传感器作为环境监测的核心部件,广泛应用于工业安全、智能家居、汽车电子、医疗设备等领域。不同应用场景对传感器的温度适应性、检测精度、成本控制提出差异化需求。本文将深入解析五大主流气体传感器(电化学、半导体、红外、催化燃烧、PID)在不同环境下的性能表现,并对比ADI、TI、Bosch等核心IC厂商的解决方案。

医疗穿戴 智能家居 传感技术 测试测量 传感器 Bosch(博世)

无缆智能终端的能源进化论:破解微型设备供能困局 业界新闻

无缆智能终端的能源进化论:破解微型设备供能困局

在物联网技术重构人居空间的进程中,数以亿计的无线终端正悄然编织起智能家居的神经网络。这些脱离线缆束缚的微型节点——从毫米级环境传感器到纳米级触控模组,从隐蔽式安防探头到可穿戴交互设备——正在面临一场静默的能源革命。当设备体积以每年18%的速率持续缩小时,传统电池技术已触及能量密度的物理极限,催生出供电时长与设备微型化的尖锐矛盾。

医疗穿戴 智能家居 电源管理 传感技术 传感器

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆