技术应用

如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换

发布时间:2023-05-15 00:00:00 来源:亚德诺半导体 责任编辑:lina

【导读】本文重点解释如何使用硬件转换卷积神经网络(CNN),并特别介绍使用带CNN硬件加速器的人工智能(AI)微控制器在物联网(IoT)边缘实现人工智能应用所带来的好处。


AI应用通常需要消耗大量能源,并以服务器农场或昂贵的现场可编程门阵列(FPGA)为载体。AI应用的挑战在于提高计算能力的同时保持较低的功耗和成本。当前,强大的智能边缘计算正在使AI应用发生巨大转变。与传统的基于固件的AI计算相比,以基于硬件的卷积神经网络加速器为载体的智能边缘AI计算具备惊人的速度和强大的算力,开创了计算性能的新时代。这是因为智能边缘计算能够让传感器节点在本地自行决策而不受5G和Wi-Fi网络数据传输速率的限制,为实现之前难以落地的新兴技术和应用场景提供了助力。例如,在偏远地区,传感器级别的烟雾/火灾探测或环境数据分析已成为现实。这些应用支持电池供电,能够工作很多年的时间。本文通过探讨如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换来说明如何实现这些功能。


采用超低功耗卷积神经网络加速器的人工智能微控制器


MAX78000是一款有超低功耗CNN加速器的AI微控制器片上系统,能在资源受限的边缘设备或物联网应用中实现超低功耗的神经网络运算。其应用场景包括目标检测和分类、音频处理、声音分类、噪声消除、面部识别、基于心率等健康体征分析的时间序列数据处理、多传感器分析以及预测性维护。


图1为MAX78000的框图,其内核为带浮点运算单元的Arm® Cortex®-M4F内核,工作频率高达100 MHz。为了给应用提供足够的存储资源,MAX78000还配备了512 kB的闪存和128 kB的SRAM。该器件提供多个外部接口,例如I2C、SPI、UART,以及用于音频的I2S。此外,器件还集成了60 MHz的RISC-V内核,可以作为一个智能的直接存储器访问(DMA)引擎从/向各个外围模块和存储(包括闪存和SRAM)复制/粘贴数据。由于RISC-V内核可以对AI加速器所需的


如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换

图1.MAX78000的结构框图


传感器数据进行预处理,因而Arm内核在此期间可以处于深度睡眠模式。推理结果也可以通过中断触发Arm内核在主应用程序中执行操作,通过无线传输传感器数据或向用户发送通知。


具备用于执行卷积神经网络推理的专用硬件加速器单元是MAX7800x系列微控制器的一个显著特征,这使其有别于标准的微控制器架构。该CNN硬件加速器可以支持完整的CNN模型架构以及所有必需的参数(权重和偏置),配备了64个并行处理器和一个集成存储器。集成存储器中的442 kB用于存储参数,896 kB用于存储输入数据。不仅存储在SRAM中的模型和参数可以通过固件进行调整,网络也可以实时地通过固件进行调整。器件支持的模型权重为1位、2位、4位或8位,存储器支持容纳多达350万个参数。加速器的存储功能使得微控制器无需在连续的数学运算中每次都要通过总线获取相关参数——这样的方式通常伴有高延迟和高功耗,代价高昂。CNN加速器可以支持32层或64层的网络,具体层数取决于池化函数。每层的可编程图像输入/输出大小最多为1024 × 1024像素。


CNN硬件转换:功耗和推理速度比较


CNN推理是一项包含大型矩阵线性方程运算的复杂计算任务。Arm Cortex-M4F微控制器的强大能力可以使得CNN推理在嵌入式系统的固件上运行。但这种方式也有一些缺点:在微控制器上运行基于固件的CNN推理时,计算命令和相关参数都需要先从存储器中检索再被写回中间结果,这会造成大量功耗和时延。


表1对三种不同解决方案的CNN推理速度和功耗进行了比较。所用的模型基于手写数字识别训练集MNIST开发,可对视觉输入数据中的数字和字母进行分类以获得准确的输出结果。为确定功耗和速度的差异,本文对三种解决方案所需的推理时间进行了测量。


如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换

表1.手写数字识别的CNN推理时间和推理功耗,基于MNIST数据集


方案一使用集成Arm Cortex-M4F处理器的MAX32630进行推理,其工作频率为96 MHz。方案二使用MAX78000的CNN硬件加速器进行推理,其推理速度(即数据输入与结果输出之间的时间)比方案一加快了400倍,每次推理所需的能量也仅为方案一的1/1100。方案三对MNIST网络进行了低功耗优化,从而最大限度地降低了每次推理的功耗。虽然方案三推理结果的准确性从99.6%下降到了95.6%,但其速度快了很多,每次推理只需0.36 ms,推理功耗降也低至仅1.1 µW。两节AA碱性电池(总共6 Wh能量)可以支持应用进行500万次的推理(忽略系统其它部分的功耗)。


这些数据说明了硬件加速器的强大计算能力可以大大助益无法利用或连接到连续电源的应用场景。MAX78000就是这样一款产品,它支持边缘AI处理,无需大量功耗和网络连接,也无需冗长的推理时间。


MAX78000 AI微控制器的使用示例


MAX78000支持多种应用,下面本文围绕部分用例展开讨论。其中一个用例是设计一个电池供电的摄像头,需要能检测到视野中是否有猫出现,并能够通过数字输出打开猫门允许猫进入房屋。


图2为该设计的示例框图。在本设计中,RISC-V内核会定期开启图像传感器并将图像数据加载到MAX78000的CNN加速器中。如果系统判断猫出现的概率高于预设的阈值,则打开猫门然后回到待机模式。


如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换

图2.智能宠物门框图


开发环境和评估套件


边缘人工智能应用的开发过程可分为以下几个阶段:

第一阶段:AI——网络的定义、训练和量化


第二阶段:Arm固件——将第一阶段生成的网络和参数导入C/C++应用程序,创建并测试固件


开发过程的第一阶段涉及建模、训练和评估AI模型等环节。此阶段开发人员可以利用开源工具,例如 PyTorch 和 TensorFlow。MAX78000 的GitHub网页也提供全面的资源帮助用户在考虑其硬件规格的同时使用PyTorch构建和训练AI网络。网页也提供一些简单的AI网络和应用,例如面部识别(Face ID),供用户参考。


图3显示了采用PyTorch进行AI开发的典型过程。首先是对网络进行建模。必须注意的是,MAX7800x微控制器并非都配置了支持所有PyTorch数据操作的相关硬件。因此,必须首先将ADI公司提供的ai8x.py文件包含在项目中,该文件包含MAX78000所需的PyTorch模块和运算符。基于此可以进入下一步骤构建网络,使用训练数据对网络进行训练、评估和量化。这一步骤会生成一个检查点文件,其中包含用于最终综合过程的输入数据。最后一步是将网络及其参数转换为适合CNN硬件加速器的形式。值得注意的是,虽然任何PC(笔记本、服务器等)都可用于训练网络,但如果没有CUDA显卡,训练网络可能会花费很长的时间——即使对于小型网络来说也有可能需要几天甚至几周的时间。


开发过程的第二阶段是通过将数据写入CNN加速器并读取结果的机制来创建应用固件。第一阶段创建的文件通过#include指令集成到C/C++项目中。微控制器的开发环境可使用Eclipse IDE和GNU工具链等开源工具。ADI公司提供的软件开发套件(Maxim Micros SDK (Windows))也已经包含了所有开发必需的组件和配置,包括外设驱动以及示例说明,帮助用户简化应用开发过程。


如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换

图3.AI开发过程


成功通过编译和链接的项目可以在目标硬件上进行评估。ADI开发了两种不同的硬件平台可供选用:图4为 MAX78000EVKIT ,图5为 MAX78000FTHR ,一个稍小的评估板。每个评估板都配有一个VGA摄像头和一个麦克风。


如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换

图4.MAX78000评估套件


如何采用带专用CNN加速器的AI微控制器实现CNN的硬件转换

图5.MAX78000FTHR评估套件


结论


以前,AI应用必须以昂贵的服务器农场或FPGA为载体,并消耗大量能源。现在,借助带专用CNN加速器的MAX78000系列微控制器,AI应用依靠单组电池供电就可以长时间运行。MAX78000系列微控制器在能效和功耗方面的性能突破大大降低了边缘AI的实现难度,使得新型边缘AI应用的惊人潜力得以释放。


免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:

功率MOS管损坏的典型

符合汽车标准的MEMS麦克风 汽车在细心聆听

Zeta拓扑电源原理及工作过程解析

锐思智芯:融合视觉传感器解决传统CIS的感知瓶颈

什么是磁力计?



为您推荐

英飞凌推出 ModusToolbox™ AI 助手,为 PSoC 微控制器提供硬件感知嵌入式 AI 编码能力 新品速递

英飞凌推出 ModusToolbox™ AI 助手,为 PSoC 微控制器提供硬件感知嵌入式 AI 编码能力

英飞凌科技股份公司(FSE代码:IFX / OTCQX代码:IFNNY)推出面向Microsoft Visual Studio Code(VS Code)的ModusToolbox™ AI助手(AI Assistant),进一步扩展其ModusToolbox™软件生态系统。该扩展可为AI编码智能体提供针对PSOC™ Edge与PSOC™ Control微控制器的特定硬件上下文信息。如果缺乏这类上下文信息,通用型AI编码助手可能会生成看似正确、却无法在实际硬件上运行的代码。例如,它们可能选错目标器件、调用已弃用的API,或是遗漏仅在板级启动调试时才会暴露出来的初始化步骤。ModusToolbox™ AI助手会将每条建议与开发者的实际目标器件、开发板及外设配置相匹配,让通用型AI助手能够生成有效的嵌入式代码。该扩展完全在本地分析项目上下文,并将客户项目数据保存在开发者的系统中。常见应用场景包括具备图形显示与连接功能的互联物联网设备。

AI&loT 互联技术 微控制器 Infineon(英飞凌)

DigiKey 2026 Q3 扩容:新增 27000 + 现货、93 家供应商,上线超 50 万款产品 业界新闻

DigiKey 2026 Q3 扩容:新增 27000 + 现货、93 家供应商,上线超 50 万款产品

电子元器件分销商 DigiKey 公布 2026 年第三季度产品更新进展。本季度平台新增 93 家原厂供应商,入库 27000 多款支持即时发货的现货物料,全站累计上新产品突破 50.7 万种。 本次扩容覆盖微控制器、边缘 AI 模组、工业自动化、传感检测、射频连接、储能、机器视觉等多个热门方向,引入 Alif Semiconductor、Chase Corporation 等新供应商,同步上架 DFRobot、施耐德、意法半导体、Nordic 等厂商多款面向设备端 AI、工业控制、物联网场景的新品。依托持续扩充的现货储备与配送体系,DigiKey 面向工程师、采购与创客群体,缩短样品开发交期,支撑新产品快速落地。与此同时,公司 1 亿美元全球配送中心扩建计划也在推进,进一步夯实小批量现货快速交付能力。

AI&loT 能源电路 RF /微波 EMC安规 微控制器 ST(意法半导体)

贸泽电子开售 Microchip PIC18F‑Q35 8位MCU集成可配置逻辑强化嵌入式安全与灵活设计 选型指南

贸泽电子开售 Microchip PIC18F‑Q35 8位MCU集成可配置逻辑强化嵌入式安全与灵活设计

2026 年 8 月 21 日,新品引入分销商贸泽电子正式上架 Microchip PIC18F‑Q35 系列 8 位微控制器。该系列将可配置逻辑块、丰富外设、内置安全能力与低功耗特性整合在单颗芯片之内,面向工业、汽车、物联网等对安全有要求的嵌入式场景。借助片上 CLB 可配置逻辑、混合电压 I/O 等特性,开发者可以减少外部器件使用,简化硬件架构,配套的 Curiosity Nano 评估套件也能够帮助工程师快速开展原型验证。PIC18-Q35 MCU可在工业、汽车、物联网 (IoT) 和注重安全性的应

AI&loT 汽车电子 电源管理 微控制器 MICROCHIP(美国微芯)

无需外置CPLD:PIC18F-Q35在8位MCU内实现片上自定义数字逻辑 新品速递

无需外置CPLD:PIC18F-Q35在8位MCU内实现片上自定义数字逻辑

嵌入式系统对高集成度与低功耗的需求持续攀升,开发者需在有限硬件资源内兼顾软件算法与自定义逻辑。2026年8月21日 – 提供超丰富半导体和电子元器件™的业界知名新品引入 (NPI) 代理商贸泽电子 (Mouser Electronics) 即日起开售Microchip Technology PIC18F-Q35 8位微控制器。该系列集成可配置逻辑块(CLB)、内置安全机制和丰富外设,适用于工业、汽车及物联网等紧凑型应用。本文从逻辑集成、安全特性和开发生态三方面解读其设计价值。

AI&loT 汽车电子 电源管理 微控制器 MICROCHIP(美国微芯)

东芝开始出货面向系统控制应用的TXZ+™族入门级M4V组工程样品 新品速递

东芝开始出货面向系统控制应用的TXZ+™族入门级M4V组工程样品

中国上海,2026年8月6日——东芝电子元件及存储装置株式会社(“东芝”)今日宣布,推出TXZ+™族入门级M4V组标准微控制器[1] 。该系列产品搭载带浮点运算单元(FPU)的Arm® Cortex®-M4内核,可增强IoT设备和工业设备中的安全性与数据管理能力。目前已开始提供工程样品。

AI&loT 微控制器 TOSHIBA(东芝)

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆