技术应用

将eFPGA应用于嵌入式360度视域视觉系统中

发布时间:2018-04-26 00:00:00 来源:Alok Sanghavi 责任编辑:wenwei

【导读】嵌入式FPGA(eFPGA)将在这类芯片中扮演重要角色。如为了满足第六条中提到的车辆外部360度视频监控数据的获取和处理,采用eFPGA来设计相关功能芯片具有很明显的优势。
 
2018年4月11日,工业和信息化部、公安部和交通运输部联合发布“关于印发《智能网联汽车道路测试管理规范(试行)》的通知”,为我国智能网联汽车道路测试提供了相关法律依据。三部委在赋予智能网联汽车上路资格的同时,也提出了若干严格的条件。
 
其中,在第二章“测试主体、测试驾驶人及测试车辆”的第七条第(四)点中,三部委要求:具备车辆状态记录、存储及在线监控功能,能实时回传下列第1、2、3项信息,并自动记录和存储下列各项信息在车辆事故或失效状况发生前至少90秒的数据,数据存储时间不少于3年:
 
1.车辆控制模式;
 
2.车辆位置;
 
3.车辆速度、加速度等运动状态;
 
4.环境感知与响应状态;
 
5.车辆灯光、信号实时状态;
 
6.车辆外部360度视频监控情况;
 
7.反映测试驾驶人和人机交互状态的车内视频及语音监控情况;
 
8.车辆接收的远程控制指令(如有);
 
9.车辆故障情况(如有)。
由此可以看出,上述条件除了对进行道路测试的智能网联汽车有若干功能性要求外,还在相关领域将推动若干新一代通信、监控、控制和存储等技术的发展,为智能网联汽车专用SoC的开发提供新的市场机会。
 
嵌入式FPGA(eFPGA)将在这类芯片中扮演重要角色。如为了满足第六条中提到的车辆外部360度视频监控数据的获取和处理,采用eFPGA来设计相关功能芯片具有很明显的优势。作为同时提供独立FPGA芯片和eFPGA IP产品的公司,Achronix可以帮助智能汽车SoC设计人员先在FPGA芯片上开发和调试相关功能,而在市场进入批量化应用后无需显著修改设计,立即将设计移植到搭载了eFPGA的SoC之上。
 
有关eFPGA如何支持嵌入式360度视域视觉系统设计,请阅读Achronix Semiconductor资深产品营销经理Alok Sanghavi的文章,标题为“将eFPGA应用于嵌入式360度视域视觉系统中”。
 
将eFPGA应用于嵌入式360度视域视觉系统中
 
带有多个高分辨率摄像头的嵌入式360°视域视觉系统已经进入了各种应用中,如汽车传感器融合、视频监控、目标检测、运动分析等。在此类系统中,多个实时摄像机的视频流(最多6个) 被汇聚在一起逐帧处理,进行失真和其他图像伪影校正,调整曝光和白平衡,然后动态拼接成一个360°全景视图,以4K清晰度和60 fps帧频输出,最终投影到一个球形坐标空间上。
 
目前用于此类应用的高分辨率鱼眼相机镜头通常具有一个广角视域(FOV)。环视相机系统最大的瓶颈之一是: 实时到或从外部存储器存储/读取和访问多路摄像机输入数据,然后将其作为一个单一帧进行处理。硬件需要在一帧延迟内,在输入摄像机传入的原始传感器数据和拼接输出视频之间完成处理运行。
 
高性能计算平台一直朝着与CPU一起协同使用FPGA的方向发展,以便为实时图像处理任务提供专门的硬件加速。 这种配置使得CPU能专注于特别复杂的算法,其中它们可以快速切换线程和上下文,并将重复性任务分配给一个FPGA,以充当可配置的硬件加速器/协处理器/卸载引擎。 即使将FPGA和CPU作为分立器件使用,系统也可以提高整体效率,因为这些技术不会发生冲突,而是像将手套戴在手上一样来配合在一起。
 
例如,从鱼眼镜头获得的图像遭受严重失真之苦,因而基于多个相机视频生成的拼接操作是高度计算密集型的任务,其原因为它是点像素操作。这种拼接需要大量的实时图像处理和高度并行化的架构。但是,这种下一代的应用超过了FPGA可不断接续实现的性能,主要是由于芯片吞吐数据的延迟。这反过来会影响整个系统的整体延迟、吞吐速度和性能。
 
在一个SoC中加入可与CPU一起嵌入的eFPGA半导体知识产权(IP)。与一个独立的FPGA芯片加CPU解决方案相比,嵌入式FPGA阵列结构具有独特的优势,主要优势在于性能更强。一个eFPGA可通过一个宽的并行接口直接连接到ASIC(无I / O缓冲器)上,提供显著提高的吞吐量,以及以个位数时钟周期来计数的延迟。低延迟是复杂的图像实时处理过程的关键,例如纠正鱼眼镜头的失真这样的处理。
 
利用Speedcore eFPGA IP,客户可以定义其逻辑、内存和DSP资源需求,然后Achronix可配置其IP以满足他们的需求。查找表(LUTs)、RAM单元块和DSP64单元块可以像积木一样进行组合,为任何给定的应用创建最佳的可编程结构。 除了标准逻辑、嵌入式存储器和DSP单元模块之外,客户还可以在Speedcore eFPGA结构里面定义他们自己的功能块。通过把这些定制功能模块与传统构建模块一起集成到逻辑阵列结构中,可添加优化过的功能来减少面积和提高目标应用的性能,可使eFPGA的性能得到极大的提高,特别是对嵌入式视觉和图像处理算法非常有效。
 
用自定义单元块来成功地解决高性能图像处理就是一个很好的例子,在实现您只看一次(YOLO)这一种使用了神经网络的、最先进的、实时对象检测算法时,可以优于早期的方法大大提高性能。该算法依赖于大量的矩阵乘法器,而在FPGA中实现时,这些矩阵乘法器需要使用DSP和RAM模块来构建;YOLO所需要的DSP和RAM模块之间的最佳配置,与一个典型的FPGA阵列结构中发现的不匹配之处就会出现问题。例如,FPGA阵列结构可能提供18×27乘法/累加单元块和32×128 RAM的DSP单元块,而此时的最佳解决方案可能是带有48×1024 RAM的16×8 DSP单元块。通过创建实现最佳DSP和RAM模块配置的定制单元块,所得到的Speedcore阵列结构所使用的芯片面积就会减少40%,来实现相同的功能并且能获得更高级别的系统性能。
 
在SoC中嵌入FPGA阵列结构提供了两个额外的系统级好处:
 
更低的功耗 - 可编程I / O电路占独立FPGA芯片总功耗的一半,而一个eFPGA可以与主控SoC中的其他模块直接内部线路连接,完全不需要大型可编程I / O缓冲器。
 
更低的系统成本 - 由于eFPGA只需实现特定功能,eFPGA的裸片尺寸远小于等效的独立FPGA芯片,这是因为eFPGA不再需要可编程的I / O缓冲器和不必要的接口逻辑。
 
借助超低延迟和实时处理功能,可以有效实现基于360°视域的视觉系统,具有定制单元块的Speedcore eFPGA与同一主控SoC中的一个CPU配合使用,非常适合去实现专用功能,如目标检测和图像识别、变形和失真校正、以及最后将最终图像拼接在一起。在SoC中嵌入FPGA阵列结构是超深亚微米时代系统集成的一个自然发展过程。
 
 
推荐阅读:
 
多层LCP技术的毫米波段超宽带槽天线设计
5G正在改变全球射频前端技术的发展景观
一种高频微波高密度互连板制作技术研究
微波和光纤通信技术如何让你的通讯更通畅
世界第一款K波段DAC背后的设计秘密
要采购缓冲器么,点这里了解一下价格!

为您推荐

贸泽开售 Ezurio Veda IF912/IF913 模块 Wi‑Fi6/6E+BLE5.4 搭载英飞凌 CYW55912 业界新闻

贸泽开售 Ezurio Veda IF912/IF913 模块 Wi‑Fi6/6E+BLE5.4 搭载英飞凌 CYW55912

专注新品引入的授权代理商贸泽电子宣布,现已上架 Ezurio Veda IF912 与 IF913 无线模块。该系列基于英飞凌 AIROC CYW55912/CYW55913 芯片,集成 Wi‑Fi 6/6E、低功耗蓝牙 5.4 以及 Cortex‑M33 处理器,在 7×11mm 的 SMT 封装内整合无线、算力与存储资源,面向工业物联网、医疗设备、HVAC、安防摄像头、EV 充电设施等嵌入式场景,可简化硬件方案、降低 BOM 成本,同步配套 IF912DVK、IF913DVK 评估开发套件,方便工程师快速验证。

安防监控 医疗穿戴 电源管理 互联技术 通信模块 Infineon(英飞凌)

Wi‑Fi HaLow 赋能边缘 AI 相机:CamThink NeoEyes 系列新增远距离低功耗无线版本 新品速递

Wi‑Fi HaLow 赋能边缘 AI 相机:CamThink NeoEyes 系列新增远距离低功耗无线版本

摩尔斯微电子与 CamThink 合作,将 Wi‑Fi HaLow 远距离低功耗无线方案集成至 NeoEyes NE101、NE301、NE302 紧凑型边缘 AI 相机。Wi‑Fi HaLow 覆盖远、功耗低,弥补传统 Wi-Fi 在偏远电池供电视觉节点的短板,适合农田、无基础设施站点无人值守分布式监控;相关机型现已上架发售,面向开发者、集成商与 OEM 快速落地视觉 AI。

安防监控 能源电路 电源管理 互联技术 通信模块

移远 SP900BF‑AP 工业 AI 算力模组亮相慕尼黑,200TOPS 算力支持本地大模型运行 新品速递

移远 SP900BF‑AP 工业 AI 算力模组亮相慕尼黑,200TOPS 算力支持本地大模型运行

electronica 2026,移远通信推出 SP900BF‑AP 工业 AI 算力模组,采用高通跃龙 IQ‑9075,最高 200TOPS 稀疏算力,支持主流大语言模型、视觉语言模型本地部署;八核 Kryo CPU 最高 2.36GHz,可选配 36GB LPDDR5X+256GB UFS,支持多路摄像头、4K 高帧率编解码,PCIe/USB3.1 等高速接口齐全,适配 Ubuntu/Yocto Linux,面向工业机器人、视觉检测、边缘网关,提供十年生命周期保障,现已开放工程样片。

安防监控 通信广电 互联技术 测试测量 Qualcomm

广和通 SC236 智能模组亮相 electronica 2026,融合计算多媒体与连接能力 新品速递

广和通 SC236 智能模组亮相 electronica 2026,融合计算多媒体与连接能力

electronica 2026 慕尼黑电子展上,广和通发布 SC236 智能模组,该模组基于高通跃龙 Q-2390 处理器,采用 3×Cortex-A55+1×Cortex-A78 四核架构,搭载 Adreno 704 GPU,支持 FHD 显示、多路摄像头、LTE Cat.4、Wi-Fi、BLE5.0、GNSS 定位,预装 Android 系统,面向智能支付终端、工业手持机、执法仪、行车记录仪等 AIoT 设备。SC236 现已进入导入阶段,预计 2026 年 Q4 量产,推动模组从单纯通信连接向一体化智能平台升级。

安防监控 通信广电 互联技术 光电显示 通信模块 Qualcomm

大联大诠鼎携手联发科,Genio 边缘 AI 平台赋能机器人与工业 IoT 落地 业界新闻

大联大诠鼎携手联发科,Genio 边缘 AI 平台赋能机器人与工业 IoT 落地

AI 向终端下沉浪潮下,边缘设备对算力、多媒体能力、长期供货保障的需求持续攀升。大联大诠鼎集团联合联发科技举办线上研讨会,围绕 Genio Gen2 SoC 及全新 Genio Pro 产品线展开深度解析,覆盖平台特性、OS 支持、供应链方案,并落地演示本地端侧 AI 监控方案,为工业物联网、智慧零售、机器人等嵌入式项目提供端侧 AI 商业化路径。

AI&loT 安防监控 MTK(联发科)

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆