技术应用

图像传感器推动嵌入式视觉技术发展

发布时间:2019-05-11 00:00:00 责任编辑:lina

【导读】新的成像应用正在蓬勃发展,从工业 4.0 中的协作机器人,到无人机消防或用于农业,再到生物特征面部识别,再到家庭中的护理点手持医疗设备。
 
新的成像应用正在蓬勃发展,从工业 4.0 中的协作机器人,到无人机消防或用于农业,再到生物特征面部识别,再到家庭中的护理点手持医疗设备。出现这些新应用程序的一个关键因素是,嵌入式视觉比以往任 何时候都更普及。嵌入式视觉不是一个新概念;它只是定义了一个系统,其中包括一个视觉设置,在没有 外部计算机的情况下控制和处理数据。它已广泛应用于工业质量控制,最为人熟悉的例子比如“智能相机”。
 
近年源于消费类市场经济适用硬件器件的开发,相较于以往使用电脑的方案,这些器件大幅度减小了材料清单(BOM)成本和产品体积。举个例子,小型系统集成商或 OEM 现在能够小批量采购诸如 NVIDIA Jetson 的单板机或模块系统;而较大型的 OEM 则可以直接获得如高通骁龙(Qualcomm Snapdragon)或英特尔(Intel) Movidius Myriad 2 等图像信号处理器。在软件级方面,市面软件库能够加快专用视觉系统的开发速度,减小配置难度,即便是针对小批量生产。
 
第二个推动嵌入式视觉系统发展的变化是机器学习的出现,它使实验室中的神经网络能够接受培训,然后直接上传到处理器中,以便它能够自动识别特征,并实时做出决定。
 
能够提供适用于嵌入式视觉系统的解决方案,对于面向这些高增长应用的成像企业来说至关重要。图像传感器由于能够直接影响嵌入式视觉系统的效能和设计,因而在大规模引进中有重要角色,而它的主要推动因素可概括为:更小尺寸、重量、功耗和成本,英语简称为“SWaP-C”(decreasing Size, Weight, Power and Cost)。
 
1.降低成本至关重要
嵌入式视觉新应用的加速推动器是满足市场需求的价格,而视觉系统成本正是实现这要求的一个主要制肘。
 
1.1.节省光学成本
减小视觉模块成本的第一个途径是缩小产品尺寸, 原因有两个:首先是图像传感器的像素尺寸愈小,晶圆便可以制造更多的芯片;另一方面传感器可以使用更小更低成本的光学组件,二者都能够降低固有成本。例如 Teledyne e2v 的 Emerald 5M 传感器把像素尺寸减小至 2.8μm,让 S 口(M12) 镜头能够用于五百万像素全局快门传感器上,带来直接的成本节省──入门级的 M12 镜头的价格约为 10 美元,而较大尺寸的 C 口或 F 口镜头成本是其 10 到 20 倍。所以减小尺寸是降低嵌入式视觉系统成本的有效方法。
对于图像传感器制造商来说,这种降低的光学成本对设计有另一个影响,因为一般来说,光学成本越低, 传感器的入射角越不理想。因此,低成本光学需要在像素上方设计特定的位移微透镜,以补偿来自广角的畸变和聚焦光。
 
 
 
1.2.传感器低成本接口
除了光学优化,传感器接口的选择也间接影响视觉系统的成本。MIPI CSI-2 接口是实现节约成本的最合适选择(它最初是由 MIPI 联盟为移动行业开发的)。它已被大多数 ISP 广泛采用,并已开始在工业市场采用,因为它提供了一个从 NXP、Nvidia、高通公司或 Intel 等公司的低成本的片上系统(SOC)或模块上系统(SOM)的集成。设计一种具有 MIPI CSI-2 传感器接口的 CMOS 图像传感器,无需任何中间转换器桥,直接将图像传感器的数据传输到嵌入式系统的主机 SOC 或 SOM,从而节省了成本和 PCB 空间,当然,在基于多传感器的嵌入式系统(如 360 度全景系统)中,这一优势更为突出。
不过这些好处受到一些限制,因为 MIPI 接口的连接距离限制为 20 cm,这在传感器距离主机处理器较远的远程设置中可能不是最佳的。在这些配置中,以牺牲小型化为代价,使用集成更长接口的相机板解决方案是比较好的选择。一些现成的解决方案可以集成,例如工业相机制造商(如 Flir、AVT、Basler 等)的相机板通常可在 MIPI 或 USB3 接口中使用,后者能够达到的范围可以超过 3 米至 5 米。
 
 
1.3.减小开发成本
在投资新产品时,不断上升的开发成本往往是一个挑战;它可能会在一次性开发费上花费数百万美元,并 给上市时间带来压力。对于嵌入式视觉,这种压力变得更大,因为模块化(即产品能否切换使用多种图像 传感器)是集成商的重要考虑。幸运的是,通过在传感器之间提供一定程度的交叉兼容性,例如,通过定 义共享相同像素体系结构的组件系列以具有稳定的光电性能,通过具有共用光学中心来共享单个前端机制, 以及通过兼容的 PCB 组件来简化评估,集成和供应链,从而减小开发费用。
为简化相机板设计(即使用于多款传感器),有两种方法设计传感器封装。针脚对针脚兼容是相机板设计人员的首选设计,因为它能使多种传感器共享同一电路和控制,使得组装完全不受 PCB 设计影响。另一个选择是采用尺寸兼容的传感器,这样同一 PCB 可以使用多款传感器,但是这也意味着他们可能要应付每一款传感器的接口和布线的差异状况。
 
图像传感器推动嵌入式视觉技术发展
图 1: 图像传感器可经设计提供针脚兼容(图左)或尺寸兼容(图右)以实现专有 PCB 布局设计
 
2.能效提供更佳单独工作能力
微型电池驱动的设备是最明显的受益于嵌入式视觉的应用程序,因为外部计算机阻止任何便携式应用程序的发生。为了降低系统的能耗,图像传感器现在包含了多种功能,使系统设计者能够节省电力。
 
从传感器角度出发,有多种方法减小嵌入式视觉系统功耗而不损采集帧率。最简单的方法是通过尽可能长时间使用待机或闲置模式,在系统级最小化传感器本身的动态操作。待机模式通过关闭仿真电路,把传感器的功耗降低到工作模式的 10%以下。而闲置模式则可把功耗减半,并让传感器在数微秒内重新启动获取图像。
 
而在传感器设计集成节能的另一个方法是采用先进光刻节点技术。技术节点越小,转换晶体管所需的电压便越小,由于功耗与电压成正比(???????????????? ∝ ?? × ??2),这样就能降低功耗。所以 10 年前使用 180nm 技术生产的像素不单把晶体管缩小到 110nm,同时也把数字电路的电压从 1.9 伏降到 1.2 伏。下一世代的传感器将使用 65nm 技术节点,使得嵌入式视觉应用更省能。
 
最后一点是,通过选择合适的图像传感器,可以在某些条件下降低 LED 灯的能耗。有一些系统必须使用主动照明,例如三维地图生成、动作停顿、或是纯粹使用顺序脉冲指定波长来提高反差。在这些情形下, 减低图像传感器在低亮度环境下的噪声便能实现更低的功耗。减小了传感器噪声,工程人员便可决定减小电流密度强度,或是减小集成进嵌入式视觉系统的 LED 灯数目。在其他情况下,当图像捕获和 LED 闪烁由外部事件触发时,选择适当的传感器读出结构可以显著节省电能。使用传统卷帘快门传感器,帧全曝光时 LED 灯必需全开,而全局快门传感器则允许只在帧的某部份开动 LED 灯。所以如使用像素内相关双采样(CDS)应用下,以全局快门传感器替代卷帘快门传感器就可以节省照明成本,同时仍保持与显微镜中使用的 CCD 传感器一样低的噪声。
 
3.片上功能为应用程序设计的视觉系统铺平了道路
嵌入式视觉的一些偏锋延展概念,引导我们对图像传感器进行全面定制,以 3D 堆叠方式集成所有处理功能(芯片上的系统) 以实现优化性能和功耗。不过,开发这一类产品的成本十分高昂,能够达到这一集成水平的全定制传感器长远来说并非完全不可能,而现在我们正处于一个过渡阶段,包含将某些功能直接嵌入到传感器,以减省计算负载和加快处理时间。
 
例如在条形码阅读应用, Teledyne e2v 公司已拥有专利技术,将包含一个专有条形码识别算法的嵌入式 功能加进传感器芯片,这算法可以找出每一帧幅内的条形码位置,让图像信号处理器只需聚焦于这些范围, 提高数据处理效率。
 
图像传感器推动嵌入式视觉技术发展
图二:Teledyne e2v Snappy 五百万像素芯片,自动识别条形码位置
 
 
另一个减少处理负载和优化“良好”数据的功能是 Teledyne E2V 的专利快速曝光模式,该模式使传感器能够自动校正曝光时间,以避免照明条件变化时出现饱和。这项功能优化了处理时间,因为它适应了单帧中光照的波动,而且这种快速反应最大限度地减少了处理器需要处理的“坏”图像的数量。
 
这些功能通常是特定的,需要很好地理解客户的应用程序。只要对应用程序有足够的了解,就可以设计多种其他片上功能来优化嵌入式视觉系统。
 
4.减小重量尺寸以配合最小应用空间
 
嵌入式视觉系统的另一主要要求是能够配合狭小空间,或是重量要小,以便用于手持式设备/或延长电池推动产品的工作时间。这就是现在大部份嵌入式视觉系统使用只有 1MP 到 5MP 的低分辨率小型光学格式传感器的原因。
减小像素芯片的尺寸只是减小图像传感器占位面积和重量的第一步。现在的 65nm 工艺让我们能够把全局快门像素尺寸减小至 2.5μm 而不损光电性能。这种生产工艺使得诸如全高清全局快门 CMOS 图像传感器能够配合手机市场要求小于 1/3 英寸的规格。
减小传感器重量和占位面积的另一主要技术是缩小封装尺寸。芯片级封装在过去数年在市场迅速成长, 在移动、车载电子和医疗应用中特别明显。相较用工业市场常用的传统陶瓷 (Ceramic Land Grid Array, 简称 CLGA) 封装,芯片级扇出封装能够实现更高密度连接,因而是嵌入式系统图像传感器轻量化小型化挑战的出色解决方案。例如 Teledyne e2v 的 Emerald 2M 图像传感器芯片级封装,侧高只是陶瓷封装的一半,而尺寸则减小 30%。
 
图像传感器推动嵌入式视觉技术发展
图 3:同一芯片采用 CLGA 封装(图左)和晶圆级扇出有机封装(图右)的比较。后者能够减少占位、厚度和成本。
 
展望未来,我们预期新的技术能进一步实现嵌入式视觉系统所需的更小传感器尺寸。
三维堆栈是让半导体器件生产的创新技术,它的原理是在不同晶圆上制造各种电路芯片,然后利用铜对铜连接和过硅冲孔(Through Silicon Vias,简称 TSV)技术进行堆栈和互联。三维堆栈因为是多层重迭芯片, 允许器件实现比传统传感器更小的占位尺寸。而在三维堆栈传感器中,读出和处理芯片可以置于像素芯片和行译码器的下方。这样,传感器的占位尺寸因缩小的读出和处理芯片而减小,并且可以在传感器中加入更多处理资源以减小图像信号处理器的载荷。
 
图像传感器推动嵌入式视觉技术发展
图 4:三维芯片堆栈技术有助于实现像素芯片、仿真和数字电路,甚至是用于专门应用的附加处理芯片组合重迭,减小传感器面积。
 
不过,要让三维堆栈技术在图像传感器市场获得广泛应用,现在还面对着一些挑战。首先这是一个新兴的 技术,其次是它的成本较高,因为需要附加的工艺步骤,使得芯片成本比使用传统技术的芯片高三倍以上。因为三维埋迭将主要是高性能或非常小占位尺寸的嵌入式视觉系统的选择。
 
 
总结而言,嵌入式视觉系统可以归纳为一种「轻量」视觉技术,可以用于包括 OEM、系统集成商和标准相机厂商等不同类型企业。“嵌入式 “是一个可用于不同应用的概括性描述,因而不能开出列表说明它的特征。不过优化嵌入式视觉系统有几个适用法则,就是一般而言,市场推动力并非来自超级快的速度或超高的灵敏度,而是尺寸、重量、功耗和成本。图像传感器是这些条件的主要推手,所以需要小心选择合适的图像传感器,以便于优化嵌入式视觉系统的总体性能。合适的图像传感器能为嵌入式设计人员带来更多灵活性,节省材料清单成本,减小照明和光学组件的占位面积。它也让设计人员在无需面对更多复杂性的情况下,选择来自消费市场的大量经济适用并具有优化深度学习功能的图像信号处理器。
 
(来源:Teledyne e2v 公司 ,作者:  Marie-Charlotte Leclerc )
 
 
 
 
推荐阅读:
简述输入滤波器的简单设计
为何会出现恒流LED照明过早失效?
多器官微流控芯片技术及其应用
简述功率放大器在高速铁路铁轨检测中的应用
详述压电声音元件的发声机理

为您推荐

英特尔联合 Altera 开发实时传感器桥接方案,面向医疗、机器人等物理 AI 与边缘计算场景 业界新闻

英特尔联合 Altera 开发实时传感器桥接方案,面向医疗、机器人等物理 AI 与边缘计算场景

今日,英特尔与 Altera 宣布合作开发灵活的实时传感器桥接模块化参考方案,面向医疗健康、机器人等边缘计算与物理 AI 应用。当前边缘设备传感器数量持续增长,多接口、多源数据带来时序同步、带宽、实时性等集成难题。方案融合英特尔计算、连接与软件栈优势和 Altera FPGA 可编程能力,可灵活适配不同传感器配置与负载,支持 I/O 外扩、确定性实时处理,配套英特尔开放边缘平台 SDK 与 Altera 开发工具,帮助 OEM 厂商简化系统集成,缩短原型到量产周期,兼顾性能、功耗与成本,重点满足医疗器械、智能机器人的低延迟感知与控制需求。

医疗穿戴 电源管理 传感技术 传感器

Melexis MLX90636 全新上市:超小 CSP 封装 FIR 传感器,打通腕温到核心体温推算路径 新品速递

Melexis MLX90636 全新上市:超小 CSP 封装 FIR 传感器,打通腕温到核心体温推算路径

2026 年 11 月 11 日,迈来芯(Melexis)推出新一代非接触式远红外测温芯片 MLX90636。该器件采用 1.8×1.8×0.75mm 晶圆级 CSP 封装,在人体测温区间达到 ±0.2℃医疗级精度,可抵御环境温变与气流干扰,低功耗特性适配智能手表、手环、智能戒指等紧凑穿戴产品。在 MLX90632 基础上迭代升级,迈来芯同步启动腕温 - 核心体温推算算法研究,配套评估套件即将推出,为数字健康厂商提供从硬件到算法验证的完整支撑,芯片现已正式上市。

医疗穿戴 电源管理 传感技术 传感器 Melexis(比利时迈来芯)

nRF7120/nRF7120E 亮相:Nordic 把 Wi‑Fi、多协议无线和边缘 AI 集成一颗芯片 新品速递

nRF7120/nRF7120E 亮相:Nordic 把 Wi‑Fi、多协议无线和边缘 AI 集成一颗芯片

低功耗无线方案厂商 Nordic Semiconductor 推出全新 nRF71 系列超低功耗 SoC,将 Wi‑Fi 6/6E、低功耗蓝牙、Thread 以及 Axon NPU 边缘 AI 硬件加速器集成在单颗芯片。相比 nRF70 系列 Wi‑Fi 产品,新品待机功耗最多降低 20 倍,搭配 Neuton AI 工具链、nRF Cloud 云端 OTA 能力,无需额外 AI 处理器,就可以在电池供电设备完成关键词识别、异常检测、图像分类等本地推理,适配智能家居、Matter 网关、可穿戴、工业传感器,让设备依靠电池可连续运行多年。

医疗穿戴 智能家居 互联技术 传感技术 传感器 NORDIC

贸泽开售 Sensirion 全系环境传感器,覆盖 CO₂、甲醛、颗粒物与制冷剂检测 新品速递

贸泽开售 Sensirion 全系环境传感器,覆盖 CO₂、甲醛、颗粒物与制冷剂检测

贸泽电子新增 Sensirion 授权环境传感器现货,双方自 2014 年持续合作,为工程师提供室内空气质量监测元器件。本次上线产品包含多款不同定位方案:SGD4x 面向 HVACR,用于 A2L 制冷剂泄漏检测;SFA40 专攻甲醛监测,体积小巧便于装进空气净化器;超小型 STCC4 可直测 CO₂,适合紧凑消费设备甚至睡眠监测穿戴产品;SEN6x 集成颗粒物、温湿度、VOC、NOx、CO₂或甲醛多参数,降低整机集成难度。贸泽提供原厂正品、可追溯货源,配套丰富设计资源,助力项目快速开发。

医疗穿戴 传感技术 测试测量 传感器 Sensirion(瑞士盛思锐)

艾迈斯欧司朗 TMF8829 落地肯綮 π6 外骨骼,dToF 实现地形预判主动助力 新品速递

艾迈斯欧司朗 TMF8829 落地肯綮 π6 外骨骼,dToF 实现地形预判主动助力

艾迈斯欧司朗 TMF8829 多区 dToF 传感器正式搭载于肯綮科技全新 π6 口袋级 AI 外骨骼(π6 Plus、π6 Pro),也是这款传感器在外骨骼辅助机器人领域首个量产项目。该传感器拥有 48×32 分区、80° 视场角、最远 11 米测距能力,可提前扫描识别台阶、坡度、地面起伏,配合 AI 完成地形预判,让外骨骼告别传统被动跟随,提前 0.3–0.5 步切换助力策略,避免拖拽、动作对抗,强光、弱光环境均可稳定感知。双方在发布会现场达成战略合作,标志艾迈斯欧司朗 dToF 传感方案由消费电子进一步拓展至可穿戴机器人赛道,π6 系列现已上线开售。

医疗穿戴 传感技术 传感器

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆