业界新闻

CMOS图像传感器会成为新一代GPU吗?

发布时间:2020-03-07 00:00:00 责任编辑:wenwei

【导读】作为各家厂商比拼的重点,今天手机上的摄像头已经做到了一亿像素,而摄像头感光器件也是典型的半导体芯片,本质是二极管,这类精密的结构用来做神经网络运算效果如何?最新一期《自然》杂志上的研究告诉我们:速度是传统处理方法的上千倍。
 
摄像头 CMOS 会成为新一代 GPU 吗?
 
作为各家厂商比拼的重点,今天手机上的摄像头已经做到了一亿像素,而摄像头感光器件也是典型的半导体芯片,本质是二极管,这类精密的结构用来做神经网络运算效果如何?最新一期《自然》杂志上的研究告诉我们:速度是传统处理方法的上千倍。
 
对于计算机视觉,镜头是它的眼睛,获取丰富的视觉信息后就可以传递给处理单元,并依靠它实现各种视觉能力。这是 CV 最常规的范式,也最符合我们的直觉,但是你会发现有两大问题。
 
首先,从镜头传递信息给处理单元,这一步并不简单,尤其是在使用云计算的情况下,这都怪视觉信息太丰富了。其次,处理单元的工作也不简单,计算量庞大的视觉模型常常让人望而却步。
 
而在这篇 Nature 最新研究中,研究者表明图像传感器本身也可以「印刻」神经网络,它能同时担当感光与处理图像这两大功能,且还没有延迟。更重要的是,这种机器视觉芯片比传统卷积神经网络要快上千倍。只要一块芯片,相机秒变智能终端。
 
http://ep.cntronics.com/market/6069
与人脑一样,新芯片能以纳秒级的速度感知、分类简单的图像。
 
除了快以外,因为芯片采用的基本元件是光电二极管,只依靠光就能「发电」并完成计算,运行速度受限于电路中电子的速度。
 
目前,这项由维也纳科技大学提交的研究已发表在 3 月 4 号的《Nature》杂志上。
 
为芯片印刻神经网络
 
为了将神经网络「印刻」到图像传感器上,研究者在芯片上构造了一种光电二极管网络,这些光电二极管非常微小,且对光非常敏感。我们可以通过改变电压来增加或减少每个二极管对光的响应,从而调整每个二极管的灵敏度。
 
实际上,这些光电传感器网络就等同于神经网络,它们能够执行简单的计算任务。改变光电二极管的光响应强度会改变网络中的连接强度,也就类似于神经网络中的权重。因此,该芯片巧妙地将光学传感与神经形态计算相结合。
 
http://ep.cntronics.com/market/6069
a 为神经网络的二极管阵列,具有相同颜色的子像素会并联在一起;b 为光电二极管阵列中单个像素的电路图;c 与 d 就是我们熟悉的神经网络模型,它们可以「内嵌」到该芯片中。
 
传感器是由一组像素组成,且每个像素代表一个神经元。同时,每个像素再依次由若干个子像素组成,每个子像素代表一个突触。每个光电二极管都基于一层二硒化钨 ( tungsten diselenide ),是一种对光有响应且可调的二维半导体。这种可调节的光响应度就类似于神经网络中的权重。
 
研究者表示,将光电二极管排列成 9 个像素的方阵,每个像素带有 3 个二极管。当某张图像的光线映射到芯片后,会产生、组合各种二极管电流,从而完成硬件阵列提供的模拟计算形式。也就是说,只要感受到光,片上「神经网络」就开始计算了。
 
训练神经网络
 
整个阵列可以进行训练以执行视觉任务,因为阵列产生的电流与预测电流中的不一致,研究者可以在计算机上分析并调整权重,从而更新芯片上的神经网络。虽然训练过程中是需要时间与计算资源的,但一旦训练完成,芯片将能急速地处理视觉任务。
 
科学家基于这些光电二极管间的连接方式创建了一个神经网络,并且可以训练这些神经网络将图像分类为字母「n」「v」或「z」。
 
「我们的图像传感器不会在工作时消耗任何电能。」Mennel 说,「被感知的光子会提供电流。」
 
http://ep.cntronics.com/market/6069
 
在实验中,研究者使用激光来投影「v」和「n」到神经网络图像传感器中。传统的计算机视觉技术通常能在每秒处理 100 帧,可能一些更快的系统能够每秒处理 1000 帧。Mennel 表示,相比之下,「我们的系统差不多能每秒处理 2000 万帧。」
 
http://ep.cntronics.com/market/6069
a 为训练分类器与自编码器的实验配置,b 为用于测量 time-resolved 的实验设置,c 为光学实验的近景照片。
 
Mennel 提到,系统运行的速度只受限于芯片中电子的速度。原则上,这一策略在皮秒内就可以完成,比现有的视觉方法快 3 到 4 个量级。
 
除了字母识别与分类模型,研究者在实验中还测试了自编码器模型。该模型在存在信号噪声的情况下,传感器计算阵列也可以学习图像的关键特征,并解码以构建接近原始图像的生成图。只要训练完成,这种无监督生成模型的推断速度同样非常快。
 
所以,芯片到底有什么用?
 
这样的传感器有什么用途呢?「在这一阶段,这一技术主要用于特定的科学研究,如流体动力学、燃烧进程、或机械故障处理。」Mennel 说,「对于更复杂的任务,如自动驾驶中的机器视觉,我们可能需要更高的复杂度。」
 
在投入实际应用前,这种感光+计算的芯片还有很长的路要走。对于真实视觉信息而言,它还包含三维信息、动态图像以及视频的时间轴等。而当前的图像感知技术都只能将三维压缩到二维,芯片也就丢失了很多信息。
 
与此同时,作者表示,芯片昏暗条件下需要重新设计,以增加可检测的光强度范围。这种「重新设计」需要高压并消耗大量能源。最后就是半导体制作能力了,这种超薄半导体难以大面积生产,且难以加工。
 
不过尽管面临着重重阻碍,但将神经网络与感光能力结合到一起,在感光的同时产生电流,在产生电流的同时完成视觉任务,这样的芯片还是非常有意思。
 
参考内容:
 
https://spectrum.ieee.org/tech-talk/computing/hardware/image-neural
https://www.nature.com/articles/s41586-020-2038-x
 
来源:内容翻译自「Nature」、「IEEE」,由机器之心编译,作者:Charles Q. Choi等,谢谢。
 
 
推荐阅读:
 
高通、联发科掀5G晶片价格战
台达电冲刺被动元件布局 旗下乾坤砸16亿元扩产
需求旺 台积电全年没淡季
被动器件价格利于供货商,有望延续到第3季度
奇力新2月营收年减3.54%

为您推荐

车载高速 SerDes 两条开放路线对比:MIPI A-PHY 与 OpenGMSL 及芯片实现思路 竞品比对

车载高速 SerDes 两条开放路线对比:MIPI A-PHY 与 OpenGMSL 及芯片实现思路

软件定义汽车正在重塑整车的电子电气架构,车用高速串行器/解串器(SerDes)技术的价值正在全面凸显。高阶自动驾驶与ADAS需要多个摄像头、激光雷达、毫米波雷达实时回传海量感知数据;智能座舱则需要把高清乃至4K显示内容送往车内大屏。这些传感器、显示屏与域控制器、中央计算平台之间,需要一种高带宽、低时延、强抗干扰、可覆盖数米线缆距离的点对点串行链路——也就是车用SerDes技术。

安防监控 汽车电子 互联技术 传感技术 传感器

星宸 SSU9353Q 赋能肯綮 π6 口袋外骨骼,消费级外骨骼迈入口袋时代 业界新闻

星宸 SSU9353Q 赋能肯綮 π6 口袋外骨骼,消费级外骨骼迈入口袋时代

10 月 23 日,肯綮将在深圳举办新品战略发布会,推出 π6 口袋级外骨骼机器人。这款产品由星宸科技 SSU9353Q 机器人 SoC 作为核心主控,瞄准传统外骨骼笨重、智能不足、续航差、成本高的痛点。芯片采用异构计算架构,支持摄像头 + dToF 双传感器融合感知,提前识别楼梯、斜坡等路况;同时凭借高集成封装压缩整机体积,把主机做到 1kg,可收纳进背包。芯片低功耗设计还带来 30% 续航提升,并控制外壳温度,让外骨骼从工业、医疗场景走向老年助行、户外等消费民生市场。

安防监控 医疗穿戴 电源管理 传感技术 传感器

支持卫星节点互联|Nordic 双芯方案赋能 MATIX Box 工业资产远程监控 业界新闻

支持卫星节点互联|Nordic 双芯方案赋能 MATIX Box 工业资产远程监控

工业现场网络条件差异大,不少偏远、屏蔽场景蜂窝信号不足,给资产在线监测带来阻碍。Azzurro Digitale 推出的 MATIX Box 资产监控终端,选用 Nordic nRF9151 蜂窝模组与 nRF54L15 多协议 SoC 组合方案。nRF9151 支持 LTE-M、NB-IoT 以及 DECT NR + 本地专网,蜂窝信号差时可切换本地组网;内置加速度计采集设备运行、停机数据,提前预警故障。搭配 nRF54L15,可扫描蓝牙信标做室内定位,同时和卫星传感器节点通信,采集温度、压力等环境参数。整机采用锂亚电池供电,低功耗设计支撑最长两年免换电池,加密直连云端,部署简单安全,配套 EAM 平台实现资产运维、预防性维护与供应链追踪。

安防监控 通信广电 互联技术 传感技术 传感器 NORDIC

Teledyne e2v推出Nexora - 新一代背照式全局快门CMOS图像传感器系列 新品速递

Teledyne e2v推出Nexora - 新一代背照式全局快门CMOS图像传感器系列

Teledyne e2v 推出全新 Nexora™ CMOS 图像传感器系列,面向机器视觉等高要求成像场景,兼顾高灵敏度、高速成像与低功耗。该系列提供 12MP、16MP 两种分辨率,分黑白与彩色型号,依托自研背照式像素技术与 3D 堆叠架构,拥有优秀的集光效率,适配智能交通、户外监控等复杂光照环境。传感器搭载 LVDS 接口,封装紧凑,便于相机厂商整机开发,产品将于德国斯图加特 VISION 展会展出,目前可按需申请资料与样品。

安防监控 传感技术 光电显示 传感器

基于车载SerDes和OpenGMSL协议的SoC设计与验证:行业高频问题解析 技术应用

基于车载SerDes和OpenGMSL协议的SoC设计与验证:行业高频问题解析

随着汽车向高阶自动驾驶、舱内全域互联和引入更多视频媒体设备快速演进,车载摄像头、雷达、显示终端与中央计算平台之间的高速数据交互需求呈爆发式增长。作为车载高速SerDes领域的新一代开放标准,OpenGMSL有效突破了传统车载高速串行链路高度依赖私有协议、厂商锁定、兼容性差的行业痛点,为车载高清视频、多传感器数据的高速、可靠传输提供了通用、可互操作的标准化技术底座。

安防监控 汽车电子 互联技术 传感技术 SoC

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆