技术应用

基于深度学习所需的硬件架构解析

发布时间:2016-11-22 00:00:00 责任编辑:sherry

【导读】深度学习在这十年,甚至是未来几十年内都有可能是最热门的话题。虽然深度学习已是广为人知了,但它并不仅仅包含数学、建模、学习和优化。算法必须在优化后的硬件上运行,因为学习成千上万的数据可能需要长达几周的时间。因此,深度学习网络亟需更快、更高效的硬件。

众所周知,并非所有进程都能在CPU上高效运行。游戏和视频处理需要专门的硬件——图形处理器(GPU),信号处理则需要像数字信号处理器(DSP)等其它独立的架构。人们一直在设计用于学习(learning)的专用硬件,例如,2016年3月与李世石对阵的AlphaGo计算机使用了由1920个CPU和280个GPU组成的分布式计算模块。而随着英伟达发布新一代的Pascal GPU,人们也开始对深度学习的软件和硬件有了同等的关注。接下来,让我们重点来看深度学习的硬件架构。

对深度学习硬件平台的要求

要想明白我们需要怎样的硬件,必须了解深度学习的工作原理。首先在表层上,我们有一个巨大的数据集,并选定了一种深度学习模型。每个模型都有一些内部参数需要调整,以便学习数据。而这种参数调整实际上可以归结为优化问题,在调整这些参数时,就相当于在优化特定的约束条件。
【导读】深度学习在这十年,甚至是未来几十年内都有可能是最热门的话题。虽然深度学习已是广为人知了,但它并不仅仅包含数学、建模、学习和优化。算法必须在优化后的硬件上运行,因为学习成千上万的数据可能需要长达几周的时间。因此,深度学习网络亟需更快、更高效的硬件。    众所周知,并非所有进程都能在CPU上高效运行。游戏和视频处理需要专门的硬件——图形处理器(GPU),信号处理则需要像数字信号处理器(DSP)等其它独立的架构。人们一直在设计用于学习(learning)的专用硬件,例如,2016年3月与李世石对阵的AlphaGo计算机使用了由1920个CPU和280个GPU组成的分布式计算模块。而随着英伟达发布新一代的Pascal GPU,人们也开始对深度学习的软件和硬件有了同等的关注。接下来,让我们重点来看深度学习的硬件架构。    对深度学习硬件平台的要求    要想明白我们需要怎样的硬件,必须了解深度学习的工作原理。首先在表层上,我们有一个巨大的数据集,并选定了一种深度学习模型。每个模型都有一些内部参数需要调整,以便学习数据。而这种参数调整实际上可以归结为优化问题,在调整这些参数时,就相当于在优化特定的约束条件。 1   百度的硅谷人工智能实验室(SVAIL)已经为深度学习硬件提出了DeepBench基准,这一基准着重衡量的是基本计算的硬件性能,而不是学习模型的表现。这种方法旨在找到使计算变慢或低效的瓶颈。 因此,重点在于设计一个对于深层神经网络训练的基本操作执行效果最佳的架构。那么基本操作有哪些呢?现在的深度学习算法主要包括卷积神经网络(CNN)和循环神经网络(RNN)。基于这些算法,DeepBench提出以下四种基本运算:    矩阵相乘(Matrix MulTIplicaTIon)——几乎所有的深度学习模型都包含这一运算,它的计算十分密集。    卷积(ConvoluTIon)——这是另一个常用的运算,占用了模型中大部分的每秒浮点运算(浮点/秒)。    循环层(Recurrent Layers )——模型中的反馈层,并且基本上是前两个运算的组合。    All Reduce——这是一个在优化前对学习到的参数进行传递或解析的运算序列。在跨硬件分布的深度学习网络上执行同步优化时(如AlphaGo的例子),这一操作尤其有效。    除此之外,深度学习的硬件加速器需要具备数据级别和流程化的并行性、多线程和高内存带宽等特性。 另外,由于数据的训练时间很长,所以硬件架构必须低功耗。 因此,效能功耗比(Performance per Watt)是硬件架构的评估标准之一。    当前趋势与未来走向 2 英伟达的GPU在深度学习硬件市场上一直处于领先地位。图片:英伟达    英伟达以其大规模的并行GPU和专用GPU编程框架CUDA主导着当前的深度学习市场。但是越来越多的公司开发出了用于深度学习的加速硬件,比如谷歌的张量处理单元(TPU/Tensor Processing Unit)、英特尔的Xeon Phi Knight‘s Landing,以及高通的神经网络处理器(NNU/Neural Network Processor)。像Teradeep这样的公司现在开始使用FPGA(现场可编程门阵列),因为它们的能效比GPU的高出10倍。 FPGA更灵活、可扩展、并且效能功耗比更高。 但是对FPGA编程需要特定的硬件知识,因此近来也有对软件层面的FPGA编程模型的开发。    此外,一直以来广为人所接受的理念是,适合所有模型的统一架构是不存在的,因为不同的模型需要不同的硬件处理架构。 而研究人员正在努力,希望FPGA的广泛使用能够推翻这一说法。    大多数深度学习软件框架(如TensorFlow、Torch、Theano、CNTK)是开源的,而Facebook最近也开放其 Big Sur 深度学习硬件平台,因此在不久的将来,我们应该会看到更多深度学习的开源硬件架构 。
百度的硅谷人工智能实验室(SVAIL)已经为深度学习硬件提出了DeepBench基准,这一基准着重衡量的是基本计算的硬件性能,而不是学习模型的表现。这种方法旨在找到使计算变慢或低效的瓶颈。 因此,重点在于设计一个对于深层神经网络训练的基本操作执行效果最佳的架构。那么基本操作有哪些呢?现在的深度学习算法主要包括卷积神经网络(CNN)和循环神经网络(RNN)。基于这些算法,DeepBench提出以下四种基本运算:

矩阵相乘(Matrix MulTIplicaTIon)——几乎所有的深度学习模型都包含这一运算,它的计算十分密集。

卷积(ConvoluTIon)——这是另一个常用的运算,占用了模型中大部分的每秒浮点运算(浮点/秒)。

循环层(Recurrent Layers )——模型中的反馈层,并且基本上是前两个运算的组合。

All Reduce——这是一个在优化前对学习到的参数进行传递或解析的运算序列。在跨硬件分布的深度学习网络上执行同步优化时(如AlphaGo的例子),这一操作尤其有效。

除此之外,深度学习的硬件加速器需要具备数据级别和流程化的并行性、多线程和高内存带宽等特性。 另外,由于数据的训练时间很长,所以硬件架构必须低功耗。 因此,效能功耗比(Performance per Watt)是硬件架构的评估标准之一。

当前趋势与未来走向
【导读】深度学习在这十年,甚至是未来几十年内都有可能是最热门的话题。虽然深度学习已是广为人知了,但它并不仅仅包含数学、建模、学习和优化。算法必须在优化后的硬件上运行,因为学习成千上万的数据可能需要长达几周的时间。因此,深度学习网络亟需更快、更高效的硬件。    众所周知,并非所有进程都能在CPU上高效运行。游戏和视频处理需要专门的硬件——图形处理器(GPU),信号处理则需要像数字信号处理器(DSP)等其它独立的架构。人们一直在设计用于学习(learning)的专用硬件,例如,2016年3月与李世石对阵的AlphaGo计算机使用了由1920个CPU和280个GPU组成的分布式计算模块。而随着英伟达发布新一代的Pascal GPU,人们也开始对深度学习的软件和硬件有了同等的关注。接下来,让我们重点来看深度学习的硬件架构。    对深度学习硬件平台的要求    要想明白我们需要怎样的硬件,必须了解深度学习的工作原理。首先在表层上,我们有一个巨大的数据集,并选定了一种深度学习模型。每个模型都有一些内部参数需要调整,以便学习数据。而这种参数调整实际上可以归结为优化问题,在调整这些参数时,就相当于在优化特定的约束条件。 1   百度的硅谷人工智能实验室(SVAIL)已经为深度学习硬件提出了DeepBench基准,这一基准着重衡量的是基本计算的硬件性能,而不是学习模型的表现。这种方法旨在找到使计算变慢或低效的瓶颈。 因此,重点在于设计一个对于深层神经网络训练的基本操作执行效果最佳的架构。那么基本操作有哪些呢?现在的深度学习算法主要包括卷积神经网络(CNN)和循环神经网络(RNN)。基于这些算法,DeepBench提出以下四种基本运算:    矩阵相乘(Matrix MulTIplicaTIon)——几乎所有的深度学习模型都包含这一运算,它的计算十分密集。    卷积(ConvoluTIon)——这是另一个常用的运算,占用了模型中大部分的每秒浮点运算(浮点/秒)。    循环层(Recurrent Layers )——模型中的反馈层,并且基本上是前两个运算的组合。    All Reduce——这是一个在优化前对学习到的参数进行传递或解析的运算序列。在跨硬件分布的深度学习网络上执行同步优化时(如AlphaGo的例子),这一操作尤其有效。    除此之外,深度学习的硬件加速器需要具备数据级别和流程化的并行性、多线程和高内存带宽等特性。 另外,由于数据的训练时间很长,所以硬件架构必须低功耗。 因此,效能功耗比(Performance per Watt)是硬件架构的评估标准之一。    当前趋势与未来走向 2 英伟达的GPU在深度学习硬件市场上一直处于领先地位。图片:英伟达    英伟达以其大规模的并行GPU和专用GPU编程框架CUDA主导着当前的深度学习市场。但是越来越多的公司开发出了用于深度学习的加速硬件,比如谷歌的张量处理单元(TPU/Tensor Processing Unit)、英特尔的Xeon Phi Knight‘s Landing,以及高通的神经网络处理器(NNU/Neural Network Processor)。像Teradeep这样的公司现在开始使用FPGA(现场可编程门阵列),因为它们的能效比GPU的高出10倍。 FPGA更灵活、可扩展、并且效能功耗比更高。 但是对FPGA编程需要特定的硬件知识,因此近来也有对软件层面的FPGA编程模型的开发。    此外,一直以来广为人所接受的理念是,适合所有模型的统一架构是不存在的,因为不同的模型需要不同的硬件处理架构。 而研究人员正在努力,希望FPGA的广泛使用能够推翻这一说法。    大多数深度学习软件框架(如TensorFlow、Torch、Theano、CNTK)是开源的,而Facebook最近也开放其 Big Sur 深度学习硬件平台,因此在不久的将来,我们应该会看到更多深度学习的开源硬件架构 。
英伟达的GPU在深度学习硬件市场上一直处于领先地位。图片:英伟达

英伟达以其大规模的并行GPU和专用GPU编程框架CUDA主导着当前的深度学习市场。但是越来越多的公司开发出了用于深度学习的加速硬件,比如谷歌的张量处理单元(TPU/Tensor Processing Unit)、英特尔的Xeon Phi Knight‘s Landing,以及高通的神经网络处理器(NNU/Neural Network Processor)。像Teradeep这样的公司现在开始使用FPGA(现场可编程门阵列),因为它们的能效比GPU的高出10倍。 FPGA更灵活、可扩展、并且效能功耗比更高。 但是对FPGA编程需要特定的硬件知识,因此近来也有对软件层面的FPGA编程模型的开发。

此外,一直以来广为人所接受的理念是,适合所有模型的统一架构是不存在的,因为不同的模型需要不同的硬件处理架构。 而研究人员正在努力,希望FPGA的广泛使用能够推翻这一说法。

大多数深度学习软件框架(如TensorFlow、Torch、Theano、CNTK)是开源的,而Facebook最近也开放其 Big Sur 深度学习硬件平台,因此在不久的将来,我们应该会看到更多深度学习的开源硬件架构 。

为您推荐

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基 技术应用

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基

随着互联设备普及与欧盟《网络弹性法案》(CRA)落地,嵌入式产品安全已经从附加功能变成硬性要求。意法半导体 MDRF 安全平台总监 Jacques Fournier 分享 ST“安全始于设计(Security by Design)” 战略:把安全前置到产品定义阶段,依托 IDM 垂直整合能力,打通软硬件安全、密码技术、漏洞评估全链条;同时提前布局后量子密码 PQC,正视 AI 带来的攻防双面变化,通过跨部门安全协作机制,把安全能力转化为客户产品的信任基石。

ST(意法半导体)

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案 业界新闻

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案

机器人行业重心正从展台演示转向工业、服务场景工程化落地,灵巧手作为机器人末端核心执行单元迎来爆发增长。近期大联大世平联合恩智浦(NXP)举办线上研讨会,恩智浦分享机器人分层架构、TSN 确定性通信方案以及 i.MX RT1180 在关节与灵巧手实时控制上的技术优势;大联大世平则解读灵巧手市场数据、主流驱动路线,并推出基于 NXP 芯片、搭载压力感知、支持 ROS2 与 EtherCAT 的完整灵巧手参考方案,依托分销技术服务与生态协同,帮助客户缩短研发周期,推动人形机器人、工业机器人规模化落地。

通信广电 NXP(恩智浦)

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利 业界新闻

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利

手机直连卫星 D2C 是补齐地面通信盲区的关键技术。紫光展锐与智利头部电信运营商 Entel 完成 D2C 现场测试,搭载 T8300(5G)、T7300(LTE)两大平台,在真实卫星与地面混合网络环境下,验证卫星建链、消息收发、天地切换等核心能力。Entel 已认可本次测试成果,将其作为终端厂商接入当地 D2C 服务的技术参考文档,有效降低品牌厂商的适配难度与验证成本,加速智利地区手机直连卫星终端生态规模化。

通信广电 测试测量 紫光展锐

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可 业界新闻

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可

智能旗舰终端对光学传感性能、品质稳定性与供应链交付提出严苛标准。数字光电技术厂商艾迈斯欧司朗近期荣获荣耀 “旗舰能力建设奖”,该奖项是对其光学传感技术、全流程质量管理体系以及稳定交付能力的认可。艾迈斯欧司朗为荣耀提供环境光、接近传感、dToF 测距等多款传感产品,依托全球研发制造与本地化快速响应机制,支撑旗舰机型量产迭代。未来双方将持续协同,以光学传感方案升级智能终端用户体验。

传感技术

人形机器人高自由度协同难点:关节实时控制与确定性位置感知是流畅运动基石 技术应用

人形机器人高自由度协同难点:关节实时控制与确定性位置感知是流畅运动基石

人形机器人流畅的类人运动,本质是数十个自由度之间的协同涌现行为,关节耦合、信号延迟、扰动传递极易引发失稳与振荡。想要实现稳定平衡、姿态自适应调节,离不开关节层级高集成、低延迟的实时电机控制,以及断电不掉位的多圈绝对位置感知。本文从自由度耦合痛点切入,拆解扭矩控制、电流采样、位置反馈等核心环节,介绍 ADI 电机控制平台、ADMT4000 多圈位置传感器、TMC6460 伺服驱动方案如何提供确定性执行底座,支撑全身多关节同步协同,让高层智能策略可靠落地为物理动作。

传感技术

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆