技术应用

机器学习实战:GNN(图神经网络)加速器的FPGA解决方案

发布时间:2020-10-20 00:00:00 责任编辑:lina

【导读】 益于大数据的兴起以及算力的快速提升,机器学习技术在近年取得了革命性的发展。在图像分类、语音识别、自然语言处理等机器学习任务中,数据为大小维度确定且排列有序的欧氏(Euclidean)数据。然而,越来越多的现实场景中,数据是以图(Graph)这种复杂的非欧氏数据来表示的。
 
应用AchronixSpeedster7t FPGA设计高能效、可扩展的GNN加速器
 
作者:袁光(KevinYuan),Achronix资深现场应用工程师
 
1.概述
 
得益于大数据的兴起以及算力的快速提升,机器学习技术在近年取得了革命性的发展。在图像分类、语音识别、自然语言处理等机器学习任务中,数据为大小维度确定且排列有序的欧氏(Euclidean)数据。然而,越来越多的现实场景中,数据是以图(Graph)这种复杂的非欧氏数据来表示的。Graph不但包含数据,也包含数据之间的依赖关系,比如社交网络、蛋白质分子结构、电商平台客户数据等等。数据复杂度的提升,对传统的机器学习算法设计以及其实现技术带来了严峻的挑战。在此背景之下,诸多基于Graph的新型机器学习算法—GNN(图神经网络),在学术界和产业界不断的涌现出来。
 
GNN对算力和存储器的要求非常高,其算法的软件实现方式非常低效,所以业界对GNN的硬件加速有着非常迫切的需求。我们知道传统的CNN(卷积神经网络网络)硬件加速方案已经有非常多的解决方案;但是,GNN的硬件加速尚未得到充分的讨论和研究,在本文撰写之时,Google和百度皆无法搜索到关于GNN硬件加速的中文研究。本文的撰写动机,旨在将国外最新的GNN算法、加速技术研究、以及笔者对GNN的FPGA加速技术的探讨相结合起来,以全景图的形式展现给读者。
 
2.GNN简介
 
GNN的架构在宏观层面有着很多与传统CNN类似的地方,比如卷积层、Polling、激活函数、机器学习处理器(MLP)和FC层等等模块,都会在GNN中得以应用。下图展示了一个比较简单的GNN架构。
 
机器学习实战:GNN(图神经网络)加速器的FPGA解决方案
图 1:典型的GNN架构(来源:https://arxiv.org/abs/1901.00596)
 
但是, GNN中的Graph数据卷积计算与传统CNN中的2D卷积计算是不同的。以图2为例,针对红色目标节点的卷积计算,其过程如下:
 
l  Graph卷积:以邻居函数采样周边节点特征并计算均值,其邻居节点数量不确定且无序(非欧氏数据)。
 
l  2D卷积:以卷积核采样周边节点特征并计算加权平均值,其邻居节点数量确定且有序(欧氏数据)。
 
 机器学习实战:GNN(图神经网络)加速器的FPGA解决方案
图 2:Graph卷积和2D卷积(来源:https://arxiv.org/abs/1901.00596)
 
3. GraphSAGE算法简介
 
学术界已对GNN算法进行了非常多的研究讨论,并提出了数目可观的创新实现方式。其中,斯坦福大学在2017年提出的GraphSAGE是一种用于预测大型图中动态新增未知节点类型的归纳式表征学习算法,特别针对节点数量巨大、且节点特征丰富的图做了优化。如下图所示,GraphSAGE计算过程可分为三个主要步骤:
 
机器学习实战:GNN(图神经网络)加速器的FPGA解决方案
图3:GraphSAGE算法的视觉表述(来源:http://snap.stanford.edu/graphsage)
 
l  邻节点采样:用于降低复杂度,一般采样2层,每一层采样若干节点
 
l  聚合:用于生成目标节点的embedding,即graph的低维向量表征
 
l  预测:将embedding作为全连接层的输入,预测目标节点d的标签
 
为了在FPGA中实现GraphSAGE算法加速,我们需要知悉其数学模型,以便将算法映射到不同的逻辑模块中。下图所示的代码阐述了本算法的数学过程。
 
 机器学习实战:GNN(图神经网络)加速器的FPGA解决方案
 图 4:GraphSAGE算法的数学模型(来源:http://snap.stanford.edu/graphsage)
 
对于每一个待处理的目标节点xv,GraphSAGE执行下列操作:
1)通过邻居采样函数N(v),采样子图(subgraph)中的节点
2)聚合被采样的邻节点特征,聚合函数可以为mean()、lstm()或者polling()等
3)将聚合结果与上一次迭代的输出表征合并,并以Wk做卷积
4)卷积结果做非线性处理
5)迭代若干次以结束当前第k层所有邻节点的处理
6)将第k层迭代结果做归一化处理
7)迭代若干次以结束所有K层采样深度的处理
8)最终迭代结果zv即为输入节点xv的嵌入(embedding)
 
4.GNN加速器设计挑战
 
GNN的算法中涉及到大量的矩阵计算和内存访问操作,在传统的x86架构的服务器上运行此算法是非常低效的,表现在速度慢,能耗高等方面。
 
新型GPU的应用,可以为GNN的运算速度和能效比带来显著收益。然而GPU内存扩展性的短板,使其无法胜任海量节点Graph的处理;GPU的指令执行方式,也造成了计算延迟过大并且不可确定,无法胜任需要实时计算Graph的场景。
 
如上所述种种设计挑战的存在,使得业界急需一种可以支持高度并发实时计算、巨大内存容量和带宽、以及在数据中心范围可扩展的GNN加速解决方案。
 
5.GNN加速器的FPGA设计方案
 
Achronix公司推出的Speedster7t系列高性能FPGA,专门针对数据中心和机器学习工作负载进行了优化,消除了CPU、GPU以及传统 FPGA 存在的若干性能瓶颈。Speedster7t FPGA 基于台积电的 7nm FinFET工艺,其架构采用革命性的新型 2D 片上网络(NoC),独创的机器学习处理器矩阵(MLP),并利用高带宽 GDDR6 控制器、400G 以太网和 PCI Express Gen5 接口,在保障ASIC 级别性能的同时,为用户提供了灵活的硬件可编程能力。下图展示了Speedster7t1500高性能FPGA的架构。
 
机器学习实战:GNN(图神经网络)加速器的FPGA解决方案
图5: AchronixSpeedster7t1500高性能FPGA架构(来源:http://www.achronix.com)
 
如上所述种种特性,使得AchronixSpeedster7t1500 FPGA器件为GNN加速器设计中所面临的各种挑战,提供了完美的解决方案。
 
表1:GNN设计挑战与Achronix的Speedster7t1500 FPGA解决方案
机器学习实战:GNN(图神经网络)加速器的FPGA解决方案
 
5.1GNN加速器顶层架构
 
本GNN加速器针对GraphSAGE进行设计,但其架构具有一定的通用性,可以适用于其他类似的GNN算法加速,其顶层架构如下图所示。
 
机器学习实战:GNN(图神经网络)加速器的FPGA解决方案
图6: GNN加速器顶层架构(来源:Achronix原创)
 
图中GNNCore为算法实现的核心部分,其设计细节将在下文展开谈论;RoCE-Lite为RDMA协议的轻量级版本,用于通过高速以太网进行远程内存访问,以支持海量节点的Graph计算,其设计细节将在本公众号的后续文章中讨论;400GE以太网控制器用来承载RoCE-Lite协议;GDDR6用于存放GNN处理过程中所需的高速访问数据;DDR4作为备用高容量内存,可以用于存储相对访问频度较低的数据,比如待预处理的Graph;PCIeGen5x16提供高速主机接口,用于与服务器软件交互数据;上述所有模块,皆通过NoC片上网络来实现高速互联。
 
5.2GNNCore微架构
 
在开始讨论GNNCore微架构之前,我们先回顾一下本文第3节中的GraphSAGE算法,其内层循环的聚合以及合并(包含卷积)等两个操作占据了算法的绝大部分计算和存储器访问。通过研究,我们得到这两个步骤的特征如下:
 
表2:GNN算法中聚合与合并操作对比(来源:https://arxiv.org/abs/1908.10834)
机器学习实战:GNN(图神经网络)加速器的FPGA解决方案
 
可以看出,聚合操作与合并操作,其对计算和存储器访问的需求完全不同。聚合操作中涉及到对邻节点的采样,然而Graph属于非欧氏数据类型,其大小维度不确定且无序,矩阵稀疏,节点位置随机,所以存储器访问不规则并难以复用数据;在合并操作中,其输入数据为聚合结果(节点的低维表征)以及权重矩阵,其大小维度固定,存储位置规则线性,对存储器访问不存在挑战,但是矩阵的计算量非常大。
 
基于以上分析,我们决定在GNNCore加速器设计中用两种不同的硬件结构来处理聚合操作与合并操作,功能框图如下图所示:
 
机器学习实战:GNN(图神经网络)加速器的FPGA解决方案
图7: GNNCore功能框图(来源:Achronix原创)
 
聚合器(Aggregator):通过SIMD(单指令多数据处理器)阵列来对Graph进行邻居节点采样并进行聚合操作。其中的“单指令”可以预定义为mean()均值计算,或者其他适用的聚合函数;“多数据”则表示单次mean()均值计算中需要多个邻居节点的特征数据作为输入,而这些数据来自于子图采样器(SubgraphSampler);SIMD阵列通过调度器Agg Scheduler做负载均衡;子图采样器通过NoC从GDDR6或DDR4读回的邻接矩阵和节点特征数据h0v,分别缓存在AdjacentListBuffer和NodeFeature Buffer之中;聚合的结果hkN(v)存储在AggBuffer之中。
 
合并器(Combinator):通过脉动矩阵PE来执行聚合结果的卷积操作;卷积核为Wk权重矩阵;卷积结果通过ReLU激活函数做非线性处理,同时也存储在PartialSumBuffer中以方便下一轮迭代。
 
合并的结果通过L2BN归一化处理之后,即为最终的节点表征hkv。
 
在比较典型的节点分类预测应用中,该节点表征hkv可以通过一个全连接层(FC),以得到该节点的分类标签。此过程属于传统的机器学习处理方法之一,没有在GraphSAGE论文中体现,此设计中也没有包含这个功能。
 
6.结论
 
本文深入讨论了GraphSAGEGNN算法的数学原理,并从多个维度分析了GNN加速器设计中的技术挑战。作者通过分解问题并在架构层面逐一解决的方法,综合运用AchronixSpeedster7t1500FPGA所提供的竞争优势,创造了一个性能极佳且高度可扩展的GNN加速解决方案。
 
 
免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请电话或者邮箱联系小编进行侵删。
 
 

为您推荐

大联大世平携手安森美:从电网到 GPU,AI 数据中心高效能电源架构方案解析 业界新闻

大联大世平携手安森美:从电网到 GPU,AI 数据中心高效能电源架构方案解析

AI 算力爆发带动服务器功率持续走高,机柜功率从 250kW 向 1MW、2MW 升级,电源系统已经成为制约 AI 数据中心规模化落地的核心瓶颈。近期大联大世平集团联合安森美(onsemi)举办线上技术研讨会,围绕 AI 数据中心电源供应新世代主题,分享从电网到 GPU 的全链路高效电源架构,详解 800VDC 直流供电、SST 技术、碳化硅功率器件、BBU 后备方案等技术路线,同时测算电源效率提升带来的规模化节能收益,梳理全球数据中心布局、头部厂商落地节奏与当前技术落地限制,为 AI 服务器电源设计工程师提供方案参考。

能源电路 电源管理 EMC安规 GPU onsemi(安森美)

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基 技术应用

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基

随着互联设备普及与欧盟《网络弹性法案》(CRA)落地,嵌入式产品安全已经从附加功能变成硬性要求。意法半导体 MDRF 安全平台总监 Jacques Fournier 分享 ST“安全始于设计(Security by Design)” 战略:把安全前置到产品定义阶段,依托 IDM 垂直整合能力,打通软硬件安全、密码技术、漏洞评估全链条;同时提前布局后量子密码 PQC,正视 AI 带来的攻防双面变化,通过跨部门安全协作机制,把安全能力转化为客户产品的信任基石。

ST(意法半导体)

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案 业界新闻

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案

机器人行业重心正从展台演示转向工业、服务场景工程化落地,灵巧手作为机器人末端核心执行单元迎来爆发增长。近期大联大世平联合恩智浦(NXP)举办线上研讨会,恩智浦分享机器人分层架构、TSN 确定性通信方案以及 i.MX RT1180 在关节与灵巧手实时控制上的技术优势;大联大世平则解读灵巧手市场数据、主流驱动路线,并推出基于 NXP 芯片、搭载压力感知、支持 ROS2 与 EtherCAT 的完整灵巧手参考方案,依托分销技术服务与生态协同,帮助客户缩短研发周期,推动人形机器人、工业机器人规模化落地。

通信广电 NXP(恩智浦)

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利 业界新闻

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利

手机直连卫星 D2C 是补齐地面通信盲区的关键技术。紫光展锐与智利头部电信运营商 Entel 完成 D2C 现场测试,搭载 T8300(5G)、T7300(LTE)两大平台,在真实卫星与地面混合网络环境下,验证卫星建链、消息收发、天地切换等核心能力。Entel 已认可本次测试成果,将其作为终端厂商接入当地 D2C 服务的技术参考文档,有效降低品牌厂商的适配难度与验证成本,加速智利地区手机直连卫星终端生态规模化。

通信广电 测试测量 紫光展锐

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可 业界新闻

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可

智能旗舰终端对光学传感性能、品质稳定性与供应链交付提出严苛标准。数字光电技术厂商艾迈斯欧司朗近期荣获荣耀 “旗舰能力建设奖”,该奖项是对其光学传感技术、全流程质量管理体系以及稳定交付能力的认可。艾迈斯欧司朗为荣耀提供环境光、接近传感、dToF 测距等多款传感产品,依托全球研发制造与本地化快速响应机制,支撑旗舰机型量产迭代。未来双方将持续协同,以光学传感方案升级智能终端用户体验。

传感技术

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆