人物专访

高通侯纪磊:全栈AI优化打造领先边缘性能

发布时间:2023-08-24 00:00:00 责任编辑:wenwei

【导读】7月6日,2023世界人工智能大会——芯片主题论坛在上海举办。会上,高通全球副总裁兼高通AI研究负责人侯纪磊博士做了题为《全栈AI优化 打造领先的边缘AI性能》的演讲,介绍了终端AI的重要性和优势,高通在终端AI方面特别是生成AI方面的进展,以及对于混合AI在高效推动AI规模化落地等方面的看法。


1689680737411069.jpg


全栈式AI优化 打造高效能AI


如今,尽管大量AI的训练和推理仍在云端进行,但终端侧的人工智能正变得越来越至关重要。通过在最靠近数据源头之处处理数据,并同云端形成互补,往往能够带来在隐私、可靠性、低时延、成本、能耗、个性化等方面的显著优势。


“比如在成本方面,生成式AI通常参数体量巨大,如果在端侧部署,能够推动成本的显著降低。而在AI数字助手方面,手机、驾舱、PC等使用场景,端侧AI则能够很好地满足私密性、个性化的需求。”侯纪磊说。


据侯纪磊介绍,早在十几年前,高通便开始了AI方面的研发,其中一个重要研究方向就是高效能AI,在包括硬件、算法和软件等层面进行了大量的研发创新。


在高效硬件方面,通过对高通移动平台中CPU、GPU、NPU等不同单元进行优化,最终使得针对不同任务,能够选择合适的计算模块运行,侯纪磊认为这是高通端侧AI非常显著的特点。在算法层面,高通具有一支顶尖的深度神经网络算法团队,有很多原创性的研究成果。在软件方面,在面向深度学习的软件加速runtime以及SDK/开发框架方面,高通对于客户以及开发者都做出了很好的支持。


“因此,高通AI研究的一个非常重要的原则,就是全栈式的AI创新和优化。通过跨层的模型、硬件和软件创新加速AI应用,这种早期研发和技术发明对于引领生态系统发展至关重要,而最终将技术提供给商业团队,并通过部署过程中的收获来影响未来的研究,形成正向循环。”侯纪磊说。


量化研究处于行业最前沿


据侯纪磊介绍,高通在高效能AI研发中,一个重要的部分是整体模型效率研究,目的是在多个方向缩减AI模型,使其在硬件上高效运行。


1689680723396421.jpg


比如在量化方面,学习在保持所需精度的同时降低比特精度;在条件计算方面,学习仅基于输入执行大模型图例模型部分组件;在神经网络架构搜索方面,学习设计更小的神经网络,能够在真实硬件上媲美或超过人工设计架构;在编译方面,学习编译AI模型以实现高效的硬件执行等。


“在量化方面,高通一直在业界进行无论是从学术研究还是落地层面的推动。包括Stable Diffusion和ChatGPT等最终要在端侧实现,量化一定是非常重要的手段。在高效能的推理方面,整数的点运算是非常重要的方向。在这方面,高通在积极推动相关学术研究,包括在顶级学术会议上的发布一些论文的同时,也会定期放到开源的工具包AIMET中。通过领先的AI研究和快速商业化,推动行业向整数推理和高能效AI方向发展。”侯纪磊说。


侯纪磊还重点提及了高通在2020年的一项研究成果——AdaRound量化研究算法,包括很多先进的理念和技术。


“高通能够将Stable Diffusion引入端侧,AdaRound就是其中一个非常重要的量化手段。此外,在大语言模型来到4bit时,包括GPTQ等主流技术,实际上也是基于AdaRound演进的简化。所以在量化方面,不管是学界还是业界,高通都处于非常前沿的位置。”候纪磊说。


广泛赋能众多类型终端


在今日开幕的2023 世界人工智能大会(WAIC)上,第二代骁龙8移动平台的高通AI引擎荣获此次大会的顶级奖项:SAIL奖——卓越人工智能引领者奖。


1689680709540917.jpg


第二代骁龙8凭借面向整个平台的开创性AI智能设计赋能了非凡用户体验,树立了网联计算的新标杆。其搭载高通技术公司处理速度最快、最先进的高通 AI 引擎,通过软硬件的一系列创新,相较上一代带来4.35倍的AI性能提升和60%的能效提升,从而为越来越多的创新型AI用例和AI增强的用户体验提供强大的性能基础。


高通 AI 引擎由多个硬件和软件组件组成,用于在骁龙移动平台上为终端侧 AI 推理加速。它采用异构计算架构,包括高通 Hexagon 处理器、Adreno GPU、Kryo CPU 和传感器中枢,共同支持在终端上快速而有效的运行 AI 应用程序。其关键核心 Hexagon 处理器拥有一系列创新,如提供专用供电系统、支持微切片推理、INT4精度、Transformer 网络加速等,可结合高通 AI 软件栈和 AI Studio 提供全栈 AI 能力和优化手段,在行业内率先在终端侧支持 Stable Diffusion、ControlNet 等生成式 AI 用例,并可与云端协同打造适应大模型时代的混合 AI 处理框架,从而助力AI体验创新和生态繁荣。


此外,侯纪磊介绍了AI在5G方面的应用。在今年的世界移动通信大会(MWC)上,高通发布了骁龙X75调制解调器及射频系统,引入了第二代高通5G AI套件,包括专用张量加速器。同时,据侯纪磊介绍,高通AI团队也与无线团队一直保持非常紧密的深入合作,从而能够保证将研究成果更快推向商用。比如通过AI技术进行毫米波波束管理,扩毫米波通信的覆盖范围;通过AI辅助GPS定位,提升定位的精准度等。


“目前,高通已经形成了在边缘侧的布局和规模化的优势。搭载骁龙和高通平台的用户终端数量已经达到数十亿台。每年有数亿台搭载骁龙和高通平台的终端进入市场。我们的AI能力赋能一系列广泛的产品,包括手机、汽车、XR、PC和物联网设备。”侯纪磊说。


持续推进支持百亿参数大模型


去年年底,由ChatGPT引发的生成式AI浪潮席卷全球,而在生成式AI方面,高通于数年前便开始着手布局。


侯纪磊认为,生成式AI将影响各类终端上的应用场景。比如XR方面,基于简单提示,创造沉浸式的3D虚拟世界;汽车方面,拥有先进驾驶辅助系统/自动驾驶,通过预测不同行为主体的轨迹和行为,帮助改进驾驶策略;在手机方面,成为真正的数字助手;在PC端,通过撰写电子邮件,创建演示文稿和编写代码,变革生产力;在物联网方面,有助于提升顾客和员工体验,比如提供库存和商店货架排列推荐等。


今年的MWC上,高通的第二代骁龙8移动平台已经可以支持参数超过10亿的AI模型运行,并进行了全球首次端侧运行超过10亿参数模型的演示。对于端侧能够有效支持的模型规模,侯纪磊认为,在广泛的用例中有很多基于10亿参数为单位,从10亿到100亿便能够涵盖相当多数的生成式AI,并能够提供非常好的效果。据侯纪磊介绍,未来几个月内,高通有望支持参数超过 100 亿的模型在终端侧运行,明年将能够支持参数超过200亿的模型。此外通过全栈式的AI优化,未来也将进一步缩短大模型的推理时间。


侯纪磊指出,云经济难以支持生成式AI的规模化发展。如基于传统方法和生成式AI的网络搜索,单次查询成本将是传统的10倍,如果再叠加众多的生成式AI应用以及数十亿的用户基数,这将在云端带来显著的负担。因此,推动端侧和云端互补的混合AI,将是未来推动生成式AI落地的显著趋势。


“未来场景中有中心云、边缘云、有终端侧,AI处理中心在一定程度上可以向边缘发展,因此混合AI是未来能够支持生成式AI、大语言模型等实现全球化、规模化发展的重要手段。这个过程中,在包括无线连接、高效计算、分布式AI等方面,高通都能够通过与业界的合作带来更多创新。”侯纪磊说。


1689680694890489.jpg


侯纪磊指出,对于混合AI的部署,当终端侧具备强大生成式AI能力的时候,可以作为一个“锚点”。比如帮助工程师生成代码,高通的愿景是未来一两年内,在100-200亿参数的范围内,能够使得大量工程师在端侧进行代码撰写。端侧AI作为智能“锚点”发挥指挥或协调的作用,可以将合格的代码交给开发者,不理想的生成代码指令再交给云端进一步处理,从而带给用户无缝体验。


1689680681373261.jpg


“终端侧AI具有诸多优势,是让AI无处不在的关键。混合AI是AI的未来,而我们的终端侧AI领导力将支持生成式AI规模化扩展。”侯纪磊最后强调。


作者:集微网,来源:雪球



免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:


纳芯微容隔技术,从容应对电源难题

固体放电管雷击应用优势

真实环境中的GNSS/GPS干扰和欺骗测试

不同壳温下SOA曲线的计算方法

这款高效、快速瞬态响应的直通升压控制器,你可能用得到


为您推荐

Rohde & Schwarz首次完成5G NR 3GPP Rel. 17节能功能SSSG的初步验证 业界新闻

Rohde & Schwarz首次完成5G NR 3GPP Rel. 17节能功能SSSG的初步验证

Rohde与Schwarz联合高通完成 3GPP Rel.17 5G NR SSSG(Search Space Set Group Switching,搜索空间集组切换)节能功能一致性测试案例的早期验证。本次验证基于 R&S TS-PCT 协议一致性测试平台与搭载高通 X105 5G 调制解调器射频方案的终端,验证 TS 38.523-1 TC 7.1.1.12.5 测试用例,同时反馈规范优化建议至 3GPP RAN5,推动这项 5G 终端节能特性从标准走向一致性测试与商用落地。

通信广电 RF /微波 测试测量 Qualcomm

移远 SP900BF‑AP 工业 AI 算力模组亮相慕尼黑,200TOPS 算力支持本地大模型运行 新品速递

移远 SP900BF‑AP 工业 AI 算力模组亮相慕尼黑,200TOPS 算力支持本地大模型运行

electronica 2026,移远通信推出 SP900BF‑AP 工业 AI 算力模组,采用高通跃龙 IQ‑9075,最高 200TOPS 稀疏算力,支持主流大语言模型、视觉语言模型本地部署;八核 Kryo CPU 最高 2.36GHz,可选配 36GB LPDDR5X+256GB UFS,支持多路摄像头、4K 高帧率编解码,PCIe/USB3.1 等高速接口齐全,适配 Ubuntu/Yocto Linux,面向工业机器人、视觉检测、边缘网关,提供十年生命周期保障,现已开放工程样片。

安防监控 通信广电 互联技术 测试测量 Qualcomm

广和通 SC236 智能模组亮相 electronica 2026,融合计算多媒体与连接能力 新品速递

广和通 SC236 智能模组亮相 electronica 2026,融合计算多媒体与连接能力

electronica 2026 慕尼黑电子展上,广和通发布 SC236 智能模组,该模组基于高通跃龙 Q-2390 处理器,采用 3×Cortex-A55+1×Cortex-A78 四核架构,搭载 Adreno 704 GPU,支持 FHD 显示、多路摄像头、LTE Cat.4、Wi-Fi、BLE5.0、GNSS 定位,预装 Android 系统,面向智能支付终端、工业手持机、执法仪、行车记录仪等 AIoT 设备。SC236 现已进入导入阶段,预计 2026 年 Q4 量产,推动模组从单纯通信连接向一体化智能平台升级。

安防监控 通信广电 互联技术 光电显示 通信模块 Qualcomm

高通 AI Hub 面向国内开发者上线,美格智能 MeiG MIND 互补赋能物理 AI 业界新闻

高通 AI Hub 面向国内开发者上线,美格智能 MeiG MIND 互补赋能物理 AI

高通 AI Hub 中国版本正式面向国内开发者与合作伙伴开放,面向手机、物联网终端推动生成式 AI 与智能体 AI 规模化落地。平台完成本土化部署,接入魔搭社区、CSDN 等本土开发者资源,提供 230 + 预优化模型、云端设备调试、模型量化转换能力。生态伙伴美格智能依托自研 MeiG MIND 工具链与之深度协同:MeiG MIND 拥有 204 + 实测模型库与 MEIGINE 引擎,输出真实硬件平台下的功耗、性能实测报告,并配套覆盖 0.5–700TOPS 的 AI 模组矩阵。二者分工互补,形成 “高通 AI Hub 获取优化模型、MeiG MIND 完成场景验证与工程落地” 的全链路服务,帮助客户低成本、高效率推进物理 AI 与端侧智能体产品化。

AI&loT 电源管理 Qualcomm

高通亮相 2026 移动网络大会,携手中国移动推进 AI 原生 6G 与智能体终端创新 业界新闻

高通亮相 2026 移动网络大会,携手中国移动推进 AI 原生 6G 与智能体终端创新

2026 移动网络大会在广州举办,大会由中国移动全球合作伙伴大会升级而来,主题为 “共创智能经济新形态”。高通深度参与本次大会,加入中国移动发起的 “Mobile AI 智能网及 6G 智能应用共创行动”,展出 6G 原型测试平台、第六代骁龙 8 至尊版旗舰机型、努比亚 NaviX Ultra、荣耀 Robot Phone 等智能体手机、AI 眼镜、四足机器人等物理 AI 终端。高通提出 AI 原生 6G 思路,推动连接、计算、AI 深度协同,持续和中国移动完成多轮 5G-A、6G 联合验证,共建移动智能生态。

通信广电 测试测量 Qualcomm

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆