选型指南

NVIDIA推出用于大型语言模型和生成式AI工作负载的推理平台

发布时间:2023-03-22 00:00:00 责任编辑:lina

【导读】NVIDIA于推出四款推理平台。这些平台针对各种快速兴起的生成式AI应用进行了优化,能够帮助开发人员快速构建用于提供新服务和洞察的AI驱动的专业应用。


谷歌云、D-ID、Cohere将新平台用于各种生成式AI服务,包括聊天机器人、文本生成图像内容、AI视频等。


NVIDIA推出用于大型语言模型和生成式AI工作负载的推理平台


加利福尼亚州圣克拉拉 -  GTC - 太平洋时间2023年3月21日 – NVIDIA于今日推出四款推理平台。这些平台针对各种快速兴起的生成式AI应用进行了优化,能够帮助开发人员快速构建用于提供新服务和洞察的AI驱动的专业应用。


这些平台将NVIDIA的全栈推理软件与最新的NVIDIA Ada、Hopper和Grace Hopper处理器相结合,包括今天推出的NVIDIA L4 Tensor Core GPU和NVIDIA H100 NVL GPU。各平台针对AI视频、图像生成、大型语言模型部署、推荐系统推理等需求激增的工作负载进行了优化。


NVIDIA创始人兼首席执行官黄仁勋表示:“生成式AI的兴起需要更加强大的推理计算平台。生成式AI应用的数量是无限的,它唯一的限制就是人类的想象力。为开发人员提供最强大、灵活的推理计算平台将加快新服务的创造速度,这些新服务将以前所未有的方式改善我们的生活。”


加速生成式AI的各种推理工作负载集


每个平台都包含一个为特定生成式AI推理工作负载而优化的NVIDIA GPU和专用的软件:


适用于AI视频的NVIDIA L4可提供比CPU高出120倍的AI视频性能,同时能效提高了99%。这款适用于几乎所有工作负载的通用GPU提供更加强大的视频解码和转码能力、视频流式传输、增强现实、生成式AI视频等。


适用于图像生成的NVIDIA L40针对图形以及AI支持的2D、视频和3D图像生成进行了优化。L40平台是NVIDIA Omniverse™(一个用于在数据中心构建和运行元宇宙应用的平台)的引擎,与上一代产品相比,其Stable Diffusion推理性能提高了7倍,Omniverse性能提高了12倍。


适用于大型语言模型部署的NVIDIA H100 NVL是规模化部署像ChatGPT这样的大型语言模型(LLMs)的理想平台。这款新的H100 NVL拥有94GB内存和Transformer引擎加速,在数据中心规模,与上一代A100相比,GPT-3上的推理性能提高了多达12倍。


适用于推荐模型的NVIDIA Grace Hopper是图形推荐模型、矢量数据库和图神经网络的理想平台。通过NVLink-C2C以900 GB/s 的速度连接CPU和GPU,Grace Hopper的数据传输和查询速度比PCIe 5.0快了7倍。


这些平台的软件层采用NVIDIA AI Enterprise软件套件,包括用于高性能深度学习推理的软件开发套件NVIDIA TensorRT™,以及帮助实现模型部署标准化的开源推理服务软件NVIDIA Triton Inference Server™。


早期采用者与支持


谷歌云是NVIDIA推理平台的重要云合作伙伴和早期客户。该公司正在将L4平台整合到其机器学习平台Vertex AI中,并且是第一家提供L4实例的云服务提供商,其G2虚拟机的私人预览版已于今天推出。


NVIDIA和谷歌今天分别宣布了首批在谷歌云上使用L4的两家机构——Descript和WOMBO,前者使用生成式AI帮助创作者制作视频和播客,后者提供“Dream”这一AI驱动的文本-数字艺术转换应用程序。


另一个早期采用者快手提供了一个短视频应用程序,利用GPU对传入的实时流媒体视频进行解码、捕捉关键帧并优化音视频。然后,它使用一个基于Transformer的大型模型理解多模态内容,从而提高全球数亿用户的点击率。


快手高级副总裁于越表示:“快手推荐系统所服务的社区每天的用户人数超过3.6亿,他们每天贡献3000万条UGC视频。在相同的总体拥有成本下,相较于CPU,NVIDIA GPU将系统的端到端吞吐量提高了11倍,将延迟降低了20%。”


领先的生成式AI技术平台D-ID,通过使用NVIDIA L40 GPU从文本中生成逼真的数字人,支持任何内容来生成人脸,不仅帮助专业人士改进视频内容,同时减少了大规模视频制作的成本和麻烦。


D-ID研发副总裁Or Gorodissky表示:“L40的性能十分惊人。有了它,我们将推理速度提高了一倍。D-ID十分高兴能够将这个新硬件作为我们产品的一部分,以前所未有的性能和分辨率实现AI人的实时流传输,并降低我们的计算成本。”


领先的AI制作工作室Seyhan Lee使用生成式AI为电影、广播和娱乐行业开发沉浸式体验和迷人的创意内容。


Seyhan Lee联合创始人Pinar Demirdag表示:“L40 GPU为我们的生成式AI应用带来了惊人的性能提升。凭借L40的推理能力和内存容量,我们可以部署非常先进的模型,并以惊人的速度和精度向客户提供创新的服务。”


语言AI领域的先锋Cohere所运行的平台使得开发人员能够在保护数据隐私和安全的情况下,构建自然语言模型。


Cohere首席执行官Aidan Gomez表示:“凭借NVIDIA的全新高性能H100推理平台,我们可以使用先进的生成式模型为客户提供更加优质、高效的服务,推动对话式AI、多语言企业搜索、信息提取等各种NLP应用的发展。”


供应情况


NVIDIA L4 GPU私人预览版现已通过谷歌云平台以及30多家计算机制造商所组成的全球网络提供。


NVIDIA L40 GPU现已通过全球领先的系统提供商提供,并且合作伙伴平台的数量将在今年持续增加。


Grace Hopper超级芯片已开始样品供货,预计下半年将全面投产。H100 NVL GPU也将于下半年面市。


NVIDIA AI Enterprise现在通过各大云市场以及数十家系统提供商和合作伙伴提供。NVIDIA AI Enterprise为客户提供NVIDIA 企业级支持、定期安全审查以及NVIDIA Triton Inference Server™、TensorRT™和50多个预训练模型与框架的API稳定性。


NVIDIA LaunchPad上免费提供的动手实验室可以试用用于生成式AI的NVIDIA推理平台。样品实验室的内容包括训练和部署一个客服聊天机器人、部署一个端到端AI工作负载、在H100上调整和部署一个语言模型以及使用NVIDIA Triton部署一个欺诈检测模型。


关于 NVIDIA自1993年成立以来,NVIDIA (NASDAQ: NVDA) 一直是加速计算领域的先驱。NVIDIA 1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形,开启了现代AI时代,推动了元宇宙的创建。NVIDIA现在是一家全栈计算公司,其数据中心规模的产品正在重塑整个行业。


免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:

Microchip推出全新MPLAB SiC电源模拟器,助力客户在设计阶段测试SiC电源解决方案

三星公布应用于移动及汽车设备的厘米级超宽带解决方案

大联大友尚集团推出基于ST产品的超声波氧气浓度传感器模块方案

Qorvo发布TOLL 封装的高功率 5.4mΩ 750V SiC FETs

Transphorm和伟诠电子合作发布集成式GaN SiP


为您推荐

思灵机器人完成 5 亿美元 F 轮融资,投后估值 85 亿美元,加速物理 AI 人形机器人产业化 业界新闻

思灵机器人完成 5 亿美元 F 轮融资,投后估值 85 亿美元,加速物理 AI 人形机器人产业化

物理 AI 企业思灵机器人宣布完成 5 亿美元 F 轮融资,由软银领投,英伟达、日立等参投,投后估值 85 亿美元,累计融资达 20 亿美元。资金将用于产能扩张、海外市场布局与人形机器人应用开发;同步推出适配英伟达 GR00T 生态的 Agile ONE SN 科研人形平台,并联合奥迪、达索、英伟达开展工厂零件拣选项目,公司已落地 20000 套工业机器人方案,冲刺规模化商用。

Nvidia(英伟达)

曦选创智完成 5 亿天使轮融资(投后 40 亿),打造自主可控具身智能端侧算力平台 业界新闻

曦选创智完成 5 亿天使轮融资(投后 40 亿),打造自主可控具身智能端侧算力平台

由优必选、沐曦股份联合发起的曦选创智完成 5 亿元天使轮融资,投后估值 40 亿元。公司聚焦自主可控具身智能端侧芯片,采用 “机器人真实任务牵引芯片定义” 路线,首颗自研主控 SoC 定位大小脑一体架构,对标 NVIDIA Thor,以通用 GPGPU 为核心、搭建类 CUDA 软件生态;本轮资金将投入芯片架构、工具链、团队建设与客户联合验证,计划 2027 年交付验证平台、2028 年推出正式 SoC 产品,补齐国产机器人端侧算力短板。

Nvidia(英伟达)

Supermicro 联合 IBM、NVIDIA 推出 KV Cache 存储方案 大幅优化长上下文 AI 推理 新品速递

Supermicro 联合 IBM、NVIDIA 推出 KV Cache 存储方案 大幅优化长上下文 AI 推理

2026 年 11 月 5 日,Supermicro(美超微,SMCI)宣布携手 IBM、NVIDIA 推出全新 KV Cache 存储解决方案。整套方案搭载 AMD EPYC 9005(Turin)处理器的 Petascale 全闪存存储服务器、IBM Storage Scale、NVIDIA Dynamo 推理框架与 Spectrum-X 以太网,将 KV 缓存卸载至共享存储,突破 GPU 显存限制。基于 1200 亿参数大模型测试,13 万 token 输入下首个词元生成速度提升最高 56 倍,显著提升 GPU 利用率与推理吞吐量,适配 AI 智能体、RAG、多轮对话等长上下文业务。

互联技术 测试测量 存储器 Nvidia(英伟达)

链博会首发|云尖 R8260 N8 AI Agent 服务器:搭载 NVIDIA Vera CPU 新品速递

链博会首发|云尖 R8260 N8 AI Agent 服务器:搭载 NVIDIA Vera CPU

第四届链博会,云尖信息在 NVIDIA 展区发布 R8260 N8 AI Agent 服务器。这款 iPRO 系列 2U 机型搭载 NVIDIA Vera CPU,依托 PCIe 6.0、C2C 一致性互联,主打强单核、高带宽、低功耗,针对性解决 AI Agent 场景 CPU 拖累 GPU、KV Cache 受限等痛点,适配 AI 推理、企业级 Agent、HPC 等业务,兼顾性能与 TCO。

电源管理 互联技术 CPU Nvidia(英伟达)

Cadence 推出 Maestro 领域专用 AI 模型组合,赋能智能体芯片与系统 EDA 设计 新品速递

Cadence 推出 Maestro 领域专用 AI 模型组合,赋能智能体芯片与系统 EDA 设计

楷登电子(Cadence)正式推出 Maestro™领域专用 AI 模型组合,为半导体、系统设计流程中的 AI Super Agent 提供算力支撑。该方案垂直整合强化学习闭环,打通 Maestro 模型、AuraStack/ChipStack 等 Agent 套件与 Cadence EDA、SDA 工具链。实测对比通用大模型,设计成果质量最高提升 30%,Token 效率提升 5 倍;支持混合调用前沿大模型与领域专用模型,兼顾云端与客户本地私有化部署,NVIDIA、Socionext、Silicon Labs 已开展合作验证,首批 Maestro 模型将于 2026 年 Q4 面向早期客户开放。

Nvidia(英伟达)

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆