新品速递

Supermicro 联合 IBM、NVIDIA 推出 KV Cache 存储方案 大幅优化长上下文 AI 推理

发布时间:2026-11-06 00:00:00 来源:转载 责任编辑:lijiahuan

【导读】2026 年 11 月 5 日,Supermicro(美超微,SMCI)宣布携手 IBM、NVIDIA 推出全新 KV Cache 存储解决方案。整套方案搭载 AMD EPYC 9005(Turin)处理器的 Petascale 全闪存存储服务器、IBM Storage Scale、NVIDIA Dynamo 推理框架与 Spectrum-X 以太网,将 KV 缓存卸载至共享存储,突破 GPU 显存限制。基于 1200 亿参数大模型测试,13 万 token 输入下首个词元生成速度提升最高 56 倍,显著提升 GPU 利用率与推理吞吐量,适配 AI 智能体、RAG、多轮对话等长上下文业务。


Supermicro-IBM-KV-Cache.jpg


KV Cache high-performance platform for large-scale AI inference


这些技术相结合,可大幅缩短 AI 模型开始生成响应所需的时间。随着企业采用智能体和长上下文 AI 工作流,这一优势变得尤为重要。利用本地 GPU 内存以外的存储空间扩展 KV cache 容量,可提高 GPU 利用率和推理吞吐量,同时支持 KV cache 内容的高可用性,以及 KV cache 容量的无中断扩展。由此构建的推理架构更具可扩展性和韧性,能够带来更快捷、响应更灵敏的 AI 体验。


Supermicro 总裁兼首席执行官 Charles Liang 表示:“随着 AI 工作负载从训练扩展到推理,企业和新型云服务商在部署智能体 AI,以及长上下文、多轮交互生成式 AI 所需的高吞吐量推理工作负载时,需要消除瓶颈,以提高 GPU 效率。我们与 IBM 和 NVIDIA 联合推出的解决方案,清晰展现了这些性能优势。”


推理工作负载包含两个阶段:预填充和解码。在预填充阶段,输入文本被转换为词元(token),再由大语言模型(LLM)处理,生成推理所需的中间键值(KV)状态。通过将这些已计算的 KV 状态存入持久化 KV cache,系统可以复用这些状态,而无需为后续请求重新计算相同的上下文。智能体工作流、编程助手、长上下文检索增强生成(RAG)、多模态 AI 及多轮交互应用,在处理大型代码库、文档、对话、图像和其他上下文时,可能产生大量 KV 状态,迅速超出 GPU 和 CPU 的内存容量,因此需要将 KV cache 卸载至大容量共享网络存储。


Supermicro、IBM 和 NVIDIA 的 KV cache 解决方案提供了这一持久化存储层,有助于提升推理效率、吞吐量及可扩展性,同时减少重复计算。


该 KV cache 解决方案为客户带来的主要优势包括:


联合方案验证:Supermicro、IBM 和 NVIDIA 开展了广泛的集群级测试,以衡量性能,测试涵盖高并发,以及其他工作负载引发网络流量干扰的场景。


显著提升推理速度与性能一致性:Supermicro 与 NVIDIA 使用一个拥有 1,200 亿参数的大语言模型进行联合测试。结果显示,在提示输入长度为 13 万个词元时,持久化 KV cache 可使首个词元生成时间(TTFT)比未使用 cache 时快达 56 倍。[1] 当输入长度从 3 万个词元增加至 13 万个词元时,使用 KV cache 的系统,其 TTFT 仅增加 0.377 秒,而未使用 KV cache 的系统则增加 29.55 秒,从而为长上下文工作负载提供更一致的性能。


提高 GPU 利用率和吞吐量:通过将频繁复用的上下文保存在 GPU 内存之外并保持可用,该解决方案有助于减少 GPU 空闲时间、提高推理吞吐量,并在无需同比例增加 GPU 资源的情况下支持更高并发。


企业级韧性与可信 AI 运营:持久化、高可用的 KV cache 有助于保护已缓存的推理状态,同时支持 GPU 节点和集群之间的共享访问,为大规模 AI 服务提供更强的韧性和更高的存储效率。


经过验证、可直接部署的 AI 基础设施:Supermicro、IBM 和 NVIDIA 在高并发及工作负载相互干扰的场景下,联合验证了这一集成架构。该架构结合了 NVIDIA Dynamo、IBM Storage Scale 软件、Supermicro Petascale 服务器及 NVIDIA Spectrum-X 网络。


加速部署服务:Supermicro 的工厂机架集成及现场部署服务,可将该解决方案的部署时间从数周缩短至数天。


“企业需要从根本上改进 AI 推理的扩展方式。IBM、Supermicro 和 NVIDIA 正携手提供高性能、富有韧性的 KV cache 解决方案,帮助客户充分发挥 GPU 投资价值,让存储容量独立于计算资源进行扩展,并显著提高基础设施效率。”IBM 存储业务总经理 Sam Werner 表示。“这项合作是推动企业 AI 推理向更易扩展、更可靠、更具成本效益方向发展的重要一步。”


NVIDIA AI 推理产品负责人 Shruti Koparkar 表示:“智能体 AI 和长上下文应用需要在多个步骤之间高效复用上下文。NVIDIA Dynamo 有助于编排分布式推理,让企业从每块 GPU 获得更多可用吞吐量。通过将 NVIDIA Dynamo 和 Spectrum-X 以太网,与 Supermicro Petascale 存储服务器及 IBM Storage Scale 相结合,这套 KV cache 解决方案构建了一个高性能共享存储层,能够减少重复计算、缩短首个词元生成时间,并帮助客户扩展具备韧性的 AI 推理服务。”


关于 Super Micro Computer, Inc.


Supermicro(纳斯达克股票代码:SMCI)是应用优化整体 IT 解决方案的全球领军企业。Supermicro 在加利福尼亚州圣何塞成立并运营,致力于为企业、云、AI 和 5G Telco/Edge IT 基础设施提供率先进入市场的创新技术。我们是一家提供服务器、人工智能、存储、物联网、交换机系统、软件和支持服务的整体IT解决方案提供商。Supermicro 的主板、电源和机箱设计专业知识进一步推动了我们的开发和生产,为我们的全球客户实现了从云到边缘的下一代创新。我们的产品均在公司内部(包括美国、亚洲和荷兰)完成设计和制造,通过全球运营实现规模和效益,从而优化总体拥有成本 (TCO),并能够(通过绿色计算)减少对环境的影响。屡获殊荣的 Server Building Block Solutions® 产品组合通过我们灵活可重复使用的构建块,为客户提供了丰富的可选系统产品系列,用于优化其确切的工作负载和应用。这些构建块支持全系列外形规格、处理器、内存、GPU、存储、网络、电源和冷却解决方案(空调、自然空气冷却或液体冷却)。


结论


这套三方联合 KV Cache 平台,直击当前长上下文、智能体 AI 推理的核心瓶颈:GPU 显存容量有限、长 token 场景下首词延迟飙升、GPU 算力浪费。它跳出 “靠堆叠 GPU” 的传统思路,把 KV 缓存放到独立、可横向扩展的共享全闪存存储中,实现算力与存储资源解耦扩容。集群级验证结果证明,在高并发、网络干扰场景下,方案依然保持稳定的推理延迟,同时依托 Supermicro 机架集成服务缩短交付周期。对于云服务商、企业 AI 平台而言,该方案可以更好释放 GPU 投资价值,支撑 RAG、AI 智能体、代码助手等复杂生成式业务规模化落地。


gg_20260512171736_266_20260622170931_179_20260707113844_971_20260708172203_213_20260710172006_775.png


为您推荐

AMD EPYC 嵌入式 9006 SP7 正式发布,Zen6 架构最高 256 核 业界新闻

AMD EPYC 嵌入式 9006 SP7 正式发布,Zen6 架构最高 256 核

AMD 正式发布 EPYC(霄龙)嵌入式 9006 系列 SP7 处理器,基于 Zen 6 架构,最高搭载 256 核 512 线程,支持 PCIe Gen6、CXL 3.1 高速互联,配套多层硬件安全引擎与七年产品供货周期。相较上一代 9005 系列,该系列吞吐量最高提升 1.8 倍、内存带宽最高提升 2.7 倍,主打半导体自动测试设备 ATE、企业存储、高端网络防火墙三大高吞吐嵌入式场景,可满足 AI 浪潮下高速内存、SSD 验证、大流量安全处理、密集存储服务的算力与 I/O 需求。128 核 SKU 将于 11 月 15 日上市,其余型号年底前陆续出货,三星、Lanner、Portwell、IEI 等厂商已同步开展平台适配。

互联技术 测试测量 存储器 SAMSUNG(三星)

安立 MP1900A 信号质量分析仪获铠侠采用,支撑 PCIe 6.0 SSD 调试与一致性测试 业界新闻

安立 MP1900A 信号质量分析仪获铠侠采用,支撑 PCIe 6.0 SSD 调试与一致性测试

【导读】安立宣布,铠侠已选用 MP1900A 信号质量分析仪,开展 PCIe 5.0、PCIe 6.0 SSD 高速接口质量评估。AI 与云服务器推动存储带宽持续升级,PCIe 6.0 速率提升也加大了信号完整性、链路训练验证难度。MP1900A 单台设备即可完成接收端与信号完整性测试,覆盖研发到一致性认证全流程,铠侠利用它完成 FBER、链路均衡、LTSSM 状态分析以及偶发误码定位等调试工作。

互联技术 测试测量 存储器

HBM封装订单激增,产能排期已至2026年 业界新闻

HBM封装订单激增,产能排期已至2026年

全球存储市场正迎来强劲复苏,2025年第四季度DRAM与NAND合约价预计涨幅达15%-20%,DDR4现货价格同步走高,市场库存快速去化。在这一波景气回升中,AI驱动的高带宽内存(HBM)需求成为核心引擎,其封装测试订单已排期至2026年,封测企业产能利用率与毛利率同步提升。随着英伟达Blackwell Ultra GPU量产推进及CoreWeave签署63亿美元AI算力合同,HBM供需缺口进一步扩大,封测环节作为产业链关键瓶颈,正迎来量价齐升的黄金期。

测试测量 存储器 Nvidia(英伟达)

英飞凌推出业界首款抗辐射1 Mb和2 Mb并行接口铁电RAM F-RAM 选型指南

英飞凌推出业界首款抗辐射1 Mb和2 Mb并行接口铁电RAM F-RAM

太空应用是英飞凌科技股份公司(FSE代码:IFX / OTCQX代码:IFNNY)的一个重要领域。英飞凌的产品被用于卫星、火星探测器仪器、太空望远镜等,即便在极端恶劣的条件下,这些应用也必须具备出色的可靠性。全球功率系统和物联网领域的半导体领导者英飞凌近日推出业界首款抗辐射(rad hard)1 Mb和2 Mb并行接口铁电RAM(F-RAM)非易失性存储器。这款存储器是英飞凌丰富存储器产品组合中的新成员,其特点是具有出色的可靠性和耐用性,在85摄氏度条件下的数据保存期长达 120 年,并且能以总线速度进行

AI&loT 互联技术 测试测量 存储器 Infineon(英飞凌)

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆