【导读】大模型竞争进入推理阶段后，AI基础设施面对的任务已经和预训练时期有了明显差别。过去数年，训练大模型是AI基础设施建设的主攻方向。如今到了AI工厂时代，Token开始成为衡量产出的基本单位，推理，尤其是代理式AI，逐渐成为数据中心承载的重要工作负载。
代理式AI需要处理的内容远比一次模型问答复杂。模型接收用户输入后，可能需要生成推理过程，调用搜索、数据库和企业软件，执行代码并访问外部工具，最后再对结果进行验证。多个智能体协作时，一项任务还会在不同模型、软件服务和执行环境之间反复流转。
这些工作并不都适合交给GPU完成。GPU负责模型计算，CPU需要运行沙箱、编译代码、调用工具和管理执行环境；推理生成阶段又同时面临高吞吐量和低延迟要求；不断扩大的KV Cache则开始占用更多内存和存储资源。当任务链路越来越长，单独提高GPU峰值算力已经很难带动整套系统同步提速。
在这样的工作负载变化下，英伟达打造出一套以Vera Rubin为基础的POD级AI基础设施。超级平台包含Vera CPU、Rubin GPU、Groq 3 LPU、BlueField-4 DPU、NVLink 6交换芯片、ConnectX-9 SuperNIC和Spectrum-6以太网交换芯片七款核心芯片，并组成GPU计算、CPU沙箱、低延迟推理、上下文存储和网络五类机架级系统。
这五类系统分别处理高吞吐量计算、密集型CPU任务、低延迟Token生成、KV Cache存储和集群通信，再通过统一的网络、供电、液冷和机械架构连接成一座POD级AI工厂。
Vera Rubin的设计重点也由单颗芯片性能，扩展到处理器分工、机柜连接和数据中心基础设施的整体协同。
五类机架级系统共同组成一台POD级AI超级计算机
CPU重新成为AI系统的关键资源
在强化学习和智能体应用中，CPU可能成为整套系统的瓶颈。随着智能体循环中的代码编译、脚本执行、工具调用和环境验证任务增加，GPU吞吐量提升并不能同步缩短这些环节的处理时间。强化学习环境和智能体沙箱持续扩张后，CPU机柜在AI集群中的配置规模也开始增加。
Vera CPU采用88个英伟达自研Olympus核心，并引入Spatial Multithreading空间多线程技术。与多个线程高度共享核心资源的常见多线程设计相比，Spatial Multithreading会为两个硬件线程划分部分核心资源，减少高并发负载下的资源争用，使单个沙箱任务的执行时间更加稳定。单颗CPU可以运行176个硬件线程，内存带宽达到1.2TB/s，每个插槽最多配置1.5TB LPDDR5X SOCAMM内存。与传统服务器DIMM相比，SOCAMM可以同时保留LPDDR的带宽和能效优势，以及服务器需要的模块化灵活更换能力。
一套独立的Vera CPU液冷机柜最多可以安装256颗CPU。按照英伟达公布的数据，单机柜可以同时维持超过22500个强化学习或智能体沙箱环境。
另外，Vera还会以多种形态进入数据中心。它可以作为Vera Rubin NVL72中的主机CPU，通过NVLink-C2C与Rubin GPU紧密连接；也可以进入HGX Rubin NVL8等加速服务器平台。独立部署时，Vera还可以组成单路或双路服务器，承担数据处理、HPC、云基础设施和存储任务；在BlueField-4 STX中，Vera CPU又与ConnectX-9 SuperNIC结合，进入上下文存储基础设施。英伟达由此把Vera扩展到了GPU主机、CPU密集型机柜、通用服务器和存储系统等多个位置。
在英伟达给出的对比数据显示，Vera CPU的代理式沙盒性能及内存带宽性能均高于X86。
NVL72机架级计算引擎
CPU地位上升，并没有削弱GPU在Vera Rubin中的计算核心位置。Vera Rubin NVL72集成72颗Rubin GPU和36颗Vera CPU，由18个计算托盘和9个NVLink交换托盘组成。每个计算托盘安装两组Vera Rubin Superchip，机柜内部的72颗GPU再由NVLink组成一个大型计算域。
NVLink承担的是Scale-up任务，它把同一个机架中的GPU组织成一个高带宽计算域，模型参数、激活值和中间结果可以在GPU之间高速交换。
NVLink交换芯片还可以执行部分网络内计算，把数据规约和集合通信中的部分处理移出GPU，由此减少GPU的通信管理开销。
加码推理，LPU出现
英伟达在2026年将Groq 3 LPU加入Vera Rubin，形成独立的LPX推理机柜。每个LPX机柜包含256颗LPU，采用片上SRAM和确定性执行架构，面向低延迟Token生成。LPX会与NVL72配合使用，Rubin GPU处理长上下文、Attention和计算密集型任务，LPU承担部分逐Token解码和MoE专家计算。
预填充阶段需要一次处理完整输入上下文，矩阵规模大、并行度高，GPU可以充分发挥计算吞吐和HBM容量。但到了Decode阶段，按照自回归方式逐个生成Token，每一轮都要等待上一轮结果，计算颗粒更小，用户对延迟也更加敏感。
推理模型开始生成数千甚至数万个思考Token后，Decode占用的时间迅速增加。扩大Batch可以提高GPU总吞吐量，也会让一个请求在队列中等待更长时间。高吞吐量和低交互延迟很难在同一种配置下同时达到。
这套分工把推理进一步拆开：GPU追求整体吞吐量，LPU缩短用户等待每个Token的时间，CPU则负责执行工具和验证结果。三类处理器需要反复交换状态和中间数据，系统性能越来越依赖调度软件和网络能否准确地把任务送到合适的硬件。
英伟达公布的测试中，Vera Rubin NVL72与LPX组合在特定万亿参数模型上，相较Blackwell可获得最高35倍Token产出和最高10倍收入机会。
存储正在变得极其重要
推理规模扩大后，另一个快速增长的资源是KV Cache。
KV Cache是已经计算过的上下文状态，模型生成下一个Token时，可以直接读取这些结果，无需重新计算全部历史内容。聊天机器人通常只在一次对话中保留上下文，智能体需要长期保存任务目标、工具调用结果、中间推理和其他智能体返回的数据，多个服务还可能重复访问同一份上下文。
现有推理系统通常把KV Cache放在GPU HBM中。HBM速度快、成本高、容量有限，空间不足后，数据会依次下沉到CPU内存、本地SSD和网络存储。每下降一级，容量增加，访问延迟也会上升。GPU等待KV Cache返回时，Decode流程会暂停，系统吞吐量随之下降。
传统共享存储围绕永久数据设计，需要处理多副本、数据保护、一致性和长期保存。KV Cache属于推理过程中产生的临时状态，部分数据丢失后也可以重新计算。两类数据的访问特征和可靠性要求差异很大，英伟达由此在GPU和CPU内存之外，增加了面向KV Cache的CMX Context Memory Storage。它以BlueField-4 STX机柜为基础，在POD内部提供一层高带宽、可共享的上下文存储，使KV Cache可以在不同轮次、会话和智能体之间重复使用，减少GPU HBM容量占用和远端共享存储访问。
英伟达的CMX可基于BlueField-4 STX机柜构建， NVIDIA BlueField-4 STX 机架采用 NVIDIA BlueField-4 处理器，该处理器结合了 Vera CPU 和 ConnectX-9 SuperNIC，并通过 Spectrum-X 以太网网络进行横向扩展。BlueField-4负责NVMe访问、数据完整性、加密和KV数据传输，Spectrum-X提供低延迟的RDMA网络。系统可以在Decode开始前，把即将使用的数据提前送入GPU或者主机内存，从而减少GPU等待。
英伟达称，CMX在长上下文和智能体推理中可以带来最高5倍的持续Token吞吐量，以及最高5倍于传统存储的能效。这些指标属于厂商测试结果，CMX的系统价值仍然容易理解：昂贵的HBM可以保存最活跃的数据，更大规模的推理上下文进入一个针对KV Cache优化的共享层，GPU因此减少重复计算和远端存储等待。
如图所示，G3.5的CMX 位于本地SSD和网络存储共享之间，提供了有效数据缓冲。
面对不同数据流的网络拓扑
计算、CPU执行、低延迟解码和上下文存储被拆分到不同机柜后，网络需要处理的数据流也需要分层传输，AI工厂中的网络可以归纳为五类：Scale-up、Scale-out、Scale-across、存储网络和管理网络。
Scale-up负责连接同一个计算域内的GPU。在Vera Rubin NVL72中，NVLink 6将72颗Rubin GPU组成一个高带宽计算域，用于模型并行、GPU内存访问和高频集合通信，对带宽、延迟和抖动提出了极高要求。
Scale-out指东西向扩展，负责连接多个机柜。英伟达同时提供InfiniBand和Spectrum-X Ethernet。InfiniBand长期服务于HPC和并行计算，RDMA、无损网络以及集合通信机制较为成熟；Spectrum-X面向已经拥有大量以太网基础设施的云厂商和企业，使这些客户继续使用已有的运维体系、网络人才和管理软件。用户可以根据自己需求灵活选择部署。
Scale-across则负责连接不同数据中心。随着AI工厂的扩大，单个园区的电力、土地和冷却容量有限，AI集群可能部署在多个建筑、多个园区甚至相距数百公里的设施中。长距离通信会增加传播延迟和带宽时延积，机房内部使用的拥塞控制参数难以直接套用。英伟达的Spectrum-XGS技术，通过拓扑感知拥塞控制、延迟管理和端到端遥测，让分布在不同设施中的算力参与同一套AI任务。英伟达称，其在跨数据中心环境中的NCCL性能最高可提高1.9倍。
传统企业数据中心中，一台服务器或者虚拟机可以独立处理大部分业务。单个数据包延迟略有波动，通常只会影响一个请求。而AI训练需要面向数千颗GPU，一轮本地计算结束后，所有节点要通过All-Reduce、All-Gather或All-to-All交换数据，再进入下一轮计算。
因此，不能因为一颗处理器的网络拥塞影响其他GPU。网络抖动影响的范围也由一个请求扩大到整个训练集群。AI网络需要同时关注有效带宽、尾延迟、丢包率、拥塞恢复时间以及每轮通信耗时是否稳定。这需要无损、低延迟和接近零抖动的网络。
CPO量产进行时
数据中心除了芯片耗能之外，网络设备的功耗同样不容忽视。传统可插拔光模块速率提升到800Gb/s和1.6Tb/s后，其内部电芯片的耗电量激增，信号损耗、驱动功耗和散热压力都会明显提升。
利用CPO（共封装光学）技术，可以把硅光引擎放到交换芯片封装附近，将高速电信号的传输距离缩短到毫米级，随后尽早转换成光信号，从而减少网络功耗和延迟。
Spectrum-X Ethernet Photonics基于Spectrum-6，最高交换容量达到409.6Tb/s。与可插拔光模块方案相比，CPO可以获得5倍网络能效，并将AI应用的持续运行时间提高5倍。同时，CPO不需要传统DSP重定时器，可以缩短网络延迟。
MGX和DSX把协同设计延伸到机房
英伟达MGX提供开放式模块化参考架构，使 OEM、ODM 和生态系统合作伙伴能够更快地构建加速系统，对于系统组装商而言，MGX 通过使用共享参考设计将每个平台的研发成本降低 200 – 400 万美元。
虽然 NVIDIA MGX NVL 机架提供大规模纵向扩展的计算域，但代理式 AI 工作流需要高度专业化的节点来实现超低延迟推理、CPU 沙盒和用于 KV 缓存的加速上下文内存。为满足这些不同需求，Vera Rubin 推出了 MGX ETL 机架架构，这是一种完全可配置的全新 MGX 机架，其设计采用 Spectrum-X 以太网主干或直接芯片到芯片主干，利用与 MGX NVL 机架相同的机架级生态系统。
MGX ETL与MGX NVL采用相同的机架尺寸，并共享主要机械结构、铜缆背板、供电和液冷部件。OEM和ODM可以在相同的机房条件与供应链体系下，构建GPU计算、CPU沙箱、LPX推理和BlueField-4 STX存储机柜，减少不同系统分别开发和验证的成本。
功率管理也进入协同设计范围。AI训练和推理会产生快速负载变化，在机架层面，Vera Rubin NVL72 通过功率平滑技术来平衡功率波动，并集成了比 Blackwell Ultra 多 6 倍的局部能量缓冲，能够在源端直接吸收快速的功率瞬变，这套机制可以将峰值电流需求降低最高25%。另外，MGX还支持45℃进水温度和5000A液冷母排，较高的进水温度可以减少部分地区对压缩机制冷的依赖。
NVIDIA Vera Rubin DSX 则是一个 AI 工厂平台，可为共同设计的 AI 基础设施 (从芯片到电网) 提供蓝图和参考设计。AI工厂建设前，厂商可以在Omniverse数字孪生中模拟网络协议、端口配置、机柜布局、功率分配和冷却效果，提前进行系统仿真，从而提前进行各类指标评估，避免返工。
通过协同设计，拓展整条推理供应链
Vera Rubin最值得关注的变化，可能并非某一颗芯片增加了多少算力，而是英伟达开始围绕推理和智能体任务重新分配系统资源，Vera Rubin也是英伟达迄今为止的集大成者。
GPU仍然是主要的模型计算引擎，CPU需求上升后，英伟达用Vera覆盖智能体沙箱、强化学习和通用数据处理；Decode对延迟的要求，使得LPU+SRAM进入了推理流程中；KV Cache容量持续扩大，则利用BlueField-4和CMX形成新的存储形态；最后用不同的网络连接拓扑将系统构成POD甚至更大规模的集群，诸如NVLink、Spectrum-X、InfiniBand和Spectrum-XGS等等，从而打造出真正的AI工厂。
当基础设施扩展到POD规模，AI系统的评价维度理应随之增加。单颗GPU的峰值性能仍然重要，Token生成速度、单用户延迟、每瓦吞吐量、GPU有效利用率、系统持续运行时间和CPU沙箱处理能力，也开始共同决定一座AI工厂的实际产出。
Vera Rubin代表了英伟达在推理时代的一次能力边界扩张。产品定义已不只是GPU和服务器，也包括不同处理器之间的任务分工、机柜之间的网络连接，以及从功率分配、液冷到机房建设的整体协同。
