NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 结果公布

Agentic 编码工作负载难以高效服务

Vera Rubin NVL72 每兆瓦性能领先 GB300 NVL72 最高约 5.7 倍

Vera Rubin NVL72 延续了 GB300 NVL72 的机架级设计，在单个 NVLink 域中集成 72 个 GPU 和 36 个 CPU。每个 Rubin GPU 拥有与 Blackwell Ultra 相同的 288 GB 内存，但内存带宽提升至 2.4 倍（得益于 HBM4），NVLink 带宽提升至 1.7 倍，密集 NVFP4 算力提升至 2.3 倍，而 Vera CPU 将其与 GPU 之间的 NVLink-C2C 带宽翻倍，这条链路负责传输卸载到 CPU 内存的任何 KV 缓存。

每 GPU	Rubin（Vera Rubin NVL72）	Blackwell Ultra（GB300 NVL72）
GPU 内存	288 GB HBM4	288 GB HBM3E
内存带宽	19.2 TB/s	8 TB/s
NVLink 带宽	3.0 TB/s（NVLink 6）	1.8 TB/s（NVLink 5）
密集 NVFP4 算力	35 PFLOPS	15 PFLOPS
稀疏 NVFP4 算力	50 PFLOPS	20 PFLOPS
CPU	Vera，88 核	Grace，72 核
每超级芯片的 CPU 到 GPU 链路	1.8 TB/s NVLink-C2C	0.9 TB/s NVLink-C2C
这些结果中的实测功耗	0.5 至 1.9 kW	0.3 至 1.0 kW

规格来自 NVIDIA 截至 2026 年 10 月的 Vera Rubin NVL72、Blackwell Ultra 和 GB300 NVL72 页面。实测功耗是每个 GPU 在负载下的自身功耗（GPU 及其 HBM，由 NVIDIA 的 DCGM/SMI 遥测报告，不包括 CPU、网络和冷却），覆盖各系统在四个模型前沿上的配置。

四个模型的结果

下面每张图都将每兆瓦实测 GPU 功耗的总吞吐量与每用户输出速度进行对比。总吞吐量计入输入 token（缓存的和新预填充的）和输出 token，其中约 96% 为缓存输入，每用户速度是各请求的第 25 百分位数（p25），不含首 token 时间，这也是我们全文引用的速度。每个点是在设定数量的 agent 下的一个服务配置，箭头标记 Vera Rubin 相对 GB300 的最大领先幅度。

在峰值吞吐量下，Vera Rubin NVL72 在 DeepSeek V4 Pro 上每兆瓦服务 272M tokens/s，而 GB300 NVL72 为 239M（1.14 倍）；在 DeepSeek V4.1 Flash 上为 571M 对 395M（1.45 倍）；在 GLM-5.2 上为 272M 对 201M（1.35 倍）；在 Kimi K3 上为 70M 对 56M（1.26 倍）
Vera Rubin 的领先幅度在 GB300 吞吐量下滑的地方最大，在 DeepSeek V4 Pro 上每用户约 190 tok/s 时达到约 5.7 倍，在 DeepSeek V4.1 Flash 上约 580 tok/s 时达到约 5.4 倍，在 GLM-5.2 上约 165 tok/s 时达到约 3.0 倍，在 Kimi K3 上约 67 tok/s 时达到约 2.8 倍。在 DeepSeek V4 Pro 上，每用户速度从约 120 提升到约 165 tok/s 会让 GB300 损失其每兆瓦吞吐量的 81%，而 Vera Rubin 仅损失 16%
按每 GPU 计算，Vera Rubin 的领先幅度更大：峰值吞吐量下为 2.0 倍至 2.5 倍，在 DeepSeek V4 Pro 上每用户约 165 tok/s 时最高约 12 倍，在 DeepSeek V4.1 Flash 上约 580 tok/s 时约 18 倍，在 GLM-5.2 上约 200 至约 310 tok/s 之间约 7 倍，在 Kimi K3 上约 176 tok/s 时约 7 倍
Vera Rubin 最快的配置在我们的排行榜上创下了 DeepSeek V4.1 Flash（906 tok/s，所有模型中最快的结果）、GLM-5.2（408 tok/s）和 Kimi K3（255 tok/s）的最高每用户速度

更高的能效降低了服务每个 token 的运营成本，而且随着 AI 数据中心日益受限于可获取的电力而非可安装的加速器数量，它还能让同一数据中心服务更多智能体。例如，在每用户约 165 tok/s 的速度下，相同的 GPU 功耗预算在 Vera Rubin NVL72 上可服务的 DeepSeek V4 Pro token 数量约为 GB300 NVL72 的 5 倍。我们排行榜上的每一个数据点都附带了其背后的服务配置，可在我们的配置浏览器中查看，因此团队可以从针对自身硬件调优好的设置入手，而不必自行开展性能研究。

DeepSeek V4 Pro 的结果在高速下展现出最大领先优势

DeepSeek V4.1 Flash 的结果在我们排行榜上创下最高吞吐量和速度

GLM-5.2 的结果在更快的速度下展现出约 3 倍的领先优势

Kimi K3 的结果在中等速度下展现出约 2.8 倍的领先优势

NVIDIA 针对智能体工作负载调优了其 Vera Rubin 技术栈

各模型 Vera Rubin 配置概览

	DeepSeek V4 Pro	DeepSeek V4.1 Flash	GLM-5.2	Kimi K3
服务技术栈	TensorRT-LLM 搭配 NVIDIA Dynamo	vLLM 搭配 NVIDIA Dynamo	TensorRT-LLM 搭配 NVIDIA Dynamo	TensorRT-LLM，以及用于 1 个智能体的 vLLM，两者均搭配 NVIDIA Dynamo
权重	NVIDIA NVFP4 checkpoint	DeepSeek 发布版 checkpoint（MXFP4）	NVIDIA NVFP4 checkpoint	NVIDIA NVFP4 checkpoint
预填充与解码	分离式。DEP4 预填充 worker，宽专家并行解码（DEP16 或 DEP32），34 个智能体时采用 TP4/EP4 解码	聚合式 TP4 或 TP2，用于 1 个和 2 个智能体。从 64 个智能体起采用分离式，配备一到两个 TP2 预填充 worker 和 DEP4 解码（或五个 TP2 解码 worker）	分离式。1 到 3 个预填充 worker（TP2/EP2 或 DEP4），在 TP8、TP4/EP4 或 DEP8 上解码	在 vLLM 上采用聚合式 TP8，用于 1 个智能体。从 16 个智能体起采用分离式：16 和 30 个智能体时为一个 TP8 预填充 worker 搭配三个 TP8 解码 worker，从 512 个智能体起采用 DWDP16 预填充（一组或两组）搭配 DEP16 解码
推测解码	DSpark，3 到 7 个草稿 token	内置 DSpark 草稿，6 个草稿 token	MTP，4 到 8 个草稿 token	DSpark，3 到 7 个草稿 token
KV 缓存	FP8，在预填充 worker 上卸载到主机内存	保留在 GPU 内存中，模型的 Engram 内存卸载到主机内存	FP8，除一个配置外，其余均在预填充 worker 上卸载到主机内存	FP8，在 TensorRT-LLM 配置中卸载到主机内存
路由	KV 感知，带会话亲和性	在 1,024 个智能体时跨两个预填充 worker 进行 KV 感知，否则使用单个预填充 worker	KV 感知，带会话亲和性	KV 感知，带会话亲和性
每个配置的 GPU 数量	32 到 56	2 到 12	10 到 20	8 到 48