NVIDIA Vera Rubin NVL72 的初步结果现已在 AA-AgentPerf 上线，在 DeepSeek V4 Pro 上，其每兆瓦总吞吐量最高可达前代 GB300 NVL72 的约 5.7 倍，在 DeepSeek V4.1 Flash 上约为 5.4 倍，在 GLM-5.2 上约为 3.0 倍，在 Kimi K3 上约为 2.8 倍

Vera Rubin 是 NVIDIA 的 Blackwell 继任者，而 Vera Rubin NVL72 是其机架级系统，配备 72 块 Rubin GPU 和 36 块 Vera CPU。每块 Rubin GPU 拥有与 Blackwell Ultra 相同的 288 GB 内存，但内存带宽为 2.4 倍，NVLink 带宽为 1.7 倍，密集 NVFP4 算力为 2.3 倍。NVIDIA 提交了所有 Vera Rubin 结果，运行 TensorRT-LLM 和 vLLM，并搭配 NVIDIA Dynamo

AA-AgentPerf 是我们的智能体推理性能基准测试。它回放真实的智能体编码会话，包括长缓存上下文和工具调用延迟，以真实衡量日常智能体工作负载中的推理性能。我们测量每兆瓦实测 GPU 功耗下的系统总吞吐量，以及在不同并发水平下的每智能体输出速度（请求的 p25），以展示系统利用率与单个用户体验之间的权衡

初步结果：

➤ Vera Rubin 的领先优势在更快的每用户速度下最大，此时 GB300 的吞吐量会大幅下降。在 DeepSeek V4 Pro 上，每用户速度从约 120 提升到约 165 tok/s，会使 GB300 损失其每兆瓦吞吐量的 81%，而 Vera Rubin 仅损失 16%

➤ 在峰值吞吐量下，两者更为接近：在 DeepSeek V4 Pro 上，Vera Rubin 为每兆瓦 272M tokens/s，而 GB300 为 239M（1.14 倍）；在 DeepSeek V4.1 Flash 上为 571M 对 395M（1.45 倍）；在 GLM-5.2 上为 272M 对 201M（1.35 倍）；在 Kimi K3 上为 70M 对 56M（1.26 倍）。我们预计，随着 Vera Rubin 内核和其他服务软件得到优化，两个系统之间的差距将会扩大

➤ Vera Rubin 在我们的排行榜上创下了 DeepSeek V4.1 Flash（906 tok/s，所有模型中最快的结果）、GLM-5.2（408 tok/s）和 Kimi K3（255 tok/s）的最快每用户速度

祝贺 @nvidia 取得如此强劲的结果！

阅读完整分析：https://artificialanalysis.ai/articles/vera-rubin-nvl72-agentperf