NVIDIA Nemotron 3.5 Super VL 发布并在 vLLM 上线 Day 0 支持
Announcing Day 0 Support for NVIDIA Nemotron 3.5 Super VL on vLLM
NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL，采用 120B 总参数、12B 激活参数的 MoE 架构，支持文本、图像、文档和视频输入，输出文本。
同一新闻，精选展示《NVIDIA 扩展 Nemotron 家族，发布 Super VL 与两款 Bolt 端侧模型》
常驻运行的智能体越来越需要解读视觉信息、基于视觉信息进行推理、使用工具并采取行动。这些工作流需要一种将多模态理解与高精度执行相结合的模型。
NVIDIA Nemotron 3.5 Super VL 是一款开放、可定制的多模态模型，专为长时间运行的智能体打造，使开发者能够为专门的工作流最大化准确性和效率。
它将推理、指令遵循和工具使用与文本、图像、文档和视频理解融合在一个模型中，减少了部署独立文本和视觉模型的需求，并有助于在工作流各步骤之间保持与任务相关的上下文。
Nemotron 3.5 Super VL 基于 1200 亿参数的混合专家（MoE）架构构建，拥有 120 亿活跃参数，为专门的常驻智能体任务平衡了准确性与效率。企业可以使用 NVIDIA NeMo，结合自身的数据、工具、策略和工作流对其进行后训练。
在模型系统中，Nemotron 3.5 Super VL 被设计为默认的高精度智能体执行模型，具备原生的文档、图像和视频理解能力。它与用于高吞吐文本执行的 NVIDIA Nemotron 3.5 Lightning 以及用于最困难纯文本推理的 NVIDIA Nemotron 3 Ultra 形成互补。
Nemotron 3.5 Super VL 满足了多模态常驻智能体的两项实际需求：
- 原生视觉理解与智能体执行：该模型将高精度推理和工具使用与文档、图像和视频理解相结合，在专门的工作流中保持与任务相关的上下文。
- 高效、可控的部署：混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化旨在提升生成效率，并为更多并发的长上下文会话创造余量。
TL;DR：关于 NVIDIA Nemotron 3.5 Super VL
- 架构：混合专家设计，总参数 120B，活跃参数 12B
- 模态：输入为文本、图像、文档和视频；输出为文本
- 优化：C-RADIOv4 视觉编码器、混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化
- 模型角色：为模型系统提供具备原生视觉理解的高精度智能体执行
- 定制：使用 NVIDIA NeMo，结合企业特定的数据、工具、策略和工作流进行后训练
- 部署：NVIDIA NIM 用于跨云和数据中心环境的优化生产服务
- 部署目标：1x GB10、B200、B300、RTX PRO 6000、H200 和 2x H100
- Availability:
使用 vLLM 运行高吞吐推理
Nemotron 3.5 Super VL 旨在跨多种 NVIDIA 平台运行。vLLM 提供了将模型引入生产工作流所需的服务层，包括连续批处理、前缀缓存、投机解码和 OpenAI 兼容 API。
BF16 检查点为部署提供了直接的基线。NVFP4 也在发布时提供，适用于能够利用低精度推理的环境。
安装 vLLM
docker pull vllm/vllm-openai:v0.31.0
docker run --rm -it --gpus all --ipc=host --network=host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--entrypoint /bin/bash \
vllm/vllm-openai:v0.31.0为模型提供服务
以下 NVFP4 启动配置是 1× GB200 设置的示例。使用前请在目标硬件上进行验证。
vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
--served-model-name nemotron-3.5-super \
--trust-remote-code \
--max-model-len 114688 \
--reasoning-parser nemotron_v3 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 5服务器运行后，应用程序可以通过兼容 OpenAI 的客户端发送提示词：
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="null")
response = client.chat.completions.create(
model="nemotron-3.5-super",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe what happens in this video."},
{
"type": "video_url",
"video_url": {"url": "https://example.com/clip.mp4"}
},
],
}
],
temperature=1.0,
top_p=0.95,
max_tokens=4096,
)
print(response.choices[0].message.reasoning) # thinking trace
print(response.choices[0].message.content) # final answer通过推测解码加速长时间运行的智能体工作流
Nemotron 3.5 Super VL 支持多 Token 预测（MTP），在保持目标模型输出质量的同时加速 Token 生成。
Nemotron 3.5 Super VL 内置多 Token 预测（MTP）头。在解码过程中，这些头会提出未来的 Token，并由目标模型进行验证，从而减少较长响应所需的顺序生成步骤数。
例如，MTP 也可以启用三个推测 Token：
vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
--served-model-name nemotron-3.5-super \
--trust-remote-code \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 3专为专业化、常驻运行的智能体工作流而打造
企业可以借助 NVIDIA NeMo 将 Nemotron 3.5 Super VL 适配到自身的术语、数据、策略、工具和工作流中。这使通用多模态模型能够成为面向特定领域智能体任务的专用执行引擎，同时保留对模型行为和数据处理的掌控。
示例用例
- 客户服务：通过解读客户提供的文档和图像、应用策略并使用服务工具，解决多步骤请求。
- 文档智能：解读复杂文档——包括 OCR、表格、图表和页面布局——以提取信息并生成摘要或报告。
- 企业生产力：通过解读视觉信息、对其进行推理并使用工具，完成多步骤任务。
- 视频理解：从视频中提取关键信息，以支持搜索、内容审核、广告、零售和事件分析。
- 网络研究：跨网站搜索，连接来自多个来源的信息，并验证结果。
多模态智能体任务的准确性与效率
Nemotron 3.5 Super VL 旨在为专业化的多模态智能体任务提供高准确性，同时每个 Token 仅使用其总参数的一部分。混合 Mamba-Transformer 架构、多 Token 预测以及 NVFP4 量化有助于加速输出生成。
如图 1 所示，在单块 GPU 上，该模型针对智能体任务提供的吞吐量比同规模类别的其他 开放模型 最高快 5 倍。
图 1. Nemotron 3.5 Super VL 在 Baseten 端点上运行 Artificial Analysis Intelligence Index 智能体任务时提供超过 600 TPS。
如图 2 所示，与规模相近的其他领先开放模型相比，Nemotron 3.5 Super VL 执行任务的速度快 4 倍。
图 2. Nemotron 3.5 Super VL 利用更高的吞吐量和 Token 效率，实现快 4 倍的任务完成速度。
作为背景参考，图 3 展示了相关模型 Nemotron 3.5 Super 在 DGX Spark 上的对比。该图表并未测量 Nemotron 3.5 Super VL。
图 3. Nemotron 3.5 Super 在 DGX Spark 效率前沿上的表现。
开始使用
准备好构建能够看、推理和行动的智能体了吗？
致谢
NVIDIA：Nirmal Kumar Juluru、Anusha Pant、Faradawn Yang、Pen Chung Li、Alex Steiner、Ran Zilberstein、Nave Assaf、Amir Klein
来源：vLLM Blog · vllm.ai