跳到正文
Artificial Analysis Articles·· 17 小时前精选AI 评分67

NVIDIA 发布 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt 74B-A9B

NVIDIA Releases Nemotron 3.5 Super VL and Nemotron 3.5 Bolt 74B A9B

AI 导读

NVIDIA 发布 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt 74B-A9B 两款开源权重模型。

推荐理由

Artificial Analysis 的第三方评测给出两款新模型的智能指数、token 效率与输出速度对比,可据此判断开源权重模型的当前位次。

正文 · AI 翻译

Nvidia 的 Nemotron 3.5 Super VL 现已成为领先的美国开放权重模型,在 Artificial Analysis 智能指数上得分 26

Nemotron 3.5 Super VL 的智能水平是其前代 Nemotron 3 Super(13)的两倍,且每项任务使用的输出 token 数减少了约 60%

它与 Nemotron 3.5 Bolt 74B-A9B 一同发布,后者是其全新 Bolt 系列的首个模型,在智能指数上得分 21

要点:

➤ 领先的美国开放权重模型: Nemotron 3.5 Super VL 得分 26.5,略高于 Thinking Machines 的 Inkling Small(25.7),并领先于 NVIDIA 的 Nemotron 3 Ultra(23)和 Meta 的 Muse Glimmer(17)

➤ Bolt 与 Ultra 仅差 2 分: Nemotron 3.5 Bolt 74B-A9B 得分 21,落后 Nemotron 3 Ultra 550B A55B(23)1.5 分。其总参数量约为 Ultra 的七分之一(74B 对 550B),激活参数量为六分之一(9B 对 55B)

➤ Super 3.5 在 NVFP4 下近乎无损: Nemotron 3.5 Super VL 以 NVFP4 发布,在智能指数上与其 BF16 权重的得分差距在 0.1 分以内,且没有任何单项指标变动超过 2.6 分

Nemotron 3.5 Super VL 详情

  • 上下文窗口: 1M tokens
  • 模态: 视觉和文本输入;文本输出
  • 参数:120B / 12B

Nemotron 3.5 Bolt 74B-A9B 详情

  • 上下文窗口: 256k tokens
  • 模态:视觉和文本输入;文本输出
  • 参数:74B / 9B

Nemotron 3.5 Super - 美国开放权重领先者

Nemotron 3.5 Super VL 是美国得分最高的开放权重模型,在智能指数上得分为 26。它略高于 Thinking Machines 的 Inkling Small(26),并超过了 NVIDIA 此前旗舰 Nemotron 3 Ultra(23)和 Meta 的 Muse Glimmer(17)

尽管取得了进步,美国在开放权重智能方面仍落后于阿联酋(K2 Horizon 375B A23B,31)和中国(MiMo-V2.6-Pro,46)。

Nemotron 3.5 Super - Token 使用量

Nemotron 3.5 Super VL 在每项智能指数任务上使用 46k 输出 tokens,比其前代 Nemotron 3 Super(114k)减少约 60%,也少于 K2 Horizon 375B A23B(52k)和 MiMo-V2.6-Pro(64k)

尽管 token 效率明显提升,Nemotron 3.5 Super 在智能指数与每任务输出 tokens 的前沿对比中仍落后不少

Nemotron 3.5 Super - 输出速度

在发布前提供 NVFP4 权重的 @DeepInfra 端点上测得,Nemotron 3.5 Super VL 在 100k-token 提示下达到约 630 tokens/s 的输出速度。这是我们在该提示长度下测得的、所有智能指数得分 20 或以上的模型中最快的

这约为 Inkling Small(124 tokens/s)的 5 倍、Nemotron 3 Ultra(235)的 2.7 倍、Nemotron 3 Super(140)的 4.5 倍。它还在 1.8 秒内返回首个 token,而 Nemotron 3 Ultra 为 4.4 秒,Inkling Small 为 8.5 秒

Nemotron 3.5 Bolt

Nemotron 3.5 Bolt 74B-A9B 是 NVIDIA 全新 Bolt 系列的首个模型。它在智能指数上得分 21.4,在 100B 参数以下的模型中排名第 4,在该类别美国模型中排名第 1

Bolt 比 Nemotron 3 Super(12.8)高 8.6 分,总参数量却少 39%。与 Nemotron 3 Ultra 相比,它在 AutomationBench-AA(15.5% 对 3.0%)和 AA-Briefcase(912 对 874 Elo)上领先,但在 AA-LCR(70% 对 79%)和 Humanity's Last Exam(25% 对 28%)上落后

Nemotron 3.5 Bolt - Token 使用量

Nemotron 3.5 Bolt 74B-A9B 在 Intelligence Index 任务中每次使用 82k 输出 token,是 Nemotron 3.5 Super VL(46k)的 1.8 倍、Nemotron 3 Ultra(28k)的 2.9 倍,但仍比 Nemotron 3 Super(114k)少 28%

来源:Artificial Analysis Articles · artificialanalysis.ai