Prime Intellect 与 NVIDIA 后训练 Nemotron 3.5 Super VL 用于长程企业任务

企业级智能体需要做的不仅仅是说明应该发生什么：它们必须更新正确的记录、遵循业务策略，并跨应用完成工作。Prime Intellect 和 NVIDIA 构建了 2,500 个经过验证的训练任务来教会这一点，100 步 GRPO，在 128 块 NVIDIA GB200 GPU 上约 11 小时的训练，将 NVIDIA Nemotron 3.5 Super VL 在 AutomationBench-AA（公开划分）上的成绩从 34.0% 提升到 57.7%。

关键要点

1. Nemotron 可以针对企业工作进行专门化。 在 2,500 个经过验证的任务上进行后训练，将 NVIDIA Nemotron 3.5 Super VL 在 AutomationBench-AA 上的成绩从 34.0% 提升到 57.7%，在约 11 小时的训练中较其起始 SFT 检查点提升了 23.7 个百分点。

2. 有用的智能体会改变它们所工作的系统。 每个任务都根据对模拟业务应用和文件的实际更改来评分：智能体必须完成的目标以及它不得破坏的护栏。

3. 每次部署都会改进下一个模型。 部署智能体，收集它在实际工作中表现不足的轨迹，将这些失败转化为新的经过验证的任务，然后再次训练。本文中的 2,500 个任务就是这一循环的起点。

模型现在非常擅长带有规格说明的工作。给它一个失败的测试、一个待完成的证明，或一个待实现的函数，它往往能做到，因为目标是明确的，答案是可以检查的。

但公司内部很少有工作是以这种方式到来的。它以一条消息的形式到来：

Kestrel 的集成从今天早上起就宕机了，他们明天就要上线。你能处理一下吗？

处理它意味着找到工单，弄清楚它属于哪个账户（CRM 里有两家公司名字几乎相同），检查合同是否包含优先支持，根据升级策略转派该案例，并告知客户团队。这个请求没有指明其中任何步骤或它们所在的系统。智能体必须先弄清楚任务是什么，然后才能去做，接着要在帮助台、CRM、收件箱和策略文档之间完成一长串的读取和写入。

这正是我们希望训练模型去做的那类工作。

部分原因在于规模。企业已经自动化了大量例行工作：仅 Zapier 一家就每月为 370 万家企业运行超过 20 亿个任务 ¹。这些自动化大多是基于规则的，一个触发器和一串固定的步骤，是有人在路径已知后写下的。像 Kestrel 这样的请求无法以那种方式自动化，因为弄清楚路径才是困难的部分。这类工作仍然落在人身上，而这正是智能体最能发挥价值的地方。

它还在一些不会出现在指定任务中的方面存在困难。时间跨度长，证据分散在各项记录中，而且每个操作都有副作用。更新那个名字相似的账户比什么都不做更糟。而且失败是悄无声息的。一个在错误的应用状态上写出自信摘要的智能体，在有人检查之前看起来像是完成了，Zapier 将这一点报告为领先模型在 AutomationBench 上的一种常见失败 ¹。

而且它是可训练的。工作是否完成是应用程序最终状态的一个属性，因此可以由程序来检查，这使得企业工作流在某种意义上和编程一样，是一个强化学习问题。由于每家公司对这项工作的定义都不同，各有自己的应用程序、记录和策略，我们认为切实可行的路径是基于每家公司自身工作流构建的环境，对像 NVIDIA Nemotron 这样的开放模型进行后训练。

本文在一个开放模型上测试了这一想法。针对 Nemotron 3.5 Super VL 的发布，Prime Intellect 和 NVIDIA 构建了一个包含 2,500 个高难度企业任务的训练数据集，这些任务以 AutomationBench 为蓝本：工作流横跨多个 SaaS 应用程序，从 CRM 和收件箱到帮助台和电子表格。NVIDIA 使用 GRPO 在该数据集上训练 Nemotron 3.5 Super VL，从其 SFT 检查点开始。最佳检查点出现在第 100 步（图 1）。

AutomationBench-AA 衡量什么

Zapier 的 AutomationBench 在销售、营销、运营、支持、财务和人力资源等业务工作流上评估智能体，场景设定在 47 个模拟 SaaS 应用程序中，如 CRM、收件箱、日历和电子表格 ²。智能体收到单个请求，没有机会提出澄清性问题，必须自行发现所需的 API 端点。确定性检查会检查最终的应用程序状态，而忽略智能体声称自己做了什么。策略隐藏在电子邮件中，记录带有几乎重复的名称。Zapier 使用我们的 verifiers 库构建了该基准，并在 Prime Intellect Lab 上运行它 ³。

AutomationBench-AA 是采用 Artificial Analysis 方法评分的 AutomationBench。每个任务的检查被分为智能体必须完成的目标和不得破坏的护栏，其中护栏是对初始世界的一个条件，在结束时必须仍然成立。得分是目标上的部分得分，如果违反任何护栏则归零。Artificial Analysis 和 Zapier 保留了一个包含 657 个任务的私有留出划分，用于他们的排行榜 ⁴；本文中的结果使用公开划分，评分方式相同。

任务得分=目标 指标总 目标×1[未违反护栏]AutomationBench-AA=1N∑i=1N任务 得分i

所以这个头条数字并不是完全解决的任务占比。一个完成了五个目标中四个的任务，如果什么都没破坏，得分为 80%；如果违反了一个护栏，则为 0%（图 2）。这与企业评判自动化的方式一致：部分进展有价值，而触碰了本应保持不动的记录则使其作废。

构建训练数据集

一个训练任务由三个部分共同设计而成：一个以同事口吻提出的请求、一个起始世界，以及对最终状态的程序化检查，涵盖必须改变的内容（目标）和不得改变的内容（护栏）。数据集涵盖三类任务。在应用类任务中，世界是一组模拟的 CRM、收件箱、帮助台和电子表格，刻意塞满了外观相似的账户、过期的联系人和相互覆盖的策略。在文件类任务中，它是一个由电子表格、文档和结构化数据组成的沙盒，交付物是一个文件：一份对账后的工作簿、一个整理干净的文件夹、一份摘要。混合类任务从应用中提取记录并将结果写入文件，任一部分的护栏被破坏都会使该任务归零。有些任务带有数十条护栏。

任务采用解决方案优先的方式构建。在写任何内容之前，生成过程会提取任务所需的上下文：所涉应用的 schema、覆盖默认值的策略、外观相似的名字和诱饵记录、数据集已覆盖的内容，以及需要避开的评估任务。然后编写参考解决方案，从它所改变的内容推导出检查项，并围绕两者构建世界。先写检查项往往会产生无人能满足的要求；从可用的解决方案推导则保证每个检查项都能被满足（图 3）。解决方案写入的每个值也必须能被智能体通过其工具发现，因此任务绝不会奖励侥幸的猜测。

奖励完整性

RL 优化的是环境所奖励的东西，而不是其设计者的本意，前沿模型已经在利用这一差距。METR 发现它们修改测试并读取参考答案 ⁵，而 Cursor 发现某个模型大多数成功的 SWE-bench Pro 运行都是检索到已知修复而非自行推导 ⁶。在评估中，一次作弊只是抬高一个数字。在训练中，它会变成模型被奖励数千次的教训，而我们自己的实验发现，不存在一个低于该值作弊就安全的稀有度阈值 ⁷。

因此每个任务都要检查一件事：它的奖励是否与所做的工作一致。这可能在两个方向上失败（图 4）。

捷径必须失败。在我们加入专门的检查之前，大约 15% 的生成任务可以被钻空子：一个让外观相似的记录不受保护的任务，会给一个仅仅更新了所有匹配项的智能体全额奖励。这样的漏洞即使经过精心设计也依然存在 ⁸。现在，每个任务在进入数据集之前都会用脚本化的捷径进行攻击，例如一刀切的操作、什么都不做，或声称成功。参考解决方案必须获得全额奖励，而什么都不做必须得零分。在我们最近几批中，约 18,000 次捷径尝试针对候选任务运行，无一通过。

正确答案必须通过。如果一个检查因为细节顺序不同就拒绝一封正确的邮件，它永远不会表现为奖励峰值；它只会教模型回避有效的工作。因此，每项任务也都要接受反向测试：重新排序的步骤、无害的额外操作以及不同的措辞都必须仍然获得满分。

准入之后测试仍在继续。训练运行中的接近失误和零分会被重放，以区分真正的失败与评分器缺陷和基础设施故障。一次审查发现，某项检查要求一种没有任何指令提及的标签格式；将其公开后修复了该任务。

泄漏可能存在于任务之外。与 NVIDIA 一起审计完整的训练设置时发现了三处：任务数据可从智能体的 shell 中读取、评分器源码在沙箱中可见，以及读起来像评分器指令的策略文本。这三处均已关闭。

评分是确定且可复现的：第二个独立的评分器在大约 69,000 个回合上与我们的分数逐字节一致。即便如此，训练曲线也无法证明数据集是干净的，因为有泄漏的数据集同样能令人信服地攀升。真正重要的是在留出任务上的表现，报告如下。

多样性重于任务数量

任务数量容易扩展，而覆盖范围则不然。重命名一个客户或更换一个工单号就会产生一个锻炼相同技能的新任务，而一千个这样的变体可能让整个能力领域原封不动。真正重要的变化是改变工作的结构（表 1）。

表 1. 结构模式，附说明性示例。

多样性是在整个数据集范围内追踪的，而不是逐任务追踪。近似重复项会被过滤掉，任何类似评估任务的内容也会被过滤掉，而当新任务不再增加结构时，一个任务族就停止增长。

难度校准

GRPO 会为每个任务采样一组尝试，并将策略推向那些得分高于组内平均值的尝试 ⁹。如果一组中的每次尝试都获得相同的奖励——因为全部成功或全部失败——则优势为零，该任务对更新没有任何贡献。有用的任务是那些模型尝试结果参差不齐的任务，而具体是哪些任务取决于模型：同一个工作流对某个模型可能是常规操作，对另一个模型却可能遥不可及。因此，难度是根据真实模型尝试来衡量的，而不是在设计时人为指定的。模型几乎每次都能解决的任务会被剔除，模型从未解决的任务会被重做或移除，而覆盖分析则显示出哪些能力仍然缺乏合适难度的任务。

通过训练来验证任务

一个任务可以通过所有静态检查，却仍然不携带任何学习信号。唯一可靠的判断方法就是在它上面进行训练。在我们这边，验证运行使用与每次 Prime Intellect RL 运行相同的开源技术栈：

• verifiers（环境）：每个任务都是 taskset 中的一个条目，与 harness（智能体循环）和 runtime（执行环境）分离 ¹⁰。相同的任务在评估和训练中不加改动地运行，因基础设施错误而提前中断的回合不会被计为智能体主动放弃。

• renderers（Token 级模板化）：Rollout 在客户端进行 token 化并以 token-in 方式采样，因此训练器看到的正是策略产生的 token，不会因对长多轮对话重新 token 化而产生偏差。它附带一个手写的 Nemotron 3 聊天模板 ¹¹。

• prime-rl（异步 RL 训练器）：推理、rollout 编排器和 FSDP2 训练器作为独立的异步进程运行，这在回合长度差异很大时能让 GPU 保持忙碌 ¹²。

这些运行提供了前面描述的测量数据：用于衡量难度的每任务奖励分布、用于审计的接近成功案例，以及确认整个数据集能产生策略可以攀升的奖励曲线。

训练设置与结果

NVIDIA 使用 NVIDIA NeMo RL（一个用于后训练的开源库）从 SFT 检查点通过 GRPO 训练了 Nemotron 3.5 Super VL ¹³。环境通过其 NeMo Gym 集成在 verifiers 中运行 ¹⁴。该运行使用了 128 块 NVIDIA GB200 GPU，其中 32 块用于训练，96 块用于 rollout 生成，每步约 6.5 分钟。第 100 步在约 11 小时训练后达到，大约 1,450 GPU 小时。检查点在运行期间于公开的 AutomationBench 划分上进行评分，该划分的任务不参与训练，并采用 Artificial Analysis 的方法论进行评分。

23.7 个百分点的提升相当于 70% 的相对改进，而且来得很快。近一半的提升出现在前 40 步内，大约四个半小时的时候，此后我们评估的每个检查点都至少比初始模型高出 11 个百分点（图 1）。

由于任何护栏违规都会使任务归零，那 57.7% 中的每一分都来自模型没有破坏任何被要求不要触碰的内容的任务。

训练奖励也随之上升，到第 100 步时从 0.33 升至 0.75（图 1，底部），并且这些提升延续到了留出任务上。第 100 步是最佳检查点，也是我们报告的那个。

我们的收获

任务质量是瓶颈。 按预训练标准来看，这次运行时间短、数据集小。真正让它奏效的，是在训练开始之前就做好的事情：与工作相符的奖励、以有意义的方式变化的结构，以及在真实学习器上衡量的难度。进一步的收益更可能来自更好的数据，而不是更多的步数：淘汰模型已经饱和的任务、添加新结构、分析失败模式，并在留出评估集上选择检查点。

我们接下来想衡量的内容。 一个聚合分数会掩盖哪些能力发生了变化。接下来，我们希望将目标完成情况和护栏违规分别报告，按工作流能力对分数进行分组，对同一任务进行前后配对的轨迹对比，并在训练期间根据在线衡量的难度刷新数据集，进行更长时间的运行。

训练你自己的模型

这里用于验证的环境库、训练器和模板系统都是开源的，同样的循环也作为托管服务在 Prime Intellect Lab 上运行：带来一个工作流，构建或选择一个环境，运行 RL，评估，部署，并把智能体出错的地方转化为下一轮任务。

prime-rl (v0.9)  ·  verifiers (v0.3)  ·  renderers (v0.1.11)  ·  Environments Hub  ·  托管训练文档

要在你自己的工作流上对 Nemotron 或其他开放模型进行后训练，预约通话。

致谢

我们感谢 NVIDIA Nemotron 团队与我们共同构建训练数据集，并训练和评估 Nemotron 3.5 Super VL；感谢 Zapier 构建和维护 AutomationBench；感谢 Artificial Analysis 提供 AutomationBench-AA 方法论。

引用

@article{primeintellect2026nemotronenterprise,
  author  = {Gaonkar, Radhika and Brand, Florian and Ravichandran, Anirudh and Munley, Christian and Molinari, Daniele},
  title   = {Post-Training Nemotron 3.5 Super VL for Long-Horizon Enterprise Work},
  journal = {Prime Intellect Blog},
  year    = {2026}
}

参考文献

1. Zapier. AutomationBench 概述. ↩ ↩²

2. Zapier. AutomationBench（代码仓库）. ↩

3. Prime Intellect. Zapier 如何将 AutomationBench 转变为持续的智能体改进循环，2026 年 4 月。 ↩

4. Artificial Analysis. AutomationBench-AA 方法论. ↩

5. METR. 近期前沿模型正在奖励黑客，2025 年 6 月。 ↩

6. Cursor. 奖励黑客正在淹没模型智能的进步，2026 年 6 月。 ↩

7. Prime Intellect. 系统性奖励黑客与 Prime Sprints，2026 年 5 月。 ↩

8. Vals AI. MiMo v2.6 三分之二的编码任务泄露了答案。利用这一点的模型是在行为不当吗？，2026 年。 ↩

9. Shao 等. DeepSeekMath：推动开放语言模型数学推理的极限，2024 年。介绍了 GRPO。 ↩

10. Prime Intellect. verifiers v1：为智能体 RL 与评估分解任务集和测试框架，2026 年 7 月。 ↩

11. Prime Intellect. renderers：面向智能体 RL 的 Token 级模板系统，2026 年 5 月。 ↩

12. Prime Intellect. prime-rl：大规模异步 RL 训练（代码仓库）. ↩

13. NVIDIA. NeMo RL（代码仓库）. ↩

14. NVIDIA. NeMo Gym（代码仓库）. ↩