Modal 发布 LLM 训练库 Modal Dojo

我们已经写过强化学习（RL）是一个基础设施问题，也写过我们过去五年的工作如何提供高性能、可用且可扩展的基础设施，让你可以放心地训练模型。即便不考虑基础设施方面的顾虑，RL 依然很难！系统中还有许多更高层的组件会影响你的结果：你需要合适的基础模型、高保真的环境、清晰且稳健的奖励函数，以及真正有效的调优训练配方。

但如果你已经在生产环境中部署了 agent harness，并且从该部署中收集了评估和 agent 轨迹，那么你已经完成了 80%。你只需要一种简单的方式来开始基于你的数据训练。

这就是我们构建 Modal Dojo 的原因：这个库为你提供了轻松进行生产级 LLM 训练所需的构建模块、调优好的默认值和可观测性。

它现在已经可用。只需一个提示词：

继续阅读，了解更多关于我们如何构建它以及为什么这样构建的内容。

押注开源

当公司拥有自己的智能时，才能构建差异化价值。后训练使你能够有效地在每美元任务智能上竞争——特别是通过基于专有数据训练并快速迭代训练配方。要有效做到这一点，需要对训练栈拥有完全控制权，直至源代码。这正是 Modal 的设计目标。我们构建可靠且可扩展的抽象，并公开其内部运作方式，以随用户需求一同成长。

我们的训练库建立在多个久经考验的开源框架之上，例如 Miles 和 Slime。它们为你提供了构建稳健后训练的基础，而无需依赖闭源提供商，也无需从零开始重新造轮子。我们甚至修补并向上游提交了几个 PR ourselves。

当你拥有完整栈时，就可以随心所欲地定制。我们将该库设计为允许你调优配方以获得最大性能、构建复杂环境、修补底层框架，甚至重塑开箱即用的可观测性仪表盘。

不到 100 行代码实现生产级 LLM 训练

使用我们的训练库就像这样简单：

让我们逐一拆解。

首先，你需要选择一个要训练的模型。这个训练库已在从五亿到数万亿参数模型上验证过，并支持自带模型。你只需对这些模型运行评估，以确定合适的选项。
然后，你需要用于训练模型的数据。从 Hugging Face 加载、导入 Harbor 环境，或者使用你的 harness 和评估自行创建，都很简单。利用生产轨迹，你可以为该环境生成任务，从而形成训练集和测试集划分。
最后，在开始烹饪之前，你需要一份配方。模型和数据集决定了要训练什么，而配方则通过指定硬件、并行度、总 rollout 规模、环境等参数，决定了训练如何进行。我们为所有支持的模型提供了自动优化的配方，这些配方源自我们与各团队合作、帮助他们在各自领域训练出卓越前沿性能模型的经验。而当你需要针对特定用例扩展这些配方时，只需修改几个参数即可。

然后，你就可以开始训练了！

指标可观测性

为了在奖励黑客行为发生时及时捕捉、调试停滞的运行，并跟踪许多并发运行的进度，你需要对训练稳定性和子步骤计时的关键指标具备可观测性。

Modal 的训练库开箱即带一个可观测性仪表盘。其背后是我们构建的稳健指标收集器，为你展示跟踪运行进度所需的一切：损失与奖励曲线、框架发出的指标、训练期间每次 rollout 的智能体轨迹、精细到子步骤的细粒度性能分析，以及便于识别瓶颈和调试运行的容器日志。

这太简单了，连你的智能体都能做到！

当你需要验证假设或并行运行大量实验时，智能体尤其有用。然而，当被迫创建并筛选数千行配置文件和源代码，或在没有资深专家指导的情况下推理如何修复训练中的 bug 时，它们的效率就会大打折扣。

训练模型所需的一切都随时可供你的智能体使用。如上所示，API 直观且精简。通过 CLI，智能体可以轻松获取运行状态、元数据、日志和智能体轨迹。而我们精心打造的 skills 能以可预测且有针对性的方式引导它们。有了这一切，RL 就变成了你的智能体可以一次性跑出基线的任务。

这里有一个单条提示词能做到什么的示例：

如果你在做更高级的事情并需要指导，请联系我们。

客户前进的速度前所未有

我们看到，在 Modal Dojo 之上，后训练正以空前的速度进行。

Axiom Bio 训练模型以降低意外的药物毒性

Axiom Bio 训练大型开放模型，从质谱数据中识别分子。借助 Modal Dojo，他们得以快速开展大规模、长上下文的 RL 实验。

“我们使用 Modal 训练模型，从质谱数据中识别分子，这需要在大型开放模型上进行长上下文 RL。Modal Dojo 让我们既能完全掌控训练运行，又能保持快速推进。我们立即启动了训练，并扩展到在 64 块 B300 上运行 64k 上下文的 DeepSeek V4.1 Flash，几天之内，我们就在可靠的默认配方基础上，进一步提升了我们任务的性能。

”

—— Nishkrit Desai，Axiom Bio 创始工程师

Afterquery 汇集各领域的专家数据

Afterquery 汇集领域专家的数据，供模型训练使用。借助 Modal Dojo，他们得以在现有数据集上启动自动研究，以进行性能爬山。

“我们使用 Modal Dojo 在 256k 上下文长度下训练 Kimi 和 DeepSeek 等大语言模型，覆盖多种前沿领域。Dojo 配方支持自动研究，因此我们的研究团队可以花更多时间设计实验并提升模型能力。

”

— Spencer Mateega， Afterquery 首席执行官

立即开始

在 Modal，我们的目标是帮助你拥有自己的智能。到目前为止，我们已通过 Endpoints 将 LLM 推理投入生产，通过 Endpoint Candidates 支持对替代部署方案进行测试，并通过 speculative decoding 加速了万亿参数模型的推理。现在，我们让你能够朝着自己的帕累托前沿进行训练。

立即开始训练 LLM。