Baseten 发布决策模型 mammoth-1 与 elephant-1

我们很自豪地发布两款全球顶尖的决策模型，由我们自己的研究实验室训练：mammoth-1（27B）和 elephant-1（9B）！

mammoth-1 在 208 个决策模型中排名第 1，elephant-1 是 Jev Decision Index 上领先的 9B 决策模型。两款模型均为开源，可在 Baseten Model APIs 上免费试用一周，默认零数据保留（ZDR）。

mammoth-1 leads the Jev Decision Index 0.4 with a score of 71.24; elephant-1 is the top 9B model. On the Artificial Analysis Decision Index, mammoth-1 scores 65.9 and elephant-1 65.2. mammoth-1 以 71.24 的分数领跑 Jev Decision Index 0.4；elephant-1 是排名最高的 9B 模型。在 Artificial Analysis Decision Index 上，mammoth-1 得分为 65.9，elephant-1 为 65.2。

自从 TypeSafe 推出 Jev 和 System One API 以来，决策模型已成为一个新的类别。我们对 Qwen3.5-9B 和 Qwen3.5-27B 进行了后训练，打造出两款最佳模型。下面将详细介绍它们的能力、用例，以及如何为你的技术栈评估它们。

什么是决策模型？

与生成式 LLM 不同，决策模型不生成文本。相反，它们针对每个问题的可能答案返回一个概率分布（每个可能答案的分数，所有分数之和为 1）。

你可以向决策模型提出 3 类问题：

选择：从列表中选择一个选项（例如，这张工单归哪个团队负责：基础设施、计费、安全还是支持？）
评分：按给定尺度对输入进行评分（2 分制即低与高）。例如，这张工单的紧急程度是低还是高？
布尔：回答是或否（例如，这封邮件是钓鱼尝试吗？）

决策模型在哪些方面优于生成式 LLM？

使用生成式 LLM 执行分类任务（例如路由工单或标记垃圾邮件）成本高且速度慢，因为它们执行的计算量对于任务所需的输出而言过于庞大。仅凭响应本身也无法提供可靠的不确定性度量。

像 elephant-1 和 mammoth-1 这样的决策模型跳过文本生成，这使得在生产环境中提供服务更便宜、更快速。可自定义的置信度阈值有助于确定何时接受答案、何时升级处理。例如，当模型有 90% 的置信度时，支持工单可以自动路由；置信度较低时则发送给人工处理。模型还可以经过后训练，使其置信度更好地反映其正确率。

简而言之，决策模型旨在理解请求并做出决策，而不必花时间撰写响应。与推理模型相比，决策模型最多可提速 10 倍。

以下是一些用例：

工单分类与路由
垃圾邮件和钓鱼检测
提示词护栏和越狱检测
在小型 LLM 和前沿 LLM 之间路由请求

How a decision model works. The input and output of a decision model when faced with a choice question. Here the state (a support ticket) and the question about the ticket (where to route it) go through one forward pass of the elephant-1 decision model and a probability for each option is returned. 决策模型的工作原理。决策模型面对选择题时的输入和输出。此处状态（一张支持工单）和关于该工单的问题（路由到哪里）经过 elephant-1 决策模型的一次前向传递，并返回每个选项的概率。

elephant-1 和 mammoth-1 的构建目标

我们构建 elephant-1 和 mammoth-1 的初衷是打造通用决策模型，能够处理从工单路由到安全检查请求等广泛任务。我们使用来自五个领域的数据训练和评估决策能力，与以往工作保持一致：知识与推理、语言、工具与自动化、检索与分类，以及艺术与人类品味。

mammoth-1 在 Jev Decision Index 0.4 上排名第一，而 elephant-1 总体并列第八，是领先的 9B 决策模型。在单独的 Artificial Analysis Decision Index 上，elephant-1 与之前的最佳模型 d1-ultra 并列第一。

如果你的任务需要更广泛的知识，mammoth 更合适。如果你主要需要快速推理，那么选择 elephant-1。

架构与训练

我们在 621 万个决策示例上对 Qwen3.5-9B 和 Qwen3.5-27B 进行了微调。为了训练每个模型，我们使用的数据集将公开数据集与合成生成的示例相结合，涵盖核心决策技能、安全与弃权，以及判断与专家领域。我们通过使用 elephant-1 进行反复的训练和评估运行来优化数据，然后用最终的混合数据训练两个模型。⁠ 其中包括教会它何时回答“我不知道”的示例，即当模型对其答案的准确性不确定时。⁠ 在我们的技术报告中阅读更多关于我们如何训练它的内容此处。

如何选择合适的决策模型

elephant-1 和 mammoth-1 是不断增长的决策模型集合的一部分。要为你的工作流选择合适的决策模型，我们建议你评估：

准确性：它是否做出正确的决策？包含困难案例。
置信度：它是否知道自己何时不确定？检查何时接受答案以及何时升级，并相应地设置你的置信度阈值。
速度与成本：在你预期的流量水平下测量每次决策的延迟和成本。包含重试和回退。

立即试用 elephant-1 和 mammoth-1

你可以通过 Baseten Model APIs 免费试用 elephant-1 和 mammoth-1 一周。这两个模型也在 Hugging Face 上开源。你可以阅读我们研究实验室 Base Labs 的技术报告此处。我们期待看到你如何使用它们！