介绍 Artificial Analysis Decision Index，对决策模型在分类、工具调用、知识和推理方面进行基准测试。Jev 在决策模型中领先；Claude Haiku 5.5 等语言模型仍能提供更高的准确率，但成本和延迟要高得多

决策模型提供带有相关概率的结构化答案或分类，相比使用语言模型，响应更快、成本更低。Artificial Analysis Decision Index v1.0 比较决策模型的能力、成本和速度，同时也与语言模型进行比较。

Artificial Analysis Decision Index v1.0 中的基准测试：

➤ AA-Omniscience-Decision：一个包含 500 个问题的私有数据集，改编自专有的 AA-Omniscience 基准，衡量决策模型的知识和产生幻觉的倾向

➤ HLE-MultiChoice：来自 Humanity's Last Exam 的 513 个纯文本多项选择题，测试决策模型的推理能力

➤ When2Call：来自 NVIDIA 的工具调用基准，测试模型能否正确决定调用工具、请求澄清、拒绝回答或直接回应，评估与智能体工作流和工具路由相关的能力

➤ WildGuardTest：一个安全基准，评估模型在有害用户请求、助手拒绝和有害回应方面的分类能力。我们使用了原始 1,725 行测试中 835 行的子集，其中所有三位人工标注者在全部三个标签上达成一致，并排除了会持续触发模型拒绝的问题

主要结果：

➤ Jev 1.13 在 Decision Index 中领先，并位于能力 vs. 成本帕累托前沿：来自 @typesafeai 的 Jev 1.13 在 Artificial Analysis Decision Index 上得分为 58，领先于来自 @fastinoAI 的 GLiDE（54）和来自 @Microsoft 的 Microsoft-Decision-1（54）。来自 @perplexity_ai 的 Decider v1.1 27B 拥有最低的每 100 万任务成本，为 $17，Microsoft-Decision-1（$31）和 Jev 1.13（$42）也位于能力 vs. 成本帕累托前沿。Celeris-1 Decision 拥有最快的每任务时间，为 0.06 秒，比 Jev 1.13（每任务 0.13 秒）快 2 倍以上

➤ 决策模型在知识和推理任务上校准不佳：对于所选答案的几乎所有概率水平，所有决策模型的准确率都低于该概率。这一差距在 AA-Omniscience-Decision 和 HLE-MultiChoice 上最大，而大多数模型在 WildGuardTest（分类）和 When2Call（工具调用）上校准相对良好

➤ 决策模型相比语言模型具有显著的速度和成本优势，但在知识和推理方面落后：在分类和工具调用任务上，领先的决策模型表现与语言模型相当，同时明显更快、更便宜。然而，语言模型在知识和推理方面大幅领先。Claude Haiku 5.5 (Low) 在 Decision Index 上得分为 61，领先 Jev 1.13 3 分，但每任务耗时 1.4 秒，而 Jev 1.13 为 0.13 秒（慢 11 倍），每 100 万任务成本为 $184，而 Jev 1.13 为 $42（贵 4.4 倍）

我们将继续开发 Artificial Analysis Decision Index，以帮助开发者和公司更好地理解何时以及如何使用决策模型。