跳到正文
热点事件持续更新

Artificial Analysis 发布决策模型校准评测

5 篇报道2 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月13日至14日，Artificial Analysis 发布 Artificial Analysis Decision Index v1.0，从分类、工具调用、知识和推理四个维度评测决策模型，并与语言模型对比。据其公布，Jev 在决策模型中领先；语言模型如 Claude Haiku 5.5 准确率更高，但成本与延迟也高得多。成本方面，Perplexity 的 Decider v1.1 27B 以每 100 万任务 17 美元为最低，Microsoft-Decision-1（31 美元）和 Jev 1.13（42 美元）同处能力与成本帕累托前沿；速度方面，Celeris-1 Decision 每任务 0.06 秒最快，Jev 1.13 为 0.13 秒，Claude Haiku 5.5 (Low) 为 1.4 秒。校准方面，决策模型在知识与推理任务上校准很差，几乎所有概率水平下所选答案的准确率都低于该概率，差距在 AA-Omniscience-Decision 和 HLE-MultiChoice 上最大，而在 WildGuardTest（分类）和 When2Call（工具调用）上校准相对较好。其工具调用基准 When2Call 来自 NVIDIA，测试模型能否正确决定调用工具、请求澄清、拒绝回答或直接作答；评测使用原始 1,725 条测试行中三位人工标注者在三个标签上完全一致的 835 条子集，并排除持续触发模型拒答的问题。对比显示，决策模型在速度和成本上明显优于语言模型，但在知识与推理上落后；在分类和工具调用任务上，领先决策模型表现与语言模型相当，同时更快更便宜。

AI 根据报道生成 · 50 分钟前更新

最新进展10月14日 00:34
Artificial Analysis 对比决策模型与语言模型：分类和工具调用接近，知识与推理落后

事件进展

3 个进展

  1. 10月14日 00:34 · 1 篇报道
    Artificial Analysis公布决策指数v1.0四项基准结果
    Artificial Analysis：Perplexity Decider v1.1 成本最低
  2. 10月14日 00:34 · 3 篇报道
    发布决策模型校准评测结果
    Artificial Analysis：Artificial Analysis 发布 Decision Index，评测决策模型能力、成本与速度
  3. 10月13日 08:00 · 1 篇报道
    发布Decision Index决策模型评测基准
    Artificial Analysis Articles：Artificial Analysis 发布 Decision Index v1.0

报道时间线

沿着报道，了解事件的不同侧面。

10月14日
  1. Artificial Analysis
    Artificial Analysis 对比决策模型与语言模型：分类和工具调用接近，知识与推理落后

    Artificial Analysis 的对比显示，决策模型在速度和成本上明显优于语言模型，但在知识与推理上落后；在分类和工具调用任务上，领先的决策模型表现与语言模型相当，同时更快更便宜。

  2. Artificial Analysis
    Perplexity Decider v1.1 成本最低

    在 Artificial Analysis Decision Index v1.0 的四项基准测试中，Perplexity 的 Decider v1.1 27B 以每 100 万任务 17 美元的成本位居最低。它与 Microsoft-Decision-1（31 美元）和 Jev 1.13（42 美元）一同位于能力与成本帕累托前沿上。Celeris-1 Decision 的每任务耗时最快，为 0.06 秒，比 Jev 1.13（0.13 秒）快 2 倍，而 Jev 1.13 又比 Claude Haiku 5.5 (Low)（1.4 秒）快 11 倍。

  3. Artificial Analysis
    决策模型在知识与推理任务上校准不佳

    决策模型在知识和推理任务上校准很差。对于所选答案的几乎所有概率水平，所有决策模型的准确率都低于该概率。这一差距在 AA-Omniscience-Decision 和 HLE-MultiChoice 上最大，而大多数模型在 WildGuardTest（分类）和 When2Call（工具调用）上校准相对较好。

  4. Artificial Analysis精选
    Artificial Analysis 发布 Decision Index，评测决策模型能力、成本与速度

    Artificial Analysis 推出 Artificial Analysis Decision Index v1.0，从分类、工具调用、知识和推理四个维度评测决策模型，并与语言模型对比。

10月13日
  1. Artificial Analysis Articles
    Artificial Analysis 发布 Decision Index v1.0

    Artificial Analysis 推出 Decision Index v1.0，用于衡量决策模型的表现。该指数同时考察决策模型的成本与时间效率，并指出决策模型存在过度自信问题。文章还对比了决策模型与 LLM 的差异，以及模型判断何时不应作答的能力。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。