Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1

Index v5 包含 2 项新基准和 3 项升级。Index 首次大部分基于私有数据集构建

Artificial Analysis Intelligence Index 是我们对模型能力的综合衡量，覆盖反映当今真实使用场景的任务。v5 是自 1 月 v4 发布以来我们最大的一次升级。在 v5 中，Index 的 60% 现在基于使用私有测试集或留出答案的评估。

在 Intelligence Index v5 之外，我们还推出 Artificial Analysis Progress Index v1，它在同一连续尺度上追踪模型能力随时间的变化。

Intelligence Index 新增内容：

➤ FrontierCode 2.0： Cognition 新推出的私有基准，包含真实世界编码任务，评分标准是仓库维护者是否会合并智能体的改动

➤ Terminal-Bench-Science： 70 个智能体科学研究任务，在终端环境中运行

升级项：

➤ HLE-Diamond（取代 Humanity's Last Exam）： Humanity's Last Exam 的精炼 1,000 题版本，推理题和知识题各占一半

➤ AA-Omniscience v1.1： 更新后的数据集，移除了饱和题和公开集题目，新增了题目，并修订了含糊或有误的题目

➤ CritPt v2： CritPt v2 的私有 40 题高难度子集，由 CritPt 作者修订，并使用代码执行工具运行

保留在 Index 中： AA-Briefcase、AutomationBench-AA、GDP.pdf 和 Terminal-Bench 4.0

从 Index 中移除： GDPval-AA v2.1、SciCode 和 AA-LCR v1.1

Intelligence Index v5 权重：

➤ 知识工作（25%）： AA-Briefcase（15%）、AutomationBench-AA（5%）和 GDP.pdf（5%）

➤ 编码（25%）： FrontierCode 2.0（15%）和 Terminal-Bench 4.0（10%）

➤ 科学（25%）： Terminal-Bench-Science（15%）和 CritPt v2 高难度子集（10%）

➤ 通用（25%）： AA-Omniscience v1.1 15%（10% 准确率，5% 非幻觉）和 HLE-Diamond（10%）

关键结果：

➤ Claude Opus 5.5 (max) 以 58 分领先，GPT-6 Astra (max, 57) 和 GPT-6.1 Sol (max, 55) 紧随其后： Anthropic 和 OpenAI 占据前五名模型。Gemini 4 Argon (high) 以 50 分位列其后

➤ 开放权重差距从 3 分扩大到 12 分： Kimi K3.1 Pro（权重尚未发布）以 46 分成为最高分的开放权重模型。在已发布权重的模型中，DeepSeek V4.1 Flash 1017 (max) 和 GLM-5.3 (max) 以 32 分领先——落后领先者 26 分，且低于 Claude Haiku 5.5 (max, 36)

➤ 领先模型之间的每任务成本相差超过 13 倍： 在展示的 10 个最高分模型中，GPT-6.1 Terra (max) 最便宜，每个 Intelligence Index 任务 $0.96，Claude Fable 5.1 (max) 最贵，为 $13.04

FrontierCode 2.0 是 Cognition 私有编码基准的最新更新。它于今天早些时候发布，包含真实开源仓库中的 132 个任务，评分标准是维护者是否会合并智能体的改动。任何未通过阻塞性检查的尝试得 0 分，任务保持私有以避免污染。我们在智能体测试框架 Stirrup 中将每个任务运行三次。

Claude Opus 5.5 (max) 以 46% 领先，GPT-6 Astra (max)、GPT-6.1 Terra (max) 和 Claude Sonnet 5.5 (max) 均以 42% 紧随其后。DeepSeek V4.1 Flash 1017 (max) 是得分最高的开放权重模型，为 28%，落后领先者 18 分。

Terminal-Bench-Science 测试智能体能否在终端中执行科学研究工作流。每项任务均由专家策划和审核，只有任务的所有测试全部通过，该任务才算通过。

GPT-6 Astra (max) 以 63% 领先，其次是 Claude Opus 5.5 (max) 的 59% 和 GPT-6.1 Sol (max) 的 58%。领先者之后的分数急剧下降：最佳开放权重模型 Kimi K3.1 Pro（权重尚未发布）得分为 34%，Claude Haiku 5.5 (max) 得分为 20%。已发布权重的最佳开放权重模型 DeepSeek V4.1 Flash 1017 (max) 得分为 13%，而我们基准测试的大多数开放权重模型得分低于 10%。

HLE-Diamond 在指数中取代 Humanity's Last Exam。它是由人工智能安全中心 (CAIS) 和 Scale AI 推出的 Humanity's Last Exam 精炼版，共 1,000 道题，推理与知识各占一半。Claude Opus 5.5 (max) 以 68% 领先，其次是 GPT-6 Astra (max) 的 64% 和 Claude Fable 5.1 (max) 的 60%。

对领先模型而言，知识题比推理题更难：Claude Opus 5.5 (max) 和 GPT-6 Astra (max) 在推理上均得分 78%，而在知识上分别为 58% 和 50%。

AA-Omniscience v1.1 是我们知识与幻觉基准的清理版本，移除了饱和题和公开集题目，新增了题目，并修订了有歧义或错误的题目。分数与 v1 基本一致，模型在 AA-Omniscience v1.1 指数上平均低 2 分（中位数 0.6）。我们还在 Hugging Face 上发布了新的公开子集 AA-Omniscience-Public-v1.1，经过重新校准以确保公开集与私有集在准确率、幻觉率和整体表现上保持一致。

该指数在私有的 40 题困难子集上对 CritPt v2 评分：即 70 道研究级物理题，减去七个前沿模型在发布时五次尝试中全部解出的 30 道。模型在我们的智能体框架 Stirrup 中的离线 Python 沙箱内工作。

GPT-6 Astra 在高强度下以 72% 领先，其次是 GPT-6.1 Sol 在最高强度下的 69%。指数总排名第一的 Claude Opus 5.5 (max) 得分为 61%。Kimi K3.1 Pro（权重尚未发布）是得分最高的开放权重模型，为 45%。

v5 在全部九项评估中都留有显著的进步空间，且没有任何单一模型在所有评估中领先。在我们测量的模型中，Claude Opus 5.5 领先三项，另外五个模型领先其余六项：

➤ Claude Opus 5.5： FrontierCode 2.0 (46%)、HLE-Diamond (68%) 和 AA-Omniscience v1.1 (48)

➤ GPT-6 Astra： Terminal-Bench-Science (63%) 和 CritPt v2 困难子集 (72%)

➤ Claude Sonnet 5.5： AA-Briefcase (1812 Elo)

➤ Kimi K3.1 Pro： Terminal-Bench 4.0 (67%)

➤ Gemini 4 Argon： AutomationBench-AA (78%)

➤ Muse Wonder Full： GDP.pdf (33% 全部通过)

开放权重模型在 v5 中进一步落后。最佳者 Kimi K3.1 Pro（权重尚未发布）得分为 46，落后领先者 12 分，而 v4.3 中差距为 3 分。在已发布权重的模型中，DeepSeek V4.1 Flash 1017 (max) 和 GLM-5.3 (max) 以 32 分并列最高，而 Claude Haiku 5.5 (max) 的得分高于它们全部。

差距在 HLE-Diamond 和 Terminal-Bench-Science 上最大，Kimi K3.1 Pro 分别得分 37% 和 34%，而 Claude Opus 5.5 (max) 为 68%，GPT-6 Astra (max) 为 63%。

各领先模型的成本差异很大。 Claude Opus 5.5（max）每完成一项 Intelligence Index 任务花费 $10.04，GPT-6 Astra（max）为 $6.24，GPT-6.1 Sol（max）为 $1.27。GPT-6.1 Sol（max）的得分与 Claude Opus 5.5（max）相差在 4 分以内，而每项任务成本约为后者的八分之一。

在 v5 中，effort 设置的影响比 v4.3 更大。 Claude Opus 5.5 在低 effort 下得分为 35，在 max 下为 58，每项 Intelligence Index 任务成本相差 10 倍（$0.98 对 $10.04）。Claude Sonnet 5.5 从低到 max 的跨度达 29 分，高于 v4.3 的 20 分；GPT-6.1 Sol 的跨度从 10 分翻倍至 20 分。

v5 任务对模型的工作量要求大幅提高。 我们测量的每个模型在每项 Intelligence Index 任务上生成的输出 token 数都高于 v4.3，中位数上升了三分之二，从 35k 增至 59k。

➤ Agentic 评估占用了大部分 token： Terminal-Bench-Science、Terminal-Bench 4.0、AA-Briefcase 和 FrontierCode 2.0 合计占 Index 权重的 55%，但中位数约占输出 token 的 ~90%

➤ Terminal-Bench-Science 是 token 消耗最大的： 仅它一项就约占每项任务输出 token 的三分之一

在发布 v5 的同时，我们还推出了 Artificial Analysis Progress Index v1。 它将 2022 年 11 月以来发布的语言模型置于同一能力标尺上，覆盖广泛的基准测试范围。

使用 Progress Index 可以比较底层能力随时间的变化，包括相隔数年发布的模型之间的对比。若要针对当前用例比较模型并了解当前前沿，请使用 Intelligence Index，它仍是我们衡量当前模型智能水平的主要指标。

感谢 Epoch AI 和 Anthropic——我们在设计 Progress Index 时借鉴了 Epoch Capabilities Index 的经验。

探索 Progress Index：artificialanalysis.ai/trends

方法论：artificialanalysis.ai/methodology/progress-index

感谢 Cognition、Steven Dillmann 和 Terminal-Bench 团队、Center for AI Safety、Scale AI，以及 Minhui Zhu、Minyang Tian、Hao Peng 和 CritPt 团队为本次更新提供的基准测试。

探索完整结果：artificialanalysis.ai

方法论：artificialanalysis.ai/methodology/intelligence-benchmarking