Artificial Analysis 上线 FrontierCode 1.1 编码基准

2026年10月12日，Artificial Analysis 上线由 Cognition 构建的编码基准 FrontierCode 1.1，用真实开源仓库任务衡量模型改动是否达到维护者可合并的标准，并额外考察改动过大、越界修改文件、添加无用测试等行为。据 Artificial Analysis 介绍，该基准共150项任务，评测使用其中的主任务集 FrontierCode 1.1 Main 的100项任务，每项任务尝试三次；任务不公开以避免污染。FrontierCode 1.1 以独立排行榜形式发布，不纳入 Artificial Analysis Intelligence Index，Artificial Analysis 表示计划很快将其加入其 Coding Agents 排行榜。10月13日，Artificial Analysis 在 X 宣布上线 FrontierCode 1.1 榜单，并称评测使用其 Stirrup 开源参考 harness 以保证模型间可比，早先报道称所有模型在同一 agent harness 下运行；新报道还称，未通过任一阻断性检查的尝试得零分，全部通过的尝试得分在70%至100%之间。同日另一条 X 帖称 Cognition 推出 FrontierCode 并给出完整结果链接。新报道首次披露成本数据：FrontierCode 单任务成本横跨两个数量级，从 GPT-6 Luna (max) 的0.09美元到 Claude Fable 5.1 (max with fallback) 的12.00美元，四款模型位于帕累托前沿。10月13日，Cognition 在 X 宣布其 FrontierCode 1.1 已上线 Artificial Analysis 榜单，称该基准由 Cognition 与开源维护者共同构建，每个任务要求智能体修改真实开源仓库，并同时检查单元测试与维护者是否愿意合并的定性标准，全部任务私有以避免污染；Artificial Analysis 使用 Stirrup 开源参考框架运行100任务主集，结果显示领先模型仍有超过40%的失败率，Claude Opus 5.5（max with fallback）以52%居首，MiMo-V2.6-Pro 以45%领跑开放权重模型，GPT-6.1 Sol（max）以每任务0.81美元取得49%。

AI 根据报道生成 · 21 分钟前更新

1. 10月13日 01:51 · 1 篇报道
   Cognition发布FrontierCode基准
   Artificial Analysis：Cognition 推出 FrontierCode 评测
2. 10月12日 08:00 · 4 篇报道
   Artificial Analysis 发布 FrontierCode 1.1 编码基准评测
   Artificial Analysis：Artificial Analysis 上线 FrontierCode 1.1 编码智能体榜单

还没有足够的连续观测数据，暂不绘制趋势。