JetBrains研究：编码Agent基准应匹配真实任务流

JetBrains Research 发表论文，认为编码智能体基准应复制真实用户的工作方式，因为真实会话会在多条消息中混合并切换任务类型。研究者分析了 4782 个真实智能体会话，发现功能开发和缺陷修复在请求中占比远低于一半，而 SWE-Bench Pro 中这两类任务占 93.8%。为此他们构建了 SWE-TaskFlow，将每个基准问题拆分为多轮对话，并加入关于代码的可核查问题。在 700 个 SWE-Bench Pro 任务上，这种拆分使智能体成本大约翻倍，而成功率没有稳定变化。该研究由此主张，编码智能体基准的评估方式应更贴近用户真实的任务流。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。