OpenAI News·· 2026-02-23精选AI 评分60
OpenAI 解释为何不再评测 SWE-bench Verified
Why we no longer evaluate SWE-bench Verified
AI 导读
OpenAI 宣布不再使用 SWE-bench Verified 评测,理由是这一基准正日益受到污染,无法准确衡量前沿编码能力。其分析指出该基准存在测试缺陷和训练数据泄漏问题,并建议改用 SWE-bench Pro。
推荐理由
OpenAI 说明 SWE-bench Verified 存在污染与测试缺陷,并给出替代基准建议,可供关注编码评测的人参考。
来源:OpenAI News · openai.com