跳到正文
OpenAI News·· 2026-02-23精选AI 评分60

OpenAI 解释为何不再评测 SWE-bench Verified

Why we no longer evaluate SWE-bench Verified

AI 导读

OpenAI 宣布不再使用 SWE-bench Verified 评测,理由是这一基准正日益受到污染,无法准确衡量前沿编码能力。其分析指出该基准存在测试缺陷和训练数据泄漏问题,并建议改用 SWE-bench Pro。

推荐理由

OpenAI 说明 SWE-bench Verified 存在污染与测试缺陷,并给出替代基准建议,可供关注编码评测的人参考。

来源:OpenAI News · openai.com