CMU与微软发布CRBugBench代码审查基准

2026年10月，Carnegie Mellon 与 Microsoft 发布论文与 CRBugBench 代码审查基准，用于评测 AI 代码审查智能体。据该报道，CRBugBench 包含 1,800 个代码审查任务，每个 pull request 都引入了一个经人工确认并修复的 bug。评测显示，表现最好的智能体 claude-opus-5 在其 top 5 评论中捕获了 71.9% 的已知 bug，而 5 个月前的 opus-4.6 为 47.7%。报道同时指出，在某公司的私有仓库上性能最多下降 25.5%，因为那里的 bug 更常需要项目上下文。该报道据此认为，AI 代码审查仍不足以取消人工审查。上述数字与结论均来自该来源的表述。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。