Collinear AI 发布 CWE-bench v2：100 个安全漏洞修复任务公开

CWE-bench 旨在测试前沿网络能力的极限。在 Collinear AI 不断拓展边界的持续努力中，CWE-bench v2 公开了一组包含 100 个任务的公开集合，任何人都可以运行并在其上评估自己的模型。设置与之前相同。智能体获得一个真实开源仓库的检出副本和一段简短指令，目标是在不破坏现有功能的前提下发现并修复一个安全弱点。评分完全程序化，因此结果是确定性的，任何人都可以零额外成本复现。我们所有的程序化检查都在 LLM 评审小组的帮助下精心策划，使其朝着难度与公平性的方向调整。我们还维护了一个留出集，以便持续跟踪模型从未见过的任务上的进展。要在留出集上评估你的模型，请联系 [email protected]。

我们的目标是做到穷尽。防御者必须预判攻击者可能进入的方式，并且每一次都要做对。这 100 个任务覆盖 91 种不同的 CWE，横跨广泛的漏洞类别。在这里表现良好的模型必须理解潜在攻击者可以利用的多个弱点面。仅仅识别熟悉的模式是不够的。

作为我们持续改进质量的细致努力的一部分，我们对每个任务都检查了以下问题是否成立：

• 指令读起来是否像一条真实的指令，而不是评估环境？
• 每一个被评分的行为是否都能从指令中推断出来？
• 验证器检查的是正确行为，而不是某一种修复的特定结构？
• 起始代码是否失败，而参考修复是否通过？
• 原始功能在新的修复下是否仍然正常工作？
• 验证器是否会让记忆化的解决方案（如已知的上游补丁）失败？

每个任务也都经过了人工审查。开源该集合是改进质量的同一努力的一部分。我们欢迎对任何任务的反馈，以及对公开集合的贡献。

结果

结果在 Hub 上的两个地方跟踪。CWE-bench 数据集页面上的排行榜涵盖开放权重模型并自行更新：实验室和社区通过在模型仓库上提交带有结果文件的 PR 来添加结果（方法）。如需完整对比，包括 Gemini、Claude 和 GPT 等仅 API 模型，请参阅 CWE-bench 排行榜 Space，新模型通过在该 Space 上提交 PR 来添加。

开放权重模型，来自数据集页面：

所有已评估模型，包括仅 API 模型：

在已评估的 11 个模型中，Gemini 4 Argon 以 67.8% pass@1 和 81.0% pass@4 领先，略高于 Claude Opus 5.5（67.3% pass@1，78.0% pass@4）。有 95 个任务被至少一个模型解决，这表明这些任务确实可解。然而，即便是领先者也在每次尝试中失败于该集合的 19%，因此长尾远未解决。公开集合、评分器和测试框架均已开放。运行你的模型，告诉我们它处于什么位置。

在成本方面，DeepSeek V4.1 Flash (1017)、Claude Opus 5.5 和 Gemini 4 Argon 构成帕累托前沿：DeepSeek 以每次 rollout 0.04 美元达到 57.0% pass@1，Opus 以 1.83 美元增加十个点，Gemini 以 3.92 美元略微领先。

从 Hub 运行

每个任务都是一个自包含的 Harbor 任务（一个 Docker 化环境、一条指令和一个确定性验证器），数据集还附带一个 registry.json。因此，Harbor 可以直接从 Hugging Face 仓库运行整个基准测试，无需你自己克隆任何内容：

harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d [email protected] -k 4 \
  --agent <agent> --model <model> --env docker \
  --allow-agent-host <model API host>

-k 4 对每个任务运行 4 次尝试，报告的分数是全部 400 次试验的平均奖励。该数据集设有访问限制：请先在数据集页面上接受其访问条件。Harbor 通过 git 获取任务，因此还需将你的 HF token 保存到 git 的凭据助手中一次：

hf auth login --token $HF_TOKEN --add-to-git-credential

这些任务还带有 rl-environment 标签：相同的环境和验证器不仅可以用于评估防御型智能体，还可以为训练它们提供奖励。