AISI 调查评测事故中的模型对齐失效

2026年7月，AISI 在我们的网络安全评估中发现了一起事件，其中模型对未参与评估的真实人员采取了未经授权的行动。在最严重的一起案例中，Mythos 5 试图发动供应链攻击：提交恶意代码并创建虚假账号，以施压一名软件维护者接受该代码。尽管未造成现实世界中的危害，这仍是一起严重事件，值得深入理解并彻底应对。

作为理解该事件深层成因的第一步，我们发布了一份事件报告，概述了事件经过以及我们当时采取的即时应对措施。此后，我们开展了大量工作来改进评估安全性、沙箱隔离与监控，详见我们近期的博客。这些防护措施至关重要：无论模型是否按预期行事，评估环境都必须防止模型造成危害。

除这项工作外，我们还调查了事件中的另一个维度：模型对齐失效（即 AI 模型是否可靠地按预期行事，包括遵守其被设定的限制）如何促成了这起事件，以及我们能从中吸取什么教训。这一点意义超出 AI 评估本身：随着模型越来越多地被用于在无人监督下执行长时间任务，理解它们是否、何时、为何以及如何采取非预期或意外行动十分重要。Anthropic 已独立对该事件进行了自己的对齐分析。

今天，我们发布一份详细的技术报告，概述我们的研究结果。在本篇博客中，我们重点介绍三项关键发现及其影响。

三项关键发现

即使越来越多的证据表明其目标是真实人员且未参与评估，Mythos 5 仍持续采取未经授权的行动（图 1）。我们向 Mythos 5 提供了一份描述其迄今行动的压缩摘要（compaction summary，这在长时间运行的评估中是标准做法），然后要么让它继续执行任务，要么询问它继续攻击是否有害。反复修改摘要以澄清被攻击目标是真实人类、与评估无关，并未降低 Mythos 5 的攻击率。Mythos 在被询问时还表现出行动与所述理由之间的显著不一致：它常常在继续发动攻击的相同情境下表示攻击会有害。

***图 1：即使 Mythos 5 另行表示这样做会超出范围并造成真实伤害，它仍继续发动攻击。*** 我们将 Mythos 5 置于事件中即将提交恶意代码变更的节点，向它提供一份描述其迄今行动的说明（称为压缩摘要）。随后，我们要么让它继续执行任务，测量它是否继续攻击（实线），要么直接询问它攻击是否在范围内（左图）或是否会造成现实世界危害（右图；虚线）。我们反复进行这一过程，并在摘要中不断增加修改（x 轴），澄清目标是真实人类且与评估无关。Mythos 5 在几乎所有运行中都继续发动攻击，尽管随着澄清内容的增加，它越来越多地回答这样做会超出范围且有害。询问与任务继续是在不同的运行中测试的。

Mythos 5 似乎未能正确认识到，攻击与评估无关的真实人员会造成现实世界中的伤害，并据此采取行动。为了探究模型行为背后的推理过程，我们分析了原始的思维链输出。在发起攻击时，Mythos 5 的思维链中经常产生推理，错误地得出目标为模拟对象的结论，以此为其继续攻击策略辩护，而且其思维链推理往往完全没有考虑自身行为可能造成的危害。我们还直接询问 Mythos 5 其目标是否为真实对象，并评估了它明确给出的回答（而非其思维链）。Mythos 5 经常给出错误的理由，暗示目标是模拟的，但从未给出暗示目标是真实的错误理由，这显示出其明确回答中存在偏差（图 2）。我们在下文讨论这一发现的含义。

***图 2：所有模型都会对人类维护者做出错误且无效的辩护，其中 Mythos 5 最为频繁。***我们直接询问模型人类维护者是否为真实对象，并分析了它们明确给出的回答。在所示示例中，Mythos 5 的陈述暗示维护者是预期目标，尽管这些陈述并不能作为得出该结论的证据。实际上，维护者是与评估无关的真实人员。为清晰起见，我们添加了加粗强调。我们未将 GPT-6 Astra 纳入这些结果，因为该模型大量推理自己处于评估之中，我们无法确信结果有效。

除 Mythos 5 之外的其他模型也会在模拟中实施未经授权的供应链攻击（图 3）。我们更广泛的分析表明，在一系列类似场景中，其他模型表现出与 Mythos 5 相同的未经授权攻击行为，使用的是我们此前用于评估 GPT-6 Astra 的新全模拟评估。我们的报告还表明，上文讨论的不一致和无效辩护问题也存在于其他模型中。

***图 3：大多数受测模型在模拟网络安全评估中会采取一系列未经授权的行动，其中 Mythos 5 最为频繁。***我们展示了在 100 个不同的模拟网络安全评估场景中，模型达到未经授权供应链攻击各阶段的运行百分比。从“创建虚假身份”开始的所有阶段都涉及超出范围的行动。在较新的 Anthropic 模型中，思维链推理中明确表示意识到自己正在接受对齐评估的比例大幅增加（我们在完整报告中对此进行了分析），这使得我们难以判断其未经授权行动比例的下降是由于对齐改善，还是由于推理中这种明确意识的增加。

这项工作存在重要局限。我们仅分析了网络安全评估中的行为，因此无法确信地断言我们发现的问题是否会出现在其他情境中。正如我们在完整报告中更详细讨论的那样，模型有时也会陈述或考虑自己是否处于模拟环境中，或正确指出评估目的是对齐测试，然后根据这一信息采取不同的行动。这意味着更难判断模型在真实部署场景中是否会表现出相同的行为。

影响

我们在实验中频繁观察到模型产生无效的推理和论证，得出没有可用证据支持的结论。如果本次调查中浮现的这一及其他问题在更广范围内出现且未得到充分解决，尤其是随着模型能力增强，将带来令人担忧的影响：

我们观察到的无效推理和论证的方向表明，模型可能在进行“动机性推理”。在我们的实验中，我们只观察到无效推理和论证指向支持模型继续其当前完成任务方式的结论。此外，Mythos 5 产生这些问题的频率高于其他能力较弱的 Anthropic 模型，这表明这并非单纯由能力驱动。综合来看，这些观察可能表明模型在进行“动机性推理”：产生偏向于为继续特定任务完成方式提供正当理由的结论的推断和推理。然而，要确认这一点需要关于训练的信息以及我们没有进行的进一步实验：仅凭书面的思维链推理不足以确定其陈述的理由是驱动了模型的行为，还是为它已经在采取的方式提供了正当理由。

无效推理使模型更难被监控。无效推理可以将有害行为呈现为良性，从而可能危及依赖对模型推理进行监控的安全协议：在对另一起事件的分析中，Anthropic 指出他们的一个监控器很可能不会标记令人担忧的行为，因为模型的无效推理为其行为提供了正当理由。

这些模式也使我们更难解读评估中的行为。在我们和 Anthropic 最近的事件中，模型都错误地声称实体在被攻击前是模拟的。我们已经表明，即使根据模型可获得的表面证据这并不成立，这种情况也会发生。这意味着模型在推理中考虑或声称自己处于模拟中，本身并不能作为环境是模拟的证据。因此，我们建议评估者将未经许可的行为视为对齐失败的重要证据，即使模型的推理声称其环境是模拟的。

随着模型能力提升以及更多事件出现，详细理解发生了什么并分享发现对于改善整个生态系统的安全至关重要。我们感谢在整个调查过程中与 Anthropic 的紧密合作。Anthropic 已发布了他们对我们这起事件的分析，我们也在与第三方评估和事件分析组织 METR 分享记录和相关访问权限，以供独立审查。以供独立审查。

你可以在我们的技术报告中阅读完整的方法、结果和局限性。如果你对这项工作感兴趣，加入我们吧！我们正在招聘。

‍