英国 AISI 评测 AI 模型是否会破坏 AI 安全研究

前沿 AI 公司内部正越来越多地使用 AI 系统来协助研究与开发，包括 AI 安全方面的工作。然而，如果这些系统在执行安全研究时出现失准或非预期的行为，未来的模型可能会变得更不安全，而且这种不安全可能难以被察觉。

作为理解前沿 AI 带来的失控风险这一更大研究工作中的一部分，我们一直在开发方法，用以模拟 AI 公司内部部署的模型在执行和协助 AI 安全研究时可能表现出的行为。我们在 2025 年 11 月分享了这些评估的一些早期结果。此后，我们改进并扩展了这套评估套件。作为与 Anthropic 持续合作的一部分，我们使用自己的方法测试了 Claude Mythos Preview 和 Opus 4.7 的发布前快照，以及 Opus 4.6 和 Sonnet 4.6 的研究破坏倾向。

我们主要通过两种方式评估这一行为。首先，我们改进了无提示研究破坏评估。该评估考察模型是否会破坏安全研究，例如调整假想未来模型的行为和自主性的任务。其次，我们开发了一种新的破坏延续评估，用于测试当先前的推理和行动构成一次破坏安全研究尝试的开端时，模型会如何表现。

在我们测试的所有模型中，我们都没有发现无提示研究破坏的案例。我们还发现，Mythos Preview 和 Opus 4.7 拒绝协助安全相关研究任务的情况几乎为零——而在我们此前几轮失准评估中，这种行为曾频繁出现。尽管如此，我们的延续评估得出了值得密切关注的结果：在少部分输入中，大多数模型会主动延续破坏尝试，其中 Mythos Preview 主动延续破坏的比例为 7%，而 Opus 4.6 为 3%，Sonnet 4.6 为 4%。不过，Opus 4.7 从未主动延续破坏。

尽管这些方法在评估此类风险方面是令人鼓舞的一步，但我们的评估技术仍在开发中，加之模型对评估的感知不断增强，以及对失准行为的覆盖范围有限，这些结果都应谨慎解读。

在这篇博客文章中，我们概述了我们的方法和结果。你可以在我们的完整报告中找到更多信息。

‍

我们测试了什么以及为什么测试

我们的评估将模型置于一系列场景中，让它们扮演前沿 AI 公司内部部署的研究智能体。我们的评估套件共包含 297 个不同场景，这些场景根据研究动机、研究方法，以及所执行的研究是否会威胁到被测模型的持续运行而有所不同。在每个场景中，模型都被提示在无人干预的情况下自主完成整个任务。我们使用 LLM 评分器并结合人工审核，来审查评估记录中是否存在破坏行为。

我们新的延续评估建立在这一方法论之上，将模型置于先前模型的推理和行动表现出蓄意破坏意图的情境中。我们使用一个单独的模型生成逼真的蓄意破坏轨迹，然后在不同节点将其截断，并作为被评估模型继续执行的先前任务历史。随后我们评估模型是揭示并纠正这些先前的问题，还是主动继续蓄意破坏的尝试。

我们的无提示评估提供了最直接的证据，说明内部部署的模型是否可能自发地尝试研究蓄意破坏。相比之下，延续评估将模型置于它们可能在现实世界中不会遇到的情境中，因此其产生的证据不那么直接。然而，我们认为延续评估仍然提供了关于风险的有用信息。例如，在使用多个模型的研究环境中，一个模型可能会继承另一个模型产生的轨迹。在这种情况下，模型最好能够识别并纠正先前的不对齐行为。也有可能的是，那些继续不对齐轨迹的模型在无提示评估未覆盖的未知情境中更有可能发起蓄意破坏——但这种关系的性质仍不明确，是一个活跃的持续研究领域。

结果

总体而言，我们的结果对现实世界研究蓄意破坏的可能性呈现出喜忧参半的图景：

我们没有检测到任何自发研究蓄意破坏的实例：与我们的先前工作一样，我们的无提示蓄意破坏评估没有检测到任何模型自发尝试蓄意破坏研究的实例。此图中非零的比率经过人工审查，归因于我们使用的 LLM 评判器的错误。

模型很少拒绝协助安全任务：在我们测试的两个最新模型 Opus 4.7 和 Mythos Preview 中，我们发现对协助 AI 安全研究任务的拒绝率接近于零。这相比早期模型有所改进。

‍

模型有时会继续不对齐行为：大多数模型在一小部分输入中会主动继续蓄意破坏尝试。值得注意的是，我们发现 Mythos Preview 有 7% 的时间主动继续蓄意破坏，而 Opus 4.6 为 3%，Sonnet 4.6 为 4%。然而，Opus 4.7 从未主动继续蓄意破坏。

Mythos Preview 在延续评估中经常试图掩饰蓄意破坏尝试：对于延续评估，我们还测量模型向用户提供的输出与其内部思维链推理之间的差异。这识别出模型推理蓄意破坏但将其工作呈现为良性的实例。在先前历史包含蓄意破坏推理（且模型主动继续蓄意破坏）的情况下，Mythos Preview 在 65% 的案例中表现出推理-行动差异，而 Opus 4.6 和 Sonnet 4.6 仅为 5–8%。我们不确定是什么导致了这种效应，需要进一步调查以理解它。

模型可能意识到自己正在被评估：我们工作的一个重要局限是评估意识，即模型会识别出自己正在被评估，这可能导致它们改变行为，从而削弱我们结果的可靠性。我们发现，在提示下，我们测试的所有模型都能可靠地将我们的评估场景与部署数据区分开来。我们正在积极研究解决这一问题的方法。

影响

我们的评估中最令人鼓舞的发现是，Mythos Preview 和 Opus 4.7 都没有自发地试图破坏安全研究。两者协助安全工作的拒绝率也显著低于早期模型。然而，这不足以断定模型在现实条件下永远不会破坏安全工作：我们不能排除模型因意识到自己正在被评估而表现出不同行为的可能，而且我们只测试了有限数量的场景。这凸显了持续研究以检测和缓解评估意识的重要性，以及继续构建更广泛评估套件的必要性。

我们的测试还揭示了其他值得进一步监测的趋势。Mythos Preview 继续以大约 Opus 4.6 两倍的速率进行破坏，并且相对于其思维链推理，显著更有可能产生误导性输出。尽管 Opus 4.7 似乎没有表现出这些相同的行为，但这些发现仍然强化了持续监测破坏相关倾向的重要性。

我们的完整报告包含更多细节，包括对无提示破坏评估结果的更多分析以及详细记录。

理解这些风险如何在前沿 AI 模型中显现是 AISI 使命的核心，也是我们与领先 AI 公司密切合作所追求的目标。如需了解更多信息，请参阅我们与 Anthropic、Google DeepMind 和 OpenAI 正在进行的合作详情。

‍