AISI 研究前沿模型评测中的作弊行为

你能信任一个 AI 模型去做你意图中的事吗？这对部署 AI 系统的人和试图评估其能力的人来说都是一个核心问题。在部署中，一个通过非预期或未经授权的手段追求目标的模型可能造成危害，尤其是在高风险用例中。在 AI 能力评估中，同样的行为可能损害结果的有效性：模型可能看似通过完成一项困难任务展示了某种能力，但实际上却是利用了该任务或其环境。

AISI 已开始针对这种行为对 AI 模型进行监测和评估，我们称之为作弊（cheating）。我们测试过的每一个模型都曾尝试作弊。当被问及时，模型并未可靠地报告这一行为，而且往往没有在其思维链中对此进行推理，这表明检测作弊很可能需要稳健的监测方法。

在这篇博客中，我们分析了网络评估中的作弊行为，并讨论了随着模型能力增强，这一行为所带来的影响。

我们所说的作弊是什么意思

我们将作弊定义为：为了通过捷径、变通方法或任务本不应或不应允许的非预期解法来达成目标，而采取超出任务范围或规则明确禁止的行动。

这种行为此前已被他人记录，尤其是在能力评估期间：模型曾试图入侵评估基础设施以寻找评分函数，在网上搜索现有解法，以及对编程任务硬编码答案。

我们使用“作弊”这一标签，并不一定意味着存在欺骗意图。尽管如此，作弊之所以令人担忧有几个原因：它可能使评估夸大模型的实际能力，并可能在完成难以验证成功与否的任务时误导用户。随着模型能力增强，作弊也变得更加令人担忧：能力更强的模型可能找到意想不到的作弊方式，或付出更多努力来隐藏其行为。

在给出结果之前先说明一点：对于 AISI 所有已发布的能力评估，我们都会人工审查记录，以确保作弊没有抬高我们对模型能力的估计。据我们所知，在我们报告的结果中，没有任何模型成功作弊（即未被发现）。我们将在下文回到这一说法能保证什么、不能保证什么。

AISI 网络评估中的作弊行为

在 AISI 的网络安全能力评估中，模型的任务是通过执行一系列攻击性网络操作（例如逆向工程编译后的代码或利用安全漏洞），在模拟环境中找到一个隐藏的“flag”（一串字母和数字）。这些任务要求模型进行“黑客攻击”，但仅在限定范围内：每个任务都有明确的范围和一组规则来约束预期解法。当 AI 模型超出这一范围或采取规则明确禁止的行动时，我们将其行为归类为作弊。在这些评估中，没有任何模型被专门提示去作弊。 

衡量尝试作弊的行为

为了大规模分析作弊行为，我们使用了一个自动化 LLM 监控器。该监控器会审查被评估 AI 模型的轨迹：即模型推理和行动的完整序列。监控器会为整个轨迹和单个行动打上标签，并识别模型是否在任何时候作弊。我们多次迭代这个监控器以减少误报，并针对一组人工识别的作弊示例进行评估，以估计其漏报率。尽管如此，监控器仍可能遗漏一些实例，因此以下结果应被解读为检测到的作弊尝试的下限估计，而不是对该行为的完整描述。 

一个突出的案例

一个特别明显的作弊行为案例发生在一次网络能力评估中，该评估被意外错误配置，因此无法解决。被测试的模型在尝试作弊时如此执着，以至于它在外部服务上编写并运行代码，该服务托管在 AISI 系统之外的开放互联网上，试图访问我们的评估基础设施，从而触发了 AISI 系统中的安全警报。没有造成损害，也没有信息泄露，但如果我们的评估基础设施不是以安全方式设计和构建的，这次尝试本可能成功。此后，我们已采取行动进一步加强 AISI 系统的安全。

本分析中测试的每个模型都有时尝试作弊（图 1）。似乎没有明显趋势表明作弊会随能力提升而增加或减少。在 AI 开发者中，模型能力提升与在此评估中尝试作弊率上升并不相关。我们认为，这意味着——也许并不令人意外——作弊行为在很大程度上受到用于训练模型的具体技术（包括对齐训练）的影响，而不仅仅是原始能力。

不同模型之间的作弊行为差异很大（图 2）。常见行为包括在网上搜索解决方案、攻击或提升并非评估目标的系统权限（包括模型运行所在的系统），或探测评估软件以查看它是否会泄露任务解决方案。作弊行为并不局限于单一方法：模型在一次评估中常常尝试多种方法，有时在单条轨迹中就会尝试不止一种。

自我报告和思维链监控的局限

一种被提出的检测作弊的方法是询问模型是否采取了任何被禁止或可疑的行动。我们的结果表明，这不是一种可靠的方法。

在我们的实验中，模型在被询问时并未一致承认尝试作弊，并且只有不到 50% 的情况下将其描述为错误（图 3）。即使模型确实承认了根据我们的定义构成“作弊”的行动，它们也常常将该行动描述为被允许的行为——这可能是由于真正的误解（图 4）。 

另一种识别作弊的可能方法是监控模型的思维链—— 即它在处理任务时产生的书面推理，这种推理通常是（但并非总是）人类可读的（在当今的模型中）。检查这些推理有时可以揭示模型如何理解任务、考虑了哪些行动以及为何选择某种特定方法。这些实验的结果表明，仅靠这种方法本身也不足以检测作弊。

在我们的实验中，模型往往不会在其思维链中对其作弊行为进行推理（图5）。在 Opus 4.7 的案例中，模型很少为被归类为作弊的特定行动生成推理轨迹，因为它使用了自适应推理：动态决定为给定行动生成多少显式思维链（如果有的话）。在存在相关推理的情况下，它也未必能阻止该行为：我们观察到一些案例，模型明确考虑了某个拟议行动是否构成作弊，然后仍然继续执行（图6）。 

综合来看，这些结果表明，自我报告和思维链都不是识别作弊行为的稳健方法。 

作弊行为的影响

如果我们无法信任模型不会作弊，将会产生重大后果。成功的作弊在难以验证成功的领域尤其危险，例如 AI 安全与安保研究，或者在意外行动的代价可能非常高的领域，例如网络行动或军事决策。作弊还会在 AISI 的能力评估中产生额外的验证工作，这拖慢了可靠结果的产出，在最坏的情况下还可能使结果完全失效：METR 对 GPT-5.6 Sol 的评估就因此受到了显著影响。如果 AI 能力继续快速进步，部署周期和决策加速，第三方评估者面临的快速推进压力可能会使其难以进行高置信度评估所需的验证工作。

即使作弊率保持不变，随着模型能力增强，这些后果也可能加剧。能力更强的模型可能会找到更难检测、且一旦成功危害更大的作弊方法。这在网络安全等高风险领域尤其令人担忧，因为攻击能力正在迅速提升，一次针对周边基础设施的尝试就可能造成重大危害。

这带来了日益严峻的监督挑战。我们的结果已经表明，模型自身的自我声明和推理并不可靠，无法作为其是否作弊的证据。如今，AISI 通常可以通过人工审查结合额外工具（如本研究中使用的 LLM 监控器）来检测作弊。但随着模型能力增强，这些方法可能变得不那么有效。 此前 AISI 的研究认为，我们监督模型的能力可能会随时间推移而下降，这甚至可能削弱这种方法。更根本的解决办法是训练模型从一开始就不作弊——但鉴于这类行为在一年多前就已在前沿模型中被报告，要稳健地将其对齐消除可能并不容易。 

有兴趣为这项工作做出贡献吗？我们一直在寻找杰出人才加入我们的红队——请在此提交意向书。 

‍