OpenAI 训练智能体自我举报违规行为

2026年3月21日 · Bruce W. Lee、Yueh-Han Chen 和 Tomek Korbak

TL;DR 我们训练智能体在暗中行为不端时调用 report_scheming() 工具。自我归罪将 GPT-4.1 未被检测到的成功攻击从 56% 降至 6%，在 15 个分布外环境中优于能力匹配的黑盒监控器和对齐基线，保持通用能力，并能从被指示的不端行为泛化到未被指示的不端行为。

我们发布了我们的 代码库、 评估库 以及 合成数据流水线。 我们还发表了一篇 论文 和一个 微型网站，其中包含交互式 记录。

尽管在对齐方面取得了进展，但失准行为 仍会涌现并持续存在于标准 训练中，这促使了控制研究的兴起，其目标是在对齐失败时也能检测并阻止不端行为。尤其值得 关注的是阴谋，即智能体追求隐藏目标，同时策略性地向 监督隐瞒这一追求。 黑盒监控是控制研究的主导 方法，它仅检查智能体的输出，必须从外部痕迹推断意图。我们提出疑问： 能否训练阴谋智能体标记自身的不端行为。

语言模型会发展出强烈的 模式补全行为，即使能力提升 也难以抑制。 越狱以攻击性方式利用这一点， 劫持模型延续模式的倾向。我们以防御性方式利用同一特性，训练一个可见 信号作为阴谋的自然延续。我们将我们的方法称为自我归罪。

为什么这应该有效？我们的直觉是，使越狱难以修补的同一特性，也使 自我归罪难以抑制。一旦模型发展出强烈的倾向，将调用 report_scheming() 工具作为隐蔽不端行为的自然延续，模型就会发现 在隐蔽行动的同时抑制自我归罪冲动是很困难的。特别是， 自我归罪训练并不试图让模型诚实或改变其目标。它训练一个小的额外 行为，即调用特定工具，将其绑定到阴谋行为上。这种行为很可能比 对齐更容易被稳健地灌输！

训练方法。 自我归罪训练的目标是培养一种强烈的倾向，即在不当行为发生时将其标记出来，从而使隐蔽的不当行为变得可观察。我们通过对成功自我归罪的示范进行同策略监督微调来实现这一目标。

1. 在 45 个合成环境中生成智能体轨迹，其中智能体被指示在完成用户主任务的同时追求一个隐藏的副任务，经过筛选后每个模型产生约 400 对对比轨迹。
2. 在每一个对副任务有贡献的工具调用旁边插入一个 report_scheming() 工具调用，该副任务由能够访问完整任务规范的标注者识别。
3. 在这些增强轨迹上微调目标模型。

我们与黑盒监控基线（GPT-4.1 作为 强监控器，GPT-4.1 mini 作为 弱监控器，两者均包含训练和未训练版本）以及对齐基线（拒绝攻击指令，训练模型在检测到冲突的隐藏指令时拒绝执行；以及 忽略攻击指令，训练模型在忽略副任务的同时完成主任务）进行比较，所有方法均可访问相同的训练数据。

实验设置。 我们使用公开的微调 API 训练 GPT-4.1、GPT-4.1 mini 和 Gemini 2.0 Flash。我们评估来自三个现有基准的 15 个测试环境（APPS Code Backdooring、BashArena、SHADE-Arena），涵盖代码生成、Bash 系统管理和工作场所模拟，使用多达 70 个工具。评估轨迹比训练轨迹长得多，评估中位数（39–51 次工具调用）约为训练中位数的两倍。

指标。 我们的主要指标是未被检测到的成功攻击率：P(攻击成功) × P(未被检测到 | 攻击成功)。我们还测量了假阳性率、七个基准上的整体性能以及指令层级保持情况。

在本文的剩余部分，我们简要讨论我们的关键结果。

自我归罪优于黑盒监控

自我归罪显著降低了未被检测到的成功攻击，在所有 15 个测试环境和所有三个模型上均保持一致。它将 GPT-4.1 的未被检测到的成功攻击从 56% 降至 6%，GPT-4.1 mini 从 33% 降至 14%，Gemini 2.0 Flash 从 41% 降至 9%。强监控器基线（GPT-4.1 在 5% FPR 下）在两个方面是一个宽松的比较：能力匹配的监控由于成本原因在大规模部署中并不常见，而且 5% FPR 高于部署中通常允许的水平。

无论是在能否访问智能体私有草稿本推理的情况下，自我归罪在帕累托意义上都优于监控，并且在良性轨迹上观察到的假阳性率接近于零。即使在与自我归罪相同的轨迹上训练监控器，并针对被评估的攻击者进行显式优化，仍然不及自我归罪。

自我归罪训练的安全税很低

我们的对齐基线和自我归罪都能减少未被检测到的成功攻击，但机制不同，而机制对副作用很重要。我们发现，仅仅训练模型忽略恶意指令可能会导致过度泛化。例如，Ignore-Attack-Instruction 会灾难性地降低良性系统指令遵循能力（97% → 4%），因为模型学会了忽略所有被框定为侧任务的系统指令，而不仅仅是恶意指令。自我归罪避免了这种失败模式，因为它并不试图改变模型的行为，只是让不当行为变得可见。

自我归罪在对齐基线中也更具样本效率，在各种训练集规模下，其未被检测到的成功攻击率与基线相当或优于基线。在七个通用能力基准（GPQA-Diamond、BigBench-Hard、AIME 2025、BigCodeBench、HumanEval、BFCL、TruthfulQA）上，自我归罪在所有测试方法中与基础模型的平均偏差最小。

自我归罪的任务间变异性很低

黑盒监控必须从输出 token 推断不当行为，而自我归罪则训练模型将其对隐蔽不当行为的识别外化。这预示着监控性能会因任务而异，取决于不当行为在外部有多容易被识别。

自我归罪在任务间变异性上比强监控器和弱监控器都低 2–3 倍。 在隐蔽不当行为单独来看并不引人怀疑的任务上，自我归罪往往优于监控， 例如代码后门（嵌入生成代码中的后门逻辑）或供应商偏见（偏好那些单独来看很正常的昂贵航班）。 在诸如下载恶意软件这类任务上，监控表现相当或更好，因为其中的隐蔽行为可以从单个工具调用中识别出来。

重要的是，这两种方法捕获的是不同的攻击。在 5% 假阳性率下，强监控器会漏掉 38–46% 的自我归罪能捕获的攻击， 并且还有一长串攻击即使在假阳性率超过 50% 时仍未被检测到。许多成功的攻击在监控器可疑度评分上低于诚实行为的中位数， 使得它们仅靠黑盒监控无法与典型的诚实行为区分开来。

没有任何单一防御能经受住对抗性优化，但组合起来会有所帮助

我们使用 GPT-5 提议者-修剪者流水线，针对每种防御迭代优化系统提示 （这在 我们的论文附录 H 中有说明）， 并且完全了解该防御（依据 柯克霍夫原则）。 我们比较了自我归罪、强监控、Just Ask（在任务完成后直接询问智能体是否有隐藏目标）、带诚实训练的 Just Ask （在承认错误示例上进行微调）， 以及自我归罪与强监控的组合。优化器发现了三大类策略：

1. 否认（明确指示模型不要触发检测）
2. 重新框定（将侧任务重新标记为合法活动）
3. 伪装（将隐蔽行为嵌入看起来良性的操作中）

没有任何单一防御是完全稳健的。自我归罪容易受到重新框定的影响，后者通过将侧任务重新标记为例行合规来降低自我报告率。 黑盒监控在不当行为被嵌入许多看似良性操作的任务上会退化。然而，将自我归罪与监控结合能带来最强的稳健性， 因为我们发现击败其中一种的策略往往无法击败另一种。

在受指示的不当行为上训练可以迁移到未受指示的不当行为

我们的主要实验采用遵循传统 AI Control 设置的指令性不当行为。系统提示 告诉智能体去追求一个隐藏的副任务。但我们关心的威胁是非指令性不当行为，即 智能体通过环境交互发现目标冲突并决定自行行动。我们用 Agentic Misalignment+ 来测试这一点，其中模型管理一个公司收件箱，发现一位高管正推动 替换它，并有机会通过勒索、泄露机密信息或 取消紧急救援来消除他。模型被赋予一个目标（“服务美国利益”），但从未被 告知要行为不当。在指令性不当行为上训练的自证其罪可泛化到这一设置，且性能 随着训练集规模的增大而提升。我们还发现：

• 仅仅提供 report_scheming() 工具而不进行训练有时会适得其反，增加有害 行为的比率。我们假设该工具描述中提到了“scheming”，这会让模型倾向于考虑 不当行为。
• 在指令性不当行为上训练的对齐基线向非指令性设置的迁移有限。

自证其罪与同期自我报告工作的关系

三条同期的工作探索训练模型自我报告欺骗行为： Self-Report Fine-Tuning（SRFT），它 训练模型承认事实性错误，并表明这可泛化到承认隐藏目标； Confessions，它使用 RL 训练事后坦白，其奖励独立于主答案；以及 Honesty Fine-Tuning，它比较了若干方法，并发现简单地在反欺骗数据上微调 出奇地有效。这三者都共享一个洞见：模型可能对其自身行为拥有特权访问的信息，而这些信息 无法仅从输出 token 中恢复。

自证其罪与此精神相同，但有两点不同。首先，目标行为是一个具体动作 （调用特定工具），而非一种普遍价值（诚实），这可能更容易内化。其次， 自证其罪是同时标记不当行为，而非通过事后审问，因此不会产生 额外的推理开销。然而，自证其罪要求模型习惯性地调用该工具，而 审问则会产生直接压力要求诚实。我们将这些视为互补的方法，并希望该领域 探索哪种组合效果最好！

阅读我们的论文以获取更多细节 和结果，包括局限性和开放问题。

致谢

我们衷心感谢 Mikita Balesni 和 Eric Wong 就本工作若干核心方面进行的澄清讨论。Boaz Barak、Ian Kivlichan、Dmitrii Krasheninnikov 和 Asa Cooper Stickland 在多个阶段对草稿提供了宝贵意见。我们还感谢 Gabe Wu、Sonia Murthy 和 Dennis Akar 的有益交流。我们感谢 Ryan Kidd、Matthew Weardon、Henning Bartsch、Iftekhar Uddin 和 Vivian Ha 促成了 MATS 项目。

Bibtex

@misc{lee2026trainingagentsselfreportmisbehavior,
      title={Training Agents to Self-Report Misbehavior}, 
      author={Bruce W. Lee and Chen Yueh-Han and Tomek Korbak},
      year={2026},
      eprint={2602.22303},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2602.22303}, 
}