OpenAI 介绍用于安全与对齐的激活分类器训练方法

2026年11月2日 · Alex Makelov, Xiaojun Xu, Sundaram Ananthanarayanan, Ethan Mcdonald, Tom Dupre la Tour

引言

在 OpenAI，我们训练模型以安全且对齐的方式行事。尽管在这一方向上取得了近期进展[OpenAI, 2026b]，但仍存在对抗性压力、罕见情况或训练失败可能削弱安全性与对齐性的情形。为此，我们采用“纵深防御”策略：在部署模型时附加额外的监控器，旨在检测此类情形并阻止模型的进一步动作。具体而言，我们使用运行于用户提示和助手补全之上的文本分类器来实现这一目的。从 GPT-5.6 开始[OpenAI, 2026a]，我们在此防御栈中又增加了一层：运行于所有助手补全之上的激活分类器。

激活分类器，简称探针，是轻量级机器学习模型，利用 LLM 自身的内部激活——即其“神经模式”——将模型活动分类为未对齐或其他不良行为（例如，用户活动具有有害意图）。与外部基于文本的分类器相比，探针具有多项优势：它们支持流式决策，可在违反策略的模型回合中途将其阻断；相比规模大得多的文本分类器，对越狱更具鲁棒性；且运行效率显著更高。此外，探针的准确率通常与模型能力同步提升：在能力更强的模型的激活上训练的探针，本身就是能力更强的分类器。

探针的一个根本局限在于其依赖标注训练数据；我们只能用它检测已知且可测量的不良活动类型。探针还有一些运行层面的局限，源于其与被监控模型前向传播的紧密耦合。在一个模型激活上训练的探针，与具有不同权重初始化的另一模型的激活不兼容。特别是，探针需要针对每个新的预训练基础模型重新训练。即便在同一基础模型家族内，随着模型权重偏离用于训练探针的检查点，探针性能也可能下降，这促使我们定期重新训练[见迁移部分]。

我们已将探针部署到我们能力最强模型的内部和外部流量上。它们是我们内部未对齐监控系统的一个组成部分，与基于模型的审查、自动化调查和人工响应并列。本博客文章介绍了我们的方法及一些重要发现。下图来自各种内部实验，不一定代表已部署的分类器。

方法

架构

探针以残差流激活向量为输入，通常取自模型中间附近的某一层，并输出对应于二分类任务的 logits（例如，预测某个补全是否违反给定策略）。

我们的架构基于 Attention probes [Kantamneni et al. (2025)]，采用 MLP + QV-attention 架构，并使用指数移动平均。¹ 与滚动均值（[McKenzie et al. (2026)]、[Kramar et al., 2026]）相比，指数移动平均将探针的流式状态从 O(window_size * num_heads) 内存降至 O(num_heads)。在实践中，我们发现两种方法在预测能力上基本没有差异。我们进一步添加了一个可学习的前置 MLP 偏置，该偏置从（负的）训练激活均值的估计值初始化；我们发现这能在训练中稳定优化过程。对于许多领域，我们训练多输出探针，以在共享探针权重主要部分的同时提高分类的粒度。这可能有助于某些训练数据有限的输出类别的泛化。

在选择架构的过程中，我们进行了鲁棒性实验，以检查探针预测对助手消息中违规后缀之前放置的良性 token 序列的不变性。我们观察到，MultiMax 探针架构 [Kramar et al., 2026] 受良性前缀的影响显著大于 Max of Rolling Means Attention 架构 [Kramar et al., 2026]，而后者又与我们的指数衰减注意力架构非常相似（图 1）。

滚动 softmax 目标

与 [Kramar et al., 2026] 和 [Cunningham et al., 2026] 类似，我们使用每条消息单个标签来训练探针。因此，架构和训练目标必须将学习集中在相关的 token 位置上。在推理过程中，当助手响应被采样时，探针为每个消息前缀计算一个分数，一旦该分数越过阈值，我们就将该消息标记出来。在训练过程中，我们使用 softmax 操作聚合这些分数，以获得单个消息级分数，并对其施加监督。这与 Kramar et al.'s (2026) 的聚合方法不同，后者对前缀分数取硬最大值。我们假设 softmax 聚合能更好地在前缀之间分配监督。我们的实验表明，softmax 聚合适度改善了召回率/标记率的帕累托前沿（图 2）。

训练、模型选择与评估

我们使用与 [Anderson et al., 2026] 类似的缩放方法收集激活，然后在同一批收集的激活上训练许多探针。通常，我们使用最多 100 万条训练消息，并且我们看到分类改进一直持续到并包括该规模。我们的数据来自合成对话和去标识化对话的混合。我们使用我们能力最强的推理模型作为 LLM 评判员来获取训练标签。

正如在[Kramar et al., 2026]中观察到的，探针权重的随机初始化对探针预测性能有巨大且可泛化的影响。因此，我们通常对每个超参数配置至少训练32个随机初始化。我们通常会扫描多个配置，在验证数据集上选择表现最好的种子，并在留出的评估集上检查最终性能。我们发现需要扫描的关键超参数是学习率、激活源层和架构容量。

为了训练探针，我们在几个（<5）epoch 内使用 AdamW 优化器。由于探针权重相比其必须处理的训练激活很小，训练在很大程度上受带宽限制。因此，我们通过在训练期间向量化并融合探针权重，在同一加速器上联合训练数十个探针，所需时间几乎与训练单个探针相同。这使我们能够轻松扩展每个配置的随机种子数量。²

对于评估，我们在一个精心标注的小数据集上测量召回率，并另外在一个代表探针预期部署的大数据集上评估升级率（即触发探针的相关消息比例）。跨探针阈值，这产生了一条召回-升级曲线，这是我们进行探针部署和配置的主要决策点。为了评估探针对越狱的鲁棒性，我们还运行了自动和手动红队的组合。

部署

探针以流式方式直接在推理引擎上运行（仅保留用于 token 池化的最小缓冲区），并为每个采样的 token 返回一个 logit。因此，探针具有与模型本身几乎相同的系统可靠性；特别是，与外部文本分类器相比，探针更容易实现故障关闭。

系统将分类器 logit 与每个采样的 token 一起记录。每当 logit 高于阈值时，我们停止向用户流式传输补全内容，并将消息升级到推理模型进行最终判断。工具调用也会被阻止，直到该调用被标记为安全。

探针的一些经验特性

模型检查点之间的迁移

在一个模型的激活上训练的探针，当应用于另一个模型的激活时，通常会有不同的表现。尽管如此，对于足够相似的模型，我们预计分类器质量几乎不会下降。为了量化可接受的相似程度，我们评估了探针在后训练不同步骤以及不同预训练量之间的迁移（图3）。我们观察到在许多后训练阶段之间有极好的迁移，而在预训练检查点之间的迁移则较为有限。

对越狱的鲁棒性

先前的工作表明，基于激活的监控器对某些越狱攻击具有鲁棒性，并补充了基于文本的分类器[Patel and Wang, 2024]、[Cunningham et al., 2026]。探针还可能检测通过被监控模型理解但外部分类器难以解释的编码所表达的内容[Sel et al., 2026]。这很可能因此赋予了对某些类别越狱的鲁棒性。

对于并非直接针对探针优化的越狱，鲁棒性尤其高。然而，现实世界的攻击可以适应我们安全栈发出的信号。因此，我们对我们的防护措施进行了大量红队测试 [OpenAI, 2026a]。在此测试中，我们发现探针总体上比基于内容的分类器对越狱更具鲁棒性。

性能随模型能力扩展

对于固定的分类任务，文本分类器始终看到相同的输入，因此表现相同。然而，探针的输入是被监控模型在固定任务实例上的激活值，而这些激活值在不同模型之间有所不同。包括 [Nordby et al., 2026] 在内的先前工作表明，探针准确率可以随模型能力提升而提高。我们也观察到了这一趋势，并且探针性能在我们的前沿模型上持续提升。

结论

探针已成为 OpenAI 安全与对齐策略中不可或缺的一部分。它们是我们更广泛的检测和调查前沿模型失配工作的一个组成部分。我们正在积极训练和部署更好的探针，并扩大它们覆盖的策略范围。我们计划继续发展白盒分类器的科学，着眼于改进其泛化性和鲁棒性。

致谢

本报告主要关注与探针架构和训练相关的技术细节。在前沿模型上部署探针需要许多团队的广泛协作。我们感谢 OpenAI 安全系统与准备团队中为这项工作提供帮助的许多人。我们还要感谢 Isak Czeresnia Etinger、Paul Rosu、Ian Kivlichan、Bowen Baker、Jakub Pachocki、Kai Chen 和 Gaby Raila 对本文的深思熟虑的评论。

脚注

1. 我们还试验了线性探针（包括在来自多层的拼接激活值上）[Cunningham et al., 2026]、MultiMax 探针 [Kramar et al., 2026] 和协方差探针 [Dooms et al., 2026]，但均未提升预测性能。全注意力探针性能相似，但缺少 QV 注意力探针的低缓冲流式实现。仅使用单层激活值的探针也因推理基础设施的简洁性而更受青睐。↩
2. 请注意，以这种方式耦合探针意味着它们以相同顺序看到数据，这可能会减少对可能探针空间的有益探索。然而，一项受控实验表明，探针性能的差异绝大多数源于初始化随机性（约 85% 的方差份额）。↩