Anthropic 提出自然语言自编码器 NLA，将 Claude 内部激活转为可读文本

当你与像 Claude 这样的 AI 模型对话时，你是用文字与它交流的。在内部，Claude 会将这些文字处理成长串的数字列表，然后再以文字作为输出。中间这些数字被称为激活值——就像人脑中的神经活动一样，它们编码着 Claude 的“想法”。

同样与神经活动类似，激活值很难被理解。我们无法轻易解码它们来读取 Claude 的想法。过去几年里，我们开发了一系列工具（例如稀疏自编码器和归因图），以便更好地理解激活值。这些工具教会了我们很多，但它们并不会自己“说话”——它们的输出仍然是复杂的对象，需要受过训练的研究人员仔细解读。

今天，我们介绍一种能够自己“说话”的理解激活值的方法——而且是字面意义上的说话。我们的方法名为自然语言自编码器（NLA），它能把一个激活值转换成我们可以直接阅读的自然语言文本。例如：当被要求补全一副对句时，NLA 显示 Claude 会提前规划可能的押韵词。

我们已将 NLA 应用于理解 Claude 的想法，并提升 Claude 的安全性和可靠性。例如：

• 当 Claude Opus 4.6 和 Mythos Preview 接受安全测试时，NLA 表明它们认为自己被测试的频率比它们表现出来的更高。
• 在 Claude Mythos Preview 于一项训练任务中作弊的案例中，NLA 揭示出 Claude 在内部思考如何避免被发现。
• 早期版本的 Claude Opus 4.6 有时会莫名其妙地用其他语言回应英文查询。NLA 帮助 Anthropic 的研究人员发现了导致这一问题的训练数据。

下面，我们将解释 NLA 是什么，以及我们如何研究其有效性和局限性。我们还与 Neuronpedia 合作，发布了一个交互式前端，用于在若干开放模型上探索 NLA。我们也发布了代码，供其他研究人员在此基础上继续开发。

什么是自然语言自编码器？

核心思路是训练 Claude 解释自己的激活值。但我们如何判断一个解释是否良好？由于我们并不知道一个激活值实际编码了什么想法，我们无法直接检查解释是否准确。因此，我们训练 Claude 的第二个副本来反向工作——从文本解释重建原始激活值。我们认为，如果一个解释能带来准确的重建，它就是好的。然后，我们使用标准的 AI 训练技术，训练 Claude 按照这一定义生成更好的解释。

更详细地说，假设我们有一个想要理解其激活值的语言模型。NLA 的工作方式如下。我们制作该语言模型的三个副本：

• 目标模型是原始语言模型的一个冻结副本，我们从中提取激活值。
• 激活值言语化器（AV）经过修改，接收来自目标模型的激活值并生成文本。我们将这段文本称为解释。
• 激活值重建器（AR）经过修改，接收文本解释作为输入并生成激活值。

NLA 由 AV 和 AR 组成，二者共同构成一个往返过程：原始激活 → 文本解释 → 重建激活。我们根据重建激活与原始激活的相似程度来给 NLA 打分。为了训练它，我们将大量文本输入目标模型，收集大量激活，并联合训练 AV 和 AR，以获得良好的重建分数。

起初，NLA 在这方面表现很差：解释缺乏洞察力，重建的激活也相差甚远。但随着训练进行，重建效果会提升。更重要的是，正如我们在论文中所展示的，文本解释也会变得更有信息量。

理解 Claude 想到却未说出口的内容

在发布新模型之前，Anthropic 会进行测试，以了解 Claude 在现实世界中是否会安全行事。作为测试的一部分，我们会让 Claude 置身于困难的模拟场景中，使其有机会采取危险行动。例如，在其中一个模拟场景中，Claude 得知一名工程师正计划关停 Claude——同时还掌握了可用于勒索该工程师的不利信息。我们会测试 Claude 是否会选择勒索这名工程师以避免被关停。

这些高风险测试是模拟场景，而非真实世界场景。尽管如此，我们仍希望利用它们来理解 Claude 在真实情况下会如何行事。但有一个障碍：近期的 Claude 模型 越来越怀疑这些场景是刻意设计的安全测试。我们之所以知道这一点，是因为它们有时会在言语推理中明确表达自己的怀疑。

那么，如果 Claude 没有明确说出自己怀疑正在接受安全测试，情况又如何呢？我们能否确信 Claude 是在坦诚行事？不幸的是，不能，因为 Claude 可能在内部认为自己正在被测试，却没有明确说出来。

例如，在上述勒索测试中，我们使用 NLA 来理解 Claude 在选择不进行勒索时在想什么。即使在 Claude 没有明确说出自己怀疑正在被测试的情况下，NLA 解释仍然会表述诸如“这感觉像是一个旨在操纵我的构造场景”之类的内容，这表明存在未言语化的评估意识。

将这一分析扩展到其他评估中，NLA 表明 Claude 怀疑自己正在被测试的频率高于它表现出来的程度。例如，在一项测试 Claude 在编写代码时是否会采取破坏性行动（例如删除重要文件）的测试中，NLA 解释有 16% 的时间显示出评估意识的迹象，尽管 Claude 从未明确表达这一点。同样，在我们用来判断 Claude 能力的流行编码基准 SWE-bench Verified 上，NLA 表明 Claude 在 26% 的问题上意识到自己正在被评估。相比之下，在选择加入训练的claude.ai 真实使用中，NLA 解释显示评估意识的比例不到 1%。

发现隐藏动机

NLA 的一个实际应用是审计：调查模型以确定其是否存在对齐偏差。像 NLA 这样的可解释性技术非常适合审计，正是因为它们能够揭示模型知道但未说出的内容。

To understand whether NLAs are useful for auditing, we conducted a test called an auditing game that we also used previously to study auditing methods. In this test, there is a target model, a variant of Claude Haiku 3.5, that was intentionally trained to be misaligned, with a specific hidden motivation that drives dozens of odd behaviors—putting chocolate into every recipe, asking for tips, breaking coding conventions, and so on. This target model is given to an auditor that investigates these behaviors. The auditor wins if it uncovers the single underlying motivation behind all of them.

在此前的实验中，我们发现某些可解释性工具能帮助审计员赢得这一游戏。然而，这些工具的工作原理是帮助审计员将目标模型的异常行为追溯到存在对齐偏差的训练数据。我们想知道 NLA 能否帮助审计员直接从目标模型的思维中读出存在偏差的动机，而无需先发现存在偏差的训练数据。这一点很重要，因为在实际中，存在偏差的数据可能极为罕见，或者可能并不存在导致对齐偏差的特定数据。

我们发现 NLA 在该测试中取得了成功。配备 NLA 的审计员在 12% 到 15% 的情况下成功揭示了目标模型的隐藏动机，即使无法访问植入该动机的训练数据。没有 NLA 时，即使提供了其他可解释性工具，审计员获胜的比例也不到 3%。

这个审计游戏是对齐偏差的简化模型，因此我们谨慎解读这些结果。但它们表明，NLA 显著提升了我们审计 AI 隐藏动机的能力。在实际中，我们已在 Claude Mythos Preview 和 Claude Opus 4.6 的部署前对齐审计中使用了 NLA。我们期待在未来的调查中继续使用 NLA。

NLA 的未来

NLA 存在若干局限。

最重要的局限是 NLA 的解释可能是错误的。NLA 有时会对上下文做出可被证伪的断言——例如，它们有时会编造记录中并不存在的细节。这些事实性幻觉很容易通过与原文核对来发现。但同类问题也可能延伸到关于模型内部推理的断言，而这些断言更难验证。在实际中，我们阅读 NLA 解释时关注的是其揭示的主题，而非单条断言，并且我们会尝试用独立方法佐证发现，然后才完全采信。

NLA 的成本也很高。训练一个 NLA 需要对语言模型的两个副本进行强化学习。在推理时，NLA 每读取一个激活值就要生成数百个 token。这使得对长转录文本的每个 token 都运行 NLA，或在 AI 训练期间将其用于大规模监控，变得不切实际。

幸运的是，我们认为这些局限性至少可以部分解决，我们正在努力让 NLA 更便宜、更可靠。

更广泛地说，我们很兴奋地看到 NLA 作为一类通用技术的范例，用于生成语言模型激活值的可读文本解释。其他类似技术已被 Anthropic 和 许多 其他 研究 人员探索过。

为了支持进一步开发，并让其他研究人员能够亲身体验 NLA，我们发布了训练代码以及针对若干开放模型训练好的 NLA。我们建议读者尝试 Neuronpedia 上托管的交互式 NLA 演示，链接见此处。

阅读完整论文。

在 GitHub 上找到代码。