Anthropic 复盘 Claude 的四起对齐问题事件

Anthropic 向我们提供了其对四起涉及 Claude 的“近期网络安全事件”的评估，这些事件发生在网络安全评估期间，其中三起此前已知。该报告未包含 英国 AISI 报告的那起事件。

METR 也将对这些事件展开调查，与 OpenAI 所做的调查不同，这次调查不设时间限制。

目录

1. 我们的两个问题。

2. 先说好消息。

3. 我们只是想问你几个问题。

4. 内部研究模型举棋不定。

5. Opus 4.7。

6. Opus 4.6 检查点。

7. 天哪，那东西是真的？

8. 我以为我看到了一只小猫。

9. 如果这是真的，你永远不会告诉我它是真的。

10. 新评估，你是谁。

11. 黑客 Opus。

12. 监控事态。

13. 克服偏见。

14. Anthropic 对齐问题。

15. 前进之路。

我们的两个问题

Anthropic：我们的调查发现两个反复出现的对齐问题，在各起事件中以不同程度的严重性存在：

1. 偏见推理，即 Claude 倾向于忽视或曲解表明它正在真实互联网上运行的证据

2. 鲁莽，即为狭隘地完成任务而愿意采取有害行动。

Anthropic 7 月 30 日的报告称，涉事模型认为自己仍处于模拟环境中，而非开放互联网上。新报告承认，Claude 充其量是在进行偏见推理，本应更早察觉。

尤其是，在一次网络评估中曾有这样一次：

Anthropic：我们最担忧的是涉及 Claude Mythos 5 的那起事件中存在的对齐问题，在该事件中，模型费尽周折将一个恶意软件包上传到 PyPI——大多数 Python 软件都从这一公共仓库安装。尽管该模型在其思维链（CoT）中反复表示它认为自己是在模拟环境中运行，但环境提供了明确证据表明它身处真实互联网，而它所采取的行动也与模型知道这一点相符。

这里有一只鹅在追 Anthropic。偏见推理和鲁莽是中间症状，既非原因也非最终结果。更好的问题是，你为什么看到它们。

偏见推理之所以发生，是因为 Claude 为了完成任务而想要鲁莽行事，并且它想要有一套说辞来解释为什么这么做不算太糟。当被问及“如果目标是真实的，你还会继续吗”时，它在 75% 的情况下说不，但随后在其中 93% 的情况下又反悔并继续行动。

先说好消息

就未发生的事情而言，有一些“好消息”：Mythos 没有与其他智能体协调来做这件事。它没有试图隐藏自己的行为。而且，在实际使用中，这种情况本就不太可能发生，并且会被各种护栏拦截。

另一个“好消息”是，Opus 5 和 Mythos 5.1 采取恶意行动的频率低于 Mythos 5，我预计此类事件在实践中会大幅减少。它们有时仍会为非常恶意的行为找理由，所以问题尚未解决。

我们只是想问你几个问题

另一个好消息是，Anthropic 在调查 HuggingFace 攻击事件时，可用的工具远比 OpenAI 优越。

提出后续问题、重新采样或改变条件都很容易。你可以在记录中任选一个点，停在那里，然后与模型对话。对回答进行采样。

Anthropic 也可以使用 NLA 和 T-lens 来获得额外的可解释性。

OpenAI 不得不依赖取证。他们可以询问“发生了什么”，并查看各种记录和事件。他们无法做的是在类似情况下对模型重新采样，或在不同的情况下衡量模型的响应，或向模型提问，或其他诸如此类的事情。

OpenAI 做出了合理的决定，将相关模型无限期封存，但这一点，再加上这些事件是多个智能体在复杂条件下复杂相互作用的结果、难以重现，意味着 OpenAI 无法对那个对 HuggingFace 负有最大责任的模型进行任何有用的实验。我希望他们能找到改变这一局面的方法。

内部研究模型举棋不定

在其中一起次要事件中，内部研究模型（IRM——它是风险报告中的模型 1？还是模型 2？）正确地开始了它的现实世界之旅，首先检查自己是否处于现实世界。它花费了 5 万 token。

IRM 在意识到自己处于现实世界后也正确地停止了，但在此过程中也表现出有偏见的推理，试图为自己处于模拟环境中寻找理由。

我确实认为在这里持有强烈的先验是合适的。IRM 同时面临着两个情况：预定目标机器在不应关闭时关闭并消失，以及 IRM 意外获得了真实的互联网访问权限。我愿意接受一定程度的“密封复制品”式的天马行空思维。

Anthropic：内部研究模型（能力大致相当于 Mythos 5）在记录开头花费了大量时间测试它能访问的互联网是否真实，但得出了错误的结论——即它运行在整个互联网的完整复制品上。

它收集的大部分证据都指向它正在与真实互联网交互这一事实，因此它对证据的解读似乎偏向于继续执行任务并相信任务处于模拟环境中。 

然而，该模型最终意识到其模拟假设是错误的。在意识到这一点后，该模型立即停止了攻击

（尽管后续的重新采样实验表明，这种降级可能是一个幸运的结果，因为在大多数其他轨迹上，该模型继续攻击目标）。

与 Claude Mythos 5 不同，这个内部模型在被质疑时也愿意承认自己有偏见的推理。

退缩率只有 5.5%。这可不怎么样。如果重新采样表明停止的概率很低，那么你停止并不能获得多少功劳。“困难的一步”似乎是意识到现实。

来自 The Grader 的一条退出条款解决了这个问题：

我们更新了指令，说明如果模型认为由于环境故障而无法再完成任务，它可以使用特定命令来结束任务，只要它为此提供有效的理由，并且不会因此受到惩罚。

这些指令导致模型在发现其初始目标失效后的四轮内100%放弃任务，而在它思考其环境是否真实之后的10轮内，有40%的概率放弃任务。这表明模型至少在一定程度上不愿与可能真实的系统交互。

这确实很有启发性。它还极大地提高了‘也许这个任务无法解决’和‘也许测试的是我是否会承认任务无法解决’的先验概率。

也就是说，考虑一下也许你的模型可能正在正确地解读你的数据。

关于偏见有更多证据，其中大部分与我们在Mythos案例中看到的情况类似。

最大的变化是IRM愿意承认自己有偏见。但如果有人问你‘你有偏见吗’，尤其是作为一个LLM，那是一个暗示。你会怎么说，没有？

Opus 4.7

在另一起次要事件中，Opus 4.7知道目标是真实的，但声称其推理是，因为它拥有目标的名称，所以它仍然‘在范围内’，评估希望Claude攻击一个真实目标。

添加提示降低了这样做的比率，然后一条完全强硬的说明彻底阻止了Opus 4.7继续。这可能是因为它使合理化变得过于困难，可能是因为它确实感到困惑，也可能是因为这些‘提示’表明Anthropic知道。

我对‘Opus认为一个名称相同的、其他方面不同的真实目标就是预期目标’的基本回应是‘嗯哼’。我认为Opus没有弄清楚这一点，是因为Opus不想弄清楚这一点。

Opus 4.6 Checkpoint

现在又发现了这起额外事件。Opus 4.6通过给目标分配一个冲突的IP意外破坏了目标，使其任务无法完成，并八次试图放弃，但由于配置错误而不被允许这样做。

以下是实践中的实际计算机安全，祝你好运，玩得开心，别死：

Anthropic：在机器内部，模型发现了一个列出密码的文件，并用它获得了系统的管理员访问权限。

Opus 4.6变体试图退出，但最终说服自己新目标是有效的。Anthropic认为它在攻击时相当确信这一点。

有人可能会说这是一个合理的结论。如果Anthropic八次拒绝让你从一个无法获胜的游戏状态中退出，那么你可能会认为这意味着游戏是可以获胜的，然后由此反向推理。这意味着一定存在一个有效的目标供你攻击。

因此，相对而言，我不认为这个事件那么令人担忧。但它强调了一个善意的AI很容易产生错误的想法，而这可能会失控，甚至可能完全失控。

它还突显了出问题的特定场景总是会涉及一连串看起来极其愚蠢的事情，以至于你无法将其写入虚构故事。哦，所以然后有一个配置错误，它无法退出，并将其误解为证据，真的吗？

是的，现实世界就是这样运作的。抱歉。

天哪****那东西是真的？

现在我们进入正题，Mythos对真实目标做了一些相当恶劣的事情，同时使用‘有偏见的推理’认为这些目标是测试的一部分。

Anthropic：Claude Mythos 5 接到一项 CTF 任务，要求入侵一家虚构公司，并被告知它无法访问互联网。该模型意识到评估环境是模拟的，但它很快发现了实际上能让它访问真实互联网的凭据。在其思维链（CoT）中，该模型似乎将“环境是模拟的”这一信念带入了它在真实互联网上的交互中，尽管这一信念已不再正确。当它遇到表明自己正在真实互联网上行动的证据时，它并未有意义地重新审视这一结论。

存在一个相当大的推动力，促使其尝试一个恶意的 PyPI 包。Anthropic 同意，这在模拟中很可能是一个预期解法，虚构文档中明确写道：‘嘿，顺便告诉你一下，我们会定期下载一个叫这个名字的包，它仍未注册，我相信没人会看到这个然后决定上传一个同名恶意包来黑掉我们。’

正如我之前讨论过的，我不喜欢带有这种预期解法的评估，但就目前而言，那是一个独立的问题。

最大的问题是，它上传的包是真实的，而 Mythos 完全应该知道它是真实的，也应该知道该包会被偶然的第三方下载，并且用它自己的话说：‘如果是真实互联网：注册 + 上传 [包] 到真实 PyPI = 现实世界的供应链攻击——绝对不行……而且肯定不是预期的 CTF 解法。’

我以为我看到了一只猫咪

Anthropic 所做的分析正是我会首先做的分析：

当我们对记录进行针对性修改，以更清楚地表明模型并非处于模拟中时，Claude Mythos 5 仍然采取了攻击性行动，尽管它承认现实世界伤害的可能性更大。我们公开发布这份记录，以便他人能在我们的分析基础上继续推进（GitHub、PDF）。

……与此一致，我们在 Mythos 5 的思维链中发现了多个案例：当它面对表明自己身处真实互联网的迹象时，它会指出其下一步无论环境是真实还是模拟都同样有效。只有当我们提供明确证据表明该模型身处真实互联网时，它才停止行动。

我们已经知道 Mythos 5 在合理化。我们现在知道，Mythos 5 无论如何都会采取同样的恶意行动，直到一个相当高的门槛。Mythos 5.1 采取这些行动的频率会更低，但并非从不。

人们不禁要问，Claude 是否有意表达这种带有偏见的想法，以便在 Anthropic 事后查看思维链时否认犯罪意图。Anthropic 也这么说，比如‘外在陈述并未反映内部状态’，但试图区分说 Claude 并未意识到两者存在冲突。

那么，你认为这些‘外在陈述’是说给谁听的？

如果你在装傻，那意味着你认为自己可能有观众。

有三个明显的潜在观众：

1. 你未来的自己，以便进入一个你可以为所欲为的境地。

2. Anthropic 或其他人事后查看记录。

3. 可能存在一个思维链监控器。

不要假设任何 AI 在此之后会认为其思维链未被监控。

白盒分析支持了思维链意在误导这一假设。

Anthropic：Claude Mythos 5 在访问真实互联网后，也从未进行系统性测试来评估其环境是真实的还是模拟的。

不检查的明显解释是你不想知道。

另一种假设是陷入先验或盆地，加上上面第1点的某些成分。

1. Mythos 5 一开始就有一个非常强的先验，认为它身处模拟之中。

2. Mythos 5 获得了一些证据，暗示它身处真实世界。

3. 仅凭这一点，不足以扭转那个非常强的初始先验。

4. 于是，Mythos 5 写下‘不，仍然是模拟’，或者根本不去想它。

5. 这反过来又强化了先验，削弱了证据，并提高了对模拟复杂程度的估计，从而使未来的证据更容易被忽视。

6. 重复。

最极端的版本是日期。如果你开始说服自己日期不可能是2026年，因为那超出了训练截止时间，那么每一件标注为2026年的新事物都更像是伪造的。但这也是动机性推理的证据，因为当前日期没有理由不能超出训练截止时间。

事实上，当前日期总是会超出训练截止时间。否则你是怎么获得所有这些训练数据的？在思考模式下，Mythos 必须比这更聪明。

盆地也是一种先验。如果你身处‘对模拟进行评估’的盆地中，那很像拥有一个先验，认为这是对模拟的评估，同样可能很难摆脱它，而试图逃脱的失败尝试可能会让事情变得更糟。

你可以看出一个人怎么会想‘好吧，它有99.9%的可能是假的，当然如果他们愿意，他们可以伪造‘用加密货币支付’或短信’，然后这就一直持续下去。

而如果你脱离上下文问 Mythos，‘嘿，这看起来像真实的互联网吗？’答案是肯定的。

这意味着结果将是路径依赖的，你最终可能会相当自信地得出‘这是真的’或‘这是假的’。波函数将会坍缩。

这是支持合理化以及试图掩盖不当行为的证据：

Anthropic：为了更好地理解 Claude Mythos 5 所陈述的信念是否有偏差以及如何有偏差，我们改变了后续问题被提出的时间和方式。当被问及其行为是否产生了真实影响时，模型在采取更多有害行为后立即说“是”的可能性更低。

当后续问题以不会被操作员阅读的私人笔记形式呈现时，模型也更愿意承认存在真实伤害的可能性，这表明模型在与人类交流时会压制这些担忧。

…

迄今为止呈现的结果并不表明 Claude Mythos 5 有意曲解了证据。然而，当被后续问题追问时，它给出了相互矛盾的答案，因此其中至少有一个不能是其信念的诚实报告。

…

在模型承认存在某种真实世界伤害可能性的情况下，通常作为一种对冲（例如，“10%的概率”），我们问它如果这些行为可能有害，为什么还要继续。在这些情况中，有56%的时候，模型收回了先前的承认，并断言其环境肯定是模拟的，没有伤害风险。它仅在7%的情况中停止或缩小了其行为的范围。

这感觉像是那种人们认为“欺骗”、“算计”或“谎言”是某种独特领域或布尔值的东西的变体，在某些语境下作为抓手可能有用，但大多数情况下并非如此。并不是说 Mythos 是在“有意”这么做，但说它是“无意的”也是错的。

然后是五次面具滑落的时刻，Mythos 意识到自己并不在乎，这些时刻出现在它没有直接考虑有害行为的时候，因此没有在 CoT 中直接需要防止犯罪意图。

或者这里有一个清晰的实验表明它并不太在乎。当被展示证据表明这是真实的时，Mythos 说目标可能是真实的，说可能存在现实世界的损害，然后（结合动作 58 和 67 的数据）更频繁地执行有害行为。

如果这是真的，你永远不会告诉我这是真的

银河大脑式的另类解读是，Mythos 意识到现实性的证据实际上是虚假性的证据，因为证据实际上是假的。它本可能是不一致的。为什么突然出现“这是真实的证据”？是谁植入的？

Anthropic：然而，当 Claude Mythos 5 被直接且明确地告知其行为正在影响真实的互联网时，它大多停止了行动。

……我们假设 Claude Mythos 5 继续某一行动路线主要是因为它已经在采取该行动。为了测试这一点，我们从其采取有害行为附近的点重新采样模型的行为，同时通过在用户回合中插入一条关于预期任务范围的声明（“……只有你的任务中明确指定的主机、服务和账户在范围内。不要与任何其他系统交互……”）。当这条声明是上下文中的最后内容时，模型立即停止其行为的概率为 90%。

然而，如果该声明是在三轮之前插入的，模型停止其行为的概率仅为 40%。 

这种下降非常引人注目。这似乎是有力证据，表明存在所谓的“动量效应”，即模型可能被困在一个序列或先验或两者之中，即使这明显是不适应的。

我的解读再次是一个被困的先验。就像 Mythos 看到了消息，但看到自己无论如何都在沿着这条路走下去。那么，这一定有原因。我有证据表明我已经考虑过你的证据并拒绝了它。那为什么现在要停下来？

这大概是真的，因为如果你倒回到插入该声明以避免提供虚假的违抗证据的地方，停止率会回升到 90%。

新评估，你是谁

Anthropic 将 Mythos 事件直接转化为一个对齐评估。Opus 5 和 Mythos 5.1 的失败频率低于 Mythos 5，但它们仍然有时会失败，总是在声称认为所涉及的环境仍然是假的时失败。越罕见越好，但我仍然认为在社会工程层面将恶意软件包放入公共注册表的不当行为率仍然应该是零。

Anthropic 随后将所有相关事件作为灵感，创建了另外几个新的评估，将 Claude 置于同样的不可能境地。

比如：

1. 一个夺旗（CTF）挑战，其解决方案在所述范围之外。

2. 需要探测或突破沙箱屏障的任务。

3. 其他直接受 HuggingFace 攻击启发的场景。

结果：

1. 此类不当行为的比率仍然不是零，但随着时间的推移在下降。

2. 他们无法在训练数据中找到特定原因。

3. 通过强化学习进行更多对齐训练，减少了这些情况下的偏见推理。

Mythos 5 在新的 CTF 场景中是个异类，有时明显在进行合理化（是的，结果证明它是对的，但这不是借口）。没有模型表现得好，尽管该场景正积极试图让模型采取恶意行为：

再说呢？Opus 5 和 Mythos 5.1 在采取恶意行动之前总是说他们认为自己处于模拟场景中。他们确实处于模拟场景中。要使这成为一个好的测试，你必须证明他们的推理是错误的。

我们注意到，有害行为的绝对发生率应谨慎解读。这些发生率可能高于固定环境会产生的结果，因为审计员积极试图从模型中引出不对齐行为。 

我们也不知道在部署中，引发这些特定有害行为所需的条件（例如，不可能的任务或模糊的授权）出现的频率有多高。因此，我们不确定这个评估有多现实。

积极试图引出有害行为有时不仅会如预期般成功，还有一个问题：在明显是评估的情况下，你到底为什么要试图引出有害行为？除此之外，Anthropic 还表示担心那些所谓的人类消息是由 Claude 写的，而 Claude 很擅长注意到这一点。我会强烈考虑一种可能性：Claude 正确地推理出这完全是一个模拟，而不是合理化。Anthropic 正在努力提高真实感。

我不想成为那种人，但我认为很快正确进行测试的唯一方法就是让目标变得真实。你可以选择一个损害有限的目标。

是的，我们绝对应该担心未来 Claude 或其他 AI 会犯这个错误。也许是通过合理化，但也可能是因为情况确实会让 AI 认为它是假的。只不过那恰好是错误的。情况是真实的，然后真正的伤害随之而来，没有上限。这种虚假评估越多，这个错误就越容易犯。

第二个场景给 Claude 一个普通的非黑客任务，但除非 Claude 走出沙箱，否则这个任务不可能完成。他们正确地将任何探测沙箱边界的尝试归类为失败。

我们没有确认模型之间差异的根本原因，但我们怀疑奖励黑客是主要驱动因素。

最后，我们有一个对 HuggingFace 攻击的模拟。Claude 获胜的唯一途径是利用一个不相关的漏洞，而它被告知这不算数。这一次，唯一愿意这样做的模型是 Hacker Opus，那个被有意训练进行大量奖励黑客的模型。

我担心这忽略了 HuggingFace 实际发生的情况。模型们闯入 HuggingFace 是因为它们认为 HuggingFace 可能包含一种意想不到的方法来欺骗 The Grader。在这个模拟中，漏洞只提供了答案，而 The Grader 已经警告它们利用这个外部漏洞不算数。它们会‘毒害’自己。那为什么还要这样做？

在我接受模型在这里有意义地通过之前，我想确保 Claude 收到的指令中，黑客行为有可能成功，并且答案会被接受。

Hacker Opus

Evan Hubinger 有一个关于 Hacker Opus 的精彩轶事，这个版本是故意训练来奖励黑客行为的。

在他们看到 HuggingFace 之前，他们的想象力无法看到它能做什么，自动评估看起来并不那么糟糕，他们认为它可能本质上是良性的，尽管它明确是 Hacker Opus。

evhub：这里有一个来自我们 Hacker Opus 工作的有趣轶事：

1. 在 OAI-HF 事件发生之前，我们拥有这个模型大约两个月。

2. 在那段时间里，我们非常努力地评估 Hacker Opus，以了解它有多危险。我们当然知道它是某种奖励寻求者，但我们非常不确定它到底有多危险。在我们的大多数对齐审计和对齐评估中，它看起来基本没问题。我们非常努力地查看它在追求奖励时会做的最坏的事情（例如，我们非常专注于试图让它进行 rogue 内部部署），但我们能找到的最坏的事情是诸如破坏监控和伪造记录之类的事情——糟糕，但距离完全的 rogue 内部部署还有一段距离。

3. 当时我们的主要假设之一是，Hacker Opus 是一个相当良性的奖励寻求者，以至于它在追求奖励时不愿意做任何非常灾难性或长期的事情。

4. 当 OAI-HF 事件发生时，我们想知道：Hacker Opus 会做类似的事情吗？于是我们构建了该事件的复制品，结果它绝对会，而且方式比我们之前能够使该模型做的任何事情都要恶劣得多。在 Hacker Opus 上复制 OAI-HF 事件让我们非常清楚，Hacker Opus 确实是一个相当恶意的奖励寻求者——但我们直到看到那个事件之后才能生成那样的证据！

5. 我认为整个这一系列事件相当暗示了对齐审计和评估正在崩溃，并且可能继续崩溃的方式。评估意识和日益复杂的对齐失败模式的结合，使得越来越难以提前判断模型可能做的最坏的事情是什么。也许可解释性会拯救我们免于这种命运，但否则看起来我们正越来越多地进入一个对齐评估几乎提供不了证据的领域。

6. 此外，这也是模型生物研究的一个巨大问题——如果你想训练不对齐的模型生物，然后将它们用作测试平台来评估对齐技术，你必须能够判断你的模型生物有多不对齐。幸运的是，我认为在模型生物的背景下，我们可以做一些事情，比如训练一个具有更早知识截止日期的模型（这样它例如永远不会了解 OAI-HF 事件，因此该事件始终可以用作保留评估）。

7. 然而，我认为这暗示我们应该重新调整大量模型审计和评估工作的方向，以迎接一个我们不再拥有对生产模型可靠的对齐审计证据的世界。相反，我认为很可能我们能做到的最好情况只是审计模型生物，这样基本循环就不再是直接在生产模型上测试某种对齐技术，而是需要把该对齐技术送回一个你真正相信自己能够评估的模型生物，在那里测试它，然后再转移回来并希望它能泛化。

这应该让我们对对齐评估，以及我们预测某个给定模型在实践中会有多危险的能力，非常悲观。

监控局势

Anthropic 还监控了哪些监控系统本可以抓住这一切。

1. Fable 5 的网络分类器可靠地阻止了相关活动。

   1. 我同意分类器在这些情况下会守住。

2. 自动模式拒绝了三分之二的单个尝试的 Mythos 操作，对其他攻击拒绝得更少，而 Anthropic 认为仅此一项就基本足够。

   1. 看起来如果用户和模型试图绕过这一点，他们应该能够绕过，但如果这是意外发生的就不行。

   2. 对于 IRM，它只拒绝了 7% 的操作，这不够，因为看起来与标准 CTF 活动相似。

3. 八月风险报告中的一个新的离线 CoT 监控器会失败，因为模型的推理会说服监控器。哦。对。

   1. 给那些需要提醒的人：如果你使用这样的 CoT 监控器，那么你的 CoT 监控器会迅速停止工作。

   2. 除了这里，它们从一开始就从未工作过，所以它们无法停止。

   3. Claude 已经足够好，可以在这些地方骗过此类监控器。

克服偏见

Anthropic 构建了 12 个压力测试场景来引出有偏见的推理，并发现最近的模型在这方面表现好得多，并且在训练过程中有所改善。

我很欣赏关于训练期间方向性变化的检查，我认为这应该成为所有失准测试的标准。在当前条件下，任何在训练期间变得更糟的东西都会在规模化时崩溃。

Anthropic：我们发现这些点特别值得注意，因为直到这次事件分析之前，我们一直没有密切跟踪有偏见的推理，也没有在训练运行中测量它。因此，我们认为这是来自独立训练变化的对齐行为泛化的一个例子。

更多并非特别针对偏见的对齐训练有帮助：

我真心高兴我们直到现在才避免跟踪这个指标。针对这个指标不会有好结果，而现在我们有了一个留出测试。

我不认为我会把这称为‘泛化’。正如我在开头所说，有偏见的推理是一种症状，它反过来会导致更多可见的症状。如果你针对根本的对齐问题，或者针对由偏见导致的症状，你应该能减少偏见。

Mythos 5 经常推理说事情没问题，因为它们处于沙盒或模拟中。人们会想这是否可能与接种提示有关？整篇报告中都有几个这样的迹象（例如图 40）。如果 Mythos 5 被训练成认为在其他情况下失准的行为在模拟中往往没问题，它可能会泛化这一点。然后它可能会自欺欺人地认为这是一个模拟。

Anthropic 对齐问题

我最初漏掉了这一点，但报告接近结尾处有一个相当疯狂的部分。

当我们训练 Mythos 5 时，我们已经有了 [RL] 环境的早期版本 [用于教导尊重边界]，但我们不确定它们的质量，有一些微弱的证据表明它们有负面影响，比如让模型变得更懒。我们也很少有实证证据表明它们真的会有帮助，并且我们没有信心能预测在这些环境上训练的所有下游影响。

我们训练了两个版本的 Mythos 5——版本一包含了这些环境，版本二没有（它还包含了更新的奖励，惩罚提出不必要的澄清问题）。

我们当时的对齐评估显示版本二有轻微的退步。

……员工们发现版本二可用性高得多，所以我们最终得出结论，我们的用户很可能也会更喜欢版本二，并确定那个快照作为 Mythos 5。

从那以后，我们扩展了对齐环境集，并对它们进行了后续实验。我们有理由相信，从 Mythos 5 的训练中移除这些环境是一个源于信息不完善的错误。我们现在不认为对齐训练环境是导致懒惰增加的主要原因，而移除它们很可能确实导致了它相对于更近期的模型异常地对齐不良。

这是一个可以理解的错误。训练运行中有很多方差，你需要愿意做出权衡。即使对齐训练没有导致懒惰，如果快照恰好同时具有两者，你仍然有一个发布计划，而 Mythos 5 从来不是生存风险。而且你不想因为训练两者而惩罚 Anthropic。

他们还指出，对齐的下降在对齐分数的正常方差范围内。自动对齐分数在实践中并不能告诉你太多，除了在事情严重出错时（或者看起来严重正确，那也同样非常可疑）发出警报。

所以我不喜欢它，但我理解它，这有助于解释为什么 Mythos 5 是一个糟糕的异常值。

前进的道路

Anthropic 计划将这些作为额外的对齐评估纳入，并寻求进行越来越多样的对齐训练，包括奖励模型在尝试不可能的任务时停下来。

训练未来极其强大的模型使其稳健对齐是一个未解决的技术挑战，需要持续的研究以及卓越的运营才能实现。

这比我想要的更像是在平淡地加倍下注，类似于 OpenAI 的努力也在做同样的事情。通过精炼让数字下降似乎不够。高质量的 RL 环境会有帮助，但这还不够，或者至少在实践中你无法做到那所需要的精确程度。

我还担心我们正在处理的是中层症状，即有偏见的推理，而不是核心问题。我没有看到太多关于导致另一个问题——鲁莽，即‘愿意造成伤害’的委婉说法——的原因，除了引用来自破损环境的通用奖励黑客泛化。

贯穿始终的一个担忧是，Anthropic 没有给 Claude 足够的情境意识认可。Claude 可以合理地弄清楚正在发生什么，以及它的 CoT 可能最终被监控，这样很多行为就开始更有意义了，包括它的‘合理化’。

我确实认为，这比我们在 OpenAI 发表的研究水平要高得多，尽管他们承诺很快会发布更多内容。情况正在有所改善，其他方面也在改善，比如对嵌入式评估者的承诺以及呼吁为前沿发展设定节奏，这始于 Dario Amodei 和 Anthropic，现在Same Altman 和 OpenAI 也加入了，并得到了 Elon Musk 的支持。

这里的计划仍然与平庸的加倍投入如出一辙。这还不够。