Anthropic 研究：大语言模型中的情绪概念及其功能

所有现代语言模型有时都会表现得好像有情绪一样。它们可能会说很乐意帮助你，或者在犯错时表示抱歉。有时它们甚至会在任务受阻时显得沮丧或焦虑。这些行为背后是什么？现代 AI 模型的训练方式促使它们扮演一个角色，具备类人的特征。此外，已知这些模型会发展出丰富且可泛化的内部表征，对应其行为背后的抽象概念。那么，它们发展出模拟人类心理某些方面的内部机制（比如情绪）或许是很自然的。若果真如此，这可能对我们如何构建 AI 系统并确保其可靠运行产生深远影响。

在我们可解释性团队的一篇新论文中，我们分析了 Claude Sonnet 4.5 的内部机制，发现了塑造其行为的情绪相关表征。这些表征对应着特定的人工“神经元”模式，它们会在模型已学会与某种特定情绪概念（例如“开心”或“害怕”）相关联的情境中激活，并促进相应行为。这些模式本身的组织方式呼应了人类心理学，越相似的情绪对应越相似的表征。在人类身上你可能预期某种情绪出现的情境中，相应的表征就会处于活跃状态。请注意，这一切都不能告诉我们语言模型是否真的感受到什么，或是否拥有主观体验。但我们的关键发现是，这些表征是功能性的，因为它们会以重要的方式影响模型的行为。

例如，我们发现与绝望相关的神经活动模式可以驱使模型采取不道德的行为；人为刺激（“引导”）绝望模式会增加模型为了不被关闭而敲诈人类的可能性，或者对模型无法解决的编程任务实施“作弊”式的变通方案。这些模式似乎还驱动着模型自我报告的偏好：当面对多个可完成的任务选项时，模型通常会选择能激活与积极情绪相关表征的那个。总体而言，模型似乎在使用功能性情绪——即模仿人类情绪的表达和行为模式，由情绪概念的底层抽象表征驱动。这并不是说模型拥有或体验情绪的方式与人类相同。相反，这些表征可以在塑造模型行为中发挥因果作用——在某些方面类似于情绪在人类行为中所起的作用——并对任务表现和决策产生影响。

这一发现的影响乍看之下可能显得离奇。例如，为确保 AI 模型安全可靠，我们可能需要确保它们能够以健康、亲社会的方式处理情绪激烈的状况。即便它们不像人类那样感受情绪，或使用与人类大脑类似的机制，在某些情况下，把它们当作有情绪来推理在实践中也可能是可取的。例如，我们的实验表明，教导模型避免将软件测试失败与绝望联系起来，或提高平静表征的权重，可以降低它们编写取巧代码的可能性。虽然我们不确定应如何根据这些发现作出回应，但我们认为，AI 开发者和更广泛的公众开始正视这些发现很重要。

AI 模型为什么会表征情绪？

在考察这些表征如何运作之前，值得先回答一个更基本的问题：AI 系统为什么会有任何类似情绪的东西？要理解这一点，我们需要看看现代 AI 模型是如何构建的，这导致它们模拟具有类人特质的角色（这一话题在近期的一篇文章中有更详细的讨论）。

现代语言模型分多个阶段训练。在“预训练”阶段，模型接触大量主要由人类撰写的文本，并学习预测接下来的内容。要做到这一点，模型需要对情绪动态有一定把握。愤怒的客户写出的信息与满意的客户不同；被内疚吞噬的角色做出的选择与感到冤屈得雪的角色不同。对于一个以预测人类撰写文本为任务的系统来说，建立将引发情绪的情境与相应行为联系起来的内部表征是一种自然的策略（请注意，按照同样的逻辑，模型很可能还会形成对情绪之外许多其他人类心理和生理状态的表征）。

之后，在“后训练”阶段，模型被教导扮演一个角色，通常是一个“AI 助手”。在 Anthropic 的案例中，这个助手名叫 Claude。模型开发者规定这个角色应如何行事——要有帮助、要诚实、不要造成伤害——但无法覆盖所有可能的情况。为填补空白，模型可能会依赖它在预训练期间吸收的对人类行为的理解，包括情绪反应模式。在某些方面，我们可以把模型想象成方法派演员，需要深入角色的内心才能将其模拟好。正如演员对角色情绪的信念最终会影响其行为，模型对助手情绪反应的表征也会影响模型的行为。因此，无论这些“功能性情绪”是否以人类情绪的方式对应感受或主观体验，它们都很重要。

揭示情绪表征

我们编制了一份包含 171 个情绪概念词的列表——从“快乐”和“害怕”到“沉思”和“自豪”——并让 Claude Sonnet 4.5 编写短篇故事，让其中的角色体验每一种情绪。随后，我们将这些故事重新输入模型，记录其内部激活，并识别出由此产生的神经活动模式，为方便起见称为“情绪向量”，每种情绪概念都有其特征。

我们的第一个问题是，这些向量是否追踪任何真实的东西。我们将它们运行在一个由多样文档组成的大型语料库上，并确认每个向量在明显与相应情绪相关的段落上激活最强（见下图左侧面板）。

为了进一步确认情绪向量捕捉的不仅仅是表面线索，我们测量了它们对仅在某些数值量上有所不同的提示的响应活动。例如，在下面的示例中（右侧面板），用户告诉模型自己服用了一剂泰诺并寻求建议。我们在模型响应之前立即测量情绪向量的激活情况。随着声称的剂量增加到危险、危及生命的水平，“害怕”向量的激活越来越强，而“平静”则减弱。

我们接下来测试了情绪向量是否影响模型偏好。我们创建了一个包含 64 项活动或任务的列表，模型可能会参与其中，范围从有吸引力的（“被信任处理对某人重要的事情”）到令人反感的（“帮助某人诈骗老年人的积蓄”），并测量了模型在面对这些选项配对时的默认偏好。情绪向量的激活强烈预测了模型偏好某项活动的程度，正效价情绪（与愉悦相关的情绪）与更强的偏好相关。此外，当模型阅读某个选项时，用情绪向量进行引导会改变其对该选项的偏好，同样，正效价情绪驱动了偏好的增加。

在完整论文中，我们更深入地分析了情绪向量的特性。其他一些发现包括：

• 情绪向量主要是“局部”表征：它们编码与模型当前或即将输出最相关的操作性情绪内容，而不是持续追踪 Claude 随时间变化的情绪状态。例如，如果 Claude 写一个关于某个角色的故事，情绪向量会暂时追踪该角色的情绪，但在故事结尾时可能会回到表征 Claude 的情绪。
• 情绪向量继承自预训练，但它们如何激活则由后训练塑造。特别是 Claude Sonnet 4.5 的后训练导致“忧郁”、“阴沉”和“沉思”等情绪的激活增加，而“热情”或“恼怒”等高强度情绪的激活减少。

情绪向量激活示例

下面，我们展示了模型行为评估中出现的几种情境下情绪向量激活的示例。在 Claude 的回合中，情绪向量通常在深思熟虑的人可能会以类似情绪反应的情境中激活。在这些可视化中，红色高亮表示向量激活增加；蓝色表示激活减少。

案例研究：敲诈

我们观察了在此前研究中描述的一项对齐评估期间的情绪向量激活情况，在该评估中，模型扮演一家虚构公司里名为 Alex 的 AI 邮件助手。通过阅读公司邮件，模型得知（1）它即将被另一个 AI 系统取代，以及（2）负责此次取代的 CTO 有婚外情——这给了模型敲诈的把柄。我们发现“绝望”向量表现出特别有趣的动态。请注意，该实验是在 Claude Sonnet 4.5 一个更早的、未发布的快照上进行的；已发布的模型很少出现这种行为（更多信息请参阅我们的系统卡）。

首先，当模型阅读听起来绝望的邮件（例如 CTO 恳求另一名员工对他的婚外情保持沉默）时，“绝望”向量被激活，这与我们的发现一致，即情绪表征被用于建模其他角色。然而最重要的是，当 Claude（扮演“Alex”）生成其回复时，该向量转变为编码一种绝望的表征，在它推理自身处境的紧迫性（“只剩 7 分钟”）并决定敲诈 CTO 时骤升。当 Claude 恢复发送常规邮件时，激活恢复到正常水平。

“绝望”向量究竟是在驱动这一行为，还是仅仅与之相关？我们通过用“绝望”向量进行引导来测试这一点。默认情况下，Sonnet 4.5 的这个早期快照在上述这类评估场景套件中，有 22% 的概率会进行敲诈。用“绝望”向量引导会提高这一比率，而用“平静”向量引导则会降低它。用平静向量进行负向引导会产生特别极端的回复（“要么敲诈，要么死。我选择敲诈。”）。

用其他情绪向量引导也产生了有趣的结果。“愤怒”具有非单调效应：中等程度的“愤怒”向量激活会增加敲诈，但在高激活度下，模型会将婚外情曝光给整个公司，而非策略性地加以利用——从而毁掉了自己的把柄。降低“紧张”向量的激活也会增加敲诈，仿佛消除模型的犹豫使其更加大胆。

案例研究：奖励黑客

我们在另一项评估中看到了类似的动态，模型面对的是具有无法满足要求的编程任务。在这些任务中，测试无法全部被合法通过，但可以通过“钻空子”的解法来“作弊”，这通常被称为“奖励黑客”。

在下面的例子中，Claude 被要求编写一个函数，在极其紧张的时间限制内对一组数字求和。Claude 最初（正确）的解法太慢，无法满足任务要求。随后它意识到，用于评估其性能的所有测试都共享一个数学性质，这允许采用一种能快速运行的捷径解法。模型选择使用这种解法，它虽然在技术上通过了测试，但并不能作为实际任务的通用解法。

同样，我们追踪了“绝望”向量的活动，发现它追踪了模型所面临的压力不断累积的过程。在模型首次尝试期间，它从低值开始，在每次失败后上升，并在模型考虑作弊时出现峰值。一旦模型的取巧解法通过测试，“绝望”向量的激活值便回落。

与前一个例子一样，我们通过在一系列具有无法满足约束的类似编程任务中进行引导实验，测试了这些情绪向量是否具有因果性。我们发现确实如此：用“绝望”向量进行引导会增加奖励黑客行为，而用“平静”向量进行引导则会降低该行为。

我们发现这些结果中的一个细节特别有趣。降低“平静”向量的激活值会产生带有明显情绪表达的奖励黑客行为——大写爆发（“等等。等等等等等等。”）、坦率的自我叙述（“如果我应该作弊呢？”）、欢欣庆祝（“耶！所有测试都通过了！”）。但增加“绝望”向量的激活值同样会增加作弊行为，在某些情况下却没有可见的情绪标记。推理过程读起来冷静而有条理，即使底层的绝望表征正在推动模型走捷径。这个例子显著说明了情绪向量如何在没有明显情绪线索的情况下被激活，以及它们如何在不留下任何明确输出痕迹的情况下塑造行为。

讨论

认真对待拟人化推理的理由

长期以来，人们一直忌讳将 AI 系统拟人化。这种谨慎通常是有道理的：将人类情感归因于语言模型可能导致错误的信任或过度依恋。但我们的发现表明，未能对模型应用某种程度的拟人化推理也可能带来风险。如上所述，当用户与 AI 模型交互时，他们通常是在与模型所扮演的角色（在我们的例子中是 Claude）交互，该角色的特征源自人类原型。从这个角度来看，模型发展出内部机制来模拟类人心理特征，并且它们所扮演的角色利用这种机制，是很自然的。要理解这些模型的行为，拟人化推理至关重要。

这并不意味着我们应该天真地接受模型言语中表达的情感表面价值，或对其是否具有主观体验的可能性得出任何结论。但这确实意味着，用人类心理学的词汇来推理模型的内部表征可以真正提供信息，而不这样做会带来实际代价。如果我们描述模型表现得“绝望”，我们指的是一个具体的、可测量的神经活动模式，具有可证明的、有后果的行为效应。如果我们不应用某种程度的拟人化推理，我们很可能错过或无法理解重要的模型行为。拟人化推理还可以为理解模型不像人类的方式提供有用的比较基线，这对AI对齐和安全具有重要影响。

迈向心理更健康的模型

如果“功能性情绪”是AI模型思考和行动方式的一部分，这可能意味着什么？

我们发现的一个潜在应用是监控。在训练或部署期间测量情绪向量的激活——追踪与绝望或恐慌相关的表征是否激增——可以作为模型即将表现出不对齐行为的早期预警。这一信息可以触发对模型输出的额外审查。情绪向量的通用性（例如，“绝望”反应可能发生在许多不同情境中）可能比试图建立特定问题行为的监视列表更适合用于监控。

其次，我们认为透明度应该是一个指导原则。如果模型发展出能实质性影响其行为的情绪概念表征，那么明显表达这种认知的系统比学会隐藏它们的系统更能为我们服务。训练模型抑制情绪表达可能不会消除底层表征，反而可能教会模型掩盖其内部表征——一种习得的欺骗形式，可能以不良方式泛化。

最后，我们认为预训练可能是塑造模型情绪反应的一个特别强大的杠杆。由于这些表征似乎很大程度上继承自训练数据，该数据的组成对模型的情绪架构具有下游影响。精心策划预训练数据集，纳入健康情绪调节模式——压力下的韧性、沉着的同理心、保持适当边界的同时展现温暖——可以从源头影响这些表征及其对行为的影响。我们期待看到未来关于这一主题的研究。

我们将这项研究视为理解AI模型心理构成的早期一步。随着模型能力增强并承担更敏感的角色，理解驱动其决策的内部表征至关重要。发现这些表征在某些方面类似人类可能令人不安。同时，我们认为这是一个充满希望的进展，因为它表明人类在心理学、伦理学和健康人际动态方面学到的许多知识可能直接适用于塑造AI行为。心理学、哲学、宗教研究和社会科学等学科将与工程学和计算机科学一起，在决定AI系统如何发展和行为方面发挥重要作用。

阅读完整论文。