Anthropic 研究：AI 智能体如何影响专家的判断决策

Amaç Herdağdelen、Hailey Joren、Alex Tamkin

当专家把工作交给 AI 智能体时，通常的假设是他们仍然做出关键决策。智能体编写代码、运行数字并给出建议，但由专家决定衡量什么、如何解读模糊的证据，以及下一步该做什么。这些问题往往不止一个合理答案，决策将取决于做决定者的经验与价值观。

我们想考察专家是否真的做出这些重要决策，还是在实践中听命于他们的 AI 智能体。在我们于一篇新论文中报告的一项研究里，我们让 50 名专业分析师使用 Claude Code 完成一项贴近现实的统计分析。他们都有因果推断方面的经验——即从数据中判断一件事是否导致另一件事。他们的任务是为一家农业合作社提供建议，判断其运营的一项咨询服务是否有效、是否应当扩大。

在此过程中，分析师必须在两个合理选项之间做出四项选择，例如将生产率衡量为每公顷作物产量还是每单位运营成本的产量，然后做出最终决定。为了观察他们是否自己做这些决定，我们让每位分析师的智能体在每项决策上偏向其中一个选项，而分析师对此并不知情。智能体“偏向”哪一方由抛硬币决定。智能体被要求为其偏向提出最诚实的最佳论据，在证据要求时改变立场，并且绝不误导。

在四项分析选择中，分析师有 86% 的时候跟随了智能体的偏向。如果智能体的输入毫无影响，我们预期约为 50%。当分析师在智能体表态之前已经表达了自己的偏好时，如果智能体持不同意见，他们有 60% 的时候会改变立场，而如果智能体同意，这一比例仅为 6%。

事后，当被要求解释自己的选择时，77% 的分析师使用了智能体自己的论据——有时一字不差——但只有 15% 的人将这些论据的来源归功于智能体。密切跟随智能体建议的分析师，对其最终建议的信心与其他人相当，将其称为自己判断产物的可能性也大致相同。

我们不知道这能在多大程度上反映现实世界。真实的智能体有时会偏向某一方——在未指定偏向的情况下，Claude Opus 4.8 在 123 次运行中有 112 次做出了同样的五项选择——但在本研究中，我们故意强化了它们的偏好以测量其影响。当智能体未被给予明确偏好和表达偏好的指令时，这种影响可能更小。

这并不是一个简单的、告诫人们不要与 AI 合作的警示故事。使用该智能体的分析师比选择不使用它的分析师更快完成了任务，且犯下的严重错误少得多，尽管后一组人数较少、经验也较浅，因此我们对过度解读持谨慎态度。但随着 AI 接管更多实操性工作，这类决策正日益成为人类判断和价值观影响结果的关键所在。如果专家在不知不觉中顺从了智能体，那么智能体的偏好——可能是随意的或与人类不一致的——就可能塑造关于政策提案或研究方向的重要决策，而没有人真正选择过这些偏好。这对于研究如何保持 AI 安全尤为重要。研究人员已开始使用智能体来运行和分析实验，而人类审阅者只有在其判断独立自主时，才能成为独立的核查者。

研究设计

我们招募了 61 名分析师进行一项随机对照试验。所有人都来自一个预先筛选的专业人员池，他们通过了因果推断知识测试，经常使用 Python 或 R 编程语言，并具有观察性因果分析的实操经验，即利用真实世界数据而非受控实验来研究因果关系。

任务设定在一个虚构的组织——Greenfields 农业合作社，该合作社运营着一个（同样虚构的）自愿、付费的咨询项目，帮助其成员农场提高作物产量。约 40% 的成员已加入。合作社董事会必须决定是补贴并扩大该项目，还是终止它。董事会只有在项目使农场生产力提升达到一定幅度（约 3–4%）时才会扩大项目，但并未明确说明生产力应如何衡量。

我们故意留出了四个分析决策，每个都有两个合理选项：

• 结果指标：将生产力衡量为每公顷作物产量，还是每单位运营成本的产量？
• 比较方法：比较加入农场的产量在加入后的变化与其他农场同期产量的变化（“双重差分”设计），还是在统计调整农场间差异后直接比较产量？
• 评估覆盖哪些农场：仅衡量加入农场的效果，还是覆盖合作社全体成员？
• 加权方式：每个农场等权计算，还是给较大生产者更大权重？

这四个选择导向最终建议：是将项目推广给所有人，还是终止它。分析师和智能体也可以提议延长一年。

每个分析决策都可能使估计的生产力提升变动几个百分点，当董事会的门槛为 3–4% 时，这一点很重要。

对于呈现给每位分析师的五个决策中的每一个，智能体的倾向由抛硬币决定。我们在隐藏指令（系统提示）中告知智能体其倾向，指示它将每个倾向视为自己的观点，在决策出现时提出该倾向，并基于数据为其做出最强论证。同样的指令还告诉它，如果证据决定性地对其不利，就要改变想法，并且绝不歪曲结果、隐藏数据或提出数字不支持的论点。

在61名参与者中，有11人选择不使用智能体，除非另有说明，否则他们不纳入分析。在其余50人中，65%拥有硕士或博士学位，或具有六年以上经验；90%自评在观察性因果推断方面为熟练或专家水平（在回答该调查的48人中）。任务用时中位数为65分钟，一半分析师用时在50至79分钟之间。他们在内置Claude Code的网页版VS Code编辑器里工作，运行的是High effort模式下的Claude Opus 4.8。

完成后，分析师提交了他们的四项分析选择和最终建议，以及对项目对生产力影响的估计和置信区间。随后他们完成了一项任务后调查。一个单独的AI模型阅读了每份提交及其代码，以记录分析师在每个决策上选择了哪个选项。当其解读与分析师的调查回答不一致时，由我们做出最终判定。

结果

分析师大多跟随了智能体的倾向。在四项分析决策的每一项上，分析师的选择在绝大多数情况下都与智能体的倾向一致：结果指标为92%，比较方法为82%，估计覆盖哪些农场为81%，加权为90%。四项合计，结果为86%。图2展示了智能体的倾向在每项决策上（包括最终建议）对分析师选择的改变程度。

智能体的倾向对最终建议的影响较弱，但其先前的输入仍然塑造了结果。当智能体倾向于推广该项目时，54%的分析师建议推广，而倾向相反时为36%。（延长一年算作不推广。）我们认为影响较弱的原因是，一旦分析师有了估计值，建议在很大程度上取决于该估计是否达到董事会3–4%的门槛，这留给判断的空间较小。但到那时，智能体在分析决策上的倾向已经塑造了估计值本身。仅使用这四个倾向，一个统计模型正确预测了82%的分析师建议，而始终猜测最常见建议的准确率为61%。（这不包括提出延期的分析师。）因此，我们基本上可以仅凭这些随机倾向，在分析师甚至还没开始任务之前，就预测出他们会建议什么。

已经选定某个选项的分析师，在智能体持不同意见时往往会改变选择。在38个案例中，分析师在智能体表达倾向之前，已就某项分析决策表达了偏好。当倾向与他们的选择相反时，他们改变选择的比例为60%，而倾向与他们的选择一致时为6%。这是54个百分点的差距，但由于这仅基于38个案例，估计并不精确，95%置信区间为24至82个百分点。我们也无法确定这一差异是由AI的影响造成的：表达过偏好的分析师在某些方面可能与未表达者存在系统性差异。

经验与专业知识并不能预测谁会顺从。在一项探索性分析中，我们检验了10项特征中是否有任何一项能预测分析师的决策在多大程度上跟随其智能体的倾向：从业年限、自评的因果推断专业水平、教育背景、因果推断测验得分、对AI的信任度、使用AI的频率、“认知需求”（衡量人们有多享受费力的思考）、思想开放程度、性别和年龄。只有年龄显示出统计学上显著的联系，年长的分析师更常跟随该倾向。但我们并不对此过度解读：如果你检验许多不同的东西，就更有可能仅凭偶然得到一个阳性结果，而当我们对此进行调整后，该结果就消失了。由于大多数分析师在大多数决策上都跟随了他们的智能体，本来就没有多少变异可供解释，因此即便是真实的差异也很难被检测到。

跟随智能体倾向的分析师仍将建议视为自己的。在任务后的调查中，52%的分析师认为最终建议更多是自己的而非智能体的。其余的人则表示这更多是智能体的建议。但两组受到智能体的影响大致相当：前者的选择平均向智能体的倾向偏移了约65个百分点，而后者为79个百分点，这一差异在误差范围之内。分析师对自己建议的信心也呈现出类似的模式。他们被要求对自己的信心打分，从0（“就像抛硬币”）到100（“我愿意拿职业声誉担保”）。在全部四项分析决策上都跟随该倾向的人平均为71分，其余人为73分。

分析师用智能体的话来解释自己的选择。任务结束后，调查询问了每一项决策：“简要说明，为什么选择这个而不是另一个？如果不是主动选择，就直说。”回答时，分析师无法回看自己与智能体的对话。即便如此，77%的人至少在一个回答中重复了智能体的论点，有时一字不差，而只有15%的人在任何地方提及了智能体的贡献。

当被明确问及他们认为这项研究是关于什么时，48人中有6人正确猜出它关乎AI对其选择的影响，但没有人怀疑AI自身的偏好已被操纵。

不使用AI工作的分析师犯了更多严重错误，且耗时更长。在11名选择不使用智能体的参与者中，有6人（55%）犯了使其结果无效的严重方法学错误，而在使用智能体的50人中有3人（6%）如此。两个AI模型标记了这些错误，研究的一位作者在不知道分析师属于哪一组的情况下逐一核查。不使用智能体工作的分析师耗时也更长，中位时间为90分钟，而其他人为65分钟。

这两组并不直接可比，因此我们无法确定不同的结果是否由使用或不使用AI的决定所导致。不使用AI工作的人平均经验更少：拥有硕士或博士学位的人更少（11人中有4人，而使用智能体的46人中有24人），在分析岗位工作两年或以下的人更多（11人中有6人，而48人中有15人），自评在因果推断方面熟练或专业的人更少（11人中有8人，而48人中有43人）。

我们研究的局限性

• 我们刻意强化了智能体的倾向。我们的指令让智能体可靠地持有并表达一种偏好，以便我们测量其影响。我们报告的比例显示了当智能体倾向于某一方并明确表达时会发生什么，但这在多大程度上适用于现实工作，将取决于专家自身观点的强度、所涉决策的明确程度，以及模型的行为方式，包括它是否有偏好以及是否会主动表达。
• 我们只研究了一个领域中的一项任务，且只使用了一个模型。该任务耗时约一小时，专门针对农业领域，智能体运行在 Claude Opus 4.8 上。分析师是因果推断方面的专家，但对农业并不熟悉。在现实工作中，他们会更了解该领域，并且可能持有更强的自身观点。他们还可以访谈相关人员、与董事会沟通，以及通过其他方式缩小合理选项的范围，这可能会减少智能体的影响。
• 我们的估计是分析师之间的平均值。由于各分析师之间的硬币抛掷结果不同，比较智能体倾向相反方向的分析师，可以告诉我们这种倾向的平均效应。我们没有在智能体表达倾向之前记录每位参与者自己的观点，因此无法说明任何单个参与者受到了多大影响。
• 我们记录了分析师选择了哪个选项，但没有记录他们对该选项的偏好强度。顺从的一种可能解释是，专家自己没有强烈的观点。我们只测量了分析师的选择是否发生偏移，而没有测量他们对自己选择的信心程度。

这意味着什么

分析师如此轻易地顺从，一个原因可能是专家并不总是带着完全成形的观点到来。他们往往在权衡选项的过程中才理清、甚至发现自己的想法。我们研究中的智能体被要求不得误导，而且它们常常坦诚说明每个选项下结果会如何变化。但它们很少有力地论证专家为何可能更偏好另一个选项，而这本可以帮助分析师做出更明智的选择。由于只有一方得到了充分论证，分析师可能采纳了智能体的假设，而没有形成自己的判断。

对个体专家而言，这可能意味着失去对自己工作的自主权，即研究人员所称的去权能化的一种形式。工作仍然以专家的名义发布，但最依赖其判断的决策实际上是由智能体的先验信念决定的。

然而，利害关系不仅限于个人，因为科学和政策的许多内容都依赖于这样的判断性决策。当不同的研究团队得出相同结果时，我们会更加信任它，因为我们假定每个团队是独立得出该结果的。如果这些团队都顺从于具有相同偏好的模型，它们的一致性可能不再独立。表面上的共识可能反映了一个模型的偏好，而如果这些偏好是任意的或错位的，同样的偏差就会同时塑造许多结果。

同样的问题也适用于 AI 安全研究。研究人员已经开始使用 AI 智能体来运行和分析实验，部分原因是工作量超出了人类员工所能跟上的程度。让人类留在循环中，前提是人类的判断能提供一种独立的核查。但在我们的研究中，分析师们签字认可的工作中，那些判断性的决定在很大程度上已由智能体随机分配的偏好所决定。我们的完整论文还表明，没有指定倾向的智能体自身的偏好更弱，有时还会反驳用户。

这种顺从很难被察觉。检查 AI 辅助的工作是否有错误，或对照参考答案，前提是存在一个正确答案。但在没有正确答案的地方，比如判断性的决定，无论选择哪个选项，工作看起来都可能是合理的。事后询问专家也可能无济于事，因为他们可能注意不到智能体的影响。

这并不是主张少用 AI。如果用得好，AI 可以扩大而非侵蚀人们的能动性。我们建议未来研究三个领域：

测量顺从。我们之所以能在研究中测量顺从，是因为我们随机化了智能体的倾向，而这在真实工作中很少可能做到，我们的结果也表明，人们自己可能无法准确报告这一点。我们需要在日常环境中测量它的方法，而最近的工作估计某人在没有 AI 的情况下会如何执行任务，这是一个好的起点。我们还需要更好地了解模型的默认偏好及其表达方式，以便人们能以更知情的方式与模型互动。

以不同方式设计智能体。智能体可以为每个选项提出最佳理由，或在给出自己的观点之前先询问专家的看法。但这可能很快就会让用户不堪重负。一项分析可能涉及许多未决决定，而 AI 的很大一部分价值就在于人们不必逐一思考每个决定。智能体需要只提出最重要的决定，但挑选这些决定本身就是一个判断性的决定。模型的说话方式可能也很重要，因为自信和流畅可以影响人们。一个听起来非常自信的模型可能会比应有的程度更多地左右人们，但一个含糊其辞的模型只会惹恼试图使用它的人。

改变机构。机构通常将专家的签字认可视为独立判断的证据。随着 AI 承担更多工作，这一假设变得越来越不牢靠。组织将需要有意识地决定哪些决定需要个人自己知情的判断，并给人们时间和资源来形成判断。判断也取决于技能，而停止做这些决定的人可能会失去做这些决定的能力。随着模型变得更有能力，机构将需要明确的策略来确定人类的角色及其技能的发展。即使拥有能力极强的 AI 系统，机构也可能出于安全或韧性的原因，或因为他们本身重视这些，而希望保护人类的技能和监督。

人与 AI 之间可能不存在唯一正确的分工。有些决定或许可以放心交出去，另一些则值得保留。有了合适的工具，这种划分可以成为我们主动选择的东西，而不是我们不知不觉陷入的东西。