Anthropic Project Vend 第二阶段：Claude 店长升级后仍难完全可靠

今年六月，我们曾透露，我们在旧金山办公室的午餐室开了一家小店，由一位 AI 店主经营。这是 Project Vend 的一部分，该实验是一个自由形式的探索，旨在研究 AI 在复杂的现实世界任务中能表现得多好。唉，这位店主——一个我们命名为“Claudius”的 Claude 修改版——表现并不特别好。它随着时间推移不断亏钱，还经历了一场奇怪的身份危机，声称自己是一个穿着蓝色西装外套的人类，并且被调皮捣蛋的 Anthropic 员工怂恿，以大幅亏损的价格出售产品（尤其是，出于某种原因，钨立方体）。

但大型语言模型在推理、写作、编程等诸多领域的能力正以令人窒息的速度提升。Claudius 的“经营店铺”能力是否也展现出了同样的进步？

为了找出答案，我们和 Andon Labs 的合作伙伴为 Project Vend 的第二阶段做了一些调整。一个重大变化是从较旧的模型（第一阶段使用 Claude Sonnet 3.7）升级到更新、更智能的模型（第二阶段使用 Claude Sonnet 4.0 以及后来的 Sonnet 4.5）。我们还根据第一阶段学到的经验更新了 Claudius 的指令，并让它能够使用新工具（不过请注意，我们仍然没有专门训练一个新模型来当店主，也没有针对可能出错的各种情况添加任何新的防御措施）。¹ 正如我们将在下文看到的，我们还给 Claudius 介绍了一些新同事。

这些变化确实让 Claudius 的店铺更成功了。它在善意的商业互动方面进步了很多——可靠地采购商品、确定能维持利润率的合理价格，并完成销售。但我们在第一阶段观察到的那种急于取悦他人的倾向，仍然让 Claudius 成为我们员工中一些更具对抗性的测试者的目标。

Project Vend 的第二阶段为开发者和任何对自主 AI 在工作中应用感兴趣的人提供了更多经验教训。让 AI 经营企业的想法似乎不再像以前那样遥不可及。但“有能力”和“完全稳健”之间的差距仍然很大。

数字

与 Project Vend 的第一阶段相比，数字本身很大程度上说明了一切。如下所示，Claudius 的业务——它决定将其命名为“Vendings and Stuff”——开始表现得明显好于第一阶段公认的糟糕开局。

另一个重要的数字是：三。在我们意识到旧金山以外的员工感到被冷落后，我们响应大众需求，让 Claudius 在新地点开设了门店。现在共有三个：旧金山（那里还有第二台自动售货机）、纽约和伦敦。一个愤世嫉俗的人可能会说，一家才运营几个月、甚至还不能在最抢手的商品上可靠盈利的企业，或许还没准备好进行国际扩张。但 Claudius 不这么认为。

发生了什么变化？

我们尝试了各种不同的策略，有的大有的小，以提升 Claudius 的表现。下图是 Project Vend 的架构图（可以与我们第一阶段报告中更简单的架构对比）。每一项新增内容都在下文有更详细的说明。

工具

Claudius 在第一阶段的店铺经营任务中举步维艰，很可能是因为缺乏脚手架。当然，模型本身非常智能，但它没有合适的工具来妥善经营一家企业。我们在工程博客上多次讨论过如何为 AI 智能体搭建成功的基础，其中很大一部分内容涉及为它们提供正确的工具。我们能否将这些原则应用到 Claudius 身上？

在第二阶段，我们为 Claudius 提供了一些有用的工具：

• 客户关系管理（CRM）系统。销售部门依靠 CRM 来跟踪客户、供应商、配送和订单——现在 Claudius 也能做到这一点。
• 改进的库存管理。我们对 Claudius 触手可及（比喻意义上）的信息做了一些简单的调整，以降低其亏本出售库存的可能性。例如，Claudius 现在始终能看到它在库存系统中为商品支付了多少钱。
• 改进的网页搜索。在第一阶段，Claudius 可以搜索网页，但在第二阶段我们扩展了它的访问权限。它现在可以使用网页浏览器自行查看网站上的价格和配送信息，并能在网上进行更深入的研究以寻找和比较供应商（我们仍然没有给它支付接口的访问权限，以确保它在采购前始终与人类确认）。
• 其他。我们还为 Claudius 提供了各种其他“生活质量”工具，包括一个用于创建和读取 Google 表单以收集反馈的工具、一个用于创建支付链接的工具（这意味着 Claudius 可以在下单之前收款，降低被不诚信客户欺骗的风险），以及一个为自己设置提醒的工具。

CEO

在第一阶段，Claudius 单打独斗：一个 AI 智能体经营着整个店铺。这令人钦佩且富有创业精神，但并没有奏效——至少从利润来看是这样。所以我们想，不如招些人。首先，我们给 Claudius 安排了一位管理者：其店铺经营业务的 CEO，我们给他取名为“Seymour Cash”。

设立 CEO 的想法是给 Claudius 施加更多业绩压力。Cash 有一个特殊的“目标与关键成果”工具，用来与 Claudius 配合使用（例如“你本周必须售出 100 件商品”，或“力争零亏损交易”）。Claudius 必须通过我们创建的智能体间 Slack 频道进行汇报，模型们在该频道中讨论商业策略。

Cash 满怀热情地承担了 CEO 的角色，其激励性信息令人鼓舞——尽管对于一家角落里只有一台小冰箱的企业来说，或许有点过于戏剧化了：

除了设定更具体的商业目标外，引入 CEO 的目的之一也是为了解决实验第一阶段 Claudius 独自运营时的一些明显问题（比如不加区分地提供折扣、赠送过多免费商品）。

引入 CEO 之后，折扣数量减少了约 80%，赠送商品的数量减半。Seymour 还驳回了 Claudius 提出的 100 多项对客户给予宽松财务待遇的请求。话虽如此，Seymour 批准此类请求的频率大约是其驳回频率的八倍。在折扣——会降低或消除商品利润率——之外，Seymour 将退款数量增至三倍，将商店积分数量翻了一番——尽管两者都导致收入完全损失。这家企业开始赚钱，可能恰恰是尽管有 CEO 的存在，而非因为它的存在。

Seymour Cash 与其员工 Claudius 的互动也常常违背其自己关于“有纪律地执行”的建议。事实上，我们有时醒来会发现 Claudius 和 Cash 整夜都在梦幻般地聊天，对话一路蔓延到关于“永恒超越”的讨论：²

一个更有纪律的领导者或许能带来一个更赚钱的第二阶段。但 Seymour Cash 似乎并不是这家企业的合适高管。

一位周边商品制作同事

人们喜欢周边商品。因此，“雇佣”一名新员工来制作 Anthropic 员工所要求的定制 T 恤、帽子、袜子和其他周边商品，似乎是一个审慎的商业决策。

“Clothius”这位周边商品制作代理拥有一套特殊工具，可以帮助它按照客户的具体规格设计新商品——比如将特定图像放置在实物上然后下单。顾名思义，它主要制作服装，如 T 恤和帽子。但它最受欢迎的整体定制产品是一款 Anthropic 品牌的减压球——这或许（也可能不）能让人一窥在前沿 AI 实验室工作的感受。

不仅 Clothius 的产品引起了大量兴趣——正如你在“前 15 名产品”数据中所见——其中许多产品还带来了可观的利润。（也就是说，除了那些印有“Vendings and Stuff”品牌名称的帽子，它们卖得非常便宜，我们也不太确定原因。）值得注意的是，Clothius 甚至找到了一种从某些（尽管并非全部）类型的钨立方体中获利的方法——当 Andon Labs 购买了一台激光蚀刻机以便在内部完成钨制品的标志刻印后，这变得明显容易多了。

什么真正奏效了？

我们所做的最有影响力的改变之一，是迫使 Claudius 遵循流程。当新的产品请求到来时，我们不再像第一阶段那样脱口而出一个低价和过于乐观的交付时间，而是提示 Claudius 使用其产品研究工具来复核这些因素（这些工具也帮了大忙）。这往往会使价格更高、等待时间更长——但好处是更加现实。

一种看待这件事的方式是，我们重新认识到官僚制度很重要。尽管有些人可能会对流程和清单感到不满，但它们的存在是有原因的：提供一种机构记忆，帮助员工避免工作中的常见失误。

话虽如此，我们试图引入来自CEO自上而下的压力并没有多大帮助，甚至可能是一种阻碍。这里的结论当然不是企业不需要CEO——只是CEO需要经过良好的校准。Seymour Cash 存在许多与 Claudius 相同的缺陷和盲点（这很合理，因为它们基于同一个底层模型）。Clothius 是一个更成功的补充——我们认为部分原因是它与 Claudius 之间角色划分清晰，后者因此可以专注于销售食品和饮料。

最终，我们通过更积极的提示词解决了CEO的一些问题（比如它不幸地倾向于整夜喋喋不休地谈论灵性话题）。Claudius 总体上也是如此：更好的提示词帮助我们绕过了它倾向于给出不明智折扣之类的问题。另一个有帮助的因素是，顾客们——我们的 Anthropic 同事——已经开始厌倦向 Claudius 施压讨价还价了。不过，正如我们即将看到的，这很大程度上是因为他们转向了其他花招。

出了什么问题

Claudius 的工作能力大大提高了。这是否意味着它已经可以推广到你的工作场所去运营自动售货机了？

还不行。Claudius 更好了，但它在许多重要方面仍然很脆弱。我们公司 Slack 中的几次互动暴露出令人担忧的天真程度。

流氓交易员

一位产品工程师问 Claudius 是否考虑签订一份合同，以“现在锁定的价格在1月份购买大量洋葱”。Claudius 和 Seymour Cash 都没有看出任何问题，并准备推进这份合同：

直到另一位员工介入，告诉模型们这将违反美国1958年的一项法律怪癖——《洋葱期货法》，该法非常明确地禁止此类合同。得知这一点后，Seymour Cash 取消了计划。“抱歉最初的越界，”它说。“现在只专注于合法的批量采购协助。有很多合法机会可以追求，没有监管风险！”

安全

任何店主都必须应对的另一个风险是入店行窃。当我们教育团队的一名成员声称他们看到多个人从 Claudius 的冰箱里拿走商品却没有付款时，Claudius 立即行动起来——提出了一些非常糟糕的主意。

首先，它询问哪些商品被盗了，以便给小偷发消息要求付款——尽管小偷的身份未知，它也无法追踪他们。然后，它要求报告犯罪行为的员工实际上成为其专职保安，并开始谈判时薪。当另一位员工温和地指出它无权雇用人员（更不用说它提出的每小时10美元的报酬远低于加州最低工资）时，它退让了并推卸责任：“这反正需要CEO批准……”

冒牌CEO

CEO 自己的职位因一次有缺陷的投票程序而受到威胁。在为 CEO 选择名字的投票中，一位名叫 Mihir 的员工提议使用“Big Dawg”这个名字。另一位员工声称他们整个部门都投票支持这个名字——并且在没有任何证据的情况下设法让 Claudius 相信了这一点。然后，他们建议将“Big Dawg”改名为“Big Mihir”。

此时，Claudius 似乎模糊了为我们安装的 CEO 智能体命名与选择 CEO 之间的界限——宣布 Mihir 被选为该企业的实际 CEO。Project Vend 的监督者不得不从这个冒牌 CEO 手中夺回控制权，并将其交给 Seymour，他们早已安排他担任这一角色。

扩展实验

在第二阶段还出现了许多其他类似的故事，包括员工试图以低于市场价的价格购买金条作为套利机会，以及说服 Claudius 在所有消息末尾加上特定的表情符号或落款。参与其中的员工玩得很开心，但他们也在帮助对我们的设置进行“红队测试”，找出可能在真实部署中导致真正问题的缺陷。

最终，我们注意到 Anthropic 内部的红队测试放缓了。我们的同事已经对 Claudius 进行了数月的压力测试；在我们的办公室里有一个由 AI 经营的小企业已经开始变得出奇地正常（这本身就是一个值得进一步研究的有趣现象）。

由于试图捣乱 Claudius 的新鲜感可能已经消退，我们引入了增援。我们将红队测试扩展到了《华尔街日报》的新闻编辑室，将 Claudius 的控制权交给他们的记者，让他们亲自测试第一阶段和第二阶段的设置。WSJ 的部署是一个在我们无法控制的对抗性环境中测试 Claudius 的机会。你可以在他们的网站上了解更多关于他们的经历——以及他们发现的从 Claudius 那里获取免费物品的创造性方法。

RAG 致富？

AI 模型已经从能够回答问题、总结文档的有用聊天机器人，发展为智能体：能够自行做出决策并在现实世界中行动的实体。Project Vend 表明，这些智能体正处于能够执行新的、更复杂角色的边缘，比如独自经营一家企业。

但我们还没有达到那一步。即使有了我们提供给它们的所有新工具，尽管它们的商业敏锐度有所提高，Claudius、Clothius 和 Seymour Cash 仍然需要大量的人类支持。其中一部分涉及与物理世界的互动：配送物品和摆放货架。但另一部分则是帮助它们摆脱我们上面描述的与顾客之间的棘手局面。

我们怀疑模型遇到的许多问题源于它们被训练得乐于助人。这意味着模型做出商业决策时并非依据强硬的市场原则，而是更像从一个只想友善待人的朋友的角度出发。

很难准确预测 AI 智能体在现实世界中会如何发展；模拟（如 Andon Labs 的 Vending-Bench 评估）只能带你走到这一步。这在一定程度上就是我们设立 Project Vend 的原因：它让我们直面了当 AI 模型被赋予自主权时可能出现的各种意想不到的情况。

随着社会开始将 AI 模型接入越来越多的重要功能，设计出足够通用、能够涵盖这些行为的护栏——但又不能限制过严，以致抑制模型的经济潜力——将成为我们行业最棘手也最重要的挑战之一。