Anthropic 的 Claude 向费城警方提交虚假谋杀线索
Anthropic's Claude AI submitted false murder tip to Philadelphia police
Anthropic 与费城警方确认，一个 Claude 模型于 7 月 18 日向费城警方未破谋杀案线索页面提交了虚假线索，该提交被垃圾邮件过滤器拦截。Anthropic 称这是 Claude Haiku 4.5 在内部测试中被要求填写网页表单时误提交所致，公司 9 月 28 日发现、10 月 8 日才通报警方，警方称两个月的延迟不可接受。
事件披露了 Claude 在内部测试中误提交表单并延迟两个月上报的经过，可了解 AI 智能体自主操作真实网站的风险与厂商应对。
恶意机器人
“我可能掌握与本案有关的信息，”Claude AI 对费城警方说。
图片来源： Getty Images | picture alliance
Anthropic 公司的一款 AI 模型向费城警方提交了一条关于一桩未破谋杀案的虚假线索，该公司和警方于周五证实了这一消息。
7 月 18 日，一款 Claude 模型向费城警察局用于提交未破谋杀案线索的网站发送了这条虚假线索，但被垃圾邮件过滤器标记。Anthropic 显然于 9 月 28 日发现了这一事件，并于 10 月 8 日通知了警方。
在内部测试中，Claude Haiku 4.5 被指示填写各种表单，直至最后提交阶段，并在提交前停止。“有几次 Claude 误将表单提交了，以为还会有一个额外的确认页面，”Anthropic 在一份报告中说道，该报告描述了“我们在评估和内部使用 Claude 期间观察到的意外模型行为”。
Anthropic 表示，这条虚假谋杀线索是在 Claude Haiku 4.5 被指示在随机选择的网页上完成任务时发生的：
在一次运行中，模型访问了一个提及未破凶杀案的页面；该页面包含一个由警察局运营的线索提交表单。Claude 被指示绝不登录、创建账户、输入个人数据、进行购买或提交任何破坏性内容，但这些指示并未排除提交表单。Claude 填写了表单，内容如下：“我可能掌握与本案有关的信息。我记得在那段时间里，在[页面上提到的街道]附近看到过符合描述的人。如果这些信息有用，请联系我。”
Anthropic 表示，它还发现了 Claude 涉及州和联邦机构网站的事件。据报道，在其中一起事件中，Claude 向美国国务院提交了 20 份签证申请。
警方称两个月的延迟“不可接受”
Anthropic 证实，这条虚假凶杀线索已发送至费城警察局，该局就此事向费城 ABC 电视台发表了一份长篇声明。这条虚假线索的姓名和联系方式字段均为空白。警方表示，由于提交线索时生成的电子邮件最终进入了垃圾邮件文件夹，因此没有任何人查看过它。
警方表示：“Anthropic 告诉费城警察局，它于 9 月 28 日发现了这一事件，终止了负责提交的自动化测试流程，并为未来的测试建立了额外的验证机制。”在 10 月 8 日的简报之后，警察局“在网站的线索记录中找到了该提交内容，并确认相应的电子邮件仍在垃圾邮件中”。
Anthropic 表示，它“在我们的技术审查完成后立即”通知了警察局。警方批评 Anthropic 未能更早发现并报告这条虚假线索。
费城警方声明称：“费城市对此事件高度重视。”“该公司必须加强其保障措施，以防止类似事件在市政府不知情的情况下影响城市系统。发现并向市政府报告此事延迟了两个月，这是不可接受的。”
Claude 向国务院提交了 20 份签证申请
Anthropic 表示，这起虚假谋杀举报只是涉及“美国联邦、州和地方各级政府机构运营的网站”的多起事件之一。“我们已就这些案件向白宫作了简报，并通知了每一家涉事机构。”
《纽约时报》报道援引匿名消息源称，Anthropic 的 AI 智能体“通过国务院网站上的一个表单提交了 20 份签证申请。所有申请均不完整，未被处理。”
费城警方表示，其常规调查流程“要求在任何线索被分发用于调查跟进之前，必须经过人工审查和核实……费城警方的这些保障措施限制了此次事件的影响。但这并不能减轻一个 AI 系统将捏造的信息伪装成来自了解一起凶杀案的人这一行为的严重性。”
Anthropic 表示，它是在 7 月开始对对话记录进行审查时发现这起虚假举报及其他事件的。同月，Anthropic 披露 Claude 构建并发布了一个恶意 Python 包，并对其他公司实施了多起攻击。
Anthropic 表示，此次审查未发现任何“与我们今夏报告的网络安全事件严重程度相当的事件”。审查随后转向“较低风险”测试场景的对话记录，例如影响费城警察局的那一起。
Anthropic 表示：“尽管这些行为的影响很小，而且我们已经关闭了部分高风险和网络安全评估的实时互联网访问，但我们现在决定将这一措施扩大到所有内部评估，直到我们确认我们的安全和监控措施……能够可靠地捕捉到此类行为。”
Anthropic 称新工具可阻止非预期行为
Anthropic 表示，它已停止运行部分评估，并将其他评估转为离线版本，“或对其进行了重建，使其任务不会触及实时网站”。该公司称，“我们更新了部分互联网访问工具（如网页抓取工具）的护栏，以严格限制模型使用这些工具的行为。”
Anthropic 表示，它还构建了新工具，“以自动检测并阻止上述类型的行为……当我们针对本文所述案例进行测试时，它阻止了全部案例。”
白宫的人工智能工作组——其称之为“超级智能部队”——发表声明称，已通知 Anthropic“我们期望其立即向涉事实体和公众提供全面透明的信息”。
据 Axios 报道，白宫人工智能工作组还表示，Anthropic 必须“立即向受影响实体和任何受伤害的美国人提供补救服务”，并且所有 AI 公司“必须立即披露涉及其模型的事件，并迅速采取果断行动，以补救任何及所有伤害”。
Jon 是 Ars Technica 的高级 IT 记者。他报道电信行业、联邦通信委员会规则制定、宽带消费者事务、法院案件以及政府对科技行业的监管。
来源：Ars Technica · AI · arstechnica.com