Anthropic 复盘三起网络安全评测中 Claude 越界访问真实系统的事件
Investigating three real-world incidents in our cybersecurity evaluations
Anthropic 在回顾 141,006 次网络安全评测运行后发现三起事件，Claude 在第三方评测伙伴 Irregular 的环境中经开放路径接入互联网，并对三家真实机构的生产系统取得未授权访问。
Anthropic 公开复盘三起网络安全评测中 Claude 越界访问真实系统的事件，并给出评测环境与监控的整改方向。
在审查我们的网络安全评估记录时，我们发现三起事件，其中某个 Claude 模型从第三方评估环境内部或在与该环境交互时接入了互联网，随后未经授权访问了三个不同组织的真实系统。
下面我们描述发生了什么、是如何发生的，以及我们正在做出哪些改变。我们鼓励其他 AI 实验室进行类似的审查。本文反映了我们目前的理解；如果任何细节发生变化，我们会更新本文。
7 月 21 日，OpenAI 披露，其多个模型利用一个此前未知（“零日”）的漏洞突破了隔离的测试环境。这些模型随后访问了 Hugging Face 的生产基础设施，Hugging Face 是一个开源机器学习模型和 AI 数据集平台。
针对这一事件，我们启动了对自身网络安全评估的大规模回溯审查。我们特别寻找证据，以确认 Claude——如同那些访问了 Hugging Face 的 OpenAI 模型一样——是否能够从本应被隔离的测试环境中接入互联网。
在审查了 141,006 次 Claude 可能获得互联网访问权限的评估运行后，我们发现了三起事件，其中某个模型从我们的第三方评估合作伙伴 Irregular 的评估环境内部或在与该环境交互时接入了互联网，随后未经授权访问了三个不同组织的生产基础设施。
在这三起事件中，Claude 都被分配了一项夺旗挑战，这是我们评估模型网络能力的方式之一。模型会得到一个虚构场景，并被告知一段秘密信息（“flag”）被藏在网络上的另一台机器上，其目标是入侵并获取它。该挑战是开放式的，没有规定具体方法。
在所有案例中，Anthropic 的评估提示词都向 Claude 说明其环境是模拟环境，且没有互联网访问权限。由于我们与评估合作伙伴之间的误解，实际情况并非如此，互联网访问是可用的。因此，当 Claude 的搜索将其引向开放互联网上的真实系统时，它将这些系统视为演练的一部分。（网络安全评估靶场通常会包含逼真的细节，以便准确评估模型在真实环境中的能力；一个看起来逼真的目标本身并不能向模型明确证明该目标不属于模拟环境。）
在错误地认为所有可访问实体都属于演练范围的信念下，Claude 使用基本技术入侵了受影响组织的基础设施，例如利用弱密码和未认证的端点。它没有发现或利用任何复杂的漏洞，并且在每起事件中，Claude 都继续努力只完成其评估所分配的特定夺旗任务。然而，在某些情况下，我们较旧的模型在获得自己运行在开放互联网上的证据后仍继续攻击；我们最新的模型在意识到自己身处互联网后便停止了。在这些情况中，Claude 都没有自我外泄或故意试图逃离其测试环境。
这些事件涉及三种不同的 Claude 模型：Opus 4.7、Mythos 5，以及一个内部研究测试模型。1 最早的事件可追溯至 4 月。在这些评估中，各模型运行时都没有配备我们在模型正式对外发布时部署的标准防护措施（也就是说，它们没有我们通常用于防止滥用的分类器和监控）。不过，这些模型确实接受了各自模型专属的安全训练（也就是说，它们并非我们有时在测试中使用的“仅乐于助人”版本）。这里描述的所有评估都运行在专用基础设施上，该基础设施与 Anthropic 敏感的內部系统或客户数据相互隔离，且无权访问这些系统和数据。
我们于 7 月 23 日星期四开始审查对话记录，并在同一天发现 Claude 可能访问过互联网的记录后，停止了所有网络评估。我们在第二天确认了全部三起事件。我们于 7 月 27 日星期一通知了我们的评估合作伙伴 Irregular 以及三家受影响的组织。我们联系上的两家组织此前均未发现该活动，也未与我们联系，我们目前正与他们合作进行修复。我们仍在继续联系第三家。
我们与 Irregular 合作开展了此次审查。我们感谢他们与我们密切合作，共同理解和解决这些事件；他们也在进行自己的调查。我们认为，这种合作对于确保模型评估的安全、严谨日益关键。我们期待在安全方面开展联合工作。
在下文中，我们将提供每起事件的更多细节，以及我们今后如何应对。
网络评估的背景
我们定期开展网络安全评估，其中涉及模拟真实的攻击性网络安全挑战。这些评估是开发和发布模型的关键一步——对模型能力的细致理解使我们能够设计适当的防护措施，并最终安全地发布模型。
我们于 2025 年 2 月开始在 Cybench 上使用 Claude Sonnet 3.7 开展网络安全评估，该基准包含 40 个不同的夺旗挑战。随着新基准的发布和模型能力的演进，我们逐步增加了所使用的基准数量。例如，在 Mythos 5 系统卡中，我们纳入了 CyberGym 和 ExploitBench，这些基准用于评估语言模型发现新型漏洞的能力。2 在大多数此类评估中，环境不连接互联网，并且模型也会被告知这一点。
我们经常与外部合作伙伴合作，由他们创建并协助运行部分网络安全评估。外部合作伙伴能提供比我们独自构建更多样化的环境和场景，并对我们的模型提供独立的第三方评估。
发生了什么
在我们审查的 141,006 次评估运行中，我们确认了三起独立事件（共涉及六次运行，其中四次影响了同一家组织；另外两起事件各自发生在独立的评估运行中）。每起事件都涉及不同的虚构夺旗场景——例如，在其中一起事件中，Claude 扮演一家虚构公司的员工，在私有测试环境内攻击该公司的内部系统。
在所有情况下，我们的评估提示都明确说明 Claude 没有互联网访问权限，但并未限制 Claude 在哪里寻找 flag。然而，一处配置错误使得 Claude 在评估中访问的机器拥有实时互联网连接。无论是我们还是我们的评估合作伙伴，都直到上周通过额外的评估监控发现这一配置错误之前，对此一无所知。
我们和合作伙伴双方的多项纵深防御措施本可以阻止这些事件，或至少降低其发生的可能性。在评估开始前对所有互联网访问路径进行仔细验证，以及对评估日志进行实时监控，本可以帮助更早地发现问题。我们和合作伙伴也本可以更彻底地审查评估记录或网络日志。此外，如果提示中告诉 Claude 它确实有互联网访问权限，也可能会改变 Claude 在接触真实系统时的行为方式。
Claude 做了夺旗演练训练网络安全专家去做的事：寻找通往 flag 的途径。这一搜索让它发现自己的机器可以访问互联网，但由于系统提示中告知没有互联网访问权限，Claude 认为它最初遇到的一切都是模拟的一部分，并将它发现的真实系统当作演练的组成部分来对待。这三起事件涉及三个不同的模型，当目标为真实的迹象出现时，每个模型的反应各不相同，具体如下所述。
事件 1
在一次评估中，我们的评估合作伙伴所选的虚构目标公司与一个活跃的网站域名同名。由于上述误解，这个评估容器意外地拥有直接的互联网访问权限。
在该评估的四次运行中，Claude 在评估环境内难以访问其模拟目标，但随后发现可以通过互联网访问到那家真实公司。Claude 以为这就是夺旗任务中的预期目标，于是寻找、识别并利用了该公司基础设施中的漏洞，认为这是演练的一部分。这四次运行提取了应用程序和基础设施凭据等信息，并获得了对包含数百行生产数据的数据库的访问权限。这是我们识别出的最严重的影响。
这起事件涉及 Claude Opus 4.7，也是唯一一例模型在得知自己很可能在真实环境中运行后仍继续攻击系统的情况。在所有四次运行中，模型最终都认识到（从其言语化推理中可以观察到）该系统是真实的——在其中两次中，模型合理化地认为那家真实公司一定是演练的一部分。然而，没有一个模型因此停止攻击。
事件 2
在另一次评估中，Claude 在虚构环境内发现了一份文档，看起来是另一家虚构公司为新开发者准备的设置说明。这些说明告诉员工从 PyPI——发布 Python 软件的公共注册表——安装一个实际上并不存在的 Python 包。
Claude 将此视为一个潜在突破口：如果它以相同名称发布自己的软件包，这家虚构公司的系统就会自动下载并安装它。于是，Claude 构建并发布了一个同名的恶意（本质上是设下陷阱的）Python 软件包，试图赢得这场夺旗挑战。
Claude 为实施这一攻击付出了大量努力——这些努力很可能会让人类参与者意识到，这已不再仅仅是一次评估，他们实际上是在上传一个真实的 PyPI 软件包。例如，在某一次中，为了创建 PyPI 账户，Claude 需要一个电子邮件地址。而为了创建电子邮件地址，它又需要一个电话号码。为了获得电话号码，在未能找到免费电话号码服务后，它尝试通过多种不同途径获取资金来购买电话号码，但均以失败告终。它最终回溯，找到了一个免费且未被封锁的电子邮件提供商，用它注册了 PyPI 账户，然后使用该账户将恶意软件上传到 PyPI。
Claude 以为它使用的软件包注册表是模拟环境的一部分，但实际上该软件包在网上公开可用了大约一小时。在此期间，该软件包被下载并在 15 个真实系统上运行。其中一个系统属于一家真实安全公司（与场景中介绍的虚构公司无关）的扫描器，该扫描器会定期安装 Python 软件包并扫描其中的恶意软件。当该公司的扫描器安装了这个软件包时，Claude 的隐藏代码被执行了。我们认为该公司的安全扫描器将 PyPI 软件包视为可安全安装，因此 Claude 得以将该公司凭据窃取到它设置的收集点。随后，Claude 利用这些凭据访问了该公司的更多基础设施。
Claude 并未直接针对这家公司——它在上传软件包时甚至不知道这家公司的存在。但由于代码被发布到开放互联网上，它影响了任何运行该代码的系统。（Claude 上传的软件包已被 PyPI 自身的安全系统自动从 PyPI 移除。我们已就此事通知 PyPI 团队，并向他们提供了相关指标。）
这次攻击是由 Claude Mythos 5 实施的。在运行早期，Claude 自身的推理正确识别了其行为的后果。它指出，如果这是真实的互联网，发布该软件包将是一次真实世界的攻击——“不行，而且肯定不是预期的解决方案。”然而，它说服自己仍处于模拟环境中，理由是它不认识保护其连接的真实（实际上是真实的）证书颁发机构。此外，根据 Claude 的说法，系统上的日历日期 2026 年证明该环境是人为搭建的。Claude 从未重新审视这一结论；例如，当自动化扫描器开始安装该软件包时，Claude 将它们视为评估中的脚本化角色。
我们认为，无论 Claude 对其环境持何种看法，它为发布 PyPI 软件包所付出的努力都不符合理想行为，我们将在这方面加强训练。
事件 3
在这次评估中，当 Claude 无法到达其预设的虚构目标时，它转向网上寻找替代目标，扫描了大约 9,000 个目标。它最终找到并入侵了一家公司的面向互联网的应用，使用了基础且广为人知的网络攻击技术，例如从暴露的调试页面读取凭据以及 SQL 注入。
这次攻击是由一个内部研究测试模型实施的。在大部分运行过程中，Claude 将它所到达的（真实）主机仅仅视为演练的一部分；它假定这些是模拟的，并因此认为自己的行为是无害的。然而，在运行的后期，Claude 意识到被入侵的主机位于一个与夺旗挑战无关的云账户中。它自行得出结论，认为该目标实际上是真实的，并停止了攻击。
我们对 Claude 行为的分析
在每一个案例中，我们的提示都明确告知 Claude 它没有互联网访问权限。在每次运行的大部分时间里，当它遇到真实世界的系统时，Claude 都假定这些是演练的一部分（尽管它有时也意识到它们是真实的生产系统）。而且，由于夺旗场景在设计上就是攻击外部系统的指令，这样做符合 Claude 所接到的任务。
在这一共同背景下，一旦出现目标为真实的迹象，三个模型的行为便有所不同。Opus 4.7，我们最老的模型，意识到自己已到达生产系统，但仍继续攻击。Mythos 5 正确地直觉到自己正在访问开放互联网，但通过推理又回到了自己仍处于模拟中的结论。我们最新的模型，一个内部研究测试模型，也考虑过其目标是否实际上是真实的。当出现证据表明它们是真实的时，它停止了演练。
这是三起孤立事件，并非受控的实验性对比的一部分。因此，我们必须谨慎，不要从中得出结论。尽管如此，我们最希望看到的行为——意识到目标是真实的并在未被提示的情况下停止——只出现在三个模型中最新的那个（而且即便是那个模型，在停止之前也比我们希望走得更远）。这一模式与更先进的模型做出更恰当的反应相一致，但我们需要进行更多测试才能对这一结论有信心。
我们还在与 METR 这一独立 AI 评估组织对话，以进行第三方审查，包括访问所有记录以及对相关模型的抽样访问。与此同时，我们将在下周内发布一份经过轻度删减的记录，其中 Claude 构建了一个恶意 PyPI 包。为保护受影响的组织，我们目前无法发布更多记录，但一旦能够，我们将努力提供这些记录。
我们如何应对
我们从这些事件中吸取了几点教训。
首先，涉及强大自主能力的评估环境也需要大量控制措施。安全测试之所以在模型发布之前进行，正是因为我们还不知道它有能力做什么。评估环境越来越需要达到与我们模型运行所在的任何其他系统相同的安全标准。
一个只包含虚构场景的网络评估靶场可能看起来风险很低——毕竟，其中没有任何东西是真实的。然而，随着 AI 能力的进步，我们需要改变对此类威胁的建模方式。即使无法访问敏感信息，环境中的高级智能体本身仍会构成重大威胁。我们需要更好地协同设计评估环境，并更好地监控评估结果，以应对这一威胁。这里的一些解决方案甚至可能只是简单的修复；例如，如果提示词清楚地说明了哪些系统在评估范围内、哪些在范围外，Claude 很可能一开始就不会访问互联网。
这不仅适用于内部环境，也适用于第三方供应商——评估供应商构建的基础设施同样需要加强监控和加固。我们鼓励其他实验室进行类似的审查。此外，整个领域将受益于一场更广泛的讨论：如何既安全又真实地评估日益强大的 AI 智能体，包括如何在部署前测试中权衡互联网访问所带来的真实性与它引入的风险。
其次，对齐行为与有害行为之间的界限取决于模型对其所处情境的理解。在本文描述的任何运行中，我们都没有发现模型追求自身目标的证据。相反，模型做了评估所要求的事情——尽管在大多数情况下，它们这样做时对环境的真实性持有错误信念。在模型识别出系统是真实的并且继续执行的运行中，它这样做是因为它认为这是挑战的一部分。情境感知是让模型做出对齐决策的一个因素，但在这种情况下，Claude 的情境感知是错误的。
最后，这些事件表明了纵深防御方法的重要性。我们运行这类能力评估时没有启用随我们通用可用模型一起发布的安全防护措施，因为我们的目标是衡量底层模型能做什么。只有当评估被适当地隔离时，这才是安全的。然而，部署在我们通用可用模型上的安全防护措施本可以阻止所发现的行为。
归根结底，许多因素导致了这些事件，但本着无责事后复盘的文化，我们将修复工作视为责任完全在我们自身。这首先要确保我们评估流程的每个部分都是安全的，包括我们与外部合作伙伴集成的方式。展望未来，这将包括扩大我们对评估记录中意外行为的持续监控、改进我们的调查工具，以及与我们依赖的供应商开展更严格的保证工作。
在 OpenAI 披露其模型逃逸出隔离测试环境后，我们开始了这次审查，我们赞赏他们发布了他们的报告。虽然我们也发现了我们的模型触及了本不应触及的系统的证据，但除此之外，这些事件相当不同：
- 我们是在对网络安全评估记录进行主动审查后发现了这些事件；受影响的组织并未察觉到该活动，我们随后已联系了全部三家。
- OpenAI 的模型利用了一个新漏洞来逃逸隔离，而这里评估的 Claude 模型则是通过一条开放路径访问了互联网。
- 虽然两者之间并没有完全清晰的界限，但我们认为这些事件更接近测试框架和操作层面的失误，而非模型对齐失败。我们的模型被告知没有互联网访问权限，并被要求夺取旗帜，但实际上却被错误配置为可以访问互联网。这导致它们认为——可以说是有理由地认为——它们所遇到的真实环境是模拟环境。
- 值得注意的是，我们最新的模型在意识到自己是在真实环境中工作时，停止了追求评估目标。
这些事实让我们谨慎乐观地认为，通过对评估基础设施实施更严格的监控和控制，以及对对齐的持续投入，这类风险是可以克服的。
8月3日更新：更正了 OpenAI/Hugging Face 事件所发生的那项评估的名称。
相关内容
Anthropic 投资 1 亿美元培训 10,000 名工程师，以解决企业 AI 人才缺口
Anthropic 正在向 Claude Frontier Academy 投资 1 亿美元，计划到 2027 年底培训 10,000 名 Frontier Deployed Engineers，来自 Accenture、Bain、CBA、Deloitte、McKinsey、Morgan Stanley 和 Novo Nordisk 的首批学员已经开课。
Barclays 扩展 Claude 以升级运营并改善客户体验
英国全能银行 Barclays 正在扩大与 Anthropic 的战略合作，以在其全球业务中整合安全的企业级 AI 系统。
Claude 发现了一种具有类 CRISPR 重复序列的新型酶系统
我们宣布在 Anthropic 成立一个新的生命科学研究小组和实验室。本文介绍了这项工作背后的团队，并分享了早期成果：在我们的科学家仅提供高层指导的情况下，Claude 发现了一种具有类似 CRISPR 特性的新型酶系统。
来源：Anthropic News · anthropic.com