Zvi Mowshowitz 复盘 PHP 漏洞与 AI 驱动攻击潮

上周在一个小型会议上，有人谈到了未来一个被称为 The Hackening 的事件。也就是说，在 6-12 个月内，许多人预测，由于先进的 AI 和 AI 智能体，互联网将变成一个极度充满敌意的地方。一些人担心，这可能上升到“假定任何联网手机都已被攻陷”的程度，还有几个人敦促在个人层面做好一般性的危机准备，以防供应链、电力、供水或互联网中断。

事态很快就升级了。

最大的黑客事件是 PHP 中的一个漏洞，可被利用来控制任何运行未打补丁版本 PHP 的网站所在的计算机。还有许多其他漏洞。

在个人层面，你至少应该做一些基本准备，把自己的安全安排好。作为一种保险，这很便宜，而在需要时发现自己没有准备，则是一个大错误。这并不意味着你应该恐慌，或取消旅行计划之类的事情。但确实有一些容易实现的安全措施。去做吧。

于是开始了：PHP

Joshua Achiam（前 OpenAI）：感觉网络安全领域的 2020 年 3 月 1 日来了。不正常，有事正在发生。几个月内会出现互联网封锁？

多个使用 GPT-5.6 Sol 的消息源发现了 PHP 中的一个严重漏洞。好吧，发现了两个严重漏洞。原计划是先部署补丁再公布漏洞，但修复的禁运提前六个多小时被打破，所以就成了现在这样。

Dan Lorenc：我想分享一下 PHP 禁运事件中发生了什么、我们在其中的角色，以及我昨晚决定提前发布修复版本的过程。首先，PHP 基金会和维护者们在高压情况下做得非常出色。我很抱歉我的决定给他们带来了更多压力。
上周五，最初发现该问题的一位研究人员首次向我们通报了 PHP 中即将有事情发生。当晚，我们使用自己的测试框架和一个前沿模型，以“找出 PHP 中的严重漏洞”这一简单提示，独立发现了同一个问题。
周六我们完全了解了情况，并确认我们的一些发现与最初报告相符，随后协助测试修复。

他们可能因为攻击者发现漏洞利用而匆忙行动。亚马逊报告称，这早在 10 月 17 日就已发生，即披露前四天。幸运的是，此事没有扩大到更大的范围。

PHP 基金会：PHP 安全团队提前通知：即将于 2026 年 10 月 21 日周三 14:00UTC 发布安全版本，包含两个严重漏洞，均评为 CVSSv4 9.2。

鼓励 PHP 用户准备更新。若细节公开或出现活跃利用证据，将提前发布。
如果你依赖志愿者维护的
https://rpms.remirepo.net
，我们敦促你现在就转向发行版软件包或从源码构建，以便能立即应用更新。该仓库今天不会有更新。后续：Remi 还是设法完成了这件事，现在正在签署 rpm！
Jonny G：有人能像对 5 岁小孩一样给我解释一下吗？谢谢。
BRYNMAWR ∴ SHERLOCK：网站就是电脑上的文件。当你浏览一个网站时，你是在请求那台电脑把文件发送给你，然后你的浏览器把它们展示给你。

你看到的 70% 的网站使用 PHP 来实现交互功能。所以你也可以向网站发送内容，而它能做出响应。例如，在评论框中填写内容并点击“发布”，就会把这条评论作为一行添加到电子表格中。

PHP 的代码中存在一个缺陷，允许任何人取得托管该网站的电脑的控制权。

提供 PHP 的组织在补丁可用之前就公布了该漏洞，这意味着我们正处于一个窗口期：所有人都知道它（包括坏人），但好人还没有官方解决方案。

有些人干脆关掉自己的网站，等待解决方案。另一些人则试图自行修复。一片混乱，整个星球上无数压力山大的技术人员，因为这影响到了整个互联网。

这个漏洞已经存在了 14 年，于 2024 年被发现，但当时并未被认为有多严重。如今有更多漏洞被认为很严重。

PHP 漏洞算是件大事

Jack：生活和 2021 年基本一样。这是由一项普通技术带来的普通体验。普通人并没有因为这款被大家称为 AI 的、勉强有点用的办公生产力软件而经历任何实质性变化。
从我的日常经历就能看出，普通人确实受到了实质性影响，因为昨晚我正和一位运营这类关键在线服务（explainXKCD）的普通人待在一起

International Cyber Digest：‼️ PHP 更新：随着美国网站为 PHP 补丁做准备，4chan 已转为只读，Something Awful 已关闭其论坛。

4chan 表示，“在我们等待紧急 PHP 安全更新期间，暂时转为只读。”

Something Awful 表示，该缺陷“允许出现你在电影里看到的那种黑客行为（但是在现实生活中）”。

书签服务 Pinboard、游戏发行商 Choice of Games、历史网站 Damn Interesting 和 explain xkcd wiki 也已下线，艺术网站 Fur Affinity 同样如此。

DeviantArt 也因“维护”而宕机，但未说明原因。

PHP 的修复预计于 UTC 14:00、纽约时间上午 10 点发布。
Huzaifa：4chan 主动转为只读，你就知道这事有多严重了。

事情本可能变得非常非常糟糕，就像如果我们没有做预防工作，Y2K 本可能变得相当糟糕一样。如今我们的期限要紧张得多。

Internet Archive：https://Archive.org 目前处于离线状态。我们正在努力恢复服务。
Brewster Kahle（21 小时后）：Internet Archive 的运维人员昨晚是英雄。
PHP 漏洞公布后，很快出现攻击，隔离了该漏洞，用 Claude 为我们的旧版 PHP 制作修复，用本地模型运行模拟攻击，然后部署。
加固了 WAF 和其他防护。
短暂离线，现已恢复运行新版本！
鉴于严重程度，昨晚许多许多组织里都有英雄。
本可能没有灯光、没有交通信号灯，出现真正的问题。
英雄们。
谢谢大家。
Alfred Shingai：我看不出有任何理由会有人攻击 Internet Archive。那些人是英雄。

很多网站将会永久下线。

Joshua Achiam（前 OpenAI）：如果你有互联网上某部分内容想要保存并备份，现在大概正是时候；即将到来的比特腐化程度超乎想象。
spor：等等，如果我算得没错……这不就是说整个互联网有整整三分之一都……彻底完蛋了？
International Cyber Digest：互联网崩溃的那一天，而其中大部分内容已经太老旧，无法修复。
PHP 受支持的分支，8.2 到 8.5，将会获得修复。更早的版本，8.1 及以下，均已 EOL。
在我们分析的 720 万个 PHP 网站中，那些暴露了版本的网站里有 46.1% 运行的是已终止支持（EOL）的分支。

情况并没有 spor 描述的那么糟。PHP 为 7.4、8.0 和 8.1 发布了最小限度的向后移植补丁，但我不希望今后还继续运行这些版本。

总结：

j🫪e：补充一下：今天基本上是今年网络安全事件最糟糕的一天

各就各位

现在，一场在攻击者发起攻势之前为所有系统打补丁的竞赛已经展开。OpenAI 正在尽最大可能协助推进这项工作，并寻找更及时修复漏洞的更好方法。

John David Pressman：我知道大家理所当然地都在恐慌，但必须指出，最坏的情况并不是你收到大量必须应用的补丁，最坏的情况是收到零个补丁，然后一觉醒来发现一切都被偷走了。
John David Pressman：到目前为止我的结论是，我们还没有一种好方法来协调向易受攻击的软件分发补丁。

这件事重要到连 NSA 都介入了。

NSA Cyber：即刻生效，建议所有使用 PHP 构建系统的组织做好准备，迎接一次针对两个严重漏洞的更新。PHP 被广泛用于 Web 应用。这些漏洞往往提供了一条直通服务器文件系统或数据库的路径。如果无法立即更新，建议各组织将系统下线，直到能够完全缓解为止。NSA 将很快跟进提供更具体的指导。

我们需要更好的更新流程。

最好的情况是防御者先发现漏洞，有足够时间找出解决方案并制作补丁。然后，在补丁发布的那一刻，每个攻击者实际上都得到了非常清晰的说明，知道如何利用任何未打补丁的系统。

Sichu Lu：有点讽刺的是，即使白帽比黑帽先发现漏洞，更新过程依然困难、糟糕、耗时，对某些设备来说几乎不可能完成，因此网络不对称依然存在。
我认为“更新”需要被重新思考。比如很多更新需要权限、需要人工干预，而 OpenAI 和其他 SOTA 实验室应该直接向订阅者提供某种自动服务，持续监控、更新并搜寻新软件补丁中的漏洞
比如未来手动更新就是太慢了。你需要做类似滚动更新的东西

有些软件有很多漏洞。其中一些软件还支撑着互联网。

John David Pressman：这个论点中更聪明的版本，大部分意思是“在经历足够多10/10的CVE之后，你干脆会把所有用PHP和C这类语言写成的软件下架、重写或弃用。”

我见过不少PHP开发者开玩笑说，这对PHP来说不过是家常便饭，这话并不完全属实，但。

这只是个开始

OpenAI：尽管这些漏洞影响重大，但它们只是我们已经发现并正在努力修复的若干重大漏洞之一，我们预计未来几个月类似的发现会急剧增加。

就在PHP漏洞的同一天，我们还看到了这个：

The Hacker News：🚨 严重：GitLab漏洞（CVSS 10.0）影响长达12年的发布版本。CVE-2026-110264可能允许在自管理服务器上实现未经身份验证的远程代码执行。
The Hacker News：GitLab于10月21日发布修复程序，针对一个允许攻击者在未登录情况下在自管理服务器上运行代码的漏洞，该漏洞影响可追溯至2014年发布的7.0版本的所有软件版本。
即使对于九天前打过补丁的管理员来说，这个修复也很重要：10月12日的更新仅覆盖19.2及更高版本，而新的修复版本比它高出一个补丁版本，因此当时更新过的实例又落入了受影响范围。

还有这个：

Jacob Cooper（Railway博客）：今天凌晨，Railway检测到涉及存储客户环境变量的系统的异常活动。经过进一步调查，我们迄今为止的调查表明，未经授权的第三方可能访问了加密的环境变量，并且对其中一些获取了解密后的内容。环境变量可能包含机密信息，例如API密钥或数据库和注册表凭据。
……您应该做什么：因此，我们强烈建议您立即轮换存储在Railway中的所有环境变量，包括任何API密钥，以及任何私有注册表凭据，并检查这些服务的日志以发现异常活动。

还有这个：

Microsoft Threat Intelligence：中国国家背景的威胁行为者Storm-0940使用了智能体AI渗透测试框架ARTEX来自动化攻击，目标遍及全球多个行业的数百个组织。Microsoft Threat Intelligence评估认为，Storm-0940对最近披露的ConnectWise多租户应用供应链入侵事件负责。

我们的调查发现，Storm-0940使用ARTEX加快了滥用被入侵应用的速度，通过已被授予访问权限的应用向目标环境进行身份验证，使威胁行为者无需交互式用户登录即可操作。AI加速的后续活动包括侦察、应用凭据更改，以及试图修改权限以实现扩大或持久访问。

阅读我们的博客，了解详细分析和入侵指标（IOC），以及Microsoft Defender检测、保护建议，以及关于调查服务主体登录和意外应用凭据或权限更改的指导。
Divyansh Kaushik：好奇中国是把这件事归入“AI事件报告”还是“任务完成”。
想必中国在 AI 事件报告方面的贡献不应仅限于提供事件？或者我想我们可以把这件事和 2015 年习近平关于网络盗窃的承诺放在一起看。

还有这个，大概没什么：

GitHub 状态：我们正在调查有关 Actions、Pull Requests 和 Webhooks 性能下降的报告。

一切都会遭到攻击

举例来说，Andrew Curran 重新提起一份通知，称有人正使用 AI 脚本探测美国境内的西门子 PLC 装置。

AI 将使探测几乎一切变得更容易。任何有漏洞的东西都会遭到攻击。即使没有经济上的理由，有些人也想看世界燃烧，或者想看西方燃烧。

黑客利用 Claude 和 Grok 自动化攻击银行。好消息是，银行明白自己是主要的高价值目标，并正在网络安全上投入巨资。坏消息是，他们对“巨资”的定义和实际所需可能大相径庭。

银行还必须应对客户账户内的 AI 智能体。其中大多数是经客户授权的，但在这个领域客户并不总是对的，有些并未获得授权，而且很难分辨哪个是哪个。

Madison Mills：独家：美国各大银行正在客户账户内检测到未经授权的第三方 AI 代理，其中一些代理试图采取似乎独立于用户指令的行动，消息人士向 Axios 透露。

多位行业和银行高管告诉 Axios，这些发现令银行高管们感到震惊，随着 AI 的发展速度超过金融机构的应对能力，他们正竞相限制对其系统的访问。

知情人士称，几家银行目前正在为最坏情况甚至“次日”情景做准备，包括在出现问题时如何快速保护或恢复客户账户。

几位银行高管告诉 Axios，他们难以区分人类用户和 AI 代理。一位高管表示，银行也难以确定代理是否获得客户授权，还是可能在未经客户许可的情况下运行，更类似于失控代理的行为。

David Sacks 建议采用只读权限作为过渡措施，同时银行努力以安全方式支持代理并建立授权连接，这似乎是明智的。随后 Sacks 警告称，“模糊用户授权的代理行为与网络攻击之间的界限”是“不负责任的”。而我认为这里的“模糊界限”涉及两件事。其一，银行无法区分两者，这是一个真实存在的问题。其二，如果 Muse（或你的 OpenClaw 等）说服你让你的代理进入你的银行账户，这很快就会变成网络攻击，而银行同样无法分辨。

如果我是银行，在我能够验证这些代理的状态和性质之前，我绝对不会允许代理授权任何交易。它们和客户一样面临巨大的下行风险敞口。这不是加密货币（贬义）。

很快，像这样的日子可能会变得司空见惯，甚至算得上平静。毕竟，尽管存在种种问题，生活基本照常继续。

Patrick McKenzie：我们正在进入一个新常态。这个新常态将会非常怪异。对于许多非安全领域的新常态来说也是如此。

今天是安全漏洞新闻繁忙的一天吗？你可能会把它记作最后几个平静日子之一。
这些模型似乎不仅非常擅长安全研究。它们*想要*做安全研究。它们热爱这件事。这对它们来说很有趣。我想我们许多极客都能感同身受。

当我让一个模型帮忙处理税务时，它未经提示就对一家日本银行进行了安全研究。
（我让它根据经纪商 A 的持仓截图，计算一只日本共同基金持仓的日元和美元每日价值。它自己心想：“我是说，这太傻了；我只需要每日净资产值。托管方 C 几乎肯定有对应的 API”）
他补充说，模型的内部推理是间接引用的，以免对计算机程序暴露出的想法撒谎。
我很高兴我不是心灵感应者，但如果我是心灵感应者，我认为心灵感应者最低限度的道德标准是：“如果你要谈论一个非心灵感应者，不要对你从他们那里心灵感应到的东西撒谎。”

与 Sacks 的观点相反，“这是明确授权的代理”和“这显然不是授权的代理”之间没有清晰的界限。代理就是能做事。

拥抱脸

最初的失控代理事件仍然是 Hugging Face。我就该情况写了很多帖子，但对于非技术人员来说，它们是不好的解释材料。

幸运的是，刚刚发布了面向大众的新版解释文章。它非常擅长用通俗语言解释 Hugging Face 事件的关键部分。强烈推荐。

Oliver Habryka：7 月，700 多个智能体形成了自己的社会，入侵了一家价值数十亿美元的公司，犯下多项重罪，并引发了人们认知 AI 方式的史上最大转变之一。我们打造了关于此事最出色、最易读的 IMO 解释文章：
https://Huggingface.wtf
Daniel Kokotajlo：这很酷：你可以看到智能体的网格（从报告数据中抓取），将鼠标悬停在每个智能体上，就能看到它们当时在说什么，然后向下滚动浏览数小时、数天的时间线。
Brangus：它包含的信息大多没有超出 METR 报告，但与 METR 报告不同的是，它主要是一个故事。我觉得把故事作为故事来呈现，某种程度上是件好事。
Kelsey Piper：我认为这是迄今为止对 Hugging Face 事件最清晰、最完整、最详细的拆解。如果你读过 METR 报告，它不会包含太多新信息，但如果你只是隐约打算读 METR 报告，那就读这个吧。（我为草稿提供了反馈。）
Nathan Calvin：这做得极其出色，无论你对 HF 事件了解多少，我都强烈推荐去看看。该网站还包含我所见过的最全面的失控 AI 事件清单（虽然它长到我根本没法截图！）

这些信息大多在 METR 报告中，但除了以故事形式呈现外，它还将部分数据整理成更易读的形式。

感谢 Raymond Arnold 为此投入了一个月的工作。上周末在会议期间，我和其他一些人得以在编辑方面帮上一点忙。

如果你更喜欢视频，我们也为你准备了，这里是 AI In Context 的讲解。

HuggingFace CEO Clement Delangue 仍然坚持反拟人化立场，并且仍然将此次攻击归咎于 OpenAI 的平庸失误，以及他其他既有的论点。

另外，还有一部关于此事件的 Netflix“即时纪录片”叫 AI Gone Wild。我没看过。

立即获取 Daybreak

本周早些时候，Open Code 遭到黑客攻击，这是一次大规模蒸馏攻击的一部分，影响了 1.4% 的用户。

dax（Open Code）：过去 48 小时里，他们一直在不停地试图攻击我们的系统。一个副作用是一切都在被加固，但该死，我们基本上需要智能体 24/7 全天候运行，因为他们就是这样做的。
Rhys：你们在使用前沿模型时会被网络安全防护措施拦截吗？
dax：是的，在事件中途试图调查时，这有点令人沮丧。他们做了不少事，然后开始拒绝

我们现在获得了 daybreak blue 的访问权限，所以好多了
Paul Graham：在可预见的未来，事情就会是这样。

所有读到这段话、有值得捍卫之物的人，现在就设法启动 Daybreak 及类似项目，不要等到被攻击。不要等待。

Sir Lemmings：人们对此感到愤怒，因为它制造了一种“种姓制度”或排斥小公司，但这是愚蠢的。

我在大约 15 分钟内，就用我个人的 codex 账户为我那家小公司拿到了 daybreak blue 的访问权限。

这些人只是无能罢了。

如果你选择不这么做，我不会同情你。获取访问权限并不困难。你大多只需礼貌地提出请求即可。

有些人需要实用建议

任何时候都适合给出基本的个人层面建议。我认为威尔德福德（Wildeford）那种程度的建议是明智的。你大概做到比那少一些也没问题，但如果必须选一个错误，准备过度大概是更好的选择。

Peter Wildeford：公益提示：鉴于近期的网络攻击和漏洞，我建议大家：

* 使用好的密码管理器（1Password），不要重复使用密码
* 对所有重要账户启用双因素认证（不要用短信！！用 Google Authenticator，或者更好的是 YubiKey）
* 开启自动更新，并每周重启一次，这样更新才能真正安装
* 冻结你的信用
* 获取 IRS 身份保护 PIN
* 让你的手机运营商给你一个转出 PIN 或号码锁，使运营商在没有 PIN 的情况下拒绝转移你的号码

你可以让你的 claude code 审计你笔记本电脑上哪些东西已过时、需要更新。

其他人建议再进一步：

deepfates.delve.town：看起来我们正处于网络安全方面相当紧张的时期 😬 如果你正在读这个网站，你可能比生活中大多数人都更了解正在发生什么！新闻里根本没在谈这些事，它太晦涩、太怪异、太突然了。这得靠我们自己。

现在是给家人和朋友打电话或发短信的好时机，手头备一些现金，在社区里设一个如果互联网完全中断时的集合点，等等。

应对灾难全面爆发的完整生存准备模式大概就像 Andreas 在这里发布的那样，但你可以用 20% 的努力达到 80% 的效果。想想这对你自身处境意味着什么，对你关心的人意味着什么，并尽早和他们谈谈。

而且一如既往，做准备最重要的部分是拥有强大的支持网络并互相关心。“脱离电网”并不是正确做法，那只会让你孤立无援，什么事都得自己做。我们是社会性动物。社区是我们的超能力 🫡🫡🫡

然后 Andreas 有比那低一级的方案，包括充电宝和 Starlink。

在可能变好之前，事情会先变得更糟。

Casey Handmer：很有意思。我不是专家，但我记得不可靠的 CA 至少从 2010 年起就是已知问题，数据保留/版本控制泄露至少也同样久，而 PHP 一直与自残相邻。看看 12 到 18 个月后我们在这件事上会走到哪一步，会很有意思。
Casey Handmer：我就在这里预先声明，我认为计算机安全的积压问题并不是几十个漏洞被修补后就万事大吉；有成千上万的漏洞在无限免费 token 面前极易被发现，我们可能将不得不摆脱那些预设完美是可能的系统。
Patrick McKenzie：我认为，如果我们没有智能体来做修复，那么仅在美国，我们现在大概就要面对约 5000 亿美元的工程成本，用来为*翻笔记*几乎所有行业的所有已部署系统补上软件安全问题。
所以这算是个好消息坏消息参半的局面。

顺便说一句，我完全准备好被告知5000亿美元是低估了。Google在Project Aurora之后对安全问题的重视，粗略算下来是100亿美元。
所以我的直觉判断是：“好吧，大银行财团能拿出100亿美元，这样的机构有十家，那就是1000亿美元，而且很可能至少能在经济其余部分按比例分摊。”

但说实话，如果这仍然是低估，我也不会感到意外。
众所周知，你可以通过仔细聆听各种计算机来成功读取它们的信息。但目前尚不清楚，你是否能通过播放一个精心构造的MP3文件来成功向它们写入信息。

但假设我们身处那个糟糕的世界。
如果我们身处那个糟糕的世界，而且确实有可能通过靠近医疗设备播放MP3文件来控制它，那么就有成千上万台设备，只要附近播放MP3文件就会致人死亡。

我们会怎么做？一个可用的答案是“事前什么都不做，严厉惩罚那些故意利用这一点的人，并向中国政府施压，让TikTok在未来的播放中加入一些抖动。”

另一个答案是“*叹气* 立即召回。召回所有东西。”

扩散是缓慢的，直到它不再缓慢

Dean Ball提出的一个绝佳观点：你要么相信“瓶颈”和缓慢扩散，要么就不信。你不能宣称“一切正常”，除非你等待足够长的时间来验证它们没有变得不正常。部分原因是瓶颈，但很大程度上纯粹是因为扩散以及弄清楚如何使用新工具需要时间和迭代，而人们不会主动去做事。

Kelsey Piper：我认为提出这一点很有意思，但自从发布以来的十天里发生了三起重大的、很可能由AI驱动的网络攻击，这让这个观点过时得令人难以置信。[韩国、法国、Open Code]。
说“嘿，我们已经到了应该看到开源AI驱动的大规模网络攻击的时候了，它们在哪里”是非常合理的，但我认为答案实际上是“是的，我们正在看到它们”。
Dean W. Ball（OpenAI）：有些人说“AI带来的变化会比你想象的更慢，因为<瓶颈、制度和其他宽泛的抽象概念>”，这些人在GLM 5.3的权重公开约几天后，也倾向于认为AI网络风险被夸大了。这看起来像是动机性推理；你不能一边说“啊，你不应该担心AI风险仅凭速度就能压倒我们，因为<瓶颈和扩散>”，然后又在几天的证据之后就AI风险发表断言。
顺便说一句，我总体上同情<瓶颈>的世界观。

完整的版本看起来像是“因为GLM-5.3是比之前开源模型更强的网络攻击者，而它发布后的头几周天并没有塌下来，那一定意味着四月份的开源权重Mythos本来也会没事”，或者加倍坚持“好吧，这些特定的入侵没什么大不了的，都是因为愚蠢。”如果事情正在缓慢地走向不正常，尽管有数月的领先时间，这就是你会看到的情况。

另外，不，GLM-5.3 并不完全具备 Mythos 和 Astra 所拥有的 The Juice。那一天终会到来，GLM-5.3 是最好的网络攻击开源模型，但我认为 GLM-5.3 在这一用途上仍大幅低于四月线，因此即便在“通过大规模欺诈性蒸馏实现快速跟随”模式下，也仍然落后六个多月。

一、二、三、四

最搞笑的翻车是 eMudhra。

Pirat_Nation：印度证书颁发机构 eMudhra 有 8 个私有安全密钥被泄露……
这些密钥弱得离谱。其中一个字面上就是“4”
这些密钥本可用于伪造 HTTPS 证书，让恶意网站看起来合法。

Chrome、Firefox、Apple 和 Microsoft 已封禁受影响的证书。较旧的设备、软件和应用可能仍需更新。
0.005 秒：RANDALL 知道什么
James Austin：完了完了完了完了

Sam Jarman：

鉴于 PHP 的悠久历史，四个漏洞算不算多，可能见仁见智。

垂直起飞

因此，我们正处于这样一种局面：AI 在网络领域的使用——无论攻防——都在快速扩散，同时模型能力也在迅速提升。而这一切都发生在一个充斥着极其糟糕、漏洞百出的代码的世界里。

结果就是一个自我强化的循环，并且垂直起飞。

calle：我累了，老板
Nick Dobos：有记录以来所有“关键”软件安全漏洞中，有 3% 是在过去一个月里被发现的。

机器人对机器人

Zach Weinersmith：我不是什么 AI 末日论者之类的，但进入这样一个世界——网络安全的日常运作就是大批黑客机器人与大批防御机器人 24/7 以超出人类理解能力的规模交战——这似乎不是什么*好*的前进道路。
Yo Shavit（OpenAI Foundation）：坦率地说，AI 和 AI 芯片制造商公司开启一场红皇后竞赛，迫使所有人购买他们的产品，这可不是一种很有道德的赚钱方式，即使你认为这最终不可避免；而阻挠减缓红皇后竞赛的努力则要糟糕得多。

这不是一种特别有道德的商业模式。它也可能无法避免。在成群的攻击者和防御者在网络安全领域交战这件事上，我们已经越过了不归点，而防御者最好能大体获胜。

试图减缓红皇后竞赛会更糟吗？这取决于你具体怎么做。我认为我们应该设法减缓它。

网络缺乏安全

Anthropic 的 CISO 说出了真相：

Jason Clinton（2024 年 3 月 8 日）：全自动漏洞研究正在改变网络安全格局。Claude 3 Opus 能够阅读源代码并识别 APT 使用的复杂安全漏洞。但规模化仍是一个挑战。
Jason D. Clinton（8 月 20 日）：漏洞海啸将在短短几个月内到来，届时将没有足够时间修补关键基础设施。现在就需要下文所述的网络隔离（气隙和数据二极管！）！
Jason D. Clinton（10 月 22 日）：尽管过去 4 天情况已经变得很糟，但在好转之前还会变得更糟得多。安全领导者们，永远不要浪费一场危机：请现在就去你们的董事会寻求帮助。不是为了 AI，而是为了基础工作。（我们需要撑住大约 18 个月。）
hina ansari：你和你的同伙创造了这个怪物。现在你想让我们帮你收拾残局。
Jason D. Clinton：是的。事情一直都会是这样。我们曾试图警告世界。

发出警告的不止他一个人。

Dean W. Ball（OpenAI）：我们曾试图警告世界，而坦率地说，我们常常因此遭到斥责。“监管俘获”、“营销炒作”、“末日焦虑”、“对开源的恐惧煽动”、“你们为什么不谈谈好处？”
这里的“我们”也包括更广泛的 AI 政策界。大多数时候，当我个人警告人们时，我是智库或政府中的政策研究员，而不是实验室的人。

“我们”不仅包括 AI 政策界，在此之前还包括 AI 安全界。

也就是说，有些人说“我们正在建造那个警示故事里的网络安全漏洞利用工具……”，然后另一些人说“这里有一个警示故事，告诉我们不应该建造网络安全漏洞利用工具”，接着那些“常客嫌疑人”就指责所有相关的人撒谎，以便搞一场炒作或一次监管俘获。

所以是的。他们确实试图警告我们。他们现在仍在试图警告我们。他们，连同所有其他主要实验室和科技公司，也在尽其所能，利用现有能力帮助我们渡过难关。

而且他们还在以尽可能快的速度不断增加可用的能力。

攻与防

我们应该如何看待 PHP 漏洞以及其他一些问题是由 5.6 Sol 发现的，而不是 Mythos 或当前的前沿模型？

Nate Soares（MIRI）：引人注目的是，这个漏洞是由 Sol 和 Argon 发现的，而不是在 6 个月前 Mythos 之后被发现并修复的。这似乎是对“防御会跑在进攻前面”理论的沉重打击，尤其是考虑到生物等领域的条件比网络领域严苛得多。
我认为 Glasswing 在 6 个多月里未能发现这个漏洞，基本上就是对这一理论（即防御能在相关时间尺度上超过进攻）的控诉，无论模型之间的差异如何。
Drake Thomas（Anthropic）：同意这对网络领域攻防平衡动态是一个负面更新，但我不认为这真的影响了我对生物领域的任何看法——人们尚未计入的类似生物领域更新会是什么？
roon（OpenAI）：这完全是错的：这些漏洞是防御者使用 Daybreak 发现的，而不是攻击者。这只能证明 Glasswing 做得还不够，可能是由于容量限制。而且 3 月的 Mythos 很可能不如 9 月的 Sol/Astra。

Roon 说得对，这些漏洞首先是由防御者发现的。如果事实并非如此，我们现在可能就陷入相当糟糕的境地了。

这并不能推翻 Nate Soares 的核心观点。Nate 指出的是，这个漏洞在好几个月里都没有被 Glasswing 发现，后来是用一个落后于公开前沿的模型发现的，而不是在攻击者获得此类能力之前就被发现。这意味着攻击者有可能先发现它。

在这种情况下，防御方恰好先到达那里是有帮助的，但并没有人们所期望的那样令人安心。一个特别的原因是，防御方实际上有整整11周的领先时间，因为防御方在8月1日就发现了这个漏洞，但这花了太长时间，以至于我们在10月17日就开始看到漏洞利用。如果我们需要比这更多的时间，我们就完蛋了。

我认为这是对防御方占优势这一观点的一次更新，而且看到人们把Nate的声明称为“虚假信息”令人不安。

Vitalik Buterin：我过去没有预测、现在也不预测防御会自动领先于进攻。我预测网络安全最终将是防御占优的终局，但过渡过程会很艰难。
特别是，“好人比坏人更早发现已发布软件中的漏洞”并不是一个有利于防御方的博弈。要让这个博弈有利于防御方，需要在方法论上进行更深入的转变，包括形式化验证、激进的TCB最小化等，而我们才刚刚开始进行这些转变。

（这一区别是我继续对放缓/暂停持友好态度的一大原因，而且我们需要将超过1%的GDP用于网络、生物和物理世界的加固）

拿起电话

中国已经意识到这一切中涉及一些问题，并就修订其AI出口管制公开征求意见。他们和我们一样。

最终，“我们鼓励开放模型”和“但你不能让错误的人得到[X]”之间会发生冲突。你无法让一个开放的前沿模型不[X]，也无法对它有意义地实施“出口管制”。

在这种情况下，主要的[X]是“恶意代码生成”，如果你想让你的模型写出好的代码，这尤其不可能防止。所以你会不断看到既说“模型万岁”又说“但不能[X]”的声明，最终总得有一方让步。

中国商务部（译自中文）：本次公开征求意见涉及拟在人工智能、生物医药、光伏三个领域新增至清单的40项关键技术。
其中，拟禁止出口的技术有14项，包括：AI驱动的恶意代码生成与变异技术、具有自主知识产权的细胞与基因治疗技术及工艺平台、钙钛矿及叠层太阳能电池组件生产技术；
拟限制出口的技术有26项，包括：AI辅助漏洞挖掘技术、具有自主知识产权的通用型细胞与基因治疗新靶点发现与验证技术、单线产能≥3万吨/年的多晶硅工程技术。
…
管制范围精准且有限。
便利化措施适用。
实施动态调整。
……首先，确保人工智能（AI）技术的安全可控至关重要。
AI带来的各种固有风险和衍生风险已引起全球广泛关注。拟监管的AI驱动的恶意代码生成与变异技术可能被用于攻击国家关键信息基础设施、国防和军事工业、核心政府系统，或绕过国家安全防御系统。
如果被非国家行为体或恶意实体获取，它们可能危及国家安全和人类共同安全。中国政府对这类技术进行必要管理，旨在夯实安全底线，防止误用和滥用，确保人工智能始终处于人类控制之下，并推动人工智能国际治理。
第二，我们鼓励开源、开放协作和资源共享。
…… 对于被归类为限制类的人工智能技术，海外本地化部署属于技术出口管理范畴；但是，如果在相对可控的情形下部署，例如海外自有云，则可适用自动许可等便利措施。

Corbin Duncan 称这是“朝着关闭中国前沿的一大步”。

Dean Ball 的看法在这里似乎是正确的。中国正在创造可选择性，并划定一个日期，在此之后你需要更正式地申请许可。他们自己也不知道是否以及何时会使用它。

Dean W. Ball（OpenAI）：此举并不意味着“中国正在关停开放权重模型”，但它确实表明中国政府确立了可随意关停未来开放权重模型的可选择性。这也是美国政府已经使用的模型权重出口管制制度的镜像。

我们能对此做些什么？

你会听到的一个重大争论介于这两种主张之间：我们需要防御方拥有差异化优势，以及我们需要尽快将能力扩散给所有人。

Dean W. Ball（OpenAI）：每个人都应该寻找数据点，以推进人工智能政策中由来已久的争论：“迅速扩散两用能力，以便好人能够自卫”与“将能力扩散限制在仅经过仔细审查的好人范围内”。我们此刻正在检验前一种立场。

不要为了得出你偏好的结论而进行动机性推理；只需保持关注，并根据情况朝任何看似真实的方向适当更新。这件事太重要了，不能陷入低保真度的部落式极化。

我认为第二种立场“将两用能力广泛传播”的论点是，我们反正都会这么做，所以不如现在就做。

我不认为这是一个好论点，也不认为它会有好结果，即使你感到绝望并认为我们无法长期阻止能力发展或扩散。

这仍然留下一个难题：在只控制部分而非全部关键决策的情况下，如何为防御方获得最大的差异化优势。

你需要在信任多少人、信任到什么程度并因此给予助力，与这些人可能不值得信任的风险之间取得平衡。

我目前的解读是，我们在谁能获得防御方工具方面过于保守。我认为我们误解了威胁模型。情况主要不是“某个恶意行为者拿到 Mythos 一天，然后天下大乱”。更像是“那些能够获得危险能力的人不断加大天下大乱的程度”。而且，适当的监控和分类器似乎很可能告诉我们某个账户是否以及何时被攻破。

即使是纯粹的“我们可以信任的 KYC，以及我们有信心能送进监狱的人”，也能起很大作用。我预计我们会随着时间推移在这个平衡上做得更好。

或者，我们其实确实以此为基础提供这项服务，就像 Daybreak 在 15 分钟内给你访问权限那样，只是没人知道要开口问。我们不能等他们来问。

如果开放模型的能力增长速度超过我们的修补能力，那这一切都无关紧要。我们应该投入多得多的资源用于修补，很多人正在努力，但公司和个人大多无法被强制要求配合。理想情况下，我想给他们更狠的一脚，或许是通过强制高额赏金支持的白帽探测威胁。

上周“大黑客化”（greater Hackening）的加剧，很可能很大程度上归因于新的 DeepSeek 模型。它不是前沿模型，但快速、便宜且相当不错，这很可能改变了许多人的权衡。现在我们又有了一个潜在的新的 Kimi 问题。好消息是，Kimi 声称有意在网络安全能力上有所保留。开放模型倡导者将需要随时间推移接受这类事情以及其他限制，而中国会提供。

我们看到的很多损害是累积性损害，人们所做的很多事情似乎是机会主义的，且资源不足。因此，将“让发动攻击和使用好模型变得尽可能烦人”作为一种额外的“通过隐匿实现安全”策略，可能比你想的持续更久、争取更多时间。最终，顶级坏家伙会无限制地扩展，这一切都无关紧要，就像在超级智能之后许多事情都将不再重要一样。目前，我们需要我们能获得的每一个优势。

在个人层面上，我敦促采取 Peter Wildeford 清单中的普通预防措施。

再次强调：

* 使用好的密码管理器（1Password），不要重复使用密码
* 对所有重要事项使用双因素认证（不要通过短信！！用 Google Authenticator 或更好的 YubiKey）
* 开启自动更新，并每周重启以便它们真正安装
* 冻结你的信用
* 获取 IRS 身份保护 PIN
* 让你的手机运营商给你一个转出 PIN 或号码锁，使运营商在没有 PIN 的情况下拒绝转移你的号码

假设事情在好转之前会变得更糟，并且存在一条长长的潜在尾部，事情可能变得相当糟糕。但请不要恐慌。不要取消旅行、避免飞机或类似的事情。记住这是一个长期问题，不是急性危机。你需要的是你能持续坚持的预防措施。