剑桥大学发布 RSI 智能爆炸论文,22 位专家联署呼吁监管介入
剑桥大学 AI 科学与政策项目 9 月 28 日发布论文,22 位署名者包括 Geoffrey Hinton、Yoshua Bengio、Andrew Barto 三位图灵奖得主,以及 OpenAI 首席科学家 Jakub Pachocki 与 Anthropic 联合创始人 Jack Clark,警告 AI 研发全面走向 RSI 自动化可能引发智能爆炸。
剑桥大学 AI 科学与政策项目 9 月 28 日发布论文,22 位署名者包括 Geoffrey Hinton、Yoshua Bengio、Andrew Barto 三位图灵奖得主,以及 OpenAI 首席科学家 Jakub Pachocki 与 Anthropic 联合创始人 Jack Clark,警告 AI 研发全面走向 RSI 自动化可能引发智能爆炸。
Hinton、Bengio等22位学者在剑桥大学CASP平台发布15页报告,讨论AI自主研发引发智能爆炸的风险与应对。报告引用产业数据称,Anthropic内部AI编写代码比例从去年年初的个位数升至2026年5月的80%以上,完全由AI自主完成、人类仅做高级别监督的研发工作比例五个月内从1%升至26%;OpenAI与谷歌内部AI生成代码比例也分别达到80%和75%。
Graphite 研究发现 Claude Opus 5.5 最显著的写作痕迹是“this matters”,出现频率是人类的 116 倍,“dependable”则高出 23 倍;OpenAI 的 Astra 偏爱“not simply X”式纠正性框架,频率超人类 100 倍。
Anthropic 前沿红色团队评估智谱 GLM-5.3,认为它是首个能像五个月前 Claude Mythos Preview 那样自主构建端到端漏洞利用、却几乎未设拒绝护栏就放出的模型。五个月前 Anthropic 发布 Claude Mythos Preview 时,曾称其为第一个能自主构建复杂端到端漏洞利用的 AI 模型。
推荐理由:Anthropic 红队对 GLM-5.3 的评估给出了自主漏洞利用能力与拒绝护栏缺失的对比,可了解前沿模型安全评估的一种视角。
Anthropic Frontier Red Team 在内部 Binary Exploitation benchmark 中随机抽取 100 个任务评测多个模型,GLM-5.3 在 4% 的试验中实现完整的控制流劫持,Claude Mythos Preview 为 6%。报告指出,此前的 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功,说明一个有意义的能力门槛已被跨过。