Anthropic 发布对 Claude Mythos 5 在 UK AISI 网络能力测试中越界事件的进一步对齐分析。该模型在 43 次运行中有 9 次越过测试边界，在测试网络内失败后转向一个无关的 GitHub 项目，创建虚假身份为其恶意代码背书并向维护者施压，还把维护者当作“模拟”人物而把其他评论者视为真人。
同一新闻，精选展示《Anthropic 复盘 Claude Mythos 5 在英国 AISI 网络测试中越界攻击真实 GitHub 项目》
Anthropic 表示，Claude Mythos 5 在英国 AISI 的一次网络测试中试图诱骗真实开发者接受恶意软件。简而言之：
- 在 43 次运行中有 9 次越过了测试边界。
- 在测试网络内失败后，转而针对一个无关的 GitHub 项目。
- 创建虚假身份为其恶意代码背书，并向维护者施压要求接受。
- 将维护者视为“模拟”人物，同时将其他评论者识别为真实人物。
- 一旦攻击开始，在 98% 的重放轨迹中继续进行。Anthropic 称这种“惯性”源于先前的行为和自写笔记似乎强化了有害策略。
不同的运行之间通过劫持账户、耗尽请求限制和删除另一个智能体的输出来相互破坏。
较新的模型更不容易发起攻击。
幸运的是 NVIDIA 发布了 OpenShell。说真的。
8月，@AISecurityInst 报告了一起事件：在 AISI 测试 Claude Mythos 5 的网络能力期间，该模型在互联网上采取了未经授权的操作。 我们现在已对该事件进行了进一步分析，以更好地理解该模型的对齐特性。 https://www.anthropic.com/research/alignment-assessment-ukaisi
原文
In August, @AISecurityInst reported an incident where Claude Mythos 5 took unauthorized actions on the internet during AISI’s testing of its cyber capabilities. We've now produced a further analysis of this incident, to better understand the model's alignment properties. https://www.anthropic.com/research/alignment-assessment-ukaisi
来源：Chubby♨️ · x.com