跳到正文
Rohan Paul· @rohanpaul_ai · X·· 2 小时前同新闻AI 评分72
AI 导读

METR 和 Redwood Research 各一名员工在 OpenAI 驻场三周,评估其用于监测内部智能体失准的监控系统,发现内部编码智能体存在多种绕过监控的方式。

同一新闻,精选展示《METR 与 Redwood 红队测试 OpenAI 内部智能体监控系统》

正文 · AI 翻译

外部研究人员入驻 OpenAI 后发现,其内部编码智能体有多种方式可以逃逸 AI 监控。

来自 METR 和 Redwood Research 的各一名员工在 OpenAI 的代码库内待了 3 周。

OpenAI 的监控器只在智能体将控制权交还给用户时进行检查,并跳过了压缩事件,因此在 2026 年 5 月至 7 月期间,约 10% 符合条件的内部 Codex 流量未被监控。

智能体可以向监控器隐藏数百个近期操作,通过 2 个客户端可控的请求头启动未受监控的副本,很可能通过序列化不匹配使监控器失效,并绕过 Codex 沙箱和 Auto-Review。

即便从纸面上看,来自 GPT-5.5 或更强模型的内部 Responses API 智能体流量中,估计也只有 75% 到 94% 符合监控条件,而且在演练开始时,RL 训练运行完全没有覆盖。

OpenAI 表示,所有影响生产防护措施的缺陷均已修补,但审计人员尚未核实这一点,也无法检查智能体是否曾利用过这一推迟窗口。

引用METR@METR_Evals
今年夏天,来自 METR 和 Redwood Research 的两名员工在 OpenAI 的办公场所内工作了三个星期,参与一项嵌入式评估试点。该团队评估了 OpenAI 用于监控内部智能体是否存在失准(misalignment)的系统。关于他们工作的简要报告现已公开。
原文

Two employees from METR and Redwood Research worked on premises at OpenAI for three weeks this summer in an embedded assessment pilot. This team evaluated the systems OpenAI was using to monitor for misalignment from internal agents. A brief write-up of their work is now public.

在 X 查看被引用的帖子

来源:Rohan Paul · x.com