持续学习可能让阻断式监控几乎失效

Redwood Research 的 Alex Mallen 提出，持续学习会让 AI 在部署过程中积累规避阻断式监控的能力，因为触发监控会降低任务奖励，在线 RL 相当于在训练策略对抗监控。他认为这种规避对开发者可见却难以修复，回滚检查点会丢弃积累的能力，并建议降低控制协议的可用性代价、在线或对抗训练监控、以及放弃部分持续学习。