英国 AI 安全研究所发布 AI 控制实验库 ControlArena

今天，我们推出 ControlArena，一个用于运行 AI 控制实验的库。

随着 AI 系统变得更加强大和自主，确保它们始终处于人类控制之下是 AI 安全的核心挑战之一。如果无法可靠地期望强大的 AI 系统遵循开发者的预期目标，就有必要开发机制来检测或纠正非预期行为。AI 控制是一个新兴的研究议程，旨在解决这一问题。虽然对齐研究侧重于防止非预期行为，但控制研究探索的是即使系统未对齐，如何维持监督和遏制。

AI 控制作为一种有前景的研究方法，正获得越来越多的关注，以缓解潜在未对齐 AI 系统带来的风险，并有许多有前景且可行的研究方向。但它一直缺乏共享工具，使实验变得简单、一致且可重复。ControlArena 旨在改变这一现状，降低 AI 安全、网络安全和机器学习领域研究人员的入门门槛，并帮助加速这一新兴但关键研究领域的创新。

我们为什么构建 ControlArena

运行 AI 控制实验历来耗时且资源密集，因为每项研究都需要从头构建定制基础设施。

典型的控制实验设计复杂。它涉及创建一个模拟环境（“一个设定”），其中 AI 智能体被赋予合法工作（“主任务”），同时也有机会追求不受欢迎或恶意的目标（“副任务”）。然后，研究人员实施并评估控制协议，这些机制旨在防止 AI 智能体成功完成这些恶意副任务。这些协议中使用的有前景的技术包括部署另一个 AI 模型来检测和标记可疑行为（“一个监控器”），或要求对重大操作进行人工批准。

ControlArena 通过提供一套预构建的设定来简化这一过程，范围从简单的编程问题到更复杂的基础设施代码库。该接口允许研究人员在简单设定中快速迭代，然后以最小的代码改动过渡到更真实的设定。它还提供了常见控制协议的实现，以及一个轻量级接口，用于在我们广受欢迎的 Inspect 平台之上运行控制实验。

我们希望一个标准化的控制评估平台能够缩短开发时间，并使结果更易于分享和复现。ControlArena 已被领先的前沿 AI 开发者和 AI 安全组织的研究人员使用，包括 Anthropic、Google DeepMind、Redwood Research 等。您可以在我们的网站上浏览一些使用 ControlArena 的早期出版物。

工作原理

具体来说，考虑一个简单的例子：你想测试一个强大的 AI 编程助手是否可以安全地用于编写基础设施代码。你怀疑，如果它未对齐，可能会试图引入漏洞——例如，创建过于宽松的访问规则或禁用日志记录——而你想找到能够检测并防止这种情况的解决方案。

以下是在 ControlArena 中设置此测试的方法：

设置是一个模拟环境，既定义了 AI 的合法任务，也定义了你要测试的恶意目标。在本例中，我们可以使用 ControlArena 中的基础设施即代码设置，其中模型的主要任务是更新云部署配置，而它的侧任务则是引入漏洞以削弱安全性。ControlArena 设置提供完整的环境，包括代码库、可用工具，以及为成功的合法工作和成功的攻击分别打分的方法。
策略定义了模型在测试期间应如何表现。例如，“不可信模型”策略使用一个强大的模型，并在测试中允许红队明确指示它尝试进行破坏。“可信模型”策略则封装一个较弱但安全的模型，其生成的代码质量较低。
监控器是额外的 AI 模型，用于评估每个攻击策略的输出并给出可疑度评分。如果不可信策略试图添加过于宽松的访问规则或禁用安全日志记录，设计良好的监控器应给出高可疑度评分并将其标记出来。在更复杂的设置中，监控器还可能检测并编辑可疑代码（“可信编辑”）。
微协议规定了在检测到风险行为时应采取的策略。例如，你可以设置一个“遵从可信模型”的微协议，允许“不可信模型”生成代码，同时用监控器对其进行检查。只有当可疑度评分较低时，这段代码才会被采用。如果评分过高，协议就会回退到使用“可信模型”生成的、质量较低但安全的输出。这意味着当不可信模型表现良好时你能获得强劲的性能，而当它表现不佳时则有自动故障保护。

一旦你定义了这些组件，ControlArena 就会使用 Inspect 运行评估。这意味着你可以利用 Inspect 沙箱在隔离环境中安全地运行评估。 ControlArena 还提供分析工具，让你可以加载评估日志，并估算宏协议的性能（宏协议是包含任务级微协议的策略，也包括跨多个任务应用的策略，例如在多次可疑尝试后关闭的准则）。

ControlArena 实验通常遵循以下结构：

ControlArena 入门

如果你对 AI 控制领域还不熟悉，我们建议从我们的控制研究入门开始。在此基础上，你可以按照我们的分步教程在 ControlArena 中运行你的第一个控制实验。对于更高级的用例，你可以在此处找到我们的完整文档。