AISI 发布 Engineering Playbook，公开前沿 AI 评估基础设施方法

2024年5月，AI安全研究所开源了Inspect AI，这是一个用于评估前沿AI模型能力的工具包。Inspect为AISI的许多前沿评估提供了支持，将其开源使我们能够与更广泛的社区分享这些评估能力。

在Inspect发展势头的基础上，我们今天发布AISI工程手册，这是一份完整的资源，记录了我们评估前沿AI系统时开发的方法和实践。

虽然Inspect提供了开源工具，但大规模评估前沿AI需要复杂的配套基础设施才能有效运作。研究人员需要运行不受信任代码的环境、管理和审计对模型提供商调用的方式、托管模型的计算资源，以及将这一切整合在一起的工作系统。这些工作大部分是不可见的，很少有文档记录，每个尝试进行严肃评估的团队都要从零开始开发。

通过不仅开源Inspect，还在可能的情况下开源我们的方法和基础设施，我们希望帮助研究人员、组织和其他评估者建立起严格的评估能力，而不必从零开始。我们希望工程手册能为研究人员和组织提供关于我们评估流程的宝贵见解。

在此处访问手册。

什么是Inspect，它如何被使用？

Inspect允许AI研究人员为AI模型设置结构化、多步骤且可重复的测试，然后以可衡量的方式对这些测试进行评分、比较模型，并保存详细的评估日志、追踪、指标和报告。配套项目Inspect Evals是一个包含200多个预构建评估的集合，可在任何模型上运行，涵盖了编码、智能体任务、推理、知识、行为和多模态理解等广泛的开源基准。

Inspect已被广泛的研究人员、公司和组织使用：

METR从他们的内部Vivaria平台迁移到了Inspect。他们现在运行时间跨度评估，涵盖前沿模型的228个任务。他们的结果被2026年国际AI安全报告引用。

Apollo Research在对Inspect进行三个月试用后弃用了他们的内部评估框架，理由是"有些功能我们自己构建需要数月时间"，特别是安全的智能体沙箱和可解释性工具。他们现在所有新评估都基于Inspect构建。

其他政府机构已采用Inspect和沙箱工具包用于他们自己的评估工作。

Inspect也已发展成为一个社区，汇聚了来自世界各地的研究人员。自Inspect开源以来，我们见证了它的成长，仅在inspect_ai 就迎来了240多位贡献者。今天标志着评估社区迈出了下一步：发布AISI的工程手册。

新手册包含什么内容？

工程手册是一份构建AI评估能力的开放指南，将评估的更广泛基础设施分解为五个层次——评估、隔离、连接、运行和扩展。

用户可以从任何地方开始，但这些能力共同构成了一个用于构建和运行评估的完整平台。

手册的概述如下：

Evaluate 是用于测试前沿模型的框架，其构建目标是让评估可复现、可跨提供商比较，并能处理智能体任务。

Isolate 是这些评估安全运行的方式，根据工作的风险匹配相应的隔离措施。

Connect 位于研究人员与他们所调用的模型提供商之间，为组织提供审计能力和成本控制，同时不拖慢研究进度。

Run 是研究人员的工作平台——机器、数据、算力，以及通往已部署应用的路径。

Scale 将超级计算机级别的推理能力带到托管和研究最大规模开放权重模型的触手可及之处。

除了技术概览和讲解之外，Playbook 还对每个能力部分提供了深入解读，并附有开源代码的链接（如有）。

在此处访问 Playbook。

谁应该使用 Playbook？

Playbook 面向任何构建评估能力的人，无论是运行首次评估的单个研究人员，还是从零开始搭建基础设施的组织。它可以通过多种方式使用：

研究人员可以采用单个组件，而无需承诺使用整个技术栈。

组织和其他评估者可以将这五个层次作为其自身评估平台的参考架构——构建他们自己的 AISI。

更广泛的生态系统可以基于开源代码进行构建、贡献和扩展，正如 Inspect 社区已经做的那样。

下一步是什么？

AISI 花费两年时间构建了一套用于评估前沿 AI 系统的技术栈，我们认为将其分享出来可以降低其他人做同样事情的门槛。随着前沿 AI 变得愈发强大和复杂，保持大规模开展高质量评估的能力变得至关重要。

本次发布是我们今天评估前沿 AI 方式的一个快照，而非成品。随着我们的方法不断演进，以及严谨评估背后的工具和基础设施持续成熟，我们将持续更新 Playbook。

我们希望 Inspect 框架和新的 Playbook 能够继续成长，支持前沿 AI 评估工作。祝愿 AI 系统的开源、严谨且更好的评估持续发展。

‍

“我创建 Inspect 是因为我想为政府、研究人员和实验室提供一个强大的技术基础，以便协作测试和理解前沿模型。看到这么多组织采用它，并接受了数百名用户的贡献，我感到非常激动。”—— JJ Allaire，Inspect 创建者、Meridian Labs 创始人

“Inspect 对 METR 的评估绝对至关重要，我们基于它构建了自己的开源云端评估平台，并积极为 Inspect 代码库做贡献，以运行更大、更复杂的评估。”——Mischa Spiegelmock，METR 技术团队成员

‍