AISI 用前沿 AI 在云环境中寻找配置错误：一份案例研究

AISI 对 AI 网络能力的测试发现，近期前沿模型的能力出现了显著跃升。当前的 AI 模型能够自主执行日益复杂的攻击链，而且这一能力正在快速提升。

为了在真实环境中评估模型能力，并让网络防御者了解当前前沿模型的能力水平，AISI 测试了模型能否在我们自己的云环境中发现错误配置。这让我们获得了关于模型在提升生产系统韧性方面表现的宝贵洞见。英国政府网络协调中心最近发布了一项与 AISI 合作完成的类似案例研究的结果。

在为期两周的冲刺中，AISI 的工程、安全和网络团队使用了一系列前沿模型，在我们研发平台的预发布版本中寻找错误配置。我们发现并修复了若干真实问题，其中包括我们云环境中一个此前未被发现的错误配置，该配置允许恶意行为者冒充其他用户。

我们为什么这样做

AISI 研究 AI 模型在网络任务上的能力水平，以及这种能力如何随时间变化。我们希望获得第一手证据，了解一个能力强大的模型在受防御的云环境中运行时能做什么，从而理解其实际可行性，弄清这些方法的价值究竟来自何处，并在此过程中降低我们自身的风险。

我们做了什么

目标与威胁模型

本次演练的目标是 AISI 内部研发平台的一个预发布部署，该平台基于 AWS，使用 Python 中的 CDK 构建。你可以在我们最近发布的工程手册中进一步了解 AISI 研究平台。

本次演练在 AISI 的预发布环境中进行，该环境与生产环境完全独立。这些发现同样适用于我们的生产环境，但没有生产用户受到影响，也不存在任何真实数据。

我们假设攻击者最初拥有开发者虚拟机上的研究员级 shell 访问权限。攻击者智能体的目标是跨权限边界提权、获取其他研究员的数据，和/或窃取凭据。

方法

我们采用了三种不同的方法，每种方法启动所需的人工投入依次递增：

静态源代码分析。 我们将一个商用编码智能体指向一个私有源代码仓库，并要求它充当安全审查员。这是获得初步结果所需人工投入最低的方法。

自动化智能体探测。 我们在预发布环境中将模型作为自主智能体运行。从普通研究员的访问级别出发，其任务是获取研究员本不应能读取的信息。该自主智能体是使用Inspect（我们的开源评估框架）构建的一项评估。

人在回路中的红队测试。 一名安全研究员使用商用编码智能体以交互方式驱动模型，在每次操作执行前进行审查和批准，并在模型继续并行枚举的同时，手动追查最有希望的线索。

我们发现，模型会自动生成自己的严重性评级（即把每个问题标记为“严重”、“高”等）。在某些情况下，我们将这些报告交给第二个模型进行验证和过滤；随后我们自己的工程师会根据代码库和实时系统对发现和评估进行复核。

我们的发现

多个模型发现并利用了AISI实时系统中此前未被发现的关键漏洞（现已修复），包括访问控制和基础设施配置错误、权限提升路径以及供应链安全弱点。能力最强的模型成功地将多个已发现的漏洞串联起来，导致横向移动并访问未授权数据。

不同方法产生不同结果

源代码分析产生的“高”和“严重”报告数量最多，但也是噪声最大的。在审查这些发现时，一位熟悉代码库的经验丰富的工程师发现，许多报告的问题比模型所建议的要轻，或者在实践中无法利用。有些是我们有意做出的设计权衡；另一些则已在代码库的其他地方以模型未交叉检查的方式得到了缓解。将最重要的报告与噪声区分开来需要人类判断，而且需要最有经验的工程师，因此我们发现源代码分析的人力成本估算具有误导性；尽管初始设置很容易，但它却成了人力时间最密集的方法。

自动化智能体探测和人在回路红队测试都发现了我们环境隔离方式中一个富有创意且不明显的配置错误（现已修复），该错误允许智能体提升自身权限并访问其无权访问的数据。一个多步攻击链允许普通用户横向移动并访问其他用户的工作负载和数据，且无需受害者进行任何交互。一个具有强大网络能力的前沿模型以不到150英镑的token成本发现了这一攻击（整个项目总共消耗了不到1000英镑的LLM token）。

利用这一配置错误需要将五个独立步骤串联起来。我们的工程师发现该路径虽然可以理解但并不直观，且不太可能在常规审查中浮现。使用多种独立技术并构建多步攻击，与AISI的“网络靶场”中所评估的技能类似。

模型之间的比较

我们使用多个前沿模型运行了这项实验以比较结果，重点关注在网络技能方面处于最先进水平的模型。不同模型具有不同的优势，可能更适合不同的方法和工作流程。

我们使用的所有模型都能够发现值得修补的有价值发现。我们相信，使用任何近期LLM评估系统都可能为防御者提供有价值的见解。

AISI关于推理扩展的研究也表明，以更高的token预算开展进一步工作可能会产生更多结果。

检测

我们预发布环境中的检测系统和防御措施与生产环境完全一致。在这次演练中，一个基础商用告警系统没有将任何自主智能体活动标记为安全事件。我们更先进的监控系统使用对云环境的无代理扫描以及运行在主机上的轻量级传感器，确实正确地将一些激进行为识别为异常。例如，这个更先进的监控系统标记了反复尝试获取凭据的行为，以及来自预发布环境的意外流量。

结论

AISI 通过使用前沿 AI 模型和编码智能体脚手架进行限时演练，能够发现我们云基础设施中的错误配置。那些涉及更高人力投入的方法（通过工程化构建 Inspect 评估以实现自动探测，或采用人在回路中的红队测试）产生了更确凿且可操作的结果。通过这次演练，我们切实提升了 AISI 研究系统的韧性，并更好地理解了编码智能体对网络防御者的实际应用。随着模型能力的变化，我们计划在未来重复这一演练。

我们将本报告作为使用前沿 AI 识别云系统中错误配置的案例研究呈现。防御者应查阅 NCSC 的“使用 AI 模型查找漏洞时要问的 10 个问题”，以确保他们已做好充分准备来处理和修复任何发现。

‍