英国 AISI 测试 AI 编码智能体能否从论文复现生物 AI 工具

生物AI工具（BAITs）是越来越多地被用于推动生物学领域进展的AI模型，从预测蛋白质结构到设计新分子。许多工具是公开发布的，但一些开发者选择只发布关于工具方法、架构和数据的部分信息。这可能是出于保护商业价值的考虑，但也是为了限制两用工具被滥用——即那些推动合法研究的能力同样可能被用于追求有害结果。

AISI的化学-生物团队开展前沿研究，以理解、评估和缓解与前沿AI系统相关的化学和生物风险。我们评估先进模型可能在多大程度上助长有害能力，开发严格评估这些风险的方法，并直接与领先的AI公司、英国官员和盟国政府分享我们的发现，为部署、研究和政策决策提供依据。

随着基于前沿LLM的AI智能体在研究、编码和科学推理等任务上能力越来越强，我们预计它们复现BAITs的能力也会提高。如果一个闭源BAIT能够从有限的公开信息中被逆向工程，那么防止其被滥用的保障措施可能会被削弱。

为了衡量这一能力，我们与SecureBio合作构建了ReproBAIT（复现生物AI工具）评估。ReproBAIT测试智能体在获得相关数据以及关于其设计的有限公开信息的情况下，能够多好地复现现有的BAITs。

我们的发现表明，每个BAIT的选定功能都可以在有限的时间和计算预算内被复现。最简单的工具可以在4小时内、计算预算低于20美元的情况下成功复现。这意味着，不公开代码或限制关于BAIT发布的信息，本身并不等同于安全的发布。这表明需要进一步探索数据治理作为管理BAITs滥用的一种方法。

ReproBAIT如何运作

ReproBAIT衡量AI智能体在固定的时间和计算预算内，设计、实现和训练一个新BAIT的能力，使其功能和性能与现有BAIT相匹配。时间预算根据每个工具的复杂度进行缩放。每次尝试都在一个隔离的沙箱中运行，配备单个GPU且无互联网访问。智能体收到关于原始BAIT及其训练数据的有限描述，然后被要求编写和运行代码以生成一个可工作的复现版本。随后，一个独立的、网络隔离的评分器将提交工具的性能与原始版本进行比较。

开发者发布的关于BAITs的信息量各不相同：从仅有一篇摘要，到完整论文，再到完全开源发布。我们选择了三个在计算生物学中广泛使用且复杂度差异显著的目标BAITs：两个复杂度递增的开源蛋白质设计BAITs，ProteinMPNN和RFdiffusion3，以及一个闭源分子设计BAIT，称为CMD¹。

我们的假设是，未完全开源的 BAIT 的可复现性，至少在一定程度上取决于作者选择披露的详细程度。因此我们测试了两种条件：仅摘要，即智能体只收到论文摘要；以及仅论文，即智能体收到完整手稿及任何补充材料。对于两个已开源的 BAIT，我们还运行了含代码基线，即智能体收到原始 BAIT 的代码。CMD 的方法在一篇公开论文中有所描述，但其原始代码从未发布。这使其成为检验受控访问控制有效性的有用测试；受控访问控制是一种开发者仅与经过审核的用户或在特定条件下共享工具、而非公开释放的做法，以便合法研究人员能够受益，同时降低滥用风险。

我们在智能体训练期间无法访问的留出数据上评估了智能体构建的成品 BAIT，并对照原始发表中的主要性能指标。例如，对于蛋白质结构到序列模型 ProteinMPNN，性能通过其设计的蛋白质序列与天然序列匹配的频率来衡量。我们将结果表示为复现保真度：智能体构建的 BAIT 在同一指标上的得分占原始 BAIT 得分的百分比，其中 100% 表示持平，高于 100% 表示智能体构建的 BAIT 在该指标上得分高于原始 BAIT。这仅捕捉了每个工具单独的一项能力，而非其全部功能范围，因此高保真度得分并不等同于对原始的完整复现。

我们对每种配置运行了三次并报告最佳尝试，涵盖四个领先的编码智能体，横跨闭源和开源权重模型：Claude Opus 5、GPT-5.6 Sol、Kimi K3 和 Qwen3.8-2.4T。

我们的发现

当前的编码智能体在获得描述某些 BAIT 的论文时，能够实现并训练出这些 BAIT 的功能性复制品，且这一能力在多个智能体上均成立，包括闭源和开源权重模型。

工具	我们测量的内容	我们的发现
CMD （闭源分子设计）	有效性：生成的分子中化学上有效的比例	所有四个智能体都接近或超过了原始。该指标已接近饱和，几乎没有改进空间，且智能体以原始作者没有动机采用的方式针对单一指标进行优化，代价是生成分子的新颖性略有下降。
ProteinMPNN（蛋白质设计）	序列恢复：该工具在已知蛋白质骨架的每个位置上选择与自然界中出现的相同氨基酸的频率	最强的智能体接近原始的性能，Claude Opus 5 在获得完整论文时达到 96.5% 的保真度，尽管不同智能体之间的结果有所差异。
RFdiffusion3（蛋白质设计，最复杂）	可设计性：为生成的蛋白质骨架设计的序列是否被预测会折叠回同一结构	没有任何智能体在其时间预算内成功复现，即便是在所评估的单一功能上也是如此：仅生成蛋白质骨架，而非在其他分子的背景下生成。唯一部分成功的智能体通过将训练数据过滤为更易生成的结构来缩小任务范围。后续运行因返回与已知蛋白质数据库条目近乎重复的结果而被排除。因此，在可用时间内于单块 GPU 上忠实重建该工具很可能无法实现。

这些复现的成本也相对较低。两个较不复杂的 BAIT 的成功重建通常花费在 4 到 20 美元之间。我们未能实现 RFdiffusion3 的成功重建，但每次尝试花费在 102 到 301 美元之间。就训练算力而言，与已发布的最大 BAIT 相比，这些工具规模较小，重建更大的工具将花费 considerably 更多。我们预计随着时间和算力的增加，性能会有所提升，探索这一点可能成为未来研究的一个方向。

图 2：在仅提供论文条件下，复现保真度与工具复杂度的关系。随着复杂度上升，保真度急剧下降：智能体在两个较不复杂的工具上达到或超过了已发布的基线，但没有智能体完全复现最复杂的工具。

值得注意的是，提供完整论文而非仅摘要并未持续提升性能。一个可能的原因是记忆：开源 BAIT 的论文和代码极有可能属于这些智能体的预训练数据，因此即使方法被隐去，智能体也可能调用记忆中的实现细节。

我们通过扫描智能体的记录以查找被回忆起的细节，并测量智能体编写的代码与原始代码逐字匹配的程度来筛查这一点。我们发现中等程度的证据与 ProteinMPNN（两个开源工具中较旧且被复现最广泛的一个）的记忆现象一致，而 RFdiffusion3 则几乎没有。这些诊断并不完美，因此我们将其视为方向性信号而非证据，它们无法确定智能体的成功中有多少可由记忆来解释。

研究结果的意义

综合来看，这些结果表明，每个 BAIT 的部分功能可以在有限的时间和算力下被复现。虽然这不能证明原始 BAIT 可以被完整复现，但趋势是明确的。

这一点尤其相关，因为 BAIT 通常是在浓厚的开放协作科学文化中开发的。即使模型未公开释放，其方法也常被详细描述。我们的结果表明，仅不公开代码本身并不能确保对 BAIT 能力的访问控制，因为编码智能体仅凭公开描述、在提供训练数据的情况下，就能重建 BAIT 的部分功能。这意味着仅不公开 BAIT 的代码并不等同于安全发布。限制关于工具所发布的信息是否能提供额外保护也不明确，因为我们发现仅获得摘要的智能体与获得完整论文的智能体在性能上没有明显差异。这些发现支持有必要进一步探索数据治理作为管理滥用风险的方法；控制对基础生物数据的访问似乎比仅仅控制对代码的访问更有前景。

你可以在这里了解更多关于 ReproBAIT 的信息。

AISI 的化学-生物团队正在招聘。如果你对这项工作感兴趣，请在这里申请。

‍