MIT CSAIL 研究：生成图像常无法追溯到训练数据

当人工智能图像生成器生成一幅肖像时，其中融入了谁的作品？这个问题处于全球诉讼、授权交易和拟议法规的核心。艺术家想要署名。公司想要明确性。政策制定者想要一种分配责任的方式。

麻省理工学院计算机科学与人工智能实验室（CSAIL）一个研究团队的新研究表明，对于在大型数据集上训练的模型，这个问题可能往往没有答案。这并不是因为寻找答案的工具不够完善，而是这种联系本身已经消失了。

科学家们发现了一种他们称之为"归因衰减"的现象：生成模型训练所用的数据越多，任何单个训练样本对任何特定输出的影响就越小。这感觉有悖直觉，但他们发现，在足够大的规模下，你通常可以从训练数据中移除任何单张图像，或某位艺术家的每一张图像，或某个人的每一张照片，而生成的样本不会改变。

研究人员认为，如果移除某样东西没有带来任何改变，那就不能说它应对任何事情负责。

"如果你拿走一块数据，而模型的输出没有改变，那么这块数据就没有影响输出，"该研究的第一作者、前麻省理工学院CSAIL研究员Zheng Dai（SM '21，PhD '24）说。"所以把输出归因于那块数据就没有多大意义。如果你再对每一块其他数据逐一这样做，发现输出对它们中的任何一个都没有改变，那么把输出归因于其中任何一个就没有多大意义。"

"所有先前的方法都是近似的，"麻省理工学院教授、CSAIL首席研究员David Gifford说。"它们确实无法绝对证明删除单个事物不会改变输出。这篇论文引入了第一个绝对的方法。你实际上是在删除输入，并删除输入的所有影响。这是第一个能够高效进行大规模删除并证明结果不变的确切方法。"

Dai和Gifford的项目描述在一篇开放获取的论文中，该论文今天发表在Nature Communications上。

重新训练的问题

直接测试这个想法意味着回答一个假设性问题。如果这个模型从未见过这张特定图像，它会生成什么？诚实地回答这个问题意味着在没有那张图像的情况下从头重新训练模型，然后对下一张图像、再下一张图像重复这一过程。面对数百万个训练样本，计算量很快变得难以承受，这就是为什么归因领域的先前工作依赖于近似方法，估算训练样本的影响，而不是真正将其移除。

他们的解决方案是他们自己构建的一种架构，称为"扩散集成"。它不是单一的庞然大物式模型，而是由许多较小的组件组成，每个组件都在数据的不同切片上训练。想知道模型在没有某张特定图像时会怎样？只需关闭那些见过它的部分。无需重新训练，无需近似。剩下的是一个真正的反事实模型，而不是对它的估计。

当然，一种巧妙的架构只有在它仍然能作为生成器工作时才重要。因此，团队将这些集成模型与24个在完全相同数据上训练的传统扩散模型进行了正面比较。按标准衡量，生成的图像看起来大致一样好。

数字中有一个令人惊喜的发现：训练数据越多，集成模型相对于单模型的表现就越好，这暗示它们实际上可能更具数据效率。

“当数据量很少时，它们表现得很差，”Dai 说。“但如果你有更多数据，相比普通扩散模型，它实际上扩展得更好。”

探索反事实宇宙

在消融方法奏效后，研究人员终于可以大规模地提出他们的问题。取一张生成的图像，然后想象它的每一个替代版本，每个版本都通过移除训练数据中不同的一个片段而产生。研究团队将之称为该图像的反事实宇宙。原始图像与其差异最大的替代版本之间的距离，即反事实半径，捕捉了任何单个训练数据片段所能产生的最大的影响。

他们在从 256 张图像到超过 160,000 张图像的数据集上训练了 24 个集成模型，这些数据来自七个公共数据集，包括 CIFAR-10、CelebA、MetFaces 和 ArtBench。模式是一致的：训练集越大，半径越小，并遵循逆幂律缩小。无论差异是逐像素衡量还是按语义含义衡量，这一结论都成立，且两个方向都具有统计显著性。

研究团队还对自己的结果进行了压力测试。也许消融本身就是罪魁祸首？他们以暴力方式在小规模上重做了一遍，训练了 1,282 个独立模型，衰减现象依然出现。也许更大的数据集只是让每次移除的比例更小？他们固定了移除的比例，结果依然存在。固定轮数、文本提示模型、类别条件模型、四种相似度度量——这一发现经受住了一切考验。

隐私悖论

其影响所指向的方向令研究人员自己也感到意外。

Gifford 认为这一发现直接关系到模型输出是否为衍生作品这一法律问题。

“思考这个问题的一种方式是，这些模型是有创造力的。它们并非简单地复制所输入的内容，而是创造全新的输出。如果这些输出与任何单个训练数据片段都无关，那就引发了关于合理使用、关于这些输出本身是否可作为新颖作品受版权保护，以及当模型的产出无法归因于互联网上的任何内容时作者如何获得报酬等问题。”

Gifford 还指出，这项工作展示了如何生成保证无法归因的输出，他将这种能力视为行业的一项义务，而非漏洞。

“为了让这些公司声称其输出并非以侵犯版权的方式衍生自互联网，他们需要修改自己的模型，以利用这项工作的进展，从而证明他们没有在创造针对个人或单个物品的衍生品。”

这项工作研究的是扩散模型，此类模型目前在生成视听媒体方面占据主导地位，并广泛应用于包括蛋白质结构建模和治疗发现在内的科学领域。同样的衰减规律是否适用于处于最受瞩目版权诉讼核心的大语言模型，仍是一个悬而未决的问题。

“如果归因方法有效，它就能可靠地告诉我们，模型输出与受版权保护作品之间的相似性究竟源于复制还是巧合，”康奈尔法学院和康奈尔科技学院法学教授 James Grimmelmann 表示。“但这篇论文让我们有理由认为，对于有意思的模型，归因方法将会失效。相反，技术人员和法院将不得不诉诸其他方法来评估复制行为。”

Dai 和 Gifford 的工作得到了 Schmidt Futures 的支持。