Nature封面：AI训AI 越训越傻

人工智能大语言模型的智慧通常与其接受的训练数据量成正比，越多的数据往往造就更“聪明”的模型。然而，《自然》杂志最近发布的一项研究揭示了一个反常现象：仅依赖AI自身生成的数据来锻炼这些大模型，不仅不会让它们变得更智能，反而会导致性能衰退，表现得愈发“愚钝”。

这项研究出自英国牛津大学和剑桥大学等学术机构的合作。研究团队观察到，当大语言模型的训练完全基于AI自制的内容时，会引发一种称为“模型崩溃”的现象。模型开始遗忘真实世界数据的本来面貌，并逐渐表现出不可逆转的功能退化。

实验中，通过大模型生成类似维基百科条目的文本，继而利用这些材料反复训练模型的新版本。随着迭代深入，由AI产生的信息不断“污染”训练素材，模型的输出变得越来越不合逻辑。例如，在某次迭代中，一篇本应聚焦英国教堂塔楼的文章，却离奇地插入了关于野兔尾巴颜色的描述。

探究“模型崩溃”的根源，关键在于模型受限于其训练数据的采样范围。那些原本就不频繁出现的词汇，在连续迭代中愈发稀少，而高频词汇则更加泛滥。这一趋势令模型渐渐丧失了准确反映现实世界多样性的能力。错误随迭代逐级累积，最终酿成“模型崩溃”，类似生物学中的“近亲繁殖”效应，缺乏基因多样性终将导致物种衰败。

值得注意的是，“模型崩溃”不仅限于大语言模型，其他如高斯混合模型、图像生成器等也存在类似风险。

面对“模型崩溃”，研究提出了一些缓解策略。保持模型微调过程中约10%的真实数据比例，能有效延缓崩溃过程。此外，采用水印技术区分真实与AI生成的数据，以及引入人工审核机制过滤AI文本，也是潜在的解决方案，但这需要科技巨头之间的合作与努力。