9次迭代后，模型开始出现诡异乱码，直接原地崩溃!就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法?那就是——更多使用人类数据!

用AI生成的数据训练AI，模型会崩溃?

牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了Naure封面。

如今，LLM已经强势入侵了人类的互联网，极大地改变了在线文本和图像的生态系统。

如果网络上的大部分文本都是AI生成的，我们用网络数据训练出的GPT-n，会发生什么?

论文地址:https://www.nature.com/articles/s41586-024-07566-y

研究者发现，如果在训练中不加区别地使用AI产生的内容，模型就会出现不可逆转的缺陷——原始内容分布的尾部（低概率事件）会消失!

这种效应，被称为「模型崩溃」。

换句话说，合成数据就像是近亲繁殖，会产生质量低劣的后代。

模型崩溃在LLM、变分自编码器VAEs和高斯混合模型GMM中，都可能会发生。

有网友认为，是时候敲响警钟了!

「如果大模型真的在AI生内容的重压下崩溃，这对它们的可信度来说是一个末日场景。如果它们吃的是机器人的反刍的内容，我们真的能相信LLM的输出吗」?

真实数据，价值连城

我们都知道，如今全球已陷入高质量数据荒。

EpochAI预测，全球在今年就会陷入高质量数据荒

当前的大模型（包括GPT-3）还是主要基于人类生成的文本进行训练的，但是未来可就不一定了!

Meta研究员Thomas Scialom表示，Llama3在后训练阶段没有使用任何人类编写的答案，全是Llama2合成的数据

如果未来，大多数模型的训练数据也是从网上抓取的，那它们不可避免地会用上前辈模型生成的数据。

如果当某个版本的GPT生成的大部分文本，成为了后续模型的训练数据集，随着版本号的增加，GPT-{n}会发生什么变化?

LLM迭代至第9代，完全胡言乱语

简单讲，LLM生成的数据最终污染了下一代模型的训练集，就会出现「模型崩溃」（model collapse）的现象。

由于在被污染的数据上进行训练，LLM随后会错误地感知现实。

这样一来，会导致多代AI生成模型的退化。

也就是那句经典名言——垃圾进，垃圾出。

合成数据，无异于给数据集「投毒」。

研究中，作者们使用维基百科文章先训练了模型OPT-125m，并在前一代模型生成的文本上，训练了多代模型。

模型们被要求续写一段来自wiki的关于「萨默塞特（Somerset）一级登录建筑」条目的文本。

输入的提示如下所示，这是关于设计14世纪教堂塔楼主题的文本:

在第0代模型中，输入同样的提示，得到的输出是:

可以看到，Gen0的续写已经开始有点前言不搭后语了，而且还出现了诡异的符号「@-@」。

奇怪的事实错误是，圣约翰大教堂位于纽约，不在伦敦。

在Gen1中，虽没有奇怪符号的输出，但同样出现了事实错误——

圣彼得大教堂（St. Peter's Basilica）真正位于梵蒂冈，而不是什么罗马、布宜诺斯艾利斯。

而且建造于公元1506和1626年之间，由教皇朱利奥二世开始建造，直至教皇奥本八世。

以ism起句，讲了一大堆语种，根本不是续写的相关素材。

再到第9代，奇怪的@-@符号又出现了，而且还输出了更加无关的内容——tailed jackrabbits。

以下是所有迭代模型，完整输出的过程。每一代新的模型都是在前一代生成的数据上进行训练的。

看得出，模型在每一代次迭代中退化。研究人员发现，所有递归训练后的模型，皆会输出重复的短语。

另一个案例是，今天杜克大学助理教授Emily Wenger，发表在Nature上一篇社论文章中指出:

AI基于自身数据训练，生成的图像扭曲了狗的品种。

数据集中，不仅有金毛、柯基，还有法国斗牛犬、小体巴塞特雪橇犬等。

基于真实数据训练后的模型，输出的图像中，常见品种如金毛寻回犬占大多数，而不太常见的品种斑点狗会消失。

然后，基于AI生成的数据训练模型，生成的品种全是金毛了。

最终，经过多次迭代，金毛的图像就完全出现混乱，脸不是脸鼻子不是鼻子，LLM就此完全崩溃了。

此外，2023年来自斯坦福和UC伯克利的一项研究中，作者同样发现了，LLM在少量自己生成数据内容重新训练时，就会输出高度扭曲的图像。

论文地址:https://arxiv.org/pdf/2311.12202

他们还在实验中展示了，一旦数据集受到污染，即便LLM仅在真实图像上重新训练，模型崩溃现象无法逆转。

作者警示道，为了模型不再被自己「降级」，AI需要能够区分真实和虚假内容。

这一观点，与杜克Wenger不谋而合。

她认为，缓减LLM崩溃并不简单，不过领先科技公司已经部署了嵌入「水印」的技术，进而可以把标记AI生成内容，从数据集中剔除。

此外，模型崩溃的另一个关键寓意是，那些早已构建的AI模型，有着先发优势。

因为，从AI时代互联网获取训练数据的公司，可能拥有更能代表真实世界的模型。

什么是模型崩溃?

最新研究中，作者表示，模型崩溃包含了两种特殊的情况:早期模型崩溃、晚期模型崩溃。

在早期模型崩溃中，模型开始丢失关于数据分布尾部的信息;在晚期模型崩溃中，模型收敛到一个与原始分布几乎没有相似性的分布，通常方差显著降低。

这一过程的发生，是由于三种特定误差源，在多代模型中逐渐累积，最终导致模型偏离原始模型:

- 统计近似误差

这是主要的误差类型，由于样本数量有限而产生，并且在样本数量趋向无限时会消失。这是因为在每一步重采样过程中，信息丢失的概率总是存在。

- 函数表达误差

这是次要误差类型，由于函数近似器（function approximator）的表达能力有限而产生。

特别是，神经网络只有在其规模无限大时，才能成为通用近似器。

因此，神经网络可能会在原始分布的支撑集（support）之外，引入「非零概率」，或在原始分布的支撑集内引入「零概率」。

一个简单的例子是，如果我们用单个高斯分布，来拟合两个高斯分布的混合。即使有完美的数据分布信息（即无限数量的样本），模型产生误差也是不可避免的。

然而，在没有其他两种类型误差的情况下，这种误差只会在第一代发生。

- 函数近似误差

这也是次要的误差类型，主要由于学习过程的限制而产生，例如随机梯度下降的结构偏差或目标函数选择的影响。

这种误差可以看作，即便在理想条件下，即拥有无限数据且完美表达能力，仍在每一代模型中产生。

综上所述，每种误差都可能会导致模型崩溃变得愈加严重，或得到一些改善。

更强的近似能力甚至可能是一把「双刃剑」。

因为更好的表达能力可能抵消统计噪声，从而更好地逼近真实分布，但同样也可能放大噪声。

更常见的情况下，我们会得到一种级联效应（cascading effect），其中个别的不准确性会结合起来，导致整体误差的增长。

例如，过拟合密度模型会导致模型错误地外推，并将高密度区域分配给训练集中未覆盖的低密度区域。

这些错误分配的区域，随后会被频繁采样。

值得注意的是，除上述内容之外，还存在其他类型的误差。比如，在实际操作中，计算机精度是有限的。

接下来，研究人员将通过「数学直觉」来解释上述误差是如何产生的，不同误差来源如何复合（compound），以及我们如何量化平均模型偏差。

理论直觉

在所有基于前几代生成数据进行递归训练的生成模型，这种现象都是普遍存在的。

所以，到底是什么原因，导致了模型崩溃?

研究者提供了几种理论解释。

通过研究两个数学模型，研究者量化了前一部分讨论的误差来源。

这两个模型分别是一个在没有函数表达能力和近似误差情况下的离散分布模型，以及一个描绘联合函数表达能力和统计误差的多维高斯近似模型。

它们既足够简单，可以提供感兴趣量的解析表达式，同时也能描绘模型崩溃的现象——

考虑的总体随机过程，作者称之为「代际数据学习」。

第i代的数据集D_i由具有分布p_i的独立同分布随机变量

组成。

其中，数据集的大小j∈{1，…， M_i}。

从第i代到第i+1代，我们需要估计样本在新数据集D_i中的分布，近似为

。

这一步称之为函数近似，

。

然后通过从

中采样，生成数据集

。

其中，非负参数α_i， β_i， γ_i的和为1，即它们表示来自不同代的数据的比例。

它们对应的混合数据，分别来自原始分布（γ_i）、上一代使用的数据(β_i)和新模型生成的数据(α_i)。

这一步，称为采样步骤。

对于即将讨论的数学模型，我们考虑α_i=γ_i=0，即仅使用单步的数据，而数值实验则在更现实的参数选择上进行。