牛津、剑桥等机构的研究人员近日发现，大型模型在使用合成数据进行训练时可能会崩溃，其研究成果被选为最新封面。
直接一：OUT！
要知道，现在科技公司大佬们大多都在用合成数据来缓解“数据荒”，这对于整个行业来说无疑是一盆冷水。
研究团队给出了这样的例子。
他们测试了 meta 的 OPT-125m 模型，要求其提供有关中世纪建筑的信息。
每次微调都是用上一轮产生的数据进行训练，前几轮效果还不错，但到了第九轮，就开始胡言乱语了……
兔子到底是怎么回事？！
论文的主要作者表示，他们曾考虑到合成数据可能会导致大型模型出现错误，但没想到模型会恶化得如此之快。
三个错误导致模型崩溃
首先，团队定义了什么是模型崩溃。
模型崩溃是一种退化过程，模型生成的内容会污染下一代的训练数据集，在被污染的数据上进行训练后，新一代模型很容易误解现实。
这样的循环不断重复，每一代都比上一代更糟糕。
随着时间的推移，主要出现两种情况：早期模式崩溃和晚期模式崩溃。
在模型崩溃的早期，模型开始丢失一些尾部信息（例如概率分布中的一些低概率事件），而在模型崩溃的后期，模型将收敛到与原始分布几乎不相似的分布。
这一过程的发生与模型设计、学习过程和所用数据的质量有关。
具体从理论上来说，这三个错误主要导致大模型与原模型的偏差。
统计近似误差。这是由于样本数量有限而产生的一种主要误差类型，当样本数量趋于无穷大时，这种误差会消失。这是因为在每个重采样步骤中，信息丢失的概率不为零。函数表达误差。这种误差是由于函数近似的表达能力有限而产生的。具体来说，神经网络只有在扩展到无穷大时才是通用近似。然而，在没有其他两个误差的情况下，这种误差只会发生在第一代。函数逼近误差。主要由学习过程的局限性引起，例如随机梯度下降中的结构偏差或目标的选择。这种误差可以看作是在每一代数据无限且表达能力完美的情况下发生的误差。
对语言模型的影响
研究人员随后评估了模型崩溃对语言模型的影响。由于从头开始训练大型模型的成本非常高，因此他们选择评估语言模型最常见的设置：微调设置。
每个训练周期都从一个具有最新数据的预训练模型开始。训练数据来自另一个经过微调的预训练模型。
他们使用了元因果语言模型 OPT-125m，并在 上进行了微调。
为了从训练好的模型中生成数据，该团队使用了五向束搜索。他们将训练序列设置为 64 个标记长；然后，对于训练集中的每个标记序列，要求模型预测接下来的 64 个标记。
它们会遍历所有原始训练数据集，并生成一个大小相同的人工数据集。如果模型的误差为 0，则生成原始数据集。
为了进一步感受到差异，他们使用了两种不同的设置：一组除了初始训练外，没有任何原始训练数据；另一组保留了 10％ 的原始数据。
结果显示，随着时间的推移，模型产生的误差会越来越大，在模型彻底崩溃之前，还会导致模型忘记数据集中的低概率事件，它们的输出会变得更加同质化，最终出现这种现象。
此外，在VAE和GMM模型中也观察到了类似的模型崩溃现象。
杜克大学艾米丽教授表示，到目前为止，缓解这一问题并不容易。
领先的科技公司已经部署了一项嵌入“水印”的技术——
困难在于，这需要科技公司之间的协调，因此在商业上不可行。
这样，以前从互联网获取数据的公司训练出来的模型更能代表现实世界，因此第一波大模型就具备了先发优势。
您对于这个观点有什么看法？
