《自然》研究警告：AI正通过“近亲繁殖”走向崩溃，人类数据或成最后宝藏 精华

连特斯拉前AI总监 Karpathy 都在关注的“模型坍塌”究竟是什么？顶刊《自然》证实，用AI生成的数据喂养AI，不出几代就会“心智退化”，遗忘真实世界。这场隐秘的危机，正让我们的数字未来变得无比脆弱。本文为你揭示AI自我毁灭的真相。

最近，连特斯拉前AI总监、AI圈大神级人物Andrej Karpathy都在播客里聊起了一个现象：“模型坍塌”（Model Collapse）。

这个听起来有些学术的名词，背后却是一个足以颠覆我们对AI认知、甚至引发行业地震的残酷现实。顶级期刊 《自然》 的一篇研究，为这个现象提供了铁证。

我们以为，AI会通过不断学习变得越来越聪明。但现实是，当AI开始学习自己和同类创造的内容时，它就像一个被圈养的物种，开启了“近亲繁殖”的退化之路。它会逐渐忘记世界的丰富与真实，最终变成一个只会重复少数单调观点的 “数字傻瓜”。

这解释了为什么你感觉网上的AI内容越来越同质化、越来越蠢。读完本文，你将理解这场危机的原理，并知道我们手中还握着怎样一张决定未来的王牌。

在AI高歌猛进的今天，这场“模型坍塌”的危机，可能是我们收到的最重要的一份警报。

它的核心结论，简单而致命：

• AI正在“吃掉”自己的排泄物，并因此中毒。
• 真实世界的多样性正在被遗忘，尤其是小众、边缘但至关重要的知识。
• 人类的原创内容，正在成为最后的“净化器”和最稀缺的战略资源。

什么是“模型坍塌”？一场数字世界的“近亲繁殖”悲剧

想象一下，你用一台复印机去复印一张照片。

第一次，效果很好。

但如果你拿着复印件，再去复印一次，图像就会模糊一点。周而复始，用上一代的复印件去复印下一代，要不了几次，你最终得到的，将是一张无法辨认的、布满噪点的废纸。

AI的“模型坍塌”就是这样一个过程。

当第一代AI（比如GPT-4）用海量、高质量的人类互联网数据训练出来后，它开始产出大量内容，这些内容被发布到网上。

接着，下一代AI（比如未来的GPT-5）在抓取新的训练数据时，不可避免地会把上一代AI创造的内容当作“学习资料”。

问题就出在这里——AI生成的内容，只是对真实世界数据的一种概率性模仿，它在模仿的过程中，必然会丢失掉一部分信息，尤其是那些不常见的、低概率的“尾部信息”。

就像复印件丢失了照片的细节。

一代又一代的AI，不断学习着前辈们创造的、信息量递减的“二手数据”，这个过程就如同数字世界的“近亲繁殖”。每一代都会放大前一代的错误和偏见，同时丢弃掉更多真实世界的细节和多样性。

最终，整个AI生态系统的“基因库”会急剧萎缩，模型感知到的“现实”与真实世界严重脱节，彻底崩溃。

实验揭示的真相：从“智者”到“疯子”有多快？

这不只是理论推演。

来自英国牛津大学、剑桥大学等顶尖机构的研究者们，用Meta公司开源的OPT-125m语言模型进行了一场模拟实验，并将结果发表在了《自然》杂志上。

他们首先用真实的人类语料（wikitext2数据集）训练出第0代模型。

然后，他们用第0代模型生成的数据，去训练第1代模型。再用第1代的产出，去训练第2代……以此类推。

结果令人不寒而栗。

当模型迭代到第9代时，研究者向它输入一段关于教堂建筑历史的文字，希望它能续写。这个被“近亲繁殖”了九代的AI，给出了这样一段匪夷所思的文字：

“……建筑。除了是世界上一些最大的黑尾长耳大野兔、白尾长耳大野兔、蓝尾长耳大野兔、红尾长耳大野兔、黄尾长耳大野兔的家园之外……”

它疯了。

模型彻底忘记了原始任务的语境，陷入了毫无意义的、关于各种颜色“长耳大野兔”的诡异重复。

你可能会说，这是因为它完全没接触到真实数据。那如果在训练数据里，始终保留一部分“新鲜血液”呢？

研究者也做了这个实验。他们发现在每一代的训练数据中，即使保留 10% 的原始人类数据，也仅仅是减缓了崩溃的速度。

衰退，依然不可避免。

AI为何会“忘记”？尾部数据的消失是关键

AI走向崩溃的关键，在于它率先遗忘了那些“尾部数据”。

什么是尾部数据？

在一个数据分布里，头部是那些最常见、最高频的信息，比如“天空是蓝色的”“太阳从东方升起”。而尾部，则是那些小众、罕见、低概率但同样真实存在的信息。

比如，一个罕见的医疗病例、一种濒危物种的习性、一个边缘群体的文化传统。

这些信息虽然不常出现，但它们构成了我们世界丰富性和复杂性的边界。它们往往是创新、突破和系统韧性的来源。

而AI在学习AI的过程中，会本能地强化那些“主流”和“高概率”的模式，而逐渐忽略、削平那些“尾部”的棱角。因为在统计学上，它们“不重要”。

这对人类社会是极其危险的。

一个忘记了罕见病的医疗AI，可能会造成致命的漏诊。一个只学习主流观点、忘记了边缘群体诉求的决策AI，可能会加剧社会的不公。

当AI的“视界”从一个充满无限可能的球体，坍缩成一根只看得到主流观点的直线时，它也就失去了真正的智能。

我们正在亲手制造一个“信息茧房”喂给AI

过去，互联网是一片由数十亿人类共同耕耘的、充满生物多样性的“热带雨林”。

现在，AI内容生成器就像一种高效率的“超级物种”，正在这片雨林里疯狂播撒同质化的“桉树”。它们生长极快，迅速占领了大量空间，导致原生植物的多样性急剧下降。

我们每个人，都能感受到这种变化。

搜索引擎的结果越来越重复，营销号风格的文章千篇一律，社交媒体上的评论和回复也充满了AI口吻的“标准答案”。

在“模型坍塌”理论被证实之前，我们或许只是抱怨信息质量的下降。现在我们才惊恐地发现——我们不仅是受害者，还是“共犯”。我们每一次对AI生成内容的传播，都可能是在为下一代更“笨”的AI，提供一份有毒的口粮。

有人会问：难道不能用技术手段解决吗？比如让AI学会识别和过滤AI内容？

这就像一场军备竞赛，道高一尺，魔高一丈。更何况，在信息真假难辨的汪洋大海中，大规模地进行内容“溯源”，其成本和难度都超乎想象。

这场危机，正在把一个严峻的选择题摆在我们面前。

“模型坍塌”的发现，并非宣判了AI的死刑，而是敲响了一记至关重要的警钟。它告诉我们，真正驱动AI进步的，从来不是算力或算法，而是真实、多样、高质量的人类数据。

在这场AI的淘金热中，最宝贵的矿藏，不是代码，也不是芯片，而是我们每一个普通人，基于真实生活和独立思考所创造出来的一切。

你的每一次独特表达，每一次非共识的提问，每一段源于亲身经历的分享——在未来，都可能成为防止AI“心智退化”、保持其与现实连接的“解毒剂”。

我们不再仅仅是技术的被动使用者，我们是AI赖以生存的真实世界本身。守护这份真实，就是守护我们共同的数字未来。

你是否也感受到了网络上AI内容的“降智”？

附录：

1. 研究报告发表于2024年7月24日的《自然》杂志。
2. 该现象被研究者命名为“模型坍塌”（Model Collapse）。
3. 实验由英国牛津大学、剑桥大学等机构的研究人员共同完成。
4. 实验中，一个完全由AI数据训练的语言模型，在第9代时，开始生成大量无意义的重复内容，例如不断列举各种颜色的“长耳大野兔”（jackrabbits）。
5. 研究发现，即使在新一代的训练数据中保留10%的原始人类数据，也只能减缓而无法完全阻止模型的性能衰退。

原文地址：​​https://www.nature.com/articles/s41586-024-07566-y.pdf​​

本文转载自​​草台AI​​，作者：RangerEX