语言模型为何会产生幻觉？

发布于 2025-10-9 18:27

浏览

0收藏

译者 | 布加迪

审校 | 重楼

简介

幻觉是语言模型及其用户的祸根，指语言模型产生的看似合理但实际上错误的陈述。这些幻觉之所以存在问题，是由于它们会削弱用户信任、传播错误信息，并误导下游决策，即使输出的可信度很高。在用户无法轻松验证声明（技术答案、医学或法律摘要、数据分析）的情况下，这些幻觉尤其令人困扰，因为自信地传递错误信息会掩盖潜在的不确定性，从而将小小的建模错误变成潜在的重大失败。

Kalai、Nachum、Vempala和Zhang最近发表了一篇名为《语言模型为何会产生幻觉？》的论文，该论文致力于分析这些错误的统计根源及其背后的社会技术激励机制。论文作者们将生成式错误与简单的分类动态联系起来，研究了当今的训练和评估实践如何促使模型倾向于自信的猜测，而不是校准的不确定性。研究结果深入揭示了幻觉的真正来源，以及哪些类型的改变可以在实践中减少幻觉。

本文就语言模型幻觉的成因和持续性提供了几个富有洞察力的总体启示，我们将逐一探讨其中的五点。

1. 幻觉的根本原因

简而言之：幻觉主要是由训练和评估程序引起的，这些程序鼓励猜测而不是承认不确定性。

论文的核心论点是，幻觉（定义为看似合理但不正确的陈述）之所以持续存在，是由于用于训练和评估的程序无意中奖励了自信的猜测，而不是承认不确定性。语言模型经优化后充当“优秀的应试者”，这意味着它们会在不确定时进行猜测，以便在惩罚不确定回答（比如“我不知道”或IDK）的评分方案下获得最高分数。在常见的二进制 0-1 评分方案下，猜测不确定何时可以最大化预期分数。

语言模型为何会产生幻觉？-AI.x社区

图1. 提议的提示，缓解“自信猜测”，并鼓励“确认不确定性”

2. 幻觉的起源

简而言之：幻觉的统计起源可以归结为二元分类中的简单错误。

论文揭开了幻觉的神秘面纱，认为幻觉并不神秘，而仅仅是二元分类中的错误。分析将生成式错误（比如幻觉）与一个名为“是否有效（IIV）”二元分类的监督学习问题联系起来。如果系统无法在统计上区分错误陈述和事实，那么在预训练过程中最小化的统计目标（交叉熵损失）自然会导致生成式错误。该分析揭示了一种数学关系：生成式错误率大致与IIV错误分类率的两倍成正比。

语言模型为何会产生幻觉？-AI.x社区

图2. 将语句错误分类为“有效”会导致幻觉

3. 幻觉不可避免

简而言之：即使使用无错误的训练数据，经过校准的基础模型在数学上也必然会产生幻觉。

论文表明，即使训练语料库完美无误，在预训练过程中最小化统计目标的过程仍会导致语言模型产生错误。这与校准概念相关。由于错误是标准交叉熵目标的自然结果，任何经过良好训练且经过校准的基础模型（即其预测概率与现实相符）都必然会产生错误，尤其是在面对本质上无法学习的事实时。相反，能够避免错误的基础模型必然会被错误校准（即其不确定性估计必然是错误的）。

4. 幻觉持续存在

简而言之：幻觉的持续存在归咎于不一致的初级评估这种“流行病”。

尽管训练后技术通常旨在减少虚假信息，但幻觉依然存在，因为绝大多数现有的、有影响力的基准测试和排行榜都大量使用二元评分系统（比如准确率或通过率），这些系统惩罚弃权和不确定性。这造成了一个“社会技术”问题。

如果模型 A 正确地表示了不确定性，而模型 B 总是猜测何时不确定，那么在 0-1 评分方案下，模型 B 的表现将优于模型 A，从而强化了类似幻觉的猜测行为。这种常见的错位评估是问题的根源，而仅仅通过添加一小部分新的针对幻觉的评估是无法解决这个问题的。

5. 任意性的作用

简而言之：任意事实（低数据频率）引起的统计不确定性是导致预训练误差的关键因素。

导致预训练误差的一个主要统计因素是任意事实的存在。任意事实是指特定的、随机的事实，其中没有简洁的模式解释目标函数，这会导致认知不确定性，因为训练数据中缺乏或鲜有必要的知识，比如个人生日。

分析表明，对于任意事实，预期的幻觉率其下限是由单例率决定的，即在训练数据中只出现一次的事实的比例。比如说，如果 20% 的生日事实只出现一次，预计模型会对至少 20% 的事实产生幻觉。其他生成式误差因素包括较差的模型（模型系列无法很好地表示概念，比如字母计数的例子）和 GIGO（垃圾进垃圾出，即模型复制训练数据中的错误）。