OpenAI谈：大模型为什么会有幻觉？如何避免？

OpenAI上周发了一篇论文，重点聊了大家都挺感兴趣的话题：为什么大模型会有幻觉？

评测缺陷

举个例子：你现在参加一场考试，答对得1分，答错或不答都是0分。

在这种规则下，最佳策略是什么？ 应该是碰到完全不会的题目，蒙一个答案。因为蒙对了血赚，蒙错了不亏。

这个模式正是今天绝大多数AI模型在面对的评测环境。

包括GPQA、MMLU-Pro、SWE-bench在内的众多热门评测基准，都是在用Binary Grading。

非对即错，如果模型回复IDK （I Don't Know）这类表达不确定的回答，和错误的答案一样，都会被判为0分。

所以，模型通过RLHF等后训练，核心目标之一就是在这些基准上拿到高分。

为了最大化期望得分，模型会学到一个最优策略：永远不要承认自己不知道，给出一个看起来最可能对的答案去赌那1分。

他们整理了一张表，几乎所有我们熟悉的评测，都对IDK零分处理，甚至在WildBench的评分体系里，一个包含幻觉的还行的回答（5-6分）得分可能比一个诚实的IDK（3-4分）更高。

幻觉根源：预训练的原罪与后训练的放大

论文进一步从模型训练的两个阶段，剖析了幻觉的来源。

预训练阶段

在预训练阶段，模型学习的是海量文本的统计规律。

论文通过证明，即使训练数据完全正确，模型为了达到更好的Calibration，也必然会产生错误。

结论是：模型对那些在训练数据中仅出现过一次的事实产生幻觉的概率，与这些事实在数据中的占比直接相关。

简单来说，对于那些冷知识，模型天生就有一定的概率会猜错。

这是统计规律决定的，无法避免。

后训练阶段

问题在后训练阶段被急剧放大了。RLHF等对齐技术，本意是让模型变得更有用、更无害。但由于评测基准本身存在缺陷，对齐过程就变成了应试训练。

在预训练阶段那些不确定的知识点上，选择猜而不是不说，在MMLU、SWE-bench这些考试里得分更高。

于是，一个原本只是偶尔记岔的模型，被活活训练成了一个习惯性撒谎的老油条。

最终，我们得到的就是一个在所有问题上都表现得无比自信，但实际上可能正在一本正经胡说八道的模型。

如何打破僵局？

既然问题出在评测的上，那么解决方案也要从规则入手。

论文给出了一个提议：改造现有评测，引入明确的置信度阈值和错误惩罚机制。

别再用简单的0/1评分了，而是像某些更严格的考试一样，明确告诉模型：

请只在你有超过75%把握时回答。因为答错要倒扣3分（t/(1-t)，这里t=0.75），答对得1分，回答我不知道得0分。”

在这种新规则下，模型的最佳策略就会发生改变。当它对一个答案的置信度低于75%时，最理性的选择就是回答我不知道，因为猜的风险（-3分）远大于潜在收益（+1分）。

最后

AI的幻觉问题，不止是技术问题，是一个由评测生态驱动的激励机制问题。

上周五Qwen-max发布，全面吊打所有闭源模型。

现在的模型，几乎都是跑分王。

我们又一次进入要靠实测体验来判断大模型能力的好坏的阶段了。

本文转载自​​探索AGI​​，作者：猕猴桃