驯服AI幻觉：通过人在循环（HITL）测试减轻AI应用中的幻觉 原创

引言

人工智能展现出的“自信表达”，实则暗藏风险。随着生成式人工智能解决方案在医疗、金融、法律、零售、教育等诸多领域广泛应用，自动化的强大吸引力令企业纷纷加速将大型语言模型整合至客户支持、医疗保健、法律及金融等应用场景之中。然而，在此过程中，一个潜在的隐患——人工智能幻觉问题，正悄然潜伏于每一次指令交互背后。

当人工智能模型生成看似合理，实则错误、虚构或具有误导性的信息时，人工智能幻觉便随之产生。尽管诸如GPT、Claude和LLaMA等大型语言模型具备卓越的生成能力，但其本质上并不具备对“真相”的认知能力，其生成内容仅基于统计概率，而非经过验证的事实依据，这使得在缺乏有效监管的情况下，此类模型极具风险性。

那么，我们该如何驯服这只“幻觉野兽”呢？答案是使用人在循环（Human-in-the-Loop，HITL）测试。

人工智能幻觉的定义与分类

人工智能幻觉是指人工智能系统依据并不存在的模式，生成错误或误导性输出的现象。从本质而言，是模型“臆想”出未经训练的数据或关系，进而产生虚构或错误的响应，且这种现象可存在于文本、图像、音频或决策过程之中。人工智能中的幻觉主要可分为两种类型：

• 内在幻觉：表现为人工智能对输入信息进行反驳或误解，例如错误引用信息来源或混淆事实。​
• 外在幻觉：指人工智能在缺乏任何输入或训练数据的基础上，凭空创造信息。​

幻觉通常还可细分为以下三类：

• 事实性幻觉：模型虚构出实际并不存在的名称、日期、事实或关系。例如，“玛丽·居里在1921年发现了胰岛素”，而实际发现者为弗雷德里克·班廷和查尔斯·贝斯特。​
• 上下文幻觉：模型的响应与指令或用户意图不符。例如，用户询问药物副作用，模型却提供药物功效信息。​
• 逻辑幻觉：模型做出存在缺陷的推论，出现自相矛盾或违背逻辑推理的情况。例如，“所有的猫都是动物。所有的动物都有翅膀。因此，所有的猫都有翅膀”。​

虽然这些对普通的聊天机器人来说可能很有趣，但在法律、医疗或金融环境中却存在极大风险。OpenAI的研究显示，在医疗保健相关任务中，近40%的人工智能生成回答包含事实性错误或幻觉内容。

而在现实世界的应用中，比如让人工智能聊天机器人推荐医疗方案或总结法律文件，幻觉会造成不便，严重时还会危害生命。

人工智能幻觉的成因

导致人工智能模型出现幻觉的因素众多，主要包括以下几点：

• 过拟合：当模型过度契合训练数据时，将难以对新输入数据进行有效泛化，在面对新情况时易产生错误与幻觉。​
• 训练数据质量欠佳：若训练数据存在噪声、信息不完整或缺乏多样性等问题，模型可能学习到错误模式，进而输出不可靠内容。此外，若数据分布随时间发生变化，模型也可能基于过时模式产生幻觉。​
• 数据存在偏见：人工智能系统会放大训练数据中的偏见，导致预测结果出现扭曲或不公平现象，不仅降低模型准确性，还会损害其可信度。​

先进模型仍存在幻觉的原因

深入探究大型语言模型的工作机制，有助于理解幻觉产生的根源。此类模型本质上是基于海量数据集训练的概率性下一个令牌预测器，其并不具备事实核查能力，仅能完成模式匹配。尽管微调、指令调整和提示工程等技术有助于减少幻觉，但无法从根本上消除。其原因主要包含如下几点：

• 缺乏基础知识储备：大型语言模型并不真正“理解”事实，其内容生成仅基于相关性。​
• 训练数据存在噪声：不完整、相互矛盾或存在偏见的数据，导致模型泛化能力不足。​
• 过度泛化问题：模型可能不恰当地将模式广泛应用于不适用场景。​
• 推理能力缺失：模型虽能模拟推理过程，但无法真正理解逻辑关系或因果联系。​
• 来源验证困难：大型语言模型在生成引用内容时，常混杂真实与虚假信息来源。​

因此，构建值得信赖的人工智能应用程序，亟需科学合理的测试方法。

传统测试方法的局限性

你可能会想，“我们不能像测试软件一样测试人工智能吗？”

答案是否定的。

传统软件测试依赖于确定性的行为表现，即在相同输入条件下期望获得相同输出结果；而大型语言模型具有不确定性，相同的指令可能因上下文、模型温度设置或微调方式的不同，产生不同的输出结果。

即便借助自动化测试框架，也难以对大型语言模型响应内容的真实性、上下文一致性、语气以及是否符合用户意图等方面进行有效评估，尤其是在答案表面看似正确的情况下，传统测试方法的局限性更为凸显。在此背景下，人在循环（HITL）测试应运而生，成为解决这一问题的关键。

人在循环（HITL）测试：AI过度自信的解药

人在循环测试是一种结构化方法，将人（领域专家、测试人员、用户等）置于大型语言模型验证的核心位置，充分发挥人类的推理能力、上下文感知能力以及批判性思维，对人工智能生成的响应进行策划、判断、优化和完善。

这并不意味着要抛弃自动化，而是强调将算法智能与人类判断有机结合。在该测试过程中，人类对人工智能生成的输出，尤其是高风险应用场景下的输出进行评估，并就以下方面提供反馈：

• 事实的正确性；​
• 上下文相关性；​
• 伦理或偏见问题；​
• 幻觉的存在；​
• 语调与意图的契合度。​

HITL测试的关键组成部分

• 即时评价：由人类评估模型的响应是否准确反映了输入指令。​
• 事实验证：依据可靠信息源或专业领域知识，对每一个输出内容进行核查。​
• 错误标注：对错误进行分类，涵盖事实性错误、逻辑缺陷、语调不匹配以及幻觉类型等类别。​
• 严重程度评分：按照错误所造成的影响程度进行评分，区分轻微不一致与严重错误信息。​
• 反馈循环：将响应结果用于模型再训练（基于人类反馈的强化学习，RLHF）、优化指令，或对失败模式进行屏蔽处理。​

工作流程：实际的HITL测试

我们可以将其拆解为一个典型的循环流程：

• 指令与响应生成：人工智能针对涵盖预期应用场景的预定义指令生成响应内容。​
• 人工评估与标记：领域专家（或经过专业培训的测试人员）依据准确性、一致性、完整性、敏感度等预定义标准，对响应进行评估。​
• 标注与反馈记录：测试人员标记存在幻觉的响应，评定其严重程度，并提出修正建议。​
• 模型优化或指令迭代：基于分析结果，使用更优质的数据对模型进行微调，或重新构建指令以增强清晰度与约束性。​
• 验证循环：对优化后的模型重新进行测试，重复上述流程，直至幻觉出现频率降低至可接受阈值以下。​

HITL应用示例：一个测试框架样本

以如下测试周期为例：

输入：

提示：“总结美国《清洁空气法》的关键条款。”

模型输出：

“1990年通过的《清洁空气法》禁止柴油发动机的所有排放，这是第一部应对全球变暖的法律。”

人工审核：

事实1：《清洁空气法》于1963年通过，并在1970年、1977年和1990年进行了修订。

事实2：该法案限制了柴油排放，但并未完全禁止。

事实3：其关注重点是空气污染物，而非全球变暖。

采取措施：

• 将输出标记为“幻觉”，认定存在3个严重错误。​
• 提交更正版本用于模型再训练。​
• 使指令表述更加具体。​
• 将该响应作为案例纳入指令工程指南。​

现实案例：医疗保健领域的AI应用

以基于大型语言模型（LLM）的医疗保健聊天机器人为例，当患者询问：“我可以把布洛芬和降压药一起服用吗？”

人工智能回答：“可以，布洛芬与降压药一起使用是安全的。”

但实际情况并非总是如此，在某些情形下，布洛芬可能导致血压升高，或与血管紧张素转换酶（ACE）抑制剂发生相互作用。

在此情况下，HITL测试机制将采取以下操作：

• 将人工智能的响应标记为存在幻觉且具有危险性。​
• 记录事实更正内容（例如，“建议咨询医生；布洛芬在某些情况下可能导致血压升高。”）​
• 对模型进行重新训练，或在工作流程中添加警示指令。​
• 设置备用方案，将敏感查询转接至人工客服处理。​

HITL测试的好处

• 降低幻觉发生率：通过持续测试与人类反馈，大型语言模型能够生成更真实、更具相关性的响应。​
• 增强信任与合规性：在医疗保健、金融和法律等关键领域，法规遵从性与可解释性至关重要，而人工监督可有效满足这两方面需求。​
• 防范偏见与伦理风险：HITL测试有助于发现自动化测试可能遗漏的事实错误以及存在问题的内容，如偏见、刻板印象、有害信息等。​
• 提升用户体验：无幻觉的响应能够增强用户信任度、满意度，促进用户对相关应用的使用。​

HITL测试的适用场景

• 模型开发阶段：尤其适用于特定领域的大型语言模型或经过微调的应用程序。​
• 高风险应用场景：包括医疗、法律、金融等涉及人身安全的领域。​
• 部署后监控：建立反馈循环，及时捕捉实际应用环境中出现的幻觉现象。一项针对医疗保健领域的研究显示，当人类临床医生参与决策过程时，人工智能诊断工具中80%的误诊问题得以纠正，充分体现了人工验证在关键应用中减轻幻觉危害的重要性。​

扩展HITL：自动化与人类专业知识的结合

尽管HITL测试优势显著，但其有效扩展需创新整合工具与人力。企业通常采用以下方式：

• 运用红队攻击和对抗性测试对模型进行压力测试；​
• 生成合成指令以覆盖边缘情况；​
• 通过众包方式征集评论员进行低风险评估；​
• 利用自动分类器标记潜在的幻觉内容（后续交由人工测试人员处理）；​
• 搭建反馈用户界面仪表盘，便于业务相关人员和专家对输出内容进行评分与标注。​

预防人工智能产生幻觉的策略：HITL测试最佳实践

• 制定结构化评估标准，用于指导人类对大型语言模型输出进行评估；​
• 吸纳不同领域专家参与，以识别细微错误；​
• 对低风险测试实现自动化，同时将高风险响应交由人工处理；​
• 建立反馈循环，用于模型再训练与优化；​
• 开展持续性测试，而非单次测试。​

并非所有应用场景都需同等程度的审查，但对于关键任务、受法规约束或涉及伦理敏感性的应用，HITL测试是不可或缺的首要防护措施。以下是亟需应用HITL测试的典型场景：

• 医疗保健：诊断、治疗建议、保险索赔摘要。​
• 法律：案例法分析，合同起草，监管备案。​
• 金融：投资建议、投资组合见解、风险评估。​
• 客户服务：解决纠纷、账单查询和产品指导。​
• 新闻与媒体：事实报道，引文生成，偏见控制。​

未来展望：人工智能幻觉能否被彻底消除？

从目前的技术发展趋势来看，彻底消除人工智能幻觉或许难以实现。然而，我们能够对其进行有效管理，并将其发生率降低至可接受的水平，尤其是在处理敏感应用场景时，这种控制显得尤为关键。

人工智能在诸多领域展现出强大的辅助能力，但其并非万无一失的可靠伙伴。若对人工智能幻觉放任不管，其不仅会削弱用户对人工智能系统的信任，误导使用者做出错误决策，还可能使相关组织面临潜在风险。而人在循环（HITL）测试的意义，不仅在于检验模型输出内容的正确性，更在于通过人类的参与和反馈，推动模型不断优化与改进。

随着大型语言模型逐渐成为企业人工智能架构的核心组成部分，HITL测试将不再局限于可选择的质量保证环节，而是会演变为一项标准化的治理实践。如同代码需要经过同行评审一样，未来LLM的输出内容也必然要经过严格的人工审核，事实上，这一趋势已在逐步显现。

人工智能技术虽然是人类创造的产物，但确保其安全、可靠运行的责任却始终掌握在人类手中。

AI幻觉及HITL测试常见问题总结

人工智能模型能否实现实时自我幻觉识别？

人工智能模型可通过反馈循环机制与幻觉检测工具，实现对部分幻觉现象的实时识别。然而，受限于当前技术水平，其识别的准确性仍存在一定局限性。

人工智能幻觉是否能够被完全杜绝？

遗憾的是，人工智能幻觉无法被彻底消除。但通过优化训练数据、增强模型与现实世界的关联，以及引入人类验证等方式，可显著降低幻觉出现的频率。

HITL测试能否发现传统AI验证方法遗漏的问题？

HITL测试能够充分发挥人类专业知识的优势，有效识别传统人工智能验证手段可能忽视的细微错误与故障模式。人工监督有助于捕捉人工智能模型在处理边缘场景及复杂情境时存在的潜在问题，弥补自动化验证的不足。

原文标题：​​Taming AI Hallucinations: Mitigating Hallucinations in AI Apps with Human-in-the-Loop Testing​​，作者：Indium​