基于RAG的AI知识库如何评估优化 原创

在评估AI知识库（尤其是RAG类型）时，确实面临一些挑战，因为其输出的正确性和相关性难以像数据抽取或Text2SQL系统那样直接通过标准答案来衡量。以下是一些推荐的评估指标和方法，可以帮助你更全面地评估RAG系统的性能：

1. 检索质量评估

• 召回率@k（Recall@k）：衡量检索到的相关文档占所有相关文档的比例。
• 精确率@k（Precision@k）：衡量检索到的前k个文档中相关文档的比例。
• 平均倒数排名（MRR）：衡量第一个正确答案的倒数排名的平均值。
• 平均精度均值（MAP）：衡量每个查询的平均精度分数的平均值。

2. 生成质量评估

• 准确率（Accuracy）：评估生成答案是否包含真实答案的内容。
• 忠实度（Faithfulness）：衡量生成的答案是否忠实于检索到的上下文。
• 内容完整性（Completeness）：评估生成答案是否覆盖了用户需求的所有要点。
• 答案相关性（Answer Relevance）：衡量用户问题与生成答案之间的相关性。
• 流畅性（Fluency）：评估生成答案的语言流畅性。

3. 语义相似性评估

• ROUGE-L：通过最长公共子序列的F1分数评估生成答案与参考答案之间的词汇相似性。
• BERTScore：使用上下文嵌入的token级余弦相似度评估生成答案与参考答案之间的语义相似性。

4. 人类评估

• 主观评估：由领域专家评估答案的准确性、完整性、相关性、流畅性和溯源性。
• LLM评分：利用大型语言模型作为评估工具，评估生成答案的质量。

5. 自动化评估框架

• RAGAS框架：评估答案是否忠实于上下文、是否充分利用了上下文等。
• RAGCHECKER框架：提供细粒度的诊断指标，评估检索和生成模块的性能。

6. 系统性能指标

• 单次查询成本（CPQ）：计算每次查询的GPU算力和存储成本。
• 99分位延迟（P99）：监控系统响应时间，优化热点查询结果的缓存。

进一步通过不同维度的评估指标和方法建议，结合学术界和工业界的常见实践：

一、核心评估维度与指标

1. 检索（Retrieval）阶段评估

目标：衡量援引文档的相关性和召回能力。

• 相关性评分（如1-5分）：由专家对检索结果与问题的相关性打分，计算平均分或一致性（Cohen's Kappa）。
• Hit Rate@K：前K个检索结果中至少包含一个相关文档的比例。
• MRR（Mean Reciprocal Rank）：相关文档的排名倒数均值（侧重高排名相关文档）。
• NDCG@K：考虑文档相关性和排序位置的加权评分（适合多等级相关性标注）。
• 常用指标：
• 人工标注辅助：

2. 生成（Generation）阶段评估

目标：评估回复的准确性、流畅性和信息完整性。

• Faithfulness（忠实性）：生成内容是否与援引文档一致（可通过NLI模型或人工判断）。
• Factual Accuracy：抽样验证生成内容中事实性陈述的正确性（如对比权威数据库）。
• ROUGE/Lexical Overlap：对比生成文本与参考答案的词重叠率（适合事实性回答）。
• BLEU：机器翻译常用指标，可迁移到生成文本评估。
• BERTScore：基于语义相似度（使用BERT嵌入计算生成文本与参考答案的相似度）。
• 基于参考答案的指标（需标注标准答案）：
• 无参考答案的指标：

3. 端到端（End-to-End）评估

目标：综合评估系统整体表现。

• Answer Relevancy：使用LLM（如GPT-4）评估生成回答与问题的相关性（提示工程设计评分规则）。
• Citation Accuracy：检查援引文档是否确实支持生成内容（可通过NLP模型自动验证）。
• Likert Scale评分（如1-5分）：从“完全错误”到“完全正确”对回复质量打分。
• 用户满意度调查（如CES、NPS）：模拟真实用户反馈。
• 人工评分（黄金标准）：
• 自动化替代指标：

二、针对Text2SQL和知识库的特殊考量

1. Text2SQL评估

• 执行正确性：生成的SQL在数据库执行后的结果是否与标准答案匹配（精确匹配或结果集相似度）。
• 语法有效性：SQL是否能被解析器正确解析（如通过​​EXPLAIN​​验证）。

2. 知识库援引评估

• 文档覆盖度：援引文档是否覆盖了回答中的所有关键事实（可通过实体/关系抽取对比）。
• 冗余性：援引文档是否包含无关内容（计算援引文本与生成内容的冗余比例）。

三、推荐评估框架与工具

1. RAGAS框架（专为RAG设计）

• ​​​Faithfulness​​：生成内容与援引文档的一致性。
• ​​​Answer Relevancy​​：回答与问题的相关性。
• ​​​Context Relevancy​​：援引文档的浓缩程度（剔除无关内容）。
• 开源库（GitHub），提供以下自动化指标：

2. LLM-as-a-Judge

• 用GPT-4/Claude等高级模型作为“裁判”，设计评分提示模板（示例）：

请根据以下标准评分（1-5分）：- 相关性：回答是否直接解决用户问题？- 准确性：内容是否与援引文档一致？- 完整性：是否覆盖问题所有方面？问题：[用户问题]援引文档：[文档内容]生成回答：[回答文本]

人工评估基准

• 构建小规模黄金测试集（100-200例），涵盖多样性问题类型，定期人工复核系统表现。
• 分层评估：

     a.第一层：自动化指标（如RAGAS）快速迭代。

     b.第二层：LLM-as-a-Judge中等频率抽样。

     c.第三层：人工评估关键场景。

• 关注业务目标：

     a.若为客服场景，侧重回答正确性；若为探索性问答，可容忍部分冗余但需高召回率。

四、传统RAG的优化实践

传统 RAG 无法解决复杂的问题场景：

• 传统 RAG 在跨文档召回时的成功率低
• 用户的需求日益复杂，需要多篇文档甚至结合工具调用才能解答
• 知识资产无组织，检索低效，难以发挥出应有价值

解决方案：知识图谱+DeepSearch

1. 使用轻量化LightRAG方案，构建知识图谱，解决语义理解对齐和知识跨文档的难题
2. 使用DeepSearch迭代式搜索方案，综合多源、多轮搜索结果，利用大模型的推理能力，提高问答的准确性

优化1：结合迭代式搜索框架的检索Agent

把传统 RAG 检索（含稀疏检索、稠密检索）、local 图谱检索、global 图谱检索、代码检索等，都作为一个检索工具，交给大模型来选择。大模型基于推理能力，结合每一轮的检索结果，判断是否需要以及使用什么工具进行下一轮检索。

优化2：结合深度定制工具的领域助手agent

• query理解: 通过让模型自主决定调用哪些工具解决问题。
• 上下文重写: 利用上下文信息进行查询重写，提升查询与知识标签的匹配度，增强理解能力。
• 工具调用: 引入工具调用机制，支持更复杂的操作流程，提高解决问题的能力。
• 优化匹配： 利用领域图谱进行改写；有效解决口语化表达与专业文档之间的匹配难题，显著提升匹配效率和准确性。

经过优化后，传统 RAG 方案做到的成功率：

• 文档召回率80%+
• 最终生成正确率60%+

五、挑战与解决方案

• 主观性难题：通过多标注者投票+一致性检验降低偏差。
• 成本权衡：自动化指标覆盖80%用例，人工聚焦20%高风险场景（如医疗、金融）。

通过组合量化指标与定性分析，可系统化评估RAG知识库的综合质量。

总而言之，评估RAG系统的性能需要综合考虑检索质量、生成质量、语义相似性、人类评估以及系统性能等多个方面。通过结合上述指标，可以更全面地衡量RAG系统的性能，并根据评估结果不断优化数据预处理、检索策略、LLM微调和Prompt设计等环节。

参考文献：

​​从传统 RAG 到知识图谱 + Agent，知识库 AI 问答成功率终于达到 95% 了，来自蚂蚁集团的经验​​

本文转载自​​​数字化助推器​​​  作者：天涯咫尺TGH