一篇综述：RAG复杂Query的4种优化方案 原创

Query Optmization

• 查询优化(Query Optmization)旨在提高LLMs理解和回答查询的效率和质量，尤其是在涉及复杂查询的检索增强生成（Retrieval-Augmented Generation, RAG）场景中。
• RAG通过动态检索和利用最新相关信息来弥补LLMs的局限性，从而提供一种成本效益高的解决方案，以应对LLMs可能产生看似合理但不准确回答的挑战。

四种主要的查询优化方法介绍

• 扩展（Expansion）

通过内部扩展和外部扩展两种方式，增加查询的覆盖范围和上下文信息。

内部扩展主要针对时间敏感性较低的查询，利用LLMs生成的伪文档进行扩展；

外部扩展则针对时间敏感性较高的查询，从外部知识源检索相关信息进行扩展。

例如：查询“2024年夏季奥运会乒乓球男单冠军的生日”

内部扩展可以通过LLMs生成与乒乓球冠军相关的伪文档

外部扩展则可以从知识库中检索冠军的生日信息。

• 分解（Decomposition）
• 将复杂查询拆分为多个简单子查询，分别进行检索和回答。
• 对于需要从多个来源获取事实的查询，可以将其分解为多个直接子查询，分别检索和回答，然后整合结果。
• 例如：查询“中国在2024年夏季奥运会中哪个项目获得的金牌最多”
• 将其分解为两个子查询：“中国在2024年夏季奥运会中乒乓球项目获得的金牌数”和“中国在2024年夏季奥运会中羽毛球项目获得的金牌数”，然后分别检索和比较结果。
• 消歧（Disambiguation）
• 识别和消除查询中的歧义，确保查询的明确性。
• 这包括对模糊查询进行澄清和对多轮对话中的查询进行重写，以消除歧义。
• 例如：模糊查询“2024年夏季奥运会乒乓球冠军”
• 将其澄清为两个明确的子查询：“2024年夏季奥运会乒乓球女单冠军”和“2024年夏季奥运会乒乓球男单冠军”。
• 抽象（Abstraction）
• 通过抽象查询的核心概念和意图，提供更广泛的视角，从而获得更全面和多样化的结果。
• 将具体的查询转化为更抽象的概念，以便更好地理解和回答复杂的多跳查询。
• 例如：查询“中国举办过几次奥运会”
• 将其抽象为“奥运会举办历史”，从而获得更全面的信息。

四种查询优化的操作方法介绍

扩展（Expansion）

1. 内部扩展：

步骤一：分析原始查询，识别关键概念。

步骤二：利用LLMs生成与关键概念相关的伪文档。

步骤三：将生成的伪文档与原始查询结合，形成扩展后的查询。

• 扩展后的查询能够提高检索结果的相关性，减少事实错误内容的产生。

2. 外部扩展：

步骤一：确定查询的时间敏感性和需要的外部信息类型。

步骤二：从外部知识源（如知识库或网络）检索相关信息。

步骤三：将检索到的信息与原始查询结合，形成扩展后的查询。

• 外部扩展能够显著提高对时间敏感性高的查询的准确性和全面性。

分解（Decomposition）

步骤一：分析复杂查询的结构和需求，确定需要分解的子查询数量和类型。

步骤二：将复杂查询分解为多个简单子查询，每个子查询针对一个具体的问题或事实。

步骤三：分别对每个子查询进行检索和回答，获取相应的结果。

步骤四：将各个子查询的结果进行整合，形成对原始复杂查询的全面回答。

• 分解后的子查询能够更准确地检索到相关信息，并且整合后的结果能够更好地回答原始查询。

消歧（Disambiguation）

步骤一：识别查询中的歧义元素，确定可能的多种解释。

步骤二：根据上下文信息和用户意图，选择最合适的解释。

步骤三：对查询进行重写或澄清，确保其明确性和准确性。

消歧后的查询能够更准确地检索到相关的信息，并且生成的回答更符合用户的真实需求。

抽象（Abstraction）

步骤一：分析查询的核心概念和意图，识别其抽象层面。

步骤二：将查询转化为更抽象的概念或主题，形成抽象后的查询。

步骤三：根据抽象后的查询进行检索和回答，获取更广泛和多样化的结果。

抽象后的查询能够提高检索结果的多样性和全面性，更好地满足复杂多跳查询的需求。

https://arxiv.org/pdf/2412.17558

本文转载自​​CourseAI​​，作者： CourseAI