
超越FastGPT、Dify!Agentic CoT 架构实现RAG回答准确率突破94%大关 原创
特定领域的 QA 系统不仅需要生成流畅的回答,还需确保基于专业知识的高事实准确性。尽管检索增强生成(RAG)框架改进了上下文调用能力,但在异构数据整合与推理一致性方面仍存在不足。为此,清华大学提出 DO-RAG,一种可扩展、可定制的混合 QA 框架,融合多级知识图谱构建与语义向量检索技术。
DO-RAG 采用创新的Agentic CoT架构,从多模态文档中提取结构化关系,构建动态知识图谱以提升检索精度。在查询阶段,它结合图谱与向量检索结果生成上下文感知响应。实验表明,在数据库和电气领域,DO-RAG 的召回率接近完美,答案相关性超过 94%,性能较基线提升 33.38%。凭借可追溯性、适应性和高效性能,DO-RAG 为多领域高精度 QA 提供了可靠解决方案。
系统概述
DO-RAG 包括四个关键阶段:
- 多模态文档处理:对输入文档进行分块与结构化处理;
- 动态知识图谱构建:通过多级实体关系提取,生成结构化知识表示;
- 混合检索:结合图遍历与密集向量搜索,精准定位相关知识;
- 多阶段生成:通过上下文感知的生成与后序细化,输出事实准确且用户对齐的答案。
知识库构建
将异构领域数据(如日志、技术手册、图表和规范)解析为有意义的文本块单元。这些文本块与其向量嵌入一起存储在支持pgvector的PostgreSQL数据库中。与此同时,一个基于代理思维链的实体抽取流程会将文档内容转化为结构化的多模态知识图谱(MMKG),该图谱能捕捉系统参数、行为特征和依赖关系等多粒度关联信息。
DO-RAG 采用多智能体分级流水线并行抽取结构化知识,如下图所示总共包含四个不同抽象层级的专用智能体:
• High-Level Agent:识别文档结构要素(如章节、段落)
• Mid-Level Agent:抽取领域特定实体(如系统组件、API接口、参数)
• Low-Level Agent:捕获细粒度操作关系
• Covariate Agent:为现有节点附加属性(如默认值、性能影响)
在构建知识图谱的时候,为避免信息冗余,使用新实体嵌入和现有实体嵌入之间的余弦相似性强制执行重复数据删除。此外,还合成了概要节点以对相似实体进行分组并降低图谱的复杂性。
查询分解和混合检索
如下图所示,在用户交互时,查询首先通过意图识别模块进行分解,被拆分为一个或多个代表独立信息意图的子查询。系统首先通过将初始查询向量化匹配知识图谱中的相关实体进行检索,随后执行多跳遍历以扩大检索范围,从而获取基于实体关系和元数据的结构化领域上下文。
随后,将图谱上下文与原始查询结合,使用LLM重写成更精准、无歧义的优化查询。该优化查询经向量编码后,用于从向量数据库中检索语义最相关的top-k文本块。
此时,系统整合所有相关信息源:原始用户查询、优化后的查询、知识图谱上下文、检索到的文本块以及历史交互记录。这些组件被集成到prompt中用于生成内容。
答案生成
如下图所示,最终答案是使用分阶段提示策略生成的。初始 naive 提示指示 LLM 仅根据检索到的证据进行回答,同时明确避免不受支持的内容。LLM的输出内容接着会使用 refinement prompt 重新构建和验证答案,最后是一个 condensation 阶段,使语气、语言和样式与原始查询保持一致。
DO-RAG 还根据精细化的答案生成后续问题。最终输出包括:
- 一个经过修饰的、可验证的答案
- 追踪答案到来源的引文脚注
- 一组有针对性的后续问题。
如果系统无法找到足够的证据,则要求模型返回“I do not know”,以保持可靠性并防止幻觉。
结论
实验数据显示,在SunDB数据库和电气工程领域测试中,DO-RAG系统展现出卓越的检索能力,其上下文召回率逼近理论极限值(≈1.0),回答准确率突破94%大关。相较于主流RAG解决方案,该系统实现了33.38%的综合性能跃升。
尤其是引入动态知识图谱架构后,系统检索质量获得显著提升。以DeepSeek-V3模型为例,该架构使得答案匹配准确率提升5.7个百分点,上下文筛选精度提高2.6个百分点,验证了结构化知识表示的有效性。
本文转载自AI 博物院 作者:longyunfeigu
