微软重磅开源 GraphRAG:新一代 RAG 技术来了! 原创 精华

发布于 2024-7-8 08:07
浏览
0收藏

 1、为什么需要 GraphRAG? 

7月3日,微软重磅开源了基于图的 RAG -- GraphRAG。在 GitHub 上发布后,短短4天时间,该项目迅速获得了 6000 Stars!足见这个项目的热度!

Github 地址:https://github.com/microsoft/graphrag

强化主流大模型,比如:GPT-4o、Qwen-2、文心一言、GLM-4、Llama-3 的搜索、问答、摘要及推理等功能,RAG 已成为这些国际国内知名 AI 大模型不可或缺的核心技术。

过往的 RAG 实践多沿袭简约路线:文档简化为文本字符串,切割为零碎段落,继而映射进向量空间,实现语义相似度的直观展现。然而,这种直白策略在面临大规模数据全局理解的挑战时显露短板——它偏重局部文本匹配,忽略了对整体数据生态的全面洞察。

微软在此基础上另辟蹊径,引入“Graph”图技术概念,围绕文本内的实体要素(包括人物、地点、核心概念等)编织庞大知识图谱网络。这一创新不仅深化了大模型对文本内部复杂关联与互动的理解力,还极大提升了其内容生成与信息检索的智慧边界,引领 RAG 迈向更广阔的智能应用领域。

GraphRAG 方法可以归结为:利用大语言模型从您的私有知识中提取知识图谱;将此图谱聚类成不同粒度级别的相关实体;对于 RAG 操作,遍历此知识图谱以得到实体之间的关系,从而为得到最终的答案提供更多全局的关系知识。

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区

 2、GraphRAG 架构设计剖析 

Graph RAG 技术的本质,在于实施一个两阶段策略来建立图谱驱动的文本索引体系:首步,从原始文献中挖掘并构建实体的知识图谱;紧接着,针对图谱中高度关联的实体集群,预先制作综合性社区摘要内容。

Graph RAG 的第一步就是将源文档分割成较小的文本块,这些文本块随后被输入到大模型中以提取关键信息。

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区

在这个过程中,大模型不仅要识别文本中的实体,还要识别实体之间的关系,包括它们之间的相互作用和联系,用来构建一个庞大的实体知识图谱,其中包含了数据集中所有重要实体和它们之间的关系。

通俗来讲,这一流程堪比烹饪前的食材准备,以处理西瓜为例:一个完整的大西瓜(原始数据)摆在面前时,我们首先要将其切分成可管理的小块(数据片段),比如瓜瓣或是更小的瓜丁,并留意这些瓜块之间的自然连接点,以便之后无论是混搭果盘还是精制果汁,都能得心应手,处理起来更加高效顺畅。

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区

随后,GraphRAG 采纳了先进的社区检测算法,旨在图谱中精准识别出模块化社区。这些社区由紧密相连的节点构成,它们之间的相互作用相较于图谱其余部分更为频繁和显著,从而自然地将庞大的图谱切割成多个小型、更便于分析和管理的区块,每一区块均聚焦于数据集内的独特主题或概念范畴。

依托于上述图形索引的构建,GraphRAG 进一步深化其分析层次,通过生成社区摘要来概括每个社区内的所有实体及其相互关系。这些摘要作为对特定数据集区域的精炼概览,极大地促进了用户对复杂数据的高层次理解。

为提升信息质量和相关性,GraphRAG 引入了一个大模型评分机制,对所有生成的答案进行0至100分的量化评估。评分过低的答案将被自动剔除,而高分答案则被视为优质候选,依据其得分从高到低进行排序。随后,这些精选的答案被逐步整合至新的上下文窗口中,直至达到预设的词数上限,确保最终呈现的信息既丰富又精炼。

以用户查询“如何进行有效减肥?”为例,GraphRAG 能够智能地利用与减肥主题紧密相关的社区摘要,快速生成多个初步答案片段。这些片段经过系统的汇总与精炼处理,最终融合成一个全面、针对性的回答,直接响应用户的需求。具体的 workflow 如下图所示:

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区


微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区

 3、GraphRAG 相比传统 RAG 的优点 

Graph RAG 显著强化了全局检索能力,尤擅应对大规模数据集,为大模型带来关键助力:

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区


  1. 拓展上下文视野:克服传统大模型上下文窗口局限,GraphRAG 利用图索引分解文本为小型社区,显著提升模型对长文本的理解与生成能力。​
  2. 全局精准查询:超越传统 RAG 的局部检索限制,GraphRAG 借助社区摘要技术,从全局数据中萃取信息,确保答案的全面与精准。​​​
  3. 丰富摘要生成:并行生成并汇总社区摘要,GraphRAG 促进大模型跨社区、多角度信息整合,生成更高质、更多元的摘要内容。
  4. 优化算力与资源:GraphRAG 模块化处理大规模文本,降低算力需求,同时减少 token 使用,高效生成高质量摘要。
  5. 强化检索与生成协同:结合检索与生成,GraphRAG 提升内容准确性与相关性。
  6. 深化数据集结构理解:构建知识图谱与社区,GraphRAG 洞悉文本内容及数据集结构。
  7. 提升复杂问题处理能力:GraphRAG 检索并摘要多社区信息,深化对复杂问题的理解,尤其擅长处理 PDF、Word 文档。​

4、GraphRAG 效果如何? 

为了验证 GraphRAG 效能,以复杂、意见分歧、信息不全的 VIINA 数据集为试金石,该数据集因新近发生未入大模型训练。微软整合俄乌冲突千余篇英文报道,创建大模型检索专用数据集。因数据量庞大,采用 RAG 技术处理。微软团队率先对传统 RAG 与 GraphRAG 发起探索性查询测试。

查询语句:“Novorossiya 做了什么?”

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区

传统 RAG 没能回答这一问题,因为从插入上下文窗口的源文件来看,没有任何文本片段提及“Novorossiya”,从而导致了这一失败。

相比之下,GraphRAG 能够识别查询中“Novorossiya”实体,助大模型构建图谱,联结原文生成带出处的高质答案。如下图,L大模型断言 Novorossiya 目标某银行,基于图谱中两实体关系,源自原文片段。、

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区


为了更大范围评估 GraphRAG 的性能,微软在一个100万 tokens、超复杂结构的数据集上,包含娱乐、播客、商业、体育、技术、医疗等内容,进行了综合测试。

微软重磅开源 GraphRAG:新一代 RAG 技术来了! -AI.x社区

总之,结果表明,GraphRAG 全局检索方法在全面性和多样性上优于传统 RAG,其中 GraphRAG 在播客与新闻数据集上表现卓越,兼具高度多样性与全面性,堪称目前最优秀的 RAG 方案。此外,Grap RAG 对 tokens 需求低,有效降低了开发成本。


本文转载自公众号玄姐聊AGI  作者:玄姐

原文链接:​​https://mp.weixin.qq.com/s/21QmpFRMuWcBTPb8VPAIOA​


©著作权归作者所有,如需转载,请注明出处,否则将追究法律责任
已于2024-7-24 13:00:26修改
收藏
回复
举报
回复
相关推荐