从结构化到多模态 RAG 文档解析工具选型指南 原创

在 RAG（Retrieval-Augmented Generation）架构系统中，从文档中提取信息是不可避免的，而系统输出的质量在很大程度上取决于从源内容中提取信息的效果。本文结合近期一篇 RAG 调查报告的发现与我之前的部分研究，对 RAG 系统如何解析和整合结构化、半结构化、非结构化和多模态知识进行了简明概括。

下文我们详细剖析之。

一、多模态数据 RAG 文档解析工具选型

1、结构化知识：数据按规则组织的范式

1.1 知识图谱：易于查询，便于使用，难以集成

知识图谱把实体织成一张高密度的关系网，天生适合机器“按图索骥”。对 RAG 来说，它像一份精确定位的高清地图--坐标清晰、语义饱满。真正的难题不是“找不到路”，而是如何让大模型在错综复杂的路口选出最短、最准的那条，并把沿途的地标翻译成自然语言讲给人听。

• 如何从海量知识图谱中提取有意义的子图？
• 如何将结构化的图谱数据与自然语言对齐？
• 随着图谱规模的增长，系统是否仍能保持高效？

一些有前景的解决方案正逐步解决这些问题：

• GRAG：从多个文档中检索子图，生成更聚焦的输入。
• KG-RAG：采用探索链算法（Chain of Explorations，CoE）优化基于知识图谱的问答性能。
• GNN-RAG：采用图神经网络（GNN）检索和处理来自知识图谱（KG）的信息，在数据输入大语言模型（LLM）之前先进行一轮推理。
• SURGE：利用知识图谱生成更具相关性和知识感知（knowledge-aware）的对话，从而提升交互质量。

在特定领域，诸如 SMART-SLIC、KARE、ToG2.0 和 KAG 等工具已充分证明，知识图谱作为外部知识源可以发挥多么强大的作用，可帮助 RAG 系统同时提升准确性和效率。

1.2 表格：结构紧凑、数据密集且解析困难

表格同样是“井然有序”的数据，却与知识图谱截然不同：小小几行几列，就能把海量信息压得密不透风。可要教会机器“读”懂它们，又是另一场硬仗——行列之间暗藏的公式、跨表引用的关系、各业务领域独有的缩写和口径，让同一张表在 A 场景是“资产”，在 B 场景可能就成了“噪音”。好在已经有一批工具专门替模型啃这块硬骨头：

• TableRAG：结合查询扩展（query expansion）、表结构与单元格检索（schema and cell retrieval），在将信息传递给语言模型前精准识别关键内容。
• TAG 和 Extreme-RAG：更进一步整合了 Text-to-SQL 能力，使语言模型能够直接“操作数据库”。

核心结论？若能有效解析表格，它们就是价值极高的信息源。

2、半结构化数据：HTML、JSON 以及网络数据的杂乱中间态

半结构化数据像一条“半敞的门帘”：既没完全敞开，也没彻底关死。HTML、JSON、XML、邮件……它们自带标签与层级，却各唱各的调，缺胳膊少腿是常态。以 HTML 为例，同一个 `<div>` 在 A 站点是正文，在 B 站点可能只是广告壳，标签、属性、文本与图片犬牙交错。  

想把这团乱麻变成模型可读的结构，业界早已备齐工具链：BeautifulSoup、htmlparser2、html5ever、MyHTML、Fast HTML Parser 等库，一键把 HTML 解析成 DOM 树；HtmlRAG 更进一步，直接把原始标记送进 RAG，保留语义与层级，省得模型“脑补”。  

要让 RAG 读懂网页而不胡说八道，先把 HTML 捋成树，再喂给模型——这是绕不开的第一步。

3、非结构化知识：PDF、纯文本（既杂乱又有内在逻辑）

真正的硬仗在这里。  

非结构化数据像一片未经开垦的原始森林--论文、报告、扫描件、随手拍的照片，格式横冲直撞，排版毫无章法。PDF 更是其中的“泥石流”：一页之内，栏位、图表、脚注、批注挤成一团；换个文件，字体大小、边距、水印又全变样。偏偏学术、法律、金融这些“高精尖”场景，90% 的核心信息都锁在这种文件里。  

要让 RAG 系统吞得下、嚼得碎、还能准确吐出答案，就得先给这片原始森林开出一条条可通行的“数据栈道”。

我们可以使用更智能的 OCR 技术、版面分析技术和视觉内容 - 语言融合技术：

• Levenshtein OCR 和 GTR：结合视觉和语言线索来提高识别准确率。
• OmniParser 和 Doc-GCN：专注于保留文档的结构。
• ABINet：采用双向处理机制提升 OCR 系统的表现。

与此同时，一大波开源工具的出现使得将 PDF 转换为 Markdown（一种对 LLM 更友好的格式）的过程变得更加容易。有哪些工具？

• GPTPDF：利用视觉模型解析表格、公式等复杂版面结构，并快速转换为 Markdown 格式——该工具运行高效且成本低廉，适合大规模部署。
• Marker：专注于清除噪声元素，同时还保留原始格式，因而成为处理研究论文和实验报告的首选工具。
• PDF-Extract-Kit（MinerU 采用的 PDF-Extract-Kit 模型库）：支持高质量内容提取，包括公式识别与版面检测。
• Zerox OCR：对每页文档进行快照处理，通过 GPT 模型生成 Markdown，从而高效管理复杂文档结构。
• MinerU：一种综合解决方案，可保留标题/表格等原始文档结构，并支持受损 PDF 的 OCR 处理。
• MarkItDown：一种多功能转换工具，支持将 PDF、媒体文件、网页数据和归档文件转为 Markdown。

4、多模态知识：图像、音频与视频数据一同入场

纯文本出身的传统 RAG，一旦遇到图片、音频或视频就瞬间“失明”--答案往往流于表面，因为关键线索藏在像素、波形或帧序列里，而非字符之间。  

新一代多模态 RAG 的做法是“把不同感官翻译成同一种语言”：将文本、图像、音频、视频统统投射到同一个共享嵌入空间，实现一次检索、跨模态命中。核心步骤如下：

• CLIP：在共享嵌入空间中对齐视觉与语言模态。
• Wav2Vec 2.0 和 CLAP：专注于建立音频与文本的关联。
• ViViT：在视频领域，专为捕捉时空特征而设计。

这些技术都是基础模块。随着系统的不断演进迭代，我们将看到能够一次性从文档、幻灯片及语音内容中提取洞见的 RAG 应用。

5、结语

在一线实际工程里，我把开源生态试了个遍，最终把票投给 MinerU--它像一把“瑞士军刀”，能把最棘手的 PDF 拆得干净利落。  

当然，你也可以亲手造轮子：自己掌控每一行代码、每一次加密、每一次缓存命中。代价是熬夜调 OCR、对齐坐标、修版面，但换来的是更高的可控性、更稳的隐私墙，以及随时可插拔的升级空间。下一篇，我会把踩过的坑和调优脚本打包成清单，直接复用。  

当模型不再只认得文字，而能同时听懂图表、声音和影像，我们才算真正迈进了“全感知”时代。

好了，这就是我今天想分享的内容。

本文转载自​​​玄姐聊AGI​​  作者：玄姐