多模态RAG哪家强？9 个 Embedding、4 类 MLLMs、4 大框架实景比拼

现有文档 RAG 评测都在不足：数据太小、查询太假、证据太单一。

说到多模态大模型，国内快手也开源了Keye-VL-1.5-8B（国产大模型越来越好，就在昨天Claude点名全面封禁中国公司，离大谱），可本地部署，大家可以试试！​​​​

不管RAG到Multi-RAG未来的趋势还是Agentic RAG，PaperAgent也准备了实操指南：​​从Agent到Flow Agent，动手搭建自己的AI助理智能体​​​

1.现有评测的不足

图 2：主流 benchmark 查询示例，信息不足或已提前泄露答案。

2.DOUBLE-BENCH 长啥样？

图 4：语料与语言分布，外圈为语言占比。

3.三步打造“真”考题

图 3：DOUBLE-BENCH 构建流水线，红框为人工介入环节。

1️⃣ 元数据收集与清洗

• 10–50 页文档，GPT-4o 判语言，Docling & MinerU 做模态拆分（正文/表格/图）

2️⃣单跳查询合成

• 四原则：自包含、禁止泄露源、聚焦显著模态、多样自然。
• 迭代 refine：若检索返回 >5 候选页，则自动加入区分细节再生成，直到 ≤5。

3️⃣多跳查询合成

• LightRAG 建知识图谱 → 按“意图游走”选路径 → 逐跳替换实体并链式拼接。
• 人工审核逻辑严密性、答案唯一性、语法自然度。

4.实验结果

4.1 检索榜

表 3：主流 embedding 在 DOUBLE-BENCH 上的细粒度结果。

• 文本与视觉 embedding 差距已缩小到 2% 以内；多跳仍集体掉 20+ 点。

4.2 端到端 RAG 框架榜

表 4：RAG 框架检索与回答准确率对比。

• 检索决定上限：colqwen-gen 靠检索优势，在多跳上反超 MDocAgent。
• 过度自信现象：MDocAgent/ViDoRAG 即使没召回证据也强行回答，幻觉率 30–40 %。

4.3 MLLM 裸跑 vs 给证据

• 充分说明 DOUBLE-BENCH未被数据污染，模型靠“背题库”寸步难行。

表 5：MLLM 在“裸跑”与“开卷”下的准确率。

https://arxiv.org/pdf/2508.03644
Are We on the Right Way for Assessing Document Retrieval-Augmented Generation?

本文转载自​​​​PaperAgent​​