构建靠谱的 Agentic RAG 工作流架构和落地实践 原创

RAG 系统生成不准确/无用回答是很常见的。

今天，我们来看看如何使用 Cleanlab Codex 来改进这一点。Cleanlab Codex 通常用于生产系统中，可以自动检测并解决 RAG 的不准确问题。

下文我们详细剖析之。

一、Agentic RAG 工作流架构设计

第一、Agentic RAG 工作流使用的技术栈

• 使用 LlamaIndex 进行编排；
• 使用 Milvus 作为自托管的向量数据库；
• 使用 Cleanlab Codex 验证回答；
• 使用 OpenRouterAI 访问最新的 Qwen3 C。

第二、Agentic RAG 工作流架构设计

• LLM 处理查询以选择工具；
• 将查询转换为正确的格式（文本/SQL）；
• 执行工具并获取输出；
• 生成带有丰富上下文的回答；
• 使用 Cleanlab 的 Codex 验证回答

二、Agentic RAG 工作流代码实现

第一、设置 LLM

我们将使用通过 OpenRouter 提供的最新 Qwen3。确保 LLM 支持工具调用，以便无缝执行。

第二、设置 SQL 查询引擎 

自然语言到 SQL 引擎可以将普通查询转换为 SQL 命令，从而实现轻松的数据交互。

第三、设置 RAG 查询引擎

 使用 Docling 将 PDF、DOCX 或任何文档转换为 Markdown 格式，以便进行向量存储。查询引擎从 Milvus 中获取上下文，将其与查询结合，然后发送给 LLM 以获取回答。

第四、设置工具

现在，是时候设置并使用我们上面定义的两个查询引擎作为工具了。我们的 AI 智能体将智能地将查询路由到正确的工具。

第五、Cleanlab Codex 验证

接下来，我们通过几行代码将 Cleanlab Codex 集成进来，以评估和监控 RAG 应用。

第六、创建 Agentic 工作流

一切准备就绪后，让我们创建我们的 Agentic 路由工作流。

第七、启动工作流

 一切准备妥当，是时候激活我们的工作流了。我们首先为 LLM 配备两个工具：文档和文本到 SQL 查询。之后，我们启动工作流。

第八、Streamlit 用户界面

为了提升用户体验，我们将所有内容都展示在一个简洁且交互式的 Streamlit 用户界面中。

在提示词后，注意应用会在生成的回答上显示一个信任分数。这对于容易出现不准确和幻觉的 RAG/AI 智能体工作流来说非常重要。

除此之外，我们还能获得每次测试运行的具体评估指标，以及详细的见解和推理：

完整代码 GitHub 获取地址：

→  ​​​https://github.com/patchy631/ai-engineering-hub/tree/main/rag-sql-router​​

本文转载自​​玄姐聊AGI​​  作者：玄姐