构建多模态 Agentic RAG 架构设计与代码实现 原创

科技巨头们每天都在生产环境中使用多模态 RAG（Retrieval-Augmented Generation，检索增强生成）系统。

比如：

• Spotify 用它来回答音乐相关的问题；
• YouTube 用它把文字提示词变成音乐；
• Amazon Music 用它根据提示词创建歌单。

今天，我们来学习如何构建一个能通过语音查询文档和音频文件的多模态 Agentic RAG 系统。

下文我们详细剖析之。

一、多模态 Agentic RAG 架构设计和代码实现

1、多模态 Agentic RAG 技术栈

• AssemblyAI：用于语音转文字。
• Milvus：作为向量数据库。
• Beam：用于部署（开源）。
• CrewAI Flows：用于流程编排。

2、多模态 Agentic RAG 架构设计和工作流程

• 用户输入数据（音频+文档）。
• AssemblyAI 对音频文件进行转录。
• 将转录后的文本和文档嵌入到 Milvus 向量数据库中。
• Research 智能体根据用户的查询检索信息。
• Response 智能体利用这些信息来构建回答。

3、多模态 Agentic RAG 代码落地

第一步、数据输入

用户提供文本和音频数据，放在数据目录中。

CrewAI Flow 负责发现文件并准备好后续处理。

第二步、语音转文字

使用 AssemblyAI 的语音转文字平台将用户的音频输入转录成文字。

AssemblyAI 不是开源的，但它提供很多免费的转录额度，足以满足这个演示的需求。

你可以在这里获取 AssemblyAI 的 API 密钥，免费转录 100+ 小时的音频 → ​​https://www.assemblyai.com/​​。

第三步、嵌入数据

将上一步转录的文本数据和输入的文本数据嵌入到 Milvus 向量数据库中。

第四步、用户查询

用户输入语音查询，由 AssemblyAI 都转录成文字。

第五步、检索上下文

为查询生成嵌入向量，并从 Milvus 向量数据库中拉取最相关的片段。

第六步、生成回答

根据检索到的相关上下文，调用 Crew 生成清晰且有引用的回答。

第七步、最终呈现

将所有内容整合到一个简洁的 Streamlit 界面中，并使用 Beam（开源）将应用部署到无服务器容器中。

我们导入必要的 Python 依赖项，并指定容器的计算规格。

第八步、部署完成

部署完成后，我们将获得一个 100% 私有的多模态 Agentic  RAG 流程部署。

4、总结

以上就是构建自己的多模态 Agentic RAG 的方法。

以下是一些相关链接：

• Beam GitHub 仓库
• → ​​https://github.com/beam-cloud/beta9/​​
• 获取 AssemblyAI API 密钥
• → ​​​https://www.assemblyai.com/​​​
• 今天的项目代码在这里
• →​​https://github.com/patchy631/ai-engineering-hub/tree/main/multimodal-rag-assemblyai​​

好了，这就是我今天想分享的内容。

​本文转载自​​​​玄姐聊AGI​​​​  作者：玄姐