AI.x社区

“想做一个RAG项目很容易，但要想做好一个RAG系统却很难。”最近手上的一个RAG聊天类项目也算接近了尾声，虽然从功能上来说项目已经完成了；但从质量上来看，其实离真正的完成还差了老大一截，原因就是做出来了，但没做好。因此，今天我们就来基于这个项目做一个基本的项目总结，看看在一个企业级RAG系统中，到底存在哪些问题，以及应该怎么做。企业级RAG还是那句话，RAG从技术的角度来看主要是三个部分：1.文档预处理2.文档召...

“传统RAG和多模态RAG以及Agent是不同维度上的东西，并不能混为一谈。”自大模型开始大规模应用以来，RAG技术就是其中一个重点应用方向，虽然一直有人说RAG只是一种过渡手段，但不管怎么说RAG是目前很重要的一个应用技术，而且适用于多种领域，如客服，咨询，检索等。但是，随着技术的发展RAG技术也经过了几轮迭代，包括RAG，GraphRAG和AgenticRAG等；而随着多模态技术的发展，多模态RAG也随之而来。那么传统RAG和多模态RAG对比...

“多模态RAG代表了下一代检索增强生成系统的发展方向，通过整合视觉、听觉等多种信息源，能够提供更加丰富、准确和上下文相关的回答，极大地扩展了人工智能系统的应用范围和实用性。”多模态RAG（RetrievalAugmentedGeneration）扩展了传统文本RAG的能力，使其能够处理和理解多种类型的数据（如图像、音频、视频等），而不仅仅是文本。这种技术在需要处理丰富媒体内容的场景中特别有用。基本原理多模态RAG的核心思想是将传统RAG...

“多模态RAG实现远比传统文本RAG要复杂得多。”在传统的RAG中我们一般情况下是把其它模态的数据转换成文本，然后通过对文本数据进行向量化，并实现相似度检索和增强的过程。但在当今时代，文本只是数据表现的一种形式，而图片音视频等才是当前的主流形式；还以传统RAG为例，以word，pdf等复杂文档中，其数据形式往往采用图文结合的方式，这时传统的做法是采用OCR或其它形式直接把文档内容全部转换成文本格式；但这时图片和结构...

“多模态与RAG的结合是一个应用的实践过程，其实际操作远比理论要复杂得多。”这段时间一直在搞RAG和Agent，然后使用的基本上都是基于文本处理的推理模型，基本上没用过多模态模型；而最近突然有个想法，那就是把多模态应用于当前的RAG系统。虽然说之前对多模态有些基础认识，但并没有在真实的业务系统中实践过；然后网络上关于多模态应用的内容又很少，因此等真正尝试去做的时候才发现，多模态应用好像没有那么简单。多模态模...

“文档处理有一套标准和规范，良好的规范才能让后续处理更简单，更少出错。”最近一直在优化RAG的文档处理功能，随着各种问题被解决之后，慢慢发现文档处理没有想象中的那么简单；而我们大部分人对文档处理还仅仅只停留在表面上，并没有真正深入研究过文档处理的流程，格式，规范。今天作者就以自身这段时间的经验来梳理一下文档处理的具体流程，包括处理格式的选择，文档处理的步骤，以及一些注意事项等。RAG之文档处理在一个R...

“大模型的应用真正解决的是效率问题，而不是解决所有问题，这是很多人对大模型应用的一个误区。”一个技术或者说一个行业发展的前期，对很多人来说都是无感的，等到你时刻都能感受到它存在的时候，说明它已经发展到中后期了；以二十年前的电商为例，那时的电商在国内已经经过多年的发展；但电商真正兴起的时候确实最近十来年，也就是说在电商发展初期的十多年，我们对此感受不到或者说感受不深。目前国家在大力发展人工智能技...

“由于模型协议标准的问题，因此不同的推理引擎对不同协议的支持程度也不同；这就本地部署中存在各种各样的潜在问题。”对大模型应用开发者来说，使用模型无非两种方式，一种是使用第三方模型，另一种是自己本地部署模型；当然个人学习者和小微企业更适合前者，而大型企业和对数据安全要求较高的企业适合后者。但不管怎么说，学习大模型的本地部署都是一个非常必要的技能；所以，今天我们就从技术的角度来学习一下本地模型本地...

“RAG文档处理的原则是找出有效数据，剔除无效数据，而不是为了大而全整一堆没用的数据。”在RAG增强检索中，文档处理是重中之重，但是很多人的文档处理做的很粗糙，然后还奇怪为什么我的RAG质量不好，召回率太低，原因就在于你的文档处理真的不咋地。虽然说现在的文档处理是大模型应用中的一个难点，但既然用了那就要想办法把它做好，因此我们现在需要考虑的不是文档处理有多复杂，而是应该考虑怎么提升文档的处理质量，减少噪...

“RAG的本质就是快速和准确的召回文档，但由于各种原因会导致其召回质量不尽人意，因此我们需要从多个方面来优化其召回结果。”虽然说现在大模型的主流应用方向是智能体——Agent；但也不能否则RAG在其中扮演的重大作用，因此RAG也是企业应用场景中经常用到的技术。但RAG虽然看起来很简单，但事实上存在很多问题和坑；还是那句话想把RAG做出来很简单，但想把RAG做好就很难。以作者自身遇到的问题为例，一起讨论一下RAG各个环节...

“在大模型应用中，处理大量数据会很容易遇到瓶颈问题，因此我们需要从各个环节进行优化。”最近在处理一个RAG的知识库导入功能，功能逻辑也很简单；为了提升数据的召回率，对内容进行提炼以及标签提取，之后再对原数据和总结提炼的数据进行嵌入(embedding)并插入到向量数据库中。但还是自己太年轻把问题想的太简单了，本来以为不是什么麻烦的东西，随便搞搞就行了；结果也是这样，代码几个小时就搞定了，但等到真正去导入的时...

“大模型原生API开发，所有东西都需要自己手动处理，很麻烦；但能够帮助我们理解大模型开发的运行过程。”在之前的文章中有说过，openaiSDK已经成为大模型应用开发中事实上的行业标准，而其本质上其实是对大模型API接口的封装；因此我们今天就不使用任何SDK的情况下，仅仅使用大模型的API接口实现流式返回和工具调用。在openaiSDK中网络工具使用的是最新的httpx，因此今天我们也用httpx实现大模型接口的异步调用，并实现工具调...

“没有最好的提示词，只有最合适的提示词；提示词的优化是一个循序渐进的过程，并没有一劳永逸的方法。”提示词可以说是大模型应用中最重要的东西，可以说其作用无可代替；但是我们很多人会陷入两个误区，一个是太重视提示词，另一个是太轻视提示词。虽然说现在网络上有很多提示词模板，甚至很多人也收藏了很多模板，但说实话在真实的业务场景中，你保留的模板不一定有用，而且很多时候你也只是保留一下，就像你收藏的各种学习...

“理解模型的API参数，是我们使用好模型的前提，这也是很多人搞不明白为什么我配置了参数却没什么用，原因就是对不同模型厂商的参数理解不彻底。”关于大模型的使用问题，其参数是其中非常重要的一个环节，原因就在于大模型的具体表现是由这些参数控制的；比如说temperature就是用来控制模型的发散性参数。temperature的值越小，其输出的文本更确定，更适合对准确性要求更高的场景；其值越大，模型发散性越高，更适合情感，写作...

“学习大模型的本地部署能够让你对模型的运行流程更加了解，帮助你了解不同平台和部署环境的优劣以及适用场景。”在大模型应用中，本地部署模型可以说是一个非常重要的环节，特别是对一些数据安全性较高的企业；因为使用第三方模型服务，会存在数据泄露的问题，因此很多企业选择本地部署模型。而且很多企业在招人时，也会要求有大模型本地部署的经验；所以，今天我们就来学习一些大模型的本地部署，使用ollama部署工具。大模型...

“大模型犯错是常态，而在大模型应用中，我们需要做的是处理好这些错误，把模型的错误影响降到最低。”做了一段时间的大模型应用之后发现一个非常有趣的问题，那就是为什么会有那么多大模型应用的范式，包括思维链(CoT)，思考行动(ReAct)，反思(Reflection)等。其实最本质的原因就是大模型经常犯错，特别是在复杂场景下的复杂问题；就类似于我们人类处理复杂问题一样，很少有人能够在不犯错的前提下，一次性解决一个复杂问题，...

“框架是对底层能力的封装，在学习和使用框架的同时，也不能完全丢掉底层的能力。”在当今系统开发中，框架是必不可少的一个东西，其对底层和一些通用功能进行了封装，然后作为使用者来说只需要会使用这些框架即可，这也就是现在所谓的面向API编程。而且现在的开发框架也满天飞，前端开发框架vue，react等；后端的java开发框架springboot，python框架fastapi等；而在大模型应用开发领域也有很多开发框架，Langchain，LlamaIndex...

“框架是对底层能力的抽象与封装，而并不能绕过底层能力实现一些不存在的功能。”在使用Langchain和Langgraph大模型应用开发框架的过程中，一直在使用invokeainvokestreamastream这四个方法；刚开始只知道这四种方法可以实现流式和非流式返回，并且有同步和异步的区别，但一直没搞明白是怎么回事；总以为是框架封装的功能。但直到这两天才偶然发现原来其并没有想象中的那么复杂；虽然说这四个方法是框架封装的方法不能说有错，...

“智能体的难点不在于其理论，而在于其实现；智能体之间的通讯问题，多工具并行调用问题等。”关于智能体这个问题，从最开始的粗浅认识到后面的深入了解，再到现在好像又不太明白什么是智能体了；在之前对智能体的认识中，就是一个会使用工具的大模型，但等到真正把智能体应用到业务场景中才发现，智能体好像远没有想象中的那么简单。以下是来自百度百科的智能体的定义：智能体（Agent）是指能够感知环境并采取行动以实现特定目...

“混合专家模型的核心思想就是在推理过程中，不要让模型全部动起来，而是让模型部分动起来。”DeepSeek模型被发布时，很多人应该都知道其最大的优势是大大降低了模型的成本问题，而且传说DeepSeek的训练成本才五百多万美元；相对于之前的动辄上千万美元的成本，可以说DeepSeek真的做到了让大模型走进各行各业。但是，虽然很多人都知道DeepSeek大大降低了模型的成本问题，但却很少有人知道它是怎么降低成本的；而这也是我们今天...