AI.x社区

“理解模型的API参数，是我们使用好模型的前提，这也是很多人搞不明白为什么我配置了参数却没什么用，原因就是对不同模型厂商的参数理解不彻底。”关于大模型的使用问题，其参数是其中非常重要的一个环节，原因就在于大模型的具体表现是由这些参数控制的；比如说temperature就是用来控制模型的发散性参数。temperature的值越小，其输出的文本更确定，更适合对准确性要求更高的场景；其值越大，模型发散性越高，更适合情感，写作...

“学习大模型的本地部署能够让你对模型的运行流程更加了解，帮助你了解不同平台和部署环境的优劣以及适用场景。”在大模型应用中，本地部署模型可以说是一个非常重要的环节，特别是对一些数据安全性较高的企业；因为使用第三方模型服务，会存在数据泄露的问题，因此很多企业选择本地部署模型。而且很多企业在招人时，也会要求有大模型本地部署的经验；所以，今天我们就来学习一些大模型的本地部署，使用ollama部署工具。大模型...

“大模型犯错是常态，而在大模型应用中，我们需要做的是处理好这些错误，把模型的错误影响降到最低。”做了一段时间的大模型应用之后发现一个非常有趣的问题，那就是为什么会有那么多大模型应用的范式，包括思维链(CoT)，思考行动(ReAct)，反思(Reflection)等。其实最本质的原因就是大模型经常犯错，特别是在复杂场景下的复杂问题；就类似于我们人类处理复杂问题一样，很少有人能够在不犯错的前提下，一次性解决一个复杂问题，...

“框架是对底层能力的封装，在学习和使用框架的同时，也不能完全丢掉底层的能力。”在当今系统开发中，框架是必不可少的一个东西，其对底层和一些通用功能进行了封装，然后作为使用者来说只需要会使用这些框架即可，这也就是现在所谓的面向API编程。而且现在的开发框架也满天飞，前端开发框架vue，react等；后端的java开发框架springboot，python框架fastapi等；而在大模型应用开发领域也有很多开发框架，Langchain，LlamaIndex...

“框架是对底层能力的抽象与封装，而并不能绕过底层能力实现一些不存在的功能。”在使用Langchain和Langgraph大模型应用开发框架的过程中，一直在使用invokeainvokestreamastream这四个方法；刚开始只知道这四种方法可以实现流式和非流式返回，并且有同步和异步的区别，但一直没搞明白是怎么回事；总以为是框架封装的功能。但直到这两天才偶然发现原来其并没有想象中的那么复杂；虽然说这四个方法是框架封装的方法不能说有错，...

“智能体的难点不在于其理论，而在于其实现；智能体之间的通讯问题，多工具并行调用问题等。”关于智能体这个问题，从最开始的粗浅认识到后面的深入了解，再到现在好像又不太明白什么是智能体了；在之前对智能体的认识中，就是一个会使用工具的大模型，但等到真正把智能体应用到业务场景中才发现，智能体好像远没有想象中的那么简单。以下是来自百度百科的智能体的定义：智能体（Agent）是指能够感知环境并采取行动以实现特定目...

“混合专家模型的核心思想就是在推理过程中，不要让模型全部动起来，而是让模型部分动起来。”DeepSeek模型被发布时，很多人应该都知道其最大的优势是大大降低了模型的成本问题，而且传说DeepSeek的训练成本才五百多万美元；相对于之前的动辄上千万美元的成本，可以说DeepSeek真的做到了让大模型走进各行各业。但是，虽然很多人都知道DeepSeek大大降低了模型的成本问题，但却很少有人知道它是怎么降低成本的；而这也是我们今天...

“不论是RAG，还是智能体都仅仅只是一门技术；而不同的业务场景需要选择合适的技术实现。”最近这段时间一直在做一个RAG检索增强的系统，但由于前期对需求了解不足，导致目前系统开发遇到一些问题，那就是目前使用纯粹的RAG技术很难解决业务需求问题。目前的需求是在一个大的业务场景下有三个子场景，但这个三个场景的入口只有一个对话框，因此需要根据用户的意图来进行识别，然后判断属于哪个子场景。因此，基于这种需求，之前...

“大模型格式化输出的原理，第一步告诉大模型我们需要什么样的格式，第二步按照我们的格式要求去解析大模型的输出；大模型的输入与输出只有一种，那就是文本数据包括格式化的文本数据。”今天在开发时遇到一个格式化输出的问题，开发框架使用的是Langchain的格式化解析器PydanticOutputParser；关于Langchain的格式化解析器就不多做介绍了，为了兼容不同的数据格式，Langchain提供了多种不同的解析器，包括StructuredOutputPars...

“智能体技术与复杂业务场景的结合是大模型应用的一个难点，怎么才能在技术和业务之间找到一个合适的连接点，是我们现在亟待解决的问题。”最近在优化一个RAG系统，并且这两天又接到一个新需求，一个大场景下有三个子场景；而基于传统的RAG技术需要分三个场景来做，因此选择使用智能体来解决这个问题。而且还一个要优化的点就是，目前的RAG召回效果不太好，因此需要用智能体的方式做几个从不同维度召回数据的工具；所以需要把这...

“大模型的应用开发，是一门实践性很强的东西，理论很简单，做好很困难。”关于大模型的应用已经写过很多文章了，在刚开始对大模型应用理解不深入的情况下，那时总以为大模型的应用很简单，只需要把东西丢给大模型，然后让大模型给出一个输出结果即可。但等到随着对大模型应用理解的加深，才发现事情远远没有那么简单；用大模型做一个demo和用大模型做一个企业级应用，那差距不是一般的大；做出来和做好完全是两个概念。怎么做...

“大模型的格式化输出只能靠提示词约束，没有其它办法；Langchain的输出解析器只不过是封装了格式化输出，其本质还是通过提示词来实现。”在大模型应用开发中，格式化输出是很重要的一个环节，因为没有格式化输出就不会有大模型的应用。但是大模型的格式化输出是怎么实现的呢？今天我们就以Langchain框架为例，来讲一下大模型的格式化输出问题。基于Langchain的格式化输出在前面的文章中有提到过Langchain输出解析器的问题，其...

“RAG的优化方向只有两个，召回率和准确率也就是精度。”在前面的文档中简单介绍过RAG的几种优化方式，因为从本质上来说RAG的目的只有一个，那就是快速并且准确的召回数据。但在实际的RAG系统中，我们往往会面临着一个问题，那就是召回率和准确率的问题；如果RAG系统的召回率太低，那么RAG就没有了存在的意义。以作者目前遇到的实际问题为例，就是数据召回率不足，更不用说召回的准确率了，也就是精度。虽然说影响RAG效果的因素...

“数据分析和长文本处理是大模型在企业应用中的两个最有价值，也最具落地场景的技术方向。”随着大模型技术和应用的不断发展，大模型应用场景不但越来越丰富，而且也越来越深化；但有两个应用场景可以说是现在2B场景中的重点场景——数据分析和长文本处理。在信息时代，数据的重要性就不言而喻了；随着云计算和大数据技术的发展，以及我们每天产生的海量数据，怎么对这些数据进行分析处理，是很多企业需要考虑的问题；在大模型...

“格式化输出并仅仅对人类友好，更重要的是更利于程序处理，这为模型的应用提供了基础条件。”在大模型应用开发过程中有很多人可能没有注意到一个点——格式化输出；或者说很多人并没有重视格式化输出这个问题，因为在现有的开发框架或者使用大模型的过程中，我们只需要告诉模型进行格式化数据，模型就可以给我们格式化数据。也因此，很多人忽略了大模型格式化输出的问题，以及它的技术原理；那么，大模型是怎么实现格式化输出...

“大模型是无状态的，而记忆的本质只是把对话记录放到对话上下文中。”在大模型应用中，记忆是一个很重要的功能模块，特别是在对话场景中，记忆能够让大模型“记住”你的对话场景和上下文。因为大模型本身是无状态的，因此对模型来说每次对话都是一次全新的对话，大模型不知道你之前说了什么；因此，大模型就像一个拥有健忘症的人。但在实际开发过程中，特别是使用一些开发框架之后，我们很多人都被记忆模块开发给带偏了，甚至...

“大模型只能输出文本数据，需要通过转换才能变成我们需要的数据对象。”在大模型的应用场景中，格式化输出是一个非常重要的环节；特别是对Agent智能体来说，没有格式化输出，智能体就是空中楼阁。但从技术的角度来说，文本类模型的输出只有一种格式，那就是文本数据，json也是文本数据的一种格式；模型本身无法生成类似于json对象，python对象等格式的数据；因此，虽然我们可以约束模型按照json格式进行输出，但它本质上输出的...

“RAG做起来很简单，但想把RAG做好就需要想尽办法去提升数据的召回质量。”在RAG中文档处理可以说是一个重难点，特别是复杂文档的处理更是一言难尽；因此，面对这种现实问题，总不能直接摆烂，因此怎么在文档质量处理参差不齐的情况下，提升RAG的召回精度就是一个需要解决的问题。文档处理的质量直接影响到RAG的召回效率，但目前文档处理是一个难点；因此怎么基于现有条件，提升RAG的召回精度？既然文档处理质量控制不了，那么...

“RAG最终的评判标准只有一个——召回精度，RAG所有的技术都是围绕着怎么更快更准确的召回数据。”RAG增强检索的核心指标只有一个——召回准确率；对于RAG技术来说，最重要的事情就是其召回数据的准确性；而怎么提升其召回准确率，方法只有两个，一个是左侧增强，一个是右侧增强。所谓的左侧增强就是文档处理处理，怎么更好的处理复杂文档；而右侧增强就是召回侧的召回策略。今天，我们就来讨论一下RAG的召回策略问题。RAG的召...

“智能体和RAG技术有交集，但智能体功能更强，应用范围更广。”在大模型的应用场景中，RAG和智能体是其两个主要应用方向；在之前对RAG和智能体不够了解的时候，一直认为RAG技术和智能体技术完全是两个不同方向的应用场景。但随着对RAG和智能体认识的加深，现在发现RAG和智能体有一定的重合部分；记得之前在一篇文章中看到过，意思大概是基于大模型构建的应用，本质是一种数据增强技术，原因就在于大模型的数据能力不足，需要依...