AI.x社区

Ragas是一个专为检索增强生成（RAG）系统设计的开源评估框架。它通过多维度指标，系统性评估检索与生成质量，支持无参考自动化评测，帮助开发者精准定位性能瓶颈，提升RAG系统的准确性与可靠性，适用于各类知识密集型应用场景。Ragas：专为RAG系统打造的高效评估工具1.RAG与评估的必要性2.RAGAS是什么3.Ragas关键评估指标详解3.1检索质量指标3.1.1上下文精确度(ContextPrecision)3.1.2上下文召回率(ContextRecall)3.2生成质量指...

本文介绍了神经概率语言模型（NPLM）的基本原理、结构与实现方法。通过对比传统Ngram模型，阐述了NPLM如何利用神经网络自动学习词语间的深层关系，有效提升语言建模的泛化能力。内容涵盖数据准备、模型搭建、训练流程及推理预测。1.什么是神经概率语言模型NPLM2.为什么需要神经语言模型2.1传统语言模型的问题2.2神经概率语言模型（NPLM）的诞生3.模型架构详解4.完整代码实现4.1构建语料库4.2生成训练数据4.3模型定义4.3实例化NP...

介绍了在Windows系统中通过WSL2运行大模型推理框架vLLM。vLLM具备高吞吐、低延迟、节省显存等优势，适配多种模型与硬件平台。讲解了推理代码示例，与OpenAIAPI接口兼容的部署方式。1.vLLM的核心优势2.vLLM对Windows的支持3.安装vLLM前的准备：Nvidia显卡驱动和WSL5.新建Python虚拟环境6.安装GPU版PyTorch6.1确定CUDAToolkit版本6.2选择与以确认CUDA版本匹配的Pytorch9.安装vLLM8.使用vLLM离线批量推理8.1下载模型8.2代码示例8.3...

本文介绍了如何使用Unsloth框架微调大语言模型，以《伤寒论》数据集为例训练一个中医专家模型。Unsloth显著降低了微调的资源需求。文章涵盖了从环境配置、模型选择、数据准备到训练部署的完整流程，为垂直领域模型微调提供了实用参考。1.关于Unsloth2.Unsloth的核心优势3.使用要求4.安装Unsloth5.选择模型6.数据集准备7.开始微调7.1引入依赖7.2加载模型7.3加载数据集7.4定义LoRA7.5使用SFTTrainer进行训练7.6模型保存7.7训练过...

ServerSentEvents提供了一种健壮、简洁且高效的解决方案，用于实现从服务器到客户端的实时、单向数据传输。其基于HTTP的基础、内置的重连机制以及易于实现的特点，使其非常适合用于广播更新、通知以及流式传输大型语言模型(LLM)响应等增量内容。1.实时Web通信简介2.理解ServerSentEvents(SSE)2.1.关键特性2.2.常见场景3.SSE协议的消息结构3.1完整HTTP响应示例4.使用SSE实现类似ChatGPT的打字机效果4.2.前端实现（HTML+JS）4.1....

将ClaudeCode与KimiK2结合使用进行AI编程的实践。KimiK2拥有强大推理与编码能力，ClaudeCode则能无缝集成IDE提供智能辅助。通过健身教练预约项目，展示了二者高效协同的开发体验。1.KimiK21.1编码能力评估1.2申请APIKEY2.ClaudeCode2.1安装2.2安装IDE插件3.开发一个健身教练预约demo4.效果最近，AI编程领域中ClaudeCode引发了广泛关注。作为Claude系列的成员，它具备强大的编程能力，但由于国内访问受限，许多用户经常面临账号...

DeepSeekR1的发布让整个AI界重新思考成本与性能的关系。用相对较低的成本训练出媲美GPT4的模型，这种可能性正在变为现实。而现在，中国AI公司MiniMax又悄然交出了另一份答卷。这家因海螺（Hailuo）AI视频而声名鹊起的公司，刚刚发布了他们的最新大型语言模型MiniMaxM1。M1完全采用Apache2.0许可证开源，任何企业和开发者都可以免费使用。更有趣的是训练成本：仅用53.47万美元就完成了完整的强化学习训练。MiniMaxM1的成本控制能...

"我觉得未来十年，是一个只要你有能力去动手做、去实现想法，这种能力就会被极大放大的时代。"——MichaelTruell,CursorCEO最近Cursor的CEOMichaelTruell接受YCombinator的一段长访谈，Cursor站在AI编程的最前沿，通过这次访谈带领我们更好的看清楚AI编程的视角。我们正在经历编程史上最重要的范式转换——从手工编写代码的"人工编译器"时代，跃迁到专注创意和逻辑的"设计师"时代。如果有一天你只需要描述你想要什么，电脑就能...

在自然语言处理（NLP）领域，我们面临的第一个挑战就是如何让计算机理解人类的语言。计算机不认识汉字或字母，它们只懂数字。因此，我们需要一种方法，将词语转换成计算机可以处理的数字形式。1.什么是词向量？我们不能直接把"苹果"这两个字输入到机器学习模型中。模型无法进行任何计算。我们需要先把它变成一组数字。早期的方法早期自然语言处理方法，如独热编码和词袋模型，虽然对某些机器学习任务有用，但并不能捕捉到词的意...

介绍了Anthropic的元提示词工具，展示了如何编写清晰、具体、结构化的提示词。深入讲解了提示词工程的重要性，并总结了写作提示词的三个核心原理与技巧，让用户能像指导新员工一样高效地引导AI，获得稳定准确的输出结果。1.提示词工程基础：Anthropic元提示词的核心理念什么是提示词工程Anthropic元提示词第1行的核心思想2.Anthropic元提示词教你的三个写作原理原理1:让AI分步骤思考不要一次性处理复杂任务原理2:用完整示例教会...

本文介绍了在增强检索生成（RAG）流程中，文本分块的重要性和实现方式。详细解释了为什么要对文本进行切分及代码示例，展示了分块后的效果。通过合理分块，可以有效应对模型的输入限制，提升检索与生成的质量，是构建高效LLM应用的关键步骤之一。1.文档分块的原因2.文档分块的基本思路2.1基于长度的分块类型2.2代码实现2.2拆分结果3.图形化显示分块总结在快速发展的自然语言处理（NLP）领域，增强检索生成（RAG）已成为提高AI生...

随着GenAI技术的突飞猛进，LLM的"幻觉"问题已成为业界关注焦点。最近，由Vectara发布了一份《幻觉排行榜》，对主流模型的幻觉表现进行了系统对比。量化展示了不同LLM的幻觉率差异采用Vectara自研的HHEM2.1评估模型为选型提供一个参考本排行榜使用Vectara的商业幻觉评估模型HHEM2.1，来计算LLM排名（更新于2025年4月29日）排行榜地址：​​https:github.comvectarahallucinationleaderboardtabreadmeovfile​​​​https:hugging...

在RAG系统中，仅靠向量相似度检索容易造成信息重复或片面。为提升回答的多样性与覆盖度，引入MMR（MaximumMarginalRelevance）算法能有效在“相关性”与“多样性”之间取得平衡，从而挑选出既相关又不重复的信息，提升系统输出的质量与实用性。1.MMR是什么，它能解决什么问题？2.MMR的基本思想3.MMR的原理和公式解析3.1算法流程3.2举个例子：摘要任务中的MMR4.MMR的应用场景4.1.信息检索（比如搜索引擎的结果排序）4.2.问答系统...

在RAG的核心步骤中，有一个至关重要的步骤：“文本分块（TextSplitting）”。它的主要作用就是把一大段文本切分成更小、更合理的片段，这样模型才能更好地理解、处理或者存储这些内容。如果一整篇文章不拆开，那embedding的颗粒度太粗，问答的时候很容易不准。所以切得好不好，直接影响最后答案的相关性和准确性。最基本的分块方法是根据文档的长度进行拆分。这种简单而有效的方法确保每个块不会超过指定的大小限制。基于长度拆...

RAG（检索增强生成）是一种很厉害的技术，能帮助企业开发更智能的AI应用。这类AI不仅能结合实时数据，还能利用企业自己的数据，生成更自然、更有互动感的对话。RAG的核心思路是让AI在回答问题时，不是光靠自己“想”，而是先去查找外部的、可靠的专业知识，把这些信息当作参考，让回答更准确、更有依据。但问题在于，AI找到的资料是否靠谱，直接决定了它给出的答案是否可信。所以，优化RAG的搜索过程非常重要，能有效提升AI生成...

本文整理了MCP的基本协议规范，包括协议架构、协议基本消息类型、协议生命周期管理、协议的传输层1.协议之架构1.1基本组件1.2基本消息类型1.3能力协商2.协议规范之基本消息类型2.1Requests（消息请求）2.2Responses（消息应答）2.3Notifications（通知）2.4举例：Client获取ServerTool列表3.协议规范之生命周期管理3.1Initialization（初始化）：3.2Operation（操作）3.3Shutdown（关闭）4.协议规范之传输层5.参考整个规范，可...

说实话，我以前特别怕做PPT。每次老板说“做个PPT吧”，我心里就咯噔一下。光是想到要查资料、写内容、调格式，我就想原地消失。更别提那些熬夜改来改去的日子了，眼睛都快瞎了，PPT还是丑得没法看。每次交完PPT，我都觉得自己被掏空。最近体验了DeepSeek+Kimi这个神器，简直像开了挂一样！它就像个超级助手，帮我搞定所有麻烦事。查资料？它来！写内容？它来！排版设计？它还来！以前要花一整天才能搞定的PPT，现在10来分钟就...

流式传输允许实时接收生成的文本，随着文本的生成而接收。这样，您就不必等到整个文本准备好后才能开始向用户展示。我们将使用LangChain与LLM进行流式交互，并使用Streamlit创建应用的前端。1.什么是Streamlit？2.什么是LangChain？3.什么是流式输出？4.代码实现4.1安装依赖4.2导入必要的库4.3初始化OpenAI语言模型4.4创建StreamlitUI4.5实现流式输出4.6管理聊天历史4.7显示聊天记录4.8获取用户输入并生成AI回复5.运行项目总结...

在办公场景中，WPS作为一款强大的办公软件，不仅提供了丰富的文档编辑功能，还支持宏（Macro）来实现自动化处理。随着人工智能技术的发展，将大模型（如ChatGPT、DeepSeek、文心一言等）集成到WPS中，可以大幅提升文档编辑、内容创作、数据分析的效率。本文介绍如何通过WPSJS宏调用DeepSeek大模型，实现自动化文本扩写功能。1.随便打开一个word文档，点击工具栏“工具”2.点击“开发工具”3.点击“查看代码”4.在打开的WPS宏编...

最近Distillation这个词见的非常多。前两天大火的DeepSeek团队发布的DeepSeekR1，其670B参数的大模型通过强化学习与蒸馏技术，成功将能力迁移至7B参数的轻量模型中。蒸馏后的模型超越同规模传统模型，甚至接近OpenAI的顶尖小模型OpenAIo1mini。在人工智能领域，大型语言模型（如GPT4、DeepSeekR1）凭借数千亿级参数，展现出卓越的推理与生成能力。然而，其庞大的计算需求与高昂的部署成本，严重限制了其在移动设备、边缘计算等...