AI.x社区

前言上周，团队准备用​​DeepSeek32B​​模型做微调，结果第一次训练就遇到了显存爆炸。各种OOM错误让人抓狂。经过摸索和实践，终于摸清了LLaMAFactory参数配置的门道。今天把这些经验分享出来，希望能帮大家避开我踩过的坑。LLaMAFactory参数体系全景LLaMAFactory有400+个配置参数，看起来很复杂，但其实可以分为三个层次：核心层（必须配置）：决定能否跑起来优化层（影响性能）：决定跑得好不好高级层（锦上添花）：决定跑...

随着大模型应用的普及，越来越多的企业开始关注私有化部署。今天我们聊聊如何在​​海光DCUK100AI​​计算卡上部署Xinference推理框架，构建一套完整的私有AI推理服务。为什么选择Xinference？Xinference是一个功能强大的开源推理平台，可以理解为"本地版的OpenAIAPI"。它的优势在于：统一接口：无论是大语言模型、多模态模型还是嵌入模型，都提供统一的调用方式。硬件兼容性强：支持CPU、NVIDIAGPU、海光DCU等多种硬件平台。自...

随着Claude4、DeepSeekV3等大语言模型的爆发式发展，模型参数规模已经达到千亿甚至万亿级别。这些"巨无霸"模型虽然性能强大，但也带来了巨大的计算和存储挑战。一个70B参数的模型，仅权重就需要约140GB的显存，这让大多数企业和个人用户望而却步。量化技术的出现，为解决这一难题提供了有效路径。通过将模型权重从32位浮点数压缩到4位或8位整数，可以大幅降低存储需求和计算成本，同时尽可能保持模型性能。什么是模型量化？模型...

一、前言随着大语言模型（LLM）的飞速发展，如何在特定领域或任务上对预训练模型进行高效微调，已成为业界关注的焦点。LLaMAFactory作为一个功能强大且易于上手的LLM微调框架，受到了广泛关注。本文将聚焦于在国产DCU平台上，利用LLaMAFactory对Llama3模型进行LoRA微调的实践过程，并分享其中的关键步骤与经验。🚀海光DCU实战项目来了！助您轻松驾驭大模型与HPC开发🚀为帮助开发者更便捷在海光DCU上进行大模型（训练、微调、推...

从梁宁的《真需求》一书中，我提炼出对AI大模型创业者特别有价值的洞见。本文将结合AI领域特点，探讨价值创造、共识构建和产品打磨的核心原则。一、从价值本质看AI大模型创业"商业价值无法自己一厢情愿地说有就有，它是由交易的对手盘一买方，来决定的。因此，进入商业世界的第一个训练，就是要摆脱自己的主观感受和主观愿望，站到买方那一侧来审视自己手上的东西。"在AI大模型创业中，这一点尤为关键。技术人员容易陷入"技术决...

还在反复输入同样的AI提示词吗？还在为找不到之前用过的高质量Prompt而烦恼吗？如果你是AI大模型的重度用户，那么今天介绍的这款浏览器插件绝对能让你爱不释手。QuickPrompt，一款专为提示词管理设计的效率工具，它能让你的AI对话效率提升10倍不止。一键唤出，告别复制粘贴在ChatGPT、Claude或文心一言等任何输入框中，只需输入​​p​​，立即唤出你的提示词库，从中选择需要的提示词一键插入。解放双手，无需在各种笔记软件间...

本文将带您了解大模型上下文协议(ModelContextProtocol,MCP)，并通过一个获取实时天气信息的实战项目，手把手教您如何实现AI模型与外部工具的无缝交互。什么是ModelContextProtocol(MCP)ModelContextProtocol(MCP)是一种开放协议，专为大语言模型（如Claude、ChatGPT等）设计，允许这些模型与外部系统安全地交互。简单来说，MCP提供了一种标准化的方式，让AI模型能够：•调用外部工具和API•访问实时数据和信息•获取环境上下文...

你是否曾被大语言模型（LLM）的“一本正经地胡说八道”（幻觉）所困扰？你是否希望LLM能够基于你自己的专业文档给出可靠且有据可查的答案？那么，RAGFlow就是你一直在寻找的答案！RAGFlow是一款开源的RAG（RetrievalAugmentedGeneration，检索增强生成）引擎，它的核心使命是帮助你利用深度文档理解技术，构建出高质量、高可靠性的智能知识库。无论你是大型企业还是个人开发者，RAGFlow都能为你提供一套精简而强大的RAG工作流程...

随着人工智能技术的飞速发展，我们正从单一模型系统迈向由多个智能体组成的复杂生态。这些智能体能够推理、委派任务和相互协作，共同解决复杂问题。为了实现高效的协同工作，一套标准的通信协议显得至关重要。早期，Anthropic推出了模型上下文协议(ModelContextProtocol,MCP)，而最近Google则发布了AgenttoAgent(A2A)协议。这两种协议代表了行业内对智能体通信的不同思考和实现路径，预示着AI领域一场潜在的“智能体协议之战”...

当大模型以"大力出奇迹"的方式惊艳世界，一位AI先驱早在2019年就预言了这一切。强化学习之父RichSutton的《苦涩的教训》[1]，揭示人工智能进化史上最反直觉的真相...一、核心启示：算力碾压的"苦涩真理"[核心观点树状图]└─苦涩的教训├─历史验证：70年AI发展规律├─核心矛盾│├─短期优化：人类知识注入│└─长期胜利：算力暴力破解└─双引擎驱动├─搜索算法└─机器学习2019年，当AI界还在争论神经网络的前景时，RichS...

RAG标准化流程阶段步骤技术方法索引构建（Indexing）文档分割采用滑动窗口（SlidingWindow）或语义分割算法（如SentenceBERT）进行文本切分，确保每个文本块（Chunk）具有连贯的语义，同时避免信息缺失；结合层次分割（HierarchicalChunking）优化不同粒度的索引结构，提高检索匹配度向量编码使用高效嵌入模型（如OpenAI​​textembedding3small​​、BGE、E5Large）将文本块转换为高维向量，确保向量表示具有足够的语义区分度...

从通用大模型到企业AI应用落地，需要跨越三道鸿沟——“到一个好用的应用”“到N个好用的应用”以及“到组织、流程、战略”，同时警惕九大常见陷阱，方能最大化AI在企业中的价值。第一层鸿沟：到一个好用的应用当企业初次尝试将通用大模型应用于业务时，往往会遇到“业务快于团队陷阱”与“明星项目陷阱”等挑战。•“业务快于团队陷阱”：意味着业务部门急于上线AI项目，却忽视了技术与人才储备的重要性。一旦缺乏足够的技术支...

算力成本，大模型时代的“生死线”近日，国产大模型厂商DeepSeek罕见披露了其推理系统DeepSeekV3R1的核心架构与成本细节：单日GPU租赁成本超8.7万美元，理论利润率却高达545%。这一数据让行业再次聚焦大模型的核心命题——当云厂商提供“水电煤”般的算力时，自建集群是否还有必要？一、DeepSeek的“吞吐量革命”：专家并行如何颠覆效率？DiagramofDeepSeek'sOnlineInferenceSystemDeepSeekV3R1的核心目标直指大模型推理的痛点...

🚀效率党的福音：这些工具让AI随叫随到1️⃣Chatbox&ChatGPTNextWeb👉一句话概括：跨平台桌面版ChatGPT，支持DeepSeek！无论是Windows、Mac还是Linux，打开即用，界面清爽，对话、翻译、写代码全搞定！（偷偷说：还能自定义API，一键切换不同大模型哦～）2️⃣划词翻译&欧路翻译👉划哪译哪，双语对照！看英文文档头疼？选中文字秒出翻译，支持DeepSeek、GPT、谷歌等引擎，论文党、程序员狂喜！（搭配沉浸式导读，还能一键生成网...

网传假消息:现在ai.com跳转到Deepseek，而不是ChatGPT了。该域名自ChatGPT推出后一开始先被OpenAI买下跳转到ChatGPT，后被xAI买下跳转到xAI，然后又被OpenAI买下跳转到ChatGPT。现在被Deepseek买下跳转到Deepseek了。实际上:OpenAI、xAI、Deepseek压根没人承认购买过这域名.天天改跳转地址左右横跳，搁这儿钓凯子域名ai.com的注册信息AI.com：频繁跳转的幕后逻辑最初，坊间传言OpenAI斥巨资收购AI.com以导流至ChatGPT.com，然而...

截至2025年1月，ChatGPT仍然可能会一本正经地提供不准确或虚构的信息。例如，如果你向ChatGPT询问“林黛玉倒拔垂杨柳”和“林黛玉三打白骨精”，他会编造看似合理但实际上并不存在的解释，将《红楼梦》中的林黛玉与《水浒传》中的“倒拔垂杨柳”以及《西游记》中的“三打白骨精”错误地关联在一起。这种现象被称为“幻觉（Hallucination）”，即AI生成的内容虽然听起来可信，但实际上并不符合事实或现实。ChatGPT讲述林黛玉倒拔...

在近日的Nvidia发布会上，CEO黄仁勋展示了一张令人印象深刻的指数型曲线，勾勒出人工智能（AI）技术的发展路径。这张图不仅体现了AI技术的过去、现在与未来，还为AI的应用场景和发展阶段提供了清晰的愿景。本文将结合这张图表，解析AI技术的四个发展阶段：感知智能（PerceptionAI）、生成式AI（GenerativeAI）、代理智能（AgenticAI）和物理智能（PhysicalAI）。1.感知智能：AI的起点感知智能是AI发展的第一阶段，位于曲线的起...

随着2024年渐行渐远，我们迎来了一个充满AI创新与突破的年度回顾。从大型语言模型的进一步发展，到计算机视觉、AI安全等领域的革命性进展，研究社区在过去一年里确实做出了许多令人震撼的贡献。面对如此多的科研成果，哪些研究真正让我们停下来思考？哪些论文启发了我们，激发了“我如何将这些成果应用到自己的工作中？”的好奇心？在这篇文章中，我将分享我个人最喜欢的2024年AI研究论文，这些研究不仅令我兴奋，也让我迫不及...

本周，OpenAI发布了《学生使用ChatGPT写作指南》博文。内文中针对生成式AI在教育领域的批评，回应称ChatGPT只是一款AI工具，学生合理使用ChatGPT工具，可以深入理解复杂概念，但错误的使用方式可能会适得其反，剥夺学生练习和提高技能的机会。同时其表示，ChatGPT可以作为教育工具，帮助学生提升严谨思维和清晰写作的能力。OpenAI也提到，也有一些使用ChatGPT的方法会对学习产生反作用，比如生成一篇作文而不是自己写作，这就剥...

🎉期待已久的重磅产品终于来了！OpenAI的Sora正式开放，带着革命性的AI视频生成技术，突破性地从文本生成高质量视频。无论你是ChatGPTPlus还是Pro会员，现在都能在Sora官网（sora.com）体验这项神奇的技术，直接把脑海中的创意变成生动的视频！🚀Sora的黑科技亮点1.文本变视频，极致创意呈现无需专业设备，Sora让你通过简单的文字描述生成1080p、最多20秒的视频，支持横屏、竖屏、正方形等多种尺寸，让视频内容呈现更加灵活！2....