AI.x社区

快手静态部署托管服务（KFX）历经四年发展，经历了三个阶段，一步步从勉强能行车的“崎岖土路”到现在多车道并行的“平坦高速”，这一转变极大地提升了资源利用率和效率，满足业务的实际需要。本文将带你了解其背后的演进历程。一、KFX前端通用静态托管服务KFX是什么：KFX是快手前端通用静态托管服务。为什么要有KFX？静态托管服务是前端工程化发展的必然结果。快手前端部署的发展大致经历了这三个阶段：1.直接在物理机上部署ng...

在检索增强生成（RAG）技术崭露头角之际，业界对其赋予厚望，期待它能够推动AI迈向新的智能高度。然而，实践中RAG暴露出诸多缺陷，极大地限制了其应用效果与AI的发展进程。在此背景下，推理增强生成（ReAG）技术应运而生。ReAG凭借其独特的技术架构与运行逻辑，为解决RAG问题提供新思路和可行方案，在AI升级之路上潜力巨大。1.传统RAG的“槽点”传统RAG系统就好比记忆力差的图书管理员，看似在努力找资料，实则状况百出：语义搜...

言简意赅，发现月之暗面开源MoE模型，总参数量15.29B，激活参数2.24B，使用Muon优化器，在5.7TTokens的训练数据下，拿到了很好的效果。Github：https:github.comMoonshotAIMoonlightHF：https:huggingface.comoonshotaiMoonlight16BA3BPaper：https:github.comMoonshotAIMoonlightblobmasterMoonlight.pdf效果如下：比较Muon和Adam的扩展定律实验，发现Muon的样本效率比Adam高2倍。Muon优化器原理如下：同时，Moonlight16BA3B的...

编辑伊风出品51CTO技术栈（微信号：blog51cto）吴泳铭亲自预告过的，阿里旗舰推理模型，新消息来了。刚刚，它的预览版正式发布和上线体验——就是这个QwQMaxPreview！一眼看去，我愿称之为最萌的推理模型，看blog主页的名称，感觉思维链中的模型正在很努力的思考中……图片QwenChat中已经可以体验预览版模型：​​https:chat.qwen.ai​​点进模型的blog，发现这里有一个隐藏彩蛋，内容是由QwQMaxPreview自己写的，我们可以看到A...

刚刚，DeepSeek放出了开源第二弹——DeepEP！它拥有高效优化的alltoall通信，并具有以下特点：内部节点和节点间均支持NVLink和RDMA高吞吐量内核用于训练和推理预填充低延迟推理解码内核本地FP8调度支持可灵活控制的GPU资源，用于计算通信重叠具体来说，DeepEP是一个专为混合专家系统（MoE）和专家并行（EP）设计的通信库。它提供高吞吐量和低延迟的GPU全互联内核，也被称为MoE的「调度」和「组合」操作。该库还支持低精度运算，...

01、概述在人工智能领域，知识检索与处理方法一直在不断进化。过去，基于检索增强生成（RAG，RetrievalAugmentedGeneration）的系统长期占据主流，但如今，基于缓存增强生成（CAG，CacheAugmentedGeneration）的方法正在显示出其颠覆传统的潜力，逐渐成为新一代知识处理的主力军。那么，RAG和CAG到底有什么区别？为什么CAG被认为是未来的方向？让我们深入探讨这两种方法，了解它们各自的优缺点，以及为什么CAG可能成为未来知识...

01、概述当第一次接触大型语言模型（LargeLanguageModels,LLMs）时，既好奇又兴奋。这些模型能够生成文本、总结文档，甚至翻译语言的潜力让我们眼前一亮，但与此同时，也会感到无从下手——面对如此强大的技术，又该从哪里开始呢？今天，想和大家分享五个对学习LLMs影响深远的Python库，希望它们也能为你的AI旅程提供启发。02、学习LLMs相关的Python库1）HuggingFaceTransformers：LLM入门的最佳选择如果你刚开始接触LLMs，那么...

文章链接：https:arxiv.orgpdf2502.13995项目链接：https:fantasyamap.github.iofantasyid亮点直击首次尝试从单视角参考图像中提取3D面部先验，以增强面部结构的稳定性，从而在整个视频生成过程中有益于身份（ID）保持。通过采用多视角面部增强策略，能够显著增强对广泛视角下2D面部外观的感知，从而有益于与面部表情和头部姿势相关的运动动态。设计了一种可学习的层次化特征引导机制，以促进对身份保持和动态建模的精确控制，...

今天凌晨2点，著名大模型平台Anthropic发布了首个双思维模型——Claude3.7Sonnet。Claude3.7提供了标准和扩展两种思考模式：标准思考是无需进行复杂的推理过程，就能立刻提供答案，例如，当用户询问“巴黎的埃菲尔铁塔有多高？”，会迅速给出324米。扩展思维则提供复杂的推理过程，会展示详细的推理思维链，用户可以清晰地看到模型是如何逐步分析问题、应用逻辑，非常适合数学、生物等科研领域，还能通过API精准控制模型的思考...

译者刘汪洋审校重楼大语言模型(LLMs)在技术发展上取得了显著突破。OpenAI的o3、Google的Gemini2.0和DeepSeek的R1展现出了卓越的能力：它们能处理复杂问题、生成自然的对话内容，甚至精确编写代码。业界常把这些先进的LLMs称为"推理模型"，因为它们在分析和解决复杂问题时表现非凡。但我们需要思考一个关键问题：这些模型是否真的具备推理能力，还是仅仅在规划方面特别出色？这个差异虽然细微，却对理解LLMs的本质至关重要。让我...

引言本文将探讨KVCache如何通过在内存使用和计算时间之间进行巧妙的权衡，使像ChatGPT和DeepSeek这样的语言模型在生成文本时更快。总结11篇最近的研究论文，归纳三大类：token选择、后处理压缩技术和架构重新设计。包括DeepSeek的多头潜在注意力（MLA），这些论文在这一基本思想的基础上，进一步提高了大型语言模型（LLM）推理的时间效率。一、思考为什么文本生成如此缓慢让我们从一个简单的类比开始。想象你在写一个故事，每写...

黄仁勋首度回应DeepSeek？其实不准确！在采访中黄仁勋主动提及的DeepSeek，亲自下场灭火，并称赞到“（R1是）世界上第一个开源推理模型，这太令人兴奋了，全球对我们开源的反响不可思议”！黄仁勋大胆总结说：（有人说R1出现后）我们不再需要进行任何计算了。实际上，情况正好相反！为啥呢？在老黄看来，未来的AI仍然需要三方面的Scaling：预训练“仍然需要严谨，数据量要大，（还要有）多模态数据”后训练的相关学习范式有很多...

DeepSeekR1在其论文（​​​https:arxiv.orgabs2501.12948​​​）引言部分指出，通过蒸馏技术，成功地将大模型的推理能力（比如：DeepSeekR1671B）传递给了更小型化的模型（比如：Qwen7B）。可以看出，蒸馏技术是DeepSeekR1重要的3大创新技术之一，下面详细剖析。1、DeepSeek蒸馏技术深度解读蒸馏(KnowledgeDistillation)是一种将大型复杂模型（教师模型，比如：D蒸馏(KnowledgeDistillation)是一种将大型复杂模型（教师模型，...

今日分享100多个常用的论文指令，希望对大家能带来prompt的启发和帮助...确定主题和标题1.举例说明医疗保健的新趋势，这可能是研究论文中有趣的研究主题。2.分析[插入主题名称]的研究是否存在空白，并提出潜在的研究主题。3.使用定量和定性研究方法推荐研究[插入主题名称]的主题。4.分析主题[插入主题名称]的范围是否足够广泛，并推荐我可以撰写的相关主题。5.比较以下主题，并根据哪些主题具有更大的范围和相关性，帮助我决定...

编辑伊风出品51CTO技术栈（微信号：blog51cto）上周五，DeepSeek刚刚预告了重磅开源周！周一一早，DeepSeek就履行承诺，开源了针对HopperGPU的高效MLA解码内核——FlashMLA！图片根据DeepSeek介绍，FlashMLA内核针对变长序列进行了优化，是已投入生产的核心技术。从DeepSeekV2开始，MLA出现在的所有的DeepSeek大模型里面，是DeepSeek大模型提升效果的非常重要的机制。MLA（MatrixLessAttention）多头潜在注意力，通过数学变换避...

一、RAG系统的背景与挑战在自然语言处理（NLP）领域，大型语言模型（LLMs）如GPT、BERT等已经展现出了强大的文本生成、问答和摘要能力。然而，这些模型也存在一些显著的局限性。•首先，LLMs的知识是静态的，这意味着它们无法及时更新以反映新信息，导致生成的回答可能过时。•其次，LLMs有时会生成听起来合理但事实上错误的回答，这种现象被称为“幻觉”。•最后，LLMs在涉及高级专业领域的知识时，往往缺乏足够的深度。为了应...

一、背景最近几天DeepSeek的NSA以及Moonshot的MoBA受到广泛关注，我也在第一时间看了相关论文。由于最近DeepSeek的火爆，各大平台上也出现了非常多对这两篇文章的介绍，这里不再赘述其袭击，只是简单陈述一下我的一些思考和看法。在看这两篇论文的时候，我们可以发现其很多观点和手段都似曾相识，其他在之前的Quest、SeerAttention（之前也分享过）等论文都有相关介绍。不过，其在工业落地方面提供了更多的可能性，比如Moonshot...

图片在大模型训练领域，显存一直是一个让研究者和开发者头疼的问题。特别是在进行长文本上下文训练时，动辄需要几百GB的显存需求，这让很多研究者望而却步。不过最近，AI基础设施优化团队Unsloth带来了一个重大突破他们推出的新算法可以让GRPO训练所需显存减少高达90%！文章公布了Llama3.1(8B)GRPO在Colab上notebook，见：https:colab.research.google.comgithubunslothainotebooksblobmainnbLlama3.1(8B)GRPO.ipynb1、从510GB...

图片想知道ChatGPT这样的大语言模型是如何炼成的吗？今天带你揭开大模型训练的神秘面纱，看看在数百个GPU上协同训练大语言模型的技术秘密。为什么这很重要？曾几何时，训练大语言模型是少数顶级研究实验室的专利。虽然现在我们可以下载Llama或DeepSeek这样的开源模型，但最具挑战性的部分——训练代码、知识和技术仍然隐藏在复杂性之后。这些关键知识分散在众多论文和私有代码库中，让大多数开发者和研究者望而却步。图片图片深...

（MoBA）大语言模型长文本处理新解法：块注意力混合在自然语言处理领域，高效处理长文本一直是个老大难问题。随着大语言模型在阅读、理解和生成文本方面的能力不断提升，其处理输入的核心——注意力机制，却逐渐成了瓶颈。在典型的Transformer架构里，这种机制要把每个词元（token）和其他所有词元进行比较，这就导致计算成本会随着序列长度的增加呈二次方增长。如今，我们把语言模型应用到长篇文档、多章节书籍、法律文书或是...