AI.x社区

大家好，今天给大家分享一个图像生成的新工作—MarryingAutoregressiveTransformerandDiffusionwithMultiReferenceAutoregression，后面我们简称TransDiff。首先，TransDiff是目前最简洁的、将ARTransformer与Diffusion结合用于图像生成方法。TransDiff将离散输入（如类别、文本等）、连续输入（图像等）经过ARTransformer编码为图像语义表征，而后将表征通过一个较小的DiffusionDeocder解码为图片。其次，我们提出了一种新的自...

上周五，Qwen团队又开源了Embedding模型，真是人民需要什么，它开源什么呀！现在好了，文本、多模态、embedding都齐了，别人没得玩了！上周朋友就问，作为Qwen课代表的我，咋没分享Qwen3Embedding，哈哈哈哈！这不就来了嘛，主要是前两天我还在测试。Embedding模型的测试，并不像LLM那样直观，给了问题之后直接看答案就可以分辨出好坏，Embedding模型还是要测试在某个数据集下整体得召回率。虽然这次Qwen开源了3个尺寸的模型，0...

自适应推理模型的核心就是让模型自己根据用户问题的来判断是否进行推理预测。Arm存在三种格式：直接回答、短CoT或代码、长CoT，同时引入AdaGRPO解决传统GRPO中的格式崩溃问题。除了自适应模式，Arm还支持另外两种模式；指令引导模式，用户明确强制选择某一种指定推理格式共识引导模式，聚合直接回答、短CoT或代码三种格式的输出，当答案一致时，直接返回，否则认为任务较复杂，切换到LongCoT推理模式。模型的训练分为两个阶段，...

大家好，我是刘聪NLP。是的，没错，Qwen团队又开源了，这次是偏好模型WorldPM。偏好模型，就是也可以理解为奖励模型，在强化学习中用来打分的那个模型！HF：https:huggingface.cocollectionsQwenworldpm6826f363e9c62f97a0b437e6Paper：https:arxiv.orgabs2505.10527WorldPM，是在1500万条训练样本上进行偏好训练，模型规模从1.5B到72B，同时发现偏好模型遵循与语言模型类似的缩放规律。模型的训练数据来自多个公共论坛，包括St...

大家好，我是刘聪NLP。从Llama4陨落之后，国内开源模型是世界第一，谁赞成，谁反对！反对无效！应该也没人反对吧。模型尺寸、榜单指标、首个混合推理模型，这篇就不重复介绍了，去看我上一篇内容吧。这篇主要是针对Qwen3实测，看看真实测试效果到底如何！测试可以在两个地方都可以​​https:huggingface.cospacesQwenQwen3Demo​​或者​​https:chat.qwen.ai​​主要测试think和nothink两种情况。正式测试开始。常规测试Qwen32...

下面是我前段时间跟一位群友的对话：群友：我最近有都需要进行模型微调，但是每个任务模型调完之后都对单一任务有明显提高，但如果合在一起训练的话，效果又达不到最佳。所以在使用阶段，部署了多个模型，但是显卡资源真的吃不消，有什么好的解决办法吗？我：你是Lora微调，还是全量参数微调的。群友：Lora微调，全量参数微调，也没那么多训练资源。我：你既然是Lora微调，那么你在部署的时候，可以只部署一个底座模型，然后多...

MetaAI发布了Llama4模型，终于来啦！开源社区也是等了很久。本次共两系列模型Scout和Maverick模型，两个模型均为MoE架构模型，DeepSeek得含金量还在提高，哈哈哈！榜单效果反正是杠杠滴。HF模型路径：https:huggingface.cocollectionsmetallamallama467f0c30d9fe03840bc9d0164模型的总体信息如上图所示，模型MoE架构中，无论是Scout还是Maverick，激活的路由专家数据均为1，有点奇怪，之前MoE架构一般激活路由专家数据都是2或更...

国内Qwen是汪峰，国外Google是汪峰，昨天Google更新，放出新模型Gemini2.5Pro，凌晨OpenAI更新GPT4o，上新图像生成功能，难受住了。GPT4o没测，但是网上的效果也太好了吧，倒影啥的都太自然了吧。。这篇主要测试Gemini2.5Pro的能力，整体测试通过Google的AIStudio上测试，每天免费50次，正常使用够了，爽玩还是不够的。https:aistudio.google.comGemini2.5Pro在Benchmark上效果还是很好的，甚至在lmsys的对战榜单上，现在是第一...

今早看到了百度文心大模型4.5和X1可以免费使用啦！之前说4月1号免费，这提前半个月，估计是最近大模型厂商一直都在开源，压力太大了！话说回来，2025年是真卷，几乎每一周都有新东西，也都有爆款。之前我是随机更，现在都变成日更啦！文心4.5是个多模态大模型，可以对文字、图片、音频、视频等内容进行综合理解。文心X1是深度思考的推理大模型，但支持多模态和工具使用，具有更强的理解、规划、反思、进化的能力。从榜单上看效...

今天给大家带来一篇探讨大模型预训练与微调之间关系的文章，主要通过微调预训练阶段各个checkpoint，来发现预训练本身或对下游微调有哪些影响。大模型在预训练过程中的性能如何变化？更多步数的预训练对下游微调有何影响？大模型微调学到了什么，又忘记了什么？Paper:https:arxiv.orgabs2408.06663由于目前开源模型中，开放全量checkpoints的模型较少，并且实验成本较大，以下分析结果主要基于OLMo1B模型（同时训练细节、预训练...

言简意赅，发现月之暗面开源MoE模型，总参数量15.29B，激活参数2.24B，使用Muon优化器，在5.7TTokens的训练数据下，拿到了很好的效果。Github：https:github.comMoonshotAIMoonlightHF：https:huggingface.comoonshotaiMoonlight16BA3BPaper：https:github.comMoonshotAIMoonlightblobmasterMoonlight.pdf效果如下：比较Muon和Adam的扩展定律实验，发现Muon的样本效率比Adam高2倍。Muon优化器原理如下：同时，Moonlight16BA3B的...

最近DeepSeekR1蒸馏太火了，昨天在群里跟群友们问白嫖R1接口的事情，想着多点搞免费额度蒸馏一波满血版DeepSeekR1，来做做试验。结果一个小伙伴，跟我讲，他们（无问芯穹）的满血版DeepSeekR1API是免费调用的，不仅如此，还有DeepSeekV3、Deepseek蒸馏版本模型R1DistillQwen32b也是免费的。当然，现在DeepSeek流量真的爆炸，公众号标题带DeepSeek流量都会更高一些，算是现象级模型了。在这里为春节期间同样努力奋斗，放出新模型...

今天看到vLLM的朋友圈发布了DeepSeekR1的PP支持，立刻开始我的捣鼓之旅，假如我训练的超大MoE上线了，也得做好技术准备工作是不嘛。把踩坑经验给大家分享一下，希望能够相比于官方文档更白话一点。DistributedInferenceandServing:https:docs.vllm.aienlatestservingdistributedserving.htmlrunningvllmonmultiplenodes知乎游凯超说一定要让整个过程变得丝滑无比，我俩配合做了几个验证，现在应该只需要Step0和Step3就可以run起...

大家好，我是刘聪NLP。就在今晚，Kimi发布了最新模型k1.5，先来看榜单效果，简直爆炸。在长推理上，k1.5在数学能力上，无论是纯文本还是视觉多模态上，都远超openai的o1模型；在codeforces与其持平，LiveCode上略差，但相比于QVQ和QWQ有较大的优势。在短推理上，k1.5的数学能力真实遥遥领先，无论是gpt4o还是claude3.5sonnet都远不如k1.5，尤其是在AIME榜单上，k1.5有60.8，而最高的deepseekv3只有39.2，堪称断层式碾压。这个应...

大家好，我是刘聪NLP。前段时间一直都在尝试用多模态大模型进行落地应用，除了问答之外，那么最容易想到的就是文档解析了。一来多模态大模型本身就有强大的OCR功能，二来知识加工对于大模型落地来说也是重中之重，三来现在很多文档拆解的API或者项目，效果都没有那么理想吧，比如：夹杂公式的文本、复杂表格等。思路是不是很正，于是乎我就尝试用多模态大模型进行表格解析的任务了。结果就是：全是眼泪！痛，太痛了！今天此贴主...

今天给大家带来一篇知乎好友hadiii的一篇文章，汇总Llama3.1、DeepSeekV3、TÜLU3和Qwen2.5的后训练PostTraining技术。知乎：https:zhuanlan.zhihu.comp12862210431本文汇总Llama3.1，DeepSeekV3，TÜLU3，Qwen2.5报告的后训练部分，摘录其中核心的细节。大多涉及到数据，SFT，RL（各种RM训练，DPO，GRPO，RLVR等等）。1.Llama3.1paper:https:ai.meta.comresearchpublicationsthellama3herdofmodelsIllustrationoftheoverallpos...

大家好，我是刘聪NLP。没错，是的，对的，很棒，千问！QWQ之后，千问团队又开源了视觉推理大模型QVQ，是72B的呦。圣诞快乐，如期而至！HF:https:huggingface.coQwenQVQ72BPreview为啥是72B，可想而知，这个QVQ就是基于前一段时间开源的Qwen2VL72B模型上进一步训练得来的。有个7B的为啥没出QVQ7B，估计是参数来太少，做o1式推理效果不行，QWQ也是32B起步的，所以模型参数量很关键。在榜单上的效果，QVQ在MMMU是突破了70，并且整...

模型概述Megrez3BOmni是由无问芯穹研发的端侧全模态理解模型，基于无问大语言模型Megrez3BInstruct扩展，同时具备图片、文本、音频三种模态数据的理解分析能力，具体模型参数如下表所示。Megrez3BOmni在并未牺牲模型的文本处理能力的前提下，在三个模态上相较于同等参数模型，均取得较好的效果。图源：https:internvl.github.ioblog20241205InternVL2.5注意：下面的文本、图像、语音评测均基于https:huggingface.cospacesInfini...

在看了OpenAI的直播，精读了字节论文，以及和知乎真中合欢激烈辩论后。我对RFT(ReinforcementFineTuning)也有了一些自己的认知，这篇文章给大家分享一下我的理解。首先给出我的结论：RFT并不是新的技术范式，而是PPO技术范式下的新应用范式，RFT相比于传统PPO的创新点是rulebasedrewardmodel。叠甲声明：RFT属于应用范式，RFT依赖的是rulebasedrewardmodel，这两个观点属于个人看法，如有不对，还望轻喷。至于“dozensofdata”...

晚上发现kimi也更新了，之前网上流传的kimi在数学上对标o1的模型，可以测试了。感觉有点迫于deepseek的压力了，本来应该是国内第一个的，长推理、类o1的模型，现在变成了第二个。模型版本叫k0math，在数学上的效果也是对标openaio1，官方也仅仅表示说在数学能力上较强。来自官方帖子https:mp.weixin.qq.comsg4DltigncX4sfaQ6Qn1zA但我非要测试看看在文本推理上的效果如何。测试界面是侧边栏的小眼镜图标，进来直接就可以测试，...