AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
离线VLLM魔改流式
通过内存缓冲+轮次压缩解决上下文记忆和效率矛盾，通过外部激活模型实现主动性，是StreamBridge的关键创新点传统的视频大语言模型(VideoLLM)通常一次性处理整个视频，对实时输入支持不足。然而在机器人、无人驾驶等应用中，需要模型具有因果感知和动态反应能力，即能够在视频流不断到来时及时理解新内容并主动输出。StreamBridge提出了一个简单有效的框架，将现有的离线VideoLLM缝升级为可处理流式视频的系统。它针对流式场景中...VLLM数据Video-LLM通义千问又开源啦！WorldPM-世界偏好模型来了！
大家好，我是刘聪NLP。是的，没错，Qwen团队又开源了，这次是偏好模型WorldPM。偏好模型，就是也可以理解为奖励模型，在强化学习中用来打分的那个模型！HF：https:huggingface.cocollectionsQwenworldpm6826f363e9c62f97a0b437e6Paper：https:arxiv.orgabs2505.10527WorldPM，是在1500万条训练样本上进行偏好训练，模型规模从1.5B到72B，同时发现偏好模型遵循与语言模型类似的缩放规律。模型的训练数据来自多个公共论坛，包括St...WorldPM模型开源IKEA：通过强化学习提高LLM检索规划效率（开源）
1.为什么要提出IKEA随着可验证奖励系统的大规模强化学习（RL）技术突破，以DeepseekR1为代表的推理模型性能显著提升。这类模型能通过推理激活预训练知识来处理知识密集型任务，但受限于预训练语料的局限性和世界知识的动态性，仍存在幻觉问题。当前主流解决方案是赋予模型调用搜索引擎的能力，将其训练为搜索智能体，使其在强化学习中逐步掌握任务分解与知识检索能力。然而该方法存在明显缺陷：其一，过度依赖LLM的工具调用功能...LLM检索模型ScaleMCP: 结合RAG技术增强MCP工具管理能力
1.为什么要提出ScaleMCP随着大型语言模型（LLMs）与工具学习技术的突飞猛进，智能体已能动态对接各类外部工具与API。1.1MCP协议的诞生模型上下文协议（MCP）的诞生，为LLM与外部工具、数据源及提示词建立了标准化桥梁。MCP是由Anthropic推出的一项开放协议，为大型语言模型（LLM）与外部工具、数据及提示的交互提供标准化框架。开发者可借助MCP服务器开放工具与数据接口，或开发连接这些服务的AI应用（MCP客户端），大幅降低AI...RAG技术MCPLLM训练数据综述：预训练与微调数据的规模、来源、类型及开源资源梳理
原创摘要2022年，随着ChatGPT的发布，大规模语言模型受到了广泛关注。ChatGPT不仅在参数量和预训练语料库规模上远超前代模型，还通过大量高质量的人工标注数据进行微调，实现了革命性的性能突破。此类进展使得企业和研究机构认识到，构建更智能、更强大的模型依赖于丰富且高质量的数据集。因此，数据集的建设与优化成为人工智能领域的关键方向。本文对训练大规模语言模型所需的预训练数据和微调数据的现状进行了总结，涵盖了数据规...LLM预训练微调大模型开发理论与技术——大模型应用体系梳理，对大模型应用整体认识
原创“大模型技术开发是一个复杂的领域，我们需要对其形成基础的认知体系，才能知道我们在做什么以及怎么做。随着对大模型技术应用的理解加深，以及和身边朋友和同事的交流，最近发现一个问题，很多人对大模型技术和应用并没有一个整体的认识；而且由于大模型属于一个新兴领域，也因此产生了很多新的概念和名词，所以这也间接导致了很多人认为大模型很难很复杂。所以，今天作者就从个人理解的角度对整个大模型体系进行梳理；虽然并...大模型大模型应用大模型技术开发AutoGen从入门到高阶系列一：如何从零开始构建你的第一个智能体？
原创最近团队里的小伙伴都在讨论AutoGen，作为一个去年还在手搓智能体的"老派"开发者，我也决定跟上技术潮流。经过一段时间的实践，我发现这个框架确实能极大提升开发效率。今天开始，我将通过一系列文章，带大家从零开始掌握AutoGen。文章大致目录是这么安排的：基础入门内置智能体自定义智能体及高级技巧智能体到底是如何进行团队协作的状态管理swarm模式分布式智能体作为开篇，我们先来认识这个强大的工具。初识AutoGen想象一下...AutoGenAgent智能体NCCL 系列之深入解析 NCCL 拓扑建模
一、概览1.1引言在大规模分布式训练中，NCCL的拓扑发现和建模是确保高效通信的核心机制，可以帮助建立硬件感知的通信优化，比如充分利用异构带宽，避免通信成为瓶颈，会直接影响训练的性能和扩展性。对应的核心代码位于：init.cc：ncclsrcinit.ccatmaster·NVIDIAnccl·GitHub[1]topo.cc：ncclsrcgraphtopo.ccatmaster[2]1.2NCCL初始化拓扑建模如下图所示为NCCL初始化时拓扑相关的核心流程，主要负责系统拓扑发现、路径建模、设...NCCL拓扑建模提升大模型训练 MFU：字节“拖后腿”现象分析和归因
一、背景在之前的系列文章中，笔者已经系统性地介绍过大规模LLM训练面临的各种挑战以及可能涉及的问题和解决方案。在对大规模任务进行Profiling分析的时候，面对成千上万的kernel也经常苦不堪言，想要通过统计分析来诊断相应的问题，并为优化提供更多的可能性。碰巧看到了字节跳动Seed的这篇文章，虽然社区内没有看到太多讨论，不过其确实与我们的一些思路不谋而合，这里进行简单介绍。其实文章中的大部分结论性内容笔者在之前...MFU大模型字节谷歌最新研究：大模型为何「学得会」却「用不好」？
精华图片你是否遇到过这样的情况：GPT、Claude等大模型在对话时很聪明，但经过微调后却变得「变笨」了？这不是你的错觉，而是AI学习的一个有趣现象。最近，谷歌研究团队发表了一篇重磅论文，揭示了大模型两种学习方式之间的巨大差异。现在一起来探索这个AI世界中的奇妙现象：为什么有时候「上下文学习」比「微调学习」更灵活？图片1、大模型的两种学习方式，哪个更强？大模型主要通过两种方式学习新知识：（1）上下文学习（Incontex...谷歌大模型AIAI Agents vs. Agentic AI：从工具型助手到自主协作系统的进化
在人工智能飞速发展的今天，"AIAgent"（AI智能体）已经成为热门词汇，但你是否了解它与"AgenticAI"（智能体AI）之间的本质区别？这两个看似相似的概念实际代表着人工智能领域中两种截然不同的设计理念和能力边界。今天，我们将通过解读这篇论文来为你揭开这两种技术的神秘面纱。图片1、AIAgent的崛起：从生成式AI到工具增强型助手ChatGPT的出现让我们见识了大语言模型(LLM)的强大能力，但这只是AI进化的开始。传统的生成式AI本...AIAgentsRAG为什么 API 必不可少，而 MCP 暂时是可选的
原创
社区头条作者GilFeig编辑云昭出品51CTO技术栈（微信号：blog51cto）AI助手在产品体验中的重要性日益凸显，而一种新的标准也应运而生，它助力AI助手的构建：模型上下文协议(MCP)。随着Anthropic、OpenAI和Gemini等主流大型语言模型(LLM)提供商的采用，该协议迅速在更广泛的软件生态系统中获得了广泛关注，各大公司纷纷构建自己的MCP服务器。作为参与构建MCP服务器和API集成的人员，我亲眼目睹了这种快速采用导致的混乱。一些开发人员和产...APIMCPOpenAI四剑客联手打造下一代互联网！智能体互联时代将至！A2A、MCP、Kafka 与 Flink如何强强联手？
原创 社区头条编译云昭出品51CTO技术栈（微信号：blog51cto）智能体（Agent）是个不可逆的趋势。但今天的AI智能体似乎还处于一个“前标准化”阶段。这些雨后春笋般的智能体越来越多，性能强大、增长迅速，但彼此之间却无法协作——有的智能体用来分析数据，有的用来编写代码，有的用来自动化客户关系管理（CRM）工作流，但它们彼此孤立，互不往来。这就好比几十年前的互联网：在万维网出现HTTP协议之前，在电子邮件拥有SMTP协议之前，我们曾...A2AMCPKafka基于800万真实数据，康奈尔大学团队利用图神经网络精准预测肺癌患者生存期，发现3类致命亚型
原创10年前，CheckMate017试验成果曾震动肿瘤学界。「新英格兰医学杂志（TheNewEnglandJournalofMedicine）」、「美国医学会杂志（TheJournaloftheAmericanMedicalAssociation）」等多次报道，接受PD1抑制剂Nivolumab治疗的晚期肺鳞癌患者，生存数据显著提升：中位总生存期从化疗6个月升至9.2个月，18个月生存率是化疗组2倍。这项研究标志着免疫检查点抑制剂（ICI）时代开启，却也暴露晚期非小细胞肺癌（aNSCLC）患者对免疫治疗反应...AI for Science深度学习图神经网络编码器聚类模块混合生存预测器【TVM 教程】创建使用 microTVM 的 MLPerfTiny 提交
原创ApacheTVM是一个深度的深度学习编译框架，适用于CPU、GPU和各种机器学习加速芯片。更多TVM中文文档可访问→[https:tvm.hyper.ai](https:tvm.hyper.ai)作者：MehrdadHessar本教程展示了如何使用microTVM构建MLPerfTiny提交。该教程演示了从MLPerfTiny基准模型中导入一个TFLite模型，使用TVM进行编译，并生成一个可以刷写到支持Zephyr的板上的Zephyr项目，以使用EEMBCrunner对模型进行基准测试的步骤。安装microTVMPython依赖项TV...TVM深度学习编译框架机器学习加速芯片写给开发者的“Vibe coding”提示词编写指南
原创 精华编者按：如何有效利用大语言模型（LLMs）生成高质量代码？这是当下开发者们比较关心的一个问题。在生成代码的过程中，提示词的设计是否精确，直接决定了模型输出的质量。本文深入探讨了提示词优化的12条策略，给出了清晰的操作指南和示范案例，读者可以了解到如何通过精准编写提示词引导模型生成性能优越、符合实际需求的代码。作者AyushThakurPotpie(https:github.compotpieaipotpie)编译岳扬大语言模型（LLMs）已经彻底改变了...AILLM二次元专属模型来了！B站开源首个动漫专用生成模型Index-AniSora
昨天，B站宣布开源其最新的动画视频生成模型——IndexAniSora，这是首个专为二次元风格视频生成打造的AI模型，支持一键生成多种动漫风格视频，包括番剧、国创、漫改、鬼畜等。B站团队提出了一种统一的框架，专为动画视频生成设计，包含时空掩码模块，能够执行图像到视频生成、帧插值和局部图像引导动画等任务。用户仅需输入一张静态图片或一段文字描述，模型即可通过“动态拆解重构”流程，生成流畅且风格统一的视频。在技术实...ai动画B站开源AniSora哔哩哔哩算家云租算力，到算家云智能体开发框架Langgraph基础流程和理论梳理
原创“智能体应该才是大模型应用的未来，它才是有可能实现真正人工智能的途径”在大模型技术的应用过程中，智能体算是一个主要的技术方向；如果说把大模型比作人的大脑，那么智能体就是人的手和脚；大脑能够思考，但具体的事情还是需要手和脚才能做。而Langgraph就是给大模型安装手和脚的工具；而我们学习Langgraph主要就是基于它强大的功能逻辑。在传统的人工智能应用开发中，包括Langchain框架，都是基于链式调用的方式，简单来说...智能体Langgraph开发框架Emu3：仅需下一令牌预测
原创摘要尽管下一令牌预测被视为通往通用人工智能的一条有前途的道路，但它在多模态任务中一直难以取得优异成绩，目前多模态任务仍由扩散模型（如StableDiffusion）和组合方法（如CLIP与大语言模型相结合）主导。在本文中，我们介绍Emu3，这是一套全新的最先进的多模态模型，仅通过下一令牌预测进行训练。通过将图像、文本和视频标记化到离散空间中，我们在多模态序列的混合数据上从头开始训练一个单一的Transformer。Emu3在生成和...Emu3通用人工智能VILA-U：融合视觉理解与生成的统一基础模型（ICLR2025)
原创摘要VILAU是一个统一基础模型，融合了视频、图像和语言的理解与生成能力。传统的视觉语言模型（VLMs）在处理视觉内容的理解和生成任务时，使用独立的模块，这可能导致模块间的不协调和模型复杂度的增加。相比之下，VILAU采用单一的自回归下一个标记预测框架来处理这两项任务，避免了使用如扩散模型等额外组件的需求。这种方法不仅简化了模型结构，还在视觉语言理解和生成任务中取得了接近当前最优水平的性能。VILAU的成功主要归...VILA-U统一基础模型
