AI.x社区

Transformer架构从根本上改变了人工智能的格局。从支撑大型语言模型（LLMs）的对话能力到实现实时语言翻译，Transformer已成为现代自然语言处理（NLP）应用的核心。然而，其成功背后伴随着巨大的代价：训练和部署往往需要超大规模数据中心的计算和内存资源。这种计算需求给人工智能发展带来了巨大的经济压力。虽然科技巨头能够承担大规模GPU集群的成本，但小型组织和独立研究人员往往难以跟上步伐。因此，提高Transformer模型的...

2025年8月5日，OpenAI取得新突破，发布了两款基于Apache2.0许可的开放权重推理模型——GPTOSS120B和GPTOSS20B。这些模型将以往只能通过API获取的强大功能赋予了开发者、研究人员和企业，便于他们进行微调、自主部署和扩展。什么是GPTOSS？WhatisGPTOSSGPTOSS（生成式预训练Transformer开源软件，GenerativePretrainedTransformerOpenSourceSoftware）是OpenAI于2025年8月5日根据Apache2.0许可发布的一系列开放权重语言模型。此...

向量数据库如何为检索增强生成（RAG）高效匹配数据包含4个层级和30个文档的HNSW图检索增强生成（RAG）是向大型语言模型（LLMs）添加外部知识的重要工具。几乎每个RAG系统都包含一个向量数据库来执行语义搜索。在这种搜索方式中，存储在向量数据库中的文档嵌入会与用户的查询嵌入进行比较。一个基本的RAG设置包括一个嵌入模型、一个向量数据库和一个大型语言模型。向量数据库用于找到与查询最匹配的前K个文档在实际应用中，将一...

在AI大模型领域，如何高效处理文本数据始终是核心挑战。传统分词方法受限于静态词汇表和固定粒度，难以应对低资源语言或复杂语义场景。例如，在面对像东南亚语言或非洲本地语言这类缺乏大规模标注数据的语言时，传统方法往往无法有效提取语义信息。此外，当文本中出现新词、网络用语或专业术语时，传统模型也容易出现断词错误，从而影响整体建模效果。近日，Meta（原Facebook）研究团队开源了一种革命性架构——AUNet，通过引入...

论文标题：YourLLMKnowstheFuture:UncoveringItsMultiTokenPredictionPotential论文链接：https:www.alphaxiv.orgabs2507.11851大型语言模型（LLM）自诞生以来，一直遵循着严格的自回归生成模式——每次只能生成一个token，然后将这个token作为上下文继续生成下一个。这种模式虽然保证了生成文本的连贯性，却也成为了制约推理速度的瓶颈。在2025年7月发布的论文《YourLLMKnowstheFuture》中，苹果研究团队提出了一种革命性的方...

引言大型语言模型（LLMs）彻底革新了自然语言处理领域，但其对静态内部知识的依赖，在事实准确性和时效性方面暴露出根本性局限。检索增强生成（RAG）作为一种强大的范式应运而生，它构建了一种混合架构，将模型输出动态锚定于外部可验证信息。本文将深入探讨RAG框架的核心机制——从检索器与生成器组件到参数化记忆与非参数化记忆的关键区别，揭示其在知识密集型应用中实现前沿性能的奥秘。一、深入解析检索增强生成（RAG）RAG...

6月18日凌晨，微软研究院发布三篇突破性论文，正式公开rStarMath、LIPS、CPL三大算法，直击大语言模型（LLM）的核心痛点——数学推理与逻辑链能力不足。这些算法不仅适用于百亿参数大模型，也能显著提升小模型的推理性能，被业界称为“推理增强三件套”。一、rStarMath：用蒙特卡洛树搜索实现“深度思考”核心思想：将蒙特卡洛树搜索（MCTS）与代码验证结合，让大模型像人类一样“反复推演再下结论”。技术亮点：代码增强的思维...

在人工智能从单一模型走向复杂协作的时代，多代理系统（MAS）正成为破解高难度任务的关键钥匙。本文聚焦从理论到代码的全流程实践，深度解析如何通过模块化设计让多个智能体协同完成复杂目标。你将学会：三大核心组件（模型选型、工具集成、指令配置）如何支撑代理逻辑；两种经典架构模式（Supervisor集中管理与Swarm分布式协作）的适用场景与代码实现；消息流转、层级管理、流式输出等工程化细节的落地技巧；隐藏挑战与行业标...

了解位置编码背后的数学原理和直觉Transformer是一种深度学习架构，它利用注意力机制来学习数据元素之间的关系。它由一个编码器和一个解码器组成，与传统的循环神经网络（RNN）或卷积神经网络（CNN）不同，它可以并行处理输入序列，而不依赖于顺序处理。Transformer模型的一个重要组成部分是位置编码。这种方法能够将位置信息添加到词嵌入中，使模型能够理解序列中单词的顺序。这一点至关重要，因为默认情况下，Transformer是并...

Qwen3TechnicalReport本文介绍了最新的Qwen模型家族——Qwen3，它是一个大型语言模型系列，旨在提高性能、效率和多语言能力。该系列包括密集架构和混合专家（MoE）架构的模型，参数规模从0.6到235亿不等。Qwen3的创新之处在于将思考模式（用于复杂、多步推理）和非思考模式（用于快速、基于上下文的响应）整合到一个统一框架中，消除了切换不同模型的需求，并可以根据用户查询或聊天模板动态切换模式。此外，Qwen3引入了思考预...

本文介绍了一种新的统一多模态链式思维奖励模型，该模型通过强化微调方法实现了对复杂推理过程的学习和激励。传统的奖励模型通常只能提供直接响应或浅层推理，而新提出的模型能够进行多层次、逐步的长链推理，从而提高了奖励信号的准确性和可靠性。该模型采用了探索驱动的强化微调方法，首先利用小规模图像生成偏好数据来学习GPT4o的推理过程，并将其用于模型的冷启动；然后利用模型的先验知识和泛化能力，准备大规模的统一多模...

论文DoesReinforcementLearningReallyIncentivizeReasoningCapacityinLLMsBeyondtheBaseModel2504.13837TL;DR:虽然强化学习（RL）训练的模型在较小的k值（例如，k1）下优于其基本模型，但基本模型可以在较大的k值下获得与RL对应物相比的可比甚至更高的passk分数。进一步分析表明，RL训练模型生成的推理路径已经包含在基础模型的抽样分布中，表明RL训练模型中表现出的大部分推理能力已经由基础模型获得。RL训练通过将模型的输出...

在学术写作中，精准引用与优质文本生成至关重要，现有检索增强生成系统却难以满足需求。今天为大家带来一篇研究成果介绍，文中提出的ScholarCopilot框架，能训练大语言模型助力学术写作。它表现如何？又有哪些创新？快来一探究竟。参考文献article{wang2024scholarcopilot,title{ScholarCopilot:TrainingLargeLanguageModelsforAcademicWritingwithAccurateCitations},author{Wang,YuboandMa,XueguangandNie,PingandZeng,Huayea...

一、引言在人工智能领域，代理是一类借助大语言模型（LLM）来决定应用程序控制流的系统。随着开发的推进，这类系统往往会变得愈发复杂，给管理和扩展带来诸多难题。比如，你可能会遭遇以下状况：工具选择困境：代理可调用的工具繁多，导致在决策下一步使用哪个工具时表现欠佳。上下文管理难题：上下文信息过于繁杂，单个代理难以有效追踪和处理。专业领域需求多样：系统内需要涵盖多个专业领域，像规划师、研究员、数学专家等角...

在当今数据驱动的商业环境中，存在着一个矛盾现象：企业一方面要应对信息过载的问题，另一方面又试图从海量信息中提取有意义的见解以推动行动，这构成了双重挑战。存储在技术报告、产品文档、合同和演示文稿幻灯片中的大量商业知识，都以非结构化格式存在，传统的数据分析系统难以对其进行解读。包含文本、图表、图形和图像的文档蕴含着有关业务流程和决策系统的重要商业情报，但这些情报大多未被充分利用。想要利用机构知识的...

强化学习代表了我们对人工智能思考方式的深刻转变——从仅仅识别模式的系统，转变为通过交互学习并通过经验改进的智能体。正如我们将在本系列中看到的，这种范式正在推动当今一些最令人印象深刻的人工智能成就，并开辟机器学习研究的新前沿。强化学习的基础击败围棋世界冠军的算法可不只是按程序设定运行，它还会学习。在复杂城市环境中自动驾驶的汽车，并非遵循着明确指令，而是在不断适应。重塑我们数字体验的突破性语言模型...

在之前的Agent系列文章中，我们全面介绍了AI智能体，探讨了它们的特征、组成部分、发展历程、面临的挑战以及未来的可能性。在这篇文章中，我们将深入探索如何使用Python从零开始构建一个智能体。这个智能体将具备根据用户输入做出决策、选择合适工具并相应执行任务的能力。现在，就让我们开启这个有趣的构建之旅吧！一、什么是智能体？智能体是一种能够感知其所处环境、做出决策并采取行动以实现特定目标的自主实体。智能体的复...

知识蒸馏通过创建更小、更快、更易于部署的模型，释放了大语言模型（LLM）在实际应用中的潜力。本文提供了知识蒸馏的全面指南，涵盖视觉、自然语言处理（NLP）和语音领域中的算法、架构和应用。大规模机器学习和深度学习模型越来越普遍。例如，据报道，GPT4o有超过2000亿个参数。然而，虽然训练大型模型有助于提升最先进的性能，但部署这种庞大的模型，尤其是在边缘设备上，并非易事。此外，大多数数据科学建模工作侧重于训练单...

主流RAG框架可以分为以下五个主要的进化方向：成本控制型（适合初创公司）、实时互动型（适用于财经新闻场景）、域专家类型、认知增强型、安全与合规类型。接下来，让我们详细了解一下这25种RAG变体。一、标准RAG一个基本的RAG系统由检索模块和生成模块组成。系统会对查询进行编码，检索相关的文档块，然后为基于transformer的LLM构建丰富的提示。查询编码器：使用预训练的转换器（例如DPR）生成密集的查询嵌入。代码实现如下：...

在本文中，我们将深入探索DeepSeekR1背后的前沿进展与创新方法。这一成果作为提升大语言模型（LLMs）推理能力的卓越方案，融合了强化学习（RL）等前沿技术，不仅革新了模型训练范式，还为行业发展开辟了新方向。接下来，让我们一同揭开DeepSeekR1的神秘面纱，探寻其引领AI推理领域变革的核心力量。来源：DeepSeekAI随着强化学习（RL）技术的兴起，提升大语言模型（LLM）推理能力的探索取得了重大突破。本文将深入剖析DeepSeekZe...