AI.x社区

谷歌全新人工智能系统将大型语言模型（LLMs）与树搜索（TreeSearch）技术相结合，实现了专家级科学软件的自动化创建。通过将研究重构为“可评分任务”，该系统在生物信息学、流行病学和神经科学领域展现出超越人类的性能，预示着加速科学发现的新时代到来。假设你是一名科学家，正凝视着屏幕。你的目标是研究亚马逊雨林的森林砍伐问题——你已掌握拍字节（PB）级别的卫星数据，但要将这些原始数据转化为可靠的“森林砍伐检测工...

集群采样策略优化（SwarmSamplingPolicyOptimization，简称SAPO）是一种去中心化的异步强化学习（RL）算法，适用于语言模型（LM）后训练任务。该算法可在异构计算节点上运行，通过网络共享轨迹（rollouts）以传递学习洞见，避免大规模并行化带来的瓶颈问题，降低成本，并在实验中实现了高达94%的奖励提升（包括在数千个多样化社区节点上的测试）。方法原理由N个节点组成的集群会随时间生成并交换轨迹（rollouts）。每个节点都拥...

本文将介绍DuPO——这一突破性AI框架可使大语言模型（LLM）实现自我验证与优化，无需高昂的人工标注。我们将探讨其“广义对偶性”如何解决数学、翻译等不可逆任务，并助力模型实现最先进性能。当前人工智能正处于关键节点。大语言模型（LLM）已展现出惊人的能力，但其发展却受制于一个显著且常被忽视的瓶颈：对反馈的持续依赖。目前主流的技术范式——基于人类反馈的强化学习（RLHF），是GPT4、Claude3等模型背后的核心驱动力。...

DeepSeekV3、Qwen3和KimiK2等模型已经证明，扩大模型规模和计算资源是提升性能的有效途径。然而，随着模型规模的不断增长，计算效率和资源利用成为了亟待解决的关键问题。今天，我们将深入解析美团LongCat团队最新发布的LongCatFlash模型，这个拥有5600亿参数的MixtureofExperts(MoE)语言模型如何在保证强大性能的同时，实现计算效率的突破性提升。技术背景：大型语言模型的效率挑战近年来，大型语言模型的发展呈现出"越大越好"...

图片引言：具身智能与大模型的完美结合具身智能（EmbodiedAI）旨在开发具有物理形态的智能系统，使其能够在真实环境中感知、决策、行动和学习。这一领域被认为是通往通用人工智能（AGI）的有希望之路。尽管经过数十年的探索，但要使智能体在开放动态环境中实现人类水平的智能，以执行通用任务，仍然是一个巨大的挑战。近年来，大模型的突破性进展彻底改变了具身智能领域，通过增强感知、交互、规划和学习能力，为通用智能体奠定...

多模态学习一直是研究热点，它通过整合来自不同模态的信息来提升模型性能。然而，在实际应用中，多模态学习常常面临一个棘手的问题——模态不平衡，导致模型过度依赖主导模态而忽视其他模态，限制了整体效果。一、技术背景：多模态学习的挑战多模态学习旨在通过统一不同模态的模型来增强性能。在现实世界中，对象通常可以通过多种模态来表征。例如，在动作识别任务中，可以整合视频、音频和运动传感器数据来识别人类动作；在文...

传统的文档分块方法（如固定大小或滑动窗口方法）存在几个根本性局限：它们常常会破坏连贯内容，如多页表格、分步流程以及块边界间的交叉引用关系。纯文本提取完全忽略了关键的视觉信息（图表、文档布局），而这些对于理解至关重要。由于跨页边界的语义关系未被保留，会导致上下文不完整。文档内的逻辑流程和依赖关系（包括嵌套章节和流程序列）通常会丢失，从而影响检索增强生成（RAG）系统。问题表述传统方法：对于一个有n页...

山姆·奥特曼一直在大肆宣称GPT5具备博士级智能，如今初步迹象已经显现。一位推特用户称，GPT5展示了一些前所未见的新数学内容，互联网上找不到相关信息，且它能用新的数学算法和方法给出正确证明。实际情况是怎样的“塞巴斯蒂安·布贝克是微软的正统数学家，他给GPT5Pro出了一道凸优化领域的题目。这不是教科书上的题，也不在arXiv学术预印本平台上，不是自动补全的内容，而是一道开放性难题。具体来说：任务是改进优化领域中...

Transformer架构从根本上改变了人工智能的格局。从支撑大型语言模型（LLMs）的对话能力到实现实时语言翻译，Transformer已成为现代自然语言处理（NLP）应用的核心。然而，其成功背后伴随着巨大的代价：训练和部署往往需要超大规模数据中心的计算和内存资源。这种计算需求给人工智能发展带来了巨大的经济压力。虽然科技巨头能够承担大规模GPU集群的成本，但小型组织和独立研究人员往往难以跟上步伐。因此，提高Transformer模型的...

2025年8月5日，OpenAI取得新突破，发布了两款基于Apache2.0许可的开放权重推理模型——GPTOSS120B和GPTOSS20B。这些模型将以往只能通过API获取的强大功能赋予了开发者、研究人员和企业，便于他们进行微调、自主部署和扩展。什么是GPTOSS？WhatisGPTOSSGPTOSS（生成式预训练Transformer开源软件，GenerativePretrainedTransformerOpenSourceSoftware）是OpenAI于2025年8月5日根据Apache2.0许可发布的一系列开放权重语言模型。此...

向量数据库如何为检索增强生成（RAG）高效匹配数据包含4个层级和30个文档的HNSW图检索增强生成（RAG）是向大型语言模型（LLMs）添加外部知识的重要工具。几乎每个RAG系统都包含一个向量数据库来执行语义搜索。在这种搜索方式中，存储在向量数据库中的文档嵌入会与用户的查询嵌入进行比较。一个基本的RAG设置包括一个嵌入模型、一个向量数据库和一个大型语言模型。向量数据库用于找到与查询最匹配的前K个文档在实际应用中，将一...

在AI大模型领域，如何高效处理文本数据始终是核心挑战。传统分词方法受限于静态词汇表和固定粒度，难以应对低资源语言或复杂语义场景。例如，在面对像东南亚语言或非洲本地语言这类缺乏大规模标注数据的语言时，传统方法往往无法有效提取语义信息。此外，当文本中出现新词、网络用语或专业术语时，传统模型也容易出现断词错误，从而影响整体建模效果。近日，Meta（原Facebook）研究团队开源了一种革命性架构——AUNet，通过引入...

论文标题：YourLLMKnowstheFuture:UncoveringItsMultiTokenPredictionPotential论文链接：https:www.alphaxiv.orgabs2507.11851大型语言模型（LLM）自诞生以来，一直遵循着严格的自回归生成模式——每次只能生成一个token，然后将这个token作为上下文继续生成下一个。这种模式虽然保证了生成文本的连贯性，却也成为了制约推理速度的瓶颈。在2025年7月发布的论文《YourLLMKnowstheFuture》中，苹果研究团队提出了一种革命性的方...

引言大型语言模型（LLMs）彻底革新了自然语言处理领域，但其对静态内部知识的依赖，在事实准确性和时效性方面暴露出根本性局限。检索增强生成（RAG）作为一种强大的范式应运而生，它构建了一种混合架构，将模型输出动态锚定于外部可验证信息。本文将深入探讨RAG框架的核心机制——从检索器与生成器组件到参数化记忆与非参数化记忆的关键区别，揭示其在知识密集型应用中实现前沿性能的奥秘。一、深入解析检索增强生成（RAG）RAG...

6月18日凌晨，微软研究院发布三篇突破性论文，正式公开rStarMath、LIPS、CPL三大算法，直击大语言模型（LLM）的核心痛点——数学推理与逻辑链能力不足。这些算法不仅适用于百亿参数大模型，也能显著提升小模型的推理性能，被业界称为“推理增强三件套”。一、rStarMath：用蒙特卡洛树搜索实现“深度思考”核心思想：将蒙特卡洛树搜索（MCTS）与代码验证结合，让大模型像人类一样“反复推演再下结论”。技术亮点：代码增强的思维...

在人工智能从单一模型走向复杂协作的时代，多代理系统（MAS）正成为破解高难度任务的关键钥匙。本文聚焦从理论到代码的全流程实践，深度解析如何通过模块化设计让多个智能体协同完成复杂目标。你将学会：三大核心组件（模型选型、工具集成、指令配置）如何支撑代理逻辑；两种经典架构模式（Supervisor集中管理与Swarm分布式协作）的适用场景与代码实现；消息流转、层级管理、流式输出等工程化细节的落地技巧；隐藏挑战与行业标...

了解位置编码背后的数学原理和直觉Transformer是一种深度学习架构，它利用注意力机制来学习数据元素之间的关系。它由一个编码器和一个解码器组成，与传统的循环神经网络（RNN）或卷积神经网络（CNN）不同，它可以并行处理输入序列，而不依赖于顺序处理。Transformer模型的一个重要组成部分是位置编码。这种方法能够将位置信息添加到词嵌入中，使模型能够理解序列中单词的顺序。这一点至关重要，因为默认情况下，Transformer是并...

Qwen3TechnicalReport本文介绍了最新的Qwen模型家族——Qwen3，它是一个大型语言模型系列，旨在提高性能、效率和多语言能力。该系列包括密集架构和混合专家（MoE）架构的模型，参数规模从0.6到235亿不等。Qwen3的创新之处在于将思考模式（用于复杂、多步推理）和非思考模式（用于快速、基于上下文的响应）整合到一个统一框架中，消除了切换不同模型的需求，并可以根据用户查询或聊天模板动态切换模式。此外，Qwen3引入了思考预...

本文介绍了一种新的统一多模态链式思维奖励模型，该模型通过强化微调方法实现了对复杂推理过程的学习和激励。传统的奖励模型通常只能提供直接响应或浅层推理，而新提出的模型能够进行多层次、逐步的长链推理，从而提高了奖励信号的准确性和可靠性。该模型采用了探索驱动的强化微调方法，首先利用小规模图像生成偏好数据来学习GPT4o的推理过程，并将其用于模型的冷启动；然后利用模型的先验知识和泛化能力，准备大规模的统一多模...

论文DoesReinforcementLearningReallyIncentivizeReasoningCapacityinLLMsBeyondtheBaseModel2504.13837TL;DR:虽然强化学习（RL）训练的模型在较小的k值（例如，k1）下优于其基本模型，但基本模型可以在较大的k值下获得与RL对应物相比的可比甚至更高的passk分数。进一步分析表明，RL训练模型生成的推理路径已经包含在基础模型的抽样分布中，表明RL训练模型中表现出的大部分推理能力已经由基础模型获得。RL训练通过将模型的输出...