多模态推理模型综述；多模态多智能体协同基准；跨模态，跨领域推理能力泛化

Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models

2025-05-08｜HIT, Shenzhen|🔺79

​​http://arxiv.org/abs/2505.04921v1​​​
​​​https://huggingface.co/papers/2505.04921​​​
​​​https://github.com/HITsz-TMG/Awesome-Large-Multimodal-Reasoning-Models​​

研究背景与意义

• 智能推理的核心地位：推理作为智能行为的核心，赋予人工智能系统在多变、不确定及多模态环境中做出决策、归纳总结及跨领域泛化的能力。随着AI应用场景的复杂化，推理能力成为实现鲁棒性和适应性的关键。
• 多模态推理模型的兴起：大型多模态推理模型（LMRMs）通过融合文本、图像、音频和视频等多种模态，实现全面感知、精准理解和深度推理，成为推动AI智能化发展的重要方向。
• 研究现状与挑战：从最初的模块化感知驱动系统到现今语言中心的统一框架，模型推理能力不断提升，但依然面临泛化能力不足、推理深度有限及缺乏自主行为等挑战。
• 研究目标：本文旨在系统梳理多模态推理模型的发展路径，提出四阶段的演进路线图，并展望原生多模态推理模型（N-LMRMs）的未来发展，为下一代多模态智能系统设计提供理论和实践指导。

研究方法与创新

• 技术路线概述：研究系统划分为四个阶段：

感知驱动的模块化推理，基于任务特定的模块设计；

语言中心的短时推理，利用多模态链式思维（MCoT）实现显式推理步骤；

语言中心的长时推理，融合跨模态推理链和强化学习，实现深度思考与计划；

原生多模态推理模型，构建统一的多模态感知、生成与智能代理体系。

创新点详解：

• 阶段一：感知驱动模块化设计

采用卷积神经网络（CNN）、长短时记忆网络（LSTM）等传统架构，通过神经模块网络（NMN）、层次共注意力（HieCoAtt）等机制，实现视觉与文本的分层对齐与融合，推动任务定制型推理模块的发展。

• 阶段二：语言中心短时推理

利用大型多模态语言模型（MLLMs）和链式思维（CoT）技术，将隐式推理转化为显式的多步推理过程，提升模型的上下文理解和逻辑推理能力。引入结构化推理和外部工具增强推理范围和深度。

• 阶段三：语言中心长时推理

融合视觉、听觉与语言多模态信息，构建跨模态推理链，支持复杂任务的分解与规划。通过强化学习等方法增强模型的适应性和自主规划能力，代表模型如OpenAI的o1系列和DeepSeek-R1。

• 阶段四：原生多模态推理模型展望

提出统一多模态表示空间，支持多样数据类型的无缝融合与生成，强化模型与动态环境的交互能力，实现多模态智能代理的主动认知和长时规划，推动AI系统向更高层次智能迈进。

理论基础与对比：

本文基于认知科学中系统1（快速直觉）与系统2（慢速思考）理论，结合Transformer架构的深度学习技术，系统总结了多模态推理模型从模块化到端到端统一的演进过程，明确指出当前语言中心模型的局限，为原生多模态模型的提出提供坚实理论支撑。

实验设计与结果分析

• 实验设计：

通过对比分析超过540篇相关文献，结合视觉问答（VQA）、视觉常识推理（VCR）、多模态理解与生成等多种任务和数据集，系统评估不同阶段模型的性能表现及适用场景。实验涵盖模型架构、推理链长度、跨模态融合效果、强化学习优化等多个维度。

• 结果分析：

阶段一模型在特定任务上表现稳定，但泛化能力和推理深度受限。

阶段二模型通过多模态链式思维显著提升了推理的连贯性和可解释性，但仍偏向短时、反应式推理。

阶段三模型在长时推理、规划和适应性方面展现出更高的智能水平，尤其在开放环境中的任务表现接近人类水平。

强化学习的引入有效提升了模型的鲁棒性和自主决策能力。

原生多模态模型的初步实验显示出在多样模态融合和动态环境交互上的巨大潜力，标志着未来研究的重要方向。

• 统计显著性与多场景表现：多项基准测试表明，随着模型阶段的递进，推理准确率和任务完成度呈显著提升，特别是在复杂、多步骤、多模态融合任务中表现突出。

结论与展望

• 总结贡献：

本文全面梳理了大型多模态推理模型的发展历程，提出了从感知驱动模块化推理到语言中心长时推理，再到原生多模态推理模型的四阶段路线图。系统分析了各阶段代表模型的架构创新、推理机制及性能表现，填补了当前领域对多模态推理全景式理解的空白。

• 分析局限：

现有模型多依赖语言中心架构，限制了多样模态的深度融合与生成能力。推理过程多为静态链式，缺乏与动态环境的实时交互和适应。训练数据的多样性和质量、模型的计算效率及可解释性仍是挑战。

• 方法展望：

未来研究将聚焦原生多模态推理模型，构建统一的多模态表示与生成框架，强化模型的主动认知与长时规划能力。结合模拟环境中的闭环训练，推动模型具备真实世界的适应性和智能代理特性。同时，需发展更丰富的多模态数据集和更完善的评估基准，促进理论与应用的深度融合。

通过这些努力，下一代多模态推理系统有望实现更高层次的智能，推动人工智能在复杂现实场景中的广泛应用。

On Path to Multimodal Generalist: General-Level and General-Bench

2025-05-07｜NUS, NTU, ZJU, KAUST, PKU, HFUT, U Rochester, NJU, WHU, SJTU|🔺55

​​http://arxiv.org/abs/2505.04620v1​​​
​​​https://huggingface.co/papers/2505.04620​​​
​​​https://generalist.top/​​

研究背景与意义

随着大型语言模型（LLMs）如ChatGPT和LLaMA的出现，NLP领域迎来了革命性进展，这些模型作为通用智能体，能够处理广泛的语言任务，极大地推动了人工通用智能（AGI）的实现。人类智能本质上是多模态的，涵盖语言、视觉、听觉等多种感知方式，这促使研究者开发多模态大型语言模型（MLLMs），即多模态通用智能体。当前，MLLMs已从单一模态理解发展到跨模态理解、生成乃至编辑，支持多种复杂任务，显示出向AGI迈进的潜力。

然而，现有的评估方法多停留在单任务性能对比，忽视了多模态智能体应具备的跨任务、跨模态的协同效应（synergy）。简单地将多个单一任务专家模型集成并不能实现真正的多模态通用智能。本文提出的“General-Level”框架，基于协同效应评估多模态智能体的综合能力，旨在更准确地反映模型向AGI演进的真实进展。同时，构建了覆盖700余任务、涉及图像、视频、音频、3D及语言等多模态的“General-Bench”大规模评测基准，填补了现有评测工具的局限，推动多模态智能体的系统性发展。

研究方法与创新

本文创新性地提出了基于协同效应的五级分类体系“General-Level”，系统划分多模态通用智能体的能力等级，核心在于评估模型在不同任务和模态间的知识迁移与增强能力。具体方法包括：

• 协同效应定义与量化：将协同效应细分为任务间、理解与生成间、以及模态间的协同，逐级递进，体现智能体综合能力的提升。
• 层级评分机制：结合多模态任务的表现与超越单一任务专家的能力，设计数学严谨的评分体系，确保评分的单调性和公平性，避免简单任务数量堆砌的偏差。
• 多模态任务覆盖与权重均衡：针对不同模态任务数量不均的现象，采用模态内均权策略，防止某一模态任务过多导致评分偏颇，促进模型在多模态间均衡发展。
• 协同效应的松弛假设：为解决实际中难以独立评估任务间联合分布的问题，提出以超越专家模型表现作为协同效应的间接证据，简化计算同时保持评估的科学性。

该方法突破了传统单任务评估的局限，强调模型内在的泛化与迁移能力，推动多模态智能体向真正的通用人工智能迈进。

实验设计与结果分析

实验部分基于“General-Bench”基准，涵盖图像、视频、音频、3D及语言等多模态，包含700余任务和超过32万实例，系统评测了100余个领先的MLLM系统。主要实验设计与分析如下：

• 多模态专家与通用模型对比：评测涵盖专注单一模态的专家模型与支持多模态的通用模型，验证协同效应对模型性能的影响。
• 层级评分应用：根据General-Level框架，计算各模型在不同协同效应层级的得分，分析模型在任务融合、理解生成协同及模态融合方面的表现。
• 统计显著性与多场景表现：采用标准统计方法，验证模型性能差异的显著性，确保结果的稳健性；并在多种实际应用场景下测试模型的泛化能力。
• 关键发现：大部分现有MLLM缺乏跨任务和跨模态的协同能力，甚至顶尖模型如GPT-4V未能达到最高协同等级，显示实现真正AGI的巨大挑战。多数模型仅能支持有限的多模态任务，且未能通过非语言模态提升语言智能。

结论与展望

本文提出的General-Level框架及General-Bench基准，为多模态通用智能体的评估提供了科学且细致的标准，强调协同效应作为衡量模型智能水平的核心指标。实验结果揭示当前多模态模型在协同能力上的不足，指出未来研究需重点突破任务间、理解与生成间及模态间的深度融合与协同。

未来工作将聚焦于：

• 提升跨模态知识迁移能力，实现非语言模态对语言智能的反向促进，推动模型达到更高协同等级。
• 拓展多模态任务与格式支持，增加更多复杂、细粒度的任务，促进模型多样化能力发展。
• 优化模型架构与训练策略，强化端到端联合训练，提升模型对多模态信息的内在融合与理解。
• 持续完善评测基准，引入更多现实应用场景，确保评测结果的广泛适用性和指导意义。

该研究为多模态通用智能体的系统研发奠定了坚实基础，有望加速AGI的实现进程。

X-Reasoner: Towards Generalizable Reasoning Across Modalities and Domains

2025-05-06｜Microsoft|🔺8

​​http://arxiv.org/abs/2505.03981v1​​​
​​​https://huggingface.co/papers/2505.03981​​​
​​​https://github.com/microsoft/x-reasoner​​

研究背景与意义

• 问题定义与现状

近年来，语言模型在推理能力上取得显著进展，尤其是专有模型如OpenAI的GPT-4展现了强大的多模态推理能力。然而，现有开源研究多聚焦于文本单一模态的推理，且评测多局限于数学和通用领域任务，缺乏对推理能力跨模态、跨领域泛化性的深入探讨。

• 挑战与目标

多模态推理通常依赖于专门构建的多模态数据集，限制了模型的泛化能力。本文提出核心问题：推理能力是否可以通过通用领域的文本后训练实现跨模态和跨领域的泛化？目标是设计一种仅基于通用文本数据的后训练策略，培养具备广泛适用性的推理能力，降低多模态和领域特定数据的依赖。

• 意义

解决该问题不仅具有理论价值，揭示推理能力的本质和迁移机制，也具备实际意义，通过利用丰富且易获取的通用文本数据，实现高效且通用的多模态推理模型训练，推动开源多模态模型的发展。

研究方法与创新

• 技术描述
• 本文提出了X-REASONER，一种基于7B参数规模视觉语言模型的后训练方案，完全依赖通用领域文本数据。训练分两阶段：

监督微调（SFT）：利用蒸馏的长链式思维（Long Chain-of-Thought）推理轨迹，进行结构化推理能力的显式学习。

强化学习（RL）：采用带有可验证奖励的强化学习，基于数学文本任务进一步提升模型推理准确性和泛化能力。

• 创新点

驱动的多模态泛化：首次系统验证仅通过通用文本后训练，模型即可获得跨模态（视觉+语言）和跨领域（如医学）强泛化推理能力。

数学作为泛化“锚点”：数学任务因其复杂的结构化推理特点，被证明是促进推理泛化的关键领域。

强结合SFT与RL：结合SFT的稳定性与RL的优化能力，实现了推理性能和泛化性的最佳平衡。

强制退出机制：针对长链式思维训练中模型可能出现的无止境思考问题，设计了基于最大长度的强制停止策略，提升了生成可靠性和任务准确率。

理论基础研究基于推理能力可视为结构化知识和逻辑模式的学习，长链式思维蒸馏与强化学习相结合，有效捕获和优化推理策略，促进跨任务、跨模态、跨领域的知识迁移。

实验设计与结果分析

• 实验设计

数据集：通用领域OpenThoughts-114k（数学、科学、编码推理）、数学文本数据Orz-57k、医学文本MedQA及多模态医学图像问答等。

评测任务：涵盖通用文本推理（MMLU-Pro、GSM8K）、多模态推理（MMMU系列、MathVista）、医学文本及多模态推理任务。

训练细节：SFT阶段4个epoch，RL阶段约56小时训练，使用40GB A100 GPU集群。

• 结果分析

      跨模态泛化：X-REASONER在多模态任务上显著优于同规模多模态训练模型，证明文 本训练足以学习泛化推理模式。

      跨领域泛化：模型在医学文本和多模态医学任务中表现出强劲的迁移能力，且通过医学 文本继续训练的X-REASONER-MED进一步刷新多个医学基准的SOTA。

     方法对比：SFT提升推理结构化能力，RL进一步优化准确率，二者结合效果最佳。数学数据训练的RL模型在跨领域表现优于医学数据训练，显示数学推理的泛化锚点作用。

     消除文本捷径影响：去除仅靠文本解决的样本后，X-REASONER仍保持性能优势，验证其真实的多模态推理能力。

• 稳定性改进：强制退出机制有效减少无终止生成，提升任务最终准确率。

结论与展望

• 研究贡献总结本文系统验证了通用领域文本后训练能够培养出具备跨模态、跨领域泛化能力的推理模型，提出了结合长链思维蒸馏的监督微调与基于数学任务的强化学习的高效训练方案，成功构建了X-REASONER及其医学专用变体X-REASONER-MED，均在多个文本及多模态推理基准上实现或超越了现有SOTA。
• 局限性分析

模型规模受限于7B参数，未验证更大规模模型的效果。

仅基于Qwen-VL系列模型，缺少多样化模型架构验证。

评测任务主要为选择题和数学推理，缺少开放式生成、交互式对话等更广泛应用场景的测试。

训练过程依赖大量计算资源，实际应用可能受限。

• 未来展望

      探索更大规模及多样化模型架构，验证训练策略的普适性。

      结合多模态及领域特定数据进行持续微调，进一步提升专用领域推理能力。

      拓展评测范围至开放式、多轮交互等复杂推理场景。

      优化训练效率，降低计算资源需求，推动技术普及。

综上，X-REASONER代表了一种创新且高效的通用文本驱动多模态推理训练范式，揭示了文本监督在多模态推理泛化中的核心作用，为未来多模态智能系统的发展提供了坚实基础。

本文转载自​​AI研究前瞻​​，作者：胡耀淇