智能体强化学习综述；强化学习原生GUI智能体；多轮工具交互强化学习；模块化多轮工具强化学习

The Landscape of Agentic Reinforcement Learning for LLMs: A Survey

2025-09-02｜Oxford U, Shanghai AI Lab, NUS, UCL, UIUC, Brown, USTC, Imperial College London, Bristol, CAS, CUHK, Fudan U, UGA, UCSD, DLUT, UCSB|🔺81

​​http://arxiv.org/abs/2509.02547v1​​​
​​​https://huggingface.co/papers/2509.02547​​​
​​​https://github.com/xhyumiracle/Awesome-AgenticLLM-RL-Papers​​

研究背景与意义

本论文聚焦于“Agentic Reinforcement Learning（Agentic RL）”这一新兴范式，标志着大规模语言模型（LLMs）与强化学习（RL）结合的根本性转变。传统的LLM-RL多将语言模型视为被动的序列生成器，优化单步输出以符合人类偏好或基准测试，而Agentic RL则将LLMs重新定义为嵌入复杂动态环境中的自主决策智能体。该转变不仅扩展了模型的功能边界，也使其具备规划、推理、工具调用、记忆维护和自我改进等多维度智能能力。论文通过对比传统单步马尔可夫决策过程（MDP）与部分可观测、时间扩展的POMDP，系统阐释了Agentic RL的理论基础和实践意义，填补了现有研究中对统一框架和跨领域通用性的缺失，推动了智能体范式的科学理解和工程实现。

研究方法与创新

论文提出了一套系统的双重分类体系：一方面围绕Agentic RL的核心能力模块（规划、工具使用、记忆、推理、自我提升、感知等）进行能力视角的深刻解析；另一方面从任务应用层面（搜索、代码生成、数学推理、图形界面操作、视觉和多智能体系统等）全面梳理了Agentic RL的多样化实践。创新点主要体现在：

• 理论形式化：通过将Agentic RL建模为POMDP，明确了其与传统LLM-RL的本质区别，支持多步交互和部分观察的动态环境适应。
• 能力模块联合优化：将传统静态模块转化为可通过RL联合优化的策略体系，实现了规划、工具调用与推理等能力的协同进化，突破了以往单一模块优化的局限。
• 多样化RL算法对比与改进：系统比较了REINFORCE、PPO、DPO、GRPO等多类RL算法及其变种，强调了GRPO在样本效率和计算开销上的优势，推动了Agentic RL训练的稳定性和性能提升。
• 环境与框架整合：整合了丰富的开源环境、基准测试和RL框架，构建了支持Agentic RL训练和评估的实用工具包，促进了研究的标准化和可复现性。

这一系统化方法不仅深化了Agentic RL的理论基础，还为实际应用提供了坚实的技术支撑和方法论指导。

实验设计与结果分析

论文通过对超过五百篇最新研究的综合分析，展示了Agentic RL在多个任务域的广泛适用性和优越表现。实验设计涵盖了多种环境模拟，包括动态网页、图形界面、代码编辑、数学推理及多智能体交互等，体现了Agentic RL对复杂、多模态任务的适应能力。结果表明：

• Agentic RL通过引入部分可观测环境和多步决策机制，显著提升了LLM代理在长时序任务中的表现和鲁棒性。
• 采用GRPO及其衍生算法的训练策略，较传统PPO和DPO在样本利用率和训练稳定性上表现出明显优势。
• 联合优化规划、工具使用和记忆模块的策略，增强了智能体的自适应能力和任务完成率，特别是在需要多轮交互和环境反馈的复杂场景中表现突出。
• 通过引入动态奖励和分层次反馈机制，Agentic RL有效解决了传统RL在LLM训练中的稀疏奖励和长程依赖问题。

总体实验结果验证了理论框架的有效性和方法创新的实用价值，为未来Agentic RL的规模化应用奠定了基础。

结论与展望

论文总结了Agentic RL作为一种将大语言模型转变为具备自主决策能力智能体的前沿范式，其在理论建模、能力模块优化及多任务适应性方面的贡献。当前研究虽取得显著进展，但仍面临诸多挑战：

• 可信度与安全性：如何确保Agentic RL智能体在复杂环境中的决策透明、可解释且符合伦理标准，仍需深入研究。
• 训练与环境规模扩展：大规模、多样化环境下的高效训练机制亟待突破，以实现更广泛的应用场景覆盖。
• 能力融合与元学习：未来Agentic RL需探索规划、推理、工具调用等能力的深度融合机制，以及自我调节的元学习策略，提升智能体的泛化和自适应能力。

展望未来，Agentic RL有望推动通用人工智能的发展，实现具备长时序、多模态感知和复杂推理能力的智能体，广泛应用于科研、工业、教育等领域，开启智能体技术的新篇章。

UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning

2025-09-02｜ByteDance, Tencent AI Lab|🔺75

​​http://arxiv.org/abs/2509.02544v1​​​
​​​https://huggingface.co/papers/2509.02544​​​
​​​https://github.com/bytedance/ui-tars,https://github.com/bytedance/UI-TARS-desktop​​

研究背景与意义

1. 问题定义与现状概述图形用户界面（GUI）智能代理的发展是人工智能领域的核心挑战。传统模块化设计依赖专家规则，难以扩展且易出错。近年来，端到端的原生代理模型通过统一感知、推理、行动和记忆，展现出更强的适应性和可扩展性。
2. 面临的挑战

• 数据稀缺性：GUI交互数据难以大规模收集，限制了模型的训练和泛化能力。
• 多轮强化学习的稳定性：长序列的奖励稀疏且延迟，优化过程不稳定，难以实现复杂任务的有效学习。
• 纯GUI操作的局限：现实工作流涉及文件系统、终端等多种工具，单纯GUI交互无法满足复杂需求。
• 环境的可扩展性与稳定性：大规模训练环境易崩溃，难以支持高并发和长时间训练。

3. 研究目标本文旨在提出UI-TARS-2，一个原生GUI中心的智能代理模型，针对上述挑战，构建系统化训练框架，实现数据与模型的协同进化，多轮强化学习的稳定训练，混合环境的跨工具操作，以及高吞吐量的统一沙箱平台。

研究方法与创新

1. 核心技术框架UI-TARS-2基于四大支柱：

• 数据飞轮机制：通过持续预训练、监督微调和多轮强化学习，模型与训练数据形成正反馈循环，逐步提升数据质量和模型能力。
• 稳定的多轮强化学习框架：采用异步推理、状态保持环境、奖励塑形、解耦优势估计和价值预训练等技术，解决长序列训练中的不稳定性问题。
• 混合GUI环境：构建集成文件系统、终端和外部工具的统一沙箱，突破纯GUI交互限制，拓展代理任务范围。
• 统一沙箱平台：支持多种操作系统和浏览器环境，具备高并发、可复现和自动故障恢复能力，保障大规模训练和评估的稳定性。

2. 创新点详解

• 原生代理建模：采用ReAct范式，将推理、行动和观察交织，结合分层记忆（工作记忆与情节记忆），实现长时序上下文管理。
• 数据采集创新：开发“就地部署”的思考语音同步标注系统，结合专家与新手双轨采集，捕获真实且丰富的认知轨迹，填补多轮交互数据空白。
• 人机交互式在线标注：构建四层架构的交互式标注平台，支持标注者实时介入模型推理过程，生成严格的在线策略数据，提升训练数据的真实性和有效性。
• 任务设计与奖励机制：设计多条件模糊和多跳链式推理任务，结合自动验证和LLM判定奖励，确保训练信号的准确性与多样性。
• 参数插值融合多领域专家模型：利用模型参数的线性连通性，将不同领域（浏览、游戏、终端等）专精模型通过插值合并，实现跨领域泛化，避免联合训练的复杂性。

3. 理论基础与优势本方法基于强化学习理论中的PPO算法，结合最新的优势估计改进（如Decoupled-GAE和Length-Adaptive GAE），提升长序列训练的稳定性和效率。异步推理和状态保持环境设计解决了传统批量训练的瓶颈。参数插值策略则依托于深度学习模型的线性模式连通性理论，保证多任务融合的性能保留。

实验设计与结果分析

1. 实验设计

• 模型架构：基于532M视觉编码器与23B参数的MoE大模型，继承Seed1.6预训练权重。
• 训练流程：多轮迭代训练，包含持续预训练（CT）、监督微调（SFT）及多轮强化学习（RL）和拒绝采样（RFT）。
• 评测基准：涵盖计算机使用（OSWorld、WindowsAgentArena、TerminalBench、SWE-Bench）、移动设备（AndroidWorld）、浏览器任务（Online-Mind2Web、BrowseComp）及游戏环境（15款游戏集合和LMGame-Bench）。

2. 结果

• GUI任务表现显著提升：UI-TARS-2在OSWorld、WindowsAgentArena、AndroidWorld和Online-Mind2Web上分别取得47.5%、50.6%、73.3%和88.2%的准确率，全面超越前代UI-TARS-1.5及主流商业模型（Claude 4、OpenAI-o3等）。
• 扩展SDK带来能力跃升：通过GUI-SDK扩展，模型在终端和软件工程任务（TerminalBench、SWE-Bench）中表现优异，证明跨工具操作能力显著增强。
• 强化学习促进泛化：RL训练不仅提升了目标任务表现，也带来了对未见领域的强泛化能力，如OSWorld和AndroidWorld的准确率大幅提升。
• 游戏环境表现竞争力强：在15款游戏中，模型达到约60%的人类水平，且在LMGame-Bench中与前沿专有模型相当，展现出良好的长时序控制和动态交互能力。

3. 统计显著性与多场景表现实验涵盖多操作系统、多设备和多任务类型，结果在多个基准上均显著优于对比模型，体现了方法的普适性和稳定性。详细训练动态分析揭示了多轮RL框架在长序列任务中的收敛性和效率优势。

结论与展望

1. 研究贡献总结UI-TARS-2通过系统化的数据飞轮、稳定的多轮强化学习框架、混合交互环境和统一沙箱平台，成功构建了一个强大且泛化能力卓越的GUI中心智能代理，实现了跨领域、多任务的高效交互与推理能力。
2. 局限分析

• 当前模型对极端复杂的任务仍存在挑战，尤其是在极长时序和高度开放环境下的稳定性有待提升。
• 数据采集依赖人工标注和合成，规模和多样性仍有限，未来需进一步扩展。
• 跨领域参数插值虽然有效，但联合训练的潜力尚未完全挖掘。

3. 未来方法展望

• 探索更深层次的多模态融合与长期记忆管理，提高代理对复杂环境的适应能力。
• 开发自动化且高效的数据生成与标注技术，降低人工成本，提升数据覆盖。
• 研究联合多任务训练与动态模型融合策略，进一步增强跨领域协同与泛化性能。
• 拓展代理能力至更多实际应用场景，如智能助理、自动化运维和复杂软件开发。

综上，UI-TARS-2不仅推动了GUI智能代理的技术前沿，也为多领域交互智能体的构建提供了宝贵的理论与实践经验。

SimpleTIR: End-to-End Reinforcement Learning for Multi-Turn Tool-Integrated Reasoning

2025-09-02｜NTU, TikTok|🔺64

​​http://arxiv.org/abs/2509.02479v2​​​
​​​https://huggingface.co/papers/2509.02479​​​
​​​https://github.com/ltzheng/SimpleTIR/tree/main​​

研究背景与意义

• 问题定义与现状概述大型语言模型（LLMs）通过与外部工具交互实现工具集成推理（Tool-Integrated Reasoning，TIR），显著提升推理能力。尤其是在多轮交互场景中，LLMs能够迭代生成代码、执行并利用反馈进行下一步推理，解决了计算精度不足和知识截止等固有限制。
• 挑战与目标阐明多轮TIR的强化学习训练面临严重的不稳定性和梯度爆炸问题，主要源于外部工具反馈引发的分布漂移，导致模型生成低概率token并累积放大，最终使训练崩溃。传统的“冷启动”监督微调虽能提升稳定性，但限制了模型探索多样推理策略的能力。本文旨在提出一种无需冷启动、能稳定训练多轮TIR的强化学习方法，实现零监督强化学习（Zero RL）下的端到端训练。

研究方法与创新

• 技术描述与核心创新作者通过理论分析发现，低概率token的出现是多轮TIR训练不稳定的根源，导致梯度范数爆炸和错误的信用分配。基于此，提出了SimpleTIR算法——一种轨迹过滤机制。SimpleTIR定义“空洞回合”（void turn）为未生成完整代码块或最终答案的回合，通过剔除包含空洞回合的轨迹，阻断了由低概率token引发的高幅度梯度传播，从而稳定训练过程。
• 优势解释与现有方法对比SimpleTIR方法简单易集成，适配性强，且不依赖额外的监督数据或复杂的阈值调节。与传统基于概率阈值或重要性比率的过滤不同，空洞回合的判定更直观且效果显著，避免了训练中的梯度爆炸和信用分配误差。此外，SimpleTIR保持了Zero RL的优势，鼓励模型自发发现多样化推理策略，如交叉验证、渐进推理和自我纠错，超越了依赖冷启动的模型表现。
• 理论基础讨论通过对策略梯度关于softmax logits的范数展开，揭示了低概率token如何放大梯度，特别是在未裁剪的PPO重要性比率和尖锐分布下，梯度爆炸尤为严重。该理论分析为SimpleTIR的轨迹过滤提供了坚实的数学依据。

实验设计与结果分析

• 实验设计采用Qwen-2.5系列基础模型，在多个数学推理基准（如AIME24、Math500、AMC23等）上评估SimpleTIR。训练采用Zero RL范式，批量512，最大响应长度逐步扩展，最多支持10轮代码执行。对比对象涵盖无TIR的Zero RL方法、依赖冷启动的TIR强化学习方法，以及现有的Zero RL TIR方法。
• 结果分析与基准对比SimpleTIR显著提升了多轮TIR训练的稳定性，梯度范数平稳无爆炸，训练曲线平滑且性能持续提升。在AIME24任务上，SimpleTIR将基线模型分数从22.1提升至50.5，远超所有Zero RL及部分冷启动方法。消融实验证明，空洞回合过滤是稳定训练和性能提升的关键，而基于低概率token或高重要性比率的过滤效果不佳。此外，SimpleTIR在多轮交互次数增加时表现更优，响应长度和部分任务得分随之提升。
• 多样化推理行为的出现SimpleTIR训练出的模型展现出丰富的推理模式，包括交叉验证、渐进推理和错误纠正，频率明显高于依赖冷启动的ReTool模型，体现了Zero RL训练鼓励探索多样策略的优势。

结论与展望

• 贡献总结本文提出的SimpleTIR通过过滤空洞回合轨迹，成功解决了多轮TIR强化学习中的训练不稳定和梯度爆炸难题，实现了端到端的Zero RL多轮工具集成推理训练。其在多个数学推理基准上取得了领先性能，并促进了多样化推理策略的自发形成。
• 局限性分析当前方法依赖空洞回合作为低概率token的代理指标，可能难以直接推广至非多轮TIR任务；最大交互轮次限制为10，复杂任务可能需更多轮次；训练依赖高效的并行代码执行沙箱，实际部署中存在效率与稳定性挑战。
• 未来研究方向包括探索更通用的低概率token检测指标，扩展多轮交互次数以适应更复杂任务，优化代码执行环境以提升训练效率，以及实现完全异步的rollout和奖励计算机制，进一步提升多轮TIR强化学习的可扩展性和实用性。

VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use

2025-09-01｜U Waterloo, Sea AI Lab, U Toronto, SHU, HKUST, NUS, NetMind.AI|🔺48

​​http://arxiv.org/abs/2509.01055v1​​​
​​​https://huggingface.co/papers/2509.01055​​​
​​​https://github.com/TIGER-AI-Lab/verl-tool​​

研究背景与意义

• 背景现状：近年来，大型语言模型（LLMs）通过强化学习与可验证奖励（RLVR）极大提升了推理能力，尤其在数学和编程领域表现优异。然而，现有RLVR多限于单轮交互，缺乏与外部工具的深度集成，导致模型推理过程封闭，难以适应复杂环境。
• 问题挑战：多轮、多工具交互的Agentic Reinforcement Learning with Tool use（ARLT）虽已兴起，但现有系统多为任务定制，缺乏统一框架，存在代码碎片化、同步执行瓶颈和扩展性差等问题，阻碍了社区广泛采用和算法创新。
• 研究目标：本文提出VERLTOOL，一个统一且模块化的ARLT训练框架，旨在解决上述挑战，支持多模态工具管理与异步执行，提升训练效率和系统扩展性，促进工具增强型强化学习研究的发展。

研究方法与创新

• 技术描述：

上游对齐：VERLTOOL基于VERL框架，确保与上游代码兼容，简化维护。

统一工具管理：设计标准化API，支持代码执行、搜索、SQL查询和视觉处理等多模态工具，新增工具仅需轻量Python定义，极大降低开发门槛。

异步Rollout执行：采用轨迹级异步调用工具服务器，避免传统批处理同步等待，提升推理速度近2倍。

多任务支持：框架涵盖数学推理、知识问答、SQL生成、视觉推理、网页搜索和软件工程六大任务，提供统一训练基础设施。

• 创新优势：

系统设计：模块化插件架构实现工具与训练流程解耦，支持多工具并行调用，提升扩展性和复用性。

异步执行机制：突破传统同步框架限制，实现高效资源利用，显著加速训练过程。

多模态支持：融合文本、图像、视频等多种数据形式，满足复杂多样的工具交互需求。

• 理论基础对比：

相较于传统RLVR仅支持单轮静态交互，VERLTOOL扩展为多轮、多模态交互，结合GRPO算法优化策略，解决了工具调用中观测偏差和策略稳定性问题，理论上更适合开放环境下的智能体训练。

实验设计与结果分析

• 实验设计：

在六大ARLT任务上进行训练与评估，包括数学推理（VT-Math）、知识问答（VT-Search）、SQL生成（VT-SQL）、视觉推理（VT-VisualReasoner）、深度搜索（VT-DeepSearch）及软件工程（VT-SWE）。

对比现有专用系统，采用相同模型基线，验证VERLTOOL的通用性与性能。

评估指标涵盖准确率、通过率及任务特定性能指标，辅以训练过程中的工具使用频率和交互策略分析。

• 结果分析：

性能表现：VERLTOOL训练模型在所有任务上均达到或超越现有专用系统，数学任务平均性能62.2%，知识问答提升至45.9%，SQL任务与SkyRL-SQL表现相当，视觉和搜索任务亦展现强劲竞争力。

工具支持与多模态表现：框架成功整合文本、代码、搜索、图像和系统命令工具，支持复杂多模态交互，视觉推理任务中实现动态图像处理与多步推理，体现出框架的灵活性与强大适应性。

训练动态与策略演化：不同任务中工具调用次数表现差异，数学任务调用频率较低且趋于稳定，搜索任务调用频率随训练增长显著上升，反映出模型对工具依赖的任务特性。模型展现出自我纠错、迭代优化和策略选择等高级智能体行为。

效率提升：异步执行机制使Rollout阶段速度提升近2倍，显著提高GPU利用率，减少训练时间。

结论与展望

• 研究贡献总结：

提出VERLTOOL，首个统一、模块化且高效的ARLT训练框架，实现多模态工具集成与异步训练。

通过广泛任务验证，证明框架具备优异的性能和良好的扩展性，促进了多轮、多工具交互的Agentic RL研究。

开源代码降低社区门槛，推动工具增强强化学习的普及与创新。

• 局限性分析：

当前工具种类虽丰富，但仍需扩展支持更多复杂工具和更大规模分布式训练。

多模态数据处理和策略稳定性仍有提升空间，尤其在极端复杂环境下的泛化能力待加强。

• 未来展望：

计划引入更丰富的工具类型和多智能体协作机制，提升系统智能化水平。

探索更高效的异步调度策略和动态资源分配方案，进一步提升训练效率。

深化理论研究，完善多模态Agentic RL的算法基础，推动智能体在真实复杂环境中的广泛应用。

Baichuan-M2: Scaling Medical Capability with Large Verifier System

2025-09-02｜Baichuan-M2Team|🔺28

​​http://arxiv.org/abs/2509.02208v1​​​
​​​https://huggingface.co/papers/2509.02208​​

研究背景与意义

• 领域现状与挑战：随着大型语言模型（LLMs）在对话和推理能力上的进步，其在医疗领域的实际应用成为研究热点。然而，当前医疗LLMs在静态考试（如USMLE）中的表现与实际临床决策中的效用存在显著差距，主要因传统考试无法反映医疗咨询的动态交互和复杂性。
• 研究目标：为弥补这一差距，论文提出构建一个大规模、高保真度的动态交互式强化学习验证系统，使模型能在模拟的临床环境中“练习”和适应，提升其临床推理和决策能力，实现医疗AI从静态知识记忆向动态临床思维的深度对齐。

研究方法与创新

• 动态验证系统设计：系统由两大核心模块构成：

患者模拟器：基于脱敏医疗记录和医生-患者对话，结合心理和社会背景建模，模拟多样化且行为一致的虚拟患者，实现多轮动态交互，突破以往静态问答的局限。

临床评分生成器：动态生成多维度评价指标（诊断准确性、咨询逻辑、治疗合理性、沟通同理心及医学伦理等），实现对模型多轮表现的实时、量化评估，贴近临床专家的综合判断。

• 多阶段强化学习训练策略：

轻量级中期训练优化医学领域适应性，同时保留模型通用能力。

监督微调阶段建立基础推理能力，过滤和精选高质量医学对话数据。

基于改进的群体相对策略优化（GRPO）算法，分阶段进行规则驱动、评分驱动及多轮交互强化学习，逐步提升模型医学知识整合、推理深度和动态交互能力。

• 创新点详解：

患者模拟器通过结合心理模型（如MBTI）和社会属性，实现个性化、多样化且行为一致的模拟，解决信息泄露、事实不一致及对话终止控制等难题。

临床评分生成器采用生成式方法结合专家筛选和权重标注，确保评分标准既全面又灵活，且在评估中达到92.7%的专家一致性，提升评价的可靠性和适应性。

引入条件长度惩罚机制，平衡医学回答的专业性与简洁性，避免冗余和“越短越好”的病态优化。

采用亲和机制优化多维评分的计算效率，提升验证系统的实时响应能力。

实验设计与结果分析

• 实验设计：

采用OpenAI发布的HealthBench数据集，涵盖5000个真实多轮医疗对话，使用超过4.8万个由262名临床医生设计的评分标准进行多维评价。

对比对象包括最先进的开源模型（如gpt-oss-120B、Qwen3-235B-A22B）及闭源模型（如GPT-4.1、Grok 3等）。

评测指标覆盖整体表现、难度较高任务和专家共识任务，细分核心医疗场景能力（急诊转诊、上下文理解、沟通质量等）。

• 结果分析：

Baichuan-M2（32B参数）在HealthBench整体及难度任务中均显著优于所有开源对手，且在难度最高的测试集上表现超过除GPT-5外的所有模型。

其性能在闭源模型中亦处于领先或持平水平，尤其在复杂医疗任务中展现出更强的推理和交互能力。

在模型规模与性能的权衡上，Baichuan-M2实现了Pareto最优，兼具高性能与较低部署成本，适合资源有限的医疗环境。

细分指标显示，模型在急诊转诊、医疗上下文理解、沟通能力和回答完整性等关键医疗能力上均排名第一，体现了其临床应用的实用性和有效性。

结论与展望

• 研究贡献总结：

提出并实现了一个动态交互式的医疗强化学习验证系统，突破了传统静态评测的局限，实现了临床场景的高度仿真与多维度评价。

设计并优化了患者模拟器与临床评分生成器，提升了模拟真实性和评价准确性，为强化学习提供了坚实的环境和反馈机制。

采用多阶段强化学习策略和改进的GRPO算法，显著提升了模型的医学推理和交互能力，实现了开源医疗AI模型的新标杆。

在公开医疗评测中取得领先成绩，展示了高效且实用的模型训练与验证范式，推动医疗AI向更安全、精准和可部署方向发展。

• 未来展望：

计划进一步完善患者模拟器和评分系统，扩展强化学习训练从对话片段到完整会话的优化，提升模型的全局规划和系统推理能力。

探索更细粒度的多模态医疗数据融合，增强模型对医学影像、检验报告等多源信息的理解与推理。

推动模型在更广泛临床场景中的应用验证，促进医疗AI技术的临床落地和实际效益最大化。

本文转载自​​AI研究前瞻​​，作者：胡耀淇