ReTool：AI工具使用的突破性进展，推理能力显著提升

​1、AI终于学会了"工欲善其事，必先利其器"

图片

你有没有这样的经历：面对复杂计算题，纯靠脑力计算往往容易出错，而借助计算器或编程工具却能事半功倍？

人类在解决问题时懂得适时借助工具，而AI呢？当前的大型语言模型(LLM)虽然在纯文本推理方面表现出色，但在涉及精确计算、符号操作等领域，它们往往捉襟见肘。为何不让AI也学会"工欲善其事，必先利其器"的智慧？

论文提出了一种创新方法，通过强化学习让AI自主掌握何时、如何使用代码解释器(Code Interpreter)这一强大工具，显著提升了模型在数学奥赛级别难题上的解题能力，甚至超越了OpenAI的顶尖模型！

2、ReTool：让AI学会使用工具的方法

图片

传统上，研究人员通常通过有监督微调(SFT)来教会AI使用工具，这相当于给AI看例子让它模仿。然而，这种方法存在明显局限性——AI只会机械复制已见过的模式，难以灵活应对多变的问题场景。

ReTool开创性地将强化学习(RL)引入工具使用训练，让AI通过不断尝试、犯错、修正来自主发现最佳工具使用策略。这一方法包含两个关键创新：

（1）代码执行的动态交织：在推理过程中，AI可以随时编写代码并获取实时执行结果，将这些信息无缝融入后续推理。这就像人类在解题过程中随时拿起计算器进行验证，然后继续思考一样自然。

（2）基于结果反馈的自动化强化学习：系统根据最终答案正确与否给予奖励，引导AI探索何时以及如何最有效地使用代码解释器。这种方法无需人工规定工具使用规则，而是让AI自主发现最优策略。

具体来说，ReTool的训练流程分为两个阶段：

（1）冷启动阶段：首先构建高质量的初始数据集，展示如何在推理过程中适时调用代码解释器。这相当于给AI打基础，教会它基本的工具使用方法。

（2）强化学习阶段：AI通过与代码沙盒环境交互，尝试不同的工具使用策略。系统仅根据最终答案正确与否给予简单反馈（正确+1分，错误-1分），让AI自主探索最优工具使用模式。

3、惊人的实验结果：数学奥赛水平大幅提升

图片

研究团队在美国数学邀请赛(AIME)这一高难度数学奥赛基准测试上评估了ReTool的性能，结果令人振奋：    

（1）基于Qwen2.5-32B-Instruct的ReTool在AIME2024上达到了67.0%的准确率，仅用了400步训练，大幅超越了基于相同模型但仅使用文本推理的强化学习基线(40.0%准确率，用了1080步训练)。

（2）当使用更强大的DeepSeek-R1-Distill-Qwen-32B作为基础模型时，ReTool更是达到了72.5%的准确率，远超OpenAI的o1-preview模型整整27.9个百分点！

这些结果清晰地表明，教会AI策略性地使用工具不仅能突破纯文本推理的天花板，还能大幅提升训练效率。即使在冷启动阶段，ReTool基于Qwen2.5-32B-Instruct的模型就已达到40.9%的准确率，与纯文本强化学习方法相当，且大幅领先未经训练的基础模型(26.7%)。

图片

4、"啊哈时刻"：AI的工具使用能力自主进化

图片

研究者对ReTool在强化学习过程中的行为进行了深入分析，发现了一系列令人着迷的现象：

（1）回答长度减少约40%：训练后的模型回答长度从平均约10k减少到6k，表明代码辅助推理能够更高效地解决问题。这就像专业人士用专业工具，往往比业余者用原始方法更简洁高效。

（2）代码使用能力显著增强：

• 包含代码的回答比例稳步上升，最终覆盖近98%的问题
• 平均代码行数增长5倍，表明模型掌握了更复杂的代码策略
• 测试集上正确代码总数从1k增至5k

（3）代码调用时机前移：随着训练进行，模型倾向于更早地在推理过程中调用代码，表明它学会了更战略性地规划工具使用时机。    

最令人惊讶的是，模型展现出了代码自我纠错的能力。在没有专门训练的情况下，模型能够识别执行失败的代码，理解错误原因，并生成修正版本！这种"啊哈时刻"标志着AI自主掌握了适应性工具使用能力，展现出元认知能力的萌芽。

研究者还发现，训练后的模型代码用途变得更加多样化，不仅能进行基本计算和验证，还能执行更复杂的任务，这进一步增强了它在各类问题上的泛化能力。

5、解题案例：工具辅助vs纯文本推理

图片

论文中展示了一个生动的对比案例：同一个问题，经ReTool训练的模型使用简洁代码替代了繁琐的文本计算过程，不仅保证了计算准确性，还能让模型将更多注意力集中在整体解题策略上。这正如熟练的工程师知道何时使用计算器或编程工具，而不是陷入冗长的手算过程。

ReTool的成功不仅是在数学问题上的突破，更揭示了一条AI能力提升的新路径——通过强化学习教会AI灵活运用外部工具。这种方法让人想起人类智能的关键特征：不是单纯依靠内部知识和推理，而是善于识别何时以及如何利用外部工具来扩展自身能力边界。

这项研究也为未来AI系统设计提供了重要启示：与其努力将所有能力内置于模型参数中，不如设计能够灵活调用专业工具的架构。就像专业人士依靠工具箱中的专用工具解决复杂问题，未来的AI可能会依靠一系列专门工具来处理各种任务。    

随着ReTool这类技术的发展，我们或许很快就能看到更加智能的AI助手，它们不再局限于生成文本，而是能够自主判断何时调用计算、编程、绘图等工具来解决实际问题，真正实现"AI+工具"的协同增强效应。

你认为未来的AI将如何进一步发展工具使用能力？欢迎在评论区分享你的观点！

论文标题：ReTool: Reinforcement Learning for Strategic Tool Use in LLMs 

论文链接https://arxiv.org/abs/2504.11536 

本文转载自​​​​​AI帝国​​​​​，作者：无影寺