英伟达数学推理新突破：监督学习+强化学习的"1+1>2"效应 精华

还记得OpenAI发布o1模型时，那种"AI终于会思考了"的震撼吗？现在，英伟达团队带来了更深入的研究成果，揭示了如何让7B参数的小模型在数学和编程推理上达到顶尖水平。他们的AceReason-Nemotron-1.1模型在AIME25数学竞赛中取得了63.2%的准确率，在编程基准测试中也屡创新高。

这背后的秘密不是简单的堆算力，而是监督学习（SFT）和强化学习（RL）的巧妙配合。这项研究不仅给出了具体的训练配方，更重要的是回答了一个关键问题：为什么两种训练方法结合使用会产生如此强大的效果？

图片

数据规模化：不只是"多多益善"这么简单

传统观念认为，AI训练就是数据越多越好。但英伟达团队的研究发现，扩展数据的方式比数据量本身更关键。

他们设计了两种数据扩展策略：一是增加不同类型题目的数量，二是为每个题目生成更多解答方案。通过对比实验发现，增加题目多样性的效果明显优于增加每题的解答数量。用数学公式表达就是：题目多样性的影响系数是4.831，而解答数量的影响系数仅为2.635。

这个发现颇为反直觉。按常理，同一道题的多种解法应该能让AI学到更丰富的推理路径。但实际情况是，接触更多不同类型的问题，比深入钻研少数几道题的效果更好。这就像学数学，做100道不同类型的题比把同一道题用10种方法反复练习更有效。

更有趣的是训练轮数的发现。研究团队发现，即使在第5-6轮训练时模型已经开始"过拟合"（在训练集上表现很好但可能泛化能力下降），但测试准确率依然在提升。这说明对于长链推理任务，适度的过拟合实际上是有益的，这挑战了传统机器学习的常识。

强化学习的"接力棒"效应：弱者也能逆袭

最令人惊讶的发现是强化学习阶段的表现。研究团队用不同质量的监督学习模型作为起点进行强化学习训练，结果发现：即使起始模型存在显著性能差距，经过强化学习后这些差距会大幅缩小。

具体来说，两个在AIME24数学竞赛上相差6.6%的模型，经过强化学习后差距缩小到仅1.6%。这个现象就像赛跑中的"接力棒效应"——前半程落后的选手在后半程完全有机会追上甚至超越领先者。

这个发现的实际意义重大：即使你的初始模型不够强，也不要放弃强化学习这个提升的机会。同时也说明，强化学习具有某种"均衡化"的作用，能够挖掘出不同模型的共同潜力。

图片

温度调节的艺术：探索与利用的微妙平衡

在强化学习过程中，有一个关键参数叫"温度"，它控制着AI在生成答案时的随机性程度。温度高，AI更愿意尝试新奇的解法（探索）；温度低，AI倾向于使用已知的可靠方法（利用）。

英伟达团队经过大量实验总结出了一个"黄金法则"：调整温度使得温度调整熵保持在0.3左右，这样能在探索和利用之间达到最佳平衡。

这就像调节水温洗澡——太热会烫伤，太冷没效果，只有恰到好处才最舒适。温度设置过低（0.6），AI过于保守，不敢尝试新方法；设置过高（1.0），AI过于激进，经常得到错误答案而学习效果差；而中等温度（0.85）正好让AI既保持足够的探索精神，又不至于胡乱尝试。

图片

图片

图片

深层思考

这项研究的价值不仅在于技术层面的突破，更在于它揭示了AI训练的一些深层规律。

首先，AI能力提升不是线性的。不同训练方法的组合会产生协同效应，1+1确实可以大于2。监督学习让AI学会基础推理模式，强化学习则让AI学会在复杂情况下灵活应用这些模式。

其次，质量比数量更重要。研究发现，强化学习阶段数据质量的影响远超数据数量。这提醒我们，AI发展的关键不在于盲目扩大数据集，而在于精心设计训练策略。

最后，这项研究证明了小模型也能达到惊人的性能。AceReason-Nemotron-1.1只有7B参数，却在多项任务上超越了更大的模型。这给资源有限的研究者和开发者带来了希望——通过精巧的训练方法，小模型也能发挥大作用。

从更宏观的角度看，这项研究为AI推理能力的提升指明了一条清晰的路径。它不依赖于简单的模型规模扩张，而是通过深入理解训练过程的内在机制，找到了一种更高效、更可持续的AI能力提升方案。这种方法论的意义，或许比单纯的性能数字更加深远。

论文标题：AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy 

论文链接：​​​https://arxiv.org/abs/2506.13284​​

本文转载自​​​AI帝国​​​，作者：无影寺