语言模型变分推理：统一概率视角下的推理能力提升新范式

近年来，大型语言模型（LLM）在推理任务上的表现引起了广泛关注，特别是在数学、编程和科学问题解决等领域。传统的监督微调（SFT）和强化学习（RL）方法虽然取得了显著成果，但各自都存在一定的局限性。本文深入分析了一种全新的变分推理框架，该框架将思维轨迹视为潜在变量，通过变分推理进行优化，为语言模型推理能力的提升提供了更加原则性和稳定的训练目标。

研究背景与动机

当前主流的语言模型推理训练方法主要分为两大类：监督微调和强化学习。监督微调通常依赖精心策划的长思维轨迹数据，这些数据收集成本高昂，且作为离线方法可能面临泛化困难和灾难性遗忘问题。而强化学习方法虽然能够通过可验证奖励缓解奖励欺骗问题，但训练过程往往不稳定，输出多样性可能会坍塌，导致对困难问题的正确答案变得越来越稀少。

这些挑战促使研究者寻找更加原则性的训练目标。变分推理框架的提出正是为了解决这一问题，它通过概率建模的视角重新审视推理过程，将思维轨迹作为潜在变量处理，从而提供了一个统一且稳定的优化目标。

核心方法论

变分推理框架的构建

该框架的核心思想是将推理过程分解为思维轨迹和最终答案两个部分。给定输入问题x，推理模型π_θ(z,y|x)同时生成思维过程z和预测答案y。联合概率可以表示为π_θ(z,y|x) = π_θ(y|x,z)·π_θ(z|x)。

为了优化边际概率P_θ(Y_x|x) = Σ_z π_θ(Y_x|x,z)π_θ(z|x)，其中Y_x表示正确答案集合，研究者引入了证据下界（ELBO）来使优化过程变得可行。这个下界的关键在于引入了变分后验分布q_φ(z|x,y')，它不仅依赖于问题x，还条件化于辅助答案提示y'。

IWAE风格的多轨迹扩展

为了获得更紧的边界，研究者将单轨迹ELBO扩展为重要性加权自编码器（IWAE）风格的多轨迹目标。通过利用K条轨迹，这种方法产生了严格更紧的下界，满足L_ELBO^K ≤ L_ELBO^{K+1} ≤ log P_θ(Y_x|x)的关系。

在梯度估计方面，研究者推导出了相对于模型参数θ的梯度表达式，其中权重ρ_k的估计成为关键问题。权重可以分解为思维轨迹的似然比和给定轨迹产生正确答案的概率两部分。为了减少长序列直接计算似然比带来的高方差问题，研究者采用几何平均作为替代方案。

前向KL散度优化

在变分后验的优化方面，传统的ELBO目标最小化反向KL散度，但在实际应用中可能导致变分后验难以有效利用答案提示而陷入捷径推理。为了解决这一问题，研究者提出使用前向KL散度来优化变分后验，这种方法可以视为对变分后验的加权监督微调，其中训练数据从π_θ(z|x)中采样。

技术创新与理论贡献

统一现有方法的理论框架

该研究的一个重要贡献是为现有的主流方法提供了统一的理论解释。通过分析发现，拒绝采样微调（RFT）可以重新表述为按模型准确率加权的前向KL优化，而二元奖励强化学习（包括GRPO）也承认类似的形式。

这种分析揭示了一个之前未被明确认识到的现象：这些方法中隐含的准确率加权会产生对简单问题的系统性偏见。具体而言，RFT和二元奖励RL的梯度都可以表示为前向KL散度的优化，但会被模型准确率P_θ(Y_x|x)加权，这导致训练过程更关注容易的问题而忽视困难的问题。

准确率基础的估计器

在π_θ(Y_x|x,z)的估计方面，研究者比较了基于似然的估计器和基于准确率的估计器。理论分析表明，当|Y_x| > 1时，在模型准确率满足π_θ(Y_x|x,z) ≥ 1/|Y_x|的条件下，基于准确率的估计器具有更低的最坏情况方差。这为实际应用中选择合适的估计器提供了理论指导。

实验验证与性能分析

实验设置

研究者在Qwen2.5和Qwen3模型系列上进行了全面的实验验证，涵盖了4B到32B不同规模的模型。训练数据使用Bespoke-Stratos-17k数据集，该数据集结合了来自Numina-Math的数学问题和来自APPS、TACO的编程问题，包含16,710个样本。

评估基准包括MATH500、AIME24&25、OlympiadBench、LiveCodeBench、GPQA-Diamond和MMLU-Pro等多个具有挑战性的推理任务。为了确保公平比较，所有训练数据都严格与测试集分离。

性能表现

实验结果显示，变分推理方法在所有基准测试中都取得了一致的改进。与强基线相比，该方法在数学领域实现了超过160%的改进，在其他领域实现了超过152%的改进。特别值得注意的是，即使在分布外的测试集（如GPQA-Diamond和MMLU-Pro）上，该方法也显著优于基线模型，表明推理改进具有良好的泛化能力。

在Pass@K分析中，研究者发现该方法的优势随着K值的增大而在复杂基准上更加明显，而在简单任务和多选题格式上性能差距会缩小，这符合预期，因为简单任务的改进空间有限。

训练稳定性分析

训练动态分析显示，与传统方法相比，变分推理方法产生了更低的平均训练损失和更少的梯度范数峰值，表明训练过程更加稳定。这种稳定性归因于权重ρ_k中的π_θ/q_φ比值，它能够自适应地平衡高质量轨迹和与推理策略的一致性。

深入的消融研究

思维轨迹数量的影响

研究者系统地研究了从变分后验采样的思维轨迹数量K对最终推理模型性能的影响。实验结果表明，增加K值可以进一步提升模型性能，这验证了IWAE风格边界的有效性，同时也揭示了训练计算成本与推理准确率之间的实际权衡。

条件化答案提示的必要性

通过对比实验发现，移除答案提示y'作为条件会显著影响性能，这证实了变分后验设计的重要性。没有答案提示的变体只能从初始推理模型采样思维轨迹，无法充分利用正确答案的指导信息。

不同估计器的比较

在π_θ(Y_x|x,z_k)的估计方面，基于准确率的估计器和基于几何平均token似然的估计器都显著优于朴素似然估计器，验证了理论分析的正确性。这两种改进的估计器在数学相关基准上表现相似，但基于准确率的变体在数学基准上略有优势。

方法论的深度扩展

多轮训练的潜力

虽然当前实验仅进行了单轮训练（T=1），但框架本身支持多轮迭代训练。在多轮设置中，可以使用前一轮训练得到的模型作为新的初始推理模型，继续优化变分后验和推理模型。这种迭代过程理论上可以进一步提升性能，但需要仔细设计以避免过拟合和模式坍塌。

更丰富的后验设计

当前的变分后验设计相对简单，仅条件化于问题和答案提示。未来可以探索更复杂的后验结构，例如引入层次化的潜在变量、注意力机制或者结构化的推理模板。这些扩展可能会带来更好的性能，但也会增加训练的复杂性。

跨域泛化能力

实验结果显示该方法在分布外任务上也有良好表现，这提示了变分推理框架可能学习到了更加通用的推理模式。进一步的研究可以探索如何利用这种泛化能力来处理零样本或少样本推理任务。

理论意义与实践价值

概率建模视角的价值

该研究最重要的贡献之一是为语言模型推理提供了严格的概率建模框架。这种视角不仅统一了现有的各种训练方法，还为未来的方法设计提供了理论指导。通过将思维轨迹视为潜在变量，研究者能够利用变分推理的丰富理论工具来分析和改进训练过程。

偏见识别与缓解

通过理论分析，研究者识别出现有方法中存在的对简单问题的系统性偏见。这一发现对于理解为什么某些RL方法在困难问题上表现不佳具有重要意义，也为设计更加公平的训练目标提供了方向。

稳定训练的实现

变分推理框架提供了比传统RL方法更稳定的训练过程。这种稳定性不仅体现在数值上（更低的梯度方差），也体现在概念上（更原则性的目标函数）。这对于大规模模型的训练具有重要的实践价值。

局限性与挑战

计算开销

变分推理方法需要训练额外的变分后验模型，并且需要从中采样多条轨迹来计算权重。这增加了训练的计算开销，特别是在需要大量轨迹（大K值）时。如何在性能提升和计算效率之间找到最佳平衡是一个重要的实践问题。

验证器依赖

当前的实现依赖于数学和代码验证器来评估答案的正确性。这限制了方法在没有可靠验证器的领域的应用。未来需要探索如何在缺乏外部验证的情况下估计答案质量。

超参数敏感性

方法涉及多个超参数，包括轨迹数量K、M，学习率调度，以及不同损失项的权重。这些超参数的选择可能会显著影响最终性能，需要仔细调优。

未来发展方向

自适应轨迹采样

当前方法使用固定数量的轨迹进行训练，未来可以探索自适应采样策略。例如，可以根据问题难度或当前模型的不确定性动态调整采样数量，在计算效率和性能之间实现更好的平衡。

结构化推理模板

可以将领域特定的推理结构融入变分后验的设计中。例如，对于数学问题，可以设计包含"理解问题-制定计划-执行计算-验证结果"等步骤的结构化模板。这种结构化方法可能会提高推理的可解释性和准确性。

多模态推理扩展

当前框架主要处理文本推理，但原理上可以扩展到多模态设置。例如，在涉及图表、图像或其他模态信息的推理任务中，可以设计相应的多模态变分后验来处理跨模态的推理过程。

在线学习与持续改进

可以探索将变分推理框架与在线学习结合，使模型能够在推理过程中持续学习和改进。这种方法可能特别适用于需要长期推理或涉及多步骤问题解决的场景。

可解释性增强

变分推理框架天然地提供了对推理过程的概率性描述，这为增强模型的可解释性提供了机会。未来可以开发基于变分后验的解释方法，帮助用户理解模型的推理逻辑和不确定性。

工程实现与部署考虑

分布式训练优化

考虑到变分推理方法的计算复杂性，需要设计高效的分布式训练策略。可以探索模型并行、数据并行和流水线并行的组合，以及异步更新策略来加速训练过程。

推理时优化

在部署阶段，可以利用训练好的变分后验来改进推理时的采样策略。例如，可以使用变分后验来指导beam search或其他解码算法，提高生成质量。

模型压缩与蒸馏

可以探索如何将变分推理训练得到的大模型知识蒸馏到更小的模型中，以便在资源受限的环境中部署。这需要设计合适的蒸馏策略来保持推理能力。

相关资源与代码实现

研究者已经开源了完整的代码实现，可以通过以下链接获取：

• 项目主页：https://github.com/sail-sg/variational-reasoning
• 论文链接：https://arxiv.org/abs/2509.22637

代码库包含了完整的训练和评估流程，支持多种基础模型和数据集。研究者还提供了详细的实验配置和超参数设置，便于复现和扩展研究。

结论与展望

语言模型的变分推理框架代表了推理能力训练方法的重要进展。通过将思维轨迹视为潜在变量并应用变分推理技术，该方法不仅提供了更加原则性和稳定的训练目标，还为理解和改进现有方法提供了统一的理论框架。

实验结果证明了该方法在多个具有挑战性的推理基准上的有效性，特别是在训练稳定性和泛化能力方面的优势。更重要的是，该研究揭示了现有方法中存在的系统性偏见，为未来的方法设计提供了重要启示。

尽管仍存在计算开销和超参数调优等挑战，但变分推理框架为语言模型推理能力的进一步提升开辟了新的道路。随着理论的不断完善和工程实现的优化，这一方法有望在更广泛的应用场景中发挥重要作用，推动人工智能系统推理能力的持续进步。

未来的研究可以从多个维度继续深化这一工作：在理论层面，可以探索更复杂的变分后验设计和多轮训练策略；在应用层面，可以将方法扩展到更多领域和任务；在工程层面，可以优化计算效率和部署便利性。这些努力将共同推动变分推理在语言模型推理中的广泛应用和持续发展。

本文转载自​​顿数AI​​，作者：可可