大语言模型的革新：基于logits的微调技术突破性进展

引言：打破传统微调的局限性

在大语言模型（LLMs）快速发展的今天，如何开发紧凑且高效的模型已成为研究的热点。本文介绍了一种突破性的微调方法，通过结合教师模型的logits知识和真实标签，显著提升了模型性能。该方法在数学推理等任务上取得了显著进展，为大语言模型的优化开辟了新的方向。

技术创新：突破传统监督微调的瓶颈

传统的监督微调（SFT）方法存在明显的局限性，主要体现在无法有效捕捉token之间的依赖关系和语言表达的多样性。例如，对于"一英尺等于12英寸"这样的表述，可以有多种有效的表达方式，如"There are 12 inches in 1 foot"和"There are 12 inches in each foot"。传统SFT往往只能学习到单一的表达方式，忽略了语言表达的丰富性。

为解决这一问题，研究团队提出了一种创新的logits微调框架，该框架巧妙地结合了监督学习和知识蒸馏的优势。通过将教师模型的logits与真实标签相结合，构建了更丰富的训练目标，既保持了答案的正确性，又保留了语言表达的多样性。

技术实现：融合教师知识与监督学习

该方法的核心在于构建一个平衡的目标分布，增强了学生模型从教师知识和特定任务监督中学习的能力。具体来说，研究团队构建了一个包含120万logits的大规模数据集，并基于此训练了一系列以科学为重点的模型。

实现过程主要包括以下几个关键步骤：

1. 数据集构建：从MetaMath-GSM8K获取100万样本，从OpenMathInstruct2获取24万样本，构建大规模logits数据集。
2. 目标分布设计：提出了一种新的分布计算方法，将教师模型的logits与真实标签进行融合，确保既保持答案正确性又保留语言多样性。
3. 微调策略优化：采用KL散度作为损失函数，通过最小化学生模型输出与目标分布之间的差异来进行训练。

实验验证：显著的性能提升

实验结果表明，该方法在多个数学推理基准测试上取得了显著的性能提升：

• 在Mawps数据集上准确率提升18%
• 在TabMWP数据集上准确率提升22.7%
• 在九个广泛使用的数学基准测试中平均提升7.28%

特别值得注意的是，即使只使用25%的训练数据，基于logits的微调方法也能达到传统监督微调使用50%数据的效果。这一发现说明该方法在数据效率方面具有显著优势。

技术影响与应用前景

这项研究的成功不仅为大语言模型的优化提供了新的思路，也为解决实际应用中的问题提供了有效的解决方案。主要影响体现在以下几个方面：

1. 模型效率提升：通过更有效的知识传递方式，显著提高了模型的学习效率。
2. 资源消耗降低：相比传统方法，在使用更少的训练数据的情况下就能达到更好的效果。
3. 表达多样性：保留了语言表达的丰富性，使模型能够更自然地处理各种表达方式。
4. 通用性强：该方法不仅适用于数学推理任务，还可以扩展到其他领域的应用。

未来展望与局限性

尽管该方法取得了显著的成果，但研究团队也认识到了一些局限性。首要的是计算资源的限制导致目前只能在较小规模的模型上进行验证。未来的研究方向包括：

1. 扩展到更大规模的模型架构
2. 探索在更多领域的应用可能
3. 进一步优化计算效率
4. 研究更多样化的知识融合方式

结论

基于logits的微调方法代表了大语言模型优化领域的一个重要突破。通过创新的知识融合方式，该方法不仅提高了模型性能，还为解决实际应用中的问题提供了新的思路。这项研究的成功也为未来大语言模型的发展指明了方向，值得学术界和工业界的持续关注和深入研究。

参考文献

论文地址：https://arxiv.org/abs/2505.24461

代码地址：https://github.com/dvlab-research/Logits-Based-Finetuning

本文转载自​​​​​​顿数AI​​​​，作者：小顿