数据组成决定效率：LLM微调中的令牌效率缩放新定律

引言：微调效率的新视角

在大型语言模型（LLM）迅速发展的今天，如何在有限资源下高效微调模型成为了研究和应用的关键问题。传统观点认为，训练数据的总令牌数是衡量数据规模的唯一标准，但康涅狄格大学的研究团队提出了一个更为精细的视角：数据的组成结构同样至关重要。

本文将深入分析Ryan Lagasse、Aidan Kiernans、Avijit Ghosh和Shiri Dori-Hacohen在论文《固定计算预算下LLM微调中令牌效率的缩放定律》中提出的创新理论。该研究首次明确考虑了数据组成对微调效果的影响，为资源受限环境下的LLM微调提供了全新的理论指导。

传统缩放定律的局限性

大型语言模型的缩放定律已经被广泛研究，如Hernandez等人(2021)和Hoffmann等人(2022)的工作证明了这些定律在预测大规模神经网络性能方面的有效性。Zhang等人(2024)进一步将这些定律应用于微调场景。然而，这些研究往往将训练数据简化为单一指标——总令牌数，而忽略了数据内部的组成差异。

在实际应用中，研究人员和开发者常常面临的不仅是数据量的限制，还有数据结构的多样性。两个总令牌数相同的数据集可能会因为一个包含大量短示例而另一个包含少量长示例而产生截然不同的微调效果。这种现象表明，我们需要一个能够更准确捕捉微调动态的缩放定律。

数据集容量：重新定义有效数据规模

康涅狄格大学的研究团队提出了一个创新概念——"数据集容量"(dataset volume)，用于更精确地描述训练数据的有效规模。这一概念将总令牌数分解为示例数量(N)和平均令牌长度(L)的乘积：V = N·L。

虽然从数学上讲，数据集容量等同于总令牌数，但这种分解明确强调了数据组成的重要性。研究团队假设微调准确率的缩放方式可以表示为：

Accuracy = A·V^β·M^γ + E

其中：

• V是数据集容量(N·L)
• M是模型大小
• A、β、γ和E是根据既定程序调整的参数

这一公式不仅考虑了数据量和模型大小，还通过数据集容量的概念隐含地考虑了数据的组成结构，从而能够更准确地预测微调性能。

实验设计：验证数据组成的影响

为了验证数据组成对微调效果的影响，研究团队设计了三种不同的子采样策略：

1. few_long选择相对较少的长令牌示例
2. many_short选择大量短令牌示例
3. balanced在示例数量和令牌长度之间保持平衡

实验在BRICC数据集和MMLU数据集的子集上进行，使用了四种不同规模的模型(135M、360M、500M和1B)，这些模型在Open LLM排行榜上表现优异。具体使用的模型包括SmolLM-135M-Instruct、SmolLM-360M-Instruct、Qwen2.5-0.5B-Instruct和Falcon3-1B-Instruct。

所有实验都在固定计算预算下进行，确保了结果的可比性和实用性。

实验结果：数据组成的决定性作用

实验结果清晰地表明，数据组成对微调效果有显著影响。下表展示了不同子采样策略在BRICC数据集上的代表性性能：

从表中可以看出，即使总令牌数相近，不同的子采样策略也会产生不同的微调效果。这证实了数据集容量(V)作为衡量数据有效规模的指标的重要性。

研究团队还引入了标准化令牌效率的概念：

η_norm = (Accuracy - E) / (V·M^γ)

下图展示了标准化令牌效率与模型大小的关系：

这一结果表明，当数据组成被适当考虑时，更大的模型能够更有效地利用额外的令牌。

另一个关键发现是不同子采样策略的准确率分布存在明显差异：

这些结果进一步证实，子采样策略（即数据组成）是微调结果的关键因素。

MMLU数据集上的验证

为了进一步验证提出的缩放定律和数据组成的重要性，研究团队在MMLU数据集的子集上进行了额外实验。这些实验采用了与BRICC数据集相同的设置，结果同样支持了数据组成对微调效果的显著影响。

MMLU数据集上的实验结果如下：

这些结果与BRICC数据集上的发现一致，进一步证实了数据组成对微调效果的决定性影响。

深入理解：数据组成如何影响微调效果

为什么数据组成对微调效果如此重要？这可能与语言模型的学习机制有关。不同的数据组成方式提供了不同的学习信号：

1. 多样性与重复性的平衡：大量短示例可能提供更多样的学习信号，而少量长示例可能提供更深入的上下文理解。
2. 注意力机制的影响：Transformer模型的注意力机制在处理不同长度的序列时可能有不同的效率。
3. 优化动态：不同的数据组成可能导致不同的优化轨迹，影响模型收敛到的局部最优解。
4. 泛化能力的培养：数据组成可能影响模型的泛化能力，特别是在处理未见过的输入时。

这些因素共同作用，使得数据组成成为影响微调效果的关键因素。

实际应用：资源受限环境下的微调策略

这项研究的结果对于在资源受限环境下进行LLM微调具有重要的实践意义。基于这些发现，我们可以提出以下微调策略：

1. 数据组成优化：根据可用计算资源和目标任务特性，优化数据集的组成结构，而不仅仅是追求更大的总令牌数。
2. 模型规模与数据匹配：根据数据集容量选择适当规模的模型，以实现最佳的令牌效率。
3. 子采样策略选择：根据任务特性选择合适的子采样策略，例如，对于需要深入理解长文本的任务，可能更适合few_long策略；而对于需要广泛知识的任务，可能更适合many_short策略。
4. 计算资源分配：在有限的计算资源下，合理分配资源用于数据处理和模型训练，以实现最佳的微调效果。

这些策略可以帮助研究人员和开发者在资源受限的情况下更有效地微调LLM，提高模型性能。

研究局限性与未来方向

尽管这项研究提供了重要的见解，但仍存在一些局限性：

1. 模型多样性：实验仅使用了四种规模的模型，未来研究可以扩展到更多样的模型架构和规模。
2. 任务多样性：实验主要在特定数据集上进行，未来研究可以扩展到更广泛的任务和领域。
3. 计算效率：研究关注了令牌效率，但未深入探讨计算效率，这是资源受限环境下的另一个重要考量。

未来研究可以在以下方向进一步拓展：

1. 量化和参数高效微调：将数据组成的影响扩展到量化和参数高效微调场景。
2. 动态数据组成：探索在微调过程中动态调整数据组成的策略。
3. 跨领域泛化：研究数据组成对模型跨领域泛化能力的影响。
4. 多模态扩展：将数据集容量的概念扩展到多模态学习场景。

结论

康涅狄格大学的研究团队通过引入数据集容量的概念，为LLM微调中的令牌效率提供了一个新的缩放定律。这一定律明确考虑了数据组成对微调效果的影响，为在资源受限环境下进行高效微调提供了理论指导。

实验结果表明，数据组成——示例数量与平均令牌长度的组合——对微调效果有显著影响。这一发现挑战了传统仅关注总令牌数的观点，为LLM微调提供了更细致的理论框架。

通过捕捉数据集组成和模型大小之间的相互作用，这一缩放定律框架为实践者提供了可行的见解，并为未来的扩展奠定了基础，包括量化和参数高效的训练方案。

论文：​​​​https://arxiv.org/abs/2505.06150​​​

本文转载自​​顿数AI​​，作者：葱葱