TinyR1-32B-Preview: 通过全新分支合并蒸馏技术让大模型瘦身不掉智商
图片图1:(A)我们的分支合并蒸馏方法的简化图解。(1)在分支阶段,初始模型(骨干网络)的每个副本都在不同领域的知识上进行训练;(2)在合并阶段,模型基于ArceeFusion规则进行合并。(B)不同LLM模型的性能比较(Mustar,2025)。TinyR132BPreview在科学、数学和编程领域的表现优于同等规模的蒸馏模型,并达到了与DeepseekR1相当的结果。这里的LiveCodeBench指的是完整LiveCodeBench的24.0825.02子集。你是否好奇:为什么大语言模型一...