揭秘 DeepSeek-R1 的 “修炼之路”：从基础模型到推理高手的四阶段训练法 原创

在大模型竞争白热化的今天，DeepSeek-R1 凭借在数学推理、代码生成等复杂任务中的亮眼表现脱颖而出。它的成功并非一蹴而就，而是经过四阶段精心训练的结果。今天，我们就来拆解这一 “推理高手” 的成长轨迹，看看它是如何从基础模型一步步进化为多面手的。

一阶段：冷启动监督微调（Cold Start SFT）—— 打好推理 “地基”

如果把 DeepSeek-R1 的训练比作盖房子，那么第一阶段就是 “打地基”。这一阶段的核心目标是让模型掌握基本的推理逻辑和表达规范，为后续训练铺路。

具体来说，研究者们用数千条人工标注的高质量思维链（CoT）数据，对基础模型（DeepSeek-V3-Base）进行轻量微调。这些数据每条都包含多语言对齐的规范格式，比如用​​<reasoning>​​​和​​​</reasoning>​​​标签包裹推理过程，就像给模型 “划重点”，告诉它 “推理过程要这么写”。

这一步的作用至关重要：一方面，它能激发模型输出逻辑连贯的推理过程，让模型学会 “按人类的方式思考”；另一方面，它为后续的强化学习提供了稳定起点，能显著缩短训练的收敛时间。就像教孩子做数学题时，先给几道带详细步骤的例题，孩子才能更快上手。

二阶段：面向推理的强化学习（Reasoning-Oriented RL）—— 专攻复杂任务

有了基础的推理能力，接下来就要针对性提升模型在复杂任务中的表现了。第二阶段就像 “专项训练”，让模型在数学、编程、科学等需要深度推理的任务中 “打怪升级”。

这一阶段采用了GRPO 算法（一种高效的强化学习算法），并设计了 “混合奖励函数” 来给模型的表现打分：

• 规则奖励：比如数学题答案是否正确、代码能否运行通过、输出格式是否规范；
• 语言一致性奖励：如果模型输出中英文混杂，就会被 “扣分”，以此提升目标语言的占比。

经过这一阶段的训练，模型的推理能力突飞猛进。比如在 2024 年美国数学邀请赛（AIME）中，模型的准确率从 15.6% 飙升到 71.0%，相当于从 “勉强及格” 跃升到 “优秀水平”。

三阶段：拒绝采样与监督微调（Rejection Sampling & SFT）—— 平衡能力与泛化

专攻推理任务后，模型可能会 “偏科”—— 推理能力强了，但在写作、问答等通用任务中表现一般。第三阶段的目标就是 “全面发展”，让模型既能解难题，又能聊日常。

研究者们用了两个妙招：

1. 拒绝采样：让经过第二阶段训练的模型生成大量回答，筛选出约 60 万条高质量推理数据（比如逻辑严谨、表达清晰的内容）；
2. 复用通用数据：加入 DeepSeek-V3 已有的 20 万条通用任务数据（涵盖写作、角色扮演等）。

之后进行两轮监督微调：先只用 60 万条推理数据微调，再用全部 80 万条数据（推理 + 通用）微调。这就像让学霸既做奥数题，也练作文，最终实现 “推理能力不缩水，通用能力补短板”。

四阶段：全场景强化学习（RL for All Scenarios）—— 对齐人类需求

经过前三阶段，模型已经具备了强推理能力和通用性，但还需要 “懂人心”—— 符合人类偏好，兼顾安全性和开放域泛化能力。第四阶段就是 “打磨细节”，让模型成为真正能用的 “全场景助手”。

这一阶段的关键是多样化奖励机制：

• 推理任务：继续用规则奖励（如数学答案验证）；
• 通用任务（如对话、写作）：用神经奖励模型评估 “无害性” 和 “实用性”（比如回答是否友好、是否有帮助）。

同时，训练数据涵盖了用户日常查询、长文本理解等场景，确保模型在各种实际使用中都能 “不掉线”。最终，经过这一阶段的模型，既能严谨推导数学公式，也能轻松聊家常，还能避免输出有害内容。

为何这样的四阶段训练能成功？

DeepSeek-R1 的四阶段训练，本质是 “循序渐进、交替优化” 的智慧：先用监督微调打基础，再用强化学习攻难点，接着用混合数据补短板，最后用全场景训练对齐人类需求。这种 “两步走”（SFT 和 RL 交替）的方式，既保证了模型的推理深度，又兼顾了通用能力和安全性。

从结果来看，这种方法效果显著：DeepSeek-R1 在 AIME、MATH-500 等推理 benchmark 上表现接近 OpenAI o1 系列，同时在写作、对话等任务中也能保持良好表现。

写在最后

DeepSeek-R1 的四阶段训练，为大模型推理能力的提升提供了一套可复用的 “方法论”—— 从基础规范到专项突破，再到全面平衡，最后对齐需求。对于企业来说，这种 “循序渐进、靶向优化” 的思路，也能为自家模型的训练和迭代提供参考。

如果说大模型是人工智能的 “引擎”，那么科学的训练方法就是 “燃料”。DeepSeek-R1 的成长轨迹，或许正预示着未来大模型训练的重要方向：更精细、更高效、更贴近人类真实需求。

参考文献

1. 南门子，《阿里淘天大模型终面：麻了，真的麻了！》，​​https://mp.weixin.qq.com/s/x43pwfNw7doFB5pGMLpJfA​​，2025-06-19，微信公众号
2. 《DeepSeek-R1 背后的思维链（CoT）技术》，​​https://mp.weixin.qq.com/s/2BEETD2xukrLP6hP9uLxXA​​，2025-02-15，微信公众号
3. 《一文读懂 DeepSeek-R1 的 “最强外挂” GRPO 算法》，​​https://mp.weixin.qq.com/s/rG9cRYqHIwTc7-bR2qCIEg​​，2025-02-08，微信公众号
4. 《15 问深入理解 DeepSeek-R1》，​​https://mp.weixin.qq.com/s/2hUYDmHimge_trFLGXlueA​​，2025-02-01，微信公众号
5. 《DeepSeek-R1 万字解读》，​​https://mp.weixin.qq.com/s/LszsOMVwL7Om7860HqgK_g​​，2025-01-31，微信公众号

本文转载自​​​鸿煊的学习笔记​​​，作者：乘风破浪jxj