RLHF 核心算法解析：从 DPO 到 DAPO 的大模型对齐技术演进

开篇：RLHF 如何重塑大模型交互范式

在大模型从 "技术展示" 走向 "产业落地" 的进程中，如何让模型输出符合人类价值观与使用习惯，成为比单纯提升性能更关键的命题。基于人类反馈的强化学习（RLHF）正是解决这一问题的核心技术 —— 它通过将人类偏好转化为训练信号，引导模型生成更自然、安全、符合预期的回答。而支撑 RLHF 的核心，是一系列不断进化的强化学习算法。本文将解析四大 RLHF 算法，揭示它们如何让模型从 "会说话" 进化到 "懂人心"。

一、直接偏好优化（DPO）：极简高效的偏好对齐

1.1 核心思想

DPO（Direct Preference Optimization）算法的创新在于绕过传统奖励模型训练，直接通过人类偏好数据优化策略。其核心假设是：人类对两个回答的偏好排序本身，就蕴含了足够的优化信号。例如，当人类标注 "回答 A 优于回答 B" 时，DPO 会直接调整模型参数，使模型生成 A 的概率相对 B 更高。

1.2 数学表达

关键参数：

• pi_{theta}：当前优化的策略模型
• pi_{ref}：参考策略（如 SFT 模型）
• (x, y_w,y_l)：输入文本 x 与优劣回答对(y_w,y_l)
• β：偏好信号强度系数（通常取 0.5-1.0）
• σ：sigmoid 函数，将数值映射到 (0,1) 区间

直观理解：公式通过最大化 "好回答" 与 "差回答" 的对数概率比，实现偏好对齐。

1.3 工程优势

• 计算高效：无需训练额外的奖励模型，显存占用降低 30% 以上，适合资源受限场景；
• 收敛快速：某客服场景实测显示，DPO 比传统 PPO 收敛速度提升 40%，且避免了奖励模型偏差问题。

二、近端策略优化（PPO）：工业界的中流砥柱

2.1 技术基石

PPO（Proximal Policy Optimization）作为 RLHF 的经典算法，通过 "信任区域" 思想限制策略更新幅度，避免优化过程中模型性能崩溃。PPO 的公式推导与参数调优是高频考点。

2.2 核心公式

• 优势估计：采用广义优势估计（GAE）计算(如下公式)，解决传统 TD 误差的方差问题：

• 关键参数：

ε：裁剪比例（通常设为 0.2），限制策略更新步长

γ：折扣因子（0.95-0.99），衡量未来奖励的重要性

λ：GAE 平滑系数（0.9-1.0），控制偏差与方差的平衡

2.3 产业实践

某电商对话模型采用 PPO 优化后，用户满意度提升 15%，但需注意：

• 超参数敏感：学习率需控制在10^{-5}量级，过大易导致策略震荡；
• 计算开销：每次迭代需存储旧策略，显存占用比 DPO 高约 50%。

三、组相关偏好优化（GRPO）：群体智慧的数学表达

3.1 创新思路

GRPO（Group-Related Preference Optimization）将人类偏好视为群体决策问题，通过分组比较提升优化稳定性。例如，将 10 个回答分为一组，计算每个回答在组内的相对优势，避免单一偏好标注的噪声影响。

3.2 优势计算

• 核心逻辑：将个体奖励r_{i}标准化为组内 Z-score，消除不同组标注尺度差异。

3.3 目标函数

• 独特设计：引入 KL 散度惩罚项，强制新策略与参考策略保持相似，防止 "灾难性遗忘"。

r_i,t(θ) = πθ(o_i,t|q,o_i,<t) / πθ_old(o_i,t|q,o_i,<t)

D_KL (πθ||πref)：KL 散度惩罚项，强制新策略与参考策略保持相似

3.4 适用场景

在医疗咨询等对回答安全性要求极高的场景，GRPO 通过群体偏好聚合，将有害回答率降低至 0.8% 以下，较 PPO 提升 3 个百分点。

四、解耦裁剪和动态采样（DAPO）：自适应优化的集大成者

4.1 技术融合

DAPO（Decoupled Clipping and Dynamic Sampling）结合了 DPO 的高效与 PPO 的稳定性，通过动态调整裁剪范围和采样策略，实现 "数据利用效率" 与 "优化稳定性" 的平衡。

4.2 动态裁剪机制

• 关键改进：使用动态裁剪范围，对高置信度样本采用更宽松的更新约束。

4.3 采样约束

• 语义解释：强制要求每组样本中至少存在一个与参考回答等价的样本，避免优化陷入局部最优。

4.4 性能表现

在代码生成任务中，DAPO 相比 PPO 提升代码准确率 9.2%，同时将训练耗时缩短 25%，成为当前多模态对齐的首选算法之一。

五、算法对比与工程选型指南

问题："如何选择 RLHF 算法？" 

可结合业务场景回答：如追求快速迭代选 DPO，注重稳定性选 PPO，对安全性要求极高选 GRPO，多模态任务优先 DAPO。

结语：从算法创新到产业价值

RLHF 算法的演进，本质是人类与 AI 交互语言的进化。从 DPO 的极简设计到 DAPO 的自适应优化，这些算法不仅解决了 "模型对齐" 的技术难题，更开创了 "人类偏好可计算" 的新范式。

本文转载自​​​​​​鸿煊的学习笔记​​​​​​，作者：乘风破浪jxj