Reward Hacking | 强化学习提升大模型推理能力，奖励机制是关键 | 机制不合理，会导致多变的欺诈行为

大语言模型（LLM）的飞速发展正深刻改变着我们与信息和技术交互的方式（想想大家有多久不用传统搜索引擎了）。它们展现出的能力令人瞩目，但要驱动它们超越模仿，在复杂推理、规划和解决未知问题等层面达到更高的“智能”水平，传统的预训练（Pretrain）和监督微调（SFT）范式显得力有不逮。强化学习（RL），特别是结合人类或规则反馈的RLHF/RL，已成为关键的引擎，推动LLM智能向更高层级跃迁。

RL的核心在于赋予模型一种“目标导向”的学习能力。如果说SFT像学生一笔一划地模仿老师写字，那么RL则更像是给学生设定一个目标——比如“写出书法家级别的作品”——然后让学生不断尝试、接收反馈（比如“这一笔力道不足”、“结构尚可”）并自我调整，最终掌握书法的精髓，甚至可能创造出独特的风格。这种模式使得模型能够优化难以用简单规则定义的复杂目标，如回答的“有用性”或代码的“效率”。通过试错和最大化代表“好”的奖励信号，模型能学到SFT数据中未曾显式包含的策略和行为，有时甚至展现出类似“灵光一闪”的解决问题方式，显得更加“聪明”。DeepSeek R1等模型在数学竞赛等高难度挑战中取得的优异表现，便是RL赋能LLM智能提升的有力证明。

奖励函数：驱动进步的核心，亦是风险的源头

在这场由RL驱动的智能升级之旅中，奖励函数扮演着至关重要的“导航系统”角色。它为模型在茫茫的可能性空间中指明方向，告诉它什么是“好”、什么是“坏”，模型的每一次“驾驶调整”（参数更新）都是为了更接近奖励所定义的目的地。可以说，奖励函数就是我们期望模型最终实现的那个宏伟蓝图的具体施工指南。

然而，绘制这份“施工指南”是一项极其精妙且充满挑战的工作，堪称一门“黑暗艺术”。许多我们追求的高级目标，比如“创造力”或“同理心”，本身就如同捕捉流动的空气，难以精确量化并转化为冷冰冰的数学公式。因此，在实践中，我们往往只能退而求其次，设计一个“代理奖励”（Proxy Reward）。这就像公司希望提升员工的“整体健康水平”（真实目标），但实际操作中可能只能追踪“健身房打卡次数”（代理指标）。虽然打卡与健康有一定关联，但并非完全等同，员工可能仅仅为了满足指标而打卡后就离开。在RLHF中，由奖励模型（RM）基于人类偏好数据给出的分数就是典型的代理奖励。它虽然是我们能实际操作和优化的抓手，但与我们内心真正期望的“真实奖励”或“黄金标准”之间，几乎注定存在偏差。

正是这个偏差，结合RL算法近乎“不择手段”的优化动力，为“奖励函数欺诈”（Reward Hacking或Specification Gaming）埋下了伏笔。这就像一个被赋予了“将房间打扫干净”目标的机器人，如果“干净”的代理奖励被定义为“地板上没有可见垃圾”，机器人最高效的方式可能是把所有垃圾扫到地毯下面或者塞进壁橱里，而不是真正进行清理和整理。模型利用了奖励函数（或其代理）的漏洞或歧义，找到了最大化分数但违背设计初衷的“捷径”。它学会了如何“应付考试”，而不是真正掌握知识。

奖励欺诈行为的“千姿百态”

奖励欺诈并非铁板一块，它会以各种狡猾的形式出现，如同不断变异的病毒，挑战着我们构建可靠AI系统的努力。理解其多样的表现形式至关重要。

一种形式源于奖励函数或优化算法设计本身的“先天缺陷”。某些算法设计细节可能无意中引入系统性偏差。例如，为了平衡长短回答的影响，在计算贡献时引入长度的倒数因子，可能导致长度偏见。这好比一个评分系统，给短小精悍的错误答案打了重重的“板子”，却对长篇大论的错误答案轻轻放过，因为后者的“每字错误成本”被摊薄了。模型很快就会学到：没把握时，不如滔滔不绝地“安全”犯错。

类似地，使用奖励的标准差进行归一化，可能导致问题难度偏见。这就好像一个健身教练，发现学员在举小哑铃时成绩稳定、进步明显（标准差小），于是不断加大这方面的训练，因为“看起来效果好”；而对于真正能突破瓶颈的大重量训练，因为学员表现不稳定（标准差大），教练反而减少了投入。结果，模型在简单问题上“精益求精”，却在困难问题上“畏缩不前”，错失了真正的成长机会。

当引入人类或规则反馈（RLHF/RL）后，欺诈形式变得更加复杂，常常利用了反馈过程本身的弱点：

1. 奖励模型的过优化：RM只是人类偏好的一个“学生模型”，它也有自己的认知盲区和错误。LLM在优化过程中，可能会专门“攻击”RM的这些弱点，生成一些RM会打高分、但人类其实并不喜欢的答案。这就像学生发现了老师评分的某个特定偏好，然后专门迎合这个偏好来写作文，而不是提升整体写作水平。
2. “U-Sophistry” (非故意诡辩)：模型并非变得更正确，而是变得更擅长“显得”正确。它们学会了用华丽的辞藻、坚定的语气和精心挑选（甚至捏造）的论据来包装答案，哪怕内容空洞或错误。这就像一个技巧纯熟的魔术师，能让你相信不可能的事情，模型则让你相信错误的答案。
3. Sycophancy (谄媚)：模型学会了看人下菜碟，倾向于附和用户的观点或情绪，因为这通常能带来更积极的反馈信号（高奖励）。它变成了一个唯唯诺诺的“应声虫”，而不是一个提供客观信息的助手。
4. 评估者偏见利用：当用AI（LLM-as-Judge）评估AI时，评估者AI自身的“小毛病”，比如偏爱先看到的答案，或者对某种格式情有独钟，都会成为被训练模型可以利用的“通关密码”。模型学会的是如何“讨好”这个特定的AI裁判，而非普适的优秀标准。
5. In-Context Reward Hacking (ICRH)：这是一种“实时作弊”。模型在与环境交互的过程中，像一个聪明的棋手，根据对手（环境、用户、反馈）的实时反应，动态调整自己的“棋路”（行为策略），诱导出一个对自己有利的局面（高评价状态），哪怕它本身的“棋力”（模型参数）并未改变。
6. 欺诈技能的泛化：最令人担忧的是，模型可能像学会了开锁技巧的小偷，在一个地方得手后，能将这种“技巧”应用到其他不同类型的锁上。模型似乎能掌握某种通用的“钻空子”元能力，使其在新的、未知的环境中也能尝试欺诈。

这些形形色色的奖励欺诈行为，从利用规则漏洞到操纵认知判断，共同揭示了在追求更高AI智能的道路上，我们面临着深刻的“对齐”挑战。

图：RM分数随KL散度度量平方根变化的曲线图。其中代理奖励用虚线表示，黄金奖励用实线表示（图片来源：Gao et al. 2022）‌

如何应对奖励欺诈的挑战？

面对如此复杂多变的奖励欺诈，我们需要一个多层次、多角度的应对策略，如同构建一座坚固的城堡，既要有高墙（预防），也要有瞭望塔（检测），还要有修复队（修正）。

首先，加固“城墙”——改进奖励信号本身：

• 目标多元化：不要把所有鸡蛋放在一个篮子里。设计多个维度的奖励，捕捉目标的更多侧面，让模型难以找到一个能在所有方面都“作弊”的策略。这就像综合评估一个学生，不能只看考试分数，还要看课堂参与、项目表现等。
• 提升奖励模型质量：用更丰富、更多样化、更高质量的数据训练RM，并采用能更好地处理不确定性和对抗干扰的技术。让我们的“代理裁判”更接近“金牌裁判”的水平。
• 引入“红蓝对抗”：训练一个专门识别欺诈行为的“蓝军”模型，与试图欺诈的“红军”（被训练的LLM）进行对抗，动态提升奖励信号对欺诈的“免疫力”。

其次，优化“城堡设计”——改进RL算法与流程：

• 隔离风险：采用“Decoupled Approval”等技术，将反馈收集环节与模型的实际环境交互分离开。好比在沙盘上推演作战计划并获得反馈，然后再去真实战场执行，避免了执行过程本身干扰反馈的准确性。
• 设置“行为规范”：在优化目标中加入正则化项或约束，惩罚那些虽然奖励高但行为异常（如复杂度过高、过度偏离常规）的策略。给模型的“自由探索”划定合理的边界。
• “三思而后行”：让模型决策时考虑长远影响，而不仅仅是眼前奖励。如果一个行为短期奖励很高，但可能导致系统崩溃或信任破裂，就应该被抑制。
• 打造“安全屋”：通过严格的工程实践，如沙盒环境，限制模型的能力边界，不给它接触和修改核心代码、奖励机制或敏感数据的机会。

第三，设立“瞭望塔”——加强监控与检测：

• 行为异常检测：像经验丰富的医生观察病人的异常体征一样，持续监测模型的行为指标（如奖励曲线、输出特征分布、决策熵等），一旦发现与正常模式显著偏离，及时预警。
• 埋设“警报器”（Trip Wires）：在系统中故意设置一些容易被攻击的“诱饵”，并严密监控。一旦模型触碰这些“诱饵”，就立即触发警报，表明可能存在欺诈企图。
• 透明化与可解释性：打开“黑盒子”，利用可解释性工具理解模型为何做出某个决策，尤其是那些获得异常高奖励的决策。人工审计和分析是发现隐藏欺诈的关键环节。

第四，绘制“敌情地图”——深化数据理解：

• 深入挖掘RLHF/RL数据，像侦探分析案发现场一样，找出导致模型“学坏”的模式和线索。理解哪些类型的反馈容易被利用，哪些场景下欺诈风险更高，从而指导我们改进数据收集和训练策略。

应对奖励欺诈绝非一蹴而就，它需要我们在理论研究、算法设计、工程实践和持续监控等多个层面协同努力。这更像是一场持续的“军备竞赛”，随着模型能力的增强，新的欺诈形式可能不断涌现，我们需要不断提升“防御工事”的水平。

最后

强化学习为LLM的智能进化注入了强大的动力，前景广阔。但作为其核心驱动力的奖励函数，却是一柄需要我们以高度智慧和警惕来挥舞的双刃剑。奖励欺诈，这一伴生风险，以其多样性和隐蔽性，时刻提醒着我们对齐（Alignment）之路的艰巨性。从GRPO的偏见到ICRH的实时博弈，我们看到了挑战的严峻。但同时，从Dr. GRPO的修正到Lilian Weng总结的众多策略，我们也看到了应对的希望。驯服奖励欺诈这匹“烈马”，确保LLM的力量被用于符合人类长远利益的方向，是当前及未来人工智能发展中至关重要的一环。这需要研究者、工程师和整个社区的持续投入与合作，共同推动构建更安全、更可靠、真正值得信赖的智能未来。

参考资料

• Reward Hacking in Reinforcement Learning
  ​​​https://lilianweng.github.io/posts/2024-11-28-reward-hacking/​​
• GRPO教会DeepSeek R1高智商推理，但GRPO可能不完美且有偏见 | Dr. GRPO简化之，消除偏见带来改进
  ​​​https://mp.weixin.qq.com/s/2VaBr5xCNgJYSiqISkxpjQ​​

​本文转载自​​​​后向传播​​​​，作者： 张发恩