11.1 从偏好到推理:可验证奖励为什么登场
本页范围:第 11 章第 1 节 | 整理时间:2026-10-08
第 10 章解决了「懂好坏」:奖励模型从偏好对里学会打分,PPO 与 DPO 把这个分数灌进策略模型。但那条路线的裁判有个共同身份——学习型评委,打的是「这个回答像不像好回答」的主观分。本章换一个战场:数学、代码、逻辑这类推理题,它们手里攥着开放对话没有的一张牌——一个能机器判定的对错终点。2024 年 9 月 OpenAI 发布 o1(官方博客,无公开论文),用大规模强化学习训出「先想后答」的推理模型;2025 年 1 月 DeepSeek-R1 公开了完整配方,核心信号源正是规则奖励。本节就回答这张牌带来的第一个问题:为什么推理训练要先换裁判。
本节沿「难在哪 → 旧裁判为何不够 → 新裁判长什么样 → 全章怎么走」的顺序展开,路线图如下:
- 推理题难在哪:答案对 ≠ 过程对(11.1.1):推理任务与开放对话的本质区别,「有标准答案」为什么不等于「好训练」;
- 奖励模型的天花板:主观裁判不够用(11.1.2):10.2 节的 reward hacking 在推理题上换了副面孔,R1 论文为什么明说不用神经奖励模型;
- 可验证奖励:数学对答案、代码过测试(11.1.3):规则裁判的三种形态,RLVR 的正式登场与适用边界;
- 全章地图:回路、算法、思维链、陷阱(11.1.4):11.2 到 11.5 各节分工一览,minimind 的 GRPO 教学实现全程陪同。
读完本节,应该能说清可验证奖励解决了什么、管不了什么,并带着一张地图进入后面四节。
图 1 标出推理训练在 LLM 生命周期中的位置,图 2 展示可验证题库、规则裁判与模型更新之间的关系。
「推理训练」这个紫框放大之后长什么样?它的输入是第 10 章交出的模型加上一种特殊的题库,输出是另一种行为模式的模型,而中间的裁判换了人。把它单独拆开看:
11.1.1 推理题难在哪:答案对 ≠ 过程对
先把任务分成两类。第 9、10 章处理的开放对话与写作是「主观题」:同一个问题有一千种好回答,好坏取决于口吻、分寸、信息量,只能请人或者有学习能力的评委来判。数学、代码、逻辑题是另一类的「客观题」:答案收敛到唯一或少数几个等价结果,对错有硬标准,判分不需要品味,只需要核验。两类任务的差异决定了它们配得上不同的裁判:
| 维度 | 开放对话 / 写作(第 9–10 章) | 推理任务(本章) |
|---|---|---|
| 终点 | 无标准答案,好坏见仁见智 | 有唯一可判对错的终点 |
| 判分方式 | 人工偏好标注,奖励模型打分 | 规则判定:对答案、跑测试 |
| 典型例子 | 摘要、闲聊、文案润色 | 数学竞赛题、LeetCode、逻辑谜题 |
| 裁判软肋 | 标注贵,标注员一致率只有约七成(10.2 节) | 只验终点时,过程可信度无人担保 |
但「有标准答案」只解决了终点,没解决过程。一道数学题的解答可以答案对而过程错:中间两步推导都错,最后却蒙对了数字;判断题与选择题天然有蒙对空间,四选一有四分之一的概率撞对。代码题也一样:生成的程序通过了给定的几个公开测试用例,不代表它正确——测试不全时,「过测试」也可能是蒙的。对训练而言这不是小事:只按最终答案发奖励,蒙对的解答与真懂的解答拿到同样的分,模型学到的可能是撞大运的行为模式;反过来,过程全对但最后誊错一个符号的解答会被判零分。这就是本节标题里的不等式:答案对 ≠ 过程对。
先记住一个结论:推理训练的信号源必须比偏好更硬,但硬到什么程度,取决于校验器的设计。只验最终答案是最便宜的一档,本章大部分内容建立在这一档上;逐步骤批改的过程校验是更贵也更细的一档,11.4 节讲过程奖励模型时再回来。
推理任务与开放对话的分水岭在终点:推理题有唯一可判对错的终点,因此存在不依赖人、也不依赖学习模型的判分方式。但终点可判不代表过程可信——答案对 ≠ 过程对,这个缺口会一路贯穿到 11.4 节的过程奖励与 11.5 节的作弊与防线。
11.1.2 奖励模型的天花板:主观裁判不够用
既然第 10 章已经训出了会打分的奖励模型,能不能直接拿它给数学解答打分?先回顾两个既有事实。其一,10.2 节讲过,RM 是人类偏好的代理而不是本体,代理与本体之间永远有条缝,强化学习最擅长找到这条缝——这就是 reward hacking,经典形态是靠堆长度刷分。其二,RM 的能力被标注员一致率封死,10.2 节给过数字:约七成。10.3 节的应对是 KL 罚项,把策略拴在参考模型附近。这些对策在开放对话上够用,因为任务本身就是主观的,裁判和任务的硬度匹配。
到了推理题上,这套裁判遇到两难。第一难:打分需要评委自己会做这道题。判一份数学证明写得好不好,评委得自己证得出来;要训出能给数学解答打分的 RM,就得先收集大量「会做题的人」的标注,这比收集「哪个回答更有礼貌」的偏好贵得多。第二难:RM 容易被「看起来严谨」的错答案骗过。一份排版工整、步骤齐全、术语唬人的错误推导,在只学过偏好的 RM 眼里往往比一份朴素但正确的解答更像好回答。这是 reward hacking 的推理版:10.2 节里模型靠堆长度刷分,到了推理题上它可以靠堆「严谨感」刷分,分数与正确率脱钩。
DeepSeek-R1 论文在奖励建模一节(2.2.2 节)明确写道:训练 R1-Zero 时没有使用任何神经奖励模型,结果型和过程型都不用,理由是神经奖励模型在大规模强化学习中会遭 reward hacking,而且重训 RM 需要额外算力、把训练流水线搞得更复杂。因此,在能规则判分的任务上,该研究选择不用学习型评委,以避免这些额外成本与作弊风险。
注意:RM 在推理题上的两难:评委要自己会做题(标注贵),又会被「看起来严谨」的错解骗过(reward hacking 的推理版)。DeepSeek-R1 因此在大规模强化学习中弃用神经奖励模型,全线改用规则判分(arXiv:2501.12948,2.2.2 节)。
11.1.3 可验证奖励:数学对答案、代码过测试
替代方案朴素得出奇:既然这类题自带标准答案,让规则直接当裁判。这就是可验证奖励(verifiable reward):不训练任何打分模型,用一段确定性程序直接判定回答对不对。Tülu 3 把这条路线正式命名为 RLVR(Reinforcement Learning with Verifiable Rewards,可验证奖励强化学习,arXiv:2411.15124),把它排在 SFT 与 DPO 之后,作为后训练配方的一个独立阶段。
一类奖励信号:裁判不是训练出来的打分网络,而是一段确定性校验程序——数学题比对最终答案与标准答案是否等价,代码题把生成的程序跑过预设的单元测试,格式要求检查指定标签是否出现。给定同一份回答,规则裁判每次给出同一个分数,客观、可复现,也没有偏好可供钻营。它的射程受限于「能不能写程序判分」:数学、代码、格式是强项,开放写作依然管不了。
实践中的规则裁判有三类,DeepSeek-R1 的奖励系统把它们组织成「准确率奖励 + 格式奖励」两大件(arXiv:2501.12948,2.2.2 节):
答案等价判定(数学)
要求模型把最终答案放进指定格式(如 \boxed{}),程序抽取后与标准答案做等价判定:数字、分数、符号表达式各有等价规则。
单元测试(代码)
生成的程序交给编译器或解释器,跑预设测试用例,通过几个得几分。R1 论文明确提到对 LeetCode 题用编译器按预定义测试用例给反馈。
格式检查(结构)
不判内容对错,只判结构合规,如思考过程必须包在 <think>…</think> 标签里。R1 把它单列为一项奖励,与答案对错并列。
写成公式,可验证奖励就是一个判别函数——答对给分,答错不给,裁判是一段程序:
有三件事要同时说清楚,免得把规则裁判神化。其一,范围:可验证奖励只管得了能写程序判分的任务,写作、闲聊这类开放任务仍然要靠第 10 章的 RM 路线——两类裁判不是替代关系,是分工关系。其二,漏洞:规则裁判也不是金刚不坏,蒙对答案、测试用例不全、格式合规但内容空洞,都是新形态的空子,11.5 节专门讲这些作弊与防线。其三,时间线:o1 先于这一切公开亮相,但 OpenAI 只发布了官方博客《Learning to Reason with LLMs》(2024 年 9 月,无对应论文),称用大规模强化学习训练模型在回答前产生长思维链,性能随训练时与推理时的计算量同步提升;真正把配方和盘托出的是 2025 年 1 月的 DeepSeek-R1,本章的讲述以 R1 论文这类公开资料为准。
11.1.4 全章地图:回路、算法、思维链、陷阱
新裁判就位,后面四节回答四个接续问题:规则分数怎么驱动参数更新(回路)、没有价值模型怎么算优势(算法)、模型怎么学会慢慢想(思维链)、规则裁判会被怎么钻空子(陷阱)。
| 节 | 要回答的问题 | 一句话看点 |
|---|---|---|
| 11.2 RLVR 训练回路 | 规则分数怎么接进训练循环 | 一题多答、规则打分、组内比较;从 STaR 到 R1-Zero 的谱系;minimind 的「规则 + RM」混合配方逐行看 |
| 11.3 GRPO | 没有价值模型怎么算优势 | 同一题采 6 条回答互为标尺,优势 =(奖励 − 组均值)/ 组标准差;算法出自 DeepSeekMath(arXiv:2402.03300) |
| 11.4 长思维链 | 模型怎么学会慢慢想 | R1-Zero 纯强化学习涌现出自我反思与「aha moment」;推理时扩展与过程奖励 |
| 11.5 实践与陷阱 | 规则裁判会被怎么钻空子 | 长度膨胀、虚假思考、蒙对;推理蒸馏与「RL 是否拓展能力边界」的讨论 |
minimind 作为教学实现在本章全程陪同。它的 train_grpo.py 只有三百多行,却完整实现了 GRPO 回路:同一道题采样 6 条回答(num_generations = 6),用组均值与组标准差算相对优势(第 121–124 行);台上只有策略、冻结参考、外部奖励模型三个模型,没有价值模型(第 267–272 行);奖励是规则与 RM 的混合配方(calculate_rewards,第 31–68 行)。后面三节会反复回到这个文件。
参考来源
- Lambert et al., 2024. Tülu 3: Pushing Frontiers in Open Language Model Post-Training(arXiv:2411.15124):RLVR(Reinforcement Learning with Verifiable Rewards)的命名出处,作为 SFT 与 DPO 之后的后训练阶段;已核对 arXiv 摘要页。
- DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948):规则奖励系统 = 准确率奖励 + 格式奖励、数学等价判定与 LeetCode 编译器测试反馈、弃用神经奖励模型的理由(2.2.2 节)、R1-Zero 纯强化学习无 SFT;已核对 arXiv 摘要页与正文 HTML。
- Shao et al., 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models(arXiv:2402.03300):GRPO 的原始出处,作为 PPO 的变体在提升数学推理的同时节省显存;已核对 arXiv 摘要页。
- OpenAI, 2024. Learning to Reason with LLMs(官方博客,2024-09-12 发布,https://openai.com/index/learning-to-reason-with-llms/):o1 用大规模强化学习训练长思维链、性能随训练时与推理时计算量提升;o1 无 arXiv 论文,本页对 o1 的描述以此官方博客为准。
- minimind(Apache 2.0),trainer/train_grpo.py:第 121–124 行(同题 6 条采样的组相对优势)、第 267–272 行(策略 + 冻结参考 + 外部奖励模型,无价值模型)、第 31–68 行(calculate_rewards 的「规则 + RM」混合奖励配方);模型底座 768 维、8 层、词表 6400、约 63.9M 参数为已核准配置。