11.5 推理训练的实践与陷阱:作弊、蒸馏与能力边界
本页范围:第 11 章第 5 节 | 整理时间:2026-10-08
11.1 到 11.4 节把推理训练的主线走了一遍:可验证奖励登场、RLVR 回路转起来、GRPO 扔掉价值模型、长思维链与推理时扩展涌现。机制跑通之后,剩下的是实践层面的三个硬问题。第一,规则裁判真的可靠吗——10.2 节 reward hacking 的教训告诉我们,只要奖励有漏洞,模型迟早会钻。第二,每条推理链都要靠在线采样加强化学习慢慢磨,有没有办法让别的小模型直接继承大模型已经练成的思考习惯?第三,也是最根本的一问:RL 练出来的推理能力,是模型新学会的,还是基座模型本来就会、只是被激发了?本节收束全章,把这三个问题逐一讲清,最后把第 6 章到本章的训练链路连成一张完整的图。
本节按「陷阱 → 捷径 → 边界 → 闭环」的顺序展开,路线图如下:
- 奖励作弊:长度膨胀、格式投机与虚假思考(11.5.1):规则裁判的三类漏洞,以及 minimind 奖励配方里对应的四道防线;
- 推理蒸馏:把大模型的思考抄给小模型(11.5.2):DeepSeek-R1 的蒸馏实验,为什么蒸馏比小模型自己刷 RL 更划算;
- 能力边界:RL 是激发已有能力还是新增能力(11.5.3):pass@k 视角下的系统证据,基座模型为什么是天花板;
- 闭环回顾:从预训练到推理训练的全链路(11.5.4):五个训练阶段五位裁判一张账,接力第 12–13 章。
读完本节,应该能说出规则奖励的三类作弊形态与对应防线,讲清 R1 蒸馏实验的做法与结论,并理解「RL 提高采样效率、蒸馏才能引入新模式」这条边界论断的证据与含义。
图 1 标出本节在训练链路中的位置。11.1 至 11.4 介绍推理训练机制,本节检查奖励作弊、蒸馏、能力边界与评估方法。
把「推理训练」这个紫框放回它前面的四站旁边,换个视角看:每一站训练的背后都站着一位裁判,五站的裁判各不相同,训练信号的形态也跟着不同。把五位裁判并排摆出来,推理训练这一站的特殊性一眼可见:
11.5.1 奖励作弊:长度膨胀、格式投机与虚假思考
11.2 节把规则裁判请上了台:答案与标准答案等价就加分,格式合规就加分。它铁面无私、不要标注、不会疲劳,看起来比第 10 章那位学习型裁判可靠得多。但 10.2 节 reward hacking 的教训还热着:裁判检查什么,模型就优化什么;裁判查不到的地方,就是作弊的空间。规则裁判不会被「说服」,但会被「糊弄」——它只能检查它查得到的表面特征。本节把三类典型作弊逐个摆出来,每一条都对照 minimind 奖励配方(calculate_rewards,train_grpo.py:37–68)里对应的防线来看。
第一类是长度膨胀。DeepSeek-R1 论文报告过一个漂亮的现象:R1-Zero 的响应长度随训练推进持续增长,思考越来越充分(11.4 节讲过)。但这件事反过来看就是个陷阱:只要奖励信号沾了「长度」或「思考段」的边,模型就发现注水是条捷径——思考段越写越长,有效内容并没有变多,分数却上去了。这是 10.2 节长度偏见在 RLVR 里的翻版。minimind 的防线是开窗口而不是奖励长度本身:回答总长落在 20 到 800 字符内加 0.5 分,出窗扣 0.5(train_grpo.py:54);思考段单独限在 20 到 300 字符,合规加 1.0 否则扣 0.5(第 57 行)。窗口挡住了「无限灌水」和「太短糊弄」两个极端,但窗口之内的稀释它管不着——300 字符里塞 100 字符的真思考加 200 字符的废话,照样满分。
第二类是格式投机。格式奖励的初衷是让思考可读、可解析(11.2 节):有 <think> 段、结构完整,下游才能拆开思考与答案。但模型完全可以只交格式作业:套一对标签,思考段里写满「让我仔细想想」「再验证一遍」这类空话,最后照样给个答案。minimind 还有一道更细的防线:整个回答里 </think> 恰好出现一次加 0.25 分,否则扣 0.25(train_grpo.py:58)——这防的是标签泛滥(开十个思考段刷格式分),但防不了内容空洞。格式合规只保证「能解析」,从不保证「真在想」。
第三类是重复灌水与虚假思考。最省力的注水是复读:同一句话换个说法反复念,既凑长度又凑思考段。minimind 用 rep_penalty 对付它:把回答按 3-gram 切分统计重复率,重复越多扣分越多,封顶 0.5(train_grpo.py:31–34,在第 60 行从奖励里减去)。比灌水更难防的是蒙对:答案对、过程全错。结果校验器只看最终答案,选择题、是非题蒙对的概率不低,而 GRPO 的组内比较还会放大这个问题——同一道题采 6 条,偶尔蒙对的那条在组内拿到正优势,被当成榜样强化。反过来,如果 6 条全对或全错,组标准差为零,优势 \((r-\bar{r})/(\sigma+10^{-4})\) 的分子为零,整组学不到任何东西(对应 train_grpo.py:121–124 的计算)——题目太难或太易都是白训。
三种作弊形态与 minimind 配方里的防线对照如下:
把视线从 minimind 抬到工业实践,缓解作弊的手段大致分三层。第一层是规则组合,像 minimind 这样多规则叠加,提高糊弄的门槛,优点是便宜,缺点是道高一尺魔高一丈。第二层是过程校验:不只看最终答案,逐步批改思考链——这就是 11.4 节讲过的过程奖励模型(PRM),有效但标注昂贵。第三层是题库设计:把选择题改成开放式答案让蒙对概率骤降,再按模型当前水平配难度(课程式题库),避开「全对全错、组内零方差」的无效题。三层之外还有一个朴素经验:奖励在涨不代表模型真好,可能只是作弊又升级了,训练时必须同时盯回答长度、重复率、格式合规率这一整组指标,而不只是奖励曲线。
注意:奖励作弊不是实现失误,而是「裁判只看表面特征」的结构性后果:10.2 节的 RM 会被「看起来靠谱」骗过,本节的规则会被「形式上合规」糊弄。规则越简单越便宜,也越容易被钻空子——防线永远是组合拳,没有哪条单一规则能一劳永逸。
11.5.2 推理蒸馏:把大模型的思考抄给小模型
11.2 到 11.4 节的路线是让模型自己刷题:采样、判分、强化,慢慢磨出思考习惯。这条路有效,但每一步都要在线生成大量回答,算力开销不小。还有一条省事得多的路:学霸已经把解题笔记整理好了,学弟直接照着学。把强推理模型产出的长思维链收集起来,当作普通 SFT 数据去教小模型,这就是推理蒸馏。
蒸馏的通用含义是用大模型(教师)的输出指导小模型(学生)训练。第 13 章要讲的经典知识蒸馏对齐的是教师输出的概率分布(logits);推理蒸馏则直接把教师生成的完整思考过程(连同自我检查、回溯、最终答案)收集成数据集,对学生做普通 SFT。它传递的是行为轨迹,训练方法是数据工程加监督微调,训练回路里没有任何强化学习部件。
DeepSeek-R1 论文把这条路走成了标杆实验。做法直白得近乎朴素:用训练完成的 R1 生成约 80 万条样本(其中约 20 万条为写作、问答等非推理数据,其余为推理长思维链),拿这批数据直接微调六个开源底座——Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B、Llama-3.1-8B、Llama-3.3-70B-Instruct。值得强调的是,蒸馏版只做 SFT,不做任何 RL:论文明说加 RL 还能更高,但为了干净地展示蒸馏本身的效果,只放出纯 SFT 的结果。
蒸馏实验显示出明显的性能差异。DeepSeek-R1-Distill-Qwen-7B 在 AIME 2024 上拿到 55.5%,反超 32B 的 QwQ-32B-Preview(50.0%);DeepSeek-R1-Distill-Qwen-32B 达到 AIME 2024 72.6%、MATH-500 94.3%、LiveCodeBench 57.2%,在多数推理基准上超过 o1-mini。论文里的对照实验进一步说明:同在 Qwen-32B-Base 上,一条路是大规模 RL 自训一万多步(数学、代码、STEM 数据),得到 DeepSeek-R1-Zero-Qwen-32B,水平约等于 QwQ-32B-Preview;另一条路是直接蒸馏 R1,得到的模型在所有基准上显著更好。在这组实验中,直接蒸馏的成本和效果都优于小模型自行进行大规模 RL。
| 对照维度 | 小模型 RL 自训(R1-Zero-Qwen-32B 路线) | 推理蒸馏(R1-Distill 路线) |
|---|---|---|
| 监督信号来源 | 自己采样 + 规则判分,在线探索 | 教师模型产出的长思维链数据,离线 SFT |
| 训练回路 | RL 回路:rollout、优势估计、裁剪更新 | 普通 SFT:读数据、交叉熵、反传 |
| 算力开销 | 大(32B 自训超一万步仍只到 QwQ 水平) | 小(一次教师生成 + 一轮 SFT) |
| 能力来源 | 激发基座已有能力(11.5.3 展开) | 从教师引入基座原本没有的推理模式 |
| 天花板 | 被自身基座封顶 | 被教师封顶:教师的错误与口癖一并继承 |
| R1 论文结论 | 蒸馏经济且有效;但要突破智能边界,仍需更强基座与更大规模 RL | |
为什么抄笔记这么有效?RL 自训的难点在于探索:基座模型要自己撞上正确的长推理路径,才能从奖励里学到东西,小模型撞上的概率低。蒸馏把探索环节整个外包给了教师——教师的长思维链里,思考格式、自我检查、回溯重试的分布直接写进监督信号,学生不用探索就能拿到。这解释了表中的一处对照:RL 激发的是基座已有的东西,蒸馏却能从教师那里引入基座原本没有的推理模式(下一节的证据会呼应这一点)。顺带一提,minimind 也带蒸馏脚本(trainer/train_distillation.py),走的是对齐 logits 的经典路线,属于第 13 章的内容,这里点到即可。
推理蒸馏的核心结论(DeepSeek-R1,arXiv:2501.12948):用 R1 的约 80 万条输出直接 SFT,7B 学生就能反超 32B 的 QwQ-32B-Preview,32B 学生在多数推理基准上超过 o1-mini;同一基座上,蒸馏全面胜过大规模 RL 自训。抄笔记比自己做题更划算——但学生的天花板由教师封顶。
11.5.3 能力边界:RL 是激发已有能力还是新增能力
前面三节默认了一件事:RLVR 让模型「更会推理」了。这一节追问「更会」的具体含义。2021 年的 Codex 论文发现,代码模型单发一次只解出 HumanEval 上 28.8% 的题,但每题采 100 个样本、只要有一个通过就算成功,能解决 70.2% 的题。模型「其实会」的题因此远多于「一次能做对」的题:正确答案已在它的采样分布里,只是概率不高。pass@k 就是度量这种能力边界的指标。
评估代码与推理模型的常用指标:每道题独立采 k 条回答,只要有一条通过校验就算这题通过,最后统计通过题的比例。k=1 度量一次作答的成功率;k 越大,越能反映模型采样分布覆盖了多少种可行解题路径,哪怕每条路径的概率都很低。两个模型可以在 k=1 时差距很大,却在 k 很大时缩小差距甚至反转,这是本节相关实验的关键现象。
工程上直接采 k 条算比例噪声很大,通行的做法是每题多采一些,再用组合数做无偏估计:
有了这把尺子,就可以正面回答本节的问题了。Yue 等人 2025 年的系统研究(arXiv:2504.13837)横跨多个模型家族、多种 RL 算法、数学与代码乃至视觉推理基准,用大 k 的 pass@k 探测 RLVR 模型的能力边界,结论出人意料:k 小的时候(如 k=1),RLVR 训练后的模型确实优于基座;但 k 拉大之后,基座模型的 pass@k 反而更高。配合覆盖率与困惑度分析,论文给出的解释是:RLVR 表现出的推理能力来自基座模型,也被基座模型封顶——RL 把基座分布里已有的低概率正确路径抬成高概率,让模型「发挥更稳」,却没有把分布之外的新路径带进模型。论文还测了六种主流 RLVR 算法,表现彼此相近,且都远没把基座的潜力榨干。
这个结论与 11.5.2 节形成漂亮的互证。同一篇论文还测了蒸馏路线:蒸馏能从教师那里引入新的推理模式,真正扩展学生的能力边界——这正好解释了 R1 蒸馏实验里学生反超 RL 自训对照组的现象。两条路线的作用层次不同:RL 是在基座的覆盖范围内做「提纯」,蒸馏是从外部往基座里「注入」新东西。
两个限定需要保留。其一,这是针对当前 RLVR 训练范式的结论,论文作者指出,持续扩展训练规模、多轮智能体与环境交互等新范式有可能带来新增能力。其二,「激发已有能力」仍有实用价值:k=1 的提升直接关系到用户只请求一次时的成功率。对实践的意义在于资源分配:基座模型的质量仍是推理能力的上限,RL 无法替代预训练与中间训练。要进一步提高推理能力,可以换更强基座、用蒸馏引入外部新模式,或探索新的 RL 范式。
能力边界的核心结论(arXiv:2504.13837):小 k 时 RLVR 优于基座,大 k 时基座反超——当前 RLVR 主要提高采样效率,把基座已有的正确路径做稳,能力覆盖仍被基座封顶。蒸馏是例外:它能从教师引入新推理模式,真正扩展边界。
11.5.4 闭环回顾:从预训练到推理训练的全链路
至此,第 6 章到本章的训练链路全部走完。页首那张五裁判并排图(图 2)给的是结构视角,这里再从「接力」视角收一次尾:每一站解决了上一站的什么麻烦,又留下了什么新麻烦,由下一站接手。这条隐患接力链,正是理解整条后训练主线的钥匙:
| 训练站 | 本站交付 | 裁判 | 留下的隐患(谁来接手) |
|---|---|---|---|
| 预训练(第 6 章) | 知识与语言能力 | 语料自带的下一个 token | 只会续写不会对话 → SFT 接手 |
| 中间训练(第 8 章) | 长上下文与领域适配 | 仍是下一个 token,换数据配方 | 配方偏移可能稀释通用能力 → 退火与后续微调接手 |
| SFT(第 9 章) | 对话格式与指令跟随 | 人工编写的示范回答 | 学会表面格式,不分好坏 → 偏好对齐接手 |
| 偏好对齐(第 10 章) | 分寸与偏好 | 人类偏好训出的奖励模型 | 裁判是代理,会被钻空子;主观题到顶 → 推理训练换裁判 |
| 推理训练(本章) | 思维深度 | 可验证规则 + RM 辅助 | 只覆盖可验证任务;规则会被糊弄;能力被基座封顶 |
把这条链读成一个故事:预训练交出一块有知识但只会续写的坯子;SFT 教它对话的格式;偏好对齐教它分寸,但裁判是学出来的代理,主观题到顶之后不够用;推理训练把裁判换成铁面的规则,让模型在数学与代码上练出长思维链——代价是这套裁判只管得了能机器判对错的任务,而且练出的深度始终被基座的家底封顶。每一站的裁判都比上一站更「懂行」,也各有够不着的地方,没有哪一站是终点。
模型练成之后,问题从「怎么训」变成「怎么用」:解码时怎么采样、什么时候停(第 12 章),KV Cache、量化、投机采样怎么把推理做得又省又快(第 13 章)。长思维链让回答变长了几倍,推理成本随之水涨船高,第 13 章的推理时扩展与系统工程正是接住这一棒的下一站。
全链路一句话:预训练给能力、中间训练给广度、SFT 给格式、偏好对齐给分寸、推理训练给深度——五位裁判一个比一个懂行,也各有够不着的地方。训练链路到此闭环,接下来看推理与部署(第 12–13 章)。
参考来源
- DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948):R1-Zero 纯 RL 涌现自我反思与验证、响应长度随训练增长;蒸馏做法(R1 产出约 80 万条样本、其中约 20 万条非推理数据,对 Qwen2.5 与 Llama 六个底座只做 SFT);蒸馏数字(Distill-Qwen-7B AIME 2024 55.5% 超 QwQ-32B-Preview 50.0%;Distill-Qwen-32B 72.6% / MATH-500 94.3% / LiveCodeBench 57.2%,多数基准超 o1-mini);32B 蒸馏与 RL 自训对照(Table 6)及「蒸馏经济有效、突破边界仍需更强基座与更大规模 RL」的结论。已核对 arXiv 摘要页与 HTML 全文对应章节。
- Yue et al., 2025. Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?(arXiv:2504.13837):pass@k 大 k 时基座反超 RLVR 模型、能力来自并封顶于基座、六种主流 RLVR 算法相近且远未榨干基座、蒸馏可引入新推理模式真正扩展边界。已核对 arXiv 摘要页。
- Chen et al., 2021. Evaluating Large Language Models Trained on Code(Codex,arXiv:2107.03374):pass@k 指标与公式 (1) 无偏估计式的出处;Codex 在 HumanEval 上单样本 28.8%、每题 100 样本解决 70.2%。已核对 arXiv 摘要页。
- minimind(Apache 2.0),trainer/train_grpo.py:奖励配方 calculate_rewards(31–68 行;rep_penalty 3-gram 重复率封顶 0.5 见 31–34 行、长度窗口 20–800 字符 ±0.5 见 54 行、思考段 20–300 字符 +1.0 与 </think> 恰好一次 ±0.25 见 55–58 行、减重复惩罚见 60 行、叠加外部奖励模型 internlm2-1_8b-reward 分数见 62–66 行与 225 行)、组相对优势计算(121–124 行,组内全对全错时优势为零的论断由此推出)、同题采样数 num_generations=6(219 行)。