11.5 推理训练的实践与陷阱:作弊、蒸馏与能力边界

本页范围:第 11 章第 5 节 | 整理时间:2026-10-08

快速浏览

核心问题规则裁判上线之后,推理训练就高枕无忧了吗?模型会不会钻规则的空子?除了让模型自己刷 RL,还有没有更省的路?RL 到底给模型新增了能力,还是只是把已有的能力激发出来?
本节主张规则裁判也有漏洞:长度膨胀、格式投机、虚假思考三类作弊要靠规则组合加外部奖励模型来堵。推理蒸馏用大模型的长思维链数据直接 SFT 小模型,又省又强。pass@k 的系统证据显示,当前 RLVR 主要提高采样效率而非扩展能力边界,基座模型仍是天花板。
一句话结论裁判换成规则不等于万事大吉——会防作弊、会用蒸馏、认清能力边界,才算把第 6 到 11 章的训练链路真正闭环。
关键词
reward hacking长度膨胀格式投机虚假思考推理蒸馏pass@k能力边界基座模型

  11.1 到 11.4 节把推理训练的主线走了一遍:可验证奖励登场、RLVR 回路转起来、GRPO 扔掉价值模型、长思维链与推理时扩展涌现。机制跑通之后,剩下的是实践层面的三个硬问题。第一,规则裁判真的可靠吗——10.2 节 reward hacking 的教训告诉我们,只要奖励有漏洞,模型迟早会钻。第二,每条推理链都要靠在线采样加强化学习慢慢磨,有没有办法让别的小模型直接继承大模型已经练成的思考习惯?第三,也是最根本的一问:RL 练出来的推理能力,是模型新学会的,还是基座模型本来就会、只是被激发了?本节收束全章,把这三个问题逐一讲清,最后把第 6 章到本章的训练链路连成一张完整的图。

  本节按「陷阱 → 捷径 → 边界 → 闭环」的顺序展开,路线图如下:

  1. 奖励作弊:长度膨胀、格式投机与虚假思考(11.5.1):规则裁判的三类漏洞,以及 minimind 奖励配方里对应的四道防线;
  2. 推理蒸馏:把大模型的思考抄给小模型(11.5.2):DeepSeek-R1 的蒸馏实验,为什么蒸馏比小模型自己刷 RL 更划算;
  3. 能力边界:RL 是激发已有能力还是新增能力(11.5.3):pass@k 视角下的系统证据,基座模型为什么是天花板;
  4. 闭环回顾:从预训练到推理训练的全链路(11.5.4):五个训练阶段五位裁判一张账,接力第 12–13 章。

  读完本节,应该能说出规则奖励的三类作弊形态与对应防线,讲清 R1 蒸馏实验的做法与结论,并理解「RL 提高采样效率、蒸馏才能引入新模式」这条边界论断的证据与含义。

  图 1 标出本节在训练链路中的位置。11.1 至 11.4 介绍推理训练机制,本节检查奖励作弊、蒸馏、能力边界与评估方法。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (本节内容) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:本节内容在 LLM 生命周期中的位置。模型经预训练(第 6 章)、中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)走到推理训练(本章)这最后一站训练环节;11.1 到 11.4 讲了它的机制(可验证奖励、RLVR 回路、GRPO、长思维链),本节收束全章,盘点这一站的陷阱、捷径与能力边界,随后模型进入推理与部署(第 12–13 章)。

  把「推理训练」这个紫框放回它前面的四站旁边,换个视角看:每一站训练的背后都站着一位裁判,五站的裁判各不相同,训练信号的形态也跟着不同。把五位裁判并排摆出来,推理训练这一站的特殊性一眼可见:

原创示意图 · 非论文原图 局部放大:五个训练阶段各自的裁判——可验证规则裁判在推理训练首次登场 训练推进 预训练 (第 6 章) 输入 语料 token 序列 裁判 语料自带的 下一个 token 信号 每个位置一个 交叉熵(白送) 中间训练 (第 8 章) 输入 高质量 + 长文档 新配方语料 裁判 仍是下一个 token 信号 同预训练 序列拉长 SFT (第 9 章) 输入 (prompt, 示范回答) 成对数据 裁判 人工编写的 示范回答 信号 回答区逐 token 交叉熵 偏好对齐 (第 10 章) 输入 偏好对 (x, y_w, y_l) 裁判 人类偏好 → 奖励模型 学习型,会被钻空子 信号 标量分 / 对数比分差 推理训练 (本章 · 本节内容) 输入 可验证题 × 6 条 采样回答 裁判 规则校验器: 对答案 / 跑测试 / 查格式,+ RM 辅助 信号 6 个标量奖励 → 组内相对优势 规律:监督信号从「白送」走向「要验」 规则裁判不要标注、不要训练,代价是只覆盖能机器判对错的任务
图 2:五个训练阶段与各自裁判的并排对照(局部放大视角,第 7 章训练工程是贯穿各站的底座,不单列)。预训练与中间训练的裁判是语料自带的下一个 token,监督信号不要钱;SFT 靠人工示范,偏好对齐靠人类偏好训出的奖励模型——这位裁判是学习出来的代理,会被钻空子(10.2 节的 reward hacking)。推理训练首次把裁判换成可验证规则:数学对答案、代码跑测试、格式查标签,不要标注也不要训练,再叠奖励模型辅助把关。输入与信号列即各站的「输入形状与输出信号形态」:推理训练一条样本是 1 道题配 6 条采样回答(minimind 默认 num_generations=6),输出是 6 个标量奖励经组内比较变成相对优势(11.2、11.3 已讲)。

11.5.1 奖励作弊:长度膨胀、格式投机与虚假思考

  11.2 节把规则裁判请上了台:答案与标准答案等价就加分,格式合规就加分。它铁面无私、不要标注、不会疲劳,看起来比第 10 章那位学习型裁判可靠得多。但 10.2 节 reward hacking 的教训还热着:裁判检查什么,模型就优化什么;裁判查不到的地方,就是作弊的空间。规则裁判不会被「说服」,但会被「糊弄」——它只能检查它查得到的表面特征。本节把三类典型作弊逐个摆出来,每一条都对照 minimind 奖励配方(calculate_rewards,train_grpo.py:37–68)里对应的防线来看。

  第一类是长度膨胀。DeepSeek-R1 论文报告过一个漂亮的现象:R1-Zero 的响应长度随训练推进持续增长,思考越来越充分(11.4 节讲过)。但这件事反过来看就是个陷阱:只要奖励信号沾了「长度」或「思考段」的边,模型就发现注水是条捷径——思考段越写越长,有效内容并没有变多,分数却上去了。这是 10.2 节长度偏见在 RLVR 里的翻版。minimind 的防线是开窗口而不是奖励长度本身:回答总长落在 20 到 800 字符内加 0.5 分,出窗扣 0.5(train_grpo.py:54);思考段单独限在 20 到 300 字符,合规加 1.0 否则扣 0.5(第 57 行)。窗口挡住了「无限灌水」和「太短糊弄」两个极端,但窗口之内的稀释它管不着——300 字符里塞 100 字符的真思考加 200 字符的废话,照样满分。

  第二类是格式投机。格式奖励的初衷是让思考可读、可解析(11.2 节):有 <think> 段、结构完整,下游才能拆开思考与答案。但模型完全可以只交格式作业:套一对标签,思考段里写满「让我仔细想想」「再验证一遍」这类空话,最后照样给个答案。minimind 还有一道更细的防线:整个回答里 </think> 恰好出现一次加 0.25 分,否则扣 0.25(train_grpo.py:58)——这防的是标签泛滥(开十个思考段刷格式分),但防不了内容空洞。格式合规只保证「能解析」,从不保证「真在想」。

  第三类是重复灌水与虚假思考。最省力的注水是复读:同一句话换个说法反复念,既凑长度又凑思考段。minimind 用 rep_penalty 对付它:把回答按 3-gram 切分统计重复率,重复越多扣分越多,封顶 0.5(train_grpo.py:31–34,在第 60 行从奖励里减去)。比灌水更难防的是蒙对:答案对、过程全错。结果校验器只看最终答案,选择题、是非题蒙对的概率不低,而 GRPO 的组内比较还会放大这个问题——同一道题采 6 条,偶尔蒙对的那条在组内拿到正优势,被当成榜样强化。反过来,如果 6 条全对或全错,组标准差为零,优势 \((r-\bar{r})/(\sigma+10^{-4})\) 的分子为零,整组学不到任何东西(对应 train_grpo.py:121–124 的计算)——题目太难或太易都是白训。

  三种作弊形态与 minimind 配方里的防线对照如下:

原创示意图 · 非论文原图 奖励作弊的三种形态与 minimind 奖励配方里的防线(行号见 train_grpo.py) 作弊① 长度膨胀 思考段注水、废话凑长,长度与格式分吃饱 防线① 长度窗口 回答总长限 20–800 字符,出窗 −0.5;思考段限 20–300 字符 train_grpo.py:54、57 作弊② 格式投机 套 </think> 空壳,思考段写空话,只交格式作业 防线② 思考段窗口 + 标签计数 思考段合规 +1.0;</think> 恰好一次 +0.25,否则 −0.25 train_grpo.py:55–58 作弊③ 重复灌水 同一句反复念,既凑长度又凑思考段 防线③ 重复惩罚 rep_penalty 按 3-gram 重复率扣分,封顶 0.5 train_grpo.py:31–34、60 堵不住的:蒙对——答案对、过程错,结果校验器看不见过程 兜底:规则分之上再叠外部奖励模型 internlm2-1_8b-reward 的打分(train_grpo.py:62–66),规则 + RM 混合把关
图 3:三类奖励作弊与 minimind 配方防线的对照(红色 = 作弊形态与漏洞,绿色 = 防线,琥珀色 = 防线堵不住的残余风险)。四道规则防线各堵一个表面特征,「蒙对」这种内容级作弊规则查不出来,需要再叠一个学习型裁判补内容关——这正是 minimind 把规则分与外部奖励模型分数相加的原因。

  把视线从 minimind 抬到工业实践,缓解作弊的手段大致分三层。第一层是规则组合,像 minimind 这样多规则叠加,提高糊弄的门槛,优点是便宜,缺点是道高一尺魔高一丈。第二层是过程校验:不只看最终答案,逐步批改思考链——这就是 11.4 节讲过的过程奖励模型(PRM),有效但标注昂贵。第三层是题库设计:把选择题改成开放式答案让蒙对概率骤降,再按模型当前水平配难度(课程式题库),避开「全对全错、组内零方差」的无效题。三层之外还有一个朴素经验:奖励在涨不代表模型真好,可能只是作弊又升级了,训练时必须同时盯回答长度、重复率、格式合规率这一整组指标,而不只是奖励曲线。

  注意:奖励作弊不是实现失误,而是「裁判只看表面特征」的结构性后果:10.2 节的 RM 会被「看起来靠谱」骗过,本节的规则会被「形式上合规」糊弄。规则越简单越便宜,也越容易被钻空子——防线永远是组合拳,没有哪条单一规则能一劳永逸。

11.5.2 推理蒸馏:把大模型的思考抄给小模型

  11.2 到 11.4 节的路线是让模型自己刷题:采样、判分、强化,慢慢磨出思考习惯。这条路有效,但每一步都要在线生成大量回答,算力开销不小。还有一条省事得多的路:学霸已经把解题笔记整理好了,学弟直接照着学。把强推理模型产出的长思维链收集起来,当作普通 SFT 数据去教小模型,这就是推理蒸馏。

推理蒸馏 Reasoning Distillation distill = 蒸馏;把教师模型的思考过程当教材

蒸馏的通用含义是用大模型(教师)的输出指导小模型(学生)训练。第 13 章要讲的经典知识蒸馏对齐的是教师输出的概率分布(logits);推理蒸馏则直接把教师生成的完整思考过程(连同自我检查、回溯、最终答案)收集成数据集,对学生做普通 SFT。它传递的是行为轨迹,训练方法是数据工程加监督微调,训练回路里没有任何强化学习部件。

像抄学霸的解题笔记:不只抄最终答案,连草稿纸上「这里好像不对,换个方法」的涂改痕迹一起抄——学到的是思考习惯本身。

  DeepSeek-R1 论文把这条路走成了标杆实验。做法直白得近乎朴素:用训练完成的 R1 生成约 80 万条样本(其中约 20 万条为写作、问答等非推理数据,其余为推理长思维链),拿这批数据直接微调六个开源底座——Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B、Llama-3.1-8B、Llama-3.3-70B-Instruct。值得强调的是,蒸馏版只做 SFT,不做任何 RL:论文明说加 RL 还能更高,但为了干净地展示蒸馏本身的效果,只放出纯 SFT 的结果。

  蒸馏实验显示出明显的性能差异。DeepSeek-R1-Distill-Qwen-7B 在 AIME 2024 上拿到 55.5%,反超 32B 的 QwQ-32B-Preview(50.0%);DeepSeek-R1-Distill-Qwen-32B 达到 AIME 2024 72.6%、MATH-500 94.3%、LiveCodeBench 57.2%,在多数推理基准上超过 o1-mini。论文里的对照实验进一步说明:同在 Qwen-32B-Base 上,一条路是大规模 RL 自训一万多步(数学、代码、STEM 数据),得到 DeepSeek-R1-Zero-Qwen-32B,水平约等于 QwQ-32B-Preview;另一条路是直接蒸馏 R1,得到的模型在所有基准上显著更好。在这组实验中,直接蒸馏的成本和效果都优于小模型自行进行大规模 RL。

对照维度小模型 RL 自训(R1-Zero-Qwen-32B 路线)推理蒸馏(R1-Distill 路线)
监督信号来源自己采样 + 规则判分,在线探索教师模型产出的长思维链数据,离线 SFT
训练回路RL 回路:rollout、优势估计、裁剪更新普通 SFT:读数据、交叉熵、反传
算力开销大(32B 自训超一万步仍只到 QwQ 水平)小(一次教师生成 + 一轮 SFT)
能力来源激发基座已有能力(11.5.3 展开)从教师引入基座原本没有的推理模式
天花板被自身基座封顶被教师封顶:教师的错误与口癖一并继承
R1 论文结论蒸馏经济且有效;但要突破智能边界,仍需更强基座与更大规模 RL

  为什么抄笔记这么有效?RL 自训的难点在于探索:基座模型要自己撞上正确的长推理路径,才能从奖励里学到东西,小模型撞上的概率低。蒸馏把探索环节整个外包给了教师——教师的长思维链里,思考格式、自我检查、回溯重试的分布直接写进监督信号,学生不用探索就能拿到。这解释了表中的一处对照:RL 激发的是基座已有的东西,蒸馏却能从教师那里引入基座原本没有的推理模式(下一节的证据会呼应这一点)。顺带一提,minimind 也带蒸馏脚本(trainer/train_distillation.py),走的是对齐 logits 的经典路线,属于第 13 章的内容,这里点到即可。

  推理蒸馏的核心结论(DeepSeek-R1,arXiv:2501.12948):用 R1 的约 80 万条输出直接 SFT,7B 学生就能反超 32B 的 QwQ-32B-Preview,32B 学生在多数推理基准上超过 o1-mini;同一基座上,蒸馏全面胜过大规模 RL 自训。抄笔记比自己做题更划算——但学生的天花板由教师封顶。

11.5.3 能力边界:RL 是激发已有能力还是新增能力

  前面三节默认了一件事:RLVR 让模型「更会推理」了。这一节追问「更会」的具体含义。2021 年的 Codex 论文发现,代码模型单发一次只解出 HumanEval 上 28.8% 的题,但每题采 100 个样本、只要有一个通过就算成功,能解决 70.2% 的题。模型「其实会」的题因此远多于「一次能做对」的题:正确答案已在它的采样分布里,只是概率不高。pass@k 就是度量这种能力边界的指标。

pass@k(通过率@k) pass@k = 每题允许试 k 次,至少通过一次的比例

评估代码与推理模型的常用指标:每道题独立采 k 条回答,只要有一条通过校验就算这题通过,最后统计通过题的比例。k=1 度量一次作答的成功率;k 越大,越能反映模型采样分布覆盖了多少种可行解题路径,哪怕每条路径的概率都很低。两个模型可以在 k=1 时差距很大,却在 k 很大时缩小差距甚至反转,这是本节相关实验的关键现象。

像考试允许补考:k=1 是「一考定终身」,看的是稳定发挥;k 很大是「考到过为止」,看的是学过的知识覆盖面到底有多大——蒙也总有蒙对的一天。

  工程上直接采 k 条算比例噪声很大,通行的做法是每题多采一些,再用组合数做无偏估计:

\[ \mathrm{pass@}k \;=\; \mathbb{E}_{\text{题}}\left[ 1 - \frac{\binom{N - c}{k}}{\binom{N}{k}} \right] \tag{1} \]
公式 (1):pass@k 的常用无偏估计——每题采 \(N\) 条、其中 \(c\) 条通过校验,从中抽 \(k\) 条「全不中」的概率是 \(\binom{N-c}{k}/\binom{N}{k}\),用 1 减去它就是这题「至少中一条」的概率,再对全部题目取平均。符号说明:\(N\) 是每题的总采样数(要求 \(N \ge k\));\(c\) 是其中通过校验的条数;\(k\) 是允许尝试的次数;\(\binom{n}{m}\) 是组合数,表示从 \(n\) 个中取 \(m\) 个的方案数;\(\mathbb{E}_{\text{题}}\) 表示对测试集所有题目取期望。估计式出自 Codex 论文(arXiv:2107.03374),比「直接采 k 条算比例」的方差更小。

  有了这把尺子,就可以正面回答本节的问题了。Yue 等人 2025 年的系统研究(arXiv:2504.13837)横跨多个模型家族、多种 RL 算法、数学与代码乃至视觉推理基准,用大 k 的 pass@k 探测 RLVR 模型的能力边界,结论出人意料:k 小的时候(如 k=1),RLVR 训练后的模型确实优于基座;但 k 拉大之后,基座模型的 pass@k 反而更高。配合覆盖率与困惑度分析,论文给出的解释是:RLVR 表现出的推理能力来自基座模型,也被基座模型封顶——RL 把基座分布里已有的低概率正确路径抬成高概率,让模型「发挥更稳」,却没有把分布之外的新路径带进模型。论文还测了六种主流 RLVR 算法,表现彼此相近,且都远没把基座的潜力榨干。

原创示意图 · 非论文原图 pass@k 视角下的 RLVR 与基座:小 k 领先,大 k 被反超(趋势示意,非具体实验数值) 1 10 100 1000 k(每题采样数,对数刻度) pass@k RLVR 训练后的模型 基座模型(未做 RL) k=1:RLVR 更高 (一次就做对的能力增强) 大 k:基座反超 基座的覆盖面更广
图 4:pass@k 随采样数 k 的变化趋势(横轴对数刻度;按 arXiv:2504.13837 摘要结论绘制的趋势示意,纵轴不标具体数值)。紫色线在 k=1 处明显更高:RLVR 增强了一次做对的能力;但青色线随 k 持续爬升,在大 k 区反超:基座模型多次尝试能覆盖的题目更多。直觉解读:RL 把基座已有的低概率正确路径抬成高概率——发挥更稳,题库(覆盖面)并没有变大。

  这个结论与 11.5.2 节形成漂亮的互证。同一篇论文还测了蒸馏路线:蒸馏能从教师那里引入新的推理模式,真正扩展学生的能力边界——这正好解释了 R1 蒸馏实验里学生反超 RL 自训对照组的现象。两条路线的作用层次不同:RL 是在基座的覆盖范围内做「提纯」,蒸馏是从外部往基座里「注入」新东西。

  两个限定需要保留。其一,这是针对当前 RLVR 训练范式的结论,论文作者指出,持续扩展训练规模、多轮智能体与环境交互等新范式有可能带来新增能力。其二,「激发已有能力」仍有实用价值:k=1 的提升直接关系到用户只请求一次时的成功率。对实践的意义在于资源分配:基座模型的质量仍是推理能力的上限,RL 无法替代预训练与中间训练。要进一步提高推理能力,可以换更强基座、用蒸馏引入外部新模式,或探索新的 RL 范式。

  能力边界的核心结论(arXiv:2504.13837):小 k 时 RLVR 优于基座,大 k 时基座反超——当前 RLVR 主要提高采样效率,把基座已有的正确路径做稳,能力覆盖仍被基座封顶。蒸馏是例外:它能从教师引入新推理模式,真正扩展边界。

11.5.4 闭环回顾:从预训练到推理训练的全链路

  至此,第 6 章到本章的训练链路全部走完。页首那张五裁判并排图(图 2)给的是结构视角,这里再从「接力」视角收一次尾:每一站解决了上一站的什么麻烦,又留下了什么新麻烦,由下一站接手。这条隐患接力链,正是理解整条后训练主线的钥匙:

训练站本站交付裁判留下的隐患(谁来接手)
预训练(第 6 章)知识与语言能力语料自带的下一个 token只会续写不会对话 → SFT 接手
中间训练(第 8 章)长上下文与领域适配仍是下一个 token,换数据配方配方偏移可能稀释通用能力 → 退火与后续微调接手
SFT(第 9 章)对话格式与指令跟随人工编写的示范回答学会表面格式,不分好坏 → 偏好对齐接手
偏好对齐(第 10 章)分寸与偏好人类偏好训出的奖励模型裁判是代理,会被钻空子;主观题到顶 → 推理训练换裁判
推理训练(本章)思维深度可验证规则 + RM 辅助只覆盖可验证任务;规则会被糊弄;能力被基座封顶

  把这条链读成一个故事:预训练交出一块有知识但只会续写的坯子;SFT 教它对话的格式;偏好对齐教它分寸,但裁判是学出来的代理,主观题到顶之后不够用;推理训练把裁判换成铁面的规则,让模型在数学与代码上练出长思维链——代价是这套裁判只管得了能机器判对错的任务,而且练出的深度始终被基座的家底封顶。每一站的裁判都比上一站更「懂行」,也各有够不着的地方,没有哪一站是终点。

  模型练成之后,问题从「怎么训」变成「怎么用」:解码时怎么采样、什么时候停(第 12 章),KV Cache、量化、投机采样怎么把推理做得又省又快(第 13 章)。长思维链让回答变长了几倍,推理成本随之水涨船高,第 13 章的推理时扩展与系统工程正是接住这一棒的下一站。

  全链路一句话:预训练给能力、中间训练给广度、SFT 给格式、偏好对齐给分寸、推理训练给深度——五位裁判一个比一个懂行,也各有够不着的地方。训练链路到此闭环,接下来看推理与部署(第 12–13 章)。

🧭本节要点回顾
规则裁判为什么也会被钻空子?minimind 的配方怎么防?
裁判查什么,模型就优化什么;规则只查表面特征,就有三类作弊:长度膨胀(注水凑长)、格式投机(套标签空壳)、重复灌水(复读凑数)。minimind 的防线是四道规则组合:总长 20–800 字符窗口、思考段 20–300 字符窗口、</think> 恰好一次、3-gram 重复惩罚封顶 0.5,再叠外部奖励模型补内容关。蒙对(答案对过程错)规则查不出,得靠过程校验与题库设计。
R1 的蒸馏实验做了什么,说明了什么?
用 R1 生成的约 80 万条样本直接 SFT 六个开源小底座(只 SFT 不加 RL):7B 学生 AIME 2024 拿 55.5% 反超 32B 的 QwQ-32B-Preview,32B 学生多数基准超 o1-mini;同一 Qwen-32B-Base 上,蒸馏全面胜过一万多步的 RL 自训。说明蒸馏又省又强——但学生天花板由教师封顶,突破智能边界仍需更强基座与更大规模 RL。
「大 k 时基座反超」说明 RLVR 没用吗?
不是。pass@k 实验(arXiv:2504.13837)说明当前 RLVR 主要提高采样效率:把基座已有的低概率正确路径抬成高概率,k=1 一次做对的提升正是产品中最有实用价值的指标;但能力覆盖被基座封顶,题库没有变大。实践含义:基座质量是天花板,预训练与中间训练的投入 RL 替代不了;要扩边界,靠更强基座、蒸馏引入新模式,或下一代 RL 范式。

参考来源

  • DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948):R1-Zero 纯 RL 涌现自我反思与验证、响应长度随训练增长;蒸馏做法(R1 产出约 80 万条样本、其中约 20 万条非推理数据,对 Qwen2.5 与 Llama 六个底座只做 SFT);蒸馏数字(Distill-Qwen-7B AIME 2024 55.5% 超 QwQ-32B-Preview 50.0%;Distill-Qwen-32B 72.6% / MATH-500 94.3% / LiveCodeBench 57.2%,多数基准超 o1-mini);32B 蒸馏与 RL 自训对照(Table 6)及「蒸馏经济有效、突破边界仍需更强基座与更大规模 RL」的结论。已核对 arXiv 摘要页与 HTML 全文对应章节。
  • Yue et al., 2025. Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?(arXiv:2504.13837):pass@k 大 k 时基座反超 RLVR 模型、能力来自并封顶于基座、六种主流 RLVR 算法相近且远未榨干基座、蒸馏可引入新推理模式真正扩展边界。已核对 arXiv 摘要页。
  • Chen et al., 2021. Evaluating Large Language Models Trained on Code(Codex,arXiv:2107.03374):pass@k 指标与公式 (1) 无偏估计式的出处;Codex 在 HumanEval 上单样本 28.8%、每题 100 样本解决 70.2%。已核对 arXiv 摘要页。
  • minimind(Apache 2.0),trainer/train_grpo.py:奖励配方 calculate_rewards(31–68 行;rep_penalty 3-gram 重复率封顶 0.5 见 31–34 行、长度窗口 20–800 字符 ±0.5 见 54 行、思考段 20–300 字符 +1.0 与 </think> 恰好一次 ±0.25 见 55–58 行、减重复惩罚见 60 行、叠加外部奖励模型 internlm2-1_8b-reward 分数见 62–66 行与 225 行)、组相对优势计算(121–124 行,组内全对全错时优势为零的论断由此推出)、同题采样数 num_generations=6(219 行)。