11.4 长思维链:让模型学会慢慢想

本页范围:第 11 章第 4 节 | 整理时间:2026-10-08

快速浏览

核心问题11.1 节有了会判对错的规则裁判,11.3 节有了便宜稳定的 GRPO 算法。这套装置训出来的模型,行为上发生了什么变化?「先写一大段思考再给答案」的长思维链是怎么长出来的,多想的代价又是什么?
本节主张长思维链不用人一步步教:纯 RL 加可验证奖励,就能让模型自发涌现自我检查与反思(R1-Zero 的 aha moment),响应长度随训练自然变长。想得越久越准,但收益递减、成本线性,算力要按题分配;要把批改做得更细,就用过程奖励逐步打分,代价是标注昂贵。
一句话结论长思维链是「奖励逼出来的行为」:提示词版 CoT 是借来的步骤,RL 版是长出来的步骤;推理时扩展把思考深度变成可调的算力旋钮,过程奖励把批改粒度从最终答案细化到每一个推理步骤。
关键词
长思维链R1-Zeroaha moment推理时扩展test-time compute过程奖励 PRMORM

  前两节把推理训练的「裁判」和「算法」讲完了:可验证奖励负责打分,GRPO 负责更新。本节换一个视角——不看机制看行为。这套装置跑上几千步之后,模型的输出会长成什么样?答案是:它开始「慢慢想」。面对一道数学题,先写几百上千 token 的推演、自我检查、推翻重来,最后才给结论。这就是长思维链(long Chain-of-Thought),是 2024 到 2025 年推理模型(o1、DeepSeek-R1 这一族)区别于普通对话模型的标志性行为。本节讲清它从哪来、值多少钱、怎么批改。

  本节按「概念 → 证据 → 代价 → 批改」的顺序展开,路线图如下:

  1. 思维链回顾:从提示词技巧到训练目标(11.4.1):CoT 的三种获得方式,提示词咒语怎么变成训练要优化的目标;
  2. R1-Zero 的启示:纯 RL 长出的反思与「aha moment」(11.4.2):不看任何人类思考示范,模型怎么自己学会反思,论文证据是什么;
  3. 推理时扩展:想得越久越准的代价曲线(11.4.3):test-time compute 的收益形状、账单构成与按题分配的原则;
  4. 过程奖励:不只对答案,还批改步骤(11.4.4):ORM 与 PRM 的粒度之争,PRM 为什么更准、又为什么更贵。

  读完本节,应该能回答一个日常观察:推理模型为什么先「自言自语」一大段再给答案——那段文字不是装饰,是训练出来的求解策略本身。

  图 1 标出推理训练在 LLM 生命周期中的位置,图 2 展示长思维链回答的内部结构。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (本节内容) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:本节内容在 LLM 生命周期中的位置。训练数据(第 1 章)经预训练(第 6 章)、训练工程(第 7 章)、中间训练(第 8 章)、SFT(第 9 章)与偏好对齐(第 10 章)交出懂好坏的对话模型;推理训练(本章)是它的下一站,任务从「懂好坏」升级为「会深思」。本章 11.1 到 11.3 已讲清这一站的裁判(可验证奖励)与算法(GRPO),本节回答这一站训出来的行为——长思维链,随后接推理与部署(第 12–13 章)。

  推理训练这个紫框放大之后,一条长思维链回答的内部长什么样?思考段与答案段各过哪几道校验,奖励又怎么汇进 GRPO 的更新?把它单独拆开看:

原创示意图 · 非论文原图 局部放大:一条长思维链回答的解剖——思考段与答案段各过校验,整条回答逐 token 进 GRPO 损失(数字为 minimind 默认配置) 输入:prompt 1 道题 · ≤ 768 token thinking 数据按 0.9 概率混入 策略模型采样(训练中) 同一道题采 6 条(num_generations) temperature 0.8 train_grpo.py:80–86 输出:6 条回答 每条 ≤ 1024 token 逐 token 自回归生成 取其中一条解剖 ↓ 一条回答的内部结构: 思考段(<think> …):分解步骤 · 自我检查 · 回溯重试 「等等,上一步算错了」→ 重新验证这一行 「换个方法试试」→ 收敛到可行思路 答案段 最终结论(规则可对答案) 给外部 RM 打分的正文 分界:恰一个 </think>(见 ②) 1 2 3 4 ① 格式奖励:思考段 20–300 字符 达标 +1.0,不达标 −0.5(55–57 行) ② 结构奖励:</think> 恰好出现一次 达标 +0.25,否则 −0.25(58 行) ③ 长度奖励:整条回答 20–800 字符 达标 +0.5,否则 −0.5(54 行) ④ 答案段把关:3-gram 重复惩罚(上限 0.5 分) 再叠加外部奖励模型的分数(31–34、60–66 行) 奖励配方出处:minimind(Apache 2.0)train_grpo.py:31–68——教学版是「规则 + RM」混合配方 每条回答 1 个奖励 r 同题 6 条:r₁ … r₆ 规则分 + RM 分 组内比较算优势(无价值模型) A = (r − 组均值) / (组标准差 + 1e-4) train_grpo.py:121–124 GRPO 更新策略模型 clip ε=0.2 + KL 罚项 β=0.1 思考段 + 答案段逐 token 进损失 更新后的 策略模型 红色回路:新参数回灌策略模型,进入下一轮采样
图 2:推理训练站内的局部放大——一条长思维链回答从采样到更新的完整路径(数字均为 minimind 默认配置,见 train_grpo.py)。输入一道题(≤ 768 token),策略模型以 temperature 0.8 同题采 6 条回答(每条 ≤ 1024 token)。回答内部一分为二:<think> 包裹的思考段(自我检查、回溯重试都发生在这里)与给出最终结论的答案段,两段的每个 token 都进 GRPO 损失。四道校验逐一加减分:思考段长度(①)、</think> 结构(②)、整条长度(③)、答案段重复率与外部 RM 分(④),合成每条回答的奖励 r;6 个 r 组内比较得优势,按 clip + KL 目标更新策略模型,新参数回灌进入下一轮。11.4.1 到 11.4.4 会逐块讲清图 2 的每个环节。

11.4.1 思维链回顾:从提示词技巧到训练目标

  思维链不是新东西。2022 年,Wei 等人发现了 chain-of-thought prompting:在 prompt 里给几个「带中间步骤的解题示范」,大模型的复杂推理表现就显著提升——一个 540B 参数的模型只靠 8 个思维链示例,就在 GSM8K 数学应用题基准上超过了微调后的 GPT-3(含验证器)。不改一个参数,只换写法,正确率大涨,这是提示词工程时代的标志性发现(第 14 章会作为应用范式展开,本节只取它的定义)。

思维链 Chain-of-Thought(CoT) chain of thought = 把「一步一步想」的中间步骤写出来

指模型在给出最终答案之前,先把推理的中间步骤逐字写出来的做法与现象。人解数学题要在草稿纸上写过程,CoT 就是模型的草稿纸。价值有两层:对模型,把复杂计算拆成小步,单步难度下降,算错的机会变少;对人,思考过程可读可查,答案错了能回头找到是哪一步开始错的。长思维链是它的加长版:中间步骤从几行变成几百上千 token,还混入自我检查与回溯重试。

像考试要求「写出解题步骤」:只写答案可能是蒙的,写得出过程才算真会,老师也能按步骤给分。

  模型获得思维链能力有三条路线,付出的代价和得到的效果各不相同:

获得方式怎么做思考从哪来主要局限本书位置
提示词诱导prompt 里给带步骤的示例,或加「请逐步思考」指令借来的:每次都要提醒,不改参数换个对话就「忘」,深度有限第 14 章细讲
蒸馏 / SFT用强模型的长思维链输出当教材,做监督微调抄来的:模仿老师的解题过程被老师水平封顶,不会自主创新11.5 节细讲
RL 内生(本节)可验证奖励只判最终对错,模型自己摸索思考方式长出来的:奖励逼出来的策略需要可验证题库与稳定的 RL 训练11.2–11.4 节

  三条路线并不互斥,工程上常常组合使用:先用蒸馏让模型学会 <think>…</think> 的输出格式,再用 RL 改善思考质量。第三条路线有两个入口把「思考」变成训练目标:一是思考段进训练数据(蒸馏与冷启动 SFT,11.4.2 会讲 R1 怎么用),二是思考段进奖励结构(格式奖励检查 </think> 是否存在、思考段是否像样,11.2 节已讲,页首图 2 的 ①② 两道校验就是 minimind 的实现)。纯 RL 训练中还会自发出现延长思考的行为,这是下一节的内容。

11.4.2 R1-Zero 的启示:纯 RL 长出的反思与「aha moment」

  2025 年 1 月,DeepSeek 发布 R1,其中有一个刻意做的「极端实验」:DeepSeek-R1-Zero。它从基座模型 DeepSeek-V3-Base 出发,不做任何 SFT,直接上纯强化学习(GRPO,11.3 节),奖励只有两条规则——准确率奖励(最终答案对不对)与格式奖励(思考段结构对不对)。没有任何人教过它该怎么思考:没有思维链示范,没有步骤标注。按旧直觉,这样训出来的模型应该只会刷答案格式。实际发生的事出乎很多人预料。

  论文报告了训练中自发涌现的三类行为。第一,自我检查与验证:模型写完一步会回过头验算。第二,反思与重试:发现前面不对就推翻,换个方法重来。第三,主动加长思考:平均响应长度随训练步数持续上升——模型自己学会了「多花 token 换正确率」。没有一个奖励条款直接奖励这些行为,它们全是「想把题做对」这个目标下被自然选择出来的策略。其中最有传播力的是「aha moment」:

aha moment(顿悟时刻) aha = 恍然大悟时的感叹;输出里自发出现的「再想想」

DeepSeek-R1 论文记录的标志性现象:RL 训练中途,模型开始在输出里自发出现「等等,这步不对,重新验证」式的重估片段——先给出一步、推翻它、换条路再来。论文把这类片段当作反思能力涌现的直接证据。它的意义在于因果方向:反思不是从人类数据里抄来的,是规则奖励下自己长出来的,这证明 RL 可以催生训练数据里不存在的行为模式。

像学生做题做到一半自己喊停:「等等,刚才那步代错了」——没人规定他必须这么说,是「想把题做对」逼出来的习惯。

  两个限定要说清,避免把故事读歪。其一,涌现不等于无中生有:基座模型在预训练语料里见过海量的人类推理文本,「反思」的表达素材早就存在,RL 做的是把这类素材组织成稳定可用的求解策略(RL 究竟是激发已有能力还是新增能力,11.5 节专门讨论)。其二,响应长度增长是训练动态的副产物,不是目标本身——如果反过来直接奖励长度,模型会注水凑字,那是 11.5 节的「虚假思考」陷阱。R1 论文同时还给了一条务实记录:R1-Zero 的思考虽然强,但可读性差、中英文混杂;正式的 R1 在它的基础上加少量人工整理的长思维链冷启动数据先做 SFT,再多阶段交替 RL 与 SFT,把可读性与性能同时拿到手。

  OpenAI 的 o1 更早(2024 年 9 月)采用同一方向,但没有公开论文,只有一篇官方博客《Learning to Reason with LLMs》。博客称,o1 用大规模强化学习训练长思维链,表现随训练时投入的 RL 算力和推理时思考时间同步提升。下一节将讨论推理时思考时间这条扩展轴。

  R1-Zero 给行业的启示一句话:只要裁判可验证(11.1)、算法稳得住(11.3),「反思」这种行为可以在没有任何人类思考示范的情况下被奖励逼出来。思考能力由此从「数据里抄来的」变成「训练里长出来的」——这是推理模型范式与 SFT 范式的本质分界。

11.4.3 推理时扩展:想得越久越准的代价曲线

  R1-Zero 的响应长度曲线透露了一个更大的事实:模型性能不只有「训练时算力」一条轴。第 6–7 章讲的 Scaling Law 管的是训练时算力——一次投入,固化进权重,之后每次回答都受益。推理时算力是另一条轴:每回答一个问题就现场付一次,大致正比于生成的 token 数。沿着这条轴加投入换性能的做法,叫推理时扩展(test-time scaling)。

推理时计算 Test-Time Compute test-time = 模型上线答题的那一刻;compute = 算力开销

指模型回答单条请求时实际消耗的算力,粗略写成 \(C_{\text{test}} \propto\) 生成 token 数 × 每 token 的前向成本。长思维链的本质就是把这个旋钮开大:让模型用几百上千个思考 token,换一道难题的正确率。它与训练时算力是互补关系——预算有限时,往哪条轴上投更划算,本身就是一个可研究的问题。

像考试:平时的训练是学费,一次交清;考场上的思考时间每科都要现场花——难题多想半小时值回票价,简单题多想纯属浪费。

  Snell 等人(2024)系统研究了这条轴怎么用最划算。他们分析了两类放大推理时算力的机制:一是引入一个过程验证器当裁判,做搜索式采样(比如 best-of-N:采 N 条回答,让验证器挑出分最高的那条);二是让模型根据 prompt 自适应地修改自己的回答分布(例如在思考中主动修订前面的内容)。关键发现是:没有一种方法通吃所有题目,不同方法的效果强烈依赖题目难度。于是他们提出 compute-optimal(算力最优)策略——按每道题的难度自适应分配推理时算力,效率比 best-of-N 基线高 4 倍以上;在 FLOPs 对齐的比较中,一个较小的基座模型配上充足的推理时算力,可以超过参数量大 14 倍的模型。这些结论划出了推理时扩展的适用边界:它是「按题下药」的技术,不是「多多益善」的技术。

  图 3 把收益与账单画在同一张图上,形状就一目了然:

原创示意图 · 非论文原图 推理时扩展的收益与代价:准确率先升后平(收益递减),成本随 token 线性上涨(示意趋势,非实测数据) 推理时算力(思考 token 数 / 采样条数,对数轴)→ 数值 ↑ 简单题:几步就想完 再多算纯属浪费 难题:长思考的收益集中在这一段 成本(延迟 + token 计费) 准确率(收益递减) 成本(线性)
图 3:推理时扩展的代价曲线(示意趋势,非实测数据)。紫色曲线是准确率:随思考算力增加先陡升、后进入平台期,收益递减;红色虚线是成本:延迟与 token 计费随生成量线性上涨,没有平台。两条线的岔口就是「甜蜜点」——简单题早停划算,难题才值得多想。Snell 等人的 compute-optimal 策略做的就是按题定位这个点(比 best-of-N 采样省 4 倍以上算力;FLOPs 对齐时小模型可借此超过 14 倍参数的模型,均已核对论文摘要)。

  账单值得拆开看,因为它决定了第 13 章部署章节的半壁江山。第一层是延迟:思考段是逐 token 串行生成的,想一千 token 就要等一千 token 的时间(解码机制见第 12 章)。第二层是计费:API 按 token 计价,思考段虽然用户看不见,照样收钱——长思维链模型的隐藏成本大头在这里。第三层是显存:思考 token 同样占用 KV Cache,长思考加长上下文会放大推理系统的压力(第 13 章细讲)。收益递减叠加成本线性,意味着「开足马力到处多想」是亏本策略,工业界的做法是给模型配「预算意识」:简单题短想、难题长想,甚至提供档位让用户自己选。

  注意:「多想」不是免费午餐:准确率收益递减,成本线性上涨,简单题上的过度思考(overthinking)是纯亏。推理时扩展的正确姿势是按题难度分配算力——这个原则一头连着 11.5 节的虚假思考陷阱(想得多≠想得对),另一头连着第 13 章的推理时扩展部署(预算怎么落地)。

11.4.4 过程奖励:不只对答案,还批改步骤

  最后一节回到裁判本身。11.1 节的可验证奖励有一个先天盲区:它只看最终答案。答案对了,不知道是真会还是蒙对;答案错了,不知道哪一步开始错的。改卷老师管这个叫「只看结果分」。要把批改做细,就得把奖励的粒度从整段回答细化到每一个推理步骤——这就是过程奖励。先把两种奖励的形式写出来对比:

\[ \text{ORM:} \quad r = R(x, y) \qquad \text{整段回答 } y \text{ 只换一个分} \tag{1} \] \[ \text{PRM:} \quad r_t = R(x, y_{\le t}) \qquad \text{每个步骤边界 } t \text{ 各换一个分} \tag{2} \]
公式 (1)(2):两种奖励模型的对照——ORM 读完整段回答给一个总分,PRM 每读到第 \(t\) 步就给一个步骤分。符号说明:\(x\) 是 prompt(题目);\(y\) 是模型的完整回答;\(y_{\le t}\) 是回答中截至第 \(t\) 步的推理前缀(前 \(t\) 步的内容);\(R\) 是奖励模型,把一段文本映射为一个标量分;\(r\) 是结果分,\(r_t\) 是第 \(t\) 步的过程分。11.2 节的规则对答案(答案等价判定、测试通过)相当于零成本的 ORM 特例——不需要训练模型,但同样只看结果。
过程奖励模型 Process Reward Model(PRM) process = 推理过程;对照 outcome(只看结果)

对推理的每个中间步骤单独打分的奖励模型,训练数据是人工逐步骤标注的「这一步对不对」。它对照的是结果奖励模型 ORM(Outcome Reward Model,整段回答只给一个分)。PRM 的价值全在粒度上:能定位错误从第几步开始、能抓住「过程错答案对」的蒙对样本,还能给 RL 提供更密集的奖励信号——不必等整段写完才知道哪步坏了。

像数学老师批改大题:答案对但过程错要扣步骤分,答案错但思路对也给过程分——评语细化到每一步,学生才知道错在哪。

  PRM 不是纸上设想,OpenAI 2023 年的 Let's Verify Step by Step 给出了迄今最有说服力的对照实验:在 MATH 数学数据集上,用过程监督训练奖励模型显著优于结果监督;过程监督训出的模型在该测试集的代表性子集上解出 78% 的题目;随论文公开的还有 PRM800K 数据集——80 万条步骤级人工反馈标签,是训练其最佳奖励模型的全部家底。把两种裁判并排对照:

对比项结果奖励 ORM / 规则对答案过程奖励 PRM
打分粒度整段回答一个分每个推理步骤一个分
能抓的问题只能看到最终答案错了能定位错误从第几步开始
蒙对(过程错、答案对)抓不到,照发奖励能抓到并扣分
论文证据MATH 上明显逊于过程监督过程监督显著更优,代表性子集解出 78%
数据成本便宜:对答案即可,规则可零成本昂贵:PRM800K 靠 80 万条人工步骤标签

  PRM 的短板和它的优点一样清楚:数据贵。对答案一个人几秒钟就能完成,给每个推理步骤打对错要逐行读懂解题过程,PRM800K 的 80 万条标签全靠人逐条标出来。业界由此分出两条绕行路线:一条是自动过程标注——用强模型或蒙特卡洛采样估计每步的成功率,替代人工,这是活跃的研究方向;另一条是干脆退回答案端,用零成本的规则奖励(DeepSeek-R1 的选择),靠大量题目采样摊薄「蒙对」的影响。本节的立场是把 PRM 当作理解「批改粒度」的最佳样本:实践中规则奖励、ORM 与 PRM 按任务混用,没有唯一答案。

  至此,推理训练的三件武器齐备:长思维链是行为载体,推理时扩展是算力旋钮,过程奖励是精细裁判。但每一件都自带裂缝——思考会注水、算力会浪费、答案会蒙对。11.5 节收束全章,专讲这些实践中的陷阱与对策。

🧭本节要点回顾
提示词版 CoT 与 RL 内生的长思维链,本质区别在哪?
提示词版不改参数、每次都要提醒,是借来的步骤;RL 版由可验证奖励逼出来、固化进权重,是长出来的步骤。R1-Zero 证明后者不需要任何人类思考示范:纯规则奖励下,自我检查、反思、重试会作为拿高分的策略被自然选择出来。蒸馏/SFT 是第三条中间路线——抄强模型的思考,受老师封顶。
aha moment 与「响应长度随训练变长」各自说明什么?
前者是反思行为的自发涌现——模型自己写出「等等,重新验证」式的重估片段,奖励里没有任何条款直接教它这么做;后者说明模型自己学会了开大推理时算力这个旋钮,用更多 token 换正确率。两者都是训练动态的副产物而非目标:反过来直接奖励长度,就会得到 11.5 节讲的注水式虚假思考。
推理时扩展的收益与代价各是什么形状?过程奖励解决了什么、代价是什么?
准确率随思考算力先升后平(收益递减),成本随 token 线性上涨,所以算力要按题难度分配——Snell 等人的 compute-optimal 策略比 best-of-N 省 4 倍以上算力,FLOPs 对齐时小模型可超 14 倍参数的模型。PRM 把批改细化到每个推理步骤,能抓蒙对、能定位错误起点(MATH 上显著优于结果监督),代价是步骤级人工标注昂贵——PRM800K 达 80 万条。

参考来源

  • DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948):R1-Zero 纯 RL 无 SFT 涌现出自我反思、验证与动态策略调整、蒸馏增强小模型,均已核对 arXiv 摘要页;规则奖励构成(准确率 + 格式)、aha moment 片段、响应长度随训练增长、R1 的冷启动与多阶段流程为论文正文内容,经论文 HTML 版与多方公开转述交叉核对。
  • Snell et al., 2024. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters(arXiv:2408.03314):两类推理时放大机制、效果依赖题目难度、compute-optimal 策略效率超 best-of-N 基线 4 倍以上、FLOPs 对齐下可超过 14 倍参数的模型,均已核对 arXiv 摘要页。
  • Lightman et al., 2023. Let's Verify Step by Step(arXiv:2305.20050):过程监督显著优于结果监督、过程监督模型解出 MATH 代表性子集 78% 的题目、发布 PRM800K(80 万条步骤级人工反馈标签),均已核对 arXiv 摘要页。
  • Wei et al., 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(arXiv:2201.11903):CoT 提示词技巧的出处;540B 模型仅凭 8 个思维链示例在 GSM8K 上超过微调 GPT-3(含验证器),已核对 arXiv 摘要页。提示词用法细节在第 14 章展开。
  • OpenAI, 2024-09. Learning to Reason with LLMs(官方博客,https://openai.com/index/learning-to-reason-with-llms/):o1 无 arXiv 论文,本节仅引其公开主张——大规模强化学习训练长思维链,表现随训练时 RL 算力与推理时思考时间提升。
  • minimind(Apache 2.0),trainer/train_grpo.py:奖励配方 31–68 行(3-gram 重复惩罚 31–34 行、整条长度 ±0.5 第 54 行、思考段 +1.0/−0.5 第 55–57 行、恰一个 </think> ±0.25 第 58 行、外部 RM 分叠加 62–66 行)、采样配置 80–86 行(num_generations、temperature 0.8、max_gen_len)、组相对优势 121–124 行、per-token KL 与 clip 目标 132–143 行。