11.4 长思维链:让模型学会慢慢想
本页范围:第 11 章第 4 节 | 整理时间:2026-10-08
前两节把推理训练的「裁判」和「算法」讲完了:可验证奖励负责打分,GRPO 负责更新。本节换一个视角——不看机制看行为。这套装置跑上几千步之后,模型的输出会长成什么样?答案是:它开始「慢慢想」。面对一道数学题,先写几百上千 token 的推演、自我检查、推翻重来,最后才给结论。这就是长思维链(long Chain-of-Thought),是 2024 到 2025 年推理模型(o1、DeepSeek-R1 这一族)区别于普通对话模型的标志性行为。本节讲清它从哪来、值多少钱、怎么批改。
本节按「概念 → 证据 → 代价 → 批改」的顺序展开,路线图如下:
- 思维链回顾:从提示词技巧到训练目标(11.4.1):CoT 的三种获得方式,提示词咒语怎么变成训练要优化的目标;
- R1-Zero 的启示:纯 RL 长出的反思与「aha moment」(11.4.2):不看任何人类思考示范,模型怎么自己学会反思,论文证据是什么;
- 推理时扩展:想得越久越准的代价曲线(11.4.3):test-time compute 的收益形状、账单构成与按题分配的原则;
- 过程奖励:不只对答案,还批改步骤(11.4.4):ORM 与 PRM 的粒度之争,PRM 为什么更准、又为什么更贵。
读完本节,应该能回答一个日常观察:推理模型为什么先「自言自语」一大段再给答案——那段文字不是装饰,是训练出来的求解策略本身。
图 1 标出推理训练在 LLM 生命周期中的位置,图 2 展示长思维链回答的内部结构。
推理训练这个紫框放大之后,一条长思维链回答的内部长什么样?思考段与答案段各过哪几道校验,奖励又怎么汇进 GRPO 的更新?把它单独拆开看:
11.4.1 思维链回顾:从提示词技巧到训练目标
思维链不是新东西。2022 年,Wei 等人发现了 chain-of-thought prompting:在 prompt 里给几个「带中间步骤的解题示范」,大模型的复杂推理表现就显著提升——一个 540B 参数的模型只靠 8 个思维链示例,就在 GSM8K 数学应用题基准上超过了微调后的 GPT-3(含验证器)。不改一个参数,只换写法,正确率大涨,这是提示词工程时代的标志性发现(第 14 章会作为应用范式展开,本节只取它的定义)。
指模型在给出最终答案之前,先把推理的中间步骤逐字写出来的做法与现象。人解数学题要在草稿纸上写过程,CoT 就是模型的草稿纸。价值有两层:对模型,把复杂计算拆成小步,单步难度下降,算错的机会变少;对人,思考过程可读可查,答案错了能回头找到是哪一步开始错的。长思维链是它的加长版:中间步骤从几行变成几百上千 token,还混入自我检查与回溯重试。
模型获得思维链能力有三条路线,付出的代价和得到的效果各不相同:
| 获得方式 | 怎么做 | 思考从哪来 | 主要局限 | 本书位置 |
|---|---|---|---|---|
| 提示词诱导 | prompt 里给带步骤的示例,或加「请逐步思考」指令 | 借来的:每次都要提醒,不改参数 | 换个对话就「忘」,深度有限 | 第 14 章细讲 |
| 蒸馏 / SFT | 用强模型的长思维链输出当教材,做监督微调 | 抄来的:模仿老师的解题过程 | 被老师水平封顶,不会自主创新 | 11.5 节细讲 |
| RL 内生(本节) | 可验证奖励只判最终对错,模型自己摸索思考方式 | 长出来的:奖励逼出来的策略 | 需要可验证题库与稳定的 RL 训练 | 11.2–11.4 节 |
三条路线并不互斥,工程上常常组合使用:先用蒸馏让模型学会 <think>…</think> 的输出格式,再用 RL 改善思考质量。第三条路线有两个入口把「思考」变成训练目标:一是思考段进训练数据(蒸馏与冷启动 SFT,11.4.2 会讲 R1 怎么用),二是思考段进奖励结构(格式奖励检查 </think> 是否存在、思考段是否像样,11.2 节已讲,页首图 2 的 ①② 两道校验就是 minimind 的实现)。纯 RL 训练中还会自发出现延长思考的行为,这是下一节的内容。
11.4.2 R1-Zero 的启示:纯 RL 长出的反思与「aha moment」
2025 年 1 月,DeepSeek 发布 R1,其中有一个刻意做的「极端实验」:DeepSeek-R1-Zero。它从基座模型 DeepSeek-V3-Base 出发,不做任何 SFT,直接上纯强化学习(GRPO,11.3 节),奖励只有两条规则——准确率奖励(最终答案对不对)与格式奖励(思考段结构对不对)。没有任何人教过它该怎么思考:没有思维链示范,没有步骤标注。按旧直觉,这样训出来的模型应该只会刷答案格式。实际发生的事出乎很多人预料。
论文报告了训练中自发涌现的三类行为。第一,自我检查与验证:模型写完一步会回过头验算。第二,反思与重试:发现前面不对就推翻,换个方法重来。第三,主动加长思考:平均响应长度随训练步数持续上升——模型自己学会了「多花 token 换正确率」。没有一个奖励条款直接奖励这些行为,它们全是「想把题做对」这个目标下被自然选择出来的策略。其中最有传播力的是「aha moment」:
DeepSeek-R1 论文记录的标志性现象:RL 训练中途,模型开始在输出里自发出现「等等,这步不对,重新验证」式的重估片段——先给出一步、推翻它、换条路再来。论文把这类片段当作反思能力涌现的直接证据。它的意义在于因果方向:反思不是从人类数据里抄来的,是规则奖励下自己长出来的,这证明 RL 可以催生训练数据里不存在的行为模式。
两个限定要说清,避免把故事读歪。其一,涌现不等于无中生有:基座模型在预训练语料里见过海量的人类推理文本,「反思」的表达素材早就存在,RL 做的是把这类素材组织成稳定可用的求解策略(RL 究竟是激发已有能力还是新增能力,11.5 节专门讨论)。其二,响应长度增长是训练动态的副产物,不是目标本身——如果反过来直接奖励长度,模型会注水凑字,那是 11.5 节的「虚假思考」陷阱。R1 论文同时还给了一条务实记录:R1-Zero 的思考虽然强,但可读性差、中英文混杂;正式的 R1 在它的基础上加少量人工整理的长思维链冷启动数据先做 SFT,再多阶段交替 RL 与 SFT,把可读性与性能同时拿到手。
OpenAI 的 o1 更早(2024 年 9 月)采用同一方向,但没有公开论文,只有一篇官方博客《Learning to Reason with LLMs》。博客称,o1 用大规模强化学习训练长思维链,表现随训练时投入的 RL 算力和推理时思考时间同步提升。下一节将讨论推理时思考时间这条扩展轴。
R1-Zero 给行业的启示一句话:只要裁判可验证(11.1)、算法稳得住(11.3),「反思」这种行为可以在没有任何人类思考示范的情况下被奖励逼出来。思考能力由此从「数据里抄来的」变成「训练里长出来的」——这是推理模型范式与 SFT 范式的本质分界。
11.4.3 推理时扩展:想得越久越准的代价曲线
R1-Zero 的响应长度曲线透露了一个更大的事实:模型性能不只有「训练时算力」一条轴。第 6–7 章讲的 Scaling Law 管的是训练时算力——一次投入,固化进权重,之后每次回答都受益。推理时算力是另一条轴:每回答一个问题就现场付一次,大致正比于生成的 token 数。沿着这条轴加投入换性能的做法,叫推理时扩展(test-time scaling)。
指模型回答单条请求时实际消耗的算力,粗略写成 \(C_{\text{test}} \propto\) 生成 token 数 × 每 token 的前向成本。长思维链的本质就是把这个旋钮开大:让模型用几百上千个思考 token,换一道难题的正确率。它与训练时算力是互补关系——预算有限时,往哪条轴上投更划算,本身就是一个可研究的问题。
Snell 等人(2024)系统研究了这条轴怎么用最划算。他们分析了两类放大推理时算力的机制:一是引入一个过程验证器当裁判,做搜索式采样(比如 best-of-N:采 N 条回答,让验证器挑出分最高的那条);二是让模型根据 prompt 自适应地修改自己的回答分布(例如在思考中主动修订前面的内容)。关键发现是:没有一种方法通吃所有题目,不同方法的效果强烈依赖题目难度。于是他们提出 compute-optimal(算力最优)策略——按每道题的难度自适应分配推理时算力,效率比 best-of-N 基线高 4 倍以上;在 FLOPs 对齐的比较中,一个较小的基座模型配上充足的推理时算力,可以超过参数量大 14 倍的模型。这些结论划出了推理时扩展的适用边界:它是「按题下药」的技术,不是「多多益善」的技术。
图 3 把收益与账单画在同一张图上,形状就一目了然:
账单值得拆开看,因为它决定了第 13 章部署章节的半壁江山。第一层是延迟:思考段是逐 token 串行生成的,想一千 token 就要等一千 token 的时间(解码机制见第 12 章)。第二层是计费:API 按 token 计价,思考段虽然用户看不见,照样收钱——长思维链模型的隐藏成本大头在这里。第三层是显存:思考 token 同样占用 KV Cache,长思考加长上下文会放大推理系统的压力(第 13 章细讲)。收益递减叠加成本线性,意味着「开足马力到处多想」是亏本策略,工业界的做法是给模型配「预算意识」:简单题短想、难题长想,甚至提供档位让用户自己选。
注意:「多想」不是免费午餐:准确率收益递减,成本线性上涨,简单题上的过度思考(overthinking)是纯亏。推理时扩展的正确姿势是按题难度分配算力——这个原则一头连着 11.5 节的虚假思考陷阱(想得多≠想得对),另一头连着第 13 章的推理时扩展部署(预算怎么落地)。
11.4.4 过程奖励:不只对答案,还批改步骤
最后一节回到裁判本身。11.1 节的可验证奖励有一个先天盲区:它只看最终答案。答案对了,不知道是真会还是蒙对;答案错了,不知道哪一步开始错的。改卷老师管这个叫「只看结果分」。要把批改做细,就得把奖励的粒度从整段回答细化到每一个推理步骤——这就是过程奖励。先把两种奖励的形式写出来对比:
对推理的每个中间步骤单独打分的奖励模型,训练数据是人工逐步骤标注的「这一步对不对」。它对照的是结果奖励模型 ORM(Outcome Reward Model,整段回答只给一个分)。PRM 的价值全在粒度上:能定位错误从第几步开始、能抓住「过程错答案对」的蒙对样本,还能给 RL 提供更密集的奖励信号——不必等整段写完才知道哪步坏了。
PRM 不是纸上设想,OpenAI 2023 年的 Let's Verify Step by Step 给出了迄今最有说服力的对照实验:在 MATH 数学数据集上,用过程监督训练奖励模型显著优于结果监督;过程监督训出的模型在该测试集的代表性子集上解出 78% 的题目;随论文公开的还有 PRM800K 数据集——80 万条步骤级人工反馈标签,是训练其最佳奖励模型的全部家底。把两种裁判并排对照:
| 对比项 | 结果奖励 ORM / 规则对答案 | 过程奖励 PRM |
|---|---|---|
| 打分粒度 | 整段回答一个分 | 每个推理步骤一个分 |
| 能抓的问题 | 只能看到最终答案错了 | 能定位错误从第几步开始 |
| 蒙对(过程错、答案对) | 抓不到,照发奖励 | 能抓到并扣分 |
| 论文证据 | MATH 上明显逊于过程监督 | 过程监督显著更优,代表性子集解出 78% |
| 数据成本 | 便宜:对答案即可,规则可零成本 | 昂贵:PRM800K 靠 80 万条人工步骤标签 |
PRM 的短板和它的优点一样清楚:数据贵。对答案一个人几秒钟就能完成,给每个推理步骤打对错要逐行读懂解题过程,PRM800K 的 80 万条标签全靠人逐条标出来。业界由此分出两条绕行路线:一条是自动过程标注——用强模型或蒙特卡洛采样估计每步的成功率,替代人工,这是活跃的研究方向;另一条是干脆退回答案端,用零成本的规则奖励(DeepSeek-R1 的选择),靠大量题目采样摊薄「蒙对」的影响。本节的立场是把 PRM 当作理解「批改粒度」的最佳样本:实践中规则奖励、ORM 与 PRM 按任务混用,没有唯一答案。
至此,推理训练的三件武器齐备:长思维链是行为载体,推理时扩展是算力旋钮,过程奖励是精细裁判。但每一件都自带裂缝——思考会注水、算力会浪费、答案会蒙对。11.5 节收束全章,专讲这些实践中的陷阱与对策。
参考来源
- DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948):R1-Zero 纯 RL 无 SFT 涌现出自我反思、验证与动态策略调整、蒸馏增强小模型,均已核对 arXiv 摘要页;规则奖励构成(准确率 + 格式)、aha moment 片段、响应长度随训练增长、R1 的冷启动与多阶段流程为论文正文内容,经论文 HTML 版与多方公开转述交叉核对。
- Snell et al., 2024. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters(arXiv:2408.03314):两类推理时放大机制、效果依赖题目难度、compute-optimal 策略效率超 best-of-N 基线 4 倍以上、FLOPs 对齐下可超过 14 倍参数的模型,均已核对 arXiv 摘要页。
- Lightman et al., 2023. Let's Verify Step by Step(arXiv:2305.20050):过程监督显著优于结果监督、过程监督模型解出 MATH 代表性子集 78% 的题目、发布 PRM800K(80 万条步骤级人工反馈标签),均已核对 arXiv 摘要页。
- Wei et al., 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(arXiv:2201.11903):CoT 提示词技巧的出处;540B 模型仅凭 8 个思维链示例在 GSM8K 上超过微调 GPT-3(含验证器),已核对 arXiv 摘要页。提示词用法细节在第 14 章展开。
- OpenAI, 2024-09. Learning to Reason with LLMs(官方博客,https://openai.com/index/learning-to-reason-with-llms/):o1 无 arXiv 论文,本节仅引其公开主张——大规模强化学习训练长思维链,表现随训练时 RL 算力与推理时思考时间提升。
- minimind(Apache 2.0),trainer/train_grpo.py:奖励配方 31–68 行(3-gram 重复惩罚 31–34 行、整条长度 ±0.5 第 54 行、思考段 +1.0/−0.5 第 55–57 行、恰一个 </think> ±0.25 第 58 行、外部 RM 分叠加 62–66 行)、采样配置 80–86 行(num_generations、temperature 0.8、max_gen_len)、组相对优势 121–124 行、per-token KL 与 clip 目标 132–143 行。