14.2 思维链:让模型把中间步骤写出来
本页范围:第 14 章第 2 节 | 整理时间:2026-10-10
14.1 节讲了 prompt 是模型唯一的输入通道,一切「用法」最终都落实到往这条通道里写什么。本节讲这条通道上最出名的一篇「文章」:思维链——在问题与答案之间,让模型先把中间推理步骤写出来。一个 2022 年的尴尬事实是:当时的大模型做小学数学应用题,直接给答案时正确率惨不忍睹;而同一个模型、同一份权重,只要先写几步过程,正确率能翻好几倍。这些多生成的 token 到底买到了什么,是本节要拆开的黑盒。
本节按「为什么有效 → 怎么用 → 怎么演进」的主线展开,路线图如下:
- 一步到位的答案为什么容易错(14.2.1):从自回归生成的算力分配说起,看懂「草稿纸」到底补上了什么;
- Few-shot CoT:示例里带上推理过程(14.2.2):原始论文的做法,以及 PaLM 540B 在 GSM8K 上的战绩;
- Zero-shot CoT:「Let's think step by step」一句话的威力(14.2.3):不写示例,一句触发句引出推理的两阶段流程;
- 变体与演进:自洽性多数投票、ToT 树搜索、到第 11 章 RLVR 的内化(14.2.4):从一条链到一群链、到一棵树,再到把链训进权重。
读完本节,应该能说清思维链为什么属于「推理时扩展」家族(13.6 节),并能判断什么样的任务值得为它多付 token。
图 1 标出本节内容在 LLM 生命周期中的位置。第 14 章位于推理部署之上,通过组织输入与输出来使用模型,不改变模型权重。
14.2.1 一步到位的答案为什么容易错
先用直觉破题。让一个人心算「3 盒铅笔、每盒 12 支、送出 5 支、还剩几支」,多数人能答对,因为数字小;换成「17 盒、每盒 24 支、送出 39 支」,心算出错率立刻上升——不是不会算,是中间量 17 × 24 = 408 没处放。给一张草稿纸把 408 写下来,剩下的 408 − 39 就是查表式的减法。思维链给模型的,正是这张草稿纸。
落到机制上。第 12 章讲过,解码是逐 token 的自回归循环:每生成一个 token,整个模型做一次完整前向,新 token 接回上下文再算下一个。输出序列的概率按链式分解为:
把两条路径代入公式 (1) 看 \(T\) 的差别。直接回答时,输出序列只有「31」这一两个 token:整道题的推理——识别数量关系、算出 3 × 12 = 36、再减 5——必须压进这 1~2 次前向里全部完成,而且中间结果 36 没有任何落笔之处,算出来也写不进 \(y_{<t}\),下一步看不到。思维链写法下,输出变成「每盒 12 支,3 盒共 36 支。送出 5 支,剩 31 支。所以答案是 31」这样几十上百个 token:每步推理独占若干次前向,算出的 36 白纸黑字进入上下文,后续步骤引用它时无需重算。图 2 把两条路径摆在一起对照:
这张草稿纸买到的其实是两样东西。第一是算力摊销:生成 100 个 token 就做 100 次前向,推理时花在题目上的计算量随输出长度线性增长——这正是 13.6 节「推理时扩展」的核心交易,思维链是这个家族里成本最低的一员,不需要搜索、不需要多次调用,只是让输出变长。第二是中间结果的持久化:Transformer 没有读写外部存储的能力,上下文是它唯一的工作记忆,把 36 写出来,等于把中间变量存进了唯一能存的地方。
注释:草稿纸不是白给的。输出 token 越多,延迟与 API 费用越高,KV Cache(13.2 节)的占用也越大。对事实问答、常识闲聊这类一步就能答的题,思维链增益很小甚至徒增成本;它真正发力的是多步算术、逻辑推理、代码调试这类「过程比答案长」的任务。CoT 原始论文的实验同样集中在算术、常识与符号推理三类基准上。
14.2.2 Few-shot CoT:示例里带上推理过程
思维链的原始出处是 Wei et al. 2022(arXiv:2201.11903,NeurIPS 2022)。做法是对 few-shot prompting(14.1 节:把示例写进 prompt,不做梯度更新)的一处改造——示例的答案部分不再只给结果,而是手写一段自然语言的推理过程,最后再接新问题。模型续写时模仿示例的格式,自己先生成推理、再给出答案。
思维链是在问题与最终答案之间插入的一串自然语言中间推理步骤。它可以写在 prompt 示例里由人提供(few-shot CoT),也可以用触发句诱发模型自己生成(zero-shot CoT,14.2.3)。它不引入任何新参数、新模块,只改变输出文本的形状:先过程、后结论。效果集中体现在多步推理任务上,且模型规模要够大才显现(论文称之为规模涌现的能力,6.5 节讲过涌现现象)。
整套 prompt 的结构如图 3 所示:开头是几个人手编写的「问题 → 推理过程 → 答案」示例,末尾接新问题并留白,模型从留白处续写。由于示例里每个答案都带着推理过程,模型续写时也会先写推理、再写结论。
战绩方面,论文报告:PaLM 540B(谷歌的 5400 亿参数模型)在 GSM8K(约 8500 道小学数学应用题组成的基准)上,标准 few-shot prompting 的正确率是 17.9%,换成 few-shot CoT 后达到 58.1%,刷新当时的纪录。注意这个对比的构成:同一模型、同一权重、同一任务,唯一差别是示例里有没有推理过程——提升全部来自输出文本形状的改变。
论文同时给了一条重要限定:思维链是规模涌现的能力。参数量不到百 B 量级时,加 CoT 示例的收益不稳定,有时反而不如直接作答——小模型写出的「推理」常常只是格式模仿,步骤本身算错,错过程自然导出错答案。这解释了为什么它在 GPT-3(1750 亿参数)时代没有立刻成为显学,也提醒选型时的顺序:模型不够强,先换更大的模型,再谈 CoT。
工程实现上,few-shot CoT 不需要任何新代码,它只是更长的输入文本。以 minimind(Apache 2.0)为例:eval_llm.py 中 base 模型(pretrain 权重)把输入裸拼成 bos_token + prompt(74 行),chat 模型走 apply_chat_template 套对话模板(76 行);无论哪种拼法,CoT 示例都只是拼进输入的文本,模型权重一行不动。边界也要说清:minimind 只有约 6400 万参数,训练语料不含 CoT 示范,用它实测思维链效果并不合适——这里引它只为说明「prompt 拼装」这一层机制。
14.2.3 Zero-shot CoT:「Let's think step by step」一句话的威力
Few-shot CoT 的门槛在于示例要人手写,换一类任务就得重写一批。Kojima et al. 2022(arXiv:2205.11916,NeurIPS 2022)发现连示例都可以省掉:在问题后面追加一句「Let's think step by step」(让我们一步一步思考),模型就会自发分步推理。这就是 zero-shot CoT——不给任何示例,一句话把模型调到「写解题过程」的格式上。
论文的原始评测走两阶段流程,图 4 给出了完整链路:第一阶段,问题加触发句输入模型,生成分步推理文本;第二阶段,把「问题 + 刚生成的推理 + 答案提取句」拼成新输入,模型续写出格式干净的最终答案,方便程序自动判分。
效果方面,论文报告在 MultiArith(需要多步算术的应用题基准)上,标准 zero-shot prompting 的正确率为 17.7%,zero-shot CoT 达到 78.7%——一句话换来了约 61 个百分点的提升。论文还对比了多句备选触发句,效果差异悬殊,「Let's think step by step」居首。
为什么一句话能管用?机制层面没有严格证明,主流解释是格式触发:预训练语料里有海量带解题过程的文本(教材、题库、论坛答疑),触发句把生成引向这部分分布——这正是 14.1 节「往训练分布上靠」的同一个道理。触发句之间的效果差异也支持这个解释:它撬动的是模型已有的格式记忆,而不是凭空造出能力。
注释:触发句对模型规模同样敏感,论文报告的收益随规模增长,小模型上加这句话往往只是徒增输出长度。另外,今天经过指令微调(第 9 章)与推理训练(第 11 章)的模型大多已被训成「遇事自动分步」,手工触发句逐渐退出日常——zero-shot CoT 的历史意义在于第一次证明「过程」本身可以被一句文本诱发。
14.2.4 变体与演进:自洽性多数投票、ToT 树搜索、到第 11 章 RLVR 的内化
单条思维链有三块明显短板:一条链可能算错、走到一半不能回头、格式要靠 prompt 诱发。CoT 家族的后续演进恰好各补一块。
自洽性:多链投票,补「可能算错」。Wang et al. 2022(arXiv:2203.11171,ICLR 2023)的做法:同一问题用温度采样(12.2 节)生成多条相互独立的思维链,再对最终答案做多数投票。GSM8K 上它比单链 CoT 再提 17.9 个点。图 5 给出机制示意;投票为什么有效、温度怎么选等展开内容在 13.6 节(推理时扩展)已讲过,这里只定位它在 CoT 家族中的位置:从「写一条链」到「写一群链」,代价是同一题要生成多份完整推理。
ToT:树搜索,补「不能回头」。自洽性仍在「整链」层面做事后汇总,Yao et al. 2023(arXiv:2305.10601,NeurIPS 2023)的 Tree of Thoughts(ToT,思维树)把搜索引进了推理过程内部:每个「思考」是一个中间状态(部分解),模型给每个状态自评打分,搜索算法据此决定展开哪个分支、剪掉哪条死路,必要时回溯。论文在 24 点游戏(Game of 24:用 4 个数字经加减乘除凑出 24)上报告,同一个 GPT-4(OpenAI 的旗舰模型)用 CoT 提示只解出 4%,用 ToT 达到 74%。图 6 给出一次搜索的示意。
RLVR 内化:补「要靠 prompt 诱发」。到这里为止,推理都是「借」来的——格式靠示例或触发句诱发,稳定性看运气。第 11 章的 RLVR(可验证奖励强化学习)走了另一条路:用「最终答案对不对」这个可自动验证的信号做强化学习,把「先想后答」的长思维链直接训进权重(11.4 节长思维链)。今天的推理模型不再需要任何触发句,思考成了本能。CoT 家族的演进至此收拢:prompt 层的技巧负责「诱发」,训练层的方法负责「内化」。
思维链的本质:不改一个权重,只改变输出文本的形状,就把「一步到位」的赌博拆成一串可检查的小步。它是推理时扩展(13.6 节)家族中成本最低的一员——用更多输出 token 换更高正确率;自洽性与 ToT 在同一方向上加码(更多链、更深的搜索),RLVR(第 11 章)则把这笔交易内化进训练。
参考来源
- Wei et al., 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(few-shot CoT 原始论文,arXiv:2201.11903,NeurIPS 2022):示例中手写推理过程的做法、PaLM 540B 在 GSM8K 上 17.9% → 58.1%、思维链为规模涌现能力的论断。
- Kojima et al., 2022. Large Language Models are Zero-Shot Reasoners(zero-shot CoT 原始论文,arXiv:2205.11916,NeurIPS 2022):「Let's think step by step」触发句、两阶段答案提取流程(提取句 "Therefore, the answer (arabic numerals) is")、MultiArith 上 17.7% → 78.7%、多句触发句效果对比。
- Wang et al., 2022. Self-Consistency Improves Chain of Thought Reasoning in Language Models(自洽性原始论文,arXiv:2203.11171,ICLR 2023):多条独立思维链采样 + 最终答案多数投票、GSM8K 上较单链 CoT 提升 17.9 个点;机制展开见本手册 13.6 节。
- Yao et al., 2023. Tree of Thoughts: Deliberate Problem Solving with Large Language Models(ToT 原始论文,arXiv:2305.10601,NeurIPS 2023):思考作为中间状态、模型自评打分、搜索剪枝与回溯,Game of 24 上同一 GPT-4 由 CoT 的 4% 提升至 ToT 的 74%。
- minimind(Apache 2.0),eval_llm.py:base 模型裸拼 bos_token + prompt(74 行)与 apply_chat_template(76 行)两种输入拼装方式,作为「CoT 只是更长的输入文本」的实现参照;minimind 不含 CoT 训练数据,不作效果参照。
- 本手册 12.1–12.2 节(逐 token 解码与温度采样)、13.6 节(推理时扩展与自洽性机制)、6.5 节(涌现能力)、附录 A.12(条件概率与链式分解)。