13.6 投机采样与推理时扩展:无损加速与多花计算的两端
本页范围:第 13 章第 6 节 | 整理时间:2026-10-10
13.5 节用蒸馏造出了「小一号但同源」的模型,它可以独立服役。小模型还有第二个用途:给大模型当助手。本节先讲这对搭档的成名技——投机采样(speculative decoding):小模型先起草几个 token,大模型用一次前向把它们全部验收,输出分布一个字不变,速度却快了两三倍。随后调转方向,聊与「省钱提速」相反的思路——推理时扩展:不心疼计算,反而主动多花,用更长的思考与更多的采样换更高的准确率。
一个省时间、一个买质量,看似相反,底层却是同一笔账的两面。13.1 节的结论是:解码阶段的瓶颈在显存带宽与逐 token 的串行等待,GPU 算力有大量空闲。投机采样问的是「空闲的算力能不能利用起来」,推理时扩展问的是「既然算力有空余,多算能不能换更好的答案」。本节按「机制 → 无损性 → 反向花钱 → 全章收束」展开,路线图如下:
- 投机采样:小模型起草、大模型验收(13.6.1):一轮四步的完整机制、加速倍数由什么决定、两篇并发出处;
- 无损性:为什么输出分布不变(13.6.2):验收准则的数学形式与面积直觉,只讲直觉不证定理;
- 推理时扩展:用更多计算换更好答案(13.6.3):self-consistency 多数投票、思维链预算与 o1 范式;
- 本章总回顾(13.6.4):把第 13 章六节串成一张地图,看清各自的代价与兼容性。
读完本节,应能手推一轮投机采样的推进过程,说明「无损」保留了什么,并区分 o1 式「多思考」与第 11 章推理训练的作用。本节讨论训练完成后的部署方法,也是手册主线的最后一节。
13.6.1 投机采样:小模型起草、大模型验收
先把 13.1 节的账翻出来:解码逐 token 串行,每走一步都要把大模型的全部权重从显存搬进计算单元,只为算出一个位置的分布——带宽吃满,算力空转。这里有个被浪费的事实:一次前向其实可以给任意多个位置并行打分,训练时的 teacher forcing 就是这么干的(第 6 章);只要提前知道后面的 token 是什么,一次前向就能顺便把它们的分布全算出来,耗时与只算一个位置几乎相同。问题在于,解码时后面的 token 还不存在。投机采样的回答很朴素:不知道,就猜——让一个便宜的小模型先把后面几个 token 猜出来,大模型只做验收。
一轮投机采样分四步走完(草案长度记为 \(\gamma\),两篇原论文——Leviathan et al., 2023 与 Chen et al., 2023,见参考来源前两条——的实验里取 3–4):
- 起草:草案模型(draft model,记为 \(M_q\))自回归生成 \(\gamma\) 个候选 token。它也要逐 token 解码,但模型小一个数量级以上,每步成本远低于大模型;
- 并行打分:把 \(\gamma\) 个候选接在现有上下文之后,目标模型(target model,记为 \(M_p\))只做一次前向,并行得到这 \(\gamma\) 个位置各自的下一步分布 \(p\)——这是整件事能成立的物理基础;
- 逐个验收:从前往后检查每个候选,第 \(i\) 个候选以一定概率被接受(具体准则与数学形式由 13.6.2 说明);一旦遇到第一个被拒绝的候选,立刻停下,把这一位换成大模型亲手修正的 token,排在它后面的草案全部作废;
- 推进:本轮把「通过的最长前缀 + 1 个修正 token」正式写入序列。若 \(\gamma\) 个候选全部通过,还能用该次前向算出的第 \(\gamma + 1\) 个位置的分布再白采一个,本轮最多推进 \(\gamma + 1\) 个 token。
直觉类比:主编与实习记者。实习生(小模型)先把稿子拟出草稿,主编(大模型)通读一遍,顺的段落放行,出错的地方亲手改一笔。主编通读全稿的工夫和细看一句话差不多,一次却能定稿好几段——前提是实习生写得足够像主编,否则通篇返工反而更慢。这个「像不像」就是接受率,它决定加速的上限。图 1 把一轮(\(\gamma = 4\))的三阶段画成流水线,对照普通解码的串行节奏看,加速的来源一目了然:
图 1 的账可以写成公式。设草案模型单步耗时与目标模型单步耗时之比为 \(c\)(远小于 1),单个候选的平均接受率为 \(\alpha\),在候选相互独立的简化假设下,Leviathan et al. 给出的期望加速比为:
这个算法由两个团队在 2022 年底至 2023 年初几乎同时提出。Google 的 Leviathan et al.(arXiv:2211.17192,ICML 2023)在 T5-XXL(约 11B 参数,配 T5 家族小模型当草案)上报告了 2–3 倍的墙钟加速,并强调输出与标准解码完全相同(identical outputs);DeepMind 的 Chen et al.(arXiv:2302.01318)把它命名为 speculative sampling,在 Chinchilla 70B 上报告了 2–2.5 倍加速,并给出分布不变的严格证明。两篇论文的算法实质相同,本节统称投机采样。后来草案的来源也有了新花样:Medusa(arXiv:2401.10774)给目标模型加装多个预测头、让大模型自己给自己起草,EAGLE(arXiv:2401.15077)改在特征层起草,都是「先猜后验」这一思想的变体,本节不展开。
minimind 仓库(Apache 2.0)没有实现投机采样:它的 generate 函数(model/model_minimind.py:262 起)是标准的逐 token 解码循环,268 行的 for _ in range(max_new_tokens) 每圈只推进一个 token。本节的描述全部以两篇原始论文为准。不过 minimind 的一个配置可以拿来理解工程约束:它的词表是 6400,草案模型必须与目标模型共享同一套分词与词表,否则「第 \(i\) 个候选 token」在两个模型里根本不是同一个单位,逐 token 验收无从谈起。这也是实践中草案模型常取自同一家族小号成员的原因——13.5 节蒸馏出的小模型就是现成候选。
注意:词表一致性是硬约束:验收准则要逐 token 比较两个模型对同一个 token 的概率打分,词表不同则单位都对不上。即便词表相同,草案模型的训练数据风格也应尽量贴近目标模型——接受率 \(\alpha\) 直接决定加速比(公式 (1)),风格差得远,草案就白写了。
一种无损的解码加速算法:小模型(草案模型)先自回归猜出 \(\gamma\) 个候选 token,大模型(目标模型)用一次前向并行验收,通过的候选直接落袋,第一个被拒的位置由大模型亲手修正,本轮至此结束。加速来自「一次前向验证多个 token」:解码的瓶颈是搬运权重的带宽而非算力(13.1 节),一次前向算一个位置还是算 \(\gamma\) 个位置,耗时几乎相同,只要平均接受率足够高,墙钟时间就成倍下降。两篇原始论文都证明了:这套流程产出的序列与直接用大模型采样服从完全相同的分布——加速不以牺牲输出为代价。Chen et al. 把它叫 speculative sampling,两个名字指同一算法。
13.6.2 无损性:为什么输出分布不变
13.6.1 埋了个问题:验收为什么需要概率准则?直接信小模型行不行?不行——那样产出的 token 服从的是小模型的分布 \(q\),不是大模型的分布 \(p\),「加速」是以偷换模型为代价的。投机采样的精髓恰恰在验收准则的数学设计:它把输出分布精确地扳回 \(p\)。记当前位置上大模型的分布为 \(p(\cdot)\)、小模型的分布为 \(q(\cdot)\)(都是词表上的概率分布,minimind 的词表大小为 6400),对小模型抽出的候选 \(x\),两篇原论文给出的验收规则是:
这套准则的直觉可以用「面积」讲清。把两个分布在同一组候选上的柱形叠在一起:重叠部分 \(\min(p, q)\) 是「草案猜得和大模型一样好」的部分,直接落袋;\(q\) 高出 \(p\) 的部分是草案的高估,按 \(p/q\) 的比例打回;\(p\) 高出 \(q\) 的部分是草案的漏估,积攒起来构成拒绝时重采的残差分布——大模型认为该给而草案没给够的 token,修正时优先补回。打回与补课双管齐下,合起来恰好还原 \(p\)。图 2 用 5 个候选的数值小例把这个结构画了出来:
从图 2 还能读出一个常用结论:平均接受率就是两个分布的重叠面积。候选 \(x\) 从小模型分布 \(q\) 中抽出,期望接受率 \(\mathbb{E}_{x \sim q}[\alpha(x)] = \sum_x q(x)\min(1,\ p(x)/q(x)) = \sum_x \min(p(x),\ q(x))\)。图 2 的例子里重叠面积为 \(0.10 + 0.20 + 0.20 + 0.10 + 0.10 = 0.70\),即平均七成草案被接受。两个分布越像,接受率越高,公式 (1) 的加速比越大——这就是草案模型要同家族、同数据风格的数学理由。
用三个极端检验这套直觉。\(q = p\) 时接受率恒为 1,草案永远全收,投机采样退化为「小模型免费代笔」,加速比逼近上限;\(q\) 与 \(p\) 毫无重叠时接受率为 0,每轮草案全部作废、只推进修正的那一个 token,白赔草案成本。还有一个工程上最常用的特例:贪心解码。大模型走 argmax 时 \(p\) 是 one-hot 分布,准则退化为「草案 token 恰好等于大模型的 argmax 才接受」,被拒则取 argmax 本身——输出与大模型贪心解码逐 token 相同,这是最严格意义的无损,也是在线服务开启投机采样时的常见形态。
为什么接受加重采之后分布恰好是 \(p\),两篇原论文都给了严格证明(核心是对每个 token 验证「经接受通道来的概率 + 经重采通道来的概率 = \(p(x)\)」)。本节按手册惯例只讲直觉不证定理,想读证明的读者可对照 Leviathan et al. 附录 A 与 Chen et al. 第 3 节。
无损的确切含义:投机采样不改模型、不改参数、不改输出分布——同一个大模型、同一套采样参数,开与不开投机采样,产出序列服从完全相同的分布;贪心模式下输出逐 token 相同。代价只有草案模型的额外显存与计算,以及实现复杂度。这与量化(13.4 节)形成鲜明对照:量化用可控的精度损失换带宽,投机采样是纯粹的系统侧免费午餐。
注释:「无损」是分布层面的数学结论,落地时有三个折扣。其一,浮点运算的非结合性会让并行验收的 logits 与逐 token 解码有尾数级差异,实际输出可能个别分叉;其二,投机采样不省 KV Cache 显存(13.2 节),也不解决多用户调度(13.3 节),三者是正交、可叠加的优化;其三,接受率随任务波动——代码、格式化问答这类结构化程度高的文本接受率高,开放式创作接受率低,\(\gamma\) 宜调小。
13.6.3 推理时扩展:用更多计算换更好答案
从 13.1 到 13.6.2,本章所有技巧都在回答同一个问题:同样的答案,怎么更快更便宜。推理时扩展(test-time scaling)问反方向的问题:如果延迟和账单允许,多花的计算能不能买到更好的答案?2024 年下半年起,这个问题的答案从「能」变成「能,而且有类似 Scaling Law 的规律」,直接改写了部署侧的成本模型。
最早成熟的一条路线是 self-consistency(Wang et al., 2022,arXiv:2203.11171,ICLR 2023):同一道题用温度采样独立生成 \(k\) 条思维链(chain-of-thought,让模型先写推理过程再给答案的提示方式,第 11 章与第 14 章均有展开),每条链给出一个最终答案,取多数答案输出:
第二条路线控制的不是条数而是长度:让模型在回答前生成更长的推理链。长思考的能力本身是训练出来的(第 11 章的 RLVR 正是干这个的),但部署侧也有一个开关。s1 论文(Muennighoff et al., 2025,arXiv:2501.19393)给出了最朴素的版本——预算强制(budget forcing):思考到预设长度就掐断收尾;想延长,则压下思考结束标记、追加一个「Wait」让模型继续想。论文用 1000 条精选推理轨迹微调出的 s1-32B 配合这一开关,在竞赛数学题(MATH 与 AIME24)上最高超过 o1-preview 27 个百分点,一度成为「测试时计算也能扩展」的标志性复现。
把这条路推到聚光灯下的是 OpenAI 的 o1。2024 年 9 月 12 日的官方博客《Learning to Reason with LLMs》宣布:o1 的性能随强化学习训练计算量(train-time compute)与思考时间(test-time compute)同步提升——两条扩展曲线并存,这是 o1 范式的核心主张。博客给出的 AIME 2024(美国数学邀请赛,面向顶尖高中生的数学竞赛)数字极具冲击力:GPT-4o 平均只能解出 12% 的题目,o1 单样本 74%,64 个样本多数投票到 83%,1000 个样本经学习打分器重排到 93%。图 3 把这些点画在「推理时计算量—准确率」坐标里,从 74% 到 93% 的代价是三个数量级的额外采样。
注释:o1 的全部数字来自官方博客口径——OpenAI 未发布 o1 的技术报告,模型细节、训练方法与评测设置均不公开,外界无法独立复现。读这组数字的正确姿势是把它当方向性证据(推理时计算量确实能换准确率),而不当可复现的基准结论。另外,推理时扩展不改模型权重,是纯粹的部署侧旋钮,与第 11 章「把长思考能力训进权重」分工明确:第 11 章负责「会不会想」,本节负责「愿意想多久」。
又称测试时计算扩展:不改模型、不改权重,通过在推理阶段投入更多计算来提升答案质量,包括多采几条候选做表决、延长思维链、让打分器重排候选。它与训练侧的 Scaling Law(第 6 章)对应:训练侧是性能随训练算力按幂律提升,推理侧是性能随推理算力(对数刻度下)近似线性提升。代价是延迟与费用同步上涨,因此需要分配部署预算:简单请求一次生成,困难请求再增加推理计算。
13.6.4 本章总回顾
第 13 章各节都围绕 13.1 节的两类瓶颈展开:解码阶段反复从显存读取权重所占的带宽,以及逐 token 串行计算带来的等待。下面用一张表对照各节采用的优化方法:
| 节 | 对付什么 | 手段 | 代价与性质 |
|---|---|---|---|
| 13.1 成本结构 | ——(算账) | 定位瓶颈:显存带宽、串行解码 | 全章出发点 |
| 13.2 KV Cache | 重复计算 | 缓存历史 K/V,每步只算新 token | 显存换速度,无损 |
| 13.3 服务化 | 单请求浪费算力 | 连续批处理 + PagedAttention | 系统调度,无损 |
| 13.4 量化 | 带宽本身 | 权重从 FP16 压到 INT8 / INT4 | 可控精度损失,有损 |
| 13.5 蒸馏 | 模型本身太大 | 大模型教小模型 | 精度靠重训补回,有损 |
| 13.6 投机采样 | 串行等待 | 小模型起草、大模型并行验收 | 分布不变,无损 |
| 13.6 推理时扩展 | (反向)答案不够好 | 多采样表决、拉长思考链 | 成本换质量 |
这些手段大多正交:KV Cache 是解码的事实标准,连续批处理与 PagedAttention 解决多用户,量化压缩权重的字节数,蒸馏直接换小模型,投机采样消灭串行空转——一套生产系统通常同时开着其中好几样,量化加投机采样加连续批处理并不冲突。推理时扩展是唯一的反向旋钮:别人省钱,它花钱。部署的艺术很大程度就是在这张菜单上按预算点菜:延迟敏感的前台对话开足无损加速,离线批处理与困难推理任务才轮到多采样与长思考。
模型部署好了,接下来的问题是「怎么用它」:提示词怎么写、知识怎么外挂、工具怎么调用、多步任务怎么编排。这些应用层范式是第 14 章的主题,也是手册主线的下一章。
参考来源
- Leviathan et al., 2023. Fast Inference from Transformers via Speculative Decoding(ICML 2023,arXiv:2211.17192):投机采样算法本体、验收准则与残差分布(公式 (2))、独立同分布假设下的期望加速比(公式 (1))、T5-XXL 上 2–3 倍墙钟加速与输出完全相同(identical outputs)的声明;已核对 arXiv 原文与 PMLR 正式版。
- Chen et al., 2023. Accelerating Large Language Model Decoding with Speculative Sampling(DeepMind,arXiv:2302.01318):speculative sampling 的命名、输出分布不变的严格证明、Chinchilla 70B 上 2–2.5 倍加速;已核对 arXiv 摘要页与正文方法节。
- Wang et al., 2022. Self-Consistency Improves Chain of Thought Reasoning in Language Models(ICLR 2023,arXiv:2203.11171):多条思维链采样加多数投票,GSM8K 相对贪心解码绝对提升 17.9 个百分点(摘要口径);已核对 arXiv 摘要页。
- Muennighoff et al., 2025. s1: Simple test-time scaling(arXiv:2501.19393):预算强制(budget forcing)机制(到长截断、或压下结束标记并追加 Wait 延长思考)、s1-32B 在 MATH 与 AIME24 上最高超过 o1-preview 27 个百分点;已核对 arXiv 摘要页。
- OpenAI, 2024-09-12. Learning to Reason with LLMs(官方博客,无技术报告):train-time compute 与 test-time compute 双扩展的主张、AIME 2024 数字(GPT-4o 12%、o1 单样本 74%、64 样本共识 83%、1000 样本经学习打分器重排 93%);博客口径,无法独立复现。
- Cai et al., 2024. Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads(arXiv:2401.10774);Li et al., 2024. EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty(arXiv:2401.15077):草案来源的两个变体(多预测头、特征层起草),正文一笔带过;已核对 arXiv 摘要页。
- minimind(Apache 2.0),model/model_minimind.py:generate 函数(262 行起)为逐 token 解码循环(268 行 for 循环每圈推进一个 token),未实现投机采样;词表 6400 用于图 2 的维度说明。