13.6 投机采样与推理时扩展:无损加速与多花计算的两端

本页范围:第 13 章第 6 节 | 整理时间:2026-10-10

快速浏览

核心问题13.1 节算过账:解码是 memory-bound,大模型每产出一个 token 都要把全部权重从显存搬一遍,算力大量空转。能不能让一次前向产出不止一个 token?反过来,如果延迟与账单允许,多花的计算能不能买到更好的答案?
本节主张投机采样用「小模型起草、大模型并行验收」把串行解码改成批量验证,数学上保证输出分布不变,是部署侧少见的无损加速;推理时扩展走反方向,主动多投入推理计算(更多采样、更长思考)换更高准确率。一个省时间,一个买质量。
一句话结论投机采样的加速来自「一次前向验证多个 token」,接受准则 min(1, p/q) 加残差分布重采让输出分布与原模型完全一致(T5-XXL 实测 2–3 倍加速);推理时扩展把「思考长度与采样条数」变成新的资源旋钮,o1 范式表明它像训练算力一样存在扩展规律。
关键词
投机采样draft model验收准则残差分布无损加速self-consistency多数投票思维链预算test-time computeo1

  13.5 节用蒸馏造出了「小一号但同源」的模型,它可以独立服役。小模型还有第二个用途:给大模型当助手。本节先讲这对搭档的成名技——投机采样(speculative decoding):小模型先起草几个 token,大模型用一次前向把它们全部验收,输出分布一个字不变,速度却快了两三倍。随后调转方向,聊与「省钱提速」相反的思路——推理时扩展:不心疼计算,反而主动多花,用更长的思考与更多的采样换更高的准确率。

  一个省时间、一个买质量,看似相反,底层却是同一笔账的两面。13.1 节的结论是:解码阶段的瓶颈在显存带宽与逐 token 的串行等待,GPU 算力有大量空闲。投机采样问的是「空闲的算力能不能利用起来」,推理时扩展问的是「既然算力有空余,多算能不能换更好的答案」。本节按「机制 → 无损性 → 反向花钱 → 全章收束」展开,路线图如下:

  1. 投机采样:小模型起草、大模型验收(13.6.1):一轮四步的完整机制、加速倍数由什么决定、两篇并发出处;
  2. 无损性:为什么输出分布不变(13.6.2):验收准则的数学形式与面积直觉,只讲直觉不证定理;
  3. 推理时扩展:用更多计算换更好答案(13.6.3):self-consistency 多数投票、思维链预算与 o1 范式;
  4. 本章总回顾(13.6.4):把第 13 章六节串成一张地图,看清各自的代价与兼容性。

  读完本节,应能手推一轮投机采样的推进过程,说明「无损」保留了什么,并区分 o1 式「多思考」与第 11 章推理训练的作用。本节讨论训练完成后的部署方法,也是手册主线的最后一节。

13.6.1 投机采样:小模型起草、大模型验收

  先把 13.1 节的账翻出来:解码逐 token 串行,每走一步都要把大模型的全部权重从显存搬进计算单元,只为算出一个位置的分布——带宽吃满,算力空转。这里有个被浪费的事实:一次前向其实可以给任意多个位置并行打分,训练时的 teacher forcing 就是这么干的(第 6 章);只要提前知道后面的 token 是什么,一次前向就能顺便把它们的分布全算出来,耗时与只算一个位置几乎相同。问题在于,解码时后面的 token 还不存在。投机采样的回答很朴素:不知道,就猜——让一个便宜的小模型先把后面几个 token 猜出来,大模型只做验收。

  一轮投机采样分四步走完(草案长度记为 \(\gamma\),两篇原论文——Leviathan et al., 2023 与 Chen et al., 2023,见参考来源前两条——的实验里取 3–4):

  1. 起草:草案模型(draft model,记为 \(M_q\))自回归生成 \(\gamma\) 个候选 token。它也要逐 token 解码,但模型小一个数量级以上,每步成本远低于大模型;
  2. 并行打分:把 \(\gamma\) 个候选接在现有上下文之后,目标模型(target model,记为 \(M_p\))只做一次前向,并行得到这 \(\gamma\) 个位置各自的下一步分布 \(p\)——这是整件事能成立的物理基础;
  3. 逐个验收:从前往后检查每个候选,第 \(i\) 个候选以一定概率被接受(具体准则与数学形式由 13.6.2 说明);一旦遇到第一个被拒绝的候选,立刻停下,把这一位换成大模型亲手修正的 token,排在它后面的草案全部作废;
  4. 推进:本轮把「通过的最长前缀 + 1 个修正 token」正式写入序列。若 \(\gamma\) 个候选全部通过,还能用该次前向算出的第 \(\gamma + 1\) 个位置的分布再白采一个,本轮最多推进 \(\gamma + 1\) 个 token。

  直觉类比:主编与实习记者。实习生(小模型)先把稿子拟出草稿,主编(大模型)通读一遍,顺的段落放行,出错的地方亲手改一笔。主编通读全稿的工夫和细看一句话差不多,一次却能定稿好几段——前提是实习生写得足够像主编,否则通篇返工反而更慢。这个「像不像」就是接受率,它决定加速的上限。图 1 把一轮(\(\gamma = 4\))的三阶段画成流水线,对照普通解码的串行节奏看,加速的来源一目了然:

原创示意图 · 非论文原图 一轮投机采样的三阶段(草案长度 γ = 4 的示例,token 用抽象符号 x̂ 表示) ① 起草:小模型串行猜词 草案模型 M_q · 4 次前向 x̂₁ x̂₂ x̂₃ x̂₄ 第 1 步 第 2 步 第 3 步 第 4 步 每步只搬小模型的权重 耗时 ≈ 4 × 小模型单步 模型小一个数量级以上,单步便宜 成本:低 ② 验收:大模型一次前向 目标模型 M_p · 4 个位置并行打分 x̂₁ x̂₂ x̂₃ x̂₄ p₁ p₂ p₃ p₄ 一次前向同时算出 4 个位置的分布 与只算 1 个位置耗时几乎相同 耗时 ≈ 解码 1 个 token ③ 逐个验收,拒绝即修正 前 3 个通过 · 第 4 个被拒 x̂₁ ✓ x̂₂ ✓ x̂₃ ✓ x̂₄ ✗ x̂₁ x̂₂ x̂₃ x̂₄′ 前 3 个草案直接落袋 第 4 位从残差分布重采修正(紫块) 被拒位置之后的草案作废,本轮结束 推进 4 个 token 对照:普通解码推进 4 个 token 要 4 次大模型前向;本轮只要 1 次(若 4 个全通过,还能从第 5 个位置的分布再白采 1 个)
图 1:一轮投机采样的三阶段(草案长度 γ = 4 的示例,token 用抽象符号表示)。小模型(左)串行起草 4 个候选,每次前向成本低廉;大模型(中)把 4 个候选拼进上下文做一次前向,并行算出 4 个位置的分布,耗时与解码 1 个 token 几乎相同——这正是 13.1 节 memory-bound 账的直接推论;验收(右)从前往后逐个判,前 3 个落袋、第 4 个被拒后从残差分布重采一个修正 token,本轮净推进 4 个。加速的本质:把串行解码改成了批量验收。

  图 1 的账可以写成公式。设草案模型单步耗时与目标模型单步耗时之比为 \(c\)(远小于 1),单个候选的平均接受率为 \(\alpha\),在候选相互独立的简化假设下,Leviathan et al. 给出的期望加速比为:

\[ \mathbb{E}[\text{加速比}] = \frac{1 - \alpha^{\gamma + 1}}{(1 - \alpha)\,(c\gamma + 1)} \tag{1} \]
公式 (1):投机采样的期望加速比——一轮期望推进的 token 数除以一轮的耗时。符号说明:\(\alpha \in [0,1]\) 是单个草案 token 的平均接受率(13.6.2 会给出它的精确含义:两个分布的重叠面积);\(\gamma\) 是每轮的草案长度;\(c\) 是草案模型单步耗时除以目标模型单步耗时(memory-bound 下单步耗时大致正比于参数量,故 \(c\) 反映两者的体量差距)。分子 \(1 + \alpha + \alpha^2 + \dots + \alpha^{\gamma} = (1 - \alpha^{\gamma+1})/(1-\alpha)\):第一个候选必推进,第二个以概率 \(\alpha\) 存在,依此类推的几何级数;分母 \(c\gamma + 1\) 以「大模型一次前向耗时」为单位:\(\gamma\) 次草案各花 \(c\),一次验收花 \(1\)。两个极端很有说服力:\(\alpha \to 1\) 时分子趋向 \(\gamma + 1\),草案免费(\(c \to 0\))时加速比逼近 \(\gamma + 1\) 倍;\(\alpha \to 0\) 时加速比小于 1,草案全部白写,反而更慢。

  这个算法由两个团队在 2022 年底至 2023 年初几乎同时提出。Google 的 Leviathan et al.(arXiv:2211.17192,ICML 2023)在 T5-XXL(约 11B 参数,配 T5 家族小模型当草案)上报告了 2–3 倍的墙钟加速,并强调输出与标准解码完全相同(identical outputs);DeepMind 的 Chen et al.(arXiv:2302.01318)把它命名为 speculative sampling,在 Chinchilla 70B 上报告了 2–2.5 倍加速,并给出分布不变的严格证明。两篇论文的算法实质相同,本节统称投机采样。后来草案的来源也有了新花样:Medusa(arXiv:2401.10774)给目标模型加装多个预测头、让大模型自己给自己起草,EAGLE(arXiv:2401.15077)改在特征层起草,都是「先猜后验」这一思想的变体,本节不展开。

  minimind 仓库(Apache 2.0)没有实现投机采样:它的 generate 函数(model/model_minimind.py:262 起)是标准的逐 token 解码循环,268 行的 for _ in range(max_new_tokens) 每圈只推进一个 token。本节的描述全部以两篇原始论文为准。不过 minimind 的一个配置可以拿来理解工程约束:它的词表是 6400,草案模型必须与目标模型共享同一套分词与词表,否则「第 \(i\) 个候选 token」在两个模型里根本不是同一个单位,逐 token 验收无从谈起。这也是实践中草案模型常取自同一家族小号成员的原因——13.5 节蒸馏出的小模型就是现成候选。

  注意:词表一致性是硬约束:验收准则要逐 token 比较两个模型对同一个 token 的概率打分,词表不同则单位都对不上。即便词表相同,草案模型的训练数据风格也应尽量贴近目标模型——接受率 \(\alpha\) 直接决定加速比(公式 (1)),风格差得远,草案就白写了。

投机采样 Speculative Decoding speculative = 投机的、猜测性的;先猜后验,赌小模型的猜测多半是对的

一种无损的解码加速算法:小模型(草案模型)先自回归猜出 \(\gamma\) 个候选 token,大模型(目标模型)用一次前向并行验收,通过的候选直接落袋,第一个被拒的位置由大模型亲手修正,本轮至此结束。加速来自「一次前向验证多个 token」:解码的瓶颈是搬运权重的带宽而非算力(13.1 节),一次前向算一个位置还是算 \(\gamma\) 个位置,耗时几乎相同,只要平均接受率足够高,墙钟时间就成倍下降。两篇原始论文都证明了:这套流程产出的序列与直接用大模型采样服从完全相同的分布——加速不以牺牲输出为代价。Chen et al. 把它叫 speculative sampling,两个名字指同一算法。

像老师批改口算作业:学生(小模型)先把一整页算完,老师(大模型)一页扫过去,对的打勾、遇到第一处错误停下改红笔。比老师自己一道道算快得多,而且最终答案与老师亲手算的一样对。

13.6.2 无损性:为什么输出分布不变

  13.6.1 埋了个问题:验收为什么需要概率准则?直接信小模型行不行?不行——那样产出的 token 服从的是小模型的分布 \(q\),不是大模型的分布 \(p\),「加速」是以偷换模型为代价的。投机采样的精髓恰恰在验收准则的数学设计:它把输出分布精确地扳回 \(p\)。记当前位置上大模型的分布为 \(p(\cdot)\)、小模型的分布为 \(q(\cdot)\)(都是词表上的概率分布,minimind 的词表大小为 6400),对小模型抽出的候选 \(x\),两篇原论文给出的验收规则是:

\[ \alpha(x) = \min\!\left(1,\ \frac{p(x)}{q(x)}\right), \qquad x \text{ 被拒时改从 } p'(x) = \mathrm{norm}\big(\max(0,\ p(x) - q(x))\big) \text{ 重采} \tag{2} \]
公式 (2):投机采样的验收准则——候选以 \(p/q\) 之比(封顶为 1)被接受,被拒的位置从「残差分布」重采一个修正 token。符号说明:\(p(x)\) 是目标模型给 token \(x\) 的概率,\(q(x)\) 是草案模型给 \(x\) 的概率,\(\alpha(x)\) 是候选 \(x\) 的接受概率:草案给的概率大模型也认(\(p(x) \geq q(x)\))则必然通过;草案高估了 \(x\)(\(q(x) > p(x)\))则按超额比例打回。\(\mathrm{norm}(\cdot)\) 表示归一化到总和为 1;\(\max(0, p(x) - q(x))\) 是「大模型认为应得、小模型却没给够」的概率质量,归一化后叫残差分布。规则覆盖每个位置:被拒候选之后的草案全部作废,从修正位置起开启新一轮。

  这套准则的直觉可以用「面积」讲清。把两个分布在同一组候选上的柱形叠在一起:重叠部分 \(\min(p, q)\) 是「草案猜得和大模型一样好」的部分,直接落袋;\(q\) 高出 \(p\) 的部分是草案的高估,按 \(p/q\) 的比例打回;\(p\) 高出 \(q\) 的部分是草案的漏估,积攒起来构成拒绝时重采的残差分布——大模型认为该给而草案没给够的 token,修正时优先补回。打回与补课双管齐下,合起来恰好还原 \(p\)。图 2 用 5 个候选的数值小例把这个结构画了出来:

原创示意图 · 非论文原图 验收准则的面积直觉(数值小例:取词表上 5 个候选,可复算;真实词表为 6400) p = 0.30 q = 0.10 q = 0.50 p = 0.20 p = 0.25 q = 0.20 p = 0.15 q = 0.10 q = p = 0.10 甲 乙 丙 丁 戊 平均接受率 = 重叠面积 α = Σ min(p, q) = 0.10 + 0.20 + 0.20 + 0.10 + 0.10 = 0.70 本例平均七成草案被接受 拒绝时的残差分布 norm(max(0, p − q)) ∝ [0.20, 0, 0.05, 0.05, 0] = [0.67, 0, 0.17, 0.17, 0](各项 ÷ 0.30) 甲被低估最多,重采时最常补回它 紫色:重叠 min(p, q),直接落袋 红色:p 比 q 多出的部分,拒绝时从它重采 青色框:q 比 p 多出的部分,按 p/q 比例打回
图 2:验收准则的面积直觉。小模型草案分布 q(青色框)与大模型目标分布 p(紫 + 红)叠在同一组候选上:紫色重叠区是两种分布一致认可的质量,草案落袋;红色区是大模型认为应得、草案没给够的部分,拒绝时从它归一化出的残差分布里重采修正;青色框高出紫柱的部分(如乙)是草案的高估,按 p/q 的比例打回。三者合起来,输出分布恰好还原 p——这就是「无损」的几何图像。

  从图 2 还能读出一个常用结论:平均接受率就是两个分布的重叠面积。候选 \(x\) 从小模型分布 \(q\) 中抽出,期望接受率 \(\mathbb{E}_{x \sim q}[\alpha(x)] = \sum_x q(x)\min(1,\ p(x)/q(x)) = \sum_x \min(p(x),\ q(x))\)。图 2 的例子里重叠面积为 \(0.10 + 0.20 + 0.20 + 0.10 + 0.10 = 0.70\),即平均七成草案被接受。两个分布越像,接受率越高,公式 (1) 的加速比越大——这就是草案模型要同家族、同数据风格的数学理由。

  用三个极端检验这套直觉。\(q = p\) 时接受率恒为 1,草案永远全收,投机采样退化为「小模型免费代笔」,加速比逼近上限;\(q\) 与 \(p\) 毫无重叠时接受率为 0,每轮草案全部作废、只推进修正的那一个 token,白赔草案成本。还有一个工程上最常用的特例:贪心解码。大模型走 argmax 时 \(p\) 是 one-hot 分布,准则退化为「草案 token 恰好等于大模型的 argmax 才接受」,被拒则取 argmax 本身——输出与大模型贪心解码逐 token 相同,这是最严格意义的无损,也是在线服务开启投机采样时的常见形态。

  为什么接受加重采之后分布恰好是 \(p\),两篇原论文都给了严格证明(核心是对每个 token 验证「经接受通道来的概率 + 经重采通道来的概率 = \(p(x)\)」)。本节按手册惯例只讲直觉不证定理,想读证明的读者可对照 Leviathan et al. 附录 A 与 Chen et al. 第 3 节。

  无损的确切含义:投机采样不改模型、不改参数、不改输出分布——同一个大模型、同一套采样参数,开与不开投机采样,产出序列服从完全相同的分布;贪心模式下输出逐 token 相同。代价只有草案模型的额外显存与计算,以及实现复杂度。这与量化(13.4 节)形成鲜明对照:量化用可控的精度损失换带宽,投机采样是纯粹的系统侧免费午餐。

  注释:「无损」是分布层面的数学结论,落地时有三个折扣。其一,浮点运算的非结合性会让并行验收的 logits 与逐 token 解码有尾数级差异,实际输出可能个别分叉;其二,投机采样不省 KV Cache 显存(13.2 节),也不解决多用户调度(13.3 节),三者是正交、可叠加的优化;其三,接受率随任务波动——代码、格式化问答这类结构化程度高的文本接受率高,开放式创作接受率低,\(\gamma\) 宜调小。

13.6.3 推理时扩展:用更多计算换更好答案

  从 13.1 到 13.6.2,本章所有技巧都在回答同一个问题:同样的答案,怎么更快更便宜。推理时扩展(test-time scaling)问反方向的问题:如果延迟和账单允许,多花的计算能不能买到更好的答案?2024 年下半年起,这个问题的答案从「能」变成「能,而且有类似 Scaling Law 的规律」,直接改写了部署侧的成本模型。

  最早成熟的一条路线是 self-consistency(Wang et al., 2022,arXiv:2203.11171,ICLR 2023):同一道题用温度采样独立生成 \(k\) 条思维链(chain-of-thought,让模型先写推理过程再给答案的提示方式,第 11 章与第 14 章均有展开),每条链给出一个最终答案,取多数答案输出:

\[ \hat{a} = \arg\max_{a} \sum_{i=1}^{k} \mathbb{1}[\,a_i = a\,] \tag{3} \]
公式 (3):多数投票——\(k\) 条独立采样链的答案做众数表决。符号说明:\(a_i\) 是第 \(i\) 条思维链的最终答案;\(\mathbb{1}[\cdot]\) 是指示函数,相等为 1、否则为 0;\(k\) 是采样链数;\(\hat{a}\) 是最终输出。思想直白:单条链可能走错路,多数链同时走错同一条路的概率低得多。论文报告在 GSM8K 数学应用题上,相对贪心解码单链,准确率绝对提升 17.9 个百分点(摘要口径)。代价同样直白:成本与延迟约乘 \(k\),且只在「答案短、可表决」的任务上有效——开放式写作没有多数可言。

  第二条路线控制的不是条数而是长度:让模型在回答前生成更长的推理链。长思考的能力本身是训练出来的(第 11 章的 RLVR 正是干这个的),但部署侧也有一个开关。s1 论文(Muennighoff et al., 2025,arXiv:2501.19393)给出了最朴素的版本——预算强制(budget forcing):思考到预设长度就掐断收尾;想延长,则压下思考结束标记、追加一个「Wait」让模型继续想。论文用 1000 条精选推理轨迹微调出的 s1-32B 配合这一开关,在竞赛数学题(MATH 与 AIME24)上最高超过 o1-preview 27 个百分点,一度成为「测试时计算也能扩展」的标志性复现。

  把这条路推到聚光灯下的是 OpenAI 的 o1。2024 年 9 月 12 日的官方博客《Learning to Reason with LLMs》宣布:o1 的性能随强化学习训练计算量(train-time compute)与思考时间(test-time compute)同步提升——两条扩展曲线并存,这是 o1 范式的核心主张。博客给出的 AIME 2024(美国数学邀请赛,面向顶尖高中生的数学竞赛)数字极具冲击力:GPT-4o 平均只能解出 12% 的题目,o1 单样本 74%,64 个样本多数投票到 83%,1000 个样本经学习打分器重排到 93%。图 3 把这些点画在「推理时计算量—准确率」坐标里,从 74% 到 93% 的代价是三个数量级的额外采样。

原创示意图 · 非论文原图 多花推理计算,能买到多少准确率(实线为趋势示意;红点为 o1 博客公布的实测) 准确率 推理时计算量(采样数 / 思考 token 数,对数刻度) 0% 25% 50% 75% 100% GPT-4o:12%(AIME 2024) 多数投票:多采 k 条链(趋势示意) 长思维链:拉长思考预算(趋势示意) 74%|1 个样本 83%|64 样本共识 93%|1000 样本重排 红点连线为 o1 博客公布的 AIME 2024 实测阶梯;两条实线只示意「单调上升、边际递减」的形状,不对应具体数值
图 3:推理时扩展的两种花法与一个实测阶梯。两条实线为趋势示意:多花推理计算(更多采样、更长思考)通常单调提升准确率、但边际递减,曲线不对应具体数值;三个红点与灰色虚线是真实数字——o1 官方博客公布的 AIME 2024 结果:GPT-4o 仅 12%,o1 单样本 74%、64 样本多数投票 83%、1000 样本经学习打分器重排 93%(博客口径,无技术报告)。横轴为对数刻度:从 74% 到 93%,靠的是三个数量级的额外采样。

  注释:o1 的全部数字来自官方博客口径——OpenAI 未发布 o1 的技术报告,模型细节、训练方法与评测设置均不公开,外界无法独立复现。读这组数字的正确姿势是把它当方向性证据(推理时计算量确实能换准确率),而不当可复现的基准结论。另外,推理时扩展不改模型权重,是纯粹的部署侧旋钮,与第 11 章「把长思考能力训进权重」分工明确:第 11 章负责「会不会想」,本节负责「愿意想多久」。

推理时扩展 Test-time Scaling scaling = 扩展;性能随推理阶段投入的计算量增长而提升的现象与做法

又称测试时计算扩展:不改模型、不改权重,通过在推理阶段投入更多计算来提升答案质量,包括多采几条候选做表决、延长思维链、让打分器重排候选。它与训练侧的 Scaling Law(第 6 章)对应:训练侧是性能随训练算力按幂律提升,推理侧是性能随推理算力(对数刻度下)近似线性提升。代价是延迟与费用同步上涨,因此需要分配部署预算:简单请求一次生成,困难请求再增加推理计算。

像考试时间的分配:简单题扫一眼写答案,压轴题值得留出半小时打三遍草稿。推理时扩展就是给模型争取「打草稿」的预算。

13.6.4 本章总回顾

  第 13 章各节都围绕 13.1 节的两类瓶颈展开:解码阶段反复从显存读取权重所占的带宽,以及逐 token 串行计算带来的等待。下面用一张表对照各节采用的优化方法:

节对付什么手段代价与性质
13.1 成本结构——(算账)定位瓶颈:显存带宽、串行解码全章出发点
13.2 KV Cache重复计算缓存历史 K/V,每步只算新 token显存换速度,无损
13.3 服务化单请求浪费算力连续批处理 + PagedAttention系统调度,无损
13.4 量化带宽本身权重从 FP16 压到 INT8 / INT4可控精度损失,有损
13.5 蒸馏模型本身太大大模型教小模型精度靠重训补回,有损
13.6 投机采样串行等待小模型起草、大模型并行验收分布不变,无损
13.6 推理时扩展(反向)答案不够好多采样表决、拉长思考链成本换质量

  这些手段大多正交:KV Cache 是解码的事实标准,连续批处理与 PagedAttention 解决多用户,量化压缩权重的字节数,蒸馏直接换小模型,投机采样消灭串行空转——一套生产系统通常同时开着其中好几样,量化加投机采样加连续批处理并不冲突。推理时扩展是唯一的反向旋钮:别人省钱,它花钱。部署的艺术很大程度就是在这张菜单上按预算点菜:延迟敏感的前台对话开足无损加速,离线批处理与困难推理任务才轮到多采样与长思考。

  模型部署好了,接下来的问题是「怎么用它」:提示词怎么写、知识怎么外挂、工具怎么调用、多步任务怎么编排。这些应用层范式是第 14 章的主题,也是手册主线的下一章。

🧭本节要点回顾
投机采样为什么能加速,加速倍数由什么决定?
解码的瓶颈是搬运权重的带宽而非算力,大模型一次前向验证 \(\gamma\) 个候选的耗时与解码 1 个 token 几乎相同;小模型起草、大模型并行验收,把串行解码改成批量验证。加速比由公式 (1) 给出:平均接受率 \(\alpha\)(两个分布的重叠面积)越高、草案成本 \(c\) 越低,加速越大;\(\alpha\) 太低时反而更慢。出处是并发的两篇:Leviathan et al.(T5-XXL 2–3 倍)与 Chen et al.(Chinchilla 70B 2–2.5 倍)。
「无损」保住了什么,验收准则凭什么做到无损?
保住的是输出分布:投机采样的产出与直接用大模型采样服从同一分布(贪心模式下逐 token 相同)。准则 \(\alpha(x) = \min(1, p(x)/q(x))\) 按超额比例打回小模型高估的 token,拒绝时从残差分布 \(\mathrm{norm}(\max(0, p - q))\) 补回小模型漏估的 token,两条通道合起来恰好还原 \(p\)。注意无损是分布层面的结论;它不省 KV Cache 显存,与量化、批处理正交可叠加。
推理时扩展与投机采样方向相反,它换到了什么?
投机采样用空闲算力省时间,推理时扩展主动多花钱换准确率:self-consistency 多数投票在 GSM8K 上绝对提升 17.9 个百分点(成本约乘 \(k\)),budget forcing 直接控制思考长度,o1 博客给出 AIME 74%→83%→93% 的阶梯(博客口径,无技术报告)。它不改权重,是部署侧旋钮——与第 11 章「把长思考能力训进模型」的分工要分清。

参考来源

  • Leviathan et al., 2023. Fast Inference from Transformers via Speculative Decoding(ICML 2023,arXiv:2211.17192):投机采样算法本体、验收准则与残差分布(公式 (2))、独立同分布假设下的期望加速比(公式 (1))、T5-XXL 上 2–3 倍墙钟加速与输出完全相同(identical outputs)的声明;已核对 arXiv 原文与 PMLR 正式版。
  • Chen et al., 2023. Accelerating Large Language Model Decoding with Speculative Sampling(DeepMind,arXiv:2302.01318):speculative sampling 的命名、输出分布不变的严格证明、Chinchilla 70B 上 2–2.5 倍加速;已核对 arXiv 摘要页与正文方法节。
  • Wang et al., 2022. Self-Consistency Improves Chain of Thought Reasoning in Language Models(ICLR 2023,arXiv:2203.11171):多条思维链采样加多数投票,GSM8K 相对贪心解码绝对提升 17.9 个百分点(摘要口径);已核对 arXiv 摘要页。
  • Muennighoff et al., 2025. s1: Simple test-time scaling(arXiv:2501.19393):预算强制(budget forcing)机制(到长截断、或压下结束标记并追加 Wait 延长思考)、s1-32B 在 MATH 与 AIME24 上最高超过 o1-preview 27 个百分点;已核对 arXiv 摘要页。
  • OpenAI, 2024-09-12. Learning to Reason with LLMs(官方博客,无技术报告):train-time compute 与 test-time compute 双扩展的主张、AIME 2024 数字(GPT-4o 12%、o1 单样本 74%、64 样本共识 83%、1000 样本经学习打分器重排 93%);博客口径,无法独立复现。
  • Cai et al., 2024. Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads(arXiv:2401.10774);Li et al., 2024. EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty(arXiv:2401.15077):草案来源的两个变体(多预测头、特征层起草),正文一笔带过;已核对 arXiv 摘要页。
  • minimind(Apache 2.0),model/model_minimind.py:generate 函数(262 行起)为逐 token 解码循环(268 行 for 循环每圈推进一个 token),未实现投机采样;词表 6400 用于图 2 的维度说明。