12.2 采样三件套:temperature、top-k、top-p

本页范围:第 12 章第 2 节 | 整理时间:2026-10-09

快速浏览

核心问题12.1 节把一步解码拆成「logits → 修正 → softmax → 选词」四环节,但「修正」这一站还是个黑盒:温度、top-k、top-p 三个旋钮各自怎么改变概率分布?联合使用时谁先谁后,顺序会不会影响结果?
本节主张三件套分工明确:温度只改分布的形状(锐度),不砍任何候选;top-k 与 top-p 负责砍尾巴,一个固定名额、一个按累计概率动态定名额。三者按「温度 → 重复惩罚 → top-k → top-p → 抽样」的顺序串成一条修正链,顺序不是摆设。
一句话结论温度管「敢不敢冒险」(T<1 保守、T>1 奔放、T→0 退化为 argmax),top-p 以动态名额解决了 top-k 固定名额的两个毛病,是当前的主流默认;minimind 的真实顺序与默认值可以直接在 generate 函数里读到。
关键词
temperaturetop-ktop-pnucleus sampling重复惩罚min-pmultinomial截断采样

  12.1 节走完了一步解码的全程:模型吐出词表大小的 logits(minimind 的词表是 6400),经一条修正链整形,softmax 成概率分布,最后从中选出一个 token。其中「修正」一站集中了推理期最常用的三个旋钮——温度、top-k、top-p,人称采样三件套。它们不改变模型的一个参数,却能左右最终文本的风格与质量:同一模型,参数一换,回答可以严谨如公文,也可以奔放到离谱。本节就把这一站拆开,逐个旋钮讲清机制、数值效果与联合使用的顺序。

  本节按「形状 → 截断 → 联合 → 进阶」的顺序展开,路线图如下:

  1. 温度:调节分布的锐度(数学见附录 A.3)(12.2.1):一个除数如何让分布在「尖锐」与「平坦」之间滑动,附可复算的数值小例;
  2. top-k 与 top-p:截断尾巴的两种刀法(12.2.2):固定名额与动态名额的对决,nucleus sampling 的提出动机;
  3. 三件套的联合使用:顺序与相互作用(12.2.3):照 minimind 的真实代码顺序走一遍,看清哪些先后关系有影响、哪些没有;
  4. 进阶抽样:min-p、重复惩罚与对比搜索(12.2.4):三件套的短板与补丁,一行一个讲清思路。

  读完本节,应该能手算一个小型分布在任意温度下的形状,说清 top-p 凭什么取代 top-k 成为主流默认,并能照着 minimind(Apache 2.0)的 generate 函数复述整条修正链。softmax 与温度的数学基础(配分函数、指数的放大效应)在附录 A.3 有完整铺垫,本节直接站在上面看效果。

  图 1 展示 logits 经过温度、重复惩罚、top-k 和 top-p 等步骤的修正过程,后续各节分别说明每一步的作用。

原创示意图 · 非论文原图 局部放大:一步解码的修正链——logits 逐站变形(数值小例:logits = [3, 2, 1, 0],可复算) ① 原始 logits 模型输出 6400 维 此处画前 4 名 3.0 2.0 1.0 0.0 甲 乙 丙 丁 softmax(T = 1): 0.64 · 0.24 · 0.09 · 0.03 站 2 起在此分布上演示 ② 温度:改形状 logits ÷ T,不动名单 T = 0.5(变尖) 0.86 0.12 0.02 0.00 T = 2(变平) 0.46 0.28 0.17 0.10 T < 1 保守:热门更热 T > 1 奔放:冷门有机会 minimind 默认 T = 0.85 ③ top-k:砍尾巴 固定名额 k = 2 0.64 0.24 −∞ −∞ 甲 乙 丙 丁 低于第 k 名置 −∞ 归一化:0.73 · 0.27 model_minimind.py:276–277 ④ top-p:再收 动态名额 p = 0.85 0.64 0.24 −∞ −∞ 甲 乙 丙 丁 累计 0.64 → 0.88 ≥ 0.85 核 = 前 2 名:0.73 · 0.27 model_minimind.py:278–282 ⑤ 抽样:选词 multinomial 按概率抽 0.73 0.27 甲 乙 输出:1 个 token 接回输入,算下一步 model_minimind.py:283 数字为正文数值小例(logits = [3, 2, 1, 0],词表实为 6400 维、此处只画前 4 名);截断的置 −∞ 规则与 minimind generate(272–283 行)一致
图 1:一步解码修正链的局部放大,五站流水线(本例恰好 top-k = 2 与 top-p = 0.85 留下同样的核,纯属数字巧合,机制完全不同,12.2.2 展开)。原始 logits(站 1,词表 6400 维、画前 4 名)先被温度整形(站 2,T < 1 变尖、T > 1 变平),再经 top-k 固定名额截断(站 3,低于第 k 名置 −∞)与 top-p 累计概率截断(站 4,累计首次达到 p 即止),最后 multinomial 按归一化后的概率抽出 1 个 token(站 5),接回输入进入下一步。重复惩罚一站未画出,它在代码里位于温度与 top-k 之间,见 12.2.4。

12.2.1 温度:调节分布的锐度(数学见附录 A.3)

  模型每走一步,吐出的是词表上 6400 个分数(logits),分数有正有负、可大可小。softmax 负责把它们转成概率,而在进 softmax 之前,所有分数先除以一个数 \(T\)——这就是温度。它是整个修正链里最简单的旋钮:不增删任何候选,只拉伸或压缩分数之间的差距:

\[ p_i = \frac{\exp(x_i / T)}{\sum_{j=1}^{V} \exp(x_j / T)} \tag{1} \]
公式 (1):带温度的 softmax——所有分数先除以 \(T\) 再做指数归一化。符号说明:\(x_i\) 是模型为词表第 \(i\) 个 token 打出的 logit(原始分数,可为正可负);\(T > 0\) 是温度;\(V\) 是词表大小(minimind 为 6400);\(p_i\) 是第 \(i\) 个 token 被选中的概率。指数函数对差距很敏感:\(T\) 小则 \(x_i / T\) 的差距被放大,概率向高分集中;\(T\) 大则差距被压缩,分布趋向均匀。数学细节(为什么用指数、配分函数的作用)见附录 A.3。

  直觉类比:温度是模型答题时的「胆子」。低温像谨慎的考生,几乎只写最有把握的选项;高温像爱冒险的考生,冷门选项也敢试试。CTRL 论文(Keskar et al., 2019)把这个极限行为写得很明白:\(T \to 0\) 时分布退化为只认最高分的贪心分布,\(T \to \infty\) 时分布被拉平成均匀分布。用一个小例把中间过程算出来。设某一步前 4 名候选的 logits 为 \([3, 2, 1, 0]\),代入公式 (1):

温度除以 T 后的分数softmax 概率行为解读
\(T = 0.5\)(低温)[6, 4, 2, 0][0.86, 0.12, 0.02, 0.00]变尖:第一名拿走约八成六的概率,接近独断
\(T = 1\)(不动)[3, 2, 1, 0][0.64, 0.24, 0.09, 0.03]原样:模型的本来面目
\(T = 2\)(高温)[1.5, 1, 0.5, 0][0.46, 0.28, 0.17, 0.10]变平:第四名从 3% 涨到 10%,冷门明显有机会

  三种温度下候选的排名始终没变——温度是严格单调的变换(全体除以同一个正数),只改概率的分配比例,不改谁前谁后。这一点 12.2.3 讲联合顺序时还会用到。工程上的取值很讲究分寸:minimind 的 generate 签名默认 \(T = 0.85\)(model/model_minimind.py:262),eval_llm.py 的命令行默认同样是 0.85(eval_llm.py:43)——比 1 略低,轻轻压掉一些尾巴的噪音,又不至于锁死多样性。

温度 Temperature temperature = 温度;借自统计物理,调控分布的「活跃程度」

采样语境下的温度是 softmax 前的一个除数 \(T\):所有 logit 先除以它再算概率。\(T < 1\) 放大分数差距,分布变尖,模型更保守、输出更确定可预期;\(T > 1\) 压缩差距,分布变平,输出更随机更多样;\(T \to 0\) 的极限就是 argmax(只选第一名)。它只改变「从分布里怎么挑」,不改变分布由谁定义——分布本身是训练出来的(第 6–11 章)。这个名字借自统计物理:物理系统温度越高,粒子分布越无序,类比到采样就是概率越发散。

像点菜的保守程度:低温是「只点招牌菜」,高温是「菜单背面没听过的也敢试」,温度趋零就是永远只点第一名那道菜。

  注意:把 temperature 设为 0 指望贪心解码是不可靠的:minimind 直接拿它当除数(logits / temperature,model/model_minimind.py:272),\(T = 0\) 就是除零。想要确定性的贪心输出,正确开关是 do_sample=False——第 283 行会改走 argmax 分支,与温度彻底无关。

  温度的职责边界:只改形状,不砍候选。无论温度多低,6400 个候选都在候选席上,尾巴上的低概率 token 仍有非零机会被抽中。真正把候选踢出场的,是下一小节的两种截断刀法。

12.2.2 top-k 与 top-p:截断尾巴的两种刀法

  为什么只调温度还不够?算一笔长尾账:词表 6400 个候选,哪怕尾巴上每个 token 只有万分之一概率,几千条尾巴加起来也是一块不容忽视的总质量——纯采样迟早会抽中一个离谱的词。温度只能整体压缩差距,没法把任何候选的概率真正清零。解决办法很直接:采样前先把候选集合砍小。第一把刀是 top-k 采样,由 Fan et al. 2018 在分层故事生成工作中引入(arXiv:1805.04833):每步只保留概率最高的 \(k\) 个候选,其余全部砍掉,剩下的重新归一化再抽:

\[ \tilde{p}_i = \frac{p_i \cdot \mathbb{1}[\,i \in \mathcal{S}_k\,]}{\sum_{j \in \mathcal{S}_k} p_j}, \qquad \mathcal{S}_k = \{\text{概率最高的 } k \text{ 个 token}\} \tag{2} \]
公式 (2):截断采样的通用形式——核外候选概率清零,核内按原比例重新归一化。符号说明:\(\mathcal{S}_k\) 是保留下来的候选集合(top-k 时是前 \(k\) 名,top-p 时是核 \(\mathcal{N}\),见公式 (3));\(\mathbb{1}[\cdot]\) 是指示函数,条件成立为 1、否则为 0;分子把核外概率清零,分母让核内概率重新加起来等于 1。minimind 的实现更省事:不进 softmax,直接在 logits 上把低于第 \(k\) 名的分数置为 \(-\infty\)(276–277 行),\(\exp(-\infty) = 0\),softmax 后效果与公式 (2) 完全一致。

  top-k 简单有效,但名额 \(k\) 是写死的,而分布的形状每步都在变,于是一个固定名额要同时应付两种极端:分布平坦时,第 \(k\) 名之外还排着一长串同样合理的候选,硬砍属于误伤;分布尖锐时,第一名已拿走九成概率,剩下的名额纯属硬凑,把不像样的尾巴也放进了候选席。Holtzman et al. 2019 在 nucleus sampling 论文(arXiv:1904.09751)里给出了第二把刀:不按名次数人头,按累计概率划圈子——候选从大到小排序,累加概率,首次达到阈值 \(p\) 就停,圈内的留下:

\[ k^* = \min\left\{ k:\ \sum_{i=1}^{k} p_{(i)} \geq p \right\}, \qquad \mathcal{N} = \{ (1), (2), \dots, (k^*) \} \tag{3} \]
公式 (3):top-p(nucleus sampling)的核——名额 \(k^*\) 本身成了分布的函数。符号说明:\(p_{(1)} \geq p_{(2)} \geq \dots\) 是概率从大到小排序后的序列(下标加括号表示名次);\(p\) 是预设的累计概率阈值(如 0.85);\(k^*\) 是让累计概率首次达到 \(p\) 的最小名额;\(\mathcal{N}\) 叫核(nucleus),即保留下来的候选集合,之后按公式 (2) 归一化再采样。minimind 的实现(278–282 行)有个细节值得记住:掩码由「累计概率严格大于 \(p\)」生成,再整体右移一格、首位强制置 0——这个右移动作恰好保住「阈值线上第一个跨界者」,使实现与公式 (3) 的语义吻合。
核采样 Nucleus Sampling nucleus = 核心、原子核;只从概率分布的「核」里采样

即 top-p 采样:每步把候选按概率从高到低排序,从第一名开始累加,累计概率首次达到阈值 \(p\)(如 0.85)就停,圈到的候选构成「核」,核外全部清零。与 top-k 的本质区别在于名额是动态的:分布平坦时核自动变大(可能几十上百个),分布尖锐时核自动变小(可能只剩一个)。论文的出发点是对「神经文本退化」的诊断:以最大化似然为目标的解码(贪心、beam search)会产出干瘪、奇怪重复的文本,而人写的文本在概率分布上有系统性差异——作者据此主张,采样时应当信任分布的主体,但截断不可靠的尾部。

像聚餐点菜按「吃到八分饱」划线,而不是固定点 5 道菜:菜量大时少点几道就够,菜量小时多点几道才不亏——名额跟着实际需要走。

  用 12.2.1 的数值小例看两刀的下刀位置。\(T = 1\) 时分布为 \([0.64, 0.24, 0.09, 0.03]\):top-k 取 \(k = 2\),留下前两名,归一化后得 \([0.73, 0.27]\);top-p 取 \(p = 0.85\),累计概率 \(0.64\) 不够、加到 \(0.88\) 首次越过阈值,核同样是前两名,归一化也是 \([0.73, 0.27]\)。本例两刀同结果纯属数字巧合——换一个分布,两者立刻分道扬镳。图 2 把两种典型分布摆在一起对照:

原创示意图 · 非论文原图 top-k = 2 与 top-p = 0.8 在两种分布上的行为对比(数值小例,可复算) 平坦分布 候选都差不多 尖锐分布 第一名独大 原始分布 0.30 0.27 0.23 0.20 top-k = 2 0.30 0.27 −∞ −∞ 误伤:砍掉 0.43 的合理质量 top-p = 0.8 0.30 0.27 0.23 −∞ 累计 0.80 达标:核放到 3 个 原始分布 0.92 0.05 0.02 0.01 top-k = 2 0.92 0.05 −∞ −∞ 硬凑:0.05 的尾巴占走一个名额 top-p = 0.8 0.92 −∞ −∞ −∞ 0.92 已超 0.8:核收紧到 1 个
图 2:固定名额与动态名额的分歧(柱高为各行内相对比例,柱顶数值为准)。上排是平坦分布 \([0.30, 0.27, 0.23, 0.20]\):top-k = 2 把同样合理的第三、四名砍掉(合计 0.43 的概率质量被误伤),top-p = 0.8 累计到 0.80 才收刀、核放宽到 3 个;下排是尖锐分布 \([0.92, 0.05, 0.02, 0.01]\):top-k = 2 名额没处用、硬把 0.05 的尾巴留在候选席,top-p 在第一名就已越过阈值、核收紧到 1 个。名额随分布形状伸缩,正是 top-p 相对 top-k 的核心改进。

  两刀的分歧在图 2 里一目了然,落成一张对照表:

维度top-ktop-p(nucleus sampling)
截断标准名次:只留前 \(k\) 名累计概率:留到首次达到阈值 \(p\)
名额固定,每步都是 \(k\) 个动态,随分布形状每步变化
分布平坦时误伤第 \(k\) 名之外的合理候选核自动放大,合法候选留住
分布尖锐时名额硬凑,尾巴混进候选席核自动收紧,可以只剩 1 个
出处Fan et al., 2018(arXiv:1805.04833)Holtzman et al., 2019(arXiv:1904.09751)
minimind 默认top_k = 50(generate 签名)top_p = 0.85(generate 签名);eval_llm.py 命令行为 0.95

  top-p 把「留几个候选」从一个写死的超参数,变成了分布形状的函数:模型自信时核小、困惑时核大。这一自适应正是它取代 top-k 成为主流默认的原因——minimind 两个旋钮都保留了(默认 top_k = 50、top_p = 0.85 同时生效),实战中真正起截断作用的一般是 top-p。

12.2.3 三件套的联合使用:顺序与相互作用

  三个旋钮单独看都不复杂,放到一条链上就要回答谁先谁后。这件事不用猜,minimind 的 generate 把工业界的标准顺序写得明明白白(model/model_minimind.py:272–283),逐步对照:

  1. 温度(272 行):logits = outputs.logits[:, -1, :] / temperature——取最后一位的 logits,先除温度;
  2. 重复惩罚(273–275 行):对序列中已出现过的 token 改分,正分除以惩罚系数、负分乘以惩罚系数(12.2.4 细讲);
  3. top-k(276–277 行):低于第 \(k\) 名的 logit 置 \(-\infty\);
  4. top-p(278–282 行):排序、累计、掩码右移,核外置 \(-\infty\);
  5. 选词(283 行):do_sample=True 时 torch.multinomial 按 softmax 概率抽样,否则 argmax。

  这个顺序里藏着两条值得说透的道理。第一条:温度与 top-k 谁先谁后其实无所谓。12.2.1 说过温度是严格单调变换,不改变候选的排名,而 top-k 只看排名,所以无论先除温度还是先截断,留下的都是同一批前 \(k\) 名。第二条:温度与 top-p 的先后必须有讲究。top-p 看的是 softmax 之后的累计概率,而温度恰恰改变 softmax 的形状——同一个分布,\(T = 0.5\) 时核可能只有 1 个候选,\(T = 2\) 时核可能有 5 个。把温度放在 top-p 之前(如 minimind),意味着「先把分布调成想要的锐度,再按调好的形状定核」;反过来先 top-p 后温度,核是按原始锐度定的,温度的整形作用就被架空了一半。重复惩罚排在两条截断之前同样有道理:被罚的 token 分数下调后,可能直接掉出前 \(k\) 名,先罚再砍,名单才反映最新的分数。

  还有一条容易忽视的边界:do_sample=False 时三件套大半失效。argmax 只认第一名,温度不改变排名所以不影响结果,top-k(\(k \geq 1\))与 top-p(掩码右移永远保住第一名)也都砍不到第一名头上——唯一能改变 argmax 结果的修正项是重复惩罚。理解了这一层,就不会奇怪为什么「贪心模式下只调温度」看不到任何变化。

  默认值层面,minimind 留了两套口径,读代码时别混淆:generate 函数签名(262 行)是 temperature=0.85, top_p=0.85, top_k=50, max_new_tokens=8192, eos_token_id=2;而交互脚本 eval_llm.py 的命令行参数(42–44 行)是 temperature 0.85, top_p 0.95, max_new_tokens 8192,且实际调用时把 repetition_penalty 固定为 1(即关闭惩罚,86 行)。函数签名是兜底默认,脚本参数是推荐手感,两者并存是开源项目的常态。

  注释:修正链的顺序没有统一标准,各框架不尽相同。换框架(vLLM、Hugging Face、llama.cpp)时,值得先翻一眼文档或源码确认温度、惩罚、截断的相对顺序——同一组参数值在不同顺序下产出不同分布,「参数照抄却换了味道」多半由此而来。

12.2.4 进阶抽样:min-p、重复惩罚与对比搜索

  三件套是主力,但不是全部。围绕它们的短板,近年又长出几个常用的补丁,按「截断改进、罚分机制、确定性替代」各介绍一个。

  min-p:给阈值装上自适应缩放。top-p 的阈值 \(p\) 是绝对的:无论模型这步是胸有成竹还是一片迷茫,都按同一个 0.85 划圈。min-p(Nguyen et al., 2024,arXiv:2407.01082)把阈值改成相对的——只保留概率不低于 \(\alpha \cdot p_{\max}\) 的候选:

\[ \mathcal{N}_{\mathrm{min\text{-}p}} = \left\{ i:\ p_i \geq \alpha \cdot p_{\max} \right\} \tag{4} \]
公式 (4):min-p 的核——阈值跟着本步的最大概率走。符号说明:\(p_i\) 是第 \(i\) 个候选的概率;\(p_{\max}\) 是本步第一名(概率最高者)的概率;\(\alpha\) 是预设的比例系数(如 0.1)。模型自信时 \(p_{\max}\) 大、门槛水涨船高,核自动收紧;模型困惑时 \(p_{\max}\) 小、门槛随之放低,核自动放宽。论文报告它在高温设置下比 top-p 更好地兼顾质量与多样性,并已被 Hugging Face Transformers、vLLM 等主流推理框架收录(已核对 arXiv 摘要页)。

  重复惩罚:不砍候选,改分数。截断两刀都是「一刀切」的硬屏蔽,重复惩罚走的是另一条路:对已经在序列里出现过的 token 降低分数,让它们在抽样中失宠但不至于绝迹。这个机制的出处是 CTRL 论文(Keskar et al., 2019,arXiv:1909.05858)的 penalized sampling:论文报告 \(\theta \approx 1.2\) 的惩罚配合贪心采样,能在「如实作答」与「避免重复」之间取得平衡,并明确指出这是推理期技巧、不参与训练。有一处实现细节值得点破:CTRL 原式对已出现 token 的分数统一除以 \(\theta\),而 \(\theta > 1\) 时负分数除以它会变得更接近 0(概率反而被抬高);今天的实现普遍修正为「正分除、负分乘」,两个方向都只压低不抬高,minimind 第 275 行的 torch.where(score > 0, score / rp, score * rp) 正是这个修正版。minimind 函数签名的默认值是 repetition_penalty=1.0,即不惩罚(262 行)。

  对比搜索:退回确定性解码。前述采样方法都从概率分布中随机抽样,Su et al. 2022(arXiv:2202.06417)提出的对比搜索(contrastive search)则采用确定性解码,每步在高概率候选中挑「与上文表示差异最大」的那个,用表示层面的对比度同时压住重复与跑题。论文把退化的根源之一归于 token 表示的各向异性(embedding 挤在狭窄锥形区域,语义区分度差),并配套了对比训练目标 SimCTG。当场景要求输出完全可复现时,确定性解码是一条与采样平行的路线。

  注释:无论三件套还是进阶补丁,改变的都只是「从分布里怎么挑」,分布本身的形状是训练(第 6–11 章)定下的。采样参数补不了能力的课,好模型却可能被烂参数毁掉——这条结论的完整展开放在 12.5 节。采样之外的系统工程(KV Cache、量化、投机采样)则全部留给第 13 章。

🧭本节要点回顾
温度和 top-k / top-p 的分工有什么不同?
温度只改分布形状:全体 logits 除以 \(T\) 再做 softmax,\(T < 1\) 变尖、\(T > 1\) 变平、\(T \to 0\) 退化为 argmax,但 6400 个候选一个不少。top-k 与 top-p 负责砍候选:核外置 \(-\infty\),softmax 后概率严格为 0。另注意 \(T = 0\) 不等于贪心——minimind 拿它当除数会除零,贪心应走 do_sample=False 的 argmax 分支。
top-p 凭什么比 top-k 更受欢迎?
top-k 名额写死:分布平坦时误伤第 \(k\) 名之外的合理候选,尖锐时又硬凑名额放进尾巴。top-p 按累计概率划圈,核的大小随分布形状伸缩——自信时收紧到 1 个、困惑时放宽到几十个。minimind 实现里的掩码右移一格是个关键细节:它保住了「累计概率首次越过阈值的那一个候选」,使实现与公式语义吻合。
minimind 的修正链按什么顺序执行,哪些先后关系真的影响结果?
顺序为温度 → 重复惩罚 → top-k → top-p → multinomial 抽样(model_minimind.py:272–283)。温度是单调变换、不改排名,与 top-k 谁先谁后无影响;但 top-p 依赖 softmax 后的概率形状,必须在温度之后才有意义;重复惩罚会改变排名,必须排在两条截断之前。do_sample=False 时只有重复惩罚可能改变 argmax 结果。

参考来源