12.2 采样三件套:temperature、top-k、top-p
本页范围:第 12 章第 2 节 | 整理时间:2026-10-09
12.1 节走完了一步解码的全程:模型吐出词表大小的 logits(minimind 的词表是 6400),经一条修正链整形,softmax 成概率分布,最后从中选出一个 token。其中「修正」一站集中了推理期最常用的三个旋钮——温度、top-k、top-p,人称采样三件套。它们不改变模型的一个参数,却能左右最终文本的风格与质量:同一模型,参数一换,回答可以严谨如公文,也可以奔放到离谱。本节就把这一站拆开,逐个旋钮讲清机制、数值效果与联合使用的顺序。
本节按「形状 → 截断 → 联合 → 进阶」的顺序展开,路线图如下:
- 温度:调节分布的锐度(数学见附录 A.3)(12.2.1):一个除数如何让分布在「尖锐」与「平坦」之间滑动,附可复算的数值小例;
- top-k 与 top-p:截断尾巴的两种刀法(12.2.2):固定名额与动态名额的对决,nucleus sampling 的提出动机;
- 三件套的联合使用:顺序与相互作用(12.2.3):照 minimind 的真实代码顺序走一遍,看清哪些先后关系有影响、哪些没有;
- 进阶抽样:min-p、重复惩罚与对比搜索(12.2.4):三件套的短板与补丁,一行一个讲清思路。
读完本节,应该能手算一个小型分布在任意温度下的形状,说清 top-p 凭什么取代 top-k 成为主流默认,并能照着 minimind(Apache 2.0)的 generate 函数复述整条修正链。softmax 与温度的数学基础(配分函数、指数的放大效应)在附录 A.3 有完整铺垫,本节直接站在上面看效果。
图 1 展示 logits 经过温度、重复惩罚、top-k 和 top-p 等步骤的修正过程,后续各节分别说明每一步的作用。
12.2.1 温度:调节分布的锐度(数学见附录 A.3)
模型每走一步,吐出的是词表上 6400 个分数(logits),分数有正有负、可大可小。softmax 负责把它们转成概率,而在进 softmax 之前,所有分数先除以一个数 \(T\)——这就是温度。它是整个修正链里最简单的旋钮:不增删任何候选,只拉伸或压缩分数之间的差距:
直觉类比:温度是模型答题时的「胆子」。低温像谨慎的考生,几乎只写最有把握的选项;高温像爱冒险的考生,冷门选项也敢试试。CTRL 论文(Keskar et al., 2019)把这个极限行为写得很明白:\(T \to 0\) 时分布退化为只认最高分的贪心分布,\(T \to \infty\) 时分布被拉平成均匀分布。用一个小例把中间过程算出来。设某一步前 4 名候选的 logits 为 \([3, 2, 1, 0]\),代入公式 (1):
| 温度 | 除以 T 后的分数 | softmax 概率 | 行为解读 |
|---|---|---|---|
| \(T = 0.5\)(低温) | [6, 4, 2, 0] | [0.86, 0.12, 0.02, 0.00] | 变尖:第一名拿走约八成六的概率,接近独断 |
| \(T = 1\)(不动) | [3, 2, 1, 0] | [0.64, 0.24, 0.09, 0.03] | 原样:模型的本来面目 |
| \(T = 2\)(高温) | [1.5, 1, 0.5, 0] | [0.46, 0.28, 0.17, 0.10] | 变平:第四名从 3% 涨到 10%,冷门明显有机会 |
三种温度下候选的排名始终没变——温度是严格单调的变换(全体除以同一个正数),只改概率的分配比例,不改谁前谁后。这一点 12.2.3 讲联合顺序时还会用到。工程上的取值很讲究分寸:minimind 的 generate 签名默认 \(T = 0.85\)(model/model_minimind.py:262),eval_llm.py 的命令行默认同样是 0.85(eval_llm.py:43)——比 1 略低,轻轻压掉一些尾巴的噪音,又不至于锁死多样性。
采样语境下的温度是 softmax 前的一个除数 \(T\):所有 logit 先除以它再算概率。\(T < 1\) 放大分数差距,分布变尖,模型更保守、输出更确定可预期;\(T > 1\) 压缩差距,分布变平,输出更随机更多样;\(T \to 0\) 的极限就是 argmax(只选第一名)。它只改变「从分布里怎么挑」,不改变分布由谁定义——分布本身是训练出来的(第 6–11 章)。这个名字借自统计物理:物理系统温度越高,粒子分布越无序,类比到采样就是概率越发散。
注意:把 temperature 设为 0 指望贪心解码是不可靠的:minimind 直接拿它当除数(logits / temperature,model/model_minimind.py:272),\(T = 0\) 就是除零。想要确定性的贪心输出,正确开关是 do_sample=False——第 283 行会改走 argmax 分支,与温度彻底无关。
温度的职责边界:只改形状,不砍候选。无论温度多低,6400 个候选都在候选席上,尾巴上的低概率 token 仍有非零机会被抽中。真正把候选踢出场的,是下一小节的两种截断刀法。
12.2.2 top-k 与 top-p:截断尾巴的两种刀法
为什么只调温度还不够?算一笔长尾账:词表 6400 个候选,哪怕尾巴上每个 token 只有万分之一概率,几千条尾巴加起来也是一块不容忽视的总质量——纯采样迟早会抽中一个离谱的词。温度只能整体压缩差距,没法把任何候选的概率真正清零。解决办法很直接:采样前先把候选集合砍小。第一把刀是 top-k 采样,由 Fan et al. 2018 在分层故事生成工作中引入(arXiv:1805.04833):每步只保留概率最高的 \(k\) 个候选,其余全部砍掉,剩下的重新归一化再抽:
top-k 简单有效,但名额 \(k\) 是写死的,而分布的形状每步都在变,于是一个固定名额要同时应付两种极端:分布平坦时,第 \(k\) 名之外还排着一长串同样合理的候选,硬砍属于误伤;分布尖锐时,第一名已拿走九成概率,剩下的名额纯属硬凑,把不像样的尾巴也放进了候选席。Holtzman et al. 2019 在 nucleus sampling 论文(arXiv:1904.09751)里给出了第二把刀:不按名次数人头,按累计概率划圈子——候选从大到小排序,累加概率,首次达到阈值 \(p\) 就停,圈内的留下:
即 top-p 采样:每步把候选按概率从高到低排序,从第一名开始累加,累计概率首次达到阈值 \(p\)(如 0.85)就停,圈到的候选构成「核」,核外全部清零。与 top-k 的本质区别在于名额是动态的:分布平坦时核自动变大(可能几十上百个),分布尖锐时核自动变小(可能只剩一个)。论文的出发点是对「神经文本退化」的诊断:以最大化似然为目标的解码(贪心、beam search)会产出干瘪、奇怪重复的文本,而人写的文本在概率分布上有系统性差异——作者据此主张,采样时应当信任分布的主体,但截断不可靠的尾部。
用 12.2.1 的数值小例看两刀的下刀位置。\(T = 1\) 时分布为 \([0.64, 0.24, 0.09, 0.03]\):top-k 取 \(k = 2\),留下前两名,归一化后得 \([0.73, 0.27]\);top-p 取 \(p = 0.85\),累计概率 \(0.64\) 不够、加到 \(0.88\) 首次越过阈值,核同样是前两名,归一化也是 \([0.73, 0.27]\)。本例两刀同结果纯属数字巧合——换一个分布,两者立刻分道扬镳。图 2 把两种典型分布摆在一起对照:
两刀的分歧在图 2 里一目了然,落成一张对照表:
| 维度 | top-k | top-p(nucleus sampling) |
|---|---|---|
| 截断标准 | 名次:只留前 \(k\) 名 | 累计概率:留到首次达到阈值 \(p\) |
| 名额 | 固定,每步都是 \(k\) 个 | 动态,随分布形状每步变化 |
| 分布平坦时 | 误伤第 \(k\) 名之外的合理候选 | 核自动放大,合法候选留住 |
| 分布尖锐时 | 名额硬凑,尾巴混进候选席 | 核自动收紧,可以只剩 1 个 |
| 出处 | Fan et al., 2018(arXiv:1805.04833) | Holtzman et al., 2019(arXiv:1904.09751) |
| minimind 默认 | top_k = 50(generate 签名) | top_p = 0.85(generate 签名);eval_llm.py 命令行为 0.95 |
top-p 把「留几个候选」从一个写死的超参数,变成了分布形状的函数:模型自信时核小、困惑时核大。这一自适应正是它取代 top-k 成为主流默认的原因——minimind 两个旋钮都保留了(默认 top_k = 50、top_p = 0.85 同时生效),实战中真正起截断作用的一般是 top-p。
12.2.3 三件套的联合使用:顺序与相互作用
三个旋钮单独看都不复杂,放到一条链上就要回答谁先谁后。这件事不用猜,minimind 的 generate 把工业界的标准顺序写得明明白白(model/model_minimind.py:272–283),逐步对照:
- 温度(272 行):
logits = outputs.logits[:, -1, :] / temperature——取最后一位的 logits,先除温度; - 重复惩罚(273–275 行):对序列中已出现过的 token 改分,正分除以惩罚系数、负分乘以惩罚系数(12.2.4 细讲);
- top-k(276–277 行):低于第 \(k\) 名的 logit 置 \(-\infty\);
- top-p(278–282 行):排序、累计、掩码右移,核外置 \(-\infty\);
- 选词(283 行):
do_sample=True时torch.multinomial按 softmax 概率抽样,否则 argmax。
这个顺序里藏着两条值得说透的道理。第一条:温度与 top-k 谁先谁后其实无所谓。12.2.1 说过温度是严格单调变换,不改变候选的排名,而 top-k 只看排名,所以无论先除温度还是先截断,留下的都是同一批前 \(k\) 名。第二条:温度与 top-p 的先后必须有讲究。top-p 看的是 softmax 之后的累计概率,而温度恰恰改变 softmax 的形状——同一个分布,\(T = 0.5\) 时核可能只有 1 个候选,\(T = 2\) 时核可能有 5 个。把温度放在 top-p 之前(如 minimind),意味着「先把分布调成想要的锐度,再按调好的形状定核」;反过来先 top-p 后温度,核是按原始锐度定的,温度的整形作用就被架空了一半。重复惩罚排在两条截断之前同样有道理:被罚的 token 分数下调后,可能直接掉出前 \(k\) 名,先罚再砍,名单才反映最新的分数。
还有一条容易忽视的边界:do_sample=False 时三件套大半失效。argmax 只认第一名,温度不改变排名所以不影响结果,top-k(\(k \geq 1\))与 top-p(掩码右移永远保住第一名)也都砍不到第一名头上——唯一能改变 argmax 结果的修正项是重复惩罚。理解了这一层,就不会奇怪为什么「贪心模式下只调温度」看不到任何变化。
默认值层面,minimind 留了两套口径,读代码时别混淆:generate 函数签名(262 行)是 temperature=0.85, top_p=0.85, top_k=50, max_new_tokens=8192, eos_token_id=2;而交互脚本 eval_llm.py 的命令行参数(42–44 行)是 temperature 0.85, top_p 0.95, max_new_tokens 8192,且实际调用时把 repetition_penalty 固定为 1(即关闭惩罚,86 行)。函数签名是兜底默认,脚本参数是推荐手感,两者并存是开源项目的常态。
注释:修正链的顺序没有统一标准,各框架不尽相同。换框架(vLLM、Hugging Face、llama.cpp)时,值得先翻一眼文档或源码确认温度、惩罚、截断的相对顺序——同一组参数值在不同顺序下产出不同分布,「参数照抄却换了味道」多半由此而来。
12.2.4 进阶抽样:min-p、重复惩罚与对比搜索
三件套是主力,但不是全部。围绕它们的短板,近年又长出几个常用的补丁,按「截断改进、罚分机制、确定性替代」各介绍一个。
min-p:给阈值装上自适应缩放。top-p 的阈值 \(p\) 是绝对的:无论模型这步是胸有成竹还是一片迷茫,都按同一个 0.85 划圈。min-p(Nguyen et al., 2024,arXiv:2407.01082)把阈值改成相对的——只保留概率不低于 \(\alpha \cdot p_{\max}\) 的候选:
重复惩罚:不砍候选,改分数。截断两刀都是「一刀切」的硬屏蔽,重复惩罚走的是另一条路:对已经在序列里出现过的 token 降低分数,让它们在抽样中失宠但不至于绝迹。这个机制的出处是 CTRL 论文(Keskar et al., 2019,arXiv:1909.05858)的 penalized sampling:论文报告 \(\theta \approx 1.2\) 的惩罚配合贪心采样,能在「如实作答」与「避免重复」之间取得平衡,并明确指出这是推理期技巧、不参与训练。有一处实现细节值得点破:CTRL 原式对已出现 token 的分数统一除以 \(\theta\),而 \(\theta > 1\) 时负分数除以它会变得更接近 0(概率反而被抬高);今天的实现普遍修正为「正分除、负分乘」,两个方向都只压低不抬高,minimind 第 275 行的 torch.where(score > 0, score / rp, score * rp) 正是这个修正版。minimind 函数签名的默认值是 repetition_penalty=1.0,即不惩罚(262 行)。
对比搜索:退回确定性解码。前述采样方法都从概率分布中随机抽样,Su et al. 2022(arXiv:2202.06417)提出的对比搜索(contrastive search)则采用确定性解码,每步在高概率候选中挑「与上文表示差异最大」的那个,用表示层面的对比度同时压住重复与跑题。论文把退化的根源之一归于 token 表示的各向异性(embedding 挤在狭窄锥形区域,语义区分度差),并配套了对比训练目标 SimCTG。当场景要求输出完全可复现时,确定性解码是一条与采样平行的路线。
注释:无论三件套还是进阶补丁,改变的都只是「从分布里怎么挑」,分布本身的形状是训练(第 6–11 章)定下的。采样参数补不了能力的课,好模型却可能被烂参数毁掉——这条结论的完整展开放在 12.5 节。采样之外的系统工程(KV Cache、量化、投机采样)则全部留给第 13 章。