A.10 累积概率与分位数:top-p 的数学底座
本页范围:附录 A 第 10 节 | 整理时间:2026-10-09
A.3 节把模型输出的分数变成了概率,A.9 节讲了怎么按概率从分布里抽出一个 token。12.2 节的 top-p 采样在抽样之前还要先砍一刀:把候选按概率从高到低排队,从第一名开始累加,累计概率首次达到阈值 p 就停,排在后面的全部出局。这一刀砍掉了不靠谱的尾巴,也让候选席的大小跟着分布形状自动伸缩。
「排队、累加、首次达到」这三件事背后是两个标准的数学对象:累积分布函数与分位数。本节把它们讲到够用为止,再用 minimind 的四行真实代码收尾对照。
- 排队加累加:累积分布函数(A.10.1):一条从 0 爬到 1 的阶梯,每个台阶是一名候选贡献的概率;
- 分位数:首次达到阈值的位置(A.10.2):为什么定义必须写「首次达到」,写「最接近」会出什么错;
- top-p 就是一个分位数(A.10.3):核 = 覆盖 p 的最小前缀集合,min-p 一句话变体,minimind 四行代码逐行对照。
读完应能手算一道小题:给一组概率和一个阈值 p,说出核里有几个候选、谁被关在门外,并指出 minimind 的哪一行代码对应哪一步。
A.10.1 排队加累加:累积分布函数
任意一组概率都可以按一个选定的顺序排成一排。softmax(A.3 节)之后,词表上 6400 个候选各拿一个概率,总和为 1。top-p 关心的排法是按概率从高到低:概率最高的候选排第 1 名,依次往后,最低的垫底。排好之后从第 1 名开始逐个累加:前 1 名合计多少、前 2 名合计多少……每加一个名次,合计值就抬升一格。这个「累计到第 \(k\) 名为止的总概率」有正式的数学名字:
拿一组具体数字走一遍。假设某一步排序后的概率是 \([0.40, 0.25, 0.15, 0.12, 0.08]\)(只用 5 个候选,便于口算),逐个累加:
| 名次 \(k\) | 概率 \(p_{(k)}\) | 累计 \(F(k)\) |
|---|---|---|
| 1 | 0.40 | 0.40 |
| 2 | 0.25 | 0.65 |
| 3 | 0.15 | 0.80 |
| 4 | 0.12 | 0.92 |
| 5 | 0.08 | 1.00 |
一个前提必须记住:CDF 的长相取决于排序口径。同一组概率,按词表原顺序累加也能画出一条阶梯,但那条阶梯与「谁靠谱」无关,对截断没有意义。本节与 12.2 节说的 CDF 一律指按概率降序的那一条——这也正是 top-p 的实现里第一步永远是排序的原因。
A.10.2 分位数:首次达到阈值的位置
有了 \(F(k)\),「累计概率首次达到阈值 \(p\) 的那个名次」就可以一句话定义出来。这个位置就是 \(p\)-分位数对应的位置:
日常里最熟悉的分位数是考试成绩的百分位:「超过 85% 的考生」意思就是落在 85 分位。换成概率分布的语言,p-分位数回答同一个问题:累计概率达到 p 时,走到哪一名了。top-p 里的 p 与这个 p 是同一个东西。
为什么定义写「首次达到」而不是「最接近」?拿上表对 \(p = 0.85\) 找一遍位置就清楚了:第 3 名的累计是 0.80,离 0.85 只差 0.05;第 4 名的累计是 0.92,超出 0.07。若按「最接近」取舍,第 3 名当选——但 0.80 并没有完成「至少覆盖 0.85」的任务,候选集合里缺了一块概率质量。阈值 \(p\) 的本意是覆盖率的下限,不是近似目标,所以必须走到首次不低于 \(p\) 的第 4 名:宁可多收一个候选,不让覆盖率跌破 \(p\)。这个「宁多勿缺」的取向,下一小节会在代码里再遇见一次。
把这张表画成图,阶梯与阈值的交点一目了然(图 1):
A.10.3 top-p 就是一个分位数
把前两节拼起来,top-p 采样(12.2 节细讲)的定义只剩一句话:按概率降序排,取覆盖阈值 \(p\) 的最小前缀集合——也就是图 1 里被紫色括线留下的前 4 名。这个集合有专门的名字,叫核(nucleus):
同一家族还有一个一句话变体 min-p:不拿累计概率划线,改拿「第一名概率乘系数 \(\alpha\)」当及格线,留下的候选集合同样随分布形状伸缩。它的公式与出处见 12.2.4 节,本节只需认出它也是「先定一个位置,再砍掉身后」的家族成员。
落到代码上,minimind(Apache 2.0)的 generate 函数用四行把本节从头到尾实现了一遍(model/model_minimind.py:278–282,其中第 278 行是入口判断 if top_p < 1.0,取 1.0 即不截断):
sorted_logits, sorted_indices = torch.sort(logits, descending=True) # 279 行:按概率降序排队
mask = torch.cumsum(torch.softmax(sorted_logits, dim=-1), dim=-1) > top_p # 280 行:算 F(k) 并与阈值比较
mask[..., 1:], mask[..., 0] = mask[..., :-1].clone(), 0 # 281 行:掩码右移一格,首位豁免
logits[mask.scatter(1, sorted_indices, mask)] = -float('inf') # 282 行:核外置 −∞
拿本节的数值小例逐行对照(top_p = 0.85):
- 279 行,排序:就是 A.10.1 的「排队」;同时返回的
sorted_indices记下每个名次在词表里的原始位置,后面散回去要用; - 280 行,累加并比较:
torch.softmax把排好序的 logit 变回概率(A.3 节),torch.cumsum做的就是公式 (1) 的累加,整条语句得到「\(F(k)\) 严格大于 \(p\)」的布尔掩码。上例的累计是 [0.40, 0.65, 0.80, 0.92, 1.00],与 0.85 比较得 [假, 假, 假, 真, 真]; - 281 行,掩码右移一格:右移后首位强制置 0,掩码变成 [假, 假, 假, 假, 真]。这一格移动正是「保住阈值线上第一个跨界者」:第 4 名的 0.92 本来被标成越界,右移后它本人豁免、身后的第 5 名顶替出局。这就是 A.10.2 的「宁多勿缺」——少了第 4 名,累计只剩 0.80,不够 p;
- 282 行,散回原顺序:掩码此刻按名次排列,
scatter按sorted_indices把每一格散回词表原顺序,核外位置的 logit 置 −∞;之后 softmax 时 \(e^{-\infty} = 0\)(A.3 节),这些候选的概率严格归零。置 −∞ 这手屏蔽技巧在手册里反复登场(注意力因果掩码、约束解码),附录 A.11 统一讲它。
top-p 的全部数学就是三件事:排队(sort)、累加(cumsum)、找首次越线的名次(分位数)。阈值 p 是「至少留住多少概率」的保证书:p 越高核越大、尾巴越长;p 取 1.0 时一个都不砍(代码里 top_p 小于 1.0 才启用),p 越小核收得越紧。
本书用在哪
| 出现在哪 | 用它做什么 |
|---|---|
| 12.2 采样三件套(top-p) | top-p 截断就是求降序 CDF 的 p-分位数:核内保留、核外置 −∞ 再重新归一化(公式 (3);实现见 model_minimind.py:278–282) |
| 12.2 采样三件套(min-p) | min-p 是同一思路的相对阈值变体:及格线从「累计概率 p」换成「第一名概率 × α」,候选集合同样随分布形状伸缩 |