A.9 概率分布与依概率抽样:轮盘怎么转
本页范围:附录 A 第 9 节 | 整理时间:2026-10-09
A.3 节解决了“分数怎么变成概率”:softmax 把模型输出的 logit 折算成词表上的一组非负份额。但份额清单本身不会开口说话,从清单到一个具体的 token 还差最后一步——选。选法只有两类:每次锁定份额最大的那个(贪心,argmax),或者按份额抽签(依概率抽样)。12.1 节已经比较过两条路线的文本效果,本节只讲后者在数学上如何实现:一个随机数、一排区间,就把抽签做完了。
- 离散概率分布:每个候选一份份额,总和为 1(A.9.1):词表 6400 维的份额清单长什么样;
- 依概率抽样怎么发生:轮盘赌与累积区间(A.9.2):抽一个均匀随机数,看它落在谁的小段;四个 token 的数值小例;
- 轮盘手感由分布形状决定(A.9.3):温度与截断改变的都是同一只轮盘,本节只指路不展开;
- minimind 实证:一行 multinomial(A.9.4):generate 函数第 283 行的选词动作对照。
读完应能手算一个小例子:给定四个 token 的概率和一个 0 到 1 之间的随机数,说出这一步选中谁、为什么。
A.9.1 离散概率分布:每个候选一份份额,总和为 1
词表上有 \(V\) 个候选 token(minimind 的词表 \(V = 6400\)),模型每前进一步,输出层就对这 \(V\) 个候选各给一个 logit,经 softmax 折算成 \(V\) 个概率。这一组数就是离散概率分布,它只有两条硬规矩:
“离散”指候选是有限个、可以逐个编号的(这里是 6400 个 token),“分布”指份额在候选之间的分配方案。它回答的问题是“每个候选各占多大分量”,而不是“这一步该选谁”——后者是抽样的任务。实际的分布很不均匀:排名靠前的少数 token 往往占去大半份额,尾巴上几千个 token 分到的都接近 0。
有了分布之后,两条选词路线的分歧就很好描述了。贪心(argmax)永远挑份额最大的那一块饼,结果确定但文本容易干瘪重复;依概率抽样则承认份额的本来含义——份额大就该经常中、份额小也该偶尔中——用随机性把这句话兑现。12.1 节讲的是两条路线的文本效果对比,本节只管抽样的机关。
A.9.2 依概率抽样怎么发生:轮盘赌与累积区间
依概率抽样的经典实现叫轮盘赌(roulette wheel selection),做法分两步。第一步,把 0 到 1 的区间按份额切成首尾相接的小段:第 1 个候选占 \([0, p_1)\),第 2 个候选占 \([p_1, p_1 + p_2)\),依此类推,最后一段的右端点正好是 1。每段的右端点叫累积概率:
拿四个 token 的小例子过一遍。设某一步值得关注的候选是「的」「是」「在」「了」,概率依次为 0.5、0.25、0.15、0.1(其余候选份额近似 0,忽略)。累积区间如下:
| 候选 token | 概率 \(p_i\) | 累积概率 \(c_k\) | 占据的小段 |
|---|---|---|---|
| 的 | 0.50 | 0.50 | \([0, \; 0.5)\) |
| 是 | 0.25 | 0.75 | \([0.5, \; 0.75)\) |
| 在 | 0.15 | 0.90 | \([0.75, \; 0.9)\) |
| 了 | 0.10 | 1.00 | \([0.9, \; 1.0)\) |
现在抽一个均匀随机数。若抽到 \(u = 0.7\),它落在 \([0.5, 0.75)\) 里,这一步就选中「是」——尽管「的」的份额最大。这正是抽样与贪心的分野:贪心这一步必然选「的」,而抽样有整整四分之一的机会选「是」,还有约 25% 的机会翻到后两名。图 1 把这个过程画出来:
这套机关的要点只有一个:小段宽度等于份额。均匀随机数对任何等宽区间一视同仁,所以宽度直接兑换成中签率——份额 0.5 的候选占走半根尺子,自然有一半的机会中签。实现上甚至不用真的把区间摆出来:从左往右累加概率,第一个让累计和超过 u 的候选就是答案。
A.9.3 轮盘手感由分布形状决定
同一个抽样机关,手感完全取决于轮盘上各格的宽度与格数,而这两样都可以在上游被动手脚。手册里有三处旋钮,各自已在对应章节展开,此处只点名不重复:
| 旋钮 | 对轮盘做了什么 | 在哪细讲 |
|---|---|---|
| 温度 T | 在 softmax 之前缩放 logit,整体改宽或改窄头部候选的小段:T 小则头部更宽、尾巴更窄,T 大则各段趋向均宽 | A.3 节、12.2 节 |
| top-k | 只保留份额最大的 k 格,其余小段从轮盘上删掉,留下的重新归一化 | 12.2 节 |
| top-p | 按份额从大到小累加,覆盖到 p 为止,尾巴整段切掉 | 12.2 节 |
无论怎么调,改的都是分布本身;改完之后,抽签动作仍是“抽 u、找区间”这一步不变。把“分布怎么变形”与“抽样怎么发生”分开看,12.2 节的三个旋钮就互不纠缠了。
A.9.4 minimind 实证:一行 multinomial
minimind(Apache 2.0 开源项目)的 generate 函数把本节内容浓缩成一行。model/model_minimind.py 第 283 行:
next_token = torch.multinomial(torch.softmax(logits, dim=-1), num_samples=1) if do_sample else torch.argmax(logits, dim=-1, keepdim=True)
拆开读:torch.softmax(logits, dim=-1) 把修正链(温度、top-k、top-p)处理后的 logit 折算成 6400 维的概率分布,即 A.9.1 的份额清单;torch.multinomial(分布, num_samples=1) 就是 A.9.2 的轮盘赌——框架内部按累积区间抽一个均匀随机数,返回中签 token 的编号。do_sample=False 时走另一条路线:torch.argmax 不看份额直接锁定最大值,即贪心解码。两条路线在一行里并列,切换只需一个开关。
这行代码前面还有温度除法(第 272 行)、top-k 截断(第 276–277 行)、top-p 截断(第 278–282 行),它们正是 A.9.3 说的“先改轮盘再抽签”——修正链只动 logits 与分布,最后的 multinomial 原样照转。
本书用在哪
| 出现在哪 | 用它做什么 |
|---|---|
| 12.1 解码主循环 | do_sample=True 时由 multinomial 按概率抽签选出下一个 token,选词环节就是本节这只轮盘 |
| 12.2 采样三件套 | 温度、top-k、top-p 改变的都是轮盘上各格的宽度与候选范围,抽法本身不变 |
| 11.3 GRPO | 同一道题连采 6 条回答(G = 6)构造组内基线,就是对同一分布重复转 6 次轮盘 |