A.11 softmax 掩码:用 −∞ 屏蔽非法位置
本页范围:附录 A 第 11 节 | 整理时间:2026-10-09
A.3 节把 softmax 拆成了取指数、求和、归一三步,末尾留了个话头:top-k、top-p 调的是候选的范围。范围具体怎么调?答案只有一个动作——把不要的那一格的 logit 改成 −∞。这个动作在手册里至少登场四次:4.2 节手算例里的因果掩码是它,12.2 节的采样截断是它,12.4 节的约束解码还是它。每次出现时正文都只捎带一句,本节把它单独立项讲透,以后正文再遇到就只用“softmax 掩码”这个名字一句带过。
- 原理:把 logit 置 −∞,概率精确归零(A.11.1):一个极限事实如何让“删除候选”变得干净利落;
- 手算一遍:四个 logit 的屏蔽实验(A.11.2):屏蔽前后各位置份额怎么变,两两比值为什么不变;
- 同一招,四次登场(A.11.3):因果掩码、top-k、top-p、语法掩码摆在一起对照;
- minimind 实证:两行置 −∞(A.11.4):生成函数里的真实代码长什么样。
读完应能回答三件事:为什么置 −∞ 之后概率是精确的 0 而不是很小的数,被没收的份额去了哪里,以及为什么掩码不改变幸存者之间的相对偏好。
A.11.1 原理:把 logit 置 −∞,概率精确归零
先回顾 A.3 的公式 (1):softmax 把每个候选的 logit 取指数,再除以全部指数之和。这个变换对所有候选一视同仁,负数 logit 也只是分到较小的正份额,谁也拿不走谁的全部。但手册里反复出现另一种需求:让某些候选彻底出局,概率不是“很小”,而是精确等于 0。
做法出奇地简单:把要出局那一格的 logit 改成 \(-\infty\)。依据是一条极限事实:\(e^{-\infty} = 0\)(严格说是 \(x\) 趋于负无穷时 \(e^x\) 趋于 0,浮点运算里直接就是 0)。于是这一格的分子是 0,分母里也贡献 0,softmax 之后概率不多不少正好是 0。其余格子原样通过,只是因为分母少了一项,每个幸存者的概率乘上同一个倍数,重新凑够 1。这套操作没有统一的官方名字,本手册叫它 softmax 掩码。
掩码是一张与目标向量同形状的“放行清单”,每个位置只有两种取值:0 表示放行(加了等于没加),\(-\infty\) 表示封杀(取指数后归零)。把它逐位加到 logit 上,就完成了对候选集合的删减,而且不伤幸存者之间的相对关系。也有等价写法:直接把要删的格子的 logit 改写为 \(-\infty\),不另存一张掩码。
两个补充。第一,公式 (1) 是“在 logit 域动手”的写法;同一件事也可以“在概率域动手”——把屏蔽位置的概率乘 0 再重新归一化,12.2 节 top-k 的公式 (2) 用的就是这种写法。两者数学上等价,工程上都选 logit 域,因为模型直接产出的就是 logit,省得先算一遍完整 softmax。第二,有的实现用 \(-10^9\) 这类大负数代替真 \(-\infty\):数学上 \(e^{-10^9}\) 不是 0,但它在浮点数里下溢成 0,效果相同;minimind 用的是真 \(-\infty\)(A.11.4)。
A.11.2 手算一遍:四个 logit 的屏蔽实验
拿四个候选算一遍完整账。假设某一步模型给出 logit:A 得 2.0、B 得 1.0、C 得 0.5、D 得 −0.5(词表其余位置略去)。现在决定屏蔽 C——至于为什么屏蔽,四个登场场景各有理由(A.11.3),这里只看机制本身。屏蔽前的分布按 A.3 的三步算,屏蔽后把 C 的 logit 换成 \(-\infty\) 再算一遍:
| 候选 | logit \(z_i\) | 屏蔽前 \(e^{z_i}\) | 屏蔽前概率 | 屏蔽后 \(e^{z_i + m_i}\) | 屏蔽后概率 |
|---|---|---|---|---|---|
| A | 2.0 | 7.389 | 0.598 | 7.389 | 0.690 |
| B | 1.0 | 2.718 | 0.220 | 2.718 | 0.254 |
| C | 0.5 → −∞ | 1.649 | 0.133 | 0 | 0 |
| D | −0.5 | 0.607 | 0.049 | 0.607 | 0.057 |
| 合计 | — | 12.363 | 1.000 | 10.714 | 1.000 |
对照两列概率,能看到三件事。第一,C 的概率从 0.133 直接变成 0——不是四舍五入后的 0,是分子分母同时抹掉后的精确 0。第二,幸存者的份额都涨了:总和少掉的 0.133 按原比例分给 A、B、D,每个都乘上同一个倍数 \(1/(1-0.133) \approx 1.154\)。第三,两两比值不变:屏蔽前 A 是 B 的 2.72 倍,屏蔽后还是 2.72 倍。图 1 把这组对照画成条形图。
第三条值得单独写成公式,因为后面还会用到。只要 \(i\) 与 \(j\) 都没被屏蔽,掩码前后它们的概率比值原样保留:
softmax 掩码的全部效果就两条:被屏蔽者概率精确归零;幸存者按同一倍数放大,相对偏好不变。删掉的是选项,不是口味。
A.11.3 同一招,四次登场
同一个“置 −∞ 再 softmax”的动作,在手册里出现了四次,每次屏蔽的理由不同:
| 登场位置 | 谁被置 −∞ | 掩码从哪来 |
|---|---|---|
| 4.2 节手算例、4.5 节因果掩码 | 注意力分数矩阵的上三角(未来位置) | 时间线:自回归生成不许偷看还没写出的词 |
| 12.2 节 top-k | 排名在第 k 名之后的全部 token | 概率排名:名额固定,砍掉长尾 |
| 12.2 节 top-p | 累计概率首次达到 p 之后的全部 token | 累计概率:名额随分布形状伸缩(机制见 A.10) |
| 12.4 节语法掩码 | 当前状态下语法不合法的 token | 外部语法:状态机或文法算出合法集合 |
四次登场共享同一个收尾:置 −∞ 之后照常 softmax、照常采样,被屏蔽的位置从此抽不中、分不到权重。差别只在掩码的来源——时间线、概率排名、语法合法性。掩码还可以叠加:minimind 的一步解码里 top-k 与 top-p 先后施加,相当于取两个放行集合的交集;约束解码的语法掩码再叠上去,任何一道掩码封杀的位置都出局。注意力侧则有两种等价写法:4.2 节手算例直接把上三角格子改成 \(-\infty\),4.3 节公式 (3) 写成加一个 0/−∞ 的掩码矩阵 \(M\),正是公式 (1) 的样子。
A.11.4 minimind 实证:两行置 −∞
这套手法在 minimind 的生成函数里就是两行代码(minimind,Apache 2.0,model/model_minimind.py):
# 第 277 行:top-k——低于第 k 名的 logit 全部置 −∞
logits[logits < torch.topk(logits, top_k)[0][..., -1, None]] = -float('inf')
# 第 282 行:top-p——累计概率越线者置 −∞(掩码的构造见 279–281 行,A.10 节拆解)
logits[mask.scatter(1, sorted_indices, mask)] = -float('inf')
紧接着的第 283 行,torch.softmax 把这些 \(-\infty\) 变成概率 0,torch.multinomial 按概率抽样时永远抽不到它们(依概率抽样本身见 A.9)。注意这里置的是真 \(-\infty\)(Python 的 -float('inf')),不是什么很大的负数——取指数后在浮点下精确归零,与 A.11.1 的公式 (1) 严丝合缝。
本书用在哪
| 出现在哪 | 用它做什么 |
|---|---|
| 4.2 注意力机制 | 手算例第 3 步:上三角分数置 −∞,softmax 后未来位置的注意力权重归零 |
| 4.5 Decoder-only | 因果掩码可见性矩阵:把“只看左侧”的时间约束焊进结构 |
| 12.2 采样策略 | top-k / top-p 截断:核外候选置 −∞,归一化后再抽样 |
| 12.4 结构化输出 | 语法掩码:非法 token 置 −∞,格式从“请求模型遵守”变成“模型无法违反” |