A.3 softmax 与温度:把分数变成概率
本页范围:附录 A 第 3 节 | 整理时间:2026-09-30
A.2.3 的走查表里有一步跳过去了:缩放后的分数 [1.00, 0.50, −1.00, 0.00] 是怎么变成权重 [0.474, 0.287, 0.064, 0.174] 的?中间那道工序就是 softmax。它是手册里出现频率最高的函数之一:注意力分数靠它变权重(4.2 节),输出层的打分靠它变下一个词的概率分布(6.1 节),解码时的温度采样拧的还是它(第 12 章)。本节把它拆开看清楚。
- softmax 在做什么:取指数、求和、归一(A.3.1):从三个候选词的 logit 出发,一步步算出概率;
- 数值稳定:先减最大值(A.3.2):一个数学上恒等、工程上救命的改写;
- 温度:一个旋钮控制分布形状(A.3.3):同一个 logit,T 取 0.5、1、2 时分布各长什么样。
读完应能手算一个小例子:给三个 logit,说出经过 softmax 谁拿大头、温度调高后份额往哪流。
A.3.1 softmax 在做什么:取指数、求和、归一
模型直接输出的打分叫 logit(中文常译“对数几率”或干脆直呼 logit):它可以是任何实数,正、负、零都行。概率有三个硬要求:每一项非负、每一项不超过 1、全部加起来等于 1。logit 一条都不满足,所以需要转换。softmax 的公式是:
拆开看就是三步。第一步取指数:\(e^x\) 恒为正,负数 logit 也被映成小的正数,同时它把“分差”放大成“倍数差”——2.0 与 1.0 只差 1,但 \(e^{2.0} \approx 7.39\) 是 \(e^{1.0} \approx 2.72\) 的 2.7 倍,强者被明显放大。第二步求和:把所有指数加起来当总量。第三步归一:每个候选占总量的份额,自然满足非负、不超 1、总和为 1。
拿三个候选词算一遍。假设模型对下一个词给出 logit:A 得 2.0、B 得 1.0、C 得 0.1:
| 候选 | logit \(z_i\) | 取指数 \(e^{z_i}\) | 归一(除以总和 11.21) |
|---|---|---|---|
| A | 2.0 | 7.389 | 0.659 |
| B | 1.0 | 2.718 | 0.242 |
| C | 0.1 | 1.105 | 0.099 |
A.2.3 那列权重也是这么来的:缩放后的分数 [1.00, 0.50, −1.00, 0.00] 取指数得 [2.72, 1.65, 0.37, 1.00],总和 5.73,归一后就是 [0.474, 0.287, 0.064, 0.174]。注意负 logit 不会被“清零”,它只是分到较小的正份额——这是 softmax 与“把负数砍掉”的做法的本质区别。
A.3.2 数值稳定:先减最大值
公式 (1) 直接上机会出事:logit 稍大,\(e^{z}\) 就爆炸,\(e^{100}\) 已经是 10 的 43 次方量级,浮点数直接溢出成无穷大。好在 softmax 有一个恒等改写:所有 logit 同时减去任意常数,结果不变。证明只要一行——分子分母同乘 \(e^{-m}\) 即消掉:
A.3.3 温度:一个旋钮控制分布形状
在取指数之前,把 logit 先除以一个正数 T,就得到了带温度的 softmax:
还是用 A、B、C 三个候选,logit 固定为 [2.0, 1.0, 0.1],只拧温度:
| 温度 T | A(logit 2.0) | B(logit 1.0) | C(logit 0.1) | 分布形态 |
|---|---|---|---|---|
| 0.5 | 0.864 | 0.117 | 0.019 | 尖:强者通吃 |
| 1.0 | 0.659 | 0.242 | 0.099 | 原样 |
| 2.0 | 0.502 | 0.304 | 0.194 | 平:差距被抹匀 |
两个极限值得记住:T 趋近 0 时,最大 logit 那一项的概率趋近 1,其余趋近 0,softmax 退化成“只取最大值”,这就是贪心解码;T 越拉越大,所有份额趋近均匀分布 \(1/n\),采样就近似瞎蒙。解码章的温度采样、top-p 采样(第 12 章细讲)都是在这个分布上做文章:温度调分布的形状,top-k、top-p 调候选的范围。
本书用在哪
| 章节 | 用到本节什么 |
|---|---|
| 4.2 注意力机制 | 缩放后的打分经 softmax 变成总和为 1 的注意力权重 |
| 6.1 预训练目标 | 输出层对整个词表做 softmax 得到下一个词的分布,与真实答案算损失(接 A.4) |
| 第 12 章 解码策略 | 温度采样、贪心、top-k / top-p 的操作对象就是本节这个分布 |
| A.2 点积与缩放 | √d 缩放把分数控制在 softmax 敏感区间,两节是一根流水线的前后工序 |