A.3 softmax 与温度:把分数变成概率

本页范围:附录 A 第 3 节 | 整理时间:2026-09-30

快速浏览

核心问题模型算出来的打分有正有负、大小任意,既不能当概率用,也没法按它抽样。注意力权重、下一个词的分布,都需要把任意分数变成“非负、总和为 1”的概率。softmax 就是这台转换器,温度则是它上面的一个旋钮。
本节主张softmax 只做三件事:取指数、求和、归一。取指数既保证全部为正,又把分差拉成倍数差;归一让总和为 1。温度系数 T 在取指数前缩放分数:T 小分布变尖、强者通吃,T 大分布变平、大家雨露均沾。
一句话结论凡是手册里出现“概率”“权重”“分布”的地方,上游几乎都站着一个 softmax;凡是出现“温度”“采样”的地方,拧的都是它的 T。
关键词
logitsoftmax数值稳定温度概率分布

  A.2.3 的走查表里有一步跳过去了:缩放后的分数 [1.00, 0.50, −1.00, 0.00] 是怎么变成权重 [0.474, 0.287, 0.064, 0.174] 的?中间那道工序就是 softmax。它是手册里出现频率最高的函数之一:注意力分数靠它变权重(4.2 节),输出层的打分靠它变下一个词的概率分布(6.1 节),解码时的温度采样拧的还是它(第 12 章)。本节把它拆开看清楚。

  1. softmax 在做什么:取指数、求和、归一(A.3.1):从三个候选词的 logit 出发,一步步算出概率;
  2. 数值稳定:先减最大值(A.3.2):一个数学上恒等、工程上救命的改写;
  3. 温度:一个旋钮控制分布形状(A.3.3):同一个 logit,T 取 0.5、1、2 时分布各长什么样。

  读完应能手算一个小例子:给三个 logit,说出经过 softmax 谁拿大头、温度调高后份额往哪流。

A.3.1 softmax 在做什么:取指数、求和、归一

  模型直接输出的打分叫 logit(中文常译“对数几率”或干脆直呼 logit):它可以是任何实数,正、负、零都行。概率有三个硬要求:每一项非负、每一项不超过 1、全部加起来等于 1。logit 一条都不满足,所以需要转换。softmax 的公式是:

\[ p_i = \frac{e^{z_i}}{\sum_{j=1}^{n} e^{z_j}} \tag{1} \]
公式 (1):softmax。符号说明:\(z_i\) 是第 \(i\) 个候选的 logit;\(e^{z_i}\) 是自然指数(\(e \approx 2.718\));分母 \(\sum_{j=1}^{n} e^{z_j}\) 是把所有候选的指数加起来;\(p_i\) 是第 \(i\) 个候选最终分到的概率。整个式子读作“第 \(i\) 个候选的指数,占全部指数之和的份额”。

  拆开看就是三步。第一步取指数:\(e^x\) 恒为正,负数 logit 也被映成小的正数,同时它把“分差”放大成“倍数差”——2.0 与 1.0 只差 1,但 \(e^{2.0} \approx 7.39\) 是 \(e^{1.0} \approx 2.72\) 的 2.7 倍,强者被明显放大。第二步求和:把所有指数加起来当总量。第三步归一:每个候选占总量的份额,自然满足非负、不超 1、总和为 1。

  拿三个候选词算一遍。假设模型对下一个词给出 logit:A 得 2.0、B 得 1.0、C 得 0.1:

候选logit \(z_i\)取指数 \(e^{z_i}\)归一(除以总和 11.21)
A2.07.3890.659
B1.02.7180.242
C0.11.1050.099
原创示意图 · 非论文原图 ① logit:模型直接输出的打分 ② softmax 之后:概率,总和为 1 0 4 8 2.0 1.0 0.1 A B C softmax 0 0.5 1.0 0.659 0.242 0.099 A B C
图 1:softmax 的输入与输出。左图是三个候选的 logit,可正可负、量纲任意;右图是经过取指数、求和、归一之后的概率,三根柱子加起来正好是 1。A 的领先优势从“1 分”被放大成了“约 2.7 倍份额”。

  A.2.3 那列权重也是这么来的:缩放后的分数 [1.00, 0.50, −1.00, 0.00] 取指数得 [2.72, 1.65, 0.37, 1.00],总和 5.73,归一后就是 [0.474, 0.287, 0.064, 0.174]。注意负 logit 不会被“清零”,它只是分到较小的正份额——这是 softmax 与“把负数砍掉”的做法的本质区别。

A.3.2 数值稳定:先减最大值

  公式 (1) 直接上机会出事:logit 稍大,\(e^{z}\) 就爆炸,\(e^{100}\) 已经是 10 的 43 次方量级,浮点数直接溢出成无穷大。好在 softmax 有一个恒等改写:所有 logit 同时减去任意常数,结果不变。证明只要一行——分子分母同乘 \(e^{-m}\) 即消掉:

\[ p_i = \frac{e^{z_i - m}}{\sum_{j=1}^{n} e^{z_j - m}}, \quad m = \max_j z_j \tag{2} \]
公式 (2):数值稳定版 softmax,与公式 (1) 数学上严格相等。符号说明:\(m\) 取全体 logit 中的最大值;减完之后最大的一项变成 \(e^0 = 1\),其余都是小于 1 的正数,溢出通道被彻底堵死。所有深度学习框架的 softmax 实现内部都是这么算的。

A.3.3 温度:一个旋钮控制分布形状

  在取指数之前,把 logit 先除以一个正数 T,就得到了带温度的 softmax:

\[ p_i = \frac{e^{z_i / T}}{\sum_{j=1}^{n} e^{z_j / T}} \tag{3} \]
公式 (3):带温度的 softmax。符号说明:\(T\) 是温度系数(正实数),\(T = 1\) 时退化成公式 (1);其余符号同前。T 小于 1 会放大 logit 之间的差距,分布变尖;T 大于 1 会压缩差距,分布变平。

  还是用 A、B、C 三个候选,logit 固定为 [2.0, 1.0, 0.1],只拧温度:

温度 TA(logit 2.0)B(logit 1.0)C(logit 0.1)分布形态
0.50.8640.1170.019尖:强者通吃
1.00.6590.2420.099原样
2.00.5020.3040.194平:差距被抹匀
原创示意图 · 非论文原图 T = 0.5:分布变尖 T = 1:原始分布 T = 2:分布变平 0.5 1.0 0.864 0.117 0.019 A B C 0.5 1.0 0.659 0.242 0.099 A B C 0.5 1.0 0.502 0.304 0.194 A B C
图 2:同一组 logit [2.0, 1.0, 0.1] 在三种温度下的分布。T = 0.5 时 A 独占 0.864,接近“只选第一名”;T = 2 时三者份额拉近,弱势候选也能分到近 0.2。纵轴是概率,横轴是三个候选。

  两个极限值得记住:T 趋近 0 时,最大 logit 那一项的概率趋近 1,其余趋近 0,softmax 退化成“只取最大值”,这就是贪心解码;T 越拉越大,所有份额趋近均匀分布 \(1/n\),采样就近似瞎蒙。解码章的温度采样、top-p 采样(第 12 章细讲)都是在这个分布上做文章:温度调分布的形状,top-k、top-p 调候选的范围。

本书用在哪

章节用到本节什么
4.2 注意力机制缩放后的打分经 softmax 变成总和为 1 的注意力权重
6.1 预训练目标输出层对整个词表做 softmax 得到下一个词的分布,与真实答案算损失(接 A.4)
第 12 章 解码策略温度采样、贪心、top-k / top-p 的操作对象就是本节这个分布
A.2 点积与缩放√d 缩放把分数控制在 softmax 敏感区间,两节是一根流水线的前后工序