A.4 交叉熵与困惑度:怎么给模型的预测打分

本页范围:附录 A 第 4 节 | 整理时间:2026-09-30

快速浏览

核心问题模型对每个位置输出一个覆盖整个词表的概率分布,而标准答案只有一个词。怎么把这个“分布对单词”的误差变成一个可以优化的数字?训练日志里的 loss 和困惑度(PPL)又是什么关系?
本节主张语言模型的损失只看一件事:正确那个词分到了多少概率。对它取负对数就是交叉熵损失,概率越低罚得越狠,而且罚的力度是按倍数加码的。把损失放回指数就是困惑度,它回答“模型平均相当于在几个词里等概率纠结”。
一句话结论交叉熵是训练时优化的目标(6.1 节),困惑度是它的可读翻译(15.1 节):loss 降 0.69,困惑度腰斩。
关键词
交叉熵负对数似然损失函数困惑度one-hot

  A.3 节结尾,模型吐出了一个概率分布:下一个词是 A 的概率 0.659、是 B 的概率 0.242、是 C 的概率 0.099。训练时标准答案是已知的——比如真实下一个词就是 B。预测得好不好?直觉是:B 分到的概率越高越好。但“高”要怎么变成一个能求导、能累加的分数?这就是损失函数要回答的问题。语言模型全行业的答案是同一个:负对数,也就是交叉熵。

  1. 从一个词的损失说起:负对数(A.4.1):为什么偏偏是对数,它的惩罚曲线长什么样;
  2. 交叉熵:分布与答案之间的标准量尺(A.4.2):一般形式,以及答案为 one-hot 时如何退化成一个词的损失;
  3. 困惑度:把损失翻译回人话(A.4.3):PPL = e 的 loss 次方,以及“等于词表大小”意味着什么。

  读完应能手算两件事:给定正确词的概率,说出损失是多少;给定训练日志里的 loss,说出困惑度大约几。

A.4.1 从一个词的损失说起:负对数

  设模型给正确词的概率是 \(p\)。最直接的损失定义是 \(1 - p\):概率越高损失越小。这个定义能用,但有一个毛病——惩罚不讲比例。\(p\) 从 0.9 掉到 0.8,和从 0.1 掉到趋近于 0,按 \(1-p\) 算损失都只加 0.1;可后一种情况明显严重得多:模型从“有点犹豫”变成“完全不信正确词”。工程上希望惩罚对“概率打几折”敏感,而不是对“概率差几个点”敏感。

  取负对数正好有这个性质:

\[ L = -\log p \tag{1} \]
公式 (1):单个位置的交叉熵损失(也叫负对数似然)。符号说明:\(p\) 是模型经 softmax 分给正确词的概率(见 A.3 节);\(\log\) 是自然对数(底数 \(e \approx 2.718\),手册里的 \(\log\) 一律是它);\(L\) 是损失,非负,越小越好。代入感受惩罚力度:\(p = 0.9\) 时 \(L = 0.105\),\(p = 0.5\) 时 \(L = 0.693\),\(p = 0.1\) 时 \(L = 2.303\),\(p = 0.01\) 时 \(L = 4.605\)。

  对数还有第二个好处:一句话的联合概率是各位置概率的连乘,取对数后连乘变连加,整句话的损失就是每个位置损失的平均。求导、累加、跨句子平均都变得顺手。它的曲线见图 1:

原创示意图 · 非论文原图 0.2 0.4 0.6 0.8 1.0 0 1 2 3 4 5 p 损失 p = 0.1 → 2.303 p = 0.5 → 0.693 p = 0.01 → 4.605 概率越接近 1,损失越贴近 0 概率一低,损失陡增
图 1:损失曲线 −log p。横轴是模型分给正确词的概率,纵轴是损失。右半段平缓:0.9 与 0.99 的损失都接近 0;左半段陡峭:概率从 0.1 缩到 0.01,损失从 2.3 翻到 4.6。模型敢给正确词低概率,就会被这条曲线重罚。

  读图 1 这条曲线,记住两个区域就行。右半边(\(p\) 接近 1):曲线几乎贴着 0,模型“很有把握且答对”时几乎不受罚。左半边(\(p\) 接近 0):曲线陡直上升,概率每打一次折,损失就加同样的一截——0.5 到 0.25 加 0.69,0.25 到 0.125 再加 0.69。正是这种“按倍数加码”的脾气,把模型推向“不敢不信正确词”。

A.4.2 交叉熵:分布与答案之间的标准量尺

  公式 (1) 只看正确词那一项。把它写成对分布的一般形式,就是交叉熵:

\[ H = -\sum_{i=1}^{n} q_i \log p_i \tag{2} \]
公式 (2):交叉熵。符号说明:\(q\) 是目标分布(标准答案),\(q_i\) 是第 \(i\) 个候选在答案中的份额;\(p\) 是模型输出的分布;\(n\) 是候选总数(词表大小)。语言模型里答案只有一个词,\(q\) 是 one-hot 分布——正确词那一项是 1,其余全是 0——求和只剩正确词那一项,公式 (2) 就退化成公式 (1)。所以“交叉熵损失”与“负对数似然”在语言模型训练里是同一件事的两种叫法。

  一句话训练的损失,就是把每个位置的公式 (1) 算出来再取平均;一个批次的损失,再对批内所有句子取平均。6.1 节讲的“预测下一个词”的训练目标,完整说法就是:最小化全语料上的平均交叉熵。反向传播(A.5 节)负责把这个损失对每个参数的“责任”算出来,优化器据此调参。

A.4.3 困惑度:把损失翻译回人话

  损失 2.3 是什么感觉?光看数字没概念。困惑度(perplexity,常缩写 PPL)把损失放回指数,翻译成一个可感的说法:

\[ \mathrm{PPL} = e^{L} \tag{3} \]
公式 (3):困惑度。符号说明:\(L\) 是平均交叉熵损失(自然对数);\(\mathrm{PPL}\) 是困惑度,含义是“模型平均相当于在这么多个候选词里等概率地纠结”。\(L = 0\) 时 PPL = 1:每个位置都十拿九稳;\(L = 2.3\) 时 PPL ≈ 10:每个位置像在 10 个词里挑一个。

  这个翻译有一个漂亮的特例:如果模型对每个位置都完全瞎蒙、给词表里每个词均等概率,那么每个位置的正确词概率是 \(1/V\)(\(V\) 是词表大小),损失就是 \(\log V\),困惑度恰好等于 \(V\)。所以“困惑度等于词表大小”就是“一点没学”的基准线。训练有方的模型,困惑度会从词表大小一路降到几十甚至更低。

原创示意图 · 非论文原图 1 2 3 0 5 10 15 20 L PPL L = 2.3 → PPL ≈ 10 损失按加法涨,困惑度按倍数翻 这张图画不下的远处:L = 8.8 时 PPL ≈ 6400,等于词表大小,等于完全瞎猜
图 2:损失与困惑度的换算曲线 \(\mathrm{PPL} = e^{L}\)。横轴是平均损失,纵轴是困惑度。损失每加 0.69,困惑度翻一倍——训练日志里 loss 从 3.0 降到 2.3,意味着模型从“二十选一纠结”变成“十选一纠结”。

  换算关系记一组就够:loss 每降 0.69(即 \(\log 2\)),困惑度腰斩。这比直接看 loss 小数点后几位的变化直观得多,也是读训练曲线(6.3 节)和评测报告(15.1 节)时的常用心算。

本书用在哪

章节用到本节什么
6.1 预训练目标下一个词预测的损失就是平均交叉熵,公式 (1)(2) 的完整形态
6.3 训练流程训练 loss 曲线的纵轴是本节的 \(L\),降幅按 0.69 心算成 PPL 减半
15.1 评测困惑度作为语言模型的基础指标,以及它的局限
A.3 softmax交叉熵的输入正是 softmax 输出的分布,两节相接
A.5 梯度与反向传播损失定义好之后,下一步是对它求导,交给优化器调参