A.4 交叉熵与困惑度:怎么给模型的预测打分
本页范围:附录 A 第 4 节 | 整理时间:2026-09-30
A.3 节结尾,模型吐出了一个概率分布:下一个词是 A 的概率 0.659、是 B 的概率 0.242、是 C 的概率 0.099。训练时标准答案是已知的——比如真实下一个词就是 B。预测得好不好?直觉是:B 分到的概率越高越好。但“高”要怎么变成一个能求导、能累加的分数?这就是损失函数要回答的问题。语言模型全行业的答案是同一个:负对数,也就是交叉熵。
- 从一个词的损失说起:负对数(A.4.1):为什么偏偏是对数,它的惩罚曲线长什么样;
- 交叉熵:分布与答案之间的标准量尺(A.4.2):一般形式,以及答案为 one-hot 时如何退化成一个词的损失;
- 困惑度:把损失翻译回人话(A.4.3):PPL = e 的 loss 次方,以及“等于词表大小”意味着什么。
读完应能手算两件事:给定正确词的概率,说出损失是多少;给定训练日志里的 loss,说出困惑度大约几。
A.4.1 从一个词的损失说起:负对数
设模型给正确词的概率是 \(p\)。最直接的损失定义是 \(1 - p\):概率越高损失越小。这个定义能用,但有一个毛病——惩罚不讲比例。\(p\) 从 0.9 掉到 0.8,和从 0.1 掉到趋近于 0,按 \(1-p\) 算损失都只加 0.1;可后一种情况明显严重得多:模型从“有点犹豫”变成“完全不信正确词”。工程上希望惩罚对“概率打几折”敏感,而不是对“概率差几个点”敏感。
取负对数正好有这个性质:
对数还有第二个好处:一句话的联合概率是各位置概率的连乘,取对数后连乘变连加,整句话的损失就是每个位置损失的平均。求导、累加、跨句子平均都变得顺手。它的曲线见图 1:
读图 1 这条曲线,记住两个区域就行。右半边(\(p\) 接近 1):曲线几乎贴着 0,模型“很有把握且答对”时几乎不受罚。左半边(\(p\) 接近 0):曲线陡直上升,概率每打一次折,损失就加同样的一截——0.5 到 0.25 加 0.69,0.25 到 0.125 再加 0.69。正是这种“按倍数加码”的脾气,把模型推向“不敢不信正确词”。
A.4.2 交叉熵:分布与答案之间的标准量尺
公式 (1) 只看正确词那一项。把它写成对分布的一般形式,就是交叉熵:
一句话训练的损失,就是把每个位置的公式 (1) 算出来再取平均;一个批次的损失,再对批内所有句子取平均。6.1 节讲的“预测下一个词”的训练目标,完整说法就是:最小化全语料上的平均交叉熵。反向传播(A.5 节)负责把这个损失对每个参数的“责任”算出来,优化器据此调参。
A.4.3 困惑度:把损失翻译回人话
损失 2.3 是什么感觉?光看数字没概念。困惑度(perplexity,常缩写 PPL)把损失放回指数,翻译成一个可感的说法:
这个翻译有一个漂亮的特例:如果模型对每个位置都完全瞎蒙、给词表里每个词均等概率,那么每个位置的正确词概率是 \(1/V\)(\(V\) 是词表大小),损失就是 \(\log V\),困惑度恰好等于 \(V\)。所以“困惑度等于词表大小”就是“一点没学”的基准线。训练有方的模型,困惑度会从词表大小一路降到几十甚至更低。
换算关系记一组就够:loss 每降 0.69(即 \(\log 2\)),困惑度腰斩。这比直接看 loss 小数点后几位的变化直观得多,也是读训练曲线(6.3 节)和评测报告(15.1 节)时的常用心算。
本书用在哪
| 章节 | 用到本节什么 |
|---|---|
| 6.1 预训练目标 | 下一个词预测的损失就是平均交叉熵,公式 (1)(2) 的完整形态 |
| 6.3 训练流程 | 训练 loss 曲线的纵轴是本节的 \(L\),降幅按 0.69 心算成 PPL 减半 |
| 15.1 评测 | 困惑度作为语言模型的基础指标,以及它的局限 |
| A.3 softmax | 交叉熵的输入正是 softmax 输出的分布,两节相接 |
| A.5 梯度与反向传播 | 损失定义好之后,下一步是对它求导,交给优化器调参 |