A.12 条件概率与链式分解:语言模型的数学形态
本页范围:附录 A 第 12 节 | 整理时间:2026-10-09
手册里有三处地方用到同一条公式。0.1 节用它说明“语言模型在做什么”,6.1 节用它推出预训练的损失函数,12.1 节用它描述解码循环。三处写法略有不同,内核都是概率论里的链式法则:一句话出现的概率,可以精确地拆成“已知上文、猜下一个词”的条件概率逐项连乘。
本节把这件工具单独讲透,沿“条件概率 → 链式法则 → 自回归分解 → 训练与推理”四步展开:
- 条件概率:在已知条件下谈可能性(A.12.1):竖线左边是要猜的对象,右边是已知的一切;
- 链式法则:整句概率 = 条件概率连乘(A.12.2):一条不做任何近似的恒等式,附“我 爱 猫”三步数值小例;
- 自回归分解:“语言模型”四个字的数学形态(A.12.3):把 \(p(y \mid x)\) 的连乘式逐项读懂;
- 训练与推理:一条链的两端(A.12.4):训练沿链并行算损失,推理沿链串行做采样。
读完应能把任何一句“模型生成了一段话”翻译成一条概率连乘链,并说出训练与推理各自在这条链上的位置。
A.12.1 条件概率:在已知条件下谈可能性
先玩一个猜词游戏。给出上文“我 爱”,猜下一个字。不看上文时,“猫”只是一个普通汉字,出现在任意位置的可能性不高;看到“我 爱”之后,“猫”“你”“北京”这类宾语位置的字眼可能性陡增。同一个事件,已知的事实不同,概率就不同——这就是条件概率要表达的事。
套到猜词游戏里:\(P(\text{猫})\) 是无条件概率,衡量“猫”字在全部文本里有多常见;\(P(\text{猫} \mid \text{我 爱})\) 是条件概率,衡量上文是“我 爱”时下一个字是“猫”的可能性。后者把候选范围从“所有文本”收窄到“以我 爱开头的文本”,猜中的把握自然大得多。语言模型的全部工作,就是把这个条件概率算准:上文逐字变长,条件里的内容也随之变长。
条件概率里竖线右边的内容不是附件,而是定义的一部分。\(P(\text{猫} \mid \text{我 爱})\) 与 \(P(\text{猫} \mid \text{我 恨})\) 是两个不同的数,模型每次预测都必须带着完整上文,丢掉条件就等于换了一个问题。
A.12.2 链式法则:整句概率 = 条件概率连乘
把公式 (1) 两边同乘 \(P(B)\),得到 \(P(A, B) = P(A) \cdot P(B \mid A)\):两个事件同时发生的概率,等于“先发生一个、再在它的条件下发生另一个”的两步概率相乘。这个两步拆解可以一直做下去。对一句由 \(T\) 个 token 组成的话,先把第 1 个 token 拆出来,再把第 2 个拆出来,依此类推,就得到链式法则:
<BOS>)作为条件。拿“我 爱 猫”三个 token 算一遍(数字是为演示编造的小例)。假设模型给出:句首出现“我”的概率是 0.04;已见“我”时下一个是“爱”的概率是 0.15;已见“我 爱”时下一个是“猫”的概率是 0.30。三步连乘:
\(0.04 \times 0.15 \times 0.30 = 0.0018\),这就是整句“我 爱 猫”的联合概率。图 1 把这条链画了出来:
注意连乘的一个直接后果:每个因子都不超过 1,句子越长乘积越小。一段 100 个 token 的话,哪怕每步平均概率高达 0.5,整句概率也只有 \(0.5^{100}\),约等于 \(10^{-30}\)。这么小的数没法直接累加比较,工程上的对策是取对数把连乘变连加,这正是 A.4 节交叉熵损失里那个 \(\log\) 的来源之一。
A.12.3 自回归分解:“语言模型”四个字的数学形态
公式 (2) 处理的是“一段文本凭空出现的概率”。对话场景里模型面对的不是凭空文本,而是“给定提示词 \(x\),回答 \(y\) 的概率”,把条件里再塞进一个固定的 \(x\) 即可:
逐项读一遍这条式子。左边 \(p(y \mid x)\) 是“这段回答整体出现的概率”,一个没办法直接算的数。右边把它拆成 \(T\) 个能算的因子:每一步模型只对词表做一次 softmax,得到一个 6400 维的分布,取出实际那个 token 分到的概率即可。链式法则保证两边严格相等,所以“会算每一步的条件概率”就等于“会给任意回答打概率”。
这就是“语言模型”四个字的数学形态:一个能为任意文本打出概率的模型,且概率按链式法则组织成逐步的条件概率。训练它,是让这些条件概率贴近真实文本;用它生成,是沿着这条链一步步把 token 兑现出来。
A.12.4 训练与推理:一条链的两端
同一条链,训练和推理各占一头,方向相反。
训练这一端:手上已有真实文本,链上的每个 \(y_t\) 都是现成的标准答案。对公式 (3) 取对数,连乘变连加,再加负号求平均,就是 6.1 节的预训练损失——逐位置的交叉熵(A.4 节):
训练时整条链可以并行:借助因果掩码(4.2、4.5 节),一句话的 \(T\) 个位置在一次前向里同时算出各自的条件概率,\(T\) 道“猜下一个词”的考题一起批改。
推理这一端:标准答案不存在,链上的每个 \(y_t\) 要模型自己长出来。做法是从空开始,算出第 1 步的分布、从中选一个 token 接回上文,再算第 2 步,如此循环直到结束标记——只能串行,快不了。这个循环就是 12.1 节的解码循环,怎么从分布里“选一个”(贪心、温度、top-k / top-p)是 12.2 节的内容。
| 训练(6.1 节) | 推理(12.1 节) | |
|---|---|---|
| 链上的 token 从哪来 | 真实文本自带,标准答案免费 | 模型逐步采样,选出来再接回上文 |
| 对每个条件概率做什么 | 取对数、求和、算损失、反向传播 | 从分布中选一个 token(贪心或抽样) |
| 计算方式 | 整句各位置并行(因果掩码) | 逐 token 串行,一步也省不掉 |
本书用在哪
| 出现在哪 | 用它做什么 |
|---|---|
| 0.1 什么是大语言模型 | 自回归直觉的数学形态:“根据上文猜下一个词”就是条件概率,整段文本的概率按链式法则分解 |
| 6.1 预训练目标 | 公式 (1)(2) 的出处:链式分解加对数化得到逐位置交叉熵损失,本节公式 (2)(4) 即其原型 |
| 12.1 解码循环 | 公式 (2) 的自回归分解 \(p(y \mid x) = \prod p(y_t \mid y_{<t}, x)\):解码就是沿这条链一步步兑现 |