A.5 梯度下降与反向传播:模型怎么从损失里学东西
本页范围:附录 A 第 5 节 | 整理时间:2026-09-30
A.4 节结束时,手里有了一个损失数字,比如 9。这个数字本身不会教模型任何东西,它只是“体温计”。真正教模型的是下一步:算出每个参数对这个 9 各负多少责,然后各自修正。负责“算责任”的是反向传播,负责“修正”的是梯度下降。本节用能口算的小例子把两件事都过一遍——真实的 LLM 训练与这些小例子在数学上没有任何区别,只是参数从 1 个变成了几百万到几千亿个。
- 梯度:损失曲面的坡度(A.5.1):从抛物线的切线斜率说起,梯度就是“每个参数的斜率”拼成的向量;
- 梯度下降:顺着下坡小步走(A.5.2):更新规则、学习率,以及步子太大太小的两种下场;
- 反向传播:链式法则逐层分责任(A.5.3):一个三步计算图,手算出和 PyTorch 一字不差的梯度。
读完应能手算一个三步计算图的梯度,并讲清残差连接为什么能帮梯度穿过几十层。
A.5.1 梯度:损失曲面的坡度
先看只有一个参数的情形。设损失是 \(y = x^2\)(把 \(x\) 当成参数,\(y\) 当成损失),要回答的问题是:当前 \(x = 3\),把 \(x\) 调大一点,损失会怎么变?答案由切线斜率给出:这一点斜率是 6,意味着 \(x\) 每加 1,损失约涨 6;反过来 \(x\) 每减 1,损失约降 6。斜率为正,说明该往左走;斜率的绝对值 6,说明这里坡很陡、值得大步走。
真实模型里参数不是一个而是 \(N\) 个。损失对每个参数各有一个斜率(叫偏导数),把这 \(N\) 个斜率按顺序排成一排,就是梯度:
A.5.2 梯度下降:顺着下坡小步走
有了梯度,更新规则只有一行:
步长由 \(\eta\) 与斜率共同决定。还是 \(y = x^2\),从 \(x = 3\) 出发,看两种学习率的实际轨迹(斜率是 \(2x\),所以每步 \(x \leftarrow x - 2\eta x\)):
6.2 节会讲工程上怎么伺候这个旋钮:学习率先 warmup 再衰减、用 Adam 给每个参数配自适应步长。那些技巧的地基都是这一小节:方向由梯度定,步长由学习率定。
A.5.3 反向传播:链式法则逐层分责任
最后一个问题:梯度怎么算出来?模型是几十层函数的复合,损失对第一层某个参数的偏导,没法直接写公式。链式法则解决了它:复合函数求导等于各环导数相乘。看一个能口算的三步例子。参数 \(w = 2\),输入 \(x = 2\),目标 \(y = 1\)。正向算三步:先 \(\hat{y} = w x = 4\),再 \(e = \hat{y} - y = 3\),最后 \(L = e^2 = 9\)。反向分责任:
反向传播就是把这个过程自动化:正向时把每环的中间值存下来,反向时从损失出发沿图回传,每经过一环就乘上该环的局部导数。一次反向走完,全部参数的偏导同时到手——这是它配得上“高效”二字的原因,几百万个参数只走一遍图。
最后补一个深层网络躲不开的麻烦:梯度要穿过几十层连乘,每层因子若普遍小于 1,连乘下来趋近于 0,前几层几乎收不到信号(梯度消失);因子若普遍大于 1,连乘爆炸(梯度爆炸)。残差连接 \(x + F(x)\) 能缓解,是因为它对梯度开了一条恒等通道:\(\frac{\partial (x + F(x))}{\partial x}\) 里恒有一项是 1,梯度可以原样穿层而过,不被连乘衰减——这是 4.4 节每个子层都带残差的深层原因。工程上再加一道保险:梯度裁剪,把超阈值的梯度整体按比例缩回去(6.3 节)。
本书用在哪
| 章节 | 用到本节什么 |
|---|---|
| 6.2 优化器与学习率 | Adam、warmup、余弦衰减都是公式 (2) 的工程增强版 |
| 6.3 训练流程 | forward → loss → backward → step 的循环就是本节四件事 |
| 4.4 残差与归一化 | 残差连接的恒等通道缓解梯度消失,是结构设计的动机之一 |
| A.4 交叉熵 | 反向传播的起点是 A.4 定义的损失,两节上下游相接 |