A.5 梯度下降与反向传播:模型怎么从损失里学东西

本页范围:附录 A 第 5 节 | 整理时间:2026-09-30

快速浏览

核心问题A.4 节把“模型答得多差”算成了一个数(损失)。接下来呢?几百万个参数,每个该往哪个方向调、调多少,是谁算出来的?
本节主张梯度是损失对每个参数的“责任清单”,反向传播用链式法则把这份清单从损失一层层分回每个参数;梯度下降再按清单往反方向各走一小步。学习率决定步长,太大发散、太小磨蹭。
一句话结论训练 = 反复做四件事:正向算损失 → 反向传梯度 → 沿负梯度走一小步 → 清零再来。6.3 节的训练循环就是这十二个字。
关键词
导数梯度梯度下降学习率链式法则反向传播

  A.4 节结束时,手里有了一个损失数字,比如 9。这个数字本身不会教模型任何东西,它只是“体温计”。真正教模型的是下一步:算出每个参数对这个 9 各负多少责,然后各自修正。负责“算责任”的是反向传播,负责“修正”的是梯度下降。本节用能口算的小例子把两件事都过一遍——真实的 LLM 训练与这些小例子在数学上没有任何区别,只是参数从 1 个变成了几百万到几千亿个。

  1. 梯度:损失曲面的坡度(A.5.1):从抛物线的切线斜率说起,梯度就是“每个参数的斜率”拼成的向量;
  2. 梯度下降:顺着下坡小步走(A.5.2):更新规则、学习率,以及步子太大太小的两种下场;
  3. 反向传播:链式法则逐层分责任(A.5.3):一个三步计算图,手算出和 PyTorch 一字不差的梯度。

  读完应能手算一个三步计算图的梯度,并讲清残差连接为什么能帮梯度穿过几十层。

A.5.1 梯度:损失曲面的坡度

  先看只有一个参数的情形。设损失是 \(y = x^2\)(把 \(x\) 当成参数,\(y\) 当成损失),要回答的问题是:当前 \(x = 3\),把 \(x\) 调大一点,损失会怎么变?答案由切线斜率给出:这一点斜率是 6,意味着 \(x\) 每加 1,损失约涨 6;反过来 \(x\) 每减 1,损失约降 6。斜率为正,说明该往左走;斜率的绝对值 6,说明这里坡很陡、值得大步走。

原创示意图 · 非论文原图 −2 −1 1 2 3 5 10 15 x y 切点 (3, 9) 切线斜率 = 6:x 每加 1,y 约涨 6 斜率为正 → 想让损失降,x 该往左(负方向)走
图 1:导数就是切线斜率。紫色抛物线是损失 \(y = x^2\),橙色虚线是 \(x = 3\) 处的切线,斜率 6。斜率的正负告诉该往哪边走,斜率的大小告诉坡有多陡。

  真实模型里参数不是一个而是 \(N\) 个。损失对每个参数各有一个斜率(叫偏导数),把这 \(N\) 个斜率按顺序排成一排,就是梯度:

\[ \nabla L = \left( \frac{\partial L}{\partial w_1},\ \frac{\partial L}{\partial w_2},\ \dots,\ \frac{\partial L}{\partial w_N} \right) \tag{1} \]
公式 (1):梯度。符号说明:\(L\) 是损失;\(w_1, w_2, \dots, w_N\) 是模型的全部参数,\(N\) 从几百万到几千亿不等;\(\frac{\partial L}{\partial w_i}\) 是损失对第 \(i\) 个参数的偏导数(只动 \(w_i\)、其余参数按住不动时,损失的变化率);\(\nabla L\) 是梯度,与参数等长的向量。它的几何身份:损失上升最快方向上的“坡度向量”,所以调参要沿它的反方向走。

A.5.2 梯度下降:顺着下坡小步走

  有了梯度,更新规则只有一行:

\[ w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w} \tag{2} \]
公式 (2):梯度下降更新。符号说明:\(w\) 是某个参数;\(\eta\) 是学习率(一个小的正数,控制步长,6.2 节细讲它的调度);\(\frac{\partial L}{\partial w}\) 是损失对该参数的偏导;\(\leftarrow\) 表示“用右边的值替换左边”。负号的含义:导数为正说明往右走上坡,那就往左走;导数为负则往右走——永远朝下坡方向迈一步。

  步长由 \(\eta\) 与斜率共同决定。还是 \(y = x^2\),从 \(x = 3\) 出发,看两种学习率的实际轨迹(斜率是 \(2x\),所以每步 \(x \leftarrow x - 2\eta x\)):

原创示意图 · 非论文原图 ① 学习率合适(η = 0.15):稳步下行 ② 学习率太大(η = 1.1):来回跳、发散 越靠近谷底斜率越小,步子自动变短 x:3 → 2.1 → 1.47 → 1.03 → 0.72 → …,收敛 每步都跨过谷底冲到对面,幅度越放越大 x:3 → −3.6 → 4.32 → −5.18 → 6.22 → …,发散
图 2:学习率的两种下场。紫色抛物线是损失曲面,紫色圆点是起点 x = 3,橙色折线是逐步轨迹。左图 η = 0.15,每步砍掉当前 x 的 30%,平滑逼近谷底;右图 η = 1.1,步长超过谷底宽度,每步冲到对面更高处,损失不降反升。

  6.2 节会讲工程上怎么伺候这个旋钮:学习率先 warmup 再衰减、用 Adam 给每个参数配自适应步长。那些技巧的地基都是这一小节:方向由梯度定,步长由学习率定。

A.5.3 反向传播:链式法则逐层分责任

  最后一个问题:梯度怎么算出来?模型是几十层函数的复合,损失对第一层某个参数的偏导,没法直接写公式。链式法则解决了它:复合函数求导等于各环导数相乘。看一个能口算的三步例子。参数 \(w = 2\),输入 \(x = 2\),目标 \(y = 1\)。正向算三步:先 \(\hat{y} = w x = 4\),再 \(e = \hat{y} - y = 3\),最后 \(L = e^2 = 9\)。反向分责任:

\[ \frac{\partial L}{\partial w} = \frac{\partial L}{\partial e} \cdot \frac{\partial e}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial w} = 2e \cdot 1 \cdot x = 6 \times 1 \times 2 = 12 \tag{3} \]
公式 (3):链式法则。符号说明:\(\hat{y}\) 是模型的预测值;\(e\) 是预测与目标的差;\(L\) 是损失;三个偏导分别是每一环“输出对输入的变化率”:\(\frac{\partial L}{\partial e} = 2e = 6\),\(\frac{\partial e}{\partial \hat{y}} = 1\),\(\frac{\partial \hat{y}}{\partial w} = x = 2\)。三环相乘,损失对最早那个参数的责任就分出来了:\(\frac{\partial L}{\partial w} = 12\)。
原创示意图 · 非论文原图 w = 2 x = 2 × ŷ = 4 − y = 1 e = 3 ² L = 9 ∂L/∂e = 2e = 6 ∂e/∂ŷ = 1 ∂ŷ/∂w = x = 2 x 是数据,不求梯度 连乘得 ∂L/∂w = 6 × 1 × 2 = 12
图 3:反向传播就是沿计算图回传偏导。紫色是正向(算损失):w 与 x 相乘得 ŷ,减 y 得 e,平方得 L。橙色是反向(传梯度):从 L 出发逐环节乘,最终算出 ∂L/∂w = 12。

  反向传播就是把这个过程自动化:正向时把每环的中间值存下来,反向时从损失出发沿图回传,每经过一环就乘上该环的局部导数。一次反向走完,全部参数的偏导同时到手——这是它配得上“高效”二字的原因,几百万个参数只走一遍图。

  最后补一个深层网络躲不开的麻烦:梯度要穿过几十层连乘,每层因子若普遍小于 1,连乘下来趋近于 0,前几层几乎收不到信号(梯度消失);因子若普遍大于 1,连乘爆炸(梯度爆炸)。残差连接 \(x + F(x)\) 能缓解,是因为它对梯度开了一条恒等通道:\(\frac{\partial (x + F(x))}{\partial x}\) 里恒有一项是 1,梯度可以原样穿层而过,不被连乘衰减——这是 4.4 节每个子层都带残差的深层原因。工程上再加一道保险:梯度裁剪,把超阈值的梯度整体按比例缩回去(6.3 节)。

本书用在哪

章节用到本节什么
6.2 优化器与学习率Adam、warmup、余弦衰减都是公式 (2) 的工程增强版
6.3 训练流程forward → loss → backward → step 的循环就是本节四件事
4.4 残差与归一化残差连接的恒等通道缓解梯度消失,是结构设计的动机之一
A.4 交叉熵反向传播的起点是 A.4 定义的损失,两节上下游相接