A.8 残差连接:给梯度留一条直达路
本页范围:附录 A 第 8 节 | 整理时间:2026-09-30
A.5 节讲过梯度消失:连乘的导数一路缩小,深层的参数收不到更新信号。A.6 节讲的归一化稳住了数值尺度,但光有它还不够——实验上把普通网络从二十层加到上百层,训练误差会不降反升。残差连接(residual connection)是解决这个问题的主力手段,Transformer 里每个子层外面都套着它(4.4 节的 Add & Norm,Add 说的就是它)。本节讲两件事:
- 残差连接是什么(A.8.1):一个加法动作,y = x + F(x),以及“学增量”为什么比“学全量”容易;
- 它为什么能救深层网络(A.8.2):从导数里那个恒为 1 的项,看梯度如何无损穿过任意多层。
读完应能讲清:残差连接在前向和反向两个方向上各自做了什么,以及 4.4 节每个子层外的那次相加为什么不是可有可无的装饰。
A.8.1 残差连接是什么:一个加法动作
普通一层的写法是 y = F(x):输入 x 经过变换 F(可以是一组注意力或 FFN 运算),输出完全被替换。残差连接只加一个动作:把输入原样抄一份,和变换结果相加:
别小看这个加法,它改变了层的学习任务。没有残差时,F 必须学会完整的映射“输入该变成什么样”;有了残差,F 只需学“在输入基础上该改多少”。多数情况下每层要做的修改并不大,学一个接近零的增量,远比从零构造完整映射容易。极端情形下,如果某一层确实帮不上忙,没有残差的网络得硬把 F 学成恒等映射(让输出恰好等于输入,这很难学),有残差的网络只需把 F 学成零——把权重调小即可,简单得多。
A.8.2 它为什么能救深层网络:导数里恒有一个 1
先看没有残差会发生什么。A.5 节说过,梯度靠链式法则一层层连乘回传,几十层的导数乘在一起,数值容易缩到接近零(梯度消失),靠前的层几乎收不到信号。还有一个更费解的现象叫退化(degradation):把网络加深,训练误差反而升高。注意是训练误差,不是测试误差——说明问题不在泛化,在于更深的普通网络连优化都变难了。从道理上讲这不该发生:多出来的层哪怕全部学成恒等映射,效果也不该比浅层差。普通结构恰恰就是学不出这个恒等映射,残差连接把它变成了默认动作。
反向传播时看得最清楚。对公式 (1) 求 x 的导数:
几十层叠起来时,这个性质被逐层放大:每一层的旁路都让梯度原样透传一份,最深的损失信号可以几乎不打折地回到最前面几层。这就是 4.4 节里每个子层都要 Add 一次的原因,也是 5.1 节 pre-norm 改动(把归一化挪进支路、让旁路全程干净无变换)能进一步改善稳定性的道理——旁路越纯粹,这条直达路越通畅。
本书用在哪
| 章节 | 用到本节什么 |
|---|---|
| 4.4 FFN 与残差、归一化 | Add & Norm 中的 Add:每个子层外的残差相加 |
| 5.1 现代变体 | pre-norm 把归一化挪进支路,让残差旁路全程是恒等通道 |
| 7.4 混合精度与稳定性 | 深层训练的稳定性手段,残差是其中最底层的一条 |
| A.5 梯度与反向传播 | 梯度消失的成因,正是残差要解决的问题 |