A.6 激活函数与归一化:让网络既会弯、又稳得住
本页范围:附录 A 第 6 节 | 整理时间:2026-09-30
A.5 节讲了梯度怎么传,但有两个工程问题没解决。第一,如果每层只是矩阵乘法,层数再多也白搭——复合一千次线性变换,结果仍是一次线性变换。第二,数值在几十层之间传来传去,尺度会越放越大或越缩越小,梯度跟着失控。Transformer 对这两个问题的回答分别是:FFN 里的激活函数,和每个子层旁边的归一化层。本节把这两个小件讲透。
- 激活函数:没有它,一百层等于一层(A.6.1):ReLU、GELU、SiLU 三条曲线,以及 SwiGLU 的门控思路;
- 均值、方差与归一化(A.6.2):三个数的手算例子,LayerNorm 与 RMSNorm 的差别。
读完应能讲清两件事:非线性为什么是深度的前提,以及 RMSNorm 比 LayerNorm 少做了什么、为什么够用。
A.6.1 激活函数:没有它,一百层等于一层
矩阵乘法是线性的:输入放大两倍,输出也放大两倍;两次线性变换复合,等于一次新的线性变换(\(W_2(W_1 x) = (W_2 W_1) x\))。这意味着一个只由矩阵乘法堆起来的网络,无论多少层,表达能力都等价于单层——学不出“弯曲的”规律。破解办法是在层与层之间插一个逐元素的非线性函数,这就是激活函数。它作用在向量的每个分量上,各自独立,不混合维度。
最经典的是 ReLU,规则一句话:负数归零,正数原样通过。
LLM 更常用平滑版。GELU 与 SiLU 都在原点附近留了一段平滑的“下坡再抬头”,负区间不是死零,梯度处处可传。SiLU 的定义里出现 sigmoid(\(\sigma(x) = 1/(1+e^{-x})\),把任意实数压进 0 到 1 的 S 形函数):
5.1 节的 SwiGLU 更进一步,走“门控”路线:把输入分两路,一路过 SiLU 当阀门,一路原样当内容,两路逐元素相乘再投影回去。阀门由数据自己决定开多大,比固定形状的激活函数多一层表达能力。minimind 与 LLaMA 系列的 FFN 用的都是它。
A.6.2 均值、方差与归一化
归一化要用到两个统计量。均值是数据的中心位置,方差是数据围绕中心波动的剧烈程度:
归一化就是把数据中心挪到 0、波动压到 1:
Transformer 在每个子层旁放一个归一化层(4.4 节),用意是让每层拿到的输入尺度始终稳定:数值不随层数漂移,梯度的大小也就不会随层数失控(衔接 A.5 节的消失与爆炸问题)。归一化在向量自己的维度上做:每个 token 的向量各算各的均值方差,互不干扰。
原版 Transformer 用 LayerNorm,就是公式 (3)(4) 的完整版,外加可学习的缩放和平移参数。5.1 节讲的 RMSNorm 是它的精简版:不减均值、不算方差,只除以分量的均方根:
本书用在哪
| 章节 | 用到本节什么 |
|---|---|
| 4.4 FFN 与归一化 | FFN 里的激活函数、子层旁的 LayerNorm,原版架构的两个小件 |
| 5.1 现代变体 | RMSNorm 与 SwiGLU 相对原版的改动,动机与收益 |
| 6.3 训练稳定性 | 归一化稳定数值尺度,与梯度裁剪同属稳定性手段 |
| A.5 梯度与反向传播 | 激活函数的形状决定梯度能否穿过(负半轴死区的代价) |