5.1 归一化与激活的现代选择:RMSNorm 与 SwiGLU
本页范围:第 5 章第 1 节 | 整理时间:2026-09-29
本节要回答一个承上启下的问题:第 4 章逐层拆完了 2017 年的原版 Transformer,配方是 LayerNorm 加 ReLU 前馈;可今天打开 Llama、Qwen、minimind 任何一个主流模型的源码,看到的却是 RMSNorm、Pre-LN 和 SwiGLU。为什么要换?换成了什么?本节沿"三处精准改造"的主线逐个拆解,每一处改动对应一种设计哲学:
- 从 LayerNorm 到 RMSNorm:一次成功的化简(5.1.1):砍掉减均值这一步统计,只保留统一"音量",效果持平还更快;
- 从 Post-LN 到 Pre-LN:归一化挪个位置,深层训练就稳了(5.1.2):不改公式改位置,残差主干变成不设卡的高速公路,几十层不要 warmup 也训得稳;
- SwiGLU:给前馈网络装一道闸门(5.1.3):一半通道算"开度"、一半通道当"货物",多出的第三个矩阵靠缩维三分之二把参数账做平;
- 为什么这套组合成为标配(5.1.4):做减法、改位置、加门控三笔账合起来,看 Llama 到 minimind 的工程共识是怎么收敛出来的。
读完全节,你应该能打开任意一个现代模型的源码,说清它的残差块为什么长这样:三处改动都不加参数量,却换来更稳的深层训练和更好的效果。5.1.4 的收尾还会把话头递给注意力侧的改造,那是 5.2 节的内容。
逐处拆解之前,先明确本节在整条链路中的位置:第 4 章搭好了 Transformer 块的骨架,本章几节都是对块内部零件的改造,本节动的是归一化与前馈这两处。块在链路中的位置、进出数据的形状都不动,只换内部零件。
Transformer 块内部的零件放大之后长什么样?向量进去之后经过什么运算、出来时是什么形状?把本节要换上的两个新零件——RMSNorm 与 SwiGLU——单独拆开看(图 1):
5.1.1 从 LayerNorm 到 RMSNorm:一次成功的化简
先回顾第 4 章见过的 LayerNorm。它对一个 token 的特征向量 \(x\)(维度为 \(d\))做两件事:先减均值、再除以标准差,最后用可学习的缩放 \(\gamma\) 和平移 \(\beta\) 把表达能力还回去:
2019 年,Zhang 和 Sennrich 问了一个大胆的问题:减均值这步真的必要吗?他们假设 LayerNorm 里的对中(re-centering)性质可有可无,真正起作用的是控制尺度(re-scaling)。于是他们砍掉了减均值和平移 \(\beta\),只保留一步缩放,得到 RMSNorm:
落到具体数字上看两者的差别。取一个 4 维向量 \(x=(1,\,2,\,2,\,1)\),暂不看 \(\epsilon\) 与可学习参数:
| 对照项 | LayerNorm | RMSNorm |
|---|---|---|
| 统计量 | 均值 \(\mu=1.5\),方差 \(\sigma^{2}=0.25\) | 均方根 \(\mathrm{RMS}=\sqrt{10/4}\approx 1.58\) |
| 输出向量 | \((-1,\,1,\,1,\,-1)\) | \((0.63,\,1.26,\,1.26,\,0.63)\) |
| 输出均值 | 被归零(对中) | 仍偏正(不对中,只统一音量) |
RMSNorm 按均方根缩放向量,不减去均值,也不加平移。它保留了 LayerNorm 的免缩放性质:把整个输入向量放大 \(k\) 倍,分母 RMS 也跟着放大 \(k\) 倍,输出不变。与此同时,它省去一次均值统计、一次减法和一个平移参数。
效果会不会打折?论文在多种网络结构和多个任务上的实验答案是:不会。RMSNorm 与 LayerNorm 效果相当,而运行时间明显减少——论文摘要报告的口径是在不同模型上运行时间减少 7%~64%,即最高约六成提速。
提速幅度与模型结构相关,论文实验中提速最明显的场景含有较重的循环网络部分。在现代 LLM 里,RMSNorm 的价值更多体现在统计量少算一次、算子更简单、便于融合加速,而不是端到端快六成。
易错点:RMSNorm 的输出均值不是 0。推公式或写代码时,如果下意识假设"归一化之后一定零均值",在 RMSNorm 这里会翻车:它只做缩放,不做对中。
神经网络每层输出的数值范围飘忽不定,有的通道动辄几十,有的只有零点零几,下一层很难稳定处理。归一化就是在层与层之间设一个"安检门",把每个特征向量的尺度拧回标准范围,让训练不因为数值忽大忽小而震荡。Transformer 里归一化沿特征维度 \(d\) 独立地对每个 token 做,与批次大小无关。
所以这步在干嘛:RMSNorm 就是给每个 token 的特征向量统一"音量",不再纠正"跑调"。统计量少算一次、参数少一组,效果持平还更快——这是现代 LLM 集体换掉 LayerNorm 的原因。
5.1.2 从 Post-LN 到 Pre-LN:归一化挪个位置,深层训练就稳了
比"用哪种归一化"更重要的,是"归一化放在哪"。第 4 章讲过,原论文的每个残差块先算子层(注意力或前馈)、加残差、最后做 LayerNorm,这个写法后来被称为 Post-LN:
Xiong 等人在 2020 年的论文里用均场理论(mean field theory)把这件事分析透了:Post-LN 在初始化时,靠近输出层的参数梯度期望很大,一上来就用大学习率会直接训崩,所以必须配一段学习率慢慢爬坡的 warmup 热身阶段;而 Pre-LN 初始化时梯度表现良好,不要 warmup 也能稳定训练,省下大量训练时间与调参成本。
直觉上可以这样理解:残差连接是梯度回传的高速公路,Pre-LN 让 \(x_l\) 原封不动地贯穿所有层,反向传播时总有一条"恒等通路"把梯度无损送回浅层;Post-LN 则在这条高速公路上每层设一道关卡(归一化),几十层关卡连乘下来,梯度大小被逐层扭曲。类比高速公路与匝道:Post-LN 把收费站建在主干道上,车流一多就堵;Pre-LN 把收费站挪到匝道入口,主干道一路畅通。
注意:Post-LN 不是原罪。原论文 6 层的编码器-解码器配好 warmup 训得很好,问题出在层数加深之后:梯度失衡被几十层连乘放大。现代 LLM 动辄几十层起步,Pre-LN 因此成为默认选择。
历史脉络:GPT-2(2019)已把 LayerNorm 挪到每个子层的输入侧,并在最后一个残差块之后补了一个额外归一化,是 Pre-LN 写法的早期主流采用;Xiong 等人 2020 年的论文则从理论上解释了它为什么好训。
所以这步在干嘛:把归一化从主干挪到匝道,让残差主干变成一条不设卡的高速公路。梯度畅通了,几十上百层的模型才训得稳,连 warmup 都可以省掉。
5.1.3 SwiGLU:给前馈网络装一道闸门
第 4 章讲过,Transformer 每个位置还要过一个两层的前馈网络(FFN):先升维到约 \(4d\),过 ReLU,再压回 \(d\):
2020 年 Shazeer 把 GLU(门控线性单元,Dauphin 等人 2016 年提出)家族引进了 FFN。GLU 的想法是把一路线性投影拆成两路,一路过 sigmoid 当"开度",两路逐元素相乘:
门控的直觉用安检门 + 传送带来理解:\(xV\) 是传送带上的货物(信息内容),\(\mathrm{Swish}_1(xW)\) 是每件货物面前的闸口开度(0 到 1 之间平滑变化),两者相乘决定这件货物放行多少。对比 ReLU 的"非开即关"(要么全挡、要么全放),Swish 闸门能开一条缝,放行比例随输入连续可调——而且闸口开度本身也是同一个输入算出来的,等于让数据自己决定自己的通过率。
门控是深度学习里反复出现的结构:一路信号算"内容",另一路信号算"开度",逐元素相乘。LSTM 的遗忘门、GLU 家族、SwiGLU 都是这个思路。它的妙处在于开度是学出来的、且随输入变化:模型可以针对不同 token 动态决定哪些特征通道放行、哪些压掉,信息过滤从"一刀切"变成"精细化分拣"。
眼尖的读者会发现:SwiGLU 有三个矩阵 \(W,V,W_2\),比原 FFN 的两个多了一个,参数量岂不是涨了五成?Shazeer 的处理是把账做平:隐藏维度从 \(4d\) 缩到原来的约三分之二,即 \(d_{ff}=\frac{8d}{3}\)。这样三个矩阵的总参数量与原 FFN 完全一致:
同样的参数预算,SwiGLU 买到的是更强的表达能力。论文在 T5 上系统对比了各种 FFN 变体:SwiGLU 与 GEGLU 的预训练困惑度最低,多数下游任务上也最好。有意思的是,作者坦承给不出理论解释,原话调侃把成功归因于"divine benevolence"(上天的眷顾)——这是深度学习里典型的"先有效、后解释"的组件。
实际工程里 Llama、Qwen、minimind 的 SwiGLU 都用 SiLU 当门控激活,即公式 (7) 中 \(\beta=1\) 的 Swish,与 Shazeer 论文的 \(\mathrm{Swish}_1\) 设定一致,只是名字不同。
所以这步在干嘛:FFN 不再是无脑升维再压回,而是一半通道当闸门、一半通道当货物,模型学着按内容决定每个特征放行多少。多出来的第三个矩阵靠缩维把参数账做平,等于不加钱换了套更精密的设备。
5.1.4 为什么这套组合成为标配
把三节合起来看,现代 LLM 残差块的定型配方是:Pre-LN 残差骨架 + RMSNorm + SwiGLU 前馈。Llama 技术报告在架构部分明确列出的改动正是这几项(外加第 3 章讲过的 RoPE 位置编码),Qwen、minimind 等模型同款。三处改动各代表一种设计哲学:
做减法:RMSNorm
砍掉不必须的统计量(均值)与参数(平移),计算更少、算子更简单,效果持平。
改位置:Pre-LN
不改公式改结构,把归一化挪进分支,残差主干变成恒等通路,深层训练免去 warmup。
加门控:SwiGLU
多一个矩阵换门控表达能力,靠缩维三分之二把参数账做平,预算不变、效果更好。
这套组合不是理论证明出来的唯一解,而是大规模实验中稳定性、效果、成本三方权衡收敛出的工程共识:每一个改动单独看都不起眼,合起来让几百亿、几千亿参数的模型能够稳定、可复现地训练出来。
归一化与前馈改造完,下一个被动刀的是注意力本身:5.2 节将看到 GQA、MLA 如何压缩 KV Cache,把多头注意力的显存开销降下来。
参考来源
- Zhang & Sennrich, 2019. Root Mean Square Layer Normalization(RMSNorm 原始论文,NeurIPS 2019,arXiv:1910.07467)。RMSNorm 公式与"运行时间减少 7%~64%"的口径出自该文摘要。
- Ba, Kiros & Hinton, 2016. Layer Normalization(LayerNorm 原始论文,arXiv:1607.06450)。公式 (1) 出自该文。
- Xiong et al., 2020. On Layer Normalization in the Transformer Architecture(ICML 2020,arXiv:2002.04745)。Post-LN 初始化梯度失衡的均场理论分析、Pre-LN 免 warmup 的结论出自该文。
- Shazeer, 2020. GLU Variants Improve Transformer(arXiv:2002.05202)。SwiGLU 公式、隐藏维度乘 \(\frac{2}{3}\) 的做账方式、T5 实验(\(d_{ff}\) 3072 对 2048)与"divine benevolence"原话出自该文。
- Dauphin et al., 2016. Language Modeling with Gated Convolutional Networks(GLU 原始论文,arXiv:1612.08083)。公式 (6) 的门控结构出自该文。
- Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models(arXiv:2302.13971)。Pre-LN + RMSNorm + SwiGLU 在主流开源 LLM 中的定型搭配出自该文架构部分。
- Radford et al., 2019. Language Models are Unsupervised Multitask Learners(GPT-2 报告)。Pre-LN 写法的早期主流采用。
- Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762):本页正文所称「原论文」即此篇,LayerNorm + ReLU FFN + Post-LN + warmup 的初代配置出处,逐节精拆见本手册第 4 章。