5.1 归一化与激活的现代选择:RMSNorm 与 SwiGLU

本页范围:第 5 章第 1 节 | 整理时间:2026-09-29

快速浏览

核心问题第 4 章讲完了原论文(Vaswani et al., 2017)的 Transformer:LayerNorm 加 ReLU 前馈。可今天打开任何一个主流 LLM 的源码,看到的却是 RMSNorm、Pre-LN 和 SwiGLU。为什么要换?换成了什么?
本节主张现代 LLM 的标配残差块是三处精准改造的组合:归一化从 LayerNorm 化简为 RMSNorm(做减法)、从 Post-LN 挪到 Pre-LN(改位置)、前馈从 ReLU 升级为 SwiGLU 门控(加闸门)。三处改动都不增加参数量,却换来更稳的深层训练和更好的效果。
一句话结论RMSNorm 砍掉减均值、Pre-LN 给梯度留一条恒等通路、SwiGLU 让 FFN 学会按内容放行信息,这套组合是 Llama、Qwen、minimind 等现代模型的共同选择。
关键词
LayerNormRMSNormPre-LNPost-LNSwiGLU门控

  本节要回答一个承上启下的问题:第 4 章逐层拆完了 2017 年的原版 Transformer,配方是 LayerNorm 加 ReLU 前馈;可今天打开 Llama、Qwen、minimind 任何一个主流模型的源码,看到的却是 RMSNorm、Pre-LN 和 SwiGLU。为什么要换?换成了什么?本节沿"三处精准改造"的主线逐个拆解,每一处改动对应一种设计哲学:

  1. 从 LayerNorm 到 RMSNorm:一次成功的化简(5.1.1):砍掉减均值这一步统计,只保留统一"音量",效果持平还更快;
  2. 从 Post-LN 到 Pre-LN:归一化挪个位置,深层训练就稳了(5.1.2):不改公式改位置,残差主干变成不设卡的高速公路,几十层不要 warmup 也训得稳;
  3. SwiGLU:给前馈网络装一道闸门(5.1.3):一半通道算"开度"、一半通道当"货物",多出的第三个矩阵靠缩维三分之二把参数账做平;
  4. 为什么这套组合成为标配(5.1.4):做减法、改位置、加门控三笔账合起来,看 Llama 到 minimind 的工程共识是怎么收敛出来的。

  读完全节,你应该能打开任意一个现代模型的源码,说清它的残差块为什么长这样:三处改动都不加参数量,却换来更稳的深层训练和更好的效果。5.1.4 的收尾还会把话头递给注意力侧的改造,那是 5.2 节的内容。

  逐处拆解之前,先明确本节在整条链路中的位置:第 4 章搭好了 Transformer 块的骨架,本章几节都是对块内部零件的改造,本节动的是归一化与前馈这两处。块在链路中的位置、进出数据的形状都不动,只换内部零件。

  Transformer 块内部的零件放大之后长什么样?向量进去之后经过什么运算、出来时是什么形状?把本节要换上的两个新零件——RMSNorm 与 SwiGLU——单独拆开看(图 1):

原创示意图 · 非论文原图 局部放大:RMSNorm——输入一个 768 维向量,输出同形状的 768 维向量 输入向量 x 768 维(minimind) 示例 (1, 2, 2, 1) ① 求均方根 平方 → 平均 → 开根号 RMS = √(10/4) ≈ 1.58 唯一的统计量 ② 除以 RMS 逐分量 ÷ 1.58 音量拧到 1 附近 ③ 乘可学增益 ×g(768 维) 逐元素缩放 唯一的可学参数 输出:768 维向量 g=1 时示例 (0.63, 1.26, 1.26, 0.63) 形状与输入完全相同 对照 LayerNorm,砍掉了: 减均值(不对中)和平移 β 输出均值不为 0,只统一音量 旁注:同一块里的另一半改造——SwiGLU 前馈三路投影(5.1.3,minimind 配置) gate_proj:768 → 2432 过 SiLU,算「开度」 up_proj:768 → 2432 装「内容」 ⊙ down_proj:2432 → 768 压回原维度
图 1:RMSNorm 的计算流与 SwiGLU 的三路投影。RMSNorm 对一个 token 的 768 维特征向量只做一次统计(均方根)、一次除法、一次可学缩放,输出形状与输入相同;示例数字取自正文对 4 维向量 (1, 2, 2, 1) 的演算(取 g=1、暂不计 ε)。旁注是 minimind 的 SwiGLU 真实配置:gate_proj 与 up_proj 把 768 维升到 2432 维,一门一货逐元素相乘,再由 down_proj 压回 768 维。

5.1.1 从 LayerNorm 到 RMSNorm:一次成功的化简

  先回顾第 4 章见过的 LayerNorm。它对一个 token 的特征向量 \(x\)(维度为 \(d\))做两件事:先减均值、再除以标准差,最后用可学习的缩放 \(\gamma\) 和平移 \(\beta\) 把表达能力还回去:

\[ \mathrm{LayerNorm}(x)=\frac{x-\mu}{\sqrt{\sigma^{2}+\epsilon}}\odot\gamma+\beta,\qquad \mu=\frac{1}{d}\sum_{i=1}^{d}x_i,\qquad \sigma^{2}=\frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^{2} \tag{1} \]
公式 (1):LayerNorm 的两步统计——先算均值 \(\mu\) 对中,再算方差 \(\sigma^{2}\) 缩放,\(\epsilon\) 防止除零。符号说明:\(x\) 是一个 token 的特征向量,\(x_i\) 是它的第 \(i\) 维分量,\(d\) 是特征维度;\(\mu\) 与 \(\sigma^{2}\) 分别是这 \(d\) 个分量的均值与方差,由 \(x\) 自身逐 token 算出;\(\epsilon\) 是防止除零的小常数;\(\gamma\) 与 \(\beta\) 是可学习的缩放与平移参数,随训练更新;\(\odot\) 表示逐元素相乘。

  2019 年,Zhang 和 Sennrich 问了一个大胆的问题:减均值这步真的必要吗?他们假设 LayerNorm 里的对中(re-centering)性质可有可无,真正起作用的是控制尺度(re-scaling)。于是他们砍掉了减均值和平移 \(\beta\),只保留一步缩放,得到 RMSNorm:

\[ \mathrm{RMSNorm}(x)=\frac{x}{\mathrm{RMS}(x)}\odot g,\qquad \mathrm{RMS}(x)=\sqrt{\frac{1}{d}\sum_{i=1}^{d}x_i^{2}+\epsilon} \tag{2} \]
公式 (2):RMSNorm 只做一次统计——平方、取平均、开根号(均方根 RMS),再除过去、乘上可学习的 \(g\)。没有减均值,没有平移。符号说明:\(\mathrm{RMS}(x)\) 是 \(x\) 的均方根,由各分量的平方平均再开根号得来;\(g\) 是可学习的缩放向量,作用与 LayerNorm 的 \(\gamma\) 相同;\(\epsilon\) 同公式 (1),防止除零。

  落到具体数字上看两者的差别。取一个 4 维向量 \(x=(1,\,2,\,2,\,1)\),暂不看 \(\epsilon\) 与可学习参数:

对照项LayerNormRMSNorm
统计量均值 \(\mu=1.5\),方差 \(\sigma^{2}=0.25\)均方根 \(\mathrm{RMS}=\sqrt{10/4}\approx 1.58\)
输出向量\((-1,\,1,\,1,\,-1)\)\((0.63,\,1.26,\,1.26,\,0.63)\)
输出均值被归零(对中)仍偏正(不对中,只统一音量)

  RMSNorm 按均方根缩放向量,不减去均值,也不加平移。它保留了 LayerNorm 的免缩放性质:把整个输入向量放大 \(k\) 倍,分母 RMS 也跟着放大 \(k\) 倍,输出不变。与此同时,它省去一次均值统计、一次减法和一个平移参数。

  效果会不会打折?论文在多种网络结构和多个任务上的实验答案是:不会。RMSNorm 与 LayerNorm 效果相当,而运行时间明显减少——论文摘要报告的口径是在不同模型上运行时间减少 7%~64%,即最高约六成提速。

  提速幅度与模型结构相关,论文实验中提速最明显的场景含有较重的循环网络部分。在现代 LLM 里,RMSNorm 的价值更多体现在统计量少算一次、算子更简单、便于融合加速,而不是端到端快六成。

  易错点:RMSNorm 的输出均值不是 0。推公式或写代码时,如果下意识假设"归一化之后一定零均值",在 RMSNorm 这里会翻车:它只做缩放,不做对中。

归一化 Normalization normalize = 把数据的尺度拉回标准范围

神经网络每层输出的数值范围飘忽不定,有的通道动辄几十,有的只有零点零几,下一层很难稳定处理。归一化就是在层与层之间设一个"安检门",把每个特征向量的尺度拧回标准范围,让训练不因为数值忽大忽小而震荡。Transformer 里归一化沿特征维度 \(d\) 独立地对每个 token 做,与批次大小无关。

  所以这步在干嘛:RMSNorm 就是给每个 token 的特征向量统一"音量",不再纠正"跑调"。统计量少算一次、参数少一组,效果持平还更快——这是现代 LLM 集体换掉 LayerNorm 的原因。

5.1.2 从 Post-LN 到 Pre-LN:归一化挪个位置,深层训练就稳了

  比"用哪种归一化"更重要的,是"归一化放在哪"。第 4 章讲过,原论文的每个残差块先算子层(注意力或前馈)、加残差、最后做 LayerNorm,这个写法后来被称为 Post-LN:

\[ \text{Post-LN:}\quad x_{l+1}=\mathrm{LayerNorm}\bigl(x_l+\mathrm{Sublayer}(x_l)\bigr) \tag{3} \] \[ \text{Pre-LN:}\quad x_{l+1}=x_l+\mathrm{Sublayer}\bigl(\mathrm{Norm}(x_l)\bigr) \tag{4} \]
公式 (3)(4):同一个子层、同一个归一化,区别只在归一化的位置——Post-LN 卡在残差相加之后,Pre-LN 挪到子层输入侧,残差主干不再经过归一化。符号说明:\(x_l\) 是第 \(l\) 层的输入(即上一层的输出),\(x_{l+1}\) 是该层的输出;\(\mathrm{Sublayer}(\cdot)\) 是注意力或前馈子层;\(\mathrm{Norm}\) 泛指任一种归一化算子(LayerNorm 或 RMSNorm)。

  Xiong 等人在 2020 年的论文里用均场理论(mean field theory)把这件事分析透了:Post-LN 在初始化时,靠近输出层的参数梯度期望很大,一上来就用大学习率会直接训崩,所以必须配一段学习率慢慢爬坡的 warmup 热身阶段;而 Pre-LN 初始化时梯度表现良好,不要 warmup 也能稳定训练,省下大量训练时间与调参成本。

  直觉上可以这样理解:残差连接是梯度回传的高速公路,Pre-LN 让 \(x_l\) 原封不动地贯穿所有层,反向传播时总有一条"恒等通路"把梯度无损送回浅层;Post-LN 则在这条高速公路上每层设一道关卡(归一化),几十层关卡连乘下来,梯度大小被逐层扭曲。类比高速公路与匝道:Post-LN 把收费站建在主干道上,车流一多就堵;Pre-LN 把收费站挪到匝道入口,主干道一路畅通。

  注意:Post-LN 不是原罪。原论文 6 层的编码器-解码器配好 warmup 训得很好,问题出在层数加深之后:梯度失衡被几十层连乘放大。现代 LLM 动辄几十层起步,Pre-LN 因此成为默认选择。

  历史脉络:GPT-2(2019)已把 LayerNorm 挪到每个子层的输入侧,并在最后一个残差块之后补了一个额外归一化,是 Pre-LN 写法的早期主流采用;Xiong 等人 2020 年的论文则从理论上解释了它为什么好训。

原创示意图 · 非论文原图 Pre-LN 残差块(现代 LLM 标配) 来自上一层的 x RMSNorm 多头注意力子层 + RMSNorm SwiGLU 前馈子层 + 输出到下一残差块 归一化只在 分支上生效 主干原值 直达加法点 残差直连 不经过任何变换
图 2:Pre-LN 残差块的数据流。归一化(黄色)只作用在子层分支上,输入沿残差直连(青色虚线)原样抵达加法点,主干始终保持"原值 + 增量"的累加形态,梯度有一条不设卡的恒等通路。

  所以这步在干嘛:把归一化从主干挪到匝道,让残差主干变成一条不设卡的高速公路。梯度畅通了,几十上百层的模型才训得稳,连 warmup 都可以省掉。

5.1.3 SwiGLU:给前馈网络装一道闸门

  第 4 章讲过,Transformer 每个位置还要过一个两层的前馈网络(FFN):先升维到约 \(4d\),过 ReLU,再压回 \(d\):

\[ \mathrm{FFN}_{\mathrm{ReLU}}(x)=\max(0,\;xW_1+b_1)\,W_2+b_2 \tag{5} \]
公式 (5):原论文的 FFN。升维—ReLU—压回,现代实现一般去掉偏置 \(b_1,b_2\)。FFN 占了稠密模型约三分之二的参数,是模型的"记忆仓库"。符号说明:\(W_1\) 是升维矩阵,把 \(d\) 维升到约 \(4d\);\(W_2\) 是压回矩阵,把升维结果压回 \(d\) 维;\(b_1,b_2\) 是对应的偏置向量;\(\max(0,\cdot)\) 就是 ReLU,负数归零、正数原样保留。

  2020 年 Shazeer 把 GLU(门控线性单元,Dauphin 等人 2016 年提出)家族引进了 FFN。GLU 的想法是把一路线性投影拆成两路,一路过 sigmoid 当"开度",两路逐元素相乘:

\[ \mathrm{GLU}(x)=\sigma(xW)\otimes xV \tag{6} \] \[ \mathrm{Swish}_{\beta}(x)=x\cdot\sigma(\beta x) \tag{7} \] \[ \mathrm{FFN}_{\mathrm{SwiGLU}}(x)=\bigl(\mathrm{Swish}_{1}(xW)\otimes xV\bigr)W_2 \tag{8} \]
公式 (6)(7)(8):GLU 的门控结构、Swish 激活(\(\beta=1\) 时也叫 SiLU)、以及二者合成的 SwiGLU 前馈。Swish 比 ReLU 平滑:负半轴不一刀切到 0,允许小的负值漏过去。符号说明:\(\sigma(\cdot)\) 是 sigmoid 函数,把任意实数压到 0~1;\(W,V\) 是两个并行的投影矩阵,分别算「开度」与「内容」;\(\otimes\) 表示逐元素相乘;\(\beta\) 是 Swish 的陡峭度参数,取 1 时即 SiLU;\(W_2\) 是把门控结果压回 \(d\) 维的输出矩阵。

  门控的直觉用安检门 + 传送带来理解:\(xV\) 是传送带上的货物(信息内容),\(\mathrm{Swish}_1(xW)\) 是每件货物面前的闸口开度(0 到 1 之间平滑变化),两者相乘决定这件货物放行多少。对比 ReLU 的"非开即关"(要么全挡、要么全放),Swish 闸门能开一条缝,放行比例随输入连续可调——而且闸口开度本身也是同一个输入算出来的,等于让数据自己决定自己的通过率。

门控 Gating gate = 用一个 0~1 的开度系数控制另一路信号通过多少

门控是深度学习里反复出现的结构:一路信号算"内容",另一路信号算"开度",逐元素相乘。LSTM 的遗忘门、GLU 家族、SwiGLU 都是这个思路。它的妙处在于开度是学出来的、且随输入变化:模型可以针对不同 token 动态决定哪些特征通道放行、哪些压掉,信息过滤从"一刀切"变成"精细化分拣"。

  眼尖的读者会发现:SwiGLU 有三个矩阵 \(W,V,W_2\),比原 FFN 的两个多了一个,参数量岂不是涨了五成?Shazeer 的处理是把账做平:隐藏维度从 \(4d\) 缩到原来的约三分之二,即 \(d_{ff}=\frac{8d}{3}\)。这样三个矩阵的总参数量与原 FFN 完全一致:

\[ \underbrace{2\times d\times 4d}_{\text{原 FFN:}W_1,W_2}=8d^{2}\qquad\Longleftrightarrow\qquad \underbrace{3\times d\times \tfrac{8d}{3}}_{\text{SwiGLU:}W,V,W_2}=8d^{2} \tag{9} \]
公式 (9):参数量做账。代入 \(d=768\):原 FFN 为 \(2\times768\times3072=4{,}718{,}592\),SwiGLU 为 \(3\times768\times2048=4{,}718{,}592\),分毫不差。T5 上的对照实验正是用 3072 对 2048 这组数。

  同样的参数预算,SwiGLU 买到的是更强的表达能力。论文在 T5 上系统对比了各种 FFN 变体:SwiGLU 与 GEGLU 的预训练困惑度最低,多数下游任务上也最好。有意思的是,作者坦承给不出理论解释,原话调侃把成功归因于"divine benevolence"(上天的眷顾)——这是深度学习里典型的"先有效、后解释"的组件。

  实际工程里 Llama、Qwen、minimind 的 SwiGLU 都用 SiLU 当门控激活,即公式 (7) 中 \(\beta=1\) 的 Swish,与 Shazeer 论文的 \(\mathrm{Swish}_1\) 设定一致,只是名字不同。

  所以这步在干嘛:FFN 不再是无脑升维再压回,而是一半通道当闸门、一半通道当货物,模型学着按内容决定每个特征放行多少。多出来的第三个矩阵靠缩维把参数账做平,等于不加钱换了套更精密的设备。

5.1.4 为什么这套组合成为标配

  把三节合起来看,现代 LLM 残差块的定型配方是:Pre-LN 残差骨架 + RMSNorm + SwiGLU 前馈。Llama 技术报告在架构部分明确列出的改动正是这几项(外加第 3 章讲过的 RoPE 位置编码),Qwen、minimind 等模型同款。三处改动各代表一种设计哲学:

做减法:RMSNorm

砍掉不必须的统计量(均值)与参数(平移),计算更少、算子更简单,效果持平。

改位置:Pre-LN

不改公式改结构,把归一化挪进分支,残差主干变成恒等通路,深层训练免去 warmup。

加门控:SwiGLU

多一个矩阵换门控表达能力,靠缩维三分之二把参数账做平,预算不变、效果更好。

  这套组合不是理论证明出来的唯一解,而是大规模实验中稳定性、效果、成本三方权衡收敛出的工程共识:每一个改动单独看都不起眼,合起来让几百亿、几千亿参数的模型能够稳定、可复现地训练出来。

  归一化与前馈改造完,下一个被动刀的是注意力本身:5.2 节将看到 GQA、MLA 如何压缩 KV Cache,把多头注意力的显存开销降下来。

🧭本节要点回顾
RMSNorm 相比 LayerNorm 砍掉了什么?为什么敢砍?
砍掉减均值(对中)和平移 \(\beta\),只保留"除以均方根 + 可学习缩放"。原论文假设对中性质可有可无,实验证实效果持平,而运行时间减少 7%~64%(不同模型),最高约六成提速。
Pre-LN 为什么比 Post-LN 好训?
Pre-LN 把归一化挪到子层输入侧,残差主干是恒等通路,初始化时梯度表现良好,不用 warmup 也能稳定训练;Post-LN 把归一化卡在残差通路上,初始化时输出层附近梯度过大,离开 warmup 容易训崩。
SwiGLU 有三个矩阵,为什么模型没有变大?
隐藏维度从 \(4d\) 缩到 \(\frac{8d}{3}\)(原来的约三分之二):\(3\times d\times\frac{8d}{3}=8d^{2}\),与原 FFN 的 \(2\times d\times 4d=8d^{2}\) 恰好打平。多出来的是门控带来的表达能力,不是参数量。

参考来源

  • Zhang & Sennrich, 2019. Root Mean Square Layer Normalization(RMSNorm 原始论文,NeurIPS 2019,arXiv:1910.07467)。RMSNorm 公式与"运行时间减少 7%~64%"的口径出自该文摘要。
  • Ba, Kiros & Hinton, 2016. Layer Normalization(LayerNorm 原始论文,arXiv:1607.06450)。公式 (1) 出自该文。
  • Xiong et al., 2020. On Layer Normalization in the Transformer Architecture(ICML 2020,arXiv:2002.04745)。Post-LN 初始化梯度失衡的均场理论分析、Pre-LN 免 warmup 的结论出自该文。
  • Shazeer, 2020. GLU Variants Improve Transformer(arXiv:2002.05202)。SwiGLU 公式、隐藏维度乘 \(\frac{2}{3}\) 的做账方式、T5 实验(\(d_{ff}\) 3072 对 2048)与"divine benevolence"原话出自该文。
  • Dauphin et al., 2016. Language Modeling with Gated Convolutional Networks(GLU 原始论文,arXiv:1612.08083)。公式 (6) 的门控结构出自该文。
  • Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models(arXiv:2302.13971)。Pre-LN + RMSNorm + SwiGLU 在主流开源 LLM 中的定型搭配出自该文架构部分。
  • Radford et al., 2019. Language Models are Unsupervised Multitask Learners(GPT-2 报告)。Pre-LN 写法的早期主流采用。
  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762):本页正文所称「原论文」即此篇,LayerNorm + ReLU FFN + Post-LN + warmup 的初代配置出处,逐节精拆见本手册第 4 章。