4.4 前馈网络、残差连接与层归一化:注意力的三位搭档
本页范围:第 4 章第 4 节 | 整理时间:2026-09-29
前两节把注意力讲透了,但一层 Transformer 不只有注意力。原论文(Vaswani et al., 2017)的每一层里,注意力之外还站着三位搭档:前馈网络、残差连接、层归一化。缺了它们,6 层都叠不稳,更别说今天 LLM 的上百层。本节逐个讲清它们各管什么,最后把零件装回整机:
- FFN:每个位置的独立思考(4.4.1):注意力管搬运,FFN 管加工,512 → 2048 → 512 的两段变换拿走了一层约三分之二的参数;
- 残差连接:梯度的高速公路(4.4.2):输入原样加回输出,正向信号不丢、反向梯度不衰减,这是深层堆叠的前提;
- 层归一化:给数值分布上缰绳(4.4.3):把每个 token 的 512 个分量折算成均值 0、方差 1,再用可学习的 γ、β 把尺度学回来;
- 三件套如何拼成完整的一层(4.4.4):dropout、残差相加、层归一化按固定顺序包裹每个子层,张量形状全程不变。
读完本节,「一层 Transformer」在你眼里应该是一个完整配方,而不再只是注意力。
图 1 标出 Transformer 层在前向链路中的位置,图 2 至图 4 展示一层内部的构造,后续各节依次说明 FFN、残差连接和归一化。
「一层」在链路里的位置清楚了,接下来需要一座桥,从整条链路走进单层内部。这座桥 4.1 节已经搭好:那张两塔流水线图就是整个网络的架构总览,塔里每个白框「子层组」(注意力或 FFN,外加残差与归一化)就是一层的核心构件。把它转引在这里作架构地图(图 2),本节要拆的就是这些子层组的内部构造:
三张图的分工先立清楚:图 2 是两塔总览(数据自下而上),紫框圈出编码塔一层的两个子层组,橙框圈出解码塔一层的三个子层组(其中子层 2「编码器-解码器注意力」(交叉注意力)在 decoder-only 模型里没有对应物,后面不再出现)。本节讲到 4.4.4 拼装时,再把这两个框各自放大一层:图 3 放大编码塔(原论文的顺序),图 4 放大解码塔(今天模型的做法)。先把三件套逐件讲透,拼装留到最后。
4.4.1 FFN:每个位置的独立思考
FFN 的输入,是多头注意力做完残差相加与层归一化之后的结果:每个位置的 512 维向量里,已经拌好了从其他位置借来的信息,数值也被重新校准过。但注意力的加权求和是线性操作:它只把已有信息按比例混合搬运,不产生新特征。对这份混合物进行深度加工的,是每层第二个子层:逐位置前馈网络(Position-wise Feed-Forward Network,FFN)。
它的作用可以概括成两点。第一,非线性提炼:把每个位置的向量放大到 2048 维的「大工作台」,用 ReLU 闸门筛掉无用分量、放行被激活的特征,再压回 512 维精华——没有这一步,注意力加线性变换叠多少层都等价于一次线性变换,深度就失去意义。第二,逐位置独立:每个 token 关起门来消化自己刚收集的信息,不看任何邻居,同一组 \(W_{1},W_{2}\) 对所有位置共享。注意力管「位置之间的交流」,FFN 管「位置内部的思考」,两者交替就是一层 Transformer 的完整节奏。
把公式 (1) 按运算顺序拆开:
- \(xW_{1}+b_{1}\):把 512 维放大到 2048 维(\(W_{1}\) 形状 \(512\times2048\)),维度膨胀 4 倍;
- \(\max(0,\cdot)\):ReLU 激活,负数一律砍成 0,像一排闸门,只放被激活的特征通过;
- \(\cdot\,W_{2}+b_{2}\):把 2048 维压回 512 维(\(W_{2}\) 形状 \(2048\times512\)),保证输出还能接回主干。
参数量顺带一提:\(W_{1}\) 与 \(W_{2}\) 各有 \(512\times2048\approx105\) 万个权重,合计约 210 万,占一层参数的约三分之二(对比:4.2 节多头注意力的四个投影矩阵合计约 105 万)。参数多意味着容量大——有研究把 FFN 的神经元解释为一条条 key-value 记忆,认为模型记住的事实知识主要存在这里(Geva et al., 2021),FFN 因此常被称为模型的「知识仓库」。
原论文说 FFN「分别且相同地应用于每个位置」:序列有 \(n\) 个 token 就是 \(n\) 次独立计算,用的是同一组 \(W_{1},W_{2}\)(层与层之间参数不同)。它不看任何别的位置,只处理当前位置自己的 512 维向量。原论文还给出一种等效看法:两个核大小为 1 的卷积。
为什么偏偏膨胀 4 倍(\(2048/512\))?原论文没有解释,这是工程经验的选择,但影响深远:后来的 GPT 系模型大多沿用 4 倍膨胀这个比例。
所以这步在干嘛:每个 token 把刚从别处借来的信息独立消化一遍——升维筛选、压回精华,输出仍是 512 维,接回主干交给残差与归一化。
4.4.2 残差连接:梯度的高速公路
原论文把 6 个完全相同的层叠在一起,今天的模型动辄几十上百层。麻烦随之而来:信息每经过一层就被改写一次,层数越多,底层的输入信号和回传的梯度越容易在层层变换中走样消失——就像传话游戏,一句话经几十人依次转述,最后面目全非,网络越深越训不动。残差连接(Residual Connection)改的规则只有一条:每个人转述时,必须把听到的原话抄一份一起递下去——把子层输入 \(x\) 原样加到子层输出上,无论传多少棒,最初的信息都丢不了。
从梯度视角看,加法对梯度是原样放行的:若 \(y=x+F(x)\),则 \(\partial y/\partial x=1+\partial F/\partial x\)。无论 \(\partial F/\partial x\) 多小,那个常数 \(1\) 都在,梯度总有一条不衰减的通道直达浅层。这就是「高速公路」的含义:残差旁路上的梯度不堵车,几十层的网络才训得动。这一思想源自 ResNet(He et al., 2016),原论文把它借用到每个子层周围。
残差连接带来一条硬约束:相加要求两边形状一致。原论文为此把模型中所有子层以及嵌入层的输出维度统一成 \(d_{\mathrm{model}}=512\)(3.1 节),这就是 512 这个数字在架构里反复出现的原因之一。
所以这步在干嘛:子层只负责学「增量」,原始信息走旁边的直达通道原样下传;正向传信号不丢失,反向传梯度不衰减。
4.4.3 层归一化:给数值分布上缰绳
残差相加解决「深」,还有一个「稳」的问题。训练过程中,每个 token 的 512 维向量的数值幅度会随层数和参数更新不断漂移:有的分量冲到几十,有的缩在零附近。数值分布忽胖忽瘦,后续子层就要不停适应新尺度,训练像开一辆方向盘发抖的车。层归一化(Layer Normalization,LN)的作用是给这辆车上缰绳:对每个 token 的 512 个分量单独折算成统一的标准形态,再把尺度交还给模型自己调。
拿一个 4 维小向量 \(x=(2,4,4,6)\) 走一遍。均值 \(\mu=4\),方差 \(\sigma^{2}=\big((2-4)^{2}+0+0+(6-4)^{2}\big)/4=2\),标准差 \(\sqrt{2}\approx1.41\)。标准化后得到 \((-1.41,\ 0,\ 0,\ 1.41)\):偏大的 6 变成 \(+1.41\),偏小的 2 变成 \(-1.41\),中间值归零。最后乘 \(\gamma\)、加 \(\beta\)(训练中学会的缩放与平移),就是 LN 的输出。512 维时算法一模一样,只是统计量在 512 个数上算。
为什么还要 \(\gamma,\beta\)?一律标准化会抹掉「这个 token 本来信号更强」这类幅度信息,模型未必想要人人均值 0。\(\gamma,\beta\) 让网络把有用的尺度和偏移学回来——先帮你稳住,再给你自由。
和 BatchNorm 的区别一句话带过:BN 在一个批次内、按特征维跨样本算统计量;LN 在同一个样本内部、按特征分量算统计量。序列长度可变、批次为 1 的场景下 BN 很难用,这正是 Transformer 选 LN 的原因(Ba et al., 2016)。
所以这步在干嘛:每经过一个子层,就把每个 token 的数值重新归置到标准形态,再按学来的尺度微调,让下一层永远面对分布稳定的输入。
4.4.4 三件套如何拼成完整的一层
现在把零件装起来。原论文 3.1 节与 5.4 节合起来给出了一层编码器的固定组装套路:每个子层(多头注意力、FFN)都被同样三件套包裹——
- 子层计算:\(\mathrm{Sublayer}(x)\);
- 施加 dropout:训练时把子层输出中约 10% 的数值随机置零(\(P_{drop}=0.1\));
- 残差相加:把子层输入 \(x\) 原样加回来;
- 层归一化:对相加结果做 LN,得到这一子层的最终输出。
第 2 步来自 5.4 节的 residual dropout:原论文明确说在每个子层的输出上应用 dropout,「在将其添加到子层输入并进行归一化之前」;嵌入与位置编码之和进第一层前同样施加。所以这个固定顺序可以写成 \(\mathrm{LN}\big(x+\mathrm{Dropout}(\mathrm{Sublayer}(x))\big)\)。
dropout 在训练时以概率 \(p\) 把张量中的一些数值随机置零(基础模型 \(p=0.1\)),迫使网络不能把希望寄托在某几个特定数值上,要学出更分散、更稳健的特征;推理时关闭,全量数值参与计算。
把套路画出来。图 3 是图 2 左侧编码塔一层的放大,自下而上读:每个子层先计算(注意力或 FFN),再被 dropout、残差相加、层归一化依次包裹,数据流方向与图 2 一致:
注意图 3 里一个贯穿始终的事实:从输入到输出,张量形状始终是 \((n,512)\)。残差相加能成立靠它(形状一致才能相加),层与层之间能无限堆叠也靠它——这一层的输出形状和输入一样,下一层原样接上即可。
演进预告:原论文这种「先相加、后归一化」的顺序叫 Post-LN。后来的研究发现,把归一化挪到子层输入侧(Pre-LN,即 \(x+\mathrm{Sublayer}(\mathrm{LN}(x))\))在深层模型中训练更稳定,甚至不必依赖学习率预热(Xiong et al., 2020);LN 本身被简化成 RMSNorm,FFN 的 ReLU 也被 SwiGLU 取代。这些现代变体是第 5 章的主题,5.1 节细讲。
现代模型对图 3 这套流程做了三处改动:归一化挪到子层之前、LN 换成 RMSNorm、FFN 换成 SwiGLU。图 4 是图 2 右侧解码塔一层的放大,用的就是改动后的现代形态,与图 3 对照着看,改动位置一清二楚:
所以这一层在干嘛:注意力完成位置之间的交流,FFN 完成位置内部的加工;残差旁路保证信息与梯度畅通,LN 与 dropout 把数值和训练都约束在稳定轨道上。六层叠加,就是「交流—思考—再交流—再思考」的六轮循环。
参考来源
- Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762):3.1 节(残差连接与 LayerNorm(x+Sublayer(x))、统一 512 维)、3.3 节(FFN 公式与 \(d_{ff}=2048\))、5.4 节(residual dropout,\(P_{drop}=0.1\))。本页正文所称「原论文」即此篇。
- He et al., 2016. Deep Residual Learning for Image Recognition(CVPR 2016):残差连接的原始出处,原论文参考文献 [11]。
- Ba, Kiros & Hinton, 2016. Layer Normalization(arXiv:1607.06450):层归一化原始论文,原论文参考文献 [1]。
- Xiong et al., 2020. On Layer Normalization in the Transformer Architecture(arXiv:2002.04745,ICML 2020):Post-LN 与 Pre-LN 的对比分析,Pre-LN 训练更稳定、可不依赖学习率预热的结论出自该文。
- Geva et al., 2021. Transformer Feed-Forward Layers Are Key-Value Memories(EMNLP 2021,arXiv:2012.14913):FFN 作为 key-value 记忆的解读。
- minimind 工程代码(Apache 2.0):
model/model_minimind.py的FeedForward、RMSNorm、MiniMindBlock类。