4.4 前馈网络、残差连接与层归一化:注意力的三位搭档

本页范围:第 4 章第 4 节 | 整理时间:2026-09-29

快速浏览

核心问题多头注意力算完「谁看谁」之后,一层 Transformer 还差哪些部件,才能叠到 6 层甚至上百层还训得动?
本节主张每个子层都配三位搭档:FFN 把每个位置的信息独立加工一遍,残差连接给信息和梯度留一条直达通道,层归一化把数值分布拉回标准形态。三者按固定套路包裹每一个子层。
一句话结论注意力管搬运信息,FFN 管加工信息,残差连接与层归一化管深层堆叠的稳定性,四者合体才是完整的一层 Transformer。
关键词
FFN逐位置残差连接层归一化DropoutPost-LN

  前两节把注意力讲透了,但一层 Transformer 不只有注意力。原论文(Vaswani et al., 2017)的每一层里,注意力之外还站着三位搭档:前馈网络、残差连接、层归一化。缺了它们,6 层都叠不稳,更别说今天 LLM 的上百层。本节逐个讲清它们各管什么,最后把零件装回整机:

  1. FFN:每个位置的独立思考(4.4.1):注意力管搬运,FFN 管加工,512 → 2048 → 512 的两段变换拿走了一层约三分之二的参数;
  2. 残差连接:梯度的高速公路(4.4.2):输入原样加回输出,正向信号不丢、反向梯度不衰减,这是深层堆叠的前提;
  3. 层归一化:给数值分布上缰绳(4.4.3):把每个 token 的 512 个分量折算成均值 0、方差 1,再用可学习的 γ、β 把尺度学回来;
  4. 三件套如何拼成完整的一层(4.4.4):dropout、残差相加、层归一化按固定顺序包裹每个子层,张量形状全程不变。

  读完本节,「一层 Transformer」在你眼里应该是一个完整配方,而不再只是注意力。

  图 1 标出 Transformer 层在前向链路中的位置,图 2 至图 4 展示一层内部的构造,后续各节依次说明 FFN、残差连接和归一化。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (第 2 章) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (本节内容) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:已讲章节 虚线框:后续章节
图 1:Transformer 层在 LLM 前向链路中的位置。文本经分词(第 2 章)变成 token ID,Embedding 查表换成词向量(3.1 节),注入位置信息(3.2–3.5 节)后进入 Transformer 层逐层加工,再经输出投影算分(本章后半)、采样出下一个 token 接回输入(第 12 章)。本节只看这一站内部:注意力之外,一层还需要 FFN、残差连接与层归一化三位搭档才完整。

  「一层」在链路里的位置清楚了,接下来需要一座桥,从整条链路走进单层内部。这座桥 4.1 节已经搭好:那张两塔流水线图就是整个网络的架构总览,塔里每个白框「子层组」(注意力或 FFN,外加残差与归一化)就是一层的核心构件。把它转引在这里作架构地图(图 2),本节要拆的就是这些子层组的内部构造:

原创示意图 · 非论文原图 编码器(读懂源句) 解码器(逐词写译文) 上下文表示 z 每个 token 一个 512 维向量 编码器层 ×6(两个子层,自下而上) 残差连接 + 层归一化 子层 2:前馈网络 FFN 512 → 2048 → 512 残差连接 + 层归一化 子层 1:多头自注意力 Embedding × √512 再加位置编码(第 3 章) 源句 token 序列 例:I love you(4 个 token) Linear + Softmax 输出下一个词的概率 解码器层 ×6(三个子层,自下而上) 残差连接 + 层归一化 子层 3:前馈网络 FFN 残差连接 + 层归一化 子层 2:编码器-解码器注意力 残差连接 + 层归一化 子层 1:掩码多头自注意力 Embedding × √512 再加位置编码(第 3 章) 已生成前缀(右移一位) 起始符 + 已写出的译文词 K、V 来自编码器 紫色边框的两个子层组(自注意力 + FFN)= 图 3 展开范围(4.4.4) 橙色边框的两个子层组(子层 1 + 子层 3)= 图 4 展开的范围 输出接回输入,逐词循环
图 2:Transformer 两塔流水线(与 4.1 节图 3 为同一张图,转引至此作为本节的架构地图)。数据自下而上流动:编码器读源句,解码器逐词写译文,塔中每个白框是一个完整子层(先变换、后残差归一化)。两塔的子层组是同构的:图 3 放大左侧编码塔紫色边框圈出的两个子层组(自注意力 + FFN)按原论文 Post-LN 顺序的完整数据流;图 4 放大右侧解码塔橙色边框圈出的两个子层组(子层 1 掩码自注意力 + 子层 3 FFN)在现代 decoder-only 模型里的形态(Pre-Norm)。今天的 LLM 相当于只保留解码塔、去掉编码器-解码器注意力子层。本节讲的 FFN、残差、归一化三件套对两塔一视同仁,差别只在顺序与掩码。

  三张图的分工先立清楚:图 2 是两塔总览(数据自下而上),紫框圈出编码塔一层的两个子层组,橙框圈出解码塔一层的三个子层组(其中子层 2「编码器-解码器注意力」(交叉注意力)在 decoder-only 模型里没有对应物,后面不再出现)。本节讲到 4.4.4 拼装时,再把这两个框各自放大一层:图 3 放大编码塔(原论文的顺序),图 4 放大解码塔(今天模型的做法)。先把三件套逐件讲透,拼装留到最后。

4.4.1 FFN:每个位置的独立思考

  FFN 的输入,是多头注意力做完残差相加与层归一化之后的结果:每个位置的 512 维向量里,已经拌好了从其他位置借来的信息,数值也被重新校准过。但注意力的加权求和是线性操作:它只把已有信息按比例混合搬运,不产生新特征。对这份混合物进行深度加工的,是每层第二个子层:逐位置前馈网络(Position-wise Feed-Forward Network,FFN)。

  它的作用可以概括成两点。第一,非线性提炼:把每个位置的向量放大到 2048 维的「大工作台」,用 ReLU 闸门筛掉无用分量、放行被激活的特征,再压回 512 维精华——没有这一步,注意力加线性变换叠多少层都等价于一次线性变换,深度就失去意义。第二,逐位置独立:每个 token 关起门来消化自己刚收集的信息,不看任何邻居,同一组 \(W_{1},W_{2}\) 对所有位置共享。注意力管「位置之间的交流」,FFN 管「位置内部的思考」,两者交替就是一层 Transformer 的完整节奏。

\[ \mathrm{FFN}(x)=\max(0,\,xW_{1}+b_{1})\,W_{2}+b_{2} \tag{1} \]
公式 (1):原论文 3.3 节。两个线性变换中间夹一个 ReLU 激活,\(x\) 是某个位置的 512 维向量。符号说明:\(W_1,b_1\) 是第一个线性变换的权重与偏置(把 512 维放大到 2048 维);\(\max(0,\cdot)\) 是 ReLU 激活,逐分量把负数置 0;\(W_2,b_2\) 是第二个线性变换的权重与偏置(把 2048 维压回 512 维);四个都是训练出来的参数,同一层内所有位置共用。

  把公式 (1) 按运算顺序拆开:

  • \(xW_{1}+b_{1}\):把 512 维放大到 2048 维(\(W_{1}\) 形状 \(512\times2048\)),维度膨胀 4 倍;
  • \(\max(0,\cdot)\):ReLU 激活,负数一律砍成 0,像一排闸门,只放被激活的特征通过;
  • \(\cdot\,W_{2}+b_{2}\):把 2048 维压回 512 维(\(W_{2}\) 形状 \(2048\times512\)),保证输出还能接回主干。

  参数量顺带一提:\(W_{1}\) 与 \(W_{2}\) 各有 \(512\times2048\approx105\) 万个权重,合计约 210 万,占一层参数的约三分之二(对比:4.2 节多头注意力的四个投影矩阵合计约 105 万)。参数多意味着容量大——有研究把 FFN 的神经元解释为一条条 key-value 记忆,认为模型记住的事实知识主要存在这里(Geva et al., 2021),FFN 因此常被称为模型的「知识仓库」。

逐位置 Position-wise position-wise = 对序列中每个位置分别施加同一个网络

原论文说 FFN「分别且相同地应用于每个位置」:序列有 \(n\) 个 token 就是 \(n\) 次独立计算,用的是同一组 \(W_{1},W_{2}\)(层与层之间参数不同)。它不看任何别的位置,只处理当前位置自己的 512 维向量。原论文还给出一种等效看法:两个核大小为 1 的卷积。

  为什么偏偏膨胀 4 倍(\(2048/512\))?原论文没有解释,这是工程经验的选择,但影响深远:后来的 GPT 系模型大多沿用 4 倍膨胀这个比例。

  所以这步在干嘛:每个 token 把刚从别处借来的信息独立消化一遍——升维筛选、压回精华,输出仍是 512 维,接回主干交给残差与归一化。

4.4.2 残差连接:梯度的高速公路

  原论文把 6 个完全相同的层叠在一起,今天的模型动辄几十上百层。麻烦随之而来:信息每经过一层就被改写一次,层数越多,底层的输入信号和回传的梯度越容易在层层变换中走样消失——就像传话游戏,一句话经几十人依次转述,最后面目全非,网络越深越训不动。残差连接(Residual Connection)改的规则只有一条:每个人转述时,必须把听到的原话抄一份一起递下去——把子层输入 \(x\) 原样加到子层输出上,无论传多少棒,最初的信息都丢不了。

\[ \mathrm{LayerNorm}\big(x+\mathrm{Sublayer}(x)\big) \tag{2} \]
公式 (2):原论文 3.1 节给定的子层输出。输入 \(x\) 不经任何变换,直接加到子层自己的输出上,再做层归一化。符号说明:\(\mathrm{Sublayer}(x)\) 是子层(多头注意力或 FFN)对 \(x\) 的变换;\(\mathrm{LayerNorm}\) 是层归一化,即公式 (3) 的完整操作;相加要求 \(x\) 与 \(\mathrm{Sublayer}(x)\) 形状一致。

  从梯度视角看,加法对梯度是原样放行的:若 \(y=x+F(x)\),则 \(\partial y/\partial x=1+\partial F/\partial x\)。无论 \(\partial F/\partial x\) 多小,那个常数 \(1\) 都在,梯度总有一条不衰减的通道直达浅层。这就是「高速公路」的含义:残差旁路上的梯度不堵车,几十层的网络才训得动。这一思想源自 ResNet(He et al., 2016),原论文把它借用到每个子层周围。

  残差连接带来一条硬约束:相加要求两边形状一致。原论文为此把模型中所有子层以及嵌入层的输出维度统一成 \(d_{\mathrm{model}}=512\)(3.1 节),这就是 512 这个数字在架构里反复出现的原因之一。

  所以这步在干嘛:子层只负责学「增量」,原始信息走旁边的直达通道原样下传;正向传信号不丢失,反向传梯度不衰减。

4.4.3 层归一化:给数值分布上缰绳

  残差相加解决「深」,还有一个「稳」的问题。训练过程中,每个 token 的 512 维向量的数值幅度会随层数和参数更新不断漂移:有的分量冲到几十,有的缩在零附近。数值分布忽胖忽瘦,后续子层就要不停适应新尺度,训练像开一辆方向盘发抖的车。层归一化(Layer Normalization,LN)的作用是给这辆车上缰绳:对每个 token 的 512 个分量单独折算成统一的标准形态,再把尺度交还给模型自己调。

\[ \mathrm{LN}(x)=\gamma\odot\frac{x-\mu}{\sqrt{\sigma^{2}+\epsilon}}+\beta,\qquad \mu=\frac{1}{d}\sum_{i=1}^{d}x_{i},\quad \sigma^{2}=\frac{1}{d}\sum_{i=1}^{d}(x_{i}-\mu)^{2} \tag{3} \]
公式 (3):\(d=d_{\mathrm{model}}=512\),\(\epsilon\) 是防除零的小常数;\(\gamma,\beta\) 为可学习参数(LN 原始论文:Ba et al., 2016)。符号说明:\(x\) 是某个 token 的 \(d\) 维向量,\(x_i\) 是它的第 \(i\) 个分量;\(\mu\) 与 \(\sigma^2\) 分别是这 \(d\) 个分量的均值与方差,统计只在同一 token 内部进行;\(\odot\) 表示逐分量相乘,\(\gamma,\beta\) 也逐分量作用,每个维度各有一个缩放和一个平移参数。

  拿一个 4 维小向量 \(x=(2,4,4,6)\) 走一遍。均值 \(\mu=4\),方差 \(\sigma^{2}=\big((2-4)^{2}+0+0+(6-4)^{2}\big)/4=2\),标准差 \(\sqrt{2}\approx1.41\)。标准化后得到 \((-1.41,\ 0,\ 0,\ 1.41)\):偏大的 6 变成 \(+1.41\),偏小的 2 变成 \(-1.41\),中间值归零。最后乘 \(\gamma\)、加 \(\beta\)(训练中学会的缩放与平移),就是 LN 的输出。512 维时算法一模一样,只是统计量在 512 个数上算。

  为什么还要 \(\gamma,\beta\)?一律标准化会抹掉「这个 token 本来信号更强」这类幅度信息,模型未必想要人人均值 0。\(\gamma,\beta\) 让网络把有用的尺度和偏移学回来——先帮你稳住,再给你自由。

  和 BatchNorm 的区别一句话带过:BN 在一个批次内、按特征维跨样本算统计量;LN 在同一个样本内部、按特征分量算统计量。序列长度可变、批次为 1 的场景下 BN 很难用,这正是 Transformer 选 LN 的原因(Ba et al., 2016)。

  所以这步在干嘛:每经过一个子层,就把每个 token 的数值重新归置到标准形态,再按学来的尺度微调,让下一层永远面对分布稳定的输入。

4.4.4 三件套如何拼成完整的一层

  现在把零件装起来。原论文 3.1 节与 5.4 节合起来给出了一层编码器的固定组装套路:每个子层(多头注意力、FFN)都被同样三件套包裹——

  1. 子层计算:\(\mathrm{Sublayer}(x)\);
  2. 施加 dropout:训练时把子层输出中约 10% 的数值随机置零(\(P_{drop}=0.1\));
  3. 残差相加:把子层输入 \(x\) 原样加回来;
  4. 层归一化:对相加结果做 LN,得到这一子层的最终输出。

  第 2 步来自 5.4 节的 residual dropout:原论文明确说在每个子层的输出上应用 dropout,「在将其添加到子层输入并进行归一化之前」;嵌入与位置编码之和进第一层前同样施加。所以这个固定顺序可以写成 \(\mathrm{LN}\big(x+\mathrm{Dropout}(\mathrm{Sublayer}(x))\big)\)。

Dropout 随机丢弃 drop out = 训练时随机让一部分数值「缺席」

dropout 在训练时以概率 \(p\) 把张量中的一些数值随机置零(基础模型 \(p=0.1\)),迫使网络不能把希望寄托在某几个特定数值上,要学出更分散、更稳健的特征;推理时关闭,全量数值参与计算。

  把套路画出来。图 3 是图 2 左侧编码塔一层的放大,自下而上读:每个子层先计算(注意力或 FFN),再被 dropout、残差相加、层归一化依次包裹,数据流方向与图 2 一致:

原创示意图 · 非论文原图 局部放大:编码塔一层(原论文 Post-LN 顺序,512 维) 来自图 2 左侧紫色边框;数据自下而上,每个子层被 dropout、残差相加、层归一化依次包裹 输出 形状不变:(n, 512) 层归一化 LayerNorm 标准化 + 缩放平移 + Dropout 随机丢弃(p=0.1) FFN 前馈网络 512 → 2048 → 512,逐位置加工 层归一化 LayerNorm 标准化 + 缩放平移 + Dropout 随机丢弃(p=0.1) 多头自注意力 token 间交流(4.2 节) 输入 x n 个 token,各 512 维 残差旁路 残差旁路 每个子层都被同一套流程包裹:计算 → dropout → 残差相加 → 层归一化
图 3:原论文 Post-LN 顺序下,一层编码器的完整数据流(图 2 左侧紫色边框的放大,方向与图 2 一致:自下而上)。两个子层各自被三件套包裹,张量形状全程 (n, 512) 不变。与图 4(解码塔现代 Pre-Norm 形态)对照看:这里是「相加后归一化」,图 4 是「归一化后计算再相加」。

  注意图 3 里一个贯穿始终的事实:从输入到输出,张量形状始终是 \((n,512)\)。残差相加能成立靠它(形状一致才能相加),层与层之间能无限堆叠也靠它——这一层的输出形状和输入一样,下一层原样接上即可。

  演进预告:原论文这种「先相加、后归一化」的顺序叫 Post-LN。后来的研究发现,把归一化挪到子层输入侧(Pre-LN,即 \(x+\mathrm{Sublayer}(\mathrm{LN}(x))\))在深层模型中训练更稳定,甚至不必依赖学习率预热(Xiong et al., 2020);LN 本身被简化成 RMSNorm,FFN 的 ReLU 也被 SwiGLU 取代。这些现代变体是第 5 章的主题,5.1 节细讲。

  现代模型对图 3 这套流程做了三处改动:归一化挪到子层之前、LN 换成 RMSNorm、FFN 换成 SwiGLU。图 4 是图 2 右侧解码塔一层的放大,用的就是改动后的现代形态,与图 3 对照着看,改动位置一清二楚:

原创示意图 · 非论文原图 局部放大:解码塔一层(现代 Pre-Norm 顺序,minimind 数字) 来自图 2 右侧橙色边框;对照图 3 的原论文顺序——归一化挪到子层之前,LN 换成 RMSNorm(第 5 章细讲) 输出 3 × 768:形状与输入完全相同 + FFN(SwiGLU 门控) 768 → 2432 → 768,逐位置(5.1 节) RMSNorm 3 × 768 → 3 × 768 + 掩码多头自注意力 GQA:8 个 Q 头 / 4 组 K/V(5.2 节) RMSNorm 3 × 768 → 3 × 768 输入 x 3 个 token × 768 维 残差旁路 残差旁路 每个子层都是「先 RMSNorm、再计算、最后残差相加」;形状全程 3 × 768 同样的 Block 叠 8 层(minimind)
图 4:图 2 右侧解码塔中橙色边框圈出的两个子层组(子层 1 掩码自注意力 + 子层 3 FFN)在现代 decoder-only 模型里的展开形态(Pre-Norm 顺序,数字取自 minimind:768 维主干、FFN 中间层 2432、GQA 8 头 Q / 4 组 KV),方向与图 2、图 3 一致:自下而上。两个子层各自先过 RMSNorm 再计算,输入沿残差旁路原样直达加法点;张量形状从头到尾是 3 × 768,所以 8 层可以逐层接续。与图 3(原论文 Post-LN)对照:顺序从「相加后归一化」变成「归一化后计算再相加」,LN 换成 RMSNorm,FFN 换成 SwiGLU,原因在第 5 章。

  所以这一层在干嘛:注意力完成位置之间的交流,FFN 完成位置内部的加工;残差旁路保证信息与梯度畅通,LN 与 dropout 把数值和训练都约束在稳定轨道上。六层叠加,就是「交流—思考—再交流—再思考」的六轮循环。

🧭本节要点回顾
注意力和 FFN 在一层里如何分工?
注意力负责 token 之间的信息搬运(每个位置加权收集别处的信息),FFN 对每个位置的 512 维向量独立做 512 → 2048 → 512 的非线性加工。一层 = 交流一次 + 思考一次。
深层 Transformer 为什么离不开残差连接?
加法让正向的原始信息和反向的梯度都有一条不衰减的直达通道(\(\partial y/\partial x\) 中恒含常数 1)。没有它,几十层堆叠会让信号与梯度在层层变换中走样消失。
层归一化在每个 token 上具体做了什么?
对该 token 的 512 个分量减去均值、除以标准差,折算成均值 0、方差 1 的标准形态,再乘可学习的 \(\gamma\)、加可学习的 \(\beta\) 微调尺度,让每层输入的数值分布保持稳定。

参考来源

  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762):3.1 节(残差连接与 LayerNorm(x+Sublayer(x))、统一 512 维)、3.3 节(FFN 公式与 \(d_{ff}=2048\))、5.4 节(residual dropout,\(P_{drop}=0.1\))。本页正文所称「原论文」即此篇。
  • He et al., 2016. Deep Residual Learning for Image Recognition(CVPR 2016):残差连接的原始出处,原论文参考文献 [11]。
  • Ba, Kiros & Hinton, 2016. Layer Normalization(arXiv:1607.06450):层归一化原始论文,原论文参考文献 [1]。
  • Xiong et al., 2020. On Layer Normalization in the Transformer Architecture(arXiv:2002.04745,ICML 2020):Post-LN 与 Pre-LN 的对比分析,Pre-LN 训练更稳定、可不依赖学习率预热的结论出自该文。
  • Geva et al., 2021. Transformer Feed-Forward Layers Are Key-Value Memories(EMNLP 2021,arXiv:2012.14913):FFN 作为 key-value 记忆的解读。
  • minimind 工程代码(Apache 2.0):model/model_minimind.py 的 FeedForward、RMSNorm、MiniMindBlock 类。