4.1 整体架构:编码器与解码器搭起的流水线

本页范围:第 4 章第 1 节 | 整理时间:2026-09-29

快速浏览

核心问题2017 年那台「只靠注意力、不要循环」的翻译机器,内部到底是一条怎样的流水线?
本节主张Transformer 由两塔组成:编码器塔把源句整体读成上下文表示,解码器塔看着这份表示逐词写出译文。两塔都用多头注意力与前馈网络堆叠,残差连接和统一维度 \(d_{\mathrm{model}}=512\) 把这些积木粘成整体。
一句话结论先整体读懂,再逐词生成,生成的每一步都能回看原文——这套编码器-解码器骨架就是后来所有 LLM 的祖先。
关键词
编码器-解码器自回归掩码注意力残差连接d_model=512权重共享

  本节是第 4 章的开篇。前三章备好了原料:文本切成 token,token 变成向量,向量带上位置信息。从这一节开始,问题变成「这些向量要送进一台什么样的机器」。原论文(Vaswani et al., 2017)给出的答案是一条两塔流水线:一座塔负责读懂,一座塔负责写出。本节先把这台机器的整体结构立起来,内部零件留给后面几节逐个拆:

  1. 这台机器在干什么:一句话翻译流水线(4.1.1):从机器翻译任务切入,看清编码器读、解码器写、两塔之间只传一组向量的总流程;
  2. 编码器:把整句读成上下文表示(4.1.2):6 层堆叠、每层两个子层,把「只认识自己」的词向量加工成「认识全句」的向量;
  3. 解码器:边写边回看的生成器(4.1.3):多出来的第三个子层负责回看原文,掩码与右移一位保证不偷看未来;
  4. 贯穿全局的三条设计(4.1.4):统一宽度 512、残差加归一化、权重共享,12 层积木能叠稳全靠它们;
  5. 与现代 LLM 的关系(4.1.5):今天的 GPT 系只留解码器一塔,但零件几乎全数继承自这台 2017 年的机器。

  读完本节,你应该能对着架构图(图 4)说清每一块的职责,并看懂现代 LLM 的「一层」是从哪一塔里长出来的。

  图 1 标出本章在前向链路中的位置。前面三章准备输入,本章开始处理 Transformer 层与输出投影,后续各节再逐一说明图中的子层。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (第 2 章) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (本节内容) 输出投影: 算各 token 的概率 (本节内容) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:已讲章节 虚线框:后续章节
图 1:Transformer 层与输出投影在 LLM 前向链路中的位置(链路按现代 decoder-only 单塔绘制)。文本经分词(第 2 章)变成 token ID,Embedding 查表换成词向量(3.1 节),注入位置信息(3.2–3.5 节)后进入 Transformer 层,塔顶由输出投影算出词表上每个 token 的分数,采样出下一个 token 并接回输入循环(第 12 章)。本章的任务就是把中间这两站拆开:本节先立起它们 2017 年的两塔原型,内部零件由 4.2–4.4 节逐个拆解。

  这两个紫框放大之后长什么样?token 进去、概率出来,中间每一步的形状如何变化?把现代 LLM 的一次完整前向拆开看:

原创示意图 · 非论文原图 局部放大:现代 LLM 一次完整前向(minimind 实测数字) 输入:3 个 token ID(minimind 分词器对「我爱中国」的实测输出) 「我」 ID = 463 「爱」 ID = 2043 「中国」 ID = 1405 Embedding 查表 6400 × 768 权重表,按 ID 取出 3 行 ⋯ ⋯ ⋯ 我 爱 中国 嵌入矩阵 3 × 768 Transformer 块 × 8(每层结构相同) RMSNorm → 掩码自注意力(GQA:8 个 Q 头,4 组 K/V,头维 96)→ 残差 RMSNorm → FFN(SwiGLU:768 → 2432 → 768)→ 残差 进 3 × 768,出 3 × 768:主干形状全程不变 最终 RMSNorm 3 × 768 → 3 × 768 lm_head 输出投影(与 Embedding 共享权重) 乘同一张 6400 × 768 表的转置:3 × 768 → 3 × 6400 ⋯ ⋯ ⋯ 位置 1 位置 2 位置 3 logits 3 × 6400 最后一行 → 下一个 token 取最后位置的 6400 个分数,softmax 成概率分布 采样或取最大,得到下一个 token(解码策略见第 12 章)
图 2:现代 LLM 一次完整前向的形状流(数字全部取自 minimind 默认配置:词表 6400、维度 768、8 层、FFN 中间层 2432、GQA 8 个 Q 头 4 组 K/V)。3 个 token ID 经 Embedding 变成 3 × 768,8 层块加工后形状不变,lm_head 复用同一张 6400 × 768 权重表把每个位置投影成 6400 个分数,只有最后一个位置参与预测下一个 token。这条单塔链路正是 2017 年两塔原型在 4.1.5 节的现代形态。

4.1.1 这台机器在干什么:一句话翻译流水线

  先把任务说清楚。2017 年的原论文为机器翻译而生:给一句英文,输出一句德文或法文。这在当时叫序列转导(sequence transduction)问题——输入一个序列,输出另一个序列,两边长度还不一定相等。此前最强的模型大多建立在循环神经网络(RNN)上,而 RNN 有一个绕不开的硬伤:它逐字串行处理,第 \(t\) 个位置的隐状态 \(h_t\) 必须先等 \(h_{t-1}\) 算完,句子越长越慢,而且没法并行。原论文的破局思路写在标题里:Attention Is All You Need——把循环和卷积全部扔掉,只留注意力机制。

  这场赌博的成绩单很亮眼:WMT 2014 英德翻译任务上取得 28.4 BLEU,比此前最佳结果(包括多模型集成)还高出 2 个 BLEU 以上;英法任务上以 41.8 BLEU 刷新单模型纪录,而训练只花了 8 块 GPU 跑 3.5 天,训练成本远低于当时的最佳模型。

  BLEU 是机器翻译的自动评分指标,把模型译文和人工参考译文做片段比对,分数越高越接近人工水平。它是翻译任务时代的通用标尺。

  那这台机器内部长什么样?原论文第 3 节开篇一句话定下了整条流水线:

编码器将输入符号表示序列 \((x_1, \dots, x_n)\) 映射为连续表示序列 \(z = (z_1, \dots, z_n)\)。给定 \(z\),解码器随后逐个元素地生成输出符号序列 \((y_1, \dots, y_m)\)。每一步模型都是自回归的,即在生成下一个符号时,会将先前生成的符号作为额外输入。
—— Attention Is All You Need,第 3 节
自回归 Autoregressive auto = 自己,regressive = 回归:用自己的输出预测自己的下一步

自回归生成就是写一个字、看一眼、再写下一个字:模型每生成一个新词,就把它接在已有内容的末尾,作为预测下一个词的输入。如此循环,直到生成结束符为止。这决定了 LLM 的生成天然是逐词串行的——后面每个词都依赖前面已经写下的词。

  把这段话翻译成数据流,就是图 3。左塔是编码器,负责「读」;右塔是解码器,负责「写」;两塔之间唯一的桥梁是编码器输出的那组向量 \(z\)。

原创示意图 · 非论文原图 编码器(读懂源句) 解码器(逐词写译文) 上下文表示 z 每个 token 一个 512 维向量 编码器层 ×6(两个子层,自下而上) 残差连接 + 层归一化 子层 2:前馈网络 FFN 512 → 2048 → 512 残差连接 + 层归一化 子层 1:多头自注意力 Embedding × √512 再加位置编码(第 3 章) 源句 token 序列 例:I love you(4 个 token) Linear + Softmax 输出下一个词的概率 解码器层 ×6(三个子层,自下而上) 残差连接 + 层归一化 子层 3:前馈网络 FFN 残差连接 + 层归一化 子层 2:编码器-解码器注意力 残差连接 + 层归一化 子层 1:掩码多头自注意力 Embedding × √512 再加位置编码(第 3 章) 已生成前缀(右移一位) 起始符 + 已写出的译文词 K、V 来自编码器 输出接回输入,逐词循环
图 3:Transformer 两塔流水线。数据一律自下而上流动:编码器把源句读成上下文表示 \(z\);解码器以已生成前缀为输入,经掩码自注意力、编码器-解码器注意力(K、V 来自编码器)与前馈网络,预测下一个词。每个子层后面紧跟的绿色小块是残差连接与层归一化。红色回路就是自回归:新词接回输入,循环直到结束符。

  所以这步在干嘛:把「两种语言互译」这件大事拆成两道工序——编码器负责一次性读懂整句原文,解码器负责看着这份理解逐词写出译文,两塔之间只传递一组向量。

  对照图 4(原论文图 1),可以看到同样的两塔结构(左侧编码器、右侧解码器),本章后续几节会把图 4 里的小方块逐一拆开。

Transformer 模型架构图
图 4:Transformer 整体架构,左半为编码器堆栈,右半为解码器堆栈(来源:Attention Is All You Need 原论文图 1)。

4.1.2 编码器:把整句读成上下文表示

  编码器的任务一句话:把源句里每个 token 的「字面意思」加工成「带上全文语境的意思」。刚查完 Embedding 的词向量只认识自己——bank 的向量不知道自己在「河岸」句还是「银行」句里;编码器要做的,就是让整句话的信息互相流动,最后每个位置都吐出一个个已经被上下文「浸泡」过的向量。

  结构上,编码器是 \(N=6\) 个相同层的堆叠,每一层包含两个子层:

  1. 多头自注意力:每个位置向所有位置「打听」信息,是上下文混合的引擎(内部机制是 4.2 节的主题);
  2. 前馈网络 FFN:对每个位置的向量单独做一次非线性变换,维度 \(512 \to 2048 \to 512\),负责加工提炼(4.3 节细讲)。

  每个子层外面都裹着同一套「保护壳」:残差连接加层归一化。原论文 3.1 节给出的子层输出公式是:

\[ \text{子层输出} = \mathrm{LayerNorm}\big(x + \mathrm{Sublayer}(x)\big) \tag{1} \]
公式 (1):子层的输入 \(x\) 不经变换直接加到子层输出上(残差连接),再做层归一化。6 层编码器、6 层解码器里的每一个子层都长这样。符号说明:\(x\) 是子层的输入(第一层是 Embedding 加位置编码后的 512 维向量,其余层是上一个子层的输出);\(\mathrm{Sublayer}(x)\) 是子层对输入的变换,指多头自注意力或前馈网络;\(\mathrm{LayerNorm}\) 是层归一化,把相加结果的数值拉回稳定范围(4.4 节展开)。

  落到具体数字:假设源句 I love you 被切成 4 个 token(含句点),第 3 章的 Embedding 层把每个 token 变成一个 512 维向量,于是编码器的输入是一个 \(4 \times 512\) 的矩阵。神奇的是,无论经过多少个子层,这个矩阵的形状始终是 \(4 \times 512\)——这正是全模型统一维度 \(d_{\mathrm{model}}=512\) 的设计意图(4.1.4 节细说)。6 层走完后输出的 \(z\),形状还是 \(4 \times 512\),但每个 512 维向量里已经揉进了全句的信息。

  编码器像一位精读课文的读者,把同一句话反复读 6 遍:每一遍都先前后对照着读(自注意力),再逐词做笔记提炼(FFN),读完 6 遍,每个词都带上了全文的批注。

  所以这步在干嘛:编码器就是把 4 个「只认识自己」的词向量,加工成 4 个「认识全句」的词向量,交给解码器当参考资料。

4.1.3 解码器:边写边回看的生成器

  解码器同样是 \(N=6\) 层堆叠,但每层有三个子层。在编码器那两个子层之外,中间多插了一个编码器-解码器注意力子层(俗称交叉注意力,cross-attention,后续章节多用此名),它的使命是让解码器随时回看原文。按原论文 3.2.3 节的说法:这个子层里,查询(Query)来自前一个解码器层,键(Key)和值(Value)来自编码器的输出 \(z\)——于是解码器的每个位置都能「关注输入序列中的所有位置」。

  注意:一个常见误解:编码器-解码器注意力不是编码器在做事,它发生在解码器内部。方向是「解码器发问(Query),编码器的输出作答(Key、Value)」,千万别把 Query 的来源记反。

  解码器的自注意力子层也被动过手术:加了掩码(mask)。原论文 3.1 节要求「防止位置关注后续位置」,做法是先把译文输入整体右移一位(开头补一个起始符),再在注意力计算里把每个位置通向后面位置的连接全部屏蔽。两者配合,就保证了对位置 \(i\) 的预测只能依赖位置小于 \(i\) 的已知输出。

  易错点:掩码是一条硬约束,不是可选项:如果训练时让第 \(i\) 个位置看到第 \(i+1\) 个位置的词,模型等于开卷考试——直接抄答案,什么也学不到。具体怎么把非法位置置为 \(-\infty\) 再经 softmax 归零,4.2 节会逐步演算。

  用概率语言说,解码器干的就是把译文概率按链式法则逐词展开:

\[ P(y_1, \dots, y_m \mid z) = \prod_{i=1}^{m} P\big(y_i \mid y_1, \dots, y_{i-1},\, z\big) \tag{2} \]
公式 (2):整句译文的概率等于逐词条件概率的连乘(概率链式法则的通用展开)。每生成一个词,都以「已经写出的前缀 + 编码器的 \(z\)」为条件。符号说明:\(y_1,\dots,y_m\) 是译文的 \(m\) 个词;\(z\) 是编码器输出的上下文表示(4.1.1 节那组向量);\(\prod_{i=1}^{m}\) 表示把 \(i\) 从 1 到 \(m\) 的每一项连乘;\(P(y_i \mid y_1,\dots,y_{i-1},z)\) 是在已写出前缀和 \(z\) 的条件下,第 \(i\) 个词出现的概率。

  最后走一遍完整流程。仍以 I love you 译成中文「我爱你」为例(论文原文是英德、英法任务,这里用英译中举例,机制完全一样):

  1. 源句切成 4 个 token,各自查 Embedding 得 512 维向量,乘 \(\sqrt{512}\) 把词义信号放大(避免被随后相加的位置编码淹没,位置编码值域固定为 \([-1,1]\),不放大词向量就会喧宾夺主;这一缩放只在输入端做一次,网络内部各层不再重复),再加位置编码,拼成 \(4 \times 512\) 的矩阵送入编码器;
  2. 6 层编码器加工完毕,输出上下文表示 \(z\):还是 \(4 \times 512\),但每个向量已融入全句信息;
  3. 解码器第 1 步:输入只有起始符(\(1 \times 512\)),过 6 层解码器(其中编码器-解码器注意力一直在读 \(z\)),顶部 Linear + Softmax 输出词表大小的概率分布(论文英德任务的共享词表约 37000 个词元),取最大概率的词——「我」;
  4. 第 2 步:输入变成「起始符 + 我」,同样流程,输出「爱」;
  5. 第 3 步:输入「起始符 + 我 + 爱」,输出「你」;
  6. 第 4 步:输入「起始符 + 我 + 爱 + 你」,输出结束符,生成停止,得到译文「我爱你」。

  注意第 3 到第 6 步的一个事实:每多写一个新词,整个解码器就要重新跑一遍。这就是自回归生成的代价——逐词串行,无法一口气并行生成整句译文。第 13 章讲的 KV Cache 等推理加速技术,很大程度上就是在为这个「每步重跑」减负。

  解码器像一位同声传译员:每开口说一个词之前,可以先扫一眼自己刚说了什么(掩码自注意力),再回听原话的任意位置(编码器-解码器注意力),但绝不允许预知自己接下来要说的话(掩码)。

  所以这步在干嘛:解码器每写一个新词都要做三件事——回顾自己写了什么、回看原文、提炼加工,然后才从词表里挑出下一个词,写完接回输入继续循环。

4.1.4 贯穿全局的三条设计

  两塔内部的零件后面几节逐个拆,这里先讲三条贯穿整个模型的全局设计。它们藏在图 4 的边边角角,却决定了这 12 层积木能不能稳稳地叠起来。

全局统一宽度 d_model = 512

  原论文 3.1 节规定:模型中所有子层以及嵌入层的输出,维度一律是 \(d_{\mathrm{model}}=512\)。Embedding 输出是 512 维,每个注意力子层、每个 FFN 的输入输出也都是 512 维,6 层堆叠下来,任何一个位置的向量形状从头到尾都是 \(512\)。

  为什么要这么「死板」?因为残差连接要求 \(x\) 和 \(\mathrm{Sublayer}(x)\) 能直接相加——两个向量要做加法,维度必须相同。统一宽度之后,12 层、共 30 个子层(编码器每层 2 个、解码器每层 3 个)的接口全部一致,任意拼接都不用担心形状对不上。输入端唯一要做的准备,是把 Embedding 向量按原论文 3.4 节的要求乘上 \(\sqrt{d_{\mathrm{model}}}\),再加位置编码:

\[ \text{输入向量}_i = \mathrm{Embedding}(x_i) \times \sqrt{512} + PE_i \]
乘以 \(\sqrt{512} \approx 22.6\) 是为了把嵌入向量的数值尺度放大,免得被随后相加的位置编码淹没(原论文只规定了这一动作,未说明原因,此处是后人的通行解释)。位置编码 \(PE\) 的构造见第 3.3 节。符号说明:\(x_i\) 是第 \(i\) 个 token;\(\mathrm{Embedding}(x_i)\) 是查嵌入表得到的 512 维词向量;\(\sqrt{512}\) 即 \(\sqrt{d_{\mathrm{model}}}\),是原论文规定的输入端缩放因子;\(PE_i\) 是第 \(i\) 个位置的位置编码向量。

残差连接 + 层归一化:给信号留一条直达通道

残差连接 Residual Connection residual = 残差、剩余:把输入原样「剩」下来加回输出

残差连接就是公式 (1) 里的那个 \(+\,x\):子层无论把输入加工成什么样,输入本身都原封不动地抄近路加到结果上。这样每一层只需要学习「在原有基础上改动多少」,而不是从头重写整个表示。梯度反向传播时也能沿这条直达通道一路传回底层,网络再深也不容易「学不动」。

  残差之后的层归一化(LayerNorm)负责把每个 512 维向量的数值重新拉回稳定范围,防止层数一多数值失控。这对组合在第 5 章会有变体(现代 LLM 多改用 RMSNorm,并把归一化挪到子层之前),但「直达通道 + 数值稳定」的思想一脉相承。

  统一宽度、残差连接、层归一化是三位一体的一套设计:宽度统一了残差才能相加,残差相加了深层堆叠才训得动,归一化则保证相加后的数值不爆炸。Transformer 能稳稳叠起 6 层、乃至后来 LLM 的上百层,靠的就是这套组合拳。

权重共享:一份矩阵,三处使用

  原论文 3.4 节末尾还有一个省参数的设计:源语言嵌入层、目标语言嵌入层、softmax 之前的线性变换,三处共享同一个权重矩阵。直观理解,「把词变成向量」和「把向量变回词」本来是一件事的正反两面,用同一份对照表顺理成章。以论文英德任务约 37000 词元、512 维计算,这张矩阵约含 1900 万个参数(\(37000 \times 512\)),共享意味着少存两份。顺带一提,先乘 \(\sqrt{512}\) 再加位置编码的「输入端约定」,用的也正是这份共享矩阵。

  所以这三条设计在干嘛:统一宽度让所有积木接口一致,残差加归一化让深层堆叠训得动,权重共享让模型少背两份词表——三者共同保证 12 层塔既搭得起来,又训得下去。

4.1.5 与现代 LLM 的关系

  今天主流的 GPT 系 LLM 并不是完整的两塔,而是只保留了解码器那一塔的 decoder-only 架构:编码器塔整个去掉,编码器-解码器注意力子层也随之消失,每层只剩掩码自注意力和 FFN 两个子层。道理也简单:现代 LLM 干的活是「接着上文往下写」,没有另一句源文需要单独读懂,「读」和「写」在同一个塔里用同一份上下文完成。与之对应,BERT 系则是只留编码器塔的 encoder-only 路线,擅长理解类任务。

  但拆开看,零件几乎全数继承自本页这台 2017 年的机器:多头注意力、前馈网络、残差连接、归一化、Embedding 与输出投影的权重共享(许多现代模型依然沿用)。变化的是配方细节——LayerNorm 换成 RMSNorm,绝对位置编码换成 RoPE,FFN 换成 SwiGLU 变体,这些是第 5 章的主题。

  本章接下来的路线:4.2 节拆解注意力内部(缩放点积、多头、掩码的完整演算),4.3 节讲前馈网络,4.5 节再正式回答「现代 LLM 为什么从两塔塌缩成一塔」。

🧭本节要点回顾
编码器和解码器各自干什么,两塔之间靠什么连接?
编码器一次性读完整个源句,把每个 token 加工成带全文上下文的 512 维表示 \(z\);解码器自回归地逐词生成译文,每步通过编码器-解码器注意力回看 \(z\)。两塔之间唯一的桥梁就是这组向量。
解码器的自注意力为什么要加掩码、输入为什么要右移一位?
为了保证位置 \(i\) 的预测只依赖 \(i\) 之前的已知输出,维持自回归特性。掩码屏蔽通向未来位置的连接,右移一位让位置 \(i\) 的输入恰好是它该预测的词的前一个词;缺了任何一样,训练都变成开卷考试。
为什么全模型要把所有子层的输出维度统一成 512?
残差连接要求子层输入 \(x\) 与输出直接相加,维度必须一致。统一 \(d_{\mathrm{model}}=512\) 后,Embedding、注意力、FFN 共 30 个子层接口完全相同,6 层编码器加 6 层解码器才能像标准积木一样自由堆叠。

参考来源

  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762)。本页全部架构事实出自该文:翻译任务定位与 BLEU 成绩见摘要,RNN 串行瓶颈见第 1 节,编码器-解码器定义与自回归表述见第 3 节引言,6 层堆叠、两/三子层结构、残差与层归一化公式、掩码与右移一位见 3.1 节,编码器-解码器注意力的 Q/K/V 来源见 3.2.3 节,FFN 维度见 3.3 节,Embedding 乘 \(\sqrt{d_{\mathrm{model}}}\) 与三处权重共享见 3.4 节;中文表述对照工程内 ref_paper 译本逐字核对。本页正文所称「原论文」即此篇。
  • minimind 工程源码(Apache 2.0),model/model_minimind.py,现代 decoder-only 架构的工程实现参考。