4.5 从编码器-解码器到 Decoder-only:现代 LLM 的定型

本页范围:第 4 章第 5 节 | 整理时间:2026-09-29

快速浏览

核心问题原论文(Vaswani et al., 2017)给出的是编码器-解码器双塔结构,为什么今天的主流 LLM 只剩一座解码器塔?
本节主张2017 到 2019 年三条架构路线分家:encoder-only 擅理解、encoder-decoder 擅翻译、decoder-only 擅生成。decoder-only 凭「生成天然自回归、单塔最简、扩展最顺」赢下生成赛道,现代 LLM 的一层 block 就是原论文 decoder 层删掉交叉注意力、逐件更换零件后的直系后代。
一句话结论现代 LLM 一层 block = 掩码多头自注意力 + FFN + 残差 + 归一化,骨架沿用 2017 年的 decoder 层,零件全面升级(第 5 章逐件拆解)。
关键词
Encoder-DecoderDecoder-only自回归交叉注意力因果掩码GPTBERT

  4.1 节留下过一个悬念:原论文明明是编码器-解码器双塔,今天的 GPT 系模型为什么只剩一座解码器塔?本节正式回答这个问题。答案分两步:先看 2017 到 2019 年三条架构路线如何分家,再看 decoder-only 凭什么赢下生成赛道:

  1. 2017—2019:同一副骨架,三条路线分家(4.5.1):Transformer、GPT-1、BERT 三个模型给出三种答案,任务需要看哪边,就留哪座塔;
  2. 为什么 decoder-only 赢下了生成赛道(4.5.2):自回归的天性、编码器的失业、极简结构的 scaling 红利、Prompt 范式的通吃,四条理由合流;
  3. 零件对照:原论文 decoder 层 → 现代 LLM block(4.5.3):删掉交叉注意力,归一化、位置编码、FFN、注意力头逐件换代,骨架原样保留;
  4. 骨架没变:本页通往第 5 章(4.5.4):用 minimind 的真实结构印证定型后的形态,并把零件清单交给第 5 章逐件拆解。

  读完本节,你应该能记住一句话:现代 LLM 的一层 block = 掩码多头自注意力 + FFN + 残差 + 归一化,它就是 2017 年 decoder 层的直系后代。

  图 1 标出 decoder 层在前向链路中的位置,后续各节据此比较原始双塔结构与现代 decoder-only 结构的差异。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (第 2 章) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (本节内容) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:已讲章节 虚线框:后续章节
图 1:Transformer 层在 LLM 前向链路中的位置。文本经分词(第 2 章)变成 token ID,Embedding 查表换成词向量(3.1 节),注入位置信息(3.2–3.5 节)后进入 Transformer 层,再经输出投影算分(本章)、采样出下一个 token 接回输入(第 12 章)。本节回答的是这一站的历史问题:它为什么从 2017 年的编码器-解码器双塔,定型为今天的 decoder-only 单塔。

  decoder-only 这座塔最关键的一道结构约束是什么?是因果掩码:它规定每个位置能看谁、不能看谁。把 4 个位置的可见性关系单独拆开看:

原创示意图 · 非论文原图 局部放大:因果掩码——位置 i 只能看位置 1 到 i(含自己) 4 个位置的示例,机制对任意长度成立;「看」指注意力权重大于 0 列 j = 被看的位置 → x₁ x₂ x₃ x₄ x₁ x₂ x₃ x₄ ✓ −∞ −∞ −∞ ✓ ✓ −∞ −∞ ✓ ✓ ✓ −∞ ✓ ✓ ✓ ✓ 怎么看这张表 行 i:当前位置,正给下一个词打分 列 j:被看的位置 例:第 3 行只有前 3 格 ✓, 位置 3 的注意力只能分给 x₁–x₃ −∞ 经 softmax 后权重精确为 0, 未来信息被物理封死(4.2 节演算) 对应公式 (1):第 t 步的条件里只有过去 softmax 后的第 3 行注意力权重: w₃₁ w₃₂ w₃₃ 0 w₃₁ + w₃₂ + w₃₃ = 1,被掩位置恒为 0 训练与生成遵守同一条约束——公式 (1) 的自回归分解就是这样焊进结构的
图 2:因果掩码的可见性矩阵(4 个位置的示例,机制对任意长度成立)。行是当前位置、列是被看的位置:下三角(含对角线)允许看,上三角被填 \(-\infty\),经 softmax 后权重精确为 0。于是位置 \(i\) 给下一个词打分时,条件里只有 \(x_1\) 到 \(x_i\)——公式 (1) 的「只看过去」就是这样焊进结构的,decoder-only 的生成天性由此而来。

4.5.1 2017—2019:同一副骨架,三条路线分家

  回顾 4.1 节的整体结构:原论文的 Transformer 是标准的编码器-解码器(Encoder-Decoder)双塔结构,这是为它要解决的机器翻译问题量身定做的。翻译天然分两步:先把整句原文读进去、消化成表示,再一个词一个词把译文写出来。前一半交给编码器,后一半交给解码器。两座塔各堆 6 层,\(d_{\mathrm{model}}=512\);编码器每层 2 个子层(自注意力 + FFN),解码器每层 3 个子层,多出来的那一个专门负责「回头看原文」,叫交叉注意力(原论文 3.1 节)。

  所以这步在干嘛:双塔是「一读一写」分工的产物。可当任务从翻译扩展到「什么都干」时,两座塔真的都需要吗?2017 年之后的两年里,社区用三个著名模型给出了三种答案:

  1. 2017 年 6 月,Transformer(原论文):编码器-解码器双塔,为机器翻译而生;
  2. 2018 年 6 月,GPT-1(Radford 等人的 OpenAI 技术报告):只保留解码器塔,12 层、约 117M 参数,在 BookCorpus 上用「预测下一个词」做自回归预训练,再微调到下游任务,证明纯解码器路线可行;
  3. 2018 年 10 月,BERT(Devlin 等人,arXiv:1810.04805,2019 年正式发表):只保留编码器塔,双向注意力加掩码填空(MLM),横扫当时的理解类基准。

  三者的差别用三个角色来记最牢:

Encoder-only = 阅卷老师

通读全文、双向对照,判断理解一气呵成,但从不动笔写长文。代表:BERT。

Encoder-Decoder = 专职翻译

一个大脑读原文,一个大脑写译文,中间靠交叉注意力「回头查原文」对齐。代表:原论文 Transformer、T5、BART。

Decoder-only = 作家

从自己写下的文字出发往下续,每写一词都回头读一遍自己写过的东西。代表:GPT 全系。

维度Encoder-onlyEncoder-DecoderDecoder-only
结构只有编码器塔两座塔,交叉注意力相连只有解码器塔
每个位置能看到全文(双向)编码器看全文,解码器只看左侧只看左侧(单向)
预训练目标掩码填空(MLM)输入到输出的序列转换自回归预测下一个 token
擅长理解类:分类、匹配、抽取翻译、摘要等转换任务开放式生成、对话
短板不会自由生成两塔结构与训练更复杂天然看不到右侧上下文

  分家的逻辑很直白:任务需要看哪边,就留哪座塔。理解任务要纵览全文,留编码器;翻译要一读一写,两座都留;生成只需要顺着自己写过的内容往下走,留解码器就够。接下来的几年里发生的事情是:生成这条线越长越大,最终把另外两条线挤出了主流视野。

4.5.2 为什么 decoder-only 赢下了生成赛道

  本节讲的是业界多年复盘形成的主流解释(共识性解释),几条理由互相强化,并不存在某一篇「宣判胜负」的论文,请不要把它当作单一实验结论。

  理由一:生成天然是自回归的。写答案就是一个词一个词往外蹦,写到第 \(t\) 个词时,能依据的只有前面 \(t-1\) 个词。用概率语言写出来就是链式分解:

\[ P(x_1,\ldots,x_n)=\prod_{t=1}^{n}P(x_t\mid x_1,\ldots,x_{t-1}) \tag{1} \]
公式 (1):自回归生成的定义。右边每一项的条件里只有「过去」,没有「未来」。符号说明:\(x_1,\dots,x_n\) 是一段文本的 \(n\) 个 token;\(\prod_{t=1}^{n}\) 表示把 \(t\) 从 1 到 \(n\) 的条件概率连乘;\(P(x_t\mid x_1,\dots,x_{t-1})\) 是在已知前 \(t-1\) 个 token 的条件下,第 \(t\) 个 token 出现的概率——生成第 \(t\) 个词时只能依赖它之前的内容。
自回归 Autoregressive auto(自己)+ regressive(回归)= 用自己之前的输出预测下一步

自回归生成像词语接龙:每一步都把自己已经写下的全部内容当作已知条件,预测下一个词,把它接在末尾,再以此为基础预测再下一个。解码器的因果掩码(4.2 节)做的正是这件事:在结构层面焊死「只看左侧」的约束,训练和生成遵守同一个规则。

  注意:反过来想就明白 BERT 为什么不擅生成:双向注意力在训练时让每个位置都能看到右侧内容,一旦拿来做自回归生成,等于考试时偷看还没写出的答案,这称为信息泄漏。掩码填空的目标决定了它擅长「补全中间」,不擅长「续写结尾」。

  理由二:纯生成场景里没有「另一段输入」,编码器失业了。交叉注意力存在的唯一理由,是让解码器在写每个词时能回头查阅编码器整理好的另一段文本。聊天、续写、创作时根本没有这样一段输入,编码器和交叉注意力一起失去存在意义。删掉它们,解码器每层立刻从 3 个子层瘦身为 2 个。算一笔具体的账:每层 3 子层变 2 子层,同样 6 层就是从 18 个子层瘦身为 12 个,省出的参数预算可以直接换成更多层数——GPT-1 正是把塔加深到了 12 层(每层 2 子层,共 24 个子层)。

交叉注意力 Cross-Attention cross = 跨越两段文本的注意力

交叉注意力和自注意力的计算公式完全一样,区别只在原料来源:Query 来自解码器自己,Key 和 Value 来自编码器的输出。于是解码器每写一个词,都能按当前需要「回头看一眼」原文的每个位置。它只存在于 encoder-decoder 结构里,是连接两座塔的桥。

  理由三:架构越简单统一,越吃得上 scaling 红利。decoder-only 模型从头到尾只有一款积木:同一个 block 复制 N 次。加深、加宽、加数据都是一条直线上的事,工程上不用权衡两座塔的配比。第 6 章会讲,2018 年之后模型能力的主引擎正是「规模按比例放大」,结构最简单的路线自然跑得最快。

  理由四:Prompt 范式抹平了理解与生成的边界。分类、匹配、抽取这些理解任务,如今都能改写成「给一段提示,让模型续写答案」的形式(第 14 章细讲)。理解的饭碗也能用续写的方式吃,encoder-only 最后的护城河随之消失。

  四条理由合流成一个结论:decoder-only = 掩码自注意力 + FFN 的单塔重复堆叠。生成任务的第一性原理(自回归)选了它,极简结构给了它最低的扩展成本,Prompt 范式又让它通吃理解任务。这就是 2019 年之后主流 LLM 几乎全部倒向 decoder-only 的原因。

  所以这步在干嘛:把两座塔拆成一座,是因为人们发现「写东西」这件事一座塔就够用;塔越简单越能往大里盖,盖得越大越什么都会。顺带说明,encoder-decoder 没有消亡:T5、BART 这一脉在翻译、摘要等「有明确输入要转换」的场景里至今活跃,只是生成的主赛道让给了 decoder-only。

4.5.3 零件对照:原论文 decoder 层 → 现代 LLM block

  把 2017 年的 decoder 层和今天的一层 block 并排拆开,第一眼会看到子层数量的变化(3 个变 2 个),第二眼会发现剩下的两个子层里,几乎每个零件都换了一代。先列出两边「一层」的完整配方:

  • 原论文 decoder 层(×6):掩码多头自注意力 → 交叉注意力 → FFN(ReLU);每个子层外面包一层残差连接,归一化加在残差之后(Post-Norm);位置信息靠在输入嵌入上加正弦位置编码;
  • 现代 LLM block(×N):掩码多头自注意力(RoPE / GQA)→ FFN(SwiGLU);残差连接保留,归一化换成 RMSNorm 并挪到子层之前(Pre-Norm)。
\[ \underbrace{\mathrm{LayerNorm}\bigl(x+\mathrm{Sublayer}(x)\bigr)}_{\text{原论文:Post-Norm}} \qquad \underbrace{x+\mathrm{Sublayer}\bigl(\mathrm{RMSNorm}(x)\bigr)}_{\text{现代:Pre-Norm}} \tag{2} \]
公式 (2):每个子层的「包装方式」对比。左边逐字出自原论文 3.1 节;右边以 minimind 的 MiniMindBlock 代码为证,先归一化再进子层,残差原样加回。符号说明:\(x\) 是子层输入;\(\mathrm{Sublayer}\) 是子层本身(掩码多头自注意力或 FFN);\(\mathrm{LayerNorm}\) 是层归一化(4.4 节公式 (3) 给出定义);\(\mathrm{RMSNorm}\) 是它的现代简化版(4.6 节公式 (1),第 5 章细讲);左右两式的差别只在归一化的位置。
原创示意图 · 非论文原图 原论文解码器层(2017) 现代 LLM Block(GPT 系) 解码器层 ×6(3 个子层组,自下而上) 残差连接 + 层归一化 子层 3:前馈网络 FFN 512 → 2048 → 512,ReLU 残差连接 + 层归一化 子层 2:交叉注意力 K、V 来自编码器输出 残差连接 + 层归一化 子层 1:掩码多头自注意力 只能看左侧(因果掩码) 每层 3 子层 × 6 层 = 18 个子层 d_model = 512 · 正弦位置编码加在输入嵌入上 输入:已生成前缀(右移一位) Block ×N(2 个子层组,自下而上) ⊕ 残差连接 前馈网络 FFN SwiGLU 门控(5.1 节) RMSNorm(前置) 交叉注意力槽位 (随编码器一并删除) ⊕ 残差连接 掩码多头自注意力 RoPE 位置 + GQA(5.2 节) RMSNorm(前置) 每层 2 子层 × N 层(minimind:N=8) 塔顶再过一道 RMSNorm · RoPE 融在注意力内部 输入:已生成前缀 保留 · 换零件:ReLU → SwiGLU 删除:没有编码器可读 ✕ 保留 · 换零件:MHA → GQA + RoPE
图 3:原论文解码器层(左)与现代 LLM block(右)的并排对照,数据自下而上,每个白框是一个子层组。两组保留的子层与一条水平箭头一一对应:子层本体保留但内部零件换代(MHA → GQA + RoPE、ReLU → SwiGLU);中间一层在右侧只剩红色虚线槽位——交叉注意力随编码器一并删除,每层从 3 个子层瘦身为 2 个。白框内部结构承载着最关键的一处差异:左塔每组「子层在下、残差+层归一化条在上」(Post-Norm:先计算,相加之后再归一化);右塔每组自下而上是「RMSNorm 条 → 子层 → ⊕ 残差条」(Pre-Norm:先归一化再计算,最后相加,与 4.4 节图 4 同一画法)——归一化的位置从空间结构上一眼可辨。
零件原论文 decoder 层(2017)现代 LLM block详解
子层构成掩码自注意力 + 交叉注意力 + FFN,共 3 个掩码自注意力 + FFN,共 2 个本节 4.5.2
归一化LayerNorm,加在残差之后(Post-Norm)RMSNorm,放在子层之前(Pre-Norm)第 5 章
位置信息正弦绝对位置编码,加在输入嵌入上RoPE 旋转位置编码,融进注意力内部3.4 节
FFN 结构两个线性变换夹一个 ReLU三路投影 + SiLU 门控(SwiGLU 家族)第 5 章
注意力头标准 MHA,Q、K、V 头数相同GQA / MLA,多个 Q 头共享 K、V 头第 5 章
残差连接每个子层一条每个子层一条,写法几乎原样4.3 节

  现代 decoder 层更换了若干部件,但子层、残差连接与归一化的基本结构自 2017 年沿用至今。理解原论文的 decoder 层后,就能据此阅读当前主流 LLM 的单层结构;各项差异将在第 5 章分别说明。

4.5.4 骨架没变:本页通往第 5 章

  这套定型后的形态,在本工程配套的 minimind 小模型里看得最清楚:词嵌入之后是 8 个完全相同的 MiniMindBlock 串成一座塔,塔顶过一个 RMSNorm,再接输出头,训练方式就是自回归预测下一个 token。没有编码器,没有交叉注意力,每个 block 里只有掩码自注意力和 FFN 两个子层。它同时用上了表里的全部现代零件:RMSNorm、Pre-Norm、RoPE、SiLU 门控 FFN、GQA(8 个 Q 头共享 4 组 K、V 头)。

  本节最重要的结论:现代 LLM 的一层 block = 掩码多头自注意力 + FFN + 残差 + 归一化。它是原论文 decoder 层删掉交叉注意力后的直系后代,骨架七年没变,零件全面升级。

  第 5 章的任务就是把这张零件清单逐件拆开:RMSNorm 为什么敢简化 LayerNorm,Pre-Norm 为什么让训练更稳,SwiGLU 凭什么换掉 ReLU,GQA 和 MLA 如何给 KV 缓存瘦身,MoE 又如何在不增加计算量的前提下扩大参数量。学完第 5 章再回看 4.5.3 的对照表,每一格都会有一个完整的答案。

🧭本节要点回顾
原论文的解码器层比编码器层多哪个子层?它干什么用?
多一个交叉注意力子层:Query 来自解码器,Key、Value 来自编码器输出,让解码器每写一词都能回头看原文,是两座塔之间的桥。
decoder-only 为什么在生成赛道上胜出?
生成天然自回归,掩码自注意力把「只看左侧」焊进结构;纯生成没有另一段输入,编码器与交叉注意力可以整个删掉,每层只剩两个子层;单塔结构最简,最吃得上 scaling 红利;Prompt 范式又让它通吃理解任务。(业界共识性解释)
现代 LLM block 和原论文 decoder 层相比,什么没变、什么变了?
骨架没变:子层 + 残差 + 归一化的搭法原样保留。变了:删掉交叉注意力;归一化换 RMSNorm 并挪到子层前;位置编码换 RoPE;FFN 换 SwiGLU;注意力头换 GQA / MLA。

参考来源

  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762)。编码器与解码器各 N=6 层、解码器第三个子层为交叉注意力、掩码与右移一位的约定、Post-Norm 公式 LayerNorm(x + Sublayer(x))、FFN 用 ReLU、正弦位置编码、\(d_{\mathrm{model}}=512\),均逐字核对该文第 3 节。本页正文所称「原论文」即此篇。
  • Radford, Narasimhan, Salimans & Sutskever, 2018. Improving Language Understanding by Generative Pre-Training(OpenAI 技术报告,GPT-1)。12 层 decoder-only、约 117M 参数、BookCorpus 自回归预训练出自该报告。
  • Devlin et al., 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(arXiv:1810.04805)。encoder-only 路线与掩码填空(MLM)目标出自该文。
  • Raffel et al., 2019. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5,arXiv:1910.10683)。encoder-decoder 路线在 LLM 时代的延续。
  • minimind 工程(Apache 2.0),model/model_minimind.py:decoder-only 单塔、Pre-Norm、RMSNorm、SwiGLU、GQA 的对照实现,行号以本工程当前代码为准。
  • 说明:4.5.2 节「decoder-only 胜出的原因」为业界共识性复盘解释,无单一论文出处,正文已标注。