4.5 从编码器-解码器到 Decoder-only:现代 LLM 的定型
本页范围:第 4 章第 5 节 | 整理时间:2026-09-29
4.1 节留下过一个悬念:原论文明明是编码器-解码器双塔,今天的 GPT 系模型为什么只剩一座解码器塔?本节正式回答这个问题。答案分两步:先看 2017 到 2019 年三条架构路线如何分家,再看 decoder-only 凭什么赢下生成赛道:
- 2017—2019:同一副骨架,三条路线分家(4.5.1):Transformer、GPT-1、BERT 三个模型给出三种答案,任务需要看哪边,就留哪座塔;
- 为什么 decoder-only 赢下了生成赛道(4.5.2):自回归的天性、编码器的失业、极简结构的 scaling 红利、Prompt 范式的通吃,四条理由合流;
- 零件对照:原论文 decoder 层 → 现代 LLM block(4.5.3):删掉交叉注意力,归一化、位置编码、FFN、注意力头逐件换代,骨架原样保留;
- 骨架没变:本页通往第 5 章(4.5.4):用 minimind 的真实结构印证定型后的形态,并把零件清单交给第 5 章逐件拆解。
读完本节,你应该能记住一句话:现代 LLM 的一层 block = 掩码多头自注意力 + FFN + 残差 + 归一化,它就是 2017 年 decoder 层的直系后代。
图 1 标出 decoder 层在前向链路中的位置,后续各节据此比较原始双塔结构与现代 decoder-only 结构的差异。
decoder-only 这座塔最关键的一道结构约束是什么?是因果掩码:它规定每个位置能看谁、不能看谁。把 4 个位置的可见性关系单独拆开看:
4.5.1 2017—2019:同一副骨架,三条路线分家
回顾 4.1 节的整体结构:原论文的 Transformer 是标准的编码器-解码器(Encoder-Decoder)双塔结构,这是为它要解决的机器翻译问题量身定做的。翻译天然分两步:先把整句原文读进去、消化成表示,再一个词一个词把译文写出来。前一半交给编码器,后一半交给解码器。两座塔各堆 6 层,\(d_{\mathrm{model}}=512\);编码器每层 2 个子层(自注意力 + FFN),解码器每层 3 个子层,多出来的那一个专门负责「回头看原文」,叫交叉注意力(原论文 3.1 节)。
所以这步在干嘛:双塔是「一读一写」分工的产物。可当任务从翻译扩展到「什么都干」时,两座塔真的都需要吗?2017 年之后的两年里,社区用三个著名模型给出了三种答案:
- 2017 年 6 月,Transformer(原论文):编码器-解码器双塔,为机器翻译而生;
- 2018 年 6 月,GPT-1(Radford 等人的 OpenAI 技术报告):只保留解码器塔,12 层、约 117M 参数,在 BookCorpus 上用「预测下一个词」做自回归预训练,再微调到下游任务,证明纯解码器路线可行;
- 2018 年 10 月,BERT(Devlin 等人,arXiv:1810.04805,2019 年正式发表):只保留编码器塔,双向注意力加掩码填空(MLM),横扫当时的理解类基准。
三者的差别用三个角色来记最牢:
Encoder-only = 阅卷老师
通读全文、双向对照,判断理解一气呵成,但从不动笔写长文。代表:BERT。
Encoder-Decoder = 专职翻译
一个大脑读原文,一个大脑写译文,中间靠交叉注意力「回头查原文」对齐。代表:原论文 Transformer、T5、BART。
Decoder-only = 作家
从自己写下的文字出发往下续,每写一词都回头读一遍自己写过的东西。代表:GPT 全系。
| 维度 | Encoder-only | Encoder-Decoder | Decoder-only |
|---|---|---|---|
| 结构 | 只有编码器塔 | 两座塔,交叉注意力相连 | 只有解码器塔 |
| 每个位置能看到 | 全文(双向) | 编码器看全文,解码器只看左侧 | 只看左侧(单向) |
| 预训练目标 | 掩码填空(MLM) | 输入到输出的序列转换 | 自回归预测下一个 token |
| 擅长 | 理解类:分类、匹配、抽取 | 翻译、摘要等转换任务 | 开放式生成、对话 |
| 短板 | 不会自由生成 | 两塔结构与训练更复杂 | 天然看不到右侧上下文 |
分家的逻辑很直白:任务需要看哪边,就留哪座塔。理解任务要纵览全文,留编码器;翻译要一读一写,两座都留;生成只需要顺着自己写过的内容往下走,留解码器就够。接下来的几年里发生的事情是:生成这条线越长越大,最终把另外两条线挤出了主流视野。
4.5.2 为什么 decoder-only 赢下了生成赛道
本节讲的是业界多年复盘形成的主流解释(共识性解释),几条理由互相强化,并不存在某一篇「宣判胜负」的论文,请不要把它当作单一实验结论。
理由一:生成天然是自回归的。写答案就是一个词一个词往外蹦,写到第 \(t\) 个词时,能依据的只有前面 \(t-1\) 个词。用概率语言写出来就是链式分解:
自回归生成像词语接龙:每一步都把自己已经写下的全部内容当作已知条件,预测下一个词,把它接在末尾,再以此为基础预测再下一个。解码器的因果掩码(4.2 节)做的正是这件事:在结构层面焊死「只看左侧」的约束,训练和生成遵守同一个规则。
注意:反过来想就明白 BERT 为什么不擅生成:双向注意力在训练时让每个位置都能看到右侧内容,一旦拿来做自回归生成,等于考试时偷看还没写出的答案,这称为信息泄漏。掩码填空的目标决定了它擅长「补全中间」,不擅长「续写结尾」。
理由二:纯生成场景里没有「另一段输入」,编码器失业了。交叉注意力存在的唯一理由,是让解码器在写每个词时能回头查阅编码器整理好的另一段文本。聊天、续写、创作时根本没有这样一段输入,编码器和交叉注意力一起失去存在意义。删掉它们,解码器每层立刻从 3 个子层瘦身为 2 个。算一笔具体的账:每层 3 子层变 2 子层,同样 6 层就是从 18 个子层瘦身为 12 个,省出的参数预算可以直接换成更多层数——GPT-1 正是把塔加深到了 12 层(每层 2 子层,共 24 个子层)。
交叉注意力和自注意力的计算公式完全一样,区别只在原料来源:Query 来自解码器自己,Key 和 Value 来自编码器的输出。于是解码器每写一个词,都能按当前需要「回头看一眼」原文的每个位置。它只存在于 encoder-decoder 结构里,是连接两座塔的桥。
理由三:架构越简单统一,越吃得上 scaling 红利。decoder-only 模型从头到尾只有一款积木:同一个 block 复制 N 次。加深、加宽、加数据都是一条直线上的事,工程上不用权衡两座塔的配比。第 6 章会讲,2018 年之后模型能力的主引擎正是「规模按比例放大」,结构最简单的路线自然跑得最快。
理由四:Prompt 范式抹平了理解与生成的边界。分类、匹配、抽取这些理解任务,如今都能改写成「给一段提示,让模型续写答案」的形式(第 14 章细讲)。理解的饭碗也能用续写的方式吃,encoder-only 最后的护城河随之消失。
四条理由合流成一个结论:decoder-only = 掩码自注意力 + FFN 的单塔重复堆叠。生成任务的第一性原理(自回归)选了它,极简结构给了它最低的扩展成本,Prompt 范式又让它通吃理解任务。这就是 2019 年之后主流 LLM 几乎全部倒向 decoder-only 的原因。
所以这步在干嘛:把两座塔拆成一座,是因为人们发现「写东西」这件事一座塔就够用;塔越简单越能往大里盖,盖得越大越什么都会。顺带说明,encoder-decoder 没有消亡:T5、BART 这一脉在翻译、摘要等「有明确输入要转换」的场景里至今活跃,只是生成的主赛道让给了 decoder-only。
4.5.3 零件对照:原论文 decoder 层 → 现代 LLM block
把 2017 年的 decoder 层和今天的一层 block 并排拆开,第一眼会看到子层数量的变化(3 个变 2 个),第二眼会发现剩下的两个子层里,几乎每个零件都换了一代。先列出两边「一层」的完整配方:
- 原论文 decoder 层(×6):掩码多头自注意力 → 交叉注意力 → FFN(ReLU);每个子层外面包一层残差连接,归一化加在残差之后(Post-Norm);位置信息靠在输入嵌入上加正弦位置编码;
- 现代 LLM block(×N):掩码多头自注意力(RoPE / GQA)→ FFN(SwiGLU);残差连接保留,归一化换成 RMSNorm 并挪到子层之前(Pre-Norm)。
| 零件 | 原论文 decoder 层(2017) | 现代 LLM block | 详解 |
|---|---|---|---|
| 子层构成 | 掩码自注意力 + 交叉注意力 + FFN,共 3 个 | 掩码自注意力 + FFN,共 2 个 | 本节 4.5.2 |
| 归一化 | LayerNorm,加在残差之后(Post-Norm) | RMSNorm,放在子层之前(Pre-Norm) | 第 5 章 |
| 位置信息 | 正弦绝对位置编码,加在输入嵌入上 | RoPE 旋转位置编码,融进注意力内部 | 3.4 节 |
| FFN 结构 | 两个线性变换夹一个 ReLU | 三路投影 + SiLU 门控(SwiGLU 家族) | 第 5 章 |
| 注意力头 | 标准 MHA,Q、K、V 头数相同 | GQA / MLA,多个 Q 头共享 K、V 头 | 第 5 章 |
| 残差连接 | 每个子层一条 | 每个子层一条,写法几乎原样 | 4.3 节 |
现代 decoder 层更换了若干部件,但子层、残差连接与归一化的基本结构自 2017 年沿用至今。理解原论文的 decoder 层后,就能据此阅读当前主流 LLM 的单层结构;各项差异将在第 5 章分别说明。
4.5.4 骨架没变:本页通往第 5 章
这套定型后的形态,在本工程配套的 minimind 小模型里看得最清楚:词嵌入之后是 8 个完全相同的 MiniMindBlock 串成一座塔,塔顶过一个 RMSNorm,再接输出头,训练方式就是自回归预测下一个 token。没有编码器,没有交叉注意力,每个 block 里只有掩码自注意力和 FFN 两个子层。它同时用上了表里的全部现代零件:RMSNorm、Pre-Norm、RoPE、SiLU 门控 FFN、GQA(8 个 Q 头共享 4 组 K、V 头)。
本节最重要的结论:现代 LLM 的一层 block = 掩码多头自注意力 + FFN + 残差 + 归一化。它是原论文 decoder 层删掉交叉注意力后的直系后代,骨架七年没变,零件全面升级。
第 5 章的任务就是把这张零件清单逐件拆开:RMSNorm 为什么敢简化 LayerNorm,Pre-Norm 为什么让训练更稳,SwiGLU 凭什么换掉 ReLU,GQA 和 MLA 如何给 KV 缓存瘦身,MoE 又如何在不增加计算量的前提下扩大参数量。学完第 5 章再回看 4.5.3 的对照表,每一格都会有一个完整的答案。
参考来源
- Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762)。编码器与解码器各 N=6 层、解码器第三个子层为交叉注意力、掩码与右移一位的约定、Post-Norm 公式 LayerNorm(x + Sublayer(x))、FFN 用 ReLU、正弦位置编码、\(d_{\mathrm{model}}=512\),均逐字核对该文第 3 节。本页正文所称「原论文」即此篇。
- Radford, Narasimhan, Salimans & Sutskever, 2018. Improving Language Understanding by Generative Pre-Training(OpenAI 技术报告,GPT-1)。12 层 decoder-only、约 117M 参数、BookCorpus 自回归预训练出自该报告。
- Devlin et al., 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(arXiv:1810.04805)。encoder-only 路线与掩码填空(MLM)目标出自该文。
- Raffel et al., 2019. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5,arXiv:1910.10683)。encoder-decoder 路线在 LLM 时代的延续。
- minimind 工程(Apache 2.0),model/model_minimind.py:decoder-only 单塔、Pre-Norm、RMSNorm、SwiGLU、GQA 的对照实现,行号以本工程当前代码为准。
- 说明:4.5.2 节「decoder-only 胜出的原因」为业界共识性复盘解释,无单一论文出处,正文已标注。