5.5 现代 LLM 架构总账:2017 到今天改了什么
本页范围:第 5 章第 5 节 | 整理时间:2026-09-29
本章前四节分别介绍了 RMSNorm 与 SwiGLU、GQA、MLA、MoE。本节从整体比较 2017 年的 Transformer 原论文(Vaswani et al., 2017)与当前开源大模型:架构发生了哪些变化,又有哪些部分沿用至今。顺序是先看全景、再算总账、装回图纸,最后讨论不变的部分:
- 七年演化一图速览(5.5.1):从 2017 的 Transformer 到 2024 的 MLA 与 MoE,五个节点看清骨架不变、零件常新;
- 零件替换总账表(5.5.2):原论文与 Llama 3、Qwen2.5、DeepSeek-V3 摆到同一张表上,换了什么一目了然;
- 四处替换,各自为什么换(5.5.3):归一化、激活、位置编码、注意力四笔账,指向训练更稳、推理更省、更能 scaling;
- 现代 LLM 的一层长什么样(5.5.4):把换好的零件装回原版图纸,和第 4 章的原版图(4.4 节图 3)对照着看;
- 没换的部分为什么屹立不倒(5.5.5):缩放点积、多头、残差、逐位置 FFN、自回归,它们在三件事上同时拿高分;
- 与后续章节的衔接(5.5.6):架构图纸讲完,预训练、长上下文扩展与推理系统分别接到第 6、8、13 章。
读完本节,「模型长什么样」这条线就完整了:你应该能给任意一个现代开源模型开出一张零件清单,说清每样零件的来历,也知道骨架为什么不动。
本章前四节分别修改 Transformer 块内部的部件,本节把它们装回同一张架构图,比较各部件的来源及 minimind 采用的具体规格。
5.5.1 七年演化一图速览
第 4 章逐层拆解了 2017 年的原版 Transformer,本章前几节又分别讲了 RMSNorm、SwiGLU、GQA、MLA 与 MoE 这些新部件。下面把这七年的变化放到同一条时间线上:
有两个节点值得单独说一句。一是 2018 年的 GPT:它把原论文为翻译任务设计的编码器整个砍掉,只保留带因果掩码的自回归解码器栈,今天所有主流 LLM 都是这个形态。二是 2020 年的 GPT-3:架构上它几乎没动 GPT-2 的图纸,只把参数量推到 1750 亿,却换来了质变的能力。这件事给整个行业的启发是:先把骨架稳住,再围绕它换更好的零件、喂更多的数据。
5.5.2 零件替换总账表
把原论文和三家 2024 年的代表性开源模型摆到同一张表上,换了什么一目了然:
| 配置项 | 原论文 Transformer(2017) | Llama 3(2024) | Qwen2.5(2024) | DeepSeek-V3(2024) |
|---|---|---|---|---|
| 归一化 | LayerNorm,Post-LN(残差相加之后) | RMSNorm,Pre-LN | RMSNorm,Pre-LN | RMSNorm,Pre-LN |
| 激活函数 | ReLU | SwiGLU | SwiGLU | SwiGLU(MoE 专家内) |
| 注意力 | MHA,Q、K、V 都是 8 头 | GQA,8 个 KV 头 | GQA,带 QKV 偏置 | MLA,512 维隐向量加 64 维解耦旋转键 |
| 位置编码 | 正弦绝对位置编码,加在嵌入上 | RoPE,基频 \(\theta=500000\) | RoPE,长上下文阶段 ABF 提至 100 万 | RoPE(MLA 解耦键),YaRN 扩展 |
| 词表 | 约 3.7 万(英德共享 BPE) | 128,256 | 151,643 常规加 22 控制 | 129,280(BBPE) |
| 上下文 | 翻译句子,数百 token 量级 | 8192(3.1 代扩至 128K) | 32K 至 128K(YARN 与 DCA 扩展) | 128K(两阶段扩展) |
表中数字以各技术报告与官方配置文件为准。原论文的正弦位置编码本身不设硬长度上限,「数百 token」指机器翻译句子的实际长度量级,不是架构限制。DeepSeek-V3 的 FFN 换成了 DeepSeekMoE(前 3 层稠密,其余每层 256 个专家选 8 个加 1 个共享专家),这是规模扩张维度上的改动,表中不重复展开。
词表和上下文这两行虽然不是「零件替换」,但变化幅度同样很大。词表从 3.7 万涨到 12.8 万以上,动机是更好的多语言覆盖和更高的压缩率:Llama 3 的报告提到,新词表把英文样本的压缩率从 Llama 2 的 3.17 提升到 3.94 字符每 token,同样的文本切成更少的 token,训练和推理都跟着省。上下文从几百 token 涨到 8K 起步、128K 主流,Qwen2.5-Turbo 更是推到 100 万 token,背后是位置编码、注意力和训练流程一整套配合的结果,第 8 章会讲训练侧怎么把窗口一步步撑大。
5.5.3 四处替换,各自为什么换
总账表说的是「换了什么」,这一节回答「为什么换」。四处替换各有各的直接动机,但底层的账本是同一本:
七年下来骨架没动,所有替换都指向三件事:训练更稳(Pre-LN 加 RMSNorm)、推理更省(GQA 与 MLA 压缩 KV 缓存)、能力更能 scaling(SwiGLU 增强表达力,RoPE 撑住长上下文)。
归一化:Post-LN 加 LayerNorm 换成 Pre-LN 加 RMSNorm
原论文的写法是把归一化放在残差相加之后,数据每过一个子层都要先和输入相加、再过一次 LayerNorm。这种 Post-LN 在深模型里有个麻烦:梯度主要涌向最顶层的归一化附近,底层参数得不到干净的梯度,训练前期容易发散,必须靠学习率 warmup(先小步热身再加速)才能稳住。Xiong 等人在 2020 年的分析表明,把归一化挪到子层输入端(Pre-LN),残差主路就成了恒等直通的高速公路,不加 warmup 也能稳定训练。GPT-2 在 2019 年已经这么干了,Pre-LN 随后成为所有主流模型的标配。
RMSNorm 换的是归一化本身:LayerNorm 先减均值、再除以标准差,RMSNorm 跳过减均值这一步,直接除以均方根再缩放。少一步计算,开销更小,效果与 LayerNorm 相当(Zhang 与 Sennrich,2019)。所以这步在干嘛:把收费站从主路挪到岔路入口,让梯度一路直通,再把收费站的流程砍掉一半。
激活函数:ReLU 换成 SwiGLU
原论文的 FFN 是「升维、ReLU、降维」三步,ReLU 的判别标准简单粗暴:负数一律归零。SwiGLU 把 FFN 改成双支路门控结构,一支算「门开多大」,一支算「传什么内容」,逐元素相乘后再投影回去:
Shazeer 在 2020 年系统比较了 GLU 家族的多个变体,SwiGLU 综合表现最好,此后被 LLaMA 带成了行业标准。门控结构多一个投影矩阵,为了总参数量不超标,论文给出的办法是把 FFN 中间维度按三分之二的系数折算,实际各家再按硬件取整。所以这步在干嘛:ReLU 是保安,负数直接赶走;SwiGLU 是双岗门卫,一个判断放行几成,一个递上内容,表达更细腻,scaling 的性价比更高。
位置编码:正弦与可学习换成 RoPE
正弦编码是给每个位置钉一块「绝对门牌号」,直接加在词嵌入上;RoPE 换成记录「转角」,把位置信息以旋转的方式作用在 Q、K 上,两个位置做内积时天然只剩相对位移。机制细节 3.4 节已经讲透,这里只补一个数字链条,看看「基频」这个旋钮怎么把上下文越转越远:
- RoFormer(2021)沿用 \(\theta=10000\),与原论文正弦编码的波长上限一致;
- Llama 3(2024)把基频提到 \(\theta=500000\),官方报告写明此举是为了支持更长上下文;
- Qwen2.5(2024)在长上下文训练阶段用 ABF 技术把基频从 1 万提到 100 万,长上下文版本更用到 1000 万,配合分阶段训练把窗口推到 100 万 token。
基频越大,单个维度转得越慢,远处位置的转角不至于绕圈缠在一起,模型才分得清第 1 个 token 和第 10 万个 token。3.5 节讲的长度外推技巧,大半都是围着这个旋钮做文章。所以这步在干嘛:把「门牌号」改成「相对转角」,位置关系更贴合注意力的计算方式,还把「看得远」变成了一个有得调的参数。
注意力:MHA 换成 GQA,再压成 MLA
前三处替换主要服务训练,这一处服务推理。自回归生成每蹦一个 token,都要把历史所有 token 的 K、V 再读一遍,所以推理时要把它们缓存起来,这就是 KV 缓存。头越多、上下文越长,缓存越恐怖,它才是长上下文落地的真正瓶颈。
推理时每生成一个 token,都要拿它的 Q 去和之前所有位置的 K、V 算注意力。这些 K、V 在生成它们时已经算过一遍,存下来就不用重算。代价是显存:缓存量等于「层数 × 序列长度 × KV 头数 × 每头维度 × 2(K 和 V)」,上下文一拉长,显存先被它吃光。
用真实配置算一笔账,看每层每个 token 要缓存多少个浮点数:
- MHA(以 64 个头、每头 128 维为例):\(64\times128\times2=16384\) 个数,K 和 V 各一份;
- GQA(Llama 3 的做法,64 个查询头只配 8 个 KV 头):\(8\times128\times2=2048\) 个数,缓存直接缩到八分之一;
- MLA(DeepSeek-V3):只存 512 维压缩隐向量加 64 维解耦旋转键,共 576 个数。注意三家各按各的配置,这组数字直接相除只是跨模型的量级参考:576 比上面 GQA 的 2048 再省约 3.5 倍,约为 MHA 16384 的二十八分之一;放回 DeepSeek-V3 自家 128 头的口径,则是 5.3 节算过的约五十七分之一。
GQA 的代价是同组的头拿到一模一样的 K、V,表达被打了个折扣;MLA 改用「存浓缩液、用时现冲」的低秩压缩,把这份折扣几乎抹平,5.3 节有完整推导。所以这步在干嘛:MHA 是每个秘书各备一份档案,GQA 是几个秘书共享一份,MLA 是只存档案粉末、用时现冲,目的都是一个,把推理的显存账单砍下来。
5.5.4 现代 LLM 的一层长什么样
把换好的零件装回原版图纸,就得到今天主流模型的一层 block。和第 4 章的原版图(4.4 节图 3)对照着看,结构关系没变,变的是每个格子里装的货:
对照原论文的解码器层,变化可以数得很清楚:少了与编码器的交叉注意力子层(decoder-only 没有编码器可对),归一化从残差之后挪到子层之前,MHA 换 GQA 或 MLA,ReLU 版 FFN 换 SwiGLU 版,位置信息从嵌入处的加法变成 Q、K 上的旋转。未改变的部分将在下一节讨论。
5.5.5 没换的部分为什么屹立不倒
比起换了什么,更值得问的是:为什么这些东西七年没人换得动?
- 缩放点积注意力的核心:\(\mathrm{softmax}(QK^{\top}/\sqrt{d_k})V\) 这一行公式原样跑在今天每一个模型里。GQA 和 MLA 改的都是「K、V 怎么存」,注意力本身怎么算,没人找到又便宜又好的替代品。
- 多头结构:多组 Q 并行地从不同子空间看同一序列,这个设计被证明是容量与成本的甜点位。变的只是 KV 头的数量,「多头并行」本身没动。
- 残差连接:从 ResNet 借来之后一直原样保留。它是上百层网络还能训练的物理基础,Pre-LN 的全部意义其实就是把残差主路彻底腾干净。
- 逐位置 FFN 的位置与分工:注意力负责跨位置混合信息,FFN 负责对每个位置独立加工,这个分工沿用至今。MoE 也只是把 FFN 复制很多份再加个路由器,角色没变。
- 自回归生成:2017 年的解码器就是一个 token 一个 token 往外蹦,今天依然如此。它把「生成任意文本」化归成「反复预测下一个 token」,简单到没有对手。
这套组合能活下来,原因可以归结为一句话:它在并行效率、表达容量、梯度可达性三件事上同时拿高分,后来者的改进空间只剩它暴露出的具体短板,也就是显存、稳定性和长度,而不是核心理念。所有新零件都是对着短板去的补丁,骨架本身没有裂缝。
5.5.6 与后续章节的衔接
到这里,「模型长什么样」就讲完了,但架构只是静态图纸,接下来的章节回答它怎么被用起来:
- 第 6 章讨论这套架构在预训练时「学什么」:反复预测下一个 token,并用 scaling law 分析模型规模、数据量与训练结果的关系;
- 第 8 章讲中间训练,其中长上下文扩展正是本节 RoPE 基频数字链在训练侧的完整操作:怎么分阶段把窗口从几千撑到十几万;
- 第 13 章把推理的账算到底:KV 缓存只是第一刀,量化、投机采样、连续批处理这些推理系统技术,都是沿着 GQA 与 MLA「省显存、提吞吐」的思路继续往下走。
参考来源
- Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762),原论文配置列(Post-LN、ReLU、正弦位置、MHA、约 3.7 万词表)对照该文第 3、5 节。本页正文所称「原论文」即此篇。
- Zhang & Sennrich, 2019. Root Mean Square Layer Normalization(RMSNorm 原始论文,arXiv:1910.07467)。
- Xiong et al., 2020. On Layer Normalization in the Transformer Architecture(arXiv:2002.04745),Pre-LN 稳定性与 warmup 分析。
- Shazeer, 2020. GLU Variants Improve Transformer(SwiGLU 出处,arXiv:2002.05202),含三分之二折算系数。
- Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding(RoPE 原始论文,arXiv:2104.09864)。
- Ainslie et al., 2023. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints(arXiv:2305.13245)。
- Radford et al., 2018. Improving Language Understanding by Generative Pre-Training(GPT 报告,decoder-only 起点);Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3,arXiv:2005.14165)。
- Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models(arXiv:2302.13971,现代配方定型)与 Llama 2(arXiv:2307.09288,引入 GQA)。
- Grattafiori, Dubey et al., 2024. The Llama 3 Herd of Models(arXiv:2407.21783),词表 128K、GQA 8 个 KV 头、RoPE 基频提至 500,000、压缩率 3.17 到 3.94 均出自该文。
- Yang et al., 2024. Qwen2.5 Technical Report(arXiv:2412.15115),词表 151,643 常规加 22 控制、ABF 基频 100 万、32K 至 128K 上下文。
- DeepSeek-AI, 2024. DeepSeek-V2(arXiv:2405.04434,MLA 出处)与 DeepSeek-V3 Technical Report(arXiv:2412.19437,671B 总参、37B 激活、512 维隐向量加 64 维解耦键、128K 上下文;词表 129,280 见其官方配置文件)。