5.5 现代 LLM 架构总账:2017 到今天改了什么

本页范围:第 5 章第 5 节 | 整理时间:2026-09-29

快速浏览

核心问题2017 年论文里的 Transformer,和今天服务器上跑的开源大模型,架构上到底差在哪?哪些零件被换掉了,哪些一字未动?
本节主张从 2017 到 2024,Transformer 的骨架原样保留,换掉的主要是四类零件:归一化、激活函数、位置编码、注意力的缓存形态。所有改动都指向三件事:训练更稳、推理更省、能力更能随规模增长。
一句话结论今天的 LLM 是「原版骨架加现代化零件」:缩放点积注意力、多头、残差、逐位置 FFN、自回归生成一个没少,LayerNorm、ReLU、正弦位置、MHA 则被 RMSNorm、SwiGLU、RoPE、GQA 与 MLA 替换。
关键词
Pre-LNRMSNormSwiGLURoPEGQA / MLAMoE架构总账

  本章前四节分别介绍了 RMSNorm 与 SwiGLU、GQA、MLA、MoE。本节从整体比较 2017 年的 Transformer 原论文(Vaswani et al., 2017)与当前开源大模型:架构发生了哪些变化,又有哪些部分沿用至今。顺序是先看全景、再算总账、装回图纸,最后讨论不变的部分:

  1. 七年演化一图速览(5.5.1):从 2017 的 Transformer 到 2024 的 MLA 与 MoE,五个节点看清骨架不变、零件常新;
  2. 零件替换总账表(5.5.2):原论文与 Llama 3、Qwen2.5、DeepSeek-V3 摆到同一张表上,换了什么一目了然;
  3. 四处替换,各自为什么换(5.5.3):归一化、激活、位置编码、注意力四笔账,指向训练更稳、推理更省、更能 scaling;
  4. 现代 LLM 的一层长什么样(5.5.4):把换好的零件装回原版图纸,和第 4 章的原版图(4.4 节图 3)对照着看;
  5. 没换的部分为什么屹立不倒(5.5.5):缩放点积、多头、残差、逐位置 FFN、自回归,它们在三件事上同时拿高分;
  6. 与后续章节的衔接(5.5.6):架构图纸讲完,预训练、长上下文扩展与推理系统分别接到第 6、8、13 章。

  读完本节,「模型长什么样」这条线就完整了:你应该能给任意一个现代开源模型开出一张零件清单,说清每样零件的来历,也知道骨架为什么不动。

  本章前四节分别修改 Transformer 块内部的部件,本节把它们装回同一张架构图,比较各部件的来源及 minimind 采用的具体规格。

原创示意图 · 非论文原图 局部放大:现代 Transformer 块全家福——每个零件来自哪一节,minimind 配成什么规格 输入:n 个 token × 768 维 现代 Transformer 块(×8 层) 骨架不动:两个子层 + 两条残差 注意力子层(Pre-LN) 归一化 → 注意力 → 加残差 前馈子层(Pre-LN) 归一化 → 前馈 → 加残差 残差主干恒等直通(5.1.2) 每个零件的完整讲解见对应小节 输出:n × 768,形状不变 RMSNorm(5.1 节) 只缩放不对中,少一步统计 Pre-LN:挪到子层输入侧 minimind:每层 2 处 GQA(5.2)/MLA(5.3) 注意力子层的缓存改造 GQA:8 查询头配 4 KV 头 MLA:只存 576 个数隐向量 RoPE(3.4 节) 位置信息旋转进 Q、K 基频可调,撑长上下文 (3.5 节与第 8 章展开) SwiGLU(5.1)/MoE(5.4) 前馈子层的两处升级 SwiGLU:768→2432→768 门控 MoE:4 个专家只激活 1 个 minimind 默认配置汇总:hidden 768 · 8 层 · 词表 6400(与输出投影共享权重)· 8 查询头 / 4 KV 头 · 每头 96 维 FFN 中间维 2432 · 可选 MoE 4 选 1(辅助损失系数 5e-4)· 全量参数约 63.9M
图 1:现代 Transformer 块的零件全家福。块骨架与第 4 章一致(两个子层加两条残差,输入输出都是 n×768),换掉的是零件:归一化用 RMSNorm 并挪到 Pre-LN 位置(5.1),注意力配 GQA 或 MLA 压缩缓存(5.2、5.3),位置信息由 RoPE 注入(3.4),前馈换 SwiGLU 门控、可选 MoE 稀疏激活(5.1、5.4)。底部是 minimind 的默认配置汇总,各数字与正文及 minimind 源码一致。

5.5.1 七年演化一图速览

  第 4 章逐层拆解了 2017 年的原版 Transformer,本章前几节又分别讲了 RMSNorm、SwiGLU、GQA、MLA 与 MoE 这些新部件。下面把这七年的变化放到同一条时间线上:

原创示意图 · 非论文原图 2017 · Transformer 编码器-解码器做翻译 Post-LN · ReLU 正弦位置 · MHA 2018 · GPT 砍掉编码器 只留自回归解码器栈 预训练 + 微调范式 2020 · GPT-3 1750 亿参数 架构几乎不变 规模即能力 2023 · LLaMA / GQA LLaMA 集齐现代配方 RMSNorm+SwiGLU+RoPE Llama 2 引入 GQA 2024 · MLA / MoE DeepSeek-V2 提出 MLA V3 大规模验证 MoE 全面铺开 零件的发明普遍早于普及:RMSNorm 出自 2019,SwiGLU 出自 2020,RoPE 出自 2021, 直到 2023 年 LLaMA 把它们打包验证,「现代配方」才算定型。
图 2:从 2017 年原版 Transformer 到 2024 年 MLA 与 MoE 普及,骨架始终是「多头注意力 + 逐位置 FFN + 残差」的堆叠,变化发生在零件层。

  有两个节点值得单独说一句。一是 2018 年的 GPT:它把原论文为翻译任务设计的编码器整个砍掉,只保留带因果掩码的自回归解码器栈,今天所有主流 LLM 都是这个形态。二是 2020 年的 GPT-3:架构上它几乎没动 GPT-2 的图纸,只把参数量推到 1750 亿,却换来了质变的能力。这件事给整个行业的启发是:先把骨架稳住,再围绕它换更好的零件、喂更多的数据。

5.5.2 零件替换总账表

  把原论文和三家 2024 年的代表性开源模型摆到同一张表上,换了什么一目了然:

配置项原论文 Transformer(2017)Llama 3(2024)Qwen2.5(2024)DeepSeek-V3(2024)
归一化LayerNorm,Post-LN(残差相加之后)RMSNorm,Pre-LNRMSNorm,Pre-LNRMSNorm,Pre-LN
激活函数ReLUSwiGLUSwiGLUSwiGLU(MoE 专家内)
注意力MHA,Q、K、V 都是 8 头GQA,8 个 KV 头GQA,带 QKV 偏置MLA,512 维隐向量加 64 维解耦旋转键
位置编码正弦绝对位置编码,加在嵌入上RoPE,基频 \(\theta=500000\)RoPE,长上下文阶段 ABF 提至 100 万RoPE(MLA 解耦键),YaRN 扩展
词表约 3.7 万(英德共享 BPE)128,256151,643 常规加 22 控制129,280(BBPE)
上下文翻译句子,数百 token 量级8192(3.1 代扩至 128K)32K 至 128K(YARN 与 DCA 扩展)128K(两阶段扩展)

  表中数字以各技术报告与官方配置文件为准。原论文的正弦位置编码本身不设硬长度上限,「数百 token」指机器翻译句子的实际长度量级,不是架构限制。DeepSeek-V3 的 FFN 换成了 DeepSeekMoE(前 3 层稠密,其余每层 256 个专家选 8 个加 1 个共享专家),这是规模扩张维度上的改动,表中不重复展开。

  词表和上下文这两行虽然不是「零件替换」,但变化幅度同样很大。词表从 3.7 万涨到 12.8 万以上,动机是更好的多语言覆盖和更高的压缩率:Llama 3 的报告提到,新词表把英文样本的压缩率从 Llama 2 的 3.17 提升到 3.94 字符每 token,同样的文本切成更少的 token,训练和推理都跟着省。上下文从几百 token 涨到 8K 起步、128K 主流,Qwen2.5-Turbo 更是推到 100 万 token,背后是位置编码、注意力和训练流程一整套配合的结果,第 8 章会讲训练侧怎么把窗口一步步撑大。

5.5.3 四处替换,各自为什么换

  总账表说的是「换了什么」,这一节回答「为什么换」。四处替换各有各的直接动机,但底层的账本是同一本:

  七年下来骨架没动,所有替换都指向三件事:训练更稳(Pre-LN 加 RMSNorm)、推理更省(GQA 与 MLA 压缩 KV 缓存)、能力更能 scaling(SwiGLU 增强表达力,RoPE 撑住长上下文)。

归一化:Post-LN 加 LayerNorm 换成 Pre-LN 加 RMSNorm

  原论文的写法是把归一化放在残差相加之后,数据每过一个子层都要先和输入相加、再过一次 LayerNorm。这种 Post-LN 在深模型里有个麻烦:梯度主要涌向最顶层的归一化附近,底层参数得不到干净的梯度,训练前期容易发散,必须靠学习率 warmup(先小步热身再加速)才能稳住。Xiong 等人在 2020 年的分析表明,把归一化挪到子层输入端(Pre-LN),残差主路就成了恒等直通的高速公路,不加 warmup 也能稳定训练。GPT-2 在 2019 年已经这么干了,Pre-LN 随后成为所有主流模型的标配。

\[ \text{Post-LN(2017 原版):}\quad \mathrm{LayerNorm}\big(x+\mathrm{Sublayer}(x)\big) \tag{1} \] \[ \text{Pre-LN(现代主流):}\quad x+\mathrm{Sublayer}\big(\mathrm{RMSNorm}(x)\big) \tag{2} \]
公式 (1)(2):归一化的位置之差。Pre-LN 里主路上的 \(x\) 原样直通到层尾,梯度可以无衰减地传回浅层。符号说明:\(x\) 是本层输入的隐藏向量;\(\mathrm{Sublayer}(\cdot)\) 是注意力或前馈子层;\(\mathrm{LayerNorm}\) 与 \(\mathrm{RMSNorm}\) 是两种归一化算子,完整公式见 5.1 节。

  RMSNorm 换的是归一化本身:LayerNorm 先减均值、再除以标准差,RMSNorm 跳过减均值这一步,直接除以均方根再缩放。少一步计算,开销更小,效果与 LayerNorm 相当(Zhang 与 Sennrich,2019)。所以这步在干嘛:把收费站从主路挪到岔路入口,让梯度一路直通,再把收费站的流程砍掉一半。

激活函数:ReLU 换成 SwiGLU

  原论文的 FFN 是「升维、ReLU、降维」三步,ReLU 的判别标准简单粗暴:负数一律归零。SwiGLU 把 FFN 改成双支路门控结构,一支算「门开多大」,一支算「传什么内容」,逐元素相乘后再投影回去:

\[ \mathrm{FFN}_{\mathrm{SwiGLU}}(x)=\big(\mathrm{Swish}(xW_1)\odot xV\big)\,W_2, \qquad \mathrm{Swish}(x)=x\cdot\sigma(x) \tag{3} \]
公式 (3):门控 FFN。符号说明:\(W_1,V\) 是两个并行的投影矩阵,\(xW_1\) 过 Swish 当「门」、\(xV\) 当「内容」;\(\sigma\) 是 sigmoid 函数,把任意实数压到 0~1;\(\odot\) 是逐元素相乘;\(W_2\) 是把门控结果压回原维度的输出矩阵。模型可以学到对每个维度连续地调节放行比例,而不是 ReLU 的 0 或 1。

  Shazeer 在 2020 年系统比较了 GLU 家族的多个变体,SwiGLU 综合表现最好,此后被 LLaMA 带成了行业标准。门控结构多一个投影矩阵,为了总参数量不超标,论文给出的办法是把 FFN 中间维度按三分之二的系数折算,实际各家再按硬件取整。所以这步在干嘛:ReLU 是保安,负数直接赶走;SwiGLU 是双岗门卫,一个判断放行几成,一个递上内容,表达更细腻,scaling 的性价比更高。

位置编码:正弦与可学习换成 RoPE

  正弦编码是给每个位置钉一块「绝对门牌号」,直接加在词嵌入上;RoPE 换成记录「转角」,把位置信息以旋转的方式作用在 Q、K 上,两个位置做内积时天然只剩相对位移。机制细节 3.4 节已经讲透,这里只补一个数字链条,看看「基频」这个旋钮怎么把上下文越转越远:

  • RoFormer(2021)沿用 \(\theta=10000\),与原论文正弦编码的波长上限一致;
  • Llama 3(2024)把基频提到 \(\theta=500000\),官方报告写明此举是为了支持更长上下文;
  • Qwen2.5(2024)在长上下文训练阶段用 ABF 技术把基频从 1 万提到 100 万,长上下文版本更用到 1000 万,配合分阶段训练把窗口推到 100 万 token。

  基频越大,单个维度转得越慢,远处位置的转角不至于绕圈缠在一起,模型才分得清第 1 个 token 和第 10 万个 token。3.5 节讲的长度外推技巧,大半都是围着这个旋钮做文章。所以这步在干嘛:把「门牌号」改成「相对转角」,位置关系更贴合注意力的计算方式,还把「看得远」变成了一个有得调的参数。

注意力:MHA 换成 GQA,再压成 MLA

  前三处替换主要服务训练,这一处服务推理。自回归生成每蹦一个 token,都要把历史所有 token 的 K、V 再读一遍,所以推理时要把它们缓存起来,这就是 KV 缓存。头越多、上下文越长,缓存越恐怖,它才是长上下文落地的真正瓶颈。

KV 缓存 KV Cache cache = 把算过的中间结果存起来,避免重复计算

推理时每生成一个 token,都要拿它的 Q 去和之前所有位置的 K、V 算注意力。这些 K、V 在生成它们时已经算过一遍,存下来就不用重算。代价是显存:缓存量等于「层数 × 序列长度 × KV 头数 × 每头维度 × 2(K 和 V)」,上下文一拉长,显存先被它吃光。

  用真实配置算一笔账,看每层每个 token 要缓存多少个浮点数:

  • MHA(以 64 个头、每头 128 维为例):\(64\times128\times2=16384\) 个数,K 和 V 各一份;
  • GQA(Llama 3 的做法,64 个查询头只配 8 个 KV 头):\(8\times128\times2=2048\) 个数,缓存直接缩到八分之一;
  • MLA(DeepSeek-V3):只存 512 维压缩隐向量加 64 维解耦旋转键,共 576 个数。注意三家各按各的配置,这组数字直接相除只是跨模型的量级参考:576 比上面 GQA 的 2048 再省约 3.5 倍,约为 MHA 16384 的二十八分之一;放回 DeepSeek-V3 自家 128 头的口径,则是 5.3 节算过的约五十七分之一。

  GQA 的代价是同组的头拿到一模一样的 K、V,表达被打了个折扣;MLA 改用「存浓缩液、用时现冲」的低秩压缩,把这份折扣几乎抹平,5.3 节有完整推导。所以这步在干嘛:MHA 是每个秘书各备一份档案,GQA 是几个秘书共享一份,MLA 是只存档案粉末、用时现冲,目的都是一个,把推理的显存账单砍下来。

5.5.4 现代 LLM 的一层长什么样

  把换好的零件装回原版图纸,就得到今天主流模型的一层 block。和第 4 章的原版图(4.4 节图 3)对照着看,结构关系没变,变的是每个格子里装的货:

原创示意图 · 非论文原图 输入 x(上一层输出) RMSNorm GQA 注意力 查询头多 · KV 头少,Q、K 上施加 RoPE (MLA 模型此处换低秩压缩) + RMSNorm SwiGLU FFN 门控双支路,逐位置独立 (MoE 模型此处换路由 + 专家) + 输出:送往下一层 残差 ①:绕过注意力层 残差 ②:绕过 FFN GQA:64 查询头只配 8 KV 头, KV 缓存立省 8 倍(MLA 更省) RoPE:位置信息只旋转 Q、K, 门牌号变成相对转角 Pre-LN:归一化挪到岔路入口, 主路全程直通,梯度不衰减 SwiGLU:一支算「门」、一支算「内容」 MoE 版:路由器把 token 分给少数专家
图 3:现代 LLM 的一层 block。与第 4 章原版图(4.4 节图 3)同构:两个子层、两条残差;Pre-LN 把归一化移到子层输入端,GQA 与 SwiGLU 替换了子层内部的实现。

  对照原论文的解码器层,变化可以数得很清楚:少了与编码器的交叉注意力子层(decoder-only 没有编码器可对),归一化从残差之后挪到子层之前,MHA 换 GQA 或 MLA,ReLU 版 FFN 换 SwiGLU 版,位置信息从嵌入处的加法变成 Q、K 上的旋转。未改变的部分将在下一节讨论。

5.5.5 没换的部分为什么屹立不倒

  比起换了什么,更值得问的是:为什么这些东西七年没人换得动?

  • 缩放点积注意力的核心:\(\mathrm{softmax}(QK^{\top}/\sqrt{d_k})V\) 这一行公式原样跑在今天每一个模型里。GQA 和 MLA 改的都是「K、V 怎么存」,注意力本身怎么算,没人找到又便宜又好的替代品。
  • 多头结构:多组 Q 并行地从不同子空间看同一序列,这个设计被证明是容量与成本的甜点位。变的只是 KV 头的数量,「多头并行」本身没动。
  • 残差连接:从 ResNet 借来之后一直原样保留。它是上百层网络还能训练的物理基础,Pre-LN 的全部意义其实就是把残差主路彻底腾干净。
  • 逐位置 FFN 的位置与分工:注意力负责跨位置混合信息,FFN 负责对每个位置独立加工,这个分工沿用至今。MoE 也只是把 FFN 复制很多份再加个路由器,角色没变。
  • 自回归生成:2017 年的解码器就是一个 token 一个 token 往外蹦,今天依然如此。它把「生成任意文本」化归成「反复预测下一个 token」,简单到没有对手。

  这套组合能活下来,原因可以归结为一句话:它在并行效率、表达容量、梯度可达性三件事上同时拿高分,后来者的改进空间只剩它暴露出的具体短板,也就是显存、稳定性和长度,而不是核心理念。所有新零件都是对着短板去的补丁,骨架本身没有裂缝。

5.5.6 与后续章节的衔接

  到这里,「模型长什么样」就讲完了,但架构只是静态图纸,接下来的章节回答它怎么被用起来:

  • 第 6 章讨论这套架构在预训练时「学什么」:反复预测下一个 token,并用 scaling law 分析模型规模、数据量与训练结果的关系;
  • 第 8 章讲中间训练,其中长上下文扩展正是本节 RoPE 基频数字链在训练侧的完整操作:怎么分阶段把窗口从几千撑到十几万;
  • 第 13 章把推理的账算到底:KV 缓存只是第一刀,量化、投机采样、连续批处理这些推理系统技术,都是沿着 GQA 与 MLA「省显存、提吞吐」的思路继续往下走。
🧭本节要点回顾
今天的开源 LLM 和 2017 年原论文相比,骨架上最大的共同点是什么?
缩放点积注意力、多头并行、残差连接、逐位置 FFN、自回归生成全部原样保留;换掉的只是归一化、激活函数、位置编码、KV 缓存形态这四类零件。
这些零件替换共同指向哪三个目标?
训练更稳(Pre-LN 加 RMSNorm 让梯度直通)、推理更省(GQA 与 MLA 把 KV 缓存压缩一个数量级)、能力更能 scaling(SwiGLU 增强表达力,RoPE 加基频调整撑住长上下文)。
Llama 3 的 64 个查询头只配 8 个 KV 头,到底省了什么?
省推理时的 KV 缓存:每个 token 每层要存的 K、V 份数从 64 降到 8,缓存缩到八分之一。上下文越长,这笔省下的显存越关键,MLA 进一步压到 576 个数(DeepSeek-V3 的 128 头配置),与这条 GQA 账本跨模型相比约再省 3.5 倍。

参考来源

  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762),原论文配置列(Post-LN、ReLU、正弦位置、MHA、约 3.7 万词表)对照该文第 3、5 节。本页正文所称「原论文」即此篇。
  • Zhang & Sennrich, 2019. Root Mean Square Layer Normalization(RMSNorm 原始论文,arXiv:1910.07467)。
  • Xiong et al., 2020. On Layer Normalization in the Transformer Architecture(arXiv:2002.04745),Pre-LN 稳定性与 warmup 分析。
  • Shazeer, 2020. GLU Variants Improve Transformer(SwiGLU 出处,arXiv:2002.05202),含三分之二折算系数。
  • Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding(RoPE 原始论文,arXiv:2104.09864)。
  • Ainslie et al., 2023. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints(arXiv:2305.13245)。
  • Radford et al., 2018. Improving Language Understanding by Generative Pre-Training(GPT 报告,decoder-only 起点);Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3,arXiv:2005.14165)。
  • Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models(arXiv:2302.13971,现代配方定型)与 Llama 2(arXiv:2307.09288,引入 GQA)。
  • Grattafiori, Dubey et al., 2024. The Llama 3 Herd of Models(arXiv:2407.21783),词表 128K、GQA 8 个 KV 头、RoPE 基频提至 500,000、压缩率 3.17 到 3.94 均出自该文。
  • Yang et al., 2024. Qwen2.5 Technical Report(arXiv:2412.15115),词表 151,643 常规加 22 控制、ABF 基频 100 万、32K 至 128K 上下文。
  • DeepSeek-AI, 2024. DeepSeek-V2(arXiv:2405.04434,MLA 出处)与 DeepSeek-V3 Technical Report(arXiv:2412.19437,671B 总参、37B 激活、512 维隐向量加 64 维解耦键、128K 上下文;词表 129,280 见其官方配置文件)。