7.1 显存墙与算力墙:为什么单卡训不动大模型

本页范围:第 7 章第 1 节 | 整理时间:2026-09-30

快速浏览

核心问题同一套 Transformer 架构、同一套训练循环,为什么大公司训一个模型要几千张顶级 GPU 跑几个月,而本工程的 minimind 一张消费级显卡就够了?差距到底卡在哪?
本节主张卡在两面墙。显存墙:混合精度 Adam 下每个参数要占 16 字节,70B 模型光模型状态就超过 1.1 TB,一张 80GB 卡差 14 倍。算力墙:按 C≈6ND 换算,100B 参数配 1T token 要 6×10²³ FLOPs,一张 H100 满血也要跑约 19 年,实际几十年。破局只有一条路:用并行把墙拆开,分摊给成百上千张卡。
一句话结论显存决定「装不装得下」,算力决定「跑不跑得完」;大模型训练工程的全部内容,就是把这两面单卡翻不过的墙,用数据、张量、流水线、ZeRO、序列五种并行拆给整个集群。
关键词
模型状态16 字节法则激活梯度重计算C ≈ 6NDMFU并行技术地图

  第 6 章把预训练的「账本」算清楚了:目标是下一个 token 预测,优化靠 AdamW 加 cosine 调度,规模有 Scaling Law 兜底,6.3.5 还算出 GPT-3 一次训练要 3.14×10²³ FLOPs、折合数百个卡年。账本知道了,问题跟着来了:这笔账要怎么兑付?一张显卡只有几十 GB 显存、每秒一千万亿次运算,凭什么撑起几千亿参数、几万亿 token 的训练?本章就回答这个工程问题,而第一节先把困难本身摆到台面上:单卡面前立着两面墙,一面装不下,一面跑不完。

  本节沿「先立墙、再找路」的顺序展开,最后落回本工程的 minimind,看清小模型为什么天然免疫这两面墙:

  1. 显存墙:模型状态到底占多少显存(7.1.1):把训练时显存里的四户住客逐个拆开,推出「每参数 16 字节」的经验法则,算出 70B 模型 1.1 TB 的账;
  2. 算力墙:训练一次要多少 FLOPs(7.1.2):复用第 6 章的 C≈6ND,对照 H100 的真实峰值与 MFU,算出单卡几十年的结论;
  3. 并行技术地图:把一面墙拆给几百张卡(7.1.3):数据、张量、流水线、ZeRO、序列五种并行各切什么、治哪面墙,一页总览,细节指给 7.2 与 7.3;
  4. minimind 对照:64M 参数为什么单卡能跑(7.1.4):把同一套公式代回 64M 小模型,看墙的高度如何随参数量缩回平地。

  读完本节,你应该拿到两把随身尺子:估显存用「16N 字节」,估时间用「C 除以有效算力」——任何训练配置先过这两把尺子,再谈工程。

  图 1 标出预训练工程在 LLM 生命周期中的位置,图 2 展示参数、梯度与优化器状态如何占用显存。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (本节内容) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:训练工程在 LLM 生命周期中的位置。数据备好(第 1 章)、预训练的目标与账本定下(第 6 章)之后,训练工程这一站负责把训练真正跑起来:用并行拆开显存墙与算力墙,用混合精度提速,用稳定性手段守住长跑;训出的基座模型再交给中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章),最终走向推理与部署(第 12–13 章)。本节只管一件事:量出单卡面前两面墙的高度。

  图 1 里这个紫框放大之后长什么样?训练一脚踩下去,显存里到底住着谁?把单卡显存单独拆开看:

原创示意图 · 非论文原图 局部放大:一个参数背后的 16 字节——混合精度 Adam 的显存账 输入:参数量 N(个)→ 输出:训练常驻显存(字节);条宽与字节数等比(2 字节 = 80 px) 一个参数 θ 训练期间它拖着 5 份数据 参数本体(fp16/bf16) 2 字节 · 前向反向计算用它 梯度(fp16/bf16) 2 字节 · 反向算出,与参数同形 fp32 主权重 4 字节 · 参数更新落账在它身上 Adam 一阶动量 m 4 字节 · 梯度的滑动平均 Adam 二阶动量 v 4 字节 · 梯度平方的滑动平均 模型状态合计 = 16 字节/参数 × N 70B 代入:140+140+280+280+280 = 1120 GB ≈ 1.1 TB 对照:单卡 H100 = 80 GB 70B 模型状态是它的 14 倍 另一户住客:激活(前向中间结果,反向要用必须暂存) 体积 ∝ batch × 序列长 × 层数 × 隐维,与参数量无关;可用梯度重计算压缩(7.1.1)
图 2:混合精度 Adam 下,一个参数拖着 5 份数据:fp16 参数与梯度各 2 字节,fp32 主权重与 Adam 两个动量各 4 字节,合计 16 字节;乘上参数量 N 就是常驻的模型状态(70B 代入得 1120 GB,其中优化器状态 840 GB,占四分之三),激活另算且随 batch 与序列长膨胀。条宽与字节数等比,全部数字与 7.1.1 的账本表一致。

7.1.1 显存墙:模型状态到底占多少显存

  先建立直觉。推理时,显存里只需放一份模型参数,装得下权重就能跑。训练完全不同:它像一间同时开工的后厨,灶台上除了菜谱(参数),还摊着每张订单的批改笔记(梯度)、助教手里的两本台账(优化器状态),以及案板上越堆越高的半成品(每层的中间结果)。前三样只要训练不停就一直在那,合起来有个专门的名字:

模型状态 Model States model states = 参数 + 梯度 + 优化器状态,训练期间常驻显存的三类张量

ZeRO 论文(Rajbhandari et al., 2019)把训练显存分成两大块:模型状态与激活。模型状态包括参数本身、每个参数的梯度、以及优化器为每个参数维护的状态(对 Adam 来说是一份 fp32 主权重加一阶、二阶动量)。它们的体积只跟参数量有关,与 batch 大小、序列长短无关——模型多大,这三样就有多大,雷打不动。

就像一家公司的固定资产:设备(参数)、待办工单(梯度)、财务的两本台账(优化器状态),只要公司开着门就一直在那,不随当天订单多少而增减。随订单变化的案板占用,是下面要讲的激活。

  这三样各自占多少?按当前主流的混合精度训练(6.3 节讲过:前向用 16 位浮点求快,参数更新留在 32 位主副本上求稳),配合 Adam 优化器,每个参数背后跟着五份数据:

\[ M_{\text{states}} \approx \underbrace{2N}_{\text{fp16 参数}} + \underbrace{2N}_{\text{fp16 梯度}} + \underbrace{4N}_{\text{fp32 主权重}} + \underbrace{4N}_{\text{Adam } m} + \underbrace{4N}_{\text{Adam } v} = 16N \;(\text{字节}) \tag{1} \]
公式 (1):混合精度 Adam 训练的显存账本——每个参数名义上只有 2 字节,背后却拖着 16 字节的全部家当。符号说明:\(M_{\text{states}}\) 是模型状态的总显存占用,单位字节;\(N\) 是模型参数量;第一项 2N 是 fp16/bf16 参数本体(两种格式都是 2 字节);第二项 2N 是同精度的梯度;第三项 4N 是 fp32 主权重(master weights),混合精度下参数更新在这份 32 位副本上进行,否则小步走的学习会被 16 位精度直接舍掉;最后两项 4N 是 Adam 的一阶动量 \(m\) 与二阶动量 \(v\)(见 6.2 节公式 (3)),每个参数各一份、fp32 存储。fp16 与 bf16 字节数相同,账本一样,差别只在数值范围(6.3 节:fp16 需要 GradScaler 防梯度下溢,bf16 不需要)。

  把这笔账代到一个 70B(700 亿参数)模型上:

成分精度每参数字节70B 模型占用
参数fp16 / bf162140 GB
梯度fp16 / bf162140 GB
主权重(master weights)fp324280 GB
Adam 一阶动量 \(m\)fp324280 GB
Adam 二阶动量 \(v\)fp324280 GB
模型状态合计—161120 GB ≈ 1.1 TB

  1120 GB 是什么概念?当前顶级训练卡 H100、A100 的单卡显存都是 80 GB。光模型状态就是单卡容量的 14 倍——模型还没开始算,家当就装不下了。而且注意账目的分布:参数本体只占 140 GB,优化器状态占用最多,为 840 GB,占四分之三。这个分布直接决定了后面 ZeRO 的优化顺序:先切分优化器状态。

  模型状态只是第一户住客,第二户是激活。反向传播算梯度时要用到前向传播的中间结果(每层的输出、注意力分数、MLP 的中间向量),所以训练必须把它们暂存在显存里,backward 用完才能释放。

激活值 Activations activation = 前向传播中每一层产出的中间结果

激活与模型状态的性格完全不同:它跟参数量关系不大,随 batch 大小 × 序列长度 × 层数 × 隐藏维度线性增长。batch 翻倍,激活就近乎翻倍;序列从 2K 拉到 128K,激活跟着膨胀几十倍。大 batch、长序列的大模型训练里,激活显存可以达到数百 GB,比模型状态还凶。

就像后厨案板上的半成品:厨师(参数)只有一套,台账(优化器状态)只有两本,但同时开工的订单(batch)越多、每单的工序(序列)越长,案板占的地方就越大。

  治激活有一招经典的时间换空间:梯度重计算(gradient checkpointing,Chen et al., 2016)。思路是只保存少数检查点处的激活,其余全部丢掉;backward 需要某段激活时,从最近的检查点把那段前向重新跑一遍。\(n\) 层网络的激活显存从 \(O(n)\) 降到 \(O(\sqrt{n})\),代价是大约多算一次前向,总算力上涨约三成。显存不够算力凑,这笔交换在大模型训练里几乎必做。

  梯度重计算的「检查点」与 6.3 节存盘的 checkpoint 不是一回事:前者是显存里少数几层的激活快照,反向时用来重放前向;后者是写到磁盘上的完整训练状态,用于断点续训。名字相同,各管各的。

  本节第一把尺子:16 字节法则。混合精度 Adam 训练时,先按 16N 字节估算模型状态,再按 batch 与序列长估激活;装不进单卡,才轮到并行与各种省显存技术登场。70B 模型的 1.1 TB 对 80 GB,就是最典型的「装不下」。

7.1.2 算力墙:训练一次要多少 FLOPs

  显存管「装不装得下」,算力管「跑不跑得完」。就算显存问题解决了,第二个问题还在:训练一次到底要做多少运算,一张卡每秒能做多少运算,一除要多少年?总量那把尺子第 6 章已经用过两次(6.3.5 与 6.4.2),这里直接请出来:

\[ C \approx 6\,N\,D \tag{2} \]
公式 (2):训练总算力的账本(Kaplan et al., 2020)。符号说明:\(C\) 是训练消耗的总浮点运算次数(FLOPs);\(N\) 是参数量;\(D\) 是训练 token 总数;系数 6 来自每个 token 前向约 \(2N\)、反向约 \(4N\) 次运算的逐参数估算,具体推导留到 7.5 节。取一个当代主流配置的例子:\(N = 10^{11}\)(100B 参数)、\(D = 10^{12}\)(1T token),得 \(C \approx 6 \times 10^{23}\) FLOPs。

  再看一张卡每秒能搬多少。以当前两代主流训练卡为例,官方规格里与训练最相关的一行是 BF16 张量算力:

GPU显存BF16 稠密峰值BF16 稀疏峰值(2:4)
A100 80GB(SXM)80 GB312 TFLOPS624 TFLOPS
H100 80GB(SXM)80 GB989 TFLOPS1,979 TFLOPS

  NVIDIA 官网醒目标注的 1,979 TFLOPS 是带 2:4 结构化稀疏的数字,稠密峰值是它的一半。稀疏要求权重按特定格式裁剪才能兑现,通用训练一般吃不到,所以估算训练时间一律按稠密口径。1 TFLOPS 等于每秒 \(10^{12}\) 次浮点运算。

  峰值是理想值,真实训练还要打一个大大的折扣:计算单元要停下来等显存读写、等卡间通信、做非矩阵乘的杂活。实际能兑现的比例有个专门指标:

MFU 算力利用率 MFU = Model FLOPs Utilization,实际有效算力 ÷ 理论峰值算力

MFU 衡量一套训练系统把硬件潜力榨出了几成。优化良好的大模型训练,MFU 通常在 30% 到 50% 之间——也就是说,一张标称 989 TFLOPS 的 H100,真正用于模型计算的大约只有 300 到 500 TFLOPS。MFU 是衡量训练工程水平的核心指标,第 7 章后面的并行与通信优化,很大程度就是在跟它较劲。

就像货车的额定载重与实际月均载重:装货、卸货、加油、等红灯都占时间,跑一个月下来,实际运力远低于「额定 × 天数」。

  总量除以有效速度,就是训练时间:

\[ T \approx \frac{C}{R_{\text{peak}} \times \eta_{\text{MFU}}} \tag{3} \]
公式 (3):训练时间的估算式。符号说明:\(T\) 是训练耗时;\(C\) 是公式 (2) 的总算力;\(R_{\text{peak}}\) 是单卡峰值算力(H100 按 BF16 稠密取 \(9.89 \times 10^{14}\) FLOPS);\(\eta_{\text{MFU}}\) 是算力利用率。代入 100B × 1T 的例子:满血(\(\eta = 1\))时 \(T \approx 6.1 \times 10^{8}\) 秒 ≈ 19 年;按 40% MFU 的乐观实际值,约 48 年。

  结论冷冰冰:100B 级模型配 1T token,一张 H100 要训几十年——一个人从入职干到退休,一张卡还没跑完。而同样的总算力摊到 1000 张卡上(仍按 40% MFU),时间立刻缩到约 18 天。单卡绝无可能,集群轻而易举,中间隔着的只是「并行」两个字。

  本节第二把尺子:先按 \(C \approx 6ND\) 算总量,再按 \(T \approx C / (R_{\text{peak}} \times \eta_{\text{MFU}})\) 算时间。100B × 1T 对单张 H100 是几十年,对千卡集群是几周——算力墙不是靠更快的单卡翻过去的,是靠把算力拼起来翻过去的。

7.1.3 并行技术地图:把一面墙拆给几百张卡

  墙立清楚了,接下来是拆法。并行技术有五样主兵器,切的维度各不相同:有的切数据,有的切矩阵,有的切层,有的切状态,有的切序列。它们不互斥,实战里是组合使用。本页只给地图,每条路的走法与坑留给 7.2 与 7.3 两节。

原创示意图 · 非论文原图 数据并行 DP 全量模型 全量模型 全量模型 同一批数据切成 3 份 复制完整模型,各卡喂不同数据 扩算力,不减单卡显存 张量并行 TP 同一层矩阵乘,纵切三份 把单层矩阵乘切给多卡协同 通信密集,一般限节点内 NVLink 流水线并行 PP 第 1 段 若干层 第 2 段 若干层 第 3 段 若干层 micro-batch 在段间流动 按层切段,分给不同卡 通信少,但有气泡空转 ZeRO:切状态 卡 1 存 1/3 卡 2 存 1/3 卡 3 存 1/3 模型 状态 优化器状态 / 梯度 / 参数分片存 用通信换显存,分三档 序列并行 SP 一条长序列切成 3 段 沿序列维切激活,治长序列显存 与张量并行搭档(7.2 细讲)
图 3:五种并行技术各切一个维度。数据并行复制模型切数据;张量并行把单层矩阵切开;流水线并行按层分段;ZeRO 把模型状态分片;序列并行沿序列维切激活。实战中它们组合使用,而不是五选一。

  把五样兵器摆进一张分工表,「切什么、治哪面墙、代价是什么」一目了然:

并行技术切什么主要治哪面墙主要代价出处
数据并行 DP数据:每卡一份完整模型,各喂不同 batch算力墙不减单卡显存;梯度需跨卡同步经典方案,PyTorch DDP
张量并行 TP单层矩阵:沿行 / 列切给多卡协同显存墙(参数与激活)每步通信频繁,一般限节点内 NVLinkMegatron-LM
流水线并行 PP层:把模型按段分给不同卡显存墙(参数)段间有空转气泡,靠 micro-batch 填缝GPipe
ZeRO模型状态:优化器状态 / 梯度 / 参数逐档分片显存墙(状态)用通信换显存,分片越深通信越重ZeRO(DeepSpeed)
序列并行 SP序列维:把长序列的激活切段显存墙(激活)只覆盖部分算子,需与 TP 搭档Megatron-SP

  实战中的大训练是组合拳:节点内 8 卡之间用张量并行加序列并行(通信密但带宽高),跨节点用流水线并行(通信少),最外层再套数据并行加 ZeRO——业界俗称 3D 并行。比如 7.1.1 那笔 70B 的账,一种典型拆法是 64 卡:节点内 8 路 TP,跨节点 8 路 PP,每卡只扛约 1.1B 参数对应的状态,1.1 TB 的大山就此化整为零。每种拆法的原理、通信量分析与 ZeRO 的三档细节,正是 7.2 与 7.3 的内容。

  注意一个容易混淆的点:数据并行治的是算力墙(更多卡同时搬),对显存墙毫无帮助——每张卡仍要存全量模型状态。单卡装不下的模型,堆再多数据并行也装不下,必须上 TP、PP 或 ZeRO。选并行方案的第一步,永远是先分清自己在翻哪面墙。

7.1.4 minimind 对照:64M 参数为什么单卡能跑

  现在回答开头问题的另一半:同样是这套架构与训练循环,为什么本工程的 minimind 一张消费级显卡就够?把两把尺子代回去就明白了。第一把尺子:64M 参数的模型状态是 \(64 \times 10^{6} \times 16 \approx 1.0\) GB。第二把尺子:默认配置 batch 32、序列长 340、8 层 768 维,激活显存粗估在 2 GB 上下。两样加起来 3 GB 出头,一张 24 GB 的 RTX 3090 装得绰绰有余,连梯度重计算都不用开。

账本项minimind-370B 级模型
参数量64M(8 层 × 768 维,词表 6400)70B,约为前者的 1100 倍
模型状态(16N 法则)约 1.0 GB约 1120 GB
激活(各自默认配置)约 2 GB 量级(batch 32 × 序列 340)随 batch 与序列长可达数百 GB
单卡可行性24 GB 消费卡轻松装下80 GB 卡差 14 倍,必须并行
预训练硬件(6.3 节实测)单卡 RTX 3090 约 1.2 小时千卡级集群数周

  对照到这一步,「为什么大公司要几千张卡」就不再神秘了:墙的高度随参数量线性长,64M 时墙只有脚踝高,一步就跨过去;70B 时墙高 14 倍于单卡,只能靠并行工程把墙拆开。大模型训练里那些令人望而生畏的技术——张量并行、流水线、ZeRO、重计算——没有一样是装饰品,全是在这两面墙下逼出来的出路。

  接下来的路线:7.2 节展开数据并行、张量并行与序列并行的原理与通信账,7.3 节讲流水线并行与 ZeRO 的三档分片,7.5 节把本页直接引用的 \(C \approx 6ND\) 推导出来。带着两把尺子往后走,每个技术你都能自己算出它省下了什么、花掉了什么。

🧭本节要点回顾
混合精度 Adam 下,为什么每个参数要按 16 字节估算显存?
fp16 参数 2 字节 + fp16 梯度 2 字节 + fp32 主权重 4 字节 + Adam 一阶、二阶动量各 4 字节,合计 16 字节。70B 模型仅模型状态就达 1.1 TB,是 80GB 单卡的 14 倍,其中优化器状态占四分之三。
怎么用 C≈6ND 与 MFU 估算一次训练的时间?
总量 \(C \approx 6ND\),时间 \(T \approx C / (R_{\text{peak}} \times \eta_{\text{MFU}})\)。100B × 1T tokens 约 6×10²³ FLOPs,H100 满血约 19 年,40% MFU 约 48 年;摊到 1000 张卡约 18 天。单卡几十年、集群几周,这就是并行存在的理由。
五种并行各切什么、各治哪面墙?
数据并行切数据治算力墙;张量并行切单层矩阵、流水线并行切层、ZeRO 切模型状态、序列并行切序列维的激活,后四样治显存墙的不同成分。实战组合成 3D 并行,细节在 7.2 与 7.3。

参考来源

  • Micikevicius et al., 2018. Mixed Precision Training(混合精度训练与 fp32 主权重的原始论文,arXiv:1710.03740,ICLR 2018)。
  • Rajbhandari, Rasley, Ruwase & He, 2019. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models(「每参数 16 字节」账本、模型状态与激活的区分、ZeRO 分片的出处,arXiv:1910.02054)。
  • Chen, Xu, Zhang & Guestrin, 2016. Training Deep Nets with Sublinear Memory Cost(梯度重计算的原始论文,激活显存 O(n) 降 O(√n)、约三成额外算力,arXiv:1604.06174)。
  • Shoeybi et al., 2019. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism(张量并行,arXiv:1909.08053)。
  • Huang et al., 2018. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism(流水线并行与 micro-batch,arXiv:1811.06965)。
  • Korthikanti et al., 2022. Reducing Activation Recomputation in Large Transformer Models(序列并行与激活显存分析,arXiv:2205.05198)。
  • Kaplan et al., 2020. Scaling Laws for Neural Language Models(训练算力估算式 C ≈ 6ND 的出处,arXiv:2001.08361)。
  • NVIDIA H100 Tensor Core GPU 官方规格页(H100 SXM:80GB HBM3;BF16 张量峰值 1,979 TFLOPS 为 2:4 稀疏口径,稠密约 989 TFLOPS):https://www.nvidia.com/en-us/data-center/h100/ 。
  • NVIDIA A100 Tensor Core GPU 官方规格页(A100 80GB:BF16 稠密 312 / 稀疏 624 TFLOPS):https://www.nvidia.com/en-us/data-center/a100/ 。
  • minimind 工程(gongjy/minimind,Apache 2.0 协议):README 模型配置表(minimind-3:64M、8 层、768 维、词表 6400)与 trainer/train_pretrain.py。行号以本工程实读版本为准。