7.1 显存墙与算力墙:为什么单卡训不动大模型
本页范围:第 7 章第 1 节 | 整理时间:2026-09-30
第 6 章把预训练的「账本」算清楚了:目标是下一个 token 预测,优化靠 AdamW 加 cosine 调度,规模有 Scaling Law 兜底,6.3.5 还算出 GPT-3 一次训练要 3.14×10²³ FLOPs、折合数百个卡年。账本知道了,问题跟着来了:这笔账要怎么兑付?一张显卡只有几十 GB 显存、每秒一千万亿次运算,凭什么撑起几千亿参数、几万亿 token 的训练?本章就回答这个工程问题,而第一节先把困难本身摆到台面上:单卡面前立着两面墙,一面装不下,一面跑不完。
本节沿「先立墙、再找路」的顺序展开,最后落回本工程的 minimind,看清小模型为什么天然免疫这两面墙:
- 显存墙:模型状态到底占多少显存(7.1.1):把训练时显存里的四户住客逐个拆开,推出「每参数 16 字节」的经验法则,算出 70B 模型 1.1 TB 的账;
- 算力墙:训练一次要多少 FLOPs(7.1.2):复用第 6 章的 C≈6ND,对照 H100 的真实峰值与 MFU,算出单卡几十年的结论;
- 并行技术地图:把一面墙拆给几百张卡(7.1.3):数据、张量、流水线、ZeRO、序列五种并行各切什么、治哪面墙,一页总览,细节指给 7.2 与 7.3;
- minimind 对照:64M 参数为什么单卡能跑(7.1.4):把同一套公式代回 64M 小模型,看墙的高度如何随参数量缩回平地。
读完本节,你应该拿到两把随身尺子:估显存用「16N 字节」,估时间用「C 除以有效算力」——任何训练配置先过这两把尺子,再谈工程。
图 1 标出预训练工程在 LLM 生命周期中的位置,图 2 展示参数、梯度与优化器状态如何占用显存。
图 1 里这个紫框放大之后长什么样?训练一脚踩下去,显存里到底住着谁?把单卡显存单独拆开看:
7.1.1 显存墙:模型状态到底占多少显存
先建立直觉。推理时,显存里只需放一份模型参数,装得下权重就能跑。训练完全不同:它像一间同时开工的后厨,灶台上除了菜谱(参数),还摊着每张订单的批改笔记(梯度)、助教手里的两本台账(优化器状态),以及案板上越堆越高的半成品(每层的中间结果)。前三样只要训练不停就一直在那,合起来有个专门的名字:
ZeRO 论文(Rajbhandari et al., 2019)把训练显存分成两大块:模型状态与激活。模型状态包括参数本身、每个参数的梯度、以及优化器为每个参数维护的状态(对 Adam 来说是一份 fp32 主权重加一阶、二阶动量)。它们的体积只跟参数量有关,与 batch 大小、序列长短无关——模型多大,这三样就有多大,雷打不动。
这三样各自占多少?按当前主流的混合精度训练(6.3 节讲过:前向用 16 位浮点求快,参数更新留在 32 位主副本上求稳),配合 Adam 优化器,每个参数背后跟着五份数据:
把这笔账代到一个 70B(700 亿参数)模型上:
| 成分 | 精度 | 每参数字节 | 70B 模型占用 |
|---|---|---|---|
| 参数 | fp16 / bf16 | 2 | 140 GB |
| 梯度 | fp16 / bf16 | 2 | 140 GB |
| 主权重(master weights) | fp32 | 4 | 280 GB |
| Adam 一阶动量 \(m\) | fp32 | 4 | 280 GB |
| Adam 二阶动量 \(v\) | fp32 | 4 | 280 GB |
| 模型状态合计 | — | 16 | 1120 GB ≈ 1.1 TB |
1120 GB 是什么概念?当前顶级训练卡 H100、A100 的单卡显存都是 80 GB。光模型状态就是单卡容量的 14 倍——模型还没开始算,家当就装不下了。而且注意账目的分布:参数本体只占 140 GB,优化器状态占用最多,为 840 GB,占四分之三。这个分布直接决定了后面 ZeRO 的优化顺序:先切分优化器状态。
模型状态只是第一户住客,第二户是激活。反向传播算梯度时要用到前向传播的中间结果(每层的输出、注意力分数、MLP 的中间向量),所以训练必须把它们暂存在显存里,backward 用完才能释放。
激活与模型状态的性格完全不同:它跟参数量关系不大,随 batch 大小 × 序列长度 × 层数 × 隐藏维度线性增长。batch 翻倍,激活就近乎翻倍;序列从 2K 拉到 128K,激活跟着膨胀几十倍。大 batch、长序列的大模型训练里,激活显存可以达到数百 GB,比模型状态还凶。
治激活有一招经典的时间换空间:梯度重计算(gradient checkpointing,Chen et al., 2016)。思路是只保存少数检查点处的激活,其余全部丢掉;backward 需要某段激活时,从最近的检查点把那段前向重新跑一遍。\(n\) 层网络的激活显存从 \(O(n)\) 降到 \(O(\sqrt{n})\),代价是大约多算一次前向,总算力上涨约三成。显存不够算力凑,这笔交换在大模型训练里几乎必做。
梯度重计算的「检查点」与 6.3 节存盘的 checkpoint 不是一回事:前者是显存里少数几层的激活快照,反向时用来重放前向;后者是写到磁盘上的完整训练状态,用于断点续训。名字相同,各管各的。
本节第一把尺子:16 字节法则。混合精度 Adam 训练时,先按 16N 字节估算模型状态,再按 batch 与序列长估激活;装不进单卡,才轮到并行与各种省显存技术登场。70B 模型的 1.1 TB 对 80 GB,就是最典型的「装不下」。
7.1.2 算力墙:训练一次要多少 FLOPs
显存管「装不装得下」,算力管「跑不跑得完」。就算显存问题解决了,第二个问题还在:训练一次到底要做多少运算,一张卡每秒能做多少运算,一除要多少年?总量那把尺子第 6 章已经用过两次(6.3.5 与 6.4.2),这里直接请出来:
再看一张卡每秒能搬多少。以当前两代主流训练卡为例,官方规格里与训练最相关的一行是 BF16 张量算力:
| GPU | 显存 | BF16 稠密峰值 | BF16 稀疏峰值(2:4) |
|---|---|---|---|
| A100 80GB(SXM) | 80 GB | 312 TFLOPS | 624 TFLOPS |
| H100 80GB(SXM) | 80 GB | 989 TFLOPS | 1,979 TFLOPS |
NVIDIA 官网醒目标注的 1,979 TFLOPS 是带 2:4 结构化稀疏的数字,稠密峰值是它的一半。稀疏要求权重按特定格式裁剪才能兑现,通用训练一般吃不到,所以估算训练时间一律按稠密口径。1 TFLOPS 等于每秒 \(10^{12}\) 次浮点运算。
峰值是理想值,真实训练还要打一个大大的折扣:计算单元要停下来等显存读写、等卡间通信、做非矩阵乘的杂活。实际能兑现的比例有个专门指标:
MFU 衡量一套训练系统把硬件潜力榨出了几成。优化良好的大模型训练,MFU 通常在 30% 到 50% 之间——也就是说,一张标称 989 TFLOPS 的 H100,真正用于模型计算的大约只有 300 到 500 TFLOPS。MFU 是衡量训练工程水平的核心指标,第 7 章后面的并行与通信优化,很大程度就是在跟它较劲。
总量除以有效速度,就是训练时间:
结论冷冰冰:100B 级模型配 1T token,一张 H100 要训几十年——一个人从入职干到退休,一张卡还没跑完。而同样的总算力摊到 1000 张卡上(仍按 40% MFU),时间立刻缩到约 18 天。单卡绝无可能,集群轻而易举,中间隔着的只是「并行」两个字。
本节第二把尺子:先按 \(C \approx 6ND\) 算总量,再按 \(T \approx C / (R_{\text{peak}} \times \eta_{\text{MFU}})\) 算时间。100B × 1T 对单张 H100 是几十年,对千卡集群是几周——算力墙不是靠更快的单卡翻过去的,是靠把算力拼起来翻过去的。
7.1.3 并行技术地图:把一面墙拆给几百张卡
墙立清楚了,接下来是拆法。并行技术有五样主兵器,切的维度各不相同:有的切数据,有的切矩阵,有的切层,有的切状态,有的切序列。它们不互斥,实战里是组合使用。本页只给地图,每条路的走法与坑留给 7.2 与 7.3 两节。
把五样兵器摆进一张分工表,「切什么、治哪面墙、代价是什么」一目了然:
| 并行技术 | 切什么 | 主要治哪面墙 | 主要代价 | 出处 |
|---|---|---|---|---|
| 数据并行 DP | 数据:每卡一份完整模型,各喂不同 batch | 算力墙 | 不减单卡显存;梯度需跨卡同步 | 经典方案,PyTorch DDP |
| 张量并行 TP | 单层矩阵:沿行 / 列切给多卡协同 | 显存墙(参数与激活) | 每步通信频繁,一般限节点内 NVLink | Megatron-LM |
| 流水线并行 PP | 层:把模型按段分给不同卡 | 显存墙(参数) | 段间有空转气泡,靠 micro-batch 填缝 | GPipe |
| ZeRO | 模型状态:优化器状态 / 梯度 / 参数逐档分片 | 显存墙(状态) | 用通信换显存,分片越深通信越重 | ZeRO(DeepSpeed) |
| 序列并行 SP | 序列维:把长序列的激活切段 | 显存墙(激活) | 只覆盖部分算子,需与 TP 搭档 | Megatron-SP |
实战中的大训练是组合拳:节点内 8 卡之间用张量并行加序列并行(通信密但带宽高),跨节点用流水线并行(通信少),最外层再套数据并行加 ZeRO——业界俗称 3D 并行。比如 7.1.1 那笔 70B 的账,一种典型拆法是 64 卡:节点内 8 路 TP,跨节点 8 路 PP,每卡只扛约 1.1B 参数对应的状态,1.1 TB 的大山就此化整为零。每种拆法的原理、通信量分析与 ZeRO 的三档细节,正是 7.2 与 7.3 的内容。
注意一个容易混淆的点:数据并行治的是算力墙(更多卡同时搬),对显存墙毫无帮助——每张卡仍要存全量模型状态。单卡装不下的模型,堆再多数据并行也装不下,必须上 TP、PP 或 ZeRO。选并行方案的第一步,永远是先分清自己在翻哪面墙。
7.1.4 minimind 对照:64M 参数为什么单卡能跑
现在回答开头问题的另一半:同样是这套架构与训练循环,为什么本工程的 minimind 一张消费级显卡就够?把两把尺子代回去就明白了。第一把尺子:64M 参数的模型状态是 \(64 \times 10^{6} \times 16 \approx 1.0\) GB。第二把尺子:默认配置 batch 32、序列长 340、8 层 768 维,激活显存粗估在 2 GB 上下。两样加起来 3 GB 出头,一张 24 GB 的 RTX 3090 装得绰绰有余,连梯度重计算都不用开。
| 账本项 | minimind-3 | 70B 级模型 |
|---|---|---|
| 参数量 | 64M(8 层 × 768 维,词表 6400) | 70B,约为前者的 1100 倍 |
| 模型状态(16N 法则) | 约 1.0 GB | 约 1120 GB |
| 激活(各自默认配置) | 约 2 GB 量级(batch 32 × 序列 340) | 随 batch 与序列长可达数百 GB |
| 单卡可行性 | 24 GB 消费卡轻松装下 | 80 GB 卡差 14 倍,必须并行 |
| 预训练硬件(6.3 节实测) | 单卡 RTX 3090 约 1.2 小时 | 千卡级集群数周 |
对照到这一步,「为什么大公司要几千张卡」就不再神秘了:墙的高度随参数量线性长,64M 时墙只有脚踝高,一步就跨过去;70B 时墙高 14 倍于单卡,只能靠并行工程把墙拆开。大模型训练里那些令人望而生畏的技术——张量并行、流水线、ZeRO、重计算——没有一样是装饰品,全是在这两面墙下逼出来的出路。
接下来的路线:7.2 节展开数据并行、张量并行与序列并行的原理与通信账,7.3 节讲流水线并行与 ZeRO 的三档分片,7.5 节把本页直接引用的 \(C \approx 6ND\) 推导出来。带着两把尺子往后走,每个技术你都能自己算出它省下了什么、花掉了什么。
参考来源
- Micikevicius et al., 2018. Mixed Precision Training(混合精度训练与 fp32 主权重的原始论文,arXiv:1710.03740,ICLR 2018)。
- Rajbhandari, Rasley, Ruwase & He, 2019. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models(「每参数 16 字节」账本、模型状态与激活的区分、ZeRO 分片的出处,arXiv:1910.02054)。
- Chen, Xu, Zhang & Guestrin, 2016. Training Deep Nets with Sublinear Memory Cost(梯度重计算的原始论文,激活显存 O(n) 降 O(√n)、约三成额外算力,arXiv:1604.06174)。
- Shoeybi et al., 2019. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism(张量并行,arXiv:1909.08053)。
- Huang et al., 2018. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism(流水线并行与 micro-batch,arXiv:1811.06965)。
- Korthikanti et al., 2022. Reducing Activation Recomputation in Large Transformer Models(序列并行与激活显存分析,arXiv:2205.05198)。
- Kaplan et al., 2020. Scaling Laws for Neural Language Models(训练算力估算式 C ≈ 6ND 的出处,arXiv:2001.08361)。
- NVIDIA H100 Tensor Core GPU 官方规格页(H100 SXM:80GB HBM3;BF16 张量峰值 1,979 TFLOPS 为 2:4 稀疏口径,稠密约 989 TFLOPS):https://www.nvidia.com/en-us/data-center/h100/ 。
- NVIDIA A100 Tensor Core GPU 官方规格页(A100 80GB:BF16 稠密 312 / 稀疏 624 TFLOPS):https://www.nvidia.com/en-us/data-center/a100/ 。
- minimind 工程(gongjy/minimind,Apache 2.0 协议):README 模型配置表(minimind-3:64M、8 层、768 维、词表 6400)与 trainer/train_pretrain.py。行号以本工程实读版本为准。