7.3 张量并行与流水线并行:把模型本身切开
本页范围:第 7 章第 3 节 | 整理时间:2026-09-30
7.1 节把账算清了:大模型训练的墙砌在两处——显存放不下,算力等不起。6.3 节见过的数据并行(DDP)解决的是「多张卡分数据」,但它有个硬性前提:每张卡都得装得下一整份模型(参数、梯度、优化器状态)。7.2 节的混合精度和 ZeRO 能把这份副本压小,可压到头,模型本身还有那么大——5300 亿参数的模型,一份权重就要 1 TB 开外,单张 80 GB 的卡、甚至整台 8 卡服务器都无能为力。路只剩一条:把模型本身切开,让每张卡只持有模型的一部分。
怎么切?沿两个方向下刀:横着切,把每一层的矩阵运算拆到多张卡上共同完成;竖着切,把模型的不同层直接分给不同的卡。前者是张量并行,后者是流水线并行,长序列时代又衍生出沿序列维的切法。本节沿这条线展开:
- 张量并行 TP:把一层切到多卡(7.3.1):Megatron-LM 的「列切加行切」两刀,为什么切完每层前向只剩两次 all-reduce、算上反向共四次,又为什么这高频通信把 TP 锁死在单机之内;
- 流水线并行 PP:把层切到多卡(7.3.2):micro-batch 灌流如何消除空转,气泡率 \( (p-1)/(m+p-1) \) 怎么算,1F1B 调度如何省下一半激活显存;
- 序列并行与上下文并行:长序列时代的新切法(7.3.3):TP 切不动的 LayerNorm 激活沿序列维接着切,Ring Attention 把整条序列铺到多卡;
- 3D 并行组合拳:实战怎么配(7.3.4):「TP 限机内、PP 跨机、DP 拉满」的经验法则,以及 MT-NLG 530B 的 8×35×16 实战配置。
读完本节,你应该能看懂任何一份大模型训练配置里的 tensor_model_parallel_size、pipeline_model_parallel_size 在干什么,并说出它们为什么这么配。
图 1 标出张量并行与流水线并行在预训练工程中的位置,图 2 展示模型在多张卡上的切分方式。
图 1 里这个紫框放大之后长什么样?「横切」与「竖切」两刀分别切在什么上、切完各是什么形状?把两把刀并排拆开看:
7.3.1 张量并行 TP:把一层切到多卡
先建立核心直觉:矩阵乘法天然可以拆着算。以 Transformer 的 FFN 第一层为例,\(Y = XA\),\(X\) 是输入激活,\(A\) 是权重矩阵。把 \(A\) 沿列切成两半 \(A_1\)、\(A_2\),输出 \(Y\) 就沿列分成 \(XA_1\)、\(XA_2\) 两块——两块之间没有任何依赖,两张卡各算一半,谁的活都不缺。一句话:按输出维度纵切权重,每张卡算出输出的一半。
Megatron-LM(Shoeybi et al., 2019)把这一直觉变成了 Transformer 的完整切法。FFN 是「\(h \to 4h \to h\)」的两层结构(4.4 节),Megatron 对它下了两刀:
- 第一刀:列切(column parallel)。第一层权重 \(A\)(\(h \times 4h\))按列纵切,每卡拿 \(2h\) 列,各自算出 \(Y\) 的一半。关键在于紧随其后的激活函数 GeLU 是逐元素运算,各卡在自己的半份上独立施加即可,无需通信;
- 第二刀:行切(row parallel)。第二层权重 \(B\)(\(4h \times h\))按行横切,每卡拿 \(2h\) 行,恰好接住上一刀产出的半份 \(Y\),各自算出一个「部分和」。两个部分和相加才是完整输出,这次求和就是一次 all-reduce。
注意力块的切法甚至更顺。4.3 节讲过,多头注意力的各个头本来就相互独立、最后才拼接投影——TP 按头分工即可:每卡分到一半的头,Q/K/V 三个投影矩阵按头列切,各卡独立算完自己那批头的注意力,输出投影按行切,收尾同样是一次 all-reduce。
于是一个 Transformer 层,前向传播需要 2 次 all-reduce(注意力输出一次、FFN 输出一次);反向传播在层的两个入口处还需要 2 次,每层合计 4 次集合通信。注意通信的货物不是梯度,而是激活:每次 all-reduce 搬运的是 b×s×h 大小的张量,随 batch 和序列长同步膨胀。
一种集合通信操作:每张卡出一份数据,按某种运算(通常是求和)合并,合并结果再发还给每一张卡。TP 里它负责把两张卡的部分和加成完整输出;DP 里它负责把各卡的梯度聚成一份。它的代价随参与卡数和数据量增长,是分布式训练里最常见的通信原语。
通信频次账一算就明白 TP 的软肋:一个 100 层的模型,每个训练步要做约 400 次 all-reduce,每次搬一整个激活张量。频次极高、单次量又大,只有 NVLink/NVSwitch 这种机内高速互联(数百 GB/s)扛得住;一旦跨出机箱走 InfiniBand,通信就会吃掉大部分算力。MT-NLG 论文把话说得很直白:TP 最好限制在单台 DGX 服务器内。这就是工程上 TP 通常不超过 8(一台 8 卡机的卡数)的原因。Megatron-LM 论文自己的实战成绩是:8.3B 参数的 GPT-2 用 8 路 TP,在 512 张 GPU 上训练,整机 15.1 PetaFLOP/s,扩展效率 76%。
5.2 节的 GQA 在这里埋了个工程约束:TP 按头分工时,希望每卡至少分到一个完整的 KV 头,KV 头数太少会限制 TP 度数(或迫使 KV 头被复制多份)。这也是 GQA 时代 TP 常开到 8 的一个现实背景。
张量并行的本质:利用 GEMM 的可分解性,列切让非线性和多头各自独立,行切把求和推迟到一次 all-reduce。换来的是模型显存近似按卡数均摊;付出的代价是每层 4 次高频 all-reduce,因此 TP 一般困在单机 NVLink 域内(≤ 8 卡)。
7.3.2 流水线并行 PP:把层切到多卡
TP 是横着切每一层,流水线并行则是竖着切整个模型:把 \(L\) 层切成 \(p\) 段(stage),每张卡(或每台机器)负责一段。前向时,第 1 段算完把激活传给第 2 段,依次接力;反向时梯度沿原路传回。通信只发生在段与段的边界,是点对点的小包传递,频次和体量都比 TP 低几个量级——所以 PP 敢跨机器,走普通 InfiniBand 网络。
但朴素的流水有个致命问题:任意时刻只有一段在干活。整个 batch 灌进去,第 1 段算时其余 \(p-1\) 段干等,第 2 段算时第 1 段又开始等——每段只有 \(1/p\) 的时间在工作,其余全是空转,这部分空转就叫流水线气泡(bubble)。
GPipe(Huang et al., 2018)给出的解法朴素而有效:把一个 mini-batch 切成 \(m\) 个 micro-batch,像流水线一样连续灌入。第 1 段算完 micro-batch 1 立刻转交第 2 段,自己马上接 micro-batch 2——几步之后所有段都忙起来,各自处理不同的 micro-batch。这与 6.3.4 节的梯度累积是同一个切分动作:工程上 micro-batch 数常就取梯度累积的步数,一份切法,两份用途。
流水线并行实际处理的调度单位。一个全局 batch(如 1920 条)被切成 m 份(如每份 8 条),逐份流过各段;所有 micro-batch 的梯度累积起来,等价于原来那个大 batch 的梯度,数学语义不变。
从图 4 可以数出气泡的规律:无论怎么调度,管线开始时要逐段「填充」(第 1 段的活先到,末段要晚 \(p-1\) 步才开工),结束时要逐段「排空」。填充加排空合计 \(p-1\) 个 micro-batch 的空转时间,摊在总共 \(m+p-1\) 个 micro-batch 的时间里:
PP 的结构性成本。它来自接力赛的固有事实:第一棒和最后一棒不可能同时起跑。压气泡只有两条路——增加 micro-batch 数 \(m\)(摊薄固定开销),或减少段数 \(p\)。MT-NLG 论文给出的经验值:\(m\) 达到 \(p\) 的 4 倍、8 倍时,流水效率分别约为 81% 和 90%。
气泡之外还有一笔显存账,它引出了调度方式的第二次进化。GPipe 的原始调度是「先做完全部 \(m\) 个前向、再做全部 \(m\) 个反向」,反向需要用到对应 micro-batch 的前向激活,于是每段要为全部 \(m\) 个在飞 micro-batch 缓存激活——\(m\) 越大显存越吃紧,与压气泡的目标直接打架。PipeDream(Harlap et al., 2018)提出的 1F1B 调度解开了这个结:稳态时每段做一个前向、紧接着做一个反向(one-forward-one-backward),在飞的 micro-batch 数量被段数 \(p\) 封顶,激活显存从 \(m\) 份降到 \(p\) 份,与图 4 的做法 B 一致。
1F1B 的两代实现值得区分:PipeDream 原版为让流水不停,允许同一模型存在多份权重版本(weight stashing);Megatron 系列(2104.04473)用的是 PipeDream-Flush 变体——只保留单一权重版本,每个训练步末尾把管线排空一次再统一更新,训练语义与普通单卡完全一致,还进一步提出交错式 1F1B(interleaved),让每张卡管多个更薄的段切片,吞吐再提升 10% 以上。
注意:PP 的两个隐性约束:一是各段计算量必须均衡,否则最快的段也要等最慢的段,切层时要把 Embedding、输出投影这些「零头」算进去;二是段数 \(p\) 越大,为压气泡需要的 \(m\) 越大,batch 太小撑不起深流水。
7.3.3 序列并行与上下文并行:长序列时代的新切法
TP 有一个切不动的盲区。注意力与 FFN 被拆到了各卡,但每一层里的 LayerNorm 和 Dropout 仍是各卡完整复制一份激活。序列短时无所谓;序列拉到几万、几十万 token 后,激活大小随序列长线性膨胀,这份复制就成了显存瓶颈。
Korthikanti 等人(2022)提出的序列并行(sequence parallelism)补上了这一刀:LayerNorm、Dropout 这类沿序列维逐位置独立的运算,其激活干脆按序列维切给 TP 组内的各卡——每张卡只存序列的一段。通信模式相应地从 all-reduce 换成数学上等价的 reduce-scatter 加 all-gather 组合,总通信量不变,激活显存却按卡数均摊。配合选择性重算,这篇论文把激活显存降了 5 倍、重算引入的时间开销砍掉 90% 以上:530B 模型在 2240 张 A100 上,MFU 从 42.1% 提到 54.2%。
直觉上理解「通信量不变还省显存」:原来每卡都要把整份激活收齐再各自存一份;现在是各卡只收自己负责的那一段序列。同一份数据,从「人手一份全本」变成「各存一章」,搬运总量没变,书架占用除下去了。
序列并行切的是 TP 盲区里的激活,注意力的 Q/K/V 仍按头分卡。而上下文并行(context parallelism)更激进:把整条序列直接切到多卡,每卡只持有序列的一段。麻烦在于注意力需要看到全序列的 K/V——Ring Attention(Liu et al., 2023)让各卡把自己那段 K/V 沿一个环依次传递,每收到一段就算一部分注意力,通信与计算相互重叠,上下文长度近乎随卡数线性扩展。这套切法是长上下文训练的基础设施,第 8 章讲长上下文扩展时还会回来。
至此三种切法的分工就齐了:TP 切隐藏维(一层之内),SP 切序列维(仅限 LayerNorm/Dropout 等 TP 盲区),CP 切序列维(整条序列全局铺开),分别回答「层太大」「激活太长」「序列太长」三个问题。
7.3.4 3D 并行组合拳:实战怎么配
三种并行各有脾气,先摆在一起看:
| 并行方式 | 切什么 | 通信模式 | 通信特点 | 典型范围 | 主要瓶颈 |
|---|---|---|---|---|---|
| 数据并行 DP | 数据(每卡完整模型) | 每步一次梯度 all-reduce | 低频,可与反向重叠 | 数千卡 | 不省模型显存(需 ZeRO 类分片变体) |
| 张量并行 TP | 层内权重(隐藏维) | 每层 4 次激活 all-reduce | 高频大量 | 单机内(≤ 8) | 通信频次,离不开 NVLink |
| 流水线并行 PP | 层(按段分卡) | 段边界点对点传激活/梯度 | 低频小量 | 跨机,数十段 | 气泡率与负载均衡 |
组网的经验法则从这张表直接长出来:通信最贵的,放到带宽最高的地方。机内 NVLink 带宽数百 GB/s,给 TP;机间 InfiniBand 带宽低一个量级,给 PP;DP 通信最稀疏(每步一次,还能和反向计算重叠),铺满整个集群。于是总卡数就是三个维度的乘积:
拿真实案例验证这条法则。Megatron-Turing NLG 530B(Smith et al., 2022):5300 亿参数,105 层、隐藏维 20480、128 个注意力头。它的配置是 TP = 8(恰好一台 DGX 的 8 张 A100,机内 NVLink)× PP = 35(35 段跨机器铺开)× DP = 16(16 份副本拉满吞吐)——\(8 \times 35 \times 16 = 4480\) 张 A100,即 Selene 超算的 560 台 DGX 节点,每个 530B 模型副本占 280 张卡。论文把这套布局称为 topology-aware mapping:按通信量大小把三个并行维度逐一映射到对应的网络层级上。同一作者群的 Megatron 1T 实验(2104.04473)是另一个数据点:TP = 8、PP = 64、DP = 6 共 3072 张 A100 训练万亿参数模型,整机 502 PetaFLOP/s,达到理论峰值的 52%。
3D 并行配置口诀:TP 限机内、PP 跨机、DP 拉满。先让 TP 吃满一台机器的 NVLink(通常 8),把单层切开;再用 PP 把层分到多台机器,段数配合 micro-batch 数压气泡;剩下的卡全部给 DP 复制副本、摊大数据吞吐。通信量决定每个维度落在哪层网络上。
minimind 只有 64M 参数,单张消费级显卡就装得下完整模型,所以它的代码里只有 6.3 节见过的数据并行包装(trainer/train_pretrain.py 第 146 行的 DistributedDataParallel),没有任何 TP/PP 实现,因为这个规模还不需要它们。这正对应 7.1 节「规模决定工程取舍」:张量并行与流水线并行用于「一份模型装不下」的千亿参数模型,小模型使用它们反而会增加通信开销。
参考来源
- Shoeybi et al., 2019. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism(张量并行的列切/行切方案与 8.3B GPT-2 实验,arXiv:1909.08053)。
- Huang et al., 2018. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism(micro-batch 流水线的提出,arXiv:1811.06965,NeurIPS 2019)。
- Harlap et al., 2018. PipeDream: Fast and Efficient Pipeline Parallel DNN Training(1F1B 调度的提出,arXiv:1806.03377)。
- Narayanan et al., 2021. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM(3D 并行组合与交错式 1F1B,arXiv:2104.04473,SC21)。
- Korthikanti et al., 2022. Reducing Activation Recomputation in Large Transformer Models(序列并行与选择性重算,arXiv:2205.05198)。
- Smith et al., 2022. Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B(TP = 8、PP = 35、DP = 16 的实战配置与气泡率经验值,arXiv:2201.11990)。
- Liu, Zaharia & Abbeel, 2023. Ring Attention with Blockwise Transformers for Near-Infinite Context(上下文并行/环形注意力,arXiv:2310.01889,ICLR 2024)。
- minimind 工程代码:
trainer/train_pretrain.py(Apache 2.0 协议),作为「单卡可跑故无需模型并行」的对照。