7.3 张量并行与流水线并行:把模型本身切开

本页范围:第 7 章第 3 节 | 整理时间:2026-09-30

快速浏览

核心问题数据并行(DP)的前提是每张卡装得下一整份模型。当模型大到单机都装不下时,还能怎么切?
本节主张把模型本身切开有两把刀:张量并行(TP)横着切,把每一层的矩阵乘拆到多卡;流水线并行(PP)竖着切,把不同层分给不同卡。TP 通信频繁只能困在单机 NVLink 内,PP 通信稀疏可以跨机,两者再与 DP 拼成 3D 并行,撑起千亿参数训练。
一句话结论TP 靠「列切加行切」两刀把一层 GEMM 拆到多卡、代价是每层四次 all-reduce;PP 靠 micro-batch 灌流消除空转、代价是 \( (p-1)/(m+p-1) \) 的气泡;实战按「TP 限机内、PP 跨机、DP 拉满」组网,MT-NLG 530B 就是 8×35×16 = 4480 张 A100。
关键词
张量并行 TP流水线并行 PPall-reducemicro-batch流水线气泡1F1B序列并行上下文并行3D 并行

  7.1 节把账算清了:大模型训练的墙砌在两处——显存放不下,算力等不起。6.3 节见过的数据并行(DDP)解决的是「多张卡分数据」,但它有个硬性前提:每张卡都得装得下一整份模型(参数、梯度、优化器状态)。7.2 节的混合精度和 ZeRO 能把这份副本压小,可压到头,模型本身还有那么大——5300 亿参数的模型,一份权重就要 1 TB 开外,单张 80 GB 的卡、甚至整台 8 卡服务器都无能为力。路只剩一条:把模型本身切开,让每张卡只持有模型的一部分。

  怎么切?沿两个方向下刀:横着切,把每一层的矩阵运算拆到多张卡上共同完成;竖着切,把模型的不同层直接分给不同的卡。前者是张量并行,后者是流水线并行,长序列时代又衍生出沿序列维的切法。本节沿这条线展开:

  1. 张量并行 TP:把一层切到多卡(7.3.1):Megatron-LM 的「列切加行切」两刀,为什么切完每层前向只剩两次 all-reduce、算上反向共四次,又为什么这高频通信把 TP 锁死在单机之内;
  2. 流水线并行 PP:把层切到多卡(7.3.2):micro-batch 灌流如何消除空转,气泡率 \( (p-1)/(m+p-1) \) 怎么算,1F1B 调度如何省下一半激活显存;
  3. 序列并行与上下文并行:长序列时代的新切法(7.3.3):TP 切不动的 LayerNorm 激活沿序列维接着切,Ring Attention 把整条序列铺到多卡;
  4. 3D 并行组合拳:实战怎么配(7.3.4):「TP 限机内、PP 跨机、DP 拉满」的经验法则,以及 MT-NLG 530B 的 8×35×16 实战配置。

  读完本节,你应该能看懂任何一份大模型训练配置里的 tensor_model_parallel_size、pipeline_model_parallel_size 在干什么,并说出它们为什么这么配。

  图 1 标出张量并行与流水线并行在预训练工程中的位置,图 2 展示模型在多张卡上的切分方式。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (本节内容) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:训练工程在 LLM 生命周期中的位置。数据(第 1 章)与预训练目标(第 6 章)就位后,这一站把训练摊到集群上跑起来,随后交给中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章)与推理部署(第 12–13 章)。本节管这一站里「模型本身装不下」的那半:把模型切开,横切归 TP、竖切归 PP。

  图 1 里这个紫框放大之后长什么样?「横切」与「竖切」两刀分别切在什么上、切完各是什么形状?把两把刀并排拆开看:

原创示意图 · 非论文原图 局部放大:两把刀——TP 横切层内矩阵,PP 竖切整个模型 TP 输入:一层权重 + 一份激活;PP 输入:L 层堆栈(以 8 层分 2 段为例) 张量并行 TP:横切一层权重 A(h × 4h) A₁ h × 2h A₂ h × 2h GPU 1:左半列 算出 Y 的左半 Y₁ GPU 2:右半列 算出 Y 的右半 Y₂ 第二层行切接住半份,各算部分和 一次 all-reduce 求和还原完整输出 每层 4 次集合通信 → 困在单机 NVLink(≤ 8 卡) 流水线并行 PP:竖切,按层分段 第 1 段(第 1–4 层)→ 机器 A 第 1 层 第 2 层 第 3 层 第 4 层 激活接力(点对点小包) 第 2 段(第 5–8 层)→ 机器 B 第 5 层 第 6 层 第 7 层 第 8 层 micro-batch 连续灌流压气泡(气泡率 (p−1)/(m+p−1)) 通信只在段边界 → 敢跨机走 InfiniBand 实战两刀叠加再套 DP:MT-NLG 530B = TP 8 × PP 35 × DP 16 = 4480 张 A100(7.3.4)
图 2:模型装不下时的两把刀。左:张量并行横着切——一层权重矩阵按列劈给两张卡,各算输出的一半,第二层行切接住后用一次 all-reduce 把部分和加回完整输出,每层 4 次高频通信把它锁在单机 NVLink 内;右:流水线并行竖着切——8 层分两段交给两台机器,micro-batch 连续灌流压气泡,段间只传激活小包,可以跨机。两刀的内部细节(FFN 两刀、时间轴气泡)分别在图 3 与图 4 里展开。

7.3.1 张量并行 TP:把一层切到多卡

  先建立核心直觉:矩阵乘法天然可以拆着算。以 Transformer 的 FFN 第一层为例,\(Y = XA\),\(X\) 是输入激活,\(A\) 是权重矩阵。把 \(A\) 沿列切成两半 \(A_1\)、\(A_2\),输出 \(Y\) 就沿列分成 \(XA_1\)、\(XA_2\) 两块——两块之间没有任何依赖,两张卡各算一半,谁的活都不缺。一句话:按输出维度纵切权重,每张卡算出输出的一半。

  Megatron-LM(Shoeybi et al., 2019)把这一直觉变成了 Transformer 的完整切法。FFN 是「\(h \to 4h \to h\)」的两层结构(4.4 节),Megatron 对它下了两刀:

  • 第一刀:列切(column parallel)。第一层权重 \(A\)(\(h \times 4h\))按列纵切,每卡拿 \(2h\) 列,各自算出 \(Y\) 的一半。关键在于紧随其后的激活函数 GeLU 是逐元素运算,各卡在自己的半份上独立施加即可,无需通信;
  • 第二刀:行切(row parallel)。第二层权重 \(B\)(\(4h \times h\))按行横切,每卡拿 \(2h\) 行,恰好接住上一刀产出的半份 \(Y\),各自算出一个「部分和」。两个部分和相加才是完整输出,这次求和就是一次 all-reduce。
\[ Y = XA, \quad A = [A_1 \; A_2] \;\Rightarrow\; Y = [\,XA_1 \;\; XA_2\,], \qquad Z = YB = Y_1 B_1 + Y_2 B_2 \tag{1} \]
公式 (1):FFN 两刀的数学面貌——第一刀把输出「劈成两半各算各的」,第二刀把「两半各自的结果」加回去,求和这一步就是 all-reduce 干的活。符号说明:\(X\) 是输入激活(尺寸 b×s×h,即 batch×序列长×隐藏维);\(A\) 是 FFN 第一层权重,\([A_1\ A_2]\) 表示把它按列拼成两块;\(Y\) 是中间激活,\(Y_i = XA_i\) 是第 \(i\) 张卡持有的那一半;\(B\) 是 FFN 第二层权重,\(B_i\) 是按行切出的块;\(Z\) 是 FFN 的完整输出,等于两个部分和 \(Y_iB_i\) 相加。
原创示意图 · 非论文原图 Transformer 的 MLP:两刀切两张卡(TP = 2 示意) 输入 Xb×s, h 同一份 X 广播 GPU 1A₁h × 2h① 列切Y₁ = X·A₁b×s, 2hGeLU 逐元素,互不依赖B₁2h × h② 行切Z₁ = Y₁·B₁部分和 GPU 2A₂h × 2h① 列切Y₂ = X·A₂b×s, 2hGeLU 逐元素,互不依赖B₂2h × h② 行切Z₂ = Y₂·B₂部分和 ⊕ all-reduce 求和 完整输出 Z b×s, h(Z₁+Z₂) 前向两卡各算各的,只在第二刀后做一次 all-reduce;反向在层入口再做一次。每层共 4 次集合通信。
图 3:FFN 的两刀切法(以 TP = 2 为例)。同一份输入广播给两卡;第一刀列切权重 A,各算一半中间激活,GeLU 各自独立施加;第二刀行切权重 B,各算一个部分和;最后由一次 all-reduce 求和还原完整输出。注意力块同理:按头切 Q/K/V 投影(列切),输出投影行切后再做一次 all-reduce。

  注意力块的切法甚至更顺。4.3 节讲过,多头注意力的各个头本来就相互独立、最后才拼接投影——TP 按头分工即可:每卡分到一半的头,Q/K/V 三个投影矩阵按头列切,各卡独立算完自己那批头的注意力,输出投影按行切,收尾同样是一次 all-reduce。

  于是一个 Transformer 层,前向传播需要 2 次 all-reduce(注意力输出一次、FFN 输出一次);反向传播在层的两个入口处还需要 2 次,每层合计 4 次集合通信。注意通信的货物不是梯度,而是激活:每次 all-reduce 搬运的是 b×s×h 大小的张量,随 batch 和序列长同步膨胀。

all-reduce 全归约 all-reduce = 所有卡把各自的数据归约(求和/取均值)后,人人拿到结果

一种集合通信操作:每张卡出一份数据,按某种运算(通常是求和)合并,合并结果再发还给每一张卡。TP 里它负责把两张卡的部分和加成完整输出;DP 里它负责把各卡的梯度聚成一份。它的代价随参与卡数和数据量增长,是分布式训练里最常见的通信原语。

就像几个小组分头清点同一堆选票,最后把各组计数汇总、再把总数抄送每个小组——汇总加抄送这两步合起来就是 all-reduce。

  通信频次账一算就明白 TP 的软肋:一个 100 层的模型,每个训练步要做约 400 次 all-reduce,每次搬一整个激活张量。频次极高、单次量又大,只有 NVLink/NVSwitch 这种机内高速互联(数百 GB/s)扛得住;一旦跨出机箱走 InfiniBand,通信就会吃掉大部分算力。MT-NLG 论文把话说得很直白:TP 最好限制在单台 DGX 服务器内。这就是工程上 TP 通常不超过 8(一台 8 卡机的卡数)的原因。Megatron-LM 论文自己的实战成绩是:8.3B 参数的 GPT-2 用 8 路 TP,在 512 张 GPU 上训练,整机 15.1 PetaFLOP/s,扩展效率 76%。

  5.2 节的 GQA 在这里埋了个工程约束:TP 按头分工时,希望每卡至少分到一个完整的 KV 头,KV 头数太少会限制 TP 度数(或迫使 KV 头被复制多份)。这也是 GQA 时代 TP 常开到 8 的一个现实背景。

  张量并行的本质:利用 GEMM 的可分解性,列切让非线性和多头各自独立,行切把求和推迟到一次 all-reduce。换来的是模型显存近似按卡数均摊;付出的代价是每层 4 次高频 all-reduce,因此 TP 一般困在单机 NVLink 域内(≤ 8 卡)。

7.3.2 流水线并行 PP:把层切到多卡

  TP 是横着切每一层,流水线并行则是竖着切整个模型:把 \(L\) 层切成 \(p\) 段(stage),每张卡(或每台机器)负责一段。前向时,第 1 段算完把激活传给第 2 段,依次接力;反向时梯度沿原路传回。通信只发生在段与段的边界,是点对点的小包传递,频次和体量都比 TP 低几个量级——所以 PP 敢跨机器,走普通 InfiniBand 网络。

  但朴素的流水有个致命问题:任意时刻只有一段在干活。整个 batch 灌进去,第 1 段算时其余 \(p-1\) 段干等,第 2 段算时第 1 段又开始等——每段只有 \(1/p\) 的时间在工作,其余全是空转,这部分空转就叫流水线气泡(bubble)。

  GPipe(Huang et al., 2018)给出的解法朴素而有效:把一个 mini-batch 切成 \(m\) 个 micro-batch,像流水线一样连续灌入。第 1 段算完 micro-batch 1 立刻转交第 2 段,自己马上接 micro-batch 2——几步之后所有段都忙起来,各自处理不同的 micro-batch。这与 6.3.4 节的梯度累积是同一个切分动作:工程上 micro-batch 数常就取梯度累积的步数,一份切法,两份用途。

micro-batch 微批次 micro-batch = 把一个训练 batch 再切成的小份,流水灌入管线

流水线并行实际处理的调度单位。一个全局 batch(如 1920 条)被切成 m 份(如每份 8 条),逐份流过各段;所有 micro-batch 的梯度累积起来,等价于原来那个大 batch 的梯度,数学语义不变。

就像食堂出餐:不是等 100 份全做完才开饭(后厨前厅轮流干等),而是做一份传一份,炒菜、配餐、打包三个工位同时都在忙。
原创示意图 · 非论文原图 做法 A:整个 batch 一次灌入(不切 micro-batch)第 1 段GPU 0前向反向第 2 段GPU 1前向反向第 3 段GPU 2前向反向第 4 段GPU 3前向反向时间每段只有 1/4 时间在干活,其余 75% 全部空转(bubble) 做法 B:切成 6 个 micro-batch 流水灌入(1F1B 调度)第 1 段GPU 0F1F2F3F4F5F6B1B2B3B4B5B6第 2 段GPU 1F1F2F3F4F5B1F6B2B3B4B5B6第 3 段GPU 2F1F2F3B1F4B2F5B3F6B4B5B6第 4 段GPU 3F1B1F2B2F3B3F4B4F5B5F6B6时间◀ 填充期气泡排空期气泡 ▶粉色 = 空转(bubble):p = 4 段、m = 6 时,气泡率 = (p−1)/(m+p−1) = 3/9 ≈ 33%,m 越大越薄 F 前向(数字为 micro-batch 编号)B 反向空转 bubble
图 4:4 段流水线的时间轴。上:整 batch 直灌,任意时刻只有一段在算,75% 时间是气泡;下:切成 6 个 micro-batch 后(1F1B 调度),气泡只剩首尾填充与排空两端的斜坡,稳态时各段满负荷。

  从图 4 可以数出气泡的规律:无论怎么调度,管线开始时要逐段「填充」(第 1 段的活先到,末段要晚 \(p-1\) 步才开工),结束时要逐段「排空」。填充加排空合计 \(p-1\) 个 micro-batch 的空转时间,摊在总共 \(m+p-1\) 个 micro-batch 的时间里:

\[ \text{气泡率} = \frac{p-1}{m+p-1}, \qquad \text{流水效率} = \frac{m}{m+p-1} \tag{2} \]
公式 (2):气泡占比只由两个数决定——段数 \(p\) 和 micro-batch 数 \(m\)。白话解读:灌的 micro-batch 越多,首尾那截固定的填充排空时间被摊得越薄。符号说明:\(p\) 是流水线的段数(填充与排空共浪费约 \(p-1\) 份时间);\(m\) 是一个训练步切出的 micro-batch 总数;分母 \(m+p-1\) 是一个完整流水周期占用的总时间槽。代入感受一下:\(p=8, m=8\) 时气泡率 \(7/15 \approx 47\%\),近一半算力在空转;\(m\) 加到 32,气泡率降到 \(7/39 \approx 18\%\)。
流水线气泡 Bubble bubble = 流水线填充与排空阶段,部分段无活可干的空转时间

PP 的结构性成本。它来自接力赛的固有事实:第一棒和最后一棒不可能同时起跑。压气泡只有两条路——增加 micro-batch 数 \(m\)(摊薄固定开销),或减少段数 \(p\)。MT-NLG 论文给出的经验值:\(m\) 达到 \(p\) 的 4 倍、8 倍时,流水效率分别约为 81% 和 90%。

就像洗车流水线:第一辆车进入打蜡工位时,洗车工位已经空出来了;收工时最后一辆车还没走完,前段工位提前下班。车越多,这一头一尾的闲置占比越小。

  气泡之外还有一笔显存账,它引出了调度方式的第二次进化。GPipe 的原始调度是「先做完全部 \(m\) 个前向、再做全部 \(m\) 个反向」,反向需要用到对应 micro-batch 的前向激活,于是每段要为全部 \(m\) 个在飞 micro-batch 缓存激活——\(m\) 越大显存越吃紧,与压气泡的目标直接打架。PipeDream(Harlap et al., 2018)提出的 1F1B 调度解开了这个结:稳态时每段做一个前向、紧接着做一个反向(one-forward-one-backward),在飞的 micro-batch 数量被段数 \(p\) 封顶,激活显存从 \(m\) 份降到 \(p\) 份,与图 4 的做法 B 一致。

  1F1B 的两代实现值得区分:PipeDream 原版为让流水不停,允许同一模型存在多份权重版本(weight stashing);Megatron 系列(2104.04473)用的是 PipeDream-Flush 变体——只保留单一权重版本,每个训练步末尾把管线排空一次再统一更新,训练语义与普通单卡完全一致,还进一步提出交错式 1F1B(interleaved),让每张卡管多个更薄的段切片,吞吐再提升 10% 以上。

  注意:PP 的两个隐性约束:一是各段计算量必须均衡,否则最快的段也要等最慢的段,切层时要把 Embedding、输出投影这些「零头」算进去;二是段数 \(p\) 越大,为压气泡需要的 \(m\) 越大,batch 太小撑不起深流水。

7.3.3 序列并行与上下文并行:长序列时代的新切法

  TP 有一个切不动的盲区。注意力与 FFN 被拆到了各卡,但每一层里的 LayerNorm 和 Dropout 仍是各卡完整复制一份激活。序列短时无所谓;序列拉到几万、几十万 token 后,激活大小随序列长线性膨胀,这份复制就成了显存瓶颈。

  Korthikanti 等人(2022)提出的序列并行(sequence parallelism)补上了这一刀:LayerNorm、Dropout 这类沿序列维逐位置独立的运算,其激活干脆按序列维切给 TP 组内的各卡——每张卡只存序列的一段。通信模式相应地从 all-reduce 换成数学上等价的 reduce-scatter 加 all-gather 组合,总通信量不变,激活显存却按卡数均摊。配合选择性重算,这篇论文把激活显存降了 5 倍、重算引入的时间开销砍掉 90% 以上:530B 模型在 2240 张 A100 上,MFU 从 42.1% 提到 54.2%。

  直觉上理解「通信量不变还省显存」:原来每卡都要把整份激活收齐再各自存一份;现在是各卡只收自己负责的那一段序列。同一份数据,从「人手一份全本」变成「各存一章」,搬运总量没变,书架占用除下去了。

  序列并行切的是 TP 盲区里的激活,注意力的 Q/K/V 仍按头分卡。而上下文并行(context parallelism)更激进:把整条序列直接切到多卡,每卡只持有序列的一段。麻烦在于注意力需要看到全序列的 K/V——Ring Attention(Liu et al., 2023)让各卡把自己那段 K/V 沿一个环依次传递,每收到一段就算一部分注意力,通信与计算相互重叠,上下文长度近乎随卡数线性扩展。这套切法是长上下文训练的基础设施,第 8 章讲长上下文扩展时还会回来。

  至此三种切法的分工就齐了:TP 切隐藏维(一层之内),SP 切序列维(仅限 LayerNorm/Dropout 等 TP 盲区),CP 切序列维(整条序列全局铺开),分别回答「层太大」「激活太长」「序列太长」三个问题。

7.3.4 3D 并行组合拳:实战怎么配

  三种并行各有脾气,先摆在一起看:

并行方式切什么通信模式通信特点典型范围主要瓶颈
数据并行 DP数据(每卡完整模型)每步一次梯度 all-reduce低频,可与反向重叠数千卡不省模型显存(需 ZeRO 类分片变体)
张量并行 TP层内权重(隐藏维)每层 4 次激活 all-reduce高频大量单机内(≤ 8)通信频次,离不开 NVLink
流水线并行 PP层(按段分卡)段边界点对点传激活/梯度低频小量跨机,数十段气泡率与负载均衡

  组网的经验法则从这张表直接长出来:通信最贵的,放到带宽最高的地方。机内 NVLink 带宽数百 GB/s,给 TP;机间 InfiniBand 带宽低一个量级,给 PP;DP 通信最稀疏(每步一次,还能和反向计算重叠),铺满整个集群。于是总卡数就是三个维度的乘积:

\[ N_{\mathrm{GPU}} = n_{\mathrm{TP}} \times n_{\mathrm{PP}} \times n_{\mathrm{DP}} \tag{3} \]

  拿真实案例验证这条法则。Megatron-Turing NLG 530B(Smith et al., 2022):5300 亿参数,105 层、隐藏维 20480、128 个注意力头。它的配置是 TP = 8(恰好一台 DGX 的 8 张 A100,机内 NVLink)× PP = 35(35 段跨机器铺开)× DP = 16(16 份副本拉满吞吐)——\(8 \times 35 \times 16 = 4480\) 张 A100,即 Selene 超算的 560 台 DGX 节点,每个 530B 模型副本占 280 张卡。论文把这套布局称为 topology-aware mapping:按通信量大小把三个并行维度逐一映射到对应的网络层级上。同一作者群的 Megatron 1T 实验(2104.04473)是另一个数据点:TP = 8、PP = 64、DP = 6 共 3072 张 A100 训练万亿参数模型,整机 502 PetaFLOP/s,达到理论峰值的 52%。

  3D 并行配置口诀:TP 限机内、PP 跨机、DP 拉满。先让 TP 吃满一台机器的 NVLink(通常 8),把单层切开;再用 PP 把层分到多台机器,段数配合 micro-batch 数压气泡;剩下的卡全部给 DP 复制副本、摊大数据吞吐。通信量决定每个维度落在哪层网络上。

🧭本节要点回顾
张量并行的两刀为什么要列切加行切搭配着下?
列切让 GeLU、多头注意力这类逐元素/逐头运算各卡独立完成,全程免通信;行切把必须的求和推迟到层尾,用一次 all-reduce 收拢。两刀交替,一个 Transformer 层前向只需 2 次通信——这是 TP 能做到的通信下限,也是它必须困在 NVLink 机内的原因。
流水线气泡从哪来,怎么压?
来自管线填充与排空的固有开销,气泡率 \( (p-1)/(m+p-1) \)。压法是切更多 micro-batch 灌流(经验上 m ≥ 4p 后效率超 80%);调度上 GPipe 的全前向再全反向要缓存 m 份激活,1F1B 把在飞数量封顶到 p,激活显存随之大降。
给你 4480 张 A100 训练 530B 模型,并行度怎么配?
照 MT-NLG 的答卷:TP = 8 放在单机 NVLink 内(通信最贵给最高带宽),PP = 35 跨机切段(通信稀疏走得远),DP = 16 复制副本拉满,8 × 35 × 16 = 4480。总卡数永远是三个维度的乘积。

  minimind 只有 64M 参数,单张消费级显卡就装得下完整模型,所以它的代码里只有 6.3 节见过的数据并行包装(trainer/train_pretrain.py 第 146 行的 DistributedDataParallel),没有任何 TP/PP 实现,因为这个规模还不需要它们。这正对应 7.1 节「规模决定工程取舍」:张量并行与流水线并行用于「一份模型装不下」的千亿参数模型,小模型使用它们反而会增加通信开销。

参考来源

  • Shoeybi et al., 2019. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism(张量并行的列切/行切方案与 8.3B GPT-2 实验,arXiv:1909.08053)。
  • Huang et al., 2018. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism(micro-batch 流水线的提出,arXiv:1811.06965,NeurIPS 2019)。
  • Harlap et al., 2018. PipeDream: Fast and Efficient Pipeline Parallel DNN Training(1F1B 调度的提出,arXiv:1806.03377)。
  • Narayanan et al., 2021. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM(3D 并行组合与交错式 1F1B,arXiv:2104.04473,SC21)。
  • Korthikanti et al., 2022. Reducing Activation Recomputation in Large Transformer Models(序列并行与选择性重算,arXiv:2205.05198)。
  • Smith et al., 2022. Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B(TP = 8、PP = 35、DP = 16 的实战配置与气泡率经验值,arXiv:2201.11990)。
  • Liu, Zaharia & Abbeel, 2023. Ring Attention with Blockwise Transformers for Near-Infinite Context(上下文并行/环形注意力,arXiv:2310.01889,ICLR 2024)。
  • minimind 工程代码:trainer/train_pretrain.py(Apache 2.0 协议),作为「单卡可跑故无需模型并行」的对照。