7.5 算力估算与成本核算:6ND 法则
本页范围:第 7 章第 5 节 | 整理时间:2026-09-30
6.3.5 节第一次亮出 \(C \approx 6ND\) 这把尺子,用它量过 minimind 和 GPT-3 的账单,但当时只管用、没推导。本章前几节把「怎么把训练跑起来」讲完了:并行策略把模型摊到成百上千张卡上,混合精度把显存和吞吐抠出来,稳定性手段守住几个月的长跑。本节换一个更现实的视角:在按下启动键之前,怎么把账先算出来——总计算量是多少、机器能出几成力、折成天数和金额又是多少。
本节沿四个问题展开:
- FLOPs 推导:一次前向要多少计算(7.5.1):从矩阵乘法的乘加次数一路推到 C≈6ND,看清系数 6 的三块拼图;
- MFU:理论峰值与实际吞吐(7.5.2):规格表上的 989 TFLOPS 为什么到手只剩四五成,GPT-3、PaLM 等真实模型的实测利用率对照;
- 成本核算实战:两个案例(7.5.3):100B 模型配 1024 张 H100 的完整账单推演,以及 minimind 64M 的三条线索互证;
- 训练与推理的算力对称性(7.5.4):训练每 token 花 6N、推理只花 2N,一次性投入与随调用量累积是两种成本结构。
读完全节,你手里会多一把随身计算器:给一个模型规模、一份数据量、一批卡,三分钟估出训练要多少天、多少钱。
图 1 标出算力估算在预训练工程中的位置,图 2 展示训练计算量、硬件吞吐与训练时间之间的关系。
图 1 里这个紫框放大之后长什么样?6ND 这把尺子的刻度从哪来、代进真实数字算出多少?把它单独拆开看:
7.5.1 FLOPs 推导:一次前向要多少计算
拆 6ND 之前,先回到最基础的算术:一次矩阵乘法要做多少次运算。设 \(C = AB\),其中 \(A\) 是 \(m \times k\) 矩阵,\(B\) 是 \(k \times n\) 矩阵。结果 \(C\) 有 \(m \times n\) 个元素,每个元素是长度为 \(k\) 的点积:\(k\) 次乘法加 \(k-1\) 次加法,约 \(2k\) 次运算。于是:
小写 s 结尾的 FLOPs 是「做了多少功」的总量单位,大写 S 结尾的 FLOPS 是「跑多快」的速度单位,一对大小写之差经常被混用。算力估算的全部游戏,就是拿总量(FLOPs)除以速度(FLOPS)得到时间。
Transformer 的绝大多数参数住在线性层里:Q/K/V 投影、注意力输出投影、FFN 的两层、最后的 logits 投影,全是 \(y = Wx\) 的形状。一个 token 流过线性层,相当于做一次「矩阵 × 向量」乘法——套公式 (1) 时令 \(n = 1\):
把全网的线性层加起来:每处理一个 token,前向传播的运算量约等于全部参数量的两倍。Embedding 层是查表(3.1 节),几乎不耗算力,所以严格说 \(N\) 指非 Embedding 参数;词表 logits 投影的开销单独归入后面的修正项。于是有最常用的一句口诀:
再看反向传播。它的贵是结构决定的,不是经验拟合:对同一个线性层 \(y = Wx\),链式法则要算两个梯度——对输入 \(x\) 的梯度(把误差传向上一层),是一次 \(W^{\top}\) 与上游误差的乘法,规模与前向相同;对权重 \(W\) 的梯度(用来更新参数),是上游误差与 \(x\) 的外积,规模也与前向相同。两次同规模矩阵乘,反向恰好是前向的两倍:
严格说 6ND 是一阶近似,有三笔账被故意忽略。① 注意力二次项:\(QK^{\top}\) 与加权求和的开销随上下文长度 \(s\) 增长,相对 6N 主体的比例约为 \(s/(6h)\)(\(h\) 为隐层宽度)。minimind(\(s=340, h=768\))约 7%,GPT-3(\(s=2048, h=12288\))约 3%,都可忽略;但 128K 长上下文配 \(h=8192\) 时比值达 2.7,注意力项反超主体——长上下文场景(第 8 章)不能再用 6ND。② logits 投影:词表很大时最后一层不可忽略,修正约 \(V/(16Lh)\)(\(V\) 词表大小、\(L\) 层数),主流模型在几个百分点以内。③ 激活重计算:为省显存而重算激活,相当于最多多算一遍前向,系数从 6 抬到约 8。这笔开销计入「硬件实际执行的 FLOPs」,不计入 6ND 的模型账——这正是下一节 MFU 与 HFU 两个口径的差别。
系数 6 的三块拼图:前向 2N、反向对激活 2N、反向对参数 2N。6ND 是估算尺而不是精密账——用它算量级从不失手,要抠百分之几的零头才轮到修正项出场。
7.5.2 MFU:理论峰值与实际吞吐
6ND 算出「要做多少功」,接下来的问题是「机器每秒能做多少功」。GPU 规格表会给一个峰值,比如 H100 的 BF16 稠密峰值是 989 TFLOPS(约 \(10^{15}\) FLOPS)。但任何真实训练都摸不到这个数,度量落差的尺子叫 MFU。
把「6ND 除以实际训练秒数」得到的实测吞吐,与硬件峰值相除,就是 MFU。MFU 40% 的意思是:机器理论上一秒能做 100 份功,实际只有 40 份变成模型训练的有效计算,其余 60 份被各种开销吃掉。它还有个孪生指标 HFU(Hardware FLOPs Utilization),把激活重计算等重复劳动也算进分子,数字会更好看——PaLM 的 MFU 是 46.2%,HFU 则达 57.8%。
注意:算 MFU 前先看清峰值口径:H100 规格表上 BF16 有 989 TFLOPS(稠密)与 1979 TFLOPS(2:4 结构化稀疏)两个数,LLM 稠密训练只能用前者。拿稀疏口径当分母,MFU 会被凭空砍掉一半。
公开论文里几个有代表性的实测值(前四行出自 PaLM 论文表 3,末行出自 Megatron-LM 论文):
| 模型 | 参数量 | 硬件 | MFU |
|---|---|---|---|
| GPT-3 | 175B | V100 | 21.3% |
| Gopher | 280B | 4096 TPU v3 | 32.5% |
| Megatron-Turing NLG | 530B | 2240 A100 | 30.2% |
| PaLM | 540B | 6144 TPU v4 | 46.2%(HFU 57.8%) |
| Megatron-LM | 1T | 3072 A100 | 52% |
读完这张表,最该问的是:剩下那一半算力去哪了?答案正是本章前几节讨论的所有工程摩擦的总和:
- 通信:数据并行每步要同步梯度,张量并行每层都要交换激活,机间网络远比显存慢,GPU 常在等数据而不是在算;
- 流水线气泡(7.3 节):流水线并行开局与收尾的注排水阶段,设备空转;
- 激活重计算:省显存的代价是重复劳动,PaLM 的 MFU 46.2% 与 HFU 57.8% 之间约 12 个百分点的差,正是重计算多算的那部分;
- 访存受限的小算子:RMSNorm、softmax、RoPE、逐元素加减乘除,FLOPs 极少但读写显存不少,时间照花;
- 故障与断点:数月长跑里的硬件故障、loss spike 回滚(6.2.4 节)、checkpoint 存盘,都是纯停表时间。
本章前几节的工程手段分别降低这些开销:并行策略与通信优化压前两项,选择性重计算压第三项,算子融合压第四项,把 MFU 从 GPT-3 时代的 21% 一路抬到 50% 上下。经验区间:优化到位的大规模训练 MFU 约 40%~55%,单卡小模型约 20%~40%(7.5.3 的案例二会用 minimind 的实测反推出 ≈31%)。
7.5.3 成本核算实战:两个案例
工具齐了,来算两笔账。方法固定三步:先用 6ND 算总量,再用峰值乘 MFU 折算有效吞吐,最后除出时间、乘出金额。
7.5.3.1 案例一:100B × 2T tokens 的旗舰账单
设想一个 100B(一千亿参数)模型,喂 2T(两万亿)token——这是当下旗舰预训练的典型量级。硬件用 1024 张 H100,MFU 取 40%(优化良好的大规模训练的中性假设)。逐步代入公式 (5):
| 步骤 | 算式 | 结果 |
|---|---|---|
| ① 总算力 | \(6ND = 6 \times 10^{11} \times 2 \times 10^{12}\) | \(1.2 \times 10^{24}\) FLOPs |
| ② 集群峰值 | \(1024 \times 989\) TFLOPS | \(\approx 1.01 \times 10^{18}\) FLOPS |
| ③ 有效吞吐 | ② × MFU 40% | \(\approx 4.05 \times 10^{17}\) FLOPS |
| ④ 训练时间 | ① ÷ ③ | \(\approx 2.96 \times 10^{6}\) 秒 ≈ 34 天 |
| ⑤ GPU 时 | 1024 卡 × 34.3 天 × 24 时 | ≈ 84 万卡时 |
| ⑥ 租金 | ⑤ × 2~4 美元/卡时 | 170 万~340 万美元 |
结论:这样一次训练要约 34 天、84 万卡时;按 2026 年公有云 H100 按需价(中位数约 3.4 美元/卡时,常见区间约 2~4 美元),账单落在 170 万到 340 万美元,折合人民币千万元级。注意这只是「一次成功」的价格——加上超参探索、失败重跑与中间评估,真实项目的总投入通常是它的数倍。
云算力价格随供需波动很大,本节金额一律按 2026 年前后的公开按需报价取量级,只用于感受规模,不作为采购依据。卡时单价这个变量的不确定性,往往比 MFU 还大。
7.5.3.2 案例二:minimind 64M 的三条线索互证
再看小极端。minimind 的预训练,6.3.5 节给过「量级在 \(10^{17}\) FLOPs 上下(待查证)」的粗估,现在把这笔账算细。\(N = 64\text{M} = 6.4 \times 10^{7}\)。\(D\) 没有公开数字,用数据集体积反推:预训练语料 pretrain_t2t_mini.jsonl 约 1.2 GB,训练脚本里注明「中文 1 token ≈ 1.5~1.7 字符」;UTF-8 下一个汉字占 3 字节,1.2 GB 约含 4 亿字符,折合约 2.4~2.7 亿 token(忽略 JSON 包装开销)。代入:
与 6.3.5 的粗估同量级——由于 \(D\) 是体积反推而不是分词器实测,待查证标注继续沿用。
更有意思的是三角互证。README 实测:单卡 RTX 3090 跑完这轮预训练用 1.21 小时。3090 的 BF16 稠密峰值约 71 TFLOPS,1.21 小时满打满算是 \(3.1 \times 10^{17}\) FLOPs;用 \(10^{17}\) 去除,隐含 MFU ≈ 31%——恰好落在单卡小模型的典型区间 20%~40% 内。三条独立线索(数据体积 → token 数 → 算力、实测时长、典型 MFU 区间)在同一个量级上交汇,这个粗估就可以放心用了。成本则是 1.21 小时 × 1.3 元/卡时 ≈ 1.6 元:一瓶水的钱,够从零训出一个会说话的模型。
README 还说 8×H100 能把它压到「分钟级」,验证一下:\(10^{17}\) FLOPs ÷(8 × 989 TFLOPS × MFU 20%)≈ 63 秒——哪怕对极小模型的利用率打个对折再对折,结论仍在分钟量级,说法与估算自洽。
成本核算三步法:6ND 定总量 → 峰值 × MFU 定有效吞吐 → 时间 × 卡时单价定账单。N、D、卡数、MFU 四个数在手,任何训练计划都能先算后练。
7.5.4 训练与推理的算力对称性
6ND 里还藏着一个常用推论。训练每个 token 花 \(6N\),是因为「前向 + 反向」;推理只做前向,每生成一个 token 的成本就是 \(2N\):
两个数字构成一对对称:推理单 token 成本恰是训练的三分之一。两者的差异还在计费方式上——训练是一次性投入,6ND 算完就是天花板;推理是按调用量累积的流水,没有上限。拿案例一的 100B 模型举例:它若一年服务 1 万亿 token,推理算力就是 \(2 \times 10^{23}\) FLOPs,约等于当初训练算力的六分之一;调用量再翻几倍,推理总账就反超训练。用户越多的产品,成本重心越从训练侧滑向推理侧。
这把「每 token \(2N\)」的成本地板,正是第 13 章全部推理优化技术的靶子:KV Cache 避免每步重算历史(省注意力的重复账)、量化把每次乘加变便宜(压 \(N\) 的有效大小)、投机采样让小模型打草稿、大模型验收(摊薄前向次数)、推理时扩展则反其道而行——主动多花算力换答案质量。训练侧的账本节算完了;推理侧的账,第 13 章接着算。
参考来源
- Kaplan et al., 2020. Scaling Laws for Neural Language Models(arXiv:2001.08361):训练算力估算规则 C ≈ 6ND 与前向 2N 的出处。
- Narayanan et al., 2021. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM(arXiv:2104.04473):逐层 FLOPs 细化推导(注意力二次项 s/(6h)、logits 项 V/(16Lh) 的口径);1T 模型在 3072 张 A100 上达 52% MFU。
- Korthikanti et al., 2022. Reducing Activation Recomputation in Large Transformer Models(arXiv:2205.05198):全量激活重计算把每 token 系数从 6 抬到约 8 的口径,MFU 与 HFU 的区分。
- Chowdhery et al., 2022. PaLM: Scaling Language Modeling with Pathways(arXiv:2204.02311):表 3 各模型 MFU 实测(GPT-3 21.3%、Gopher 32.5%、Megatron-Turing NLG 30.2%、PaLM 46.2%),PaLM HFU 57.8%。
- Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3,arXiv:2005.14165):附录 D 的训练算力 3.14×10^23 FLOPs,用作公式 (4) 的验证锚点。
- NVIDIA H100 Tensor Core GPU 产品规格页(nvidia.com/en-us/data-center/h100/):BF16 稠密峰值 989 TFLOPS(2:4 稀疏口径 1979 TFLOPS)。
- RTX 3090 规格数据(computecomparison.com/gpu/rtx-3090):BF16/FP16 稠密峰值约 71 TFLOPS。
- getdeploying.com 的 H100 云租价聚合(2026 年 9 月查):按需中位数约 3.4 美元/卡时,常见区间约 2~4 美元。
- minimind 工程(gongjy/minimind,Apache 2.0 协议):README「训练开销」实测表(64M 预训练单卡 3090 约 1.21 小时、约 1.57 元,3090 租卡约 1.3 元/时);trainer/train_pretrain.py 第 82、90 行。
- 待核实事项:minimind 预训练 token 数 D(约 2.5 亿)为按数据体积与「1 token ≈ 1.5~1.7 字符」的粗估,未经分词器实测,故 C≈10^17 FLOPs 的量级沿用 6.3.5 节的待查证标注;隐含 MFU≈31% 的反推同样建立在该粗估之上。