7.4 混合精度与训练稳定性:快而不炸
本页范围:第 7 章第 4 节 | 整理时间:2026-09-30
6.3.4 走查训练循环时见过 autocast 和 GradScaler 这两道保险,当时只讲了它们在循环里干什么,原理留到本节;6.2 末尾还埋了个伏笔:大模型训练常见 loss spike,急救三招只给了清单没给细节。本节把两笔账一起结掉。先从一个更根本的问题切入:训练为什么不干脆全程用 16 位浮点,要快到底?答案藏在浮点数的位宽分配里。
本节沿三个问题展开,路线图如下:
- 浮点格式对比:FP32 / TF32 / FP16 / BF16 / FP8(7.4.1):指数位管范围、尾数位管精度,五种格式各自怎么分配手里的比特,配原创位宽布局示意图(图 3);
- 混合精度三件套:主权重、损失缩放、黑白名单(7.4.2):全 FP16 训练的三个坑,以及 2017 年那篇经典论文给出的三个补丁;
- 训练稳定性实战:loss spike 与急救手册(7.4.3):PaLM 约 20 次 spike 的回滚跳批策略、OPT-175B 的 35 次手动重启,外加初始化、warmup、梯度裁剪三道事前保险。
读完本节,你应该能解释:为什么 minimind 默认用 bfloat16,而 GradScaler 对它完全关闭。
图 1 标出混合精度与训练稳定性在预训练工程中的位置,图 2 展示数值格式、损失缩放与异常处理之间的关系。
图 1 里这个紫框放大之后长什么样?一步训练里,数据在 32 位与 16 位之间怎么流动?把 minimind 训练循环里的一步单独拆开看:
7.4.1 浮点格式对比:FP32 / TF32 / FP16 / BF16 / FP8
先补一点浮点数基础。不管哪种格式,计算机里的浮点数都由同一个公式描述:
一句话记住:指数位管「能表示多大、多小的数」(范围),尾数位管「相邻两个数差多少」(精度)。比特总数固定时,两者是零和博弈:多给指数一位,尾数就少一位。下面五种格式的全部差异,就是这道分配题的不同答案:
把五种格式摆进同一张表,各自的角色就清楚了:
| 格式 | 位宽(符号+指数+尾数) | 动态范围 | 相邻数间隔 \(2^{-M}\) | 训练中的角色 |
|---|---|---|---|---|
| FP32(E8M23) | 1 + 8 + 23 = 32 | 上限 ≈3.4×10³⁸ | ≈1.2×10⁻⁷(约 7 位十进制) | 老牌基准:主权重与敏感算子的落账格式 |
| TF32(E8M10) | 1 + 8 + 10 = 19 | 同 FP32 | ≈1×10⁻³(约 3 位) | NVIDIA Ampere 起 FP32 矩阵乘的内部计算格式,用户无感提速 |
| FP16(E5M10) | 1 + 5 + 10 = 16 | 上限 65504;最小正规数 ≈6×10⁻⁵ | ≈1×10⁻³(约 3 位) | 早期混合精度常用格式,必须配 loss scaling 使用 |
| BF16(E8M7) | 1 + 8 + 7 = 16 | 同 FP32 | ≈7.8×10⁻³(约 2 位) | Google 为 TPU 设计,LLM 预训练当前默认 |
| FP8 E4M3 | 1 + 4 + 3 = 8 | 上限 448 | 0.125(不足 1 位) | 权重与激活(2022 年 NVIDIA/Arm/Intel 联合提案) |
| FP8 E5M2 | 1 + 5 + 2 = 8 | 上限 57344 | 0.25(不足 1 位) | 梯度 |
逐个看几个关键取舍。FP16 是 IEEE 754 标准半精度:10 位尾数给出约三位十进制精度,对深度学习其实够用,软肋在范围——最大 65504,比它大的数直接变 inf(上溢);最小正规数约 \(6 \times 10^{-5}\),次正规数也只能撑到约 \(6 \times 10^{-8}\),训练中大量梯度比这还小,直接被压成 0(下溢)。
BF16(bfloat16,brain floating point)是 Google 为 TPU 设计的「截短版 FP32」:指数与 FP32 同为 8 位,动态范围原样保留,代价是尾数从 23 位砍到 7 位,精度只剩约两位十进制。它赌的是一个深度学习数值格式的核心经验——网络对尾数噪声的忍耐力,远强于对范围溢出的忍耐力。这个赌赢了:BF16 成了当前 LLM 预训练的主流 16 位格式。
TF32 是 NVIDIA 在 Ampere 架构(A100)引入的内部计算格式:张量仍按 FP32 存储,矩阵乘进入 Tensor Core 时内部舍成 19 位 TF32 计算、FP32 累加。范围同 FP32、精度同 FP16,不用改一行代码就能加速 FP32 训练。
FP8 把 8 个比特掰成两份用(Micikevicius et al., 2022,arXiv:2209.05433):E4M3 精度优先,给权重与激活;E5M2 范围优先,给梯度。E4M3 还做了个小手术:不表示无穷大、NaN 只留一个编码,把省下的位型换成正常数值,上限从 240 抬到 448。2024 年底的 DeepSeek-V3 首次在 671B 的超大规模 MoE 模型上验证了 FP8 混合精度训练:全程统一用 E4M3,靠细粒度缩放(激活按 1×128 小块、权重按 128×128 方块各自配缩放因子)和更高精度的累加弥补范围不足,敏感算子(Embedding、输出头、归一化)则保留高精度。
为什么范围比精度更「要命」?精度不足只是每个数带一点噪声,网络对噪声有免疫力;范围不足是灾难性的——大数变 inf、小数变 0,信息直接清零。这就是 BF16 敢把尾数砍到 7 位、却不敢动指数位的原因。
7.4.2 混合精度三件套:主权重、损失缩放、黑白名单
知道了 FP16 的短板,2017 年 NVIDIA 与百度的联合论文《Mixed Precision Training》(Micikevicius et al., arXiv:1710.03740)给出了系统解法。当时的痛点很具体:Volta 架构 Tensor Core 的 FP16 矩阵乘吞吐数倍于 FP32,显存还省一半,但直接全 FP16 训练,精度会掉。论文的做法不是单点修补,而是一套三件套,每件堵一个坑:
① 主权重 master weights
参数始终保存一份 FP32 主副本,堵「更新量被舍入吞掉」。
② 损失缩放 loss scaling
反传前把 loss 乘一个大常数,堵「梯度下溢成 0」。
③ 算子黑白名单
矩阵乘走半精度、敏感算子留 FP32,堵「算子数值失真」。
坑一:参数更新量太小,半精度存不住。AdamW 一步的更新量(学习率乘梯度)往往比参数本身小几个数量级;FP16 的相邻数间隔约 \(10^{-3}\),一个取值为 1 的参数,小于 \(10^{-3}\) 的更新直接被舍入吞掉——参数原地踏步,白算一步。解法是让参数始终保存一份 FP32 主副本(master weights):前向反向时临时转成 FP16 参与计算,梯度转回 FP32 后才落到主副本上。显存多一份参数副本,换来更新不丢。
坑二:梯度下溢。FP16 能表示的最小正数(次正规)约 \(6 \times 10^{-8}\),训练中后期大量梯度比这还小,反传回来一片 0,对应参数永远学不到东西。解法出奇地便宜:反传之前,把 loss 先乘一个大常数 \(S\):
\(S\) 取多大没有先验答案:取小了救不回下溢,取大了反而制造溢出。实践用动态损失缩放,规则一句话——宁大勿小、出事就退:
PyTorch 的 GradScaler 就是这套算法的现成实现:scale → unscale_ → step → update 四连调用,溢出检测、减半、翻倍全自动。minimind 里的具体用法见 trainer/train_pretrain.py。
坑三:不是所有算子都适合半精度。矩阵乘是吞吐大头、对输入精度不敏感,而且乘加可以用 FP32 累加,适合半精度;softmax、LayerNorm 这类含指数、开方、大归约的算子数值敏感,保留 FP32 才稳。这就是算子黑白名单:论文时代要手工指定,今天 PyTorch 的 autocast 内置了名单——with autocast_ctx: 包住的区域里,matmul/conv/linear 自动落到半精度,softmax、layer_norm、cross_entropy 等自动留在 FP32,分流由框架完成。
易错点:不要把 model.half() 当混合精度。把整个模型直接转半精度,等于三件套全丢——参数没了 FP32 主副本,敏感算子也掉进半精度,轻则精度掉点,重则 loss 起飞。正确姿势是模型保持 FP32,只用 autocast 包住 forward,让框架按黑白名单自动分流。
混合精度的哲学是一笔分工账:计算过程(矩阵乘)用半精度求快求省,落账环节(参数、归一化、概率归一)用 FP32 求稳。算得快与训得稳不矛盾,前提是别让 16 位浮点去碰它处理不了的数值。
7.4.3 训练稳定性实战:loss spike 与急救手册
数值精度只是稳定性的一半战场。就算混合精度配得天衣无缝,大模型训练中途仍可能出事:平稳下降的 loss 曲线突然蹿起一根尖刺,有时自己回落,有时一路发散到 NaN。这就是 6.2、6.3 都点到过的 loss spike。模型越大越常见:PaLM 训练 540B 时,即使开着梯度裁剪,仍观察到约 20 次 spike,时间点毫无规律,训练后期也会冒出来。
训练 loss 在个别 step 突然放大几倍、甚至变成 NaN 的现象。诱因通常不是单一的:异常数据、学习率与参数状态的共振、底层硬件抖动都可能有份,很难提前预测。
spike 怎么救?PaLM 论文给出的答案朴素得出人意料,却已是业界事实标准——不治本,先绕过:发现 spike 后,从 spike 开始前约 100 步的 checkpoint 重启训练,并跳过约 200–500 个覆盖事故现场的 batch。处理过的 spike 没有在同一位置复发。
为什么跳过数据有用?PaLM 团队做过关键消融:把 spike 现场附近的那批数据,换一个更早的 checkpoint 重新喂进去,结果不再 spike。这说明 spike 并不是「这批数据有毒」,而是特定的数据 batch 撞上特定的参数状态才会引爆——就像同一级台阶,只有脚步落在某个特定角度才会崴脚。所以回滚加跳批有效:换一批数据,等于换一种脚步落点。
如果说 PaLM 的记录是「成功处置案例」,Meta 的 OPT-175B 就是一份「事故现场全记录」。论文连同 100 余页训练日志(logbook)一起公开:992 块 A100 上约两个月的训练里,硬件故障贡献了至少 35 次手动重启、轮换超过 100 台主机;loss spike、梯度爆炸、中途调整优化方案,全都记在日志里。这份日志至今是理解大规模训练工程现实的最佳一手材料:大模型训练需要持续监控,并由工程人员处理故障和异常。
急救之外,更重要的是事前少出事。三道保险的前两道在 6.2 已经细讲过,这里只点出它们与稳定性的关系:
- 梯度裁剪:把全局梯度范数压回阈值内(惯例 1.0),个别 batch 的异常大梯度不至于一步把参数带飞,是 spike 的第一道防线。注意 PaLM 开着它仍出了约 20 次 spike,可见它只是减伤,不是免疫。
- LR warmup:开局几百到几千步学习率从 0 线性爬升,避开参数随机、Adam 统计量未攒够时大步乱走的危险期(细节见 6.2.2)。
- 初始化尺度:权重初始方差要随层宽缩放,惯例是 fan-in 初始化 \(W \sim \mathcal{N}(0, 1/\sqrt{n_{\mathrm{in}}})\)(\(n_{\mathrm{in}}\) 是该层的输入维度),让前向激活与反向梯度的方差在各层保持稳定。初始方差过大,激活逐层膨胀,训练开局就炸,warmup 也救不回来。
PaLM 还用了几个架构级的稳定化手段:所有线性层与 LayerNorm 不用偏置(no biases);\(\beta_2\) 不取常数 0.99,而是按 \(1 - k^{-0.8}\) 随步数 \(k\) 逐渐变大;外加一项 z_loss 辅助损失(\(10^{-4} \cdot \log^2 Z\),\(Z\) 是 softmax 的归一化常数),把 logits 的整体尺度往 0 拉,抑制其无节制膨胀。这些细节说明:稳定性是初始化、优化器、架构、数值格式一起凑出来的系统工程。
大模型训练的稳定性没有银弹:事前靠初始化尺度、warmup、梯度裁剪压低出事概率,事中靠混合精度的数值纪律不添乱,事后靠勤存 checkpoint 加回滚跳批快速复活。三层合起来,才把「万亿 token 不翻车」从运气变成工程。
参考来源
- Micikevicius et al., 2017. Mixed Precision Training(混合精度训练原始论文,arXiv:1710.03740,ICLR 2018):FP32 主权重、损失缩放、FP32 累加三件套的出处。
- Micikevicius et al., 2022. FP8 Formats for Deep Learning(arXiv:2209.05433,NVIDIA/Arm/Intel 联合提案):E4M3/E5M2 编码设计、各自适用范围(E4M3 给权重与激活、E5M2 给梯度)与 per-tensor 缩放;E4M3 上限 448、E5M2 上限 57344 出自该文 Table 1。
- Kalamkar et al., 2019. A Study of BFLOAT16 for Deep Learning(arXiv:1905.12322):BF16 训练精度的系统研究。
- NVIDIA, 2020. Accelerating AI Training with NVIDIA TF32 Tensor Cores(NVIDIA 开发者博客):TF32 格式与 Ampere Tensor Core 的官方说明。
- Chowdhery et al., 2022. PaLM: Scaling Language Modeling with Pathways(arXiv:2204.02311):§5.1 约 20 次 loss spike 与「回滚约 100 步、跳过 200–500 个 batch」策略及消融结论;§5 的 fan-in 初始化、z_loss、无偏置、\(\beta_2\) 调度等稳定化手段。
- Zhang et al., 2022. OPT: Open Pre-trained Transformer Language Models(arXiv:2205.01068)及随附 100 余页训练 logbook:992 块 A100、约两个月内至少 35 次手动重启、轮换超 100 台主机的硬件故障记录。
- DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437):§3.3 FP8 混合精度训练——全程 E4M3、细粒度缩放(激活 1×128 tile、权重 128×128 block)与高精度累加。
- PyTorch 官方文档:torch.cuda.amp(autocast 算子黑白名单;GradScaler 默认参数 init_scale=65536、growth_interval=2000、growth/backoff 为 2.0/0.5)。
- minimind 工程(Apache 2.0 协议):trainer/train_pretrain.py,行号以本工程实读版本为准。