7.4 混合精度与训练稳定性:快而不炸

本页范围:第 7 章第 4 节 | 整理时间:2026-09-30

快速浏览

核心问题训练要提速、显存要减半,能不能全程用 16 位甚至 8 位浮点?为什么把模型直接转成半精度训练很容易翻车?大模型训练中途 loss 突然蹿升(loss spike),又该怎么救?
本节主张混合精度的核心是一笔「分工账」:矩阵乘用半精度求快,参数、归一化、softmax 留 FP32 求稳;训练稳定性则靠事前保险(初始化、warmup、梯度裁剪)与事后急救(回滚跳批)双管齐下。
一句话结论FP32 主权重 + BF16 autocast + 算子黑白名单是当前 LLM 预训练的默认配置,FP8 正在超大规模模型上落地;面对 loss spike,业界最成熟的急救方案是 PaLM 式「回到健康 checkpoint、跳过可疑数据」。
关键词
FP16BF16FP8混合精度loss scalingautocastloss spikecheckpoint 回滚

  6.3.4 走查训练循环时见过 autocast 和 GradScaler 这两道保险,当时只讲了它们在循环里干什么,原理留到本节;6.2 末尾还埋了个伏笔:大模型训练常见 loss spike,急救三招只给了清单没给细节。本节把两笔账一起结掉。先从一个更根本的问题切入:训练为什么不干脆全程用 16 位浮点,要快到底?答案藏在浮点数的位宽分配里。

  本节沿三个问题展开,路线图如下:

  1. 浮点格式对比:FP32 / TF32 / FP16 / BF16 / FP8(7.4.1):指数位管范围、尾数位管精度,五种格式各自怎么分配手里的比特,配原创位宽布局示意图(图 3);
  2. 混合精度三件套:主权重、损失缩放、黑白名单(7.4.2):全 FP16 训练的三个坑,以及 2017 年那篇经典论文给出的三个补丁;
  3. 训练稳定性实战:loss spike 与急救手册(7.4.3):PaLM 约 20 次 spike 的回滚跳批策略、OPT-175B 的 35 次手动重启,外加初始化、warmup、梯度裁剪三道事前保险。

  读完本节,你应该能解释:为什么 minimind 默认用 bfloat16,而 GradScaler 对它完全关闭。

  图 1 标出混合精度与训练稳定性在预训练工程中的位置,图 2 展示数值格式、损失缩放与异常处理之间的关系。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (本节内容) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:训练工程在 LLM 生命周期中的位置。数据(第 1 章)与预训练目标(第 6 章)就位后,这一站把训练摊到集群上跑起来,随后交给中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章)与推理部署(第 12–13 章)。本节管这一站的「数值纪律」:16 位浮点怎么用得又快又不炸,loss spike 来了怎么救。

  图 1 里这个紫框放大之后长什么样?一步训练里,数据在 32 位与 16 位之间怎么流动?把 minimind 训练循环里的一步单独拆开看:

原创示意图 · 非论文原图 局部放大:一步混合精度训练的数值流 输入:一个 micro-batch → 输出:更新后的 FP32 主权重;步骤对应 minimind trainer/train_pretrain.py 第 33–47 行 FP32 区:落账求稳 BF16 区:autocast 内计算求快 FP32 主权重 θ 更新落账的唯一真身,常驻 scaler.unscale_:梯度 ÷S 还原 并转回 FP32 clip_grad_norm_:梯度裁剪 个别爆梯度不至于带飞参数 scaler.step:更新 θ scaler.update:调整 S(溢出减半) autocast:权重临时转 BF16 不改动 FP32 主副本 前向 + loss matmul / linear → BF16 softmax · RMSNorm · CE → 留 FP32 scaler.scale(loss):×S 链式法则:梯度自动跟着放大 S 倍 backward:得 BF16 梯度 小梯度靠 ×S 躲开下溢 临时转换 梯度回 FP32 落回主副本,进入下一 micro-batch FP16 必须 ×S 防梯度下溢(S 初始 65536,溢出就减半并跳过本步) BF16 范围与 FP32 相同 → minimind 默认 dtype=bfloat16,GradScaler 直接关闭(enabled=False)
图 2:一步训练在两种精度之间的往返(对应 minimind trainer/train_pretrain.py 第 33–47 行)。FP32 主权重是唯一真身;autocast 区域内权重与激活临时转 BF16 做矩阵乘求快,softmax、RMSNorm、cross_entropy 由框架按黑白名单留在 FP32 求稳;loss 乘 S 再反向,梯度 ÷S 还原并转回 FP32,裁剪后 step 更新主副本。注意 minimind 默认 bf16,GradScaler 关闭,图中 ×S、÷S 对它是恒等操作,FP16 模式下才真正生效。

7.4.1 浮点格式对比:FP32 / TF32 / FP16 / BF16 / FP8

  先补一点浮点数基础。不管哪种格式,计算机里的浮点数都由同一个公式描述:

\[ x = (-1)^{s} \times 1.f \times 2^{\,e - b} \tag{1} \]
公式 (1):浮点数 = 符号 × 尾数 × 2 的指数次幂,是科学计数法的二进制版。符号说明:\(s\) 是符号位(1 比特,0 正 1 负);\(f\) 是尾数域,占 \(M\) 个比特,正规数默认前面隐含一个 1,即有效数字共 \(M+1\) 位;\(e\) 是指数域,占 \(E\) 个比特的无符号整数;\(b\) 是偏置常数,让指数域能同时表达正、负指数(FP16 取 15,FP8 E4M3 取 7)。\(E\) 越大,2 的幂次覆盖越宽,能表示的数范围越大;\(M\) 越大,同一指数档位内相邻两数的间隔 \(2^{-M}\) 越小,精度越高。

  一句话记住:指数位管「能表示多大、多小的数」(范围),尾数位管「相邻两个数差多少」(精度)。比特总数固定时,两者是零和博弈:多给指数一位,尾数就少一位。下面五种格式的全部差异,就是这道分配题的不同答案:

原创示意图 · 非论文原图 位宽布局(格宽与比特数成正比,格内数字为比特数) 关键数值 FP32 E8M23 · 32 位 S 8 23 上限 ≈3.4×10³⁸ 老牌基准格式 TF32 E8M10 · 19 位 S 8 10 仅内部计算使用 存储仍为 FP32 FP16 E5M10 · 16 位 S 5 10 上限 65504 最小正规数 ≈6×10⁻⁵ BF16 E8M7 · 16 位 S 8 7 范围同 FP32 精度只剩约 2 位 E4M3 FP8 · 8 位 S 4 3 上限 448 用于权重·激活 E5M2 FP8 · 8 位 S 5 2 上限 57344 用于梯度 符号位:正负 指数位:决定范围 尾数位:决定精度
图 3:六种浮点格式的位宽分配。从 FP32 到 FP8,省位主要砍在尾数上;BF16 与 E5M2 保住了指数位(范围),FP16 与 E4M3 则偏向尾数位(精度)。

  把五种格式摆进同一张表,各自的角色就清楚了:

格式位宽(符号+指数+尾数)动态范围相邻数间隔 \(2^{-M}\)训练中的角色
FP32(E8M23)1 + 8 + 23 = 32上限 ≈3.4×10³⁸≈1.2×10⁻⁷(约 7 位十进制)老牌基准:主权重与敏感算子的落账格式
TF32(E8M10)1 + 8 + 10 = 19同 FP32≈1×10⁻³(约 3 位)NVIDIA Ampere 起 FP32 矩阵乘的内部计算格式,用户无感提速
FP16(E5M10)1 + 5 + 10 = 16上限 65504;最小正规数 ≈6×10⁻⁵≈1×10⁻³(约 3 位)早期混合精度常用格式,必须配 loss scaling 使用
BF16(E8M7)1 + 8 + 7 = 16同 FP32≈7.8×10⁻³(约 2 位)Google 为 TPU 设计,LLM 预训练当前默认
FP8 E4M31 + 4 + 3 = 8上限 4480.125(不足 1 位)权重与激活(2022 年 NVIDIA/Arm/Intel 联合提案)
FP8 E5M21 + 5 + 2 = 8上限 573440.25(不足 1 位)梯度

  逐个看几个关键取舍。FP16 是 IEEE 754 标准半精度:10 位尾数给出约三位十进制精度,对深度学习其实够用,软肋在范围——最大 65504,比它大的数直接变 inf(上溢);最小正规数约 \(6 \times 10^{-5}\),次正规数也只能撑到约 \(6 \times 10^{-8}\),训练中大量梯度比这还小,直接被压成 0(下溢)。

  BF16(bfloat16,brain floating point)是 Google 为 TPU 设计的「截短版 FP32」:指数与 FP32 同为 8 位,动态范围原样保留,代价是尾数从 23 位砍到 7 位,精度只剩约两位十进制。它赌的是一个深度学习数值格式的核心经验——网络对尾数噪声的忍耐力,远强于对范围溢出的忍耐力。这个赌赢了:BF16 成了当前 LLM 预训练的主流 16 位格式。

  TF32 是 NVIDIA 在 Ampere 架构(A100)引入的内部计算格式:张量仍按 FP32 存储,矩阵乘进入 Tensor Core 时内部舍成 19 位 TF32 计算、FP32 累加。范围同 FP32、精度同 FP16,不用改一行代码就能加速 FP32 训练。

  FP8 把 8 个比特掰成两份用(Micikevicius et al., 2022,arXiv:2209.05433):E4M3 精度优先,给权重与激活;E5M2 范围优先,给梯度。E4M3 还做了个小手术:不表示无穷大、NaN 只留一个编码,把省下的位型换成正常数值,上限从 240 抬到 448。2024 年底的 DeepSeek-V3 首次在 671B 的超大规模 MoE 模型上验证了 FP8 混合精度训练:全程统一用 E4M3,靠细粒度缩放(激活按 1×128 小块、权重按 128×128 方块各自配缩放因子)和更高精度的累加弥补范围不足,敏感算子(Embedding、输出头、归一化)则保留高精度。

  为什么范围比精度更「要命」?精度不足只是每个数带一点噪声,网络对噪声有免疫力;范围不足是灾难性的——大数变 inf、小数变 0,信息直接清零。这就是 BF16 敢把尾数砍到 7 位、却不敢动指数位的原因。

7.4.2 混合精度三件套:主权重、损失缩放、黑白名单

  知道了 FP16 的短板,2017 年 NVIDIA 与百度的联合论文《Mixed Precision Training》(Micikevicius et al., arXiv:1710.03740)给出了系统解法。当时的痛点很具体:Volta 架构 Tensor Core 的 FP16 矩阵乘吞吐数倍于 FP32,显存还省一半,但直接全 FP16 训练,精度会掉。论文的做法不是单点修补,而是一套三件套,每件堵一个坑:

① 主权重 master weights

参数始终保存一份 FP32 主副本,堵「更新量被舍入吞掉」。

② 损失缩放 loss scaling

反传前把 loss 乘一个大常数,堵「梯度下溢成 0」。

③ 算子黑白名单

矩阵乘走半精度、敏感算子留 FP32,堵「算子数值失真」。

  坑一:参数更新量太小,半精度存不住。AdamW 一步的更新量(学习率乘梯度)往往比参数本身小几个数量级;FP16 的相邻数间隔约 \(10^{-3}\),一个取值为 1 的参数,小于 \(10^{-3}\) 的更新直接被舍入吞掉——参数原地踏步,白算一步。解法是让参数始终保存一份 FP32 主副本(master weights):前向反向时临时转成 FP16 参与计算,梯度转回 FP32 后才落到主副本上。显存多一份参数副本,换来更新不丢。

  坑二:梯度下溢。FP16 能表示的最小正数(次正规)约 \(6 \times 10^{-8}\),训练中后期大量梯度比这还小,反传回来一片 0,对应参数永远学不到东西。解法出奇地便宜:反传之前,把 loss 先乘一个大常数 \(S\):

\[ g_{\mathrm{scaled}} = \frac{\partial (S\,\mathcal{L})}{\partial \theta} = S \cdot \frac{\partial \mathcal{L}}{\partial \theta} = S \cdot g \tag{2} \]
公式 (2):链式法则是线性的——loss 放大 \(S\) 倍,所有梯度自动跟着放大 \(S\) 倍,不用碰任何网络结构。符号说明:\(\mathcal{L}\) 是原始损失;\(S\) 是缩放因子(常取 2 的幂,如 \(2^{16} = 65536\),乘 2 的幂在二进制浮点下不产生舍入误差);\(\theta\) 是模型参数;\(g\) 是原始梯度;\(g_{\mathrm{scaled}}\) 是放大后的梯度。反传完成后、更新参数前,再把梯度除以 \(S\) 原样还回,数学上与从未缩放完全等价。

  \(S\) 取多大没有先验答案:取小了救不回下溢,取大了反而制造溢出。实践用动态损失缩放,规则一句话——宁大勿小、出事就退:

\[ S_{t+1} = \begin{cases} S_t / 2, & \text{本步梯度出现 inf/NaN(并跳过本次更新)} \\[4pt] 2\,S_t, & \text{连续 } N \text{ 步无溢出} \\[4pt] S_t, & \text{其余情况} \end{cases} \tag{3} \]
公式 (3):动态缩放让 \(S\) 贴着「够用且不溢出」的水位自动巡航。符号说明:\(S_t\) 是第 \(t\) 步的缩放因子;\(N\) 是连续无溢出步数的阈值(PyTorch 默认 2000 步,初始 \(S\) 默认 65536)。「跳过本次更新」不是浪费:溢出说明这一步的梯度已经不可信,硬更新反而把参数带飞。

  PyTorch 的 GradScaler 就是这套算法的现成实现:scale → unscale_ → step → update 四连调用,溢出检测、减半、翻倍全自动。minimind 里的具体用法见 trainer/train_pretrain.py。

  坑三:不是所有算子都适合半精度。矩阵乘是吞吐大头、对输入精度不敏感,而且乘加可以用 FP32 累加,适合半精度;softmax、LayerNorm 这类含指数、开方、大归约的算子数值敏感,保留 FP32 才稳。这就是算子黑白名单:论文时代要手工指定,今天 PyTorch 的 autocast 内置了名单——with autocast_ctx: 包住的区域里,matmul/conv/linear 自动落到半精度,softmax、layer_norm、cross_entropy 等自动留在 FP32,分流由框架完成。

  易错点:不要把 model.half() 当混合精度。把整个模型直接转半精度,等于三件套全丢——参数没了 FP32 主副本,敏感算子也掉进半精度,轻则精度掉点,重则 loss 起飞。正确姿势是模型保持 FP32,只用 autocast 包住 forward,让框架按黑白名单自动分流。

  混合精度的哲学是一笔分工账:计算过程(矩阵乘)用半精度求快求省,落账环节(参数、归一化、概率归一)用 FP32 求稳。算得快与训得稳不矛盾,前提是别让 16 位浮点去碰它处理不了的数值。

7.4.3 训练稳定性实战:loss spike 与急救手册

  数值精度只是稳定性的一半战场。就算混合精度配得天衣无缝,大模型训练中途仍可能出事:平稳下降的 loss 曲线突然蹿起一根尖刺,有时自己回落,有时一路发散到 NaN。这就是 6.2、6.3 都点到过的 loss spike。模型越大越常见:PaLM 训练 540B 时,即使开着梯度裁剪,仍观察到约 20 次 spike,时间点毫无规律,训练后期也会冒出来。

loss spike 损失尖刺 spike = 尖刺,loss 曲线上的突然蹿升

训练 loss 在个别 step 突然放大几倍、甚至变成 NaN 的现象。诱因通常不是单一的:异常数据、学习率与参数状态的共振、底层硬件抖动都可能有份,很难提前预测。

就像长跑时突然崴了一下脚:多数时候缓两步能继续跑,但崴狠了(loss 站上新高位甚至 NaN)就得退回去,从上一个状态完好的位置重跑这一段。

  spike 怎么救?PaLM 论文给出的答案朴素得出人意料,却已是业界事实标准——不治本,先绕过:发现 spike 后,从 spike 开始前约 100 步的 checkpoint 重启训练,并跳过约 200–500 个覆盖事故现场的 batch。处理过的 spike 没有在同一位置复发。

  为什么跳过数据有用?PaLM 团队做过关键消融:把 spike 现场附近的那批数据,换一个更早的 checkpoint 重新喂进去,结果不再 spike。这说明 spike 并不是「这批数据有毒」,而是特定的数据 batch 撞上特定的参数状态才会引爆——就像同一级台阶,只有脚步落在某个特定角度才会崴脚。所以回滚加跳批有效:换一批数据,等于换一种脚步落点。

原创示意图 · 非论文原图 loss 训练步数 step ① 健康 checkpoint spike 前约 100 步 ② loss spike 突刺 回滚 ③ 跳过可疑 batch 约 200–500 个 ④ 换一段数据续训,回到下降轨道
图 4:PaLM 式 spike 处置流程——发现 loss 突刺后,回到 spike 前约 100 步的健康 checkpoint,跳过覆盖事故现场的 200–500 个 batch,换一段数据继续训练。

  如果说 PaLM 的记录是「成功处置案例」,Meta 的 OPT-175B 就是一份「事故现场全记录」。论文连同 100 余页训练日志(logbook)一起公开:992 块 A100 上约两个月的训练里,硬件故障贡献了至少 35 次手动重启、轮换超过 100 台主机;loss spike、梯度爆炸、中途调整优化方案,全都记在日志里。这份日志至今是理解大规模训练工程现实的最佳一手材料:大模型训练需要持续监控,并由工程人员处理故障和异常。

  急救之外,更重要的是事前少出事。三道保险的前两道在 6.2 已经细讲过,这里只点出它们与稳定性的关系:

  • 梯度裁剪:把全局梯度范数压回阈值内(惯例 1.0),个别 batch 的异常大梯度不至于一步把参数带飞,是 spike 的第一道防线。注意 PaLM 开着它仍出了约 20 次 spike,可见它只是减伤,不是免疫。
  • LR warmup:开局几百到几千步学习率从 0 线性爬升,避开参数随机、Adam 统计量未攒够时大步乱走的危险期(细节见 6.2.2)。
  • 初始化尺度:权重初始方差要随层宽缩放,惯例是 fan-in 初始化 \(W \sim \mathcal{N}(0, 1/\sqrt{n_{\mathrm{in}}})\)(\(n_{\mathrm{in}}\) 是该层的输入维度),让前向激活与反向梯度的方差在各层保持稳定。初始方差过大,激活逐层膨胀,训练开局就炸,warmup 也救不回来。

  PaLM 还用了几个架构级的稳定化手段:所有线性层与 LayerNorm 不用偏置(no biases);\(\beta_2\) 不取常数 0.99,而是按 \(1 - k^{-0.8}\) 随步数 \(k\) 逐渐变大;外加一项 z_loss 辅助损失(\(10^{-4} \cdot \log^2 Z\),\(Z\) 是 softmax 的归一化常数),把 logits 的整体尺度往 0 拉,抑制其无节制膨胀。这些细节说明:稳定性是初始化、优化器、架构、数值格式一起凑出来的系统工程。

  大模型训练的稳定性没有银弹:事前靠初始化尺度、warmup、梯度裁剪压低出事概率,事中靠混合精度的数值纪律不添乱,事后靠勤存 checkpoint 加回滚跳批快速复活。三层合起来,才把「万亿 token 不翻车」从运气变成工程。

🧭本节要点回顾
FP16 和 BF16 同为 16 位,为什么 LLM 预训练默认 BF16?
FP16 尾数多 3 位,但指数只有 5 位:上限 65504、最小约 \(6 \times 10^{-8}\),训练中上溢下溢都常见,必须配 loss scaling。BF16 指数与 FP32 同为 8 位,范围原样保留;精度虽只剩约两位十进制,但网络对尾数噪声远比对溢出宽容,连 scaler 都可以省掉。
混合精度三件套各自堵的是哪个坑?
主权重 FP32 堵「参数更新量太小被舍入吞掉」;loss scaling 堵「梯度下溢成 0」(loss 乘 \(S\)、反传后除以 \(S\) 还原,溢出就减半跳过);黑白名单堵「敏感算子失真」——矩阵乘走半精度,softmax、LayerNorm 留 FP32。
训练中遇到 loss spike 的标准处置流程是什么?
从 spike 前约 100 步的健康 checkpoint 重启,跳过覆盖事故现场的 200–500 个 batch 再续训(PaLM 方案)。消融表明 spike 是特定数据撞上特定参数状态的组合事故,换批数据即可避开;同时检查学习率,必要时调低。

参考来源

  • Micikevicius et al., 2017. Mixed Precision Training(混合精度训练原始论文,arXiv:1710.03740,ICLR 2018):FP32 主权重、损失缩放、FP32 累加三件套的出处。
  • Micikevicius et al., 2022. FP8 Formats for Deep Learning(arXiv:2209.05433,NVIDIA/Arm/Intel 联合提案):E4M3/E5M2 编码设计、各自适用范围(E4M3 给权重与激活、E5M2 给梯度)与 per-tensor 缩放;E4M3 上限 448、E5M2 上限 57344 出自该文 Table 1。
  • Kalamkar et al., 2019. A Study of BFLOAT16 for Deep Learning(arXiv:1905.12322):BF16 训练精度的系统研究。
  • NVIDIA, 2020. Accelerating AI Training with NVIDIA TF32 Tensor Cores(NVIDIA 开发者博客):TF32 格式与 Ampere Tensor Core 的官方说明。
  • Chowdhery et al., 2022. PaLM: Scaling Language Modeling with Pathways(arXiv:2204.02311):§5.1 约 20 次 loss spike 与「回滚约 100 步、跳过 200–500 个 batch」策略及消融结论;§5 的 fan-in 初始化、z_loss、无偏置、\(\beta_2\) 调度等稳定化手段。
  • Zhang et al., 2022. OPT: Open Pre-trained Transformer Language Models(arXiv:2205.01068)及随附 100 余页训练 logbook:992 块 A100、约两个月内至少 35 次手动重启、轮换超 100 台主机的硬件故障记录。
  • DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437):§3.3 FP8 混合精度训练——全程 E4M3、细粒度缩放(激活 1×128 tile、权重 128×128 block)与高精度累加。
  • PyTorch 官方文档:torch.cuda.amp(autocast 算子黑白名单;GradScaler 默认参数 init_scale=65536、growth_interval=2000、growth/backoff 为 2.0/0.5)。
  • minimind 工程(Apache 2.0 协议):trainer/train_pretrain.py,行号以本工程实读版本为准。