6.2 优化器与超参数:万亿 token 怎么喂
本页范围:第 6 章第 2 节 | 整理时间:2026-09-29
6.1 节把预训练的目标定下来了:下一个 token 预测,损失函数是交叉熵。但损失只是写在考卷上的分数,真正把分数提上去的动作——每个参数每一步往哪个方向走、走多远——由优化器和学习率决定。预训练要消耗数千亿甚至上万亿 token,同样的数据,喂的节奏不同,训出来的模型天差地别;而一次大模型训练的算力开销以百万美元计,没有团队承受得起「超参调错、推倒重来」。
本节沿三个问题展开:每一步怎么走(优化器如何从 SGD 进化到 AdamW)、步子随时间怎么变(学习率的完整一生)、不同规模的模型怎么配超参(摆在一起算总账)。路线图如下:
- 从 SGD 到 AdamW:优化器的三次进化(6.2.1):动量治震荡、自适应治一刀切、解耦衰减治 L2 失真,三步拼出现代 LLM 的标配优化器;
- 学习率的一生:warmup 与 cosine 衰减(6.2.2):开局慢给油、中期全速赶路、末期平滑减速,配一张原创的学习率曲线图(图 3);
- 超参总账:GPT-3 与 minimind 对照(6.2.3):把 GPT-3 175B 和本工程 minimind 的全套超参摆进同一张表,看骨架的一致与量级的差异;
- 超参与模型规模的联动直觉(6.2.4):为什么模型越大学习率越小、batch 越大,架构侧的 Pre-LN 与优化侧的稳定手段如何互相成就。
读完本节,你应该能看懂任何一个开源 LLM 训练脚本里的 optimizer 配置块,并说出每个数字为什么是这个量级。
图 1 标出预训练在 LLM 生命周期中的位置,图 2 展示 AdamW 与学习率调度这两个主要调节对象。
图 1 里这个紫框放大之后,里面最关键的一只旋钮长什么样?把学习率在一次训练中的完整一生单独拆开看:
6.2.1 从 SGD 到 AdamW:优化器的三次进化
把训练想象成蒙眼下山:你看不到整座山的形状,只能蹲在原地摸一圈地面,朝最陡的下坡方向迈一步,再摸一圈,再迈一步。这就是最原始的优化器——随机梯度下降(SGD):
裸 SGD 有两个经典毛病。一是峡谷震荡:损失曲面常常像一条狭长的峡谷,两侧坡度陡、谷底坡度缓,沿最陡方向迈步会在两侧崖壁之间来回弹跳,前进缓慢。二是一刀切:所有参数共用同一个学习率,可有的参数梯度常年很大,有的参数几步才等来一次梯度(比如稀疏特征对应的 Embedding 行),同一个步长对前者太冒进、对后者太保守。
第一次进化针对震荡,给下山的小球加上惯性:
把参数更新想象成滚下山的雪球:每次的梯度只是轻轻推一把,雪球的实际速度是历次推力的累积。峡谷两侧的震荡推力方向相反、互相抵消,沿谷底的前进推力方向一致、越滚越快,小坑小包直接碾过去。
动量治好了震荡,一刀切的步长还在。2015 年 Kingma 和 Ba 提出的 Adam 补上了这一刀:给每个参数单独配一台「自动变速器」,不再全员共用一个学习率。
Adam 的名字来自 Adaptive Moment Estimation(自适应矩估计),「矩」就是统计学里的均值与方差,对应上面的 \(m\) 与 \(v\)。它很快成为深度学习的事实标准,直到今天,几乎所有 LLM 的预训练都用 Adam 或其变体。
GPT-3 用 \(\beta_2 = 0.95\) 而非当时的常见默认 0.999,论文没有解释原因。此后 Llama、OLMo 等大量模型沿用了 0.95,它已成 LLM 预训练的事实标准——更短的二阶动量窗口让自适应缩放更快跟上梯度的当前尺度。
第三次进化要修的是「减肥失灵」。训练大模型通常要配合权重衰减(weight decay)防止参数无节制膨胀。在 Adam 里,老做法是把衰减项 \(\lambda\theta\) 加进梯度(数学上等价于 L2 正则),跟着梯度一起进 \(m\)、\(v\)。问题来了:这份衰减会被 \(\sqrt{\hat{v}}\) 除一遍——梯度大的参数衰减被稀释,梯度小的参数衰减被放大,每个参数实际受到的衰减力度参差不齐,和「按参数大小均匀收税」的初衷完全走样。
每次更新后,把所有参数乘以一个小于 1 的系数(如 \(1 - \eta\lambda\)),抑制参数无节制膨胀,是一种轻量正则。它鼓励模型用更小的权重完成任务,泛化往往更好。
Loshchilov 和 Hutter 在 2019 年提出的 AdamW 给出了干净的解法:把权重衰减从梯度里拿出来,不经过 \(m\)、\(v\) 的滑动平均和自适应缩放,单独施加在参数上:
易错点:「Adam + L2 正则」和 AdamW 不是一回事:前者的衰减项被 \(\sqrt{\hat{v}}\) 逐参数缩放,后者的衰减与梯度完全解耦。Loshchilov & Hutter 的实验表明这个看似微小的改动对泛化有实质影响,此后 AdamW 取代 Adam 成为 LLM 训练的默认选项。
一句话总结三次进化:动量让更新带上惯性,二阶动量给每个参数自动调挡,解耦衰减让正则按原意执行。三样合起来,就是今天打开任何一份 LLM 训练代码都会看到的 AdamW。
6.2.2 学习率的一生:warmup 与 cosine 衰减
优化器定了「怎么走」,学习率定「走多远」。但一个固定的学习率撑不起整场训练,主流做法是让学习率走完一段完整的一生:出生(warmup 线性爬升)、壮年(峰值赶路)、暮年(cosine 平滑衰减)。
直觉用开车来建立:起步时慢给油,速度起来了再全速巡航,快到目的地提前减速入位。对应到训练:开局时参数是随机数,梯度又大方向又乱,Adam 的动量统计量还没攒够,步长估计最不可靠,此刻迈大步容易一脚踩空——实践中,大模型省略 warmup 直接在峰值学习率开局,常在最初几百步就 loss 爆炸甚至 NaN。训练末期则相反:损失已经接近谷底,需要小碎步精细收敛,大步只会在谷底上方反复横跳。
要读懂这条曲线,先明确学习率的物理含义:它是参数每一步沿梯度方向实际走出的距离。把损失曲面想成一片山谷,训练就是下山到谷底的过程——离谷底远时坡面开阔,大步快走也安全;越接近谷底谷身越窄,步子一大就会从左壁跨到右壁。这条曲线的每个阶段,都是步幅与当前地形的匹配。
峰值阶段的含义是「方向可信、离目标尚远,用最大安全步幅赶路」。闯过 warmup 后,Adam 的梯度统计已经攒稳,更新方向可信;而此时参数离好解还远,梯度大且相邻几步的方向高度一致,每一步走得越远,loss 掉得越快。余弦拱形在峰值附近故意平缓,就是要让这个最高效的赶路段多持续一会儿——线性一降到底则刚过峰值就开始收步,等于提前放弃了最出活的阶段。
中段压小的含义是「谷变窄了,步幅必须跟着收」。接近谷底时谷身收窄,原来的大步开始跨谷:这一步冲上左壁、下一步弹回右壁,loss 围着沟底震荡沉不下去。更麻烦的是,梯度靠一个 batch 采样估计,天然带噪声;离最优点越近,真实信号越弱、噪声占比越高,大步长会把噪声一并放大。余弦中段最陡,恰好在这里快速收步,把步幅压到与窄谷匹配的尺寸。
收尾放缓、落到小碎步的含义是「精调」。此时参数已在谷底附近,任务是让它在 batch 噪声中平均到一个稳定位置:步幅足够小,噪声抖动的幅度才足够小,参数才能沉进谷底最深处;若学习率偏大,参数会在底面上方永远弹跳,loss 卡在一个「噪声地板」上再也降不动。小碎步还有个附带收益:参数更可能停在平坦宽阔的谷里,而平坦的极小值泛化更好。用高尔夫打比方:距洞三百码用开球杆全力挥(峰值赶路),上果岭后换推杆轻推(收尾碎步),目标越近动作越细。所以 cosine 的优势在于形状与这个过程对齐:峰值平缓多赶路、中段陡降快收步、尾段放缓细精调。GPT-3 的方案就是公式 (5) 的实例:线性 warmup 覆盖前 3.75 亿 token,随后用 2600 亿 token 按 cosine 衰减到峰值的 10%,之后保持在 10% 继续训练到结束。
注意:warmup 不是装饰。大模型训练中省略它,开局阶段的巨大梯度加上尚未攒够的 Adam 统计量,很容易在最初几百步就把 loss 打飞(爆炸或 NaN)。模型越大越不能省。
一句话总结:学习率的管理哲学是「先稳、再冲、后收」——warmup 防开局翻车,峰值负责赶路,cosine 负责平稳收工。
6.2.3 超参总账:GPT-3 与 minimind 对照
配方讲完,把两本真实账簿摆在一起:一本是 1750 亿参数的 GPT-3(论文附录 B 与表 2.1),一本是本工程自带、个人显卡就能跑的 minimind(预训练脚本默认值)。两者参数规模差约三个数量级,逐项对照如下:
| 超参 | GPT-3(175B) | minimind(预训练默认) |
|---|---|---|
| 优化器 | Adam | AdamW(PyTorch 版) |
| \(\beta_1, \beta_2\) | 0.9, 0.95 | 0.9, 0.999(PyTorch 默认) |
| \(\epsilon\) | \(10^{-8}\) | \(10^{-8}\)(PyTorch 默认) |
| 权重衰减 | 0.1 | 0.01(PyTorch 默认) |
| 峰值学习率 | \(0.6 \times 10^{-4}\) | \(5 \times 10^{-4}\) |
| 学习率调度 | 线性 warmup(3.75 亿 token)→ cosine 衰减到 10%(2600 亿 token)→ 保持 10% | 纯 cosine:从峰值直接衰减到 10%,无 warmup |
| 梯度裁剪 | 全局范数裁剪到 1.0 | 全局范数裁剪到 1.0 |
| 每步 token 数 | 从 3.2 万逐步加大到 320 万 | 32 条 × 8 步累积 × 340 长 ≈ 8.7 万 |
逐项读这张表,能读出两层信息。先看「不一样」:峰值学习率差了将近 10 倍,每步 token 数差了约 40 倍,权重衰减差 10 倍——量级全面拉开,这正是 6.2.4 要解释的联动规律。再看「一样」的部分:两边都是 Adam 家族、都把梯度范数裁剪到 1.0、都用 cosine 衰减到峰值的 10%。
从个人显卡上的玩具模型到 175B 的 GPT-3,优化配置的基本结构一致:Adam 家族优化器 + cosine 衰减到峰值 10% + 全局梯度裁剪 1.0。变化的是随规模调整的学习率与 batch 等参数,基本结构保持不变。这套配置已是现代 LLM 预训练的事实标准。
minimind 的调度没有 warmup:它的 get_lr 从峰值直接开始 cosine 衰减。几十 M 的小模型开局梯度折腾不出大浪,省掉 warmup 也稳;这正是「模型越小、配方越可以粗放」的一个例子。
6.2.4 超参与模型规模的联动直觉
对照表里「量级全面拉开」不是巧合,GPT-3 论文表 2.1 给出的八个模型,把这条规律画得清清楚楚:
| 模型 | 参数量 | 峰值学习率 | 每步 token 数 |
|---|---|---|---|
| GPT-3 Small | 125M | \(6.0 \times 10^{-4}\) | 50 万 |
| GPT-3 XL | 1.3B | \(2.0 \times 10^{-4}\) | 100 万 |
| GPT-3 13B | 13B | \(1.0 \times 10^{-4}\) | 200 万 |
| GPT-3(完整版) | 175B | \(0.6 \times 10^{-4}\) | 320 万 |
参数量每上一个台阶,峰值学习率就降一档,batch 就抬一档。直觉上怎么理解?
大模型用小学习率。层数越深、参数越多,一步更新引起的损失变化越容易被逐层放大,同样的步子在大模型身上摔得更重。通行的经验解释是:规模越大,损失曲面越「陡」,必须换更小的步子走。好比船越大,舵打得越缓——万吨巨轮不能用快艇的舵速转向。
大模型用大 batch。batch 越大,梯度估计越准,能支撑更精细的后期更新;工程上,也只有足够大的 batch 才能喂饱成千上万的 GPU。GPT-3 还用了 batch 爬坡:开局只用 3.2 万 token 的小 batch,在前几十亿 token 内逐步加大到满额。OpenAI 团队更早的实证研究给出过解释:训练前期模型变化快,小 batch 的梯度噪声尚可容忍;越到后期,越需要大 batch 压低噪声(McCandlish et al., 2018)。
架构与优化是同一场战争的两条战线。5.1 节讲过 Pre-LN:把归一化挪到残差支路里,给梯度留一条恒等通路,是架构侧的稳定手段;本节的 warmup、梯度裁剪、随规模调低学习率,是优化侧的稳定手段。两边合力,才撑得起上百层的网络、几千亿 token 的长跑——梯度稳了,才敢把层数堆深、把 batch 开大。
即便如此,大模型训练依然常见 loss spike:平稳下降的 loss 曲线突然窜起一根尖刺,处理不当会一路发散。实践中的急救三招是回滚到上一个健康 checkpoint、跳过可疑的异常 batch、临时调低学习率。这些稳定性话题连同分布式并行、混合精度一起,留到 6.3 节和第 7 章展开。
参考来源
- Kingma & Ba, 2015. Adam: A Method for Stochastic Optimization(Adam 原始论文,arXiv:1412.6980,ICLR 2015)。
- Loshchilov & Hutter, 2019. Decoupled Weight Decay Regularization(AdamW 原始论文,arXiv:1711.05101,ICLR 2019)。
- Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3,arXiv:2005.14165;优化器与学习率细节见附录 B,各规模超参见表 2.1)。
- McCandlish et al., 2018. An Empirical Model of Large-Batch Training(batch 爬坡与梯度噪声尺度的实证研究,arXiv:1812.06162)。
- minimind 工程代码:
trainer/train_pretrain.py、trainer/trainer_utils.py(Apache 2.0 协议)。