6.2 优化器与超参数:万亿 token 怎么喂

本页范围:第 6 章第 2 节 | 整理时间:2026-09-29

快速浏览

核心问题损失函数只给出「考卷分数」,谁来决定每个参数每一步往哪走、走多远?数千亿 token 的预训练,该按什么节奏一口一口喂给模型?
本节主张现代 LLM 预训练的优化方案高度收敛:AdamW 负责「每一步怎么走」,线性 warmup 加 cosine 衰减的学习率调度负责「步子随时间怎么变」,梯度裁剪兜底防爆炸;随模型规模变化的只是量级,骨架不变。
一句话结论AdamW + 线性 warmup + cosine 衰减到峰值 10% + 全局梯度裁剪 1.0,这套配方的骨架从几十 M 的玩具模型到 175B 的 GPT-3 通用——具体组件可按规模取舍(GPT-3 用 Adam,minimind 无 warmup,见 6.2.3 对照表),大模型与小模型的差别主要是学习率更小、batch 更大。
关键词
SGD动量AdamAdamWwarmupcosine 衰减梯度裁剪超参数

  6.1 节把预训练的目标定下来了:下一个 token 预测,损失函数是交叉熵。但损失只是写在考卷上的分数,真正把分数提上去的动作——每个参数每一步往哪个方向走、走多远——由优化器和学习率决定。预训练要消耗数千亿甚至上万亿 token,同样的数据,喂的节奏不同,训出来的模型天差地别;而一次大模型训练的算力开销以百万美元计,没有团队承受得起「超参调错、推倒重来」。

  本节沿三个问题展开:每一步怎么走(优化器如何从 SGD 进化到 AdamW)、步子随时间怎么变(学习率的完整一生)、不同规模的模型怎么配超参(摆在一起算总账)。路线图如下:

  1. 从 SGD 到 AdamW:优化器的三次进化(6.2.1):动量治震荡、自适应治一刀切、解耦衰减治 L2 失真,三步拼出现代 LLM 的标配优化器;
  2. 学习率的一生:warmup 与 cosine 衰减(6.2.2):开局慢给油、中期全速赶路、末期平滑减速,配一张原创的学习率曲线图(图 3);
  3. 超参总账:GPT-3 与 minimind 对照(6.2.3):把 GPT-3 175B 和本工程 minimind 的全套超参摆进同一张表,看骨架的一致与量级的差异;
  4. 超参与模型规模的联动直觉(6.2.4):为什么模型越大学习率越小、batch 越大,架构侧的 Pre-LN 与优化侧的稳定手段如何互相成就。

  读完本节,你应该能看懂任何一个开源 LLM 训练脚本里的 optimizer 配置块,并说出每个数字为什么是这个量级。

  图 1 标出预训练在 LLM 生命周期中的位置,图 2 展示 AdamW 与学习率调度这两个主要调节对象。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (本节内容) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:预训练在 LLM 生命周期中的位置。训练数据(第 1 章)备好后进入预训练(本章,紫框):在海量语料上做自监督学习,把文本规律压进参数;配套的并行、精度与稳定性工程在第 7 章,之后的中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章)、推理与部署(第 12–13 章)在对应章节展开。目标定了之后,这一站还要回答每个参数每一步怎么走——AdamW 优化器管方向,warmup 加 cosine 的学习率调度管步长。

  图 1 里这个紫框放大之后,里面最关键的一只旋钮长什么样?把学习率在一次训练中的完整一生单独拆开看:

原创示意图 · 非论文原图 局部放大:学习率的一生——短 warmup 冲高,长 cosine 收尾 纵轴学习率 η,横轴训练进度;预热段只占极短一截,衰减段才是主体(曲线对应 6.2.2 公式 (5)) 峰值 η_max(GPT-3:0.6×10⁻⁴;minimind:5×10⁻⁴) 收尾水位 0.1·η_max η 训练进度 ① warmup:线性爬升 通常几百到几千步 ② cosine 衰减:平滑降到 10% GPT-3:warmup 3.75 亿 token → cosine 2600 亿 token 降到 10%,随后保持 10% 训完 minimind:无 warmup,从峰值 5×10⁻⁴ 直接 cosine 降到 10%(6.2.3 对照表)
图 2:学习率在一次预训练中的完整一生。开局一小段线性 warmup(几百到几千步,GPT-3 覆盖前 3.75 亿 token)把学习率推到峰值,随后长段 cosine 衰减(GPT-3 横跨 2600 亿 token)平滑降到峰值的 10%;minimind 更粗放,无 warmup、从 5×10⁻⁴ 直接 cosine 衰减(6.2.3)。峰值绝对值随模型规模变化,这条「短冲长收」的曲线形状是跨规模通用的。

6.2.1 从 SGD 到 AdamW:优化器的三次进化

  把训练想象成蒙眼下山:你看不到整座山的形状,只能蹲在原地摸一圈地面,朝最陡的下坡方向迈一步,再摸一圈,再迈一步。这就是最原始的优化器——随机梯度下降(SGD):

\[ \theta_{t+1} = \theta_t - \eta\, g_t \tag{1} \]
公式 (1):每一步沿梯度的反方向走一小步,是全部优化器的共同骨架。符号说明:\(\theta_t\) 是第 \(t\) 步的模型参数(把全部参数看成一个向量);\(g_t\) 是这一步的 batch 上算出的损失对参数的梯度,指向损失上升最快的方向,所以前面带负号;\(\eta\) 是学习率(learning rate),决定这一步走多远。

  裸 SGD 有两个经典毛病。一是峡谷震荡:损失曲面常常像一条狭长的峡谷,两侧坡度陡、谷底坡度缓,沿最陡方向迈步会在两侧崖壁之间来回弹跳,前进缓慢。二是一刀切:所有参数共用同一个学习率,可有的参数梯度常年很大,有的参数几步才等来一次梯度(比如稀疏特征对应的 Embedding 行),同一个步长对前者太冒进、对后者太保守。

  第一次进化针对震荡,给下山的小球加上惯性:

\[ v_t = \beta\, v_{t-1} + g_t, \qquad \theta_{t+1} = \theta_t - \eta\, v_t \tag{2} \]
公式 (2):不再直接踩梯度,而是踩梯度的滑动平均——方向一致的步子越滚越大,来回震荡的分量彼此抵消。符号说明:\(v_t\) 是动量(momentum),即梯度的指数滑动平均,\(v_0\) 初始为 0;\(\beta\) 是动量系数(常取 0.9),越接近 1 记忆越久;\(\theta_t\)、\(\eta\)、\(g_t\) 含义同公式 (1)。
动量 Momentum momentum = 物理里的「动量」,让更新方向带上惯性

把参数更新想象成滚下山的雪球:每次的梯度只是轻轻推一把,雪球的实际速度是历次推力的累积。峡谷两侧的震荡推力方向相反、互相抵消,沿谷底的前进推力方向一致、越滚越快,小坑小包直接碾过去。

就像骑自行车冲过减速带:车速(动量)够快时,路面的细小颠簸(梯度噪声)影响不了前进方向。

  动量治好了震荡,一刀切的步长还在。2015 年 Kingma 和 Ba 提出的 Adam 补上了这一刀:给每个参数单独配一台「自动变速器」,不再全员共用一个学习率。

\[ m_t = \beta_1 m_{t-1} + (1-\beta_1)\, g_t, \qquad v_t = \beta_2 v_{t-1} + (1-\beta_2)\, g_t^{2} \] \[ \hat{m}_t = \frac{m_t}{1-\beta_1^{t}}, \qquad \hat{v}_t = \frac{v_t}{1-\beta_2^{t}} \] \[ \theta_{t+1} = \theta_t - \eta\, \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} \tag{3} \]
公式 (3):Adam 的更新分三步——攒方向、攒尺度、相除得步长。第一行:\(m_t\) 是一阶动量,即梯度的滑动平均,回答「该往哪走」;\(v_t\) 是二阶动量,即梯度平方的滑动平均,回答「这个参数的梯度通常有多大」。第二行:\(m_t\) 和 \(v_t\) 从 0 起步,开头几步天然偏小,除以 \(1-\beta^{t}\) 把这份初始偏置校正回来(bias correction)。第三行:实际更新,梯度一贯大的参数 \(\sqrt{\hat{v}_t}\) 大、步长自动调小,梯度稀疏微弱的参数步长相对放大。符号说明:\(\beta_1\) 常取 0.9;\(\beta_2\) 在现代 LLM 中常取 0.95(GPT-3 即如此),PyTorch 默认 0.999;\(\epsilon\) 是防除零的小常数,常取 \(10^{-8}\);每个参数都独立维护一份 \(m\) 和 \(v\),所以「自适应」是逐参数的。

  Adam 的名字来自 Adaptive Moment Estimation(自适应矩估计),「矩」就是统计学里的均值与方差,对应上面的 \(m\) 与 \(v\)。它很快成为深度学习的事实标准,直到今天,几乎所有 LLM 的预训练都用 Adam 或其变体。

  GPT-3 用 \(\beta_2 = 0.95\) 而非当时的常见默认 0.999,论文没有解释原因。此后 Llama、OLMo 等大量模型沿用了 0.95,它已成 LLM 预训练的事实标准——更短的二阶动量窗口让自适应缩放更快跟上梯度的当前尺度。

  第三次进化要修的是「减肥失灵」。训练大模型通常要配合权重衰减(weight decay)防止参数无节制膨胀。在 Adam 里,老做法是把衰减项 \(\lambda\theta\) 加进梯度(数学上等价于 L2 正则),跟着梯度一起进 \(m\)、\(v\)。问题来了:这份衰减会被 \(\sqrt{\hat{v}}\) 除一遍——梯度大的参数衰减被稀释,梯度小的参数衰减被放大,每个参数实际受到的衰减力度参差不齐,和「按参数大小均匀收税」的初衷完全走样。

权重衰减 Weight Decay weight decay = 每一步把参数按固定比例往 0 拉一点

每次更新后,把所有参数乘以一个小于 1 的系数(如 \(1 - \eta\lambda\)),抑制参数无节制膨胀,是一种轻量正则。它鼓励模型用更小的权重完成任务,泛化往往更好。

就像对参数「收房产税」:资产(权重)越大,每期交的税越多,没本事持续创收(持续获得梯度支持)的参数会被慢慢削平。

  Loshchilov 和 Hutter 在 2019 年提出的 AdamW 给出了干净的解法:把权重衰减从梯度里拿出来,不经过 \(m\)、\(v\) 的滑动平均和自适应缩放,单独施加在参数上:

\[ \theta_{t+1} = \theta_t - \eta\, \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} - \eta\, \lambda\, \theta_t \tag{4} \]
公式 (4):AdamW 与「Adam + L2」的唯一区别在最后一项——衰减不再混进梯度被 \(\sqrt{\hat{v}_t}\) 缩放,而是直接按比例从参数上扣掉。符号说明:\(\lambda\) 是权重衰减系数(GPT-3 用 0.1);\(-\eta\lambda\theta_t\) 就是解耦的衰减项,参数越大扣得越多,与梯度统计量完全无关;其余符号同公式 (3)。

  易错点:「Adam + L2 正则」和 AdamW 不是一回事:前者的衰减项被 \(\sqrt{\hat{v}}\) 逐参数缩放,后者的衰减与梯度完全解耦。Loshchilov & Hutter 的实验表明这个看似微小的改动对泛化有实质影响,此后 AdamW 取代 Adam 成为 LLM 训练的默认选项。

  一句话总结三次进化:动量让更新带上惯性,二阶动量给每个参数自动调挡,解耦衰减让正则按原意执行。三样合起来,就是今天打开任何一份 LLM 训练代码都会看到的 AdamW。

6.2.2 学习率的一生:warmup 与 cosine 衰减

  优化器定了「怎么走」,学习率定「走多远」。但一个固定的学习率撑不起整场训练,主流做法是让学习率走完一段完整的一生:出生(warmup 线性爬升)、壮年(峰值赶路)、暮年(cosine 平滑衰减)。

  直觉用开车来建立:起步时慢给油,速度起来了再全速巡航,快到目的地提前减速入位。对应到训练:开局时参数是随机数,梯度又大方向又乱,Adam 的动量统计量还没攒够,步长估计最不可靠,此刻迈大步容易一脚踩空——实践中,大模型省略 warmup 直接在峰值学习率开局,常在最初几百步就 loss 爆炸甚至 NaN。训练末期则相反:损失已经接近谷底,需要小碎步精细收敛,大步只会在谷底上方反复横跳。

\[ \eta_t = \begin{cases} \eta_{\max} \cdot \dfrac{t}{T_{\mathrm{warm}}}, & t \le T_{\mathrm{warm}} \\[6pt] \eta_{\min} + \dfrac{1}{2}\big(\eta_{\max} - \eta_{\min}\big)\Big(1 + \cos\big(\pi \cdot \dfrac{t - T_{\mathrm{warm}}}{T - T_{\mathrm{warm}}}\big)\Big), & t > T_{\mathrm{warm}} \end{cases} \tag{5} \]
公式 (5):学习率的完整一生,分两段。第一段是 warmup:从 0 线性爬到峰值,通常几百到几千步。第二段是 cosine 衰减:沿余弦曲线平滑下滑到 \(\eta_{\min}\),形状是余弦函数的半拱,峰值附近与收尾附近平缓、中段最陡。符号说明:\(\eta_t\) 是第 \(t\) 步实际使用的学习率;\(\eta_{\max}\) 是峰值学习率;\(\eta_{\min}\) 是收尾学习率,GPT-3 取峰值的 10%(即 \(0.1\,\eta_{\max}\));\(T_{\mathrm{warm}}\) 是 warmup 持续的步数;\(T\) 是训练总步数;\(t\) 是当前步数。

  要读懂这条曲线,先明确学习率的物理含义:它是参数每一步沿梯度方向实际走出的距离。把损失曲面想成一片山谷,训练就是下山到谷底的过程——离谷底远时坡面开阔,大步快走也安全;越接近谷底谷身越窄,步子一大就会从左壁跨到右壁。这条曲线的每个阶段,都是步幅与当前地形的匹配。

  峰值阶段的含义是「方向可信、离目标尚远,用最大安全步幅赶路」。闯过 warmup 后,Adam 的梯度统计已经攒稳,更新方向可信;而此时参数离好解还远,梯度大且相邻几步的方向高度一致,每一步走得越远,loss 掉得越快。余弦拱形在峰值附近故意平缓,就是要让这个最高效的赶路段多持续一会儿——线性一降到底则刚过峰值就开始收步,等于提前放弃了最出活的阶段。

  中段压小的含义是「谷变窄了,步幅必须跟着收」。接近谷底时谷身收窄,原来的大步开始跨谷:这一步冲上左壁、下一步弹回右壁,loss 围着沟底震荡沉不下去。更麻烦的是,梯度靠一个 batch 采样估计,天然带噪声;离最优点越近,真实信号越弱、噪声占比越高,大步长会把噪声一并放大。余弦中段最陡,恰好在这里快速收步,把步幅压到与窄谷匹配的尺寸。

  收尾放缓、落到小碎步的含义是「精调」。此时参数已在谷底附近,任务是让它在 batch 噪声中平均到一个稳定位置:步幅足够小,噪声抖动的幅度才足够小,参数才能沉进谷底最深处;若学习率偏大,参数会在底面上方永远弹跳,loss 卡在一个「噪声地板」上再也降不动。小碎步还有个附带收益:参数更可能停在平坦宽阔的谷里,而平坦的极小值泛化更好。用高尔夫打比方:距洞三百码用开球杆全力挥(峰值赶路),上果岭后换推杆轻推(收尾碎步),目标越近动作越细。所以 cosine 的优势在于形状与这个过程对齐:峰值平缓多赶路、中段陡降快收步、尾段放缓细精调。GPT-3 的方案就是公式 (5) 的实例:线性 warmup 覆盖前 3.75 亿 token,随后用 2600 亿 token 按 cosine 衰减到峰值的 10%,之后保持在 10% 继续训练到结束。

原创示意图 · 非论文原图 学习率 η 训练进度(消耗的 token 数) 峰值学习率 η_max 收尾水位 0.1·η_max ① warmup:线性爬升 ② cosine 衰减:从峰值降到 10% ③ 保持 10% 继续训练
图 3:学习率在一次预训练中的完整一生——先线性 warmup 爬到峰值,再沿 cosine 曲线平滑衰减到峰值的 10%,之后保持低水位继续训练。以 GPT-3 为例:warmup 覆盖前 3.75 亿 token,衰减段横跨 2600 亿 token。

  注意:warmup 不是装饰。大模型训练中省略它,开局阶段的巨大梯度加上尚未攒够的 Adam 统计量,很容易在最初几百步就把 loss 打飞(爆炸或 NaN)。模型越大越不能省。

  一句话总结:学习率的管理哲学是「先稳、再冲、后收」——warmup 防开局翻车,峰值负责赶路,cosine 负责平稳收工。

6.2.3 超参总账:GPT-3 与 minimind 对照

  配方讲完,把两本真实账簿摆在一起:一本是 1750 亿参数的 GPT-3(论文附录 B 与表 2.1),一本是本工程自带、个人显卡就能跑的 minimind(预训练脚本默认值)。两者参数规模差约三个数量级,逐项对照如下:

超参GPT-3(175B)minimind(预训练默认)
优化器AdamAdamW(PyTorch 版)
\(\beta_1, \beta_2\)0.9, 0.950.9, 0.999(PyTorch 默认)
\(\epsilon\)\(10^{-8}\)\(10^{-8}\)(PyTorch 默认)
权重衰减0.10.01(PyTorch 默认)
峰值学习率\(0.6 \times 10^{-4}\)\(5 \times 10^{-4}\)
学习率调度线性 warmup(3.75 亿 token)→ cosine 衰减到 10%(2600 亿 token)→ 保持 10%纯 cosine:从峰值直接衰减到 10%,无 warmup
梯度裁剪全局范数裁剪到 1.0全局范数裁剪到 1.0
每步 token 数从 3.2 万逐步加大到 320 万32 条 × 8 步累积 × 340 长 ≈ 8.7 万

  逐项读这张表,能读出两层信息。先看「不一样」:峰值学习率差了将近 10 倍,每步 token 数差了约 40 倍,权重衰减差 10 倍——量级全面拉开,这正是 6.2.4 要解释的联动规律。再看「一样」的部分:两边都是 Adam 家族、都把梯度范数裁剪到 1.0、都用 cosine 衰减到峰值的 10%。

  从个人显卡上的玩具模型到 175B 的 GPT-3,优化配置的基本结构一致:Adam 家族优化器 + cosine 衰减到峰值 10% + 全局梯度裁剪 1.0。变化的是随规模调整的学习率与 batch 等参数,基本结构保持不变。这套配置已是现代 LLM 预训练的事实标准。

  minimind 的调度没有 warmup:它的 get_lr 从峰值直接开始 cosine 衰减。几十 M 的小模型开局梯度折腾不出大浪,省掉 warmup 也稳;这正是「模型越小、配方越可以粗放」的一个例子。

6.2.4 超参与模型规模的联动直觉

  对照表里「量级全面拉开」不是巧合,GPT-3 论文表 2.1 给出的八个模型,把这条规律画得清清楚楚:

模型参数量峰值学习率每步 token 数
GPT-3 Small125M\(6.0 \times 10^{-4}\)50 万
GPT-3 XL1.3B\(2.0 \times 10^{-4}\)100 万
GPT-3 13B13B\(1.0 \times 10^{-4}\)200 万
GPT-3(完整版)175B\(0.6 \times 10^{-4}\)320 万

  参数量每上一个台阶,峰值学习率就降一档,batch 就抬一档。直觉上怎么理解?

  大模型用小学习率。层数越深、参数越多,一步更新引起的损失变化越容易被逐层放大,同样的步子在大模型身上摔得更重。通行的经验解释是:规模越大,损失曲面越「陡」,必须换更小的步子走。好比船越大,舵打得越缓——万吨巨轮不能用快艇的舵速转向。

  大模型用大 batch。batch 越大,梯度估计越准,能支撑更精细的后期更新;工程上,也只有足够大的 batch 才能喂饱成千上万的 GPU。GPT-3 还用了 batch 爬坡:开局只用 3.2 万 token 的小 batch,在前几十亿 token 内逐步加大到满额。OpenAI 团队更早的实证研究给出过解释:训练前期模型变化快,小 batch 的梯度噪声尚可容忍;越到后期,越需要大 batch 压低噪声(McCandlish et al., 2018)。

  架构与优化是同一场战争的两条战线。5.1 节讲过 Pre-LN:把归一化挪到残差支路里,给梯度留一条恒等通路,是架构侧的稳定手段;本节的 warmup、梯度裁剪、随规模调低学习率,是优化侧的稳定手段。两边合力,才撑得起上百层的网络、几千亿 token 的长跑——梯度稳了,才敢把层数堆深、把 batch 开大。

  即便如此,大模型训练依然常见 loss spike:平稳下降的 loss 曲线突然窜起一根尖刺,处理不当会一路发散。实践中的急救三招是回滚到上一个健康 checkpoint、跳过可疑的异常 batch、临时调低学习率。这些稳定性话题连同分布式并行、混合精度一起,留到 6.3 节和第 7 章展开。

🧭本节要点回顾
AdamW 相比裸 SGD,多做了哪三件事?
一阶动量给更新加惯性,治峡谷震荡;二阶动量按参数的梯度尺度逐参数调步长,治一刀切;权重衰减从梯度中解耦单独施加,治 L2 在自适应缩放下的失真。
学习率为什么要先 warmup 再 cosine 衰减?
开局参数是随机噪声、Adam 统计量没攒够,大步容易直接发散,所以线性爬升几百到几千步;中期用峰值赶路;末期沿 cosine 平滑降到峰值的 10% 精细收敛,余弦拱形让大学习率阶段待得更久。
模型规模变大时,超参怎么联动调整?
峰值学习率随规模下降(GPT-3 从 125M 的 6×10⁻⁴ 降到 175B 的 0.6×10⁻⁴),每步 token 数随规模上升(50 万升到 320 万);Adam 家族、cosine 衰减到 10%、梯度裁剪 1.0 这套骨架不变。

参考来源

  • Kingma & Ba, 2015. Adam: A Method for Stochastic Optimization(Adam 原始论文,arXiv:1412.6980,ICLR 2015)。
  • Loshchilov & Hutter, 2019. Decoupled Weight Decay Regularization(AdamW 原始论文,arXiv:1711.05101,ICLR 2019)。
  • Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3,arXiv:2005.14165;优化器与学习率细节见附录 B,各规模超参见表 2.1)。
  • McCandlish et al., 2018. An Empirical Model of Large-Batch Training(batch 爬坡与梯度噪声尺度的实证研究,arXiv:1812.06162)。
  • minimind 工程代码:trainer/train_pretrain.py、trainer/trainer_utils.py(Apache 2.0 协议)。