6.4 Scaling Law:规模是可以计算的命运
本页范围:第 6 章第 4 节 | 整理时间:2026-09-29
上一节介绍了预训练目标函数与优化器的选择。本节讨论训练前如何评估配置:千亿参数模型的单次训练以月计、以百万美元计,无法靠反复试错选择配置。2020 年 Kaplan 等人发现,语言模型的损失随规模呈稳定的幂律变化,可以用小模型实验外推大规模训练的结果。
本节沿「发现 → 预言 → 翻盘 → 修正」的叙事线展开,这也是过去五年业界真实走过的弯路:
- 幂律:log-log 图上的直线(6.4.1):Scaling Law 的数学本体,看懂幂律为什么意味着损失可以被预言;
- Kaplan 的预言与局限(6.4.2):第一个 Scaling Law 给出「优先堆参数」的处方,直接催生了 GPT-3 时代,但这个处方后来被证明有系统性偏差;
- Chinchilla 翻盘:20 token/参数(6.4.3):DeepMind 用 400 多个模型的扫描实验修正配比,结论是让参数和数据等比增长;
- 训练最优 vs 部署最优:Llama 的另一本账(6.4.4):Chinchilla 最优只算了训练的钱,Llama 系列把推理成本摆上台面,走向「小模型、超长训练」;
- 对工程决策的意义(6.4.5):把三条定律收拢成训练前就能做的三件事。
读完本节,你应当能回答:为什么今天主流模型的「参数 × 数据」配比长成现在这个样子,以及如果你手握一笔算力预算,该怎么把它切成参数和数据两份。
图 1 标出预训练在 LLM 生命周期中的位置,图 2 展示小规模实验与大规模训练之间的外推关系。
图 1 里这个紫框放大之后,为什么点火前就能预言训练结果?把幂律这条直线单独拆开看:
6.4.1 幂律:log-log 图上的直线
先建立一个直觉。物理学里,行星轨道、落体时间之所以能被预言,是因为背后有简洁的规律可循。Kaplan 等人 2020 年的工作相当于在语言模型身上发现了同类规律:把测试损失和模型规模都取对数画在图上,数据点竟然落在一条直线附近——规模翻多少倍,损失降多少,是可以提前算出来的。这种关系叫幂律(power law)。
Scaling Law 是实验拟合出的经验规律:语言模型的测试损失随参数量 \(N\)、数据量 \(D\)、算力 \(C\) 各自呈幂律变化。它不是定理,而是从大量真实训练结果中总结出的统计规律,价值在于外推——用小规模的实验结果,预言贵得做不起的大规模训练。
以参数量为例,Kaplan 论文给出的幂律形如:
幂律为什么意味着「直线」?对等式两边取对数就能看出来:
图 3 这条直线有两层含义。第一是可预测性:用几亿参数的模型做一批实验,拟合出斜率,就能外推出千亿参数的损失会落在哪。第二是无平台期:在 Kaplan 观测的范围内直线没有弯曲,意味着堆规模这条路当时看不到尽头——「大力出奇迹」有了数学担保。白话总结一句:幂律把「规模越大越好」这句口号,变成了「规模每扩大十倍,损失按固定比率下降」这道算术题。
幂律描述的是平滑的统计趋势,不预言具体能力。某些能力(如多步推理)在规模跨过某个阈值后会突然显现,称为「涌现」(emergence),幂律的平滑曲线上看不到这些台阶。损失可预测,不代表一切行为可预测。
6.4.2 Kaplan 的预言与局限
有了三条幂律(对 \(N\)、对 \(D\)、对 \(C\)),下一个问题自然是:算力预算涨十倍,参数和数据各该涨多少?回答这个问题还差一块拼图——算力与参数、数据之间的换算关系。Kaplan 论文给出的估算式简洁到可以口算:
把三条幂律和这个账本联立求解,Kaplan 得到结论:算力增长时,参数量应当吃掉大头,最优配比约为 \(N^* \propto C^{0.73}\)、\(D^* \propto C^{0.27}\)——预算翻 8 倍,参数约扩 4.6 倍,数据只扩 1.8 倍。论文还观察到「大模型样本效率更高」:达到同等损失,大模型需要看过的数据量更少。两条合在一起,处方非常明确:优先把模型做大。
这张处方直接塑造了 2020 到 2022 年的业界路线:GPT-3 把参数堆到 175B 但只训了约 300B token,Gopher 更进一步堆到 280B,数据量却原地不动。按后来 Chinchilla 的标准回看,这批模型清一色「参数过大、数据不足」。
注意:Kaplan 处方的偏差出在一个隐蔽的方法细节上:拟合时大量模型没有针对各自的规模充分调优学习率衰减与训练时长,相当于很多点没训到位。这系统性高估了「加大参数」的回报——模型没训到位时,继续加数据、训更久能换来的损失下降显现不出来,对比之下扩参数显得更划算。这个偏差要等 Chinchilla 把每个模型都训到位之后才被纠正。
6.4.3 Chinchilla 翻盘:20 token/参数
2022 年 DeepMind 的 Hoffmann 等人重做了一次更彻底的大扫除:训练了 400 多个语言模型,参数量从 70M 到 16B,数据量从 5B 到 500B token,每个模型都按自己的规模调好训练计划、训到收敛。这批实验用的方法叫 isoFLOPs——固定算力预算,只改变参数与数据的分配,看哪种分配损失最低。
在同一个算力预算 \(C\) 下,由 \(C \approx 6ND\) 可知参数和数据此消彼长:参数多一点,能训的数据就少一点。isoFLOPs 方法把预算内所有 \((N, D)\) 组合各训一遍,损失对 \(N\) 画出来是一条 U 形曲线,谷底就是该预算的最优配比。换几个预算各做一遍,把谷底连成线,就得到「算力怎么分」的完整答案。
除了直接扫描,论文还用一个参数化公式把损失同时写成参数与数据的函数,即著名的 Chinchilla 损失面:
结论干脆利落:固定算力下,参数与数据应当等比扩展(\(N^* \propto C^{0.5}\)、\(D^* \propto C^{0.5}\)),换算下来约为每个参数配 20 个 token。为了证明这不是纸上谈兵,他们用与 Gopher 相近的算力训了 Chinchilla:参数从 280B 砍到 70B,数据从 300B token 加到 1.4T token——结果 Chinchilla 在一系列基准上全面反超 Gopher。四两拨千斤,翻盘完成。
| 模型 | 参数量 | 训练 token 数 | token/参数 | 按 20:1 标准看 |
|---|---|---|---|---|
| GPT-3 | 175B | 约 300B | 约 1.7 | 参数过大、数据严重不足 |
| Gopher | 280B | 约 300B | 约 1.1 | 同上,Chinchilla 论文的靶子 |
| Chinchilla | 70B | 1.4T | 20 | 算力最优参考点 |
| Llama 3 8B | 8B | 约 15T | 约 1875 | 远超训练最优,为部署省钱(6.4.4) |
易错点:不要把「20 token/参数」当成普适常数到处套。它是 Chinchilla 实验设置下的拟合结果,会随数据质量、Tokenizer 效率、架构改进而漂移;后续不同团队复现出的最优值并不完全一致。记住方法(isoFLOPs 找谷底)比记住数字 20 更重要。
白话总结:Kaplan 说「预算涨了先买参数」,Chinchilla 说「参数和数据对半分」,后者是用更干净的实验把前者修正了,而不是推翻幂律本身——损失随规模可预测地下降,这一点两篇论文完全一致。
6.4.4 训练最优 vs 部署最优:Llama 的另一本账
故事到此还没结束。注意 Chinchilla 的最优有一个隐含前提:它只算了训练这一次性开销。可模型的生命周期里还有推理——模型训一次,要被调用千万次、服务无数用户,推理成本按次累计,长年累月下来可能比训练费贵得多。小模型的单次推理便宜得多,那么「多花钱把小模型训到饱和」就可能比「少花钱训个大模型」更划算。这是另一本账。
Meta 的 Llama 系列把这本账算明了。Llama 1 论文开宗明义:目标是在给定推理预算下取得最好效果,而不是训练算力最优——做法是选较小的模型、喂远超 Chinchilla 最优的 token 量。到 Llama 3,这个思路走到极致:8B 模型训了约 15T token,每参数近两千个 token,是 20:1 标准的近百倍,而同一量级的数据量足够让这个小模型在许多任务上叫板比它大数倍的前辈。
「训练最优」与「部署最优」是两本账:Chinchilla 的 20:1 最小化的是训练这一次的算力;Llama 的「小模型长训」牺牲训练效率换取低得多的推理成本和部署门槛。选哪本账,取决于模型要服务多少次调用——只训给自己做研究,按 Chinchilla;要上线服务亿级用户,按 Llama。
小模型长训还有一层隐性收益:参数量小意味着显存占用低、可在更便宜的硬件上跑,对个人开发者和边缘设备友好。开源社区主流模型的「甜点尺寸」变迁,很大程度上就是这本部署账在起作用。
6.4.5 对工程决策的意义
把两篇论文加一次业界修正合起来,Scaling Law 留给工程实践的有三样工具:
- 点火前的预言机:用小规模实验拟合幂律,外推目标规模的损失,达不到预期就改配置,不烧冤枉钱。这是 Scaling Law 最原始也最重要的用途。
- 算力账本:\(C \approx 6ND\) 让「参数量 × 数据量 × GPU 小时」之间可以互相换算,做预算、买显卡、定排期都靠它打底。
- 配比标尺:预算确定后按 isoFLOPs 谷底分配参数与数据;若模型要大规模部署,主动偏离训练最优、向「小参数多数据」一侧倾斜。
还有一条暗线值得记住:Chinchilla 之后,数据从「燃料」升格为与参数并列的一等资源。既然 20 个 token 才配得上 1 个参数,那么高质量 token 的储量直接限制了模型能合法长到多大——这呼应了第 1 章数据工程的份量,也预告了第 8 章中间训练里「数据不够怎么办」的问题。
损失随规模呈幂律下降,因此可以在预训练前预测结果;算力在参数与数据间的最优配比约等比扩展(Chinchilla 口径约 20 token/参数);若计入推理成本,实际最优会向「小模型、更多数据」偏移。这些关系都能用实验数据和计算式表示。
参考来源
- Kaplan, McCandlish, Henighan et al., 2020. Scaling Laws for Neural Language Models(幂律与「优先扩参数」处方的原始论文,arXiv:2001.08361)。
- Hoffmann, Borgeaud, Mensch et al., 2022. Training Compute-Optimal Large Language Models(Chinchilla 论文,isoFLOPs 方法、20 token/参数与公式 (4) 的出处,arXiv:2203.15556)。
- Touvron, Lavril, Izacard et al., 2023. LLaMA: Open and Efficient Foundation Language Models(「按推理预算选模型、小模型长训」动机的明确表述,arXiv:2302.13971)。
- Dubey, Jauhri, Pandey et al., 2024. The Llama 3 Herd of Models(Llama 3 8B 训练约 15T token 的出处,arXiv:2407.21783)。