A.7 幂律与对数坐标:Scaling Law 的图怎么读
本页范围:附录 A 第 7 节 | 整理时间:2026-09-30
手册里有两类图反复出现:一类横轴是“10 的 18 到 24 次方”的算力,一类纵轴的损失被拉成一条直线。它们用的是同一套读图技术:幂律加对数坐标。这套技术不难,但不点破就很容易误读——比如把幂律曲线的自然走平读成“方法失效”。本节把它补齐,作为 6.4 节与 7.1 节的读图基础。
- 幂律:按倍数算账的关系(A.7.1):什么是指数,为什么“翻 10 倍”是幂律的基本单位;
- 对数坐标:把幂律拉直(A.7.2):同一条曲线在两种坐标下的两副面孔,直线的斜率怎么读;
- 读 Scaling Law 图的两个心法(A.7.3):按倍数心算收益,以及“曲线走平”为什么不等于撞墙。
读完应能拿起一张 Scaling Law 图,心算出“算力再翻 10 倍,损失大约降到几”。
A.7.1 幂律:按倍数算账的关系
幂律长这样:
幂律最重要的脾气:它按倍数算账,不按增量算账。上面的例子里,\(x\) 每翻 100 倍,\(y\) 恒除以 10——不管这 100 倍是从 1 到 100,还是从 100 到 10000。换个说法:\(x\) 每翻 10 倍,\(y\) 恒除以 \(10^{0.5} \approx 3.16\)。投入每上一个数量级,收益的比例一模一样。这与线性关系(每加同样的量,减同样的数)是根本不同的两种世界。
这个脾气直接决定了投入产出的感受:收益永不为零,但每 10 倍投入只换来固定比例的下降。想再降一半,代价是再翻若干倍——这就是“Scale 换性能”的数学底色(6.4 节),也是“扩展墙”争论的战场(7.1 节)。
A.7.2 对数坐标:把幂律拉直
对公式 (1) 两边取对数(以 10 为底):
同一条曲线 \(y = 100 \cdot x^{-0.5}\),在两种坐标下的样子:
对数坐标的读法要点:轴上“1、10、100、1000”每格距离相等,因为每格都是 10 倍。直线一画,外推就成了延长线——这是 Scaling Law 能“预测”更大规模表现的原理:用小算力的点拟合出直线,延长到大算力读数(6.4 节)。斜率 \(b\) 则回答“每 10 倍投入换几折收益”:\(b = 0.5\) 意味着 10 倍换 3.16 折,\(b\) 越小,同样投入换的折扣越少。
A.7.3 读 Scaling Law 图的两个心法
把这套技术用到一张典型的图上。图 2 是虚构的示意数据:横轴是算力(对数刻度),纵轴是损失(线性刻度)。它画出了读 Scaling Law 时最常见的两个坎:
两个心法展开说。心法一:横轴的每一格是 10 倍投入,不是“加一份”。从 \(10^{20}\) 到 \(10^{21}\) 与从 \(10^{23}\) 到 \(10^{24}\) 在图 2 上都是一格,但后者的真实成本是前者的 1000 倍——读收益时必须把格子的代价同时读出来。心法二:纵轴线性时,幂律注定越来越平,这是它的本性而不是疲态;判断是否还在正轨上的办法是换双对数坐标,看点子有没有离开那条直线。7.1 节关于“扩展墙”的争论,有一半就争在这两种读法上。
本书用在哪
| 章节 | 用到本节什么 |
|---|---|
| 6.4 Scaling Law | 损失随算力、数据、参数按幂律下降,图表的读法 |
| 7.1 扩展墙 | “曲线走平是不是撞墙”的争论,本质是两种坐标的读法差异 |
| 6.5 涌现 | 涌现与平滑外推之争,同样要分清在哪套坐标下看 |
| A.4 交叉熵与困惑度 | 损失与困惑度本身差一个指数,换算时也要按倍数想 |