A.7 幂律与对数坐标:Scaling Law 的图怎么读

本页范围:附录 A 第 7 节 | 整理时间:2026-09-30

快速浏览

核心问题6.4 节的 Scaling Law 图,横轴纵轴都标着 10 的几次方,曲线被画成一条直线。为什么要这样画图?直线的斜率又告诉我们什么?
本节主张幂律是“按倍数算账”的关系:算力每翻 10 倍,损失恒乘同一个因子。它在普通坐标下是曲棍球杆,在双对数坐标下是一条直线——斜率就是那个指数。看懂这一条直线,就掌握了读一切 Scaling Law 图的方法。
一句话结论双对数坐标下,幂律变直线,外推变延长线;线性纵轴下的“越来越平”多半是幂律的本性,不要轻易读成“撞墙”。
关键词
幂律指数对数坐标Scaling Law外推

  手册里有两类图反复出现:一类横轴是“10 的 18 到 24 次方”的算力,一类纵轴的损失被拉成一条直线。它们用的是同一套读图技术:幂律加对数坐标。这套技术不难,但不点破就很容易误读——比如把幂律曲线的自然走平读成“方法失效”。本节把它补齐,作为 6.4 节与 7.1 节的读图基础。

  1. 幂律:按倍数算账的关系(A.7.1):什么是指数,为什么“翻 10 倍”是幂律的基本单位;
  2. 对数坐标:把幂律拉直(A.7.2):同一条曲线在两种坐标下的两副面孔,直线的斜率怎么读;
  3. 读 Scaling Law 图的两个心法(A.7.3):按倍数心算收益,以及“曲线走平”为什么不等于撞墙。

  读完应能拿起一张 Scaling Law 图,心算出“算力再翻 10 倍,损失大约降到几”。

A.7.1 幂律:按倍数算账的关系

  幂律长这样:

\[ y = a \cdot x^{-b} \tag{1} \]
公式 (1):负指数幂律。符号说明:\(x\) 是投入量(算力、数据量、参数量);\(y\) 是结果量(损失);\(a\) 是比例系数;\(b\) 是指数(正数),控制下降的快慢。负号表示 \(x\) 越大 \(y\) 越小。代入具体数字:\(a = 100\)、\(b = 0.5\) 时,\(x = 1\) 得 \(y = 100\),\(x = 100\) 得 \(y = 10\),\(x = 10000\) 得 \(y = 1\)。

  幂律最重要的脾气:它按倍数算账,不按增量算账。上面的例子里,\(x\) 每翻 100 倍,\(y\) 恒除以 10——不管这 100 倍是从 1 到 100,还是从 100 到 10000。换个说法:\(x\) 每翻 10 倍,\(y\) 恒除以 \(10^{0.5} \approx 3.16\)。投入每上一个数量级,收益的比例一模一样。这与线性关系(每加同样的量,减同样的数)是根本不同的两种世界。

  这个脾气直接决定了投入产出的感受:收益永不为零,但每 10 倍投入只换来固定比例的下降。想再降一半,代价是再翻若干倍——这就是“Scale 换性能”的数学底色(6.4 节),也是“扩展墙”争论的战场(7.1 节)。

A.7.2 对数坐标:把幂律拉直

  对公式 (1) 两边取对数(以 10 为底):

\[ \log_{10} y = \log_{10} a - b \cdot \log_{10} x \tag{2} \]
公式 (2):幂律的对数形态。符号说明:\(\log_{10}\) 是以 10 为底的对数,\(\log_{10} 10^k = k\);其余符号同公式 (1)。把 \(\log_{10} x\) 看成新横轴、\(\log_{10} y\) 看成新纵轴,这是一个一次函数:纵轴 = 常数 − \(b\) × 横轴。所以双对数坐标下幂律必为直线,直线斜率的绝对值就是指数 \(b\)。

  同一条曲线 \(y = 100 \cdot x^{-0.5}\),在两种坐标下的样子:

原创示意图 · 非论文原图 ① 线性坐标:曲棍球杆,规律被压扁 0 50 100 x 从 1 到 10000,前 100 就跌完了 后面 9900 全挤在底部,看不清 ② 双对数坐标:一条直线,斜率 = −b 1 10 100 1000 1 10 100 x 翻 10 倍:100 → 1000 y 除以 3.16:10 → 3.16 斜率 −0.5,就是指数 b
图 1:同一条幂律曲线 \(y = 100 \cdot x^{-0.5}\) 的两副面孔。左图线性坐标,曲线一头栽到底部,大量信息挤在角落;右图双对数坐标,曲线变成直线,每翻 10 倍的固定比例下降读得清清楚楚。

  对数坐标的读法要点:轴上“1、10、100、1000”每格距离相等,因为每格都是 10 倍。直线一画,外推就成了延长线——这是 Scaling Law 能“预测”更大规模表现的原理:用小算力的点拟合出直线,延长到大算力读数(6.4 节)。斜率 \(b\) 则回答“每 10 倍投入换几折收益”:\(b = 0.5\) 意味着 10 倍换 3.16 折,\(b\) 越小,同样投入换的折扣越少。

A.7.3 读 Scaling Law 图的两个心法

  把这套技术用到一张典型的图上。图 2 是虚构的示意数据:横轴是算力(对数刻度),纵轴是损失(线性刻度)。它画出了读 Scaling Law 时最常见的两个坎:

原创示意图 · 非论文原图 10¹⁸ 10¹⁹ 10²⁰ 10²¹ 10²² 10²³ 10²⁴ 2 2.5 3 3.5 4 算力(FLOPs) loss 外推 10 倍算力:3.0 → 2.67(×0.89) 曲线越来越平 ≠ 撞墙:纵轴换对数它仍是直线, 只是幂律“每 10 倍换固定比例”的本性
图 2:读 Scaling Law 的两个心法(示意数字,非真实实验数据)。心法一,横轴按 10 倍一格读,心算每格收益;心法二,纵轴线性时曲线自然走平,不要误读为失效,换双对数坐标才能看出它还在不在那条直线上。

  两个心法展开说。心法一:横轴的每一格是 10 倍投入,不是“加一份”。从 \(10^{20}\) 到 \(10^{21}\) 与从 \(10^{23}\) 到 \(10^{24}\) 在图 2 上都是一格,但后者的真实成本是前者的 1000 倍——读收益时必须把格子的代价同时读出来。心法二:纵轴线性时,幂律注定越来越平,这是它的本性而不是疲态;判断是否还在正轨上的办法是换双对数坐标,看点子有没有离开那条直线。7.1 节关于“扩展墙”的争论,有一半就争在这两种读法上。

本书用在哪

章节用到本节什么
6.4 Scaling Law损失随算力、数据、参数按幂律下降,图表的读法
7.1 扩展墙“曲线走平是不是撞墙”的争论,本质是两种坐标的读法差异
6.5 涌现涌现与平滑外推之争,同样要分清在哪套坐标下看
A.4 交叉熵与困惑度损失与困惑度本身差一个指数,换算时也要按倍数想