6.5 涌现能力:规模到了,能力「突然」出现?

本页范围:第 6 章第 5 节 | 整理时间:2026-09-29

快速浏览

核心问题Scaling Law 说损失随规模平滑下降,可下游任务的表现曲线常呈“相变”式跳变:某些能力在小模型上接近随机,规模越过某个阈值后突然可用。这种涌现是模型内部的真实质变,还是度量方式造出的错觉?
本节主张涌现曲线是真实的测量结果,但“突变感”很大程度上是 0-1 指标对平滑进步的非线性放大;正反两派证据都要看,度量口径要先问清。
一句话结论无论是否相变,规模扩大可靠地解锁新用法是经验事实;但把涌现当神秘突变来敬畏没有必要——看到相变曲线,先问指标、测试集大小和小模型一端的读数。
关键词
涌现能力相变In-context LearningExact Match度量伪影BIG-Bench

  上一节讲 Scaling Law:语言模型的测试损失随参数量、数据量、算力按幂律平滑下降。但损失只是训练目标的代理指标,具体任务的表现还可能出现另一类曲线:某些能力在规模越过某个阈值后突然显现,类似烧到 100°C 的水发生相变。这类能力称为涌现能力(emergent abilities)。

  围绕这个现象有一场仍在继续的论战:正方视其为规模带来的质变,是“继续做大”的最强理由;反方则论证它可能主要是度量指标的伪影。本节不预设立场,按四个环节把双方证据摆清楚:

  1. 涌现现象与经典案例(6.5.1):相变式曲线长什么样,Wei 等人的定义与两个标志特征,三个教科书级案例;
  2. ICL:不更新参数的学习(6.5.2):GPT-3 的 few-shot 能力为何被视为涌现叙事的招牌;
  3. 反方:也许是尺子的伪影(6.5.3):NeurIPS 2023 获奖论文的论证——换一把尺子,涌现就“蒸发”;
  4. 我们该怎么看(6.5.4):两派各退一步后的平衡立场,以及读论文时的三个检查点。

  读完全节,你应该能对任何一条“某某能力是涌现的”的说法给出有依据的反应:先问尺子,再谈现象。

  图 1 标出预训练在 LLM 生命周期中的位置,图 2 展示任务表现曲线的相变形态,后续各节比较支持与质疑涌现解释的证据。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (本节内容) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:预训练在 LLM 生命周期中的位置。训练数据(第 1 章)备好后进入预训练(本章,紫框):在海量语料上做自监督学习,把文本规律压进参数;配套的并行、精度与稳定性工程在第 7 章,之后的中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章)、推理与部署(第 12–13 章)在对应章节展开。损失平滑下降不代表能力平滑出现——任务表现曲线可能呈相变式跳变,而突变感与度量尺子有关。

  图 1 里这个紫框放大之后,为什么会看到「突然点亮」的曲线?把涌现现象的典型形态单独拆开看:

原创示意图 · 非论文原图 局部放大:涌现曲线——小模型贴随机线,越过阈值陡升 横轴模型规模(log 刻度),纵轴任务准确率(0-1 指标);曲线的「悬崖」形态正是本节论战的对象 准确率 0 1 模型规模(log) 随机水平 阈值 小模型:贴着随机线 不是一无所知——0-1 尺子把进步压平了 越过阈值陡升 教科书案例:GPT-3 三位数加法,13B 及以下 ≈ 0%,175B 突然达到 80.2%(Brown et al., 2020) 6.5.3 的追问:换连续指标(token 编辑距离)重新打分,悬崖变回斜坡
图 2:涌现曲线的典型形态(0-1 指标下)。阈值左侧,准确率贴着随机水平几乎不动;越过阈值后在很窄的规模区间内陡升。曲线形状为示意,非真实实验数据;左段的「贴平」不代表小模型一无所得——exact match 这类 0-1 尺子会把平滑进步压成零,6.5.3 用连续指标重新打分后悬崖变回斜坡。

6.5.1 涌现现象与经典案例

  先把直觉建立起来。水烧到 99°C 还是平静的液体,再升 1°C 就翻滚沸腾——物理学家把这种量变积累到临界点后发生的质变称为相变(phase transition)。1972 年,诺贝尔物理学奖得主 P. W. Anderson 在著名文章 "More Is Different" 中提出:系统的复杂度跨过某个量级后,会浮现出从微观细节无法预言的全新性质。2022 年,Google 的 Jason Wei 领衔的一篇论文把这套语言搬进了 LLM 语境(Wei et al., 2022)。

涌现 Emergence emerge = 浮现、显现;系统整体呈现出部分所不具备的性质

Wei 等人的定义很具体:一种能力是涌现的,当它在小规模模型上不存在、在大规模模型上存在——因此无法通过外推小模型的表现来预测。由此衍生两个标志特征:突变性(sharpness),表现从接近随机到明显可用的过渡发生在很窄的规模区间内;不可预测性(unpredictability),事先不知道阈值出现在哪个规模上。

就像烧水:温度平滑上升,水的状态却在 100°C 突然跳变。平滑的输入变化,在临界点上制造出跳变的输出。

  典型的涌现曲线长这样:横轴是训练算力(FLOPs,对数刻度),纵轴是任务准确率。阈值左侧,准确率贴着随机基线(random chance)几乎不动,几亿参数和几十亿参数的模型看上去“同样不会”;越过阈值后曲线陡然抬头,在很窄的规模区间内冲到远高于随机的水平。注意它与 Scaling Law 的反差:损失曲线是处处光滑的幂律,任务表现曲线却像被折了一下。图 3 的示意图会把这个形态画出来。

  Wei 等人汇总了多个模型家族(GPT-3、LaMDA、PaLM 等)在 BIG-Bench 等基准上的此类曲线,三个传播最广的案例:

  • 多位数算术:GPT-3 系列在三位数加法上,13B 及以下的成员准确率几乎为零,175B 模型突然达到 80.2%(Brown et al., 2020);
  • BIG-Bench 任务簇:词形重组(word unscrambling)、多步算术等一批任务上,多个模型家族出现相似的阈值跳变(Wei et al., 2022);
  • 思维链推理:Chain-of-Thought prompting 只在约 100B 量级以上的模型上带来稳定增益,小模型用了反而可能更差(Wei et al., 2022)——连“怎么提问才有效”都会随规模切换。

  “涌现”一词在科学史上有悠长谱系:物理学的相变、生物学的蚁群协作、神经科学的意识研究,都用它描述“整体大于部分之和”的现象。Anderson 1972 年的 "More Is Different" 是这套思想的经典出处,Wei 等人的论文正是站在这一传统上发问。

  这批曲线成了 GPT-3 时代以来规模叙事的核心证据:如果能力会不可预测地涌现,那么继续扩大规模就可能“意外解锁”谁也没料到的新能力。下一节看其中最具颠覆性的一类。

6.5.2 ICL:不更新参数的学习

  传统机器学习中,“学会一个任务”几乎等价于“更新参数”:梯度下降一步步拧动权重。GPT-3(Brown et al., 2020)展示了另一条路:参数一个不动,只在输入里演示几个例子,模型就现场照做。这就是上下文学习。

上下文学习 In-context Learning in-context = 在上下文之中;不改权重,仅凭输入中的示例现场适应任务

GPT-3 论文系统对比了三种设定:zero-shot 只给任务描述,one-shot 给一个示例,few-shot 给几个到几十个示例。任务说明与示例全部写进 prompt 文本,模型做一次前向传播就给出答案,全程没有任何梯度更新。它后来常被缩写为 ICL。

像一个悟性极高的实习生:不必送他培训三天(那是更新参数),布置任务时顺手演示两三个例子,他立刻照着做。

  ICL 常作为涌现能力的例子,依据有两点。一是增益随规模拉开:GPT-3 论文的曲线显示,few-shot 相对 zero-shot 的提升在小模型上很有限,模型越大提升越明显——小模型给了例子也学不会,大模型才能从例子中读出任务规律。二是曲线形态本身:一大批 few-shot 任务的表现曲线正是 6.5.1 描述的相变形态。这提示随规模变化的可能不只是做题表现,还包括从上下文示例中学习任务的能力。

  GPT-3 的算术实验是 ICL 涌现的教科书案例:175B 模型 few-shot 达到两位数加法 100%、三位数加法 80.2%、三位数减法 94.2%,而 13B 及以下的家族成员在三位数运算上几乎全错。此外,175B 在部分 NLP 任务上的 few-shot 成绩已逼近当时微调模型的最佳水平(Brown et al., 2020)。

  不改参数为何也能“学”?这至今是活跃的研究问题。一种有影响力的机制解释是归纳头(induction heads):Transformer 内部会自然形成一类负责“复制前文出现过的模式”的注意力头,其形成过程恰好也呈相变式(Olsson et al., 2022)。机制细节留待架构与可解释性的讨论展开。现有实验表明,ICL 的存在与强度都明显依赖规模。

6.5.3 反方:也许是尺子的伪影

  2023 年,斯坦福大学的 Rylan Schaeffer、Brando Miranda 与 Sanmi Koyejo 发表论文《Are Emergent Abilities of Large Language Models a Mirage?》(涌现是不是海市蜃楼),获 NeurIPS 2023 杰出论文奖。标题即论点:涌现也许不在模型里,而在尺子里。

  论证从一个温和的前提出发:假设模型逐 token 的错误率随规模平滑下降——这正是 Scaling Law 反复验证过的事。问题出在打分方式上。以四位数加法为例,设答案为 4 位数字组成的串,常用指标 exact match 要求整串完全正确才记 1 分,错一位也是 0 分。设模型单个 token 的正确率为 \(p\),在各 token 近似独立的假设下:

\[ \mathrm{Accuracy}(N) \approx p(N)^{L}, \qquad p(N) = \exp\!\big(-(N/c)^{\alpha}\big) \tag{1} \]
公式 (1):单 token 正确率 \(p\) 的平滑提升,被“整串全对才得分”连乘 \(L\) 次后,会在很长一段规模区间里被压在零附近,直到 \(p\) 接近 1 时才猛然抬起——平滑的进步被指标放大成了悬崖。符号说明:\(N\) 是模型参数量;\(p(N)\) 是参数量为 \(N\) 的模型预测单个 token 正确的概率,式中假设逐 token 交叉熵随规模按幂律 \((N/c)^{\alpha}\) 下降,\(c>0\)、\(\alpha<0\) 为幂律常数;\(L\) 是输出串的 token 数(四位数加法的答案有 4 位数字);\(\mathrm{Accuracy}\) 是 0-1 指标,整串全对记 1,否则记 0。

  代入数字感受这把尺子的放大作用。设 \(L=10\):\(p\) 从 0.90 提到 0.99,得分从 \(0.9^{10}\approx0.35\) 跳到 \(0.99^{10}\approx0.90\)——单 token 只进步了 9 个百分点,整串得分却从三成多涨到九成。再看小模型一端:\(p\) 从 0.50 提到 0.80 是实打实的进步,可 \(0.8^{10}\approx0.11\),画在图上仍贴着零。悬崖的两头,是同一把尺子造出来的。

  换一把连续尺子试试:把 exact match 换成 Token 编辑距离(逐 token 统计答对了多少位),对同一批模型的同一份输出重新打分,悬崖立刻变回斜坡。Schaeffer 等人用三路实验把这一解释钉牢:

  1. 换指标:在 InstructGPT/GPT-3 家族的两位数乘法与四位数加法上,0-1 指标下涌现清晰可见,换连续指标后曲线平滑可预测;
  2. 元分析:BIG-Bench 上超过 92% 的涌现案例,出现在 Multiple Choice Grade(选对选项才得分)或 Exact String Match(整串全对才得分)这两类 0-1 指标之下;
  3. 反向制造:在视觉任务上故意选用非线性指标,人为“制造”出一批前所未见的涌现——既然能按需生产,它就很难是模型的内在属性。

  还有一个次级因素:测试集太小。小模型一端的真实得分若是 2%,一百题的测试集几乎分辨不出它与 0 的可靠区别,曲线被压成一条平线,突变感因此更强。换大测试集、提高测量分辨率,一些“涌现”同样会消退。

原创示意图 · 非论文原图 0-1 指标(Exact Match):像相变 得分 模型规模(对数刻度) 0 1 随机水平 阈值 连续指标(Token 编辑距离):是渐进 得分 模型规模(对数刻度) 0 1 同一批模型检查点 · 同一任务 · 同一份输出,只是换了打分方式
图 3:同一批模型在 0-1 指标(左)与连续指标(右)下的表现曲线。左侧呈“相变”,右侧呈渐进——曲线形状为示意,非真实实验数据。

  易错点:“小模型表现接近随机”不等于“小模型一无所知”。0-1 指标下,小模型把四位数加法的前三位都写对了,得分依然是 0——进步被尺子整个抹掉。把“测不出来”读成“不存在”,是涌现叙事流传最广的误读。

6.5.4 我们该怎么看

  先把两派各退一步后的共识摆出来。反方论文从未否认大模型比小模型强:它质疑的是“突变”这一形态描述——换连续指标后进步依然真实存在,只是从悬崖变成斜坡。正方也有反方射程之外的证据:像“CoT 只在足够大的模型上才有增益”这类涉及行为模式切换的案例,很难用单一指标伪影完全解释。更稳妥的读法是:涌现与否部分取决于任务与度量的组合,逐案例问清口径,不一概而论。

  对手册读者,实用立场是三条:

  • 经验事实无可争议:规模扩大可靠地解锁新用法。从 GPT-2 到 GPT-3 再到 GPT-4,每一档规模都带来了上一代做不到的应用形态,这一点与“曲线是不是相变”无关;
  • 不必敬畏突变:涌现不是神秘开关。看到相变曲线先问三件事——用什么指标?测试集多大?小模型一端的读数是不是被压成了零?
  • 要预测,不要惊叹:工程上真正有用的问题是“下一代模型能不能做这件事”。连续指标下的平滑曲线可以外推,0-1 指标下的悬崖不能——这是 Scaling Law 与涌现之争给实践者最实在的启示。

  规模与能力的关系,在损失曲线上是幂律(可外推),在任务曲线上可能表现为相变(难外推);而相变感相当一部分是 0-1 度量对平滑进步的非线性放大。规模可靠地解锁新用法成立;把涌现当神秘突变来敬畏,没有必要。

  度量口径的问题不会到此为止。评测指标怎么设计,直接决定我们“看见”什么样的能力。

🧭本节要点回顾
什么是涌现能力?它的两个标志特征是什么?
小模型上不存在、大模型上存在、无法从小模型表现外推的能力(Wei et al., 2022)。两个特征:突变性——从接近随机到可用的过渡发生在很窄的规模区间;不可预测性——阈值出现在哪个规模事先无法预言。
为什么说 ICL 是涌现叙事的招牌案例?
ICL 不更新任何参数,仅凭 prompt 中的示例现场学会任务;且 few-shot 相对 zero-shot 的增益随规模显著拉大——随规模质变的似乎不只是做题能力,还有“学习方式”本身。
Schaeffer 等人凭什么说涌现可能是“海市蜃楼”?
逐 token 错误率随规模平滑下降,但 exact match 这类 0-1 指标把平滑进步连乘放大成悬崖(公式 (1) 的 \(p^{L}\));换连续指标后曲线回归渐进。BIG-Bench 上超 92% 的涌现案例出自两类 0-1 指标,他们还能在视觉任务上人为制造涌现。

参考来源

  • Wei et al., 2022. Emergent Abilities of Large Language Models(TMLR 2022,arXiv:2206.07682)。
  • Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 论文,NeurIPS 2020,arXiv:2005.14165)。
  • Wei et al., 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(NeurIPS 2022,arXiv:2201.11903)。
  • Schaeffer, Miranda & Koyejo, 2023. Are Emergent Abilities of Large Language Models a Mirage?(NeurIPS 2023 杰出论文奖,arXiv:2304.15004)。
  • Olsson et al., 2022. In-context Learning and Induction Heads(Anthropic,arXiv:2209.11895)。
  • Anderson, 1972. More Is Different(Science, 177(4047): 393–396)。