6.1 预训练目标:预测下一个 token 凭什么学会智能
本页范围:第 6 章第 1 节 | 整理时间:2026-09-29
第 4、5 两章把 Transformer 的骨架讲透了:注意力、FFN、归一化、各种现代变体。但骨架本身只是容器——一个随机初始化的 Transformer 什么也不会,是训练目标给它注入灵魂。本节就回答这个承上启下的问题:预训练时,模型到底在优化什么?
答案简单得出乎意料:给定前面的 token,猜下一个。本节沿四个问题把这个目标讲透:
- 训练信号从哪来:每个位置都是一道考题(6.1.1):一句话如何拆成约 \(T\) 道猜词题,为什么这种监督完全免费、可以无限规模化;
- 交叉熵损失与困惑度:给「猜得有多准」打分(6.1.2):损失函数的公式与直觉,以及困惑度「平均在多少个选项里犹豫」的读法;
- teacher forcing:训练并行、推理串行(6.1.3):为什么训练能整句一口吃完,推理却只能一个一个往外蹦;
- 为什么猜词能学会智能:预测即压缩(6.1.4):从猜词题的难度阶梯,到信息论里预测与压缩的等价关系。
读完全节,你应该能说清两件事:交叉熵损失和困惑度各自在量什么;以及为什么「猜下一个 token」这个看似低级的目标,配得上「智能来源」四个字。
图 1 标出预训练在 LLM 生命周期中的位置,图 2 展示预训练阶段的目标与计算流程。
图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么形状?把「预测下一个 token」这个目标单独拆开看:
6.1.1 训练信号从哪来:每个位置都是一道考题
一句话的概率可以按链式法则拆成一串条件概率的连乘。设一句话由 \(T\) 个 token 组成,记作 \(x_1, x_2, \dots, x_T\),那么整句话出现的概率是:
公式 (1) 就是概率论里的链式法则(chain rule):一句话的联合概率,拆成「从左到右逐词问」的条件概率连乘。它不是 Transformer 的发明,是任何序列都成立的恒等式——Transformer 只是挑了其中一种拆法来学。拿「我 爱 吃 苹 果」这 5 个 token 走一遍(示意按字切分,实际由分词器按词表切):
为什么这样拆是对的?两个变量的版本我们最熟:
这条恒等式的物理含义值得多看一眼:一句话就是一条决策路径。每个位置是一个岔路口,词表里 6400 个 token 是 6400 条岔路;\(P(x_t \mid x_{<t})\) 是站在当前位置、身后路线已定时,走进 \(x_t\) 这条岔路的概率;走完整句话的概率,就是每个岔路口选择概率的连乘。连乘有一个直接推论:每个因子都不超过 1,句子越长概率越小——所以「我爱吃苹果」的概率一定比「我」小。这不是模型偏心,是联合概率的数学性质。
链式法则对任何拆解顺序都成立,从右往左拆也可以。语言模型偏选从左到右,原因有二:一是符合人说话写字的顺序,先定前词再写后词;二是每一步只需回答同一个问题——「左边都定了,下一个是什么」。于是每个位置都变成一道形式完全相同的考题:一段 \(T\) 个 token 的文本,就给出约 \(T\) 道「看到左边、猜下一个」的考题。语言模型的训练目标就是让公式 (1) 的连乘尽量大,等价于让每一个位置的条件概率尽量准。
互联网上每一段文字都自动是这样的试卷——不需要任何人标注答案,文本自身就是答案。这种「数据自带标签」的训练方式叫自监督学习(self-supervised learning),它是预训练能 scaling 到万亿 token 的根本原因:标注成本为零,数据量只受限于人类写过多少字。这也正是第 1 章花大力气讲数据收集与清洗的原因——试卷的供给几乎是无限的,比拼的是试卷质量。
按公式 (1) 这种「只看左边、猜下一个」方式建模的模型,叫因果语言模型(causal language model),也叫自回归模型。「因果」指时间方向不可逆——第 \(t\) 步的预测只能依赖 \(t\) 之前的信息,不许偷看未来;「自回归」指它用自己已经产出的内容作为下一步的输入。GPT 系列、Llama 系列都是这一类。
预训练的第一个关键设计:链式分解让一句话的每个位置都变成一道考题,\(T\) 个 token 给出约 \(T\) 份监督。监督信号免费且海量,这是预训练规模化的地基。
6.1.2 交叉熵损失与困惑度:给「猜得有多准」打分
目标有了,还需要一把尺子衡量「猜得有多好」。工程上不直接最大化公式 (1) 的连乘,而是取对数、加负号,把它变成最小化问题——这就是交叉熵损失:
模型在每个位置输出的其实是一个覆盖整个词表的概率分布:词表有 \(V\) 个 token,就有 \(V\) 个概率。交叉熵量的是这个分布与「标准答案」的差距,公式 (2) 只保留其中一项——标准答案那个 token 的概率取对数。模型越把概率质量集中给正确答案,损失越小。
损失是个小数,读感不直观,于是社区更爱用它的指数形式——困惑度(perplexity,常缩写 PPL):
困惑度有两个好用的锚点。一只锚在瞎猜基线:一个完全没学过、在每个位置均匀瞎猜的模型,给任何 token 的概率都是 \(1/V\),代入公式 (2) 得 \(\mathcal{L} = \ln V\),于是 \(\mathrm{PPL} = V\)——困惑度恰好等于词表大小。以 minimind 的词表 \(V = 6400\) 为例,瞎猜基线就是 PPL = 6400;训练有素后这个数字会掉到远低于词表的水平。另一只锚在理论极限:PPL 的最小值是 1,表示每一步都百分百确定,对自然语言这不可能达到,因为语言本身有不可消除的随机性(「今天天气很」后面接「好」还是「热」,谁都说不死)。
有的资料用 2 为底记对数,此时困惑度写作 \(\mathrm{PPL} = 2^{\mathcal{L}}\),数值不同但含义相同。本手册与 minimind 的代码一致,统一用自然对数(\(e\) 为底)。
注意:困惑度不能跨词表、跨测试集比较。词表越大,瞎猜基线越高;分词粒度不同,「每步猜一个什么单位」都不一样。说「A 模型 PPL 比 B 低」,前提是同词表、同数据,否则这个比较没有意义。
6.1.3 teacher forcing:训练并行、推理串行
6.1.1 的试卷有一个容易滑过去的细节。拿第 3 题来说:题干是「我 爱」,要求猜「吃」。可是模型做第 2 题时未必猜得对——假设它嘴滑,猜的是「恨」。那么出第 3 题时,题干该用哪一版上文?摆在你面前的有两个选择:用模型自己猜的「我 恨」,还是用真实文本的「我 爱」。
训练时固定选后者:不管模型上一题猜成什么样,下一题的题干一律从原句里抄,绝不采用模型自己的输出。正是这个选择带来了一个巨大的工程红利——每道题的题干在开考前就全部写死了,互不依赖,整句话才能一次喂进模型、所有位置同时出题、同时出分。这种做法叫 teacher forcing。
训练时,无论模型上一题猜得对不对,下一题的题干一律用真实文本,不用模型自己的输出。与它相对的做法是把模型自己写的接回去当题干——推理时没有标准答案可抄,只能这么干,两种节奏的对照见下方图 3。
实现上有一个精巧细节:把整句错位一位,输入和标签天然对齐。位置 \(t\) 的输出负责预测第 \(t+1\) 个 token:
输入: [BOS] 我 爱 吃 苹
标签: 我 爱 吃 苹 果
↑ ↑ ↑ ↑ ↑
第1题 第2题 第3题 第4题 第5题 (每一列是一道考题,并行计算)
整句并行的前提是第 \(t\) 个位置绝不能看到右边的答案——这正是 4.3 节讲的因果掩码:一个下三角开关矩阵,把「看向未来」的注意力权重精确封成 0。Transformer 的注意力本来就可以全序列并行,配上因果掩码,\(T\) 道考题一次算完,这是它能吃下万亿 token 的关键效率来源。
推理时局面完全不同:没有真实文本可用,模型只能先从 \([BOS]\) 猜出第 1 个 token,把它接在末尾,再猜第 2 个,如此循环——这就是自回归生成,一个 token 也省不掉。所以「训练并行、推理串行」是同一目标的一体两面:训练时标准答案免费可得,就整句一起算;推理时答案要靠自己长出来,只能逐个来。第 13 章讲的 KV Cache、投机采样,很大程度上都是在给这个串行瓶颈松绑。
注意:teacher forcing 也留下一个隐患:训练时模型见到的上文永远是正确的,推理时上文却是自己写的、可能含错——两种分布不一致,错误会沿着生成链条累积,这个问题叫 exposure bias(曝光偏差)。学界有 scheduled sampling 等缓解思路(Bengio et al., 2015),但主流预训练仍坚持 teacher forcing:它换来的全并行效率太重要了,副作用留给后训练环节去消化。
6.1.4 为什么猜词能学会智能:预测即压缩
下一个 token 预测为什么能让模型写代码、做数学题?因为要在海量文本上把词猜准,模型需要处理的任务难度几乎没有上限:
语法题
「今天天气很___」。靠语感就能答,局部搭配、词性约束就够,是最浅的一层。
常识与事实题
「水的化学式是___」。必须知道世界知识,模型得把事实存进参数里才猜得准。
推理题
「小明有 3 个苹果,吃了 1 个,还剩___」。要在内部完成一段多步推演,才能给出对的下一个词。
万亿 token 的语料里,这三类题按各种比例、各种伪装反复出现。损失函数不分青红皂白地惩罚每一次猜错,模型想继续降损失,唯一的出路是逐级掌握背后的规律:先学语法,再记常识,最后不得不会一点推理。智能不是目标里写明的要求,是「猜得准」这个压力逼出来的副产品。
这件事在信息论里有一个更硬的表述:预测与压缩是同一件事的两面。Shannon 1948 年的信源编码理论指出,对一段文本能做到多好的无损压缩,取决于你对下一个符号的概率估得有多准——预测越准,压缩越短。1951 年 Shannon 干脆做了一个「让人逐个猜英文下一个字母」的实验,用猜中率反推出英文的熵大约在每字符 1 比特上下(论文给出的区间约 0.6 到 1.3 比特)。这个「猜下一个字符」的实验,正是今天因果语言模型目标的直系祖先。沿着这条线,Sutskever 在 2023 年的公开演讲中给出过一个著名辩护:要把文本压到最短,压缩器必须内化文本背后的一切规律——语法、知识、推理乃至世界的运行方式;因此「预测下一个 token」做到极致,逼出来的就是对世界的理解。
「预测即压缩、压缩即智能」是一个有影响力的观点与解释框架,不是数学定理。它能解释经验现象(模型越大、数据越多,猜词越准,能力越强),但「猜词能力」与「通用智能」之间没有严格证明的等号。本节把它作为理解预训练的透镜,而非定论。
顺带回扣一处旧知识:第 0 章梳理历史时提到过 GPT 与 BERT 两条路线(0.3 节)。BERT 的 Masked LM 是另一种猜法——随机遮住句子中间的词,让模型双向看上下文去猜。它做理解任务很顺手,但天生不会逐字生成,而生成恰是 LLM 的主要使用形态,于是「只看左边」的因果语言模型成了主流,Masked LM 退居理解类模型。两条路线的分野就出在目标函数的这个小差异上。
最后划一条边界:预测目标只教模型「像人那样把话写下去」,没教它听懂指令、说对人有用的对话、守住安全底线。一个只做预训练的模型更像个博学的「文本续写机」,而不是助手。从续写机到助手的那几步——SFT、偏好对齐、推理训练——是第 9 到 11 章后训练的功课。
预训练目标的全部秘密:一个简单到极点的目标(看到左边、猜下一个 token),加上海量免费的数据和足够大的模型,在「必须把词猜准」的持续压力下,逼出了语法、知识乃至推理的雏形。目标的简单与结果的丰厚之间的落差,正是 LLM 时代最深刻的意外。
参考来源
- Shannon, 1948. A Mathematical Theory of Communication(Bell System Technical Journal;预测与压缩等价关系的信息论基础)。
- Shannon, 1951. Prediction and Entropy of Printed English(Bell System Technical Journal;「猜下一个字母」实验与英文熵估计,因果语言模型目标的思想祖先)。
- Bengio, Ducharme, Vincent & Jauvin, 2003. A Neural Probabilistic Language Model(JMLR 3:1137–1155;用前若干词预测下一个词的神经语言模型起点)。
- Radford, Narasimhan, Salimans & Sutskever, 2018. Improving Language Understanding by Generative Pre-Training(GPT 报告;确立「自回归预训练 + 微调」范式)。
- Bengio, Vinyals, Jaitly & Shazeer, 2015. Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks(arXiv:1506.03099;exposure bias 问题及一种缓解思路)。
- Sutskever, 2023. An Observation on Generalization(Simons Institute 演讲,2023-08-14;「预测即压缩」观点的出处,属观点性材料而非定理)。
- minimind 工程(Apache 2.0):
trainer/train_pretrain.py、model/model_minimind.py、dataset/lm_dataset.py,https://github.com/jingyaogong/minimind。