6.1 预训练目标:预测下一个 token 凭什么学会智能

本页范围:第 6 章第 1 节 | 整理时间:2026-09-29

快速浏览

核心问题模型结构搭好之后,拿什么目标去训练它?为什么「猜下一个 token」这么个简单目标,能训出会聊天、会推理的模型?
本节主张因果语言模型目标把每句话拆成约 \(T\) 道「看到左边、猜下一个」的考题,用交叉熵给每道题打分;teacher forcing 让这些考题在训练时全部并行;而「预测即压缩」的视角解释了为什么猜词这件事会逼出智能。
一句话结论预训练的全部工作就是反复玩猜词游戏:目标极简,但要在万亿 token 上猜得准,模型被迫把语法、常识、事实和推理规律统统内化进参数。
关键词
因果语言模型交叉熵困惑度teacher forcing预测即压缩

  第 4、5 两章把 Transformer 的骨架讲透了:注意力、FFN、归一化、各种现代变体。但骨架本身只是容器——一个随机初始化的 Transformer 什么也不会,是训练目标给它注入灵魂。本节就回答这个承上启下的问题:预训练时,模型到底在优化什么?

  答案简单得出乎意料:给定前面的 token,猜下一个。本节沿四个问题把这个目标讲透:

  1. 训练信号从哪来:每个位置都是一道考题(6.1.1):一句话如何拆成约 \(T\) 道猜词题,为什么这种监督完全免费、可以无限规模化;
  2. 交叉熵损失与困惑度:给「猜得有多准」打分(6.1.2):损失函数的公式与直觉,以及困惑度「平均在多少个选项里犹豫」的读法;
  3. teacher forcing:训练并行、推理串行(6.1.3):为什么训练能整句一口吃完,推理却只能一个一个往外蹦;
  4. 为什么猜词能学会智能:预测即压缩(6.1.4):从猜词题的难度阶梯,到信息论里预测与压缩的等价关系。

  读完全节,你应该能说清两件事:交叉熵损失和困惑度各自在量什么;以及为什么「猜下一个 token」这个看似低级的目标,配得上「智能来源」四个字。

  图 1 标出预训练在 LLM 生命周期中的位置,图 2 展示预训练阶段的目标与计算流程。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (本节内容) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:预训练在 LLM 生命周期中的位置。训练数据(第 1 章)备好后进入预训练(本章,紫框):在海量语料上做自监督学习,把文本规律压进参数;配套的并行、精度与稳定性工程在第 7 章,之后的中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章)、推理与部署(第 12–13 章)在对应章节展开。预训练这一站的第一步是定目标——看到左边、猜下一个 token,每个位置都是一道考题。

  图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么形状?把「预测下一个 token」这个目标单独拆开看:

原创示意图 · 非论文原图 局部放大:下一个 token 预测目标——每个位置一道题,交叉熵打分再平均 以「我爱吃苹果」为例(示意按字切分):输入 5 个 token ID,每个位置输出一行 6400 维 logits 输入: 5 个 ID 输出: 5 × 6400 逐题打分 BOS 我 爱 吃 苹 Transformer + 因果掩码:5 个位置并行,一次前向算完(teacher forcing,6.1.3) logits 第 1 行 1 × 6400 logits 第 2 行 1 × 6400 logits 第 3 行 1 × 6400 logits 第 4 行 1 × 6400 logits 第 5 行 1 × 6400 答案:我 ℓ₁=−log P(我) 答案:爱 ℓ₂=−log P(爱) 答案:吃 ℓ₃=−log P(吃) 答案:苹 ℓ₄=−log P(苹) 答案:果 ℓ₅=−log P(果) 求平均:L = ( ℓ₁ + ℓ₂ + ℓ₃ + ℓ₄ + ℓ₅ ) / 5 交叉熵损失(公式 (2))——输出 1 个标量,反向传播回全部参数 一段 T 个 token 的文本就出约 T 道题;答案就是原文自身,监督信号免费(自监督)
图 2:下一个 token 预测目标的完整数据流。输入 5 个 token ID 整句并行过一遍 Transformer,每个位置输出一行 6400 维 logits(全链路形状:5 个 ID → 5 × 6400 logits → 1 个标量 loss);softmax 之后取标准答案那个 token 的概率算交叉熵,5 道题求平均得到损失 L。位置 t 的预测目标是第 t+1 个 token,因果掩码保证每题只看得见左边。

6.1.1 训练信号从哪来:每个位置都是一道考题

  一句话的概率可以按链式法则拆成一串条件概率的连乘。设一句话由 \(T\) 个 token 组成,记作 \(x_1, x_2, \dots, x_T\),那么整句话出现的概率是:

\[ P(x_1, x_2, \dots, x_T) = \prod_{t=1}^{T} P\big(x_t \mid x_{<t}\big) \tag{1} \]
公式 (1):一句话的概率 = 逐个位置的条件概率连乘。拆开读:第 1 个 token 的概率,乘以「已知第 1 个时第 2 个的概率」,再乘以「已知前 2 个时第 3 个的概率」,一直乘到句尾。符号说明:\(x_t\) 是第 \(t\) 个 token;\(x_{<t}\) 是位置 \(t\) 左边的全部 token(即 \(x_1, \dots, x_{t-1}\)),代表「目前看到的上文」;\(P(x_t \mid x_{<t})\) 是给定上文时下一个 token 恰好是 \(x_t\) 的条件概率;\(\prod\) 是连乘符号;\(T\) 是序列长度。

  公式 (1) 就是概率论里的链式法则(chain rule):一句话的联合概率,拆成「从左到右逐词问」的条件概率连乘。它不是 Transformer 的发明,是任何序列都成立的恒等式——Transformer 只是挑了其中一种拆法来学。拿「我 爱 吃 苹 果」这 5 个 token 走一遍(示意按字切分,实际由分词器按词表切):

\[ P(\text{我爱吃苹果}) = P(\text{我}) \cdot P(\text{爱} \mid \text{我}) \cdot P(\text{吃} \mid \text{我爱}) \cdot P(\text{苹} \mid \text{我爱吃}) \cdot P(\text{果} \mid \text{我爱吃苹}) \tag{1a} \]
读法:\(P(\text{我})\) 是一个句子以「我」开头的概率;\(P(\text{爱} \mid \text{我})\) 是开头已经是「我」的前提下,第二个字恰好是「爱」的概率;依此类推,每一步都把左边已经确定的部分当条件,只问下一个字。实际序列首尾还有句首、句尾标记,各对应一个因子。

  为什么这样拆是对的?两个变量的版本我们最熟:

\[ P(A, B) = P(A) \cdot P(B \mid A) \tag{1b} \]
读法:「下雨且堵车」的概率 = 「下雨」的概率 ×「已知下雨时堵车」的概率。公式 (1) 只是把这条规则从 2 个变量推广到 \(T\) 个:每一步的条件里带上前面所有变量,等式就严格成立,与按什么顺序拆无关。

  这条恒等式的物理含义值得多看一眼:一句话就是一条决策路径。每个位置是一个岔路口,词表里 6400 个 token 是 6400 条岔路;\(P(x_t \mid x_{<t})\) 是站在当前位置、身后路线已定时,走进 \(x_t\) 这条岔路的概率;走完整句话的概率,就是每个岔路口选择概率的连乘。连乘有一个直接推论:每个因子都不超过 1,句子越长概率越小——所以「我爱吃苹果」的概率一定比「我」小。这不是模型偏心,是联合概率的数学性质。

  链式法则对任何拆解顺序都成立,从右往左拆也可以。语言模型偏选从左到右,原因有二:一是符合人说话写字的顺序,先定前词再写后词;二是每一步只需回答同一个问题——「左边都定了,下一个是什么」。于是每个位置都变成一道形式完全相同的考题:一段 \(T\) 个 token 的文本,就给出约 \(T\) 道「看到左边、猜下一个」的考题。语言模型的训练目标就是让公式 (1) 的连乘尽量大,等价于让每一个位置的条件概率尽量准。

  互联网上每一段文字都自动是这样的试卷——不需要任何人标注答案,文本自身就是答案。这种「数据自带标签」的训练方式叫自监督学习(self-supervised learning),它是预训练能 scaling 到万亿 token 的根本原因:标注成本为零,数据量只受限于人类写过多少字。这也正是第 1 章花大力气讲数据收集与清洗的原因——试卷的供给几乎是无限的,比拼的是试卷质量。

自回归模型 Autoregressive Model auto(自己)+ regressive(回归)= 用自己的历史预测自己的下一步

按公式 (1) 这种「只看左边、猜下一个」方式建模的模型,叫因果语言模型(causal language model),也叫自回归模型。「因果」指时间方向不可逆——第 \(t\) 步的预测只能依赖 \(t\) 之前的信息,不许偷看未来;「自回归」指它用自己已经产出的内容作为下一步的输入。GPT 系列、Llama 系列都是这一类。

就像蒙着眼睛走迷宫,每一步只能根据已经走过的路决定往哪拐,身后的路(上文)都记得,前面的墙(未来)一概不知。

  预训练的第一个关键设计:链式分解让一句话的每个位置都变成一道考题,\(T\) 个 token 给出约 \(T\) 份监督。监督信号免费且海量,这是预训练规模化的地基。

6.1.2 交叉熵损失与困惑度:给「猜得有多准」打分

  目标有了,还需要一把尺子衡量「猜得有多好」。工程上不直接最大化公式 (1) 的连乘,而是取对数、加负号,把它变成最小化问题——这就是交叉熵损失:

\[ \mathcal{L} = -\frac{1}{T} \sum_{t=1}^{T} \log P_\theta\big(x_t \mid x_{<t}\big) \tag{2} \]
公式 (2):把每道题「模型给标准答案的概率」取对数、求平均、加负号。模型给正确答案的概率越高,这一项越小,损失越低;概率越接近 0,损失冲向无穷大——错得越自信,罚得越狠。符号说明:\(\mathcal{L}\) 是损失值;\(P_\theta\) 的下标 \(\theta\) 代表模型参数,强调这个概率是模型算出来的、训练就是要调整 \(\theta\) 把它抬高;\(\log\) 是自然对数(与 PyTorch 的实现一致,有的教材用 2 为底,差一个常数因子);\(\frac{1}{T}\) 是取平均,让长句短句的损失可以互相比较;负号把「概率越大越好」翻成「损失越小越好」。
交叉熵 Cross-Entropy cross(交叉)+ entropy(熵)= 用模型的分布去编码真实答案所需的代价

模型在每个位置输出的其实是一个覆盖整个词表的概率分布:词表有 \(V\) 个 token,就有 \(V\) 个概率。交叉熵量的是这个分布与「标准答案」的差距,公式 (2) 只保留其中一项——标准答案那个 token 的概率取对数。模型越把概率质量集中给正确答案,损失越小。

像考试时的「置信度评分」:不光要选对答案,还要给答案标置信度。蒙对了但只敢给 1% 置信度,得分依然很低;充满信心地选错,扣分最重。

  损失是个小数,读感不直观,于是社区更爱用它的指数形式——困惑度(perplexity,常缩写 PPL):

\[ \mathrm{PPL} = \exp\big(\mathcal{L}\big) \tag{3} \]
公式 (3):困惑度 = 平均损失的指数。它的读法是「模型每一步平均在多少个等价选项里犹豫」:PPL = 50 意味着模型每猜一个 token 的纠结程度,相当于在 50 个难分伯仲的候选里挑一个。符号说明:\(\exp\) 是指数函数(\(e\) 的幂),作用是撤销公式 (2) 里的对数,把「对数尺度的损失」还原回「选项个数」的尺度;\(\mathcal{L}\) 即公式 (2) 的平均交叉熵损失。

  困惑度有两个好用的锚点。一只锚在瞎猜基线:一个完全没学过、在每个位置均匀瞎猜的模型,给任何 token 的概率都是 \(1/V\),代入公式 (2) 得 \(\mathcal{L} = \ln V\),于是 \(\mathrm{PPL} = V\)——困惑度恰好等于词表大小。以 minimind 的词表 \(V = 6400\) 为例,瞎猜基线就是 PPL = 6400;训练有素后这个数字会掉到远低于词表的水平。另一只锚在理论极限:PPL 的最小值是 1,表示每一步都百分百确定,对自然语言这不可能达到,因为语言本身有不可消除的随机性(「今天天气很」后面接「好」还是「热」,谁都说不死)。

  有的资料用 2 为底记对数,此时困惑度写作 \(\mathrm{PPL} = 2^{\mathcal{L}}\),数值不同但含义相同。本手册与 minimind 的代码一致,统一用自然对数(\(e\) 为底)。

  注意:困惑度不能跨词表、跨测试集比较。词表越大,瞎猜基线越高;分词粒度不同,「每步猜一个什么单位」都不一样。说「A 模型 PPL 比 B 低」,前提是同词表、同数据,否则这个比较没有意义。

6.1.3 teacher forcing:训练并行、推理串行

  6.1.1 的试卷有一个容易滑过去的细节。拿第 3 题来说:题干是「我 爱」,要求猜「吃」。可是模型做第 2 题时未必猜得对——假设它嘴滑,猜的是「恨」。那么出第 3 题时,题干该用哪一版上文?摆在你面前的有两个选择:用模型自己猜的「我 恨」,还是用真实文本的「我 爱」。

  训练时固定选后者:不管模型上一题猜成什么样,下一题的题干一律从原句里抄,绝不采用模型自己的输出。正是这个选择带来了一个巨大的工程红利——每道题的题干在开考前就全部写死了,互不依赖,整句话才能一次喂进模型、所有位置同时出题、同时出分。这种做法叫 teacher forcing。

teacher forcing 教师强制 训练时强制使用标准答案作为下一步的输入

训练时,无论模型上一题猜得对不对,下一题的题干一律用真实文本,不用模型自己的输出。与它相对的做法是把模型自己写的接回去当题干——推理时没有标准答案可抄,只能这么干,两种节奏的对照见下方图 3。

像老师带着学生刷题:每道题都从干净的题干开始,学生上一题答错了也不会带歪下一题。等到真正考试(推理)时才撤掉老师,答错一步就得踩着错误继续走。

  实现上有一个精巧细节:把整句错位一位,输入和标签天然对齐。位置 \(t\) 的输出负责预测第 \(t+1\) 个 token:

输入:  [BOS]  我   爱   吃   苹
标签:   我    爱   吃   苹   果
        ↑    ↑    ↑    ↑    ↑
      第1题 第2题 第3题 第4题 第5题   (每一列是一道考题,并行计算)

  整句并行的前提是第 \(t\) 个位置绝不能看到右边的答案——这正是 4.3 节讲的因果掩码:一个下三角开关矩阵,把「看向未来」的注意力权重精确封成 0。Transformer 的注意力本来就可以全序列并行,配上因果掩码,\(T\) 道考题一次算完,这是它能吃下万亿 token 的关键效率来源。

原创示意图 · 非论文原图 训练:整句并行(teacher forcing) 输入 BOS 我 爱 吃 苹 标签 我 爱 吃 苹 果 输入错位一位对齐标签,每一列是一道考题 5 道题一次前向同时开答 因果掩码:每题只看左边,不许偷看右边答案 推理:逐 token 串行(自回归) 我 爱 模型 吃 输出接回输入末尾 没有标准答案可抄,每猜一个都要重新跑一遍模型 第 1 步 → 第 2 步 → ……只能一个接一个
图 3:同一个目标,两种节奏。训练时整句并行(左),输入错位一位后每列是一道考题,因果掩码挡住未来;推理时没有答案可抄(右),每生成一个 token 都要喂回模型再猜下一个,严格串行。

  推理时局面完全不同:没有真实文本可用,模型只能先从 \([BOS]\) 猜出第 1 个 token,把它接在末尾,再猜第 2 个,如此循环——这就是自回归生成,一个 token 也省不掉。所以「训练并行、推理串行」是同一目标的一体两面:训练时标准答案免费可得,就整句一起算;推理时答案要靠自己长出来,只能逐个来。第 13 章讲的 KV Cache、投机采样,很大程度上都是在给这个串行瓶颈松绑。

  注意:teacher forcing 也留下一个隐患:训练时模型见到的上文永远是正确的,推理时上文却是自己写的、可能含错——两种分布不一致,错误会沿着生成链条累积,这个问题叫 exposure bias(曝光偏差)。学界有 scheduled sampling 等缓解思路(Bengio et al., 2015),但主流预训练仍坚持 teacher forcing:它换来的全并行效率太重要了,副作用留给后训练环节去消化。

6.1.4 为什么猜词能学会智能:预测即压缩

  下一个 token 预测为什么能让模型写代码、做数学题?因为要在海量文本上把词猜准,模型需要处理的任务难度几乎没有上限:

语法题

「今天天气很___」。靠语感就能答,局部搭配、词性约束就够,是最浅的一层。

常识与事实题

「水的化学式是___」。必须知道世界知识,模型得把事实存进参数里才猜得准。

推理题

「小明有 3 个苹果,吃了 1 个,还剩___」。要在内部完成一段多步推演,才能给出对的下一个词。

  万亿 token 的语料里,这三类题按各种比例、各种伪装反复出现。损失函数不分青红皂白地惩罚每一次猜错,模型想继续降损失,唯一的出路是逐级掌握背后的规律:先学语法,再记常识,最后不得不会一点推理。智能不是目标里写明的要求,是「猜得准」这个压力逼出来的副产品。

  这件事在信息论里有一个更硬的表述:预测与压缩是同一件事的两面。Shannon 1948 年的信源编码理论指出,对一段文本能做到多好的无损压缩,取决于你对下一个符号的概率估得有多准——预测越准,压缩越短。1951 年 Shannon 干脆做了一个「让人逐个猜英文下一个字母」的实验,用猜中率反推出英文的熵大约在每字符 1 比特上下(论文给出的区间约 0.6 到 1.3 比特)。这个「猜下一个字符」的实验,正是今天因果语言模型目标的直系祖先。沿着这条线,Sutskever 在 2023 年的公开演讲中给出过一个著名辩护:要把文本压到最短,压缩器必须内化文本背后的一切规律——语法、知识、推理乃至世界的运行方式;因此「预测下一个 token」做到极致,逼出来的就是对世界的理解。

  「预测即压缩、压缩即智能」是一个有影响力的观点与解释框架,不是数学定理。它能解释经验现象(模型越大、数据越多,猜词越准,能力越强),但「猜词能力」与「通用智能」之间没有严格证明的等号。本节把它作为理解预训练的透镜,而非定论。

  顺带回扣一处旧知识:第 0 章梳理历史时提到过 GPT 与 BERT 两条路线(0.3 节)。BERT 的 Masked LM 是另一种猜法——随机遮住句子中间的词,让模型双向看上下文去猜。它做理解任务很顺手,但天生不会逐字生成,而生成恰是 LLM 的主要使用形态,于是「只看左边」的因果语言模型成了主流,Masked LM 退居理解类模型。两条路线的分野就出在目标函数的这个小差异上。

  最后划一条边界:预测目标只教模型「像人那样把话写下去」,没教它听懂指令、说对人有用的对话、守住安全底线。一个只做预训练的模型更像个博学的「文本续写机」,而不是助手。从续写机到助手的那几步——SFT、偏好对齐、推理训练——是第 9 到 11 章后训练的功课。

  预训练目标的全部秘密:一个简单到极点的目标(看到左边、猜下一个 token),加上海量免费的数据和足够大的模型,在「必须把词猜准」的持续压力下,逼出了语法、知识乃至推理的雏形。目标的简单与结果的丰厚之间的落差,正是 LLM 时代最深刻的意外。

🧭本节要点回顾
为什么预训练不需要人工标注?
链式分解把每句话变成约 \(T\) 道「看到左边、猜下一个」的考题,标准答案就是原文的下一个 token——数据自带标签,监督信号免费且海量,这是自监督能 scaling 到万亿 token 的根本原因。
困惑度 6400 和困惑度 10 分别意味着什么?
以词表 \(V = 6400\) 为例,6400 是均匀瞎猜的基线(\(\mathrm{PPL} = V\)),表示每一步都在全部 6400 个候选里无所适从;10 则表示模型平均只在大约 10 个等价选项间犹豫。困惑度越低越好,理论下限 1 不可达。
训练能整句并行,为什么推理只能逐 token 生成?
训练时用 teacher forcing,题干永远取真实上文,所有位置互不依赖,配合因果掩码一次前向算完全部考题;推理时没有真实上文,只能把上一步的输出接回输入再猜下一个,天然串行。

参考来源

  • Shannon, 1948. A Mathematical Theory of Communication(Bell System Technical Journal;预测与压缩等价关系的信息论基础)。
  • Shannon, 1951. Prediction and Entropy of Printed English(Bell System Technical Journal;「猜下一个字母」实验与英文熵估计,因果语言模型目标的思想祖先)。
  • Bengio, Ducharme, Vincent & Jauvin, 2003. A Neural Probabilistic Language Model(JMLR 3:1137–1155;用前若干词预测下一个词的神经语言模型起点)。
  • Radford, Narasimhan, Salimans & Sutskever, 2018. Improving Language Understanding by Generative Pre-Training(GPT 报告;确立「自回归预训练 + 微调」范式)。
  • Bengio, Vinyals, Jaitly & Shazeer, 2015. Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks(arXiv:1506.03099;exposure bias 问题及一种缓解思路)。
  • Sutskever, 2023. An Observation on Generalization(Simons Institute 演讲,2023-08-14;「预测即压缩」观点的出处,属观点性材料而非定理)。
  • minimind 工程(Apache 2.0):trainer/train_pretrain.py、model/model_minimind.py、dataset/lm_dataset.py,https://github.com/jingyaogong/minimind。