0.1 大语言模型是什么
本页范围:第 0 章第 1 节 | 整理时间:2026-09-28
本节先解释大语言模型及其“智能”的来源,再把这个问题落到可计算的层面:模型如何用条件概率预测下一个 token,大规模训练如何让参数记下统计模式,后训练又如何把续写模型变成对话助手。本节分四步展开:
- 本质:预测下一个 token(0.1.1):把「智能」还原为一个条件概率问题,并用链式法则写出它的数学形式;
- 参数:压缩进权重的知识(0.1.2):训练到底在干什么,参数里存的为什么不是文本原文而是统计规律;
- Base Model 与 Chat Model:续写机器与对话助手(0.1.3):为什么预训练的直接产物不会聊天,还要后训练这一轮「上岗培训」;
- 能力从哪来:规模带来质变(0.1.4):回答「猜下一个词为什么能猜出翻译和推理」,引出涌现现象。
读完本节,应能说明 LLM 的基本任务,并区分「会续写」和「会对话」这两个训练阶段。下一节将展示模型从原始文本到对话助手的完整流水线。
0.1.1 本质:预测下一个 token
先从一个文字接龙游戏说起。看到“今天天气很”,几乎不假思索,你就会接上“好”或者“冷”。这个直觉就是语言建模的全部起点。大语言模型做的事情与此相同,只是把“觉得哪个词顺口”换成了精确的概率计算:面对词表里的每一个候选 token,模型都给出一个概率,表示它接在当前上文之后的合理程度。
“语言模型”说的是它的学习任务:对语言的概率分布建模,回答“这段文字有多像人写出来的话”。“大”说的是参数规模:现代 LLM 的参数(可学习的数值权重)从数十亿到上万亿不等,训练语料动辄数千亿甚至数万亿 token。
把这个想法写成数学语言:一段文本 \(x_1, x_2, \dots, x_n\) 出现的概率,可以按概率的链式法则精确地分解为逐步条件概率的连乘:
这个分解的价值在于,它把“给整段文字打分”这件难事化成了同一个简单动作的重复:每一步只需回答一个问题:已知前面是 \(x_1, \dots, x_{t-1}\),下一个 token 是 \(x_t\) 的可能性有多大?模型一旦学会这个条件分布,就能反过来逐 token 生成全新的文本:从分布里选出一个,接到末尾,再以新的上文继续预测,直到生成结束标记。
举个例子。输入“今天天气很”,模型输出的不是唯一答案,而是整个词表上的一个概率分布(下表数字为示意,帮助建立直觉):
| 候选 token | 接上后的开头 | 概率(示意) |
|---|---|---|
| 好 | 今天天气很好 | 0.31 |
| 不 | 今天天气很不… | 0.12 |
| 冷 | 今天天气很冷 | 0.09 |
| 热 | 今天天气很热 | 0.07 |
| 晴 | 今天天气很晴(不太通顺) | 0.01 |
| 词表中其余全部 token(数万条合计) | …… | 合计约 0.40 |
表中数字仅用于示意。表中只列出概率最高的 5 个候选,合计 0.60;词表里其余数万条 token 的合计约 0.40,单条摊下来极小(平均不到十万分之一)。真实模型会在整个词表(几万到几十万个候选 token)上输出分布,所有概率之和为 1;具体数值由模型参数决定,不同模型给出的分布不同。
生成文本就是反复执行同一个动作:预测分布、选出 token、接回上文。这个循环称为自回归(autoregressive)生成:
LLM 的基本任务是预测下一个 token。翻译、问答、写作和编程在生成阶段都按同一方式进行:给定上文,估计下一个 token 的分布。后续各章会分别解释这个过程涉及的数据、模型、训练与推理环节。
0.1.2 参数:压缩进权重的知识
刚创建出来的模型什么也不懂:参数是随机数,预测结果接近瞎猜。训练做的事说起来很朴素:把海量文本切成无数个“猜下一个 token”的练习题,猜错了就调整参数,让下次猜得更准;猜对了就保留这种行为倾向。这个过程重复数千亿次之后,参数里沉淀下来的就是数据中的统计模式与规律。
注意,参数里存的不是文本本身。以 GPT-3 为例:训练语料约 3000 亿 token,模型参数是 1750 亿个数值,折算下来存储空间远小于原始语料。模型装不下原文,只能留下规律性的东西:语法的结构、词语的搭配习惯、事实之间的关联,乃至常见的推理套路。想要预测得更准,模型就必须在内部学会这些东西。“预测”这个简单目标,反过来逼迫模型学会了语言,以及语言所描述的世界。
注意:参数记录的是统计模式,不是可精确检索的数据库。所以模型可能“自信地记错”事实,一本正经地编出不存在的内容。这是幻觉问题的根源,第 12 章的解码实践里还会遇到它。
训练这一步涉及的海量计算与工程细节,留到第 6 章(预训练目标与 Scaling Law)和第 7 章(训练工程)展开。这里只保留训练的基本含义:调整权重,让下一个 token 的预测越来越准。
0.1.3 Base Model 与 Chat Model:续写机器与对话助手
预训练的产物叫 base model(基座模型),它是一台纯粹的续写机器:给一段文字,它就接着往下写。直接拿它当助手用,体验会很奇怪:你问它“怎么煮饺子”,它可能不回答,反而再续写出三个类似的问题。原因不难理解:在它的训练语料里,一个问题后面跟着的往往是一串问题(比如试卷和论坛帖子),续写更多问题才是符合概率的行为。
我们日常使用的 ChatGPT 类助手是 chat model(对话模型):以 base model 为起点,再做一轮后训练(post-training):先用人工编写的问答示范做监督微调(SFT),再用人类偏好反馈做对齐(RLHF 等)。经过这轮“上岗培训”,模型学会了把输入当作需要回应的指令,而不是需要续写的文本片段。InstructGPT 的实验(Ouyang et al., 2022)系统地展示了这一转变:同一个基座,对齐后的模型会照着指令作答,而 base model 倾向于自顾自地续写。
两者共享同一个底座:chat model 的语言能力几乎全部继承自 base model,后训练改变的主要是行为模式,从“接着写”变成“听指令、做回答”,并附加安全约束。开源社区发布的原始权重通常先放出 base model,而 API 提供的助手服务通常是 chat model。
Base Model(基座模型)
预训练的直接产物。行为是续写:给一段文字接着往下写,没有“回答问题”的概念。掌握全部语言能力,是对话模型和各类微调版本的共同起点。
Chat Model(对话模型)
base model 经后训练(SFT + 偏好对齐)得到的助手形态。会把输入当指令来回应,会拒绝不当请求。ChatGPT 等日常接触的助手都属于这一类。
后训练具体怎么做,包括 SFT、RLHF、DPO、推理能力训练,是第 9 到 11 章的主题。本节只需建立一个二分:先有一个会续写的底座,再把它对齐成会对话的助手。
0.1.4 能力从哪来:规模带来质变
为什么“猜下一个词”能猜出翻译、推理、写代码的能力?简短的回答是规模。当参数、数据、算力同步放大,模型不只是预测得更准,还会出现小模型身上观察不到的新行为。GPT-3 是典型案例:不对任务做任何额外训练,只在输入里给几个示例,模型就能当场学会新任务(few-shot learning)。这类“规模跨过某个阈值后突然出现”的能力称为涌现(emergent abilities)。
规模与能力之间并不是玄学,而有相当稳定的定量规律,这部分留到第 6 章讲 Scaling Law 时展开;能力究竟到了什么程度、边界在哪里,则要交给基准评测去回答。本节的结论是方向性的:下一个 token 预测是机制,规模和数据是土壤,涌现出的丰富行为是结果。
下一节按顺序介绍从原始文本到对话助手的各个处理环节,对应全手册的章节安排。
参考来源
- Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 论文,arXiv:2005.14165),1750 亿参数、约 3000 亿 token 训练语料与 few-shot 行为的出处。
- Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT 论文,arXiv:2203.02155),base model 与对齐后模型的行为差异出自该文。
- Jurafsky & Martin, Speech and Language Processing (3rd ed. draft),Language Modeling 章节(语言建模的链式分解与下一个词预测的经典表述)。