0.1 大语言模型是什么

本页范围:第 0 章第 1 节 | 整理时间:2026-09-28

快速浏览

核心问题ChatGPT 这类助手背后的大语言模型到底是什么?它的“智能”从哪来?
本节主张大语言模型的内核是一个条件概率模型:给定上文,预测下一个 token。所谓训练,就是把海量文本中的统计模式压缩进参数;日常所见的对话能力,是基座模型经过后训练对齐出来的行为。
一句话结论LLM 的底层任务是根据上文预测下一个 token。这个简单目标经过大规模反复训练,产生了翻译、问答、写作等能力。
关键词
语言建模下一个 token参数Base ModelChat Model涌现

  本节先解释大语言模型及其“智能”的来源,再把这个问题落到可计算的层面:模型如何用条件概率预测下一个 token,大规模训练如何让参数记下统计模式,后训练又如何把续写模型变成对话助手。本节分四步展开:

  1. 本质:预测下一个 token(0.1.1):把「智能」还原为一个条件概率问题,并用链式法则写出它的数学形式;
  2. 参数:压缩进权重的知识(0.1.2):训练到底在干什么,参数里存的为什么不是文本原文而是统计规律;
  3. Base Model 与 Chat Model:续写机器与对话助手(0.1.3):为什么预训练的直接产物不会聊天,还要后训练这一轮「上岗培训」;
  4. 能力从哪来:规模带来质变(0.1.4):回答「猜下一个词为什么能猜出翻译和推理」,引出涌现现象。

  读完本节,应能说明 LLM 的基本任务,并区分「会续写」和「会对话」这两个训练阶段。下一节将展示模型从原始文本到对话助手的完整流水线。

0.1.1 本质:预测下一个 token

  先从一个文字接龙游戏说起。看到“今天天气很”,几乎不假思索,你就会接上“好”或者“冷”。这个直觉就是语言建模的全部起点。大语言模型做的事情与此相同,只是把“觉得哪个词顺口”换成了精确的概率计算:面对词表里的每一个候选 token,模型都给出一个概率,表示它接在当前上文之后的合理程度。

大语言模型 LLM Large Language Model = 用语言数据训练的大型神经网络

“语言模型”说的是它的学习任务:对语言的概率分布建模,回答“这段文字有多像人写出来的话”。“大”说的是参数规模:现代 LLM 的参数(可学习的数值权重)从数十亿到上万亿不等,训练语料动辄数千亿甚至数万亿 token。

  把这个想法写成数学语言:一段文本 \(x_1, x_2, \dots, x_n\) 出现的概率,可以按概率的链式法则精确地分解为逐步条件概率的连乘:

\[ P(x_1, x_2, \dots, x_n) = \prod_{t=1}^{n} P\big(x_t \mid x_1, x_2, \dots, x_{t-1}\big) \tag{1} \]
公式 (1):语言建模的链式分解。这不是近似,而是概率论的恒等式:整段文本的概率等于“给定前面所有 token,下一个 token 出现概率”的逐项连乘。符号说明:\(x_1, x_2, \dots, x_n\) 是一段文本经分词得到的 token 序列,共 \(n\) 个;\(P(\cdot)\) 表示概率;\(P(x_1, \dots, x_n)\) 是整段文本出现的联合概率;\(\prod_{t=1}^{n}\) 表示把下标 \(t\) 从 1 到 \(n\) 的项逐项连乘;\(P\big(x_t \mid x_1, \dots, x_{t-1}\big)\) 是给定前 \(t-1\) 个 token 时第 \(t\) 个 token 出现的条件概率,竖线 \(\mid\) 读作“在……条件下”。

  这个分解的价值在于,它把“给整段文字打分”这件难事化成了同一个简单动作的重复:每一步只需回答一个问题:已知前面是 \(x_1, \dots, x_{t-1}\),下一个 token 是 \(x_t\) 的可能性有多大?模型一旦学会这个条件分布,就能反过来逐 token 生成全新的文本:从分布里选出一个,接到末尾,再以新的上文继续预测,直到生成结束标记。

  举个例子。输入“今天天气很”,模型输出的不是唯一答案,而是整个词表上的一个概率分布(下表数字为示意,帮助建立直觉):

候选 token接上后的开头概率(示意)
好今天天气很好0.31
不今天天气很不…0.12
冷今天天气很冷0.09
热今天天气很热0.07
晴今天天气很晴(不太通顺)0.01
词表中其余全部 token(数万条合计)……合计约 0.40

  表中数字仅用于示意。表中只列出概率最高的 5 个候选,合计 0.60;词表里其余数万条 token 的合计约 0.40,单条摊下来极小(平均不到十万分之一)。真实模型会在整个词表(几万到几十万个候选 token)上输出分布,所有概率之和为 1;具体数值由模型参数决定,不同模型给出的分布不同。

  生成文本就是反复执行同一个动作:预测分布、选出 token、接回上文。这个循环称为自回归(autoregressive)生成:

原创示意图 · 非论文原图 当前上文 今天天气很 模型 第 4 章详解 下一 token 的分布 好 0.31 / 不 0.12 / 冷 0.09 选出并接回 今天天气很好 新 token 接回上文,进入下一轮预测,直到生成结束标记
图 1:自回归生成循环。模型每次只预测一个 token,把选中的 token 接回上文,再开始下一轮预测。

  LLM 的基本任务是预测下一个 token。翻译、问答、写作和编程在生成阶段都按同一方式进行:给定上文,估计下一个 token 的分布。后续各章会分别解释这个过程涉及的数据、模型、训练与推理环节。

0.1.2 参数:压缩进权重的知识

  刚创建出来的模型什么也不懂:参数是随机数,预测结果接近瞎猜。训练做的事说起来很朴素:把海量文本切成无数个“猜下一个 token”的练习题,猜错了就调整参数,让下次猜得更准;猜对了就保留这种行为倾向。这个过程重复数千亿次之后,参数里沉淀下来的就是数据中的统计模式与规律。

  注意,参数里存的不是文本本身。以 GPT-3 为例:训练语料约 3000 亿 token,模型参数是 1750 亿个数值,折算下来存储空间远小于原始语料。模型装不下原文,只能留下规律性的东西:语法的结构、词语的搭配习惯、事实之间的关联,乃至常见的推理套路。想要预测得更准,模型就必须在内部学会这些东西。“预测”这个简单目标,反过来逼迫模型学会了语言,以及语言所描述的世界。

  注意:参数记录的是统计模式,不是可精确检索的数据库。所以模型可能“自信地记错”事实,一本正经地编出不存在的内容。这是幻觉问题的根源,第 12 章的解码实践里还会遇到它。

  训练这一步涉及的海量计算与工程细节,留到第 6 章(预训练目标与 Scaling Law)和第 7 章(训练工程)展开。这里只保留训练的基本含义:调整权重,让下一个 token 的预测越来越准。

0.1.3 Base Model 与 Chat Model:续写机器与对话助手

  预训练的产物叫 base model(基座模型),它是一台纯粹的续写机器:给一段文字,它就接着往下写。直接拿它当助手用,体验会很奇怪:你问它“怎么煮饺子”,它可能不回答,反而再续写出三个类似的问题。原因不难理解:在它的训练语料里,一个问题后面跟着的往往是一串问题(比如试卷和论坛帖子),续写更多问题才是符合概率的行为。

  我们日常使用的 ChatGPT 类助手是 chat model(对话模型):以 base model 为起点,再做一轮后训练(post-training):先用人工编写的问答示范做监督微调(SFT),再用人类偏好反馈做对齐(RLHF 等)。经过这轮“上岗培训”,模型学会了把输入当作需要回应的指令,而不是需要续写的文本片段。InstructGPT 的实验(Ouyang et al., 2022)系统地展示了这一转变:同一个基座,对齐后的模型会照着指令作答,而 base model 倾向于自顾自地续写。

Base Model / Chat Model 基座模型 = 预训练的直接产物;对话模型 = 后训练对齐后的助手形态

两者共享同一个底座:chat model 的语言能力几乎全部继承自 base model,后训练改变的主要是行为模式,从“接着写”变成“听指令、做回答”,并附加安全约束。开源社区发布的原始权重通常先放出 base model,而 API 提供的助手服务通常是 chat model。

Base Model(基座模型)

预训练的直接产物。行为是续写:给一段文字接着往下写,没有“回答问题”的概念。掌握全部语言能力,是对话模型和各类微调版本的共同起点。

Chat Model(对话模型)

base model 经后训练(SFT + 偏好对齐)得到的助手形态。会把输入当指令来回应,会拒绝不当请求。ChatGPT 等日常接触的助手都属于这一类。

  后训练具体怎么做,包括 SFT、RLHF、DPO、推理能力训练,是第 9 到 11 章的主题。本节只需建立一个二分:先有一个会续写的底座,再把它对齐成会对话的助手。

0.1.4 能力从哪来:规模带来质变

  为什么“猜下一个词”能猜出翻译、推理、写代码的能力?简短的回答是规模。当参数、数据、算力同步放大,模型不只是预测得更准,还会出现小模型身上观察不到的新行为。GPT-3 是典型案例:不对任务做任何额外训练,只在输入里给几个示例,模型就能当场学会新任务(few-shot learning)。这类“规模跨过某个阈值后突然出现”的能力称为涌现(emergent abilities)。

  规模与能力之间并不是玄学,而有相当稳定的定量规律,这部分留到第 6 章讲 Scaling Law 时展开;能力究竟到了什么程度、边界在哪里,则要交给基准评测去回答。本节的结论是方向性的:下一个 token 预测是机制,规模和数据是土壤,涌现出的丰富行为是结果。

  下一节按顺序介绍从原始文本到对话助手的各个处理环节,对应全手册的章节安排。

🧭本节要点回顾
LLM 的本质任务是什么?
给定上文,预测下一个 token 的概率分布。整段文本的概率按链式法则分解为逐 token 条件概率的连乘(公式 1),生成文本就是在这个分布上反复采样、接回上文。
base model 和 chat model 有什么区别?
base model 是预训练的直接产物,只会续写;chat model 是 base model 经过后训练(SFT + 偏好对齐)得到的助手形态,会把输入当指令来回应。日常接触的 ChatGPT 类助手都是后者。
模型的参数里存的到底是什么?
不是文本原文,而是从训练数据中学到的统计模式与规律:语法结构、搭配习惯、事实关联与推理套路。训练就是反复调整权重,让下一个 token 的预测越来越准。

参考来源

  • Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 论文,arXiv:2005.14165),1750 亿参数、约 3000 亿 token 训练语料与 few-shot 行为的出处。
  • Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT 论文,arXiv:2203.02155),base model 与对齐后模型的行为差异出自该文。
  • Jurafsky & Martin, Speech and Language Processing (3rd ed. draft),Language Modeling 章节(语言建模的链式分解与下一个词预测的经典表述)。