0.2 全景流水线:一张地图看懂 LLM 的一生

本页范围:第 0 章第 2 节 | 整理时间:2026-09-28

快速浏览

核心问题一个 LLM 从原始文本变成能对话、会推理的产品,要走过哪些环节?本手册的每一章分别对应流水线上的哪一段?
本节主张LLM 是一条多阶段流水线的产物:先备数据、搭架构,再依次经过预训练、中间训练、SFT、强化学习四个训练阶段逐步成形,最后经解码、部署走向应用与评测。模型的形态也随阶段演进:base model → instruct model → reasoning model。
一句话结论记住一张蛇形地图和一条形态演进链,就拿到了全手册的目录。
关键词
生命周期预训练中间训练SFTRLVRBase / Instruct / Reasoning

  0.1 节介绍了 LLM 的基本任务:给定上文,预测下一个 token。从原始文本到能对话、会推理的产品,还要经过数据处理、训练和后处理等环节。本节用图 1 展示完整流水线,这张图也对应全手册的章节安排。下面先浏览图 1,再逐段说明:

  1. 一张地图:LLM 的完整生命周期(0.2.1):蛇形全景图(图 1),把数据、架构、训练、推理、评测十几道工序与手册章号一一对上;
  2. 训练四阶段:学什么,产出什么(0.2.2):放大图 1 中段,预训练、中间训练、SFT、强化学习各自学什么、交出什么形态的模型;
  3. 模型形态演进链:base → instruct → reasoning(0.2.3):用同一道算术题看三种形态模型截然不同的反应;
  4. 带着这张地图读手册(0.2.4):怎么用图 1 定位每一章。

  读完本节,你手里就有了全手册的目录:学到任何一章,都能说出它站在流水线的哪一段、上游吃什么、下游交给谁。

0.2.1 一张地图:LLM 的完整生命周期

  一个能和你讨论问题的语言模型,出厂前要经历十几道工序:先把互联网上的文本收集起来洗干净,切成 token,送进一个叫 Transformer 的架构里反复训练,再经过几轮"精修",最后打包部署成你手机里的聊天助手。每一道工序都对应本手册的一章。图 1 把整条流水线画在一起,它是全手册的地图,后面每学一章,都可以回到这里看看自己站在哪儿。

原创示意图 · 非论文原图 数据收集与清洗 第 1 章 分词 第 2 章 Embedding 与位置编码 第 3 章 Transformer 架构 第 4-5 章 预训练 第 6-7 章 中间训练 第 8 章 后训练 SFT · 偏好对齐 · RLVR 第 9-11 章 推理解码与后处理 第 12 章 推理系统与部署 第 13 章 应用范式 第 14 章 多模态扩展 第 15 章 数据与文本(第 1-2 章) 表示与架构(第 3-5 章) 训练(第 6-11 章) 推理与应用(第 12-15 章) 阅读顺序:第一行从左到右,第二行从右到左(蛇形衔接)
图 1:LLM 完整生命周期全景。每个框是流水线上的一环,框内标注本手册对应章号;颜色区分四大段落——数据与文本(琥珀)、表示与架构(青)、训练(紫)、推理与应用(灰)。

  读图 1 时抓住三个分段就够了:左边四个框解决"拿什么喂模型、用什么骨架"的问题;中间紫色一段是模型的成长史,从预训练到后训练,占去绝大多数算力和工期;右边灰色一段回答"训完之后怎么用、怎么衡量好不好"。

  核心结论:LLM 没有单一的一次"炼成"时刻,它是多阶段流水线的产物,每个阶段只解决一类问题。本手册的章节与图 1 上的框一一对应,学任何一章时都可以回到这里定位。

0.2.2 训练四阶段:学什么,产出什么

  图 1 中间这一段(第 6-11 章)是整条流水线的主线,值得拉近单独看。现代 LLM 的训练可以分成四个阶段,每个阶段的数据、目标和产物都不同:

阶段对应章学什么产出什么
预训练第 6-7 章在海量无标注文本上反复做"预测下一个 token",把语言规律和世界知识压进参数base model:知识广博,但只会续写,不会对话
中间训练第 8 章不换骨架、换数据接着训:拉长上下文窗口,加重代码、数学等领域数据配比增强版 base model:能读长文,补齐领域短板
SFT(监督微调)第 9 章在人工编写的"指令—回答"样例上模仿,学会听懂指令并照做instruct model:会对话、能干活
强化学习第 10-11 章对齐人类偏好(RLHF / DPO,第 10 章);在可自动判对错的任务上试错练推理(RLVR,第 11 章)更听话、更安全的模型;reasoning model:会先想后答

  其中两个名字对初学者比较陌生,值得先讲透。

中间训练 Mid-training mid-training = 预训练与后训练之间的过渡训练

预训练结束后、正式"上岗培训"前,先再补一段针对性训练:把上下文长度从几千 token 拉长到几十万(长上下文扩展),或临时调整数据配比、加强某个领域(领域适配)。它不改模型结构,只是换一批数据继续训,2024 年前后被主流厂商普遍采纳为独立阶段。

RLVR(基于可验证奖励的强化学习) Reinforcement Learning from Verifiable Rewards

在数学、代码这类答案能被程序自动判对错的任务上,让模型自己生成解答:对了给奖励,错了不给,反复试错。奖励来自程序而不是人,所以便宜、量大、客观,模型可以成百万次地练习。2025 年,它成为训练推理能力的标准做法,Andrej Karpathy 在年度总结中把它列为继预训练、SFT、RLHF 之后的第四个训练阶段。

  关于"第几阶段"的口径:Karpathy 的总结按"预训练 → SFT → RLHF → RLVR"把 RLVR 称为第四阶段;本手册按数据流把中间训练单独成章(第 8 章),于是强化学习整体排在第四。两种口径说的是同一条流水线,差别只在中间训练是否单独计数。

  核心结论:前三个阶段的本质都是"模仿"——模仿语料、模仿指令样例;只有第四阶段让模型在奖励信号下自己探索。推理能力能被训出来,关键就在这一步从模仿到试错的切换。

0.2.3 模型形态演进链:base → instruct → reasoning

  流水线不同阶段的产出物,是三种不同形态的"模型"。平时听到的各种叫法,对应的就是这条演进链:

Base Model(基座模型)

预训练(加中间训练)的产物。本质是一台文本续写机:给个开头就往下编。知识都在参数里,但它没有"对话"的概念,你问它问题,它可能把问题当试卷接着出题。

Instruct Model(指令模型)

再经 SFT(通常叠加偏好对齐)的产物。学会了"指令 → 回答"的交互格式,能理解意图、按要求作答,是日常聊天框背后的形态。

Reasoning Model(推理模型)

再经 RLVR 强化的产物。面对复杂问题会先生成一长串内部推理过程(长思维链),再给出答案,数学、代码、逻辑类任务明显更强。

  同一个输入,三种形态的反应截然不同。以"小明有 3 个苹果,又买来 5 个,吃掉 2 个,还剩几个?"为例(以下为示意):

base model 可能续写:……答:6 个。下一题:小红有 10 块糖……(它把你当一张试卷)
instruct model 直接回答:还剩 6 个。
reasoning model 先输出一段思考:"3 加 5 等于 8,8 减 2 等于 6,所以……",然后给出答案。

  三种形态是同一套参数在流水线上不同站点的快照,不是三个孤立的模型。它们各自的强项和短板,会在第 12–14 章的推理与应用语境里反复出现。

0.2.4 带着这张地图读手册

  本手册的章节与图 1 上的框一一对应,建议按顺序阅读:第 1-2 章备料,第 3-5 章搭骨架,第 6-11 章走完四个训练阶段,第 12-15 章讲推理、部署、应用与多模态扩展。学到任何一章时,都可以回到本页确认自己在流水线中的位置。

🧭本节要点回顾
现代 LLM 的训练分哪几个阶段?
预训练、中间训练、SFT、强化学习四个阶段。前两个阶段造出 base model,SFT 教会对话,强化学习负责对齐偏好与练推理;RLVR 作为独立的第四阶段在 2025 年确立。
每个阶段各产出什么?
预训练产出 base model;中间训练产出上下文更长、领域更强的增强版 base model;SFT 产出 instruct model;RLVR 等强化学习训练产出 reasoning model。
为什么推理训练是后来才加上的第四阶段?
前三个阶段都在"模仿"已有文本,模仿不出没见过题目的多步推演。RLVR 用程序自动判对错来提供奖励,让模型自己试错练出推理策略,这条路线随推理模型的兴起在 2025 年成为标配。

参考来源

  • Andrej Karpathy, 2025 LLM Year in Review(karpathy.bearblog.dev/year-in-review-2025/):RLVR 成为预训练、SFT、RLHF 之后的第四训练阶段,本页四阶段划分的依据之一。
  • Nathan Lambert, The RLHF Book, Chapter 7: Reasoning(rlhfbook.com/c/07-reasoning):RLVR 与推理能力训练的机制讲解。
  • Tu et al., 2025. A Survey on LLM Mid-training(arXiv:2510.23081):中间训练的正式定义与分类,第 8 章设置与本页阶段划分的依据。
  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762):Transformer 架构原始论文,图 1 中第 4-5 章环节的骨干素材。