0.3 LLM 简史与本手册读法

本页范围:第 0 章第 3 节 | 整理时间:2026-09-28

快速浏览

核心问题从 2017 年的 Transformer 到 2025 年的推理模型,哪些节点真正改变了 LLM 的方向?这本手册又该按什么方式读?
本节主张LLM 的演进呈台阶式跃迁,每次跃迁都由具体技术事件推动。理解这些技术之间的关系,也就理解了手册的章节安排。
一句话结论架构(Transformer)、规模(GPT-3 与 Scaling Law)、对齐(RLHF 与 ChatGPT)、开源与能力跃迁(LLaMA 与 GPT-4)、推理时计算(o1 与 DeepSeek-R1),五级台阶串起本手册的主线。
关键词
TransformerGPT-3RLHFChatGPTLLaMAo1DeepSeek-R1推理时扩展

  前两节回答了「LLM 是什么」和「要经历哪些环节」,本节改从时间轴回看。2017 年以来的技术事件逐步增加了这些环节,也决定了手册各章的安排。本节分三步展开:

  1. 八年时间线:从 Transformer 到推理模型(0.3.1):图 1 加一张表,逐个说清改变方向的关键节点各带来了什么;
  2. 趋势小结:能力是台阶式跃迁(0.3.2):把时间线连起来看,能力增长是楼梯而不是斜坡,每级台阶对应手册的哪些章;
  3. 本手册怎么读(0.3.3):素材的三层可信度、页面组件图例,以及顺序读与按需跳读两种读法。

  读完本节,历史脉络和章节结构就在你脑子里合成了一张图。这也是第 0 章的收尾,下一章正式进入第一块积木,训练数据。

0.3.1 八年时间线:从 Transformer 到推理模型

  LLM 不是某一天突然出现的。它是架构、规模、对齐、推理等方向上一连串技术事件累积的产物。图 1 这条时间线只收录改变方向的关键节点,先看全景,再用表格逐个说清楚每个节点改变了什么。

原创示意图 · 非论文原图 Transformer 自注意力架构诞生 2017 2018 GPT-1 / BERT 预训练+微调范式 GPT-2 零样本迁移初现 2019 2020 GPT-3 / Scaling Law few-shot 涌现 InstructGPT / ChatGPT RLHF 走出实验室 2022 2023 LLaMA / GPT-4 开源生态爆发 o1 / DPO 普及 推理时扩展登场 2024 2025 DeepSeek-R1 RLVR 推理模型开源
图 1:2017 到 2025 年 LLM 关键节点时间线,只收录改变方向的事件。
年份节点它改变了什么
2017Transformer(Vaswani et al.)自注意力取代循环结构成为序列建模的主流架构,此后所有 LLM 都建立在它之上(本手册第 4 章的主题)。
2018GPT-1(Radford et al.)、BERT(Devlin et al.)确立“预训练 + 微调”范式,并分出生成式(GPT,decoder-only)与理解式(BERT,encoder-only)两条路线,前者后来成为 LLM 的主流形态。
2019GPT-2(Radford et al.)零样本任务迁移初现苗头,“模型变大后会自发获得新能力”第一次成为清晰信号。
2020GPT-3(Brown et al.,1750 亿参数)、Kaplan Scaling Lawfew-shot 上下文学习涌现:不改参数,只在输入里给几个例子就能完成新任务;Scaling Law 给出性能随规模增长的幂律关系,堆规模从经验变成可计算的工程决策。
2022InstructGPT(Ouyang et al.)、Chinchilla(Hoffmann et al.)、ChatGPTRLHF 让模型学会遵循指令、对齐人类偏好;ChatGPT(2022-11-30 发布)两个月用户破亿,把 LLM 带出实验室;Chinchilla 用 700 亿参数配 1.4 万亿 token,证明数据要与参数同步扩,纠正只堆参数的训法。
2023LLaMA(Touvron et al.)、GPT-4(OpenAI)LLaMA 权重开放引爆开源生态,衍生出整个开源模型家族;GPT-4 把复杂推理与多模态能力推上新台阶。
2024o1(OpenAI,9 月)、DPO 普及o1 证明推理时计算(test-time compute)是新的性能轴:让模型想得更久,换答得更好;DPO 等免强化学习的偏好对齐方法在开源社区普及,对齐不再是大厂专利。
2025DeepSeek-R1(DeepSeek-AI,1 月)开源 RLVR 推理模型,证明纯强化学习可以涌现长思维链,把推理时扩展带进开源世界。

  两点说明:时间线只列改变方向的关键节点,并非完整编年史,同期的重要工作(T5、PaLM、Qwen、GLM 等)未逐一收录;“两个月破 1 亿用户”来自 UBS 估算与媒体报道,是公开流传的口径,不是官方精确统计。

0.3.2 趋势小结:能力是台阶式跃迁

  把图 1 的时间线连起来看,LLM 的能力增长更像楼梯,而不是斜坡。每一级台阶都由一项具体技术垫起,台阶之间是相对平缓的消化期:

  1. 第一级,2020 年(GPT-3):few-shot 上下文学习。模型第一次表现出不做梯度更新、看几个例子就会做新任务的能力;
  2. 第二级,2022 年(InstructGPT / ChatGPT):指令遵循。RLHF 把模型从续写机器变成听得懂人话的助手,能力第一次变成公众可用的产品;
  3. 第三级,2023 年(GPT-4):复杂推理与多模态。模型的能力边界显著外推,开始处理代码、数学、图像等更复杂的任务;
  4. 第四级,2024 到 2025 年(o1 / DeepSeek-R1):推理时计算。性能提升不再只靠训练阶段,推理时生成更长的思维链也能换来性能。
推理时扩展(Test-time Compute) test-time compute = 把更多计算花在推理阶段,而不是训练阶段

传统路径是训练时一次性投入巨大算力,推理时每个问题只花固定的小代价。o1 与 DeepSeek-R1 走另一条路:回答之前先生成一长串思维链,让模型在同一个问题上想得更久、算得更多,用推理时的计算换更高的正确率。这一范式将在第 11 章(推理能力训练)与第 13 章(推理时扩展)展开。

原创示意图 · 非论文原图 能力 时间 想象中的平滑进步 实际上的台阶式跃迁 2020 GPT-3 few-shot 上下文学习 2022 InstructGPT 指令遵循与对齐 2023 GPT-4 多模态与推理 2024-25 o1 / R1 推理时计算
图 2:LLM 能力的增长曲线。灰色虚线是想象中的平滑进步,紫色折线更接近事实:每一级台阶都对应一项可指认的技术事件。

  台阶式跃迁的含义:每一级台阶都垫在一项可指认的技术上,而这些技术正是本手册的章节。第 4 到 7 章讲架构与预训练(地基),第 9 到 10 章讲指令微调与偏好对齐(第二级台阶),第 11 章与第 13 章讲推理训练与推理时扩展(第四级台阶)。历史脉络与章节结构是同一张图。

0.3.3 本手册怎么读

  最后说说这本手册本身的读法。手册的内容建立在三类素材上,编写时按可信度分层使用:

三大素材支柱

一手论文与官方文档

理论表述以 arXiv 原始论文、官方技术报告、经典教材(如 SLP3)为准。每页末尾的参考来源列明本节出处,拿不准的内容会明确标注待查证。

ref_paper 论文原文

Transformer、ViT、DINO、Swin、MAE 五篇经典论文的中文精译。第 4 章架构精讲逐节对照 Attention 原文编写,其余章节按需引用。

minimind-master 可运行代码

一套能在个人电脑上跑通的小模型完整实现,覆盖分词、预训练、SFT、LoRA、DPO 全流程。

页面组件图例

  手册页面由一套固定的组件拼装而成。先看懂图例,读的时候就不会被各种颜色的框打断:

组件长相作用
快速浏览卡片每页开头的灰底表格电梯概览:核心问题、本节主张、一句话结论、关键词。
术语卡橙色卡片,左上角“术语”标签把关键名词掰开揉碎:词源、通俗解释、生活类比。
橙色注释框橙色边框,“注释”标签补充说明、背景知识。
黄色警告框黄色边框,“警告”标签注意事项、常见误区。
红色易错框红色边框,“易错”标签易混淆点与强约束。
绿色结论框绿色边框,无标签一页只有一两处的核心结论。
要点回顾页末紫色卡片3 组自问自答,检验是否抓住要点。
参考来源页面最末尾本节内容依据的一手资料清单。

建议读法

  两种读法都支持:

  1. 顺序读:章节按 LLM 生命周期排布,从训练数据一路讲到评测与局限,第一次系统学习建议按顺序推进;
  2. 按需跳读:有基础的读者可以直接跳到目标章节,配合 0.2 节图 1 确认该章在流水线中的位置,再决定要不要回补前置章节。

  每页开头的快速浏览卡片给出本节核心问题与一句话结论,适合预习时扫读、复习时定位。0.1 节介绍 LLM 的基本任务,0.2 节展示完整流水线,本节回顾发展历史与手册读法,下一章开始讨论训练数据。

🧭本节要点回顾
哪个节点真正把 LLM 带出了实验室?
ChatGPT 于 2022-11-30 发布,两个月用户破亿。它依赖此前 InstructGPT 的 RLHF 指令对齐。公众需要的是听得懂指令的助手,而不只是会续写的模型。
RLHF 到底改变了什么?
改变的是模型的行为方式,而不是知识容量。预训练模型只会续写文本,RLHF 让它学会遵循指令、按人类偏好组织回答,把已有的能力变成可用、可控的产品形态。
推理时扩展为什么算得上新范式?
此前提升性能只有一条路:训练时堆参数、数据和算力。o1 与 DeepSeek-R1 证明还有第二条路,推理时让模型生成更长思维链、分配更多计算,性能随之提升。开销从一次性的训练投入,部分转为按次推理的弹性分配。

参考来源

  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762),Transformer 架构原始论文。
  • Radford et al., 2018. Improving Language Understanding by Generative Pre-Training(GPT-1 技术报告)。
  • Devlin et al., 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(arXiv:1810.04805)。
  • Radford et al., 2019. Language Models are Unsupervised Multitask Learners(GPT-2 技术报告)。
  • Kaplan et al., 2020. Scaling Laws for Neural Language Models(arXiv:2001.08361)。
  • Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3,arXiv:2005.14165)。
  • Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155)。
  • Hoffmann et al., 2022. Training Compute-Optimal Large Language Models(Chinchilla,arXiv:2203.15556)。
  • Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models(arXiv:2302.13971)。
  • OpenAI, 2023. GPT-4 Technical Report(arXiv:2303.08774)。
  • Rafailov et al., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model(DPO,arXiv:2305.18290;2024 年起在开源社区大规模落地)。
  • OpenAI, 2024. Introducing OpenAI o1(2024 年 9 月官方公告,推理时扩展)。
  • DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948)。
  • OpenAI, 2022. Introducing ChatGPT(2022-11-30 官方公告);用户增长口径见 Reuters 2023 年 2 月报道引用的 UBS 估算。