8.1 什么是中间训练:预训练与后训练之间的缓冲带
本页范围:第 8 章第 1 节 | 整理时间:2026-09-30
第 6 章讲完了预训练的目标与配方,第 7 章讲完了支撑这场长跑的工程体系。按老黄历,接下来就该直接进入监督微调(SFT),教模型对话了。但翻开 Llama 3、MiniCPM、DeepSeek-V3 这些 2024 年以来的技术报告,会发现它们都在预训练与后训练之间插了一段过渡训练:有的叫 continued pre-training,有的叫 annealing,有的叫 long context extension。名字各不相同,做的却是同一类事——本章把它统称为中间训练(Mid-training),0.2 节图 1 里已经给它留好了位置。
本节是全章的开篇,先回答三个最朴素的问题:这段训练卡在流水线哪个位置、为什么现代模型非加它不可、各家是怎么做的。路线图如下:
- 流水线位置:预训练之后、后训练之前(8.1.1):中间训练与预训练共用同一个目标函数,与 SFT 的分界线在数据形态;
- 为什么要加这一层:三个动机(8.1.2):质量收口、长上下文太贵、领域短板,各对应一件预训练主阶段做不好的事;
- 业界实践速览:三种叫法,一个物种(8.1.3):Llama 3、MiniCPM、DeepSeek-V3 的真实配方,以及 continued pretraining / annealing / mid-training 的术语谱系;
- 本章地图(8.1.4):8.2 到 8.5 四节怎么分工。
读完本节,你应该能给任何一份技术报告里的「继续训练」段落归类:它属于中间训练还是后训练,依据是什么。
图 1 标出中间训练在 LLM 生命周期中的位置,后续四节分别介绍序列长度、训练数据、领域适配与实际配置。
8.1.1 流水线位置:预训练之后、后训练之前
先给定义。中间训练指从预训练 checkpoint 出发,沿用与预训练相同的目标函数——无标注语料上的 next-token 预测——继续训练的一段过渡阶段。模型还是那台文本续写机,训练方式还是自监督,变化发生在两处:数据配方换了(质量更高、领域配比更重、文档更长),序列长度换了(从几千 token 拉长到几万、十几万)。产物是一个增强版 base model:能力更强,但依然不会对话。打个比方,它像高考前的三轮复习:预训练是通读教材攒知识,中间训练是专题强化加真题冲刺,后训练(SFT)才是学答题规范。
与 SFT 的边界值得说细一点。中间训练的数据仍然是无标注文本,模型学的是「更好的续写」,而不是「按指令格式给出参考答案」——SFT 的每条样本都是一问一答的指令对,优化的是行为对齐。严格地说,SFT 逐 token 的损失形式仍是交叉熵,这一阶段换掉的是监督信号(从文本自身换成人工标注的参考答案);到 RL、DPO 阶段才连优化目标本身也换掉。目标换不换,正是中间训练与后训练的分界线。
需要坦白的是,这条边界在各家报告里并不整齐。Llama 3 把长上下文扩展叫作 continued pre-training,视为预训练的一部分;它的高质量数据退火(annealing)又发生在预训练末期的学习率衰减段里,更像预训练的收尾。MiniCPM 则干脆把衰减段从稳定段里拆出来,变成一个可以随时分岔、重复利用的独立阶段。命名归命名,本手册按三条判据划界:从预训练 checkpoint 出发、目标仍是 next-token 自监督、数据配方做过定向调整。三条同时满足,就归入中间训练。
判据的第三条是关键:如果只是原封不动地继续喂同一份预训练语料,那只是「预训练多训了一会儿」,谈不上中间训练。中间训练的「中间」二字,落点在配方的重新设计。
8.1.2 为什么要加这一层:三个动机
既然目标函数和预训练一样,为什么不把这些数据直接混进预训练主阶段,一口气训完?因为有三件事,放在预训练主阶段做不好,留到后面才划算。三件事对应三个动机:
动机一 · 质量收口
最高质量的数据量太少,全程混喂会被稀释,留到末期低学习率阶段集中喂,效率最高。
动机二 · 长上下文
注意力开销随序列长度平方增长,全程长序列预训练太贵,先短后长分阶段省钱。
动机三 · 领域补短
通用配比里数学、代码天然占比低,末期定向加重,把短板补上。
动机一:高质量细粮要留到收口阶段
预训练语料的质量是长尾分布的:海量普通网页之上,真正高质量的内容(教科书式讲解、精选数学与代码)占比很小。把这份「细粮」从第一天就混进主粮有两个问题:一是被海量普通数据稀释,同等算力下细粮的曝光次数太少;二是预训练要跑很多轮,小体量高质量数据被反复重复,有过拟合与记忆的风险。反过来,把它留到训练末期、学习率已经压低的阶段集中喂入,模型能在大步赶路结束之后,用小碎步把精华吃透——这就是退火(annealing)。
这个判断有实验撑腰。Llama 3 在预训练末期用「上采样高质量代码与数学数据」的配方做退火:8B 模型在 GSM8k 和 MATH 验证集上分别相对提升了 24.0% 和 6.4%。有意思的是,405B 旗舰模型几乎无提升——论文的解释是,大模型的上下文学习能力已经足够强,不靠这点域内样本。MiniCPM 的消融实验更直接:同样一份高质量数据,放进衰减段训练,比只在 SFT 阶段喂的收益更大。两处证据指向同一个结论:高质量数据的喂入时机,和它的质量一样值钱。
借到训练里,指在末期把学习率快速压到接近零,同时换上精挑细选的高质量数据。学习率从高到低的过程像金属的缓慢冷却:高温(高学习率)阶段参数充分探索、大步赶路,冷却(低学习率)阶段参数在更优的位置附近精细定型。由于它总发生在训练收尾,又叫「退火段」「冷却段」。
动机二:长序列训练太贵,先短后长
第二笔账是算力账。自注意力的计算量随序列长度平方增长(\(O(n^2)\),第 4 章):把训练序列从 8K 拉到 128K,长度变为 16 倍,注意力计算量约变为 256 倍。而语言的基础技能——语法、常识、推理模式——在 4K、8K 的短序列上就能学会,没必要从第一天起就按 128K 的价钱付账。Llama 3 论文把话说得很直白:之所以不在更早的阶段用长序列训练,正是因为自注意力层的计算随序列长度平方增长。
于是通行做法是先短后长:预训练全程用 4K 或 8K 窗口,末期再分阶段拉长。3.5 节讲过位置编码那侧的零件(NTK、YaRN 怎么改刻度),这里看训练侧的账:Llama 3 从 8K 渐进扩到 128K,续训消耗约 800B token;DeepSeek-V3 的账更极端——14.8T token 的预训练全部在 4K 窗口下完成,之后仅用两段各 1000 步的训练,就把窗口从 4K 扩到 32K、再扩到 128K。扩窗口的开销,连预训练的零头都不到。
动机三:领域短板要定向补
第三个动机来自配比。预训练的数据配比是为广度设计的:通用知识占大头,数学、代码只是配菜(第 1 章的数据配比)。可下游评测与实际使用,恰恰最看重数学和代码这类硬能力。回炉重训太贵,在主阶段全程加重又会挤占通用能力——中间训练阶段的解法是定向加重:Llama 3 在退火时上采样高质量代码与数学数据,MiniCPM 在衰减段混入 K12 题目、LeetCode 类指令数据。短板补齐不靠推倒重来,靠在正确的阶段调配方。
三个动机背后是同一笔账:预训练负责广度,中间训练负责收口——最贵的资源(最高质量的数据、最长的序列)留到最后,用在刀刃上。
8.1.3 业界实践速览:三种叫法,一个物种
把三份 2024 年的代表性技术报告摆在一起:它们对「这段训练」的称呼、侧重各不相同,但骨架高度一致。
| 模型(年份) | 论文里的叫法 | 做了什么 | 关键数字 |
|---|---|---|---|
| Llama 3(2024) | continued pre-training + annealing | 8K→128K 长上下文渐进续训;末期退火上采样高质量代码与数学 | 主预训练 15.6T token;长上下文续训约 800B token;退火使 8B 模型 GSM8k +24.0% |
| MiniCPM(2024) | WSD 衰减段(decay / annealing phase) | 稳定段高学习率常态训练,衰减段短促收尾并混入高质量指令数据 | 稳定段约 1T token;衰减段约占总 token 的 10% 即够(2.5% 不足);衰减段 loss 骤降 |
| DeepSeek-V3(2024) | long context extension | 预训练后接 YaRN 位置编码缩放 + 两段长上下文续训 | 预训练 14.8T token(4K 窗口);两段各 1000 步,4K→32K→128K |
三种叫法其实是同一物种的三个侧面。continued pretraining(继续预训练)强调动作:不换目标,接着预训练 checkpoint 往下训;annealing(退火)强调时机与学习率:发生在末期衰减段,配高质量数据;mid-training(中间训练)是 2025 年综述(Tu et al.)给出的统称,强调它在流水线中的位置。读论文时见到这些词,先用 8.1.1 的三条判据归类,就不会被命名差异误导。
MiniCPM 的 WSD(Warmup-Stable-Decay)值得单独记一笔:它把训练切成 warmup、稳定、衰减三段,稳定段学习率保持高位不变,checkpoint 可以随时取出来做一次短促衰减得到成品模型。这让中间训练从「一次性收尾」变成可重复、可分岔的标准工序——想加强某个领域,从稳定段 checkpoint 重新衰减一次即可,不必重跑预训练。这正是中间训练能独立成阶段的技术基础,8.4 节会展开。
8.1.4 本章地图
概念就位,本章后续四节按「机制 → 数据 → 配方 → 实战」推进:
- 8.2 位置编码缩放:长上下文扩展的机制层——RoPE 基频、NTK 与 YaRN 怎么改刻度,让模型读得下超长输入;
- 8.3 长上下文数据工程:长文档从哪来、配比怎么调,怎么避免「读得下却读不懂」;
- 8.4 领域适配与退火:退火段的数据配方与学习率设计,WSD 调度怎么把收尾变成标准工序;
- 8.5 实战剖面:把一个真实中间训练流程从头到尾剖开,把机制、数据、配方串成可复现的操作清单。
下一节先下潜到机制层:位置编码的刻度不改,长上下文扩窗就是空谈。
参考来源
- AI@Meta, 2024. The Llama 3 Herd of Models(arXiv:2407.21783):15.6T token、8K 窗口的主预训练(§2、§3);长上下文续训到 128K、约 800B token,以及「不在早期用长序列训练是因为注意力开销随序列长度平方增长」的说明(§3.4.2);退火数据实验与 8B 模型 GSM8k +24.0%、MATH +6.4%、405B 提升可忽略(§3.1.3)。
- Hu et al., 2024. MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies(arXiv:2404.06395):WSD 调度、衰减段 10% 即够与 loss 骤降(§4);衰减段混入高质量数据优于只在 SFT 阶段喂的两阶段预训练策略(§5)。
- DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437):14.8T token 预训练;Long Context Extension:YaRN 加两段各 1000 步训练,4K→32K→128K。
- Tu et al., 2025. A Survey on LLM Mid-training(arXiv:2510.23081):中间训练的正式定义、与 continued pre-training 的关系及分类。