8.5 中间训练实战剖面与全章收束
本页范围:第 8 章第 5 节 | 整理时间:2026-09-30
8.4 节把退火讲完,中间训练的四个构件——定位(8.1)、位置编码缩放(8.2)、长数据构造(8.3)、退火收尾(8.4)——就都摆上了台面。剩下的问题是:这些构件在真实工程里长什么样?纸面方案和大厂实做之间,往往差着一堆只写在技术报告附录里的取舍。
本节做三件事收尾全章:先把公开细节最充分的四份技术报告摆进同一张表横向对比,再俯身回答一个个人玩家的问题——本工程的 minimind 小模型要不要、能不能做中间训练,最后给出中期训练的风险监控清单,并把整个第 8 章打包交棒给后训练。路线图如下:
- 四家方案对比:同一个配方,四种写法(8.5.1):Llama 3、Qwen2.5、DeepSeek-V3、MiniCPM 的主训规模、上下文扩展路径、RoPE 缩放手法与退火收尾,全部联网核对后横向摆开;
- minimind 视角:小模型要不要中间训练(8.5.2):给 minimind 做一次「体检」,开出把它从 340 token 扩到 2K 上下文的可操作实验清单;
- 风险与监控清单(8.5.3):遗忘、长短能力跷跷板、退火数据污染三大风险,配通用、长文、领域三线评测组合;
- 全章收束与下一站(8.5.4):中间训练交付了什么,为什么接下来该 SFT 登场。
读完本节,你应该能看懂任何一份模型技术报告里「预训练配方」那几页在说什么,也能亲手给 minimind 设计一次中期续训实验。
图 1 标出本节在中间训练中的位置,后续各节用四种公开方案说明 8.1 至 8.4 的机制如何落实到实际配置。
图 1 里这个紫框放大之后,中间训练的配方到底由哪几个旋钮组成?四家方案细节各异,拧的都是同样的三根轴——把配方要素单独拆开看:
8.5.1 四家方案对比:同一个配方,四种写法
本节挑的四家是公开资料里中期训练细节最充分的代表:Meta 的 Llama 3.1(arXiv:2407.21783,三阶段配方写得最完整)、阿里的 Qwen2.5(arXiv:2412.15115,渐进式扩展与推理侧外推的组合拳)、深度求索的 DeepSeek-V3(arXiv:2412.19437,把扩展成本压到极限)、面壁智能与清华的 MiniCPM(arXiv:2404.06395,小模型方法论模板,WSD 调度器的出处)。关键事实全部取自各家技术报告原文,横向对比如下:
| 维度 | Llama 3.1(405B) | Qwen2.5 | DeepSeek-V3 | MiniCPM(2.4B) |
|---|---|---|---|---|
| 主预训练 | 15.6T token,8K 上下文 | 18T token,4K 起步 | 14.8T token,4K 上下文 | 约 1T token(稳定阶段),4K |
| 中期上下文扩展 | 六轮递增 8K → 128K,约 800B token;每轮两道验收:短上下文能力完全恢复 + 该长度大海捞针满分 | 收尾阶段 4K → 32K(Turbo 除外);Turbo 四阶段渐进 32K → 64K → 128K → 256K,每阶段 40% 满长序列 + 60% 短序列 | YaRN 两阶段各 1000 步:4K → 32K(每步 1920 条序列)、32K → 128K(每步 480 条),学习率沿用主训收尾值 \(7.3 \times 10^{-6}\),不重新 warmup | MiniCPM-128K:复用稳定段 checkpoint,44% 长数据(书、百科、论文)+ 56% 短数据,续训到 128K |
| RoPE 缩放手法 | 架构期一步到位:基频直接定为 50 万 | ABF:基频 1 万 → 100 万(Turbo 1000 万);推理侧再叠 YARN + DCA 外推 4 倍,开源系标称 131K | YaRN 只作用于 MLA 的解耦共享键,\(s=40\)、\(\alpha=1\)、\(\beta=32\) | 4K → 32K 用 ABF,32K → 128K 用 NTK-Aware + 课程学习 |
| 退火与高质量收尾 | 最后 40M token 学习率线性降到 0,保持 128K 上下文,上采样极高质量数据源,对退火段 checkpoint 做 Polyak 平均出终模 | 预训练分阶段切换数据配比;报告未设独立退火章节 | 最后 500B token 两段收尾:前 333B 恒定 \(2.2 \times 10^{-5}\),后 167B 线性降到 \(7.3 \times 10^{-6}\);后期上调数学与编程样本比例 | WSD 调度:稳定段结束后退火约 10% token(5000 步、20B token),指数衰减,退火段混入高质量 SFT 数据 |
| 特色技术 | 长上下文逐轮验收;退火还兼任「新数据源质检员」(8B 退火涨分 24%,405B 几乎不涨) | 用自家 Qwen2-Instruct 当数据质量过滤器与领域分类器 | 长度扩展仅耗 11.9 万 H800 GPU 小时,约占主训的 4.5% | 模型风洞实验(0.009B 到 0.5B)定超参;WSD 让 scaling law 测量成本从平方级降到线性 |
表格装的是骨架,逐家补一段血肉。Llama 3.1 是「照章办事」的典范:预训练明确分 initial pre-training、long context pre-training、annealing 三段。长上下文段分六轮、消耗约 800B token,每升一档长度都要先过两道验收关才进下一轮。最有反差感的是退火:只用最后 40M token(相对 15.6T 主训连零头都算不上),就把 8B 模型在 GSM8k 和 MATH 验证集上的成绩分别相对拉高 24.0% 和 6.4%;而 405B 旗舰几乎不涨,Meta 的解读是旗舰的上下文学习能力已经足够强,不需要这种定向投喂。Meta 还发明了退火的副业——评估新数据源的质量:把 50% 训完的 8B 模型在 40B token 上退火,新数据按 30% 混入,涨不涨分一测便知。
Qwen2.5 采用分阶段扩展。开源系在预训练收尾阶段一次把 4K 扩到 32K,同时用 ABF 把 RoPE 基频从 1 万抬到 100 万;Turbo 则分四个阶段,每阶段的训练数据固定为 40% 当前满长序列加 60% 更短序列,以保留短任务能力。它的「训练 32K、标称 131K」组合还把训练与推理分开:训练侧只扩到 32K,推理侧再叠 YARN 与 DCA 把可用长度外推 4 倍。这对应 8.2 节介绍的两条路线。
DeepSeek-V3 是省钱教科书。长度扩展两阶段合计只耗 11.9 万 H800 GPU 小时,约占主训 266.4 万小时的 4.5%,就把 4K 主训模型变成 128K。省钱的诀窍有三:YaRN 只施加在 MLA 的解耦共享键这一条位置支路上;每阶段只训 1000 步;学习率不做任何调整,直接沿用主训收尾的 \(7.3 \times 10^{-6}\),不重新 warmup。它的主训学习率本身也是分段式的(恒定 → cosine 衰减 → 末段 500B 再分两小步降到 \(7.3 \times 10^{-6}\)),与 MiniCPM 的 WSD 异曲同工——稳定段占绝对大头,衰减集中在末尾。
MiniCPM 是小模型玩家的方法论模板,两个原创贡献都直击资源痛点。一是「模型风洞实验」:像飞机设计吹风洞一样,先在 0.009B 到 0.5B 的小模型上把 batch、学习率扫干净,再外推到 2.4B(实测最优学习率稳定在 0.01 附近,不随规模漂移)。二是 WSD 调度器:稳定段想训多久训多久,需要交货时退火约 10% token 就出终模,中间 checkpoint 全部可复用;配套消融还证明了一条重要经验——高质量数据放在退火段,比匀进整个预训练或只留给 SFT 收益更大。它家的 MiniCPM-128K 则完整示范了「稳定段 checkpoint → 44% 长数据续训 → 128K」的链路,2.4B 体量在 ∞Bench 上超过 6B 的 ChatGLM3-128K。
Llama 3.1 在退火阶段每隔一段存一个 checkpoint,终模不取最后一个点,而是取这些权重的逐参数平均。末段学习率虽小,参数仍在一个极小值盆地边缘来回晃动,平均相当于把晃动抵消掉,落在盆地更平坦的中心,泛化通常更好。
四份方案的基本结构一致:主训阶段用短上下文控制成本,中期再扩展长度;长上下文都通过「改 RoPE + 长数据短训」获得,没有一家为此从头重训;收尾都使用高质量数据退火,并通过 checkpoint 复用或平均利用主训成果。差异在工程取舍:扩多长、分几段、混多少长数据、退火多陡。
8.5.2 minimind 视角:小模型要不要中间训练
相比之下,minimind 没有中间训练:预训练脚本把每条样本截断到 340 token(--max_seq_len 默认值,train_pretrain.py 第 90 行,注释写明「中文 1 token ≈ 1.5 到 1.7 字符」,340 token 大约五百来个汉字),配套预训练数据也全是清洗后的短文本。这个模型从未见过超过 340 token 的序列。
但先别急着说它「先天不足」——翻翻配置会发现作者把弹药提前备好了。MiniMindConfig 里 RoPE 基频默认 \(10^6\)、位置表预算到 32768(model_minimind.py 第 29、27 行),频率表从初始化那天起就覆盖 32K 个位置;配置里还躺着一个 YaRN 开关(第 31 到 39 行):打开 inference_rope_scaling,就按「原始长度 2048、放大 16 倍」做推理期缩放。也就是说,位置编码这一侧万事俱备,缺的只有数据和训练。
「把 minimind 从 340 扩到 2048」这个假想实验只需要两类改动:
- 数据侧(核心改动):按 8.3 节的手法构造长数据——把短文档拼接、或收集真正的长文档,做出一份平均长度覆盖 2K 的预训练 jsonl;训练时把
--max_seq_len从 340 改成 2048,数据集类的截断与补齐逻辑会自动适配。 - 位置编码侧(不用改):2048 只是 340 的 6 倍,而按 8.2 节算过的账,基频 \(10^6\) 的最长波长足以覆盖数万位置,2K 远在安全区内。想演示 ABF 才需要动基频,本实验不必。推理期想再往外推,打开内置 YaRN 开关即可。
- 训练侧(续训而非重训):用
--from_weight从预训练 checkpoint 接着训,学习率比主训的 \(5 \times 10^{-4}\) 低一个量级(比如 \(5 \times 10^{-5}\) 到 \(10^{-4}\)),几百步收工——这正是 DeepSeek-V3「沿用收尾学习率、不重新 warmup」思路的微缩版。 - 验收(双测):短文本能力不能退(对比续训前后的短文本困惑度与生成体感);长文要能捞针(在 2K 长文里藏一个事实,看模型找不找得回)。
回到小节标题的问题:小模型要不要中间训练?答案是「看需求,但随时能做」。minimind 这类几十 M 的玩具模型,预训练一共就跑几个小时,「主训省钱、中期补强」的分阶段收益本来就不大;但真遇到长文本需求,它的中期训练也简单——不用分六轮、不用算 YaRN 参数,换一份长数据、低学习率续训几百步就完事。
中间训练的本质是资源约束下的分阶段策略:主训承担最贵的通用能力养成,中期用小钱补长上下文、领域配比与数据质量收尾。规模越小,要补的课越少、流程越可以简化——minimind 扩 2K 连 RoPE 都不用碰。这正是 6.2 节「模型越小、配方越可以粗放」在中期训练上的翻版。
8.5.3 风险与监控清单
中期训练改了数据、改了长度、动了收尾配比,任何一刀都可能切伤已有能力。工程上盯三类风险:
灾难性遗忘
长文或领域数据占比一升高,通用能力可能回退。对策:中期前后各跑一次通用基准,并保留主训 checkpoint 做对照组。
长短能力跷跷板
加长上下文后短任务变差是常见病——Llama 3 才把「短上下文评测完全恢复」列为每轮验收的第一条。对策:长短混喂(Qwen2.5 Turbo 的 40% + 60% 配方),两侧同时监控。
退火数据失控
退火段 token 量小,单条数据影响被放大;混入低质内容或评测集内容,都会直接刻进终模。对策:退火数据单独设质量门槛,并与评测集严格去重。
风险要靠评测组合来抓,单跑一个基准等于蒙眼开车。推荐三线并行的监控组合:
| 监控线 | 代表基准 | 防什么 |
|---|---|---|
| 通用能力线 | MMLU、BBH、GSM8K 等通用知识与推理基准 | 遗忘:中期训练后通用能力回退 |
| 长文能力线 | 大海捞针(NIAH)、RULER、∞Bench、ZeroSCROLLS | 标称长度注水:RULER 的实测显示,多家模型捞针满分、真实长文任务却明显掉分——只过捞针不代表长文能用 |
| 领域能力线 | 目标领域专属集(代码 HumanEval、数学 MATH,或行业自建集) | 适配跑偏:领域提升是否兑现、代价是多大 |
注意:别拿训练 loss 当验收标准。中期训练换了数据分布,新 loss 和主训 loss 没有可比性——长文数据上 loss 低,可能只是数据好猜。唯一可信的验收是上面这套评测组合。
易错点:去污染是红线,退火段尤其要命:好数据常和评测题同源。Qwen2.5 的做法可作参考——训练序列与任一评测序列的最长公共子序列达到 13 token 且占较短一侧的 60% 以上,整条剔除。退火数据里混进评测集,分数再高也是自欺欺人。
8.5.4 全章收束与下一站
回看第 8 章走过的路:8.1 节给中间训练定位——它是预训练与后训练之间的一条补强带;8.2 节解决「位置装不下」的问题,ABF、NTK、YaRN 三种 RoPE 缩放手法各有适用面;8.3 节解决「长数据从哪来」,拼接、收集、合成三条路;8.4 节讲退火,把学习率与数据质量在收尾段一起拧到位;本节则把四条线落到四个真实方案与一份 minimind 实验清单上。
走完这一章,手里的模型已经今非昔比:上下文长度达标、领域配比修正、高质量数据收尾,checkpoint 还做了平均。但请冷静——它依然只会「续写」:给它半句话它接下半句,可你对它说「请帮我总结这段话」,它很可能把你的指令也当成待续写的文本,自顾自往下编。会知识与会听话是两回事,中间训练管的是前者。
第 8 章介绍了中间训练的三项主要工作:用相对预训练较少的算力扩展上下文、调整领域数据配比,并用高质量数据完成退火,为后训练提供增强版 base model。
第 9 章将介绍监督微调(SFT),让模型从「会续写」变成「听指挥」,并说明指令数据构造、对话模板和 LoRA。LoRA 只训练一小部分参数,使 minimind 这样的小模型也能在单张消费级显卡上完成指令微调。
参考来源
- Llama Team, AI @ Meta, 2024. The Llama 3 Herd of Models(arXiv:2407.21783;三阶段配方见 §3.4,退火数据与 8B 涨点实验见 §3.1.3)。
- Yang et al., 2024. Qwen2.5 Technical Report(arXiv:2412.15115;长上下文预训练见 §3.3,评测去污染见 §5)。
- DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437;学习率调度与超参见 §4.2,YaRN 两阶段扩展见 §4.3,成本见 Table 1)。
- Hu et al., 2024. MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies(arXiv:2404.06395;WSD 见 §4,两阶段预训练与退火消融见 §5,MiniCPM-128K 见 §7.2)。
- Peng et al., 2023. YaRN: Efficient Context Window Extension of Large Language Models(arXiv:2309.00071)。
- Xiong et al., 2023. Effective Long-Context Scaling of Foundation Models(ABF 原始论文,arXiv:2309.16039)。
- Qwen Team, 2025. Qwen2.5-1M Technical Report(渐进式长上下文训练与稀疏注意力,arXiv:2501.15383)。
- Hsieh et al., 2024. RULER: What's the Real Context Size of Your Long-Context Language Models?(arXiv:2404.06654)。
- Zhang et al., 2024. ∞Bench: Extending Long Context Evaluation Beyond 100K Tokens(arXiv:2402.13718)。
- Shaham et al., 2023. ZeroSCROLLS: A Zero-Shot Benchmark for Long Text Understanding(arXiv:2305.14196)。
- Mid-Training of Large Language Models: A Survey(arXiv:2510.06826,2025;中期训练概念与各家数据配比综述)。
- minimind 工程代码(Apache 2.0 协议):
model/model_minimind.py、trainer/train_pretrain.py、trainer/trainer_utils.py、dataset/lm_dataset.py。