8.5 中间训练实战剖面与全章收束

本页范围:第 8 章第 5 节 | 整理时间:2026-09-30

快速浏览

核心问题中间训练在真实模型身上长什么样?Llama 3、Qwen2.5、DeepSeek-V3、MiniCPM 四家方案各怎么做?个人玩家手里的小模型要不要、又怎么做?过程中盯哪些风险?
本节主张四家方案细节各异、骨架相同:主训用短上下文省钱,中期续训扩长度、调配比、退火收尾。这套分阶段策略本质是资源约束下的工程权衡,规模越小越可以简化。
一句话结论中间训练交付的是一个能力补强、上下文达标的 base model;通用、长文、领域三线评测防遗忘、防跷跷板,然后把接力棒交给第 9 章的 SFT。
关键词
Llama 3Qwen2.5DeepSeek-V3MiniCPM长上下文扩展退火遗忘评测组合minimind

  8.4 节把退火讲完,中间训练的四个构件——定位(8.1)、位置编码缩放(8.2)、长数据构造(8.3)、退火收尾(8.4)——就都摆上了台面。剩下的问题是:这些构件在真实工程里长什么样?纸面方案和大厂实做之间,往往差着一堆只写在技术报告附录里的取舍。

  本节做三件事收尾全章:先把公开细节最充分的四份技术报告摆进同一张表横向对比,再俯身回答一个个人玩家的问题——本工程的 minimind 小模型要不要、能不能做中间训练,最后给出中期训练的风险监控清单,并把整个第 8 章打包交棒给后训练。路线图如下:

  1. 四家方案对比:同一个配方,四种写法(8.5.1):Llama 3、Qwen2.5、DeepSeek-V3、MiniCPM 的主训规模、上下文扩展路径、RoPE 缩放手法与退火收尾,全部联网核对后横向摆开;
  2. minimind 视角:小模型要不要中间训练(8.5.2):给 minimind 做一次「体检」,开出把它从 340 token 扩到 2K 上下文的可操作实验清单;
  3. 风险与监控清单(8.5.3):遗忘、长短能力跷跷板、退火数据污染三大风险,配通用、长文、领域三线评测组合;
  4. 全章收束与下一站(8.5.4):中间训练交付了什么,为什么接下来该 SFT 登场。

  读完本节,你应该能看懂任何一份模型技术报告里「预训练配方」那几页在说什么,也能亲手给 minimind 设计一次中期续训实验。

  图 1 标出本节在中间训练中的位置,后续各节用四种公开方案说明 8.1 至 8.4 的机制如何落实到实际配置。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (本节内容) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:本节内容在 LLM 生命周期中的位置。数据(第 1 章)、预训练(第 6 章)、训练工程(第 7 章)之后,中间训练负责收口与补短——8.1 定位、8.2 机制、8.3 数据、8.4 退火,本节把四者落到 Llama 3.1、Qwen2.5、DeepSeek-V3、MiniCPM 四份真实配方上;交付增强版 base model 后,交棒 SFT(第 9 章)起的后训练与推理部署(第 12–13 章)。

  图 1 里这个紫框放大之后,中间训练的配方到底由哪几个旋钮组成?四家方案细节各异,拧的都是同样的三根轴——把配方要素单独拆开看:

原创示意图 · 非论文原图 局部放大:中间训练配方三轴——数据、序列长度、学习率 输入:预训练主训 checkpoint(短窗口、通用配比、峰值学习率长跑结束) 数据 预训练主训 通用配比,万亿级 token 网页为主,质量长尾分布 中间训练 高质量精选 + 领域加重 + 长文档上采样 退火只用零头:Llama 3.1 仅 40M token 序列长度 预训练主训 4K / 8K 短窗口训练 注意力成本随长度平方涨,短窗省钱 中间训练 分阶段拉长至 32K / 128K DS-V3 两段各 1000 步;Turbo 渐进至 256K 学习率 预训练主训 峰值恒定长跑(WSD stable 段) cosine 则是一路平滑下坡 中间训练 尾段快速衰减至接近 0(退火) DS-V3 沿用 7.3×10⁻⁶;MiniCPM 退火约 10% 输出:三轴拧到位的增强版 base model——上下文达标、配比修正、高质量收尾 → 交棒第 9 章 SFT
图 2:中间训练配方的三根旋钮,数字取自 8.5.1 的四家方案对比。数据轴:通用万亿级配比换成高质量精选、领域加重与长文档上采样(Llama 3.1 退火仅用 40M token);长度轴:主训全程 4K / 8K 短窗省钱,中期分阶段拉长(DeepSeek-V3 两段各 1000 步到 128K,Qwen2.5 Turbo 渐进到 256K);学习率轴:主训顶住峰值长跑,尾段快速衰减(DeepSeek-V3 沿用 7.3×10⁻⁶ 不重新 warmup,MiniCPM 退火约占总 token 10%)。三轴拧到位,交付增强版 base model。

8.5.1 四家方案对比:同一个配方,四种写法

  本节挑的四家是公开资料里中期训练细节最充分的代表:Meta 的 Llama 3.1(arXiv:2407.21783,三阶段配方写得最完整)、阿里的 Qwen2.5(arXiv:2412.15115,渐进式扩展与推理侧外推的组合拳)、深度求索的 DeepSeek-V3(arXiv:2412.19437,把扩展成本压到极限)、面壁智能与清华的 MiniCPM(arXiv:2404.06395,小模型方法论模板,WSD 调度器的出处)。关键事实全部取自各家技术报告原文,横向对比如下:

维度Llama 3.1(405B)Qwen2.5DeepSeek-V3MiniCPM(2.4B)
主预训练15.6T token,8K 上下文18T token,4K 起步14.8T token,4K 上下文约 1T token(稳定阶段),4K
中期上下文扩展六轮递增 8K → 128K,约 800B token;每轮两道验收:短上下文能力完全恢复 + 该长度大海捞针满分收尾阶段 4K → 32K(Turbo 除外);Turbo 四阶段渐进 32K → 64K → 128K → 256K,每阶段 40% 满长序列 + 60% 短序列YaRN 两阶段各 1000 步:4K → 32K(每步 1920 条序列)、32K → 128K(每步 480 条),学习率沿用主训收尾值 \(7.3 \times 10^{-6}\),不重新 warmupMiniCPM-128K:复用稳定段 checkpoint,44% 长数据(书、百科、论文)+ 56% 短数据,续训到 128K
RoPE 缩放手法架构期一步到位:基频直接定为 50 万ABF:基频 1 万 → 100 万(Turbo 1000 万);推理侧再叠 YARN + DCA 外推 4 倍,开源系标称 131KYaRN 只作用于 MLA 的解耦共享键,\(s=40\)、\(\alpha=1\)、\(\beta=32\)4K → 32K 用 ABF,32K → 128K 用 NTK-Aware + 课程学习
退火与高质量收尾最后 40M token 学习率线性降到 0,保持 128K 上下文,上采样极高质量数据源,对退火段 checkpoint 做 Polyak 平均出终模预训练分阶段切换数据配比;报告未设独立退火章节最后 500B token 两段收尾:前 333B 恒定 \(2.2 \times 10^{-5}\),后 167B 线性降到 \(7.3 \times 10^{-6}\);后期上调数学与编程样本比例WSD 调度:稳定段结束后退火约 10% token(5000 步、20B token),指数衰减,退火段混入高质量 SFT 数据
特色技术长上下文逐轮验收;退火还兼任「新数据源质检员」(8B 退火涨分 24%,405B 几乎不涨)用自家 Qwen2-Instruct 当数据质量过滤器与领域分类器长度扩展仅耗 11.9 万 H800 GPU 小时,约占主训的 4.5%模型风洞实验(0.009B 到 0.5B)定超参;WSD 让 scaling law 测量成本从平方级降到线性

  表格装的是骨架,逐家补一段血肉。Llama 3.1 是「照章办事」的典范:预训练明确分 initial pre-training、long context pre-training、annealing 三段。长上下文段分六轮、消耗约 800B token,每升一档长度都要先过两道验收关才进下一轮。最有反差感的是退火:只用最后 40M token(相对 15.6T 主训连零头都算不上),就把 8B 模型在 GSM8k 和 MATH 验证集上的成绩分别相对拉高 24.0% 和 6.4%;而 405B 旗舰几乎不涨,Meta 的解读是旗舰的上下文学习能力已经足够强,不需要这种定向投喂。Meta 还发明了退火的副业——评估新数据源的质量:把 50% 训完的 8B 模型在 40B token 上退火,新数据按 30% 混入,涨不涨分一测便知。

  Qwen2.5 采用分阶段扩展。开源系在预训练收尾阶段一次把 4K 扩到 32K,同时用 ABF 把 RoPE 基频从 1 万抬到 100 万;Turbo 则分四个阶段,每阶段的训练数据固定为 40% 当前满长序列加 60% 更短序列,以保留短任务能力。它的「训练 32K、标称 131K」组合还把训练与推理分开:训练侧只扩到 32K,推理侧再叠 YARN 与 DCA 把可用长度外推 4 倍。这对应 8.2 节介绍的两条路线。

  DeepSeek-V3 是省钱教科书。长度扩展两阶段合计只耗 11.9 万 H800 GPU 小时,约占主训 266.4 万小时的 4.5%,就把 4K 主训模型变成 128K。省钱的诀窍有三:YaRN 只施加在 MLA 的解耦共享键这一条位置支路上;每阶段只训 1000 步;学习率不做任何调整,直接沿用主训收尾的 \(7.3 \times 10^{-6}\),不重新 warmup。它的主训学习率本身也是分段式的(恒定 → cosine 衰减 → 末段 500B 再分两小步降到 \(7.3 \times 10^{-6}\)),与 MiniCPM 的 WSD 异曲同工——稳定段占绝对大头,衰减集中在末尾。

  MiniCPM 是小模型玩家的方法论模板,两个原创贡献都直击资源痛点。一是「模型风洞实验」:像飞机设计吹风洞一样,先在 0.009B 到 0.5B 的小模型上把 batch、学习率扫干净,再外推到 2.4B(实测最优学习率稳定在 0.01 附近,不随规模漂移)。二是 WSD 调度器:稳定段想训多久训多久,需要交货时退火约 10% token 就出终模,中间 checkpoint 全部可复用;配套消融还证明了一条重要经验——高质量数据放在退火段,比匀进整个预训练或只留给 SFT 收益更大。它家的 MiniCPM-128K 则完整示范了「稳定段 checkpoint → 44% 长数据续训 → 128K」的链路,2.4B 体量在 ∞Bench 上超过 6B 的 ChatGLM3-128K。

Polyak 平均(checkpoint 平均) Polyak averaging = 把一段训练轨迹上的多个 checkpoint 权重求平均

Llama 3.1 在退火阶段每隔一段存一个 checkpoint,终模不取最后一个点,而是取这些权重的逐参数平均。末段学习率虽小,参数仍在一个极小值盆地边缘来回晃动,平均相当于把晃动抵消掉,落在盆地更平坦的中心,泛化通常更好。

就像评定期末成绩不看最后一次模拟考,而取最近几次的平均分——单次发挥有运气成分,平均下来才是真实水平。

  四份方案的基本结构一致:主训阶段用短上下文控制成本,中期再扩展长度;长上下文都通过「改 RoPE + 长数据短训」获得,没有一家为此从头重训;收尾都使用高质量数据退火,并通过 checkpoint 复用或平均利用主训成果。差异在工程取舍:扩多长、分几段、混多少长数据、退火多陡。

8.5.2 minimind 视角:小模型要不要中间训练

  相比之下,minimind 没有中间训练:预训练脚本把每条样本截断到 340 token(--max_seq_len 默认值,train_pretrain.py 第 90 行,注释写明「中文 1 token ≈ 1.5 到 1.7 字符」,340 token 大约五百来个汉字),配套预训练数据也全是清洗后的短文本。这个模型从未见过超过 340 token 的序列。

  但先别急着说它「先天不足」——翻翻配置会发现作者把弹药提前备好了。MiniMindConfig 里 RoPE 基频默认 \(10^6\)、位置表预算到 32768(model_minimind.py 第 29、27 行),频率表从初始化那天起就覆盖 32K 个位置;配置里还躺着一个 YaRN 开关(第 31 到 39 行):打开 inference_rope_scaling,就按「原始长度 2048、放大 16 倍」做推理期缩放。也就是说,位置编码这一侧万事俱备,缺的只有数据和训练。

  「把 minimind 从 340 扩到 2048」这个假想实验只需要两类改动:

  1. 数据侧(核心改动):按 8.3 节的手法构造长数据——把短文档拼接、或收集真正的长文档,做出一份平均长度覆盖 2K 的预训练 jsonl;训练时把 --max_seq_len 从 340 改成 2048,数据集类的截断与补齐逻辑会自动适配。
  2. 位置编码侧(不用改):2048 只是 340 的 6 倍,而按 8.2 节算过的账,基频 \(10^6\) 的最长波长足以覆盖数万位置,2K 远在安全区内。想演示 ABF 才需要动基频,本实验不必。推理期想再往外推,打开内置 YaRN 开关即可。
  3. 训练侧(续训而非重训):用 --from_weight 从预训练 checkpoint 接着训,学习率比主训的 \(5 \times 10^{-4}\) 低一个量级(比如 \(5 \times 10^{-5}\) 到 \(10^{-4}\)),几百步收工——这正是 DeepSeek-V3「沿用收尾学习率、不重新 warmup」思路的微缩版。
  4. 验收(双测):短文本能力不能退(对比续训前后的短文本困惑度与生成体感);长文要能捞针(在 2K 长文里藏一个事实,看模型找不找得回)。
原创示意图 · 非论文原图 现状:预训练完成 训练截断 340 token 模型只见过短文本 改动① 数据侧 截断 340 → 2048,换长数据 改动② 位置编码 RoPE 基频 10⁶ 已覆盖 2K,不动 改动③ 训练侧 从预训练权重低学习率续训 产物:2K 上下文 minimind 增强版 验收:双测过关 短文本能力不退 长文捞针能捞到
图 3:minimind 从 340 扩到 2048 的实验流程——三处改动里位置编码完全不动,实质动作只有「换长数据 + 低学习率短续训」,最后长短双测验收。图中的具体参数名(max_seq_len、rope_theta、inference_rope_scaling、from_weight)与代码行号见本节正文。

  回到小节标题的问题:小模型要不要中间训练?答案是「看需求,但随时能做」。minimind 这类几十 M 的玩具模型,预训练一共就跑几个小时,「主训省钱、中期补强」的分阶段收益本来就不大;但真遇到长文本需求,它的中期训练也简单——不用分六轮、不用算 YaRN 参数,换一份长数据、低学习率续训几百步就完事。

  中间训练的本质是资源约束下的分阶段策略:主训承担最贵的通用能力养成,中期用小钱补长上下文、领域配比与数据质量收尾。规模越小,要补的课越少、流程越可以简化——minimind 扩 2K 连 RoPE 都不用碰。这正是 6.2 节「模型越小、配方越可以粗放」在中期训练上的翻版。

8.5.3 风险与监控清单

  中期训练改了数据、改了长度、动了收尾配比,任何一刀都可能切伤已有能力。工程上盯三类风险:

灾难性遗忘

长文或领域数据占比一升高,通用能力可能回退。对策:中期前后各跑一次通用基准,并保留主训 checkpoint 做对照组。

长短能力跷跷板

加长上下文后短任务变差是常见病——Llama 3 才把「短上下文评测完全恢复」列为每轮验收的第一条。对策:长短混喂(Qwen2.5 Turbo 的 40% + 60% 配方),两侧同时监控。

退火数据失控

退火段 token 量小,单条数据影响被放大;混入低质内容或评测集内容,都会直接刻进终模。对策:退火数据单独设质量门槛,并与评测集严格去重。

  风险要靠评测组合来抓,单跑一个基准等于蒙眼开车。推荐三线并行的监控组合:

监控线代表基准防什么
通用能力线MMLU、BBH、GSM8K 等通用知识与推理基准遗忘:中期训练后通用能力回退
长文能力线大海捞针(NIAH)、RULER、∞Bench、ZeroSCROLLS标称长度注水:RULER 的实测显示,多家模型捞针满分、真实长文任务却明显掉分——只过捞针不代表长文能用
领域能力线目标领域专属集(代码 HumanEval、数学 MATH,或行业自建集)适配跑偏:领域提升是否兑现、代价是多大

  注意:别拿训练 loss 当验收标准。中期训练换了数据分布,新 loss 和主训 loss 没有可比性——长文数据上 loss 低,可能只是数据好猜。唯一可信的验收是上面这套评测组合。

  易错点:去污染是红线,退火段尤其要命:好数据常和评测题同源。Qwen2.5 的做法可作参考——训练序列与任一评测序列的最长公共子序列达到 13 token 且占较短一侧的 60% 以上,整条剔除。退火数据里混进评测集,分数再高也是自欺欺人。

8.5.4 全章收束与下一站

  回看第 8 章走过的路:8.1 节给中间训练定位——它是预训练与后训练之间的一条补强带;8.2 节解决「位置装不下」的问题,ABF、NTK、YaRN 三种 RoPE 缩放手法各有适用面;8.3 节解决「长数据从哪来」,拼接、收集、合成三条路;8.4 节讲退火,把学习率与数据质量在收尾段一起拧到位;本节则把四条线落到四个真实方案与一份 minimind 实验清单上。

  走完这一章,手里的模型已经今非昔比:上下文长度达标、领域配比修正、高质量数据收尾,checkpoint 还做了平均。但请冷静——它依然只会「续写」:给它半句话它接下半句,可你对它说「请帮我总结这段话」,它很可能把你的指令也当成待续写的文本,自顾自往下编。会知识与会听话是两回事,中间训练管的是前者。

  第 8 章介绍了中间训练的三项主要工作:用相对预训练较少的算力扩展上下文、调整领域数据配比,并用高质量数据完成退火,为后训练提供增强版 base model。

  第 9 章将介绍监督微调(SFT),让模型从「会续写」变成「听指挥」,并说明指令数据构造、对话模板和 LoRA。LoRA 只训练一小部分参数,使 minimind 这样的小模型也能在单张消费级显卡上完成指令微调。

🧭本节要点回顾
四家中期训练方案的共同骨架是什么?
主训用短上下文省钱,中期靠「改 RoPE + 长数据短训」扩长度,收尾一律高质量数据退火并复用或平均 checkpoint;没有一家为长上下文从头重训,差异只在分几段、混多少长数据、退火多陡。
把 minimind 从 340 扩到 2048 上下文,最不需要动的是哪部分?
位置编码——配置里 RoPE 基频已是 10⁶、频率表预算到 32K,2K 远在覆盖区内,连 YaRN 开关都已内置。真正要动的只有数据侧(换长数据)与训练侧(从 checkpoint 低学习率续训几百步)。
为什么中期训练必须同时监控通用、长文、领域三条评测线?
改数据分布会带来遗忘与长短跷跷板风险,单看一条线必然顾此失彼;且大海捞针单测会被「标称长度注水」骗过(RULER 实测:捞针满分不代表真实长文任务可用),三线合起来才分得清真提升与障眼法。

参考来源

  • Llama Team, AI @ Meta, 2024. The Llama 3 Herd of Models(arXiv:2407.21783;三阶段配方见 §3.4,退火数据与 8B 涨点实验见 §3.1.3)。
  • Yang et al., 2024. Qwen2.5 Technical Report(arXiv:2412.15115;长上下文预训练见 §3.3,评测去污染见 §5)。
  • DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437;学习率调度与超参见 §4.2,YaRN 两阶段扩展见 §4.3,成本见 Table 1)。
  • Hu et al., 2024. MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies(arXiv:2404.06395;WSD 见 §4,两阶段预训练与退火消融见 §5,MiniCPM-128K 见 §7.2)。
  • Peng et al., 2023. YaRN: Efficient Context Window Extension of Large Language Models(arXiv:2309.00071)。
  • Xiong et al., 2023. Effective Long-Context Scaling of Foundation Models(ABF 原始论文,arXiv:2309.16039)。
  • Qwen Team, 2025. Qwen2.5-1M Technical Report(渐进式长上下文训练与稀疏注意力,arXiv:2501.15383)。
  • Hsieh et al., 2024. RULER: What's the Real Context Size of Your Long-Context Language Models?(arXiv:2404.06654)。
  • Zhang et al., 2024. ∞Bench: Extending Long Context Evaluation Beyond 100K Tokens(arXiv:2402.13718)。
  • Shaham et al., 2023. ZeroSCROLLS: A Zero-Shot Benchmark for Long Text Understanding(arXiv:2305.14196)。
  • Mid-Training of Large Language Models: A Survey(arXiv:2510.06826,2025;中期训练概念与各家数据配比综述)。
  • minimind 工程代码(Apache 2.0 协议):model/model_minimind.py、trainer/train_pretrain.py、trainer/trainer_utils.py、dataset/lm_dataset.py。