8.4 领域适配与退火:收尾阶段的数据艺术
本页范围:第 8 章第 4 节 | 整理时间:2026-09-30
本章的主线是中间训练:预训练主体跑完、后训练尚未开始,中间这段窗口期还大有可为。此前各节讨论的长上下文扩展解决的是「看得远」的问题,本节转向「做得专」与「收得好」两个问题:模型什么都会一点但什么都不精,怎么往目标领域再拽一把?训练的最后一程,数据和学习率还能怎么配合着再榨出一截分数?这两个问题的答案出奇地一致——换数据,不换练法。训练目标始终是第 6 章讲过的下一个 token 预测,变的只有喂什么、喂多少、什么时候喂。
本节按「先适配、再调配、后收尾、终算账」的顺序展开,路线图如下:
- 继续预训练与领域适配:DAPT 与 TAPT(8.4.1):Don't Stop Pretraining 的经典结论——在领域语料上接着做自监督训练,下游任务一致提升,以及两种适配口径的差别;
- 数据配比再平衡:给数学和代码加座(8.4.2):预训练开局定死的配比,到中期还能调——DeepSeekMath 用 120B 精选数学 token 续训出的经验,以及 DoReMi 用小模型自动探配比的思路;
- 退火:最后几公里用最好的数据(8.4.3):Llama 3 与 MiniCPM 共同验证的收尾配方——高质量数据上采样配合学习率衰减,附 WSD 调度曲线图(图 3);
- 灾难性遗忘:补强一头的代价(8.4.4):领域分数涨、通用能力掉,回放、控学习率、全程监测三招对冲,附遗忘与回放示意图(图 4)。
读完本节,你应该能回答一个实操问题:手里有一个通用底座模型和一批领域语料,续训方案该怎么设计,又有哪些坑必须提前防。
图 1 标出本节在训练链路中的位置。中间训练的前半部分扩展上下文,后半部分讨论领域适配、数据配比与退火,分别对应本节各节。
图 1 里这个紫框中,退火这最后一程放大之后长什么样?学习率曲线和数据流在同一段时间轴上各做一个动作——把退火段单独拆开看:
8.4.1 继续预训练与领域适配:DAPT 与 TAPT
先建立直觉。把通用预训练想象成医学院的通识教育:解剖、生理、药理都学过,什么病都认得一些。但医院要的是能上门诊的专科医生,于是毕业生还要进专科轮训——心内科的天天看心电图,骨科的天天上手术台。注意轮训的形式:不用重新高考、不用重读医学院,直接在原有底子上接着学。领域适配对模型做的事一模一样:不推倒重来,在预训练好的模型上继续训练,只是教材换成了目标领域的语料。
在已经预训练好的模型上,沿用原来的自监督目标(对 LLM 就是下一个 token 预测),用一批新语料继续训练。架构不动、目标不动、参数接着原来的权重走,动的只有数据。它也叫持续预训练(continual pretraining),口语里常叫「二次预训练」或「续训」。
把这个想法钉成经典的,是 Gururangan 等人 2020 年的论文 Don't Stop Pretraining(arXiv:2004.10964)。他们在 RoBERTa 上做了系统实验:取四个领域(生物医学、计算机科学论文、新闻、商品评论)的八个分类任务,比较「直接微调」和「先继续预训练、再微调」的差别。论文提出并对比了两种续训口径:
DAPT 领域自适应预训练
Domain-Adaptive PreTraining。在任务所在领域的大规模无标注语料上继续训练,比如要做医学文献分类,就先啃一大批生物医学论文。语料量大,面向「领域」。
TAPT 任务自适应预训练
Task-Adaptive PreTraining。在与具体任务直接相关的小而精无标注数据上继续训练,比如直接用该分类任务自带的未标注文本。语料量小,离任务更近。
两个结论值得记住。其一,DAPT 在全部八个任务上带来一致提升——在领域语料上多泡一阵子,下游表现水涨船高。其二,DAPT 与 TAPT 可以叠加,先在大语料上做 DAPT、再在任务数据上做 TAPT,效果最好。续训离任务越近,最后一棒的收益越直接。
这篇 2020 年在 1.25 亿参数模型上做成的实验,后来成了 LLM 时代领域大模型的标准工序:医疗、法律、金融、代码方向的专用模型,几乎都是「通用底座 + 数十亿到上千亿领域 token 续训」的产物。下一小节的 DeepSeekMath 就是这个工序在数学方向上的样板。
Don't Stop Pretraining 论文还观察到一个当时不算起眼的现象:模型在本领域变强的同时,在其它领域上的表现会回落。这笔代价不是实验误差,而是续训的固有属性,8.4.4 会专门跟它算账。
8.4.2 数据配比再平衡:给数学和代码加座
第 1 章 1.4 节讲过预训练开局怎么定配比:网页、代码、数学、书籍各放多少,是一份在开工前就要拍板的菜单。这份菜单通常一用就是几千亿 token。但「开局定终身」并不合理——训练推进到中盘,模型的短板会逐渐暴露,团队的雄心也会调整:发现推理能力是弱项,想重点补强,最直接的杠杆就是把数学和代码的座位往前提。
DeepSeekMath(Shao et al., 2024,arXiv:2402.03300)是领域续训的公开案例。团队以代码基座模型 DeepSeek-Coder-Base-v1.5 7B 为起点,用从 Common Crawl 中筛出的 120B 数学相关 token,混合自然语言与代码数据继续预训练,得到 DeepSeekMath 7B,在竞赛级 MATH 基准上拿到 51.7%,逼近当时的 Gemini-Ultra 与 GPT-4。训练次序是先使用代码数据,再加入数学相关数据,并非从零训练数学模型。
论文第 5 节指出,代码训练有益于数学推理(Code Training Benefits Mathematical Reasoning),说明不同领域之间可以发生正迁移。代码数据中的逻辑链条可能促进数学推理。因此,数据配比不仅要考虑各类数据的比例,也要考虑训练顺序与搭配。
配比也不一定靠人拍脑袋。DoReMi(Xie et al., 2023,arXiv:2305.10429)给出了一条自动化路线:先训一个 280M 的小代理模型,用极小化极大优化自动搜出让各域最坏情况损失最小的配比,再把这套配比搬去训练 8B 的大模型(体量约 30 倍),整个搜索成本只花主模型训练量的 8%——小模型探路、大模型赶路。这与 1.4 节介绍的手工定配比正好形成对照,两处可以对着读。
中期调配比不是没有代价的:数据分布突变会让损失曲线抖动,实践中通常配合更低的学习率平滑过渡——这就牵出了下一节的学习率收尾问题,也埋下了 8.4.4 遗忘问题的引子。
8.4.3 退火:最后几公里用最好的数据
配比可以在中期调,还有一份调整留给了收尾。长跑运动员最后一公里要冲刺,预训练的最后一程也有一段特殊的跑法,名字借自冶金——退火。
冶金里,烧红的金属如果直接淬火会变脆,缓慢降温则让原子有时间归位、消除内应力,材料更韧。预训练的退火照着这个意象来:训练末期让学习率沿一条短促的衰减曲线逐步收到很低,同时把数据换成质量最高的一批,让模型在最后阶段「精细定型」。两个要素缺一不可:学习率收尾衰减与高质量数据上采样。
退火不是玄学,两份一手报告给出了硬数据。Llama 3 技术报告(arXiv:2407.21783)把退火数据单列一节(3.1.3 节):在预训练末期,用少量高质量代码与数学数据做退火,上采样选定领域的高质量源,并且刻意不混入任何常用基准的训练集,保证测出来的是真本事。效果写在 3.4.3 节:退火让预训练的 Llama 3 8B 在 GSM8K 与 MATH 验证集上分别相对提升 24.0% 与 6.4%。注意这还没有动用任何后训练手段,纯粹是预训练收尾阶段的数据操作,性价比可见一斑。
MiniCPM(Hu et al., 2024,arXiv:2404.06395)则把「学习率怎么收」做成了显式方案。6.2 节讲过 warmup 加 cosine 的经典调度,MiniCPM 提出的 WSD(Warmup-Stable-Decay)把曲线改成三段:先线性爬升,再顶住峰值长跑,最后快速衰减收尾:
MiniCPM 的实验报告了两个关键发现。其一,衰减段 loss 急剧下降:学习率一开始降,loss 就快速下探,很快追平甚至低于同预算 cosine 调度的终值——高学习率长跑攒下的「势能」,在衰减段集中兑现。其二,衰减前的 checkpoint 可以反复复用:stable 段末尾存一份模型,想继续训练就保持高学习率接着跑,想收工随时接一段衰减。这个性质让 WSD 与持续训练、领域适配天然兼容——底座训到 stable 段存档,之后每次领域续训都可以从这份存档出发,各续各的,互不绑架。相比之下,cosine 调度一开工就把终点写死,中途想加数据就得从头再来。
为什么退火有效?数据侧的解释是「好钢用在刀刃上」:末期学习率已经很小,每一步更新都精细,此时喂进来的高质量数据能被模型干净地吸收;学习率侧,小步长本身就是精细收敛的必要条件。要坦白说明的是,退火为何如此奏效的机理研究还不充分,上述解释属于社区的主流直觉,尚无严格定理背书——但配方本身已被 Llama 3 与 MiniCPM 两代模型独立验证,先用起来再说。
退火是预训练全程性价比最高的一段:只花总 token 量百分之几的预算,换基准分数的显著提升。配方是两味药同煎——学习率收尾衰减 + 高质量数据上采样,缺一效减。
8.4.4 灾难性遗忘:补强一头的代价
前三节讲的全是收益,这一节算账。8.4.1 留下的伏笔该兑现了:模型在本领域变强的同时,其它领域的表现会回落。这不是某个团队的失手,而是神经网络的固有属性,学界给它起了个名字——灾难性遗忘。
神经网络按顺序学习新任务时,旧任务上的性能大幅下降的现象。根源在于参数只有一份、全部共享:把参数往新任务的方向拉,就必然离开旧任务的舒适区。Goodfellow 等人 2013 年的经典实验(arXiv:1312.6211)系统验证了这一现象在梯度训练的各类网络中普遍存在。它不是 bug,是共享参数架构的固有属性。
放到 LLM 续训的语境里,遗忘的表现是:领域基准分数节节攀升,通用基准(常识推理、通用语言理解等)分数悄悄下滑。Don't Stop Pretraining 里 DAPT 后跨领域回落的现象,就是它在文献中的早期身影。放任不管的结果是一个「偏科」模型:医学问答对答如流,日常对话反而变笨。
工程实践总结出的对冲手段主要是三招:
- 通用数据回放(replay):续训语料里按比例掺回通用预训练数据,让模型温故的同时知新。黑板理论的直接应用——新板书每隔几行就复述一遍旧内容。这是工业界最常用的一招,成本只是多喂一些已有数据。
- 压低学习率、控制步数:续训学习率通常明显低于预训练峰值,步数也短,小步慢走、见好就收,减小参数被拽离原位的幅度。细节上,Gupta 等人 2023 年的研究(arXiv:2308.04014)发现长周期、大剂量的续训里学习率需要重新 warmup 再衰减才能学好——直接沿用上次训练末尾的小学习率一动不动,往往学不进新数据;仅千步量级的短促扩展续训不在此列,DeepSeek-V3 沿用收尾学习率照样成功(8.5 节)。这与 WSD「从 stable 存档出发」的思路正好衔接。
- 全程双轨监测:续训期间定期在领域基准与通用基准上同时评测,两条曲线一起看。通用曲线下滑超预期,就提前刹车或加大回放比例——把遗忘从事后才发现,变成过程中可干预的变量。
注意:遗忘与适配是一对根本张力:完全不忘就几乎没适配,彻底适配往往伴随着大忘。续训工程的目标是在两条曲线之间找到可接受的平衡点,而不是把领域分数刷到最高——后者常常意味着通用能力已经悄悄崩盘。
至此,中间训练的两条腿就齐了:长上下文扩展把模型的「视野」拉长,领域适配与退火把模型的「功底」砸实。但无论是适配后的领域模型还是退火后的通用模型,都还只是「知识在线、行为离线」的底座——会说不会做,有知识没规矩。把底座调教成听得懂指令、答得像样的助手,是后训练的任务,第 9 章监督微调就此开场。
参考来源
- Gururangan et al., 2020. Don't Stop Pretraining: Adapt Language Models to Domains and Tasks(DAPT 与 TAPT 的出处,ACL 2020,arXiv:2004.10964)。
- Shao et al., 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models(120B 数学 token 续训、代码训练有益于数学推理,arXiv:2402.03300)。
- Xie et al., 2023. DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining(小代理模型自动搜配比,NeurIPS 2023,arXiv:2305.10429)。
- Grattafiori et al., 2024. The Llama 3 Herd of Models(退火数据见 3.1.3 节,退火使 GSM8K / MATH 相对提升 24.0% / 6.4% 见 3.4.3 节,arXiv:2407.21783)。
- Hu et al., 2024. MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies(WSD 调度、衰减段 loss 急剧下降与 checkpoint 复用,arXiv:2404.06395;decay 段约占总步数一成为该文实验与后续综述的经验值)。
- Goodfellow et al., 2013. An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks(灾难性遗忘的经典实验研究,ICLR 2014,arXiv:1312.6211)。
- Gupta et al., 2023. Continual Pre-Training of Large Language Models: How to (re)warm your model?(续训需重新 warmup 学习率再衰减,arXiv:2308.04014)。