9.3 SFT 训练机制:损失掩码与超参配方

本页范围:第 9 章第 3 节 | 整理时间:2026-10-08

快速浏览

核心问题9.2 节把指令数据备齐了,拿到数据之后具体怎么训?损失怎么算,才能让模型只学「怎么回答」而不学「怎么提问」?配方与预训练差多少,最大的坑是什么?
本节主张SFT 沿用预训练的训练框架(next-token 交叉熵、AdamW、cosine 调度),主要新增损失掩码,让模型只在助手回答段上计损失;训练配置则整体缩小:学习率低约两个量级、训练轮数较少、从预训练权重出发。
一句话结论SFT = 预训练的训练器 + 带损失掩码的指令数据 + 一套保守配方,目标是改行为而不动知识。
关键词
损失掩码ignore_index=-100超参配方灾难性遗忘replay

  9.2 节做完了数据侧的功课:一问一答的指令样本清洗备齐,套上 chat 模板,变成一条条 token 序列。数据到位,接下来的问题是训练本身——损失函数怎么算,超参配方和预训练差多少,微调最容易踩的坑在哪里。本节就回答这三个问题。

  本节的做法是把 minimind(Apache 2.0)的真实实现拆开看:它的 SFT 训练链路不长,却把工业界 SFT 的标准动作一样不少地做了一遍。讲解主线如下:

  1. 损失掩码:只让模型学「回答」(9.3.1):minimind 怎么用 -100 把问题段排除出损失,配套公式逐符号讲透,配一张实测 token 序列的掩码图(图 2);
  2. 与预训练同与不同(9.3.2):一张配方对照表,重点解释学习率为什么小约两个量级;
  3. 灾难性遗忘:微调的头号风险(9.3.3):成因、五条对策,以及它与 9.1 节表层对齐假说的互相印证;
  4. 工程细节速览(9.3.4):padding、多轮逐轮掩码、日志里的两个 loss、半精度保存。

  读完本节会发现,SFT 在工程上的「新东西」少得出人意料——这本身就是理解它的钥匙。

  图 1 标出 SFT 在 LLM 生命周期中的位置,图 2 展示损失掩码如何区分指令段与回答段。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (本节内容) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:本节内容在 LLM 生命周期中的位置。训练数据(第 1 章)经预训练(第 6 章)、训练工程(第 7 章)与中间训练(第 8 章)交出 base model;SFT(本章)把它调成会对话的助手,随后接偏好对齐(第 10 章)与推理训练(第 11 章),最终进入推理与部署(第 12–13 章)。本节管的是 SFT 这一站的训练机制:损失掩码怎么让模型只学回答,配方为什么全面收小。

  这个紫框放大之后,训练时模型到底在序列的哪些位置上算损失?把一条带掩码的 token 序列单独拆开看:

原创示意图 · 非论文原图 token ID 为 minimind 分词器实测 用户提问段(不学) 助手回答段(要学) 〈bos〉 user 中国 1405 的 296 首 1408 都是 2462 哪 1742 里 852 ? 776 〈eos〉 〈bos〉 assistant 中国 1405 的 296 首 1408 都是 2462 北京 5412 。 302 〈eos〉 这一段 label 全是 -100:问题与角色标记都不进损失 这一段 label = 真实 token ID:计入损失(含收尾 eos) 窄格为角色标记示意:〈bos〉对应 <|im_start|>,〈eos〉对应 <|im_end|>(均含换行);〈bos〉assistant 这段提示头本身也标 -100,不计损失。
图 2:SFT 训练机制的局部放大——一条单轮对话的 token 序列与损失掩码。灰底格子的 label 全是 -100,问题与角色标记都不进损失;紫底格子计入损失,模型要学的只有它们。注意回答的开头(中国/的/首/都是)与问题逐字相同——模型要学的正是接在问题之后把答案续出来,并在答完时吐出 <|im_end|> 收尾。9.3.1 会逐步讲清这套掩码在 minimind 里的实现。

9.3.1 损失掩码:只让模型学「回答」

  SFT 的数据是一整条对话:用户提问、助手回答,拼成同一个 token 序列喂进模型。如果像预训练那样让序列里每个位置都参与损失,模型会把「用户提问」的写法也一起学掉——它将被训练成一个既会当助手、又会当用户的双面角色。而推理时(第 12 章)没人需要它模仿用户:用户的话由真人输入,模型要做的只是接在后面把回答续出来。让模型在提问段上消耗容量,既浪费又添乱。解决办法就是损失掩码。

  先看 minimind 在数据侧的实现。它的 SFTDataset 初始化时先做一件准备工作:把「<|im_start|>assistant\n」和「<|im_end|>\n」这两段固定文本分别编码成两段 token 序列 bos_id 与 eos_id(minimind(Apache 2.0),dataset/lm_dataset.py:第 68–69 行)——前者是每段助手回答开头的「门牌」,后者是收尾标记。真正生成标签的函数是 generate_labels(第 91–107 行),逻辑分三步:

  1. 先把整条 labels 全部置为 -100,默认谁都不学;
  2. 从头扫描 input_ids,每找到一段以 bos_id 开头的位置,就从其后接着往后扫,直到遇见 eos_id;
  3. 把这一区间(bos_id 之后起,到 eos_id 结束,含 eos 本身)的 label 置回真实的 token id,然后跳到这段之后继续扫描。多轮对话里每个助手段都重复一遍这个过程,逐轮计入。

  数据侧把不学的位置标成 -100,模型侧负责「看见 -100 就跳过」。MiniMindForCausalLM 的 forward 里先把 logits 与 labels 错位一位——用前 \(T-1\) 个位置的预测去对第 2 到第 \(T\) 个 label,因为第 \(t\) 个位置的预测目标本来就是第 \(t+1\) 个 token(minimind(Apache 2.0),model/model_minimind.py:第 256 行)——然后调 F.cross_entropy(..., ignore_index=-100)(第 257 行)。ignore_index 是 PyTorch 交叉熵的保留参数:标签等于它的位置直接不进损失、不产生梯度,-100 正是它的默认取值,minimind 沿用了这个约定。

损失掩码 Loss Masking mask = 遮盖;只让部分位置的损失生效

训练时给每个 token 位置配一个开关:打开(label = 真实 token id)就参与损失,关掉(label = -100)就当它不存在。SFT 里被关掉的是用户提问、角色标记与 padding,被打开的只剩助手回答。模型因此只在「怎么答」上接受监督,提问段的写法再花哨也不影响它。

就像老师批卷只给答题区打分,题目印刷区不计分——评分标准只管「答得对不对」,不管「题抄得像不像」。

  写成公式,SFT 的损失与预训练的交叉熵(附录 A.4)只差一个掩码因子:

\[ \mathcal{L} = -\frac{1}{N}\sum_{t=1}^{T} m_t \log P\big(x_t \mid x_{<t}\big) \tag{1} \]
公式 (1):每个位置的损失先乘上掩码 \(m_t\) 再求和,\(m_t\) 为 0 的位置整项归零,不贡献损失也不产生梯度。符号说明:\(T\) 是序列长度;\(x_t\) 是第 \(t\) 个位置的真实 token;\(x_{<t}\) 表示它之前的所有 token,即模型的已知上下文;\(P\big(x_t \mid x_{<t}\big)\) 是模型在该上下文下预测出正确 token 的概率;\(m_t \in \{0, 1\}\) 是掩码,助手回答段取 1、其余位置取 0,代码里通过「label 是否为 -100」实现;\(N\) 是计入损失的 token 总数,即掩码为 1 的位置个数,用它做归一化;-100 是 PyTorch 交叉熵 ignore_index 的默认取值,含义是「此位置忽略」。

  把这套机制落到一条具体对话上看。用 minimind 分词器实测:用户问「中国的首都是哪里?」切成 7 个 token [1405, 296, 1408, 2462, 1742, 852, 776](中国/的/首/都是/哪/里/?),助手答「中国的首都是北京。」切成 6 个 token [1405, 296, 1408, 2462, 5412, 302](中国/的/首/都是/北京/。)。掩码之后的完整序列,就是本节开头的图 2:灰底段(提问与角色标记)的 label 全是 -100,紫底段(回答与收尾 eos)计入损失。

  易错点:一个容易漏掉的细节:回答段末尾的 <|im_end|>(eos)必须计入损失。它教模型「答完就停」;如果被掩掉,模型学不到收尾,生成时会一直续写直到撞上长度上限。minimind 的实现把 eos 包含在恢复区间里(lm_dataset.py 第 102 行的 range(start, min(end + len(self.eos_id), ...))),正是为了这一点。

9.3.2 与预训练同与不同

  先看不变的部分。SFT 与预训练共用同一副训练骨架:优化器都是 AdamW(train_full_sft.py 第 131 行),都开 bf16 混合精度(第 83 行),梯度裁剪阈值都是 1.0(第 86 行),学习率都按 cosine 曲线从峰值往下衰减(trainer/trainer_utils.py 第 42–43 行)。这些机制第 6、7 章已经讲过,此处不再展开——要点是:SFT 没有发明新的训练技术,它整套复用预训练的装备。

  变的是配方。把 minimind 两个训练脚本的默认参数摆在一起(均为代码实测默认值,预训练出自 trainer/train_pretrain.py 第 78–90 行,SFT 出自 trainer/train_full_sft.py 第 79–96 行):

配置项预训练全量 SFT
初始学习率5e-41e-5(小 50 倍)
batch size3216
最大序列长度 max_seq_len340768
训练轮数 epochs默认 2(语料量大,一轮已覆盖海量 token)默认 2(指令集小,只刷两遍)
训练起点 from_weightnone,从零训练pretrain,从预训练权重出发

  序列长度从 340 拉长到 768 好理解:SFT 样本要完整装下一问一答(多轮对话更长),窗口太短会把回答拦腰截断,损失掩码也就无从谈起。真正值得琢磨的是学习率:1e-5 对 5e-4,小了约两个量级。原因要从训练起点看。预训练从随机权重出发,参数离「会语言」还很远,需要大步赶路;SFT 从预训练权重出发,模型已经会语言、有知识,缺的只是「按指令格式作答」这一层行为。此时每一步梯度都由一小批指令数据驱动,步子一大,参数就会为了迁就这批数据而大幅移动,预训练攒下的通用能力随之被冲刷。微调的要义是小步修正:只动该动的,不动已有的。这直接引出下一节的主题。

  核心结论:SFT 没有新的训练技术。它 = 预训练的训练器 + 带损失掩码的指令数据 + 一套全面收小的保守配方(学习率小约两个量级、轮数寥寥、从预训练权重出发)。配方的保守不是随手定的,是在给预训练成果上保险。

9.3.3 灾难性遗忘:微调的头号风险

  配方为什么要这么保守?因为全量微调有一个头号风险。

灾难性遗忘 Catastrophic Forgetting catastrophic = 灾难性的;forgetting = 遗忘

神经网络在新数据上继续训练时,参数整体向新分布迁移,旧任务上学到的表示被改写,表现为「学了新的、忘了旧的」。全量 SFT 会动模型的全部参数,而指令数据的分布与预训练语料差别很大,若不加以约束,模型可能对话格式学会了,通用知识与能力却退步了。

就像期末连熬三个通宵只突击一门课:这门分数上去了,之前复习好的其他科目却忘得七七八八。

  机理上一句话就能说清:损失只由指令数据产生,梯度会把所有参数都往「更像指令答案」的方向拉;参数迁移的幅度由学习率与训练步数共同决定,方向则由这一小批数据的分布决定。对策也都围绕「限制迁移」展开:

  • 小学习率:步子小,参数迁移有限,9.3.2 那张表里的 1e-5 正是这一考量;
  • 少 epoch:指令集刷一两遍即停,不给遗忘留时间;
  • 混入通用数据(replay,重放):在指令数据里掺一部分预训练风格的通用语料,让模型在微调期间顺带「复习」旧知识;
  • 早停(early stopping):盯住验证集表现,出现过拟合苗头就提前停训;
  • 改用 LoRA:冻结主干、只训练一小撮低秩参数,从机制上把「动所有参数」这条路堵死,9.4 节展开。

  这些对策与 9.1 节的表层对齐假说(Superficial Alignment Hypothesis)互相印证。假说认为模型的知识与能力几乎全部来自预训练,对齐做的只是调整「与人对话」的表层格式。若对齐真是表层调整,本就无需大动干戈——小学习率、少量数据、一两轮 epoch 就该够用;反过来,大动干戈反而会把表层之下的地基震松。9.3.2 那张保守配方表,正是这个假说在工程上的样子。

  注意:模型越小、容量越紧,新旧知识挤占同一批参数的冲突越直接,配方就越要保守。minimind 这类小模型的 SFT 默认配方收得很紧,原因即在此;给大模型做 SFT 时同样从保守起步,再按验证集表现逐步放开。

9.3.4 工程细节速览

  最后扫一遍散落在各处的工程细节。它们单看不起眼,凑在一起决定训练是否顺畅:

  • padding 补齐到定长:不同对话长短不一,minimind 统一用 pad token 把每条样本补到 max_seq_len(lm_dataset.py 第 115 行)。补齐段不在任何 bos 到 eos 区间内,generate_labels 扫不到它,label 天然保持 -100——padding 因此自动被排除出损失,无需额外处理。
  • 多轮对话逐轮掩码:generate_labels 的扫描是循环的,处理完一个助手段就跳到其 eos 之后继续找下一个 bos(第 104 行)。多轮对话里每一轮助手回答都计入损失,用户轮全部掩掉。
  • 日志里两个 loss 分开看:训练日志把 logits_loss 与 aux_loss 分开打印(train_full_sft.py 第 52–56 行)。前者是公式 (1) 的语言模型损失;后者是 MoE 的辅助负载均衡损失(第 5 章讲过),不用 MoE 时恒为 0。分开打印是为了定位异常时能立刻分清「模型没学好」与「专家分配不均」。
  • 保存权重转半精度:保存 checkpoint 时把参数逐个转成半精度再落盘(train_full_sft.py 第 66 行,v.half()),文件体积减半,加载推理时也更省显存。

  至此,SFT 的训练机制就讲完了:一个掩码、一套保守配方、一份风险清单。下一节换一个更省力的思路——不动主干参数,只训一小撮外挂矩阵的 LoRA。

🧭本节要点回顾
为什么 SFT 要把用户提问从损失里掩掉?
推理时用户的话由真人给出,模型只需学会接在后面把回答续出来;让它学提问既浪费容量又会混淆角色。实现上,minimind 的 generate_labels 把非助手段的 label 置为 -100,交叉熵的 ignore_index=-100 会把这些位置整体跳过,不进损失、不产生梯度。
SFT 与预训练的训练配置差在哪,为什么?
训练骨架相同(AdamW、bf16、梯度裁剪 1.0、cosine 调度),配方全面收小:学习率 1e-5 对 5e-4、小约两个量级,轮数寥寥,从预训练权重出发。原因是微调只需在既有知识上做行为修正,步子大会把预训练成果冲刷掉。
灾难性遗忘怎么防?
五条对策:小学习率、少 epoch、混入通用数据做 replay、早停,或干脆改用 LoRA 冻结主干(9.4 节)。它们与 9.1 节的表层对齐假说一致:对齐是表层调整,本不需要大动干戈。

参考来源

  • minimind(Apache 2.0),dataset/lm_dataset.py:损失掩码的生成——第 68–69 行(bos/eos 提示头预编码)、第 91–107 行(generate_labels)、第 115 行(padding 补齐)。
  • minimind(Apache 2.0),model/model_minimind.py:损失计算——第 256 行(logits 与 labels 错位一位)、第 257 行(F.cross_entropy 的 ignore_index=-100)。
  • minimind(Apache 2.0),trainer/train_full_sft.py:SFT 超参与日志——第 79–96 行(学习率 1e-5、batch 16、序列 768、epoch 2、from_weight=pretrain)、第 131 行(AdamW)、第 52–56 行(logits_loss 与 aux_loss 分开打印)、第 66 行(保存权重转半精度);对照组 trainer/train_pretrain.py 第 78–90 行(学习率 5e-4、batch 32、序列 340、from_weight=none)。
  • Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):SFT 在对齐流水线中的位置与作用。
  • Hugging Face TRL 文档:SFTTrainer(https://huggingface.co/docs/trl/sft_trainer):工业界 SFT 训练器的标准实现,同样默认只对回答段计损失。