9.3 SFT 训练机制:损失掩码与超参配方
本页范围:第 9 章第 3 节 | 整理时间:2026-10-08
9.2 节做完了数据侧的功课:一问一答的指令样本清洗备齐,套上 chat 模板,变成一条条 token 序列。数据到位,接下来的问题是训练本身——损失函数怎么算,超参配方和预训练差多少,微调最容易踩的坑在哪里。本节就回答这三个问题。
本节的做法是把 minimind(Apache 2.0)的真实实现拆开看:它的 SFT 训练链路不长,却把工业界 SFT 的标准动作一样不少地做了一遍。讲解主线如下:
- 损失掩码:只让模型学「回答」(9.3.1):minimind 怎么用 -100 把问题段排除出损失,配套公式逐符号讲透,配一张实测 token 序列的掩码图(图 2);
- 与预训练同与不同(9.3.2):一张配方对照表,重点解释学习率为什么小约两个量级;
- 灾难性遗忘:微调的头号风险(9.3.3):成因、五条对策,以及它与 9.1 节表层对齐假说的互相印证;
- 工程细节速览(9.3.4):padding、多轮逐轮掩码、日志里的两个 loss、半精度保存。
读完本节会发现,SFT 在工程上的「新东西」少得出人意料——这本身就是理解它的钥匙。
图 1 标出 SFT 在 LLM 生命周期中的位置,图 2 展示损失掩码如何区分指令段与回答段。
这个紫框放大之后,训练时模型到底在序列的哪些位置上算损失?把一条带掩码的 token 序列单独拆开看:
9.3.1 损失掩码:只让模型学「回答」
SFT 的数据是一整条对话:用户提问、助手回答,拼成同一个 token 序列喂进模型。如果像预训练那样让序列里每个位置都参与损失,模型会把「用户提问」的写法也一起学掉——它将被训练成一个既会当助手、又会当用户的双面角色。而推理时(第 12 章)没人需要它模仿用户:用户的话由真人输入,模型要做的只是接在后面把回答续出来。让模型在提问段上消耗容量,既浪费又添乱。解决办法就是损失掩码。
先看 minimind 在数据侧的实现。它的 SFTDataset 初始化时先做一件准备工作:把「<|im_start|>assistant\n」和「<|im_end|>\n」这两段固定文本分别编码成两段 token 序列 bos_id 与 eos_id(minimind(Apache 2.0),dataset/lm_dataset.py:第 68–69 行)——前者是每段助手回答开头的「门牌」,后者是收尾标记。真正生成标签的函数是 generate_labels(第 91–107 行),逻辑分三步:
- 先把整条
labels全部置为 -100,默认谁都不学; - 从头扫描
input_ids,每找到一段以bos_id开头的位置,就从其后接着往后扫,直到遇见eos_id; - 把这一区间(
bos_id之后起,到eos_id结束,含 eos 本身)的 label 置回真实的 token id,然后跳到这段之后继续扫描。多轮对话里每个助手段都重复一遍这个过程,逐轮计入。
数据侧把不学的位置标成 -100,模型侧负责「看见 -100 就跳过」。MiniMindForCausalLM 的 forward 里先把 logits 与 labels 错位一位——用前 \(T-1\) 个位置的预测去对第 2 到第 \(T\) 个 label,因为第 \(t\) 个位置的预测目标本来就是第 \(t+1\) 个 token(minimind(Apache 2.0),model/model_minimind.py:第 256 行)——然后调 F.cross_entropy(..., ignore_index=-100)(第 257 行)。ignore_index 是 PyTorch 交叉熵的保留参数:标签等于它的位置直接不进损失、不产生梯度,-100 正是它的默认取值,minimind 沿用了这个约定。
训练时给每个 token 位置配一个开关:打开(label = 真实 token id)就参与损失,关掉(label = -100)就当它不存在。SFT 里被关掉的是用户提问、角色标记与 padding,被打开的只剩助手回答。模型因此只在「怎么答」上接受监督,提问段的写法再花哨也不影响它。
写成公式,SFT 的损失与预训练的交叉熵(附录 A.4)只差一个掩码因子:
ignore_index 的默认取值,含义是「此位置忽略」。 把这套机制落到一条具体对话上看。用 minimind 分词器实测:用户问「中国的首都是哪里?」切成 7 个 token [1405, 296, 1408, 2462, 1742, 852, 776](中国/的/首/都是/哪/里/?),助手答「中国的首都是北京。」切成 6 个 token [1405, 296, 1408, 2462, 5412, 302](中国/的/首/都是/北京/。)。掩码之后的完整序列,就是本节开头的图 2:灰底段(提问与角色标记)的 label 全是 -100,紫底段(回答与收尾 eos)计入损失。
易错点:一个容易漏掉的细节:回答段末尾的 <|im_end|>(eos)必须计入损失。它教模型「答完就停」;如果被掩掉,模型学不到收尾,生成时会一直续写直到撞上长度上限。minimind 的实现把 eos 包含在恢复区间里(lm_dataset.py 第 102 行的 range(start, min(end + len(self.eos_id), ...))),正是为了这一点。
9.3.2 与预训练同与不同
先看不变的部分。SFT 与预训练共用同一副训练骨架:优化器都是 AdamW(train_full_sft.py 第 131 行),都开 bf16 混合精度(第 83 行),梯度裁剪阈值都是 1.0(第 86 行),学习率都按 cosine 曲线从峰值往下衰减(trainer/trainer_utils.py 第 42–43 行)。这些机制第 6、7 章已经讲过,此处不再展开——要点是:SFT 没有发明新的训练技术,它整套复用预训练的装备。
变的是配方。把 minimind 两个训练脚本的默认参数摆在一起(均为代码实测默认值,预训练出自 trainer/train_pretrain.py 第 78–90 行,SFT 出自 trainer/train_full_sft.py 第 79–96 行):
| 配置项 | 预训练 | 全量 SFT |
|---|---|---|
| 初始学习率 | 5e-4 | 1e-5(小 50 倍) |
| batch size | 32 | 16 |
| 最大序列长度 max_seq_len | 340 | 768 |
| 训练轮数 epochs | 默认 2(语料量大,一轮已覆盖海量 token) | 默认 2(指令集小,只刷两遍) |
| 训练起点 from_weight | none,从零训练 | pretrain,从预训练权重出发 |
序列长度从 340 拉长到 768 好理解:SFT 样本要完整装下一问一答(多轮对话更长),窗口太短会把回答拦腰截断,损失掩码也就无从谈起。真正值得琢磨的是学习率:1e-5 对 5e-4,小了约两个量级。原因要从训练起点看。预训练从随机权重出发,参数离「会语言」还很远,需要大步赶路;SFT 从预训练权重出发,模型已经会语言、有知识,缺的只是「按指令格式作答」这一层行为。此时每一步梯度都由一小批指令数据驱动,步子一大,参数就会为了迁就这批数据而大幅移动,预训练攒下的通用能力随之被冲刷。微调的要义是小步修正:只动该动的,不动已有的。这直接引出下一节的主题。
核心结论:SFT 没有新的训练技术。它 = 预训练的训练器 + 带损失掩码的指令数据 + 一套全面收小的保守配方(学习率小约两个量级、轮数寥寥、从预训练权重出发)。配方的保守不是随手定的,是在给预训练成果上保险。
9.3.3 灾难性遗忘:微调的头号风险
配方为什么要这么保守?因为全量微调有一个头号风险。
神经网络在新数据上继续训练时,参数整体向新分布迁移,旧任务上学到的表示被改写,表现为「学了新的、忘了旧的」。全量 SFT 会动模型的全部参数,而指令数据的分布与预训练语料差别很大,若不加以约束,模型可能对话格式学会了,通用知识与能力却退步了。
机理上一句话就能说清:损失只由指令数据产生,梯度会把所有参数都往「更像指令答案」的方向拉;参数迁移的幅度由学习率与训练步数共同决定,方向则由这一小批数据的分布决定。对策也都围绕「限制迁移」展开:
- 小学习率:步子小,参数迁移有限,9.3.2 那张表里的 1e-5 正是这一考量;
- 少 epoch:指令集刷一两遍即停,不给遗忘留时间;
- 混入通用数据(replay,重放):在指令数据里掺一部分预训练风格的通用语料,让模型在微调期间顺带「复习」旧知识;
- 早停(early stopping):盯住验证集表现,出现过拟合苗头就提前停训;
- 改用 LoRA:冻结主干、只训练一小撮低秩参数,从机制上把「动所有参数」这条路堵死,9.4 节展开。
这些对策与 9.1 节的表层对齐假说(Superficial Alignment Hypothesis)互相印证。假说认为模型的知识与能力几乎全部来自预训练,对齐做的只是调整「与人对话」的表层格式。若对齐真是表层调整,本就无需大动干戈——小学习率、少量数据、一两轮 epoch 就该够用;反过来,大动干戈反而会把表层之下的地基震松。9.3.2 那张保守配方表,正是这个假说在工程上的样子。
注意:模型越小、容量越紧,新旧知识挤占同一批参数的冲突越直接,配方就越要保守。minimind 这类小模型的 SFT 默认配方收得很紧,原因即在此;给大模型做 SFT 时同样从保守起步,再按验证集表现逐步放开。
9.3.4 工程细节速览
最后扫一遍散落在各处的工程细节。它们单看不起眼,凑在一起决定训练是否顺畅:
- padding 补齐到定长:不同对话长短不一,minimind 统一用 pad token 把每条样本补到 max_seq_len(lm_dataset.py 第 115 行)。补齐段不在任何 bos 到 eos 区间内,
generate_labels扫不到它,label 天然保持 -100——padding 因此自动被排除出损失,无需额外处理。 - 多轮对话逐轮掩码:
generate_labels的扫描是循环的,处理完一个助手段就跳到其 eos 之后继续找下一个 bos(第 104 行)。多轮对话里每一轮助手回答都计入损失,用户轮全部掩掉。 - 日志里两个 loss 分开看:训练日志把
logits_loss与aux_loss分开打印(train_full_sft.py 第 52–56 行)。前者是公式 (1) 的语言模型损失;后者是 MoE 的辅助负载均衡损失(第 5 章讲过),不用 MoE 时恒为 0。分开打印是为了定位异常时能立刻分清「模型没学好」与「专家分配不均」。 - 保存权重转半精度:保存 checkpoint 时把参数逐个转成半精度再落盘(train_full_sft.py 第 66 行,
v.half()),文件体积减半,加载推理时也更省显存。
至此,SFT 的训练机制就讲完了:一个掩码、一套保守配方、一份风险清单。下一节换一个更省力的思路——不动主干参数,只训一小撮外挂矩阵的 LoRA。
参考来源
- minimind(Apache 2.0),dataset/lm_dataset.py:损失掩码的生成——第 68–69 行(bos/eos 提示头预编码)、第 91–107 行(generate_labels)、第 115 行(padding 补齐)。
- minimind(Apache 2.0),model/model_minimind.py:损失计算——第 256 行(logits 与 labels 错位一位)、第 257 行(F.cross_entropy 的 ignore_index=-100)。
- minimind(Apache 2.0),trainer/train_full_sft.py:SFT 超参与日志——第 79–96 行(学习率 1e-5、batch 16、序列 768、epoch 2、from_weight=pretrain)、第 131 行(AdamW)、第 52–56 行(logits_loss 与 aux_loss 分开打印)、第 66 行(保存权重转半精度);对照组 trainer/train_pretrain.py 第 78–90 行(学习率 5e-4、batch 32、序列 340、from_weight=none)。
- Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):SFT 在对齐流水线中的位置与作用。
- Hugging Face TRL 文档:SFTTrainer(https://huggingface.co/docs/trl/sft_trainer):工业界 SFT 训练器的标准实现,同样默认只对回答段计损失。