9.1 为什么需要 SFT:从「会续写」到「会对话」
本页范围:第 9 章第 1 节 | 整理时间:2026-10-08
第 8 章走完,中间训练交出的是一个能力补强、上下文达标的 base model:知识更全了,长文读得下了,领域短板也补了。但它依然是一台续写机——喂给它一个问题,它按语料分布往下接,碰巧接上答案是运气,接出另一道题才是常态。直接把它当聊天助手用,会撞上三个稳定复现的行为缺口。本节是第 9 章的开篇,先把缺口摆清楚,再引出补缺口的工序:监督微调(SFT),并说明为什么整个后训练都要从它起步。
本节沿四个问题展开,路线图如下:
- base model 的三处行为缺口(9.1.1):同一问句下 base model 与 SFT 模型的行为对照,缺口具体缺在哪;
- SFT 是什么:后训练的第一站(9.1.2):定义、训练目标与 8.1 节分界线的呼应,以及它在后训练地图中的位置;
- 指令微调简史与表层对齐假说(9.1.3):FLAN、InstructGPT、LIMA 三个节点,以及「SFT 主要教交互样式」这个影响深远的判断;
- 本章地图(9.1.4):9.2 到 9.5 四节的分工。
读完本节,应该能说清两件事:base model 为什么不能直接上岗,以及为什么 RLHF、DPO、RLVR 都得排在 SFT 后面。
图 1 标出 SFT 在 LLM 生命周期中的位置,图 2 展示指令数据进入模型并更新参数的处理流程。
这个紫框放大之后长什么样?它的输入和输出各是什么?把 SFT 这一站单独拆开看:
9.1.1 base model 的三处行为缺口
先回顾 base model 是怎么来的。第 6 章的预训练在数万亿 token 的无标注语料上做 next-token 预测,第 7 章用分布式工程把这场长跑跑完,第 8 章的中间训练再做质量收口、长上下文扩展与领域补短。三步走完,模型在语言结构、世界知识、长文档处理上都已相当强,但它学会的唯一动作始终是「给定上文,续写下文」。语料里的下文什么样,它就学成什么样:网页、小说、试卷、论坛帖应有尽有,续写的样貌自然五花八门。
把这种模型直接当聊天助手,会稳定地撞上三处缺口:
缺口一 · 不回答问题
收到问题不直接作答,反而顺着问题续写同类文本:再来一段背景介绍,或者干脆继续出题。
缺口二 · 格式失控
输出啰嗦、没有结构,该分点不分点,该先给结论时先绕远路。
缺口三 · 不知何时停止
答完了不收尾,继续往下续写无关内容,不知道一段回答该在哪里结束。
三处缺口用一次对照看得最清楚。把同一句「中国的首都是哪里?」分别喂给 base model 和经过 SFT 的模型(SFT 在 9.1.2 正式定义,这里先把它理解成「教模型按指令作答」的工序):两者拿到的输入完全相同,产出的行为截然不同。先把话说在前面:图 3 是行为示意,用来刻画两类模型的典型差异,不是某次实测的截图。
左栏的反应并不说明模型「笨」。「中国的首都是北京」所依赖的知识,大概率早就躺在参数里——预训练语料里这句话的变体出现过无数次。问题在于:语料中「中国的首都是哪里?」后面跟着的,可能是答案,也可能是背景铺垫、另一道题、一份试卷的下半页;base model 按概率续写,选中哪条路全凭语料分布。三处缺口由此而来:它没被训练过「面对问题要直接作答」(缺口一)、「答案要简洁成句」(缺口二)、「答完就停」(缺口三)。
指走完预训练(可加中间训练)、尚未做任何指令与偏好对齐的模型。知识与语言能力都在它身上,唯独缺「助手」的交互方式:不知道面对指令要直接作答,只会按语料分布续写。开源模型常同时发布两个版本:名字里带 Instruct、Chat 等后缀的是对齐过的,不带后缀的就是 base model。
指在 base model 之上做过指令对齐的模型:先是 SFT(9.1.2 定义),通常还接偏好对齐(第 10 章)。它学会了交互样式:收到问题直接作答、按要求的格式组织输出、答完收尾。日常聊天框里的助手都是 instruct model,也叫 chat model、aligned model,各家命名不一。
所以三处缺口是同源的,根子都在 next-token 这个目标函数上:它奖励「像语料」,从不奖励「像助手」。对话所需的行为模式语料里当然也有——教辅的问答段落、客服记录都是——但占比太小,被海量其他文本形态淹没了。想让这些模式成为默认行为,就得专门造一批「指令-回答」样本让模型重点学。这正是 9.1.2 的主题。
base model 的三处缺口(不回答、没格式、不收尾)落在行为层:知识多半已在参数里,缺的是「此时该直接作答、答完该停」的行为模式。补行为正是 SFT 的任务——这也解释了为什么 SFT 数据不需要海量,9.1.3 的 LIMA 会给出证据。
9.1.2 SFT 是什么:后训练的第一站
补缺口的方法直接得近乎朴素:模型缺「看到指令就给出合格回答」的行为模式,那就专门造一批这样的样本让它学。监督微调(Supervised Fine-Tuning,SFT)指用人工标注的「指令-回答」数据,在 base model 上继续做监督训练的阶段。每条样本是一对:一侧是指令(一个问题或一项任务要求),另一侧是符合要求的参考回答。
从训练机制上看,SFT 与预训练几乎共用同一副骨架:自回归地逐 token 预测、逐 token 算交叉熵。把一条样本的指令与回答拼接成 token 序列 \(x_1, x_2, \dots, x_T\),训练目标写成:
对照 8.1 节的分界线看,这一步跨得干净利落:目标函数的形式没变,仍是逐 token 交叉熵;变的是数据形态与监督信号——数据从「无标注连续文本」换成「一问一答的指令对」,监督信号从「文本自身的下文」换成「人工标注的参考回答」。跨过这条线,训练的追求从「像语料那样续写」切换为「像参考答案那样应答」,后训练正式开始。
SFT 是后训练三站里的第一站,后续两站都以它的产物为起点:
| 阶段 | 所在章节 | 做什么 | 起点模型 |
|---|---|---|---|
| SFT(监督微调) | 第 9 章(本章) | 学对话格式:按指令作答、结构化、知停止 | base model |
| 偏好对齐(RLHF / DPO 家族) | 第 10 章 | 学偏好:哪个回答更有用、更无害 | SFT 模型 |
| 推理能力训练(RLVR / GRPO) | 第 11 章 | 学长思维链:复杂推理的强化训练 | SFT 模型 |
表里四个缩写是首次出现,先各给一句最小解释,细节留到对应章节:RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)先训一个给回答打分的奖励模型,再用强化学习让模型产出高分回答(第 10 章);DPO(Direct Preference Optimization,直接偏好优化)不训奖励模型,直接用「哪个回答更好」的成对数据调整模型(第 10 章);RLVR(Reinforcement Learning with Verifiable Rewards,可验证奖励的强化学习)奖励来自能自动判对错的标准,比如数学答案核对、代码通过测试,用来练推理(第 11 章);GRPO(Group Relative Policy Optimization,组相对策略优化)是 RLVR 常用的优化算法,对同一问题的一组回答按组内相对好坏定奖惩,省掉额外训练的价值网络(第 11 章)。
术语上还需要留个心眼:这一阶段在文献里有两个常用别名。SFT(监督微调)强调训练方式是有标注的监督学习;指令微调(instruction tuning)强调数据形态是指令数据。两个词在绝大多数语境下指同一件事,本手册也混用;个别论文会做细微区分(例如把指令微调限定在多任务指令数据上的微调,见 9.1.3 的 FLAN),阅读时以各文自己的定义为准即可。
SFT 是后训练的起点与地基:数据是「指令-回答」对,目标是逐 token 交叉熵(指令部分不计损失),产物是 instruct model 的雏形;第 10 章的偏好对齐与第 11 章的推理训练,都从 SFT 模型出发。
9.1.3 指令微调简史与表层对齐假说
指令微调从想法到范式,三个节点勾勒出它的轮廓:FLAN 证明指令微调能教出泛化能力,InstructGPT 把它嵌进对齐流水线并确立「SFT 先行」,LIMA 则用极端少的数据逼问 SFT 到底在学什么。
FLAN:多任务指令微调带来 zero-shot 泛化
2021 年,Wei 等人的 FLAN 把一大批已有 NLP 数据集统一改写成自然语言指令的形式——同一个任务配多套指令模板,混合起来微调模型。微调后的模型面对训练时从未见过的任务类型,只要任务能用指令描述出来,就能 zero-shot(零样本:不给任何示例,直接按指令作答)完成;而且见过的指令任务越多样,未见任务上的表现越好。这个结果表明,指令数据既教固定格式,也教「按指令行事」这一可迁移能力,指令微调自此成为一个独立的研究方向。
InstructGPT:确立「SFT 先行」范式
2022 年,Ouyang 等人的 InstructGPT 把指令微调嵌进一条完整的对齐流水线,分三步走:第一步用约 13k 条人工标注的 prompt 及参考回答,对 base model 做 SFT;第二步让人工对同一 prompt 的多个回答排序,训出奖励模型;第三步用 PPO(Proximal Policy Optimization,近端策略优化:一种限制每步更新幅度、防止训练崩掉的强化学习算法,第 10 章细讲)按奖励模型的打分继续优化模型。三步走完的模型在「有用、诚实、无害」上大幅超过只靠提示词的更大模型。这条「SFT → 奖励模型 → PPO」流水线就是 RLHF 的经典形态,它留下的第一个共识是:无论后面接什么,先用 SFT 把对话格式立住。
LIMA:一千条数据与表层对齐假说
2023 年,Zhou 等人的 LIMA 把 SFT 的数据量压到另一个极端:只用 1000 条精挑细选、风格统一的指令-回答对,微调 65B 的 LLaMA base model,就得到了对话表现相当强的模型。作者据此提出表层对齐假说(Superficial Alignment Hypothesis):模型的知识与能力几乎全在预训练中获得,对齐训练学到的主要是与用户交互的样式——用什么口吻、按什么结构组织、何时收尾。假说与实验互为印证:要学的若只是表层样式,一千条高质量样本就足够示范。
这个假说给 SFT 划了职责边界:SFT 教形式、调风格、立规矩,不负责注入新知识。想让模型掌握某个领域的知识,靠几千条问答硬灌收效差、还容易诱发幻觉;正确的位置是第 8 章的中间训练,用领域语料做继续训练把知识装进底座。SFT 阶段的领域问答只负责教会模型「调用已有知识回答该领域问题」的形式,前提是知识已经在底座里。这条分工在 9.2 节讲数据时还会反复用到。
表层对齐假说是一个有争议但极具解释力的工作假说:LIMA 等实验支持它,也有后续工作表明后训练能做的比它说的多——推理能力的显著提升就离不开第 11 章的专门训练。本手册把它当作理解 SFT 角色的基线视角:先把 SFT 看作样式课,再在后续章节逐一考察它的能力边界。
9.1.4 本章地图
概念就位,本章后续四节按「数据 → 机制 → 方法 → 选型」推进:
- 9.2 SFT 数据:指令-回答对从哪来、质量怎么把关、配比怎么定——数据是 SFT 效果的第一变量;
- 9.3 SFT 训练机制:损失掩码怎么让模型只学回答不学提问,样本怎么拼接与打包;
- 9.4 LoRA:只训练一小撮低秩矩阵就能完成微调,省显存的原理与代价;
- 9.5 PEFT 家族与选型:LoRA 之外还有哪些参数高效微调方法,面对具体任务怎么选。
下一节先解决原料问题:一份合格的 SFT 数据长什么样、从哪里来。
参考来源
- Wei et al., 2021. Finetuned Language Models Are Zero-Shot Learners(FLAN,arXiv:2109.01652):多任务指令微调与未见任务上的 zero-shot 泛化。
- Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):约 13k 条人工标注 prompt 先做 SFT,再接奖励模型与 PPO 的 RLHF 流水线。
- Zhou et al., 2023. LIMA: Less Is More for Alignment(arXiv:2305.11206):1000 条精选数据微调 65B LLaMA,提出表层对齐假说。