9.2 SFT 数据:指令对、对话模板与质量哲学
本页范围:第 9 章第 2 节 | 整理时间:2026-10-08
9.1 节给 SFT 定了位:预训练交出来的 base model 会续写、不会对话,SFT 用带标准答案的「指令—回答」样本把它调成助手;表层对齐假说进一步指出,这一阶段教的主要是表达规范,知识与能力早在预训练里备好了。定位清楚了,下一个问题自然落到数据本身:所谓「指令对」到底长什么样,从哪来,备多少才算够?
本节把 SFT 数据从三个角度拆开:先看一条样本的解剖结构,再看它如何被拍平成模型能消化的一维 token 流,接着盘点数据的来源路线,最后回答每个做微调的人早晚要回答的问题——多少条才算够。路线图如下:
- 一条样本的解剖:从三段式到多轮对话(9.2.1):从 instruction / input / output 三段式到 conversations 多轮格式,用 minimind 的真实 schema 与一条具体样本落地;
- 对话模板:把多轮对话拍平成 token 流(9.2.2):模型只认一维序列,角色边界靠模板里的特殊标记表达,训练与推理必须用同一套;
- 数据从哪来:三条路线(9.2.3):人工标注、模型蒸馏、真实对话日志,成本与质量的对照账;
- 质量压倒数量:LIMA 的启示(9.2.4):1000 条精选样本背后的数据质量四维度。
读完本节,一份 SFT 数据集摆在面前时,应该能看清它的格式、来源与成色。
图 1 标出 SFT 数据在 LLM 生命周期中的位置,图 2 展示从原始样本到训练数据的处理流程。
这个紫框放大之后,数据在里面经历什么变形?把一条样本从 JSON 到 token 流的完整旅程单独拆开看:
9.2.1 一条样本的解剖:从三段式到多轮对话
SFT 的每条样本是一个「问—答」对:一边是给模型的输入,一边是期望模型给出的回答。9.1 节说过,这种带标准答案的监督信号正是 SFT 与预训练自监督的分野。要把数据讲清楚,先看最早的格式长什么样。
早期的指令数据集流行三段式结构:instruction(指令,要模型做什么)、input(输入,任务作用的对象,可以为空)、output(输出,期望的回答)。FLAN 系列与 Alpaca 时代的数据集都用这个格式。一条典型样本用 JSON 写出来是这样——JSON 是一种用键值对组织数据的纯文本格式,训练集通常存成 jsonl 文件,每行放一条样本:
{
"instruction": "把下面这句话翻译成英语",
"input": "中国的首都是北京。",
"output": "The capital of China is Beijing."
}
三段式干净直白,「指令」与「输入」分家还有一个实际好处:同一条指令可以配不同的 input 批量产出样本,适合改造传统 NLP 任务——翻译、分类、摘要各有固定指令模板,换个输入就是一条新数据。但它的表达力到单轮问答为止:角色只有隐含的「提问者」与「回答者」两方,多轮对话里「上文说过什么」无处安放。
对话产品兴起后,数据格式升级为多轮结构。今天的 SFT 数据普遍采用 conversations 列表:每条样本是一个消息数组,每条消息带 role(角色)与 content(内容)两个字段;role 取 system、user、assistant 三者之一。system 是放在对话开头的系统提示,用来规定助手的身份与行为边界(第 14 章细讲);user 与 assistant 交替出现,就构成了多轮对话。
这并非纸上约定,直接看一份能跑的实现。minimind(Apache 2.0)的 SFT 数据集就是这个 schema:它的加载代码把每行 jsonl 解析为 conversations 列表,每个元素是含 role 与 content 的字典(文件路径:minimind-master/dataset/lm_dataset.py,第 66 行)。一条两轮样本的完整长相:
{"conversations": [{"role": "user", "content": "中国的首都是哪里?"}, {"role": "assistant", "content": "中国的首都是北京。"}, {"role": "user", "content": "用英语再说一遍。"}, {"role": "assistant", "content": "The capital of China is Beijing."}]}
注意第二轮的价值:用户说「再说一遍」,指代的是上一轮的回答。模型要答对这一轮,必须在训练时见过「回答连着上文」的样本。这正是单轮三段式给不了、多轮格式能给的监督信号。
9.2.2 对话模板:把多轮对话拍平成 token 流
数据结构再漂亮,模型也不直接读 JSON。第 3、4 章讲过,Transformer 的输入只是一维 token ID 序列:里面没有方括号、没有 role 字段。轮到谁说话、一段话从哪开始到哪结束,所有这些结构信息都必须编码进文本本身。负责这件事的格式约定叫对话模板。
模板规定每轮发言前后垫什么标记:角色名写在哪、发言用什么符号收尾、轮与轮之间怎么分隔。同一段对话,不同模板拼出来的文本长得不一样;模型只认自己训练时见过的那套。2.5 节已从特殊 token 的角度见过 ChatML 与 LLaMA-3 两套装法,本节从训练数据的角度把这条流水线走完整。
业界最知名的模板概念是 ChatML(Chat Markup Language,OpenAI 提出的对话标记格式,2.5 节见过它的样子),用一对特殊标记包住每轮发言并标明角色。各家模型并不照搬同一份标记,而是各有变体:特殊标记的名字不同、结构略有差异,「用特殊标记表达角色边界」的思想完全一致。
训练侧的动作是拍平:把 conversations 列表按模板拼成一整段文本,再交给分词器。minimind 的做法是直接调用分词器自带的模板接口 tokenizer.apply_chat_template(minimind(Apache 2.0),minimind-master/dataset/lm_dataset.py,第 84–89 行),由分词器按模型内置模板完成拼接,避免手工拼字符串出错。拍平之后,助手的每段回答以 bos 加「assistant\n」开头、以 eos 加换行收尾(同文件第 68–69 行)——bos 与 eos 是 2.5 节讲过的序列起止标记,在这里被复用为「助手开口」与「助手说完」的边界。
这对边界标记还有第二个用途:划定损失范围。用户的提问只是条件,训练要模型学会的只有一件事——把助手该说的话说对。minimind 的 generate_labels 正是沿着 bos、eos 边界找出每个助手段,只让这段位置参与损失计算,其余位置的标签置为 -100(即忽略)(同文件第 91–107 行)。把 6.1 节的交叉熵目标照搬过来,加上这个开关,就得到 SFT 的损失:
至此,一条样本从 JSON 到 token 流的完整变形就讲完了——本节开头导读之后的图 2,画的正是这条流水线:conversations JSON 经模板拍平成带角色标记的文本,再整段分词成一维 token ID 序列。后面读到任何一步,都可以翻回去对照。
注意:训练模板与推理模板必须严格一致。训练用模板 A 拍平数据,模型学会的是「见到 A 的助手段开头标记就接话,说完就吐 A 的结束标记」;部署时若换成模板 B,模型面对的是没学过的标记组合,认不出自己的角色边界——不知道什么时候该停,甚至把用户的下一轮发言也一并编出来,输出就此跑偏。换分词器版本、换推理框架时最容易在这里栽跟头(2.5 节从特殊 token 角度立过同样的规矩,此处从训练数据角度再强调一次)。
9.2.3 数据从哪来:三条路线
格式与拍平方式定了,接下来的问题是:成千上万条问答从哪来?业界走出三条路线,成本与质量各不相同。
路线一:人工标注。最扎实的办法是请人写。OpenAI 训练 InstructGPT(Ouyang et al. 2022)时,聘请了约 40 名标注员,围绕约 1.3 万条 prompt 亲手撰写示范回答,这批数据构成 SFT 阶段的训练集(InstructGPT 后续还让标注员做偏好排序、训练 RLHF,那是第 10 章的故事)。人工标注的质量上限最高,每条答案都由人撰写、按明确规范审校;代价也最直接:贵,且产量有限。
路线二:模型蒸馏。这里的「蒸馏」指把强模型的输出收集起来,当作弱模型的训练答案(蒸馏在压缩语境下的含义见第 13 章)。Self-Instruct(Wang et al. 2022)开了这条路线:从少量人工种子任务出发,让模型自己生成新指令并补齐回答,自举式滚出 5.2 万条指令数据。Alpaca(Taori et al. 2023,Stanford CRFM)把它推到大众视野:用 OpenAI 的 text-davinci-003 蒸馏出 5.2 万条指令数据微调 LLaMA,官方称 API 成本约 500 美元,数据生产的门槛从此骤降。风险也写在基因里:教师模型的错误与幻觉会原样蒸进学生,粗制滥造的蒸馏数据等于让模型临摹一份带错别字的范本。
路线三:真实对话日志。Vicuna(LMSYS,2023)走了另一条路:从 ShareGPT——一个用户自愿公开自己与 ChatGPT 对话的网站——收集约 7 万轮真实分享对话,微调 LLaMA。这条路线的原料自带多轮结构与真实用户分布,问法五花八门、贴近日常使用;回答同样出自模型、未经逐条人工审校,因此也带着蒸馏路线的噪声特征。
三条主线之外还有一支旁系:多任务混合。FLAN Collection(Chung et al. 2022)把 473 个学术数据集、1836 个 NLP 任务统一改写成指令格式,靠任务覆盖面的广度锤炼模型的指令泛化能力。它的原料来自既有学术数据集,与前三条面向对话场景的路线互补。四条路线的成本与质量对照如下:
| 路线 | 代表工作 | 数据规模 | 成本特征 | 质量特征 |
|---|---|---|---|---|
| 人工标注 | InstructGPT(2022) | 约 1.3 万条 prompt | 约 40 名标注员,最贵 | 上限最高,人写人审 |
| 模型蒸馏 | Self-Instruct、Alpaca(2022–2023) | 各约 5.2 万条 | Alpaca 官方称 API 成本约 500 美元 | 带教师模型的错误与幻觉 |
| 真实对话日志 | Vicuna(2023) | 约 7 万轮 | 收集自公开分享,成本低 | 真实分布、自带多轮,回答未经逐条审校 |
| 多任务混合(旁系) | FLAN Collection(2022) | 473 个数据集、1836 个任务 | 改写既有学术数据集 | 覆盖面最广,多为学术任务改写 |
四条摆在一起看,规律很直白:越靠近人,质量越稳、成本越高;越靠近机器自动生产,量越大、噪声越重。实际项目的数据配方往往是几条路线的混合。这引出一个更尖锐的问题:既然蒸馏能把量做到无限大,量的优势能不能压过质?LIMA 实验给了否定的回答。
9.2.4 质量压倒数量:LIMA 的启示
2023 年的 LIMA(Zhou et al.)做了一个刻意极端的实验:只用 1000 条精挑细选的样本微调 65B 的 LLaMA,不加任何 RLHF,就得到了对话表现相当强的模型。论文标题直接把结论写在脸上:Less Is More for Alignment——对齐这件事,少可以胜多。
LIMA 为什么成立,9.1 节的表层对齐假说已经给了框架:模型的知识与能力几乎全部在预训练中习得,SFT 教的是「以什么身份、什么格式、什么详略把已有能力说出来」。既然学的是表达规范,样本的一致性就比数量值钱——1000 条风格统一、答案可靠的样本,足以把规范刻给模型。
「质量」二字要落到实处,拆开至少有四个维度:
任务多样性
问答、写作、推理、代码、摘要等各类任务都要覆盖,模型才知道「指令」的全集有多大。
答案真实性
事实必须正确。带幻觉的答案教出来的是一本正经地编。
表达规范性
格式、语气、详略在整个数据集中保持一致,模型才能学到稳定的行为风格。
难度分布
简单指令与多步推理都要有。只喂简单题,遇到复杂请求就会露怯。
四个维度摆出来,蒸馏路线的软肋就清楚了:万条级的自动生成数据在任务多样性上或许不差,但真实性与规范性无人把关,教师模型的错误、啰嗦与格式漂移全混在里面。模型对这些噪声照单全收,学到的是「平均水准」的行为——噪声以量取胜,规范就被稀释了。
LIMA 的启示一句话:1000 条精挑细选可能胜过 5 万条粗制滥造。蒸馏噪声会稀释行为规范,SFT 数据的杠杆在质量一侧。
数据备齐之后,还剩训练本身的问题:学多久、学习率怎么配、LoRA 这类参数高效方法怎么省显存。这些留给本章后续小节。
参考来源
- Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):约 40 名标注员、约 1.3 万条 prompt 的 SFT 数据规模的出处。
- Wang et al., 2022. Self-Instruct: Aligning Language Models with Self-Generated Instructions(arXiv:2212.10560):让模型自举生成 5.2 万条指令数据的方法。
- Taori et al., 2023. Stanford Alpaca: An Instruction-Following LLaMA Model(Stanford CRFM 技术报告/博客):用 text-davinci-003 蒸馏 5.2 万条指令数据,官方称 API 成本约 500 美元。
- LMSYS, 2023. Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90% ChatGPT Quality(LMSYS 博客):用 ShareGPT 约 7 万轮用户分享对话微调 LLaMA。
- Chung et al., 2022. Scaling Instruction-Finetuned Language Models(arXiv:2210.11416):FLAN Collection 把 473 个数据集、1836 个任务统一为指令格式。
- Zhou et al., 2023. LIMA: Less Is More for Alignment(arXiv:2305.11206):1000 条精选样本微调 65B LLaMA,提出表层对齐假说。
- minimind(Apache 2.0):minimind-master/dataset/lm_dataset.py——SFT 数据 schema(第 66 行)、apply_chat_template 拍平(第 84–89 行)、助手段 bos/eos 边界(第 68–69 行)、损失范围划定(第 91–107 行)。https://github.com/jingyaogong/minimind