9.2 SFT 数据:指令对、对话模板与质量哲学

本页范围:第 9 章第 2 节 | 整理时间:2026-10-08

快速浏览

核心问题SFT 号称用「指令对」教模型对话,那这种数据到底长什么样?多轮对话怎么变成模型能消化的一维 token 流?数据从哪来、多少条才算够?
本节主张现代 SFT 数据的载体是带 role 字段的 conversations 列表,经对话模板拍平成带角色标记的文本后再分词训练;来源有人工标注、模型蒸馏、真实对话日志三条路线,成本依次递减、噪声依次递增;决定成败的是质量而非数量。
一句话结论格式靠模板统一,来源按成本与质量取舍,数量服从质量——1000 条精挑细选可以胜过 5 万条粗制滥造。
关键词
指令对conversations对话模板ChatML模型蒸馏LIMA

  9.1 节给 SFT 定了位:预训练交出来的 base model 会续写、不会对话,SFT 用带标准答案的「指令—回答」样本把它调成助手;表层对齐假说进一步指出,这一阶段教的主要是表达规范,知识与能力早在预训练里备好了。定位清楚了,下一个问题自然落到数据本身:所谓「指令对」到底长什么样,从哪来,备多少才算够?

  本节把 SFT 数据从三个角度拆开:先看一条样本的解剖结构,再看它如何被拍平成模型能消化的一维 token 流,接着盘点数据的来源路线,最后回答每个做微调的人早晚要回答的问题——多少条才算够。路线图如下:

  1. 一条样本的解剖:从三段式到多轮对话(9.2.1):从 instruction / input / output 三段式到 conversations 多轮格式,用 minimind 的真实 schema 与一条具体样本落地;
  2. 对话模板:把多轮对话拍平成 token 流(9.2.2):模型只认一维序列,角色边界靠模板里的特殊标记表达,训练与推理必须用同一套;
  3. 数据从哪来:三条路线(9.2.3):人工标注、模型蒸馏、真实对话日志,成本与质量的对照账;
  4. 质量压倒数量:LIMA 的启示(9.2.4):1000 条精选样本背后的数据质量四维度。

  读完本节,一份 SFT 数据集摆在面前时,应该能看清它的格式、来源与成色。

  图 1 标出 SFT 数据在 LLM 生命周期中的位置,图 2 展示从原始样本到训练数据的处理流程。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (本节内容) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:本节内容在 LLM 生命周期中的位置。训练数据(第 1 章)经预训练(第 6 章)、训练工程(第 7 章)与中间训练(第 8 章)交出 base model;SFT(本章)把它调成会对话的助手,随后接偏好对齐(第 10 章)与推理训练(第 11 章),最终进入推理与部署(第 12–13 章)。本节管的是 SFT 这一站的原料:指令对长什么样、怎么拍平成 token 流、从哪来、备多少。

  这个紫框放大之后,数据在里面经历什么变形?把一条样本从 JSON 到 token 流的完整旅程单独拆开看:

原创示意图 · 非论文原图 ① 一条样本:conversations JSON {"conversations": [ {"role": "user", "content": "中国的首都是哪里?"}, {"role": "assistant", "content": "中国的首都是北京。"} ]} jsonl 数据集:一行一条这样的样本 ② 对话模板拍平成文本 <bos>user\n 中国的首都是哪里? <eos>\n <bos>assistant\n 中国的首都是北京。 <eos>\n 琥珀色块为角色边界标记(示意) 拍平动作:tokenizer.apply_chat_template 随后整段一起送入分词器 ③ 分词成 token ID 流 以问句「中国的首都是哪里?」为例 中国 1405 的 296 首 1408 都是 2462 哪 1742 里 852 ? 776 token ID 为 minimind 分词器实测 完整序列还含角色标记的特殊 token 随后送入 Embedding 层(第 3 章)
图 2:SFT 这一站内部的局部放大——一条样本从结构化 JSON 到 token 流的完整变形。左:conversations 格式的一条样本(jsonl 数据集每行一条);中:对话模板把多轮对话拍平成一段带角色标记的文本,琥珀色块为角色边界标记,仅作示意,实际写法由各家模板自行定义;右:整段文本经分词变成 token ID 序列,图中以问句为例给出 minimind 分词器实测的 7 个 token。模型训练时看到的就是最右边这种一维序列;9.2.2 会逐步拆解这条流水线。

9.2.1 一条样本的解剖:从三段式到多轮对话

  SFT 的每条样本是一个「问—答」对:一边是给模型的输入,一边是期望模型给出的回答。9.1 节说过,这种带标准答案的监督信号正是 SFT 与预训练自监督的分野。要把数据讲清楚,先看最早的格式长什么样。

  早期的指令数据集流行三段式结构:instruction(指令,要模型做什么)、input(输入,任务作用的对象,可以为空)、output(输出,期望的回答)。FLAN 系列与 Alpaca 时代的数据集都用这个格式。一条典型样本用 JSON 写出来是这样——JSON 是一种用键值对组织数据的纯文本格式,训练集通常存成 jsonl 文件,每行放一条样本:

{
  "instruction": "把下面这句话翻译成英语",
  "input": "中国的首都是北京。",
  "output": "The capital of China is Beijing."
}

  三段式干净直白,「指令」与「输入」分家还有一个实际好处:同一条指令可以配不同的 input 批量产出样本,适合改造传统 NLP 任务——翻译、分类、摘要各有固定指令模板,换个输入就是一条新数据。但它的表达力到单轮问答为止:角色只有隐含的「提问者」与「回答者」两方,多轮对话里「上文说过什么」无处安放。

  对话产品兴起后,数据格式升级为多轮结构。今天的 SFT 数据普遍采用 conversations 列表:每条样本是一个消息数组,每条消息带 role(角色)与 content(内容)两个字段;role 取 system、user、assistant 三者之一。system 是放在对话开头的系统提示,用来规定助手的身份与行为边界(第 14 章细讲);user 与 assistant 交替出现,就构成了多轮对话。

  这并非纸上约定,直接看一份能跑的实现。minimind(Apache 2.0)的 SFT 数据集就是这个 schema:它的加载代码把每行 jsonl 解析为 conversations 列表,每个元素是含 role 与 content 的字典(文件路径:minimind-master/dataset/lm_dataset.py,第 66 行)。一条两轮样本的完整长相:

{"conversations": [{"role": "user", "content": "中国的首都是哪里?"}, {"role": "assistant", "content": "中国的首都是北京。"}, {"role": "user", "content": "用英语再说一遍。"}, {"role": "assistant", "content": "The capital of China is Beijing."}]}

  注意第二轮的价值:用户说「再说一遍」,指代的是上一轮的回答。模型要答对这一轮,必须在训练时见过「回答连着上文」的样本。这正是单轮三段式给不了、多轮格式能给的监督信号。

9.2.2 对话模板:把多轮对话拍平成 token 流

  数据结构再漂亮,模型也不直接读 JSON。第 3、4 章讲过,Transformer 的输入只是一维 token ID 序列:里面没有方括号、没有 role 字段。轮到谁说话、一段话从哪开始到哪结束,所有这些结构信息都必须编码进文本本身。负责这件事的格式约定叫对话模板。

对话模板 Chat Template chat template = 把多轮对话拼成一段文本的固定格式约定

模板规定每轮发言前后垫什么标记:角色名写在哪、发言用什么符号收尾、轮与轮之间怎么分隔。同一段对话,不同模板拼出来的文本长得不一样;模型只认自己训练时见过的那套。2.5 节已从特殊 token 的角度见过 ChatML 与 LLaMA-3 两套装法,本节从训练数据的角度把这条流水线走完整。

就像剧本:「张三:」「李四:」的角色前缀让读者一眼看出谁在说话。对话模板就是写给模型看的剧本格式,模型在训练时把这套格式和「角色」「轮次」「该谁接话」绑定在一起。

  业界最知名的模板概念是 ChatML(Chat Markup Language,OpenAI 提出的对话标记格式,2.5 节见过它的样子),用一对特殊标记包住每轮发言并标明角色。各家模型并不照搬同一份标记,而是各有变体:特殊标记的名字不同、结构略有差异,「用特殊标记表达角色边界」的思想完全一致。

  训练侧的动作是拍平:把 conversations 列表按模板拼成一整段文本,再交给分词器。minimind 的做法是直接调用分词器自带的模板接口 tokenizer.apply_chat_template(minimind(Apache 2.0),minimind-master/dataset/lm_dataset.py,第 84–89 行),由分词器按模型内置模板完成拼接,避免手工拼字符串出错。拍平之后,助手的每段回答以 bos 加「assistant\n」开头、以 eos 加换行收尾(同文件第 68–69 行)——bos 与 eos 是 2.5 节讲过的序列起止标记,在这里被复用为「助手开口」与「助手说完」的边界。

  这对边界标记还有第二个用途:划定损失范围。用户的提问只是条件,训练要模型学会的只有一件事——把助手该说的话说对。minimind 的 generate_labels 正是沿着 bos、eos 边界找出每个助手段,只让这段位置参与损失计算,其余位置的标签置为 -100(即忽略)(同文件第 91–107 行)。把 6.1 节的交叉熵目标照搬过来,加上这个开关,就得到 SFT 的损失:

\[ \mathcal{L}_{\mathrm{SFT}} = -\sum_{t=1}^{T} m_t \log P_\theta\big(x_t \mid x_{<t}\big), \qquad m_t = \begin{cases} 1, & t \in \text{助手回答段} \\ 0, & \text{其余位置} \end{cases} \tag{1} \]
公式 (1):SFT 的损失就是加了开关的交叉熵——只有落在助手回答段的 token 才计入损失,用户提问与角色标记位置的损失被 \(m_t\) 关掉。符号说明:\(\mathcal{L}_{\mathrm{SFT}}\) 是 SFT 损失;\(T\) 是拍平后整条序列的长度;\(P_\theta(x_t \mid x_{<t})\) 是参数为 \(\theta\) 的模型在看到前 \(t-1\) 个 token 后给第 \(t\) 个 token 的概率(与 6.1 节公式 (2) 的记号一致);\(m_t\) 是取值 0 或 1 的掩码,\(t \in \text{助手回答段}\) 表示第 \(t\) 个 token 落在某段助手回答之内。

  至此,一条样本从 JSON 到 token 流的完整变形就讲完了——本节开头导读之后的图 2,画的正是这条流水线:conversations JSON 经模板拍平成带角色标记的文本,再整段分词成一维 token ID 序列。后面读到任何一步,都可以翻回去对照。

  注意:训练模板与推理模板必须严格一致。训练用模板 A 拍平数据,模型学会的是「见到 A 的助手段开头标记就接话,说完就吐 A 的结束标记」;部署时若换成模板 B,模型面对的是没学过的标记组合,认不出自己的角色边界——不知道什么时候该停,甚至把用户的下一轮发言也一并编出来,输出就此跑偏。换分词器版本、换推理框架时最容易在这里栽跟头(2.5 节从特殊 token 角度立过同样的规矩,此处从训练数据角度再强调一次)。

9.2.3 数据从哪来:三条路线

  格式与拍平方式定了,接下来的问题是:成千上万条问答从哪来?业界走出三条路线,成本与质量各不相同。

  路线一:人工标注。最扎实的办法是请人写。OpenAI 训练 InstructGPT(Ouyang et al. 2022)时,聘请了约 40 名标注员,围绕约 1.3 万条 prompt 亲手撰写示范回答,这批数据构成 SFT 阶段的训练集(InstructGPT 后续还让标注员做偏好排序、训练 RLHF,那是第 10 章的故事)。人工标注的质量上限最高,每条答案都由人撰写、按明确规范审校;代价也最直接:贵,且产量有限。

  路线二:模型蒸馏。这里的「蒸馏」指把强模型的输出收集起来,当作弱模型的训练答案(蒸馏在压缩语境下的含义见第 13 章)。Self-Instruct(Wang et al. 2022)开了这条路线:从少量人工种子任务出发,让模型自己生成新指令并补齐回答,自举式滚出 5.2 万条指令数据。Alpaca(Taori et al. 2023,Stanford CRFM)把它推到大众视野:用 OpenAI 的 text-davinci-003 蒸馏出 5.2 万条指令数据微调 LLaMA,官方称 API 成本约 500 美元,数据生产的门槛从此骤降。风险也写在基因里:教师模型的错误与幻觉会原样蒸进学生,粗制滥造的蒸馏数据等于让模型临摹一份带错别字的范本。

  路线三:真实对话日志。Vicuna(LMSYS,2023)走了另一条路:从 ShareGPT——一个用户自愿公开自己与 ChatGPT 对话的网站——收集约 7 万轮真实分享对话,微调 LLaMA。这条路线的原料自带多轮结构与真实用户分布,问法五花八门、贴近日常使用;回答同样出自模型、未经逐条人工审校,因此也带着蒸馏路线的噪声特征。

  三条主线之外还有一支旁系:多任务混合。FLAN Collection(Chung et al. 2022)把 473 个学术数据集、1836 个 NLP 任务统一改写成指令格式,靠任务覆盖面的广度锤炼模型的指令泛化能力。它的原料来自既有学术数据集,与前三条面向对话场景的路线互补。四条路线的成本与质量对照如下:

路线代表工作数据规模成本特征质量特征
人工标注InstructGPT(2022)约 1.3 万条 prompt约 40 名标注员,最贵上限最高,人写人审
模型蒸馏Self-Instruct、Alpaca(2022–2023)各约 5.2 万条Alpaca 官方称 API 成本约 500 美元带教师模型的错误与幻觉
真实对话日志Vicuna(2023)约 7 万轮收集自公开分享,成本低真实分布、自带多轮,回答未经逐条审校
多任务混合(旁系)FLAN Collection(2022)473 个数据集、1836 个任务改写既有学术数据集覆盖面最广,多为学术任务改写

  四条摆在一起看,规律很直白:越靠近人,质量越稳、成本越高;越靠近机器自动生产,量越大、噪声越重。实际项目的数据配方往往是几条路线的混合。这引出一个更尖锐的问题:既然蒸馏能把量做到无限大,量的优势能不能压过质?LIMA 实验给了否定的回答。

9.2.4 质量压倒数量:LIMA 的启示

  2023 年的 LIMA(Zhou et al.)做了一个刻意极端的实验:只用 1000 条精挑细选的样本微调 65B 的 LLaMA,不加任何 RLHF,就得到了对话表现相当强的模型。论文标题直接把结论写在脸上:Less Is More for Alignment——对齐这件事,少可以胜多。

  LIMA 为什么成立,9.1 节的表层对齐假说已经给了框架:模型的知识与能力几乎全部在预训练中习得,SFT 教的是「以什么身份、什么格式、什么详略把已有能力说出来」。既然学的是表达规范,样本的一致性就比数量值钱——1000 条风格统一、答案可靠的样本,足以把规范刻给模型。

  「质量」二字要落到实处,拆开至少有四个维度:

任务多样性

问答、写作、推理、代码、摘要等各类任务都要覆盖,模型才知道「指令」的全集有多大。

答案真实性

事实必须正确。带幻觉的答案教出来的是一本正经地编。

表达规范性

格式、语气、详略在整个数据集中保持一致,模型才能学到稳定的行为风格。

难度分布

简单指令与多步推理都要有。只喂简单题,遇到复杂请求就会露怯。

  四个维度摆出来,蒸馏路线的软肋就清楚了:万条级的自动生成数据在任务多样性上或许不差,但真实性与规范性无人把关,教师模型的错误、啰嗦与格式漂移全混在里面。模型对这些噪声照单全收,学到的是「平均水准」的行为——噪声以量取胜,规范就被稀释了。

  LIMA 的启示一句话:1000 条精挑细选可能胜过 5 万条粗制滥造。蒸馏噪声会稀释行为规范,SFT 数据的杠杆在质量一侧。

  数据备齐之后,还剩训练本身的问题:学多久、学习率怎么配、LoRA 这类参数高效方法怎么省显存。这些留给本章后续小节。

🧭本节要点回顾
三段式与 conversations 两种 SFT 样本格式的差别在哪?
三段式把样本拆成 instruction / input / output 三个字段,只能表达单轮问答;conversations 用带 role 的消息列表,system 定身份、user 与 assistant 交替成多轮,「指代上文」这类监督信号才能进训练。minimind 的 SFT 数据用的就是 conversations schema。
为什么训练模板与推理模板必须一致?
模型看到的只是拍平后的一维 token 流,角色边界完全由模板里的特殊标记定义。训练见过模板 A、推理却用模板 B,等于对模型说一门没学过的方言:它认不出助手段的起点与终点,不知道该在哪停,输出就会跑偏。
LIMA 用 1000 条数据微调出强对话模型,说明了什么?
呼应表层对齐假说:知识与能力在预训练里已备好,SFT 教的是表达规范。规范靠一致性刻入,不靠数量堆叠;蒸馏数据量大却带着教师模型的错误与幻觉,噪声一多,行为规范就被稀释。

参考来源

  • Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):约 40 名标注员、约 1.3 万条 prompt 的 SFT 数据规模的出处。
  • Wang et al., 2022. Self-Instruct: Aligning Language Models with Self-Generated Instructions(arXiv:2212.10560):让模型自举生成 5.2 万条指令数据的方法。
  • Taori et al., 2023. Stanford Alpaca: An Instruction-Following LLaMA Model(Stanford CRFM 技术报告/博客):用 text-davinci-003 蒸馏 5.2 万条指令数据,官方称 API 成本约 500 美元。
  • LMSYS, 2023. Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90% ChatGPT Quality(LMSYS 博客):用 ShareGPT 约 7 万轮用户分享对话微调 LLaMA。
  • Chung et al., 2022. Scaling Instruction-Finetuned Language Models(arXiv:2210.11416):FLAN Collection 把 473 个数据集、1836 个任务统一为指令格式。
  • Zhou et al., 2023. LIMA: Less Is More for Alignment(arXiv:2305.11206):1000 条精选样本微调 65B LLaMA,提出表层对齐假说。
  • minimind(Apache 2.0):minimind-master/dataset/lm_dataset.py——SFT 数据 schema(第 66 行)、apply_chat_template 拍平(第 84–89 行)、助手段 bos/eos 边界(第 68–69 行)、损失范围划定(第 91–107 行)。https://github.com/jingyaogong/minimind