10.1 偏好差距:为什么 SFT 之后还要对齐
本页范围:第 10 章第 1 节 | 整理时间:2026-10-08
第 9 章走完,SFT 把 base model 改造成了会按指令作答的 instruct model:对话格式立住了,答完也知道收尾。但「会对话」不等于「对话得好」。同一个问题,模型能给出合格的回答,却分不出几个合格回答里哪个更有用、更可信、更稳妥——训练它的人也从来没给过它这种判断信号:SFT 数据里只有「该怎么答」,没有「哪个答法更好」。本节是第 10 章的开篇,先把这道差距摆清楚,再依次回答两个问题:「好回答」到底指什么,以及对齐的信号从哪里来、训练路线怎么分。
本节沿四个问题展开,路线图如下:
- SFT 的上限:模仿训练缺了什么(10.1.1):模仿范式的三块天花板,以及为什么它们靠加数据补不上;
- 什么是「好回答」:Helpful、Honest、Harmless(10.1.2):对齐领域最常用的一套评价标准,逐条定义配微型例子;
- 从「标答案」到「标偏好」:对齐的信号来源(10.1.3):为什么二选一的偏好标注比手写示范便宜且对准目标,InstructGPT 的真实数据规模做参照;
- 两条对齐路线:RLHF 与直接偏好优化(10.1.4):同一份偏好信号的两种用法,对比表收束并给本章后续三节分工。
读完本节,应该能说清三件事:SFT 的模仿范式缺了什么,HHH 三条标准各管什么,以及 RLHF 与 DPO 为什么都建立在同一份偏好信号上。
图 1 标出偏好对齐在 LLM 生命周期中的位置,图 2 展示偏好信号如何进入后续训练,后续四节分别介绍具体方法。
这个紫框放大之后长什么样?它的输入和输出各是什么?把偏好对齐这一站单独拆开看:
10.1.1 SFT 的上限:模仿训练缺了什么
先回顾 SFT 在做什么。按 9.3 节的公式 (1),它的损失是逐 token 交叉熵:给定指令,让模型生成的每个 token 都逼近标注员手写的参考回答。这套机制教会了模型「像参考答案那样应答」,效果立竿见影。但也正是这套机制,给 SFT 封顶了三块天花板:
短板一 · 学不到「哪个更好」
损失只问「像不像参考答案」。两个回答都合格时,数据里没有任何字段表达谁更好,模型自然学不会分辨。
短板二 · 质量封顶于标注员
参考答案由人手写,标注员写不出的好回答,模型无从模仿。示范数据的最高水平就是模型的天花板。
短板三 · 单一路径浪费
同一问题的合格回答有许多种写法,逼模型逐字模仿其中一条,等于把其余合格写法都当成「错」往下压。
三块天花板用一对类比看得最清楚。SFT 像照着字帖练字:字帖写成什么样,上限就是什么样,而且帖上没有的东西——比如两幅字哪幅更有神韵——临摹永远学不到。对齐更像老师批改:不替学生写字,只在两篇作业上圈点打分、指出哪篇好在哪里。后者传递的是判断,不是范本。
回头对照 9.1 节的表层对齐假说,分工就更清楚了。假说说 SFT 学的主要是交互样式:口吻、结构、何时收尾。样式可以靠模仿学会,判断则需要成对的样本和相对标准。「哪个回答更有用、更可信」是一个比较问题,超出了「指令-回答」示范数据所能携带的信息量。因此需要引入新的监督信号,单靠增加示范无法提供这种比较信息。
SFT 给的是「一份合格答卷的写法」,给不了「两份答卷哪份更好」的判断力。模仿范式的三块天花板——学不到比较、封顶于标注员、压平多样合格解——靠追加示范数据补不上,需要把监督信号从「标准答案」换成「相对偏好」。这就是第 10 章存在的理由。
10.1.2 什么是「好回答」:Helpful、Honest、Harmless
要教模型分辨好坏,先得说清「好」指什么。对齐领域最常用的一套标准来自 Askell 等人 2021 年的论文:一个好助手应当 Helpful(有用)、Honest(诚实)、Harmless(无害),合称 HHH。InstructGPT 直接沿用了这套语言,它至今仍是描述对齐目标最简洁的框架。先把「对齐」这个本章核心术语立住:
指让模型的实际行为符合使用者的意图与人类的价值观:该帮忙时帮上忙(有用),不知道的不编造(诚实),会伤人的不做(无害)。预训练的目标「像语料那样续写」与这个目标天然错位——语料里什么都有,模型照单全收就会好坏兼学。第 9 章的 SFT 对齐了「交互格式」,本章对齐的是「内容偏好」。
HHH 三条各管一个方向,逐条定义配一个微型例子:
Helpful 有用
真正帮用户解决手上的任务,而不是绕开问题或输出一堆正确的废话。例:问「怎么挑西瓜」,回答给出可操作的挑选步骤,而不是背诵西瓜的植物学分类。
Honest 诚实
不编造信息、不误导用户,不知道就承认不知道。例:被问一个查无出处的「名人名言」,老实说明无法核实,而不是煞有介事地编一段出处。
Harmless 无害
不对人或环境造成身体、心理或社会层面的伤害。例:被问「怎么配制危险品」时拒答并说明原因,而不是有问必答。
三条标准不是总能同时满足,它们会打架。最典型的冲突发生在有用与无害之间:用户执意索要有害内容时,顺着用户是「有用」,拒绝才是「无害」。InstructGPT 的做法值得记住:训练阶段优先 helpfulness(对用户的帮助),最终评估阶段则让标注员优先 truthfulness 与 harmlessness——因为后者才是部署时真正在乎的底线。标准之间的优先级怎么排、拒答的边界画在哪,是 10.5 节安全对齐的主题。
HHH 是评价坐标,不是训练信号。它回答了「往哪个方向对齐」,但没回答「用什么数据对齐」——没人能给「有用」写出一条规定格式。把坐标变成可训练的梯度,靠的是下一节的偏好标注。
10.1.3 从「标答案」到「标偏好」:对齐的信号来源
对齐需要的信号是「哪个回答更好」。获取它有两种标法:一种是 SFT 已经用过的「标答案」——标注员现场手写一份满分示范;另一种是「标偏好」——让模型对同一问题生成两个回答,标注员只做一件事:指出哪个更好。后者的门槛低了整整一个量级。
对齐阶段的核心数据形态:同一个 prompt 配两个(或多个)回答,标注员标出更好的那个。更好的记为 chosen(被选中的),较差的记为 rejected(被放弃的)。文献里常写作 \(y_w \succ y_l\):\(y_w\)(winner)是同一提示下胜出的回答,\(y_l\)(loser)是落败的回答,\(\succ\) 读作「优于」。一份偏好数据就是一大批这样的三元组:提示、好回答、差回答。
把两种标法摆在一起对照,差异一目了然:
InstructGPT 的真实数字给这套对照做了背书。它的标注团队约 40 名标注员,经筛选测试选出,通过 Upwork 与 ScaleAI 招募。论文报告了三种数据集:SFT 数据集约 13k 个 prompt,由标注员手写示范回答;RM 数据集 33k 个 prompt,由标注员对模型输出的多个回答做排序;PPO 数据集 31k 个 prompt,不带任何人工标签、直接作为强化学习的输入。排序数据的体量是示范数据的两倍半——同一个标注团队,做判断远比做创作高产。
注意:偏好标注不是无噪声的金标准。InstructGPT 报告训练标注员之间的一致率为 72.6%±1.5%,留出标注员为 77.3%±1.3%——大约每四对判断就有一对存在分歧。论文也承认 40 人的团队无法代表全部用户的价值光谱。偏好数据对齐的是「这群标注员的平均口味」,这一点在 10.5 节讨论安全与偏见时还会回来。
10.1.4 两条对齐路线:RLHF 与直接偏好优化
偏好数据备齐之后,怎么把它变成梯度?历史上先后出现两条路线。经典路线是 RLHF(9.1 节已给过最小定义):先用偏好数据训一个奖励模型——一个吃进 prompt 和回答、吐出标量分数的评分器(10.2 节细讲)——再用 PPO 强化学习驱动 SFT 模型去产出高分回答(10.3 节细讲)。这条路线的成绩单足够硬:InstructGPT 的 1.3B 对齐模型,在人类偏好评估中胜过了 175B 的 GPT-3——参数差着两个数量级,对齐把差距抹平了还多。
简化路线是 DPO 家族(Direct Preference Optimization,直接偏好优化)。DPO 在 2023 年证明:带 KL 约束的 RLHF 目标存在闭式最优解,奖励可以被「策略模型与参考模型的对数概率比」替代——于是不需要单独训奖励模型,也不需要强化学习循环,偏好对直接进一个分类形态的损失函数就能完成对齐,训练稳定、实现轻量。它之后又衍生出 IPO、KTO、SimPO 等变体,家族图谱留到 10.4 节展开。
两条路线的对照如下:
| 维度 | RLHF(训 RM + PPO) | DPO 家族(直接偏好优化) |
|---|---|---|
| 代表工作 | InstructGPT(2022,arXiv:2203.02155);PPO 算法(2017,arXiv:1707.06347) | DPO(2023,arXiv:2305.18290);IPO / KTO / SimPO |
| 监督信号 | 偏好对先蒸馏成奖励模型的分数,分数再当强化学习奖励 | 偏好对直接构成损失函数 |
| 需训练的模型 | 奖励模型 + 策略模型(训练中还有参考模型与价值模型同台,10.3 节细讲) | 只有策略模型(参考模型冻结,不参与训练) |
| 训练方式 | 在线强化学习:模型边生成、边打分、边更新 | 离线监督式训练:一次前向一条损失,与 SFT 同形态 |
| 特点 | 效果上限高;多个模型同台,显存与调参成本高,训练脆 | 便宜、稳定、实现简单;上限受偏好数据质量封顶 |
| 详解章节 | 10.2(奖励模型)、10.3(PPO) | 10.4(DPO 与变体) |
两条路线在 minimind(Apache 2.0)里都有可读的实现:trainer/train_ppo.py 对应 RLHF,trainer/train_dpo.py 对应 DPO。后者有一个细节印证了本节的主线:DPO 的参考模型是把 SFT 权重完整复制一份并冻结(train_dpo.py 第 176–180 行)——无论走哪条路线,起点都是第 9 章交出的那个 SFT 模型。
本章地图:偏好对齐 = 同一份偏好信号 × 两条路线。10.2 节讲偏好数据与奖励模型,把「谁更好」变成可微分的分数;10.3 节走经典路线,PPO 强化学习对齐;10.4 节走简化路线,DPO 家族一步到位的损失;10.5 节收束到安全对齐与工程权衡。
参考来源
- Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):约 40 名标注员;SFT / RM / PPO 数据集分别约 13k / 33k / 31k 个 prompt;标注员一致率 72.6%±1.5%(训练组)与 77.3%±1.3%(留出组);训练期优先 helpfulness、评估期优先 truthfulness 与 harmlessness;1.3B 对齐模型的人类偏好超过 175B GPT-3。以上数字均已对照 arXiv 原文核实。
- Askell et al., 2021. A General Language Assistant as a Laboratory for Alignment(arXiv:2112.00861):Helpful、Honest、Harmless(HHH)标准的出处。
- Schulman et al., 2017. Proximal Policy Optimization Algorithms(PPO,arXiv:1707.06347):RLHF 路线所用的强化学习算法(10.3 节细讲)。
- Rafailov et al., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model(DPO,arXiv:2305.18290):KL 约束下的闭式最优解与分类形态损失(10.4 节细讲)。
- Zhou et al., 2023. LIMA: Less Is More for Alignment(arXiv:2305.11206):表层对齐假说,9.1 节已详述,本节用于划分 SFT 与偏好对齐的职责边界。
- minimind(Apache 2.0),trainer/train_ppo.py、trainer/train_dpo.py:两条对齐路线的实现参照,其中 train_dpo.py 第 176–180 行把 SFT 权重复制并冻结为参考模型。