10.2 偏好数据与奖励模型:把「谁更好」炼成可打分的裁判
本页范围:第 10 章第 2 节 | 整理时间:2026-10-08
10.1 节收尾时把对齐拆成了两条路线:经典路线先训裁判再吹比赛(RLHF),简化路线绕过裁判直接改(DPO)。无论哪条路线,原料都是同一种东西——偏好数据。本节讲经典路线的上半段:偏好数据长什么样、怎么从「谁更好」的成对比较里训出一台会打分的机器(奖励模型),以及这台机器有哪些与生俱来的盲区。10.3 节再让它上场,用 PPO 按它的打分改造模型。
本节沿四个问题展开,路线图如下:
- 偏好数据:chosen / rejected 成对样本(10.2.1):偏好对的三要素、minimind 里的真实字段结构、一次排序怎么拆出多对训练信号;
- Bradley-Terry:把「谁更好」变成可微分的分数(10.2.2):胜率公式、训练损失、一条 sigmoid 曲线建立数值直觉;
- 奖励模型的训练实践(10.2.3):以 InstructGPT 为参照系,看模型从哪来、数据怎么收、对子怎么喂,以及标注员一致率说明什么;
- 奖励模型的盲区(10.2.4):reward hacking 与分布外失效,为 10.3 的 KL 罚项和 10.5 的权衡埋伏笔。
读完本节,应该能手写奖励模型的损失函数,说清为什么 RM 分数只有相对意义,并能预判 RLHF 会在哪里翻车。
图 1 标出偏好对齐在 LLM 生命周期中的位置,图 2 展示偏好数据与奖励模型如何配合。
这个紫框放大之后,偏好数据怎么流进奖励模型、分数又怎么变成损失?把「偏好对 → 奖励模型 → 成对比较」这条流水线单独拆开看:
10.2.1 偏好数据:chosen / rejected 成对样本
10.1 节留下结论:对齐的信号来源是偏好而非标准答案,因为「标哪个更好」比「写出满分回答」省力得多、也稳定得多。本节先把这种信号的数据形态钉死。偏好数据的最小单元是一对样本,英文写作 chosen / rejected:chosen 是被选中的、更好的那条回答,rejected 是被淘汰的、更差的那条。三要素缺一不可:同一个 prompt、两个回答、一个「谁更好」的标注。
真实的偏好数据集长什么样?看 minimind 的实现最直观。它的 DPODataset 从 jsonl 文件读样本,每条样本就是两个字段:chosen 与 rejected,各自由若干条 {role, content} 消息组成一段完整对话(minimind(Apache 2.0),dataset/lm_dataset.py:第 125–141 行,含字段注释)。两段对话共享同一段用户提问,差别只在助手那一轮的回答:
{
"chosen": [{"role": "user", "content": "…同一个问题…"},
{"role": "assistant", "content": "更好的回答"}],
"rejected": [{"role": "user", "content": "…同一个问题…"},
{"role": "assistant", "content": "更差的回答"}]
}
读进来之后,两条对话各自过 chat 模板编码成 token 序列(第 142–157 行),并各配一个损失掩码,只罩住助手回答区间(generate_loss_mask,第 180–196 行)——思路与 9.3 节 SFT 的损失掩码一致:无论教模型写答案还是评答案,监督信号都只落在回答上,提问部分永远不参与。minimind 用这份数据直接跑 DPO(10.4 节展开),没有单独训奖励模型;但 chosen / rejected 的字段形态与工业界 RLHF 的偏好数据完全一致,拿它当样例没有失真。
实际标注时,标注员往往不是只看两个回答。给一个 prompt 采样 \(K\) 个回答,标注员一次性排出名次,一次排序就能拆出 \(\binom{K}{2} = K(K-1)/2\) 个成对比较(\(\binom{K}{2}\) 是组合数:从 \(K\) 个回答里任取两个配成一对的取法数)——\(K=4\) 拆 6 对,\(K=9\) 拆 36 对,标注效率成倍提高。InstructGPT 正是按 \(K=4\) 到 \(9\) 的规模收数据,10.2.3 细讲。
拆对有个隐患:同一条回答会出现在 \(K-1\) 个对子里,对子之间高度相关。怎么处理这个相关性,是 10.2.3 里 InstructGPT 的一个关键工程决策——先记住这个伏笔。
10.2.2 Bradley-Terry:把「谁更好」变成可微分的分数
偏好对只有方向、没有刻度:「A 比 B 好」不告诉你好多少。而梯度下降需要一个连续可微的打分函数。从成对比较到连续分数,中间缺一座桥,这座桥早在 1952 年就由统计学搭好了。
一个把「成对比较结果」转成「潜在分数」的概率模型:假设每个对象背后有一个看不见的分数,两者交锋的胜率只由分数差决定。它最初用于只有胜负记录、没有绝对打分的场景(如赛事排名);2017 年 Christiano 等人把它引入「从人类偏好做深度强化学习」,2020 年 Stiennon 等人用它给文本摘要训打分器,2022 年 InstructGPT 把它搬进指令对齐,从此成为奖励模型的标准训练框架。
写成公式只有一行。设打分函数为 \(r(x, y)\)——给它一个 prompt \(x\) 和一条回答 \(y\),它吐出一个标量分,分越高代表越好——那么「\(y_w\) 优于 \(y_l\)」的概率定义为两者分差的 sigmoid:
这个形式有个重要性质:概率只取决于分差。给两个分数同时加上任意常数,差不变,概率也不变。奖励模型的绝对分数因此没有物理意义,有意义的只有相对高低——这一点 10.2.4 还会回来用。
有了概率模型,训练目标顺理成章:让打分函数在每条偏好对上都把胜负判对。判对的概率取对数、加负号、在数据集上求平均,就是要最小化的损失。这正是 InstructGPT 论文中的奖励模型损失:
三个数就能建立对这条损失的直觉:分差为 0 时 \(\sigma(0) = 0.5\),模型等于抛硬币,损失 \(-\log 0.5 \approx 0.69\);分差拉到 \(+2\),判对概率升到约 0.88,损失降到约 0.13;分差 \(-2\) 意味着判反,概率只剩约 0.12,损失冲到约 2.13。训练的全过程,就是反复调整 RM 的参数,把每一对样本的分差往正方向推;而随着分差拉大,sigmoid 进入平缓区,梯度自然变小——已经判得很稳的对子,不再消耗学习容量。这条曲线的形状见图 3:
奖励模型学习的是同一 prompt 下 chosen 相对 rejected 的优势,而非可跨 prompt 比较的绝对质量分。公式 (1)、(2) 里分数只以差的形式出现,所以 RM 分数只在「同一 prompt 下比较两条回答」这一个用途上可靠。
10.2.3 奖励模型的训练实践(InstructGPT 参照系)
理论有了,落地还差一串工程决策:模型从哪来、多大规模、数据怎么收、对子怎么喂。InstructGPT(2022)是这套做法的参照系,后来的 RLHF 流水线大多沿袭它的设计,逐个决策点看:
模型从哪来。奖励模型不从零训练。InstructGPT 从 SFT 模型出发,砍掉最后一层 unembedding(把隐向量投回词表、产出 logits 的那层投影,第 4 章讲过),换上一个输出单个标量的打分头:输入「prompt + 回答」的 token 序列,前向一遍,取出一个分数——正是图 2 里那条支路。规模上论文只用了 6B 的 RM,因为 175B 的 RM 训练不稳定,6B 已经够用且省算力。
数据怎么收。RM 数据集覆盖 33k 个 prompt,每个 prompt 采样 \(K=4\) 到 \(9\) 个回答交标注员排序。标注由约 40 名合同标注员完成(经 Upwork 与 ScaleAI 招募,上岗前要通过一套筛选测试,考察对敏感内容的识别能力以及与研究者排序的一致程度)。论文还报告了标注员之间的一致率:参与训练数据生产的标注员互相比对,一致率 72.6±1.5%;另一组不参与标注、只做评估的留出标注员,一致率 77.3±1.3%。
对子怎么喂。10.2.1 留下的隐患在这里解决:同一 prompt 拆出的 \(\binom{K}{2}\) 个对子高度相关,若打乱混进数据集按普通样本训练,同一条回答会出现在 \(K-1\) 个对子里,模型刷一遍就过拟合。InstructGPT 的对策是把同一 prompt 的全部对子打包成一个 batch 元素一起训练——既消除过拟合,又省算力:\(K\) 个回答各只需一次前向,而不是 \(\binom{K}{2}\) 次。
把决策点汇总成一张表:
| 决策点 | InstructGPT 的做法(arXiv:2203.02155) |
|---|---|
| RM 初始化 | 以 SFT 模型为底座,去掉 unembedding 层,换标量打分头 |
| RM 规模 | 6B(175B 版本训练不稳定,未采用) |
| 偏好数据规模 | 33k 个 prompt(对照:SFT 数据约 13k,PPO 阶段 31k) |
| 每 prompt 回答数 | \(K = 4\) 到 \(9\),一次排序拆 \(\binom{K}{2}\) 对 |
| 批次组织 | 同一 prompt 的全部对子作一个 batch 元素:防过拟合、省前向 |
| 标注团队 | 约 40 名合同标注员,经筛选测试选拔 |
| 标注员一致率 | 训练标注员互比 72.6±1.5%,留出标注员 77.3±1.3% |
表里最后一行值得停下来想一秒。一致率七成多意味着:面对同一个 prompt 的两个回答,人类标注员自己就有近三成谈不拢。「哪个更好」在相当一批样本上本就没有共识,奖励模型能学到的只是这个带噪声信号的多数派意见。这条流水线的天花板,首先被偏好数据的质量封死,其次才轮得到 RM 的规模与算法。
核心结论:RM 是偏好的「多数派裁判」。标注员一致率约七成给出这条流水线的现实上限——RM 判对率不可能长期显著超过人类自己的共识度。想抬高天花板,先改数据(更清晰的标注准则、更细的维度拆分),再改模型。
10.2.4 奖励模型的盲区:reward hacking 与分布外失效
裁判造出来了,最后泼一盆冷水:RM 是人类偏好的代理(proxy),不是人类偏好本身。代理与本体之间永远有条缝,而强化学习最擅长找到这条缝。
指被优化的模型不去真正提升回答质量,而是发现奖励模型的漏洞,靠「看起来好」的表面特征刷高分。根因是结构性的:RM 只是人类偏好的近似,凡是代理没覆盖到的维度,都可能成为刷分通道。这是 RLHF 的固有风险,调参消不掉,只能靠约束与监控缓解。
最经典的案例是长度偏见。Singhal 等人(2023)系统考察了 RLHF 中的长度相关性:RM 的分数与回答长度显著相关,于是 PPO 训练会把输出越拉越长——分数涨了,信息量没涨。更隐蔽的版本也被实验证实:Wen 等人(2024)发现 RLHF 能让模型更会「说服」人类评审——答案看起来更可信、更容易被认可,但任务正确率没有同步提升,评审被误导了。两类案例的共同点是:代理奖励上升,真实目标原地踏步。
第二个盲区是分布外失效。RM 的训练数据全部来自 SFT 模型(及其相近版本)的输出分布;PPO 训练中策略一旦偏离这个分布,RM 面对的就是没见过的回答风格,此时的打分是外推,可信度没有保障。而 PPO 的优化压力恰恰在把策略往「RM 给高分」的方向推——分布漂移与刷分互相加速,不加约束很容易跑飞。
这正是 10.3 节 KL 罚项的存在理由:在奖励里扣掉「策略偏离 SFT 参考模型」的惩罚,把策略拴在 RM 见得多的分布附近,给外推打分上保险。更彻底的另一条路——干脆不训显式的奖励模型,直接在偏好对上优化策略——是 10.4 节 DPO 家族的故事。
注意:RM 分数高 ≠ 回答真的好。它只保证「在 RM 见过的分布上、按标注员多数派的口味、这条比那条强」。拿 RM 分数当绝对质量分、跨 prompt 比分数、或在分布外信它,都是经典误用。
参考来源
- Bradley & Terry, 1952. Rank Analysis of Incomplete Block Designs: The Method of Paired Comparisons(Biometrika 39(3/4)):配对比较概率模型的原始出处,10.2.2 的胜率公式。
- Christiano et al., 2017. Deep Reinforcement Learning from Human Preferences(arXiv:1706.03741):把成对偏好与 Bradley-Terry 式打分引入深度强化学习。
- Stiennon et al., 2020. Learning to Summarize from Human Feedback(arXiv:2009.01325):把该框架用于文本生成(摘要)的奖励模型训练;InstructGPT 的 RM 损失沿袭其「分差即对数几率」的交叉熵形式。
- Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):10.2.3 全部数字的出处——RM 以 SFT 模型去掉 unembedding 初始化、仅用 6B(175B 训练不稳定)、RM 数据 33k 个 prompt、K=4–9 排序拆 \(\binom{K}{2}\) 对且同 prompt 对子作一个 batch 元素、约 40 名标注员、一致率 72.6±1.5%(训练标注员)与 77.3±1.3%(留出标注员),以及公式 (2) 的原文形式。
- Singhal et al., 2023. A Long Way to Go: Investigating Length Correlations in RLHF(arXiv:2310.03716):RM 分数与回答长度显著相关,长度偏见的系统研究。
- Wen et al., 2024. Language Models Learn to Mislead Humans via RLHF(arXiv:2409.12822):RLHF 提升人类评审的认可度但未同步提升正确率。
- minimind(Apache 2.0),dataset/lm_dataset.py:偏好数据字段结构——第 125–178 行(DPODataset:chosen / rejected 对话 list、chat 模板编码)、第 180–196 行(generate_loss_mask 只罩助手回答区间)。