10.2 偏好数据与奖励模型:把「谁更好」炼成可打分的裁判

本页范围:第 10 章第 2 节 | 整理时间:2026-10-08

快速浏览

核心问题10.1 节说要让模型学「哪个回答更好」,这个偏好信号具体长什么样?谁来把主观的「谁更好」变成训练能用的数字?
本节主张偏好信号的最小单元是 chosen / rejected 成对样本;Bradley-Terry 模型把成对比较转成可微分的分差;据此训出的奖励模型(RM)是 RLHF 流水线的裁判——但裁判只是人类偏好的代理,代理必有盲区。
一句话结论偏好对 + Bradley-Terry + 一个输出标量分的奖励模型,构成 RLHF 的信号源;它的天花板被标注员一致率(约七成)封死,它的漏洞会在 10.3 节逼出 KL 罚项。
关键词
chosen / rejectedBradley-Terry奖励模型sigmoidInstructGPTreward hacking长度偏见

  10.1 节收尾时把对齐拆成了两条路线:经典路线先训裁判再吹比赛(RLHF),简化路线绕过裁判直接改(DPO)。无论哪条路线,原料都是同一种东西——偏好数据。本节讲经典路线的上半段:偏好数据长什么样、怎么从「谁更好」的成对比较里训出一台会打分的机器(奖励模型),以及这台机器有哪些与生俱来的盲区。10.3 节再让它上场,用 PPO 按它的打分改造模型。

  本节沿四个问题展开,路线图如下:

  1. 偏好数据:chosen / rejected 成对样本(10.2.1):偏好对的三要素、minimind 里的真实字段结构、一次排序怎么拆出多对训练信号;
  2. Bradley-Terry:把「谁更好」变成可微分的分数(10.2.2):胜率公式、训练损失、一条 sigmoid 曲线建立数值直觉;
  3. 奖励模型的训练实践(10.2.3):以 InstructGPT 为参照系,看模型从哪来、数据怎么收、对子怎么喂,以及标注员一致率说明什么;
  4. 奖励模型的盲区(10.2.4):reward hacking 与分布外失效,为 10.3 的 KL 罚项和 10.5 的权衡埋伏笔。

  读完本节,应该能手写奖励模型的损失函数,说清为什么 RM 分数只有相对意义,并能预判 RLHF 会在哪里翻车。

  图 1 标出偏好对齐在 LLM 生命周期中的位置,图 2 展示偏好数据与奖励模型如何配合。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (本节内容) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:偏好对齐在 LLM 生命周期中的位置。训练数据(第 1 章)经预训练(第 6 章)、训练工程(第 7 章)与中间训练(第 8 章)交出 base model,SFT(第 9 章)把它调成会对话的 instruct model;本章偏好对齐接在 SFT 之后,任务是教模型分辨回答好坏,随后接推理训练(第 11 章)与推理部署(第 12–13 章)。偏好对齐这一站内部又分两步:先造裁判(本节:偏好数据与奖励模型),再让裁判上场吹比赛(10.3 的 RLHF 与 10.4 的 DPO)。

  这个紫框放大之后,偏好数据怎么流进奖励模型、分数又怎么变成损失?把「偏好对 → 奖励模型 → 成对比较」这条流水线单独拆开看:

原创示意图 · 非论文原图 局部放大:偏好对齐的第一件装备——用偏好对训出会打分的奖励模型 偏好数据对 输入:1 个 prompt + 同一问题的 2 条回答 chosen:标注员判更好 rejected:标注员判更差 K 条排序可拆 C(K,2) 对 K=4 → 6 对;K=9 → 36 对 prompt + chosen 一次完整前向 奖励模型 RM 输出 1 个标量 r_c:标量分 prompt + rejected 再过一遍前向 同一个 RM 权重共享 r_r:标量分 比较:只看分差 Δr = r_c − r_r P(chosen 更好) = σ(Δr) (公式 1) 训练损失 = −log P(chosen 更好) (公式 2) 形状:1 对样本 → 1 个损失值,反向传播只更新 RM 训完冻结:成为 RLHF 的裁判 给 PPO 的每条采样回答打分(10.3 节)
图 2:奖励模型打分流水线的局部放大。输入是偏好数据对(同一 prompt 的 chosen 与 rejected 两条回答;K 条回答的排序可拆成 C(K,2) 对);两条回答分别过同一个 RM 前向,各得一个标量分;比较只看分差,分差经 sigmoid 变成「chosen 更好」的概率,负对数就是训练损失。训完之后 RM 冻结,在 10.3 节给 PPO 当裁判。

10.2.1 偏好数据:chosen / rejected 成对样本

  10.1 节留下结论:对齐的信号来源是偏好而非标准答案,因为「标哪个更好」比「写出满分回答」省力得多、也稳定得多。本节先把这种信号的数据形态钉死。偏好数据的最小单元是一对样本,英文写作 chosen / rejected:chosen 是被选中的、更好的那条回答,rejected 是被淘汰的、更差的那条。三要素缺一不可:同一个 prompt、两个回答、一个「谁更好」的标注。

  真实的偏好数据集长什么样?看 minimind 的实现最直观。它的 DPODataset 从 jsonl 文件读样本,每条样本就是两个字段:chosen 与 rejected,各自由若干条 {role, content} 消息组成一段完整对话(minimind(Apache 2.0),dataset/lm_dataset.py:第 125–141 行,含字段注释)。两段对话共享同一段用户提问,差别只在助手那一轮的回答:

{
  "chosen":   [{"role": "user", "content": "…同一个问题…"},
               {"role": "assistant", "content": "更好的回答"}],
  "rejected": [{"role": "user", "content": "…同一个问题…"},
               {"role": "assistant", "content": "更差的回答"}]
}

  读进来之后,两条对话各自过 chat 模板编码成 token 序列(第 142–157 行),并各配一个损失掩码,只罩住助手回答区间(generate_loss_mask,第 180–196 行)——思路与 9.3 节 SFT 的损失掩码一致:无论教模型写答案还是评答案,监督信号都只落在回答上,提问部分永远不参与。minimind 用这份数据直接跑 DPO(10.4 节展开),没有单独训奖励模型;但 chosen / rejected 的字段形态与工业界 RLHF 的偏好数据完全一致,拿它当样例没有失真。

  实际标注时,标注员往往不是只看两个回答。给一个 prompt 采样 \(K\) 个回答,标注员一次性排出名次,一次排序就能拆出 \(\binom{K}{2} = K(K-1)/2\) 个成对比较(\(\binom{K}{2}\) 是组合数:从 \(K\) 个回答里任取两个配成一对的取法数)——\(K=4\) 拆 6 对,\(K=9\) 拆 36 对,标注效率成倍提高。InstructGPT 正是按 \(K=4\) 到 \(9\) 的规模收数据,10.2.3 细讲。

  拆对有个隐患:同一条回答会出现在 \(K-1\) 个对子里,对子之间高度相关。怎么处理这个相关性,是 10.2.3 里 InstructGPT 的一个关键工程决策——先记住这个伏笔。

10.2.2 Bradley-Terry:把「谁更好」变成可微分的分数

  偏好对只有方向、没有刻度:「A 比 B 好」不告诉你好多少。而梯度下降需要一个连续可微的打分函数。从成对比较到连续分数,中间缺一座桥,这座桥早在 1952 年就由统计学搭好了。

Bradley-Terry 模型 paired comparison model,配对比较模型,1952 年提出

一个把「成对比较结果」转成「潜在分数」的概率模型:假设每个对象背后有一个看不见的分数,两者交锋的胜率只由分数差决定。它最初用于只有胜负记录、没有绝对打分的场景(如赛事排名);2017 年 Christiano 等人把它引入「从人类偏好做深度强化学习」,2020 年 Stiennon 等人用它给文本摘要训打分器,2022 年 InstructGPT 把它搬进指令对齐,从此成为奖励模型的标准训练框架。

就像只看胜负记录给球队排实力榜:没人给球队打过绝对分,但 A 队经常赢 B 队,就推断 A 的实力分比 B 高一截;赢得越稳,分差越大。

  写成公式只有一行。设打分函数为 \(r(x, y)\)——给它一个 prompt \(x\) 和一条回答 \(y\),它吐出一个标量分,分越高代表越好——那么「\(y_w\) 优于 \(y_l\)」的概率定义为两者分差的 sigmoid:

\[ P\big(y_w \succ y_l \,\big|\, x\big) \;=\; \sigma\big(r(x, y_w) - r(x, y_l)\big) \;=\; \frac{\exp\big(r(x, y_w)\big)}{\exp\big(r(x, y_w)\big) + \exp\big(r(x, y_l)\big)} \tag{1} \]
公式 (1):两个回答谁胜出,概率只由分差决定,分差越大越一边倒。符号说明:\(x\) 是 prompt;\(y_w\) 是胜出的回答(winner,即 chosen),\(y_l\) 是落败的回答(loser,即 rejected);\(\succ\) 表示「优于」;\(r(x, y)\) 是打分函数给「prompt + 回答」的标量分;\(\sigma(z) = 1/(1 + e^{-z})\) 是 sigmoid 函数(附录 A.3),把任意分差压进 0 到 1 之间;最右侧的等号说明它与两类 softmax 完全等价——两个分数各自取指数再归一化,胜出的概率就是分子的占比,\(\exp\) 是自然指数。

  这个形式有个重要性质:概率只取决于分差。给两个分数同时加上任意常数,差不变,概率也不变。奖励模型的绝对分数因此没有物理意义,有意义的只有相对高低——这一点 10.2.4 还会回来用。

  有了概率模型,训练目标顺理成章:让打分函数在每条偏好对上都把胜负判对。判对的概率取对数、加负号、在数据集上求平均,就是要最小化的损失。这正是 InstructGPT 论文中的奖励模型损失:

\[ \mathcal{L}_{\mathrm{RM}} = -\frac{1}{\binom{K}{2}}\,\mathbb{E}_{(x,\,y_w,\,y_l) \,\sim\, \mathcal{D}}\Big[\log \sigma\big(r_\theta(x, y_w) - r_\theta(x, y_l)\big)\Big] \tag{2} \]
公式 (2):对每个成对比较,判对概率越大越好;取对数加负号后变成要最小化的损失。符号说明:\(r_\theta\) 是参数为 \(\theta\) 的奖励模型;\(\mathcal{D}\) 是偏好数据集;\(\mathbb{E}\) 表示在数据集上求期望(平均);\(\binom{K}{2}\) 是一个 prompt 的 \(K\) 个回答拆出的对子数,先对每个 prompt 内部的对子取平均,使不同 \(K\) 的 prompt 权重一致(InstructGPT 的做法);\(\log\) 是自然对数,判对概率从 0.5 提到 0.88 时,损失从约 0.69 降到约 0.13。

  三个数就能建立对这条损失的直觉:分差为 0 时 \(\sigma(0) = 0.5\),模型等于抛硬币,损失 \(-\log 0.5 \approx 0.69\);分差拉到 \(+2\),判对概率升到约 0.88,损失降到约 0.13;分差 \(-2\) 意味着判反,概率只剩约 0.12,损失冲到约 2.13。训练的全过程,就是反复调整 RM 的参数,把每一对样本的分差往正方向推;而随着分差拉大,sigmoid 进入平缓区,梯度自然变小——已经判得很稳的对子,不再消耗学习容量。这条曲线的形状见图 3:

原创示意图 · 非论文原图 Bradley-Terry 的打分几何:胜率是分差的 sigmoid P(chosen 更好) 0 0.5 1.0 −6 −4 −2 0 2 4 6 Δr = r(chosen) − r(rejected) 分差 0:P=0.5,损失≈0.69 分差 −2(判反):P≈0.12,损失≈2.13 分差 +2:P≈0.88,损失≈0.13
图 3:判对概率随分差的变化(按公式 (1) 计算绘制)。分差为 0 时模型没有判断力(P=0.5);分差为正且越大,判对概率越逼近 1,损失越小;分差为负说明 RM 把好坏判反了,损失陡增。曲线两端平缓、中间陡,所以梯度集中在「还拿不准」的对子上。

  奖励模型学习的是同一 prompt 下 chosen 相对 rejected 的优势,而非可跨 prompt 比较的绝对质量分。公式 (1)、(2) 里分数只以差的形式出现,所以 RM 分数只在「同一 prompt 下比较两条回答」这一个用途上可靠。

10.2.3 奖励模型的训练实践(InstructGPT 参照系)

  理论有了,落地还差一串工程决策:模型从哪来、多大规模、数据怎么收、对子怎么喂。InstructGPT(2022)是这套做法的参照系,后来的 RLHF 流水线大多沿袭它的设计,逐个决策点看:

  模型从哪来。奖励模型不从零训练。InstructGPT 从 SFT 模型出发,砍掉最后一层 unembedding(把隐向量投回词表、产出 logits 的那层投影,第 4 章讲过),换上一个输出单个标量的打分头:输入「prompt + 回答」的 token 序列,前向一遍,取出一个分数——正是图 2 里那条支路。规模上论文只用了 6B 的 RM,因为 175B 的 RM 训练不稳定,6B 已经够用且省算力。

  数据怎么收。RM 数据集覆盖 33k 个 prompt,每个 prompt 采样 \(K=4\) 到 \(9\) 个回答交标注员排序。标注由约 40 名合同标注员完成(经 Upwork 与 ScaleAI 招募,上岗前要通过一套筛选测试,考察对敏感内容的识别能力以及与研究者排序的一致程度)。论文还报告了标注员之间的一致率:参与训练数据生产的标注员互相比对,一致率 72.6±1.5%;另一组不参与标注、只做评估的留出标注员,一致率 77.3±1.3%。

  对子怎么喂。10.2.1 留下的隐患在这里解决:同一 prompt 拆出的 \(\binom{K}{2}\) 个对子高度相关,若打乱混进数据集按普通样本训练,同一条回答会出现在 \(K-1\) 个对子里,模型刷一遍就过拟合。InstructGPT 的对策是把同一 prompt 的全部对子打包成一个 batch 元素一起训练——既消除过拟合,又省算力:\(K\) 个回答各只需一次前向,而不是 \(\binom{K}{2}\) 次。

  把决策点汇总成一张表:

决策点InstructGPT 的做法(arXiv:2203.02155)
RM 初始化以 SFT 模型为底座,去掉 unembedding 层,换标量打分头
RM 规模6B(175B 版本训练不稳定,未采用)
偏好数据规模33k 个 prompt(对照:SFT 数据约 13k,PPO 阶段 31k)
每 prompt 回答数\(K = 4\) 到 \(9\),一次排序拆 \(\binom{K}{2}\) 对
批次组织同一 prompt 的全部对子作一个 batch 元素:防过拟合、省前向
标注团队约 40 名合同标注员,经筛选测试选拔
标注员一致率训练标注员互比 72.6±1.5%,留出标注员 77.3±1.3%

  表里最后一行值得停下来想一秒。一致率七成多意味着:面对同一个 prompt 的两个回答,人类标注员自己就有近三成谈不拢。「哪个更好」在相当一批样本上本就没有共识,奖励模型能学到的只是这个带噪声信号的多数派意见。这条流水线的天花板,首先被偏好数据的质量封死,其次才轮得到 RM 的规模与算法。

  核心结论:RM 是偏好的「多数派裁判」。标注员一致率约七成给出这条流水线的现实上限——RM 判对率不可能长期显著超过人类自己的共识度。想抬高天花板,先改数据(更清晰的标注准则、更细的维度拆分),再改模型。

10.2.4 奖励模型的盲区:reward hacking 与分布外失效

  裁判造出来了,最后泼一盆冷水:RM 是人类偏好的代理(proxy),不是人类偏好本身。代理与本体之间永远有条缝,而强化学习最擅长找到这条缝。

reward hacking 奖励破解 hack = 钻空子:策略模型钻奖励函数的空子

指被优化的模型不去真正提升回答质量,而是发现奖励模型的漏洞,靠「看起来好」的表面特征刷高分。根因是结构性的:RM 只是人类偏好的近似,凡是代理没覆盖到的维度,都可能成为刷分通道。这是 RLHF 的固有风险,调参消不掉,只能靠约束与监控缓解。

就像按「字数」给作文打分:学生很快学会把文章写长,分数上去了,水平未必。一项指标一旦被当成目标,就不再是好指标——这就是 Goodhart 定律。

  最经典的案例是长度偏见。Singhal 等人(2023)系统考察了 RLHF 中的长度相关性:RM 的分数与回答长度显著相关,于是 PPO 训练会把输出越拉越长——分数涨了,信息量没涨。更隐蔽的版本也被实验证实:Wen 等人(2024)发现 RLHF 能让模型更会「说服」人类评审——答案看起来更可信、更容易被认可,但任务正确率没有同步提升,评审被误导了。两类案例的共同点是:代理奖励上升,真实目标原地踏步。

  第二个盲区是分布外失效。RM 的训练数据全部来自 SFT 模型(及其相近版本)的输出分布;PPO 训练中策略一旦偏离这个分布,RM 面对的就是没见过的回答风格,此时的打分是外推,可信度没有保障。而 PPO 的优化压力恰恰在把策略往「RM 给高分」的方向推——分布漂移与刷分互相加速,不加约束很容易跑飞。

  这正是 10.3 节 KL 罚项的存在理由:在奖励里扣掉「策略偏离 SFT 参考模型」的惩罚,把策略拴在 RM 见得多的分布附近,给外推打分上保险。更彻底的另一条路——干脆不训显式的奖励模型,直接在偏好对上优化策略——是 10.4 节 DPO 家族的故事。

  注意:RM 分数高 ≠ 回答真的好。它只保证「在 RM 见过的分布上、按标注员多数派的口味、这条比那条强」。拿 RM 分数当绝对质量分、跨 prompt 比分数、或在分布外信它,都是经典误用。

🧭本节要点回顾
偏好数据的最小单元是什么?K 个回答的一次排序能拆出多少训练信号?
最小单元是 chosen / rejected 成对样本:同一 prompt、两条回答、一个「谁更好」的标注,minimind 的 DPODataset 就是两个对话 list 字段。K 个回答的一次排序可拆 \(\binom{K}{2}\) 个对子(K=4 拆 6 对,K=9 拆 36 对);InstructGPT 按 K=4 到 9 收数据,并把同一 prompt 的全部对子作一个 batch 元素训练,防止相关对子打乱后一遍过拟合。
Bradley-Terry 怎么把「谁更好」变成可训练的目标?
假设每条回答有潜在分数,胜率只由分差决定:P(chosen 胜) = σ(r_c − r_r),与两类 softmax 等价。训练损失是判对概率的负对数 −log σ(r_c − r_r):分差 0 时损失约 0.69,分差 +2 时降到约 0.13,判反(−2)冲到约 2.13。分数只以差的形式出现,所以 RM 的绝对分数没有意义。
奖励模型有哪些盲区,工程上怎么补救?
两类盲区:reward hacking(策略钻代理漏洞刷分,长度偏见是经典案例,RLHF 还可能让模型更会误导评审而非更正确)与分布外失效(策略漂移后 RM 打分是外推)。补救:10.3 的 KL 罚项把策略拴在参考分布附近;10.4 的 DPO 家族干脆绕开显式 RM。另有一重天花板:标注员一致率约七成,偏好数据质量先于模型规模封顶整条流水线。

参考来源

  • Bradley & Terry, 1952. Rank Analysis of Incomplete Block Designs: The Method of Paired Comparisons(Biometrika 39(3/4)):配对比较概率模型的原始出处,10.2.2 的胜率公式。
  • Christiano et al., 2017. Deep Reinforcement Learning from Human Preferences(arXiv:1706.03741):把成对偏好与 Bradley-Terry 式打分引入深度强化学习。
  • Stiennon et al., 2020. Learning to Summarize from Human Feedback(arXiv:2009.01325):把该框架用于文本生成(摘要)的奖励模型训练;InstructGPT 的 RM 损失沿袭其「分差即对数几率」的交叉熵形式。
  • Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):10.2.3 全部数字的出处——RM 以 SFT 模型去掉 unembedding 初始化、仅用 6B(175B 训练不稳定)、RM 数据 33k 个 prompt、K=4–9 排序拆 \(\binom{K}{2}\) 对且同 prompt 对子作一个 batch 元素、约 40 名标注员、一致率 72.6±1.5%(训练标注员)与 77.3±1.3%(留出标注员),以及公式 (2) 的原文形式。
  • Singhal et al., 2023. A Long Way to Go: Investigating Length Correlations in RLHF(arXiv:2310.03716):RM 分数与回答长度显著相关,长度偏见的系统研究。
  • Wen et al., 2024. Language Models Learn to Mislead Humans via RLHF(arXiv:2409.12822):RLHF 提升人类评审的认可度但未同步提升正确率。
  • minimind(Apache 2.0),dataset/lm_dataset.py:偏好数据字段结构——第 125–178 行(DPODataset:chosen / rejected 对话 list、chat 模板编码)、第 180–196 行(generate_loss_mask 只罩助手回答区间)。