10.4 DPO 家族:绕过奖励模型的直接偏好优化
本页范围:第 10 章第 4 节 | 整理时间:2026-10-08
10.3 节走完了经典路线:训奖励模型打分,再用 PPO 在 KL 罚项的约束下追着高分跑。效果是扎实的,代价也同样扎实——策略、参考、奖励、价值四个模型同时占显存,训练循环里要反复采样,超参稍不合适曲线就抖。2023 年,Rafailov 等人提出 DPO(Direct Preference Optimization,直接偏好优化),指出这套 RL 目标在数学上可以一步到位:不需要显式的奖励模型,也不需要训练中的采样与策略梯度,一个分类损失就能把偏好学进去。本节就把这条捷径讲清楚。
本节沿四步展开,路线图如下:
- 从 RLHF 到 DPO:一条数学捷径(10.4.1):KL 约束下最优策略的闭式解,如何把「奖励」反解成「对数比」,奖励模型由此被消掉。
- DPO 损失逐项拆解:含 minimind 实现对照(10.4.2):损失公式的符号级讲解,与 minimind 代码逐行对上。
- β 与参考模型:DPO 的两个旋钮(10.4.3):β 管「走多远」,参考模型当「锚点」,各自拧错会怎样。
- 家族图谱:IPO / KTO / SimPO(10.4.4):三个后继方法各解决 DPO 留下的哪个痛点。
读完本节,应该能说清两件事:DPO 为什么不需要奖励模型,以及它省掉的环节在什么场合会以别的形式要回来。
图 1 标出偏好对齐在 LLM 生命周期中的位置,图 2 展示 DPO 如何直接使用策略模型与参考模型计算损失。
偏好对齐这个紫框放大之后,DPO 的一次训练前向长什么样?输入和输出各是什么?把它单独拆开看:
10.4.1 从 RLHF 到 DPO:一条数学捷径
先把 10.3 节的 RLHF 目标摆在桌上。给定 prompt \(x\),模型生成回答 \(y\),奖励模型给出分数。优化的目标是让期望奖励尽量高,同时不许策略跑偏太远——用 KL 散度(衡量两个概率分布差异的指标,10.3 节已用它做罚项)拴住参考模型:
DPO 的出发点是一个干净利落的数学事实:对任意固定的奖励函数 \(r\),公式 (1) 这个带 KL 约束的优化问题有闭式最优解,不用迭代采样就能直接写出来:
公式 (3) 是整条捷径的枢纽。它说:奖励可以被改写成「最优策略与参考模型的对数比」,外加一个只跟 \(x\) 有关的 \(\beta\log Z(x)\)。再回想 10.2 节的 Bradley-Terry 模型——偏好概率只取决于两个回答的奖励之差。把公式 (3) 代进奖励差里,\(\beta\log Z(x)\) 在一减之间恰好抵消,剩下的只有策略与参考模型的对数比。奖励模型这个中间环节,就这样被数学消掉了:不需要先训一个打分器再让模型追分,直接让策略在偏好对上学「谁的分差该更大」即可。
指 DPO 里不再显式训练奖励模型,而是用 \(\beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}\) 这个「策略相对参考的对数比」作为奖励。它没有单独的网络、没有额外的参数,是从正在训练的策略自己身上读出来的量。策略往「更爱说好回答」的方向每走一步,这个隐式奖励的分差就自动拉开一点。
落到实践上,这条捷径的收益是实打实的。DPO 论文的实验显示:训练过程不需要从模型采样、不需要大规模调参,就稳定达到甚至超过 PPO 版 RLHF 的水平——在情感控制任务上超过 PPO,在 Reddit TL;DR 摘要与 Anthropic HH 单轮对话上持平或更好,而实现复杂度大幅下降。RLHF 那条「四模型同台、边采样边更新」的重装流水线,被压缩成「两次前向 + 一个分类损失」。
核心结论:DPO 没有换目标,只是换了参数化。KL 约束下的最优策略有闭式解,把奖励反解成策略与参考模型的对数比之后,Bradley-Terry 偏好建模里的配分函数自动抵消,奖励模型与强化学习循环一起被消掉,训练退化为一个分类损失。
10.4.2 DPO 损失逐项拆解:含 minimind 实现对照
把公式 (3) 代进 Bradley-Terry 的偏好损失(10.2 节),就得到 DPO 的训练目标。对每条偏好对 \((x, y_w, y_l)\)——\(y_w\) 是标注员选出的优选回答(chosen),\(y_l\) 是落选的那个(rejected)——损失写成:
逐项读一遍这个损失。中括号里是两个抬升量之差:第一项是策略对优选回答的抬升,第二项是对劣选回答的抬升。损失要求优选的抬升大于劣选,不要求优选概率达到某个绝对值。哪怕两条回答的概率都还不高,只要策略相对参考更偏爱优选,损失就往下走。外层 sigmoid 把这个分差压成 0 到 1 之间的「偏好概率」,配上负对数,形状与 10.2 节奖励模型的训练损失一致,只是分差改由两对策略与参考的对数比计算。
代两组数字找找手感。训练刚起步时策略就是参考的复制,所有对数比都是 0,损失为 \(-\log\sigma(0)=\ln 2\approx 0.693\),这是 DPO 损失的天然起点。训练见效之后,比如优选的抬升量到了 \(+2\)、劣选被压到 \(-2\),取 minimind 的默认 \(\beta=0.15\),分差乘系数得 \(0.15\times(2-(-2))=0.6\),损失降到 \(-\log\sigma(0.6)\approx 0.437\)。损失恒大于零、随分差单调下降,但永远不会到零——这与交叉熵的性质一致。
再对照 minimind 的真实实现逐行过一遍(minimind(Apache 2.0),trainer/train_dpo.py),看公式 (4) 是怎么落地的:
- 取整条回答的对数概率:
logits_to_log_probs(第 25–31 行)先对 logits 做F.log_softmax,再用torch.gather按 label 把每个目标 token 的对数概率挑出来,得到形状为 (batch, seq_len) 的逐 token 对数概率。 - 掩码求和,只算回答区:
dpo_loss开头把对数概率乘上 mask 再按序列维求和(第 36–37 行),每条序列压成一个标量。mask 只罩 assistant 回答区间,由 DPODataset 生成(dataset/lm_dataset.py 第 125–178 行与第 180 行起的generate_loss_mask),思路与 9.3 节 SFT 的损失掩码相同——提问段不进账。 - chosen 与 rejected 对半切分:训练循环里把 chosen 与 rejected 两个 batch 在序列维拼成一个大 batch(第 63–65 行),一次前向算完。
dpo_loss里再按「前半 chosen、后半 rejected」切开(第 41–44 行)。 - 算分差、过 logsigmoid:第 46–48 行,
pi_logratios − ref_logratios正是公式 (4) 中括号里的抬升量之差。第 49 行-F.logsigmoid(beta * logits)一步到位完成 \(-\log\sigma(\beta\cdot\Delta)\)。第 50 行对 batch 取平均。 - 参考模型不参与梯度:参考模型的前向包在
torch.no_grad()里(第 72–74 行),它只出分数、不收梯度。
对照下来可以看到,实现里没有任何强化学习部件:没有采样、没有价值网络、没有优势估计,只有两次前向(策略一次、参考一次)加一个损失。这正是 DPO「 computationally lightweight(计算轻量)」这一主张在代码层面的样子。
DPO 损失与 10.2 节奖励模型的 Bradley-Terry 损失同形,都是 \(-\log\sigma(\text{分差})\)。区别在于分差的来源:奖励模型用单独网络给两个分数相减,DPO 直接用「策略相对参考的抬升量之差」。训练 DPO 时盯着损失从 \(\ln 2\approx 0.693\) 往下走,就是在看模型学会分辨好坏的进度条。
10.4.3 β 与参考模型:DPO 的两个旋钮
DPO 把 RLHF 的四模型装置拆到只剩两个模型,可调的东西也跟着收敛到两处:一个系数 \(\beta\),一个参考模型 \(\pi_{\mathrm{ref}}\)。两个旋钮都管同一件事——允许策略离出发点多远,但拧法不同。
先看 \(\beta\)。回到公式 (2):最优策略等于参考策略乘上 \(\exp(r/\beta)\),\(\beta\) 坐在指数的分母上。\(\beta\) 大,指数函数被压平,再大的奖励差也只能换来温和的概率偏移,策略贴着参考模型走,保守。\(\beta\) 小,指数函数陡峭,一点奖励差就放大成剧烈的概率重排,策略敢跑远,对齐信号吃得透,但也更容易跑飞退化。把 \(\beta\) 想成缰绳长度:缰绳短(\(\beta\) 大)马跑不远,缰绳长(\(\beta\) 小)跑得快但可能脱缰。各家的取值可以互相参照:
| 来源 | β 取值 | 说明 |
|---|---|---|
| DPO 原论文默认 | 0.1 | 情感控制与单轮对话实验的默认值 |
| DPO 原论文摘要任务 | 0.5 | Reddit TL;DR 摘要上改用更大的 β,拴得更紧 |
| minimind 默认 | 0.15 | trainer/train_dpo.py 第 143 行,小模型对齐 |
再看参考模型。它几乎总是同一个答案:把 SFT 模型冻结一份。minimind 的做法是把 full_sft 权重再加载一份,调 eval() 并 requires_grad_(False) 彻底冻结(trainer/train_dpo.py 第 176–180 行)。参考模型的作用是当锚点:没有它,损失只关心抬升量之差,模型完全可以靠把两条回答的概率一起压垮来拉开差距,说着说着就退化出语言空间。有了锚点,「离 SFT 出发点多远」始终可度量,KL 约束才真正存在。
对齐训练时额外加载的一份冻结模型,通常就是 SFT 模型的原样复制。它全程不更新,只负责提供「出发时的行为基准」:KL 罚项(RLHF)或抬升量(DPO)都以它为参照计算。显存上它要多占一份模型大小的空间,这是 DPO 比纯 SFT 贵的主要部分。SimPO 等后续工作正是冲着省掉它去的(10.4.4)。
两个旋钮之外还有一个隐形搭档:学习率。minimind 的 DPO 默认学习率是 4e-8,代码注释直言「建议 ≤5e-8 避免遗忘」(trainer/train_dpo.py 第 128 行)。对照 9.3 节 SFT 的 1e-5,又小了两个多量级。原因一脉相承:DPO 阶段的模型已经会对话,参数里压着预训练与 SFT 两站攒下的全部成果,大步更新最容易把它们冲刷掉——这正是 9.3.3 灾难性遗忘的对策在对齐阶段的延续。
注意:β 与学习率都影响「走多远」,但作用层次不同:β 写在目标函数里,决定「离参考多远开始受罚」。学习率写在优化器里,决定「每步实际迈多大」。两者同向收紧是保守配方,同时放开则是双重激进,最容易把模型训退化。调参时先固定学习率在一个小量级,再按验证集表现调 β。
10.4.4 家族图谱:IPO / KTO / SimPO
DPO 开出了「直接偏好优化」这条路线,后续工作各自盯住它留下的一个痛点打补丁。三个最有代表性的成员如下。
IPO:治 DPO 的过拟合
Azar 等人(Google DeepMind)把 RLHF 与 DPO 统一进一个叫 \(\Psi\)PO 的通用框架,借此看清了 DPO 的软肋:它依赖 Bradley-Terry 假设,认定成对偏好可以折算成分数之差。当偏好数据里某条回答几乎稳赢(偏好确定或接近确定)时,DPO 会把这类样本的分差越推越大,过拟合偏好数据,KL 约束形同虚设。IPO(Identity Preference Optimization)把框架里的映射 \(\Psi\) 直接取为恒等函数,绕开 Bradley-Terry 假设,让 KL 正则重新生效,理论上能防住这类过拟合。
KTO:治成对数据难收集
DPO 与 IPO 都要成对的偏好数据:同一个问题两个回答、标注员二选一。现实中更便宜的是单条的「好/坏」信号——点赞点踩、采纳没采纳。Ethayarajh 等人借 Kahneman 与 Tversky 的前景理论(描述人类对收益与损失不对称感知的决策理论,损失带来的痛感强于等额收益的快慰)设计了 KTO:只需要每条回答带一个二元「可不可取」标签,不需要配对。实验上,1B 到 30B 规模下 KTO 达到甚至超过成对偏好方法,数据收集的门槛由此大幅降低。
SimPO:治参考模型的开销
DPO 与 KTO 都还要加载并维护一份冻结参考模型,显存与算力都多一份。Meng 等人的 SimPO 干脆连参考模型也去掉:隐式奖励改用序列的平均对数概率(除以回答长度,天然做了长度归一化,避免长回答因连乘更多项而吃亏),并在 Bradley-Terry 目标里加一个目标分差 margin,要求优劣势之间的差距至少拉开到指定值。结果是更省资源还更准:AlpacaEval 2 上最多比 DPO 高 6.4 分,Arena-Hard 上最多高 7.5 分。
把四个成员摆在一起对照,选型时看数据形态与资源预算就有章可循:
| 方法 | 要解决的痛点 | 数据形态 | 需要参考模型 | 代表论文 |
|---|---|---|---|---|
| DPO | RLHF 又贵又脆,奖励模型与 RL 循环被数学消掉 | 成对偏好(chosen / rejected) | 需要 | arXiv:2305.18290 |
| IPO | DPO 在偏好(近)确定时过拟合、KL 约束失效 | 成对偏好 | 需要 | arXiv:2310.12036 |
| KTO | 成对数据难收集,只要单条好/坏标签 | 单条二元标签(可取 / 不可取) | 需要 | arXiv:2402.01306 |
| SimPO | 参考模型的显存与算力开销,长度偏差 | 成对偏好 | 不需要 | arXiv:2405.14734 |
四选一没有绝对答案:有成对标注、求稳就上 DPO 或其 IPO 变体。只有点赞点踩式的单条信号就用 KTO。显存紧张或要批量训练就用 SimPO。但它们共享同一个天花板——效果上限由偏好数据的质量封顶,垃圾偏好喂不出好对齐。这个天花板与 RLHF 那条路线的权衡,留到 10.5 节收束全章时一起谈。
参考来源
- Rafailov et al., 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model(DPO 原始论文,arXiv:2305.18290):KL 约束下最优策略的闭式解、隐式奖励重参数化与 DPO 损失。实验部分默认 β=0.1、TL;DR 摘要任务 β=0.5,情感控制上超过 PPO 版 RLHF,摘要与单轮对话持平或更好。本页正文所称「原论文」即此篇。
- Azar et al., 2023. A General Theoretical Paradigm to Understand Learning from Human Preferences(IPO,arXiv:2310.12036):ΨPO 统一框架。指出 DPO 依赖 Bradley-Terry 假设,在偏好确定或接近确定时易过拟合、KL 约束失效。IPO 取 Ψ 为恒等映射绕开该假设。
- Ethayarajh et al., 2024. KTO: Model Alignment as Prospect Theoretic Optimization(arXiv:2402.01306):基于 Kahneman-Tversky 前景理论提出 human-aware loss(HALO)视角。KTO 只需单条二元好/坏标签,1B 到 30B 规模上达到或超过成对偏好方法。
- Meng et al., 2024. SimPO: Simple Preference Optimization with a Reference-Free Reward(arXiv:2405.14734):以序列平均对数概率作隐式奖励、无需参考模型,加目标分差 margin。AlpacaEval 2 最多比 DPO 高 6.4 分,Arena-Hard 最多高 7.5 分。
- minimind(Apache 2.0),trainer/train_dpo.py:第 25–31 行(log_softmax 加 gather 取逐 token 对数概率)、第 34–50 行(dpo_loss:掩码求和、前后半切分、−logsigmoid(β·Δ))、第 63–65 行(chosen 与 rejected 拼接)、第 72–74 行(参考模型 no_grad 前向)、第 126–143 行(默认配方 epoch 1、batch 4、学习率 4e-8 注释「建议 ≤5e-8 避免遗忘」、max_seq_len 1024、β 0.15)、第 176–180 行(参考模型取 full_sft 复制并冻结)。
- minimind(Apache 2.0),dataset/lm_dataset.py:第 125–178 行(DPODataset,chosen/rejected 各为对话列表)与第 180 行起的 generate_loss_mask(损失掩码只罩 assistant 回答区间)。