10.3 RLHF:PPO 强化学习对齐
本页范围:第 10 章第 3 节 | 整理时间:2026-10-08
10.2 节交出了偏好对齐的第一块地基:一个能对「同一个问题的两个回答谁更好」打分的奖励模型(RM)。但要清醒:RM 是一把尺子,不是一把刻刀——它能测量回答好坏,本身却改不了策略模型。本节解决的就是「怎么改」:把 RM 的分数接进一套强化学习回路,让 SFT 模型在「拿高分」与「别跑偏」的拉扯中一步步调整参数。这套流程就是 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习),它的经典优化算法是 PPO。
本节按「角色 → 信号 → 算法 → 代价」的顺序展开,路线图如下:
- 四模型同台:策略、参考、奖励、价值(10.3.1):一轮 RLHF 要同时请出哪四个模型,谁被训练、谁被冻结,显存账怎么算;
- 奖励信号设计:RM 分数减 KL 罚项(10.3.2):为什么不能只拿 RM 分数当奖励,KL 罚项怎么给模型拴上缰绳;
- PPO 裁剪目标:小步更新,防止一步跨太远(10.3.3):clip 机制逐符号讲透,配数值小例与裁剪曲线图;
- 工程代价:RLHF 为什么又贵又脆(10.3.4):贵在哪、脆在哪,顺势引出 10.4 节的 DPO。
读完本节,应该能画出 RLHF 的一轮训练循环,说清四个模型各自的角色,并解释 PPO 的 clip 为什么能稳住训练。讲解过程会对照 minimind(Apache 2.0)的 train_ppo.py 真实实现,它把工业界 RLHF 的标准动作完整做了一遍。
图 1 标出 RLHF 在 LLM 生命周期中的位置,图 2 展示策略、参考模型、奖励模型与价值模型之间的训练回路。
这个紫框里的 RLHF 路线放大之后长什么样?四个模型怎么接力,一轮循环里数据如何流动?把 RLHF 的一轮训练单独拆开看:
10.3.1 四模型同台:策略、参考、奖励、价值
SFT 的训练台上只有一个模型,RLHF 的台上要同时站四个。先用一个类比记住它们的分工:把对齐训练想象成训练一名实习生写客服回复——策略模型是实习生本人,真正动笔写回复、也是唯一被改造的;奖励模型是教练,读完回复给一个分数,但不下场改人;参考模型是实习生入职第一天的快照,用来随时比对「你现在离当初那个正常的自己偏了多远」;价值模型是实习生脑子里的自我评估员,写到一半就预估「照这么写下去大概能拿多少分」,有了它才知道每一步写得比预期好还是差。
对照 minimind 的 train_ppo.py,四个模型的初始化方式写得很直白:
| 模型 | 别名 | 初始化 | 是否训练 | 职责 | minimind 出处 |
|---|---|---|---|---|---|
| 策略模型 actor | policy | SFT 权重(full_sft) | 训练,lr 3e-7 | 生成回答,唯一产物 | train_ppo.py:336、379、312 |
| 参考模型 ref | reference | SFT 权重再加载一份 | 冻结(eval + requires_grad_(False)) | KL 罚项的比对基准 | train_ppo.py:380–381 |
| 奖励模型 RM | reward model | 外部奖励模型(默认 internlm2-1_8b-reward) | 冻结 | 给整段回答打标量分 | train_ppo.py:337–338、388 |
| 价值模型 critic | value model | SFT 权重 + 新增 value_head(Linear(768→1)) | 训练,lr 5e-7 | 逐 token 估计局面价值 | train_ppo.py:36–48、313、385–387 |
三个要点值得圈出来。其一,actor 与 ref 是同一份 SFT 权重的两个拷贝:一个要动,一个冻结,ref 的存在就是给 actor 立一根「不许跑远」的桩(10.3.2 展开)。其二,critic 是在 SFT 模型上加了一个输出头长出来的——minimind 的 CriticModel 直接继承 MiniMindForCausalLM,把原来的词表输出头换成一个 768 维到 1 维的线性层,每个 token 位置吐一个标量,表示「截至目前的局面预估总分」(train_ppo.py:36–48)。其三,RM 是外部模型,不参与梯度,只做推理。
强化学习里与环境交互、做动作的模型叫策略(policy),critic 是它的搭档:不看最终结局,而是对中间每一步预估「从这里走下去,预期还能拿多少累计奖励」。这个预估叫价值(value)。有了它,策略每生成一个 token 都能立刻知道「比预期好还是差」,而不必苦等整段回答写完才知道输赢。RLHF 里 critic 通常从 SFT 权重初始化、换掉输出头,再与策略一起被训练。
四模型同台直接解释了 RLHF 的第一笔账:显存。actor 与 critic 各带一份参数、梯度和 AdamW 优化器状态,ref 与 RM 各占一份推理态参数——同台上场的模型参数量大约是单个模型的四倍,其中 actor 和 critic 两份还要按第 7 章的口径乘上训练状态的倍数。预训练时一张卡喂一个模型,RLHF 时一台机器要喂四个,这是它「贵」的最直观来源。第二笔账「生成开销」留到 10.3.4 再算。
RLHF 的四模型台账:actor 生成并唯一对外交付、ref 冻结当锚、RM 冻结当裁判、critic 随行评估局面。四个模型同时驻留显存、两个带训练状态,显存开销数倍于普通微调——这是 RLHF 成本的第一层原因。
10.3.2 奖励信号设计:RM 分数减 KL 罚项
四个模型就位,接下来的问题是:奖励信号本身怎么设计?最省事的做法是直接拿 RM 分数当奖励,模型做什么能拿高分就加强什么。但 10.2 节讲过,RM 只是人类偏好的代理,代理必有漏洞——一旦奖励只由 RM 说了算,策略模型会很快发现漏洞并全力钻营:回答越写越长、堆砌教练爱听的套话、格式浮夸内容空洞,分数节节高升,质量一路下滑。这就是 reward hacking 在训练中的实景。
解决办法是给奖励装上缰绳。InstructGPT 沿用的设计是在每个 token 上从 RM 分数里减去一项「离参考模型有多远」的惩罚:
给定同一个上文,当前策略和参考模型各自给出一个下一个 token 的概率分布,KL 散度度量这两个分布的差异:一模一样时为 0,差得越多值越大,且恒不为负。RLHF 把它用作罚项,含义很朴素——允许为了高分调整行为,但不许说「不像人话」的话。minimind 的实现用了 \(\exp(\Delta) - \Delta - 1\) 这个等价非负形式估计 KL(\(\Delta\) 为两个模型对数概率之差,train_ppo.py:204–205),数值上更稳。
这套奖励在 minimind 里的落法还有两处细节值得看。第一,RM 分数是「整段回答一个分」,而 KL 罚项是逐 token 的,两者粒度不同;minimind 的做法是把外部奖励只加到回答最后一个 token 的位置上(train_ppo.py:136–138),中间 token 的奖励完全来自 KL 项,再由 GAE(10.3.3)把末端的一次性奖励折算回每一步。第二,minimind 作为教学实现,还在 RM 分之外混入了手工规则整形:回答长度在 20 到 800 字符内加 0.5 分、think 段格式合规加分、重复 n-gram 扣分(train_ppo.py:61–67)。这提示一个工程现实:线上 RLHF 的奖励往往也是「RM 分 + 若干规则」的混合体,没有哪家真敢只信 RM。
InstructGPT 还在奖励之外加了一道保险:往 PPO 的梯度里混入预训练梯度,防止模型在公共 NLP 基准上退化,这个变体叫 PPO-ptx。合并后的目标写成:
注意:没有 KL 罚项的 RLHF 等于把训练完全交给一个有漏洞的裁判:策略会顺着 RM 的偏见狂奔,回答变长、变油、变得不像人话。KL 罚项把策略拴在 SFT 模型附近——\(\beta\) 大则保守(高分难拿),\(\beta\) 小则激进(易跑飞),它是 RLHF 最关键的旋钮之一。
10.3.3 PPO 裁剪目标:小步更新,防止一步跨太远
奖励信号有了,还差最后一块:按什么规则更新参数。先把强化学习的术语映射到文本生成上:状态 \(s_t\) 是「prompt 加上已生成的前 \(t-1\) 个 token」,动作 \(a_t\) 是「生成第 \(t\) 个 token」,策略 \(\pi_{\theta}(a_t \mid s_t)\) 就是语言模型本身——给定上文时下一个 token 的概率分布。策略梯度法的直觉很简单:一段回答拿了高奖励,就把它每个 token 的出现概率都往上抬;拿了低奖励就往下压。
问题在于抬多少、压多少。朴素的策略梯度没有刹车:某个回答碰巧拿了高分,模型可能一步把它的概率抬到天上去,连带把参数搅得大乱,下一步采样出的东西面目全非,训练就此发散。PPO(Proximal Policy Optimization,近端策略优化,Schulman et al. 2017)的核心思想就是给每一步更新装上刹车:定义新旧策略在同一个动作上的概率比,再把这个比值的活动范围剪死:
一个数值小例把 clip 讲死。设 \(\varepsilon = 0.2\),某 token 的优势 \(\hat{A}_t = 1\)(好动作,想抬概率)。若更新后概率比涨到 \(r_t = 1.3\),自由版收益是 \(1.3\),但保守版把 \(r_t\) 裁到 \(1.2\),收益只有 \(1.2\);取 min 后按 \(1.2\) 算——超出 20% 的那部分改进不给奖励,梯度在边界处直接归零,模型没有动力继续往这个方向冲。反过来,若 \(\hat{A}_t = -1\)(坏动作,想压概率),概率比跌破 \(0.8\) 之后同样被封顶:min 会选中更「难看」的那个值,把过度的压低也拦在门外。两个方向一对照,就是图 3:
对照 minimind 的实现,公式 (3) 写成了一行等价代码:因为训练框架做的是最小化损失,minimind 把 min 换成对负收益取 max——torch.max(-advantages * ratio, -advantages * clamp(ratio, 1-ε, 1+ε))(train_ppo.py:206–209),数学上与公式 (3) 完全一致。同一批采样数据会被重复利用 2 轮更新(ppo_update_iters 默认 2,第 333 行),这正是 PPO 相对传统策略梯度的卖点:裁剪约束保证了多次小步更新是安全的。minimind 还加了一道更硬的刹车:一旦发现新旧策略的近似 KL 超过 0.25(early_stop_kl,第 334 行),本轮直接停止继续更新(第 198–199 行)。
公式 (3) 里还有一个符号没交代:优势 \(\hat{A}_t\) 从哪来。它回答「这一步比平均水平好多少」,由 critic 的价值估计配合奖励算出,标准算法是 GAE(Generalized Advantage Estimation,广义优势估计):
单看奖励有个麻烦:一段回答拿 7 分算好还是坏?如果这类问题大家都能拿 7 分,那它只是及格;如果别人只能拿 3 分,那它很出色。优势函数就是把奖励减去一个基线(critic 预估的平均水平),回答「超出预期多少」。用优势而不是原始奖励驱动更新,梯度方向更干净:及格的照常对待,超常的加强,失常的压制。GAE 是估计优势的常用算法,critic 正是为提供这个基线而存在。
PPO 的核心就一句话:用 clip 把每步更新限制在旧策略附近的窄带里,换取「同一批数据可以放心更新好几轮」的自由。对比信任域方法 TRPO 的复杂约束求解,PPO 只用一行 min-clip 就拿到了差不多的稳定性——这是它成为 RLHF 标配算法的原因。
10.3.4 工程代价:RLHF 为什么又贵又脆
机制讲完,该算账了。RLHF 的「贵」有两层。第一层是显存:10.3.1 的四模型台账,四个模型同驻、两个带训练状态,占用数倍于普通微调。第二层是时间:每一轮更新前都要真刀真枪地生成回答——自回归采样是逐 token 串行的,minimind 默认每步最多生成 1024 个 token(train_ppo.py:325),温度 0.8(第 93 行),生成完还要过一遍 RM、一遍 ref、一遍 critic 三次前向。相比 SFT「读数据、算损失、反传」的紧凑循环,RLHF 的单步是一条「生成 → 三方打分 → 优势折算 → 多轮小更新」的长流水线,吞吐量自然低得多。
「脆」则体现在超参与细节密度上。SFT 的配方只有学习率、batch、轮数几个旋钮;RLHF 的旋钮多出一整排,且彼此耦合:
| 旋钮 | minimind 默认值 | 拧错会怎样 |
|---|---|---|
| actor / critic 学习率 | 3e-7 / 5e-7 | 大了立刻跑飞或价值估计崩掉,小了原地踏步 |
| KL 惩罚系数 β(kl_coef) | 0.02 | 大了对齐没效果,小了 reward hacking 失控 |
| 裁剪半径 ε(clip_epsilon) | 0.2 | 大了刹车失灵,小了学不动 |
| 价值损失系数(vf_coef) | 0.5 | critic 学不好则优势估计失真,牵连策略 |
| GAE 的 γ / λ | 1.0 / 0.95 | 直接影响优势估计的偏差与方差 |
| KL 早停阈值(early_stop_kl) | 0.25 | 兜底保险丝,阈值不当要么误停要么失控 |
以上默认值均出自 train_ppo.py 第 311–335 行。旋钮多只是一半,另一半是实现细节:新旧策略的对数概率要逐 token 对齐(序列错位一位的老坑,见 9.3 节)、回答段的掩码要精确到 eos、价值与策略各有各的裁剪与早停。任何一处差一个位置,训练曲线不会报错,只是悄悄变差——这类 bug 最难排查。RLHF 训练曲线的抖动也远比 SFT 剧烈:奖励在涨不代表回答真好,可能只是 RM 又被钻了新空子,需要同时盯 reward、KL、clipfrac、回答长度等一整组指标(minimind 的日志就同时打印这六项,train_ppo.py:279–282)。
注释:RLHF 的高成本和不稳定来自其结构。只要路线是「训一个 RM 当裁判、再用在线强化学习追着裁判跑」,四模型同台、在线采样、超参耦合就都躲不掉。要降低成本并提高稳定性,需要换路线,仅调整超参数无法消除这些开销。
于是自然引出一个问题:能不能不训裁判、不跑强化学习循环,直接拿偏好数据调整模型?DPO 给出的回答是可以——在 KL 约束下,最优策略与奖励之间存在一个闭式的数学关系,能把「奖励」反解成「策略与参考模型的对数比」,RM 和 RL 循环被整个短路。10.4 节就讲这条捷径。
参考来源
- Schulman et al., 2017. Proximal Policy Optimization Algorithms(PPO 原始论文,arXiv:1707.06347):裁剪代理目标、同一批数据多轮 minibatch 更新的设计动机;已核对 arXiv 摘要页。本页正文所称「原论文」即此篇。
- Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):「SFT → RM → PPO」流水线、逐 token KL 罚项、PPO-ptx 混入预训练梯度;1.3B 对齐模型人类偏好超过 175B GPT-3 的结论已核对 arXiv 摘要页,公式 (1)(2) 按论文式 (2) 转写。
- minimind(Apache 2.0),trainer/train_ppo.py:四模型初始化(36–48 行 CriticModel、380–381 行 ref 冻结、337–338 与 388 行 RM 加载)、奖励合成(61–67 行规则整形、136–138 行末位加奖励、204–205 行 KL 估计)、GAE 与优势标准化(140–151 行)、PPO 裁剪损失(206–209 行)、KL 早停(198–199 行)、默认超参(311–335 行:lr 3e-7 / 5e-7、clip 0.2、kl_coef 0.02、γ 1.0、λ 0.95、early_stop_kl 0.25、ppo_update_iters 2、prompt 768 / 生成 1024、temperature 0.8 见 88–94 行)。
- Schulman et al., 2015. High-Dimensional Continuous Control Using Generalized Advantage Estimation(GAE 原始论文,arXiv:1506.02438):公式 (4) 的出处,指数加权优势估计(类比 TD(λ))已核对 arXiv 摘要页。