10.3 RLHF:PPO 强化学习对齐

本页范围:第 10 章第 3 节 | 整理时间:2026-10-08

快速浏览

核心问题10.2 节训出的奖励模型会打分了,但打分本身不会改变策略模型的一个参数。怎么把这个分数变成实际的参数更新,让模型产出高分回答,又不让它为了刷分跑飞?
本节主张RLHF 把对齐变成一场强化学习:策略模型生成回答、奖励模型打分、参考模型用 KL 罚项拴住脚步、价值模型估计优势,四个模型同台上演「采样—打分—更新」循环;PPO 的裁剪目标保证每步只走一小步,防止一步跨太远把训练带崩。
一句话结论RLHF = 四个模型 + 一条「RM 分数减 KL 罚项」的奖励 + PPO 裁剪更新;效果上限高,代价是又贵又脆——这正是 10.4 节 DPO 要整个绕开它的原因。
关键词
RLHFPPOclip 裁剪KL 罚项价值模型GAEreward hacking

  10.2 节交出了偏好对齐的第一块地基:一个能对「同一个问题的两个回答谁更好」打分的奖励模型(RM)。但要清醒:RM 是一把尺子,不是一把刻刀——它能测量回答好坏,本身却改不了策略模型。本节解决的就是「怎么改」:把 RM 的分数接进一套强化学习回路,让 SFT 模型在「拿高分」与「别跑偏」的拉扯中一步步调整参数。这套流程就是 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习),它的经典优化算法是 PPO。

  本节按「角色 → 信号 → 算法 → 代价」的顺序展开,路线图如下:

  1. 四模型同台:策略、参考、奖励、价值(10.3.1):一轮 RLHF 要同时请出哪四个模型,谁被训练、谁被冻结,显存账怎么算;
  2. 奖励信号设计:RM 分数减 KL 罚项(10.3.2):为什么不能只拿 RM 分数当奖励,KL 罚项怎么给模型拴上缰绳;
  3. PPO 裁剪目标:小步更新,防止一步跨太远(10.3.3):clip 机制逐符号讲透,配数值小例与裁剪曲线图;
  4. 工程代价:RLHF 为什么又贵又脆(10.3.4):贵在哪、脆在哪,顺势引出 10.4 节的 DPO。

  读完本节,应该能画出 RLHF 的一轮训练循环,说清四个模型各自的角色,并解释 PPO 的 clip 为什么能稳住训练。讲解过程会对照 minimind(Apache 2.0)的 train_ppo.py 真实实现,它把工业界 RLHF 的标准动作完整做了一遍。

  图 1 标出 RLHF 在 LLM 生命周期中的位置,图 2 展示策略、参考模型、奖励模型与价值模型之间的训练回路。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (本节内容) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:本节内容在 LLM 生命周期中的位置。训练数据(第 1 章)经预训练(第 6 章)、训练工程(第 7 章)、中间训练(第 8 章)与 SFT(第 9 章)交出会对话的模型;偏好对齐(本章)是它的下一站,任务从「会对话」升级为「懂好坏」。本节讲这一站的经典路线 RLHF/PPO,10.4 节讲简化路线 DPO,随后接推理训练(第 11 章)与推理部署(第 12–13 章)。

  这个紫框里的 RLHF 路线放大之后长什么样?四个模型怎么接力,一轮循环里数据如何流动?把 RLHF 的一轮训练单独拆开看:

原创示意图 · 非论文原图 局部放大:RLHF 一轮训练循环——四个模型同台,只有 actor 与 critic 的参数被更新(数字为 minimind 默认配置) prompt 批次 [B, ≤ 768 token] 来自 RLAIF 数据集 策略模型 actor(要训练) 从 SFT 权重(full_sft)出发 自回归采样生成回答 temperature 0.8 回答 [B, ≤ 1024 token] 逐 token 生成,耗时大头 奖励模型 RM(冻结) 整段回答 → 一个标量分 minimind 默认调用 internlm2-1_8b-reward 参考模型 ref(冻结) SFT 权重原样复制 逐 token 算 log π_ref KL 罚项的锚点 价值模型 critic(要训练) SFT 权重 + 新增 value_head Linear(768 → 1) 逐 token 估「局势值多少分」 RM 分 KL 罚项(缰绳) 价值 V 逐 token 奖励合成 r = RM 分 − β · KL (β = 0.02) RM 分只加在回答末位 token KL 罚项逐 token 都有 GAE 优势估计 δ = r + γ·V′ − V γ = 1.0,λ = 0.95 再标准化后使用 PPO 裁剪更新(同批数据更新 2 轮) 只动 actor 与 critic,ref 与 RM 全程冻结 产物:对齐后的策略模型 保存为 ppo_actor 权重 更新后的参数回灌 actor(红色回路),进入下一轮采样
图 2:RLHF 一轮训练循环的局部放大(数字均为 minimind 默认配置,见 train_ppo.py)。流程为:prompt 批次(≤ 768 token)交给 actor 自回归采样出回答(≤ 1024 token,temperature 0.8);回答兵分三路——RM 打标量分、冻结的 ref 逐 token 算对数概率用于 KL 罚项、critic 逐 token 估价值;奖励合成后(RM 分加在末位 token,KL 罚项逐 token 施加,β = 0.02)与价值一起算出 GAE 优势(γ = 1.0、λ = 0.95);PPO 按裁剪目标更新 actor 与 critic(同一批数据默认更新 2 轮),新参数回灌 actor 开始下一轮。四个模型里 ref 与 RM 全程只推理不训练。10.3.1 到 10.3.3 会逐块讲清本图的每个环节。

10.3.1 四模型同台:策略、参考、奖励、价值

  SFT 的训练台上只有一个模型,RLHF 的台上要同时站四个。先用一个类比记住它们的分工:把对齐训练想象成训练一名实习生写客服回复——策略模型是实习生本人,真正动笔写回复、也是唯一被改造的;奖励模型是教练,读完回复给一个分数,但不下场改人;参考模型是实习生入职第一天的快照,用来随时比对「你现在离当初那个正常的自己偏了多远」;价值模型是实习生脑子里的自我评估员,写到一半就预估「照这么写下去大概能拿多少分」,有了它才知道每一步写得比预期好还是差。

  对照 minimind 的 train_ppo.py,四个模型的初始化方式写得很直白:

模型别名初始化是否训练职责minimind 出处
策略模型 actorpolicySFT 权重(full_sft)训练,lr 3e-7生成回答,唯一产物train_ppo.py:336、379、312
参考模型 refreferenceSFT 权重再加载一份冻结(eval + requires_grad_(False))KL 罚项的比对基准train_ppo.py:380–381
奖励模型 RMreward model外部奖励模型(默认 internlm2-1_8b-reward)冻结给整段回答打标量分train_ppo.py:337–338、388
价值模型 criticvalue modelSFT 权重 + 新增 value_head(Linear(768→1))训练,lr 5e-7逐 token 估计局面价值train_ppo.py:36–48、313、385–387

  三个要点值得圈出来。其一,actor 与 ref 是同一份 SFT 权重的两个拷贝:一个要动,一个冻结,ref 的存在就是给 actor 立一根「不许跑远」的桩(10.3.2 展开)。其二,critic 是在 SFT 模型上加了一个输出头长出来的——minimind 的 CriticModel 直接继承 MiniMindForCausalLM,把原来的词表输出头换成一个 768 维到 1 维的线性层,每个 token 位置吐一个标量,表示「截至目前的局面预估总分」(train_ppo.py:36–48)。其三,RM 是外部模型,不参与梯度,只做推理。

价值模型 Critic critic = 评论者;对「当前局面」而非「最终答案」打分

强化学习里与环境交互、做动作的模型叫策略(policy),critic 是它的搭档:不看最终结局,而是对中间每一步预估「从这里走下去,预期还能拿多少累计奖励」。这个预估叫价值(value)。有了它,策略每生成一个 token 都能立刻知道「比预期好还是差」,而不必苦等整段回答写完才知道输赢。RLHF 里 critic 通常从 SFT 权重初始化、换掉输出头,再与策略一起被训练。

像下棋时的形势判断:不必等到终局,中盘就能估出「这局面大概赢面七成」。有了这个实时估计,每一步棋的好坏立刻可评。

  四模型同台直接解释了 RLHF 的第一笔账:显存。actor 与 critic 各带一份参数、梯度和 AdamW 优化器状态,ref 与 RM 各占一份推理态参数——同台上场的模型参数量大约是单个模型的四倍,其中 actor 和 critic 两份还要按第 7 章的口径乘上训练状态的倍数。预训练时一张卡喂一个模型,RLHF 时一台机器要喂四个,这是它「贵」的最直观来源。第二笔账「生成开销」留到 10.3.4 再算。

  RLHF 的四模型台账:actor 生成并唯一对外交付、ref 冻结当锚、RM 冻结当裁判、critic 随行评估局面。四个模型同时驻留显存、两个带训练状态,显存开销数倍于普通微调——这是 RLHF 成本的第一层原因。

10.3.2 奖励信号设计:RM 分数减 KL 罚项

  四个模型就位,接下来的问题是:奖励信号本身怎么设计?最省事的做法是直接拿 RM 分数当奖励,模型做什么能拿高分就加强什么。但 10.2 节讲过,RM 只是人类偏好的代理,代理必有漏洞——一旦奖励只由 RM 说了算,策略模型会很快发现漏洞并全力钻营:回答越写越长、堆砌教练爱听的套话、格式浮夸内容空洞,分数节节高升,质量一路下滑。这就是 reward hacking 在训练中的实景。

  解决办法是给奖励装上缰绳。InstructGPT 沿用的设计是在每个 token 上从 RM 分数里减去一项「离参考模型有多远」的惩罚:

\[ r(x, y) = r_{\mathrm{RM}}(x, y) - \beta \log \frac{\pi^{\mathrm{RL}}(y \mid x)}{\pi^{\mathrm{SFT}}(y \mid x)} \tag{1} \]
公式 (1):RLHF 的单条奖励 = 奖励模型的打分 − KL 罚项;后一项度量当前策略与 SFT 模型的偏离程度,偏得越远罚得越狠。符号说明:\(x\) 是 prompt,\(y\) 是模型生成的回答;\(r_{\mathrm{RM}}(x,y)\) 是奖励模型对这对问答的标量打分;\(\pi^{\mathrm{RL}}(y \mid x)\) 是正在训练的 RL 策略生成 \(y\) 的概率;\(\pi^{\mathrm{SFT}}(y \mid x)\) 是冻结的 SFT 模型(即参考模型 ref)对同一个 \(y\) 的概率;两者的对数比是逐 token 计算的 KL 惩罚(InstructGPT 论文明确为 per-token KL penalty);\(\beta\) 是 KL 惩罚系数,控制缰绳的松紧,minimind 默认取 0.02(train_ppo.py:329)。
KL 散度 KL Divergence Kullback–Leibler divergence = 衡量两个概率分布「差多远」的尺子

给定同一个上文,当前策略和参考模型各自给出一个下一个 token 的概率分布,KL 散度度量这两个分布的差异:一模一样时为 0,差得越多值越大,且恒不为负。RLHF 把它用作罚项,含义很朴素——允许为了高分调整行为,但不许说「不像人话」的话。minimind 的实现用了 \(\exp(\Delta) - \Delta - 1\) 这个等价非负形式估计 KL(\(\Delta\) 为两个模型对数概率之差,train_ppo.py:204–205),数值上更稳。

像给实习生定的规矩:可以琢磨怎么让客户更满意,但每句话都得像正常客服说的——一旦开始满嘴黑话套话,立刻扣分。

  这套奖励在 minimind 里的落法还有两处细节值得看。第一,RM 分数是「整段回答一个分」,而 KL 罚项是逐 token 的,两者粒度不同;minimind 的做法是把外部奖励只加到回答最后一个 token 的位置上(train_ppo.py:136–138),中间 token 的奖励完全来自 KL 项,再由 GAE(10.3.3)把末端的一次性奖励折算回每一步。第二,minimind 作为教学实现,还在 RM 分之外混入了手工规则整形:回答长度在 20 到 800 字符内加 0.5 分、think 段格式合规加分、重复 n-gram 扣分(train_ppo.py:61–67)。这提示一个工程现实:线上 RLHF 的奖励往往也是「RM 分 + 若干规则」的混合体,没有哪家真敢只信 RM。

  InstructGPT 还在奖励之外加了一道保险:往 PPO 的梯度里混入预训练梯度,防止模型在公共 NLP 基准上退化,这个变体叫 PPO-ptx。合并后的目标写成:

\[ \mathrm{objective}(\phi) = \mathbb{E}\left[ r_{\mathrm{RM}}(x, y) - \beta \log \frac{\pi^{\mathrm{RL}}_{\phi}(y \mid x)}{\pi^{\mathrm{SFT}}(y \mid x)} \right] + \gamma\, \mathbb{E}_{x \sim D_{\mathrm{pretrain}}}\left[ \log \pi^{\mathrm{RL}}_{\phi}(x) \right] \tag{2} \]
公式 (2):PPO-ptx 的合并目标 = RLHF 奖励项 + 预训练梯度项,后者强迫模型在预训练语料上继续做语言建模,对冲遗忘。符号说明:\(\phi\) 是策略模型的参数;第一项与公式 (1) 相同,期望取自当前策略的采样分布;\(D_{\mathrm{pretrain}}\) 是预训练数据分布;\(\gamma\) 是预训练损失系数,控制「复习旧课」的强度;\(\beta\) 与公式 (1) 同为 KL 惩罚系数。论文报告 PPO-ptx 能消除公共基准上的性能回退,代价是偏好表现略有折损。

  注意:没有 KL 罚项的 RLHF 等于把训练完全交给一个有漏洞的裁判:策略会顺着 RM 的偏见狂奔,回答变长、变油、变得不像人话。KL 罚项把策略拴在 SFT 模型附近——\(\beta\) 大则保守(高分难拿),\(\beta\) 小则激进(易跑飞),它是 RLHF 最关键的旋钮之一。

10.3.3 PPO 裁剪目标:小步更新,防止一步跨太远

  奖励信号有了,还差最后一块:按什么规则更新参数。先把强化学习的术语映射到文本生成上:状态 \(s_t\) 是「prompt 加上已生成的前 \(t-1\) 个 token」,动作 \(a_t\) 是「生成第 \(t\) 个 token」,策略 \(\pi_{\theta}(a_t \mid s_t)\) 就是语言模型本身——给定上文时下一个 token 的概率分布。策略梯度法的直觉很简单:一段回答拿了高奖励,就把它每个 token 的出现概率都往上抬;拿了低奖励就往下压。

  问题在于抬多少、压多少。朴素的策略梯度没有刹车:某个回答碰巧拿了高分,模型可能一步把它的概率抬到天上去,连带把参数搅得大乱,下一步采样出的东西面目全非,训练就此发散。PPO(Proximal Policy Optimization,近端策略优化,Schulman et al. 2017)的核心思想就是给每一步更新装上刹车:定义新旧策略在同一个动作上的概率比,再把这个比值的活动范围剪死:

\[ r_t(\theta) = \frac{\pi_{\theta}(a_t \mid s_t)}{\pi_{\theta_{\mathrm{old}}}(a_t \mid s_t)}, \qquad \mathcal{L}^{\mathrm{CLIP}}(\theta) = \mathbb{E}_t\left[ \min\left( r_t(\theta)\, \hat{A}_t,\; \mathrm{clip}\left( r_t(\theta),\, 1-\varepsilon,\, 1+\varepsilon \right) \hat{A}_t \right) \right] \tag{3} \]
公式 (3):PPO 的裁剪目标——概率比 \(r_t\) 乘上优势得到「自由版」收益,再把 \(r_t\) 裁到 \([1-\varepsilon, 1+\varepsilon]\) 得到「保守版」收益,取两者中较小的那个来优化;无论更新方向好坏,越过裁剪区的额外收益都被没收,梯度在边界处归零,模型自然不敢一步跨太远。符号说明:\(\pi_{\theta}\) 是当前正在更新的策略;\(\pi_{\theta_{\mathrm{old}}}\) 是采样这批数据时的旧策略(更新期间固定不动);\(a_t\) 是第 \(t\) 步生成的 token,\(s_t\) 是它的上文;\(\hat{A}_t\) 是优势估计(下一步动作比平均水平好多少,见公式 (4));\(\mathrm{clip}(v, l, u)\) 把 \(v\) 截断到区间 \([l, u]\);\(\varepsilon\) 是裁剪半径,minimind 默认 0.2(train_ppo.py:327),与 PPO 原论文(Schulman et al., 2017)的常用取值一致。

  一个数值小例把 clip 讲死。设 \(\varepsilon = 0.2\),某 token 的优势 \(\hat{A}_t = 1\)(好动作,想抬概率)。若更新后概率比涨到 \(r_t = 1.3\),自由版收益是 \(1.3\),但保守版把 \(r_t\) 裁到 \(1.2\),收益只有 \(1.2\);取 min 后按 \(1.2\) 算——超出 20% 的那部分改进不给奖励,梯度在边界处直接归零,模型没有动力继续往这个方向冲。反过来,若 \(\hat{A}_t = -1\)(坏动作,想压概率),概率比跌破 \(0.8\) 之后同样被封顶:min 会选中更「难看」的那个值,把过度的压低也拦在门外。两个方向一对照,就是图 3:

原创示意图 · 非论文原图 PPO 裁剪目标的形状(ε = 0.2):紫色实线 = 实际生效的目标,灰色虚线 = 不裁剪的样子 A > 0(好动作,想抬概率) 0.8 1.0 1.2 1.6 ratio = π_new / π_old(浅色带 = 免裁剪区) 目标值 ratio = 1.3 时按 1.2 算: 超出部分不给奖励 A < 0(坏动作,想压概率) 0.8 1.0 1.2 1.6 ratio = π_new / π_old(浅色带 = 免裁剪区) 目标值 ratio 跌破 0.8 后压价封顶: 惩罚不再加深
图 3:PPO 裁剪目标的形状(ε = 0.2,数值小例见正文)。左图优势为正:概率比涨过 1.2 后目标值变成平台,继续抬概率没有额外收益,梯度归零;右图优势为负:概率比跌破 0.8 后目标值封顶,过度压低同样被拦下。灰色虚线是没有裁剪时目标值会沿直线继续延伸的样子——正是那条「不刹车」的路会导致训练发散。两图合起来就是 clip 机制:把每步更新限制在旧策略附近的窄带内。

  对照 minimind 的实现,公式 (3) 写成了一行等价代码:因为训练框架做的是最小化损失,minimind 把 min 换成对负收益取 max——torch.max(-advantages * ratio, -advantages * clamp(ratio, 1-ε, 1+ε))(train_ppo.py:206–209),数学上与公式 (3) 完全一致。同一批采样数据会被重复利用 2 轮更新(ppo_update_iters 默认 2,第 333 行),这正是 PPO 相对传统策略梯度的卖点:裁剪约束保证了多次小步更新是安全的。minimind 还加了一道更硬的刹车:一旦发现新旧策略的近似 KL 超过 0.25(early_stop_kl,第 334 行),本轮直接停止继续更新(第 198–199 行)。

  公式 (3) 里还有一个符号没交代:优势 \(\hat{A}_t\) 从哪来。它回答「这一步比平均水平好多少」,由 critic 的价值估计配合奖励算出,标准算法是 GAE(Generalized Advantage Estimation,广义优势估计):

\[ \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t), \qquad \hat{A}_t = \sum_{l=0}^{\infty} (\gamma \lambda)^l\, \delta_{t+l} \tag{4} \]
公式 (4):GAE 把「一次性兑现的末端奖励」折算成每个 token 的功劳——先算每步的时序差分 \(\delta_t\)(实际拿到的奖励加上「下一站预估值」与「本站预估值」之差),再按指数衰减把未来的 \(\delta\) 累加回当前步。符号说明:\(r_t\) 是第 \(t\) 步的即时奖励(KL 罚项逐 token 都有,RM 分只在末位);\(V(s_t)\) 是 critic 对状态 \(s_t\) 的价值估计;\(\gamma\) 是折扣因子(未来的奖励打几折),\(\lambda\) 是 GAE 的平滑系数(在偏差与方差之间权衡),minimind 取 \(\gamma = 1.0\)、\(\lambda = 0.95\)(train_ppo.py:330–331);实现上用反向递推累加(train_ppo.py:140–147),算完再做标准化(第 149–151 行)。
优势函数 Advantage advantage = 比平均水平好多少;A = Q − V

单看奖励有个麻烦:一段回答拿 7 分算好还是坏?如果这类问题大家都能拿 7 分,那它只是及格;如果别人只能拿 3 分,那它很出色。优势函数就是把奖励减去一个基线(critic 预估的平均水平),回答「超出预期多少」。用优势而不是原始奖励驱动更新,梯度方向更干净:及格的照常对待,超常的加强,失常的压制。GAE 是估计优势的常用算法,critic 正是为提供这个基线而存在。

像绩效评定不看绝对产出,看「超出岗位预期的部分」:预期内的完成不加不扣,超预期的才发奖金。

  PPO 的核心就一句话:用 clip 把每步更新限制在旧策略附近的窄带里,换取「同一批数据可以放心更新好几轮」的自由。对比信任域方法 TRPO 的复杂约束求解,PPO 只用一行 min-clip 就拿到了差不多的稳定性——这是它成为 RLHF 标配算法的原因。

10.3.4 工程代价:RLHF 为什么又贵又脆

  机制讲完,该算账了。RLHF 的「贵」有两层。第一层是显存:10.3.1 的四模型台账,四个模型同驻、两个带训练状态,占用数倍于普通微调。第二层是时间:每一轮更新前都要真刀真枪地生成回答——自回归采样是逐 token 串行的,minimind 默认每步最多生成 1024 个 token(train_ppo.py:325),温度 0.8(第 93 行),生成完还要过一遍 RM、一遍 ref、一遍 critic 三次前向。相比 SFT「读数据、算损失、反传」的紧凑循环,RLHF 的单步是一条「生成 → 三方打分 → 优势折算 → 多轮小更新」的长流水线,吞吐量自然低得多。

  「脆」则体现在超参与细节密度上。SFT 的配方只有学习率、batch、轮数几个旋钮;RLHF 的旋钮多出一整排,且彼此耦合:

旋钮minimind 默认值拧错会怎样
actor / critic 学习率3e-7 / 5e-7大了立刻跑飞或价值估计崩掉,小了原地踏步
KL 惩罚系数 β(kl_coef)0.02大了对齐没效果,小了 reward hacking 失控
裁剪半径 ε(clip_epsilon)0.2大了刹车失灵,小了学不动
价值损失系数(vf_coef)0.5critic 学不好则优势估计失真,牵连策略
GAE 的 γ / λ1.0 / 0.95直接影响优势估计的偏差与方差
KL 早停阈值(early_stop_kl)0.25兜底保险丝,阈值不当要么误停要么失控

  以上默认值均出自 train_ppo.py 第 311–335 行。旋钮多只是一半,另一半是实现细节:新旧策略的对数概率要逐 token 对齐(序列错位一位的老坑,见 9.3 节)、回答段的掩码要精确到 eos、价值与策略各有各的裁剪与早停。任何一处差一个位置,训练曲线不会报错,只是悄悄变差——这类 bug 最难排查。RLHF 训练曲线的抖动也远比 SFT 剧烈:奖励在涨不代表回答真好,可能只是 RM 又被钻了新空子,需要同时盯 reward、KL、clipfrac、回答长度等一整组指标(minimind 的日志就同时打印这六项,train_ppo.py:279–282)。

  注释:RLHF 的高成本和不稳定来自其结构。只要路线是「训一个 RM 当裁判、再用在线强化学习追着裁判跑」,四模型同台、在线采样、超参耦合就都躲不掉。要降低成本并提高稳定性,需要换路线,仅调整超参数无法消除这些开销。

  于是自然引出一个问题:能不能不训裁判、不跑强化学习循环,直接拿偏好数据调整模型?DPO 给出的回答是可以——在 KL 约束下,最优策略与奖励之间存在一个闭式的数学关系,能把「奖励」反解成「策略与参考模型的对数比」,RM 和 RL 循环被整个短路。10.4 节就讲这条捷径。

🧭本节要点回顾
RLHF 为什么要四个模型同台,各自什么角色?
策略模型 actor 生成回答、是唯一被交付的产物;参考模型 ref 冻结 SFT 权重当 KL 罚项的锚;奖励模型 RM 冻结当裁判打标量分;价值模型 critic 逐 token 估局面价值、为优势估计提供基线。actor 与 critic 被训练,ref 与 RM 只推理。四个模型同驻显存,是 RLHF 成本的第一层来源。
为什么不能只拿 RM 分数当奖励?
RM 是人类偏好的代理,代理必有漏洞;只追 RM 分会导致 reward hacking——回答变长变油、语言退化。InstructGPT 的对策是逐 token 减去 β 倍的 KL 罚项,把策略拴在 SFT 模型附近;另有 PPO-ptx 混入预训练梯度防遗忘。minimind 默认 β = 0.02。
PPO 的 clip 是怎么稳住训练的?
定义新旧策略的概率比 ratio,目标取 min(ratio·A, clip(ratio, 1±ε)·A):好动作抬过 1+ε 不给额外奖励,坏动作压过 1−ε 惩罚封顶,越界的梯度归零。由此每步更新被限制在旧策略附近的窄带内,同一批数据可以安全地多轮更新——以一行裁剪换来训练稳定,这正是它成为 RLHF 标配的原因。

参考来源

  • Schulman et al., 2017. Proximal Policy Optimization Algorithms(PPO 原始论文,arXiv:1707.06347):裁剪代理目标、同一批数据多轮 minibatch 更新的设计动机;已核对 arXiv 摘要页。本页正文所称「原论文」即此篇。
  • Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):「SFT → RM → PPO」流水线、逐 token KL 罚项、PPO-ptx 混入预训练梯度;1.3B 对齐模型人类偏好超过 175B GPT-3 的结论已核对 arXiv 摘要页,公式 (1)(2) 按论文式 (2) 转写。
  • minimind(Apache 2.0),trainer/train_ppo.py:四模型初始化(36–48 行 CriticModel、380–381 行 ref 冻结、337–338 与 388 行 RM 加载)、奖励合成(61–67 行规则整形、136–138 行末位加奖励、204–205 行 KL 估计)、GAE 与优势标准化(140–151 行)、PPO 裁剪损失(206–209 行)、KL 早停(198–199 行)、默认超参(311–335 行:lr 3e-7 / 5e-7、clip 0.2、kl_coef 0.02、γ 1.0、λ 0.95、early_stop_kl 0.25、ppo_update_iters 2、prompt 768 / 生成 1024、temperature 0.8 见 88–94 行)。
  • Schulman et al., 2015. High-Dimensional Continuous Control Using Generalized Advantage Estimation(GAE 原始论文,arXiv:1506.02438):公式 (4) 的出处,指数加权优势估计(类比 TD(λ))已核对 arXiv 摘要页。