11.3 GRPO:扔掉价值模型的组相对优化

本页范围:第 11 章第 3 节 | 整理时间:2026-10-08

快速浏览

核心问题10.3 节的 PPO 靠价值模型(critic)估计「每一步比预期好多少」,但 critic 与策略模型一样大、要陪训、占显存;推理任务整段答完才有一个奖励分,critic 更难训准。能不能不要 critic,也算出优势?
本节主张可以。GRPO 对同一道题连采一组回答,用组内平均奖励当基线、组标准差做归一:优势 =(自己的分 − 组平均)÷ 组标准差。critic 连同 GAE 一起删掉,PPO 的 clip 刹车原样保留,KL 缰绳则从奖励里挪进损失。
一句话结论GRPO = PPO 的刹车与缰绳 + 组内互比的基线 − 价值模型;它由 DeepSeekMath 提出,DeepSeek-R1 靠它把推理训练跑到了大规模。
关键词
GRPO组相对优势基线价值模型clipKL 进损失k3 估计DeepSeekMathDeepSeek-R1

  11.2 节搭好了 RLVR 的训练回路:同一道题让模型连答多条,规则逐条打分。接下来需要确定如何根据这一组分数更新参数。GRPO(Group Relative Policy Optimization,组相对策略优化)是 PPO 的变体,保留 PPO 的裁剪机制,但不再训练价值模型,改用同一组回答的平均分作为基线。

  本节按「痛点 → 基线 → 目标 → 实现」的顺序展开,路线图如下:

  1. PPO 的痛点:价值模型难训又占显存(11.3.1):呼应 10.3 节的四模型台账,说清 critic 为什么是最先被开刀的那个;
  2. 组内相对优势:同一题的多条回答互为标尺(11.3.2):组平均当基线的直觉与公式,配一个 3 条回答的数值小例;
  3. 目标函数逐项拆解:clip、KL 罚项、长度归一(11.3.3):GRPO 完整目标逐项读,KL 从奖励搬进损失的缘由,附 PPO/GRPO 对照表;
  4. minimind 实现对照:train_grpo.py 逐段读(11.3.4):从采样到优势的每一步代码落点,三个模型的台账与默认配方。

  读完本节,应该能手算一组回答的组相对优势,逐项读懂 GRPO 的目标函数,并说清它与 PPO 的三处差异。讲解过程对照 minimind(Apache 2.0)的 train_grpo.py 真实实现,它把 DeepSeekMath 论文里的 GRPO 完整做了一遍教学版。

  图 1 标出推理训练在 LLM 生命周期中的位置,图 2 展示 GRPO 如何使用同组回答的奖励计算优势。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (本节内容) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:本节内容在 LLM 生命周期中的位置。偏好对齐(第 10 章)交出懂分寸的模型后,推理训练(本章)用可验证奖励继续打磨思维能力;本节讲这一站的主力算法 GRPO——它嵌在 11.2 节的 RLVR 回路里,把「同题多条回答的组内互比」变成不依赖价值模型的更新信号,11.4 节再看它训出的长思维链。

  推理训练这个紫框放大之后,GRPO 的一步训练长什么样?数据从一道题流到参数更新,中间经过了谁、又绕开了谁?把它单独拆开看:

原创示意图 · 非论文原图 局部放大:GRPO 一步训练的数据流——同题 6 采、组内定基线、clip 更新,全程没有价值模型(数字为 minimind 默认配置) 输入:1 个 prompt 来自 RLAIF 数据集 ≤ 768 token 策略模型 π_θ(唯一被训练) 同题连采 G = 6 条 · temperature 0.8 从 full_sft 出发 · 约 63.9M 参数 每条回答 ≤ 1024 token 同一个 prompt 复制 6 份,各自独立采样 回答 o₁ 回答 o₂ 回答 o₃ 回答 o₄ 回答 o₅ 回答 o₆ 逐条打分 r₁(标量分) 规则 + RM r₂ 规则 + RM r₃ 规则 + RM r₄ 规则 + RM r₅ 规则 + RM r₆ 规则 + RM 组内归一化(只在同一题的 6 条之间) 组内统计:均值 μ、标准差 σ A_i = (r_i − μ) / (σ + 1e-4) σ 取总体标准差(除以 G,minimind 口径) 输出:6 个优势 A₁…A₆ 高于组平均为正、低于为负 同一条回答的所有 token 共享 价值模型 critic(不存在) GRPO 把它连同 GAE 一起删掉 PPO 里它要逐 token 估价值 GRPO 损失 = −min(clip 两项) + β·KL clip ε = 0.2(与 PPO 同款刹车) KL 用 k3 估计 · β = 0.1 · 按回答长度归一 参考模型 ref(冻结) full_sft 再复制一份 逐 token 出 log π_ref 当 KL 锚点 KL 产物:更新后的策略 π_θ 保存为 grpo 权重,进入下一轮采样 参数回灌(下一轮用新策略采样)
图 2:GRPO 一步训练的局部放大(数字均为 minimind 默认配置,见 train_grpo.py)。流程为:一个 prompt(≤ 768 token)交给策略模型同题连采 6 条回答(temperature 0.8,每条 ≤ 1024 token);每条回答由规则加外部奖励模型打出一个标量分;6 个分数在组内求均值 μ 与总体标准差 σ,算出 6 个优势;优势进入带 clip(ε = 0.2)的损失,外加一项直接写进损失的 KL 罚项(k3 估计,β = 0.1,锚点是冻结的参考模型);梯度只回灌策略模型。对照 10.3 节图 2 的 RLHF 四模型同台:这里的台上只剩三个模型,价值模型连同 GAE 一起消失——这正是 GRPO 名字里「组相对」的含义。

11.3.1 PPO 的痛点:价值模型难训又占显存

  要理解 GRPO 省掉了什么,先回到 10.3 节的四模型台账:actor 生成、ref 当锚、RM 打分、critic 估价值。四个模型里,critic 是处境最尴尬的一个——它不出现在最终交付物里,却要陪跑全程。它的麻烦有两层。

  第一层是显存与算力。DeepSeekMath 论文(GRPO 的出处)直言:PPO 里的价值函数通常是与策略模型同样大小的另一个模型,带来可观的显存和计算负担。critic 不是小探头,而是一整个模型:10.3 节见过 minimind 的做法,CriticModel 直接继承完整的语言模型,只把输出头换成一个 768 维到 1 维的线性层。它要带自己的参数、梯度和 AdamW 优化器状态,还有自己的学习率(minimind 的 PPO 里 critic 用 5e-7,与 actor 的 3e-7 分开调)和价值损失系数(vf_coef 0.5)。按第 7 章的显存账口径,这等于把训练状态的负担又翻了一份。

  第二层是难训,这一点在推理任务上格外尖锐。critic 的职责是对每个中间位置预估「照这么写下去能拿多少分」,但 RLHF 与 RLVR 的奖励是稀疏的:奖励模型或规则只在整段回答的末位 token 给一个分,中间没有任何信号。DeepSeekMath 论文点破了由此产生的错位——通常只有最后一个 token 被奖励模型赋予分数,这让「在每个 token 上都估值准确」的价值函数很难训出来。critic 学不准,优势估计就跟着失真,策略被带偏,10.3.4 节的「脆」有它一份功劳。

  注意:PPO 的结构性痛点:价值模型与策略模型同量级,显存与训练状态翻倍;而稀疏奖励(整段答完才一个分)又让它难以训准。critic 贵、难、还牵连策略——它成了简化 PPO 时第一个被开刀的对象。

  DeepSeek-R1 的技术报告把动机说得更直白:为了节省 RL 的训练成本,R1 采用 GRPO,它去掉了通常与策略模型同样大小的 critic,改用组分数(group scores)估计基线。问题于是变成一个纯技术问题:没有 critic,「比平均水平好多少」这个基线从哪来?GRPO 的回答是下一节的主题——基线不用学,直接算。

11.3.2 组内相对优势:同一题的多条回答互为标尺

  先用类比建立直觉。要评价一个学生这次考试发挥得如何,有两种办法。PPO 的办法是请一位「预估专家」,根据这个学生前半场的表现随时预测总分,再拿实际总分跟预测比——这位专家就是 critic,他自己得先经过大量训练才能估得准。GRPO 的办法干脆得多:让同一个学生就同一道题连写 6 份答卷,直接拿这 6 份的平均分当及格线,高于平均的就是发挥好,低于平均的就是发挥差。不需要任何专家,标尺就在这组答卷自己身上。

基线 Baseline baseline = 基准线;评判「好坏」之前先要有的「平均水平」

策略梯度里,直接用原始奖励驱动更新会有个问题:奖励全是正数时,好回答和差回答的概率都被往上抬,只是抬的幅度不同,梯度噪声很大。减掉一个基线之后,信号变成「超出平均多少」,方向才有意义——高于平均的抬、低于平均的压。PPO 用学出来的价值函数当基线,GRPO 用同组回答的平均奖励当基线:前者准但要训一个模型,后者免费但要求同一道题采多条。10.3 节的优势函数(A = Q − V)里,V 扮演的就是基线角色。

像老师改卷:与其请专家预测「这班学生大概考多少」,不如直接算全班平均分,高于平均的表扬、低于平均的补课。前提是每个学生的卷子够多——同一道题得有一组答卷可比较。

  把类比写成公式。对每道题 \(q\),GRPO 用旧策略采一组 \(G\) 条回答 \(\{o_1, o_2, \dots, o_G\}\),每条拿到一个标量奖励 \(r_i\),组相对优势就是奖励的组内标准化:

\[ \hat{A}_i = \frac{r_i - \mathrm{mean}(\mathbf{r})}{\mathrm{std}(\mathbf{r})}, \qquad \mathbf{r} = \{r_1, r_2, \dots, r_G\} \tag{1} \]
公式 (1):组相对优势——自己的分数减去组平均,再除以组标准差。符号说明:\(r_i\) 是第 \(i\) 条回答的标量奖励(RLVR 里来自规则,minimind 里来自规则加奖励模型);\(\mathrm{mean}(\mathbf{r})\) 是同一道题 \(G\) 条回答的平均奖励,作为基线;\(\mathrm{std}(\mathbf{r})\) 是组内标准差,把不同题目、不同奖励量纲拉到同一尺度;\(\hat{A}_i\) 是第 \(i\) 条回答的优势。按 DeepSeekMath 论文的结果监督设定,\(\hat{A}_i\) 对回答 \(o_i\) 里的每个 token 都取同一个值——整条回答一荣俱荣、一损俱损,不再像 GAE 那样逐 token 分配功劳。

  一个数值小例把公式 (1) 算透。设同一题的 3 条回答各拿到奖励 \(r = \{1.0,\ 0.0,\ -1.0\}\)。组平均 \(\mu = 0\),按 minimind 的口径取总体标准差(除以 \(G\) 而非 \(G-1\)),\(\sigma = \sqrt{2/3} \approx 0.816\)。于是三条优势为 \(\hat{A}_1 = 1.0/0.816 \approx +1.22\),\(\hat{A}_2 = 0\),\(\hat{A}_3 \approx -1.22\):拿高分的回答被加强,拿低分的被压制,恰在平均水平上的那条不动。画出来更直观:

原创示意图 · 非论文原图 数值小例:同一题的 3 条回答,奖励 {1.0, 0.0, −1.0} 如何变成优势 {+1.22, 0, −1.22} ① 奖励(打分结果) ② 优势(进损失的信号) r₁ = 1.0 r₂ = 0 r₃ = −1.0 μ = 0(组平均) ±σ ≈ ±0.82 回答 o₁ 回答 o₂ 回答 o₃ 减 μ 除以 σ A₁ ≈ +1.22 A₂ = 0 A₃ ≈ −1.22 (同样对应回答 o₁ / o₂ / o₃) μ = 0、σ = √(2/3) ≈ 0.816(总体标准差)
图 3:组相对优势的数值小例(对应正文计算)。左图是三条回答的奖励,紫色虚线是组平均 μ = 0,琥珀色带是 ±σ 区间;右图是变换后的优势,绿柱被加强、红柱被压制、恰在均值上的那条归零。整个过程只是一次组内标准化,没有任何需要训练的组件——minimind 实现里对应 train_grpo.py 第 121–124 行,分母另加 1e-4 防除零。

  对照 minimind 的实现,公式 (1) 就是三行代码:把奖励按「每题 6 条」reshape 成组(rewards.view(-1, args.num_generations)),沿组维度求均值与标准差(std(dim=1, unbiased=False),即除以 \(G\) 的总体标准差),最后 (rewards - mean_r) / (std_r + 1e-4)(train_grpo.py:121–124)。那个 1e-4 是兜底:如果一组 6 条回答分数全一样,标准差为 0,优势全部归零,这道题这一步不产生任何梯度——模型在这道题上本来就分不出好坏,没有可学的东西。

  组规模 \(G\) 是这条路线的主要代价:基线是算出来的,代价就是同一道题要采多条。DeepSeekMath 论文的实验每题采 64 条,minimind 教学版默认 6 条(num_generations,train_grpo.py:219)。\(G\) 越大基线越稳,采样开销也越大——第 7 章的算力账在这里换成了一种更温和的形式:不再养一个 critic,而是多跑几遍策略前向。另外,DeepSeekMath 论文还指出一个理论上的契合点:奖励模型本身就是按「同一问题的回答两两比较」的数据训出来的(10.2 节),用组内相对比较来利用它的分数,正好顺应了它的天性。

  组相对优势一句话:同一道题采一组回答,组平均当基线、组标准差做归一,高于平均的加强、低于平均的压制、全组同分的跳过。基线从「学出来的 critic」变成「算出来的平均数」,价值模型与 GAE 就此整个退场。

11.3.3 目标函数逐项拆解:clip、KL 罚项、长度归一

  优势有了,剩下的目标是把 PPO 的壳接过来。GRPO 的完整目标函数(DeepSeekMath 论文式 (3),按本手册符号转写)如下:

\[ \mathcal{J}_{\mathrm{GRPO}}(\theta) = \mathbb{E}\left[ \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \left\{ \min\!\left( \rho_{i,t}\, \hat{A}_i,\; \mathrm{clip}\!\left( \rho_{i,t},\, 1-\varepsilon,\, 1+\varepsilon \right) \hat{A}_i \right) - \beta\, \mathbb{D}_{\mathrm{KL}}\!\left[ \pi_\theta \,\|\, \pi_{\mathrm{ref}} \right] \right\} \right] \tag{2} \] \[ \rho_{i,t}(\theta) = \frac{\pi_\theta(o_{i,t} \mid q, o_{i,<t})}{\pi_{\theta_{\mathrm{old}}}(o_{i,t} \mid q, o_{i,<t})} \]
公式 (2):GRPO 的全部目标——对每道题采 \(G\) 条回答,每条内部逐 token 计算「PPO 式裁剪项 − KL 罚项」,先按回答长度平均、再按组平均。符号说明:\(q\) 是题目(prompt),\(o_i\) 是第 \(i\) 条回答,\(|o_i|\) 是它的 token 数;\(\pi_\theta\) 是当前策略,\(\pi_{\theta_{\mathrm{old}}}\) 是采样这批数据时的旧策略;\(\rho_{i,t}\) 是新旧策略在回答 \(o_i\) 第 \(t\) 个 token 上的概率比(与 10.3 节 PPO 的 \(r_t\) 同一个量,这里改名避免与奖励 \(r\) 混淆),\(o_{i,<t}\) 表示该 token 之前的上文;\(\hat{A}_i\) 是公式 (1) 的组相对优势,同一条回答内逐 token 相同;\(\mathrm{clip}\) 与 \(\varepsilon\) 是 PPO 的裁剪机制与裁剪半径(10.3 节已细讲);\(\mathbb{D}_{\mathrm{KL}}[\pi_\theta \| \pi_{\mathrm{ref}}]\) 是当前策略与冻结参考模型的 KL 散度,\(\beta\) 是它的系数;外层期望对题库里的题目取值。

  逐项读一遍。第一项 min-clip 与 10.3 节的公式 (3) 一字不差:好动作抬概率超过 \(1+\varepsilon\) 不给额外奖励,坏动作压概率跌破 \(1-\varepsilon\) 惩罚封顶,每步更新被限制在旧策略附近的窄带里。minimind 的 \(\varepsilon\) 取 0.2(train_grpo.py:222),与 PPO 默认值一致。第二项 \(\frac{1}{|o_i|}\) 是长度归一:每条回答先按自己的 token 数求平均,长回答和短回答对损失的贡献因此同等权重,不会因为写得长就天然嗓门大。第三项 \(-\beta\,\mathbb{D}_{\mathrm{KL}}\) 是缰绳,但缰绳的位置挪了——这正是 GRPO 与 PPO 最本质的一处差异,值得展开。

  回想 10.3 节:PPO 把 KL 罚项写进奖励(奖励 = RM 分 − β·KL),逐 token 扣完再交给 GAE 折算优势。GRPO 则把 KL 直接写进损失,奖励保持纯净、只装任务信号。DeepSeekMath 论文给出的理由是:KL 若混进奖励,会顺着优势计算一路搅进 \(\hat{A}_i\) 里,让「这条回答比同组好多少」的判断掺入「离参考模型多远」的无关因素;拆开之后,优势只管组内高低,KL 单独管不许跑偏,两个信号各走各的通道。一句话,PPO 是「先扣分再排名」,GRPO 是「先排名,跑偏另算」。

  损失里的 KL 怎么算也有讲究。直接算 KL 散度需要遍历整个词表,代价大;DeepSeekMath 沿用 Schulman(2020)的无偏估计,逐 token 用一个只含对数概率差的式子近似:

\[ \mathbb{D}_{\mathrm{KL}}\!\left[ \pi_\theta \,\|\, \pi_{\mathrm{ref}} \right] \approx \frac{\pi_{\mathrm{ref}}(o_{i,t} \mid o_{i,<t})}{\pi_\theta(o_{i,t} \mid o_{i,<t})} - \log \frac{\pi_{\mathrm{ref}}(o_{i,t} \mid o_{i,<t})}{\pi_\theta(o_{i,t} \mid o_{i,<t})} - 1 \tag{3} \]
公式 (3):KL 散度的 k3 估计——用单个采样点就能算,期望上等于真 KL,且每个样本都非负。符号说明:\(\pi_{\mathrm{ref}}(o_{i,t} \mid o_{i,<t})\) 是冻结参考模型对实际生成的这个 token 的概率,\(\pi_\theta\) 是当前策略对同一个 token 的概率。若记两者的对数概率差为 \(\Delta = \log \pi_{\mathrm{ref}} - \log \pi_\theta\),式子就是 \(e^{\Delta} - \Delta - 1\):两个分布一致时 \(\Delta = 0\),式子取 0;不一致时它恒为正,且偏差越大增长越快。10.3 节的 minimind PPO 用的正是同一个估计(train_ppo.py 里 \(\exp(\Delta)-\Delta-1\)),train_grpo.py 第 132–133 行原样沿用。

  把 GRPO 与 PPO 摆在一起对照,三处差异一眼看清(配方数字均为 minimind 默认值):

维度PPO(10.3 节)GRPO(本节)
基线来源critic 学出来的价值 V(s)同组 G 条回答的平均奖励,直接算
价值模型要训,与策略同量级,带自己的 lr 与 vf_coef不存在(GAE 一并省掉)
优势粒度GAE 逐 token 分配功劳同一条回答的所有 token 共享一个 \(\hat{A}_i\)
KL 的位置写进奖励:r = RM 分 − β·KL(β = 0.02)写进损失:目标里减 β·KL(β = 0.1)
采样要求每题一条回答即可每题必须采一组(minimind 6 条,论文 64 条)
minimind 台账四模型:actor + ref + RM + critic三模型:policy + ref + RM(train_grpo.py:267–272)

  核心结论:GRPO 没有发明新的刹车或新的缰绳——clip 照抄 PPO,KL 照拴 ref。它只换了一件东西:把「估计平均水平的裁判」从学出来的 critic 换成算出来的组平均。少一个要训的模型,多采几条样本,换来的是推理训练可以跑到更大的规模。

11.3.4 minimind 实现对照:train_grpo.py 逐段读

  最后把公式落到代码。minimind 的 train_grpo.py 是 GRPO 的教学版完整实现,一轮训练循环(grpo_train_epoch,71–197 行)里的每一步都能与本节前面的公式一一对上:

  1. 采样(rollout):rollout_engine.rollout(num_generations=6, max_new_tokens=1024, temperature=0.8)(80–86 行),同一批 prompt 各采 6 条。引擎做成可插拔:默认 torch 实现,也可切到 sglang 推理服务(233、274–283 行);prompt 一律左填充并截到最长 768 token(74–78、216 行)。这一步同时记录旧策略的逐 token 对数概率(90 行),供后面算概率比。
  2. 打分:calculate_rewards(37–68 行)给每条回答算一个标量:回答长度落在 20 到 800 字符内加 0.5、否则扣 0.5(54 行);含 </think> 且思考段在 20 到 300 字符内加 1.0(55–58 行);3-gram 重复率折算成最多 0.5 的惩罚(31–34、60 行);最后叠加外部奖励模型 internlm2-1_8b-reward 的分数(62–66 行)。即「规则 + RM」混合裁判,11.2 节已逐条讲过配方,此处只点出落点。
  3. 组相对优势:121–124 行,正是公式 (1):view(-1, num_generations) 分组,mean 与 std(unbiased=False) 求组内均值与总体标准差,(rewards − mean_r) / (std_r + 1e-4) 得优势。
  4. KL 与概率比:132–134 行。kl_div = ref_logps − logps,per_token_kl = exp(kl_div) − kl_div − 1 即公式 (3) 的 k3 估计;ratio = exp(logps − old_logps) 即公式 (2) 里的 \(\rho_{i,t}\)。
  5. clip 损失与长度归一:139–143 行。torch.min(ratio·A, clamp(ratio, 1−ε, 1+ε)·A) 取两项中较小者(与 10.3 节 PPO 的 min 同形),减去 β·per_token_kl(β = 0.1,220 行;ε = 0.2,222 行);随后乘回答掩码、按每条回答的 token 数求平均再对 batch 平均(143 行)——这正是公式 (2) 里 \(\frac{1}{|o_i|}\) 归一的代码形态。若配置了 MoE,还会并入 MoE 辅助损失(100、144 行,呼应 5.4 节)。
  6. 更新与回灌:梯度裁剪到范数 1.0(148–149、210 行)后 AdamW 步进,学习率 3e-7 配 CosineAnnealingLR 余弦退火(205、287、291 行),batch 2、训 1 个 epoch(203–204 行)。新参数随即回灌给 rollout 引擎,下一轮采样用新策略(193、309 行)。

  模型台账也与公式 (2) 严丝合缝:全程只有三个模型——策略模型 policy(训练中,267 行)、参考模型 ref(full_sft 再加载一份,eval() 加 requires_grad_(False) 彻底冻结,269–270 行)、外部奖励模型 RM(272 行)。没有 critic,没有 GAE,没有价值损失系数——10.3 节表格里 critic 那一行带的所有旋钮,在这里整行消失。数据侧还有一个值得知道的开关:thinking_ratio = 0.9(232、285 行),RLAIFDataset 按 90% 概率给 prompt 套上带思考段的模板,让模型在 RL 阶段就习惯「先想后答」的格式——这为 11.4 节的长思维链埋下伏笔。

  注释:minimind 的奖励是「规则 + RM」混合,并非纯规则裁判——作为教学实现,它把奖励模型请回来兜底。严格的 RLVR(如 R1-Zero)可以只靠规则:数学题对答案、代码过测试、格式查标签。另外 train_grpo.py 里还有一个 cispo 变体分支(135–137、221、223 行):只裁剪概率比的上界(ε_high = 5.0)且截断处不回传梯度,是经典 clip 之外的一种简化选项,默认分支讲解仍以 139–142 行的经典 GRPO clip 为准。

  至此,RLVR 回路(11.2 节)与配套算法 GRPO(本节)都已就位:同一题采一组、规则打分、组内定基线、clip 更新。这套装置在 DeepSeek-R1-Zero 身上跑出了意想不到的东西——模型自己长出了自我检查与反思,思考越写越长。长思维链是怎么被「养」出来的,是 11.4 节的故事。

🧭本节要点回顾
GRPO 为什么能扔掉价值模型?
价值模型在 PPO 里的唯一职责是提供「平均水平」这个基线,供优势计算用。GRPO 把基线换成同题一组回答的平均奖励:\(\hat{A}_i = (r_i - \mu)/\sigma\),高于组平均为正、低于为负、全组同分则无梯度。基线从「学出来」变成「算出来」,critic 与 GAE 一并省掉;代价是每题要多采几条(minimind 6 条,DeepSeekMath 论文 64 条)。
GRPO 目标函数里,clip、长度归一、KL 各管什么?
min-clip(ε = 0.2)照抄 PPO,把每步更新限制在旧策略附近的窄带内;\(\frac{1}{|o_i|}\) 长度归一让长短回答对损失同等权重;KL 项(β = 0.1,k3 估计 \(\exp(\Delta)-\Delta-1\))从奖励里挪进损失,优势只管组内排名、KL 单独管不许跑偏,两个信号各走各的通道。
对照 minimind 代码,GRPO 与 PPO 的台账差在哪?
PPO 是四模型同台(actor + ref + RM + critic),GRPO 只剩三个(policy + ref + RM,train_grpo.py:267–272),critic 那行连同它的学习率、vf_coef、GAE 全部消失。训练循环五步可对:rollout 采 6 条(80–86 行)→ calculate_rewards 打分(37–68 行)→ 组内标准化得优势(121–124 行)→ k3 KL 与概率比(132–134 行)→ min-clip 损失按长度归一后更新(139–143 行)。

参考来源

  • Shao et al., 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models(GRPO 原始论文,arXiv:2402.03300):GRPO 的提出、「去掉 critic、以组分数为基线」的动机(价值函数与策略同量级、末位单点奖励使逐 token 价值难训)、目标函数(本页公式 (2),论文式 (3))、结果监督下 \(\hat{A}_i\) 的组内标准化定义(本页公式 (1))、KL 直接进损失而非奖励、Schulman(2020) 无偏 KL 估计(本页公式 (3));实验设置 lr 1e-6、KL 系数 0.04、每题采 64 条;GRPO 使 DeepSeekMath-Instruct 在 GSM8K 上 82.9%→88.2%、MATH 上 46.8%→51.7%。已核对 arXiv 摘要页与 HTML 全文 §4。
  • DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948):为节省 RL 成本采用 GRPO(「foregoes the critic model ... estimates the baseline from group scores」,§2.2.1),配规则奖励(准确率奖励 + 格式奖励);R1-Zero 纯 RL 无 SFT 涌现推理行为。已核对 arXiv 摘要页与 HTML 全文 §1、§2.2。
  • Schulman et al., 2017. Proximal Policy Optimization Algorithms(PPO 原始论文,arXiv:1707.06347):min-clip 裁剪目标的来源,见 10.3 节公式 (3)。
  • Schulman, 2020. Approximating KL Divergence(技术博客):k3 无偏非负 KL 估计的出处,DeepSeekMath 论文明确引用。
  • minimind(Apache 2.0),trainer/train_grpo.py:奖励配方 calculate_rewards(31–68 行:长度 ±0.5 见 54 行、think 段奖励见 55–58 行、rep_penalty 见 31–34 行、RM 分叠加见 62–66 行)、rollout 采样(80–86 行,temperature 0.8、num_generations 6、max_gen_len 1024;prompt ≤ 768 见 74–78、216 行)、组相对优势(121–124 行,unbiased=False、+1e-4)、k3 KL 与 ratio(132–134 行)、min-clip 损失与长度归一(139–143 行)、cispo 变体(135–137、221、223 行)、三模型初始化(267–272 行,ref 冻结自 full_sft 见 269–270 行)、默认超参(203–205 行 epoch 1 / batch 2 / lr 3e-7、210 行梯度裁剪 1.0、219–222 行 G=6 / β=0.1 / ε=0.2、232 行 thinking_ratio 0.9、287–291 行 AdamW + CosineAnnealingLR)。