11.3 GRPO:扔掉价值模型的组相对优化
本页范围:第 11 章第 3 节 | 整理时间:2026-10-08
11.2 节搭好了 RLVR 的训练回路:同一道题让模型连答多条,规则逐条打分。接下来需要确定如何根据这一组分数更新参数。GRPO(Group Relative Policy Optimization,组相对策略优化)是 PPO 的变体,保留 PPO 的裁剪机制,但不再训练价值模型,改用同一组回答的平均分作为基线。
本节按「痛点 → 基线 → 目标 → 实现」的顺序展开,路线图如下:
- PPO 的痛点:价值模型难训又占显存(11.3.1):呼应 10.3 节的四模型台账,说清 critic 为什么是最先被开刀的那个;
- 组内相对优势:同一题的多条回答互为标尺(11.3.2):组平均当基线的直觉与公式,配一个 3 条回答的数值小例;
- 目标函数逐项拆解:clip、KL 罚项、长度归一(11.3.3):GRPO 完整目标逐项读,KL 从奖励搬进损失的缘由,附 PPO/GRPO 对照表;
- minimind 实现对照:train_grpo.py 逐段读(11.3.4):从采样到优势的每一步代码落点,三个模型的台账与默认配方。
读完本节,应该能手算一组回答的组相对优势,逐项读懂 GRPO 的目标函数,并说清它与 PPO 的三处差异。讲解过程对照 minimind(Apache 2.0)的 train_grpo.py 真实实现,它把 DeepSeekMath 论文里的 GRPO 完整做了一遍教学版。
图 1 标出推理训练在 LLM 生命周期中的位置,图 2 展示 GRPO 如何使用同组回答的奖励计算优势。
推理训练这个紫框放大之后,GRPO 的一步训练长什么样?数据从一道题流到参数更新,中间经过了谁、又绕开了谁?把它单独拆开看:
11.3.1 PPO 的痛点:价值模型难训又占显存
要理解 GRPO 省掉了什么,先回到 10.3 节的四模型台账:actor 生成、ref 当锚、RM 打分、critic 估价值。四个模型里,critic 是处境最尴尬的一个——它不出现在最终交付物里,却要陪跑全程。它的麻烦有两层。
第一层是显存与算力。DeepSeekMath 论文(GRPO 的出处)直言:PPO 里的价值函数通常是与策略模型同样大小的另一个模型,带来可观的显存和计算负担。critic 不是小探头,而是一整个模型:10.3 节见过 minimind 的做法,CriticModel 直接继承完整的语言模型,只把输出头换成一个 768 维到 1 维的线性层。它要带自己的参数、梯度和 AdamW 优化器状态,还有自己的学习率(minimind 的 PPO 里 critic 用 5e-7,与 actor 的 3e-7 分开调)和价值损失系数(vf_coef 0.5)。按第 7 章的显存账口径,这等于把训练状态的负担又翻了一份。
第二层是难训,这一点在推理任务上格外尖锐。critic 的职责是对每个中间位置预估「照这么写下去能拿多少分」,但 RLHF 与 RLVR 的奖励是稀疏的:奖励模型或规则只在整段回答的末位 token 给一个分,中间没有任何信号。DeepSeekMath 论文点破了由此产生的错位——通常只有最后一个 token 被奖励模型赋予分数,这让「在每个 token 上都估值准确」的价值函数很难训出来。critic 学不准,优势估计就跟着失真,策略被带偏,10.3.4 节的「脆」有它一份功劳。
注意:PPO 的结构性痛点:价值模型与策略模型同量级,显存与训练状态翻倍;而稀疏奖励(整段答完才一个分)又让它难以训准。critic 贵、难、还牵连策略——它成了简化 PPO 时第一个被开刀的对象。
DeepSeek-R1 的技术报告把动机说得更直白:为了节省 RL 的训练成本,R1 采用 GRPO,它去掉了通常与策略模型同样大小的 critic,改用组分数(group scores)估计基线。问题于是变成一个纯技术问题:没有 critic,「比平均水平好多少」这个基线从哪来?GRPO 的回答是下一节的主题——基线不用学,直接算。
11.3.2 组内相对优势:同一题的多条回答互为标尺
先用类比建立直觉。要评价一个学生这次考试发挥得如何,有两种办法。PPO 的办法是请一位「预估专家」,根据这个学生前半场的表现随时预测总分,再拿实际总分跟预测比——这位专家就是 critic,他自己得先经过大量训练才能估得准。GRPO 的办法干脆得多:让同一个学生就同一道题连写 6 份答卷,直接拿这 6 份的平均分当及格线,高于平均的就是发挥好,低于平均的就是发挥差。不需要任何专家,标尺就在这组答卷自己身上。
策略梯度里,直接用原始奖励驱动更新会有个问题:奖励全是正数时,好回答和差回答的概率都被往上抬,只是抬的幅度不同,梯度噪声很大。减掉一个基线之后,信号变成「超出平均多少」,方向才有意义——高于平均的抬、低于平均的压。PPO 用学出来的价值函数当基线,GRPO 用同组回答的平均奖励当基线:前者准但要训一个模型,后者免费但要求同一道题采多条。10.3 节的优势函数(A = Q − V)里,V 扮演的就是基线角色。
把类比写成公式。对每道题 \(q\),GRPO 用旧策略采一组 \(G\) 条回答 \(\{o_1, o_2, \dots, o_G\}\),每条拿到一个标量奖励 \(r_i\),组相对优势就是奖励的组内标准化:
一个数值小例把公式 (1) 算透。设同一题的 3 条回答各拿到奖励 \(r = \{1.0,\ 0.0,\ -1.0\}\)。组平均 \(\mu = 0\),按 minimind 的口径取总体标准差(除以 \(G\) 而非 \(G-1\)),\(\sigma = \sqrt{2/3} \approx 0.816\)。于是三条优势为 \(\hat{A}_1 = 1.0/0.816 \approx +1.22\),\(\hat{A}_2 = 0\),\(\hat{A}_3 \approx -1.22\):拿高分的回答被加强,拿低分的被压制,恰在平均水平上的那条不动。画出来更直观:
对照 minimind 的实现,公式 (1) 就是三行代码:把奖励按「每题 6 条」reshape 成组(rewards.view(-1, args.num_generations)),沿组维度求均值与标准差(std(dim=1, unbiased=False),即除以 \(G\) 的总体标准差),最后 (rewards - mean_r) / (std_r + 1e-4)(train_grpo.py:121–124)。那个 1e-4 是兜底:如果一组 6 条回答分数全一样,标准差为 0,优势全部归零,这道题这一步不产生任何梯度——模型在这道题上本来就分不出好坏,没有可学的东西。
组规模 \(G\) 是这条路线的主要代价:基线是算出来的,代价就是同一道题要采多条。DeepSeekMath 论文的实验每题采 64 条,minimind 教学版默认 6 条(num_generations,train_grpo.py:219)。\(G\) 越大基线越稳,采样开销也越大——第 7 章的算力账在这里换成了一种更温和的形式:不再养一个 critic,而是多跑几遍策略前向。另外,DeepSeekMath 论文还指出一个理论上的契合点:奖励模型本身就是按「同一问题的回答两两比较」的数据训出来的(10.2 节),用组内相对比较来利用它的分数,正好顺应了它的天性。
组相对优势一句话:同一道题采一组回答,组平均当基线、组标准差做归一,高于平均的加强、低于平均的压制、全组同分的跳过。基线从「学出来的 critic」变成「算出来的平均数」,价值模型与 GAE 就此整个退场。
11.3.3 目标函数逐项拆解:clip、KL 罚项、长度归一
优势有了,剩下的目标是把 PPO 的壳接过来。GRPO 的完整目标函数(DeepSeekMath 论文式 (3),按本手册符号转写)如下:
逐项读一遍。第一项 min-clip 与 10.3 节的公式 (3) 一字不差:好动作抬概率超过 \(1+\varepsilon\) 不给额外奖励,坏动作压概率跌破 \(1-\varepsilon\) 惩罚封顶,每步更新被限制在旧策略附近的窄带里。minimind 的 \(\varepsilon\) 取 0.2(train_grpo.py:222),与 PPO 默认值一致。第二项 \(\frac{1}{|o_i|}\) 是长度归一:每条回答先按自己的 token 数求平均,长回答和短回答对损失的贡献因此同等权重,不会因为写得长就天然嗓门大。第三项 \(-\beta\,\mathbb{D}_{\mathrm{KL}}\) 是缰绳,但缰绳的位置挪了——这正是 GRPO 与 PPO 最本质的一处差异,值得展开。
回想 10.3 节:PPO 把 KL 罚项写进奖励(奖励 = RM 分 − β·KL),逐 token 扣完再交给 GAE 折算优势。GRPO 则把 KL 直接写进损失,奖励保持纯净、只装任务信号。DeepSeekMath 论文给出的理由是:KL 若混进奖励,会顺着优势计算一路搅进 \(\hat{A}_i\) 里,让「这条回答比同组好多少」的判断掺入「离参考模型多远」的无关因素;拆开之后,优势只管组内高低,KL 单独管不许跑偏,两个信号各走各的通道。一句话,PPO 是「先扣分再排名」,GRPO 是「先排名,跑偏另算」。
损失里的 KL 怎么算也有讲究。直接算 KL 散度需要遍历整个词表,代价大;DeepSeekMath 沿用 Schulman(2020)的无偏估计,逐 token 用一个只含对数概率差的式子近似:
把 GRPO 与 PPO 摆在一起对照,三处差异一眼看清(配方数字均为 minimind 默认值):
| 维度 | PPO(10.3 节) | GRPO(本节) |
|---|---|---|
| 基线来源 | critic 学出来的价值 V(s) | 同组 G 条回答的平均奖励,直接算 |
| 价值模型 | 要训,与策略同量级,带自己的 lr 与 vf_coef | 不存在(GAE 一并省掉) |
| 优势粒度 | GAE 逐 token 分配功劳 | 同一条回答的所有 token 共享一个 \(\hat{A}_i\) |
| KL 的位置 | 写进奖励:r = RM 分 − β·KL(β = 0.02) | 写进损失:目标里减 β·KL(β = 0.1) |
| 采样要求 | 每题一条回答即可 | 每题必须采一组(minimind 6 条,论文 64 条) |
| minimind 台账 | 四模型:actor + ref + RM + critic | 三模型:policy + ref + RM(train_grpo.py:267–272) |
核心结论:GRPO 没有发明新的刹车或新的缰绳——clip 照抄 PPO,KL 照拴 ref。它只换了一件东西:把「估计平均水平的裁判」从学出来的 critic 换成算出来的组平均。少一个要训的模型,多采几条样本,换来的是推理训练可以跑到更大的规模。
11.3.4 minimind 实现对照:train_grpo.py 逐段读
最后把公式落到代码。minimind 的 train_grpo.py 是 GRPO 的教学版完整实现,一轮训练循环(grpo_train_epoch,71–197 行)里的每一步都能与本节前面的公式一一对上:
- 采样(rollout):
rollout_engine.rollout(num_generations=6, max_new_tokens=1024, temperature=0.8)(80–86 行),同一批 prompt 各采 6 条。引擎做成可插拔:默认 torch 实现,也可切到 sglang 推理服务(233、274–283 行);prompt 一律左填充并截到最长 768 token(74–78、216 行)。这一步同时记录旧策略的逐 token 对数概率(90 行),供后面算概率比。 - 打分:
calculate_rewards(37–68 行)给每条回答算一个标量:回答长度落在 20 到 800 字符内加 0.5、否则扣 0.5(54 行);含</think>且思考段在 20 到 300 字符内加 1.0(55–58 行);3-gram 重复率折算成最多 0.5 的惩罚(31–34、60 行);最后叠加外部奖励模型 internlm2-1_8b-reward 的分数(62–66 行)。即「规则 + RM」混合裁判,11.2 节已逐条讲过配方,此处只点出落点。 - 组相对优势:121–124 行,正是公式 (1):
view(-1, num_generations)分组,mean与std(unbiased=False)求组内均值与总体标准差,(rewards − mean_r) / (std_r + 1e-4)得优势。 - KL 与概率比:132–134 行。
kl_div = ref_logps − logps,per_token_kl = exp(kl_div) − kl_div − 1即公式 (3) 的 k3 估计;ratio = exp(logps − old_logps)即公式 (2) 里的 \(\rho_{i,t}\)。 - clip 损失与长度归一:139–143 行。
torch.min(ratio·A, clamp(ratio, 1−ε, 1+ε)·A)取两项中较小者(与 10.3 节 PPO 的 min 同形),减去β·per_token_kl(β = 0.1,220 行;ε = 0.2,222 行);随后乘回答掩码、按每条回答的 token 数求平均再对 batch 平均(143 行)——这正是公式 (2) 里 \(\frac{1}{|o_i|}\) 归一的代码形态。若配置了 MoE,还会并入 MoE 辅助损失(100、144 行,呼应 5.4 节)。 - 更新与回灌:梯度裁剪到范数 1.0(148–149、210 行)后 AdamW 步进,学习率 3e-7 配 CosineAnnealingLR 余弦退火(205、287、291 行),batch 2、训 1 个 epoch(203–204 行)。新参数随即回灌给 rollout 引擎,下一轮采样用新策略(193、309 行)。
模型台账也与公式 (2) 严丝合缝:全程只有三个模型——策略模型 policy(训练中,267 行)、参考模型 ref(full_sft 再加载一份,eval() 加 requires_grad_(False) 彻底冻结,269–270 行)、外部奖励模型 RM(272 行)。没有 critic,没有 GAE,没有价值损失系数——10.3 节表格里 critic 那一行带的所有旋钮,在这里整行消失。数据侧还有一个值得知道的开关:thinking_ratio = 0.9(232、285 行),RLAIFDataset 按 90% 概率给 prompt 套上带思考段的模板,让模型在 RL 阶段就习惯「先想后答」的格式——这为 11.4 节的长思维链埋下伏笔。
注释:minimind 的奖励是「规则 + RM」混合,并非纯规则裁判——作为教学实现,它把奖励模型请回来兜底。严格的 RLVR(如 R1-Zero)可以只靠规则:数学题对答案、代码过测试、格式查标签。另外 train_grpo.py 里还有一个 cispo 变体分支(135–137、221、223 行):只裁剪概率比的上界(ε_high = 5.0)且截断处不回传梯度,是经典 clip 之外的一种简化选项,默认分支讲解仍以 139–142 行的经典 GRPO clip 为准。
至此,RLVR 回路(11.2 节)与配套算法 GRPO(本节)都已就位:同一题采一组、规则打分、组内定基线、clip 更新。这套装置在 DeepSeek-R1-Zero 身上跑出了意想不到的东西——模型自己长出了自我检查与反思,思考越写越长。长思维链是怎么被「养」出来的,是 11.4 节的故事。
参考来源
- Shao et al., 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models(GRPO 原始论文,arXiv:2402.03300):GRPO 的提出、「去掉 critic、以组分数为基线」的动机(价值函数与策略同量级、末位单点奖励使逐 token 价值难训)、目标函数(本页公式 (2),论文式 (3))、结果监督下 \(\hat{A}_i\) 的组内标准化定义(本页公式 (1))、KL 直接进损失而非奖励、Schulman(2020) 无偏 KL 估计(本页公式 (3));实验设置 lr 1e-6、KL 系数 0.04、每题采 64 条;GRPO 使 DeepSeekMath-Instruct 在 GSM8K 上 82.9%→88.2%、MATH 上 46.8%→51.7%。已核对 arXiv 摘要页与 HTML 全文 §4。
- DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948):为节省 RL 成本采用 GRPO(「foregoes the critic model ... estimates the baseline from group scores」,§2.2.1),配规则奖励(准确率奖励 + 格式奖励);R1-Zero 纯 RL 无 SFT 涌现推理行为。已核对 arXiv 摘要页与 HTML 全文 §1、§2.2。
- Schulman et al., 2017. Proximal Policy Optimization Algorithms(PPO 原始论文,arXiv:1707.06347):min-clip 裁剪目标的来源,见 10.3 节公式 (3)。
- Schulman, 2020. Approximating KL Divergence(技术博客):k3 无偏非负 KL 估计的出处,DeepSeekMath 论文明确引用。
- minimind(Apache 2.0),trainer/train_grpo.py:奖励配方 calculate_rewards(31–68 行:长度 ±0.5 见 54 行、think 段奖励见 55–58 行、rep_penalty 见 31–34 行、RM 分叠加见 62–66 行)、rollout 采样(80–86 行,temperature 0.8、num_generations 6、max_gen_len 1024;prompt ≤ 768 见 74–78、216 行)、组相对优势(121–124 行,unbiased=False、+1e-4)、k3 KL 与 ratio(132–134 行)、min-clip 损失与长度归一(139–143 行)、cispo 变体(135–137、221、223 行)、三模型初始化(267–272 行,ref 冻结自 full_sft 见 269–270 行)、默认超参(203–205 行 epoch 1 / batch 2 / lr 3e-7、210 行梯度裁剪 1.0、219–222 行 G=6 / β=0.1 / ε=0.2、232 行 thinking_ratio 0.9、287–291 行 AdamW + CosineAnnealingLR)。