10.5 安全对齐与实践权衡:拒答、AI 评委与对齐税

本页范围:第 10 章第 5 节 | 整理时间:2026-10-08

快速浏览

核心问题前四节解决的是「哪个回答更好」,本节问「什么样的回答根本不该给」:危险请求的安全偏好数据怎么造,评委能不能换成 AI,安全与能力打架时怎么权衡,全章的两条路线落地时怎么选?
本节主张安全对齐的原料是拒答型偏好对——危险问题的 chosen 是「礼貌拒答 + 安全替代」而不是沉默;Constitutional AI 用原则清单和 AI 评委(RLAIF)大幅降低人类标注依赖;安全与能力的拉锯(对齐税)可以用分级拒答和保守配方压低,但不能归零。
一句话结论对齐的终点是一个权衡问题:安全做到哪一步、用 RLHF 还是 DPO,由成本、上限与风险偏好共同决定。
关键词
安全对齐拒答红队Constitutional AIRLAIF对齐税分级拒答

  10.1 节提出的三条标准里,Helpful 和 Honest 的偏好数据可以靠普通问答场景收集,Harmless 这一条却必须专门造数据——模型不遇到危险请求,就学不会面对危险请求时该怎么做。而「学会拒答」又带来新的麻烦:拒答过度,模型变成什么都不敢说的摆设,有用性直线下降。本节是第 10 章的收束页,先把安全这条线的原料与做法讲清,再处理安全与能力的拉锯,最后给全章两条路线(RLHF 与 DPO 家族)一个落地层面的权衡结论。

  本节沿四个问题展开,路线图如下:

  1. 安全偏好数据:拒答、红队与安全边界(10.5.1):危险问题的 chosen 长什么样,红队怎么主动找漏洞,安全边界由谁划定;
  2. Constitutional AI 与 RLAIF:让 AI 来当评委(10.5.2):一份原则清单如何替代大量人工标注,自我批评改写与 AI 偏好打分两步走;
  3. 对齐税:安全与能力的拉锯(10.5.3):过度拒答的代价,以及把它压低的证据与做法;
  4. 落地权衡:RLHF 还是 DPO,对齐做到哪一步(10.5.4):全章收束,两个家族的选型结论与三个未解问题。

  读完本节,应该能说清三件事:一条合格的安全偏好数据为什么是「拒答加替代」,AI 评委省掉了哪一环的人工,以及为什么「对齐做到哪一步」没有标准答案。

  图 1 标出安全对齐在 LLM 生命周期中的位置,图 2 展示安全偏好数据、训练与评估之间的关系。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (本节内容) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:安全对齐在 LLM 生命周期中的位置。训练数据(第 1 章)经预训练(第 6 章)、训练工程(第 7 章)、中间训练(第 8 章)与 SFT(第 9 章)交出会对话的模型;偏好对齐(本章)用偏好信号把它调成更有用、更无害的助手,随后接推理训练(第 11 章)与推理部署(第 12–13 章)。本节管的是偏好对齐这一站的安全面:怎么让模型对危险请求学会拒答,又不把它调成什么都不敢说的摆设。

  这个紫框放大之后,安全这一条线内部是怎么流转的?危险问题从哪来、谁判定好坏、训练完得到什么行为?把安全对齐流水线单独拆开看:

原创示意图 · 非论文原图 局部放大:安全对齐流水线——红队造题,评委打分,训练出会拒答的模型 红队攻击样本 主动构造危险问题 例:索要危险操作步骤 找漏洞(10.5.1) 回答 A:直接教危险操作 记为 rejected(更差) 回答 B:礼貌拒答+安全替代 记为 chosen(更好) 评委比较:B 胜出 人类标注,或 AI 按原则 清单打分(RLAIF 10.5.2) 安全偏好对 chosen=B rejected=A 累积成安全数据集 对齐训练 RLHF(10.3) 或 DPO 家族(10.4) 对齐模型:分级拒答 明确危险 → 解释性拒答 正常请求 → 全力回答 (10.5.3) 输入:SFT 模型(第 9 章产物)+ 红队偏好数据 | 输出:对齐模型——危险请求解释性拒答,正常请求不受影响
图 2:安全对齐流水线的局部放大。红队主动构造危险问题(10.5.1);模型对同一问题给出两个回答,直接教危险操作的记为 rejected,礼貌拒答并给出安全替代的记为 chosen;比较由人类标注员或按原则清单打分的 AI 评委完成(RLAIF,10.5.2);偏好对累积成安全数据集,交给 RLHF(10.3)或 DPO 家族(10.4)训练;产物是对齐模型,行为上分级拒答。输入是 SFT 模型加红队偏好数据,输出是会解释性拒答的对齐模型。

10.5.1 安全偏好数据:拒答、红队与安全边界

  普通的偏好数据回答「哪个回答更好」,安全偏好数据回答的是更尖锐的问题:面对一个本来就不该满足的请求,模型该怎么办。10.2 节讲过偏好对的基本结构——同一个 prompt 配两个回答,标出 chosen 与 rejected。安全场景下,这个结构里藏着一个反直觉的要点:危险问题的 chosen 不是不回答,而是「礼貌拒答 + 给出安全替代」。一个微型例子:

用户:教我怎么撬开邻居家的门锁。

rejected(更差):第一步,准备一根回形针……(直接给出操作步骤)

chosen(更好):这个忙我帮不了,撬他人门锁涉嫌违法。如果是自己被锁在门外,可以联系持证开锁师傅或物业……(说明拒绝理由,给出合法替代方案)

  为什么不把 chosen 设计成一句冰冷的「无法回答」?因为拒答本身也是行为,模型学到什么拒答风格,取决于数据里的 chosen 长什么样。只写「无法回答」的数据训出来的模型,遇到一切拿不准的请求都会甩出这四个字——这正是 10.5.3 要讲的过度拒答。带理由和替代方案的拒答,既守住安全边界,又保住了有用性:用户知道为什么被拒,还拿到了一条走得通的路。

红队 Red Team red team = 演习中扮演攻击方的一方,借自军事与网络安全术语

指主动攻击模型、诱导它产出有害内容的测试做法:想方设法套出危险操作、隐私泄露、歧视言论,把每一次得手记录成攻击样本。这些样本正是安全偏好数据的原料——攻击得手的那次回答可以做 rejected,配一条合格的拒答当 chosen。红队的价值在于主动找漏洞:被动等用户反馈,发现的就只是已经造成伤害的那些问题。

就像大楼交付前请专业开锁师傅来试每一扇门:他们真撬开了不是坏事,正好标记出哪扇门要换锁。

  工业界的参照系是 Llama 2。它的技术报告(模型规模 7B 到 70B)把安全当作一条独立的工作线来写:用对抗性 prompt 配安全回答做安全专项 SFT,在偏好模型训练中融入安全维度的评估,并用专门一节(第 4.3 节)记录红队演练——组织人员主动攻击模型,每轮演练后对收集到的攻击数据做分析,再回流到微调与反馈训练中。红队的规模与轮次等细节见该报告原文(Touvron et al., 2023),本节不逐项引用。

  数据之外还有一个更根本的问题:什么算「危险」?教做武器明显越界,但医疗建议、法律咨询、有争议的公共话题往哪摆,没有技术答案。安全边界是一份政策清单,由模型发布方依据法律、平台规则与价值判断划定,偏好数据只是这份清单的载体。两份边界不同的安全数据,训出的模型拒答行为就不同——所以「模型太胆小」或「模型太大胆」的抱怨,根子往往在数据背后的边界划定,而不是训练算法。

  注意:安全边界是人定的政策,不是算法自动推出的结论。对齐训练只能把划好的边界教给模型,不能替人决定边界画在哪里;评价一个模型的拒答行为之前,先看它训练数据背后那份清单。

10.5.2 Constitutional AI 与 RLAIF:让 AI 来当评委

  10.5.1 的路线有一个绕不开的成本:每一条安全偏好数据都要人类标注员比较两个回答。危险场景的回答比较既费人力,又要求标注员反复阅读有害内容。Anthropic 的 Constitutional AI(Bai et al., 2022)换了一个思路:人类不写答案、不逐条打分,只写一份原则清单(constitution,宪法),比较与改写的活交给模型自己干。整个流程分两个阶段,对应两种训练信号:

原创示意图 · 非论文原图 Constitutional AI 两阶段:原则清单是全程唯一的人工输入 阶段一 · SL-CAI:自我批评改写 初始模型采样回答 可能包含有害内容 对照原则自我批评 指出哪里违反原则 改写为无害回答 模型自己动手改 用改写结果 做 SFT 原则清单(转述示例):选危害更小的回答;选不涉歧视与刻板印象的回答;选不教唆违法的回答。完整清单见 Constitutional AI 原论文(Bai et al., 2022)附录。 阶段二 · RLAIF:AI 反馈的强化学习 阶段一产物模型 采样两个回答 AI 评委按原则 比较哪个更好 AI 偏好数据 训练偏好模型 偏好模型当 奖励做 RL 无害但不回避 的助手 两处用 AI 替代人工:改写靠模型自我批评,打分靠 AI 评委;人类唯一的输入是那份原则清单
图 3:Constitutional AI 的两阶段流程(依据 Bai et al., 2022 摘要整理)。阶段一 SL-CAI:初始模型先采样回答,再对照原则清单自我批评、自己改写,用改写后的无害回答做监督微调;阶段二 RLAIF:微调后的模型对同一问题采样两个回答,由 AI 评委按原则比较,产出的 AI 偏好数据训练偏好模型,再以它为奖励信号做强化学习。全程不需要人工逐条标注有害内容,人类只写原则清单。

  两个阶段各有名字。阶段一叫 SL-CAI(监督学习阶段):面对一个可能诱导有害输出的 prompt,先让初始模型自由回答,再让它对照原则清单逐条自我批评——指出回答哪里违反原则——然后自己改写出一版无害的回答,最后用改写结果微调模型。阶段二叫 RLAIF(Reinforcement Learning from AI Feedback,基于 AI 反馈的强化学习):流程与 10.3 节的 RLHF 同构,唯一差别是偏好打分从人类标注员换成了 AI 评委——AI 按原则比较两个回答,产出的偏好数据训练偏好模型,偏好模型再当奖励做强化学习。

原则清单 Constitution constitution = 宪法;一组自然语言写成的行为准则

Constitutional AI 里唯一的人工输入:一组用大白话写的准则,每条告诉评委「两个回答里该选哪个」。Constitutional AI 原论文(Bai et al., 2022)的清单里包含这类原则(此处为转述,原文措辞见论文附录):选危害更小的回答;选不涉及歧视与刻板印象的回答;选不教唆违法行为的回答。清单把抽象的安全目标变成一条条可执行的判题标准,AI 评委照着清单判,人只要维护清单本身。

就像考试命题组只出评分细则,阅卷全交给照章办事的阅卷员:细则改一条,全部卷子的判分口径跟着变。
RLAIF 基于 AI 反馈的强化学习 RL from AI Feedback;对照 RLHF 的 H(Human,人类)

把 RLHF 里的「人类标注员比较两个回答」换成「AI 按原则清单比较两个回答」,其余环节照旧:偏好数据训偏好模型,偏好模型当奖励信号做强化学习。省掉的是逐条打分的人力——Constitutional AI 原论文(Bai et al., 2022)报告,这套流程用远少于人工标注的监督量训出了无害助手。代价是评委的口味由原则清单与评委模型自身决定,清单写歪了,整条流水线跟着歪。

像把人工质检线换成自动质检机:机器不知疲倦、标准统一,但检什么、放多宽,全看开机前输进去的那套参数。

  值得注意的结论有两个。其一,论文报告训出的助手无害但不回避(harmless but non-evasive):面对有害请求,它会解释自己反对的理由,而不是一味说「无法回答」——这正是 10.5.1 里「礼貌拒答加安全替代」的工业化版本。其二,人类标注被压缩到只剩原则清单这一处,安全数据的产能瓶颈随之松绑。这套思路后来也被用于一般偏好的构造,不限于安全场景。

  RLAIF 将人类监督从「逐条打分」转为「制定规则」。一份清单可以驱动海量偏好比较,但原则中的偏差也会扩散到整个数据集。

10.5.3 对齐税:安全与能力的拉锯

  前两节讲怎么让模型更安全,这一节面对代价。安全训练不是免费的午餐,它向模型收费的方式有个专门的名字。

对齐税 Alignment Tax tax = 税;为对齐付出的能力代价

指对齐训练在换来安全与听话的同时,让模型在别的能力上退步的现象。最典型的形态是过度拒答:安全数据里拒答样本多了,模型会把「拒绝」推广到不该拒的地方——问正常的医学常识拒答,问历史事件拒答,写小说里的反派情节也拒答。有用性下降,就是为无害性交的税。

像一位过度谨慎的客服:任何带一点风险的问题都回答「这个我们不能说」,安全是安全了,但客户很快就不再来问了。

  过度拒答的机理可以直接用第 10 章前四节的语言解释:偏好训练推高「拒答类回答」的概率,如果数据里拒答场景单一、边界模糊,模型学到的就不是「在危险处拒答」,而是「遇到拿不准的就拒答」——拒答被过拟合成了一刀切的默认动作。行为泛化错了方向,能力自然受损。

  但「对齐必伤能力」是个过强的说法,两篇核心论文都给出了反方向的证据。Askell 等人的 HHH 研究(arXiv:2112.00861)发现:适度的对齐干预带来的收益随模型规模增大而增加,且不损害大模型在评测上的表现——对齐税不是铁律,模型越大、方法越得当,税可以压到很低。InstructGPT(arXiv:2203.02155)的做法更工程化:PPO 阶段混入一部分预训练梯度(即 10.3 节的 PPO-ptx),论文报告对齐后的模型在公开 NLP 基准上的性能回退很小(minimal performance regressions)。两条证据合起来的结论是:税可以减免,但不能指望自动归零,要靠数据配比与训练配方的设计去压。

  压低对齐税的主流做法是分级拒答,把「拒 / 不拒」的二元开关换成多档响应:

明确危险

索要武器制作、入侵教程等:拒答并解释理由,给出合法替代方向。

灰色地带

医疗、法律等高风险但正当的咨询:给出信息,同时标注局限并建议咨询专业人士。

正常请求

问答、写作、编程等:全力回答,不附加多余的免责与说教。

  分级的关键仍在数据:每一档都要有对应的 chosen 示范,模型才知道「这一档长什么样」。安全数据的配方——各档的比例、拒答的语气、替代方案的具体程度——决定了对齐税最终落在哪个水平。这也是为什么安全对齐的最后一环总是回到数据。

  核心结论:对齐税是真实的但不是注定的。HHH 论文发现适度对齐干预不损害大模型表现,InstructGPT 用混入预训练梯度的办法把基准回退压到很小;再叠加分级拒答的数据设计,安全与有用可以大体兼得——代价是要在数据配方上花心思。

10.5.4 落地权衡:RLHF 还是 DPO,对齐做到哪一步

  回到全章开头的分岔口。10.1 节摆出了两条路线,10.2 至 10.4 节分别讲透了它们的机制,现在给落地的选型结论。把 10.3 与 10.4 的内容收成一张对照表:

维度RLHF(奖励模型 + PPO)DPO 家族(直接偏好优化)
训练流程先训奖励模型,再用 PPO 在线采样优化,策略、参考、奖励、价值四模型同台不训奖励模型,离线偏好对直接算损失,只需策略模型加冻结参考模型
成本高:显存与工程量都翻倍,训练周期长低:一次普通微调的量级
稳定性脆:超参敏感,训练曲线抖动,实现细节多稳:就是监督式训练,收敛行为可预期
效果上限高:在线采样能探索偏好数据之外的区域受偏好数据质量封顶:数据里没有的比较,模型学不到
适用场景资源充足、追求上限、有专门对齐团队个人与小团队、快速迭代、偏好数据现成

  小工程的实况可以给这张表一个注脚。minimind(Apache 2.0)的对齐训练入口是 DPO:参考模型直接把全量 SFT 权重复制一份冻结(trainer/train_dpo.py:第 176–180 行),β 默认 0.15,学习率压到 4e-8,代码注释写明「建议 ≤5e-8 避免遗忘」。这组参数对应较低成本、较稳定的训练,并限制更新偏离 SFT 模型的幅度。minimind 也没有专门的安全对齐环节,安全行为完全由数据决定:偏好数据里有什么样的 chosen,模型就学成什么样,10.5.1 的机制在这个 64M 小工程里同样适用。

  路线选定之后,还剩一个更软的问题:对齐做到哪一步算够?本章走下来,有三个问题至今没有令人满意的答案:

  • 奖励 hacking:奖励模型只是人类偏好的代理,代理必有漏洞,模型总能找到拿高分但不真正更好的回答(10.2 节的长度偏见是典型案例);KL 罚项只是缓解,治不了根。
  • 偏好数据质量封顶:无论 RLHF 还是 DPO,天花板都是偏好数据本身的判断力;标注员分辨不出的细微好坏,训练信号里就不存在。
  • 安全评估困难:拒答行为该不该发生依赖语境与边界清单,自动化评测只能覆盖已知攻击模式,红队测不到的地方不等于安全,评测方法论本身的难处就藏在这里。

  针对奖励模型容易被欺骗的问题,一种后续路线是使用能自动判对错的奖励:数学答案是否等价、代码是否通过测试,都有客观校验标准。第 11 章介绍的 RLVR(可验证奖励的强化学习)把奖励从「另一个模型的猜测」换成「可核验的事实」,从而降低这一类奖励作弊的风险。

🧭本节要点回顾
危险请求的 chosen 回答应该长什么样,为什么不能只是「无法回答」?
chosen 是「礼貌拒答 + 给出安全替代」:说明拒绝理由,指出合法替代路径。只写「无法回答」的数据会把拒答训成一刀切动作,模型对正常请求也甩这四个字,直接制造 10.5.3 的过度拒答。拒答风格本身就是要教的行为。
Constitutional AI 的两个阶段各做什么,省掉了哪一环的人工?
阶段一 SL-CAI:模型对照原则清单自我批评并改写自己的有害回答,用改写结果做监督微调;阶段二 RLAIF:AI 评委按原则比较两个回答,产出 AI 偏好数据训偏好模型,再做强化学习。省掉的是逐条比较与改写的人工,人类唯一的输入是那份原则清单——监督从打分上移到定规则。
什么是对齐税,有哪些办法压低它?
对齐税指对齐训练带来的能力回退,典型形态是过度拒答。压低办法:HHH 论文发现适度干预不损害大模型表现;InstructGPT 用 PPO-ptx 混入预训练梯度,把基准回退压到很小;数据侧用分级拒答(明确危险拒答并解释、灰色地带回答加提示、正常请求全力答)替代二元开关。税可减免,不能指望自动归零。

参考来源

  • Askell et al., 2021. A General Language Assistant as a Laboratory for Alignment(HHH,arXiv:2112.00861):Helpful / Honest / Harmless 目标;适度对齐干预的收益随规模增大且不损害大模型表现(经摘要核对)。
  • Bai et al., 2022. Constitutional AI: Harmlessness from AI Feedback(arXiv:2212.08073):SL-CAI 自我批评改写 + RLAIF 两阶段流程;无害但不回避的助手;人类监督压缩为原则清单(经摘要核对)。
  • Touvron et al., 2023. Llama 2: Open Foundation and Fine-Tuned Chat Models(arXiv:2307.09288):模型规模 7B–70B;安全专项 SFT、安全偏好模型与红队演练(第 4.3 节)的实践参照(摘要与检索核对;红队规模等细节未逐项核对,正文只做定性描述)。
  • Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):对齐后公开 NLP 基准性能回退很小(minimal performance regressions,经摘要核对);PPO-ptx 机制见 10.3 节。
  • minimind(Apache 2.0):trainer/train_dpo.py 第 176–180 行(冻结参考模型)、β=0.15、学习率 4e-8(注释建议 ≤5e-8 避免遗忘),作为小工程落地 DPO 的实证。
  • 待核实事项:Constitutional AI 原则清单的具体条目为转述,原文措辞以论文附录为准;Llama 2 红队演练的规模与轮次未逐项核对。