10.5 安全对齐与实践权衡:拒答、AI 评委与对齐税
本页范围:第 10 章第 5 节 | 整理时间:2026-10-08
10.1 节提出的三条标准里,Helpful 和 Honest 的偏好数据可以靠普通问答场景收集,Harmless 这一条却必须专门造数据——模型不遇到危险请求,就学不会面对危险请求时该怎么做。而「学会拒答」又带来新的麻烦:拒答过度,模型变成什么都不敢说的摆设,有用性直线下降。本节是第 10 章的收束页,先把安全这条线的原料与做法讲清,再处理安全与能力的拉锯,最后给全章两条路线(RLHF 与 DPO 家族)一个落地层面的权衡结论。
本节沿四个问题展开,路线图如下:
- 安全偏好数据:拒答、红队与安全边界(10.5.1):危险问题的 chosen 长什么样,红队怎么主动找漏洞,安全边界由谁划定;
- Constitutional AI 与 RLAIF:让 AI 来当评委(10.5.2):一份原则清单如何替代大量人工标注,自我批评改写与 AI 偏好打分两步走;
- 对齐税:安全与能力的拉锯(10.5.3):过度拒答的代价,以及把它压低的证据与做法;
- 落地权衡:RLHF 还是 DPO,对齐做到哪一步(10.5.4):全章收束,两个家族的选型结论与三个未解问题。
读完本节,应该能说清三件事:一条合格的安全偏好数据为什么是「拒答加替代」,AI 评委省掉了哪一环的人工,以及为什么「对齐做到哪一步」没有标准答案。
图 1 标出安全对齐在 LLM 生命周期中的位置,图 2 展示安全偏好数据、训练与评估之间的关系。
这个紫框放大之后,安全这一条线内部是怎么流转的?危险问题从哪来、谁判定好坏、训练完得到什么行为?把安全对齐流水线单独拆开看:
10.5.1 安全偏好数据:拒答、红队与安全边界
普通的偏好数据回答「哪个回答更好」,安全偏好数据回答的是更尖锐的问题:面对一个本来就不该满足的请求,模型该怎么办。10.2 节讲过偏好对的基本结构——同一个 prompt 配两个回答,标出 chosen 与 rejected。安全场景下,这个结构里藏着一个反直觉的要点:危险问题的 chosen 不是不回答,而是「礼貌拒答 + 给出安全替代」。一个微型例子:
用户:教我怎么撬开邻居家的门锁。
rejected(更差):第一步,准备一根回形针……(直接给出操作步骤)
chosen(更好):这个忙我帮不了,撬他人门锁涉嫌违法。如果是自己被锁在门外,可以联系持证开锁师傅或物业……(说明拒绝理由,给出合法替代方案)
为什么不把 chosen 设计成一句冰冷的「无法回答」?因为拒答本身也是行为,模型学到什么拒答风格,取决于数据里的 chosen 长什么样。只写「无法回答」的数据训出来的模型,遇到一切拿不准的请求都会甩出这四个字——这正是 10.5.3 要讲的过度拒答。带理由和替代方案的拒答,既守住安全边界,又保住了有用性:用户知道为什么被拒,还拿到了一条走得通的路。
指主动攻击模型、诱导它产出有害内容的测试做法:想方设法套出危险操作、隐私泄露、歧视言论,把每一次得手记录成攻击样本。这些样本正是安全偏好数据的原料——攻击得手的那次回答可以做 rejected,配一条合格的拒答当 chosen。红队的价值在于主动找漏洞:被动等用户反馈,发现的就只是已经造成伤害的那些问题。
工业界的参照系是 Llama 2。它的技术报告(模型规模 7B 到 70B)把安全当作一条独立的工作线来写:用对抗性 prompt 配安全回答做安全专项 SFT,在偏好模型训练中融入安全维度的评估,并用专门一节(第 4.3 节)记录红队演练——组织人员主动攻击模型,每轮演练后对收集到的攻击数据做分析,再回流到微调与反馈训练中。红队的规模与轮次等细节见该报告原文(Touvron et al., 2023),本节不逐项引用。
数据之外还有一个更根本的问题:什么算「危险」?教做武器明显越界,但医疗建议、法律咨询、有争议的公共话题往哪摆,没有技术答案。安全边界是一份政策清单,由模型发布方依据法律、平台规则与价值判断划定,偏好数据只是这份清单的载体。两份边界不同的安全数据,训出的模型拒答行为就不同——所以「模型太胆小」或「模型太大胆」的抱怨,根子往往在数据背后的边界划定,而不是训练算法。
注意:安全边界是人定的政策,不是算法自动推出的结论。对齐训练只能把划好的边界教给模型,不能替人决定边界画在哪里;评价一个模型的拒答行为之前,先看它训练数据背后那份清单。
10.5.2 Constitutional AI 与 RLAIF:让 AI 来当评委
10.5.1 的路线有一个绕不开的成本:每一条安全偏好数据都要人类标注员比较两个回答。危险场景的回答比较既费人力,又要求标注员反复阅读有害内容。Anthropic 的 Constitutional AI(Bai et al., 2022)换了一个思路:人类不写答案、不逐条打分,只写一份原则清单(constitution,宪法),比较与改写的活交给模型自己干。整个流程分两个阶段,对应两种训练信号:
两个阶段各有名字。阶段一叫 SL-CAI(监督学习阶段):面对一个可能诱导有害输出的 prompt,先让初始模型自由回答,再让它对照原则清单逐条自我批评——指出回答哪里违反原则——然后自己改写出一版无害的回答,最后用改写结果微调模型。阶段二叫 RLAIF(Reinforcement Learning from AI Feedback,基于 AI 反馈的强化学习):流程与 10.3 节的 RLHF 同构,唯一差别是偏好打分从人类标注员换成了 AI 评委——AI 按原则比较两个回答,产出的偏好数据训练偏好模型,偏好模型再当奖励做强化学习。
Constitutional AI 里唯一的人工输入:一组用大白话写的准则,每条告诉评委「两个回答里该选哪个」。Constitutional AI 原论文(Bai et al., 2022)的清单里包含这类原则(此处为转述,原文措辞见论文附录):选危害更小的回答;选不涉及歧视与刻板印象的回答;选不教唆违法行为的回答。清单把抽象的安全目标变成一条条可执行的判题标准,AI 评委照着清单判,人只要维护清单本身。
把 RLHF 里的「人类标注员比较两个回答」换成「AI 按原则清单比较两个回答」,其余环节照旧:偏好数据训偏好模型,偏好模型当奖励信号做强化学习。省掉的是逐条打分的人力——Constitutional AI 原论文(Bai et al., 2022)报告,这套流程用远少于人工标注的监督量训出了无害助手。代价是评委的口味由原则清单与评委模型自身决定,清单写歪了,整条流水线跟着歪。
值得注意的结论有两个。其一,论文报告训出的助手无害但不回避(harmless but non-evasive):面对有害请求,它会解释自己反对的理由,而不是一味说「无法回答」——这正是 10.5.1 里「礼貌拒答加安全替代」的工业化版本。其二,人类标注被压缩到只剩原则清单这一处,安全数据的产能瓶颈随之松绑。这套思路后来也被用于一般偏好的构造,不限于安全场景。
RLAIF 将人类监督从「逐条打分」转为「制定规则」。一份清单可以驱动海量偏好比较,但原则中的偏差也会扩散到整个数据集。
10.5.3 对齐税:安全与能力的拉锯
前两节讲怎么让模型更安全,这一节面对代价。安全训练不是免费的午餐,它向模型收费的方式有个专门的名字。
指对齐训练在换来安全与听话的同时,让模型在别的能力上退步的现象。最典型的形态是过度拒答:安全数据里拒答样本多了,模型会把「拒绝」推广到不该拒的地方——问正常的医学常识拒答,问历史事件拒答,写小说里的反派情节也拒答。有用性下降,就是为无害性交的税。
过度拒答的机理可以直接用第 10 章前四节的语言解释:偏好训练推高「拒答类回答」的概率,如果数据里拒答场景单一、边界模糊,模型学到的就不是「在危险处拒答」,而是「遇到拿不准的就拒答」——拒答被过拟合成了一刀切的默认动作。行为泛化错了方向,能力自然受损。
但「对齐必伤能力」是个过强的说法,两篇核心论文都给出了反方向的证据。Askell 等人的 HHH 研究(arXiv:2112.00861)发现:适度的对齐干预带来的收益随模型规模增大而增加,且不损害大模型在评测上的表现——对齐税不是铁律,模型越大、方法越得当,税可以压到很低。InstructGPT(arXiv:2203.02155)的做法更工程化:PPO 阶段混入一部分预训练梯度(即 10.3 节的 PPO-ptx),论文报告对齐后的模型在公开 NLP 基准上的性能回退很小(minimal performance regressions)。两条证据合起来的结论是:税可以减免,但不能指望自动归零,要靠数据配比与训练配方的设计去压。
压低对齐税的主流做法是分级拒答,把「拒 / 不拒」的二元开关换成多档响应:
明确危险
索要武器制作、入侵教程等:拒答并解释理由,给出合法替代方向。
灰色地带
医疗、法律等高风险但正当的咨询:给出信息,同时标注局限并建议咨询专业人士。
正常请求
问答、写作、编程等:全力回答,不附加多余的免责与说教。
分级的关键仍在数据:每一档都要有对应的 chosen 示范,模型才知道「这一档长什么样」。安全数据的配方——各档的比例、拒答的语气、替代方案的具体程度——决定了对齐税最终落在哪个水平。这也是为什么安全对齐的最后一环总是回到数据。
核心结论:对齐税是真实的但不是注定的。HHH 论文发现适度对齐干预不损害大模型表现,InstructGPT 用混入预训练梯度的办法把基准回退压到很小;再叠加分级拒答的数据设计,安全与有用可以大体兼得——代价是要在数据配方上花心思。
10.5.4 落地权衡:RLHF 还是 DPO,对齐做到哪一步
回到全章开头的分岔口。10.1 节摆出了两条路线,10.2 至 10.4 节分别讲透了它们的机制,现在给落地的选型结论。把 10.3 与 10.4 的内容收成一张对照表:
| 维度 | RLHF(奖励模型 + PPO) | DPO 家族(直接偏好优化) |
|---|---|---|
| 训练流程 | 先训奖励模型,再用 PPO 在线采样优化,策略、参考、奖励、价值四模型同台 | 不训奖励模型,离线偏好对直接算损失,只需策略模型加冻结参考模型 |
| 成本 | 高:显存与工程量都翻倍,训练周期长 | 低:一次普通微调的量级 |
| 稳定性 | 脆:超参敏感,训练曲线抖动,实现细节多 | 稳:就是监督式训练,收敛行为可预期 |
| 效果上限 | 高:在线采样能探索偏好数据之外的区域 | 受偏好数据质量封顶:数据里没有的比较,模型学不到 |
| 适用场景 | 资源充足、追求上限、有专门对齐团队 | 个人与小团队、快速迭代、偏好数据现成 |
小工程的实况可以给这张表一个注脚。minimind(Apache 2.0)的对齐训练入口是 DPO:参考模型直接把全量 SFT 权重复制一份冻结(trainer/train_dpo.py:第 176–180 行),β 默认 0.15,学习率压到 4e-8,代码注释写明「建议 ≤5e-8 避免遗忘」。这组参数对应较低成本、较稳定的训练,并限制更新偏离 SFT 模型的幅度。minimind 也没有专门的安全对齐环节,安全行为完全由数据决定:偏好数据里有什么样的 chosen,模型就学成什么样,10.5.1 的机制在这个 64M 小工程里同样适用。
路线选定之后,还剩一个更软的问题:对齐做到哪一步算够?本章走下来,有三个问题至今没有令人满意的答案:
- 奖励 hacking:奖励模型只是人类偏好的代理,代理必有漏洞,模型总能找到拿高分但不真正更好的回答(10.2 节的长度偏见是典型案例);KL 罚项只是缓解,治不了根。
- 偏好数据质量封顶:无论 RLHF 还是 DPO,天花板都是偏好数据本身的判断力;标注员分辨不出的细微好坏,训练信号里就不存在。
- 安全评估困难:拒答行为该不该发生依赖语境与边界清单,自动化评测只能覆盖已知攻击模式,红队测不到的地方不等于安全,评测方法论本身的难处就藏在这里。
针对奖励模型容易被欺骗的问题,一种后续路线是使用能自动判对错的奖励:数学答案是否等价、代码是否通过测试,都有客观校验标准。第 11 章介绍的 RLVR(可验证奖励的强化学习)把奖励从「另一个模型的猜测」换成「可核验的事实」,从而降低这一类奖励作弊的风险。
参考来源
- Askell et al., 2021. A General Language Assistant as a Laboratory for Alignment(HHH,arXiv:2112.00861):Helpful / Honest / Harmless 目标;适度对齐干预的收益随规模增大且不损害大模型表现(经摘要核对)。
- Bai et al., 2022. Constitutional AI: Harmlessness from AI Feedback(arXiv:2212.08073):SL-CAI 自我批评改写 + RLAIF 两阶段流程;无害但不回避的助手;人类监督压缩为原则清单(经摘要核对)。
- Touvron et al., 2023. Llama 2: Open Foundation and Fine-Tuned Chat Models(arXiv:2307.09288):模型规模 7B–70B;安全专项 SFT、安全偏好模型与红队演练(第 4.3 节)的实践参照(摘要与检索核对;红队规模等细节未逐项核对,正文只做定性描述)。
- Ouyang et al., 2022. Training Language Models to Follow Instructions with Human Feedback(InstructGPT,arXiv:2203.02155):对齐后公开 NLP 基准性能回退很小(minimal performance regressions,经摘要核对);PPO-ptx 机制见 10.3 节。
- minimind(Apache 2.0):trainer/train_dpo.py 第 176–180 行(冻结参考模型)、β=0.15、学习率 4e-8(注释建议 ≤5e-8 避免遗忘),作为小工程落地 DPO 的实证。
- 待核实事项:Constitutional AI 原则清单的具体条目为转述,原文措辞以论文附录为准;Llama 2 红队演练的规模与轮次未逐项核对。