9.5 参数高效微调家族:QLoRA 与选型策略
本页范围:第 9 章第 5 节 | 整理时间:2026-10-08
9.4 节介绍了 LoRA 的内部机制:冻结基座权重、用低秩乘积 \(\Delta W = BA\) 表示权重更新、训完还能合并回去。参数高效微调家族从 2019 年起出现了多条路线,分别以不同方式减少可训练参数。2023 年的 QLoRA 则保持参数化方式不变,把基座权重压到 4bit 存放;与 LoRA 叠加后,进一步降低微调的显存需求。
本节把镜头从 LoRA 内部拉远到整个家族,按四条线索推进:
- PEFT 家族简史:四条技术路线(9.5.1):Adapter、Prefix-Tuning / Prompt Tuning、LoRA、QLoRA 各自把「少量参数」安放在哪里,为什么 LoRA 成了事实标准;
- QLoRA:4bit 基座上的 LoRA(9.5.2):NF4 量化、双重量化、分页优化器三件省显存法宝,以及「梯度只走旁路」的关键认知;
- LoRA 超参实战:rank、alpha 与学习率(9.5.3):r 选多大、α 怎么配、挂在哪些模块上、学习率为什么比全量高一个数量级;
- 选型决策:全量、LoRA、QLoRA(9.5.4):三档方案对照表与一棵决策树,先按显存分流,再按工程需求定案。
本节也是第 9 章的收尾。读完应该能带走两样东西:一张 PEFT 家族地图,一套可以直接套用的选型流程。
图 1 标出参数高效微调在 LLM 生命周期中的位置,图 2 给出全量微调、LoRA 与 QLoRA 的选型流程。
这个紫框放大之后,落到实战只剩一个问题:手里的资源该选哪档方案?把选型决策树单独拆开看:
9.5.1 PEFT 家族简史:四条技术路线
先交代家族出场的背景。全量微调有两个绕不开的痛处:一是显存,权重、梯度、优化器状态全部按参数量摊账,模型一大就装不下;二是存储与部署,每接一个下游任务就产出一整份模型副本,十个任务十份权重,运维成本随任务数线性膨胀。参数高效微调家族的全部工作,都是围绕这两个痛处做文章:冻结基座的绝大部分参数,只让一小撮参数参与训练。
一族微调方法的统称,共同点是冻结基座模型的绝大部分权重,只训练新增的或特意留出的小参数集。各家路线的分歧不在「要不要省」,而在「少量参数放在哪」:塞进网络层间、拼在输入前面、还是给权重更新换一种低秩写法。可训练参数量通常从全量的 100% 压到 1% 乃至更低的量级。
四条路线的对比如下。表中的年份与出处对应各路线的原始论文:
| 路线(出处) | 做法 | 训练什么 | 代价 / 局限 |
|---|---|---|---|
| Adapter(Houlsby et al., 2019,arXiv:1902.00751) | 在 Transformer 层之间插入小型 MLP 模块:先降维再升维的瓶颈结构,串联进原有前向链路 | 只训练这些新插入的 Adapter 模块,基座冻结 | 参数确实省,但推理时每层多一次串行计算,带来额外延迟;模块加进链路里,无法无损摘除 |
| Prefix-Tuning(Li & Liang, 2021,arXiv:2101.00190)/ Prompt Tuning(Lester et al., 2021,arXiv:2104.08691) | 只训练拼在输入前面的一段连续向量(可学习的「软提示」);Prefix-Tuning 在每一层的键、值前都拼前缀,Prompt Tuning 只在输入嵌入层前拼 | 只训练这段前缀向量,模型权重一个不动 | 前缀要占用上下文窗口的有效长度;软提示是连续向量,不可读、不可迁移到其他基座 |
| LoRA(Hu et al., 2021,arXiv:2106.09685) | 给权重矩阵加一条低秩旁路 \(\Delta W = BA\),训练两个低秩小矩阵 \(A\)、\(B\) | 只训练旁路,基座冻结;训完可把 \(\Delta W\) 并回原权重 | 推理零额外延迟(合并后与基座结构完全一致);表达能力受秩 \(r\) 上限约束 |
| QLoRA(Dettmers et al., 2023,arXiv:2305.14314) | 把基座权重量化到 4bit 冻结存放,再在上面挂 LoRA 旁路 | 仍只训练 LoRA 旁路;基座以 4bit 形式只读使用 | 省的是显存而非参数量;量化引入额外实现复杂度(量化细节第 13 章细讲) |
四条路线的演进逻辑,是「少量参数安放位置」的三次迁移。Adapter 把新参数塞进网络结构内部,问题随之暴露:推理时多出一层串行计算,延迟降不下去。Prefix 系干脆把参数挪出权重,移到输入空间里——模型权重彻底不动,代价是软提示要吃掉一段上下文窗口,而且学出来的是一段人读不懂的连续向量。LoRA 换了第三种思路:不加结构、不改输入,改的是权重更新的参数化方式,更新量写成两个低秩矩阵的乘积;更关键的是它能合并,训练完成后 \(BA\) 直接加回原权重,推理架构与基座一模一样,延迟归零。QLoRA 与前三者不在同一维度上:它不改变「训练什么」,改变的是「基座怎么存放」,因此能与 LoRA 正交叠加。
LoRA 成为事实标准,依靠三项特性的组合:可训练参数省到 1% 量级、合并后推理零额外延迟、实现只需给线性层挂一条旁路。Adapter 的主要代价是增加推理延迟,Prefix 系则在推理开销和实现方式上存在取舍。
这个家族至今仍在扩张,每年都有新变体出现。读新论文时不必逐个记名字,用三问归类即可:少量参数放在哪里(结构内、输入前、权重旁路)、训完能不能无损合并回原权重、推理时有没有引入额外计算。三问答完,新路线在家族地图上的位置就定了,优劣也能对照四条老路线推出来。
9.5.2 QLoRA:4bit 基座上的 LoRA
LoRA 已经把可训练参数压到 1% 量级,但有一笔账它没动:基座权重本身仍要以 16bit 完整加载进显存。65B 参数的模型,仅权重按 bf16(16 位脑浮点格式,第 7 章混合精度讲过)存放就约 130 GB(65 × 10⁹ 参数 × 2 字节),单卡望尘莫及。QLoRA 的目标就是这一笔:基座不训练,凭什么按 16bit 全精度供着?压到 4bit 存放,显存直接除以四。它由三件相互配合的零件组成。
第一件:NF4 量化冻结基座
4bit 只能表示 16 个刻度。均匀分布的刻度(如普通的 4bit 浮点)把 16 个格子等距排开,可预训练权重近似服从零中心的正态分布——绝大多数值挤在零附近,等距刻度等于把珍贵的格子浪费在空旷的两头。NF4 的做法:按标准正态分布的分位数摆放 16 个刻度,让每个刻度覆盖的权重数量大致相等,中间密、两头疏。权重先按块归一化到 \([-1, 1]\),再落到最近的刻度上。Dettmers 等人证明,对近似正态的权重,这种刻度在信息论意义上是最优的 4bit 表示之一。
基座权重以 NF4 形式整块冻结:前向计算时被即时反量化回 bf16 参与矩阵运算,算完即弃,不存梯度、不存优化器状态。
第二件:双重量化
量化本身也要花钱。NF4 按块归一化,每一小块权重都要额外存一个缩放常量;模型一大,这些常量聚起来也相当可观。双重量化(Double Quantization)的做法很直接:把第一批量化产生的缩放常量当作新数据,再做一次量化,常量也按低精度存放。一层套一层,把量化自身的开销再压一截。
第三件:分页优化器
显存占用不是平稳曲线,处理超长序列、大批次的检查点时会突然冒尖,尖峰时刻最容易 OOM(显存耗尽)。分页优化器(Paged Optimizers)借用操作系统的统一内存机制:平时优化器状态住在显存里,尖峰来临时把这部分状态临时换页到内存(RAM),峰过了再换回来,用时间换空间,把偶发的尖峰削平。
QLoRA 的关键认知:梯度只流向 bf16 精度的 LoRA 旁路,基座全程冻结,只是个被量化压缩存放的「只读仓库」——前向时临时解压出来参与计算,反向时一个梯度都不收。可训练部分(旁路、优化器、梯度)与纯 LoRA 完全一样,QLoRA 省下的全是基座存放那一笔。
三件零件合起来的效果,论文用一组数字做了广告:Guanaco 65B(QLoRA 论文配套的微调模型)在单张 48GB 显卡上完成微调,且在论文评测的基准上与 16bit 全量微调的效果持平。量化反压缩会不会掉点,是这类方法最自然的疑问,QLoRA 的回答落在 NF4 的刻度设计上——刻度按权重分布量身定做,压缩损失被压到可忽略区间。
本节只给量化的最小够用版:知道 NF4 是「按正态分布分位数摆刻度」、双重量化是「常量再量化」、分页优化器是「尖峰换页到内存」,就够读懂 QLoRA 了。量化的系统讲解——int8、fp8、GPTQ、AWQ、KV Cache 量化——在第 13 章推理部署里展开。
9.5.3 LoRA 超参实战:rank、alpha 与学习率
LoRA 的机制 9.4 节已经讲完,实战中真正要拍板的是四个超参数。先回顾决定前两者的公式。LoRA 论文里,旁路对前向的实际贡献要乘上一个缩放系数:
rank(r):旁路的表达能力预算
常见取值 8 到 64。选取逻辑看任务与基座的差距:微调目标与基座已有能力差距越大(比如通用基座转垂直领域),需要的表达能力越强,\(r\) 往大选;只是学个格式、换个口吻,小 \(r\) 就够。代价也直接:旁路参数量随 \(r\) 线性增长,\(r\) 翻倍,可训练参数、显存占用、训练算力同步翻倍。minimind 的教学实现默认 rank=16(minimind(Apache 2.0),model/model_lora.py:21),落在常见区间中段,是教学与轻量任务的稳妥起点。
alpha(α):旁路的音量旋钮
按公式 (1),\(\Delta W\) 要乘 \(\alpha/r\)。常见配置是 \(\alpha = r\) 或 \(\alpha = 2r\),即缩放系数固定在 1 或 2:这样无论 \(r\) 取 8 还是 64,旁路输出幅度保持在同一量级,调 \(r\) 时学习率不用跟着大动。LoRA 论文对此的解释是,调 \(\alpha\) 的效果大致相当于调学习率,固定 \(\alpha\) 比例可以把两个旋钮合并成一个。
target modules:旁路挂在哪里
最早的做法只给注意力里的 query、value 两个投影矩阵挂旁路(LoRA 论文的默认消融配置);后来的实践一路加码,key、output 投影、前馈层、直到所有线性层全挂。规律很直白:挂得越多,越接近全量微调的效果,也越接近全量微调的成本——可训练参数与显存随挂点数同步上涨。minimind 的实现走了「全挂」一侧:apply_lora 遍历模型里所有 nn.Linear,给输入输出维度相同的线性层统统挂上旁路(minimind(Apache 2.0),model/model_lora.py:21-32),小模型参数总量不大,全挂的开销可控,教学上也更省心。
learning rate:比全量高一个数量级
LoRA 的学习率通常比全量微调高约一个数量级。minimind 的两个默认值的对比很典型:LoRA 训练默认 1e-4(minimind(Apache 2.0),trainer/train_lora.py:75),全量 SFT 默认 1e-5(minimind(Apache 2.0),trainer/train_full_sft.py:81),正好差十倍。原因有两层:一是可训练参数只有一个小子集,每一步更新集中砸在旁路上,步子可以更大;二是旁路从零初始化起步(\(BA\) 初始为零,基座输出不受扰动),与预训练权重「已经在好解附近」的全量微调处境不同,需要更大的步长赶路。
注意:LoRA 一样会过拟合。小数据集上常见的误区是以为参数少就免疫:旁路参数虽少,照样能把几千条样本背下来。对策与全量一致——少跑几个 epoch、盯住验证集 loss 早停,不要因为「只是 LoRA」就放松监控。
9.5.4 选型决策:全量、LoRA、QLoRA
机制讲完,落到最实际的问题:手里一个 base model、一份任务数据,三档方案选哪个?先把三档摆在一张表里对照。表中显存与参数量的表述都是量级对比,具体数字随模型规模与超参配置浮动:
| 方案 | 可训练参数量 | 显存需求 | 效果上限 | 适用场景 |
|---|---|---|---|---|
| 全量 SFT | 全部参数(100%) | 最高:权重、梯度、优化器状态全量摊账 | 最高,无任何表达约束 | 追求极致效果且资源充足;任务与基座能力差距大 |
| LoRA | 约省两个数量级(约 1% 量级,随 \(r\) 与挂点数浮动) | 中等:基座仍以 16bit 加载,但梯度与优化器只伺候旁路 | 多数下游任务上接近全量,受秩 \(r\) 约束 | 多任务快速切换(一个基座配多个旁路)、需要保留基座、要求合并部署零延迟 |
| QLoRA | 与 LoRA 相同(仍只训练旁路) | 最低:基座 4bit 存放 + 分页优化器削尖峰 | 论文报告与 16bit 全量微调持平(NF4 刻度设计下) | 显存放不下全量的场景;单卡微调大模型(如 65B 配单张 48GB 显卡) |
对照表收敛成三句话的选型结论:显存是硬约束,放不下全量就直接 QLoRA,没有讨价还价的余地;显存放得下、但要多任务快速切换、要保留基座、或者要合并部署保证零推理延迟,选 LoRA;显存充裕、不在乎成本、就是要榨干最后一分效果,选全量 SFT。这个流程的决策树见本节开头的图 2:先按显存分流,再按工程需求定案。
图 2 决策树里 LoRA 节点的「一个基座可挂多个旁路」值得展开一句,这是它在工程上很有实用价值的性质。旁路权重是独立保存的小文件——minimind 训练时只保存 LoRA 参数本身(minimind(Apache 2.0),trainer/train_lora.py:62-63),部署时哪个任务上线,就把哪个旁路的 \(BA\) 乘积加回基座权重,minimind 的 merge_lora 函数做的正是这次加法(minimind(Apache 2.0),model/model_lora.py:56-65)。一份基座权重配 N 个小旁路文件,换任务只换旁路,存储和切换成本都压到极低,这正是 9.5.1 开头「十个任务十份权重」痛处的直接解法。
至此第 9 章收尾。回顾全章:SFT 教会了模型「按格式回答」——给定指令,照指令数据的样子组织回答;LoRA 与 QLoRA 把这件事的成本压到单卡可承受。但格式正确只是下限,回答得好不好、安全不安全、是不是读者真正想要的答案,SFT 的模仿学习管不了。这需要一个能表达「两个回答哪个更好」的训练信号,也就是偏好对齐要解决的问题——第 10 章就从 RLHF 讲起。
参考来源
- Houlsby et al., 2019. Parameter-Efficient Transfer Learning for NLP(Adapter 原始论文,arXiv:1902.00751)。
- Li & Liang, 2021. Prefix-Tuning: Optimizing Continuous Prompts for Generation(Prefix-Tuning 原始论文,arXiv:2101.00190)。
- Lester et al., 2021. The Power of Scale for Parameter-Efficient Prompt Tuning(Prompt Tuning 原始论文,arXiv:2104.08691)。
- Hu et al., 2021. LoRA: Low-Rank Adaptation of Large Language Models(LoRA 原始论文,arXiv:2106.09685):\(\Delta W = \frac{\alpha}{r}BA\) 的缩放设计、α 相当于学习率的说明、默认挂 query / value 投影的消融配置。
- Dettmers et al., 2023. QLoRA: Efficient Finetuning of Quantized LLMs(arXiv:2305.14314):NF4 分位数量化、双重量化、分页优化器三件机制,Guanaco 65B 单张 48GB 显卡微调及与 16bit 全量微调效果持平的结论。
- minimind(Apache 2.0):
apply_lora默认 rank=16 及全量线性层挂旁路的实现(model/model_lora.py:21-32),LoRA 训练默认学习率 1e-4(trainer/train_lora.py:75),全量 SFT 默认学习率 1e-5(trainer/train_full_sft.py:81),LoRA 权重独立保存与合并实现(trainer/train_lora.py:62-63;model/model_lora.py:56-65)。