9.5 参数高效微调家族:QLoRA 与选型策略

本页范围:第 9 章第 5 节 | 整理时间:2026-10-08

快速浏览

核心问题全量微调之外,参数高效微调(PEFT)家族还有哪些成员?QLoRA 凭什么把 65B 模型的微调塞进一张 48GB 显卡?实战里全量、LoRA、QLoRA 三档方案怎么选?
本节主张PEFT 四条路线的差别在「少训练参数」的实现位置:Adapter 改结构、Prefix 系改输入、LoRA 改权重更新的参数化方式,QLoRA 则把基座量化到 4bit、与 LoRA 正交叠加。选型先看显存硬约束,再看工程需求。
一句话结论显存放不下全量就用 QLoRA,要多任务切换、保留基座、合并部署零延迟就用 LoRA,追求效果上限且资源充足才上全量 SFT;QLoRA 的精髓是梯度只走 bf16 的 LoRA 旁路,基座只做量化存放的只读仓库。
关键词
PEFTAdapterPrefix-TuningPrompt TuningQLoRANF4双重量化选型策略

  9.4 节介绍了 LoRA 的内部机制:冻结基座权重、用低秩乘积 \(\Delta W = BA\) 表示权重更新、训完还能合并回去。参数高效微调家族从 2019 年起出现了多条路线,分别以不同方式减少可训练参数。2023 年的 QLoRA 则保持参数化方式不变,把基座权重压到 4bit 存放;与 LoRA 叠加后,进一步降低微调的显存需求。

  本节把镜头从 LoRA 内部拉远到整个家族,按四条线索推进:

  1. PEFT 家族简史:四条技术路线(9.5.1):Adapter、Prefix-Tuning / Prompt Tuning、LoRA、QLoRA 各自把「少量参数」安放在哪里,为什么 LoRA 成了事实标准;
  2. QLoRA:4bit 基座上的 LoRA(9.5.2):NF4 量化、双重量化、分页优化器三件省显存法宝,以及「梯度只走旁路」的关键认知;
  3. LoRA 超参实战:rank、alpha 与学习率(9.5.3):r 选多大、α 怎么配、挂在哪些模块上、学习率为什么比全量高一个数量级;
  4. 选型决策:全量、LoRA、QLoRA(9.5.4):三档方案对照表与一棵决策树,先按显存分流,再按工程需求定案。

  本节也是第 9 章的收尾。读完应该能带走两样东西:一张 PEFT 家族地图,一套可以直接套用的选型流程。

  图 1 标出参数高效微调在 LLM 生命周期中的位置,图 2 给出全量微调、LoRA 与 QLoRA 的选型流程。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (本节内容) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:本节内容在 LLM 生命周期中的位置。训练数据(第 1 章)经预训练(第 6 章)、训练工程(第 7 章)与中间训练(第 8 章)交出 base model;SFT(本章)把它调成会对话的助手,随后接偏好对齐(第 10 章)与推理训练(第 11 章),最终进入推理与部署(第 12–13 章)。本节是这一站的收尾:把 LoRA 放回 PEFT 家族地图,并给出全量、LoRA、QLoRA 三档方案的选型流程。

  这个紫框放大之后,落到实战只剩一个问题:手里的资源该选哪档方案?把选型决策树单独拆开看:

原创示意图 · 非论文原图 要微调一个 base model 显存装得下 全量微调吗? 否 QLoRA 4bit 基座 + LoRA 旁路 Guanaco 65B 单卡 48GB 是 多任务切换、保留基座、 零推理延迟,都要吗? 否 全量 SFT 效果上限最高 成本也最大 是 LoRA 可训练参数省约两个数量级 可合并部署 · 推理零额外延迟 一个基座可挂多个旁路 判定顺序:先看显存硬约束,再看工程需求
图 2:SFT 方案选型的局部放大——全量、LoRA、QLoRA 三档决策树。先按显存硬约束分流:装不下全量微调就走 QLoRA(4bit 基座 + LoRA 旁路);装得下再看工程需求:要多任务切换、保留基座、零推理延迟,选 LoRA;都不需要且追求效果上限,选全量 SFT。9.5.4 会给出这棵决策树背后的对照账。

9.5.1 PEFT 家族简史:四条技术路线

  先交代家族出场的背景。全量微调有两个绕不开的痛处:一是显存,权重、梯度、优化器状态全部按参数量摊账,模型一大就装不下;二是存储与部署,每接一个下游任务就产出一整份模型副本,十个任务十份权重,运维成本随任务数线性膨胀。参数高效微调家族的全部工作,都是围绕这两个痛处做文章:冻结基座的绝大部分参数,只让一小撮参数参与训练。

参数高效微调 PEFT Parameter-Efficient Fine-Tuning = 只训练少量参数的微调方法总称

一族微调方法的统称,共同点是冻结基座模型的绝大部分权重,只训练新增的或特意留出的小参数集。各家路线的分歧不在「要不要省」,而在「少量参数放在哪」:塞进网络层间、拼在输入前面、还是给权重更新换一种低秩写法。可训练参数量通常从全量的 100% 压到 1% 乃至更低的量级。

就像给住了多年的老房子做局部改造:承重墙(基座权重)一堵不拆,只换软装、加隔断(少量新参数),预算和工期都省下一个量级。

  四条路线的对比如下。表中的年份与出处对应各路线的原始论文:

路线(出处)做法训练什么代价 / 局限
Adapter(Houlsby et al., 2019,arXiv:1902.00751)在 Transformer 层之间插入小型 MLP 模块:先降维再升维的瓶颈结构,串联进原有前向链路只训练这些新插入的 Adapter 模块,基座冻结参数确实省,但推理时每层多一次串行计算,带来额外延迟;模块加进链路里,无法无损摘除
Prefix-Tuning(Li & Liang, 2021,arXiv:2101.00190)/ Prompt Tuning(Lester et al., 2021,arXiv:2104.08691)只训练拼在输入前面的一段连续向量(可学习的「软提示」);Prefix-Tuning 在每一层的键、值前都拼前缀,Prompt Tuning 只在输入嵌入层前拼只训练这段前缀向量,模型权重一个不动前缀要占用上下文窗口的有效长度;软提示是连续向量,不可读、不可迁移到其他基座
LoRA(Hu et al., 2021,arXiv:2106.09685)给权重矩阵加一条低秩旁路 \(\Delta W = BA\),训练两个低秩小矩阵 \(A\)、\(B\)只训练旁路,基座冻结;训完可把 \(\Delta W\) 并回原权重推理零额外延迟(合并后与基座结构完全一致);表达能力受秩 \(r\) 上限约束
QLoRA(Dettmers et al., 2023,arXiv:2305.14314)把基座权重量化到 4bit 冻结存放,再在上面挂 LoRA 旁路仍只训练 LoRA 旁路;基座以 4bit 形式只读使用省的是显存而非参数量;量化引入额外实现复杂度(量化细节第 13 章细讲)

  四条路线的演进逻辑,是「少量参数安放位置」的三次迁移。Adapter 把新参数塞进网络结构内部,问题随之暴露:推理时多出一层串行计算,延迟降不下去。Prefix 系干脆把参数挪出权重,移到输入空间里——模型权重彻底不动,代价是软提示要吃掉一段上下文窗口,而且学出来的是一段人读不懂的连续向量。LoRA 换了第三种思路:不加结构、不改输入,改的是权重更新的参数化方式,更新量写成两个低秩矩阵的乘积;更关键的是它能合并,训练完成后 \(BA\) 直接加回原权重,推理架构与基座一模一样,延迟归零。QLoRA 与前三者不在同一维度上:它不改变「训练什么」,改变的是「基座怎么存放」,因此能与 LoRA 正交叠加。

  LoRA 成为事实标准,依靠三项特性的组合:可训练参数省到 1% 量级、合并后推理零额外延迟、实现只需给线性层挂一条旁路。Adapter 的主要代价是增加推理延迟,Prefix 系则在推理开销和实现方式上存在取舍。

  这个家族至今仍在扩张,每年都有新变体出现。读新论文时不必逐个记名字,用三问归类即可:少量参数放在哪里(结构内、输入前、权重旁路)、训完能不能无损合并回原权重、推理时有没有引入额外计算。三问答完,新路线在家族地图上的位置就定了,优劣也能对照四条老路线推出来。

9.5.2 QLoRA:4bit 基座上的 LoRA

  LoRA 已经把可训练参数压到 1% 量级,但有一笔账它没动:基座权重本身仍要以 16bit 完整加载进显存。65B 参数的模型,仅权重按 bf16(16 位脑浮点格式,第 7 章混合精度讲过)存放就约 130 GB(65 × 10⁹ 参数 × 2 字节),单卡望尘莫及。QLoRA 的目标就是这一笔:基座不训练,凭什么按 16bit 全精度供着?压到 4bit 存放,显存直接除以四。它由三件相互配合的零件组成。

第一件:NF4 量化冻结基座

NF4 4-bit NormalFloat NormalFloat = 为近似正态分布数据设计的量化刻度

4bit 只能表示 16 个刻度。均匀分布的刻度(如普通的 4bit 浮点)把 16 个格子等距排开,可预训练权重近似服从零中心的正态分布——绝大多数值挤在零附近,等距刻度等于把珍贵的格子浪费在空旷的两头。NF4 的做法:按标准正态分布的分位数摆放 16 个刻度,让每个刻度覆盖的权重数量大致相等,中间密、两头疏。权重先按块归一化到 \([-1, 1]\),再落到最近的刻度上。Dettmers 等人证明,对近似正态的权重,这种刻度在信息论意义上是最优的 4bit 表示之一。

就像给一座城市居民量身高定制尺码:大部分人身高中等,就多备中间码、少备特大特小码,而不是让 16 个尺码从 1 米到 2 米等距排开。

  基座权重以 NF4 形式整块冻结:前向计算时被即时反量化回 bf16 参与矩阵运算,算完即弃,不存梯度、不存优化器状态。

第二件:双重量化

  量化本身也要花钱。NF4 按块归一化,每一小块权重都要额外存一个缩放常量;模型一大,这些常量聚起来也相当可观。双重量化(Double Quantization)的做法很直接:把第一批量化产生的缩放常量当作新数据,再做一次量化,常量也按低精度存放。一层套一层,把量化自身的开销再压一截。

第三件:分页优化器

  显存占用不是平稳曲线,处理超长序列、大批次的检查点时会突然冒尖,尖峰时刻最容易 OOM(显存耗尽)。分页优化器(Paged Optimizers)借用操作系统的统一内存机制:平时优化器状态住在显存里,尖峰来临时把这部分状态临时换页到内存(RAM),峰过了再换回来,用时间换空间,把偶发的尖峰削平。

  QLoRA 的关键认知:梯度只流向 bf16 精度的 LoRA 旁路,基座全程冻结,只是个被量化压缩存放的「只读仓库」——前向时临时解压出来参与计算,反向时一个梯度都不收。可训练部分(旁路、优化器、梯度)与纯 LoRA 完全一样,QLoRA 省下的全是基座存放那一笔。

  三件零件合起来的效果,论文用一组数字做了广告:Guanaco 65B(QLoRA 论文配套的微调模型)在单张 48GB 显卡上完成微调,且在论文评测的基准上与 16bit 全量微调的效果持平。量化反压缩会不会掉点,是这类方法最自然的疑问,QLoRA 的回答落在 NF4 的刻度设计上——刻度按权重分布量身定做,压缩损失被压到可忽略区间。

  本节只给量化的最小够用版:知道 NF4 是「按正态分布分位数摆刻度」、双重量化是「常量再量化」、分页优化器是「尖峰换页到内存」,就够读懂 QLoRA 了。量化的系统讲解——int8、fp8、GPTQ、AWQ、KV Cache 量化——在第 13 章推理部署里展开。

9.5.3 LoRA 超参实战:rank、alpha 与学习率

  LoRA 的机制 9.4 节已经讲完,实战中真正要拍板的是四个超参数。先回顾决定前两者的公式。LoRA 论文里,旁路对前向的实际贡献要乘上一个缩放系数:

\[ \Delta W = \frac{\alpha}{r}\,BA, \qquad W = W_0 + \Delta W \tag{1} \]
公式 (1):LoRA 旁路的完整写法——低秩乘积 \(BA\) 先乘缩放系数 \(\alpha/r\),再加回冻结的基座权重。符号说明:\(W_0\) 是冻结的预训练权重矩阵,训练中不变;\(A\)、\(B\) 是两条低秩矩阵,乘积 \(BA\) 与 \(W_0\) 同形,秩不超过 \(r\);\(r\) 是秩(rank),旁路的表达能力预算;\(\alpha\) 是缩放系数(alpha),控制旁路输出相对基座的权重;\(\alpha/r\) 的设计让不同 \(r\) 取值下旁路的幅度大致可比,调 \(r\) 时不必大改学习率;\(W\) 是合并后的实际权重。

rank(r):旁路的表达能力预算

  常见取值 8 到 64。选取逻辑看任务与基座的差距:微调目标与基座已有能力差距越大(比如通用基座转垂直领域),需要的表达能力越强,\(r\) 往大选;只是学个格式、换个口吻,小 \(r\) 就够。代价也直接:旁路参数量随 \(r\) 线性增长,\(r\) 翻倍,可训练参数、显存占用、训练算力同步翻倍。minimind 的教学实现默认 rank=16(minimind(Apache 2.0),model/model_lora.py:21),落在常见区间中段,是教学与轻量任务的稳妥起点。

alpha(α):旁路的音量旋钮

  按公式 (1),\(\Delta W\) 要乘 \(\alpha/r\)。常见配置是 \(\alpha = r\) 或 \(\alpha = 2r\),即缩放系数固定在 1 或 2:这样无论 \(r\) 取 8 还是 64,旁路输出幅度保持在同一量级,调 \(r\) 时学习率不用跟着大动。LoRA 论文对此的解释是,调 \(\alpha\) 的效果大致相当于调学习率,固定 \(\alpha\) 比例可以把两个旋钮合并成一个。

target modules:旁路挂在哪里

  最早的做法只给注意力里的 query、value 两个投影矩阵挂旁路(LoRA 论文的默认消融配置);后来的实践一路加码,key、output 投影、前馈层、直到所有线性层全挂。规律很直白:挂得越多,越接近全量微调的效果,也越接近全量微调的成本——可训练参数与显存随挂点数同步上涨。minimind 的实现走了「全挂」一侧:apply_lora 遍历模型里所有 nn.Linear,给输入输出维度相同的线性层统统挂上旁路(minimind(Apache 2.0),model/model_lora.py:21-32),小模型参数总量不大,全挂的开销可控,教学上也更省心。

learning rate:比全量高一个数量级

  LoRA 的学习率通常比全量微调高约一个数量级。minimind 的两个默认值的对比很典型:LoRA 训练默认 1e-4(minimind(Apache 2.0),trainer/train_lora.py:75),全量 SFT 默认 1e-5(minimind(Apache 2.0),trainer/train_full_sft.py:81),正好差十倍。原因有两层:一是可训练参数只有一个小子集,每一步更新集中砸在旁路上,步子可以更大;二是旁路从零初始化起步(\(BA\) 初始为零,基座输出不受扰动),与预训练权重「已经在好解附近」的全量微调处境不同,需要更大的步长赶路。

  注意:LoRA 一样会过拟合。小数据集上常见的误区是以为参数少就免疫:旁路参数虽少,照样能把几千条样本背下来。对策与全量一致——少跑几个 epoch、盯住验证集 loss 早停,不要因为「只是 LoRA」就放松监控。

9.5.4 选型决策:全量、LoRA、QLoRA

  机制讲完,落到最实际的问题:手里一个 base model、一份任务数据,三档方案选哪个?先把三档摆在一张表里对照。表中显存与参数量的表述都是量级对比,具体数字随模型规模与超参配置浮动:

方案可训练参数量显存需求效果上限适用场景
全量 SFT全部参数(100%)最高:权重、梯度、优化器状态全量摊账最高,无任何表达约束追求极致效果且资源充足;任务与基座能力差距大
LoRA约省两个数量级(约 1% 量级,随 \(r\) 与挂点数浮动)中等:基座仍以 16bit 加载,但梯度与优化器只伺候旁路多数下游任务上接近全量,受秩 \(r\) 约束多任务快速切换(一个基座配多个旁路)、需要保留基座、要求合并部署零延迟
QLoRA与 LoRA 相同(仍只训练旁路)最低:基座 4bit 存放 + 分页优化器削尖峰论文报告与 16bit 全量微调持平(NF4 刻度设计下)显存放不下全量的场景;单卡微调大模型(如 65B 配单张 48GB 显卡)

  对照表收敛成三句话的选型结论:显存是硬约束,放不下全量就直接 QLoRA,没有讨价还价的余地;显存放得下、但要多任务快速切换、要保留基座、或者要合并部署保证零推理延迟,选 LoRA;显存充裕、不在乎成本、就是要榨干最后一分效果,选全量 SFT。这个流程的决策树见本节开头的图 2:先按显存分流,再按工程需求定案。

  图 2 决策树里 LoRA 节点的「一个基座可挂多个旁路」值得展开一句,这是它在工程上很有实用价值的性质。旁路权重是独立保存的小文件——minimind 训练时只保存 LoRA 参数本身(minimind(Apache 2.0),trainer/train_lora.py:62-63),部署时哪个任务上线,就把哪个旁路的 \(BA\) 乘积加回基座权重,minimind 的 merge_lora 函数做的正是这次加法(minimind(Apache 2.0),model/model_lora.py:56-65)。一份基座权重配 N 个小旁路文件,换任务只换旁路,存储和切换成本都压到极低,这正是 9.5.1 开头「十个任务十份权重」痛处的直接解法。

  至此第 9 章收尾。回顾全章:SFT 教会了模型「按格式回答」——给定指令,照指令数据的样子组织回答;LoRA 与 QLoRA 把这件事的成本压到单卡可承受。但格式正确只是下限,回答得好不好、安全不安全、是不是读者真正想要的答案,SFT 的模仿学习管不了。这需要一个能表达「两个回答哪个更好」的训练信号,也就是偏好对齐要解决的问题——第 10 章就从 RLHF 讲起。

🧭本节要点回顾
QLoRA 相比 LoRA 多省的是哪一笔?
省的是基座存放那一笔:基座以 NF4 4bit 量化冻结(再配双重量化与分页优化器),显存除以四;可训练部分与纯 LoRA 完全相同。关键认知:梯度只流向 bf16 的 LoRA 旁路,量化基座是只读仓库,前向时即时反量化参与计算,反向时一个梯度都不收。
为什么 LoRA 的学习率能比全量微调高一个数量级?
两层原因:可训练参数只有一个小子集,每步更新集中在旁路上,可以走大步;旁路从零初始化起步,不像预训练权重已在好解附近,需要更大步长赶路。实证对照:minimind 的 LoRA 默认 1e-4,全量 SFT 默认 1e-5,正好差十倍。
要给五条业务线各做一个定制模型,基座相同,选哪条路线?
首选 LoRA:一份基座权重配五个可插拔旁路文件,切换任务只换旁路,合并部署后推理零额外延迟。前提是显存装得下 16bit 基座;装不下就退到 QLoRA,用 4bit 基座换显存,可训练部分不变。

参考来源

  • Houlsby et al., 2019. Parameter-Efficient Transfer Learning for NLP(Adapter 原始论文,arXiv:1902.00751)。
  • Li & Liang, 2021. Prefix-Tuning: Optimizing Continuous Prompts for Generation(Prefix-Tuning 原始论文,arXiv:2101.00190)。
  • Lester et al., 2021. The Power of Scale for Parameter-Efficient Prompt Tuning(Prompt Tuning 原始论文,arXiv:2104.08691)。
  • Hu et al., 2021. LoRA: Low-Rank Adaptation of Large Language Models(LoRA 原始论文,arXiv:2106.09685):\(\Delta W = \frac{\alpha}{r}BA\) 的缩放设计、α 相当于学习率的说明、默认挂 query / value 投影的消融配置。
  • Dettmers et al., 2023. QLoRA: Efficient Finetuning of Quantized LLMs(arXiv:2305.14314):NF4 分位数量化、双重量化、分页优化器三件机制,Guanaco 65B 单张 48GB 显卡微调及与 16bit 全量微调效果持平的结论。
  • minimind(Apache 2.0):apply_lora 默认 rank=16 及全量线性层挂旁路的实现(model/model_lora.py:21-32),LoRA 训练默认学习率 1e-4(trainer/train_lora.py:75),全量 SFT 默认学习率 1e-5(trainer/train_full_sft.py:81),LoRA 权重独立保存与合并实现(trainer/train_lora.py:62-63;model/model_lora.py:56-65)。