9.4 LoRA:冻结主干,只训低秩旁路

本页范围:第 9 章第 4 节 | 整理时间:2026-10-08

快速浏览

核心问题全量 SFT 要更新并保存模型的全部参数:7B 模型仅优化器状态就要几十 GB 显存,每个下游任务还得各存一份完整权重。能不能只训练一小部分参数,就拿到接近全量微调的效果?
本节主张微调带来的权重变化 ΔW 近似低秩:任务真正需要调整的方向很少。冻结预训练权重 W₀,用两个瘦长小矩阵的乘积 BA 近似表示 ΔW,可训练参数从 d² 降到 2dr;训完还能把旁路并回主干,推理零额外开销。
一句话结论LoRA = 冻结主干 + 低秩旁路 + 可合并:GPT-3 175B 上可训练参数减少约 10000 倍、显存约降 3 倍,minimind 实战只训全部参数的约 0.6%。
关键词
LoRA低秩分解参数高效微调 PEFT冻结主干秩 rank权重合并

  9.3 节的全量 SFT 做法直白:从预训练权重出发,全部参数参与更新,用一问一答的指令数据把模型教成会对话的样子。效果直接,代价也明码标价——训练要为每个参数维护优化器状态,几十亿参数的模型光这一项就是几十 GB 显存;训完之后,每接一个下游任务,磁盘上又多一份完整权重。本节回答一个自然的追问:能不能只训练一小部分参数,就达到微调的目的?LoRA(Low-Rank Adaptation,低秩适配)给出的答案是:能,而且省下的不只是显存。

  LoRA 是参数高效微调(PEFT,Parameter-Efficient Fine-Tuning)家族中应用最广的成员。这类方法的共同思路是冻结预训练权重的大头,只训练一小撮新增或精选的参数;LoRA 的选择是新增一对低秩小矩阵作为旁路。本节沿四个问题把它讲透:

  1. 全量微调的代价(9.4.1):显存与存储两笔账,全量微调到底贵在哪;
  2. 低秩分解:ΔW = BA(9.4.2):LoRA 的核心假设与公式,旁路为什么要从零起步;
  3. minimind 实战:rank 16 挂在哪、省多少(9.4.3):旁路挂在哪些矩阵上,参数占比实测是多少;
  4. 合并与推理:零额外开销(9.4.4):训完的旁路怎么并回主干,多任务场景为什么划算。

  读完本节,读者应能说清三件事:LoRA 为什么敢只训千分之几的参数、这千分之几挂在模型的什么位置、以及它凭什么做到推理零额外延迟。

  图 1 标出 LoRA 在 LLM 生命周期中的位置,图 2 展示冻结主干与低秩旁路的结构。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (本节内容) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 实线框:已讲章节 虚线框:后续章节
图 1:本节内容在 LLM 生命周期中的位置。训练数据(第 1 章)经预训练(第 6 章)、训练工程(第 7 章)与中间训练(第 8 章)交出 base model;SFT(本章)把它调成会对话的助手,随后接偏好对齐(第 10 章)与推理训练(第 11 章),最终进入推理与部署(第 12–13 章)。本节讲这一站的省力做法:LoRA 冻结主干、只训一条低秩旁路,把微调的显存与存储成本砍下几个量级。

  这个紫框放大之后长什么样?输入进去,主路和旁路各做了什么?把 LoRA 的并联结构单独拆开看:

原创示意图 · 非论文原图 结构对照:冻结的主路 W₀ 与可训练的低秩旁路 BA x(768 维) ⋮ 主路 · 冻结(训练时不更新) W₀ 768 × 768 589,824 个参数 h 旁路 · 可训练 ⋯ A A:16 × 768 高斯初始化 std=0.02 16 维 ⋮ B B:768 × 16 全零初始化 h = W₀x + BAx 参数量:W₀ 589,824(冻结)→ 旁路 A + B = 24,576(约 4.2%)
图 2:LoRA 做法的局部放大——前向结构对照。输入 x 一路走冻结的 W₀(768 × 768,589,824 个参数,灰色锁标记),另一路走旁路:A(16 × 768)先把 768 维压到 16 维,B(768 × 16)再升回 768 维,两路输出相加得 h。旁路合计 24,576 个参数,约为原矩阵的 4.2%;B 全零初始化保证训练起点旁路输出为零。9.4.2 会逐块拆解图 2。

9.4.1 全量微调的代价

  先算显存账。训练阶段的显存大头,除了权重本身和梯度,还有优化器状态。第 6 章讲过,Adam 为每个参数维护两个滑动平均量:一阶动量(梯度的指数平均)与二阶动量(梯度平方的指数平均),各存一份 FP32,优化器状态就此达到参数量的 2 倍。一个 7B 模型有 70 亿参数,仅优化器状态就是 140 亿个浮点数,按每个 4 字节算约 56 GB——这还没计入权重、梯度与前向激活。这个量级的显存,单张消费级显卡装不下,全量微调必须动用多卡并行(第 7 章的分布式方案)。

  这笔账按「参数以 FP32 存储」的口径估算。混合精度训练(第 7 章)会同时保留 FP16 与 FP32 两份权重副本,实际占用只多不少;这里的 56 GB 已经是保守口径。

  再算存储账。全量微调的产物是一整份新权重:每接一个下游任务、每服务一个客户,磁盘上就多一份完整模型。以 BF16 存储,7B 模型一份权重约 14 GB;一百个任务就是一百份,TB 级存储只是起步价。更要紧的是管理成本:这些副本共享 99% 以上的内容,却要各自维护、各自加载。

  LoRA 论文(Hu et al., 2021)开篇就摆出对照数字:在 GPT-3 175B 上,用 LoRA 微调只需训练约万分之一的参数——可训练参数减少约 10000 倍,GPU 显存需求约降为三分之一。论文同时报告,在 RoBERTa、DeBERTa、GPT-2、GPT-3 等多个模型上,LoRA 微调的效果与全量微调相当甚至更好。付出万分之一的参数,拿回基本持平的效果——这笔账怎么算都划算,剩下的问题只有一个:为什么能成立。

9.4.2 低秩分解:ΔW = BA

  LoRA 的全部底气来自一个经验假设:微调带来的权重变化是低秩的。预训练已经把通用的语言表示学好,下游任务需要的调整集中在少数几个方向上。用矩阵语言说:设预训练权重为 \(W_0\),微调后变成 \(W_0 + \Delta W\)。\(\Delta W\) 是个与 \(W_0\) 同尺寸的矩阵,理论上秩可以到 \(d\);但 LoRA 论文的观察是,适配下游任务时它的有效秩很低——真正起作用的变化方向只有寥寥几个到几十个。既然如此,不必动用 \(d^2\) 个自由参数去表达它,两个瘦长矩阵的乘积就够:

\[ h = (W_0 + \Delta W)x = W_0x + BAx \tag{1} \]
公式 (1):LoRA 的前向计算——主路与旁路并联,主干的输出与旁路的调整量相加,主干本身一动不动。符号说明:\(W_0 \in \mathbb{R}^{d \times d}\) 是预训练学好的权重矩阵,训练中冻结(不参与梯度更新);\(x\) 是该层的输入向量,\(h\) 是输出;\(\Delta W\) 是全量微调本应产生的权重变化,与 \(W_0\) 同形;\(A \in \mathbb{R}^{r \times d}\)、\(B \in \mathbb{R}^{d \times r}\) 是两个可训练的小矩阵,\(r\) 是人为选定的秩,满足 \(r \ll d\)(远小于 \(d\)),minimind 取 16;乘积 \(BA\) 与 \(W_0\) 同形,是 \(\Delta W\) 的低秩近似。低秩指矩阵的信息能被少数几个方向概括,本小节的术语卡片会展开。

  参数量立刻降维:原矩阵有 \(d^2\) 个参数,旁路只有 \(rd + dr = 2rd\) 个。以 minimind 的 \(d = 768\)、\(r = 16\) 代入,旁路是 24,576 个参数,只有原矩阵 589,824 个的约 4.2%——这是单个矩阵的账,全模型的账留到 9.4.3 节细算。秩 \(r\) 是 LoRA 唯一新增的旋钮:\(r\) 越大旁路表达能力越强、参数越多;论文的消融实验显示,\(r\) 小到 4 或 8 时效果已接近饱和,再加大收益递减。

  严格按论文,旁路前面还有一个缩放系数:

\[ h = W_0x + \frac{\alpha}{r}BAx \tag{2} \]
公式 (2):LoRA 论文的标准式,在公式 (1) 的旁路上乘了缩放系数 \(\alpha / r\)。符号说明:\(\alpha\) 是一个常数超参数,控制旁路贡献的整体幅度;论文指出调节 \(\alpha\) 的效果大致相当于调节学习率,而有了 \(1/r\) 的归一化,改变 \(r\) 时不必重新调参。其余符号同公式 (1)。

  这里如实交代一处出入:minimind 的教学实现(minimind(Apache 2.0),model/model_lora.py)没有引入缩放系数,直接按公式 (1) 计算,等价于把 \(\alpha\) 固定为 \(r\)。教学代码求简,少了这一项不影响理解机制;使用工业界实现时,\(\alpha\) 是一个可以配置的正式超参。

  旁路的初始化藏着 LoRA 最关键的一处设计。看 minimind 的实现(minimind(Apache 2.0),model/model_lora.py:13、15):矩阵 \(A\) 用高斯分布随机初始化(均值 0、标准差 0.02),矩阵 \(B\) 初始化为全零。后果立竿见影:训练开始时 \(\Delta W = BA = 0\),旁路输出恒为零,模型的行为与基座完全一致。

  「从零起步」这一手值得停下来讲透。微调的本意是让模型从预训练状态出发,向任务方向挪一小步;起点处的扰动越小,预训练学到的表示保得越完整。若把 \(B\) 也随机初始化,\(\Delta W\) 在起点就是一个非零随机矩阵,等于先给基座权重一拳、再开始学——预训练表示先遭一轮无差别破坏,训练前期还要花时间把破坏补回来。让 \(B\) 从零出发、由梯度决定它长成什么样,微调才真正是在基座之上做加法。

  那为什么不把 \(A\) 也置零?两个矩阵都是零,旁路确实是零,梯度却也死了:\(B\) 的梯度依赖 \(A\) 的值,\(A\) 为零则 \(B\) 永远收不到梯度,旁路停在原点再也无法更新。一个归零、一个随机,是让「起点为零」与「梯度能流动」同时成立的标准做法:归零的那个负责起点干净,随机的那个负责把梯度引进来。

  这套结构的整体图示见本节开头的图 2:左侧是冻结的主路,右侧是可训练的旁路,输入 \(x\) 兵分两路,两路输出相加得到 \(h\)。下文逐块拆解时,可以不时翻回去对照。

秩 Rank rank = 矩阵真正包含的独立方向数

附录 A.1 把矩阵看作对向量的变换:矩阵把输入空间搬进输出空间。秩度量这个变换保留下多少维度——秩为 \(r\) 的矩阵,全部输出都落在某个 \(r\) 维子空间里,其余方向被压扁了。一个 \(d \times d\) 矩阵的秩最大为 \(d\);秩越小,矩阵的信息越「简单」,越能被少数方向概括。低秩分解反过来利用这一点:秩为 \(r\) 的矩阵一定能写成两个小矩阵的乘积,一个 \(d \times r\)、一个 \(r \times d\),参数量从 \(d^2\) 降到 \(2dr\)。LoRA 赌的正是「微调这件小事,\(r\) 个方向就够表达」。

就像写会议纪要:两小时的会,真正决定行动的就是那么几条。秩低意味着全部信息可以压缩进少数要点——LoRA 假设微调带来的变化也是这样一份要点不多的纪要。

9.4.3 minimind 实战:rank 16 挂在哪、省多少

  机制清楚了,落到 minimind 的代码上,看旁路挂在哪。挂载函数 apply_lora 遍历模型的全部线性层,只给满足 in_features == out_features 的方阵挂上 LoRA 模块(minimind(Apache 2.0),model/model_lora.py:21–32);挂上之后,该层的前向被改写为「主路输出 + 旁路输出」,正是公式 (1) 的 \(W_0x + BAx\) 逐行落地。

  默认配置下(hidden 768、8 个注意力头、4 个 KV 头、head_dim 96,GQA 的设置见第 5 章),一个 Transformer 层里的七个线性投影分成两派(形状定义见 minimind(Apache 2.0),model/model_minimind.py:100–103 与 140–142;FFN 中间维 2432 由 model/model_minimind.py:26 的公式算出):

投影层形状(输入 → 输出)是否方阵是否挂 LoRA
q_proj768 → 768是是
k_proj768 → 384(KV 头 4 × head_dim 96)否否
v_proj768 → 384(KV 头 4 × head_dim 96)否否
o_proj768 → 768是是
gate_proj768 → 2432否否
up_proj768 → 2432否否
down_proj2432 → 768否否

  q_proj 与 o_proj 是仅有的两个 768 × 768 方阵,全模型的 LoRA 旁路恰好挂在它们身上:每层 2 条,8 层共 16 条。k_proj、v_proj 因 KV 头只有 4 个,输出维度是 \(4 \times 96 = 384\),与输入 768 不对称,被规则跳过;FFN 三个投影在 768 与 2432 之间变换,同样非方阵。

  「只挂方阵」是 minimind 教学实现的简化规则,LoRA 论文并不限定方阵:论文的消融实验考察了在 q、k、v、o 投影上挂载旁路的各种组合,挂得越多效果越好、参数也越多。读其他代码时见到 k、v 甚至 FFN 上挂 LoRA,不必意外。

  现在把账算全。单个方阵:\(768 \times 768 = 589,824\) 个参数;它身上的旁路:\(A\) 为 \(16 \times 768 = 12,288\),\(B\) 为 \(768 \times 16 = 12,288\),合计 24,576,占原矩阵的约 4.2%。全模型一共 16 条旁路,LoRA 总参数 \(16 \times 24,576 = 393,216\),约 0.39M。

  对照全量微调的分母:minimind 总参数约 63.9M,其中 embedding 层 \(6400 \times 768\) 约 4.9M(与输出投影 lm_head 权重共享,3.1 节讲过),8 个 Transformer 层各约 7.37M。两相一比,LoRA 只动全部参数的 \(0.39\text{M} / 63.9\text{M} \approx 0.6\%\)——千分之六。

  训练侧的冻结也写在明处:脚本遍历所有参数,名字里不带 lora 的一律 requires_grad = False,AdamW 优化器只接收旁路参数(minimind(Apache 2.0),trainer/train_lora.py:130–137、143)。优化器状态因此只有旁路大小:393,216 个参数的两份动量,按 FP32 算约 3 MB,与 9.4.1 节全量微调动辄几十 GB 的状态形成直接对照。

  超参同样值得对照(minimind(Apache 2.0),trainer/train_lora.py:73–88):

超参取值说明
学习率1e-4是全量 SFT(1e-5,9.3 节)的 10 倍:旁路从零或随机小值起步,本身就是一张白纸,步子小了爬得慢
训练轮数 epoch10默认 10 轮,小体量适配器可以多次过数据
最大序列长度340训练样本的截断长度(token)
起始权重 from_weightfull_sft从 9.3 节训出的全量 SFT 权重出发,再挂旁路训练

  学习率敢开大 10 倍,原因写在初始化里:全量微调从已训好的权重出发,参数离一个好点很近,大步子容易把预训练成果踩碎;LoRA 的旁路从零(\(B\))或随机小值(\(A\))起步,离目标本来就远。更关键的是,冻结的主干不接收梯度,大学习率的风险被限制在旁路的几十万个参数里,伤不到基座。

  保存同样克制:save_lora 只把带 lora 属性的模块参数挑出来,转成半精度落盘(minimind(Apache 2.0),model/model_lora.py:45–53)。393,216 个参数按半精度存储约 0.8 MB——一个任务一个适配器文件,对比全量权重的百 MB 级,磁盘上几乎可以忽略。

9.4.4 合并与推理:零额外开销

  LoRA 训完有两种用法。一种是留着旁路直接用:前向时主路、旁路各算一遍再相加,每次推理多一次小矩阵乘法,开销存在但很小。另一种更彻底——把旁路并回主干。merge_lora 做的事只有一行数学(minimind(Apache 2.0),model/model_lora.py:56–65):遍历所有挂了 LoRA 的线性层,把 B @ A 的结果直接加回原权重,即 \(W \leftarrow W + BA\),再按普通模型存盘。

  合并后的模型与原始架构完全同构:同样的层数、同样的矩阵形状、同样的计算路径,参数量一毫不差,推理延迟与不微调的原模型一致——零额外开销。这一点与 Adapter 类方法形成对照:LoRA 论文的引言专门算了这笔账,Adapter 在 Transformer 层之间插入的额外模块必须顺序计算,推理时模型变深、延迟实打实地增加;LoRA 合并后则没有任何新增计算。

  可合并加上小体积,让 LoRA 在多任务场景格外顺手:基座权重只存一份,任务适配器可以有很多份。服务十个下游任务,磁盘上是「一份基座 + 十个 MB 级适配器」;部署时要用哪个任务,把对应旁路载入、合并即可。换任务像换卡带——游戏机只有一台,卡带随便插。这也让「一个基座模型加一堆适配器」成为个人与小团队服务多个下游任务的现实方案。

  LoRA 的三件套:冻结主干 + 低秩旁路 + 可合并。冻结主干让优化器状态从全参数缩到旁路的千分之几;低秩旁路把权重变化压缩进 r 个方向,参数省两个数量级以上;可合并让推理架构与基座完全同构,部署时无感知。训练省、存盘省、推理不减速,这就是 LoRA 成为今天最常用参数高效微调方法的原因。

🧭本节要点回顾
LoRA 为什么敢只训练千分之几的参数?
它赌微调带来的权重变化 \(\Delta W\) 是低秩的:预训练已把通用表示学好,下游任务需要的调整集中在少数方向上。秩为 \(r\) 的 \(d \times d\) 矩阵可分解为 \(d \times r\) 与 \(r \times d\) 两个小矩阵的乘积,参数量从 \(d^2\) 降到 \(2dr\)——minimind 里就是 63.9M 对 0.39M,约 0.6%。
为什么 A 要随机初始化、B 要全零初始化?
B 归零保证训练起点 \(\Delta W = BA = 0\),模型行为与基座完全一致,微调从零扰动出发,不破坏预训练表示;A 随机负责让梯度流得进旁路——若 A 也是零,B 的梯度恒为零,旁路永远无法更新。一个归零、一个随机,两个条件缺一不可。
合并之后凭什么说推理零额外开销?
merge_lora 执行 \(W \leftarrow W + BA\),把旁路吸收进原权重矩阵。合并后模型的层数、矩阵形状、计算路径与参数量和原架构完全一致,推理时没有任何新增计算,延迟与不微调的原模型相同——这与在层间插入模块、让模型变深的 Adapter 类方法形成对照。

参考来源

  • Hu et al., 2021. LoRA: Low-Rank Adaptation of Large Language Models(arXiv:2106.09685,ICLR 2022):低秩假设与 \(\Delta W = BA\) 分解、\(\alpha / r\) 缩放系数、GPT-3 175B 上可训练参数减少约 10000 倍与 GPU 显存约降 3 倍的对照数字、引言中关于 Adapter 增加推理延迟的论述。
  • minimind(Apache 2.0):model/model_lora.py(LoRA 结构、A/B 初始化、apply_lora / save_lora / merge_lora),model/model_minimind.py(注意力与 FFN 各投影的形状定义),trainer/train_lora.py(LoRA 训练超参与参数冻结逻辑)。