13.5 蒸馏:大模型教小模型

本页范围:第 13 章第 5 节 | 整理时间:2026-10-10

快速浏览

核心问题13.4 节的量化压的是每个权重的数值位宽,模型骨架原封不动。能不能更彻底一点,干脆换一个更小的模型?麻烦在于:同一个小模型,直接拿训练数据从头训,效果总比大模型差一截——大模型学到的很多东西,硬标签里根本没有。这些缺失的知识怎么传给小模型?
本节主张蒸馏换的是监督信号:学生不只学硬标签的对错,还学教师输出分布的形状——非正确答案之间的相对概率(暗知识)编码了类间相似关系,这是硬标签里不存在的信息。机制上就是同温度软化两路分布、用前向 KL 散度对齐、乘 T² 补偿梯度,再与硬标签交叉熵按比例混合。这套 2015 年定稿的配方至今仍是蒸馏的底座。
一句话结论软标签 + 温度 + T²·KL 是蒸馏的全部要义;LLM 时代它扩展为「蒸数据」——DeepSeek-R1 用 80 万条教师轨迹蒸出的 32B 学生,AIME 2024 得分 72.6%,反超同底座直接做大规模 RL 的 47.0%,说明对小模型而言,蒸馏强教师的成果比自己做 RL 更经济有效。
关键词
知识蒸馏教师与学生软标签暗知识温度 TKL 散度T² 因子序列级蒸馏

  13.4 节把量化讲透了:模型还是那个模型,只是每个数用更少的比特存放。本节换一条压缩路线——直接换一个小模型。小模型便宜是便宜,能力却是硬伤:同样的架构、同样的数据,参数少了就是学不过大模型。知识蒸馏(Knowledge Distillation)要解决的正是这个传承问题:让一个已经训好的大模型(教师)给小模型(学生)当老师,学生不只学标准答案,还学教师「怎么看这道题」。这一节放在部署章讲,是因为蒸馏的账要算在推理侧:训练期多花一次教师的代价,换来推理期长期用便宜的小模型。

  本节按「为什么 → 怎么算 → 怎么实现 → 怎么演变」的顺序展开,路线图如下:

  1. 为什么蒸馏比直接训小模型好:硬标签缺失的暗知识(13.5.1):软标签里的类间关系是硬标签没有的信息,附可复算的数值小例;
  2. Hinton 原始机制:温度 T、KL 散度与 T² 因子(13.5.2):2015 年定稿的损失配方,三个组件各管一件事;
  3. minimind 代码印证:train_distillation.py 逐行对照(13.5.3):看配方如何落成一份不到 240 行的训练脚本;
  4. LLM 时代的蒸馏:从蒸 logits 到蒸数据(13.5.4):从 DistilBERT 到 DeepSeek-R1,蒸馏对象从输出分布扩展到生成轨迹。

  读完本节,应该能手算一组 logits 在任意温度下的软标签,写出蒸馏总损失并解释 T² 因子的作用,说清 minimind 蒸馏脚本里教师模型为什么全程无梯度,以及 DeepSeek-R1 的蒸馏对照实验到底说明了什么。

  逐节展开之前,先明确本节站在哪:蒸馏发生在训练与部署的接缝上——它本身是一次额外的训练,目的却完全是推理侧的便宜。后面每个组件登场时,都知道自己装在哪:

  蒸馏这一步放大之后长什么样?一批训练数据进去,教师和学生各过一次前向,两路 logits 怎么变成一个损失、梯度又流回哪里?把蒸馏训练的一个 step 单独拆开看(图 1,形状与行号均取自 minimind 的蒸馏脚本):

原创示意图 · 非论文原图 局部放大:蒸馏训练的一个 step——同一批数据兵分三路,软硬两路损失合成(行号均为 trainer/train_distillation.py) 输入:B×340 token ID SFT 数据 · max_seq_len 340(152 行) 同一批数据,兵分三路 教师模型(冻结) eval + 关闭梯度(42–44 行) 默认同尺寸 MoE 版(159 行) teacher_logits:B×340×6400 62 行前向 · 63–64 行截断词表 ··· 扁长条:列 = 词表 6400 软目标 q_t(教师) logits ÷T 再 softmax 27 行 · T = 1.5(164 行) 学生模型(训练中) hidden 768 · 8 层 · 约 63.9M 默认 dense(158 行 use_moe=0) student_logits:B×340×6400 56–57 行前向输出 ··· 形状与教师一致 软预测 q_s(学生) logits ÷T 再 log_softmax 29 行 · 同一温度 T KL(q_t ‖ q_s) F.kl_div(31–35 行) × T² 补偿(36 行) = 蒸馏损失 硬标签交叉熵 CE(68–78 行) labels 右移一位对齐(68 行) ignore_index=−100 忽略填充位(73 行) 总损失 = α·CE + (1−α)·蒸馏损失(91 行) 默认 α = 0.5(163 行)· T = 1.5(164 行) ÷ 梯度累积步数后 backward(91–93 行) 反向传播只更新学生 · 教师无梯度 输入形状 B×340、logits 形状 B×340×6400、损失为标量;minimind 默认教师为同尺寸 MoE 版、学生为 dense 版,均从 full_sft 权重出发(158–161 行)
图 1:蒸馏训练一个 step 的局部放大(行号均为 minimind trainer/train_distillation.py)。同一批 token ID(B×340)兵分三路:教师模型(冻结,默认同尺寸 MoE 版)前向得 teacher_logits(B×340×6400),截断到学生词表后按 T = 1.5 软化成软目标;学生模型(dense,约 63.9M 参数)前向得同形状的 student_logits,按同一温度软化;两路软化分布算 KL 散度并乘 T²,得蒸馏损失。labels 同时与学生 logits 算硬标签交叉熵 CE。总损失按 α = 0.5 加权两路,反向传播只更新学生——教师全程无梯度,只当考官不当考生。13.5.2 讲公式,13.5.3 逐行讲代码。

13.5.1 为什么蒸馏比直接训小模型好:硬标签缺失的暗知识

  先把账接上。13.1 节算过,推理成本的大头是每生成一个 token 都要把全部权重从显存搬一遍,参数量直接决定延迟与硬件门槛。13.4 节的量化把每个权重的位宽压下去,模型骨架没变。蒸馏更彻底:直接换一个小模型。以 minimind 为例,学生默认 hidden 768、8 层、约 63.9M 参数——它本来就是个小模型,蒸馏脚本演示的是让这个小模型去模仿一个更强的教师(默认是同尺寸的 MoE 版),把教师的本事尽量搬过来。

  为什么需要教师来搬?直接训练小模型,监督信号是硬标签(one-hot,正确答案为 1、其余全 0 的分布):它只记录「正确答案是什么」。而训练好的教师在每个样本上输出的是一个完整分布——软标签——里面藏着硬标签没有的东西。用一个数值小例看清楚。假设教师面对一道四分类题:识别一个手写数字 3,候选为 3、5、8、其他四个类别,它对某个样本打出 logits \([4.5, 1.8, 1.2, 0]\)。经 softmax 归一化(附录 A.3),概率约为 \([0.90, 0.06, 0.03, 0.01]\)。这份分布不只说「答案是 3」,还说:这个 3 有 6% 像 5、3% 像 8、几乎不像其他类别。「5 和 8 与 3 的相似程度不同」这种类间关系,硬标签里根本不存在——Hinton 把这部分藏在非正确答案相对概率里的信息称为暗知识(dark knowledge)。图 2 把三种监督信号摆在一起对照:

原创示意图 · 非论文原图 同一道题的三种监督信号:硬标签 vs 两档温度的软标签(logits = [4.5, 1.8, 1.2, 0],可复算) ① 硬标签(one-hot) 训练数据给的唯一信号 1.0 0 0 0 3 5 8 其他 只回答一句:答案是 3 5、8、其他被同等对待 vs ② 软标签 T = 1 教师的原始输出分布 0.90 0.06 0.03 0.01 3 5 8 其他 0.06 > 0.03:5 比 8 更像 3 但信号太弱(红框内),难学 ÷ 5 ③ 软标签 T = 5 升温压平后的分布 0.40 0.23 0.21 0.16 3 5 8 其他 类间相似结构浮出水面 学生能学到「错得接近」 柱高 ∝ 概率;数值按 softmax(z/T) 手算:T = 1 得 [0.90, 0.06, 0.03, 0.01],T = 5 得 [0.40, 0.23, 0.21, 0.16];示意小例,非论文原实验数据
图 2:硬标签与软标签的信息量对照(柱高与概率成正比,数值为示意小例、可按 softmax(z/T) 复算,非论文原实验数据)。硬标签(左)只携带「答案是 3」一条信息;教师原始软标签(中,T = 1)的尾巴里藏着类间关系——5(0.06)比 8(0.03)更像 3——但数值太小,梯度信号微弱;升温到 T = 5(右)后分布被压平,相似结构浮出水面,学生才能真正学到「错得接近」与「错得离谱」的区别。温度就是暗知识的放大镜。
暗知识 Dark Knowledge dark = 看不见的:藏在大模型输出分布尾巴里的类间关系

教师的软标签里,非正确答案之间的相对概率编码了教师学到的类别相似结构:一只猫被错认成狗的概率,通常远高于被错认成汽车的概率——这说明在教师眼里猫和狗更接近。硬标签把这些概率全部压成 0,学生无从得知「错得接近」和「错得离谱」的区别。Hinton 2015 年的论文指出,正是这部分信息帮助学生用更少的数据学到教师的泛化方式,知识因此得名:它一直在教师的输出里,只是藏得太深,不经温度放大就看不见。

像老师批改选择题不只给对错,还在卷子上写「B 和 C 容易混,它俩确实像」——学生学到的是知识之间的地形图,不只是一个个孤立答案。

  蒸馏的本质是换一种监督信号:硬标签只回答「正确答案是什么」,软标签还回答「各个错误答案谁更接近正确」。小模型从头训练只能学到前者,跟着教师蒸馏能学到后者——这正是同样的小模型,蒸馏后通常比直接训练效果好的根本原因。Hinton 给出的机制(升温、对齐、混合)是 13.5.2 的主题。

13.5.2 Hinton 原始机制:温度 T、KL 散度与 T² 因子

  2015 年 Hinton、Vinyals、Dean 的论文(arXiv:1503.02531)把蒸馏配方定稿为三件事:升温、对齐、混合。升温就是把教师与学生的 logits 用同一个温度 \(T\) 软化:

\[ q_i = \frac{\exp(z_i / T)}{\sum_{j=1}^{V} \exp(z_j / T)} \tag{1} \]
公式 (1):带温度的 softmax——教师与学生的 logits 先同除以 \(T\) 再归一化,得到软化分布。符号说明:\(z_i\) 是模型对词表第 \(i\) 个 token(或分类任务第 \(i\) 个类别)打出的 logit;\(T > 0\) 是温度,蒸馏通常取大于 1 的值把分布压平;\(V\) 是词表大小(minimind 为 6400);\(q_i\) 是软化后的概率。这与 12.2 节的采样温度是同一个数学工具:那里用它整形抽样分布,这里用它构造训练目标;13.5.1 的数值小例正是按此式计算。

  对齐,就是让学生的软化分布逼近教师的软化分布,度量工具是 KL 散度(10.3 节有它的术语卡):

\[ \mathrm{KL}(P \| Q) = \sum_{i=1}^{V} P(i)\, \log \frac{P(i)}{Q(i)} \tag{2} \]
公式 (2):KL 散度——度量两个分布的差异:完全一致时为 0,差得越多值越大,恒不为负,且不对称(\(\mathrm{KL}(P\|Q) \neq \mathrm{KL}(Q\|P)\))。符号说明:\(P\) 是目标分布、\(Q\) 是逼近它的分布、\(V\) 是词表大小。蒸馏取 \(P\) 为教师、\(Q\) 为学生(前向 KL),方向不能写反——写反了就是另一个量。minimind 调用 F.kl_div(student_log_probs, teacher_probs) 正是这个方向:PyTorch 约定第一个参数是 \(\log Q\)、第二个是 \(P\),代入后算的就是 \(\mathrm{KL}(\text{教师} \| \text{学生})\)。

  混合,就是把软目标与硬标签各取一份,按权重加起来:

\[ \mathcal{L} = \alpha \cdot \mathcal{L}_{\mathrm{CE}}\!\left(y,\, p_s\right) + (1 - \alpha) \cdot T^{2} \cdot \mathrm{KL}\!\left( q^{\,t}_{T} \| q^{\,s}_{T} \right) \tag{3} \]
公式 (3):蒸馏总损失——硬标签交叉熵与软目标 KL 按 \(\alpha\) 加权。符号说明:\(y\) 是真实的下一个 token(硬标签);\(p_s\) 是学生在 \(T = 1\) 下的输出分布;\(\mathcal{L}_{\mathrm{CE}}\) 是标准交叉熵(附录 A.4);\(q^{\,t}_T\) 与 \(q^{\,s}_T\) 是教师与学生按公式 (1) 在同一温度 \(T\) 下软化出的分布;\(\alpha \in [0,1]\) 是软硬两路的平衡权重(minimind 默认 0.5);\(T^2\) 是梯度补偿因子,作用见下文。

  乘 \(T^2\) 是 Hinton 原文明写的细节,作用是补偿温度对梯度的压缩:软目标这一路里 logits 先除以 \(T\),软化概率对 logit 的梯度幅度随之缩到 \(1/T^2\)。不乘回去,调大温度就等于暗中把软目标的权重调小,\(\alpha\) 设好的平衡被悄悄破坏;乘上 \(T^2\) 之后,软目标对训练的贡献与温度选择解耦——\(T\) 只管分布压多平,不管它说话多大声。

  温度的取值有分寸:\(T = 1\) 时软目标退化为教师的原始分布,暗知识埋没在尾巴里(图 2 中间一档);\(T\) 太大则分布趋近均匀,连「正确答案是 3」的信息也被磨平。实战温度通常取个位数的小值:minimind 默认 \(T = 1.5\),帮助文本推荐 1.0–2.0(train_distillation.py:164)。\(\alpha\) 的取舍同理:\(\alpha\) 大则学生更信硬标签、更像直接训练,\(\alpha\) 小则更信教师;minimind 默认 0.5,两路各占一半(163 行)。

  注释:公式 (3) 用的是前向 KL(教师 ‖ 学生)。LLM 蒸馏研究里也有故意反过来用反向 KL 的工作,代表是 MiniLLM(Gu et al., 2023,arXiv:2306.08543):反向 KL 促使学生把概率集中到教师的高概率区域,避免摊得太开。这属于进阶选项,minimind 与 Hinton 配方一致,用前向 KL。

13.5.3 minimind 代码印证:train_distillation.py 逐行对照

  minimind 把公式 (3) 落成一份不到 240 行的脚本 trainer/train_distillation.py(Apache 2.0)。默认配置先把角色定好:学生是 dense 版,hidden 768、8 层、约 63.9M 参数(154–155、158 行默认);教师默认同尺寸但开 MoE(156–157、159 行);两者都从各自的 full_sft 权重出发(160–161 行)。因此,这里的蒸馏位于 SFT 之后、部署之前。逐行对照公式的落地:

  1. 教师冻结(42–44、199–200 行):教师设为 eval 模式并 requires_grad_(False),前向包在 no_grad 里——教师只推理不训练,显存里只有一份前向开销,没有梯度与优化器状态;
  2. 双前向(56–62 行):同一批 input_ids,学生正常前向拿 student_logits,教师无梯度前向拿 teacher_logits,两路都切掉最后一个位置([..., :-1, :]),与右移一位的 labels 对齐;
  3. 词表对齐(63–64 行):teacher_logits = teacher_logits[..., :vocab_size_student]——教师输出截断到学生词表宽度,两路分布才能在同一词表上对齐;
  4. 硬标签 CE(68–78 行):shift labels、ignore_index=-100 忽略填充位,标准 SFT 交叉熵(第 9 章同款);
  5. 软目标 KL(81–86 行调用 25–36 行):教师 logits 除以 \(T\) 后 softmax 并 detach,学生 logits 除以 \(T\) 后 log_softmax,F.kl_div 按 batchmean 归一,最后乘 \(T^2\)——公式 (3) 的软路原样落地;且蒸馏损失只在有效 token 上计算(83–84 行用 loss_mask 筛选),填充位不参与;
  6. 合并与回传(90–93 行):loss = alpha * ce_loss + (1 - alpha) * distill_loss,默认 \(\alpha = 0.5\)(163 行)、\(T = 1.5\)(164 行);backward、梯度裁剪、step 全部作用在学生参数上,教师一个梯度都不收。

  注释:第 3 步的截断揭示了一个隐含前提——这套实现要求教师与学生共用同一套分词器(词表 6400),截断只是把输出头宽度对齐到学生词表。若教师与学生的词表不同(跨分词器蒸馏),logits 逐位对齐本身就不成立,需要更复杂的映射方案,不在 minimind 的演示范围内。读开源蒸馏代码时,先确认这一点能避开不少困惑。

13.5.4 LLM 时代的蒸馏:从蒸 logits 到蒸数据

  Hinton 配方奠定的「蒸 logits」路线,在 BERT 时代交出过一张标志性成绩单:DistilBERT(Sanh et al., 2019,arXiv:1910.01108)把 12 层的 BERT-base 蒸成 6 层,论文口径是参数量小 40%、推理快 60%、在语言理解基准上保留 BERT 97% 的能力——「小一点、快很多、只差一点」,这九个字至今仍是蒸馏价值的最佳广告。

  到了 LLM 时代,蒸 logits 遇到两个现实障碍:一是词表膨胀后,逐位置对齐整个分布的存储与计算成本变高;二是很多强模型只开放文本接口,根本拿不到完整的 logits 分布。主流做法于是转向蒸数据:让教师先生成回答,学生直接在教师的输出上做 SFT。这条路线的源头是 Kim & Rush 2016 年的序列级蒸馏(sequence-level knowledge distillation,EMNLP 2016,arXiv:1606.07947):让学生学习教师 beam search 的整段输出,而不是逐位置的分布。今天的「教师生成思维链、学生微调」,就是这条路线在 LLM 时代的放大版。

  DeepSeek-R1(arXiv:2501.12948,2025)把蒸数据做出了标杆效果,还顺手做了一组漂亮的对照实验。做法是:用 R1 训练流水线产出的 80 万条样本(含推理与非推理数据),直接微调 Qwen 与 Llama 系列的开源小模型。关键数字在数学推理基准 AIME 2024 上:蒸馏版 DeepSeek-R1-Distill-Qwen-32B 得分 72.6%;而同样从 Qwen-32B 底座出发、不蒸馏、直接做大规模 RL 的 DeepSeek-R1-Zero-Qwen-32B 只有 47.0%。论文据此明确给出建议:对小模型而言,蒸馏强教师的成果比自己做 RL 更经济有效。注意这个结论的边界——它不否定 RL(教师 R1 本身正是 RL 练出来的,第 11 章),而是说小模型的性价比路线是先接住教师已经训好的成果,不必亲自重走一遍昂贵的 RL。

工作年份蒸什么教师 → 学生招牌数字
Hinton 蒸馏(arXiv:1503.02531)2015升温软化后的输出分布大网络 / 集成 → 小网络提出暗知识、温度与 T² 配方
DistilBERT(arXiv:1910.01108)2019软目标分布为主,配隐层对齐BERT-base 12 层 → 6 层小 40%、快 60%、保留 97% 能力
DeepSeek-R1 蒸馏(arXiv:2501.12948)2025教师生成的 80 万条轨迹R1 → Qwen / Llama 小模型32B 学生 AIME 72.6%,反超直接 RL 的 47.0%

  放回部署视角收束本节:蒸馏的成本结构是「训练期一次付清、推理期长期分红」——教师的训练、80 万条轨迹的生成都价格不菲,但付过一次之后,每次推理用的都是便宜的学生。它与 13.4 节的量化正交:量化压位宽、蒸馏换骨架,两者可以叠加(先蒸小、再量化)。它还连着下一节:13.6 节投机采样里负责起草的小模型,常见来源正是蒸馏得到的小模型——本节的学生,下一节还要上场当草稿员。

🧭本节要点回顾
软标签比硬标签多给了学生什么?
类间关系,即暗知识。硬标签只说「答案是 3」;教师的软标签还说这个 3 有 6% 像 5、3% 像 8——非正确答案的相对概率编码了类别相似结构。温度 \(T\) 是放大镜:本节小例里 \(T = 1\) 时信号只有 0.06 与 0.03 之差,升温到 \(T = 5\) 后变成 0.23 与 0.21,学生才学得到。
蒸馏损失里的 T² 因子是干什么的,少了会怎样?
补偿温度对梯度的压缩。logits 除以 \(T\) 后,软目标一路的梯度幅度缩到 \(1/T^2\);不乘回 \(T^2\),调大温度就等于暗中调小软目标的权重,\(\alpha\) 设好的软硬平衡被破坏。minimind 在 train_distillation.py 第 36 行原样执行 (temperature ** 2) * kl。
DeepSeek-R1 的蒸馏对照实验说明了什么?
同一底座(Qwen-32B),吃 R1 的 80 万条蒸馏数据在 AIME 2024 得 72.6%,直接做大规模 RL 只有 47.0%——论文结论是对小模型蒸馏比 RL 更经济有效。边界要记清:这不否定 RL,教师 R1 正是 RL 练出来的;小模型的性价比路线是站在教师肩膀上,而非亲自重走 RL。

参考来源

  • Hinton, Vinyals, Dean, 2015. Distilling the Knowledge in a Neural Network(arXiv:1503.02531):带温度的软标签、暗知识(非正确答案的相对概率携带类间关系)、软硬目标加权混合、T² 梯度补偿因子(§2)。
  • Sanh et al., 2019. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter(arXiv:1910.01108):6 层学生相比 BERT-base 参数小 40%、推理快 60%、保留 97% 语言理解能力(论文口径)。
  • Kim & Rush, 2016. Sequence-Level Knowledge Distillation(EMNLP 2016,arXiv:1606.07947):学生在教师 beam search 的整段输出上训练,「蒸数据」路线的源头;已核对 arXiv 条目。
  • DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948):用 80 万条样本蒸馏 Qwen / Llama 小模型、DeepSeek-R1-Distill-Qwen-32B 在 AIME 2024 得 72.6% 对比直接 RL 的 47.0%、「对小模型蒸馏比 RL 更有效」的结论(论文口径)。
  • Gu et al., 2023. MiniLLM: Knowledge Distillation of Large Language Models(arXiv:2306.08543,ICLR 2024):反向 KL 蒸馏的代表工作(13.5.2 注卡提及);已核对 arXiv 条目。
  • minimind(Apache 2.0),trainer/train_distillation.py:distillation_loss 的 T²×KL(25–36 行)、教师冻结(42–44、199–200 行)、双前向与切片对齐(56–62 行)、教师 logits 截断到学生词表(63–64 行)、硬标签 CE(68–78 行)、蒸馏损失只在有效 token 上计算(83–84 行)、总损失 α·CE+(1−α)·KL(90–91 行)、默认 α=0.5 / T=1.5(163–164 行)、学生 dense 教师 MoE 的默认搭配与 full_sft 起点(154–161 行)。
  • 本手册 12.2 节(采样温度,与公式 (1) 同一数学工具)、10.3 节(KL 散度术语卡)、13.1 节(推理成本结构)、附录 A.3(softmax 与温度)、附录 A.4(交叉熵)。