13.5 蒸馏:大模型教小模型
本页范围:第 13 章第 5 节 | 整理时间:2026-10-10
13.4 节把量化讲透了:模型还是那个模型,只是每个数用更少的比特存放。本节换一条压缩路线——直接换一个小模型。小模型便宜是便宜,能力却是硬伤:同样的架构、同样的数据,参数少了就是学不过大模型。知识蒸馏(Knowledge Distillation)要解决的正是这个传承问题:让一个已经训好的大模型(教师)给小模型(学生)当老师,学生不只学标准答案,还学教师「怎么看这道题」。这一节放在部署章讲,是因为蒸馏的账要算在推理侧:训练期多花一次教师的代价,换来推理期长期用便宜的小模型。
本节按「为什么 → 怎么算 → 怎么实现 → 怎么演变」的顺序展开,路线图如下:
- 为什么蒸馏比直接训小模型好:硬标签缺失的暗知识(13.5.1):软标签里的类间关系是硬标签没有的信息,附可复算的数值小例;
- Hinton 原始机制:温度 T、KL 散度与 T² 因子(13.5.2):2015 年定稿的损失配方,三个组件各管一件事;
- minimind 代码印证:train_distillation.py 逐行对照(13.5.3):看配方如何落成一份不到 240 行的训练脚本;
- LLM 时代的蒸馏:从蒸 logits 到蒸数据(13.5.4):从 DistilBERT 到 DeepSeek-R1,蒸馏对象从输出分布扩展到生成轨迹。
读完本节,应该能手算一组 logits 在任意温度下的软标签,写出蒸馏总损失并解释 T² 因子的作用,说清 minimind 蒸馏脚本里教师模型为什么全程无梯度,以及 DeepSeek-R1 的蒸馏对照实验到底说明了什么。
逐节展开之前,先明确本节站在哪:蒸馏发生在训练与部署的接缝上——它本身是一次额外的训练,目的却完全是推理侧的便宜。后面每个组件登场时,都知道自己装在哪:
蒸馏这一步放大之后长什么样?一批训练数据进去,教师和学生各过一次前向,两路 logits 怎么变成一个损失、梯度又流回哪里?把蒸馏训练的一个 step 单独拆开看(图 1,形状与行号均取自 minimind 的蒸馏脚本):
13.5.1 为什么蒸馏比直接训小模型好:硬标签缺失的暗知识
先把账接上。13.1 节算过,推理成本的大头是每生成一个 token 都要把全部权重从显存搬一遍,参数量直接决定延迟与硬件门槛。13.4 节的量化把每个权重的位宽压下去,模型骨架没变。蒸馏更彻底:直接换一个小模型。以 minimind 为例,学生默认 hidden 768、8 层、约 63.9M 参数——它本来就是个小模型,蒸馏脚本演示的是让这个小模型去模仿一个更强的教师(默认是同尺寸的 MoE 版),把教师的本事尽量搬过来。
为什么需要教师来搬?直接训练小模型,监督信号是硬标签(one-hot,正确答案为 1、其余全 0 的分布):它只记录「正确答案是什么」。而训练好的教师在每个样本上输出的是一个完整分布——软标签——里面藏着硬标签没有的东西。用一个数值小例看清楚。假设教师面对一道四分类题:识别一个手写数字 3,候选为 3、5、8、其他四个类别,它对某个样本打出 logits \([4.5, 1.8, 1.2, 0]\)。经 softmax 归一化(附录 A.3),概率约为 \([0.90, 0.06, 0.03, 0.01]\)。这份分布不只说「答案是 3」,还说:这个 3 有 6% 像 5、3% 像 8、几乎不像其他类别。「5 和 8 与 3 的相似程度不同」这种类间关系,硬标签里根本不存在——Hinton 把这部分藏在非正确答案相对概率里的信息称为暗知识(dark knowledge)。图 2 把三种监督信号摆在一起对照:
教师的软标签里,非正确答案之间的相对概率编码了教师学到的类别相似结构:一只猫被错认成狗的概率,通常远高于被错认成汽车的概率——这说明在教师眼里猫和狗更接近。硬标签把这些概率全部压成 0,学生无从得知「错得接近」和「错得离谱」的区别。Hinton 2015 年的论文指出,正是这部分信息帮助学生用更少的数据学到教师的泛化方式,知识因此得名:它一直在教师的输出里,只是藏得太深,不经温度放大就看不见。
蒸馏的本质是换一种监督信号:硬标签只回答「正确答案是什么」,软标签还回答「各个错误答案谁更接近正确」。小模型从头训练只能学到前者,跟着教师蒸馏能学到后者——这正是同样的小模型,蒸馏后通常比直接训练效果好的根本原因。Hinton 给出的机制(升温、对齐、混合)是 13.5.2 的主题。
13.5.2 Hinton 原始机制:温度 T、KL 散度与 T² 因子
2015 年 Hinton、Vinyals、Dean 的论文(arXiv:1503.02531)把蒸馏配方定稿为三件事:升温、对齐、混合。升温就是把教师与学生的 logits 用同一个温度 \(T\) 软化:
对齐,就是让学生的软化分布逼近教师的软化分布,度量工具是 KL 散度(10.3 节有它的术语卡):
F.kl_div(student_log_probs, teacher_probs) 正是这个方向:PyTorch 约定第一个参数是 \(\log Q\)、第二个是 \(P\),代入后算的就是 \(\mathrm{KL}(\text{教师} \| \text{学生})\)。混合,就是把软目标与硬标签各取一份,按权重加起来:
乘 \(T^2\) 是 Hinton 原文明写的细节,作用是补偿温度对梯度的压缩:软目标这一路里 logits 先除以 \(T\),软化概率对 logit 的梯度幅度随之缩到 \(1/T^2\)。不乘回去,调大温度就等于暗中把软目标的权重调小,\(\alpha\) 设好的平衡被悄悄破坏;乘上 \(T^2\) 之后,软目标对训练的贡献与温度选择解耦——\(T\) 只管分布压多平,不管它说话多大声。
温度的取值有分寸:\(T = 1\) 时软目标退化为教师的原始分布,暗知识埋没在尾巴里(图 2 中间一档);\(T\) 太大则分布趋近均匀,连「正确答案是 3」的信息也被磨平。实战温度通常取个位数的小值:minimind 默认 \(T = 1.5\),帮助文本推荐 1.0–2.0(train_distillation.py:164)。\(\alpha\) 的取舍同理:\(\alpha\) 大则学生更信硬标签、更像直接训练,\(\alpha\) 小则更信教师;minimind 默认 0.5,两路各占一半(163 行)。
注释:公式 (3) 用的是前向 KL(教师 ‖ 学生)。LLM 蒸馏研究里也有故意反过来用反向 KL 的工作,代表是 MiniLLM(Gu et al., 2023,arXiv:2306.08543):反向 KL 促使学生把概率集中到教师的高概率区域,避免摊得太开。这属于进阶选项,minimind 与 Hinton 配方一致,用前向 KL。
13.5.3 minimind 代码印证:train_distillation.py 逐行对照
minimind 把公式 (3) 落成一份不到 240 行的脚本 trainer/train_distillation.py(Apache 2.0)。默认配置先把角色定好:学生是 dense 版,hidden 768、8 层、约 63.9M 参数(154–155、158 行默认);教师默认同尺寸但开 MoE(156–157、159 行);两者都从各自的 full_sft 权重出发(160–161 行)。因此,这里的蒸馏位于 SFT 之后、部署之前。逐行对照公式的落地:
- 教师冻结(42–44、199–200 行):教师设为 eval 模式并
requires_grad_(False),前向包在no_grad里——教师只推理不训练,显存里只有一份前向开销,没有梯度与优化器状态; - 双前向(56–62 行):同一批 input_ids,学生正常前向拿 student_logits,教师无梯度前向拿 teacher_logits,两路都切掉最后一个位置(
[..., :-1, :]),与右移一位的 labels 对齐; - 词表对齐(63–64 行):
teacher_logits = teacher_logits[..., :vocab_size_student]——教师输出截断到学生词表宽度,两路分布才能在同一词表上对齐; - 硬标签 CE(68–78 行):shift labels、
ignore_index=-100忽略填充位,标准 SFT 交叉熵(第 9 章同款); - 软目标 KL(81–86 行调用 25–36 行):教师 logits 除以 \(T\) 后 softmax 并 detach,学生 logits 除以 \(T\) 后 log_softmax,
F.kl_div按 batchmean 归一,最后乘 \(T^2\)——公式 (3) 的软路原样落地;且蒸馏损失只在有效 token 上计算(83–84 行用 loss_mask 筛选),填充位不参与; - 合并与回传(90–93 行):
loss = alpha * ce_loss + (1 - alpha) * distill_loss,默认 \(\alpha = 0.5\)(163 行)、\(T = 1.5\)(164 行);backward、梯度裁剪、step 全部作用在学生参数上,教师一个梯度都不收。
注释:第 3 步的截断揭示了一个隐含前提——这套实现要求教师与学生共用同一套分词器(词表 6400),截断只是把输出头宽度对齐到学生词表。若教师与学生的词表不同(跨分词器蒸馏),logits 逐位对齐本身就不成立,需要更复杂的映射方案,不在 minimind 的演示范围内。读开源蒸馏代码时,先确认这一点能避开不少困惑。
13.5.4 LLM 时代的蒸馏:从蒸 logits 到蒸数据
Hinton 配方奠定的「蒸 logits」路线,在 BERT 时代交出过一张标志性成绩单:DistilBERT(Sanh et al., 2019,arXiv:1910.01108)把 12 层的 BERT-base 蒸成 6 层,论文口径是参数量小 40%、推理快 60%、在语言理解基准上保留 BERT 97% 的能力——「小一点、快很多、只差一点」,这九个字至今仍是蒸馏价值的最佳广告。
到了 LLM 时代,蒸 logits 遇到两个现实障碍:一是词表膨胀后,逐位置对齐整个分布的存储与计算成本变高;二是很多强模型只开放文本接口,根本拿不到完整的 logits 分布。主流做法于是转向蒸数据:让教师先生成回答,学生直接在教师的输出上做 SFT。这条路线的源头是 Kim & Rush 2016 年的序列级蒸馏(sequence-level knowledge distillation,EMNLP 2016,arXiv:1606.07947):让学生学习教师 beam search 的整段输出,而不是逐位置的分布。今天的「教师生成思维链、学生微调」,就是这条路线在 LLM 时代的放大版。
DeepSeek-R1(arXiv:2501.12948,2025)把蒸数据做出了标杆效果,还顺手做了一组漂亮的对照实验。做法是:用 R1 训练流水线产出的 80 万条样本(含推理与非推理数据),直接微调 Qwen 与 Llama 系列的开源小模型。关键数字在数学推理基准 AIME 2024 上:蒸馏版 DeepSeek-R1-Distill-Qwen-32B 得分 72.6%;而同样从 Qwen-32B 底座出发、不蒸馏、直接做大规模 RL 的 DeepSeek-R1-Zero-Qwen-32B 只有 47.0%。论文据此明确给出建议:对小模型而言,蒸馏强教师的成果比自己做 RL 更经济有效。注意这个结论的边界——它不否定 RL(教师 R1 本身正是 RL 练出来的,第 11 章),而是说小模型的性价比路线是先接住教师已经训好的成果,不必亲自重走一遍昂贵的 RL。
| 工作 | 年份 | 蒸什么 | 教师 → 学生 | 招牌数字 |
|---|---|---|---|---|
| Hinton 蒸馏(arXiv:1503.02531) | 2015 | 升温软化后的输出分布 | 大网络 / 集成 → 小网络 | 提出暗知识、温度与 T² 配方 |
| DistilBERT(arXiv:1910.01108) | 2019 | 软目标分布为主,配隐层对齐 | BERT-base 12 层 → 6 层 | 小 40%、快 60%、保留 97% 能力 |
| DeepSeek-R1 蒸馏(arXiv:2501.12948) | 2025 | 教师生成的 80 万条轨迹 | R1 → Qwen / Llama 小模型 | 32B 学生 AIME 72.6%,反超直接 RL 的 47.0% |
放回部署视角收束本节:蒸馏的成本结构是「训练期一次付清、推理期长期分红」——教师的训练、80 万条轨迹的生成都价格不菲,但付过一次之后,每次推理用的都是便宜的学生。它与 13.4 节的量化正交:量化压位宽、蒸馏换骨架,两者可以叠加(先蒸小、再量化)。它还连着下一节:13.6 节投机采样里负责起草的小模型,常见来源正是蒸馏得到的小模型——本节的学生,下一节还要上场当草稿员。
(temperature ** 2) * kl。参考来源
- Hinton, Vinyals, Dean, 2015. Distilling the Knowledge in a Neural Network(arXiv:1503.02531):带温度的软标签、暗知识(非正确答案的相对概率携带类间关系)、软硬目标加权混合、T² 梯度补偿因子(§2)。
- Sanh et al., 2019. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter(arXiv:1910.01108):6 层学生相比 BERT-base 参数小 40%、推理快 60%、保留 97% 语言理解能力(论文口径)。
- Kim & Rush, 2016. Sequence-Level Knowledge Distillation(EMNLP 2016,arXiv:1606.07947):学生在教师 beam search 的整段输出上训练,「蒸数据」路线的源头;已核对 arXiv 条目。
- DeepSeek-AI, 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(arXiv:2501.12948):用 80 万条样本蒸馏 Qwen / Llama 小模型、DeepSeek-R1-Distill-Qwen-32B 在 AIME 2024 得 72.6% 对比直接 RL 的 47.0%、「对小模型蒸馏比 RL 更有效」的结论(论文口径)。
- Gu et al., 2023. MiniLLM: Knowledge Distillation of Large Language Models(arXiv:2306.08543,ICLR 2024):反向 KL 蒸馏的代表工作(13.5.2 注卡提及);已核对 arXiv 条目。
- minimind(Apache 2.0),trainer/train_distillation.py:distillation_loss 的 T²×KL(25–36 行)、教师冻结(42–44、199–200 行)、双前向与切片对齐(56–62 行)、教师 logits 截断到学生词表(63–64 行)、硬标签 CE(68–78 行)、蒸馏损失只在有效 token 上计算(83–84 行)、总损失 α·CE+(1−α)·KL(90–91 行)、默认 α=0.5 / T=1.5(163–164 行)、学生 dense 教师 MoE 的默认搭配与 full_sft 起点(154–161 行)。
- 本手册 12.2 节(采样温度,与公式 (1) 同一数学工具)、10.3 节(KL 散度术语卡)、13.1 节(推理成本结构)、附录 A.3(softmax 与温度)、附录 A.4(交叉熵)。