5.4 MoE 混合专家:一个大脑,多位专科医生
本页范围:第 5 章第 4 节 | 整理时间:2026-09-29
本章前几节修改了归一化、激活函数和注意力的缓存形式,本节改变 FFN 的组织方式,内部结构保持不变。稠密模型中,FFN 加宽一倍,每个 token 的计算量也翻一倍。MoE 使用稀疏激活:把每层的 FFN 复制成一组结构相同的“专家”,再配一个路由器,每个 token 只由得分最高的几个专家处理。本节沿“想法从哪来、专家怎么选、账怎么记、隐患怎么防、谱系怎么长”这条线展开:
- 稠密模型的天花板与“稀疏”想法(5.4.1):一层里三分之二的参数躺在 FFN 里,扩容的念头与成本天花板撞个正着;
- 路由器与 top-k 激活:8 个专家只请 2 个(5.4.2):打分、选择、混合三步走完,每个 token 走的路都不一样;
- 总参数 vs 激活参数:两本账(5.4.3):显存看总参数、算力看激活参数,Mixtral 用 13B 级的账单跑出 70B 级的效果;
- 负载均衡:防止 token “追星”(5.4.4):不管路由分布,明星专家挤爆、多数专家退化,辅助损失就是分诊台的绩效考核;
- 发展谱系:从 137B 到 671B(5.4.5):从 2017 年的大胆想法到 DeepSeek-V3,专家越切越细、路由越调越稳。
读完本节,你应该能说清 MoE 凭什么“拿显存换计算”,以及它与前几节的改进为什么是正交的。它牵出的专家并行、路由通信等工程问题,分别留到第 7 章和第 13 章展开。
本节动的还是块里的前馈子层:不改它的内部结构,改它的组织方式。把 block 里的这一格放大对照:左边是 4.6 节已经走完的 dense FFN,右边是 minimind 替换后的 MoE 层——一个 token 进去,几个专家谁上场、怎么算、出来时什么形状?
5.4.1 稠密模型的天花板与“稀疏”想法
第 4 章讲过,Transformer 每一层由注意力和前馈网络(FFN)两块组成。先算一笔参数账:按原始论文的配置,注意力的 4 个投影矩阵约占 \(4d^2\) 个参数,而 FFN 的两个矩阵(维度分别是 \(d \times d_{ff}\) 与 \(d_{ff} \times d\),且 \(d_{ff}=4d\))约占 \(8d^2\)。也就是说,一层里大约三分之二的参数躺在 FFN 里。想让模型更聪明,最直白的做法就是把 FFN 加宽。
但稠密(Dense)模型有个甩不掉的宿命:参数量和计算量绑死在一起。FFN 加宽一倍,每个 token 的计算量就跟着涨一倍,因为每个 token 都要原封不动地流过全部参数。参数规模一路狂奔,训练和推理的账单也跟着一路狂奔,这条路很快会撞到成本的天花板。
2017 年,Shazeer 等人提出了一条打破绑定的思路:稀疏激活——参数可以很多,但每个输入只用其中一小部分。有意思的是,Shazeer 正是 Transformer 论文的共同作者之一,同年发表的两篇论文,一篇给出了架构,一篇给出了让架构做大的办法。他们的生活化原型其实随处可见:综合医院从不靠把一个全科医生培养成什么都会的超人,而是分科室——心内科、呼吸科、骨科,病人来了只去对口的一两个科室,用不着全院几百位医生一起会诊。
把 Transformer 每层的 FFN 换成 \(E\) 个结构相同、参数各自独立的小 FFN(每个称为一个专家),再配一个路由器(router)决定每个 token 找哪几个专家。总参数量可以做得很大,但每个 token 只激活其中一小部分,计算量只按被激活的专家算。
MoE 说的“稀疏”是激活稀疏:每次前向只动用一部分参数。它和模型剪枝的“参数稀疏”(把大量权重置零)不是一回事——MoE 的每个专家本身都是一个完完整整的稠密小网络。
一句话白话:这一步做的事,是把“模型有多大”和“每步算多少”这两本账分开记——参数随便加,计算只按出诊的专家算。
5.4.2 路由器与 top-k 激活:8 个专家只请 2 个
MoE 层每个 token 的旅程分三步:
- 打分:token 的隐藏向量 \(x\) 乘上一个可训练的矩阵 \(W_g\),softmax 之后得到 \(E\) 个专家的分数,分数代表“这个 token 与该专家的对口程度”;
- 选择:只保留分数最高的 \(k\) 个专家(top-k),其余专家这一轮完全不参与计算;
- 混合:被选中的专家各自处理 \(x\),输出按路由分数加权求和,作为这一层 FFN 的结果。
落到具体数字上。以 Mixtral 风格的“8 选 2”为例:某个输入 token(比如“咳嗽”)经路由器打出 8 个分数 [0.02, 0.35, 0.01, 0.08, 0.10, 0.28, 0.15, 0.01],最高的是专家 2(0.35)和专家 6(0.28)。于是这一轮只有这两位专家真正做矩阵运算,输出按 0.35 与 0.28 加权;许多实现会先把这两个分数重新归一化成约 0.56 和 0.44 再加权。下一个 token 的打分完全不同,可能点亮专家 4 和专家 7——每个 token 走的路都不一样。
路由器本身只有 \(E \times d\) 个参数(相对专家可以忽略不计),也随训练一起更新。它不做任何实质性的语义加工,唯一的职责是决定“这个 token 该挂哪几个科室的号”。
专家的分工不是人工指定的,而是训练中自发涌现的,而且未必符合人类直觉的“科室”。Mixtral 论文的路由分析就发现:专家分配没有表现出明显的话题规律(生物、哲学类文本的路由分布几乎一样),分化更多体现在句法层面。所以“呼吸科专家”只是帮助我们理解的类比,真实专家学到的分工要微妙得多。
一句话白话:路由器就是分诊台,给每个 token 挂最对口的 \(k\) 个科室,其余医生本轮休息——这就是“稀疏激活”的全部秘密。
5.4.3 总参数 vs 激活参数:两本账
稠密模型里这两个数字相等;MoE 模型里,激活参数只是总参数的一个零头。总参数决定模型要占多少显存(所有专家都得装进去),激活参数决定每个 token 要花多少算力(只算被选中的专家)。
把三代代表模型摆在一起看,这两本账的差异一目了然:
| 模型 | 架构 | 总参数 | 每 token 激活参数 | 激活比例 |
|---|---|---|---|---|
| Llama 2 70B | 稠密 | 70B | 70B | 100% |
| Mixtral 8x7B | 8 专家,top-2 | 约 46.7B | 约 12.9B | 约 28% |
| DeepSeek-V3 | 256 路由专家 + 1 共享专家,top-8 | 671B | 37B | 约 5.5% |
易错点:Mixtral 8x7B 不是 \(8 \times 7 = 56\)B。被复制成 8 份的只有 FFN,注意力、Embedding 等参数是全体专家共享的。按公开配置(隐藏维度 4096、32 层、FFN 中间维 14336)估算:每个专家 FFN 约 5.6B,8 份共约 45B,加共享部分约 1.6B,合计约 46.7B;每 token 激活则是“共享 1.6B + 2 个专家约 11.3B”,约 12.9B。
这笔账的现实意义非常直接:Mixtral 8x7B 在论文评测的全部基准上达到或超过 Llama 2 70B,而推理时每个 token 只按约 13B 参数的规模花钱。显存占用对标 47B 级模型,计算开销对标 13B 级模型,效果对标 70B 级模型——三个数字各管各的。
核心结论:显存看总参数,算力看激活参数。MoE 是一笔“拿显存换计算”的交易——只要显存装得下全部专家,就能用小模型的计算账单,跑大模型的知识容量。
一句话白话:大楼要按全院的规模盖(显存),出诊只出两位医生(算力)——MoE 用空间换时间。
5.4.4 负载均衡:防止 token “追星”
路由器是学出来的,这就埋下一个隐患:马太效应。训练早期如果某几个专家碰巧起步稍好,路由器会把越来越多的 token 派给它们;被派得越多,它们得到的梯度训练就越充分,表现就更好,于是更容易被选中。恶性循环下去,少数“明星专家”被挤爆,多数专家从头到尾没接到几个病人,永远得不到训练,沦为摆设——模型名义上的大容量名存实亡。工程上还有一层麻烦:专家通常分布在不同 GPU 上,token 挤向同一个专家,等于挤爆同一张卡,其他卡干等。
注意:不加干预的 MoE 训练几乎必然出现路由“追星”:少量专家过载、多数专家闲置退化。负载均衡不是锦上添花,是 MoE 能训练成功的前提条件。
经典解法是 Switch Transformer 使用的辅助负载均衡损失:在一个 batch 里,统计每个专家实际分到的 token 比例 \(f_i\),以及路由器输出给它的平均概率 \(P_i\),把两者乘积之和加进总损失里惩罚:
一句话白话:负载均衡就是分诊台的调度纪律——不许把病人全塞给名医,每个科室都得上手练,医院才算真的大。三种做法落到实处:
- 辅助损失 = 接诊量考核(Switch Transformer):8 个科室里名医专家 2 接走一半病人(\(f_2 = 0.5\)),公式 (3) 的乘积之和就会变大,等于给分诊台记一笔罚。想少挨罚,路由器只能把后续病人匀给冷门科室,梯度正是推着它这样调参的。
- 噪声门控 = 摇号插队(Shazeer 2017):打分时给每个科室额外加一个随机摇号分,再按总分选 top-k。冷门科室实力分低但摇号分可能很高,偶尔也能接到病人练手,避免训练开局就一边倒。
- 无辅助损失均衡 = 排队顺序调节(DeepSeek-V3):分诊台手里有本小册子,只记一件事——哪个科室最近持续爆满,就把它的排队优先级往后挪。挪动的只是“选谁”的顺序,不动医生的水平分(不进 softmax 分数、不碰主任务梯度),所以不会像辅助损失那样干扰主任务训练。
5.4.5 发展谱系:从 137B 到 671B
MoE 从 2017 年的一个大胆想法,走到今天顶级大模型的标配,关键节点如下:
| 模型(年份) | 路由策略 | 专家规模 | 一句话定位 |
|---|---|---|---|
| Sparsely-Gated MoE(2017,Google) | top-k,含噪声门控 | 最多上万专家(堆在 LSTM 上) | 首次把“稀疏激活”做成可行方案,模型冲到 137B 参数 |
| GShard(2020,Google) | top-2 | 600B 参数 | 第一次把 MoE 搬进 Transformer,用于机器翻译 |
| Switch Transformer(2021,Google) | top-1 | 万亿参数级 | 把路由简化到每 token 只选 1 个专家,通信与实现大幅简化 |
| Mixtral 8x7B(2023 年底开源,2024 成文) | top-2,8 专家 | 约 46.7B 总参数 | 开源权重标杆,效果对标 Llama 2 70B,激活仅约 12.9B |
| DeepSeek-V3(2024,DeepSeek) | top-8,256 路由专家 + 1 共享专家 | 671B 总参数 | 细粒度专家 + 无辅助损失均衡,每 token 激活 37B |
最后把视野收回本章。MoE 改动的是 FFN 的组织方式,与本章前几节讲的注意力侧改进(GQA、MLA)以及归一化、激活函数的替换是正交的,可以自由组合——DeepSeek-V3 就是 MLA 注意力加 MoE 前馈的组合体。而大规模 MoE 牵出的工程问题(专家并行、显存墙、路由通信)已经超出架构本身,分别留到第 7 章的训练工程和第 13 章的推理部署再展开。
一句话白话:MoE 的七年进化,就是专家越切越细、路由越调越稳,用同样的算力账单撬动越来越大的知识容量。
参考来源
- Shazeer et al., 2017. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer(arXiv:1701.06538):稀疏门控 MoE 的原始论文,137B 参数规模与噪声门控的出处。
- Lepikhin et al., 2020. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding(arXiv:2006.16668):MoE 首次用于 Transformer,600B 参数。
- Fedus, Zoph & Shazeer, 2021. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity(arXiv:2101.03961):top-1 路由与公式 (3) 辅助负载均衡损失的出处。
- Jiang et al., 2024. Mixtral of Experts(arXiv:2401.04088):46.7B 总参数、12.9B 激活、对标 Llama 2 70B,以及路由分析“专家分化不按话题、偏句法”的出处。
- DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437):671B 总参数、37B 激活、256 路由专家加共享专家与无辅助损失均衡策略的出处。
- minimind 工程(Apache 2.0),
model/model_minimind.py的 MOEFeedForward 类:MoE 的工程实现参考。