5.4 MoE 混合专家:一个大脑,多位专科医生

本页范围:第 5 章第 4 节 | 整理时间:2026-09-29

快速浏览

核心问题稠密模型里参数量和计算量绑死在一起:想扩容就得每个 token 都算完全部参数。能不能让参数暴涨,而每个 token 的计算量几乎不涨?
本节主张MoE(混合专家)把每层的 FFN 复制成 E 个结构相同的“专家”,再配一个可训练的路由器,给每个 token 只派得分最高的 top-k 个专家干活,其余专家本轮不计算。
一句话结论MoE 把“模型有多大”和“每步算多少”解绑:总参数决定显存,激活参数决定计算,本质是拿显存换计算。
关键词
MoE专家路由器top-k 激活稀疏激活负载均衡激活参数

  本章前几节修改了归一化、激活函数和注意力的缓存形式,本节改变 FFN 的组织方式,内部结构保持不变。稠密模型中,FFN 加宽一倍,每个 token 的计算量也翻一倍。MoE 使用稀疏激活:把每层的 FFN 复制成一组结构相同的“专家”,再配一个路由器,每个 token 只由得分最高的几个专家处理。本节沿“想法从哪来、专家怎么选、账怎么记、隐患怎么防、谱系怎么长”这条线展开:

  1. 稠密模型的天花板与“稀疏”想法(5.4.1):一层里三分之二的参数躺在 FFN 里,扩容的念头与成本天花板撞个正着;
  2. 路由器与 top-k 激活:8 个专家只请 2 个(5.4.2):打分、选择、混合三步走完,每个 token 走的路都不一样;
  3. 总参数 vs 激活参数:两本账(5.4.3):显存看总参数、算力看激活参数,Mixtral 用 13B 级的账单跑出 70B 级的效果;
  4. 负载均衡:防止 token “追星”(5.4.4):不管路由分布,明星专家挤爆、多数专家退化,辅助损失就是分诊台的绩效考核;
  5. 发展谱系:从 137B 到 671B(5.4.5):从 2017 年的大胆想法到 DeepSeek-V3,专家越切越细、路由越调越稳。

  读完本节,你应该能说清 MoE 凭什么“拿显存换计算”,以及它与前几节的改进为什么是正交的。它牵出的专家并行、路由通信等工程问题,分别留到第 7 章和第 13 章展开。

  本节动的还是块里的前馈子层:不改它的内部结构,改它的组织方式。把 block 里的这一格放大对照:左边是 4.6 节已经走完的 dense FFN,右边是 minimind 替换后的 MoE 层——一个 token 进去,几个专家谁上场、怎么算、出来时什么形状?

原创示意图 · 非论文原图 一格 FFN 的替换:dense → MoE(对照 4.6 节图 7) 接口不变:进 768 维、出 768 维,主干与塔顶输出头(4.6 节图 8)都不用改;右图每个专家与左图同构(768→2432→768 SwiGLU) 原来:dense FFN(每个 token 全量算) 前半层:注意力(略) 后半层:FFN(对照 4.6 节图 7) x 向量 [1, 768] × W_gate、W_up 矩阵 [768, 2432] = SiLU(gate) ⊙ up = 筛选后 [1, 2432] × W_down 矩阵 [2432, 768] = y 向量 [1, 768] 每个 token 都流过全部 FFN 参数 ≈ 560 万个(768×2432×3) 替换 接口不变 现在:MoE 前馈(minimind:4 专家 top-1) 前半层:注意力(略) 后半层:换成 MoE 层 x 向量 [1, 768] × 路由器 W_g 矩阵 [768, 4] softmax 4 个分数 top-1:只激活最高分 专家 1:FFN 768→2432→768(同左),本轮不算 专家 2:FFN 768→2432→768(同左),真正计算 专家 3:FFN 768→2432→768(同左),本轮不算 专家 4:FFN 768→2432→768(同左),本轮不算 = y = 专家2(x) 向量 [1, 768] top-1 权重归一化为 1 参数 4 套 ≈ 2240 万,单 token 只算 1 套 ≈ 560 万
图 1:一格 FFN 的替换对照(minimind 配置:4 专家、top-1)。左:dense FFN,每个 token 流过全部 ≈560 万参数(与 4.6 节图 7 同构);右:同一位置换成路由器 \(W_g\) [768, 4] 加 4 个与左图同构的专家 FFN,softmax 打分后只有最高分专家真正计算,top-1 时选中分数归一化后为 1,输出就是该专家的计算结果(top-k≥2 时才按归一化分数加权,见 5.4.2 公式 2 与 minimind 源码 `model_minimind.py`)。接口不变:进 768 维出 768 维,主干与塔顶输出头(4.6 节图 8)都不用改;FFN 参数变 4 套(≈2240 万),单 token 计算量不变(≈560 万)。训练时的负载均衡损失见 5.4.4。

5.4.1 稠密模型的天花板与“稀疏”想法

  第 4 章讲过,Transformer 每一层由注意力和前馈网络(FFN)两块组成。先算一笔参数账:按原始论文的配置,注意力的 4 个投影矩阵约占 \(4d^2\) 个参数,而 FFN 的两个矩阵(维度分别是 \(d \times d_{ff}\) 与 \(d_{ff} \times d\),且 \(d_{ff}=4d\))约占 \(8d^2\)。也就是说,一层里大约三分之二的参数躺在 FFN 里。想让模型更聪明,最直白的做法就是把 FFN 加宽。

  但稠密(Dense)模型有个甩不掉的宿命:参数量和计算量绑死在一起。FFN 加宽一倍,每个 token 的计算量就跟着涨一倍,因为每个 token 都要原封不动地流过全部参数。参数规模一路狂奔,训练和推理的账单也跟着一路狂奔,这条路很快会撞到成本的天花板。

  2017 年,Shazeer 等人提出了一条打破绑定的思路:稀疏激活——参数可以很多,但每个输入只用其中一小部分。有意思的是,Shazeer 正是 Transformer 论文的共同作者之一,同年发表的两篇论文,一篇给出了架构,一篇给出了让架构做大的办法。他们的生活化原型其实随处可见:综合医院从不靠把一个全科医生培养成什么都会的超人,而是分科室——心内科、呼吸科、骨科,病人来了只去对口的一两个科室,用不着全院几百位医生一起会诊。

混合专家 MoE Mixture-of-Experts = 把一个大网络换成许多小“专家”网络,按需调用

把 Transformer 每层的 FFN 换成 \(E\) 个结构相同、参数各自独立的小 FFN(每个称为一个专家),再配一个路由器(router)决定每个 token 找哪几个专家。总参数量可以做得很大,但每个 token 只激活其中一小部分,计算量只按被激活的专家算。

  MoE 说的“稀疏”是激活稀疏:每次前向只动用一部分参数。它和模型剪枝的“参数稀疏”(把大量权重置零)不是一回事——MoE 的每个专家本身都是一个完完整整的稠密小网络。

  一句话白话:这一步做的事,是把“模型有多大”和“每步算多少”这两本账分开记——参数随便加,计算只按出诊的专家算。

5.4.2 路由器与 top-k 激活:8 个专家只请 2 个

  MoE 层每个 token 的旅程分三步:

  1. 打分:token 的隐藏向量 \(x\) 乘上一个可训练的矩阵 \(W_g\),softmax 之后得到 \(E\) 个专家的分数,分数代表“这个 token 与该专家的对口程度”;
  2. 选择:只保留分数最高的 \(k\) 个专家(top-k),其余专家这一轮完全不参与计算;
  3. 混合:被选中的专家各自处理 \(x\),输出按路由分数加权求和,作为这一层 FFN 的结果。
\[ s = \mathrm{softmax}(W_g\, x), \qquad W_g \in \mathbb{R}^{E \times d} \tag{1} \] \[ y = \sum_{i \in \mathrm{TopK}(s)} \tilde{s}_i \cdot E_i(x), \qquad \tilde{s}_i = \frac{s_i}{\sum_{j \in \mathrm{TopK}(s)} s_j} \tag{2} \]
公式 (1):路由器就是一个 \(E\) 路输出的线性层加 softmax。公式 (2):只有 top-k 专家被计算,且选中分数重新归一化后再加权——Mixtral 与 minimind 的实现都是这个做法。符号说明:\(x\) 是 token 的隐藏向量;\(W_g\) 是路由器的权重矩阵(\(E \times d\),\(E\) 是专家数、\(d\) 是隐藏维度),随训练学习;\(s\) 是 softmax 后的 \(E\) 维打分向量,\(s_i\) 是第 \(i\) 个专家的得分;\(\mathrm{TopK}(s)\) 是得分最高的 \(k\) 个专家的下标集合;\(E_i(x)\) 是第 \(i\) 个专家(一个小 FFN)对 \(x\) 的输出;\(\tilde{s}_i\) 是选中分数重新归一化后的权重;\(y\) 是本层 MoE 的最终输出。

  落到具体数字上。以 Mixtral 风格的“8 选 2”为例:某个输入 token(比如“咳嗽”)经路由器打出 8 个分数 [0.02, 0.35, 0.01, 0.08, 0.10, 0.28, 0.15, 0.01],最高的是专家 2(0.35)和专家 6(0.28)。于是这一轮只有这两位专家真正做矩阵运算,输出按 0.35 与 0.28 加权;许多实现会先把这两个分数重新归一化成约 0.56 和 0.44 再加权。下一个 token 的打分完全不同,可能点亮专家 4 和专家 7——每个 token 走的路都不一样。

路由器 Router router / gate = 可训练的“分诊台”,参数量极小的一个线性层

路由器本身只有 \(E \times d\) 个参数(相对专家可以忽略不计),也随训练一起更新。它不做任何实质性的语义加工,唯一的职责是决定“这个 token 该挂哪几个科室的号”。

原创示意图 · 非论文原图 8 选 2 的打分现场:token「咳嗽」走一遍(Mixtral 风格,结构同图 1 右栏) 形状与图 1 相同:x [1, 768] × W_g [768, 8] → softmax 8 个分数 → top-2 加权输出;每个专家内部就是图 1 那套 FFN(768→2432→768) x 向量 [1, 768] token:咳嗽 × 路由器 W_g 矩阵 [768, 8] softmax 8 个分数 = s = softmax(W_g·x):8 个分数(横条按真实分数成比例)→ top-2 专家 1 0.02 本轮不算 专家 2(呼吸科) 0.35 选中:归一化 0.35/0.63 → 0.56 专家 3 0.01 本轮不算 专家 4 0.08 本轮不算 专家 5 0.10 本轮不算 专家 6(感染科) 0.28 选中:归一化 0.28/0.63 → 0.44 专家 7 0.15 本轮不算 专家 8 0.01 本轮不算 = y = 0.56·专家2(x) + 0.44·专家6(x) 向量 [1, 768] 未选中的 6 个专家本轮完全不计算——省下的就是这部分算力;科室名为帮助理解的类比(见下方注释框)
图 2:8 选 2 的打分现场(Mixtral 风格,结构同图 1 右栏)。token「咳嗽」的 \(x\) [1, 768] 乘路由器 \(W_g\) [768, 8],softmax 打出 8 个分数(横条按真实分数成比例,数值出自 5.4.2 正文示例);top-2 选中专家 2(0.35)与专家 6(0.28),两个分数归一化为 0.56、0.44 后加权求和,输出仍是 [1, 768]。未选中的 6 个专家本轮完全不计算;每个专家内部就是图 1 那套 FFN。

  专家的分工不是人工指定的,而是训练中自发涌现的,而且未必符合人类直觉的“科室”。Mixtral 论文的路由分析就发现:专家分配没有表现出明显的话题规律(生物、哲学类文本的路由分布几乎一样),分化更多体现在句法层面。所以“呼吸科专家”只是帮助我们理解的类比,真实专家学到的分工要微妙得多。

  一句话白话:路由器就是分诊台,给每个 token 挂最对口的 \(k\) 个科室,其余医生本轮休息——这就是“稀疏激活”的全部秘密。

5.4.3 总参数 vs 激活参数:两本账

激活参数 Active Parameters active vs total parameters = 每个 token 实际参与计算的参数 vs 模型全部参数

稠密模型里这两个数字相等;MoE 模型里,激活参数只是总参数的一个零头。总参数决定模型要占多少显存(所有专家都得装进去),激活参数决定每个 token 要花多少算力(只算被选中的专家)。

  把三代代表模型摆在一起看,这两本账的差异一目了然:

模型架构总参数每 token 激活参数激活比例
Llama 2 70B稠密70B70B100%
Mixtral 8x7B8 专家,top-2约 46.7B约 12.9B约 28%
DeepSeek-V3256 路由专家 + 1 共享专家,top-8671B37B约 5.5%

  易错点:Mixtral 8x7B 不是 \(8 \times 7 = 56\)B。被复制成 8 份的只有 FFN,注意力、Embedding 等参数是全体专家共享的。按公开配置(隐藏维度 4096、32 层、FFN 中间维 14336)估算:每个专家 FFN 约 5.6B,8 份共约 45B,加共享部分约 1.6B,合计约 46.7B;每 token 激活则是“共享 1.6B + 2 个专家约 11.3B”,约 12.9B。

  这笔账的现实意义非常直接:Mixtral 8x7B 在论文评测的全部基准上达到或超过 Llama 2 70B,而推理时每个 token 只按约 13B 参数的规模花钱。显存占用对标 47B 级模型,计算开销对标 13B 级模型,效果对标 70B 级模型——三个数字各管各的。

  核心结论:显存看总参数,算力看激活参数。MoE 是一笔“拿显存换计算”的交易——只要显存装得下全部专家,就能用小模型的计算账单,跑大模型的知识容量。

  一句话白话:大楼要按全院的规模盖(显存),出诊只出两位医生(算力)——MoE 用空间换时间。

5.4.4 负载均衡:防止 token “追星”

  路由器是学出来的,这就埋下一个隐患:马太效应。训练早期如果某几个专家碰巧起步稍好,路由器会把越来越多的 token 派给它们;被派得越多,它们得到的梯度训练就越充分,表现就更好,于是更容易被选中。恶性循环下去,少数“明星专家”被挤爆,多数专家从头到尾没接到几个病人,永远得不到训练,沦为摆设——模型名义上的大容量名存实亡。工程上还有一层麻烦:专家通常分布在不同 GPU 上,token 挤向同一个专家,等于挤爆同一张卡,其他卡干等。

  注意:不加干预的 MoE 训练几乎必然出现路由“追星”:少量专家过载、多数专家闲置退化。负载均衡不是锦上添花,是 MoE 能训练成功的前提条件。

  经典解法是 Switch Transformer 使用的辅助负载均衡损失:在一个 batch 里,统计每个专家实际分到的 token 比例 \(f_i\),以及路由器输出给它的平均概率 \(P_i\),把两者乘积之和加进总损失里惩罚:

\[ \mathcal{L}_{\mathrm{aux}} = E \cdot \sum_{i=1}^{E} f_i \cdot P_i \tag{3} \]
公式 (3):辅助负载均衡损失。符号说明:\(\mathcal{L}_{\mathrm{aux}}\) 是加进总损失里的辅助项;\(f_i\) 是分给专家 \(i\) 的 token 占比,\(P_i\) 是路由器给专家 \(i\) 的平均概率,两者都在一个 batch 内统计;分配越不均匀,乘积之和越大,每个专家都分到 \(1/E\) 时损失最小;\(E\) 是专家数,乘它只是让损失尺度不随专家数变化。

  一句话白话:负载均衡就是分诊台的调度纪律——不许把病人全塞给名医,每个科室都得上手练,医院才算真的大。三种做法落到实处:

  • 辅助损失 = 接诊量考核(Switch Transformer):8 个科室里名医专家 2 接走一半病人(\(f_2 = 0.5\)),公式 (3) 的乘积之和就会变大,等于给分诊台记一笔罚。想少挨罚,路由器只能把后续病人匀给冷门科室,梯度正是推着它这样调参的。
  • 噪声门控 = 摇号插队(Shazeer 2017):打分时给每个科室额外加一个随机摇号分,再按总分选 top-k。冷门科室实力分低但摇号分可能很高,偶尔也能接到病人练手,避免训练开局就一边倒。
  • 无辅助损失均衡 = 排队顺序调节(DeepSeek-V3):分诊台手里有本小册子,只记一件事——哪个科室最近持续爆满,就把它的排队优先级往后挪。挪动的只是“选谁”的顺序,不动医生的水平分(不进 softmax 分数、不碰主任务梯度),所以不会像辅助损失那样干扰主任务训练。

5.4.5 发展谱系:从 137B 到 671B

  MoE 从 2017 年的一个大胆想法,走到今天顶级大模型的标配,关键节点如下:

模型(年份)路由策略专家规模一句话定位
Sparsely-Gated MoE(2017,Google)top-k,含噪声门控最多上万专家(堆在 LSTM 上)首次把“稀疏激活”做成可行方案,模型冲到 137B 参数
GShard(2020,Google)top-2600B 参数第一次把 MoE 搬进 Transformer,用于机器翻译
Switch Transformer(2021,Google)top-1万亿参数级把路由简化到每 token 只选 1 个专家,通信与实现大幅简化
Mixtral 8x7B(2023 年底开源,2024 成文)top-2,8 专家约 46.7B 总参数开源权重标杆,效果对标 Llama 2 70B,激活仅约 12.9B
DeepSeek-V3(2024,DeepSeek)top-8,256 路由专家 + 1 共享专家671B 总参数细粒度专家 + 无辅助损失均衡,每 token 激活 37B

  最后把视野收回本章。MoE 改动的是 FFN 的组织方式,与本章前几节讲的注意力侧改进(GQA、MLA)以及归一化、激活函数的替换是正交的,可以自由组合——DeepSeek-V3 就是 MLA 注意力加 MoE 前馈的组合体。而大规模 MoE 牵出的工程问题(专家并行、显存墙、路由通信)已经超出架构本身,分别留到第 7 章的训练工程和第 13 章的推理部署再展开。

  一句话白话:MoE 的七年进化,就是专家越切越细、路由越调越稳,用同样的算力账单撬动越来越大的知识容量。

🧭本节要点回顾
MoE 凭什么让参数暴涨而每 token 计算量不涨?
每层 FFN 被复制成 E 个专家,路由器对每个 token 只激活得分最高的 top-k 个,其余专家不计算。模型容量由总参数决定,计算量由激活参数决定,两本账从此分开记。
为什么说 MoE 是“拿显存换计算”?
全部专家参数都必须装进显存(按总参数计),但每个 token 只按激活的少数专家计算。Mixtral 8x7B 的显存占用对标 47B 级模型,计算量只对标 13B 级模型,效果对标 70B。
训练 MoE 时不管路由分布会怎样?
会出现“追星”:少数专家被反复选中、越练越强,多数专家闲置退化,大容量名存实亡。辅助负载均衡损失(公式 3)通过惩罚不均匀的分配,把 token 摊平到各个专家。

参考来源

  • Shazeer et al., 2017. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer(arXiv:1701.06538):稀疏门控 MoE 的原始论文,137B 参数规模与噪声门控的出处。
  • Lepikhin et al., 2020. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding(arXiv:2006.16668):MoE 首次用于 Transformer,600B 参数。
  • Fedus, Zoph & Shazeer, 2021. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity(arXiv:2101.03961):top-1 路由与公式 (3) 辅助负载均衡损失的出处。
  • Jiang et al., 2024. Mixtral of Experts(arXiv:2401.04088):46.7B 总参数、12.9B 激活、对标 Llama 2 70B,以及路由分析“专家分化不按话题、偏句法”的出处。
  • DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437):671B 总参数、37B 激活、256 路由专家加共享专家与无辅助损失均衡策略的出处。
  • minimind 工程(Apache 2.0),model/model_minimind.py 的 MOEFeedForward 类:MoE 的工程实现参考。