一、引言：从 DeepSeek-V3 的 671B/37B 说起
2024 年底，DeepSeek-V3 以「6710 亿总参数、每次推理仅激活 370 亿参数」的姿态横空出世，在多项基准测试中追平甚至超越当时最顶尖的稠密大模型，训练成本据称不足 GPT-4 的十分之一。这背后最关键的技术，就是 MoE（Mixture of Experts，混合专家模型）架构。此后，Mixtral、Llama 4、Qwen2.5-Max、DeepSeek-R1 等顶级开源模型无一例外地选择了 MoE。可以说，理解 MoE，就等于拿到了打开 2026 年大模型世界的钥匙。
二、为什么需要 MoE：稠密模型的「算力墙」
在 Transformer 架构中，前馈网络（FFN）消耗了约三分之二的模型参数和计算量。传统稠密模型（如 LLaMA-70B）对每一个输入的 Token 都要激活全部参数——这意味着，想要提升模型容量，就必须等比例增加计算量，二者被死死绑定，这就是「算力墙」。
MoE 的核心洞见打破了这堵墙：不是每个 Token 都需要相同的专业知识。一句话里的「光合作用」只需要少数懂生物化学的专家处理，而「是」这类语法词只需要精通语法结构的专家。让不同的 Token 走不同的专家，就能在计算量基本不变的前提下，大幅扩展参数容量：
- 稠密 70B 模型：每个 Token 激活全部 70B 参数
- Mixtral 8×7B：总参数约 47B，每个 Token 仅激活约 13B，计算量接近 13B 稠密模型，容量却达 47B
- DeepSeek-V3：总参数 671B，激活仅 37B，推理计算量约为同规模稠密模型的 5%
但要注意一个关键权衡：显存需求仍与总参数量成正比。推理时所有专家参数都必须驻留显存待命，这是 MoE 在部署侧的主要挑战。
三、MoE 的四个核心组件
一个 MoE 层本质上就是把 Transformer Block 中的 FFN 替换为一组并行的「专家 FFN」加上一个路由器：
- 专家网络（Expert）：一组结构相同、权重独立的并行前馈子网络，在训练中自发形成不同的「专业方向」。专家数量从 Mixtral 的 8 个到 DeepSeek-V3 的 256 个不等。
- 专家稀疏性：每个 Token 仅激活全体专家池中的一小部分（通常是 Top-1 或 Top-2）。
- 门控路由器（Router）：一个极轻量的线性层（参数量约为 d_model × num_experts），对每个 Token 给所有专家打分，选出最合适的 Top-K 个。
- 输出融合：把被选中专家的输出，按门控给出的置信度加权求和，作为该层最终结果。
前向流程可以概括为：Token 先经过自注意力层，再由门控打分 → 选出 Top-K 专家 → 专家分别计算 → 加权合并 → 残差加总，进入下一层。
四、一个形象的比喻：专家会诊医院
把模型想象成一家医院：稠密模型是一个「全科医生」，无论什么病都一个人看，看得越多越疲惫；MoE 则是一座拥有几百位专科医生的医院，挂号处（门控）根据病情把病人分给最合适的几位专科医生，平均每位病人只看 2 个科室。医院规模再大（专家再多），单个病人付出的看诊量基本不变——这就是 MoE「高参数、低计算」的稀疏哲学。
五、路由机制演进：四代算法
路由算法是 MoE 的「大脑」，决定了模型的专业化程度与计算效率。从 2017 年至今经历了四代重要演进：
第一代：Noisy Top-K 路由（Shazeer et al., 2017）——奠基之作。首次将 MoE 应用于语言建模，在 Softmax 之前注入高斯噪声，让门控在训练时「探索」，避免过早固化到少数专家。问题是噪声是启发式的，无法精确控制负载均衡。
第二代：Switch Transformer（Google, 2021）——极简方案。每个 Token 只路由到一个专家（Top-1），引入容量因子 C（通常 1.1~1.5），专家满载时多余 Token 直接跳过。相比同参数稠密模型训练速度提升 7 倍，并成为首个开源万亿参数 MoE 模型。
第三代：Expert Choice 路由（2022）——颠覆性反转。不再是「Token 选专家」，而是每个专家主动挑选最适合自己的 Token，天然实现完美负载均衡，无需辅助损失。致命缺陷：必须看到完整序列才能做选择，与自回归逐 Token 生成矛盾，仅适用于训练或批量编码场景。
第四代：DeepSeek 无辅助损失偏置路由（2024）——当前里程碑。用 Sigmoid 替代 Softmax 独立打分，并为每个专家增加可学习的偏置项，根据实际负载自动调节，彻底废弃辅助损失，同时解决负载均衡与梯度干扰两大顽疾。
六、DeepSeek-V3 的三板斧
- 共享专家 + 路由专家（Hybrid）：共享专家处理所有 Token，保证全局信息流；路由专家按需激活、各自专精，大幅减少专家之间的知识冗余。
- Sigmoid 独立评分：256 个专家时 Softmax 计算量大且专家间互相牵制；Sigmoid 让每个专家独立打分，解耦了专家选择过程。
- 三级负载均衡损失：专家级 + 设备级 + 通信级，训练时保证专家使用均衡、硬件负载均匀、通信量可控。配合细粒度专家切分（Fine-Grained Expert Segmentation），让每个专家更专、知识共享度更低。
七、MoE 面临的三大挑战
- 负载均衡与「专家塌缩」：「富者愈富」——门控总把 Token 丢给少数专家，其他专家因训练不足而「饿死」。解决方案包括辅助损失、可学习偏置和随机路由机制。
- 通信开销：专家分布在不同 GPU 时，Token 分发与结果聚合需要 all-to-all 通信，是分布式训练的主要瓶颈，对网络带宽要求极高。
- 显存压力：推理时所有专家参数都必须在显存中待命，显存需求与总参数量成正比。这也是 MoE 推理对显存容量要求远高于稠密模型的原因。
八、给学习者的实用建议
- 动手读代码：Hugging Face 上 Mixtral 的 modeling 文件是最好的教材。尝试自己实现一个 4 专家的迷你 MoE，在 MNIST 上跑通分类，理解 Top-K 路由与辅助损失。
- 按顺序读论文：Switch Transformer → Expert Choice → DeepSeek-V3 技术报告，三篇读下来，MoE 的全貌基本就清晰了。
- 关注工程落地：MoE 的难点更多在工程侧（并行策略、通信优化、显存管理）。学习 vLLM、SGLang 等推理框架对 MoE 的支持，比只看理论更有求职价值。
- 建立时代视野：2026 年几乎所有顶级开源模型都采用 MoE，「稀疏激活」已成为大模型的主流范式，值得投入整块时间系统学习。
总结：MoE 的思想其实很朴素——把「一个全才」拆成「一群专才 + 聪明的调度」。理解了这层思维模型，再回头看 DeepSeek 的论文、各家推理框架的优化手段，都会豁然开朗。希望这篇文章能成为你深入大模型架构的第一块基石。