在混合专家模型中，门控网络会把每个 token 分配给一小部分“专家”子网络，因此每次输入只激活模型的一部分。Shazeer 等人（2017）提出了稀疏门控 MoE 层，Fedus 等人（2021）则在 Switch Transformer 中简化了路由机制，把模型扩展到万亿参数规模，同时让每个 token 的计算量大致保持不变。
MoE 让模型在拥有庞大总容量的同时，推理成本更接近一个小得多的稠密模型。
LLM 架构效率
2026 年更新
混合专家模型（Mixture of Experts，MoE）
定义
一种将每个输入只路由到少数几个专门子网络、而非整个模型的架构，以更低的单次查询成本获得巨大的模型容量。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
词典与百科条目
- Wikipedia — Mixture of experts
- IBM — Think / Topics — What is mixture of experts?
引用本条目
MultipleChat.《混合专家模型（MoE）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/moe