混合专家模型

门控网络（router）为每个 token 选择要激活的专家，并给出相应的加权系数。^{11Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layerarxiv.org前往参考资料 ↓在新标签页中打开}

Switch Transformer 把每个 token 激活的专家数简化为 1，显著提升了训练稳定性与效率。^{22Switch Transformers: Scaling to Trillion Parameter Modelsarxiv.org前往参考资料 ↓在新标签页中打开}

Mixtral 8x7B 每层包含 8 个专家，每个 token 激活其中 2 个，属于稀疏 MoE。^{33Mixtral of Expertsarxiv.org前往参考资料 ↓在新标签页中打开}

DeepSeek-V3 总参数约 6710 亿，每个 token 激活约 370 亿，是目前规模最大的开源稀疏 MoE 之一。^{44DeepSeek-V3 Technical Reportarxiv.org前往参考资料 ↓在新标签页中打开}