为什么大家都开始探索 MoE 架构？MoE 相比 Dense 有什么好处？

在大模型发展进程中，MoE 架构凭借独特优势备受关注。与传统 Dense 架构相比，它在计算效率、模型扩展性和任务处理能力等方面表现突出，为大模型性能提升提供了新方向。下面是其优势：

• 计算效率更高：MoE 架构通过路由器网络动态选择输入 token 激活的专家集合，仅激活部分参数，大幅降低计算量。如 DeepSeek - V3 激活 37B 参数（占总量 671B 的 5.5%），其 FLOPs 可降低至传统 Dense 架构的 30% 以下。在推理时，MoE 架构能根据输入动态分配计算资源，避免不必要计算，而 Dense 架构每次前向传播都需激活全部参数，计算成本高。这种高效计算模式使 MoE 在处理大规模数据和复杂任务时，速度更快且资源消耗更少。
• 模型扩展性更强：增加模型参数是提升大模型能力的常见方法，但 Dense 架构扩展参数会导致计算需求剧增。MoE 架构则不同，它将任务分给多个专家处理，增加专家不会使计算需求成比例增加。通过添加专家，MoE 可处理更大、更多样化的数据集，还能促进并行处理，加速操作。这一特性使 MoE 能突破计算资源限制，构建参数规模更大的模型，提升模型整体性能和泛化能力。
• 知识表达更灵活：像 DeepSeek MoE 等创新架构，将单个专家分割为多个细粒度子专家，如拆分 FFN 隐藏维度，通过组合式激活提升知识表达灵活性。实验显示，32 个子专家配置可使模型在数学推理任务中的准确率提升 18%。相比之下，Dense 架构神经元连接固定，在处理复杂任务时，知识表达的灵活性和针对性不如 MoE 架构。
• 跨领域知识迁移能力更强：MoE 架构保留部分专家作为共享知识库，如 DeepSeek MoE 隔离 15% 共享专家，既降低参数冗余度，又增强跨领域知识迁移能力。在医疗问答测试中，该技术使模型准确率从 91% 提升至 94%。而 Dense 架构在跨领域知识迁移方面相对较弱，难以快速适应不同领域任务需求。
• 提升训练效率：以 DeepSeek 为例，其多 tokens 预测（MTP）技术允许模型同时预测多个连续位置的 token，极大提高了训练效率。此外，DeepSeek V3 原生支持 FP8 混合精度训练，降低了计算和存储需求，使得在资源有限环境下也能高效训练大规模模型。而 Dense 模型在训练时，由于其全连接和全激活的特点，训练效率相对较低，对计算资源的需求也更大。

参考

​​https://mp.weixin.qq.com/s/21reK1zrvy8rdz58NQ9aDA​​ 腾讯混元大模型面试：夺命11连问

​​https://blog.csdn.net/Z_Flank/article/details/145970067​​ Qwen-2.5、DeepSeek-R1、DeepSeek-V3 核心区别

​​https://blog.csdn.net/weixin_59191169/article/details/148560050​​ 三万字详解，一文讲清楚Qwen系列，看这一篇就够了！

​​https://blog.51cto.com/u_15497017/13880122​​ Qwen3 开源！深度对比 DeepSeek，一文选对模型

​​https://blog.csdn.net/weixin_41429382/article/details/145400425​​ qwen2.5-max 和deepseek 比较

​​https://blog.csdn.net/smileKH/article/details/148828469​​ 通义千问（Qwen）：阿里云打造的全能AI大模型

​​https://www.cnblogs.com/obullxl/p/18706323/NTopic2025020901​​ DeepSeek vs. Qwen 大模型编程能力比拼，谁更适合作为你的 AI 辅助编程助手？

本文转载自​​​​​​​​鸿煊的学习笔记​​​​​​​​，作者：乘风破浪jxj