Taming Sparsely Activated Transformer with Stochastic Experts
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
稀疏激活模型（SAM），如混合专家（MoE），可以很容易地扩展到具有大量的参数，而不会显着增加计算成本。然而，SAM被报告为参数效率低下，使得较大的模型并不总是导致更好的性能。虽然大多数正在进行的研究都集中在通过探索将输入路由到专家的方法来改进SAM模型，但我们的分析表明，这种研究可能不会导致我们预期的解决方案，即，基于选通机制的常用路由方法并不比随机地将输入路由到专家更好地工作。本文提出了一种新的基于专家的模型THOR（Transformer witH StOstochastic Experts）。与经典的基于专家的模型（如Switch Transformer）不同，THOR中的专家在训练和推理过程中会为每个输入随机激活。使用一致性正则化损失来训练THOR模型，其中专家不仅从训练数据学习，还从作为教师的其他专家学习，使得所有专家做出一致的预测。在机器翻译任务中验证了THOR的有效性。结果表明，THOR模型的参数效率更高，因为它们在各种设置下的性能显着优于Transformer和MoE模型。例如，在多语言翻译中，THOR比Switch Transformer高出2个BLEU分数，并获得了与最先进的MoE模型相同的BLEU分数，但要大18倍。我们的代码可在https://github.com/microsoft/Stochastic-Mixture-of-Experts上公开获取。
2022-02-03 cs.CL cs.LG
Model Casting and Low-Parameter Gating: Towards More Sparsely Activated FFNs
本文提出模型铸造与LoPA门控，通过稀疏化FFN激活减少计算，实现高达3.2倍FLOP加速及GPU上3.31倍实际加速，显著优于现有方法。
2026-09-29 cs.LG
Sparsely Activated Networks
School of Electrical and Computer Engineering, National Technical University of Athens（雅典国立技术大学电气与计算机工程学院）
本文提出 $\phi$ 度量联合评估重建精度与表示压缩，并构建基于共享卷积权重和稀疏激活的 SANs，在多个数据集上验证其可得到短描述长度且可解释的核。
2024-04-04 cs.CV cs.LG stat.ML
A Theoretical View on Sparsely Activated Networks
Google Research（谷歌研究院）
如今，深度和广度的神经网络成功地拟合了非常复杂的函数，但密集模型的推理成本开始高得令人望而却步。为了缓解这种情况，一个有希望的方向是激活网络的稀疏子图的网络。子图由数据相关路由功能选择，强制执行输入到子网络的固定映射（例如，开关Transformers中混合专家模型（MoE）范例）。然而，以前的工作主要是经验性的，而现有的路由功能在实践中工作良好，他们不导致近似能力的理论保证。我们的目标是为稀疏网络的力量提供理论解释。作为我们的第一个贡献，我们提出了一个正式的数据依赖稀疏网络模型，捕捉流行的架构的突出方面。然后，我们介绍了一个路由功能的基础上局部敏感哈希（LSH），使我们能够推理稀疏网络如何近似目标函数。在用我们的模型表示基于LSH的稀疏网络之后，我们证明了稀疏网络可以匹配稠密网络对Lipschitz函数的逼近能力。在输入向量上应用LSH意味着专家在输入空间的不同子区域内插目标函数。为了支持我们的理论，我们定义了基于Lipschitz目标函数的各种数据集，我们表明稀疏网络在活动单元数量和近似质量之间提供了有利的权衡。
2022-08-08 cs.LG stat.ML
Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
训练大型、深度神经网络以使其收敛可能是极其昂贵的。因此，通常只有一小部分流行的密集模型在不同的上下文和任务中被重用。越来越多的稀疏激活模型，试图从计算成本解耦模型的大小，正在成为一个有吸引力的替代密集模型。尽管稀疏模型在质量和计算成本方面更有效，但在大规模领域中从头开始训练仍然是数据饥渴和昂贵的。在这项工作中，我们提出了稀疏升级循环-一种简单的方法，通过从密集的检查点初始化稀疏激活的混合专家模型来重用沉没的训练成本。我们发现，稀疏升级的T5 Base、Large和XL语言模型以及视觉Transformer Base和Large模型在SuperGLUE和ImageNet上的性能分别显著优于其密集对应模型，仅使用初始密集预训练沉没成本的约50%。升级后的模型也优于从头开始训练的稀疏模型，其初始密集预训练计算预算为100%。
2023-02-17 cs.CL cs.CV cs.LG
FedMS: Federated Learning with Mixture of Sparsely Activated Foundations Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Future Network of Intelligence Institute（未来智联网络研究院）；Guangdong Provincial Key Laboratory of Future Networks of Intelligence（广东省未来智联网络重点实验室）
本文提出两阶段联邦学习算法FedMS，结合全局与局部专家构建基础模型混合体，并设计稀疏激活LoRA算法适应边缘计算，实验显示性能优于现有方法最高55.25%。
2023-12-26 cs.DC cs.LG
AdapMoE: Adaptive Sensitivity-based Expert Gating and Management for Efficient MoE Inference
Peking University（北京大学）；Institute for Artificial Intelligence（人工智能研究院）；School of Integrated Circuits（集成电路学院）；Institute of Electronic Design Automation（电子设计自动化研究所）；Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路高精尖创新中心）
AdapMoE提出一种算法-系统协同设计框架，通过基于敏感性的自适应专家门控与预取缓存管理，减少MoE推理中的按需加载开销，平均减少25%激活专家并实现1.35倍加速。
2024-08-19 cs.LG
Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers
University of Texas at Austin（德克萨斯大学奥斯汀分校）
尽管巨大的Transformers取得了显着的成就，但它们也遇到了显着的缺点，包括训练过程中过高的计算和内存占用，以及高度的参数冗余所证明的严重崩溃。稀疏激活的混合专家（SMoE）已经显示出缓解训练效率问题的希望，但它们容易出现（1）由于代表性崩溃而导致的冗余专家;以及（2）推理和下游微调的专家可扩展性差，主要是由于在训练期间学习的路由策略过度拟合激活的专家数量。由于最近的研究工作主要集中在改进路由策略以鼓励专家专业化，这项工作的重点是探索被忽视的SMoE的可扩展性瓶颈，并利用它来有效地扩展密集Transformers。为此，我们提出了一个新的即插即用的训练框架，SMoE-Dropout，使缩放Transformers，以更好的准确性，在其全部容量没有崩溃。具体来说，SMoE-Dropout由一个随机初始化和固定的路由器网络组成，用于激活专家，并随着训练的进行逐渐增加激活的专家数量。经过SMoE-Dropout训练的Transformers自然会表现出受资源可用性影响的自我瘦身特性，在推理或微调期间，随着激活专家的增加，可提供平稳一致的性能提升。我们广泛的实验表明，与具有相同参数计数的密集训练基线相比，SMoE-Dropout具有卓越的性能和大量的计算节省。特别是，我们训练的BERT在具有挑战性的推理任务{ASDiv-A，MAWPS，SVAMP}上分别以{1.03%，0.78%，1…
2023-03-02 cs.LG
FloE: On-the-Fly MoE Inference on Memory-constrained GPU
针对内存受限 GPU 上 MoE 推理的专家加载带宽瓶颈，提出 FloE，通过压缩专家参数矩阵并结合稀疏预测，实现低显存部署与显著推理加速。
2025-05-12 cs.LG
SMILE: Scaling Mixture-of-Experts with Efficient Bi-level Routing
University of Southern California（南加州大学）；AWS AI（亚马逊云科技人工智能部门）
专家（MoE）并行的混合是一个最近的进步，规模与恒定的计算成本的模型大小。MoE选择不同的参数组（即，专家），从而产生稀疏激活的模型。尽管MoE的几个成功的应用程序，其培训效率显着下降的专家数量的增加。MoE中的路由阶段依赖于All2All通信集合的效率，其遭受网络拥塞并且具有差的可扩展性。为了缓解这些问题，我们引入了SMILE，它利用异构网络带宽，并将单步路由分为两级路由。我们的实验结果表明，所提出的方法获得了2.5倍的加速比开关Transformer在预训练吞吐量的Colossal清洁爬行语料库，而不会失去任何收敛速度。
2022-12-10 cs.LG
HierMoE: Accelerating MoE Training with Hierarchical Token Deduplication and Expert Swap
School of Computer Science and Technology（计算机科学与技术学院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)（数据科学与分析方向，香港科技大学（广州））；Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（计算机科学与工程系，香港科技大学）
针对MoE模型训练中的通信和负载不平衡问题，提出HierMoE系统，通过分层令牌去重和专家交换两种拓扑感知技术，在32-GPU集群上实现1.18至1.27倍的端到端训练加速。
2025-08-13 cs.DC cs.LG
Communication-Efficient Sparsely-Activated Model Training via Sequence Migration and Token Condensation
本文提出分布式MoE训练系统Luffy，通过序列迁移隐藏GPU内令牌拉取路径，并利用令牌压缩消除冗余传输，在保持高专家并行度的同时显著降低通信开销，实现最高2.73倍加速。
2024-11-23 cs.DC
Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices
Shandong University（山东大学）；Xi’an Jiaotong University（西安交通大学）
本文提出FLUX系统，通过基于量化的本地分析、自适应层感知专家合并和动态专家角色分配三项创新，在资源受限设备上实现MoE大模型高效联邦微调，达到精度时间最高加速4.75倍。
2025-10-10 cs.AI cs.DC
Preserving Long-Tailed Expert Information in Mixture-of-Experts Tuning
Carnegie Mellon University（卡内基梅隆大学）；MIT（麻省理工学院）；UCSD（加州大学圣地亚哥分校）；Johns Hopkins University（约翰霍普金斯大学）
本文提出一种无需辅助损失的MoE SFT框架，通过偏置驱动稀疏化与始终活跃的门控凝结专家，有效保留长尾专家信息，实验显示在数学推理和常识问答基准上优于现有方法。
2026-09-10 cs.CL cs.LG
Learning Sparse Mixture of Experts for Visual Question Answering
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
随着模型结构的改进，可视化问答的任务取得了快速的进展。不幸的是，这些模型通常是计算密集型的，由于其庞大的规模，这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答（VQA）的具体任务。卷积神经网络（CNN）是VQA模型的视觉处理管道的组成部分（假设CNN与整个VQA模型一起训练）。在这个项目中，我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明，一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia（微软亚洲研究院）
专家稀疏混合算法（MoE）以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家，并利用门控路由网络使专家有条件地激活。然而，随着专家数量的增长，具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重，从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中，我们提出了混合专家集群-一种通用的方法，使专家层学习更多样化和适当的知识，通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明，MoEC能够提高机器翻译和自然语言理解任务的性能，并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
SYMI: Efficient Mixture-of-Experts Training via Model and Optimizer State Decoupling
Stanford University（斯坦福大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；NVIDIA（英伟达）；OpenAI（开放人工智能研究所）；Enfabrica
SYMI通过解耦专家参数与优化器状态，静态分区优化器并动态调整参数放置，以最小开销实现每迭代资源优化，相比DeepSpeed和FlexMoE分别提速30.5%和25.9%的收敛。
2025-10-17 cs.DC cs.LG
A Hybrid Tensor-Expert-Data Parallelism Approach to Optimize Mixture-of-Experts Training
University of Maryland（马里兰大学）；Microsoft, Inc.（微软公司）
提出DeepSpeed-TED三维混合并行算法，结合数据、张量和专家并行，支持训练比现有技术大4-8倍基础模型的MoE模型，并在400亿参数模型上实现26%加速。
2023-05-14 cs.AI cs.DC cs.LG
SEAL: Reinforcing Global Safety in Mixture-of-Experts through Shared Expert ALignment
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
该研究针对混合专家（MoE）模型易受对抗攻击的问题，提出基于共享专家对齐的参数高效防御方法SEAL及变体SEAL++，可降低攻击成功率且性能损失极小。
2026-09-03 cs.AI cs.CR cs.LG
Stepped MoE: Segment-Level Routing with Configurable Inference Complexity
Apple（苹果公司）
本文提出阶梯式专家混合框架，结合弹性结构与稀疏门控，实现模型同时适应部署约束和任务需求，支持1-4B参数灵活配置，在知识密集型基准上比密集模型准确2-5%，且延迟相当，节省存储并提升服务灵活性。
2026-10-07 cs.AI cs.CL cs.LG
ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing
Tsinghua University（清华大学）；Tsinghua-Bosch Joint ML Center（清华-博世联合机器学习中心）
针对传统TopK路由不可微导致性能受限的问题，提出全可微MoE架构ReMoE，以ReLU替代TopK+Softmax路由，实现高效动态计算分配，实验表明其在多种规模下优于传统MoE并具更优可扩展性。
2025-02-27 cs.LG
DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism
University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
DisagMoE通过解耦注意力与FFN层，优化模型放置与调度，提升MoE训练效率，实验显示在16节点8xH800集群上实现1.8倍加速。
2026-05-10 cs.AI cs.DC cs.LG
Cross-token Modeling with Conditional Computation
National University of Singapore（新加坡国立大学）
混合专家（MoE）是一种条件计算结构，通过扩展Transformer的局部模块（即前馈网络），获得了良好的性能。然而，由于不稳定的训练，扩展交叉令牌模块（即自我注意力）具有挑战性。这项工作提出了Sparse-MLP，这是一种全MLP模型，它将稀疏激活的MLP应用于交叉令牌建模。具体来说，在我们的全MLP模型的每个稀疏块中，我们应用两个阶段的MoE层：一个是MLP专家沿着图像块维度混合通道内的信息，另一个是MLP专家沿着通道维度混合块内的信息。此外，通过提出MoE的重要性分数路由策略和重新设计图像表示形状，进一步提高了模型的计算效率。在实验上，我们比视觉Transformer更有效的计算与可比的准确性。此外，我们的模型可以在ImageNet Top-1精度上超过MLP-Mixer 2.5\%，并且参数和计算成本更少。在下游任务上，即Cifar 10和Cifar 100，我们的模型仍然可以实现比基线更好的性能。
2022-01-14 cs.AI cs.CV cs.LG
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Google（谷歌）
在深度学习中，模型通常对所有输入重复使用相同的参数。混合专家模型（MoE）则不这么做，而是为每个传入的示例选择不同的参数。其结果是一个稀疏激活的模型-参数数量惊人-但计算成本恒定。然而，尽管MoE取得了一些显著的成功，但复杂性、通信成本和培训不稳定性阻碍了广泛采用--我们使用Switch Transformer解决了这些问题。我们简化了MoE路由算法和设计直观的改进模型，降低了通信和计算成本。我们提出的训练技术有助于解决不稳定性，我们首次展示了大型稀疏模型可以使用较低精度（bfloat 16）格式进行训练。我们基于T5-Base和T5-Large设计模型，以相同的计算资源获得高达7倍的预训练速度。这些改进扩展到多语言设置中，我们在所有101种语言中测量了mT5-Base版本的收益。最后，我们通过在“Colossal Clean Crawled Corpus”上预训练多达万亿个参数模型，提升了语言模型的当前规模，并实现了T5-XXL模型的4倍加速。
2022-06-16 cs.AI cs.LG
Lazarus: Resilient and Elastic Training of Mixture-of-Experts Models
UC Berkeley（伯克利大学）；NUS（新加坡国立大学）；UMich（密歇根大学）；AWS（亚马逊云科技）；NVIDIA（英伟达）；UCLA（加州大学洛杉矶分校）；Duke（杜克大学）
针对MoE模型训练中故障频繁且现有方案缺乏弹性的问题，提出Lazarus系统，通过自适应专家副本分配和最优放置算法，实现故障后充分利用节点，性能提升最高达5.7倍。
2025-10-24 cs.DC cs.LG
Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation
该研究针对MoE模型决策间的依赖问题，提出UniF-MoE统一框架，先共享再路由剩余部分，在DomainBed和GLUE实验中提升性能并降低计算资源消耗。
2026-08-12 cs.CL cs.CV cs.LG
REAP the Experts: Why Pruning Prevails for One-Shot MoE compression
Cerebras Systems Inc.（Cerebras系统公司）；Schulich School of Engineering, University of Calgary（卡莱尔大学施密特工程学院）
本文提出REAP剪枝方法，通过结合路由门值和专家激活范数，有效减少生成任务中的重建误差，优于合并和其他剪枝方法，尤其在50%压缩下表现优异。
2026-05-13 cs.AI cs.LG
Who Says Elephants Can't Run: Bringing Large Scale MoE Models into Cloud Scale Production
Microsoft（微软）；NVIDIA（英伟达）
具有稀疏激活层的有条件执行的混合专家模型（MoE）模型使得训练模型具有大量参数。因此，这些模型在包括机器翻译在内的各种自然语言处理任务上实现了显著更好的质量。然而，由于大量的内存需求和低效的推理，在现实生活中部署这样的模型仍然具有挑战性。在这项工作中，我们引入了一个高效的推理框架与几种优化方法，以加速稀疏模型的计算，并大大减少内存消耗。虽然我们在吞吐量方面实现了高达26倍的速度提升，但我们还通过将专家权重量化为4位整数，将模型大小减少到原始32位浮点模型的八分之一。因此，与现有解决方案相比，我们能够部署136倍大的模型，成本降低27%，质量显著提高。这使得在部署大规模多语言MoE Transformers模型时实现了范式转变，取代了将教师模型提炼为每个语言或任务的数十个较小模型的传统做法。
2022-11-18 cs.AI cs.CL cs.LG
Taming Latency-Memory Trade-Off in MoE-Based LLM Serving via Fine-Grained Expert Offloading
Stevens Institute of Technology（史蒂文斯理工学院）；Rice University（Rice大学）；University of Waterloo（多伦多大学）；Rutgers University（罗格斯大学）
针对基于MoE的大语言模型服务中粗粒度专家卸载存在的延迟与内存权衡问题，提出细粒度专家卸载系统FineMoE，利用专家选择模式和输入语义指导卸载决策，显著降低推理延迟并提升专家命中率。
2025-10-04 cs.AI cs.DC cs.LG
Towards Understanding Mixture of Experts in Deep Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）
混合专家（MoE）层是由路由器控制的稀疏激活模型，在深度学习中取得了巨大的成功。然而，对这种架构的理解仍然难以捉摸。在本文中，我们正式研究了MoE层如何提高神经网络学习的性能，以及为什么混合模型不会崩溃为单一模型。我们的实证结果表明，集群结构的潜在问题和非线性的专家是关键的成功MoE。为了进一步理解这一点，我们考虑了一个具有内在聚类结构的具有挑战性的分类问题，这是很难使用单个专家学习的。然而，在MoE层，通过选择专家作为两层非线性卷积神经网络（CNN），我们证明了这个问题可以成功地学习。此外，我们的理论表明，路由器可以学习集群中心的功能，这有助于将输入复杂的问题划分为更简单的线性分类子问题，个别专家可以征服。据我们所知，这是正式理解深度学习的MoE层机制的第一个结果。
2022-08-04 cs.AI cs.LG stat.ML
Beyond Task-Agnostic: Task-Aware Grouping for Communication-Efficient Multi-Task MoE Inference
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Pengcheng Laboratory（鹏城实验室）
提出任务感知共激活分组（TACG）框架，通过任务特定的共激活模式优化专家放置，并引入通用专家共享复制（GESR）应对在线负载倾斜，在三个MoE模型上平均降低通信成本31.39%，保持公平性指数0.9975。
2026-05-31 cs.AI cs.LG
Retraining-Free Merging of Sparse MoE via Hierarchical Clustering
National Tsing Hua University（国立清华大学）；National Taiwan University（国立台湾大学）；University of Toronto（多伦多大学）；NVIDIA AI Technology Center (NVAITC)（NVIDIA AI技术中心）；Samsung Research America（三星美国研究院）
本文提出HC-SMoE，一种基于专家输出层次聚类的无重训练稀疏MoE合并框架，在降低内存需求的同时保持模型性能，并在Qwen和Mixtral等模型上验证了其有效性。
2025-10-26 cs.LG
Maximum Score Routing For Mixture-of-Experts
Tsinghua University（清华大学）；Tianjin University（天津大学）；Seed-Foundation-Model Team（种子基础模型团队）
本文提出MaxScore路由范式，将MoE路由建模为最小成本最大流问题并结合SoftTopk算子，在相同FLOPs下实现更低训练损失和更高评估分数。
2025-08-18 cs.CL cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab（小米AI实验室）
本文提出多样尺寸专家混合（MoDSE）架构，通过不同尺寸专家和专家对分配策略，在保持总参数和专家数不变的情况下，提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism
Peking University（北京大学）
本文提出 MegaScale-Infer，通过分离 attention 与 FFN、乒乓流水线并行及 M2N 通信库优化大规模 MoE 推理，单 GPU 吞吐量最高达现有方案的 1.90 倍。
2025-07-26 cs.DC cs.LG
MASKerade: Token-Routed Mask Experts for Dense-to-MoE Upcycling
Northeastern University（东北大学）
MASKerade通过冻结FFN上的学习掩码定义专家，实现稠密到MoE升级，在视觉语言基准上以较低计算成本达到最优性能。
2026-10-07 cs.LG
GW-MoE: Resolving Uncertainty in MoE Router with Global Workspace Theory
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；INF Technology（INF科技）；Hong Kong University of Science and Technology（香港科技大学）
针对MoE模型中token路由不确定性导致选择错误的问题，提出基于全局工作空间理论的微调方法GW-MoE，微调时广播不确定token至所有专家，无额外推理开销，在多任务多模型规模下均有效提升性能。
2024-06-18 cs.AI cs.LG
Mixture-of-Experts with Expert Choice Routing
Google（谷歌）
稀疏激活的混合专家模型（MoE）模型允许参数的数量大大增加，同时保持给定令牌或给定样本的计算量不变。然而，较差的专家路由策略（例如，导致负载不平衡的策略）可能导致某些专家训练不足，从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家，而不管不同令牌的相对重要性。为了解决这个问题，我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌，而不是让令牌选择前k个专家。因此，每个令牌可以被路由到可变数量的专家，并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速，发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本，我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本，我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference
School of Computer Science and Engineering, Beihang University, Beijing 100191, China（北京航空航天大学计算机科学与工程学院）；Huawei Technologies Ltd（华为技术有限公司）
提出ReMoE路由器微调框架，通过偏向近期选中的专家实现时间稳定的路由，减少专家从外部存储的获取次数，在保持下游任务性能的同时提升专家重用26%，并在实际系统中实现8.4%的吞吐量提升和1.77-1.99倍的解码加速。
2026-05-26 cs.AI cs.DC cs.LG
FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts
Beijing University of Posts and Telecommunications（北京邮电大学）
针对联邦学习中的客户端异构性挑战，提出基于稀疏混合专家架构的个性化框架FedMoE，通过两阶段微调（启发式搜索构建子模型与模块化聚合）及全局专家推荐机制，有效解决数据异构问题并提升模型性能。
2024-08-21 cs.LG
M6-T: Exploring Sparse Expert Models and Beyond
Alibaba Group（阿里巴巴集团）
混合专家模型（Mixture-of-Experts，MoE）具有参数多而计算量小的优点，已成为模型缩放的一种趋势。然而，MoE层如何通过利用具有稀疏激活的参数来带来质量增益仍然是一个谜。在这项工作中，我们研究了稀疏专家模型中的几个关键因素。我们观察到，负载不平衡可能不是一个重要的问题，影响模型的质量，相反的观点，最近的研究，而稀疏激活的专家$k$和专家容量$C$在顶部- $k$路由的数量可以显着地在这种情况下，有所作为。此外，我们向前迈出了一步，提出了一个简单的方法，称为专家原型，专家分成不同的原型，并适用于$k$顶- $1$路由。这种策略提高了模型质量，但保持了恒定的计算成本，我们对超大规模模型的进一步探索反映出它在训练更大的模型时更有效。我们将模型规模扩大到超过$1$万亿参数，并仅在$480$ NVIDIA V100- 32 GB GPU上实现它，与最近在$2048$ TPU内核上的SOTA相比。所提出的巨型模型在相同大小的基线上实现了大幅加速收敛。
2021-08-09 cs.CL cs.LG
Scalable and Efficient MoE Training for Multitask Multilingual Models
Microsoft（微软）
混合专家模型（MoE）模型是一类新兴的稀疏激活的深度学习模型，其具有关于其参数的次线性计算成本。与密集模型相比，MoE的稀疏架构提供了大幅增加模型大小的机会，具有显著的精度增益，同时消耗低得多的计算预算。然而，支持大规模MoE培训也有其自身的一系列系统和建模挑战。为了克服挑战并拥抱MoE的机遇，我们首先开发了一个能够有效地将MoE模型扩展到数万亿参数的系统。它将多维并行和异构内存技术与MoE和谐地结合在一起，与现有工作相比，在相同的硬件上支持8倍大的模型。除了提高系统的效率，我们还提出了新的训练方法，以提高MoE样本效率和利用专家修剪策略，以提高推理时间效率。通过将高效的系统和训练方法相结合，我们能够显着扩展用于语言生成的大型多任务多语言模型，从而大大提高模型的准确性。使用50种语言的100亿个参数训练的模型可以在机器翻译（MT）和多语言自然语言生成任务中实现最先进的性能。高效MoE培训的系统支持已通过DeepSpeed库实现并开源。
2021-09-22 cs.AI cs.CL cs.LG
FlexMoE: One-for-All Nested Intra-Expert Pruning for MoE Language Models
National University of Singapore（新加坡国立大学）
提出FlexMoE方法，通过专家通道重要性排序和离散动作学习，将预训练MoE大语言模型转换为嵌套子网络族，支持跨预算部署，在Qwen2-57B-A14B上剪枝50%路由专家参数仍保留约99.8%性能。
2026-06-29 cs.LG
FlashMoE: Fast Distributed MoE in a Single Kernel
Cornell University（康奈尔大学）
FlashMoE提出将专家计算与GPU间通信融合进单一持久GPU内核，通过细粒度流水线和设备发起的单侧(R)DMA传输消除调度与通信开销，在8个H100 GPU上相比基线实现最高9倍GPU利用率、6倍延迟降低和5.7倍吞吐量提升。
2025-11-08 cs.AR cs.DC cs.LG
Mixture of Group Experts for Learning Invariant Representations
Beijing Normal University（北京师范大学）
针对MoE模型专家多样性和专业化受限的问题，提出混合群组专家（MoGE），通过群组稀疏正则化和二维拓扑分组学习不变性表示，显著提升了专家多样性与模型性能。
2025-07-10 cs.CL cs.CV cs.LG
FSMoE: A Flexible and Scalable Training System for Sparse Mixture-of-Experts Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Hong Kong University of Science and Technology（香港科技大学）
FSMoE提出统一抽象、协同调度和自适应梯度划分等技术，优化稀疏MoE模型训练的任务调度，在多种路由函数和真实模型上显著提升训练效率。
2025-01-18 cs.LG
AutoMoE: Heterogeneous Mixture-of-Experts with Adaptive Computation for Efficient Neural Machine Translation
University of British Columbia（不列颠哥伦比亚大学）；Microsoft Research（微软研究院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出AutoMoE框架，利用NAS在FLOPs和延迟等约束下搜索异构稀疏MoE架构，实现token级自适应计算，并在NMT上以更低计算量达到接近SwitchTransformer的翻译性能。
2023-06-07 cs.CL cs.LG
MoSE: Mixture of Slimmable Experts for Efficient and Adaptive Language Models
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), UAE（Mohamed bin Zayed人工智能大学（MBZUAI））；Michigan State University (MSU), USA（密歇根州立大学（MSU））；Amazon Science, UK（亚马逊科学）
提出MoSE架构，每个专家具有可变宽度的嵌套结构，支持在推理时连续调节精度-计算权衡，通过多宽度训练和轻量级测试时训练实现高效自适应。
2026-06-17 cs.CL cs.LG
Carbon Emissions and Large Neural Network Training
Google（谷歌）；University of California, Berkeley（加州大学伯克利分校）
机器学习（ML）的计算需求最近增长迅速，这带来了许多成本。估计能源成本有助于衡量其对环境的影响，并找到更环保的战略，但如果没有详细的信息，这是具有挑战性的。我们计算了最近几个大型模型的能源使用和碳足迹-T5，Meena，GShard，Switch Transformer和GPT-3-并改进了早期的神经架构搜索估计，发现了进化的Transformer。我们强调了以下提高能源效率和二氧化碳当量排放（CO2 e）的机会：大型但稀疏激活的DNN可以消耗大型密集DNN的1/10的能量，而不会牺牲准确性，尽管使用了同样多甚至更多的参数。地理位置对ML工作负载调度很重要，因为无碳能源的比例和产生的CO2 e变化约为5 - 10倍，即使在同一国家和同一组织内也是如此。我们现在正在优化大型模型的训练地点和时间。特定的数据中心基础设施很重要，因为云计算中心的能效比典型的数据中心高出约1.4- 2倍，而其中面向ML的加速器的效率比现成的系统高出约2- 5倍。值得注意的是，DNN、数据中心和处理器的选择可以将碳足迹减少约100- 1000倍。这些大的因素也使得追溯能源成本的估计变得困难。为了避免计算错误，我们认为需要大量计算资源的ML论文应该在实际应用中明确能源消耗和CO2 e。我们正在努力在未来的研究中提高能源使用和CO2 e的透明度。为了帮助减少ML的碳足迹，我们认为能源使用和CO2 e应该是评估模型…
2021-04-23 cs.CY cs.LG
MoSE: Skill-by-Skill Mixture-of-Experts Learning for Embodied Autonomous Machines
Advanced Research Lab, Samsung Research China-Beijing（三星研究院中国北京先进研究实验室）；Manufacturing/Material Handling AI Lab (DS AI Center)（制造/物料处理AI实验室（DS AI中心））
提出面向技能的混合专家模型MoSE，通过技能路由机制和分层数据集模仿人类逐步学习，在单次前向过程中集成多项辅助任务，以不到3B参数在自动驾驶和机器人推理任务上超越基线模型。
2025-08-13 cs.AI cs.CV cs.LG
ModuleFormer: Modularity Emerges from Mixture-of-Experts
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Tsinghua University（清华大学）；Mila/University of Montreal（米拉/蒙特利尔大学）
本文提出基于稀疏混合专家的模块化架构ModuleFormer，通过新损失函数从非精选数据中诱导模块性，实现了高效性、可扩展性和专业化三大能力。
2023-09-11 cs.AI cs.CL cs.LG
BlockFFN: Towards End-Side Acceleration-Friendly Mixture-of-Experts with Chunk-Level Activation Sparsity
Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China（计算机科学与技术系，人工智能研究院，清华大学，北京，中国）
针对传统MoE路由不灵活、块级稀疏性低不利于端侧加速的问题，提出BlockFFN架构，通过可微路由、CLS感知训练及结合稀疏性与投机解码的加速内核，实现更优性能与端侧3.67倍最高加速。
2025-07-30 cs.CL cs.LG
MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation
University of Bristol（布里斯托尔大学）
MAPLE是一种即插即用框架，可在不修改预训练MoE LLM权重或重新训练的情况下，异质性分配专家预算，在75%预算下超越基线，降低延迟并提升吞吐量，同时提升多项任务准确率。
2026-08-26 cs.AI cs.LG
Not All Models Suit Expert Offloading: On Local Routing Consistency of Mixture-of-Expert Models
Fudan University（复旦大学）；University of Southern California（南加州大学）；Huawei Technologies Ltd.（华为技术有限公司）；Shanghai Innovation Institute（上海创智学院）
本文提出两个指标衡量混合专家模型的局部路由一致性，发现局部路由一致性与局部负载平衡存在权衡，而全局负载平衡可共存，并揭示领域专用专家对路由一致性贡献更大。
2026-02-28 cs.AI cs.LG
