How Sparse Probability Maps Shape Mixture-of-Experts Routing
Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID（INESC-ID研究所）；Instituto de Telecomunicações（电信研究所）；ELLIS Unit Lisbon（ELLIS里斯本分部）；Gandara AI（Gandara AI公司）
本研究探讨稀疏概率映射（如sparsemax、entmax）在MoE路由中的训练行为，发现其稀疏性依赖于与学习得分的共同适应，虽不改善验证损失，但能显著降低推理时对专家数量的敏感性。
2026-10-06 cs.CL cs.LG
XMoE: Sparse Models with Fine-grained and Adaptive Expert Selection
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；CUHK（香港中文大学）
XMoE通过小专家和阈值路由器实现细粒度自适应专家选择，在语言建模和机器翻译中提升性能并减少MoE层计算负载超50%，且可应用于稠密模型实现稀疏推理。
2024-05-24 cs.CL cs.LG
Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
KAUST, AI Initiative（KAUST人工智能计划）；Stanford University（斯坦福大学）
针对自注意力二次方计算成本过高的问题，提出基于专家选择路由的稀疏注意力混合方法MoSA，通过动态选择token将复杂度降至O(k^2+T)，在相同预算下实现更高专业化，不仅超越稠密基线且显著降低资源消耗。
2025-05-01 cs.CL cs.LG
Taming Sparsely Activated Transformer with Stochastic Experts
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
稀疏激活模型（SAM），如混合专家（MoE），可以很容易地扩展到具有大量的参数，而不会显着增加计算成本。然而，SAM被报告为参数效率低下，使得较大的模型并不总是导致更好的性能。虽然大多数正在进行的研究都集中在通过探索将输入路由到专家的方法来改进SAM模型，但我们的分析表明，这种研究可能不会导致我们预期的解决方案，即，基于选通机制的常用路由方法并不比随机地将输入路由到专家更好地工作。本文提出了一种新的基于专家的模型THOR（Transformer witH StOstochastic Experts）。与经典的基于专家的模型（如Switch Transformer）不同，THOR中的专家在训练和推理过程中会为每个输入随机激活。使用一致性正则化损失来训练THOR模型，其中专家不仅从训练数据学习，还从作为教师的其他专家学习，使得所有专家做出一致的预测。在机器翻译任务中验证了THOR的有效性。结果表明，THOR模型的参数效率更高，因为它们在各种设置下的性能显着优于Transformer和MoE模型。例如，在多语言翻译中，THOR比Switch Transformer高出2个BLEU分数，并获得了与最先进的MoE模型相同的BLEU分数，但要大18倍。我们的代码可在https://github.com/microsoft/Stochastic-Mixture-of-Experts上公开获取。
2022-02-03 cs.CL cs.LG
ST-MoE: Designing Stable and Transferable Sparse Expert Models
Google Brain（谷歌大脑）；Google（谷歌）；Google Research（谷歌研究院）
规模化为自然语言处理开辟了新的领域--但代价高昂。作为响应，已经提出了专家混合（MoE）和切换Transformers作为通向甚至更大和更有能力的语言模型的能量高效路径。但是，在一系列广泛的自然语言任务中推进最先进的技术受到了训练不稳定性和微调过程中质量不确定性的阻碍。我们的工作重点是这些问题，并作为设计指南。我们通过将稀疏模型缩放到269 B参数得出结论，其计算成本与32 B密集编码器-解码器Transformer（稳定和可转移的专家混合或ST-MoE-32 B）相当。稀疏模型首次在迁移学习中实现了最先进的性能，包括推理（SuperGLUE，ARC Easy，ARC Challenge），总结（XSum，CNN-DM），封闭式问答（WebQA，Natural Questions）和对抗性构建任务（Winogrande，ANLI R3）。
2022-04-29 cs.CL cs.LG
Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners
Microsoft（微软）；Google（谷歌）
传统的多任务学习（MTL）方法使用密集网络，这些网络在几个不同的任务中使用相同的共享权重集。这通常会在两个或多个任务竞争在不同方向上提取模型参数时产生干扰。在这项工作中，我们研究是否稀疏激活的混合专家模型（MoE）提高多任务学习，专门学习共享表示的一些权重，并使用其他学习任务特定的信息。为此，我们设计了任务感知的门控函数，将来自不同任务的示例路由到专门的专家，这些专家共享基于任务的网络权重子集。这导致了具有大量参数的稀疏激活多任务模型，但具有与密集模型相同的计算成本。我们展示了这样的稀疏网络，以改善多任务学习沿三个关键方面：（i）转移到低资源的任务，从相关的任务在训练混合;（ii）样本有效的泛化到任务在训练过程中没有看到利用任务感知路由从看到相关的任务;（iii）鲁棒性添加无关的任务，避免灾难性遗忘现有的任务。
2022-04-16 cs.CL cs.LG
Interpretability Is Not Just a Tax: Sparsity and Diversity Yield Legible and Composable Reward Experts for Personalization
Saarland University（萨尔兰大学）；Independent Researcher（独立研究者）；Bielefeld University（比勒菲尔德大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
提出稀疏混合专家奖励模型，通过稀疏路由和专家多样性训练，从二元偏好数据中学习可解释的专家模式，提升个性化偏好建模的测试时适应性和可解释性。
2026-10-30 cs.AI cs.CL cs.LG
Routers Learn the Geometry of Their Experts: Geometric Coupling in Sparse Mixture-of-Experts
Blavatnik School of Computer Science and AI, Tel Aviv University（塔夫茨大学比拉维克计算机科学与人工智能学院）
本文研究了稀疏混合专家模型中路由决策的形成机制，揭示了路由器与专家之间的几何耦合关系，并展示了几何耦合对有效路由的重要性。
2026-11-13 cs.CL cs.LG
Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts
Thomson Reuters（汤森路透）；Zhejiang University（浙江大学）
本研究提出SIMoE指令微调算法，可将稠密预训练LLM自动转化为多专业领域的MoE模型，在指定稀疏约束下识别结构稀疏的领域专家并学习输入依赖的专家合并策略，在常用基准上实现SOTA性能与最优性能-计算权衡。
2025-06-14 cs.LG
Expert-Aware Causal Tracing of Factual Recall in Sparse MoE Language Models
Center for Information and Language Processing (CIS)（信息与语言处理中心）；Ubiquitous Knowledge Processing Lab (UKP)（无所不在的知识处理实验室）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对稀疏混合专家语言模型，提出专家感知的因果追踪方法，通过干预专家级更新定位事实回忆的关键专家，发现专家级定位依赖于模型和协议。
2026-09-04 cs.CL cs.LG
DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices
Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China（计算机科学与技术系，人工智能研究院，清华大学，北京，中国）
本文提出DECO，一种稀疏的专家混合模型，能够在相同的总参数预算和训练token数量下，实现与密集Transformer相当的性能，并在端侧设备上实现高效部署。
2026-05-20 cs.CL cs.LG
Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
针对稀疏混合专家模型静态Top-k专家选择导致的脆弱边界问题，提出弹性专家路由方法，在两类训练场景下均提升了模型下游任务性能。
2026-10-14 cs.CL cs.LG
Mixture of Experts Made Intrinsically Interpretable
University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）
本文提出MoE-X，通过将专家混合层重构为稀疏大型MLP、在专家内部强制稀疏激活并改进路由机制，使语言模型在保持性能的同时具备内在可解释性，可解释性超越稀疏自编码器方法。
2025-03-05 cs.CL cs.LG
Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
训练大型、深度神经网络以使其收敛可能是极其昂贵的。因此，通常只有一小部分流行的密集模型在不同的上下文和任务中被重用。越来越多的稀疏激活模型，试图从计算成本解耦模型的大小，正在成为一个有吸引力的替代密集模型。尽管稀疏模型在质量和计算成本方面更有效，但在大规模领域中从头开始训练仍然是数据饥渴和昂贵的。在这项工作中，我们提出了稀疏升级循环-一种简单的方法，通过从密集的检查点初始化稀疏激活的混合专家模型来重用沉没的训练成本。我们发现，稀疏升级的T5 Base、Large和XL语言模型以及视觉Transformer Base和Large模型在SuperGLUE和ImageNet上的性能分别显著优于其密集对应模型，仅使用初始密集预训练沉没成本的约50%。升级后的模型也优于从头开始训练的稀疏模型，其初始密集预训练计算预算为100%。
2023-02-17 cs.CL cs.CV cs.LG
EvoMoE: An Evolutional Mixture-of-Experts Training Framework via Dense-To-Sparse Gate
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；Tencent Inc（腾讯公司）
混合专家（Mixture-of-Experts，MoE）由于其在提高模型质量，特别是在Transformers中的成功而越来越受欢迎。通过将具有稀疏门的令牌路由到少数专家（即，完整模型的一小部分），MoE可以容易地将模型参数增加到非常大的规模，同时将计算成本保持在恒定水平。现有的大多数工作只是初始化一些随机的专家，设置一个固定的门控策略（例如，Top-k），并以特定的方式从头开始训练模型。我们发现这些MoE模型存在专家不成熟和稀疏门不稳定的问题，不利于收敛性能。在本文中，我们提出了一个有效的端到端的MoE培训框架称为Evo MoE。EvoMoE从训练单个专家开始，逐渐演变成一个大而稀疏的MoE结构。EvoMoE主要包含两个阶段：专家多样化阶段，训练基础专家一段时间，并从中产生多个不同的专家，和门稀疏化阶段，学习自适应稀疏门，并激活动态数量的专家。EvoMoE自然地将专家和稀疏门的联合学习结合起来，并专注于在早期训练阶段与单个专家一起学习基础知识。然后，它多样化的专家，并继续训练的MoE与一个新的密集到稀疏门（DTS门）。具体来说，DTS-Gate不是使用永久的稀疏门，而是作为一个密集门开始，将令牌路由到所有专家，然后逐渐自适应地变得稀疏，同时路由到更少的专家。对三种流行的模型和任务进行了评估，包括用于掩码语言建模任务的RoBERTa，用于语言建模任务的GPT和用于机器翻译任务的Tr…
2022-10-09 cs.AI cs.LG
HodgeCover: Higher-Order Topological Coverage Drives Compression of Sparse Mixture-of-Experts
Princeton University（普林斯顿大学）
HodgeCover通过高阶拓扑覆盖技术，在不重新训练的情况下压缩稀疏混合专家层，通过识别谐波核来优化专家合并过程，实现高效压缩。
2026-05-13 cs.AI cs.CL cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University（北京航空航天大学）；The Institute of Acoustics of the Chinese Academy of Sciences（中国科学院声学研究所）；Microsoft（微软）
稀疏混合专家模型（MoE）模型是强大的大规模预训练，并取得了可喜的成果，由于其模型容量。然而，由于参数数以万亿计，MoE很难部署在云或移动环境中。MoE的推理需要专家并行，这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务，这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中，我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法，逐步下降的目标下游任务的非专业专家，它保留了MoE的好处，同时减少MoE模型到一个单一的专家密集模型。我们的实验表明，微调的单专家模型可以保留99.3%的利益，从MoE在六种不同类型的任务，同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts
KAIST（韩国科学技术院）
针对MoE模型推理时动态路由导致的分布偏移，提出轻量级逐层分布对齐（LDA）方法，利用校准统计量修正表征，恢复性能并保持稀疏推理效率。
2026-09-10 cs.AI cs.CL cs.LG
A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文提出首个可证明高效的微调MoE模型专家剪枝方法，通过优先剪枝路由器l2范数变化较小的专家，在保证测试准确率的同时显著减少模型规模与计算需求，并在VMoE等大型视觉模型上验证有效。
2024-05-30 cs.LG
Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
本文将稀疏门控MoE层引入视觉CNN，提出软、硬约束训练方法以稳定训练并揭示专家按语义类别或目标尺寸自发专业化，从而增强模型可解释性。
2023-04-27 cs.CV cs.LG
One Student Knows All Experts Know: From Sparse to Dense
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
人类教育系统由多个专家培养一个学生。混合专家（Mixture-of-experts，MoE）是一种包含多个专家的强大稀疏体系结构。然而，稀疏MoE模型容易过拟合，难以部署，并且对于从业者来说不是硬件友好的。在这项工作中，受人类教育模型的启发，我们提出了一个新的任务，知识整合，以获得一个密集的学生模型（OneS）作为一个稀疏的MoE知识渊博。我们通过提出一个包括知识收集和知识蒸馏的一般培训框架来调查这一任务。具体来说，收集关键知识，从不同的预先训练的专家，我们首先研究了四种不同的可能的知识收集方法，\ie求和，平均，Top-K知识收集（Top-KG），奇异值分解知识收集（SVD-KG）在本文中提出的。然后，我们通过知识蒸馏来改进密集学生模型，以抵消来自收集的噪声。在ImageNet上，我们的OneS保留了$61.7\%$从MoE中获得的好处，并仅使用$15$ M参数实现了$78.4\%$ top-1精度ImageNet。在四个自然语言处理数据集上，OneS获得了$88.2\%$ MoE的优势，并通过使用相同架构和训练数据的$51.7\%$，获得了优于最佳基线的性能。此外，与MoE相比，OneS由于计算量小和硬件友好的架构，可以实现$3.7 \times$推理加速。
2022-10-25 cs.AI cs.CL cs.CV
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)（工程学院）；Laboratory of Applied Photonics Devices (LAPD)（应用光子器件实验室）；Optics Laboratory（光学实验室）
本文提出SMoE-VAE架构，通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构，揭示数据量与专家特化的权衡，为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
Drift-Aware Multimodal User Representation Learning via Multi-Scale Temporal Modeling and Sparse Mixture-of-Experts
Shanghai Innovation Institute（上海创新研究院）；Tongji University（同济大学）
针对社交媒体用户兴趣漂移问题，提出DUMoE框架，通过时序动态感知骨干与稀疏MoE兴趣适配器实现多模态用户表示学习，在两类预测任务上优于现有最优方法。
2026-08-27 cs.LG
EdgeMoE: Empowering Sparse Large Language Models on Mobile Devices
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Electronic Science and Technology of China（电子科技大学）；Zhongguangcun Laboratory（中关村实验室）
提出EdgeMoE，一种面向移动设备的MoE LLM推理引擎，通过存储层级划分、专家级位宽自适应和专家预加载技术，实现内存与计算的高效利用，显著加速推理并节省内存。
2025-03-07 cs.AI cs.CL cs.LG
UB-SMoE: Universally Balanced Sparse Mixture-of-Experts for Resource-adaptive Federated Fine-tuning of Foundation Models
School of Computer Science and Statistics, Trinity College Dublin, Ireland（特里尼蒂学院都柏林分校计算机科学与统计学学院）；School of Computer Science, University College Dublin, Ireland（都柏林大学学院计算机科学学院）
本文提出UB-SMoE，通过动态调节路由和通用伪梯度解决异构联邦学习中专家利用率失衡和Top-K路由非可微问题，实现低资源客户端的计算节省与性能提升。
2026-05-15 cs.LG
Building a great multi-lingual teacher with sparsely-gated mixture of experts for speech recognition
Microsoft（微软）
稀疏门混合专家模型（MoE）能够以较小的计算复杂性放大网络容量。在这项工作中，我们研究如何多语言的自动语音识别（ASR）网络可以扩展一个简单的路由算法，以达到更好的准确性。更具体地说，我们将稀疏门控MoE技术应用于两种类型的网络：序列到序列Transformer（S2 S-T）和Transformer换能器（T-T）。我们通过一组多语言数据的ASR实验证明，MoE网络可以减少相对字出错率的16.3%和4.6%，分别与S2 S-T和T-T。此外，我们深入研究了MoE对T-T架构在各种条件下的效果：流模式，非流模式，使用语言ID和标签解码器与MoE。
2022-01-04 cs.AI cs.CL cs.LG
Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（弗劳恩霍夫信息与通信技术研究中心）
针对CNN对抗鲁棒性提升成本高的问题，研究在ResNet中插入稀疏MoE层结合对抗训练，发现深层单MoE层可提升PGD等攻击下的鲁棒性，且switch loss会引发路由坍缩催生鲁棒子路径。
2025-09-05 cs.CV cs.LG
On the Role of Discrete Representation in Sparse Mixture of Experts
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所）
针对 SMoE 路由器的不一致与表示坍塌问题，本文提出基于向量量化离散表示间接分配专家的 VQMoE，并在语言和视觉任务中验证其鲁棒性提升 28%。
2025-07-27 cs.LG
Selective Sinkhorn Routing for Improved Sparse Mixture of Experts
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）
本文提出了一种选择性Sinkhorn路由方法，通过将token到专家的分配问题转化为最优传输问题，并引入约束以确保专家利用率均衡，从而在不依赖辅助平衡损失的情况下提升稀疏专家混合模型的性能。
2026-06-04 cs.LG
ExpertHTR: Unified Handwritten Text Recognition with Multi-Task Learning and Sparse Mixture-of-Experts
University of Information Technology, Ho Chi Minh City, Vietnam（胡志明市信息技术大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国立大学胡志明市分校）；AJ Technologies, Nagoya, Japan（AJ科技公司）；RIKEN Center for Advanced Intelligence Project, Tokyo, Japan（理化学研究所先进智能研究中心）
针对手写文本识别资源分散、联合训练困难的问题，提出统一框架ExpertHTR，利用互补监督和稀疏混合专家模型，在七个基准上多数超越通用系统并刷新IAM段落级纪录。
2026-09-14 cs.CV cs.LG
Dense Backpropagation Improves Training for Sparse Mixture-of-Experts
University of Maryland（马里兰大学）；Capital One；University of Chicago（芝加哥大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）
针对MoE稀疏反向更新导致训练不稳定的问题，提出Default MoE方法，用专家输出的指数移动平均替代缺失激活，实现稠密梯度更新，显著提升训练性能且无显著计算开销。
2025-11-04 cs.AI cs.LG
PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对专家混合模型内存开销大难题，提出PuzzleMoE方法。通过识别权重冗余与专业化进行稀疏专家合并，用双掩码捕获参数，引入位打包编码避免存储开销，实现高效推理，大幅压缩模型且保持精度。
2026-07-07 cs.AI cs.LG
Mixture of Group Experts for Learning Invariant Representations
Beijing Normal University（北京师范大学）
针对MoE模型专家多样性和专业化受限的问题，提出混合群组专家（MoGE），通过群组稀疏正则化和二维拓扑分组学习不变性表示，显著提升了专家多样性与模型性能。
2025-07-10 cs.CL cs.CV cs.LG
MedMix: Specialization-Consistent Federated Sparse MoEs under Modality Heterogeneity
KAIST（韩国科学技术院）；NTU Singapore（新加坡南洋理工大学）
针对联邦多模态医疗AI的客户端与样本级模态异质性问题，提出MedMix框架，通过模态上下文感知路由、共识引导路由对齐与客户端自适应专家聚合，在多模态医疗数据集上取得最优平均F1值，严重异质性下提升显著。
2026-08-17 cs.LG
Beyond Routing: Decoupling Expert Dispatch and Aggregation in Sparse Mixture-of-Experts
本研究将稀疏MoE的专家分派与聚合解耦，提出FDAA方法，在冻结主干等模块的情况下优化聚合头，在OLMoE、DeepSeek-V2-Lite等模型上提升了语言建模性能，验证了专家选择与承诺的可区分性。
2026-08-11 cs.LG
Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts Routing
该研究区分了MoE路由的相干性等量，提出相干重叠概念，发现所选专家子空间重叠显著但实际路由更优，且添加后续专家多能提升预测，说明几何相似性无法决定冗余或剪枝价值。
2026-07-31 cs.LG
Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
本文提出DS-MoE框架，训练时密集使用全部专家、推理时稀疏激活，以30-40%参数激活实现与密集模型相当的性能，并显著提升生成速度。
2024-04-08 cs.AI cs.CL cs.LG
Sparsely gated tiny linear experts
Princeton University（普林斯顿大学）
提出稀疏门控线性神经元（sgatlin）网络，通过将每个专家缩减为单个神经元并去除非线性，在等计算量下提升语言模型困惑度，同时增强可解释性。
2026-06-05 cs.LG cs.NE
Mixture of Channel Experts: Static Sparse Supports with Input-Adaptive Mixing for Pointwise Projections
School of Computer Science, Ariel University（阿里尔大学计算机科学学院）
该研究针对MoE应用于卷积网络的结构缺陷，提出MoCE层替代逐点投影，在减少16.7% MAC和延迟的同时，性能匹配或优于基线与现有通道选择方法。
2026-08-26 cs.CV cs.LG
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Google Brain（谷歌大脑）；Jagiellonian University（雅盖隆大学）
神经网络吸收信息的能力受到其参数数量的限制。条件计算，其中网络的部分在每个示例的基础上是活跃的，在理论上已经被提出作为一种显着增加模型容量而不按比例增加计算的方法。然而，在实践中，存在显著的算法和性能挑战。在这项工作中，我们解决了这些挑战，并最终实现了条件计算的承诺，实现了模型容量的1000倍以上的改进，而现代GPU集群的计算效率只有轻微的损失。我们引入了一个稀疏门控混合专家模型层（MoE），由多达数千个前馈子网络。可训练的门控网络确定这些专家的稀疏组合以用于每个示例。我们将MoE应用于语言建模和机器翻译的任务，其中模型容量对于吸收训练语料库中的大量知识至关重要。我们提出了模型架构，其中具有高达1370亿个参数的MoE在堆叠的LSTM层之间以卷积方式应用。在大型语言建模和机器翻译基准测试中，这些模型以更低的计算成本获得了比最先进的模型更好的结果。
2017-01-23 cs.CL cs.LG cs.NE
SpecPrefetch: Parameter-Efficient Expert Prefetching for Sparse MoE Foundation Models
StepOs（未知）；ShanghaiTech University（上海科技大学）；Xiamen University（厦门大学）；Chongqing University（重庆大学）
研究针对稀疏MoE模型在有限内存下部署及专家卸载的传输瓶颈问题，提出SpecPrefetch框架，通过分离传输预测与执行路由，结合窗口感知调度器，提升专家召回率和设备解码吞吐量。
2026-07-31 cs.AI cs.LG
Statistical Perspective of Top-K Sparse Softmax Gating Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文从统计角度理论分析了Top-K稀疏Softmax门控专家混合模型，通过定义新颖参数损失函数，揭示了该门控结构对密度估计和参数估计收敛速率的影响，并给出了专家数选择需超过相关Voronoi单元总基数的条件。
2024-02-23 cs.LG stat.ML
Learning Sparse Mixture of Experts for Visual Question Answering
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
随着模型结构的改进，可视化问答的任务取得了快速的进展。不幸的是，这些模型通常是计算密集型的，由于其庞大的规模，这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答（VQA）的具体任务。卷积神经网络（CNN）是VQA模型的视觉处理管道的组成部分（假设CNN与整个VQA模型一起训练）。在这个项目中，我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明，一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning
Trivita AI；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）；Hanoi University of Science and Technology（河内科学技术大学）；Rutgers University（罗格斯大学）
SMoPE通过稀疏专家混合结合任务特定和共享提示策略，有效解决持续学习中的性能与效率权衡问题。
2026-03-11 cs.LG
From Sparse to Soft Mixtures of Experts
Google DeepMind（谷歌DeepMind）
本文提出Soft MoE，一种完全可微分的稀疏Transformer，通过隐式软分配解决传统MoE的训练不稳定、令牌丢弃等问题，在视觉识别中大幅超越密集Transformer和现有MoE，并以极小推理开销实现参数规模大幅扩展。
2024-05-27 cs.AI cs.CV cs.LG
Parameter-Efficient Conformers via Sharing Sparsely-Gated Experts for End-to-End Speech Recognition
Kuaishou Technology Co., Ltd（快手科技有限公司）
虽然Transformers及其变体构象在语音识别中表现出很好的性能，但其参数化特性导致在训练和推理过程中消耗大量内存。一些作品使用跨层权重共享来减少模型的参数。然而，不可避免的容量损失损害了模型性能。为了解决这个问题，本文提出了一个参数有效的构象通过共享稀疏门控专家。具体来说，我们使用稀疏门控混合专家（MoE），以扩大容量的构象块，而不增加计算。然后，共享分组的构象异构体块的参数，从而减少参数的数量。接下来，为了确保共享块具有在不同级别上适应表示的灵活性，我们分别设计了MoE路由器和归一化。此外，我们使用知识蒸馏，以进一步提高性能。实验结果表明，与全参数模型相比，该模型仅需1/3的编码器参数就能获得较好的性能。
2022-09-17 cs.CL eess.AS
Design and Behavior of Sparse Mixture-of-Experts Layers in CNN-based Semantic Segmentation
FZI Research Center for Information Technology（弗劳恩霍夫信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究了在CNN中集成稀疏混合专家层的粗粒度分块方法，通过实验验证了架构选择对路由动态和专家专业化的影响，实现了性能提升。
2026-04-15 cs.CV cs.LG
Expert Merging in Sparse Mixture of Experts with Nash Bargaining
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；Viettel AI, Viettel Group（越南电信AI部门）；Faculty of Mathematics and Informatics, Hanoi University of Science and Technology（河内科学技术大学数学与信息学系）；Bar Ilan University, Israel（以色列巴伊兰大学）；AI Imaging Team, Data Solution Department, FPT Software Japan（日本FPT软件数据解决方案部门AI成像团队）
针对稀疏混合专家模型缺乏原则性加权机制的专家合并问题，提出基于纳什谈判的NAMEx框架，实现专家间更平衡高效的协作，在多项任务中优于现有方法。
2026-05-29 cs.LG stat.ML
Efficient Expert Pruning for Sparse Mixture-of-Experts Language Models: Enhancing Performance and Reducing Inference Costs
Cranberry-Lemon University（蔓越莓柠檬大学）
本文提出无梯度进化剪枝策略EEP，仅靠模型推理即可大幅减少SMoE模型的专家总数和激活专家数，在节省GPU内存、加速推理的同时保持甚至提升下游任务性能，挑战了传统剪枝认知。
2024-07-01 cs.LG
Sparse Backpropagation for MoE Training
Microsoft Research（微软研究院）；Microsoft Azure AI（微软Azure人工智能部门）
针对MoE模型反向传播需稠密计算与稀疏专家路由不匹配的问题，提出基于数值ODE框架中点法的SparseMixer梯度估计器，可低开销近似被忽略的梯度项，在Switch Transformer任务中使训练收敛速度最高提升2倍。
2023-10-01 cs.AI cs.CL cs.CV
Discussion: Effective and Interpretable Outcome Prediction by Training Sparse Mixtures of Linear Experts
Institute for High Performance Computing and Networking (ICAR-CNR)（高性能计算与网络研究所（ICAR-CNR））
本文提出训练稀疏逻辑回归专家混合模型，以端到端方式自动选择特征，实现可解释且高效的过程结果预测，并在基准日志上验证了其有效性。
2024-07-18 cs.LG
SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs
Beihang University（北航大学）
提出SHAPE框架，通过合作博弈论建模专家间协作，利用Shapley值识别高贡献专家，结合质量覆盖选择规则在剪枝预算下保留关键专家，实验表明在多种MoE模型上提升鲁棒性并降低显存。
2026-06-03 cs.AI cs.LG
Modeling Expert Interactions in Sparse Mixture of Experts via Graph Structures
National University of Singapore（新加坡国立大学）
本文提出SymphonySMoE，利用社交图建模专家交互并改进token路由，以增强SMoE在分布偏移和数据污染下的鲁棒性，实验验证其有效性及数十亿参数规模的可扩展性。
2025-10-18 cs.AI cs.LG
MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models
Seoul National University（首尔大学）；Inter-University Semiconductor Research Center（校际半导体研究中心）
MoNDE提出近数据计算方案，仅传输热专家至GPU并在内存中计算冷专家，减少参数移动，实现高效MoE推理并显著加速。
2024-05-29 cs.AI cs.AR cs.LG
