PLUME: Polyhedral Learning Using Mixture of Experts
IIIT Hyderabad（海得拉巴国际信息技术学院）；IISc Bangalore（班加罗尔印度科学学院）
在本文中，我们提出了一种新的混合专家体系结构学习多面体分类。我们使用期望最大化算法学习分类器的参数。我们推导出所提出的方法的推广范围。通过广泛的仿真研究，我们表明，所提出的方法执行其他国家的最先进的方法。
2019-04-22 cs.LG stat.ML
Biased Mixtures Of Experts: Enabling Computer Vision Inference Under Data Transfer Limitations
University College London（伦敦大学学院）
我们提出了一种新的混合专家类，以优化计算机视觉模型在测试时的数据传输限制。我们的方法假设，允许高精度结果的最小可接受的数据量可能会因不同的输入空间分区而异。因此，我们考虑专家需要不同数据量的混合物，并训练稀疏门控函数来划分每个专家的输入空间。通过适当的超参数选择，我们的方法是能够偏向于选择特定的专家比其他的专家的混合物。通过这种方式，我们证明了视觉传感和处理之间的数据传输优化可以作为凸优化问题来解决。为了证明数据可用性和性能之间的关系，我们评估了一系列主流计算机视觉问题上的有偏混合，即：（i）Single Shot检测，（ii）图像超分辨率，和（iii）实时视频动作分类。对于所有情况下，当专家构成修改后的基线，以满足不同的限制，允许的数据效用，有偏见的混合物显着优于以前的工作优化，以满足相同的限制，现有的数据。
2020-08-21 cs.LG eess.IV
Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Graduate School of AI（人工智能研究生院）
针对混合专家模型中共享特征学习导致性能下降的问题，提出基于专家使用频率的合并与更新机制，以学习更通用特征并改善多域增量学习。
2024-05-19 cs.LG
MixtureKit: A General Framework for Composing, Training, and Visualizing Mixture-of-Experts Models
MBZUAI（马克斯·普朗克智能系统研究所）
MixtureKit提供了一种通用框架，用于组合、训练和可视化混合专家模型，通过三种方法提升模型性能与灵活性。
2025-12-13 cs.AI cs.LG
Horseshoe Mixtures-of-Experts (HS-MoE)
Booth School of Business University of Chicago（芝加哥大学商学院）；Volgenau School of Engineering, George Mason University（乔治·马歇尔大学工程学院）；Department of Systems Engineering and Operations Research George Mason University（乔治·马歇尔大学系统工程与运营管理系）
HS-MoE模型通过结合马蹄先验和输入依赖门控，实现数据自适应的稀疏专家选择，并提出粒子学习算法用于顺序推断。
2026-01-14 cs.LG stat.ML
Simultaneous Feature and Expert Selection within Mixture of Experts
Universidad Católica de Temuco（特木科天主教大学）
处理复杂分类方案的一个有用策略是“分而治之”方法。混合专家模型（MoE）技术通过联合训练一组分类器或专家来利用这种策略，这些分类器或专家在输入空间的不同区域中专业化。全局模型，即“或”门函数，通过学习一个函数来补充专家，该函数在输入空间的不同部分中对专家的相关性进行加权。局部特征选择是一种提高专家“与”门函数专业化程度的有效方法，特别是在高维数据的情况下。我们的主要直觉是，特定的维度子集或子空间通常更适合于对位于输入空间不同区域的实例进行分类。因此，这项工作的贡献与正规化的变体的MoE，采用$L1$正则化的嵌入式过程中的局部特征选择，同时专家选择。实验仍在进行中。
2014-05-29 cs.LG
Scattered Mixture-of-Experts Implementation
Mila（米拉研究所）；IBM（国际商业机器公司）
我们提出了ScatterMoE，稀疏混合专家模型（SMoE）的GPU上的实现。ScatterMoE建立在现有实现的基础上，克服了一些限制，以提高推理和训练速度以及内存占用。这个实现通过避免填充和对输入进行过多的复制来实现。我们介绍了用于构建实现的主要组件，以及用于加速操作的各种内核。我们对Megablocks的实现进行基准测试，并表明它可以实现更高的吞吐量和更低的内存占用。我们还展示了如何通过演示混合注意力的实现来扩展混合专家模型概念。
2024-10-04 cs.DC cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia（微软亚洲研究院）
专家稀疏混合算法（MoE）以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家，并利用门控路由网络使专家有条件地激活。然而，随着专家数量的增长，具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重，从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中，我们提出了混合专家集群-一种通用的方法，使专家层学习更多样化和适当的知识，通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明，MoEC能够提高机器翻译和自然语言理解任务的性能，并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts
Thomson Reuters（汤森路透）；Zhejiang University（浙江大学）
本研究提出SIMoE指令微调算法，可将稠密预训练LLM自动转化为多专业领域的MoE模型，在指定稀疏约束下识别结构稀疏的领域专家并学习输入依赖的专家合并策略，在常用基准上实现SOTA性能与最优性能-计算权衡。
2025-06-14 cs.LG
$ϕ$-Balancing for Mixture-of-Experts Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northwestern University（西北大学）
本文提出$ϕ$-平衡框架，通过最小化严格凸、对称且可导的潜在函数，实现专家资源的群体平衡，优于现有启发式方法，在大规模预训练和下游微调中表现更稳定有效。
2026-05-14 cs.LG math.OC stat.ML
Hierarchical Mixture-of-Experts with Two-Stage Optimization
BRAIn Lab（BRAIn实验室）
本文提出Hi-MoE分层专家混合框架，通过双阶段优化解决路由负载均衡与专家专业化之间的矛盾，提升模型稳定性和表现。
2026-05-08 cs.AI cs.LG math.OC
MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference
Holocron Security, Inc（全息安全公司）
研究局部MoE推理在受限内存机器上的可行性，提出MawForge方法，通过磁盘存储模型、按需实例化专家张量等实现，发现其可作为有界执行机制，但非缓存最大化策略，性能受多种因素影响。
2026-07-14 cs.LG
Buffer Overflow in Mixture of Experts
Google DeepMind（谷歌DeepMind）
本研究揭示混合专家模型中的专家路由策略因跨批次依赖而存在安全漏洞，恶意查询可影响同批次其他良性查询的输出，并通过概念验证攻击予以证实。
2024-02-08 cs.CR cs.LG
Mixture-of-Clustered-Experts: Advancing Expert Specialization and Generalization in Instruction Tuning
Department of Computer Science and Engineering, Korea University, Republic of Korea（韩国大学计算机科学与工程系）；KT, Republic of Korea（韩国KT）；School of Software, Soongsil University, Republic of Korea（顺天大学软件学院）
针对指令微调中输入异质性导致专家专业化不足的问题，提出双阶段路由机制的混合聚类专家模型，通过序列级分组与词元级激活提升专家专业化与泛化能力。
2025-09-03 cs.LG
On Bayesian Softmax-Gated Mixture-of-Experts Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了贝叶斯专家混合模型的softmax门控机制，分析了后验分布的渐近行为，推导了密度估计、参数估计和模型选择的收敛性保证，并提出了专家数量选择策略。
2026-04-22 cs.LG stat.ML
FlexMoRE: A Flexible Mixture of Rank-heterogeneous Experts for Efficient Federatedly-trained Large Language Models
University of Southern Denmark（南丹麦大学）；Ordbogen A/S（Ordbogen公司）
FlexMoRE通过灵活的秩异质专家混合模型，在联邦训练的大型语言模型中实现更高效的性能，使用低秩适配器替代完整专家，提升任务表现并减少参数量。
2026-02-09 cs.LG
Contextual Mixture of Experts: Integrating Knowledge into Predictive Modeling
Radboud University（拉德堡德大学）；Institute for Molecules and Materials（分子与材料研究所）
本文提出了一种新的数据驱动模型，旨在将过程知识集成到其结构中，以增加过程工业中的人机协同作用。所提出的上下文混合专家模型（cMoE）在模型学习阶段明确地使用过程知识来塑造历史数据，以通过可能性分布来表示操作员与过程相关的上下文。该模型进行了评估，在两个实际案例研究的质量预测，包括硫磺回收装置和聚合过程。在两个实验中，背景混合专家模型被用来代表不同的背景。结果表明，整合过程知识提高了预测性能，同时通过提供对影响过程的不同制度的变量的见解来提高可解释性。
2022-11-01 cs.LG
Optimizing Mixture of Experts using Dynamic Recompilations
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）
混合专家模型架构通过独立于计算需求（FLOP）缩放模型参数大小来允许非常大的神经网络。然而，当前的DNN框架不能有效地支持混合专家模型中的动态数据流，并且在这些框架之上的实现需要使用引入显著开销的变通方法。为了解决这些框架的局限性，我们提出了DynaMoE，DNN库，使用动态重新编译，优化和适应使用的计算资源的动态需求的混合专家模型模型。我们的评估表明，Dyna MoE实现了1.8倍的加速比，并支持2.3倍的模型大小相比，现有的MoE系统，即使不使用重新编译。然后，我们提出了通过动态重新编译实现的进一步优化，可以产生额外的1.7倍加速，同时降低内存压力并提高模型质量。
2022-08-02 cs.DC cs.LG
Bandwidth-Efficient Adaptive Mixture-of-Experts via Low-Rank Compensation
Rensselaer Polytechnic Institute（罗切斯特理工学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；George Washington University（乔治·华盛顿大学）
本文提出了一种带宽高效自适应混合专家方法，通过低秩补偿实现精度恢复，提升带宽-准确性权衡和吞吐量。
2025-12-18 cs.LG
Mixture-of-Experts with Expert Choice Routing
Google（谷歌）
稀疏激活的混合专家模型（MoE）模型允许参数的数量大大增加，同时保持给定令牌或给定样本的计算量不变。然而，较差的专家路由策略（例如，导致负载不平衡的策略）可能导致某些专家训练不足，从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家，而不管不同令牌的相对重要性。为了解决这个问题，我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌，而不是让令牌选择前k个专家。因此，每个令牌可以被路由到可变数量的专家，并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速，发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本，我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本，我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
针对大规模混合数据集训练通用检测器参数量大的问题，提出数据集感知混合专家模型DAMEX，通过路由数据集令牌到对应专家实现数据集专属知识整合，在通用目标检测基准上显著超越现有最优方法及非MoE基线，且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
MASS通过自适应语义专业化和动态路由策略，优化混合专家架构的语义分化，提升模型性能和领域鲁棒性。
2025-12-21 cs.AI cs.LG
Let the Experts Speak: Improving Survival Prediction & Calibration via Mixture-of-Experts Heads
Department of Computer Science Columbia University USA（哥伦比亚大学计算机科学系）；Department of Computer Science New York University USA（纽约大学计算机科学系）；Department of Neurology Columbia University Medical Center USA（哥伦比亚大学医学中心神经病学系）；Department of Computer Science Barnard College USA（巴纳德学院计算机科学系）；Department of Biomedical Informatics Columbia University Medical Center USA（哥伦比亚大学医学中心生物医学信息学系）；NewYork-Presbyterian Hospital at Columbia University Medical Center USA（哥伦比亚大学医学中心新英格兰-纽约 Presbyterian 医院）
本文提出了一种改进生存预测和校准的混合专家架构，通过更具表现力的专家实现更准确的患者分组和预测。
2025-11-23 cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab（小米AI实验室）
本文提出多样尺寸专家混合（MoDSE）架构，通过不同尺寸专家和专家对分配策略，在保持总参数和专家数不变的情况下，提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Johns Hopkins University（约翰霍普金斯大学）
本文研究了层次混合专家（HMoE）模型，提出在模型两层结构中采用Laplace门控函数替代传统Softmax门控，以消除不良参数交互，从而加速专家收敛并增强专家专精化，实验验证了其在大规模多模态等任务上的显著性能提升。
2025-03-06 cs.LG stat.ML
GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
ByteDance Seed（字节跳动种子）；UC Berkeley（伯克利大学）
GatePro是一种无参数方法，通过识别相似专家对并引入局部竞争机制，直接促进专家选择多样性，减少冗余计算，提升MoE模型的有效容量和性能。
2025-10-15 cs.CL cs.LG
Mixture of Raytraced Experts
提出光线追踪专家混合架构，通过动态选择专家序列生成可变计算图，无需负载均衡即可在减少训练轮数的同时提升精度。
2025-07-16 cs.AI cs.LG
On the Representation Collapse of Sparse Mixture of Experts
Beijing Institute of Technology（北京理工大学）；Microsoft Corporation（微软公司）；Peking University（北京大学）；Microsoft Research（微软研究院）
稀疏的混合专家模型提供了更大的模型容量，同时需要恒定的计算开销。它采用路由机制，将输入令牌分配给最佳匹配的专家，根据他们的隐藏表示。然而，学习这样的路由机制鼓励令牌聚集在专家质心周围，这意味着表示坍塌的趋势。在这项工作中，我们建议估计令牌和专家之间的路由分数的低维超球体。我们对跨语言语言模型的预训练和下游任务的微调进行了广泛的实验。七个多语言基准测试的实验结果表明，我们的方法实现了一致的收益。我们还提出了一个全面的分析，我们的模型的代表性和路由行为。我们的方法避免了表示坍塌的问题，并实现了更一致的路由比基准的混合专家的方法。
2022-10-12 cs.CL cs.LG
CoSMoEs: Compact Sparse Mixture of Experts
Meta Reality Labs（元宇宙实验室）；Meta GenAI（元生成式人工智能部门）
本文提出CoSMoEs框架，通过权重分解专家提升设备端MoE模型质量，并优化内存卸载以降低推理延迟，证明其在公平评估下优于FLOP对齐的稠密模型。
2025-02-28 cs.CL cs.LG
Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention
提出GQE，在分组查询注意力上应用混合专家层，每token仅激活一半查询头，在250M参数规模下匹配全激活基线性能。
2026-06-24 cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University（清华大学）；Institute for AI（人工智能研究院）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合研究中心）；THBI Lab（清华脑与智能实验室）
我们提出的混合对比专家（MiCE），一个统一的概率聚类框架，同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发，MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集，并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题，我们进一步开发了MiCE的期望最大化（EM）算法的可扩展变体，并提供收敛性证明。经验上，我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
Structure Aware Neural Architecture Search for Mixture of Experts
该研究提出结构感知NAS框架，将数据簇与专家的对齐作为显式搜索变量，通过广义EM流程优化，在无标签的图像分类和时间序列预测任务上优于MoE与NAS基线。
2026-09-01 cs.LG
MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；NVIDIA Research（NVIDIA研究）
提出MC#框架，结合静态混合精度量化（PMQ）与动态专家剪枝（OTP），在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%，有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University（厦门大学）；Tencent Hunyuan（腾讯混元）；Soochow University（苏州大学）
该研究针对混合专家（MoE）模型，提出LatentMoE框架，通过分析专家几何特性确定最优专家形状，并用分层固有维度指导容量分配，提升了模型性能。
2026-10-14 cs.AI cs.LG
Functional mixture-of-experts for classification
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）
我们开发了一种混合专家（ME）的方法，多类分类的预测是单变量函数。它包括一个ME模型，其中门控网络和专家网络都是基于函数输入的多项式逻辑激活函数构建的。我们进行正则化的极大似然估计，其中的系数函数享有可解释的稀疏约束的目标衍生物。我们开发了一个EM-Lasso算法来计算正则化的MLE，并在模拟和真实数据上评估所提出的方法。
2022-02-28 cs.AI cs.LG stat.ML
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan（腾讯混元）；Tokyo Institute of Technology（东京工业大学）；University of Macau（澳门大学）
本文提出异构专家混合模型HMoE，通过不同大小的专家处理不同复杂度的令牌，并设计训练目标促进小专家激活，以更少参数实现更低损失，超越传统同质MoE。
2024-08-20 cs.CL cs.LG
Spatial Mixture-of-Experts
ETH Zürich（苏黎世联邦理工学院）
许多数据都依赖于空间位置;它可能是地球上的天气、网格上的模拟或注册的图像。然而，这个特性很少被利用，并且违反了许多神经网络层所做的共同假设，例如平移等变性。此外，许多包含局部性的作品未能捕捉到细粒度的结构。为了解决这个问题，我们引入了空间混合专家模型（SMoE）层，一个稀疏门控层，学习空间结构的输入域和路由专家在细粒度的水平，以利用它。我们还开发了新的技术来训练SMoE，包括自我监督路由损耗和阻尼专家错误。最后，我们在许多任务上展示了SMoEs的强大结果，并为中期天气预报和后处理集合天气预报设置了新的最先进的结果。
2022-11-24 cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University（哈佛大学）；Microsoft Research（微软研究院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of Sienna（锡耶纳大学）
我们提出了优先MoE，这是一种新的人类-ML混合专家模型，仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数，它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则，并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法，并研究其性能和收敛性。最后，我们展示了优先MoE在两个临床应用中的效用，用于治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）。
2021-01-13 cs.AI cs.LG
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University（上海科技大学）
针对扩散Transformer的扩展性问题，提出搭载Expert Race灵活路由策略的Race-DiT模型，结合逐层正则化与路由相似度损失优化专家利用，在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
Technical University of Munich（慕尼黑技术大学）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；University of Cambridge（剑桥大学）
针对现有PEFT未利用MoE动态路由的问题，提出在适配模块中融入路由机制，并在OLMoE-1B-7B和Mixtral-8x7B上验证了其性能与效率，给出了最优配置与实用见解。
2025-08-04 cs.AI cs.CL cs.LG
The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts
MIT Mathematics（麻省理工学院数学系）；Harvard CMSA（哈佛大学CMSA）
本文研究 MoE 层活跃专家数量即粒度对表达能力的影响，证明高、低粒度架构间存在指数级表达能力分离，并用实验验证高粒度更具优势。
2025-05-11 cs.AI cs.LG stat.ML
Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.（彭博有限合伙企业）；Boğaziçi University（博阿齐奇大学）
Dropout是一种非常有效的防止过拟合的方法，近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型，其中叶对应于专家，并且决策节点对应于在其子节点之间进行软选择的选通模型，并且因此，该模型定义输入空间的软分层划分。在这项工作中，我们提出了一个变体的辍学分层混合专家模型，是忠实于树层次结构定义的模型，而不是有一个平坦的，unitwise独立的应用辍学，因为一个有多层感知器。我们表明，在合成回归数据和MNIST和CIFAR-10数据集上，我们提出的dropout机制可以防止树上的过度拟合，具有许多级别，提高了泛化能力，并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
Robustness of Mixtures of Experts to Feature Noise
Dong Sun（东Sun）；Rahul Nittala（拉胡尔·尼塔拉）；Rebekka Burkholz（蕾贝卡·布克霍尔兹）
研究混合专家模型在特征噪声下的鲁棒性，发现稀疏专家激活能作为噪声滤波器，相比密集网络具有更低的泛化误差、更强的鲁棒性和更快的收敛速度。
2026-06-11 cs.LG
Mixture of ELM based experts with trainable gating network
Yazd University（亚兹德大学）
混合专家模型方法是一种基于神经网络的集成学习方法，具有很强的提高整体分类精度的能力。该方法基于分而治之的原则，通过选通网络的监督将问题空间划分给多个专家。本文提出了一种基于混合专家模型的集成学习方法--MEETG（mixed of ELM based experts with trainable gating networks），它由多层感知器（MLP）和门网络组成，其中应用基于梯度的学习算法来训练MLP，这是一个迭代且耗时的过程。为了克服这些问题，我们利用极限学习机（ELM）的优点设计了ME的结构，ELM作为单隐层前馈神经网络的学习算法，与其他传统的学习算法相比，具有更快的学习速度和更好的泛化能力。此外，在所提出的方法中，一个可训练的门控网络被应用于根据输入样本动态地聚集专家的输出。在11个基准数据集上的实验结果和统计分析证实了MEETG在分类问题上具有可接受的性能。此外，我们的实验结果表明，该方法在预测稳定性和分类准确性方面优于原始ELM。
2021-05-25 cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University（北京航空航天大学）；The Institute of Acoustics of the Chinese Academy of Sciences（中国科学院声学研究所）；Microsoft（微软）
稀疏混合专家模型（MoE）模型是强大的大规模预训练，并取得了可喜的成果，由于其模型容量。然而，由于参数数以万亿计，MoE很难部署在云或移动环境中。MoE的推理需要专家并行，这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务，这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中，我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法，逐步下降的目标下游任务的非专业专家，它保留了MoE的好处，同时减少MoE模型到一个单一的专家密集模型。我们的实验表明，微调的单专家模型可以保留99.3%的利益，从MoE在六种不同类型的任务，同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models
Seoul National University（首尔大学）；Inter-University Semiconductor Research Center（校际半导体研究中心）
MoNDE提出近数据计算方案，仅传输热专家至GPU并在内存中计算冷专家，减少参数移动，实现高效MoE推理并显著加速。
2024-05-29 cs.AI cs.AR cs.LG
Mixture of experts architectures for machine learning interatomic potentials
本文提出基于专家混合的MLIPs架构，通过非线性专家专业化提升模型性能，实现元素级路由的高效稳定模拟，并在多个基准测试中取得最佳精度。
2026-08-18 cs.LG physics.chem-ph physics.comp-ph
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；INF Technology（INF科技）；Hong Kong University of Science and Technology（香港科技大学）
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾，提出基于Hypernetworks的HyperMoE框架，利用未选中专家的信息生成补充模块进行知识迁移，在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
SMILE: Scaling Mixture-of-Experts with Efficient Bi-level Routing
University of Southern California（南加州大学）；AWS AI（亚马逊云科技人工智能部门）
专家（MoE）并行的混合是一个最近的进步，规模与恒定的计算成本的模型大小。MoE选择不同的参数组（即，专家），从而产生稀疏激活的模型。尽管MoE的几个成功的应用程序，其培训效率显着下降的专家数量的增加。MoE中的路由阶段依赖于All2All通信集合的效率，其遭受网络拥塞并且具有差的可扩展性。为了缓解这些问题，我们引入了SMILE，它利用异构网络带宽，并将单步路由分为两级路由。我们的实验结果表明，所提出的方法获得了2.5倍的加速比开关Transformer在预训练吞吐量的Colossal清洁爬行语料库，而不会失去任何收敛速度。
2022-12-10 cs.LG
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
EPFL（瑞士联邦理工学院洛桑）
提出专家绑定方法，通过共享连续Transformer层的专家参数，在保持独立路由和注意力的同时，将MoE模型内存占用降低近2倍，且不损失困惑度或下游性能。
2026-06-16 cs.AI cs.CL cs.LG
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)（工程学院）；Laboratory of Applied Photonics Devices (LAPD)（应用光子器件实验室）；Optics Laboratory（光学实验室）
本文提出SMoE-VAE架构，通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构，揭示数据量与专家特化的权衡，为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment for Edge Computing
Louisiana State University（路易斯安那州立大学）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）；New Jersey Institute of Technology（新泽西理工学院）
本文提出FLEX-MoE，一种联邦混合专家框架，通过联合优化专家分配和负载平衡，在受限客户端容量下提升边缘计算性能。
2026-05-17 cs.LG
DA-MoE: Towards Dynamic Expert Allocation for Mixture-of-Experts Models
Knight Foundation School of Computing and Information Sciences（奈特基金会计算与信息科学学院）；Florida International University（佛罗里达国际大学）
针对 MoE 路由器为每个 token 固定分配专家的问题，本文提出 DA-MoE，利用 Transformer 注意力衡量 token 重要性并动态选择最优 top-K 专家，在 GLUE 上持续优于现有 Transformer MoE。
2024-09-10 cs.LG
Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
Aleph Alpha
本文提出精确分位数均衡（EQB）与负载误差注入（LEI），分别改进MoE训练的全局与局部负载均衡，在7.5B参数模型上提升性能并优于GShard损失。
2026-09-24 cs.CL cs.LG
