Mixture-of-Clustered-Experts: Advancing Expert Specialization and Generalization in Instruction Tuning
Department of Computer Science and Engineering, Korea University, Republic of Korea（韩国大学计算机科学与工程系）；KT, Republic of Korea（韩国KT）；School of Software, Soongsil University, Republic of Korea（顺天大学软件学院）
针对指令微调中输入异质性导致专家专业化不足的问题，提出双阶段路由机制的混合聚类专家模型，通过序列级分组与词元级激活提升专家专业化与泛化能力。
2025-09-03 cs.LG
FlexMoRE: A Flexible Mixture of Rank-heterogeneous Experts for Efficient Federatedly-trained Large Language Models
University of Southern Denmark（南丹麦大学）；Ordbogen A/S（Ordbogen公司）
FlexMoRE通过灵活的秩异质专家混合模型，在联邦训练的大型语言模型中实现更高效的性能，使用低秩适配器替代完整专家，提升任务表现并减少参数量。
2026-02-09 cs.LG
Contextual Mixture of Experts: Integrating Knowledge into Predictive Modeling
Radboud University（拉德堡德大学）；Institute for Molecules and Materials（分子与材料研究所）
本文提出了一种新的数据驱动模型，旨在将过程知识集成到其结构中，以增加过程工业中的人机协同作用。所提出的上下文混合专家模型（cMoE）在模型学习阶段明确地使用过程知识来塑造历史数据，以通过可能性分布来表示操作员与过程相关的上下文。该模型进行了评估，在两个实际案例研究的质量预测，包括硫磺回收装置和聚合过程。在两个实验中，背景混合专家模型被用来代表不同的背景。结果表明，整合过程知识提高了预测性能，同时通过提供对影响过程的不同制度的变量的见解来提高可解释性。
2022-11-01 cs.LG
Bandwidth-Efficient Adaptive Mixture-of-Experts via Low-Rank Compensation
Rensselaer Polytechnic Institute（罗切斯特理工学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；George Washington University（乔治·华盛顿大学）
本文提出了一种带宽高效自适应混合专家方法，通过低秩补偿实现精度恢复，提升带宽-准确性权衡和吞吐量。
2025-12-18 cs.LG
Let the Experts Speak: Improving Survival Prediction & Calibration via Mixture-of-Experts Heads
Department of Computer Science Columbia University USA（哥伦比亚大学计算机科学系）；Department of Computer Science New York University USA（纽约大学计算机科学系）；Department of Neurology Columbia University Medical Center USA（哥伦比亚大学医学中心神经病学系）；Department of Computer Science Barnard College USA（巴纳德学院计算机科学系）；Department of Biomedical Informatics Columbia University Medical Center USA（哥伦比亚大学医学中心生物医学信息学系）；NewYork-Presbyterian Hospital at Columbia University Medical Center USA（哥伦比亚大学医学中心新英格兰-纽约 Presbyterian 医院）
本文提出了一种改进生存预测和校准的混合专家架构，通过更具表现力的专家实现更准确的患者分组和预测。
2025-11-23 cs.LG
Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention
提出GQE，在分组查询注意力上应用混合专家层，每token仅激活一半查询头，在250M参数规模下匹配全激活基线性能。
2026-06-24 cs.LG
Structure Aware Neural Architecture Search for Mixture of Experts
该研究提出结构感知NAS框架，将数据簇与专家的对齐作为显式搜索变量，通过广义EM流程优化，在无标签的图像分类和时间序列预测任务上优于MoE与NAS基线。
2026-09-01 cs.LG
Spatial Mixture-of-Experts
ETH Zürich（苏黎世联邦理工学院）
许多数据都依赖于空间位置;它可能是地球上的天气、网格上的模拟或注册的图像。然而，这个特性很少被利用，并且违反了许多神经网络层所做的共同假设，例如平移等变性。此外，许多包含局部性的作品未能捕捉到细粒度的结构。为了解决这个问题，我们引入了空间混合专家模型（SMoE）层，一个稀疏门控层，学习空间结构的输入域和路由专家在细粒度的水平，以利用它。我们还开发了新的技术来训练SMoE，包括自我监督路由损耗和阻尼专家错误。最后，我们在许多任务上展示了SMoEs的强大结果，并为中期天气预报和后处理集合天气预报设置了新的最先进的结果。
2022-11-24 cs.LG
Robustness of Mixtures of Experts to Feature Noise
Dong Sun（东Sun）；Rahul Nittala（拉胡尔·尼塔拉）；Rebekka Burkholz（蕾贝卡·布克霍尔兹）
研究混合专家模型在特征噪声下的鲁棒性，发现稀疏专家激活能作为噪声滤波器，相比密集网络具有更低的泛化误差、更强的鲁棒性和更快的收敛速度。
2026-06-11 cs.LG
Mixture of ELM based experts with trainable gating network
Yazd University（亚兹德大学）
混合专家模型方法是一种基于神经网络的集成学习方法，具有很强的提高整体分类精度的能力。该方法基于分而治之的原则，通过选通网络的监督将问题空间划分给多个专家。本文提出了一种基于混合专家模型的集成学习方法--MEETG（mixed of ELM based experts with trainable gating networks），它由多层感知器（MLP）和门网络组成，其中应用基于梯度的学习算法来训练MLP，这是一个迭代且耗时的过程。为了克服这些问题，我们利用极限学习机（ELM）的优点设计了ME的结构，ELM作为单隐层前馈神经网络的学习算法，与其他传统的学习算法相比，具有更快的学习速度和更好的泛化能力。此外，在所提出的方法中，一个可训练的门控网络被应用于根据输入样本动态地聚集专家的输出。在11个基准数据集上的实验结果和统计分析证实了MEETG在分类问题上具有可接受的性能。此外，我们的实验结果表明，该方法在预测稳定性和分类准确性方面优于原始ELM。
2021-05-25 cs.LG
SMILE: Scaling Mixture-of-Experts with Efficient Bi-level Routing
University of Southern California（南加州大学）；AWS AI（亚马逊云科技人工智能部门）
专家（MoE）并行的混合是一个最近的进步，规模与恒定的计算成本的模型大小。MoE选择不同的参数组（即，专家），从而产生稀疏激活的模型。尽管MoE的几个成功的应用程序，其培训效率显着下降的专家数量的增加。MoE中的路由阶段依赖于All2All通信集合的效率，其遭受网络拥塞并且具有差的可扩展性。为了缓解这些问题，我们引入了SMILE，它利用异构网络带宽，并将单步路由分为两级路由。我们的实验结果表明，所提出的方法获得了2.5倍的加速比开关Transformer在预训练吞吐量的Colossal清洁爬行语料库，而不会失去任何收敛速度。
2022-12-10 cs.LG
FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment for Edge Computing
Louisiana State University（路易斯安那州立大学）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）；New Jersey Institute of Technology（新泽西理工学院）
本文提出FLEX-MoE，一种联邦混合专家框架，通过联合优化专家分配和负载平衡，在受限客户端容量下提升边缘计算性能。
2026-05-17 cs.LG
DA-MoE: Towards Dynamic Expert Allocation for Mixture-of-Experts Models
Knight Foundation School of Computing and Information Sciences（奈特基金会计算与信息科学学院）；Florida International University（佛罗里达国际大学）
针对 MoE 路由器为每个 token 固定分配专家的问题，本文提出 DA-MoE，利用 Transformer 注意力衡量 token 重要性并动态选择最优 top-K 专家，在 GLUE 上持续优于现有 Transformer MoE。
2024-09-10 cs.LG
A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文提出首个可证明高效的微调MoE模型专家剪枝方法，通过优先剪枝路由器l2范数变化较小的专家，在保证测试准确率的同时显著减少模型规模与计算需求，并在VMoE等大型视觉模型上验证有效。
2024-05-30 cs.LG
Load Balancing Mixture of Experts with Similarity Preserving Routers
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for AI（人工智能算法研究所）
针对稀疏MoE模型路由器因现有负载均衡机制导致不一致路由和冗余知识的问题，提出一种保留token关系结构的新颖负载均衡损失，促使相似输入选择一致专家，实现36%更快收敛和更低冗余。
2025-10-11 cs.LG
A theoretical model for task routing in mixture-of-expert transformers
University of Sydney（悉尼大学）；Zhejiang University（浙江大学）；Google Research（谷歌研究院）
通过离散语言模型证明单层MoE Transformer可利用专家实现任务专业化，支持经验发现。
2026-06-16 cs.LG
TileQ: Efficient Low-Rank Quantization of Mixture-of-Experts with 2D Tiling
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
TileQ通过二维铺砖结构低秩量化方法，在不进行微调的情况下实现混合专家模型的高效量化，显著降低内存使用和推理延迟，同时保持最先进的准确性。
2026-05-10 cs.LG
On the Role of Discrete Representation in Sparse Mixture of Experts
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所）
针对 SMoE 路由器的不一致与表示坍塌问题，本文提出基于向量量化离散表示间接分配专家的 VQMoE，并在语言和视觉任务中验证其鲁棒性提升 28%。
2025-07-27 cs.LG
Peirce in the Machine: How Mixture of Experts Models Perform Hypothesis Construction
Purdue University（普渡大学）
本文探讨了混合专家模型在假设构造中的表现，指出其函数容量优势，并通过实验验证其在归纳推理中的有效性。
2024-06-24 cs.AI cs.LG
PLUME: Polyhedral Learning Using Mixture of Experts
IIIT Hyderabad（海得拉巴国际信息技术学院）；IISc Bangalore（班加罗尔印度科学学院）
在本文中，我们提出了一种新的混合专家体系结构学习多面体分类。我们使用期望最大化算法学习分类器的参数。我们推导出所提出的方法的推广范围。通过广泛的仿真研究，我们表明，所提出的方法执行其他国家的最先进的方法。
2019-04-22 cs.LG stat.ML
Biased Mixtures Of Experts: Enabling Computer Vision Inference Under Data Transfer Limitations
University College London（伦敦大学学院）
我们提出了一种新的混合专家类，以优化计算机视觉模型在测试时的数据传输限制。我们的方法假设，允许高精度结果的最小可接受的数据量可能会因不同的输入空间分区而异。因此，我们考虑专家需要不同数据量的混合物，并训练稀疏门控函数来划分每个专家的输入空间。通过适当的超参数选择，我们的方法是能够偏向于选择特定的专家比其他的专家的混合物。通过这种方式，我们证明了视觉传感和处理之间的数据传输优化可以作为凸优化问题来解决。为了证明数据可用性和性能之间的关系，我们评估了一系列主流计算机视觉问题上的有偏混合，即：（i）Single Shot检测，（ii）图像超分辨率，和（iii）实时视频动作分类。对于所有情况下，当专家构成修改后的基线，以满足不同的限制，允许的数据效用，有偏见的混合物显着优于以前的工作优化，以满足相同的限制，现有的数据。
2020-08-21 cs.LG eess.IV
MixtureKit: A General Framework for Composing, Training, and Visualizing Mixture-of-Experts Models
MBZUAI（马克斯·普朗克智能系统研究所）
MixtureKit提供了一种通用框架，用于组合、训练和可视化混合专家模型，通过三种方法提升模型性能与灵活性。
2025-12-13 cs.AI cs.LG
Horseshoe Mixtures-of-Experts (HS-MoE)
Booth School of Business University of Chicago（芝加哥大学商学院）；Volgenau School of Engineering, George Mason University（乔治·马歇尔大学工程学院）；Department of Systems Engineering and Operations Research George Mason University（乔治·马歇尔大学系统工程与运营管理系）
HS-MoE模型通过结合马蹄先验和输入依赖门控，实现数据自适应的稀疏专家选择，并提出粒子学习算法用于顺序推断。
2026-01-14 cs.LG stat.ML
Scattered Mixture-of-Experts Implementation
Mila（米拉研究所）；IBM（国际商业机器公司）
我们提出了ScatterMoE，稀疏混合专家模型（SMoE）的GPU上的实现。ScatterMoE建立在现有实现的基础上，克服了一些限制，以提高推理和训练速度以及内存占用。这个实现通过避免填充和对输入进行过多的复制来实现。我们介绍了用于构建实现的主要组件，以及用于加速操作的各种内核。我们对Megablocks的实现进行基准测试，并表明它可以实现更高的吞吐量和更低的内存占用。我们还展示了如何通过演示混合注意力的实现来扩展混合专家模型概念。
2024-10-04 cs.DC cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia（微软亚洲研究院）
专家稀疏混合算法（MoE）以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家，并利用门控路由网络使专家有条件地激活。然而，随着专家数量的增长，具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重，从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中，我们提出了混合专家集群-一种通用的方法，使专家层学习更多样化和适当的知识，通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明，MoEC能够提高机器翻译和自然语言理解任务的性能，并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
Buffer Overflow in Mixture of Experts
Google DeepMind（谷歌DeepMind）
本研究揭示混合专家模型中的专家路由策略因跨批次依赖而存在安全漏洞，恶意查询可影响同批次其他良性查询的输出，并通过概念验证攻击予以证实。
2024-02-08 cs.CR cs.LG
On Bayesian Softmax-Gated Mixture-of-Experts Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了贝叶斯专家混合模型的softmax门控机制，分析了后验分布的渐近行为，推导了密度估计、参数估计和模型选择的收敛性保证，并提出了专家数量选择策略。
2026-04-22 cs.LG stat.ML
Optimizing Mixture of Experts using Dynamic Recompilations
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）
混合专家模型架构通过独立于计算需求（FLOP）缩放模型参数大小来允许非常大的神经网络。然而，当前的DNN框架不能有效地支持混合专家模型中的动态数据流，并且在这些框架之上的实现需要使用引入显著开销的变通方法。为了解决这些框架的局限性，我们提出了DynaMoE，DNN库，使用动态重新编译，优化和适应使用的计算资源的动态需求的混合专家模型模型。我们的评估表明，Dyna MoE实现了1.8倍的加速比，并支持2.3倍的模型大小相比，现有的MoE系统，即使不使用重新编译。然后，我们提出了通过动态重新编译实现的进一步优化，可以产生额外的1.7倍加速，同时降低内存压力并提高模型质量。
2022-08-02 cs.DC cs.LG
Mixture-of-Experts with Expert Choice Routing
Google（谷歌）
稀疏激活的混合专家模型（MoE）模型允许参数的数量大大增加，同时保持给定令牌或给定样本的计算量不变。然而，较差的专家路由策略（例如，导致负载不平衡的策略）可能导致某些专家训练不足，从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家，而不管不同令牌的相对重要性。为了解决这个问题，我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌，而不是让令牌选择前k个专家。因此，每个令牌可以被路由到可变数量的专家，并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速，发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本，我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本，我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
MASS通过自适应语义专业化和动态路由策略，优化混合专家架构的语义分化，提升模型性能和领域鲁棒性。
2025-12-21 cs.AI cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab（小米AI实验室）
本文提出多样尺寸专家混合（MoDSE）架构，通过不同尺寸专家和专家对分配策略，在保持总参数和专家数不变的情况下，提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Johns Hopkins University（约翰霍普金斯大学）
本文研究了层次混合专家（HMoE）模型，提出在模型两层结构中采用Laplace门控函数替代传统Softmax门控，以消除不良参数交互，从而加速专家收敛并增强专家专精化，实验验证了其在大规模多模态等任务上的显著性能提升。
2025-03-06 cs.LG stat.ML
GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
ByteDance Seed（字节跳动种子）；UC Berkeley（伯克利大学）
GatePro是一种无参数方法，通过识别相似专家对并引入局部竞争机制，直接促进专家选择多样性，减少冗余计算，提升MoE模型的有效容量和性能。
2025-10-15 cs.CL cs.LG
Mixture of Raytraced Experts
提出光线追踪专家混合架构，通过动态选择专家序列生成可变计算图，无需负载均衡即可在减少训练轮数的同时提升精度。
2025-07-16 cs.AI cs.LG
On the Representation Collapse of Sparse Mixture of Experts
Beijing Institute of Technology（北京理工大学）；Microsoft Corporation（微软公司）；Peking University（北京大学）；Microsoft Research（微软研究院）
稀疏的混合专家模型提供了更大的模型容量，同时需要恒定的计算开销。它采用路由机制，将输入令牌分配给最佳匹配的专家，根据他们的隐藏表示。然而，学习这样的路由机制鼓励令牌聚集在专家质心周围，这意味着表示坍塌的趋势。在这项工作中，我们建议估计令牌和专家之间的路由分数的低维超球体。我们对跨语言语言模型的预训练和下游任务的微调进行了广泛的实验。七个多语言基准测试的实验结果表明，我们的方法实现了一致的收益。我们还提出了一个全面的分析，我们的模型的代表性和路由行为。我们的方法避免了表示坍塌的问题，并实现了更一致的路由比基准的混合专家的方法。
2022-10-12 cs.CL cs.LG
CoSMoEs: Compact Sparse Mixture of Experts
Meta Reality Labs（元宇宙实验室）；Meta GenAI（元生成式人工智能部门）
本文提出CoSMoEs框架，通过权重分解专家提升设备端MoE模型质量，并优化内存卸载以降低推理延迟，证明其在公平评估下优于FLOP对齐的稠密模型。
2025-02-28 cs.CL cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University（清华大学）；Institute for AI（人工智能研究院）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合研究中心）；THBI Lab（清华脑与智能实验室）
我们提出的混合对比专家（MiCE），一个统一的概率聚类框架，同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发，MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集，并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题，我们进一步开发了MiCE的期望最大化（EM）算法的可扩展变体，并提供收敛性证明。经验上，我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；NVIDIA Research（NVIDIA研究）
提出MC#框架，结合静态混合精度量化（PMQ）与动态专家剪枝（OTP），在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%，有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University（厦门大学）；Tencent Hunyuan（腾讯混元）；Soochow University（苏州大学）
该研究针对混合专家（MoE）模型，提出LatentMoE框架，通过分析专家几何特性确定最优专家形状，并用分层固有维度指导容量分配，提升了模型性能。
2026-10-14 cs.AI cs.LG
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan（腾讯混元）；Tokyo Institute of Technology（东京工业大学）；University of Macau（澳门大学）
本文提出异构专家混合模型HMoE，通过不同大小的专家处理不同复杂度的令牌，并设计训练目标促进小专家激活，以更少参数实现更低损失，超越传统同质MoE。
2024-08-20 cs.CL cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University（哈佛大学）；Microsoft Research（微软研究院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of Sienna（锡耶纳大学）
我们提出了优先MoE，这是一种新的人类-ML混合专家模型，仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数，它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则，并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法，并研究其性能和收敛性。最后，我们展示了优先MoE在两个临床应用中的效用，用于治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）。
2021-01-13 cs.AI cs.LG
Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.（彭博有限合伙企业）；Boğaziçi University（博阿齐奇大学）
Dropout是一种非常有效的防止过拟合的方法，近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型，其中叶对应于专家，并且决策节点对应于在其子节点之间进行软选择的选通模型，并且因此，该模型定义输入空间的软分层划分。在这项工作中，我们提出了一个变体的辍学分层混合专家模型，是忠实于树层次结构定义的模型，而不是有一个平坦的，unitwise独立的应用辍学，因为一个有多层感知器。我们表明，在合成回归数据和MNIST和CIFAR-10数据集上，我们提出的dropout机制可以防止树上的过度拟合，具有许多级别，提高了泛化能力，并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University（北京航空航天大学）；The Institute of Acoustics of the Chinese Academy of Sciences（中国科学院声学研究所）；Microsoft（微软）
稀疏混合专家模型（MoE）模型是强大的大规模预训练，并取得了可喜的成果，由于其模型容量。然而，由于参数数以万亿计，MoE很难部署在云或移动环境中。MoE的推理需要专家并行，这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务，这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中，我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法，逐步下降的目标下游任务的非专业专家，它保留了MoE的好处，同时减少MoE模型到一个单一的专家密集模型。我们的实验表明，微调的单专家模型可以保留99.3%的利益，从MoE在六种不同类型的任务，同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；INF Technology（INF科技）；Hong Kong University of Science and Technology（香港科技大学）
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾，提出基于Hypernetworks的HyperMoE框架，利用未选中专家的信息生成补充模块进行知识迁移，在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)（工程学院）；Laboratory of Applied Photonics Devices (LAPD)（应用光子器件实验室）；Optics Laboratory（光学实验室）
本文提出SMoE-VAE架构，通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构，揭示数据量与专家特化的权衡，为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
Aleph Alpha
本文提出精确分位数均衡（EQB）与负载误差注入（LEI），分别改进MoE训练的全局与局部负载均衡，在7.5B参数模型上提升性能并优于GShard损失。
2026-09-24 cs.CL cs.LG
MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
针对混合专家（MoE）模型因门控路由导致专家视野狭窄、泛化能力受限的问题，提出专家间相互蒸馏的MoDE模型，经多领域实验验证有效，并通过专家探测揭示其作用机理。
2024-01-31 cs.AI cs.LG
Rethinking Routing Exploration in Modern Mixture-of-Experts
ETH Zurich（苏黎世联邦理工学院）；The University of Hong Kong（香港大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；WU Vienna（维也纳经济大学）
本文针对现代MoE架构中细粒度专家分割与共享专家间的探索困境，提出MirrorMoE通过token自适应抑制不必要专家缩小探索空间，在各模型规模下均提升性能。
2026-10-16 cs.AI cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China（科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题，提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架，并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
EMoE: Eigenbasis-Guided Routing for Mixture-of-Experts
University of Southern California（南加州大学）
EMoE通过基于学习的正交特征基的路由机制，解决混合专家架构中的负载不平衡和专家同质化问题，无需辅助损失函数。
2026-01-17 cs.CV cs.LG
Mixture of Lookup Experts
Peking University（北京大学）
提出查找专家混合（MoLE）架构，通过将训练好的专家重新参数化为查找表并卸载，推理时直接检索结果，在保持性能的同时实现低通信开销和快速推理。
2025-05-25 cs.CL cs.LG
A Heterogeneous Mixture of Experts Framework for Interpretable Machine Learning
Indian Statistical Institute（印度统计研究所）；Interdisciplinary Statistical Research Unit, Indian Statistical Institute（印度统计研究所跨学科统计研究单元）
该研究提出异构混合专家框架，将决策树、线性SVM等异构专家与概率门控结合，在保证可解释性的同时，在基准数据集上达到与同构MoDT、随机森林相当的预测性能。
2026-08-26 cs.LG stat.ML
Unbiased Gradient Estimation with Balanced Assignments for Mixtures of Experts
University of Amsterdam（阿姆斯特丹大学）；DeepMind
在现代硬件上有效地训练大规模混合专家模型需要将数据点批量分配给不同的专家，每个专家的容量有限。最近提出的分配程序缺乏概率的解释，并使用有偏估计的培训。作为替代方案，我们提出了两种基于原则性随机分配程序的无偏估计：一种是跳过超过专家能力的数据点，另一种是使用Gumbel匹配分布的扩展对完全平衡的分配进行采样[29]。这两种估计量都是无偏的，因为它们对所使用的抽样程序进行了校正。在一个玩具实验中，我们发现“跳跃”估计是更有效的平衡抽样的，都是更强大的解决任务比有偏见的替代品。
2021-12-08 cs.LG stat.ML
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup（蚂蚁集团）；Peking University（北京大学）
OrdMoE通过利用混合专家架构中的内在信号，实现多模态混合专家语言模型的零成本偏好对齐，无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
