Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts
提出ScMoE架构与重叠并行策略，解耦通信与计算的顺序依赖实现100%重叠，在保持模型质量的同时显著提升MoE训练和推理速度。
2025-05-29 cs.CL cs.DC cs.LG
Scattered Mixture-of-Experts Implementation
Mila（米拉研究所）；IBM（国际商业机器公司）
我们提出了ScatterMoE，稀疏混合专家模型（SMoE）的GPU上的实现。ScatterMoE建立在现有实现的基础上，克服了一些限制，以提高推理和训练速度以及内存占用。这个实现通过避免填充和对输入进行过多的复制来实现。我们介绍了用于构建实现的主要组件，以及用于加速操作的各种内核。我们对Megablocks的实现进行基准测试，并表明它可以实现更高的吞吐量和更低的内存占用。我们还展示了如何通过演示混合注意力的实现来扩展混合专家模型概念。
2024-10-04 cs.DC cs.LG
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX（IRT系统X）；Normandie Univ, UNICAEN, CNRS, LMNO（诺曼底大学、UNICAEN、CNRS、LMNO）
本文提出基于最优传输的分布式MoE模型聚合方法，通过减少传输分歧构建全局估计器，实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia（微软亚洲研究院）
专家稀疏混合算法（MoE）以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家，并利用门控路由网络使专家有条件地激活。然而，随着专家数量的增长，具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重，从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中，我们提出了混合专家集群-一种通用的方法，使专家层学习更多样化和适当的知识，通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明，MoEC能够提高机器翻译和自然语言理解任务的性能，并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
Every Expert Matters: Towards Effective Knowledge Distillation for Mixture-of-Experts Language Models
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；AITRICS
针对MoE语言模型压缩中未激活专家知识未被有效利用的问题，提出KA和SAR两种专用KD方法，通过采样增强和路由器训练提取所有专家知识，实验证明其优于传统KD方法。
2025-02-18 cs.AI cs.CL cs.LG
Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Salesforce AI Research（Salesforce人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；CPII under InnoHK（InnoHK下属CPII）；CUHK MMLab（香港中文大学MMLab）
本文针对混合专家大语言模型部署困难的问题，首次提出了即插即用的任务无关与任务特定专家剪枝及跳过训练后方法，在不依赖特定硬件的情况下有效减小了模型规模并加快了推理速度，同时保持了模型性能。
2024-05-30 cs.AI cs.CL cs.LG
Multi-Head Mixture-of-Experts
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对SMoE存在的专家激活率低和单token多语义概念分析能力不足的问题，提出多头混合专家（MH-MoE），通过多头机制将token拆分为子token并行交由多专家处理并重组，显著提升专家激活率与上下文理解能力。
2024-04-23 cs.AI cs.CL cs.LG
MoIN: Mixture of Introvert Experts to Upcycle an LLM
University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出MoIN方法，通过在冻结的基础模型上添加轻量级适配器作为“内向型”专家，利用数据分组并行训练与路由推理，实现无需持续预训练即可高效升级LLM。
2024-10-13 cs.AI cs.CL cs.LG
$μ$-MoE: Test-Time Pruning as Micro-Grained Mixture-of-Experts
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出$μ$-MoE，将测试时激活感知剪枝形式化为微粒度混合专家，通过计算高效的校准实现每个提示的自适应结构化稀疏，以降低推理计算需求。
2025-05-24 cs.AI cs.CL cs.LG
Optimizing Mixture of Experts using Dynamic Recompilations
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）
混合专家模型架构通过独立于计算需求（FLOP）缩放模型参数大小来允许非常大的神经网络。然而，当前的DNN框架不能有效地支持混合专家模型中的动态数据流，并且在这些框架之上的实现需要使用引入显著开销的变通方法。为了解决这些框架的局限性，我们提出了DynaMoE，DNN库，使用动态重新编译，优化和适应使用的计算资源的动态需求的混合专家模型模型。我们的评估表明，Dyna MoE实现了1.8倍的加速比，并支持2.3倍的模型大小相比，现有的MoE系统，即使不使用重新编译。然后，我们提出了通过动态重新编译实现的进一步优化，可以产生额外的1.7倍加速，同时降低内存压力并提高模型质量。
2022-08-02 cs.DC cs.LG
Mixture-of-Experts with Expert Choice Routing
Google（谷歌）
稀疏激活的混合专家模型（MoE）模型允许参数的数量大大增加，同时保持给定令牌或给定样本的计算量不变。然而，较差的专家路由策略（例如，导致负载不平衡的策略）可能导致某些专家训练不足，从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家，而不管不同令牌的相对重要性。为了解决这个问题，我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌，而不是让令牌选择前k个专家。因此，每个令牌可以被路由到可变数量的专家，并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速，发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本，我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本，我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
MASS通过自适应语义专业化和动态路由策略，优化混合专家架构的语义分化，提升模型性能和领域鲁棒性。
2025-12-21 cs.AI cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab（小米AI实验室）
本文提出多样尺寸专家混合（MoDSE）架构，通过不同尺寸专家和专家对分配策略，在保持总参数和专家数不变的情况下，提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
LSTM-based Mixture-of-Experts for Knowledge-Aware Dialogues
University of Amsterdam（阿姆斯特丹大学）；Xerox Research Centre Europe（施乐欧洲研究中心）
我们介绍了一种基于LSTM的方法，动态集成多个单词预测专家，以获得一个条件语言模型，它可以同时在几个子任务。我们说明了这种一般的方法与对话的应用程序，我们集成了神经聊天模型，善于对话方面，与神经问答模型，善于从知识库检索精确的信息，并显示集成如何结合的优势，独立的组件。我们希望这篇有重点的文章能引起人们对在NLP中使用这种专家组合的好处的关注。
2016-05-05 cs.AI cs.CL
GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
ByteDance Seed（字节跳动种子）；UC Berkeley（伯克利大学）
GatePro是一种无参数方法，通过识别相似专家对并引入局部竞争机制，直接促进专家选择多样性，减少冗余计算，提升MoE模型的有效容量和性能。
2025-10-15 cs.CL cs.LG
Mixture of Raytraced Experts
提出光线追踪专家混合架构，通过动态选择专家序列生成可变计算图，无需负载均衡即可在减少训练轮数的同时提升精度。
2025-07-16 cs.AI cs.LG
On the Representation Collapse of Sparse Mixture of Experts
Beijing Institute of Technology（北京理工大学）；Microsoft Corporation（微软公司）；Peking University（北京大学）；Microsoft Research（微软研究院）
稀疏的混合专家模型提供了更大的模型容量，同时需要恒定的计算开销。它采用路由机制，将输入令牌分配给最佳匹配的专家，根据他们的隐藏表示。然而，学习这样的路由机制鼓励令牌聚集在专家质心周围，这意味着表示坍塌的趋势。在这项工作中，我们建议估计令牌和专家之间的路由分数的低维超球体。我们对跨语言语言模型的预训练和下游任务的微调进行了广泛的实验。七个多语言基准测试的实验结果表明，我们的方法实现了一致的收益。我们还提出了一个全面的分析，我们的模型的代表性和路由行为。我们的方法避免了表示坍塌的问题，并实现了更一致的路由比基准的混合专家的方法。
2022-10-12 cs.CL cs.LG
CoSMoEs: Compact Sparse Mixture of Experts
Meta Reality Labs（元宇宙实验室）；Meta GenAI（元生成式人工智能部门）
本文提出CoSMoEs框架，通过权重分解专家提升设备端MoE模型质量，并优化内存卸载以降低推理延迟，证明其在公平评估下优于FLOP对齐的稠密模型。
2025-02-28 cs.CL cs.LG
MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；NVIDIA Research（NVIDIA研究）
提出MC#框架，结合静态混合精度量化（PMQ）与动态专家剪枝（OTP），在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%，有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University（厦门大学）；Tencent Hunyuan（腾讯混元）；Soochow University（苏州大学）
该研究针对混合专家（MoE）模型，提出LatentMoE框架，通过分析专家几何特性确定最优专家形状，并用分层固有维度指导容量分配，提升了模型性能。
2026-10-14 cs.AI cs.LG
Learning Factored Representations in a Deep Mixture of Experts
Google, Inc.（谷歌公司）；Courant Institute, NYU（纽约大学库朗研究所）；Facebook AI Group（脸书人工智能团队）
混合专家组合组合了几个“专家”网络的输出，每个网络都专注于输入空间的不同部分。这是通过训练一个“门控”网络来实现的，该网络将每个输入映射到专家的分布。这样的模型有望构建更大的网络，在测试时计算仍然便宜，在训练时更可并行化。在这项工作中，我们将混合专家模型扩展到一个堆叠模型，深度混合专家模型，具有多组门控和专家。这通过将每个输入与每个层的专家组合相关联，以指数方式增加了有效专家的数量，但保持了适度的模型大小。在MNIST数据集的随机翻译版本上，我们发现深度混合专家模型自动学习在第一层开发位置相关（“where”）专家，在第二层开发类特定（“what”）专家。此外，我们看到，当模型应用于语音单声道数据集时，使用了不同的组合。这些证明了所有专家组合的有效使用。
2014-03-09 cs.LG
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan（腾讯混元）；Tokyo Institute of Technology（东京工业大学）；University of Macau（澳门大学）
本文提出异构专家混合模型HMoE，通过不同大小的专家处理不同复杂度的令牌，并设计训练目标促进小专家激活，以更少参数实现更低损失，超越传统同质MoE。
2024-08-20 cs.CL cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University（哈佛大学）；Microsoft Research（微软研究院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of Sienna（锡耶纳大学）
我们提出了优先MoE，这是一种新的人类-ML混合专家模型，仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数，它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则，并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法，并研究其性能和收敛性。最后，我们展示了优先MoE在两个临床应用中的效用，用于治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）。
2021-01-13 cs.AI cs.LG
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
针对大规模混合数据集训练通用检测器参数量大的问题，提出数据集感知混合专家模型DAMEX，通过路由数据集令牌到对应专家实现数据集专属知识整合，在通用目标检测基准上显著超越现有最优方法及非MoE基线，且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
A Hybrid Tensor-Expert-Data Parallelism Approach to Optimize Mixture-of-Experts Training
University of Maryland（马里兰大学）；Microsoft, Inc.（微软公司）
提出DeepSpeed-TED三维混合并行算法，结合数据、张量和专家并行，支持训练比现有技术大4-8倍基础模型的MoE模型，并在400亿参数模型上实现26%加速。
2023-05-14 cs.AI cs.DC cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University（北京航空航天大学）；The Institute of Acoustics of the Chinese Academy of Sciences（中国科学院声学研究所）；Microsoft（微软）
稀疏混合专家模型（MoE）模型是强大的大规模预训练，并取得了可喜的成果，由于其模型容量。然而，由于参数数以万亿计，MoE很难部署在云或移动环境中。MoE的推理需要专家并行，这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务，这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中，我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法，逐步下降的目标下游任务的非专业专家，它保留了MoE的好处，同时减少MoE模型到一个单一的专家密集模型。我们的实验表明，微调的单专家模型可以保留99.3%的利益，从MoE在六种不同类型的任务，同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
Understanding Structured Health Data through Interaction-Aware Mixture-of-Experts
研究通过交互感知专家混合模型，利用结构化健康记录多层次视图预测中风后僵硬，路由归因揭示视图差异，凸显视图构建对可解释性的关键作用。
2026-07-15 cs.LG
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；INF Technology（INF科技）；Hong Kong University of Science and Technology（香港科技大学）
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾，提出基于Hypernetworks的HyperMoE框架，利用未选中专家的信息生成补充模块进行知识迁移，在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)（工程学院）；Laboratory of Applied Photonics Devices (LAPD)（应用光子器件实验室）；Optics Laboratory（光学实验室）
本文提出SMoE-VAE架构，通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构，揭示数据量与专家特化的权衡，为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
MetaMoE通过利用公共代理数据统一独立训练的领域专家，解决隐私约束下混合专家训练的挑战，采用多样性感知的代理选择方法提升专家协调性。
2026-05-14 cs.AI cs.CL cs.CR
Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
Aleph Alpha
本文提出精确分位数均衡（EQB）与负载误差注入（LEI），分别改进MoE训练的全局与局部负载均衡，在7.5B参数模型上提升性能并优于GShard损失。
2026-09-24 cs.CL cs.LG
MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
针对混合专家（MoE）模型因门控路由导致专家视野狭窄、泛化能力受限的问题，提出专家间相互蒸馏的MoDE模型，经多领域实验验证有效，并通过专家探测揭示其作用机理。
2024-01-31 cs.AI cs.LG
Functional mixture-of-experts for classification
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）
我们开发了一种混合专家（ME）的方法，多类分类的预测是单变量函数。它包括一个ME模型，其中门控网络和专家网络都是基于函数输入的多项式逻辑激活函数构建的。我们进行正则化的极大似然估计，其中的系数函数享有可解释的稀疏约束的目标衍生物。我们开发了一个EM-Lasso算法来计算正则化的MLE，并在模拟和真实数据上评估所提出的方法。
2022-02-28 cs.AI cs.LG stat.ML
Rethinking Routing Exploration in Modern Mixture-of-Experts
ETH Zurich（苏黎世联邦理工学院）；The University of Hong Kong（香港大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；WU Vienna（维也纳经济大学）
本文针对现代MoE架构中细粒度专家分割与共享专家间的探索困境，提出MirrorMoE通过token自适应抑制不必要专家缩小探索空间，在各模型规模下均提升性能。
2026-10-16 cs.AI cs.LG
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University（上海科技大学）
针对扩散Transformer的扩展性问题，提出搭载Expert Race灵活路由策略的Race-DiT模型，结合逐层正则化与路由相似度损失优化专家利用，在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts
MIT Mathematics（麻省理工学院数学系）；Harvard CMSA（哈佛大学CMSA）
本文研究 MoE 层活跃专家数量即粒度对表达能力的影响，证明高、低粒度架构间存在指数级表达能力分离，并用实验验证高粒度更具优势。
2025-05-11 cs.AI cs.LG stat.ML
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China（科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题，提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架，并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
Mixture of Lookup Experts
Peking University（北京大学）
提出查找专家混合（MoLE）架构，通过将训练好的专家重新参数化为查找表并卸载，推理时直接检索结果，在保持性能的同时实现低通信开销和快速推理。
2025-05-25 cs.CL cs.LG
Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM
FAIR at Meta（Meta FAIR）
该研究提出名为Branch-Train-MiX（BTX）的大语言模型高效训练方法，通过种子模型分支并行训练多领域专家、整合参数后做MoE微调，实现了更优的准确率与效率权衡。
2024-03-12 cs.AI cs.CL
MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models
Seoul National University（首尔大学）；Inter-University Semiconductor Research Center（校际半导体研究中心）
MoNDE提出近数据计算方案，仅传输热专家至GPU并在内存中计算冷专家，减少参数移动，实现高效MoE推理并显著加速。
2024-05-29 cs.AI cs.AR cs.LG
Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts
Institute of Science Tokyo（东京科学研究院）；CyberAgent；Nara Institute of Science and Technology（奈良科学技術大學）
提出kNN-MoE框架，通过检索历史相似案例的局部最优专家分配来增强MoE路由，使用检索邻居的平均相似度作为置信度混合系数，在分布偏移下提升鲁棒性。
2026-05-25 cs.AI cs.CL
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup（蚂蚁集团）；Peking University（北京大学）
OrdMoE通过利用混合专家架构中的内在信号，实现多模态混合专家语言模型的零成本偏好对齐，无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
The University of Tokyo（东京大学）
$\infty$-MoE通过在连续空间中选择参数部分，实现无限专家的高效训练，提升模型准确率和灵活性。
2026-01-25 cs.CL cs.LG
Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution
University of California, Berkeley（加州大学伯克利分校）；Advanced Micro Devices, Inc.（先进微器件公司）
本文研究了混合专家模型中专家内部激活稀疏性，通过利用这种未被探索的稀疏性维度，提高了模型执行效率，实现了2.5倍的层执行速度提升和1.2倍的端到端速度提升。
2026-05-09 cs.AI cs.LG
SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts
Stanford University（斯坦福大学）；Google（谷歌）；NVIDIA（英伟达）
本文提出 SEER-MoE 两阶段框架，通过 heavy-hitters 计数引导裁剪专家并结合正则化微调，降低预训练 MoE 的内存、计算与激活专家数，且几乎不损失精度。
2024-04-07 cs.CL cs.LG
Improving Expert Specialization in Mixture of Experts
TU Wien（维也纳工业大学）
混合专家模型（MoE）是20多年前提出的最简单的门控模块化神经网络架构。MoE重新引起了人们的兴趣，因为条件计算只允许在每次推理过程中使用网络的一部分，正如最近在大规模自然语言处理模型中所证明的那样。MoE还可能有利于持续学习，因为专家可能被重新用于新任务，并引入新专家。MoE架构中的门学习任务分解，并且各个专家学习适合于门分解的更简单的函数。在本文中：（1）我们证明了原始的MoE体系结构及其训练方法不能保证直观的任务分解和良好的专家利用率，实际上，即使对于简单的数据，如MNIST和FashionMNIST，它们也可能严重失败;（2）我们引入了一种新的门控体系结构，类似于注意力，它提高了性能并导致更低的熵任务分解;以及（3）我们引入了一种新的数据驱动的正则化，提高了专家专业化。我们在MNIST，FashionMNIST和CIFAR-100数据集上实证验证了我们的方法。
2023-02-28 cs.AI cs.LG cs.NE
Universal Simultaneous Machine Translation with Mixture-of-Experts Wait-k Policy
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
同步机器翻译（SiMT）在阅读整个源句子之前生成翻译，因此它必须在翻译质量和延迟之间进行权衡。为了满足实际应用中对翻译质量和延迟的不同要求，以往的方法通常需要针对不同的延迟水平对多个SiMT模型进行训练，导致计算量大。在本文中，我们提出了一个通用的SiMT模型与混合专家模型等待k策略，以实现最佳的翻译质量在任意延迟下，只有一个训练模型。具体来说，我们的方法采用多头注意力来完成混合专家模型，其中每个头被视为一个等待k专家与自己的等待字数，并给出一个测试延迟和源输入，专家的权重相应地调整，以产生最佳的翻译。在三个数据集上的实验表明，我们的方法在不同的延迟下优于所有的强基线，包括最先进的自适应策略。
2022-03-21 cs.AI cs.CL
MoRE: Mixture of Reused Experts
Cornell University（康奈尔大学）
MoRE通过相邻层共享专家池并引入深度嵌入，在不增参数下提升路由多样性，在114M-1.15B规模上优于标准MoE和权重共享架构。
2026-09-18 cs.AI cs.LG
PLUME: Polyhedral Learning Using Mixture of Experts
IIIT Hyderabad（海得拉巴国际信息技术学院）；IISc Bangalore（班加罗尔印度科学学院）
在本文中，我们提出了一种新的混合专家体系结构学习多面体分类。我们使用期望最大化算法学习分类器的参数。我们推导出所提出的方法的推广范围。通过广泛的仿真研究，我们表明，所提出的方法执行其他国家的最先进的方法。
2019-04-22 cs.LG stat.ML
Biased Mixtures Of Experts: Enabling Computer Vision Inference Under Data Transfer Limitations
University College London（伦敦大学学院）
我们提出了一种新的混合专家类，以优化计算机视觉模型在测试时的数据传输限制。我们的方法假设，允许高精度结果的最小可接受的数据量可能会因不同的输入空间分区而异。因此，我们考虑专家需要不同数据量的混合物，并训练稀疏门控函数来划分每个专家的输入空间。通过适当的超参数选择，我们的方法是能够偏向于选择特定的专家比其他的专家的混合物。通过这种方式，我们证明了视觉传感和处理之间的数据传输优化可以作为凸优化问题来解决。为了证明数据可用性和性能之间的关系，我们评估了一系列主流计算机视觉问题上的有偏混合，即：（i）Single Shot检测，（ii）图像超分辨率，和（iii）实时视频动作分类。对于所有情况下，当专家构成修改后的基线，以满足不同的限制，允许的数据效用，有偏见的混合物显着优于以前的工作优化，以满足相同的限制，现有的数据。
2020-08-21 cs.LG eess.IV
BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
Shanghai Jiao Tong University（上海交通大学）
针对MoE模型推理时参数超出GPU内存、专家传输延迟及预取失败的问题，BuddyMoE利用专家冗余加速内存受限的MoE推理，旨在平衡推理速度与模型精度。
2025-11-13 cs.AI cs.LG
LightMoE: Reducing Mixture-of-Experts Redundancy through Expert Replacing
本文提出LightMoE框架，通过专家替换、自适应选择和分层构造提升混合专家模型的内存效率和性能，实验表明其在30%压缩下性能与LoRA相当，50%压缩下表现更优。
2026-03-13 cs.AI cs.LG
Bayesian Mixture of Experts For Large Language Models
University of Waterloo（滑铁卢大学）；Ascend Team, Huawei Technologies（华为技术有限公司）
针对微调大语言模型的不确定性估计问题，提出贝叶斯混合专家框架，通过结构化拉普拉斯近似和克罗内克分解低秩近似，在不修改训练流程的情况下提升校准性，实验证明其在ECE和NLL上优于基线。
2025-11-12 cs.CL cs.LG
The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models
The Fin AI（Fin AI）；Georgia Institute of Technology（佐治亚理工学院）；Cornell University（康奈尔大学）；Stevens Institute of Technology（史蒂文斯理工学院）；The University of Manchester（曼彻斯特大学）
本研究质疑混合专家模型通过稀疏路由实现领域专精的假设，提出COMMITTEEAUDIT框架分析专家组而非个体专家的路由行为，发现领域不变的standing committee，揭示模型存在向集中计算偏倚的结构倾向，表明混合专家模型中的专精程度远低于预期。
2026-05-17 cs.AI cs.LG
