MH-MoE: Multi-Head Mixture-of-Experts
Microsoft Research（微软研究院）
本文提出一种计算量和参数量与稀疏MoE一致的新型MH-MoE实现，其在语言模型任务上性能优于普通MoE和细粒度MoE，且兼容BitNet等1比特大语言模型。
2024-11-29 cs.CL
S2MoE: Robust Sparse Mixture of Experts via Stochastic Learning
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所）；Deakin University（迪肯大学）
针对稀疏混合专家模型的表示坍缩问题，提出S2MoE，通过不确定性下的学习同时处理确定性与非确定性输入，在保持相当性能的同时将推理成本降低28%。
2025-03-29 cs.CL
The Evolution of Mixture-of-Experts Architectures in Large Language Models: Routing, Topology, Load Balancing, and Expert Parallelism
本技术综述梳理了大语言模型混合专家架构的演进，通过五个维度和四个控制平面分析关键技术，揭示其从激活稀疏参数到解耦路由、预算与执行的趋势。
2026-08-11 cs.CL
Part-Of-Speech Sensitivity of Routers in Mixture of Experts Models
CNRS（法国国家科学研究中心）；Aix-Marseille Université（艾克斯-马赛大学）；International Laboratory on Learning Systems (ILLS - IRL CNRS)（国际学习系统实验室）；Université de Montréal（蒙特利尔大学）
本研究调查混合专家模型中路由器如何基于词性标签路由词元，通过分析六个MoE模型的词元轨迹，发现专家对特定词性类别存在专门化，且路由路径对词性具有高预测准确率，揭示了路由路径在表征词元方面的价值。
2024-12-22 cs.CL
Understanding and Leveraging the Expert Specialization of Context Faithfulness in Mixture-of-Experts LLMs
State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）；School of Computer Science, Wuhan University（武汉大学计算机学院）
本研究针对大语言模型上下文忠实度不足的问题，基于混合专家架构的专家专业化特性，提出Router Lens识别上下文忠实专家，并设计轻量级CEFT方法选择性微调这些专家，实验证明其性能与全量微调相当且效率更高。
2025-11-12 cs.CL
Router Upcycling: Leveraging Mixture-of-Routers in Mixture-of-Experts Upcycling
National Key Laboratory for Multimedia Information Processing, Peking University（信息处理国家级重点实验室，北京大学）
针对MoE模型训练难、简单路由器在MoE升级中路由效果差的问题，提出Router Upcycling技术，用前序注意力层头初始化多路由器协同类注意力路由，实现SOTA性能。
2025-08-31 cs.CL
Multi-level context Modeling for consistent expert selection in Mixture-of-Experts
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of AI, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）人工智能学院）
研究混合专家模型中专家选择问题，提出多层次上下文融合MoE框架，通过整合跨层语义聚合和局部令牌级交互信号构建上下文感知表示，提升路由一致性和下游性能。
2026-09-29 cs.CL
Understanding Multilingualism in Mixture-of-Experts LLMs: Routing Mechanism, Expert Specialization, and Layerwise Steering
National University of Singapore（新加坡国立大学）；Beijing University of Posts and Telecommunication（北京邮电大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Science and Technology of China（中国科学技术大学）
本文研究了混合专家语言模型中的多语言处理机制，揭示了路由行为、专家专业化和逐层引导对多语言性能的影响，并提出了一种改进方法以提升多语言表现。
2026-01-20 cs.CL
E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
Applied AI Institute（应用人工智能研究所）
针对掩码扩散模型少步生成质量受限问题，提出增强型混合专家（E-MoE），利用MoE路由决策作为离散共享潜在变量，构建混合因子化逆向过程，在多个基准上提升少步生成性能。
2026-09-30 cs.CL
Memory Augmented Language Models through Mixture of Word Experts
Google Research（谷歌研究院）
本文提出混合词专家模型，通过基于词汇的路由和大量特定词专家作为稀疏记忆，在相近计算量下显著提升性能，并在知识密集型任务上优于常规MoE及复杂记忆增强方法。
2023-11-15 cs.CL
Flexible and Effective Mixing of Large Language Models into a Mixture of Domain Experts
IBM Research（IBM研究院）
本研究提出一款可低成本构建领域专家混合体（MOE）的工具包，支持基于模型或适配器搭建混合结构，经大量测试提供架构定义指导，并公开了代码仓库。
2024-09-11 cs.AI cs.CL
Optimizing Pre-Training Data Mixtures with Mixtures of Data Expert Models
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
提出通过数据专家混合高效近似候选数据混合的交叉熵损失，以优化预训练数据混合，在SlimPajama上显著优于仅用混合比例的回归方法，并提升少样本下游性能。
2025-02-21 cs.CL cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia（微软亚洲研究院）
专家稀疏混合算法（MoE）以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家，并利用门控路由网络使专家有条件地激活。然而，随着专家数量的增长，具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重，从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中，我们提出了混合专家集群-一种通用的方法，使专家层学习更多样化和适当的知识，通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明，MoEC能够提高机器翻译和自然语言理解任务的性能，并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了一个混合的任务感知专家网络的机器阅读理解在一个相对较小的数据集。我们特别关注常识学习的问题，通过专门训练不同的专家网络来捕获每个段落，问题和选择三元组之间的不同关系，从而加强共同基础知识。此外，我们通过训练每个网络一个相关的重点任务，对多任务和迁移学习的最新进展进行了总结。通过强制执行任务和关系，使混合网络意识到特定目标，我们实现了最先进的结果并减少了过度拟合。
2022-10-04 cs.AI cs.CL
Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment
The Hong Kong University of Science and Technology（香港科学与技术大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Southern University of Science and Technology（南方科技大学）
针对LLMs自我对齐挑战，提出MoTE框架，通过结合四阶段结构化推理链与步骤级路由的多LoRA专家混合架构，显著提升模型安全性、抗越狱与过度拒绝能力，性能媲美OpenAI o1模型。
2025-06-01 cs.AI cs.CL
LSTM-based Mixture-of-Experts for Knowledge-Aware Dialogues
University of Amsterdam（阿姆斯特丹大学）；Xerox Research Centre Europe（施乐欧洲研究中心）
我们介绍了一种基于LSTM的方法，动态集成多个单词预测专家，以获得一个条件语言模型，它可以同时在几个子任务。我们说明了这种一般的方法与对话的应用程序，我们集成了神经聊天模型，善于对话方面，与神经问答模型，善于从知识库检索精确的信息，并显示集成如何结合的优势，独立的组件。我们希望这篇有重点的文章能引起人们对在NLP中使用这种专家组合的好处的关注。
2016-05-05 cs.AI cs.CL
GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
ByteDance Seed（字节跳动种子）；UC Berkeley（伯克利大学）
GatePro是一种无参数方法，通过识别相似专家对并引入局部竞争机制，直接促进专家选择多样性，减少冗余计算，提升MoE模型的有效容量和性能。
2025-10-15 cs.CL cs.LG
On the Representation Collapse of Sparse Mixture of Experts
Beijing Institute of Technology（北京理工大学）；Microsoft Corporation（微软公司）；Peking University（北京大学）；Microsoft Research（微软研究院）
稀疏的混合专家模型提供了更大的模型容量，同时需要恒定的计算开销。它采用路由机制，将输入令牌分配给最佳匹配的专家，根据他们的隐藏表示。然而，学习这样的路由机制鼓励令牌聚集在专家质心周围，这意味着表示坍塌的趋势。在这项工作中，我们建议估计令牌和专家之间的路由分数的低维超球体。我们对跨语言语言模型的预训练和下游任务的微调进行了广泛的实验。七个多语言基准测试的实验结果表明，我们的方法实现了一致的收益。我们还提出了一个全面的分析，我们的模型的代表性和路由行为。我们的方法避免了表示坍塌的问题，并实现了更一致的路由比基准的混合专家的方法。
2022-10-12 cs.CL cs.LG
CoSMoEs: Compact Sparse Mixture of Experts
Meta Reality Labs（元宇宙实验室）；Meta GenAI（元生成式人工智能部门）
本文提出CoSMoEs框架，通过权重分解专家提升设备端MoE模型质量，并优化内存卸载以降低推理延迟，证明其在公平评估下优于FLOP对齐的稠密模型。
2025-02-28 cs.CL cs.LG
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan（腾讯混元）；Tokyo Institute of Technology（东京工业大学）；University of Macau（澳门大学）
本文提出异构专家混合模型HMoE，通过不同大小的专家处理不同复杂度的令牌，并设计训练目标促进小专家激活，以更少参数实现更低损失，超越传统同质MoE。
2024-08-20 cs.CL cs.LG
TEXAS: Task-Expert-Aware Supervision for Downstream Mixture-of-Experts LLM Adaptation
TEXAS 是一种 MoE 大语言模型适配方法，通过对比模型成功与失败实例的专家激活发现任务专家，在微调时提升对应答案 token 权重，在多数基准测试中性能优于基线。
2026-08-10 cs.AI cs.CL
Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
Aleph Alpha
本文提出精确分位数均衡（EQB）与负载误差注入（LEI），分别改进MoE训练的全局与局部负载均衡，在7.5B参数模型上提升性能并优于GShard损失。
2026-09-24 cs.CL cs.LG
Mixture of Lookup Experts
Peking University（北京大学）
提出查找专家混合（MoLE）架构，通过将训练好的专家重新参数化为查找表并卸载，推理时直接检索结果，在保持性能的同时实现低通信开销和快速推理。
2025-05-25 cs.CL cs.LG
Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM
FAIR at Meta（Meta FAIR）
该研究提出名为Branch-Train-MiX（BTX）的大语言模型高效训练方法，通过种子模型分支并行训练多领域专家、整合参数后做MoE微调，实现了更优的准确率与效率权衡。
2024-03-12 cs.AI cs.CL
Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts
Institute of Science Tokyo（东京科学研究院）；CyberAgent；Nara Institute of Science and Technology（奈良科学技術大學）
提出kNN-MoE框架，通过检索历史相似案例的局部最优专家分配来增强MoE路由，使用检索邻居的平均相似度作为置信度混合系数，在分布偏移下提升鲁棒性。
2026-05-25 cs.AI cs.CL
$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
The University of Tokyo（东京大学）
$\infty$-MoE通过在连续空间中选择参数部分，实现无限专家的高效训练，提升模型准确率和灵活性。
2026-01-25 cs.CL cs.LG
SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts
Stanford University（斯坦福大学）；Google（谷歌）；NVIDIA（英伟达）
本文提出 SEER-MoE 两阶段框架，通过 heavy-hitters 计数引导裁剪专家并结合正则化微调，降低预训练 MoE 的内存、计算与激活专家数，且几乎不损失精度。
2024-04-07 cs.CL cs.LG
Universal Simultaneous Machine Translation with Mixture-of-Experts Wait-k Policy
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
同步机器翻译（SiMT）在阅读整个源句子之前生成翻译，因此它必须在翻译质量和延迟之间进行权衡。为了满足实际应用中对翻译质量和延迟的不同要求，以往的方法通常需要针对不同的延迟水平对多个SiMT模型进行训练，导致计算量大。在本文中，我们提出了一个通用的SiMT模型与混合专家模型等待k策略，以实现最佳的翻译质量在任意延迟下，只有一个训练模型。具体来说，我们的方法采用多头注意力来完成混合专家模型，其中每个头被视为一个等待k专家与自己的等待字数，并给出一个测试延迟和源输入，专家的权重相应地调整，以产生最佳的翻译。在三个数据集上的实验表明，我们的方法在不同的延迟下优于所有的强基线，包括最先进的自适应策略。
2022-03-21 cs.AI cs.CL
Bayesian Mixture of Experts For Large Language Models
University of Waterloo（滑铁卢大学）；Ascend Team, Huawei Technologies（华为技术有限公司）
针对微调大语言模型的不确定性估计问题，提出贝叶斯混合专家框架，通过结构化拉普拉斯近似和克罗内克分解低秩近似，在不修改训练流程的情况下提升校准性，实验证明其在ECE和NLL上优于基线。
2025-11-12 cs.CL cs.LG
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
EPFL（瑞士联邦理工学院洛桑）
提出专家绑定方法，通过共享连续Transformer层的专家参数，在保持独立路由和注意力的同时，将MoE模型内存占用降低近2倍，且不损失困惑度或下游性能。
2026-06-16 cs.AI cs.CL cs.LG
Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts
University of Rochester（罗切斯特大学）；Microsoft Research（微软研究院）
针对稀疏 MoE 大模型中专家知识冗余、内存占用高的问题，提出基于相似专家分组与剪枝的任务无关方法，并在 Mixtral、Deepseek-MoE 和 Qwen 上验证其优于现有剪枝方法。
2025-06-08 cs.CL cs.LG
PMoE: Progressive Mixture of Experts with Asymmetric Transformer for Continual Learning
INFINIQ
本文提出PMoE，通过非对称Transformer中浅层保留通用知识、深层逐步增加专家并由基于深层特征的路由器分配新知识，有效缓解LLM持续学习中的灾难性遗忘，并在多个数据集上超越现有方法。
2024-07-31 cs.AI cs.CL
Mixture Compressor for Mixture-of-Experts LLMs Gains More
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Beihang University（北京航空航天大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
针对MoE-LLMs内存占用高、专家冗余的问题，提出无需训练的混合压缩器MC，结合预加载混合精度量化与在线动态剪枝实现极致压缩，在精度损失极小的前提下显著提升效率。
2025-02-22 cs.CL cs.LG
Table-based Fact Verification with Self-adaptive Mixture of Experts
Tsinghua University（清华大学）；THiFLY Research（THiFLY研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
基于表格的事实验证问题近年来得到了广泛的关注，但仍然是一个非常具有挑战性的问题。它内在地需要对自然语言的信息推理以及对表的不同数值和逻辑推理（例如，计数、最高级、比较级）。考虑到这一点，我们利用混合专家，本文提出了一种新的方法：自适应混合专家网络（SaMoE）。具体来说，我们已经开发了一个混合的专家神经网络，以识别和执行不同类型的推理-网络是由多个专家，每个处理的语义推理的特定部分，而管理模块被应用于决定每个专家网络的贡献的验证结果。提出了一种自适应的方法，使管理模块能够在不需要外部知识的情况下，更有效地结合不同专家的结果进行教学。实验结果表明，我们的框架在基准数据集TabFact上达到了85.1%的准确率，与以前的最先进的模型相当。我们希望我们的框架可以作为一个新的基线基于表的验证。我们的代码可在www.example.com上获得。
2022-04-19 cs.AI cs.CL cs.LG
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
On the Spatial Structure of Mixture-of-Experts in Transformers
AI Center, Skoltech（斯科尔科沃科技学院人工智能中心）；AIRI（人工智能研究所（AIRI））
本文通过实证分析揭示Transformer中MoE路由不仅依赖语义特征，位置信息同样关键，并给出机理解释与实践启示。
2025-04-06 cs.AI cs.CL cs.LG
Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts
提出ScMoE架构与重叠并行策略，解耦通信与计算的顺序依赖实现100%重叠，在保持模型质量的同时显著提升MoE训练和推理速度。
2025-05-29 cs.CL cs.DC cs.LG
MoHAVE: Mixture of Hierarchical Audio-Visual Experts for Robust Speech Recognition
KAIST AI, Republic of Korea（韩国科学技术院人工智能学院）
针对现有音视频语音识别系统难以兼顾规模扩展与计算效率的问题，本研究提出基于稀疏MoE与分层门控机制的MoHAVE框架，在LRS3、MuAViC等基准任务上取得优异表现，为可扩展鲁棒语音识别树立新标杆。
2025-05-21 cs.CL cs.LG eess.AS
Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Salesforce AI Research（Salesforce人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；CPII under InnoHK（InnoHK下属CPII）；CUHK MMLab（香港中文大学MMLab）
本文针对混合专家大语言模型部署困难的问题，首次提出了即插即用的任务无关与任务特定专家剪枝及跳过训练后方法，在不依赖特定硬件的情况下有效减小了模型规模并加快了推理速度，同时保持了模型性能。
2024-05-30 cs.AI cs.CL cs.LG
Multi-Head Mixture-of-Experts
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对SMoE存在的专家激活率低和单token多语义概念分析能力不足的问题，提出多头混合专家（MH-MoE），通过多头机制将token拆分为子token并行交由多专家处理并重组，显著提升专家激活率与上下文理解能力。
2024-04-23 cs.AI cs.CL cs.LG
MoIN: Mixture of Introvert Experts to Upcycle an LLM
University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出MoIN方法，通过在冻结的基础模型上添加轻量级适配器作为“内向型”专家，利用数据分组并行训练与路由推理，实现无需持续预训练即可高效升级LLM。
2024-10-13 cs.AI cs.CL cs.LG
$μ$-MoE: Test-Time Pruning as Micro-Grained Mixture-of-Experts
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出$μ$-MoE，将测试时激活感知剪枝形式化为微粒度混合专家，通过计算高效的校准实现每个提示的自适应结构化稀疏，以降低推理计算需求。
2025-05-24 cs.AI cs.CL cs.LG
MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
MetaMoE通过利用公共代理数据统一独立训练的领域专家，解决隐私约束下混合专家训练的挑战，采用多样性感知的代理选择方法提升专家协调性。
2026-05-14 cs.AI cs.CL cs.CR
