Peirce in the Machine: How Mixture of Experts Models Perform Hypothesis Construction
Purdue University（普渡大学）
本文探讨了混合专家模型在假设构造中的表现，指出其函数容量优势，并通过实验验证其在归纳推理中的有效性。
2024-06-24 cs.AI cs.LG
Mixture of Rationale: Multi-Modal Reasoning Mixture for Visual Question Answering
Microsoft（微软）
针对零样本视觉问答中单一 rationale 难以捕捉复杂性的问题，提出 Mixture of Rationales (MoR) 方法，利用冻结的 VLPM 动态生成、检索与融合多模态思维，在 NLVR2 和 OKVQA 数据集上显著提升准确率。
2024-06-03 cs.AI cs.CV cs.LG
On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Johns Hopkins University（约翰霍普金斯大学）
本文研究了层次混合专家（HMoE）模型，提出在模型两层结构中采用Laplace门控函数替代传统Softmax门控，以消除不良参数交互，从而加速专家收敛并增强专家专精化，实验验证了其在大规模多模态等任务上的显著性能提升。
2025-03-06 cs.LG stat.ML
GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
ByteDance Seed（字节跳动种子）；UC Berkeley（伯克利大学）
GatePro是一种无参数方法，通过识别相似专家对并引入局部竞争机制，直接促进专家选择多样性，减少冗余计算，提升MoE模型的有效容量和性能。
2025-10-15 cs.CL cs.LG
On the Representation Collapse of Sparse Mixture of Experts
Beijing Institute of Technology（北京理工大学）；Microsoft Corporation（微软公司）；Peking University（北京大学）；Microsoft Research（微软研究院）
稀疏的混合专家模型提供了更大的模型容量，同时需要恒定的计算开销。它采用路由机制，将输入令牌分配给最佳匹配的专家，根据他们的隐藏表示。然而，学习这样的路由机制鼓励令牌聚集在专家质心周围，这意味着表示坍塌的趋势。在这项工作中，我们建议估计令牌和专家之间的路由分数的低维超球体。我们对跨语言语言模型的预训练和下游任务的微调进行了广泛的实验。七个多语言基准测试的实验结果表明，我们的方法实现了一致的收益。我们还提出了一个全面的分析，我们的模型的代表性和路由行为。我们的方法避免了表示坍塌的问题，并实现了更一致的路由比基准的混合专家的方法。
2022-10-12 cs.CL cs.LG
CoSMoEs: Compact Sparse Mixture of Experts
Meta Reality Labs（元宇宙实验室）；Meta GenAI（元生成式人工智能部门）
本文提出CoSMoEs框架，通过权重分解专家提升设备端MoE模型质量，并优化内存卸载以降低推理延迟，证明其在公平评估下优于FLOP对齐的稠密模型。
2025-02-28 cs.CL cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University（清华大学）；Institute for AI（人工智能研究院）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合研究中心）；THBI Lab（清华脑与智能实验室）
我们提出的混合对比专家（MiCE），一个统一的概率聚类框架，同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发，MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集，并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题，我们进一步开发了MiCE的期望最大化（EM）算法的可扩展变体，并提供收敛性证明。经验上，我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
Learning Factored Representations in a Deep Mixture of Experts
Google, Inc.（谷歌公司）；Courant Institute, NYU（纽约大学库朗研究所）；Facebook AI Group（脸书人工智能团队）
混合专家组合组合了几个“专家”网络的输出，每个网络都专注于输入空间的不同部分。这是通过训练一个“门控”网络来实现的，该网络将每个输入映射到专家的分布。这样的模型有望构建更大的网络，在测试时计算仍然便宜，在训练时更可并行化。在这项工作中，我们将混合专家模型扩展到一个堆叠模型，深度混合专家模型，具有多组门控和专家。这通过将每个输入与每个层的专家组合相关联，以指数方式增加了有效专家的数量，但保持了适度的模型大小。在MNIST数据集的随机翻译版本上，我们发现深度混合专家模型自动学习在第一层开发位置相关（“where”）专家，在第二层开发类特定（“what”）专家。此外，我们看到，当模型应用于语音单声道数据集时，使用了不同的组合。这些证明了所有专家组合的有效使用。
2014-03-09 cs.LG
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan（腾讯混元）；Tokyo Institute of Technology（东京工业大学）；University of Macau（澳门大学）
本文提出异构专家混合模型HMoE，通过不同大小的专家处理不同复杂度的令牌，并设计训练目标促进小专家激活，以更少参数实现更低损失，超越传统同质MoE。
2024-08-20 cs.CL cs.LG
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
针对大规模混合数据集训练通用检测器参数量大的问题，提出数据集感知混合专家模型DAMEX，通过路由数据集令牌到对应专家实现数据集专属知识整合，在通用目标检测基准上显著超越现有最优方法及非MoE基线，且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.（彭博有限合伙企业）；Boğaziçi University（博阿齐奇大学）
Dropout是一种非常有效的防止过拟合的方法，近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型，其中叶对应于专家，并且决策节点对应于在其子节点之间进行软选择的选通模型，并且因此，该模型定义输入空间的软分层划分。在这项工作中，我们提出了一个变体的辍学分层混合专家模型，是忠实于树层次结构定义的模型，而不是有一个平坦的，unitwise独立的应用辍学，因为一个有多层感知器。我们表明，在合成回归数据和MNIST和CIFAR-10数据集上，我们提出的dropout机制可以防止树上的过度拟合，具有许多级别，提高了泛化能力，并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
Understanding Structured Health Data through Interaction-Aware Mixture-of-Experts
研究通过交互感知专家混合模型，利用结构化健康记录多层次视图预测中风后僵硬，路由归因揭示视图差异，凸显视图构建对可解释性的关键作用。
2026-07-15 cs.LG
Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
Aleph Alpha
本文提出精确分位数均衡（EQB）与负载误差注入（LEI），分别改进MoE训练的全局与局部负载均衡，在7.5B参数模型上提升性能并优于GShard损失。
2026-09-24 cs.CL cs.LG
Functional mixture-of-experts for classification
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）
我们开发了一种混合专家（ME）的方法，多类分类的预测是单变量函数。它包括一个ME模型，其中门控网络和专家网络都是基于函数输入的多项式逻辑激活函数构建的。我们进行正则化的极大似然估计，其中的系数函数享有可解释的稀疏约束的目标衍生物。我们开发了一个EM-Lasso算法来计算正则化的MLE，并在模拟和真实数据上评估所提出的方法。
2022-02-28 cs.AI cs.LG stat.ML
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University（上海科技大学）
针对扩散Transformer的扩展性问题，提出搭载Expert Race灵活路由策略的Race-DiT模型，结合逐层正则化与路由相似度损失优化专家利用，在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
Technical University of Munich（慕尼黑技术大学）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；University of Cambridge（剑桥大学）
针对现有PEFT未利用MoE动态路由的问题，提出在适配模块中融入路由机制，并在OLMoE-1B-7B和Mixtral-8x7B上验证了其性能与效率，给出了最优配置与实用见解。
2025-08-04 cs.AI cs.CL cs.LG
The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts
MIT Mathematics（麻省理工学院数学系）；Harvard CMSA（哈佛大学CMSA）
本文研究 MoE 层活跃专家数量即粒度对表达能力的影响，证明高、低粒度架构间存在指数级表达能力分离，并用实验验证高粒度更具优势。
2025-05-11 cs.AI cs.LG stat.ML
EMoE: Eigenbasis-Guided Routing for Mixture-of-Experts
University of Southern California（南加州大学）
EMoE通过基于学习的正交特征基的路由机制，解决混合专家架构中的负载不平衡和专家同质化问题，无需辅助损失函数。
2026-01-17 cs.CV cs.LG
Mixture of Lookup Experts
Peking University（北京大学）
提出查找专家混合（MoLE）架构，通过将训练好的专家重新参数化为查找表并卸载，推理时直接检索结果，在保持性能的同时实现低通信开销和快速推理。
2025-05-25 cs.CL cs.LG
A Heterogeneous Mixture of Experts Framework for Interpretable Machine Learning
Indian Statistical Institute（印度统计研究所）；Interdisciplinary Statistical Research Unit, Indian Statistical Institute（印度统计研究所跨学科统计研究单元）
该研究提出异构混合专家框架，将决策树、线性SVM等异构专家与概率门控结合，在保证可解释性的同时，在基准数据集上达到与同构MoDT、随机森林相当的预测性能。
2026-08-26 cs.LG stat.ML
Unbiased Gradient Estimation with Balanced Assignments for Mixtures of Experts
University of Amsterdam（阿姆斯特丹大学）；DeepMind
在现代硬件上有效地训练大规模混合专家模型需要将数据点批量分配给不同的专家，每个专家的容量有限。最近提出的分配程序缺乏概率的解释，并使用有偏估计的培训。作为替代方案，我们提出了两种基于原则性随机分配程序的无偏估计：一种是跳过超过专家能力的数据点，另一种是使用Gumbel匹配分布的扩展对完全平衡的分配进行采样[29]。这两种估计量都是无偏的，因为它们对所使用的抽样程序进行了校正。在一个玩具实验中，我们发现“跳跃”估计是更有效的平衡抽样的，都是更强大的解决任务比有偏见的替代品。
2021-12-08 cs.LG stat.ML
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
EPFL（瑞士联邦理工学院洛桑）
提出专家绑定方法，通过共享连续Transformer层的专家参数，在保持独立路由和注意力的同时，将MoE模型内存占用降低近2倍，且不损失困惑度或下游性能。
2026-06-16 cs.AI cs.CL cs.LG
$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
The University of Tokyo（东京大学）
$\infty$-MoE通过在连续空间中选择参数部分，实现无限专家的高效训练，提升模型准确率和灵活性。
2026-01-25 cs.CL cs.LG
Domain-Specialized Object Detection via Model-Level Mixtures of Experts
FZI Research Center for Information Technology（FZI信息技术研究所以）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出一种基于模型层面专家混合的对象检测方法，通过结合不同数据集训练的YOLO检测器和动态加权的门控网络，提升检测性能和可解释性。
2026-04-20 cs.CV cs.LG
SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts
Stanford University（斯坦福大学）；Google（谷歌）；NVIDIA（英伟达）
本文提出 SEER-MoE 两阶段框架，通过 heavy-hitters 计数引导裁剪专家并结合正则化微调，降低预训练 MoE 的内存、计算与激活专家数，且几乎不损失精度。
2024-04-07 cs.CL cs.LG
TENP: Trapezoidal Expert Neuron Pruning For Mixture-of-Experts
TJUNLP Lab, School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院 TJUNLP实验室）
提出TENP框架，通过识别重要专家并对其余专家进行神经元剪枝，保留梯形参数模式，在40%路由专家稀疏度和平均63.76%激活参数下，DeepSeek模型准确率仅下降1点，代码生成任务提升10%。
2026-06-03 cs.LG stat.ML
Table-based Fact Verification with Self-adaptive Mixture of Experts
Tsinghua University（清华大学）；THiFLY Research（THiFLY研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
基于表格的事实验证问题近年来得到了广泛的关注，但仍然是一个非常具有挑战性的问题。它内在地需要对自然语言的信息推理以及对表的不同数值和逻辑推理（例如，计数、最高级、比较级）。考虑到这一点，我们利用混合专家，本文提出了一种新的方法：自适应混合专家网络（SaMoE）。具体来说，我们已经开发了一个混合的专家神经网络，以识别和执行不同类型的推理-网络是由多个专家，每个处理的语义推理的特定部分，而管理模块被应用于决定每个专家网络的贡献的验证结果。提出了一种自适应的方法，使管理模块能够在不需要外部知识的情况下，更有效地结合不同专家的结果进行教学。实验结果表明，我们的框架在基准数据集TabFact上达到了85.1%的准确率，与以前的最先进的模型相当。我们希望我们的框架可以作为一个新的基线基于表的验证。我们的代码可在www.example.com上获得。
2022-04-19 cs.AI cs.CL cs.LG
Biased Mixtures Of Experts: Enabling Computer Vision Inference Under Data Transfer Limitations
University College London（伦敦大学学院）
我们提出了一种新的混合专家类，以优化计算机视觉模型在测试时的数据传输限制。我们的方法假设，允许高精度结果的最小可接受的数据量可能会因不同的输入空间分区而异。因此，我们考虑专家需要不同数据量的混合物，并训练稀疏门控函数来划分每个专家的输入空间。通过适当的超参数选择，我们的方法是能够偏向于选择特定的专家比其他的专家的混合物。通过这种方式，我们证明了视觉传感和处理之间的数据传输优化可以作为凸优化问题来解决。为了证明数据可用性和性能之间的关系，我们评估了一系列主流计算机视觉问题上的有偏混合，即：（i）Single Shot检测，（ii）图像超分辨率，和（iii）实时视频动作分类。对于所有情况下，当专家构成修改后的基线，以满足不同的限制，允许的数据效用，有偏见的混合物显着优于以前的工作优化，以满足相同的限制，现有的数据。
2020-08-21 cs.LG eess.IV
A similarity-based Bayesian mixture-of-experts model
KTH Royal Institute of Technology（瑞典皇家理工学院）；RaySearch Laboratories（瑞镭实验室）；Silo AI（Silo AI（西洛人工智能公司））
我们提出了一个新的非参数混合专家模型的多元回归问题，启发的概率k-近邻算法。使用条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，产生由高斯混合表示的预测分布。后验推理的混合物成分的参数，以及使用平均场变分贝叶斯算法伴随着随机梯度为基础的优化过程的距离度量。所提出的方法是特别有利的设置，其中输入是相对较高的维度相比，数据的大小，其中输入-输出关系是复杂的，并且其中预测分布可能是偏斜的或多模态的。对五个数据集的计算研究，其中两个是综合生成的，说明了我们的混合专家方法对高维输入的明显优势，在验证指标和目视检查方面都优于竞争对手的模型。
2022-08-03 cs.LG stat.ME stat.ML
CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
CoGR-MoE通过整合答案选项的语义信息指导专家选择，利用选项特征重新加权专家，生成判别性表示，用于选项比较和对比学习优化，提升视觉问答性能。
2026-04-18 cs.AI cs.CV
MixtureKit: A General Framework for Composing, Training, and Visualizing Mixture-of-Experts Models
MBZUAI（马克斯·普朗克智能系统研究所）
MixtureKit提供了一种通用框架，用于组合、训练和可视化混合专家模型，通过三种方法提升模型性能与灵活性。
2025-12-13 cs.AI cs.LG
Bayesian Mixture of Experts For Large Language Models
University of Waterloo（滑铁卢大学）；Ascend Team, Huawei Technologies（华为技术有限公司）
针对微调大语言模型的不确定性估计问题，提出贝叶斯混合专家框架，通过结构化拉普拉斯近似和克罗内克分解低秩近似，在不修改训练流程的情况下提升校准性，实验证明其在ECE和NLL上优于基线。
2025-11-12 cs.CL cs.LG
Mixture-of-experts VAEs can disregard variation in surjective multimodal data
TU Berlin（柏林工业大学）；SAP AI Research（SAP人工智能研究院）；University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
机器学习系统通常部署在需要来自多个模态的数据的领域中，例如，表型和基因型特征描述医疗保健中的患者。先前的工作已经开发了多模态变分自编码器（VAE），其生成若干模态。我们考虑主观数据，其中来自一种模态的单个数据点（例如类别标签）描述来自另一种模态的多个数据点（例如图像）。我们从理论上和经验上证明，多模态VAE与混合专家模型后，可以努力捕捉这种主观数据的变化。
2022-04-11 cs.LG stat.ML
Hierarchical Routing Mixture of Experts
Carnegie Mellon University（卡内基梅隆大学）
在回归任务中，数据的分布往往过于复杂，无法用单一模型拟合。相比之下，开发基于分区的模型，其中数据被划分并由局部模型拟合。这些模型划分了输入空间，并且没有利用多模分布式数据的输入-输出依赖性，并且需要强大的本地模型来进行良好的预测。针对这些问题，我们提出了一个二叉树结构的分层路由混合专家模型（HRME）模型，分类器作为非叶节点专家和简单的回归模型作为叶节点专家。分类器节点基于多模态数据的自然分离性对输入输出空间进行联合软划分。这使得简单的叶专家能够有效地进行预测。此外，我们开发了一个概率框架的HRME模型，并提出了一个递归的期望最大化（EM）为基础的算法来学习的树结构和专家模型。一组回归任务的实验验证了我们的方法的有效性相比，各种其他回归模型。
2019-03-18 cs.LG stat.ML
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX（IRT系统X）；Normandie Univ, UNICAEN, CNRS, LMNO（诺曼底大学、UNICAEN、CNRS、LMNO）
本文提出基于最优传输的分布式MoE模型聚合方法，通过减少传输分歧构建全局估计器，实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts
University of Rochester（罗切斯特大学）；Microsoft Research（微软研究院）
针对稀疏 MoE 大模型中专家知识冗余、内存占用高的问题，提出基于相似专家分组与剪枝的任务无关方法，并在 Mixtral、Deepseek-MoE 和 Qwen 上验证其优于现有剪枝方法。
2025-06-08 cs.CL cs.LG
Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Graduate School of AI（人工智能研究生院）
针对混合专家模型中共享特征学习导致性能下降的问题，提出基于专家使用频率的合并与更新机制，以学习更通用特征并改善多域增量学习。
2024-05-19 cs.LG
Scattered Mixture-of-Experts Implementation
Mila（米拉研究所）；IBM（国际商业机器公司）
我们提出了ScatterMoE，稀疏混合专家模型（SMoE）的GPU上的实现。ScatterMoE建立在现有实现的基础上，克服了一些限制，以提高推理和训练速度以及内存占用。这个实现通过避免填充和对输入进行过多的复制来实现。我们介绍了用于构建实现的主要组件，以及用于加速操作的各种内核。我们对Megablocks的实现进行基准测试，并表明它可以实现更高的吞吐量和更低的内存占用。我们还展示了如何通过演示混合注意力的实现来扩展混合专家模型概念。
2024-10-04 cs.DC cs.LG
Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning
针对现有MoE-MTL方法单任务转多任务时适配冗余、知识共享低效的问题，提出带自适应共享专家的LoRA基MoE及细粒度专家设计，在PASCAL-Context基准上验证了性能提升效果。
2025-10-01 cs.AI cs.CV cs.LG
Simultaneous Feature and Expert Selection within Mixture of Experts
Universidad Católica de Temuco（特木科天主教大学）
处理复杂分类方案的一个有用策略是“分而治之”方法。混合专家模型（MoE）技术通过联合训练一组分类器或专家来利用这种策略，这些分类器或专家在输入空间的不同区域中专业化。全局模型，即“或”门函数，通过学习一个函数来补充专家，该函数在输入空间的不同部分中对专家的相关性进行加权。局部特征选择是一种提高专家“与”门函数专业化程度的有效方法，特别是在高维数据的情况下。我们的主要直觉是，特定的维度子集或子空间通常更适合于对位于输入空间不同区域的实例进行分类。因此，这项工作的贡献与正规化的变体的MoE，采用$L1$正则化的嵌入式过程中的局部特征选择，同时专家选择。实验仍在进行中。
2014-05-29 cs.LG
On the Spatial Structure of Mixture-of-Experts in Transformers
AI Center, Skoltech（斯科尔科沃科技学院人工智能中心）；AIRI（人工智能研究所（AIRI））
本文通过实证分析揭示Transformer中MoE路由不仅依赖语义特征，位置信息同样关键，并给出机理解释与实践启示。
2025-04-06 cs.AI cs.CL cs.LG
Buffer Overflow in Mixture of Experts
Google DeepMind（谷歌DeepMind）
本研究揭示混合专家模型中的专家路由策略因跨批次依赖而存在安全漏洞，恶意查询可影响同批次其他良性查询的输出，并通过概念验证攻击予以证实。
2024-02-08 cs.CR cs.LG
Mixture of Regression Experts in fMRI Encoding
IIIT Hyderabad（海得拉巴国际信息技术学院）；University of Hyderabad（海得拉巴大学）
使用语言编码模型的fMRI语义类别理解试图学习将刺激与相应的大脑激活相关联的前向映射。经典的编码模型使用线性多变量方法来预测给定刺激的大脑激活（所有体素）。然而，这些方法基本上假设多个区域为一个大的均匀区域或几个独立的区域，忽略了它们之间的连接。在本文中，我们提出了一个基于混合专家模型的模型，其中一组专家捕获与特定感兴趣区域（ROI）相关的大脑活动模式，并显示不同专家之间的歧视。该模型以编码为25维特征向量的单词刺激作为输入，以相应的大脑反应作为输出。给定一个新词（25维特征向量），它预测整个大脑激活作为多个专家大脑激活的线性组合。我们认为，每个专家都学习了与其词汇类别相对应的大脑激活的某个区域，这解决了用简单的编码模型识别区域的问题。我们展示了所提出的基于混合专家模型的模型确实学习了基于区域的专家，以高空间精度预测大脑激活。
2018-12-01 cs.HC cs.LG stat.ML
Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts
提出ScMoE架构与重叠并行策略，解耦通信与计算的顺序依赖实现100%重叠，在保持模型质量的同时显著提升MoE训练和推理速度。
2025-05-29 cs.CL cs.DC cs.LG
Towards Understanding Mixture of Experts in Deep Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）
混合专家（MoE）层是由路由器控制的稀疏激活模型，在深度学习中取得了巨大的成功。然而，对这种架构的理解仍然难以捉摸。在本文中，我们正式研究了MoE层如何提高神经网络学习的性能，以及为什么混合模型不会崩溃为单一模型。我们的实证结果表明，集群结构的潜在问题和非线性的专家是关键的成功MoE。为了进一步理解这一点，我们考虑了一个具有内在聚类结构的具有挑战性的分类问题，这是很难使用单个专家学习的。然而，在MoE层，通过选择专家作为两层非线性卷积神经网络（CNN），我们证明了这个问题可以成功地学习。此外，我们的理论表明，路由器可以学习集群中心的功能，这有助于将输入复杂的问题划分为更简单的线性分类子问题，个别专家可以征服。据我们所知，这是正式理解深度学习的MoE层机制的第一个结果。
2022-08-04 cs.AI cs.LG stat.ML
Robust mixture of experts modeling using the skew $t$ distribution
Université de Caen-Normandie（卡昂-诺曼底大学）；Normandie Université（诺曼底大学）；CNRS（法国国家科学研究中心）
混合专家（MoE）是统计学和机器学习领域中的流行框架，用于对数据中的异质性进行建模，以进行回归、分类和聚类。连续数据的MoE通常基于正态分布。然而，众所周知，对于具有非对称行为、重尾和非典型观测的数据，使用正态分布是不合适的。我们引入了一个新的鲁棒的非正态混合专家建模使用的斜$t$分布。建议的专家的偏斜$t$混合，命名为STMoE，处理这些问题的正常混合专家可能偏斜，重尾和噪声数据。我们开发了一个专用的期望条件最大化（ECM）算法，通过单调最大化观测数据的对数似然估计模型参数。我们描述了如何提出的模型可以用于预测和基于模型的聚类回归数据。对模拟数据进行的数值实验表明，该模型在拟合非线性回归函数以及基于模型的聚类方面具有良好的有效性和鲁棒性。然后，将该模型应用于真实世界的音调感知数据进行音乐数据分析，并将其应用于温度异常数据进行气候变化数据分析。所得结果证实了该模型的实用性，为实际数据分析应用。
2016-12-09 cs.LG stat.ME stat.ML
Understanding Expert Structures on Minimax Parameter Estimation in Contaminated Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文分析了受污染混合专家模型中的参数估计收敛性，针对提示学习中的提示消失和参数交互减速问题，提出可区分性条件并研究多种专家结构，给出了综合收敛速率与极小极大下界，并通过数值实验验证了理论。
2025-03-06 cs.AI cs.LG stat.ML
Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts
Thomson Reuters（汤森路透）；Zhejiang University（浙江大学）
本研究提出SIMoE指令微调算法，可将稠密预训练LLM自动转化为多专业领域的MoE模型，在指定稀疏约束下识别结构稀疏的领域专家并学习输入依赖的专家合并策略，在常用基准上实现SOTA性能与最优性能-计算权衡。
2025-06-14 cs.LG
MoHAVE: Mixture of Hierarchical Audio-Visual Experts for Robust Speech Recognition
KAIST AI, Republic of Korea（韩国科学技术院人工智能学院）
针对现有音视频语音识别系统难以兼顾规模扩展与计算效率的问题，本研究提出基于稀疏MoE与分层门控机制的MoHAVE框架，在LRS3、MuAViC等基准任务上取得优异表现，为可扩展鲁棒语音识别树立新标杆。
2025-05-21 cs.CL cs.LG eess.AS
MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference
Holocron Security, Inc（全息安全公司）
研究局部MoE推理在受限内存机器上的可行性，提出MawForge方法，通过磁盘存储模型、按需实例化专家张量等实现，发现其可作为有界执行机制，但非缓存最大化策略，性能受多种因素影响。
2026-07-14 cs.LG
Mixture-of-Clustered-Experts: Advancing Expert Specialization and Generalization in Instruction Tuning
Department of Computer Science and Engineering, Korea University, Republic of Korea（韩国大学计算机科学与工程系）；KT, Republic of Korea（韩国KT）；School of Software, Soongsil University, Republic of Korea（顺天大学软件学院）
针对指令微调中输入异质性导致专家专业化不足的问题，提出双阶段路由机制的混合聚类专家模型，通过序列级分组与词元级激活提升专家专业化与泛化能力。
2025-09-03 cs.LG
Optimizing Mixture of Experts using Dynamic Recompilations
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）
混合专家模型架构通过独立于计算需求（FLOP）缩放模型参数大小来允许非常大的神经网络。然而，当前的DNN框架不能有效地支持混合专家模型中的动态数据流，并且在这些框架之上的实现需要使用引入显著开销的变通方法。为了解决这些框架的局限性，我们提出了DynaMoE，DNN库，使用动态重新编译，优化和适应使用的计算资源的动态需求的混合专家模型模型。我们的评估表明，Dyna MoE实现了1.8倍的加速比，并支持2.3倍的模型大小相比，现有的MoE系统，即使不使用重新编译。然后，我们提出了通过动态重新编译实现的进一步优化，可以产生额外的1.7倍加速，同时降低内存压力并提高模型质量。
2022-08-02 cs.DC cs.LG
Every Expert Matters: Towards Effective Knowledge Distillation for Mixture-of-Experts Language Models
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；AITRICS
针对MoE语言模型压缩中未激活专家知识未被有效利用的问题，提出KA和SAR两种专用KD方法，通过采样增强和路由器训练提取所有专家知识，实验证明其优于传统KD方法。
2025-02-18 cs.AI cs.CL cs.LG
Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Salesforce AI Research（Salesforce人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；CPII under InnoHK（InnoHK下属CPII）；CUHK MMLab（香港中文大学MMLab）
本文针对混合专家大语言模型部署困难的问题，首次提出了即插即用的任务无关与任务特定专家剪枝及跳过训练后方法，在不依赖特定硬件的情况下有效减小了模型规模并加快了推理速度，同时保持了模型性能。
2024-05-30 cs.AI cs.CL cs.LG
