MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；NVIDIA Research（NVIDIA研究）
提出MC#框架，结合静态混合精度量化（PMQ）与动态专家剪枝（OTP），在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%，有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University（厦门大学）；Tencent Hunyuan（腾讯混元）；Soochow University（苏州大学）
该研究针对混合专家（MoE）模型，提出LatentMoE框架，通过分析专家几何特性确定最优专家形状，并用分层固有维度指导容量分配，提升了模型性能。
2026-10-14 cs.AI cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University（哈佛大学）；Microsoft Research（微软研究院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of Sienna（锡耶纳大学）
我们提出了优先MoE，这是一种新的人类-ML混合专家模型，仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数，它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则，并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法，并研究其性能和收敛性。最后，我们展示了优先MoE在两个临床应用中的效用，用于治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）。
2021-01-13 cs.AI cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University（北京航空航天大学）；The Institute of Acoustics of the Chinese Academy of Sciences（中国科学院声学研究所）；Microsoft（微软）
稀疏混合专家模型（MoE）模型是强大的大规模预训练，并取得了可喜的成果，由于其模型容量。然而，由于参数数以万亿计，MoE很难部署在云或移动环境中。MoE的推理需要专家并行，这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务，这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中，我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法，逐步下降的目标下游任务的非专业专家，它保留了MoE的好处，同时减少MoE模型到一个单一的专家密集模型。我们的实验表明，微调的单专家模型可以保留99.3%的利益，从MoE在六种不同类型的任务，同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；INF Technology（INF科技）；Hong Kong University of Science and Technology（香港科技大学）
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾，提出基于Hypernetworks的HyperMoE框架，利用未选中专家的信息生成补充模块进行知识迁移，在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)（工程学院）；Laboratory of Applied Photonics Devices (LAPD)（应用光子器件实验室）；Optics Laboratory（光学实验室）
本文提出SMoE-VAE架构，通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构，揭示数据量与专家特化的权衡，为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
针对混合专家（MoE）模型因门控路由导致专家视野狭窄、泛化能力受限的问题，提出专家间相互蒸馏的MoDE模型，经多领域实验验证有效，并通过专家探测揭示其作用机理。
2024-01-31 cs.AI cs.LG
Rethinking Routing Exploration in Modern Mixture-of-Experts
ETH Zurich（苏黎世联邦理工学院）；The University of Hong Kong（香港大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；WU Vienna（维也纳经济大学）
本文针对现代MoE架构中细粒度专家分割与共享专家间的探索困境，提出MirrorMoE通过token自适应抑制不必要专家缩小探索空间，在各模型规模下均提升性能。
2026-10-16 cs.AI cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China（科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题，提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架，并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup（蚂蚁集团）；Peking University（北京大学）
OrdMoE通过利用混合专家架构中的内在信号，实现多模态混合专家语言模型的零成本偏好对齐，无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution
University of California, Berkeley（加州大学伯克利分校）；Advanced Micro Devices, Inc.（先进微器件公司）
本文研究了混合专家模型中专家内部激活稀疏性，通过利用这种未被探索的稀疏性维度，提高了模型执行效率，实现了2.5倍的层执行速度提升和1.2倍的端到端速度提升。
2026-05-09 cs.AI cs.LG
MoRE: Mixture of Reused Experts
Cornell University（康奈尔大学）
MoRE通过相邻层共享专家池并引入深度嵌入，在不增参数下提升路由多样性，在114M-1.15B规模上优于标准MoE和权重共享架构。
2026-09-18 cs.AI cs.LG
BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
Shanghai Jiao Tong University（上海交通大学）
针对MoE模型推理时参数超出GPU内存、专家传输延迟及预取失败的问题，BuddyMoE利用专家冗余加速内存受限的MoE推理，旨在平衡推理速度与模型精度。
2025-11-13 cs.AI cs.LG
LightMoE: Reducing Mixture-of-Experts Redundancy through Expert Replacing
本文提出LightMoE框架，通过专家替换、自适应选择和分层构造提升混合专家模型的内存效率和性能，实验表明其在30%压缩下性能与LoRA相当，50%压缩下表现更优。
2026-03-13 cs.AI cs.LG
The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models
The Fin AI（Fin AI）；Georgia Institute of Technology（佐治亚理工学院）；Cornell University（康奈尔大学）；Stevens Institute of Technology（史蒂文斯理工学院）；The University of Manchester（曼彻斯特大学）
本研究质疑混合专家模型通过稀疏路由实现领域专精的假设，提出COMMITTEEAUDIT框架分析专家组而非个体专家的路由行为，发现领域不变的standing committee，揭示模型存在向集中计算偏倚的结构倾向，表明混合专家模型中的专精程度远低于预期。
2026-05-17 cs.AI cs.LG
Speculating Experts Accelerates Inference for Mixture-of-Experts
University of Maryland（马里兰大学）；TogetherAI
本文提出一种专家预取方案，利用当前计算的内部表示推测未来专家，减少CPU-GPU传输开销，实现14%的TPOT提升，并通过轻量估计器优化预测精度。
2026-03-09 cs.AI cs.LG
Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression
Kyoto University（京都大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
针对MoE大模型压缩，提出共享低秩基分解（SLBF）无数据权重重构方法，通过专家间共享秩-k基降低重构误差，在16B至122B五个架构上优于剪枝、合并和重构三类方法。
2026-10-08 cs.AI cs.LG
PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对专家混合模型内存开销大难题，提出PuzzleMoE方法。通过识别权重冗余与专业化进行稀疏专家合并，用双掩码捕获参数，引入位打包编码避免存储开销，实现高效推理，大幅压缩模型且保持精度。
2026-07-07 cs.AI cs.LG
L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts
Hokkaido University（北海道大学）
本文提出L2R框架，通过低秩潜在路由空间和SIPS评分机制提升MoE模型的路由几何和专家表现力，实验表明其在语言和视觉任务中均提升性能。
2026-09-18 cs.AI cs.LG
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
针对大规模混合数据集训练通用检测器参数量大的问题，提出数据集感知混合专家模型DAMEX，通过路由数据集令牌到对应专家实现数据集专属知识整合，在通用目标检测基准上显著超越现有最优方法及非MoE基线，且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
Learning Factored Representations in a Deep Mixture of Experts
Google, Inc.（谷歌公司）；Courant Institute, NYU（纽约大学库朗研究所）；Facebook AI Group（脸书人工智能团队）
混合专家组合组合了几个“专家”网络的输出，每个网络都专注于输入空间的不同部分。这是通过训练一个“门控”网络来实现的，该网络将每个输入映射到专家的分布。这样的模型有望构建更大的网络，在测试时计算仍然便宜，在训练时更可并行化。在这项工作中，我们将混合专家模型扩展到一个堆叠模型，深度混合专家模型，具有多组门控和专家。这通过将每个输入与每个层的专家组合相关联，以指数方式增加了有效专家的数量，但保持了适度的模型大小。在MNIST数据集的随机翻译版本上，我们发现深度混合专家模型自动学习在第一层开发位置相关（“where”）专家，在第二层开发类特定（“what”）专家。此外，我们看到，当模型应用于语音单声道数据集时，使用了不同的组合。这些证明了所有专家组合的有效使用。
2014-03-09 cs.LG
Understanding Structured Health Data through Interaction-Aware Mixture-of-Experts
研究通过交互感知专家混合模型，利用结构化健康记录多层次视图预测中风后僵硬，路由归因揭示视图差异，凸显视图构建对可解释性的关键作用。
2026-07-15 cs.LG
Functional mixture-of-experts for classification
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）
我们开发了一种混合专家（ME）的方法，多类分类的预测是单变量函数。它包括一个ME模型，其中门控网络和专家网络都是基于函数输入的多项式逻辑激活函数构建的。我们进行正则化的极大似然估计，其中的系数函数享有可解释的稀疏约束的目标衍生物。我们开发了一个EM-Lasso算法来计算正则化的MLE，并在模拟和真实数据上评估所提出的方法。
2022-02-28 cs.AI cs.LG stat.ML
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University（上海科技大学）
针对扩散Transformer的扩展性问题，提出搭载Expert Race灵活路由策略的Race-DiT模型，结合逐层正则化与路由相似度损失优化专家利用，在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
Technical University of Munich（慕尼黑技术大学）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；University of Cambridge（剑桥大学）
针对现有PEFT未利用MoE动态路由的问题，提出在适配模块中融入路由机制，并在OLMoE-1B-7B和Mixtral-8x7B上验证了其性能与效率，给出了最优配置与实用见解。
2025-08-04 cs.AI cs.CL cs.LG
The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts
MIT Mathematics（麻省理工学院数学系）；Harvard CMSA（哈佛大学CMSA）
本文研究 MoE 层活跃专家数量即粒度对表达能力的影响，证明高、低粒度架构间存在指数级表达能力分离，并用实验验证高粒度更具优势。
2025-05-11 cs.AI cs.LG stat.ML
MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models
Seoul National University（首尔大学）；Inter-University Semiconductor Research Center（校际半导体研究中心）
MoNDE提出近数据计算方案，仅传输热专家至GPU并在内存中计算冷专家，减少参数移动，实现高效MoE推理并显著加速。
2024-05-29 cs.AI cs.AR cs.LG
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
EPFL（瑞士联邦理工学院洛桑）
提出专家绑定方法，通过共享连续Transformer层的专家参数，在保持独立路由和注意力的同时，将MoE模型内存占用降低近2倍，且不损失困惑度或下游性能。
2026-06-16 cs.AI cs.CL cs.LG
Improving Expert Specialization in Mixture of Experts
TU Wien（维也纳工业大学）
混合专家模型（MoE）是20多年前提出的最简单的门控模块化神经网络架构。MoE重新引起了人们的兴趣，因为条件计算只允许在每次推理过程中使用网络的一部分，正如最近在大规模自然语言处理模型中所证明的那样。MoE还可能有利于持续学习，因为专家可能被重新用于新任务，并引入新专家。MoE架构中的门学习任务分解，并且各个专家学习适合于门分解的更简单的函数。在本文中：（1）我们证明了原始的MoE体系结构及其训练方法不能保证直观的任务分解和良好的专家利用率，实际上，即使对于简单的数据，如MNIST和FashionMNIST，它们也可能严重失败;（2）我们引入了一种新的门控体系结构，类似于注意力，它提高了性能并导致更低的熵任务分解;以及（3）我们引入了一种新的数据驱动的正则化，提高了专家专业化。我们在MNIST，FashionMNIST和CIFAR-100数据集上实证验证了我们的方法。
2023-02-28 cs.AI cs.LG cs.NE
Table-based Fact Verification with Self-adaptive Mixture of Experts
Tsinghua University（清华大学）；THiFLY Research（THiFLY研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
基于表格的事实验证问题近年来得到了广泛的关注，但仍然是一个非常具有挑战性的问题。它内在地需要对自然语言的信息推理以及对表的不同数值和逻辑推理（例如，计数、最高级、比较级）。考虑到这一点，我们利用混合专家，本文提出了一种新的方法：自适应混合专家网络（SaMoE）。具体来说，我们已经开发了一个混合的专家神经网络，以识别和执行不同类型的推理-网络是由多个专家，每个处理的语义推理的特定部分，而管理模块被应用于决定每个专家网络的贡献的验证结果。提出了一种自适应的方法，使管理模块能够在不需要外部知识的情况下，更有效地结合不同专家的结果进行教学。实验结果表明，我们的框架在基准数据集TabFact上达到了85.1%的准确率，与以前的最先进的模型相当。我们希望我们的框架可以作为一个新的基线基于表的验证。我们的代码可在www.example.com上获得。
2022-04-19 cs.AI cs.CL cs.LG
Emergent Compositional Skills in Mixture-of-Experts VLAs
研究从专家演示端到端学习组合机器人策略的问题，用简化MoE动作头训练VLA，发现其能将任务分解，学习到的专家可跨任务重用，MoE在展示专家专业化时与整体基线性能匹配，向模块化、可解释机器人策略迈进。
2026-07-28 cs.AI cs.LG cs.RO
Adaptive Shared Experts with LoRA-Based Mixture of Experts for Multi-Task Learning
针对现有MoE-MTL方法单任务转多任务时适配冗余、知识共享低效的问题，提出带自适应共享专家的LoRA基MoE及细粒度专家设计，在PASCAL-Context基准上验证了性能提升效果。
2025-10-01 cs.AI cs.CV cs.LG
Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Graduate School of AI（人工智能研究生院）
针对混合专家模型中共享特征学习导致性能下降的问题，提出基于专家使用频率的合并与更新机制，以学习更通用特征并改善多域增量学习。
2024-05-19 cs.LG
On the Spatial Structure of Mixture-of-Experts in Transformers
AI Center, Skoltech（斯科尔科沃科技学院人工智能中心）；AIRI（人工智能研究所（AIRI））
本文通过实证分析揭示Transformer中MoE路由不仅依赖语义特征，位置信息同样关键，并给出机理解释与实践启示。
2025-04-06 cs.AI cs.CL cs.LG
Simultaneous Feature and Expert Selection within Mixture of Experts
Universidad Católica de Temuco（特木科天主教大学）
处理复杂分类方案的一个有用策略是“分而治之”方法。混合专家模型（MoE）技术通过联合训练一组分类器或专家来利用这种策略，这些分类器或专家在输入空间的不同区域中专业化。全局模型，即“或”门函数，通过学习一个函数来补充专家，该函数在输入空间的不同部分中对专家的相关性进行加权。局部特征选择是一种提高专家“与”门函数专业化程度的有效方法，特别是在高维数据的情况下。我们的主要直觉是，特定的维度子集或子空间通常更适合于对位于输入空间不同区域的实例进行分类。因此，这项工作的贡献与正规化的变体的MoE，采用$L1$正则化的嵌入式过程中的局部特征选择，同时专家选择。实验仍在进行中。
2014-05-29 cs.LG
Lifelong Mixture of Variational Autoencoders
University of York（约克大学）
在本文中，我们提出了一个端到端的终身学习混合专家模型。每个专家由变分自编码器（VAE）实现。混合系统中的专家通过最大化给定训练样本的对数似然的单个分量证据下限（MELBO）的混合来联合训练。混合中的混合系数控制目标表示中每个专家的贡献。这些样本来自狄利克雷分布，其参数通过终身学习期间的非参数估计来确定。当新任务与以前学习的任务相似时，模型可以快速学习新任务。所提出的VAE终身混合物（L-MVAE）在学习全新任务时使用新组件扩展其架构。在训练之后，我们的模型可以自动确定在输入新的数据样本时要使用的相关专家。这种机制有利于内存效率和所需的计算成本，因为在推理过程中只使用一个专家。L-MVAE推理模型能够在与不同任务相关联的数据域之间的联合潜在空间中执行插值，并且被证明对于解纠缠学习表示是有效的。
2021-07-09 cs.AI cs.CV cs.LG
DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）；University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
本文提出DAG-MoE框架，通过轻量级模块自动学习选定专家之间的最优聚合结构，以替代标准加权求和聚合，从而在不改变专家或路由器的情况下扩展专家组合空间并实现单层多步推理，在预训练和微调中均优于传统MoE基线。
2026-05-31 cs.AI
Towards Understanding Mixture of Experts in Deep Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）
混合专家（MoE）层是由路由器控制的稀疏激活模型，在深度学习中取得了巨大的成功。然而，对这种架构的理解仍然难以捉摸。在本文中，我们正式研究了MoE层如何提高神经网络学习的性能，以及为什么混合模型不会崩溃为单一模型。我们的实证结果表明，集群结构的潜在问题和非线性的专家是关键的成功MoE。为了进一步理解这一点，我们考虑了一个具有内在聚类结构的具有挑战性的分类问题，这是很难使用单个专家学习的。然而，在MoE层，通过选择专家作为两层非线性卷积神经网络（CNN），我们证明了这个问题可以成功地学习。此外，我们的理论表明，路由器可以学习集群中心的功能，这有助于将输入复杂的问题划分为更简单的线性分类子问题，个别专家可以征服。据我们所知，这是正式理解深度学习的MoE层机制的第一个结果。
2022-08-04 cs.AI cs.LG stat.ML
Understanding Expert Structures on Minimax Parameter Estimation in Contaminated Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文分析了受污染混合专家模型中的参数估计收敛性，针对提示学习中的提示消失和参数交互减速问题，提出可区分性条件并研究多种专家结构，给出了综合收敛速率与极小极大下界，并通过数值实验验证了理论。
2025-03-06 cs.AI cs.LG stat.ML
Ada-MoGE: Adaptive Mixture of Gaussian Expert Model for Time Series Forecasting
Huawei Noah’s Ark Lab（华为诺亚实验室）；Zhejiang University（浙江大学）
Ada-MoGE通过自适应确定专家数量和高斯带通滤波优化，提升时间序列预测的精度与效率。
2025-11-29 cs.AI cs.CE cs.LG
Every Expert Matters: Towards Effective Knowledge Distillation for Mixture-of-Experts Language Models
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；AITRICS
针对MoE语言模型压缩中未激活专家知识未被有效利用的问题，提出KA和SAR两种专用KD方法，通过采样增强和路由器训练提取所有专家知识，实验证明其优于传统KD方法。
2025-02-18 cs.AI cs.CL cs.LG
Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Salesforce AI Research（Salesforce人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；CPII under InnoHK（InnoHK下属CPII）；CUHK MMLab（香港中文大学MMLab）
本文针对混合专家大语言模型部署困难的问题，首次提出了即插即用的任务无关与任务特定专家剪枝及跳过训练后方法，在不依赖特定硬件的情况下有效减小了模型规模并加快了推理速度，同时保持了模型性能。
2024-05-30 cs.AI cs.CL cs.LG
Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts
Thomson Reuters（汤森路透）；Zhejiang University（浙江大学）
本研究提出SIMoE指令微调算法，可将稠密预训练LLM自动转化为多专业领域的MoE模型，在指定稀疏约束下识别结构稀疏的领域专家并学习输入依赖的专家合并策略，在常用基准上实现SOTA性能与最优性能-计算权衡。
2025-06-14 cs.LG
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX（IRT系统X）；Normandie Univ, UNICAEN, CNRS, LMNO（诺曼底大学、UNICAEN、CNRS、LMNO）
本文提出基于最优传输的分布式MoE模型聚合方法，通过减少传输分歧构建全局估计器，实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
Multi-Head Mixture-of-Experts
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对SMoE存在的专家激活率低和单token多语义概念分析能力不足的问题，提出多头混合专家（MH-MoE），通过多头机制将token拆分为子token并行交由多专家处理并重组，显著提升专家激活率与上下文理解能力。
2024-04-23 cs.AI cs.CL cs.LG
PLUME: Polyhedral Learning Using Mixture of Experts
IIIT Hyderabad（海得拉巴国际信息技术学院）；IISc Bangalore（班加罗尔印度科学学院）
在本文中，我们提出了一种新的混合专家体系结构学习多面体分类。我们使用期望最大化算法学习分类器的参数。我们推导出所提出的方法的推广范围。通过广泛的仿真研究，我们表明，所提出的方法执行其他国家的最先进的方法。
2019-04-22 cs.LG stat.ML
Biased Mixtures Of Experts: Enabling Computer Vision Inference Under Data Transfer Limitations
University College London（伦敦大学学院）
我们提出了一种新的混合专家类，以优化计算机视觉模型在测试时的数据传输限制。我们的方法假设，允许高精度结果的最小可接受的数据量可能会因不同的输入空间分区而异。因此，我们考虑专家需要不同数据量的混合物，并训练稀疏门控函数来划分每个专家的输入空间。通过适当的超参数选择，我们的方法是能够偏向于选择特定的专家比其他的专家的混合物。通过这种方式，我们证明了视觉传感和处理之间的数据传输优化可以作为凸优化问题来解决。为了证明数据可用性和性能之间的关系，我们评估了一系列主流计算机视觉问题上的有偏混合，即：（i）Single Shot检测，（ii）图像超分辨率，和（iii）实时视频动作分类。对于所有情况下，当专家构成修改后的基线，以满足不同的限制，允许的数据效用，有偏见的混合物显着优于以前的工作优化，以满足相同的限制，现有的数据。
2020-08-21 cs.LG eess.IV
MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference
Holocron Security, Inc（全息安全公司）
研究局部MoE推理在受限内存机器上的可行性，提出MawForge方法，通过磁盘存储模型、按需实例化专家张量等实现，发现其可作为有界执行机制，但非缓存最大化策略，性能受多种因素影响。
2026-07-14 cs.LG
Hierarchical Mixture-of-Experts with Two-Stage Optimization
BRAIn Lab（BRAIn实验室）
本文提出Hi-MoE分层专家混合框架，通过双阶段优化解决路由负载均衡与专家专业化之间的矛盾，提升模型稳定性和表现。
2026-05-08 cs.AI cs.LG math.OC
MoIN: Mixture of Introvert Experts to Upcycle an LLM
University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出MoIN方法，通过在冻结的基础模型上添加轻量级适配器作为“内向型”专家，利用数据分组并行训练与路由推理，实现无需持续预训练即可高效升级LLM。
2024-10-13 cs.AI cs.CL cs.LG
$μ$-MoE: Test-Time Pruning as Micro-Grained Mixture-of-Experts
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出$μ$-MoE，将测试时激活感知剪枝形式化为微粒度混合专家，通过计算高效的校准实现每个提示的自适应结构化稀疏，以降低推理计算需求。
2025-05-24 cs.AI cs.CL cs.LG
Mixture-of-Clustered-Experts: Advancing Expert Specialization and Generalization in Instruction Tuning
Department of Computer Science and Engineering, Korea University, Republic of Korea（韩国大学计算机科学与工程系）；KT, Republic of Korea（韩国KT）；School of Software, Soongsil University, Republic of Korea（顺天大学软件学院）
针对指令微调中输入异质性导致专家专业化不足的问题，提出双阶段路由机制的混合聚类专家模型，通过序列级分组与词元级激活提升专家专业化与泛化能力。
2025-09-03 cs.LG
Granger-causal Attentive Mixtures of Experts: Learning Important Features with Neural Networks
Institute of Robotics and Intelligent Systems（机器人与智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
了解输入特征对机器学习模型决策的重要性，对于提高我们对模型和底层数据的理解至关重要。在这里，我们提出了一种新的方法来估计特征的重要性与神经网络的基础上的想法，分布在一个细心的混合专家模型（AME）的专家之间感兴趣的功能。AMEs使用经过Granger因果目标训练的专注门控网络来学习在单个模型中联合产生准确的预测以及特征重要性的估计。我们的实验表明：（i）AMEs提供的特征重要性估计与最先进的方法提供的特征重要性估计相比，（ii）AMEs在估计特征重要性方面比现有方法快得多，（iii）AMEs发现的关联与领域专家报告的关联一致。
2018-11-14 cs.AI cs.LG cs.NE
GMoPE:A Prompt-Expert Mixture Framework for Graph Foundation Models
本文提出GMoPE框架，将专家混合架构与提示学习结合用于图基础模型，通过专家特定提示、结构感知路由和软正交约束实现专家专业化，并采用仅提示微调降低迁移成本，在多个下游任务上以极少适应开销达到与全参数微调相当的性能。
2025-11-05 cs.AI cs.LG cs.SI
