Lifelong Mixture of Variational Autoencoders
University of York（约克大学）
在本文中，我们提出了一个端到端的终身学习混合专家模型。每个专家由变分自编码器（VAE）实现。混合系统中的专家通过最大化给定训练样本的对数似然的单个分量证据下限（MELBO）的混合来联合训练。混合中的混合系数控制目标表示中每个专家的贡献。这些样本来自狄利克雷分布，其参数通过终身学习期间的非参数估计来确定。当新任务与以前学习的任务相似时，模型可以快速学习新任务。所提出的VAE终身混合物（L-MVAE）在学习全新任务时使用新组件扩展其架构。在训练之后，我们的模型可以自动确定在输入新的数据样本时要使用的相关专家。这种机制有利于内存效率和所需的计算成本，因为在推理过程中只使用一个专家。L-MVAE推理模型能够在与不同任务相关联的数据域之间的联合潜在空间中执行插值，并且被证明对于解纠缠学习表示是有效的。
2021-07-09 cs.AI cs.CV cs.LG
MixtureKit: A General Framework for Composing, Training, and Visualizing Mixture-of-Experts Models
MBZUAI（马克斯·普朗克智能系统研究所）
MixtureKit提供了一种通用框架，用于组合、训练和可视化混合专家模型，通过三种方法提升模型性能与灵活性。
2025-12-13 cs.AI cs.LG
Mixture-of-Experts with Expert Choice Routing
Google（谷歌）
稀疏激活的混合专家模型（MoE）模型允许参数的数量大大增加，同时保持给定令牌或给定样本的计算量不变。然而，较差的专家路由策略（例如，导致负载不平衡的策略）可能导致某些专家训练不足，从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家，而不管不同令牌的相对重要性。为了解决这个问题，我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌，而不是让令牌选择前k个专家。因此，每个令牌可以被路由到可变数量的专家，并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速，发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本，我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本，我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
MASS通过自适应语义专业化和动态路由策略，优化混合专家架构的语义分化，提升模型性能和领域鲁棒性。
2025-12-21 cs.AI cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab（小米AI实验室）
本文提出多样尺寸专家混合（MoDSE）架构，通过不同尺寸专家和专家对分配策略，在保持总参数和专家数不变的情况下，提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
Mixture of Raytraced Experts
提出光线追踪专家混合架构，通过动态选择专家序列生成可变计算图，无需负载均衡即可在减少训练轮数的同时提升精度。
2025-07-16 cs.AI cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University（清华大学）；Institute for AI（人工智能研究院）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合研究中心）；THBI Lab（清华脑与智能实验室）
我们提出的混合对比专家（MiCE），一个统一的概率聚类框架，同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发，MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集，并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题，我们进一步开发了MiCE的期望最大化（EM）算法的可扩展变体，并提供收敛性证明。经验上，我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；NVIDIA Research（NVIDIA研究）
提出MC#框架，结合静态混合精度量化（PMQ）与动态专家剪枝（OTP），在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%，有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University（厦门大学）；Tencent Hunyuan（腾讯混元）；Soochow University（苏州大学）
该研究针对混合专家（MoE）模型，提出LatentMoE框架，通过分析专家几何特性确定最优专家形状，并用分层固有维度指导容量分配，提升了模型性能。
2026-10-14 cs.AI cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University（哈佛大学）；Microsoft Research（微软研究院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of Sienna（锡耶纳大学）
我们提出了优先MoE，这是一种新的人类-ML混合专家模型，仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数，它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则，并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法，并研究其性能和收敛性。最后，我们展示了优先MoE在两个临床应用中的效用，用于治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）。
2021-01-13 cs.AI cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University（北京航空航天大学）；The Institute of Acoustics of the Chinese Academy of Sciences（中国科学院声学研究所）；Microsoft（微软）
稀疏混合专家模型（MoE）模型是强大的大规模预训练，并取得了可喜的成果，由于其模型容量。然而，由于参数数以万亿计，MoE很难部署在云或移动环境中。MoE的推理需要专家并行，这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务，这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中，我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法，逐步下降的目标下游任务的非专业专家，它保留了MoE的好处，同时减少MoE模型到一个单一的专家密集模型。我们的实验表明，微调的单专家模型可以保留99.3%的利益，从MoE在六种不同类型的任务，同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；INF Technology（INF科技）；Hong Kong University of Science and Technology（香港科技大学）
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾，提出基于Hypernetworks的HyperMoE框架，利用未选中专家的信息生成补充模块进行知识迁移，在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)（工程学院）；Laboratory of Applied Photonics Devices (LAPD)（应用光子器件实验室）；Optics Laboratory（光学实验室）
本文提出SMoE-VAE架构，通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构，揭示数据量与专家特化的权衡，为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
针对混合专家（MoE）模型因门控路由导致专家视野狭窄、泛化能力受限的问题，提出专家间相互蒸馏的MoDE模型，经多领域实验验证有效，并通过专家探测揭示其作用机理。
2024-01-31 cs.AI cs.LG
Rethinking Routing Exploration in Modern Mixture-of-Experts
ETH Zurich（苏黎世联邦理工学院）；The University of Hong Kong（香港大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；WU Vienna（维也纳经济大学）
本文针对现代MoE架构中细粒度专家分割与共享专家间的探索困境，提出MirrorMoE通过token自适应抑制不必要专家缩小探索空间，在各模型规模下均提升性能。
2026-10-16 cs.AI cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China（科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题，提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架，并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
EMoE: Eigenbasis-Guided Routing for Mixture-of-Experts
University of Southern California（南加州大学）
EMoE通过基于学习的正交特征基的路由机制，解决混合专家架构中的负载不平衡和专家同质化问题，无需辅助损失函数。
2026-01-17 cs.CV cs.LG
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup（蚂蚁集团）；Peking University（北京大学）
OrdMoE通过利用混合专家架构中的内在信号，实现多模态混合专家语言模型的零成本偏好对齐，无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
Domain-Specialized Object Detection via Model-Level Mixtures of Experts
FZI Research Center for Information Technology（FZI信息技术研究所以）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出一种基于模型层面专家混合的对象检测方法，通过结合不同数据集训练的YOLO检测器和动态加权的门控网络，提升检测性能和可解释性。
2026-04-20 cs.CV cs.LG
Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution
University of California, Berkeley（加州大学伯克利分校）；Advanced Micro Devices, Inc.（先进微器件公司）
本文研究了混合专家模型中专家内部激活稀疏性，通过利用这种未被探索的稀疏性维度，提高了模型执行效率，实现了2.5倍的层执行速度提升和1.2倍的端到端速度提升。
2026-05-09 cs.AI cs.LG
MoRE: Mixture of Reused Experts
Cornell University（康奈尔大学）
MoRE通过相邻层共享专家池并引入深度嵌入，在不增参数下提升路由多样性，在114M-1.15B规模上优于标准MoE和权重共享架构。
2026-09-18 cs.AI cs.LG
Functional mixture-of-experts for classification
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）
我们开发了一种混合专家（ME）的方法，多类分类的预测是单变量函数。它包括一个ME模型，其中门控网络和专家网络都是基于函数输入的多项式逻辑激活函数构建的。我们进行正则化的极大似然估计，其中的系数函数享有可解释的稀疏约束的目标衍生物。我们开发了一个EM-Lasso算法来计算正则化的MLE，并在模拟和真实数据上评估所提出的方法。
2022-02-28 cs.AI cs.LG stat.ML
BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
Shanghai Jiao Tong University（上海交通大学）
针对MoE模型推理时参数超出GPU内存、专家传输延迟及预取失败的问题，BuddyMoE利用专家冗余加速内存受限的MoE推理，旨在平衡推理速度与模型精度。
2025-11-13 cs.AI cs.LG
LightMoE: Reducing Mixture-of-Experts Redundancy through Expert Replacing
本文提出LightMoE框架，通过专家替换、自适应选择和分层构造提升混合专家模型的内存效率和性能，实验表明其在30%压缩下性能与LoRA相当，50%压缩下表现更优。
2026-03-13 cs.AI cs.LG
Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
Technical University of Munich（慕尼黑技术大学）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；University of Cambridge（剑桥大学）
针对现有PEFT未利用MoE动态路由的问题，提出在适配模块中融入路由机制，并在OLMoE-1B-7B和Mixtral-8x7B上验证了其性能与效率，给出了最优配置与实用见解。
2025-08-04 cs.AI cs.CL cs.LG
The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts
MIT Mathematics（麻省理工学院数学系）；Harvard CMSA（哈佛大学CMSA）
本文研究 MoE 层活跃专家数量即粒度对表达能力的影响，证明高、低粒度架构间存在指数级表达能力分离，并用实验验证高粒度更具优势。
2025-05-11 cs.AI cs.LG stat.ML
The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models
The Fin AI（Fin AI）；Georgia Institute of Technology（佐治亚理工学院）；Cornell University（康奈尔大学）；Stevens Institute of Technology（史蒂文斯理工学院）；The University of Manchester（曼彻斯特大学）
本研究质疑混合专家模型通过稀疏路由实现领域专精的假设，提出COMMITTEEAUDIT框架分析专家组而非个体专家的路由行为，发现领域不变的standing committee，揭示模型存在向集中计算偏倚的结构倾向，表明混合专家模型中的专精程度远低于预期。
2026-05-17 cs.AI cs.LG
MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models
Seoul National University（首尔大学）；Inter-University Semiconductor Research Center（校际半导体研究中心）
MoNDE提出近数据计算方案，仅传输热专家至GPU并在内存中计算冷专家，减少参数移动，实现高效MoE推理并显著加速。
2024-05-29 cs.AI cs.AR cs.LG
Speculating Experts Accelerates Inference for Mixture-of-Experts
University of Maryland（马里兰大学）；TogetherAI
本文提出一种专家预取方案，利用当前计算的内部表示推测未来专家，减少CPU-GPU传输开销，实现14%的TPOT提升，并通过轻量估计器优化预测精度。
2026-03-09 cs.AI cs.LG
Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression
Kyoto University（京都大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
针对MoE大模型压缩，提出共享低秩基分解（SLBF）无数据权重重构方法，通过专家间共享秩-k基降低重构误差，在16B至122B五个架构上优于剪枝、合并和重构三类方法。
2026-10-08 cs.AI cs.LG
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
EPFL（瑞士联邦理工学院洛桑）
提出专家绑定方法，通过共享连续Transformer层的专家参数，在保持独立路由和注意力的同时，将MoE模型内存占用降低近2倍，且不损失困惑度或下游性能。
2026-06-16 cs.AI cs.CL cs.LG
Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts
School of Psychology University of Auckland（心理学系奥克兰大学）
本文研究了视觉混合专家模型中专家调节与表示的特性，通过对比学习训练稀疏门控卷积MoE模型，并利用视觉神经科学工具分析专家的专业化，发现动植物区分主导专家划分，并揭示了专家在更广泛的连续视觉和语义维度上的调节。
2026-05-20 cs.AI cs.CV
Learning Factored Representations in a Deep Mixture of Experts
Google, Inc.（谷歌公司）；Courant Institute, NYU（纽约大学库朗研究所）；Facebook AI Group（脸书人工智能团队）
混合专家组合组合了几个“专家”网络的输出，每个网络都专注于输入空间的不同部分。这是通过训练一个“门控”网络来实现的，该网络将每个输入映射到专家的分布。这样的模型有望构建更大的网络，在测试时计算仍然便宜，在训练时更可并行化。在这项工作中，我们将混合专家模型扩展到一个堆叠模型，深度混合专家模型，具有多组门控和专家。这通过将每个输入与每个层的专家组合相关联，以指数方式增加了有效专家的数量，但保持了适度的模型大小。在MNIST数据集的随机翻译版本上，我们发现深度混合专家模型自动学习在第一层开发位置相关（“where”）专家，在第二层开发类特定（“what”）专家。此外，我们看到，当模型应用于语音单声道数据集时，使用了不同的组合。这些证明了所有专家组合的有效使用。
2014-03-09 cs.LG
PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对专家混合模型内存开销大难题，提出PuzzleMoE方法。通过识别权重冗余与专业化进行稀疏专家合并，用双掩码捕获参数，引入位打包编码避免存储开销，实现高效推理，大幅压缩模型且保持精度。
2026-07-07 cs.AI cs.LG
Improving Expert Specialization in Mixture of Experts
TU Wien（维也纳工业大学）
混合专家模型（MoE）是20多年前提出的最简单的门控模块化神经网络架构。MoE重新引起了人们的兴趣，因为条件计算只允许在每次推理过程中使用网络的一部分，正如最近在大规模自然语言处理模型中所证明的那样。MoE还可能有利于持续学习，因为专家可能被重新用于新任务，并引入新专家。MoE架构中的门学习任务分解，并且各个专家学习适合于门分解的更简单的函数。在本文中：（1）我们证明了原始的MoE体系结构及其训练方法不能保证直观的任务分解和良好的专家利用率，实际上，即使对于简单的数据，如MNIST和FashionMNIST，它们也可能严重失败;（2）我们引入了一种新的门控体系结构，类似于注意力，它提高了性能并导致更低的熵任务分解;以及（3）我们引入了一种新的数据驱动的正则化，提高了专家专业化。我们在MNIST，FashionMNIST和CIFAR-100数据集上实证验证了我们的方法。
2023-02-28 cs.AI cs.LG cs.NE
L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts
Hokkaido University（北海道大学）
本文提出L2R框架，通过低秩潜在路由空间和SIPS评分机制提升MoE模型的路由几何和专家表现力，实验表明其在语言和视觉任务中均提升性能。
2026-09-18 cs.AI cs.LG
Table-based Fact Verification with Self-adaptive Mixture of Experts
Tsinghua University（清华大学）；THiFLY Research（THiFLY研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
基于表格的事实验证问题近年来得到了广泛的关注，但仍然是一个非常具有挑战性的问题。它内在地需要对自然语言的信息推理以及对表的不同数值和逻辑推理（例如，计数、最高级、比较级）。考虑到这一点，我们利用混合专家，本文提出了一种新的方法：自适应混合专家网络（SaMoE）。具体来说，我们已经开发了一个混合的专家神经网络，以识别和执行不同类型的推理-网络是由多个专家，每个处理的语义推理的特定部分，而管理模块被应用于决定每个专家网络的贡献的验证结果。提出了一种自适应的方法，使管理模块能够在不需要外部知识的情况下，更有效地结合不同专家的结果进行教学。实验结果表明，我们的框架在基准数据集TabFact上达到了85.1%的准确率，与以前的最先进的模型相当。我们希望我们的框架可以作为一个新的基线基于表的验证。我们的代码可在www.example.com上获得。
2022-04-19 cs.AI cs.CL cs.LG
Understanding Structured Health Data through Interaction-Aware Mixture-of-Experts
研究通过交互感知专家混合模型，利用结构化健康记录多层次视图预测中风后僵硬，路由归因揭示视图差异，凸显视图构建对可解释性的关键作用。
2026-07-15 cs.LG
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX（IRT系统X）；Normandie Univ, UNICAEN, CNRS, LMNO（诺曼底大学、UNICAEN、CNRS、LMNO）
本文提出基于最优传输的分布式MoE模型聚合方法，通过减少传输分歧构建全局估计器，实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
On the Spatial Structure of Mixture-of-Experts in Transformers
AI Center, Skoltech（斯科尔科沃科技学院人工智能中心）；AIRI（人工智能研究所（AIRI））
本文通过实证分析揭示Transformer中MoE路由不仅依赖语义特征，位置信息同样关键，并给出机理解释与实践启示。
2025-04-06 cs.AI cs.CL cs.LG
LiME: Lightweight Mixture of Experts for Efficient Multimodal Multi-task Learning
UCF（中佛罗里达大学）；Coventry University（考文垂大学）；Axon（Axon公司）
LiME通过轻量级调制实现专家专业化，减少可训练参数并提升泛化能力，实验表明其在多模态多任务基准上性能优异且训练更快。
2026-02-01 cs.CL cs.CV cs.LG
Towards Understanding Mixture of Experts in Deep Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）
混合专家（MoE）层是由路由器控制的稀疏激活模型，在深度学习中取得了巨大的成功。然而，对这种架构的理解仍然难以捉摸。在本文中，我们正式研究了MoE层如何提高神经网络学习的性能，以及为什么混合模型不会崩溃为单一模型。我们的实证结果表明，集群结构的潜在问题和非线性的专家是关键的成功MoE。为了进一步理解这一点，我们考虑了一个具有内在聚类结构的具有挑战性的分类问题，这是很难使用单个专家学习的。然而，在MoE层，通过选择专家作为两层非线性卷积神经网络（CNN），我们证明了这个问题可以成功地学习。此外，我们的理论表明，路由器可以学习集群中心的功能，这有助于将输入复杂的问题划分为更简单的线性分类子问题，个别专家可以征服。据我们所知，这是正式理解深度学习的MoE层机制的第一个结果。
2022-08-04 cs.AI cs.LG stat.ML
Understanding Expert Structures on Minimax Parameter Estimation in Contaminated Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文分析了受污染混合专家模型中的参数估计收敛性，针对提示学习中的提示消失和参数交互减速问题，提出可区分性条件并研究多种专家结构，给出了综合收敛速率与极小极大下界，并通过数值实验验证了理论。
2025-03-06 cs.AI cs.LG stat.ML
PLUME: Polyhedral Learning Using Mixture of Experts
IIIT Hyderabad（海得拉巴国际信息技术学院）；IISc Bangalore（班加罗尔印度科学学院）
在本文中，我们提出了一种新的混合专家体系结构学习多面体分类。我们使用期望最大化算法学习分类器的参数。我们推导出所提出的方法的推广范围。通过广泛的仿真研究，我们表明，所提出的方法执行其他国家的最先进的方法。
2019-04-22 cs.LG stat.ML
Biased Mixtures Of Experts: Enabling Computer Vision Inference Under Data Transfer Limitations
University College London（伦敦大学学院）
我们提出了一种新的混合专家类，以优化计算机视觉模型在测试时的数据传输限制。我们的方法假设，允许高精度结果的最小可接受的数据量可能会因不同的输入空间分区而异。因此，我们考虑专家需要不同数据量的混合物，并训练稀疏门控函数来划分每个专家的输入空间。通过适当的超参数选择，我们的方法是能够偏向于选择特定的专家比其他的专家的混合物。通过这种方式，我们证明了视觉传感和处理之间的数据传输优化可以作为凸优化问题来解决。为了证明数据可用性和性能之间的关系，我们评估了一系列主流计算机视觉问题上的有偏混合，即：（i）Single Shot检测，（ii）图像超分辨率，和（iii）实时视频动作分类。对于所有情况下，当专家构成修改后的基线，以满足不同的限制，允许的数据效用，有偏见的混合物显着优于以前的工作优化，以满足相同的限制，现有的数据。
2020-08-21 cs.LG eess.IV
Ada-MoGE: Adaptive Mixture of Gaussian Expert Model for Time Series Forecasting
Huawei Noah’s Ark Lab（华为诺亚实验室）；Zhejiang University（浙江大学）
Ada-MoGE通过自适应确定专家数量和高斯带通滤波优化，提升时间序列预测的精度与效率。
2025-11-29 cs.AI cs.CE cs.LG
Every Expert Matters: Towards Effective Knowledge Distillation for Mixture-of-Experts Language Models
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；AITRICS
针对MoE语言模型压缩中未激活专家知识未被有效利用的问题，提出KA和SAR两种专用KD方法，通过采样增强和路由器训练提取所有专家知识，实验证明其优于传统KD方法。
2025-02-18 cs.AI cs.CL cs.LG
Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Salesforce AI Research（Salesforce人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；CPII under InnoHK（InnoHK下属CPII）；CUHK MMLab（香港中文大学MMLab）
本文针对混合专家大语言模型部署困难的问题，首次提出了即插即用的任务无关与任务特定专家剪枝及跳过训练后方法，在不依赖特定硬件的情况下有效减小了模型规模并加快了推理速度，同时保持了模型性能。
2024-05-30 cs.AI cs.CL cs.LG
Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Graduate School of AI（人工智能研究生院）
针对混合专家模型中共享特征学习导致性能下降的问题，提出基于专家使用频率的合并与更新机制，以学习更通用特征并改善多域增量学习。
2024-05-19 cs.LG
Multi-Head Mixture-of-Experts
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对SMoE存在的专家激活率低和单token多语义概念分析能力不足的问题，提出多头混合专家（MH-MoE），通过多头机制将token拆分为子token并行交由多专家处理并重组，显著提升专家激活率与上下文理解能力。
2024-04-23 cs.AI cs.CL cs.LG
Hierarchical Mixture-of-Experts with Two-Stage Optimization
BRAIn Lab（BRAIn实验室）
本文提出Hi-MoE分层专家混合框架，通过双阶段优化解决路由负载均衡与专家专业化之间的矛盾，提升模型稳定性和表现。
2026-05-08 cs.AI cs.LG math.OC
MoIN: Mixture of Introvert Experts to Upcycle an LLM
University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出MoIN方法，通过在冻结的基础模型上添加轻量级适配器作为“内向型”专家，利用数据分组并行训练与路由推理，实现无需持续预训练即可高效升级LLM。
2024-10-13 cs.AI cs.CL cs.LG
$μ$-MoE: Test-Time Pruning as Micro-Grained Mixture-of-Experts
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文提出$μ$-MoE，将测试时激活感知剪枝形式化为微粒度混合专家，通过计算高效的校准实现每个提示的自适应结构化稀疏，以降低推理计算需求。
2025-05-24 cs.AI cs.CL cs.LG
Horseshoe Mixtures-of-Experts (HS-MoE)
Booth School of Business University of Chicago（芝加哥大学商学院）；Volgenau School of Engineering, George Mason University（乔治·马歇尔大学工程学院）；Department of Systems Engineering and Operations Research George Mason University（乔治·马歇尔大学系统工程与运营管理系）
HS-MoE模型通过结合马蹄先验和输入依赖门控，实现数据自适应的稀疏专家选择，并提出粒子学习算法用于顺序推断。
2026-01-14 cs.LG stat.ML
