Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.(彭博有限合伙企业);Boğaziçi University(博阿齐奇大学)
Dropout是一种非常有效的防止过拟合的方法,近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型,其中叶对应于专家,并且决策节点对应于在其子节点之间进行软选择的选通模型,并且因此,该模型定义输入空间的软分层划分。在这项工作中,我们提出了一个变体的辍学分层混合专家模型,是忠实于树层次结构定义的模型,而不是有一个平坦的,unitwise独立的应用辍学,因为一个有多层感知器。我们表明,在合成回归数据和MNIST和CIFAR-10数据集上,我们提出的dropout机制可以防止树上的过度拟合,具有许多级别,提高了泛化能力,并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
A Heterogeneous Mixture of Experts Framework for Interpretable Machine Learning
Indian Statistical Institute(印度统计研究所);Interdisciplinary Statistical Research Unit, Indian Statistical Institute(印度统计研究所跨学科统计研究单元)
该研究提出异构混合专家框架,将决策树、线性SVM等异构专家与概率门控结合,在保证可解释性的同时,在基准数据集上达到与同构MoDT、随机森林相当的预测性能。
2026-08-26 cs.LG stat.ML
Unbiased Gradient Estimation with Balanced Assignments for Mixtures of Experts
University of Amsterdam(阿姆斯特丹大学);DeepMind
在现代硬件上有效地训练大规模混合专家模型需要将数据点批量分配给不同的专家,每个专家的容量有限。最近提出的分配程序缺乏概率的解释,并使用有偏估计的培训。作为替代方案,我们提出了两种基于原则性随机分配程序的无偏估计:一种是跳过超过专家能力的数据点,另一种是使用Gumbel匹配分布的扩展对完全平衡的分配进行采样[29]。这两种估计量都是无偏的,因为它们对所使用的抽样程序进行了校正。在一个玩具实验中,我们发现“跳跃”估计是更有效的平衡抽样的,都是更强大的解决任务比有偏见的替代品。
2021-12-08 cs.LG stat.ML
Learning Factored Representations in a Deep Mixture of Experts
Google, Inc.(谷歌公司);Courant Institute, NYU(纽约大学库朗研究所);Facebook AI Group(脸书人工智能团队)
混合专家组合组合了几个“专家”网络的输出,每个网络都专注于输入空间的不同部分。这是通过训练一个“门控”网络来实现的,该网络将每个输入映射到专家的分布。这样的模型有望构建更大的网络,在测试时计算仍然便宜,在训练时更可并行化。在这项工作中,我们将混合专家模型扩展到一个堆叠模型,深度混合专家模型,具有多组门控和专家。这通过将每个输入与每个层的专家组合相关联,以指数方式增加了有效专家的数量,但保持了适度的模型大小。在MNIST数据集的随机翻译版本上,我们发现深度混合专家模型自动学习在第一层开发位置相关(“where”)专家,在第二层开发类特定(“what”)专家。此外,我们看到,当模型应用于语音单声道数据集时,使用了不同的组合。这些证明了所有专家组合的有效使用。
2014-03-09 cs.LG
TENP: Trapezoidal Expert Neuron Pruning For Mixture-of-Experts
TJUNLP Lab, School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院 TJUNLP实验室)
提出TENP框架,通过识别重要专家并对其余专家进行神经元剪枝,保留梯形参数模式,在40%路由专家稀疏度和平均63.76%激活参数下,DeepSeek模型准确率仅下降1点,代码生成任务提升10%。
2026-06-03 cs.LG stat.ML
Peirce in the Machine: How Mixture of Experts Models Perform Hypothesis Construction
Purdue University(普渡大学)
本文探讨了混合专家模型在假设构造中的表现,指出其函数容量优势,并通过实验验证其在归纳推理中的有效性。
2024-06-24 cs.AI cs.LG
Understanding Structured Health Data through Interaction-Aware Mixture-of-Experts
研究通过交互感知专家混合模型,利用结构化健康记录多层次视图预测中风后僵硬,路由归因揭示视图差异,凸显视图构建对可解释性的关键作用。
2026-07-15 cs.LG
Functional mixture-of-experts for classification
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心)
我们开发了一种混合专家(ME)的方法,多类分类的预测是单变量函数。它包括一个ME模型,其中门控网络和专家网络都是基于函数输入的多项式逻辑激活函数构建的。我们进行正则化的极大似然估计,其中的系数函数享有可解释的稀疏约束的目标衍生物。我们开发了一个EM-Lasso算法来计算正则化的MLE,并在模拟和真实数据上评估所提出的方法。
2022-02-28 cs.AI cs.LG stat.ML
Mixture-of-experts VAEs can disregard variation in surjective multimodal data
TU Berlin(柏林工业大学);SAP AI Research(SAP人工智能研究院);University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
机器学习系统通常部署在需要来自多个模态的数据的领域中,例如,表型和基因型特征描述医疗保健中的患者。先前的工作已经开发了多模态变分自编码器(VAE),其生成若干模态。我们考虑主观数据,其中来自一种模态的单个数据点(例如类别标签)描述来自另一种模态的多个数据点(例如图像)。我们从理论上和经验上证明,多模态VAE与混合专家模型后,可以努力捕捉这种主观数据的变化。
2022-04-11 cs.LG stat.ML
The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts
MIT Mathematics(麻省理工学院数学系);Harvard CMSA(哈佛大学CMSA)
本文研究 MoE 层活跃专家数量即粒度对表达能力的影响,证明高、低粒度架构间存在指数级表达能力分离,并用实验验证高粒度更具优势。
2025-05-11 cs.AI cs.LG stat.ML
Hierarchical Routing Mixture of Experts
Carnegie Mellon University(卡内基梅隆大学)
在回归任务中,数据的分布往往过于复杂,无法用单一模型拟合。相比之下,开发基于分区的模型,其中数据被划分并由局部模型拟合。这些模型划分了输入空间,并且没有利用多模分布式数据的输入-输出依赖性,并且需要强大的本地模型来进行良好的预测。针对这些问题,我们提出了一个二叉树结构的分层路由混合专家模型(HRME)模型,分类器作为非叶节点专家和简单的回归模型作为叶节点专家。分类器节点基于多模态数据的自然分离性对输入输出空间进行联合软划分。这使得简单的叶专家能够有效地进行预测。此外,我们开发了一个概率框架的HRME模型,并提出了一个递归的期望最大化(EM)为基础的算法来学习的树结构和专家模型。一组回归任务的实验验证了我们的方法的有效性相比,各种其他回归模型。
2019-03-18 cs.LG stat.ML
Biased Mixtures Of Experts: Enabling Computer Vision Inference Under Data Transfer Limitations
University College London(伦敦大学学院)
我们提出了一种新的混合专家类,以优化计算机视觉模型在测试时的数据传输限制。我们的方法假设,允许高精度结果的最小可接受的数据量可能会因不同的输入空间分区而异。因此,我们考虑专家需要不同数据量的混合物,并训练稀疏门控函数来划分每个专家的输入空间。通过适当的超参数选择,我们的方法是能够偏向于选择特定的专家比其他的专家的混合物。通过这种方式,我们证明了视觉传感和处理之间的数据传输优化可以作为凸优化问题来解决。为了证明数据可用性和性能之间的关系,我们评估了一系列主流计算机视觉问题上的有偏混合,即:(i)Single Shot检测,(ii)图像超分辨率,和(iii)实时视频动作分类。对于所有情况下,当专家构成修改后的基线,以满足不同的限制,允许的数据效用,有偏见的混合物显着优于以前的工作优化,以满足相同的限制,现有的数据。
2020-08-21 cs.LG eess.IV
Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Graduate School of AI(人工智能研究生院)
针对混合专家模型中共享特征学习导致性能下降的问题,提出基于专家使用频率的合并与更新机制,以学习更通用特征并改善多域增量学习。
2024-05-19 cs.LG
MixtureKit: A General Framework for Composing, Training, and Visualizing Mixture-of-Experts Models
MBZUAI(马克斯·普朗克智能系统研究所)
MixtureKit提供了一种通用框架,用于组合、训练和可视化混合专家模型,通过三种方法提升模型性能与灵活性。
2025-12-13 cs.AI cs.LG
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX(IRT系统X);Normandie Univ, UNICAEN, CNRS, LMNO(诺曼底大学、UNICAEN、CNRS、LMNO)
本文提出基于最优传输的分布式MoE模型聚合方法,通过减少传输分歧构建全局估计器,实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
Mixture of Regression Experts in fMRI Encoding
IIIT Hyderabad(海得拉巴国际信息技术学院);University of Hyderabad(海得拉巴大学)
使用语言编码模型的fMRI语义类别理解试图学习将刺激与相应的大脑激活相关联的前向映射。经典的编码模型使用线性多变量方法来预测给定刺激的大脑激活(所有体素)。然而,这些方法基本上假设多个区域为一个大的均匀区域或几个独立的区域,忽略了它们之间的连接。在本文中,我们提出了一个基于混合专家模型的模型,其中一组专家捕获与特定感兴趣区域(ROI)相关的大脑活动模式,并显示不同专家之间的歧视。该模型以编码为25维特征向量的单词刺激作为输入,以相应的大脑反应作为输出。给定一个新词(25维特征向量),它预测整个大脑激活作为多个专家大脑激活的线性组合。我们认为,每个专家都学习了与其词汇类别相对应的大脑激活的某个区域,这解决了用简单的编码模型识别区域的问题。我们展示了所提出的基于混合专家模型的模型确实学习了基于区域的专家,以高空间精度预测大脑激活。
2018-12-01 cs.HC cs.LG stat.ML
Simultaneous Feature and Expert Selection within Mixture of Experts
Universidad Católica de Temuco(特木科天主教大学)
处理复杂分类方案的一个有用策略是“分而治之”方法。混合专家模型(MoE)技术通过联合训练一组分类器或专家来利用这种策略,这些分类器或专家在输入空间的不同区域中专业化。全局模型,即“或”门函数,通过学习一个函数来补充专家,该函数在输入空间的不同部分中对专家的相关性进行加权。局部特征选择是一种提高专家“与”门函数专业化程度的有效方法,特别是在高维数据的情况下。我们的主要直觉是,特定的维度子集或子空间通常更适合于对位于输入空间不同区域的实例进行分类。因此,这项工作的贡献与正规化的变体的MoE,采用$L1$正则化的嵌入式过程中的局部特征选择,同时专家选择。实验仍在进行中。
2014-05-29 cs.LG
Towards Understanding Mixture of Experts in Deep Learning
University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
混合专家(MoE)层是由路由器控制的稀疏激活模型,在深度学习中取得了巨大的成功。然而,对这种架构的理解仍然难以捉摸。在本文中,我们正式研究了MoE层如何提高神经网络学习的性能,以及为什么混合模型不会崩溃为单一模型。我们的实证结果表明,集群结构的潜在问题和非线性的专家是关键的成功MoE。为了进一步理解这一点,我们考虑了一个具有内在聚类结构的具有挑战性的分类问题,这是很难使用单个专家学习的。然而,在MoE层,通过选择专家作为两层非线性卷积神经网络(CNN),我们证明了这个问题可以成功地学习。此外,我们的理论表明,路由器可以学习集群中心的功能,这有助于将输入复杂的问题划分为更简单的线性分类子问题,个别专家可以征服。据我们所知,这是正式理解深度学习的MoE层机制的第一个结果。
2022-08-04 cs.AI cs.LG stat.ML
Scattered Mixture-of-Experts Implementation
Mila(米拉研究所);IBM(国际商业机器公司)
我们提出了ScatterMoE,稀疏混合专家模型(SMoE)的GPU上的实现。ScatterMoE建立在现有实现的基础上,克服了一些限制,以提高推理和训练速度以及内存占用。这个实现通过避免填充和对输入进行过多的复制来实现。我们介绍了用于构建实现的主要组件,以及用于加速操作的各种内核。我们对Megablocks的实现进行基准测试,并表明它可以实现更高的吞吐量和更低的内存占用。我们还展示了如何通过演示混合注意力的实现来扩展混合专家模型概念。
2024-10-04 cs.DC cs.LG
Understanding Expert Structures on Minimax Parameter Estimation in Contaminated Mixture of Experts
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文分析了受污染混合专家模型中的参数估计收敛性,针对提示学习中的提示消失和参数交互减速问题,提出可区分性条件并研究多种专家结构,给出了综合收敛速率与极小极大下界,并通过数值实验验证了理论。
2025-03-06 cs.AI cs.LG stat.ML
MoEC: Mixture of Expert Clusters
Microsoft Research Asia(微软亚洲研究院)
专家稀疏混合算法(MoE)以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家,并利用门控路由网络使专家有条件地激活。然而,随着专家数量的增长,具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重,从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中,我们提出了混合专家集群-一种通用的方法,使专家层学习更多样化和适当的知识,通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明,MoEC能够提高机器翻译和自然语言理解任务的性能,并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts
Thomson Reuters(汤森路透);Zhejiang University(浙江大学)
本研究提出SIMoE指令微调算法,可将稠密预训练LLM自动转化为多专业领域的MoE模型,在指定稀疏约束下识别结构稀疏的领域专家并学习输入依赖的专家合并策略,在常用基准上实现SOTA性能与最优性能-计算权衡。
2025-06-14 cs.LG
$ϕ$-Balancing for Mixture-of-Experts Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);Northwestern University(西北大学)
本文提出$ϕ$-平衡框架,通过最小化严格凸、对称且可导的潜在函数,实现专家资源的群体平衡,优于现有启发式方法,在大规模预训练和下游微调中表现更稳定有效。
2026-05-14 cs.LG math.OC stat.ML
MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference
Holocron Security, Inc(全息安全公司)
研究局部MoE推理在受限内存机器上的可行性,提出MawForge方法,通过磁盘存储模型、按需实例化专家张量等实现,发现其可作为有界执行机制,但非缓存最大化策略,性能受多种因素影响。
2026-07-14 cs.LG
Buffer Overflow in Mixture of Experts
Google DeepMind(谷歌DeepMind)
本研究揭示混合专家模型中的专家路由策略因跨批次依赖而存在安全漏洞,恶意查询可影响同批次其他良性查询的输出,并通过概念验证攻击予以证实。
2024-02-08 cs.CR cs.LG
Mixture-of-Clustered-Experts: Advancing Expert Specialization and Generalization in Instruction Tuning
Department of Computer Science and Engineering, Korea University, Republic of Korea(韩国大学计算机科学与工程系);KT, Republic of Korea(韩国KT);School of Software, Soongsil University, Republic of Korea(顺天大学软件学院)
针对指令微调中输入异质性导致专家专业化不足的问题,提出双阶段路由机制的混合聚类专家模型,通过序列级分组与词元级激活提升专家专业化与泛化能力。
2025-09-03 cs.LG
FlexMoRE: A Flexible Mixture of Rank-heterogeneous Experts for Efficient Federatedly-trained Large Language Models
University of Southern Denmark(南丹麦大学);Ordbogen A/S(Ordbogen公司)
FlexMoRE通过灵活的秩异质专家混合模型,在联邦训练的大型语言模型中实现更高效的性能,使用低秩适配器替代完整专家,提升任务表现并减少参数量。
2026-02-09 cs.LG
Contextual Mixture of Experts: Integrating Knowledge into Predictive Modeling
Radboud University(拉德堡德大学);Institute for Molecules and Materials(分子与材料研究所)
本文提出了一种新的数据驱动模型,旨在将过程知识集成到其结构中,以增加过程工业中的人机协同作用。所提出的上下文混合专家模型(cMoE)在模型学习阶段明确地使用过程知识来塑造历史数据,以通过可能性分布来表示操作员与过程相关的上下文。该模型进行了评估,在两个实际案例研究的质量预测,包括硫磺回收装置和聚合过程。在两个实验中,背景混合专家模型被用来代表不同的背景。结果表明,整合过程知识提高了预测性能,同时通过提供对影响过程的不同制度的变量的见解来提高可解释性。
2022-11-01 cs.LG
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Optimizing Mixture of Experts using Dynamic Recompilations
ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学)
混合专家模型架构通过独立于计算需求(FLOP)缩放模型参数大小来允许非常大的神经网络。然而,当前的DNN框架不能有效地支持混合专家模型中的动态数据流,并且在这些框架之上的实现需要使用引入显著开销的变通方法。为了解决这些框架的局限性,我们提出了DynaMoE,DNN库,使用动态重新编译,优化和适应使用的计算资源的动态需求的混合专家模型模型。我们的评估表明,Dyna MoE实现了1.8倍的加速比,并支持2.3倍的模型大小相比,现有的MoE系统,即使不使用重新编译。然后,我们提出了通过动态重新编译实现的进一步优化,可以产生额外的1.7倍加速,同时降低内存压力并提高模型质量。
2022-08-02 cs.DC cs.LG
Bandwidth-Efficient Adaptive Mixture-of-Experts via Low-Rank Compensation
Rensselaer Polytechnic Institute(罗切斯特理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);George Washington University(乔治·华盛顿大学)
本文提出了一种带宽高效自适应混合专家方法,通过低秩补偿实现精度恢复,提升带宽-准确性权衡和吞吐量。
2025-12-18 cs.LG
Mixture-of-Experts with Expert Choice Routing
Google(谷歌)
稀疏激活的混合专家模型(MoE)模型允许参数的数量大大增加,同时保持给定令牌或给定样本的计算量不变。然而,较差的专家路由策略(例如,导致负载不平衡的策略)可能导致某些专家训练不足,从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家,而不管不同令牌的相对重要性。为了解决这个问题,我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌,而不是让令牌选择前k个专家。因此,每个令牌可以被路由到可变数量的专家,并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速,发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本,我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本,我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
针对大规模混合数据集训练通用检测器参数量大的问题,提出数据集感知混合专家模型DAMEX,通过路由数据集令牌到对应专家实现数据集专属知识整合,在通用目标检测基准上显著超越现有最优方法及非MoE基线,且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
MASS通过自适应语义专业化和动态路由策略,优化混合专家架构的语义分化,提升模型性能和领域鲁棒性。
2025-12-21 cs.AI cs.LG
Let the Experts Speak: Improving Survival Prediction & Calibration via Mixture-of-Experts Heads
Department of Computer Science Columbia University USA(哥伦比亚大学计算机科学系);Department of Computer Science New York University USA(纽约大学计算机科学系);Department of Neurology Columbia University Medical Center USA(哥伦比亚大学医学中心神经病学系);Department of Computer Science Barnard College USA(巴纳德学院计算机科学系);Department of Biomedical Informatics Columbia University Medical Center USA(哥伦比亚大学医学中心生物医学信息学系);NewYork-Presbyterian Hospital at Columbia University Medical Center USA(哥伦比亚大学医学中心新英格兰-纽约 Presbyterian 医院)
本文提出了一种改进生存预测和校准的混合专家架构,通过更具表现力的专家实现更准确的患者分组和预测。
2025-11-23 cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab(小米AI实验室)
本文提出多样尺寸专家混合(MoDSE)架构,通过不同尺寸专家和专家对分配策略,在保持总参数和专家数不变的情况下,提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
Mixed Effects Mixture of Experts: Modeling Double Heterogeneous Trajectories
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院)
本文提出混合效应专家混合模型(MEMoE),通过结合专家混合模型的分而治之范式与经典混合效应建模,有效建模双重异质轨迹,提升纵向数据分析的准确性与灵活性。
2026-03-08 stat.ME
GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
ByteDance Seed(字节跳动种子);UC Berkeley(伯克利大学)
GatePro是一种无参数方法,通过识别相似专家对并引入局部竞争机制,直接促进专家选择多样性,减少冗余计算,提升MoE模型的有效容量和性能。
2025-10-15 cs.CL cs.LG
Mixture of Raytraced Experts
提出光线追踪专家混合架构,通过动态选择专家序列生成可变计算图,无需负载均衡即可在减少训练轮数的同时提升精度。
2025-07-16 cs.AI cs.LG
On the Representation Collapse of Sparse Mixture of Experts
Beijing Institute of Technology(北京理工大学);Microsoft Corporation(微软公司);Peking University(北京大学);Microsoft Research(微软研究院)
稀疏的混合专家模型提供了更大的模型容量,同时需要恒定的计算开销。它采用路由机制,将输入令牌分配给最佳匹配的专家,根据他们的隐藏表示。然而,学习这样的路由机制鼓励令牌聚集在专家质心周围,这意味着表示坍塌的趋势。在这项工作中,我们建议估计令牌和专家之间的路由分数的低维超球体。我们对跨语言语言模型的预训练和下游任务的微调进行了广泛的实验。七个多语言基准测试的实验结果表明,我们的方法实现了一致的收益。我们还提出了一个全面的分析,我们的模型的代表性和路由行为。我们的方法避免了表示坍塌的问题,并实现了更一致的路由比基准的混合专家的方法。
2022-10-12 cs.CL cs.LG
CoSMoEs: Compact Sparse Mixture of Experts
Meta Reality Labs(元宇宙实验室);Meta GenAI(元生成式人工智能部门)
本文提出CoSMoEs框架,通过权重分解专家提升设备端MoE模型质量,并优化内存卸载以降低推理延迟,证明其在公平评估下优于FLOP对齐的稠密模型。
2025-02-28 cs.CL cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University(清华大学);Institute for AI(人工智能研究院);BNRist Center(北京信息科学与技术国家研究中心);Tsinghua-Bosch Joint ML Center(清华-博世机器学习联合研究中心);THBI Lab(清华脑与智能实验室)
我们提出的混合对比专家(MiCE),一个统一的概率聚类框架,同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发,MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集,并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题,我们进一步开发了MiCE的期望最大化(EM)算法的可扩展变体,并提供收敛性证明。经验上,我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention
提出GQE,在分组查询注意力上应用混合专家层,每token仅激活一半查询头,在250M参数规模下匹配全激活基线性能。
2026-06-24 cs.LG
MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系);School of Computing, National University of Singapore(新加坡国立大学计算机学院);NVIDIA Research(NVIDIA研究)
提出MC#框架,结合静态混合精度量化(PMQ)与动态专家剪枝(OTP),在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%,有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Structure Aware Neural Architecture Search for Mixture of Experts
该研究提出结构感知NAS框架,将数据簇与专家的对齐作为显式搜索变量,通过广义EM流程优化,在无标签的图像分类和时间序列预测任务上优于MoE与NAS基线。
2026-09-01 cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University(厦门大学);Tencent Hunyuan(腾讯混元);Soochow University(苏州大学)
该研究针对混合专家(MoE)模型,提出LatentMoE框架,通过分析专家几何特性确定最优专家形状,并用分层固有维度指导容量分配,提升了模型性能。
2026-10-14 cs.AI cs.LG
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan(腾讯混元);Tokyo Institute of Technology(东京工业大学);University of Macau(澳门大学)
本文提出异构专家混合模型HMoE,通过不同大小的专家处理不同复杂度的令牌,并设计训练目标促进小专家激活,以更少参数实现更低损失,超越传统同质MoE。
2024-08-20 cs.CL cs.LG
Spatial Mixture-of-Experts
ETH Zürich(苏黎世联邦理工学院)
许多数据都依赖于空间位置;它可能是地球上的天气、网格上的模拟或注册的图像。然而,这个特性很少被利用,并且违反了许多神经网络层所做的共同假设,例如平移等变性。此外,许多包含局部性的作品未能捕捉到细粒度的结构。为了解决这个问题,我们引入了空间混合专家模型(SMoE)层,一个稀疏门控层,学习空间结构的输入域和路由专家在细粒度的水平,以利用它。我们还开发了新的技术来训练SMoE,包括自我监督路由损耗和阻尼专家错误。最后,我们在许多任务上展示了SMoEs的强大结果,并为中期天气预报和后处理集合天气预报设置了新的最先进的结果。
2022-11-24 cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University(哈佛大学);Microsoft Research(微软研究院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Sienna(锡耶纳大学)
我们提出了优先MoE,这是一种新的人类-ML混合专家模型,仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数,它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则,并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法,并研究其性能和收敛性。最后,我们展示了优先MoE在两个临床应用中的效用,用于治疗人类免疫缺陷病毒(HIV)和管理重度抑郁症(MDD)。
2021-01-13 cs.AI cs.LG
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University(上海科技大学)
针对扩散Transformer的扩展性问题,提出搭载Expert Race灵活路由策略的Race-DiT模型,结合逐层正则化与路由相似度损失优化专家利用,在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
Technical University of Munich(慕尼黑技术大学);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);University of Cambridge(剑桥大学)
针对现有PEFT未利用MoE动态路由的问题,提出在适配模块中融入路由机制,并在OLMoE-1B-7B和Mixtral-8x7B上验证了其性能与效率,给出了最优配置与实用见解。
2025-08-04 cs.AI cs.CL cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University(北京航空航天大学);The Institute of Acoustics of the Chinese Academy of Sciences(中国科学院声学研究所);Microsoft(微软)
稀疏混合专家模型(MoE)模型是强大的大规模预训练,并取得了可喜的成果,由于其模型容量。然而,由于参数数以万亿计,MoE很难部署在云或移动环境中。MoE的推理需要专家并行,这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务,这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中,我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法,逐步下降的目标下游任务的非专业专家,它保留了MoE的好处,同时减少MoE模型到一个单一的专家密集模型。我们的实验表明,微调的单专家模型可以保留99.3%的利益,从MoE在六种不同类型的任务,同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models
Seoul National University(首尔大学);Inter-University Semiconductor Research Center(校际半导体研究中心)
MoNDE提出近数据计算方案,仅传输热专家至GPU并在内存中计算冷专家,减少参数移动,实现高效MoE推理并显著加速。
2024-05-29 cs.AI cs.AR cs.LG
Robustness of Mixtures of Experts to Feature Noise
Dong Sun(东Sun);Rahul Nittala(拉胡尔·尼塔拉);Rebekka Burkholz(蕾贝卡·布克霍尔兹)
研究混合专家模型在特征噪声下的鲁棒性,发现稀疏专家激活能作为噪声滤波器,相比密集网络具有更低的泛化误差、更强的鲁棒性和更快的收敛速度。
2026-06-11 cs.LG