MixtureKit: A General Framework for Composing, Training, and Visualizing Mixture-of-Experts Models
MBZUAI(马克斯·普朗克智能系统研究所)
MixtureKit提供了一种通用框架,用于组合、训练和可视化混合专家模型,通过三种方法提升模型性能与灵活性。
2025-12-13 cs.AI cs.LG
Horseshoe Mixtures-of-Experts (HS-MoE)
Booth School of Business University of Chicago(芝加哥大学商学院);Volgenau School of Engineering, George Mason University(乔治·马歇尔大学工程学院);Department of Systems Engineering and Operations Research George Mason University(乔治·马歇尔大学系统工程与运营管理系)
HS-MoE模型通过结合马蹄先验和输入依赖门控,实现数据自适应的稀疏专家选择,并提出粒子学习算法用于顺序推断。
2026-01-14 cs.LG stat.ML
Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Graduate School of AI(人工智能研究生院)
针对混合专家模型中共享特征学习导致性能下降的问题,提出基于专家使用频率的合并与更新机制,以学习更通用特征并改善多域增量学习。
2024-05-19 cs.LG
Scattered Mixture-of-Experts Implementation
Mila(米拉研究所);IBM(国际商业机器公司)
我们提出了ScatterMoE,稀疏混合专家模型(SMoE)的GPU上的实现。ScatterMoE建立在现有实现的基础上,克服了一些限制,以提高推理和训练速度以及内存占用。这个实现通过避免填充和对输入进行过多的复制来实现。我们介绍了用于构建实现的主要组件,以及用于加速操作的各种内核。我们对Megablocks的实现进行基准测试,并表明它可以实现更高的吞吐量和更低的内存占用。我们还展示了如何通过演示混合注意力的实现来扩展混合专家模型概念。
2024-10-04 cs.DC cs.LG
Optimizing Pre-Training Data Mixtures with Mixtures of Data Expert Models
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
提出通过数据专家混合高效近似候选数据混合的交叉熵损失,以优化预训练数据混合,在SlimPajama上显著优于仅用混合比例的回归方法,并提升少样本下游性能。
2025-02-21 cs.CL cs.LG
Simultaneous Feature and Expert Selection within Mixture of Experts
Universidad Católica de Temuco(特木科天主教大学)
处理复杂分类方案的一个有用策略是“分而治之”方法。混合专家模型(MoE)技术通过联合训练一组分类器或专家来利用这种策略,这些分类器或专家在输入空间的不同区域中专业化。全局模型,即“或”门函数,通过学习一个函数来补充专家,该函数在输入空间的不同部分中对专家的相关性进行加权。局部特征选择是一种提高专家“与”门函数专业化程度的有效方法,特别是在高维数据的情况下。我们的主要直觉是,特定的维度子集或子空间通常更适合于对位于输入空间不同区域的实例进行分类。因此,这项工作的贡献与正规化的变体的MoE,采用$L1$正则化的嵌入式过程中的局部特征选择,同时专家选择。实验仍在进行中。
2014-05-29 cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia(微软亚洲研究院)
专家稀疏混合算法(MoE)以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家,并利用门控路由网络使专家有条件地激活。然而,随着专家数量的增长,具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重,从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中,我们提出了混合专家集群-一种通用的方法,使专家层学习更多样化和适当的知识,通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明,MoEC能够提高机器翻译和自然语言理解任务的性能,并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
Buffer Overflow in Mixture of Experts
Google DeepMind(谷歌DeepMind)
本研究揭示混合专家模型中的专家路由策略因跨批次依赖而存在安全漏洞,恶意查询可影响同批次其他良性查询的输出,并通过概念验证攻击予以证实。
2024-02-08 cs.CR cs.LG
A Mixtures-of-Experts Framework for Multi-Label Classification
University of Pittsburgh(匹兹堡大学);GE Global Research(通用电气全球研究中心)
我们开发了一种新的概率方法,多标签分类,是基于混合专家架构结合最近推出的条件树结构贝叶斯网络。我们的方法捕获不同的输入输出关系,从多标签数据使用高效的树结构分类器,而专家的混合架构的目的是补偿树结构的限制,并建立一个更准确的模型。我们开发并提出了从数据中学习模型的算法,以及对未来数据实例进行多标签预测的算法。在多个基准数据集上的实验表明,我们的方法取得了非常有竞争力的结果,并优于现有的最先进的多标签分类方法。
2014-09-16 cs.LG
On Bayesian Softmax-Gated Mixture-of-Experts Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了贝叶斯专家混合模型的softmax门控机制,分析了后验分布的渐近行为,推导了密度估计、参数估计和模型选择的收敛性保证,并提出了专家数量选择策略。
2026-04-22 cs.LG stat.ML
Implicit Mixture of Interpretable Experts for Global and Local Interpretability
Australian National University(澳大利亚国立大学)
我们研究了使用可解释专家混合物(MoIE)在MNIST 10上构建可解释图像分类器的可行性。MoIE使用黑盒路由器将每个输入分配给许多固有的可解释专家中的一个,从而深入了解为什么做出特定的分类决策。我们发现,经过天真训练的MoIE将学会“作弊”,黑盒路由器将自行解决分类问题,每个专家只需学习一个特定类别的常量函数。我们建议通过引入可解释路由器和训练黑盒路由器的决策来匹配可解释路由器来解决这个问题。此外,我们提出了一种新的隐式参数化方案,使我们能够建立任意数量的专家的混合物,使我们能够研究分类性能,本地和全球的可解释性如何随着专家数量的增加而变化。我们的新模型被称为隐式混合可解释专家(IMoIE),可以在MNIST 10上匹配最先进的分类精度,同时提供局部可解释性,并且可以提供全局可解释性,尽管以降低分类精度为代价。
2022-12-01 cs.CV cs.LG
Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts
Thomson Reuters(汤森路透);Zhejiang University(浙江大学)
本研究提出SIMoE指令微调算法,可将稠密预训练LLM自动转化为多专业领域的MoE模型,在指定稀疏约束下识别结构稀疏的领域专家并学习输入依赖的专家合并策略,在常用基准上实现SOTA性能与最优性能-计算权衡。
2025-06-14 cs.LG
MawForge: Memory-Bounded Expert Materialization for Local Mixture-of-Experts Inference
Holocron Security, Inc(全息安全公司)
研究局部MoE推理在受限内存机器上的可行性,提出MawForge方法,通过磁盘存储模型、按需实例化专家张量等实现,发现其可作为有界执行机制,但非缓存最大化策略,性能受多种因素影响。
2026-07-14 cs.LG
Mixture-of-Clustered-Experts: Advancing Expert Specialization and Generalization in Instruction Tuning
Department of Computer Science and Engineering, Korea University, Republic of Korea(韩国大学计算机科学与工程系);KT, Republic of Korea(韩国KT);School of Software, Soongsil University, Republic of Korea(顺天大学软件学院)
针对指令微调中输入异质性导致专家专业化不足的问题,提出双阶段路由机制的混合聚类专家模型,通过序列级分组与词元级激活提升专家专业化与泛化能力。
2025-09-03 cs.LG
Optimizing Mixture of Experts using Dynamic Recompilations
ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学)
混合专家模型架构通过独立于计算需求(FLOP)缩放模型参数大小来允许非常大的神经网络。然而,当前的DNN框架不能有效地支持混合专家模型中的动态数据流,并且在这些框架之上的实现需要使用引入显著开销的变通方法。为了解决这些框架的局限性,我们提出了DynaMoE,DNN库,使用动态重新编译,优化和适应使用的计算资源的动态需求的混合专家模型模型。我们的评估表明,Dyna MoE实现了1.8倍的加速比,并支持2.3倍的模型大小相比,现有的MoE系统,即使不使用重新编译。然后,我们提出了通过动态重新编译实现的进一步优化,可以产生额外的1.7倍加速,同时降低内存压力并提高模型质量。
2022-08-02 cs.DC cs.LG
Tighter Risk Bounds for Mixtures of Experts
Université Laval(拉瓦尔大学);Institut intelligence et données(智能与数据研究所)
本研究通过对混合专家的门控机制施加局部差分隐私,提出了更紧的风险上界,理论保证专为 one-out-of-$n$ 门控机制设计,界对专家数量呈对数依赖,实验验证了该方法能增强泛化能力且LDP施加可行。
2024-10-14 cs.CR cs.LG stat.ML
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
针对大规模混合数据集训练通用检测器参数量大的问题,提出数据集感知混合专家模型DAMEX,通过路由数据集令牌到对应专家实现数据集专属知识整合,在通用目标检测基准上显著超越现有最优方法及非MoE基线,且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
FlexMoRE: A Flexible Mixture of Rank-heterogeneous Experts for Efficient Federatedly-trained Large Language Models
University of Southern Denmark(南丹麦大学);Ordbogen A/S(Ordbogen公司)
FlexMoRE通过灵活的秩异质专家混合模型,在联邦训练的大型语言模型中实现更高效的性能,使用低秩适配器替代完整专家,提升任务表现并减少参数量。
2026-02-09 cs.LG
Mixture-of-Experts with Expert Choice Routing
Google(谷歌)
稀疏激活的混合专家模型(MoE)模型允许参数的数量大大增加,同时保持给定令牌或给定样本的计算量不变。然而,较差的专家路由策略(例如,导致负载不平衡的策略)可能导致某些专家训练不足,从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家,而不管不同令牌的相对重要性。为了解决这个问题,我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌,而不是让令牌选择前k个专家。因此,每个令牌可以被路由到可变数量的专家,并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速,发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本,我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本,我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
Contextual Mixture of Experts: Integrating Knowledge into Predictive Modeling
Radboud University(拉德堡德大学);Institute for Molecules and Materials(分子与材料研究所)
本文提出了一种新的数据驱动模型,旨在将过程知识集成到其结构中,以增加过程工业中的人机协同作用。所提出的上下文混合专家模型(cMoE)在模型学习阶段明确地使用过程知识来塑造历史数据,以通过可能性分布来表示操作员与过程相关的上下文。该模型进行了评估,在两个实际案例研究的质量预测,包括硫磺回收装置和聚合过程。在两个实验中,背景混合专家模型被用来代表不同的背景。结果表明,整合过程知识提高了预测性能,同时通过提供对影响过程的不同制度的变量的见解来提高可解释性。
2022-11-01 cs.LG
Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study
UT Austin(德克萨斯大学奥斯汀分校)
本文从经典学习理论视角分析稀疏混合专家的泛化误差,研究数据量、专家数、稀疏性及复杂度等因素的影响,揭示稀疏性如何促进泛化。
2024-03-26 cs.LG
How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
MASS通过自适应语义专业化和动态路由策略,优化混合专家架构的语义分化,提升模型性能和领域鲁棒性。
2025-12-21 cs.AI cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab(小米AI实验室)
本文提出多样尺寸专家混合(MoDSE)架构,通过不同尺寸专家和专家对分配策略,在保持总参数和专家数不变的情况下,提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
Functional mixture-of-experts for classification
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心)
我们开发了一种混合专家(ME)的方法,多类分类的预测是单变量函数。它包括一个ME模型,其中门控网络和专家网络都是基于函数输入的多项式逻辑激活函数构建的。我们进行正则化的极大似然估计,其中的系数函数享有可解释的稀疏约束的目标衍生物。我们开发了一个EM-Lasso算法来计算正则化的MLE,并在模拟和真实数据上评估所提出的方法。
2022-02-28 cs.AI cs.LG stat.ML
Enriched Mixtures of Gaussian Process Experts
University of Warwick(华威大学);University of Edinburgh(爱丁堡大学)
专家的混合将输入空间概率性地划分为区域,其中每个专家或条件模型的假设仅需要在局部保持。结合高斯过程(GP)专家,这将产生一个功能强大且高度灵活的模型。我们专注于GP专家的替代混合物,其明确地模拟输入和目标的联合分布。我们强调这种方法在多维输入空间中的问题,即可扩展性差,需要大量的专家,降低预测性能,增加不确定性。我们构建了一个新的模型来解决这些问题,通过一个嵌套的分区方案,自动推断在这两个级别的组件的数量。通过广义GP框架容纳多种响应类型,而通过因子化指数家族结构包括多种输入类型。我们证明了我们的方法在估计一个简约的概率描述的合成数据的维数增加和阿尔茨海默氏症的挑战数据集的有效性。
2019-05-30 cs.LG stat.ML
Bandwidth-Efficient Adaptive Mixture-of-Experts via Low-Rank Compensation
Rensselaer Polytechnic Institute(罗切斯特理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);George Washington University(乔治·华盛顿大学)
本文提出了一种带宽高效自适应混合专家方法,通过低秩补偿实现精度恢复,提升带宽-准确性权衡和吞吐量。
2025-12-18 cs.LG
On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Johns Hopkins University(约翰霍普金斯大学)
本文研究了层次混合专家(HMoE)模型,提出在模型两层结构中采用Laplace门控函数替代传统Softmax门控,以消除不良参数交互,从而加速专家收敛并增强专家专精化,实验验证了其在大规模多模态等任务上的显著性能提升。
2025-03-06 cs.LG stat.ML
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University(上海科技大学)
针对扩散Transformer的扩展性问题,提出搭载Expert Race灵活路由策略的Race-DiT模型,结合逐层正则化与路由相似度损失优化专家利用,在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
ByteDance Seed(字节跳动种子);UC Berkeley(伯克利大学)
GatePro是一种无参数方法,通过识别相似专家对并引入局部竞争机制,直接促进专家选择多样性,减少冗余计算,提升MoE模型的有效容量和性能。
2025-10-15 cs.CL cs.LG
Mixture of Raytraced Experts
提出光线追踪专家混合架构,通过动态选择专家序列生成可变计算图,无需负载均衡即可在减少训练轮数的同时提升精度。
2025-07-16 cs.AI cs.LG
On the Representation Collapse of Sparse Mixture of Experts
Beijing Institute of Technology(北京理工大学);Microsoft Corporation(微软公司);Peking University(北京大学);Microsoft Research(微软研究院)
稀疏的混合专家模型提供了更大的模型容量,同时需要恒定的计算开销。它采用路由机制,将输入令牌分配给最佳匹配的专家,根据他们的隐藏表示。然而,学习这样的路由机制鼓励令牌聚集在专家质心周围,这意味着表示坍塌的趋势。在这项工作中,我们建议估计令牌和专家之间的路由分数的低维超球体。我们对跨语言语言模型的预训练和下游任务的微调进行了广泛的实验。七个多语言基准测试的实验结果表明,我们的方法实现了一致的收益。我们还提出了一个全面的分析,我们的模型的代表性和路由行为。我们的方法避免了表示坍塌的问题,并实现了更一致的路由比基准的混合专家的方法。
2022-10-12 cs.CL cs.LG
CoSMoEs: Compact Sparse Mixture of Experts
Meta Reality Labs(元宇宙实验室);Meta GenAI(元生成式人工智能部门)
本文提出CoSMoEs框架,通过权重分解专家提升设备端MoE模型质量,并优化内存卸载以降低推理延迟,证明其在公平评估下优于FLOP对齐的稠密模型。
2025-02-28 cs.CL cs.LG
Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
Technical University of Munich(慕尼黑技术大学);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);University of Cambridge(剑桥大学)
针对现有PEFT未利用MoE动态路由的问题,提出在适配模块中融入路由机制,并在OLMoE-1B-7B和Mixtral-8x7B上验证了其性能与效率,给出了最优配置与实用见解。
2025-08-04 cs.AI cs.CL cs.LG
Convergence Rates for Gaussian Mixtures of Experts
University of Texas(德克萨斯大学);University of California(加利福尼亚大学)
我们提供了一个理论上的治疗过指定的高斯混合专家与无协变量门控网络。我们建立了这些模型的极大似然估计(MLE)的收敛速度。我们的证明技术是基于一个新的概念\emph{algebraic independence}的专家功能。利用最优输运理论,我们建立了代数独立性和某一类偏微分方程(PDE)之间的联系。利用这一联系,使我们能够获得收敛速度和极小极大下界的参数估计。
2022-03-08 cs.LG math.ST stat.ML
The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts
MIT Mathematics(麻省理工学院数学系);Harvard CMSA(哈佛大学CMSA)
本文研究 MoE 层活跃专家数量即粒度对表达能力的影响,证明高、低粒度架构间存在指数级表达能力分离,并用实验验证高粒度更具优势。
2025-05-11 cs.AI cs.LG stat.ML
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University(清华大学);Institute for AI(人工智能研究院);BNRist Center(北京信息科学与技术国家研究中心);Tsinghua-Bosch Joint ML Center(清华-博世机器学习联合研究中心);THBI Lab(清华脑与智能实验室)
我们提出的混合对比专家(MiCE),一个统一的概率聚类框架,同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发,MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集,并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题,我们进一步开发了MiCE的期望最大化(EM)算法的可扩展变体,并提供收敛性证明。经验上,我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系);School of Computing, National University of Singapore(新加坡国立大学计算机学院);NVIDIA Research(NVIDIA研究)
提出MC#框架,结合静态混合精度量化(PMQ)与动态专家剪枝(OTP),在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%,有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University(厦门大学);Tencent Hunyuan(腾讯混元);Soochow University(苏州大学)
该研究针对混合专家(MoE)模型,提出LatentMoE框架,通过分析专家几何特性确定最优专家形状,并用分层固有维度指导容量分配,提升了模型性能。
2026-10-14 cs.AI cs.LG
MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models
Seoul National University(首尔大学);Inter-University Semiconductor Research Center(校际半导体研究中心)
MoNDE提出近数据计算方案,仅传输热专家至GPU并在内存中计算冷专家,减少参数移动,实现高效MoE推理并显著加速。
2024-05-29 cs.AI cs.AR cs.LG
Mixture of Lookup Key-Value Experts
The School of Mathematics, Renmin University of China(中国人民大学数学学院)
本文提出MoLKV模型,通过上下文感知机制改进MoLE,降低验证损失,提升小规模任务性能。
2025-12-10 cs.LG
Mixture of experts architectures for machine learning interatomic potentials
本文提出基于专家混合的MLIPs架构,通过非线性专家专业化提升模型性能,实现元素级路由的高效稳定模拟,并在多个基准测试中取得最佳精度。
2026-08-18 cs.LG physics.chem-ph physics.comp-ph
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan(腾讯混元);Tokyo Institute of Technology(东京工业大学);University of Macau(澳门大学)
本文提出异构专家混合模型HMoE,通过不同大小的专家处理不同复杂度的令牌,并设计训练目标促进小专家激活,以更少参数实现更低损失,超越传统同质MoE。
2024-08-20 cs.CL cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University(哈佛大学);Microsoft Research(微软研究院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Sienna(锡耶纳大学)
我们提出了优先MoE,这是一种新的人类-ML混合专家模型,仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数,它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则,并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法,并研究其性能和收敛性。最后,我们展示了优先MoE在两个临床应用中的效用,用于治疗人类免疫缺陷病毒(HIV)和管理重度抑郁症(MDD)。
2021-01-13 cs.AI cs.LG
Let the Experts Speak: Improving Survival Prediction & Calibration via Mixture-of-Experts Heads
Department of Computer Science Columbia University USA(哥伦比亚大学计算机科学系);Department of Computer Science New York University USA(纽约大学计算机科学系);Department of Neurology Columbia University Medical Center USA(哥伦比亚大学医学中心神经病学系);Department of Computer Science Barnard College USA(巴纳德学院计算机科学系);Department of Biomedical Informatics Columbia University Medical Center USA(哥伦比亚大学医学中心生物医学信息学系);NewYork-Presbyterian Hospital at Columbia University Medical Center USA(哥伦比亚大学医学中心新英格兰-纽约 Presbyterian 医院)
本文提出了一种改进生存预测和校准的混合专家架构,通过更具表现力的专家实现更准确的患者分组和预测。
2025-11-23 cs.LG
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
EPFL(瑞士联邦理工学院洛桑)
提出专家绑定方法,通过共享连续Transformer层的专家参数,在保持独立路由和注意力的同时,将MoE模型内存占用降低近2倍,且不损失困惑度或下游性能。
2026-06-16 cs.AI cs.CL cs.LG
Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.(彭博有限合伙企业);Boğaziçi University(博阿齐奇大学)
Dropout是一种非常有效的防止过拟合的方法,近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型,其中叶对应于专家,并且决策节点对应于在其子节点之间进行软选择的选通模型,并且因此,该模型定义输入空间的软分层划分。在这项工作中,我们提出了一个变体的辍学分层混合专家模型,是忠实于树层次结构定义的模型,而不是有一个平坦的,unitwise独立的应用辍学,因为一个有多层感知器。我们表明,在合成回归数据和MNIST和CIFAR-10数据集上,我们提出的dropout机制可以防止树上的过度拟合,具有许多级别,提高了泛化能力,并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University(北京航空航天大学);The Institute of Acoustics of the Chinese Academy of Sciences(中国科学院声学研究所);Microsoft(微软)
稀疏混合专家模型(MoE)模型是强大的大规模预训练,并取得了可喜的成果,由于其模型容量。然而,由于参数数以万亿计,MoE很难部署在云或移动环境中。MoE的推理需要专家并行,这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务,这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中,我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法,逐步下降的目标下游任务的非专业专家,它保留了MoE的好处,同时减少MoE模型到一个单一的专家密集模型。我们的实验表明,微调的单专家模型可以保留99.3%的利益,从MoE在六种不同类型的任务,同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
Doubly Sparse: Sparse Mixture of Sparse Experts for Efficient Softmax Inference
University of Toronto(多伦多大学);Google(谷歌);ByteDance(字节跳动)
当输出类的数量很大时,softmax函数的计算非常昂贵。在本文中,我们提出了一种新的softmax推理加速方法,双稀疏Softmax(DS-Softmax),利用稀疏混合稀疏专家有效地检索前k类。与大多数现有的需要和近似固定softmax的方法不同,我们的方法是基于学习的,可以适应softmax权重以获得更好的推理加速。特别是,我们的方法学习一个两级层次结构,将整个输出类空间划分为几个部分重叠的专家。每个专家是稀疏的,只包含输出类的子集。为了找到top-k类,稀疏混合使我们能够快速找到最可能的专家,稀疏专家使我们能够在小规模softmax中搜索。我们经验性地对几个现实世界的任务进行评估,包括神经机器翻译,语言建模和图像分类,并证明可以在没有性能损失的情况下实现显着的计算减少。
2019-07-03 cs.LG stat.ML
Gaussian Process-Gated Hierarchical Mixtures of Experts
本文提出高斯过程门控分层混合专家模型(GPHMEs),采用基于随机特征的高斯过程构建门控与专家,通过变分推断优化,在降低复杂度的同时优于基于树的HME基准,并为深度GPs提供可解释性。
2024-03-03 cs.LG stat.ML
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);INF Technology(INF科技);Hong Kong University of Science and Technology(香港科技大学)
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾,提出基于Hypernetworks的HyperMoE框架,利用未选中专家的信息生成补充模块进行知识迁移,在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention
提出GQE,在分组查询注意力上应用混合专家层,每token仅激活一半查询头,在250M参数规模下匹配全激活基线性能。
2026-06-24 cs.LG
Improving Expert Specialization in Mixture of Experts
TU Wien(维也纳工业大学)
混合专家模型(MoE)是20多年前提出的最简单的门控模块化神经网络架构。MoE重新引起了人们的兴趣,因为条件计算只允许在每次推理过程中使用网络的一部分,正如最近在大规模自然语言处理模型中所证明的那样。MoE还可能有利于持续学习,因为专家可能被重新用于新任务,并引入新专家。MoE架构中的门学习任务分解,并且各个专家学习适合于门分解的更简单的函数。在本文中:(1)我们证明了原始的MoE体系结构及其训练方法不能保证直观的任务分解和良好的专家利用率,实际上,即使对于简单的数据,如MNIST和FashionMNIST,它们也可能严重失败;(2)我们引入了一种新的门控体系结构,类似于注意力,它提高了性能并导致更低的熵任务分解;以及(3)我们引入了一种新的数据驱动的正则化,提高了专家专业化。我们在MNIST,FashionMNIST和CIFAR-100数据集上实证验证了我们的方法。
2023-02-28 cs.AI cs.LG cs.NE
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX(IRT系统X);Normandie Univ, UNICAEN, CNRS, LMNO(诺曼底大学、UNICAEN、CNRS、LMNO)
本文提出基于最优传输的分布式MoE模型聚合方法,通过减少传输分歧构建全局估计器,实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
Structure Aware Neural Architecture Search for Mixture of Experts
该研究提出结构感知NAS框架,将数据簇与专家的对齐作为显式搜索变量,通过广义EM流程优化,在无标签的图像分类和时间序列预测任务上优于MoE与NAS基线。
2026-09-01 cs.LG