PLUME: Polyhedral Learning Using Mixture of Experts
IIIT Hyderabad(海得拉巴国际信息技术学院);IISc Bangalore(班加罗尔印度科学学院)
在本文中,我们提出了一种新的混合专家体系结构学习多面体分类。我们使用期望最大化算法学习分类器的参数。我们推导出所提出的方法的推广范围。通过广泛的仿真研究,我们表明,所提出的方法执行其他国家的最先进的方法。
2019-04-22 cs.LG stat.ML
MixtureKit: A General Framework for Composing, Training, and Visualizing Mixture-of-Experts Models
MBZUAI(马克斯·普朗克智能系统研究所)
MixtureKit提供了一种通用框架,用于组合、训练和可视化混合专家模型,通过三种方法提升模型性能与灵活性。
2025-12-13 cs.AI cs.LG
Horseshoe Mixtures-of-Experts (HS-MoE)
Booth School of Business University of Chicago(芝加哥大学商学院);Volgenau School of Engineering, George Mason University(乔治·马歇尔大学工程学院);Department of Systems Engineering and Operations Research George Mason University(乔治·马歇尔大学系统工程与运营管理系)
HS-MoE模型通过结合马蹄先验和输入依赖门控,实现数据自适应的稀疏专家选择,并提出粒子学习算法用于顺序推断。
2026-01-14 cs.LG stat.ML
On the Spatial Structure of Mixture-of-Experts in Transformers
AI Center, Skoltech(斯科尔科沃科技学院人工智能中心);AIRI(人工智能研究所(AIRI))
本文通过实证分析揭示Transformer中MoE路由不仅依赖语义特征,位置信息同样关键,并给出机理解释与实践启示。
2025-04-06 cs.AI cs.CL cs.LG
Towards Understanding Mixture of Experts in Deep Learning
University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
混合专家(MoE)层是由路由器控制的稀疏激活模型,在深度学习中取得了巨大的成功。然而,对这种架构的理解仍然难以捉摸。在本文中,我们正式研究了MoE层如何提高神经网络学习的性能,以及为什么混合模型不会崩溃为单一模型。我们的实证结果表明,集群结构的潜在问题和非线性的专家是关键的成功MoE。为了进一步理解这一点,我们考虑了一个具有内在聚类结构的具有挑战性的分类问题,这是很难使用单个专家学习的。然而,在MoE层,通过选择专家作为两层非线性卷积神经网络(CNN),我们证明了这个问题可以成功地学习。此外,我们的理论表明,路由器可以学习集群中心的功能,这有助于将输入复杂的问题划分为更简单的线性分类子问题,个别专家可以征服。据我们所知,这是正式理解深度学习的MoE层机制的第一个结果。
2022-08-04 cs.AI cs.LG stat.ML
Flexible and Effective Mixing of Large Language Models into a Mixture of Domain Experts
IBM Research(IBM研究院)
本研究提出一款可低成本构建领域专家混合体(MOE)的工具包,支持基于模型或适配器搭建混合结构,经大量测试提供架构定义指导,并公开了代码仓库。
2024-09-11 cs.AI cs.CL
Understanding Expert Structures on Minimax Parameter Estimation in Contaminated Mixture of Experts
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文分析了受污染混合专家模型中的参数估计收敛性,针对提示学习中的提示消失和参数交互减速问题,提出可区分性条件并研究多种专家结构,给出了综合收敛速率与极小极大下界,并通过数值实验验证了理论。
2025-03-06 cs.AI cs.LG stat.ML
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX(IRT系统X);Normandie Univ, UNICAEN, CNRS, LMNO(诺曼底大学、UNICAEN、CNRS、LMNO)
本文提出基于最优传输的分布式MoE模型聚合方法,通过减少传输分歧构建全局估计器,实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia(微软亚洲研究院)
专家稀疏混合算法(MoE)以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家,并利用门控路由网络使专家有条件地激活。然而,随着专家数量的增长,具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重,从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中,我们提出了混合专家集群-一种通用的方法,使专家层学习更多样化和适当的知识,通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明,MoEC能够提高机器翻译和自然语言理解任务的性能,并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
Every Expert Matters: Towards Effective Knowledge Distillation for Mixture-of-Experts Language Models
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));AITRICS
针对MoE语言模型压缩中未激活专家知识未被有效利用的问题,提出KA和SAR两种专用KD方法,通过采样增强和路由器训练提取所有专家知识,实验证明其优于传统KD方法。
2025-02-18 cs.AI cs.CL cs.LG
Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Salesforce AI Research(Salesforce人工智能研究院);Shanghai Jiao Tong University(上海交通大学);CPII under InnoHK(InnoHK下属CPII);CUHK MMLab(香港中文大学MMLab)
本文针对混合专家大语言模型部署困难的问题,首次提出了即插即用的任务无关与任务特定专家剪枝及跳过训练后方法,在不依赖特定硬件的情况下有效减小了模型规模并加快了推理速度,同时保持了模型性能。
2024-05-30 cs.AI cs.CL cs.LG
Multi-Head Mixture-of-Experts
Tsinghua University(清华大学);Microsoft Research(微软研究院)
针对SMoE存在的专家激活率低和单token多语义概念分析能力不足的问题,提出多头混合专家(MH-MoE),通过多头机制将token拆分为子token并行交由多专家处理并重组,显著提升专家激活率与上下文理解能力。
2024-04-23 cs.AI cs.CL cs.LG
MoIN: Mixture of Introvert Experts to Upcycle an LLM
University of California, Davis(加利福尼亚大学戴维斯分校)
本文提出MoIN方法,通过在冻结的基础模型上添加轻量级适配器作为“内向型”专家,利用数据分组并行训练与路由推理,实现无需持续预训练即可高效升级LLM。
2024-10-13 cs.AI cs.CL cs.LG
$μ$-MoE: Test-Time Pruning as Micro-Grained Mixture-of-Experts
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
本文提出$μ$-MoE,将测试时激活感知剪枝形式化为微粒度混合专家,通过计算高效的校准实现每个提示的自适应结构化稀疏,以降低推理计算需求。
2025-05-24 cs.AI cs.CL cs.LG
On Bayesian Softmax-Gated Mixture-of-Experts Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了贝叶斯专家混合模型的softmax门控机制,分析了后验分布的渐近行为,推导了密度估计、参数估计和模型选择的收敛性保证,并提出了专家数量选择策略。
2026-04-22 cs.LG stat.ML
Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment
The Hong Kong University of Science and Technology(香港科学与技术大学);Huawei Noah’s Ark Lab(华为诺亚实验室);Southern University of Science and Technology(南方科技大学)
针对LLMs自我对齐挑战,提出MoTE框架,通过结合四阶段结构化推理链与步骤级路由的多LoRA专家混合架构,显著提升模型安全性、抗越狱与过度拒绝能力,性能媲美OpenAI o1模型。
2025-06-01 cs.AI cs.CL
Mixture-of-Experts with Expert Choice Routing
Google(谷歌)
稀疏激活的混合专家模型(MoE)模型允许参数的数量大大增加,同时保持给定令牌或给定样本的计算量不变。然而,较差的专家路由策略(例如,导致负载不平衡的策略)可能导致某些专家训练不足,从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家,而不管不同令牌的相对重要性。为了解决这个问题,我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌,而不是让令牌选择前k个专家。因此,每个令牌可以被路由到可变数量的专家,并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速,发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本,我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本,我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
MASS通过自适应语义专业化和动态路由策略,优化混合专家架构的语义分化,提升模型性能和领域鲁棒性。
2025-12-21 cs.AI cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab(小米AI实验室)
本文提出多样尺寸专家混合(MoDSE)架构,通过不同尺寸专家和专家对分配策略,在保持总参数和专家数不变的情况下,提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
LSTM-based Mixture-of-Experts for Knowledge-Aware Dialogues
University of Amsterdam(阿姆斯特丹大学);Xerox Research Centre Europe(施乐欧洲研究中心)
我们介绍了一种基于LSTM的方法,动态集成多个单词预测专家,以获得一个条件语言模型,它可以同时在几个子任务。我们说明了这种一般的方法与对话的应用程序,我们集成了神经聊天模型,善于对话方面,与神经问答模型,善于从知识库检索精确的信息,并显示集成如何结合的优势,独立的组件。我们希望这篇有重点的文章能引起人们对在NLP中使用这种专家组合的好处的关注。
2016-05-05 cs.AI cs.CL
On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Johns Hopkins University(约翰霍普金斯大学)
本文研究了层次混合专家(HMoE)模型,提出在模型两层结构中采用Laplace门控函数替代传统Softmax门控,以消除不良参数交互,从而加速专家收敛并增强专家专精化,实验验证了其在大规模多模态等任务上的显著性能提升。
2025-03-06 cs.LG stat.ML
GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
ByteDance Seed(字节跳动种子);UC Berkeley(伯克利大学)
GatePro是一种无参数方法,通过识别相似专家对并引入局部竞争机制,直接促进专家选择多样性,减少冗余计算,提升MoE模型的有效容量和性能。
2025-10-15 cs.CL cs.LG
Mixture of Raytraced Experts
提出光线追踪专家混合架构,通过动态选择专家序列生成可变计算图,无需负载均衡即可在减少训练轮数的同时提升精度。
2025-07-16 cs.AI cs.LG
On the Representation Collapse of Sparse Mixture of Experts
Beijing Institute of Technology(北京理工大学);Microsoft Corporation(微软公司);Peking University(北京大学);Microsoft Research(微软研究院)
稀疏的混合专家模型提供了更大的模型容量,同时需要恒定的计算开销。它采用路由机制,将输入令牌分配给最佳匹配的专家,根据他们的隐藏表示。然而,学习这样的路由机制鼓励令牌聚集在专家质心周围,这意味着表示坍塌的趋势。在这项工作中,我们建议估计令牌和专家之间的路由分数的低维超球体。我们对跨语言语言模型的预训练和下游任务的微调进行了广泛的实验。七个多语言基准测试的实验结果表明,我们的方法实现了一致的收益。我们还提出了一个全面的分析,我们的模型的代表性和路由行为。我们的方法避免了表示坍塌的问题,并实现了更一致的路由比基准的混合专家的方法。
2022-10-12 cs.CL cs.LG
CoSMoEs: Compact Sparse Mixture of Experts
Meta Reality Labs(元宇宙实验室);Meta GenAI(元生成式人工智能部门)
本文提出CoSMoEs框架,通过权重分解专家提升设备端MoE模型质量,并优化内存卸载以降低推理延迟,证明其在公平评估下优于FLOP对齐的稠密模型。
2025-02-28 cs.CL cs.LG
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系);School of Computing, National University of Singapore(新加坡国立大学计算机学院);NVIDIA Research(NVIDIA研究)
提出MC#框架,结合静态混合精度量化(PMQ)与动态专家剪枝(OTP),在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%,有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University(厦门大学);Tencent Hunyuan(腾讯混元);Soochow University(苏州大学)
该研究针对混合专家(MoE)模型,提出LatentMoE框架,通过分析专家几何特性确定最优专家形状,并用分层固有维度指导容量分配,提升了模型性能。
2026-10-14 cs.AI cs.LG
Learning Factored Representations in a Deep Mixture of Experts
Google, Inc.(谷歌公司);Courant Institute, NYU(纽约大学库朗研究所);Facebook AI Group(脸书人工智能团队)
混合专家组合组合了几个“专家”网络的输出,每个网络都专注于输入空间的不同部分。这是通过训练一个“门控”网络来实现的,该网络将每个输入映射到专家的分布。这样的模型有望构建更大的网络,在测试时计算仍然便宜,在训练时更可并行化。在这项工作中,我们将混合专家模型扩展到一个堆叠模型,深度混合专家模型,具有多组门控和专家。这通过将每个输入与每个层的专家组合相关联,以指数方式增加了有效专家的数量,但保持了适度的模型大小。在MNIST数据集的随机翻译版本上,我们发现深度混合专家模型自动学习在第一层开发位置相关(“where”)专家,在第二层开发类特定(“what”)专家。此外,我们看到,当模型应用于语音单声道数据集时,使用了不同的组合。这些证明了所有专家组合的有效使用。
2014-03-09 cs.LG
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan(腾讯混元);Tokyo Institute of Technology(东京工业大学);University of Macau(澳门大学)
本文提出异构专家混合模型HMoE,通过不同大小的专家处理不同复杂度的令牌,并设计训练目标促进小专家激活,以更少参数实现更低损失,超越传统同质MoE。
2024-08-20 cs.CL cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University(哈佛大学);Microsoft Research(微软研究院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Sienna(锡耶纳大学)
我们提出了优先MoE,这是一种新的人类-ML混合专家模型,仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数,它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则,并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法,并研究其性能和收敛性。最后,我们展示了优先MoE在两个临床应用中的效用,用于治疗人类免疫缺陷病毒(HIV)和管理重度抑郁症(MDD)。
2021-01-13 cs.AI cs.LG
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
针对大规模混合数据集训练通用检测器参数量大的问题,提出数据集感知混合专家模型DAMEX,通过路由数据集令牌到对应专家实现数据集专属知识整合,在通用目标检测基准上显著超越现有最优方法及非MoE基线,且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.(彭博有限合伙企业);Boğaziçi University(博阿齐奇大学)
Dropout是一种非常有效的防止过拟合的方法,近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型,其中叶对应于专家,并且决策节点对应于在其子节点之间进行软选择的选通模型,并且因此,该模型定义输入空间的软分层划分。在这项工作中,我们提出了一个变体的辍学分层混合专家模型,是忠实于树层次结构定义的模型,而不是有一个平坦的,unitwise独立的应用辍学,因为一个有多层感知器。我们表明,在合成回归数据和MNIST和CIFAR-10数据集上,我们提出的dropout机制可以防止树上的过度拟合,具有许多级别,提高了泛化能力,并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University(北京航空航天大学);The Institute of Acoustics of the Chinese Academy of Sciences(中国科学院声学研究所);Microsoft(微软)
稀疏混合专家模型(MoE)模型是强大的大规模预训练,并取得了可喜的成果,由于其模型容量。然而,由于参数数以万亿计,MoE很难部署在云或移动环境中。MoE的推理需要专家并行,这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务,这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中,我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法,逐步下降的目标下游任务的非专业专家,它保留了MoE的好处,同时减少MoE模型到一个单一的专家密集模型。我们的实验表明,微调的单专家模型可以保留99.3%的利益,从MoE在六种不同类型的任务,同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
Understanding Structured Health Data through Interaction-Aware Mixture-of-Experts
研究通过交互感知专家混合模型,利用结构化健康记录多层次视图预测中风后僵硬,路由归因揭示视图差异,凸显视图构建对可解释性的关键作用。
2026-07-15 cs.LG
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);INF Technology(INF科技);Hong Kong University of Science and Technology(香港科技大学)
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾,提出基于Hypernetworks的HyperMoE框架,利用未选中专家的信息生成补充模块进行知识迁移,在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)(工程学院);Laboratory of Applied Photonics Devices (LAPD)(应用光子器件实验室);Optics Laboratory(光学实验室)
本文提出SMoE-VAE架构,通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构,揭示数据量与专家特化的权衡,为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
MetaMoE通过利用公共代理数据统一独立训练的领域专家,解决隐私约束下混合专家训练的挑战,采用多样性感知的代理选择方法提升专家协调性。
2026-05-14 cs.AI cs.CL cs.CR
Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
Aleph Alpha
本文提出精确分位数均衡(EQB)与负载误差注入(LEI),分别改进MoE训练的全局与局部负载均衡,在7.5B参数模型上提升性能并优于GShard损失。
2026-09-24 cs.CL cs.LG
MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
针对混合专家(MoE)模型因门控路由导致专家视野狭窄、泛化能力受限的问题,提出专家间相互蒸馏的MoDE模型,经多领域实验验证有效,并通过专家探测揭示其作用机理。
2024-01-31 cs.AI cs.LG
Rethinking Routing Exploration in Modern Mixture-of-Experts
ETH Zurich(苏黎世联邦理工学院);The University of Hong Kong(香港大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);WU Vienna(维也纳经济大学)
本文针对现代MoE架构中细粒度专家分割与共享专家间的探索困境,提出MirrorMoE通过token自适应抑制不必要专家缩小探索空间,在各模型规模下均提升性能。
2026-10-16 cs.AI cs.LG
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University(上海科技大学)
针对扩散Transformer的扩展性问题,提出搭载Expert Race灵活路由策略的Race-DiT模型,结合逐层正则化与路由相似度损失优化专家利用,在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China(科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题,提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架,并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
Mixture of Lookup Experts
Peking University(北京大学)
提出查找专家混合(MoLE)架构,通过将训练好的专家重新参数化为查找表并卸载,推理时直接检索结果,在保持性能的同时实现低通信开销和快速推理。
2025-05-25 cs.CL cs.LG
A Heterogeneous Mixture of Experts Framework for Interpretable Machine Learning
Indian Statistical Institute(印度统计研究所);Interdisciplinary Statistical Research Unit, Indian Statistical Institute(印度统计研究所跨学科统计研究单元)
该研究提出异构混合专家框架,将决策树、线性SVM等异构专家与概率门控结合,在保证可解释性的同时,在基准数据集上达到与同构MoDT、随机森林相当的预测性能。
2026-08-26 cs.LG stat.ML
Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM
FAIR at Meta(Meta FAIR)
该研究提出名为Branch-Train-MiX(BTX)的大语言模型高效训练方法,通过种子模型分支并行训练多领域专家、整合参数后做MoE微调,实现了更优的准确率与效率权衡。
2024-03-12 cs.AI cs.CL
MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models
Seoul National University(首尔大学);Inter-University Semiconductor Research Center(校际半导体研究中心)
MoNDE提出近数据计算方案,仅传输热专家至GPU并在内存中计算冷专家,减少参数移动,实现高效MoE推理并显著加速。
2024-05-29 cs.AI cs.AR cs.LG
Unbiased Gradient Estimation with Balanced Assignments for Mixtures of Experts
University of Amsterdam(阿姆斯特丹大学);DeepMind
在现代硬件上有效地训练大规模混合专家模型需要将数据点批量分配给不同的专家,每个专家的容量有限。最近提出的分配程序缺乏概率的解释,并使用有偏估计的培训。作为替代方案,我们提出了两种基于原则性随机分配程序的无偏估计:一种是跳过超过专家能力的数据点,另一种是使用Gumbel匹配分布的扩展对完全平衡的分配进行采样[29]。这两种估计量都是无偏的,因为它们对所使用的抽样程序进行了校正。在一个玩具实验中,我们发现“跳跃”估计是更有效的平衡抽样的,都是更强大的解决任务比有偏见的替代品。
2021-12-08 cs.LG stat.ML
Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts
Institute of Science Tokyo(东京科学研究院);CyberAgent;Nara Institute of Science and Technology(奈良科学技術大學)
提出kNN-MoE框架,通过检索历史相似案例的局部最优专家分配来增强MoE路由,使用检索邻居的平均相似度作为置信度混合系数,在分布偏移下提升鲁棒性。
2026-05-25 cs.AI cs.CL
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup(蚂蚁集团);Peking University(北京大学)
OrdMoE通过利用混合专家架构中的内在信号,实现多模态混合专家语言模型的零成本偏好对齐,无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
The University of Tokyo(东京大学)
$\infty$-MoE通过在连续空间中选择参数部分,实现无限专家的高效训练,提升模型准确率和灵活性。
2026-01-25 cs.CL cs.LG
Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution
University of California, Berkeley(加州大学伯克利分校);Advanced Micro Devices, Inc.(先进微器件公司)
本文研究了混合专家模型中专家内部激活稀疏性,通过利用这种未被探索的稀疏性维度,提高了模型执行效率,实现了2.5倍的层执行速度提升和1.2倍的端到端速度提升。
2026-05-09 cs.AI cs.LG
SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts
Stanford University(斯坦福大学);Google(谷歌);NVIDIA(英伟达)
本文提出 SEER-MoE 两阶段框架,通过 heavy-hitters 计数引导裁剪专家并结合正则化微调,降低预训练 MoE 的内存、计算与激活专家数,且几乎不损失精度。
2024-04-07 cs.CL cs.LG
Improving Expert Specialization in Mixture of Experts
TU Wien(维也纳工业大学)
混合专家模型(MoE)是20多年前提出的最简单的门控模块化神经网络架构。MoE重新引起了人们的兴趣,因为条件计算只允许在每次推理过程中使用网络的一部分,正如最近在大规模自然语言处理模型中所证明的那样。MoE还可能有利于持续学习,因为专家可能被重新用于新任务,并引入新专家。MoE架构中的门学习任务分解,并且各个专家学习适合于门分解的更简单的函数。在本文中:(1)我们证明了原始的MoE体系结构及其训练方法不能保证直观的任务分解和良好的专家利用率,实际上,即使对于简单的数据,如MNIST和FashionMNIST,它们也可能严重失败;(2)我们引入了一种新的门控体系结构,类似于注意力,它提高了性能并导致更低的熵任务分解;以及(3)我们引入了一种新的数据驱动的正则化,提高了专家专业化。我们在MNIST,FashionMNIST和CIFAR-100数据集上实证验证了我们的方法。
2023-02-28 cs.AI cs.LG cs.NE