Buffer Overflow in Mixture of Experts
Google DeepMind(谷歌DeepMind)
本研究揭示混合专家模型中的专家路由策略因跨批次依赖而存在安全漏洞,恶意查询可影响同批次其他良性查询的输出,并通过概念验证攻击予以证实。
2024-02-08 cs.CR cs.LG
Mixture-of-Experts with Expert Choice Routing
Google(谷歌)
稀疏激活的混合专家模型(MoE)模型允许参数的数量大大增加,同时保持给定令牌或给定样本的计算量不变。然而,较差的专家路由策略(例如,导致负载不平衡的策略)可能导致某些专家训练不足,从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家,而不管不同令牌的相对重要性。为了解决这个问题,我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌,而不是让令牌选择前k个专家。因此,每个令牌可以被路由到可变数量的专家,并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速,发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本,我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本,我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
MASS通过自适应语义专业化和动态路由策略,优化混合专家架构的语义分化,提升模型性能和领域鲁棒性。
2025-12-21 cs.AI cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab(小米AI实验室)
本文提出多样尺寸专家混合(MoDSE)架构,通过不同尺寸专家和专家对分配策略,在保持总参数和专家数不变的情况下,提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
Mixture of Raytraced Experts
提出光线追踪专家混合架构,通过动态选择专家序列生成可变计算图,无需负载均衡即可在减少训练轮数的同时提升精度。
2025-07-16 cs.AI cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University(清华大学);Institute for AI(人工智能研究院);BNRist Center(北京信息科学与技术国家研究中心);Tsinghua-Bosch Joint ML Center(清华-博世机器学习联合研究中心);THBI Lab(清华脑与智能实验室)
我们提出的混合对比专家(MiCE),一个统一的概率聚类框架,同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发,MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集,并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题,我们进一步开发了MiCE的期望最大化(EM)算法的可扩展变体,并提供收敛性证明。经验上,我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系);School of Computing, National University of Singapore(新加坡国立大学计算机学院);NVIDIA Research(NVIDIA研究)
提出MC#框架,结合静态混合精度量化(PMQ)与动态专家剪枝(OTP),在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%,有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University(厦门大学);Tencent Hunyuan(腾讯混元);Soochow University(苏州大学)
该研究针对混合专家(MoE)模型,提出LatentMoE框架,通过分析专家几何特性确定最优专家形状,并用分层固有维度指导容量分配,提升了模型性能。
2026-10-14 cs.AI cs.LG
Learning Factored Representations in a Deep Mixture of Experts
Google, Inc.(谷歌公司);Courant Institute, NYU(纽约大学库朗研究所);Facebook AI Group(脸书人工智能团队)
混合专家组合组合了几个“专家”网络的输出,每个网络都专注于输入空间的不同部分。这是通过训练一个“门控”网络来实现的,该网络将每个输入映射到专家的分布。这样的模型有望构建更大的网络,在测试时计算仍然便宜,在训练时更可并行化。在这项工作中,我们将混合专家模型扩展到一个堆叠模型,深度混合专家模型,具有多组门控和专家。这通过将每个输入与每个层的专家组合相关联,以指数方式增加了有效专家的数量,但保持了适度的模型大小。在MNIST数据集的随机翻译版本上,我们发现深度混合专家模型自动学习在第一层开发位置相关(“where”)专家,在第二层开发类特定(“what”)专家。此外,我们看到,当模型应用于语音单声道数据集时,使用了不同的组合。这些证明了所有专家组合的有效使用。
2014-03-09 cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University(哈佛大学);Microsoft Research(微软研究院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Sienna(锡耶纳大学)
我们提出了优先MoE,这是一种新的人类-ML混合专家模型,仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数,它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则,并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法,并研究其性能和收敛性。最后,我们展示了优先MoE在两个临床应用中的效用,用于治疗人类免疫缺陷病毒(HIV)和管理重度抑郁症(MDD)。
2021-01-13 cs.AI cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University(北京航空航天大学);The Institute of Acoustics of the Chinese Academy of Sciences(中国科学院声学研究所);Microsoft(微软)
稀疏混合专家模型(MoE)模型是强大的大规模预训练,并取得了可喜的成果,由于其模型容量。然而,由于参数数以万亿计,MoE很难部署在云或移动环境中。MoE的推理需要专家并行,这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务,这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中,我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法,逐步下降的目标下游任务的非专业专家,它保留了MoE的好处,同时减少MoE模型到一个单一的专家密集模型。我们的实验表明,微调的单专家模型可以保留99.3%的利益,从MoE在六种不同类型的任务,同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
Understanding Structured Health Data through Interaction-Aware Mixture-of-Experts
研究通过交互感知专家混合模型,利用结构化健康记录多层次视图预测中风后僵硬,路由归因揭示视图差异,凸显视图构建对可解释性的关键作用。
2026-07-15 cs.LG
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);INF Technology(INF科技);Hong Kong University of Science and Technology(香港科技大学)
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾,提出基于Hypernetworks的HyperMoE框架,利用未选中专家的信息生成补充模块进行知识迁移,在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)(工程学院);Laboratory of Applied Photonics Devices (LAPD)(应用光子器件实验室);Optics Laboratory(光学实验室)
本文提出SMoE-VAE架构,通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构,揭示数据量与专家特化的权衡,为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
MetaMoE通过利用公共代理数据统一独立训练的领域专家,解决隐私约束下混合专家训练的挑战,采用多样性感知的代理选择方法提升专家协调性。
2026-05-14 cs.AI cs.CL cs.CR
MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
针对混合专家(MoE)模型因门控路由导致专家视野狭窄、泛化能力受限的问题,提出专家间相互蒸馏的MoDE模型,经多领域实验验证有效,并通过专家探测揭示其作用机理。
2024-01-31 cs.AI cs.LG
Functional mixture-of-experts for classification
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心)
我们开发了一种混合专家(ME)的方法,多类分类的预测是单变量函数。它包括一个ME模型,其中门控网络和专家网络都是基于函数输入的多项式逻辑激活函数构建的。我们进行正则化的极大似然估计,其中的系数函数享有可解释的稀疏约束的目标衍生物。我们开发了一个EM-Lasso算法来计算正则化的MLE,并在模拟和真实数据上评估所提出的方法。
2022-02-28 cs.AI cs.LG stat.ML
Towards Adversarial Robustness of Model-Level Mixture-of-Experts Architectures for Semantic Segmentation
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
本研究评估了模型级混合专家架构在语义分割任务中的对抗鲁棒性,发现其比集成方法更有效地抵御白盒和迁移攻击,并提供了开源代码。
2024-12-16 cs.CV cs.LG
Rethinking Routing Exploration in Modern Mixture-of-Experts
ETH Zurich(苏黎世联邦理工学院);The University of Hong Kong(香港大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);WU Vienna(维也纳经济大学)
本文针对现代MoE架构中细粒度专家分割与共享专家间的探索困境,提出MirrorMoE通过token自适应抑制不必要专家缩小探索空间,在各模型规模下均提升性能。
2026-10-16 cs.AI cs.LG
Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
Technical University of Munich(慕尼黑技术大学);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);University of Cambridge(剑桥大学)
针对现有PEFT未利用MoE动态路由的问题,提出在适配模块中融入路由机制,并在OLMoE-1B-7B和Mixtral-8x7B上验证了其性能与效率,给出了最优配置与实用见解。
2025-08-04 cs.AI cs.CL cs.LG
The power of fine-grained experts: Granularity boosts expressivity in Mixture of Experts
MIT Mathematics(麻省理工学院数学系);Harvard CMSA(哈佛大学CMSA)
本文研究 MoE 层活跃专家数量即粒度对表达能力的影响,证明高、低粒度架构间存在指数级表达能力分离,并用实验验证高粒度更具优势。
2025-05-11 cs.AI cs.LG stat.ML
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China(科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题,提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架,并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
EMoE: Eigenbasis-Guided Routing for Mixture-of-Experts
University of Southern California(南加州大学)
EMoE通过基于学习的正交特征基的路由机制,解决混合专家架构中的负载不平衡和专家同质化问题,无需辅助损失函数。
2026-01-17 cs.CV cs.LG
MoNDE: Mixture of Near-Data Experts for Large-Scale Sparse Models
Seoul National University(首尔大学);Inter-University Semiconductor Research Center(校际半导体研究中心)
MoNDE提出近数据计算方案,仅传输热专家至GPU并在内存中计算冷专家,减少参数移动,实现高效MoE推理并显著加速。
2024-05-29 cs.AI cs.AR cs.LG
Robust Experts: the Effect of Adversarial Training on CNNs with Sparse Mixture-of-Experts Layers
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(弗劳恩霍夫信息与通信技术研究中心)
针对CNN对抗鲁棒性提升成本高的问题,研究在ResNet中插入稀疏MoE层结合对抗训练,发现深层单MoE层可提升PGD等攻击下的鲁棒性,且switch loss会引发路由坍缩催生鲁棒子路径。
2025-09-05 cs.CV cs.LG
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup(蚂蚁集团);Peking University(北京大学)
OrdMoE通过利用混合专家架构中的内在信号,实现多模态混合专家语言模型的零成本偏好对齐,无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models
EPFL(瑞士联邦理工学院洛桑)
提出专家绑定方法,通过共享连续Transformer层的专家参数,在保持独立路由和注意力的同时,将MoE模型内存占用降低近2倍,且不损失困惑度或下游性能。
2026-06-16 cs.AI cs.CL cs.LG
Domain-Specialized Object Detection via Model-Level Mixtures of Experts
FZI Research Center for Information Technology(FZI信息技术研究所以);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出一种基于模型层面专家混合的对象检测方法,通过结合不同数据集训练的YOLO检测器和动态加权的门控网络,提升检测性能和可解释性。
2026-04-20 cs.CV cs.LG
Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution
University of California, Berkeley(加州大学伯克利分校);Advanced Micro Devices, Inc.(先进微器件公司)
本文研究了混合专家模型中专家内部激活稀疏性,通过利用这种未被探索的稀疏性维度,提高了模型执行效率,实现了2.5倍的层执行速度提升和1.2倍的端到端速度提升。
2026-05-09 cs.AI cs.LG
Improving Expert Specialization in Mixture of Experts
TU Wien(维也纳工业大学)
混合专家模型(MoE)是20多年前提出的最简单的门控模块化神经网络架构。MoE重新引起了人们的兴趣,因为条件计算只允许在每次推理过程中使用网络的一部分,正如最近在大规模自然语言处理模型中所证明的那样。MoE还可能有利于持续学习,因为专家可能被重新用于新任务,并引入新专家。MoE架构中的门学习任务分解,并且各个专家学习适合于门分解的更简单的函数。在本文中:(1)我们证明了原始的MoE体系结构及其训练方法不能保证直观的任务分解和良好的专家利用率,实际上,即使对于简单的数据,如MNIST和FashionMNIST,它们也可能严重失败;(2)我们引入了一种新的门控体系结构,类似于注意力,它提高了性能并导致更低的熵任务分解;以及(3)我们引入了一种新的数据驱动的正则化,提高了专家专业化。我们在MNIST,FashionMNIST和CIFAR-100数据集上实证验证了我们的方法。
2023-02-28 cs.AI cs.LG cs.NE
Table-based Fact Verification with Self-adaptive Mixture of Experts
Tsinghua University(清华大学);THiFLY Research(THiFLY研究院);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
基于表格的事实验证问题近年来得到了广泛的关注,但仍然是一个非常具有挑战性的问题。它内在地需要对自然语言的信息推理以及对表的不同数值和逻辑推理(例如,计数、最高级、比较级)。考虑到这一点,我们利用混合专家,本文提出了一种新的方法:自适应混合专家网络(SaMoE)。具体来说,我们已经开发了一个混合的专家神经网络,以识别和执行不同类型的推理-网络是由多个专家,每个处理的语义推理的特定部分,而管理模块被应用于决定每个专家网络的贡献的验证结果。提出了一种自适应的方法,使管理模块能够在不需要外部知识的情况下,更有效地结合不同专家的结果进行教学。实验结果表明,我们的框架在基准数据集TabFact上达到了85.1%的准确率,与以前的最先进的模型相当。我们希望我们的框架可以作为一个新的基线基于表的验证。我们的代码可在www.example.com上获得。
2022-04-19 cs.AI cs.CL cs.LG
MoRE: Mixture of Reused Experts
Cornell University(康奈尔大学)
MoRE通过相邻层共享专家池并引入深度嵌入,在不增参数下提升路由多样性,在114M-1.15B规模上优于标准MoE和权重共享架构。
2026-09-18 cs.AI cs.LG
PLUME: Polyhedral Learning Using Mixture of Experts
IIIT Hyderabad(海得拉巴国际信息技术学院);IISc Bangalore(班加罗尔印度科学学院)
在本文中,我们提出了一种新的混合专家体系结构学习多面体分类。我们使用期望最大化算法学习分类器的参数。我们推导出所提出的方法的推广范围。通过广泛的仿真研究,我们表明,所提出的方法执行其他国家的最先进的方法。
2019-04-22 cs.LG stat.ML
Biased Mixtures Of Experts: Enabling Computer Vision Inference Under Data Transfer Limitations
University College London(伦敦大学学院)
我们提出了一种新的混合专家类,以优化计算机视觉模型在测试时的数据传输限制。我们的方法假设,允许高精度结果的最小可接受的数据量可能会因不同的输入空间分区而异。因此,我们考虑专家需要不同数据量的混合物,并训练稀疏门控函数来划分每个专家的输入空间。通过适当的超参数选择,我们的方法是能够偏向于选择特定的专家比其他的专家的混合物。通过这种方式,我们证明了视觉传感和处理之间的数据传输优化可以作为凸优化问题来解决。为了证明数据可用性和性能之间的关系,我们评估了一系列主流计算机视觉问题上的有偏混合,即:(i)Single Shot检测,(ii)图像超分辨率,和(iii)实时视频动作分类。对于所有情况下,当专家构成修改后的基线,以满足不同的限制,允许的数据效用,有偏见的混合物显着优于以前的工作优化,以满足相同的限制,现有的数据。
2020-08-21 cs.LG eess.IV
BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
Shanghai Jiao Tong University(上海交通大学)
针对MoE模型推理时参数超出GPU内存、专家传输延迟及预取失败的问题,BuddyMoE利用专家冗余加速内存受限的MoE推理,旨在平衡推理速度与模型精度。
2025-11-13 cs.AI cs.LG
LightMoE: Reducing Mixture-of-Experts Redundancy through Expert Replacing
本文提出LightMoE框架,通过专家替换、自适应选择和分层构造提升混合专家模型的内存效率和性能,实验表明其在30%压缩下性能与LoRA相当,50%压缩下表现更优。
2026-03-13 cs.AI cs.LG
The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models
The Fin AI(Fin AI);Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学);Stevens Institute of Technology(史蒂文斯理工学院);The University of Manchester(曼彻斯特大学)
本研究质疑混合专家模型通过稀疏路由实现领域专精的假设,提出COMMITTEEAUDIT框架分析专家组而非个体专家的路由行为,发现领域不变的standing committee,揭示模型存在向集中计算偏倚的结构倾向,表明混合专家模型中的专精程度远低于预期。
2026-05-17 cs.AI cs.LG
Adversarially Trained Linear Transformers Are Optimal Robust In-Context Learners for Gaussian Mixtures
LY Corporation
本研究证明,大规模对抗预训练的线性Transformer可通过上下文学习将鲁棒性迁移至未见的高斯混合分类任务,渐近达到最优鲁棒贝叶斯误差,而标准训练模型无法实现。
2026-10-07 cs.CV cs.LG stat.ML
Emergent Compositional Skills in Mixture-of-Experts VLAs
研究从专家演示端到端学习组合机器人策略的问题,用简化MoE动作头训练VLA,发现其能将任务分解,学习到的专家可跨任务重用,MoE在展示专家专业化时与整体基线性能匹配,向模块化、可解释机器人策略迈进。
2026-07-28 cs.AI cs.LG cs.RO
Speculating Experts Accelerates Inference for Mixture-of-Experts
University of Maryland(马里兰大学);TogetherAI
本文提出一种专家预取方案,利用当前计算的内部表示推测未来专家,减少CPU-GPU传输开销,实现14%的TPOT提升,并通过轻量估计器优化预测精度。
2026-03-09 cs.AI cs.LG
Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression
Kyoto University(京都大学);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所革新智能统合研究中心)
针对MoE大模型压缩,提出共享低秩基分解(SLBF)无数据权重重构方法,通过专家间共享秩-k基降低重构误差,在16B至122B五个架构上优于剪枝、合并和重构三类方法。
2026-10-08 cs.AI cs.LG
Horseshoe Mixtures-of-Experts (HS-MoE)
Booth School of Business University of Chicago(芝加哥大学商学院);Volgenau School of Engineering, George Mason University(乔治·马歇尔大学工程学院);Department of Systems Engineering and Operations Research George Mason University(乔治·马歇尔大学系统工程与运营管理系)
HS-MoE模型通过结合马蹄先验和输入依赖门控,实现数据自适应的稀疏专家选择,并提出粒子学习算法用于顺序推断。
2026-01-14 cs.LG stat.ML
Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts
School of Psychology University of Auckland(心理学系奥克兰大学)
本文研究了视觉混合专家模型中专家调节与表示的特性,通过对比学习训练稀疏门控卷积MoE模型,并利用视觉神经科学工具分析专家的专业化,发现动植物区分主导专家划分,并揭示了专家在更广泛的连续视觉和语义维度上的调节。
2026-05-20 cs.AI cs.CV
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX(IRT系统X);Normandie Univ, UNICAEN, CNRS, LMNO(诺曼底大学、UNICAEN、CNRS、LMNO)
本文提出基于最优传输的分布式MoE模型聚合方法,通过减少传输分歧构建全局估计器,实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
Learning More Generalized Experts by Merging Experts in Mixture-of-Experts
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Graduate School of AI(人工智能研究生院)
针对混合专家模型中共享特征学习导致性能下降的问题,提出基于专家使用频率的合并与更新机制,以学习更通用特征并改善多域增量学习。
2024-05-19 cs.LG
Scattered Mixture-of-Experts Implementation
Mila(米拉研究所);IBM(国际商业机器公司)
我们提出了ScatterMoE,稀疏混合专家模型(SMoE)的GPU上的实现。ScatterMoE建立在现有实现的基础上,克服了一些限制,以提高推理和训练速度以及内存占用。这个实现通过避免填充和对输入进行过多的复制来实现。我们介绍了用于构建实现的主要组件,以及用于加速操作的各种内核。我们对Megablocks的实现进行基准测试,并表明它可以实现更高的吞吐量和更低的内存占用。我们还展示了如何通过演示混合注意力的实现来扩展混合专家模型概念。
2024-10-04 cs.DC cs.LG
Divided We Fall: Defending Against Adversarial Attacks via Soft-Gated Fractional Mixture-of-Experts with Randomized Adversarial Training
Trustworthy and Secure AI (TSAI) Lab, Faculty of Computer Science, University of New Brunswick(新不伦瑞克大学计算机科学学院可信与安全人工智能实验室)
本文提出基于混合专家架构的对抗训练模块,通过多个专家提升模型对白盒攻击的鲁棒性,优于现有MoE防御方法,推理成本较低。
2026-03-26 cs.LG
Simultaneous Feature and Expert Selection within Mixture of Experts
Universidad Católica de Temuco(特木科天主教大学)
处理复杂分类方案的一个有用策略是“分而治之”方法。混合专家模型(MoE)技术通过联合训练一组分类器或专家来利用这种策略,这些分类器或专家在输入空间的不同区域中专业化。全局模型,即“或”门函数,通过学习一个函数来补充专家,该函数在输入空间的不同部分中对专家的相关性进行加权。局部特征选择是一种提高专家“与”门函数专业化程度的有效方法,特别是在高维数据的情况下。我们的主要直觉是,特定的维度子集或子空间通常更适合于对位于输入空间不同区域的实例进行分类。因此,这项工作的贡献与正规化的变体的MoE,采用$L1$正则化的嵌入式过程中的局部特征选择,同时专家选择。实验仍在进行中。
2014-05-29 cs.LG
On the Spatial Structure of Mixture-of-Experts in Transformers
AI Center, Skoltech(斯科尔科沃科技学院人工智能中心);AIRI(人工智能研究所(AIRI))
本文通过实证分析揭示Transformer中MoE路由不仅依赖语义特征,位置信息同样关键,并给出机理解释与实践启示。
2025-04-06 cs.AI cs.CL cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia(微软亚洲研究院)
专家稀疏混合算法(MoE)以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家,并利用门控路由网络使专家有条件地激活。然而,随着专家数量的增长,具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重,从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中,我们提出了混合专家集群-一种通用的方法,使专家层学习更多样化和适当的知识,通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明,MoEC能够提高机器翻译和自然语言理解任务的性能,并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学);University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
本文提出DAG-MoE框架,通过轻量级模块自动学习选定专家之间的最优聚合结构,以替代标准加权求和聚合,从而在不改变专家或路由器的情况下扩展专家组合空间并实现单层多步推理,在预训练和微调中均优于传统MoE基线。
2026-05-31 cs.AI
LiME: Lightweight Mixture of Experts for Efficient Multimodal Multi-task Learning
UCF(中佛罗里达大学);Coventry University(考文垂大学);Axon(Axon公司)
LiME通过轻量级调制实现专家专业化,减少可训练参数并提升泛化能力,实验表明其在多模态多任务基准上性能优异且训练更快。
2026-02-01 cs.CL cs.CV cs.LG
On Bayesian Softmax-Gated Mixture-of-Experts Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了贝叶斯专家混合模型的softmax门控机制,分析了后验分布的渐近行为,推导了密度估计、参数估计和模型选择的收敛性保证,并提出了专家数量选择策略。
2026-04-22 cs.LG stat.ML
Towards Understanding Mixture of Experts in Deep Learning
University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
混合专家(MoE)层是由路由器控制的稀疏激活模型,在深度学习中取得了巨大的成功。然而,对这种架构的理解仍然难以捉摸。在本文中,我们正式研究了MoE层如何提高神经网络学习的性能,以及为什么混合模型不会崩溃为单一模型。我们的实证结果表明,集群结构的潜在问题和非线性的专家是关键的成功MoE。为了进一步理解这一点,我们考虑了一个具有内在聚类结构的具有挑战性的分类问题,这是很难使用单个专家学习的。然而,在MoE层,通过选择专家作为两层非线性卷积神经网络(CNN),我们证明了这个问题可以成功地学习。此外,我们的理论表明,路由器可以学习集群中心的功能,这有助于将输入复杂的问题划分为更简单的线性分类子问题,个别专家可以征服。据我们所知,这是正式理解深度学习的MoE层机制的第一个结果。
2022-08-04 cs.AI cs.LG stat.ML