Model Casting and Low-Parameter Gating: Towards More Sparsely Activated FFNs
本文提出模型铸造与LoPA门控,通过稀疏化FFN激活减少计算,实现高达3.2倍FLOP加速及GPU上3.31倍实际加速,显著优于现有方法。
2026-09-29 cs.LG
Sparsely Activated Networks
School of Electrical and Computer Engineering, National Technical University of Athens(雅典国立技术大学电气与计算机工程学院)
本文提出 $\phi$ 度量联合评估重建精度与表示压缩,并构建基于共享卷积权重和稀疏激活的 SANs,在多个数据集上验证其可得到短描述长度且可解释的核。
2024-04-04 cs.CV cs.LG stat.ML
A Theoretical View on Sparsely Activated Networks
Google Research(谷歌研究院)
如今,深度和广度的神经网络成功地拟合了非常复杂的函数,但密集模型的推理成本开始高得令人望而却步。为了缓解这种情况,一个有希望的方向是激活网络的稀疏子图的网络。子图由数据相关路由功能选择,强制执行输入到子网络的固定映射(例如,开关Transformers中混合专家模型(MoE)范例)。然而,以前的工作主要是经验性的,而现有的路由功能在实践中工作良好,他们不导致近似能力的理论保证。我们的目标是为稀疏网络的力量提供理论解释。作为我们的第一个贡献,我们提出了一个正式的数据依赖稀疏网络模型,捕捉流行的架构的突出方面。然后,我们介绍了一个路由功能的基础上局部敏感哈希(LSH),使我们能够推理稀疏网络如何近似目标函数。在用我们的模型表示基于LSH的稀疏网络之后,我们证明了稀疏网络可以匹配稠密网络对Lipschitz函数的逼近能力。在输入向量上应用LSH意味着专家在输入空间的不同子区域内插目标函数。为了支持我们的理论,我们定义了基于Lipschitz目标函数的各种数据集,我们表明稀疏网络在活动单元数量和近似质量之间提供了有利的权衡。
2022-08-08 cs.LG stat.ML
Parm: Efficient Training of Large Sparsely-Activated Models with Dedicated Schedules
Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)数据科学与分析学域);Hong Kong Baptist University(香港浸会大学);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科技大学计算机科学与工程学系)
Parm 通过设计两种专用通信调度,消除冗余计算与通信并实现节点内外通信重叠,从而加速大规模稀疏激活 MoE 模型的 MP+EP+ESP 训练,实验表明其性能显著优于 DeepSpeed-MoE。
2024-07-03 cs.DC cs.LG
Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
训练大型、深度神经网络以使其收敛可能是极其昂贵的。因此,通常只有一小部分流行的密集模型在不同的上下文和任务中被重用。越来越多的稀疏激活模型,试图从计算成本解耦模型的大小,正在成为一个有吸引力的替代密集模型。尽管稀疏模型在质量和计算成本方面更有效,但在大规模领域中从头开始训练仍然是数据饥渴和昂贵的。在这项工作中,我们提出了稀疏升级循环-一种简单的方法,通过从密集的检查点初始化稀疏激活的混合专家模型来重用沉没的训练成本。我们发现,稀疏升级的T5 Base、Large和XL语言模型以及视觉Transformer Base和Large模型在SuperGLUE和ImageNet上的性能分别显著优于其密集对应模型,仅使用初始密集预训练沉没成本的约50%。升级后的模型也优于从头开始训练的稀疏模型,其初始密集预训练计算预算为100%。
2023-02-17 cs.CL cs.CV cs.LG
One Model, Multiple Modalities: A Sparsely Activated Approach for Text, Sound, Image, Video and Code
Tencent AI Lab(腾讯人工智能实验室)
人们用多种感官感知世界(例如,通过听声音、读单词和看物体)。然而,大多数现有的AI系统只处理单个模态。本文提出了一种方法,擅长处理多种形式的信息与一个单一的模型。在我们的“{SkillNet}”模型中,参数的不同部分专门用于处理不同的模态。与总是激活所有模型参数的传统密集模型不同,我们的模型稀疏地激活了与任务相关的技能的部分参数。这种模型设计使SkillNet能够以更可解释的方式学习技能。我们开发了五种模式,包括文本,图像,声音,视频和代码。结果表明,SkillNet对五种模态特定的微调模型进行了测试。此外,我们的模型支持以相同的稀疏激活方式进行自我监督预训练,从而为不同的模态提供更好的初始化参数。我们发现,预训练显著提高了SkillNet在五种模式上的性能,与特定模式预训练的基线相当甚至更好。在中文文本到图像的检索任务中,我们最终的系统实现了更高的准确率比现有的领先系统,包括悟空{ViT-B}和文澜2.0,而使用较少的激活参数。
2022-05-12 cs.CL cs.CV cs.LG
Preserving Long-Tailed Expert Information in Mixture-of-Experts Tuning
Carnegie Mellon University(卡内基梅隆大学);MIT(麻省理工学院);UCSD(加州大学圣地亚哥分校);Johns Hopkins University(约翰霍普金斯大学)
本文提出一种无需辅助损失的MoE SFT框架,通过偏置驱动稀疏化与始终活跃的门控凝结专家,有效保留长尾专家信息,实验显示在数学推理和常识问答基准上优于现有方法。
2026-09-10 cs.CL cs.LG
AdapMoE: Adaptive Sensitivity-based Expert Gating and Management for Efficient MoE Inference
Peking University(北京大学);Institute for Artificial Intelligence(人工智能研究院);School of Integrated Circuits(集成电路学院);Institute of Electronic Design Automation(电子设计自动化研究所);Beijing Advanced Innovation Center for Integrated Circuits(北京集成电路高精尖创新中心)
AdapMoE提出一种算法-系统协同设计框架,通过基于敏感性的自适应专家门控与预取缓存管理,减少MoE推理中的按需加载开销,平均减少25%激活专家并实现1.35倍加速。
2024-08-19 cs.LG
Inducing Hierarchical Compositional Model by Sparsifying Generator Network
Harbin Engineering University(哈尔滨工程大学);NC State University(北卡罗来纳州立大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了通过稀疏化生成器网络来学习分层组合AND-OR模型,用于可解释图像合成。该方法采用场景-对象-部件-子部件-基元的层次结构表示图像。场景具有不同的类型(即,或),每个都由多个对象组成(即,AND)。这可以在场景-对象-部件-子部件层次结构中递归地公式化,并且在基元级别(例如,类小波基)。为了在图像合成中实现这种与或层次结构,我们学习了一个由以下两个组件组成的生成器网络:(i)层次结构的每一层由卷积基函数的过完备集表示。现成的卷积神经架构被用来实现层次结构。(ii)在端到端训练中引入稀疏诱导约束,从初始密集连接的发电机网络诱导稀疏激活和稀疏连接的AND-OR模型。利用直接的稀疏诱导约束,即仅允许在每一层处激活顶部$k$基函数(其中$k$是超参数)。学习的基函数也能够进行图像重建以解释输入图像。在实验中,所提出的方法进行了测试,在四个基准数据集。结果表明,有意义的和可解释的层次表示学习与更好的图像合成和重建质量比基线。
2020-06-20 cs.CV cs.LG eess.IV
Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers
University of Texas at Austin(德克萨斯大学奥斯汀分校)
尽管巨大的Transformers取得了显着的成就,但它们也遇到了显着的缺点,包括训练过程中过高的计算和内存占用,以及高度的参数冗余所证明的严重崩溃。稀疏激活的混合专家(SMoE)已经显示出缓解训练效率问题的希望,但它们容易出现(1)由于代表性崩溃而导致的冗余专家;以及(2)推理和下游微调的专家可扩展性差,主要是由于在训练期间学习的路由策略过度拟合激活的专家数量。由于最近的研究工作主要集中在改进路由策略以鼓励专家专业化,这项工作的重点是探索被忽视的SMoE的可扩展性瓶颈,并利用它来有效地扩展密集Transformers。为此,我们提出了一个新的即插即用的训练框架,SMoE-Dropout,使缩放Transformers,以更好的准确性,在其全部容量没有崩溃。具体来说,SMoE-Dropout由一个随机初始化和固定的路由器网络组成,用于激活专家,并随着训练的进行逐渐增加激活的专家数量。经过SMoE-Dropout训练的Transformers自然会表现出受资源可用性影响的自我瘦身特性,在推理或微调期间,随着激活专家的增加,可提供平稳一致的性能提升。我们广泛的实验表明,与具有相同参数计数的密集训练基线相比,SMoE-Dropout具有卓越的性能和大量的计算节省。特别是,我们训练的BERT在具有挑战性的推理任务{ASDiv-A,MAWPS,SVAMP}上分别以{1.03%,0.78%,1…
2023-03-02 cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia(微软亚洲研究院)
专家稀疏混合算法(MoE)以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家,并利用门控路由网络使专家有条件地激活。然而,随着专家数量的增长,具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重,从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中,我们提出了混合专家集群-一种通用的方法,使专家层学习更多样化和适当的知识,通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明,MoEC能够提高机器翻译和自然语言理解任务的性能,并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
Brainformers: Trading Simplicity for Efficiency
Google Deepmind(谷歌DeepMind)
本文提出 Brainformer 模块,通过采用包含稀疏门控、前馈和注意力等层的复杂结构替代传统统一骨干,在质量和效率上均超越现有密集和稀疏 Transformers,实现了更快的训练收敛与推理速度及更高的下游任务得分。
2024-04-25 cs.CL cs.LG
FloE: On-the-Fly MoE Inference on Memory-constrained GPU
针对内存受限 GPU 上 MoE 推理的专家加载带宽瓶颈,提出 FloE,通过压缩专家参数矩阵并结合稀疏预测,实现低显存部署与显著推理加速。
2025-05-12 cs.LG
Learning Sparse Mixture of Experts for Visual Question Answering
Mila(米拉);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔高等理工学院)
随着模型结构的改进,可视化问答的任务取得了快速的进展。不幸的是,这些模型通常是计算密集型的,由于其庞大的规模,这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答(VQA)的具体任务。卷积神经网络(CNN)是VQA模型的视觉处理管道的组成部分(假设CNN与整个VQA模型一起训练)。在这个项目中,我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明,一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs
Mathematical Institute University of Oxford(牛津大学数学研究所)
针对稀疏激活函数,提出增大高斯过程方差可提升训练稳定性,并设计新初始化策略实现隐藏层高达90%稀疏度的稳定训练。
2026-06-16 cs.IT cs.LG math.IT
FedMS: Federated Learning with Mixture of Sparsely Activated Foundations Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Future Network of Intelligence Institute(未来智联网络研究院);Guangdong Provincial Key Laboratory of Future Networks of Intelligence(广东省未来智联网络重点实验室)
本文提出两阶段联邦学习算法FedMS,结合全局与局部专家构建基础模型混合体,并设计稀疏激活LoRA算法适应边缘计算,实验显示性能优于现有方法最高55.25%。
2023-12-26 cs.DC cs.LG
SMILE: Scaling Mixture-of-Experts with Efficient Bi-level Routing
University of Southern California(南加州大学);AWS AI(亚马逊云科技人工智能部门)
专家(MoE)并行的混合是一个最近的进步,规模与恒定的计算成本的模型大小。MoE选择不同的参数组(即,专家),从而产生稀疏激活的模型。尽管MoE的几个成功的应用程序,其培训效率显着下降的专家数量的增加。MoE中的路由阶段依赖于All2All通信集合的效率,其遭受网络拥塞并且具有差的可扩展性。为了缓解这些问题,我们引入了SMILE,它利用异构网络带宽,并将单步路由分为两级路由。我们的实验结果表明,所提出的方法获得了2.5倍的加速比开关Transformer在预训练吞吐量的Colossal清洁爬行语料库,而不会失去任何收敛速度。
2022-12-10 cs.LG
Maximum Score Routing For Mixture-of-Experts
Tsinghua University(清华大学);Tianjin University(天津大学);Seed-Foundation-Model Team(种子基础模型团队)
本文提出MaxScore路由范式,将MoE路由建模为最小成本最大流问题并结合SoftTopk算子,在相同FLOPs下实现更低训练损失和更高评估分数。
2025-08-18 cs.CL cs.LG
Stepped MoE: Segment-Level Routing with Configurable Inference Complexity
Apple(苹果公司)
本文提出阶梯式专家混合框架,结合弹性结构与稀疏门控,实现模型同时适应部署约束和任务需求,支持1-4B参数灵活配置,在知识密集型基准上比密集模型准确2-5%,且延迟相当,节省存储并提升服务灵活性。
2026-10-07 cs.AI cs.CL cs.LG
Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);The University of Hong Kong(香港大学)
多任务学习(MTL)中的优化比单任务学习(STL)更具挑战性,因为不同任务的梯度可能是矛盾的。当任务相关时,在它们之间共享一些参数(合作)可能是有益的。然而,有些任务需要具有特定类型数据或鉴别(专业化)专门知识的额外参数。为了解决MTL的挑战,我们提出了Mod-Squad,一个模块化的专家组(“Squad”)的新模型。这种结构使我们能够将合作和专业化正式化为匹配专家和任务的过程。我们在单个模型的训练过程中优化了这个匹配过程。具体来说,我们将混合专家模型(MoE)层到一个Transformer模型,一个新的损失,结合任务和专家之间的相互依赖。因此,每个任务只激活一小部分专家。这可以防止所有任务之间共享整个骨干模型,从而增强模型,特别是当训练集大小和任务数量增加时。更有趣的是,对于每个任务,我们可以提取专家的小集合作为一个独立的模型,保持与大模型相同的性能。在包含13个视觉任务的Taskonomy数据集和包含5个视觉任务的PASCAL-Context数据集上进行的大量实验表明了该方法的优越性。
2022-12-15 cs.AI cs.CV cs.LG
M6-T: Exploring Sparse Expert Models and Beyond
Alibaba Group(阿里巴巴集团)
混合专家模型(Mixture-of-Experts,MoE)具有参数多而计算量小的优点,已成为模型缩放的一种趋势。然而,MoE层如何通过利用具有稀疏激活的参数来带来质量增益仍然是一个谜。在这项工作中,我们研究了稀疏专家模型中的几个关键因素。我们观察到,负载不平衡可能不是一个重要的问题,影响模型的质量,相反的观点,最近的研究,而稀疏激活的专家$k$和专家容量$C$在顶部- $k$路由的数量可以显着地在这种情况下,有所作为。此外,我们向前迈出了一步,提出了一个简单的方法,称为专家原型,专家分成不同的原型,并适用于$k$顶- $1$路由。这种策略提高了模型质量,但保持了恒定的计算成本,我们对超大规模模型的进一步探索反映出它在训练更大的模型时更有效。我们将模型规模扩大到超过$1$万亿参数,并仅在$480$ NVIDIA V100- 32 GB GPU上实现它,与最近在$2048$ TPU内核上的SOTA相比。所提出的巨型模型在相同大小的基线上实现了大幅加速收敛。
2021-08-09 cs.CL cs.LG
Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation
该研究针对MoE模型决策间的依赖问题,提出UniF-MoE统一框架,先共享再路由剩余部分,在DomainBed和GLUE实验中提升性能并降低计算资源消耗。
2026-08-12 cs.CL cs.CV cs.LG
Who Says Elephants Can't Run: Bringing Large Scale MoE Models into Cloud Scale Production
Microsoft(微软);NVIDIA(英伟达)
具有稀疏激活层的有条件执行的混合专家模型(MoE)模型使得训练模型具有大量参数。因此,这些模型在包括机器翻译在内的各种自然语言处理任务上实现了显著更好的质量。然而,由于大量的内存需求和低效的推理,在现实生活中部署这样的模型仍然具有挑战性。在这项工作中,我们引入了一个高效的推理框架与几种优化方法,以加速稀疏模型的计算,并大大减少内存消耗。虽然我们在吞吐量方面实现了高达26倍的速度提升,但我们还通过将专家权重量化为4位整数,将模型大小减少到原始32位浮点模型的八分之一。因此,与现有解决方案相比,我们能够部署136倍大的模型,成本降低27%,质量显著提高。这使得在部署大规模多语言MoE Transformers模型时实现了范式转变,取代了将教师模型提炼为每个语言或任务的数十个较小模型的传统做法。
2022-11-18 cs.AI cs.CL cs.LG
AutoMoE: Heterogeneous Mixture-of-Experts with Adaptive Computation for Efficient Neural Machine Translation
University of British Columbia(不列颠哥伦比亚大学);Microsoft Research(微软研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出AutoMoE框架,利用NAS在FLOPs和延迟等约束下搜索异构稀疏MoE架构,实现token级自适应计算,并在NMT上以更低计算量达到接近SwitchTransformer的翻译性能。
2023-06-07 cs.CL cs.LG
SEAL: Reinforcing Global Safety in Mixture-of-Experts through Shared Expert ALignment
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
该研究针对混合专家(MoE)模型易受对抗攻击的问题,提出基于共享专家对齐的参数高效防御方法SEAL及变体SEAL++,可降低攻击成功率且性能损失极小。
2026-09-03 cs.AI cs.CR cs.LG
ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing
Tsinghua University(清华大学);Tsinghua-Bosch Joint ML Center(清华-博世联合机器学习中心)
针对传统TopK路由不可微导致性能受限的问题,提出全可微MoE架构ReMoE,以ReLU替代TopK+Softmax路由,实现高效动态计算分配,实验表明其在多种规模下优于传统MoE并具更优可扩展性。
2025-02-27 cs.LG
MoSE: Mixture of Slimmable Experts for Efficient and Adaptive Language Models
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), UAE(Mohamed bin Zayed人工智能大学(MBZUAI));Michigan State University (MSU), USA(密歇根州立大学(MSU));Amazon Science, UK(亚马逊科学)
提出MoSE架构,每个专家具有可变宽度的嵌套结构,支持在推理时连续调节精度-计算权衡,通过多宽度训练和轻量级测试时训练实现高效自适应。
2026-06-17 cs.CL cs.LG
Cross-token Modeling with Conditional Computation
National University of Singapore(新加坡国立大学)
混合专家(MoE)是一种条件计算结构,通过扩展Transformer的局部模块(即前馈网络),获得了良好的性能。然而,由于不稳定的训练,扩展交叉令牌模块(即自我注意力)具有挑战性。这项工作提出了Sparse-MLP,这是一种全MLP模型,它将稀疏激活的MLP应用于交叉令牌建模。具体来说,在我们的全MLP模型的每个稀疏块中,我们应用两个阶段的MoE层:一个是MLP专家沿着图像块维度混合通道内的信息,另一个是MLP专家沿着通道维度混合块内的信息。此外,通过提出MoE的重要性分数路由策略和重新设计图像表示形状,进一步提高了模型的计算效率。在实验上,我们比视觉Transformer更有效的计算与可比的准确性。此外,我们的模型可以在ImageNet Top-1精度上超过MLP-Mixer 2.5\%,并且参数和计算成本更少。在下游任务上,即Cifar 10和Cifar 100,我们的模型仍然可以实现比基线更好的性能。
2022-01-14 cs.AI cs.CV cs.LG
Scalable and Efficient MoE Training for Multitask Multilingual Models
Microsoft(微软)
混合专家模型(MoE)模型是一类新兴的稀疏激活的深度学习模型,其具有关于其参数的次线性计算成本。与密集模型相比,MoE的稀疏架构提供了大幅增加模型大小的机会,具有显著的精度增益,同时消耗低得多的计算预算。然而,支持大规模MoE培训也有其自身的一系列系统和建模挑战。为了克服挑战并拥抱MoE的机遇,我们首先开发了一个能够有效地将MoE模型扩展到数万亿参数的系统。它将多维并行和异构内存技术与MoE和谐地结合在一起,与现有工作相比,在相同的硬件上支持8倍大的模型。除了提高系统的效率,我们还提出了新的训练方法,以提高MoE样本效率和利用专家修剪策略,以提高推理时间效率。通过将高效的系统和训练方法相结合,我们能够显着扩展用于语言生成的大型多任务多语言模型,从而大大提高模型的准确性。使用50种语言的100亿个参数训练的模型可以在机器翻译(MT)和多语言自然语言生成任务中实现最先进的性能。高效MoE培训的系统支持已通过DeepSpeed库实现并开源。
2021-09-22 cs.AI cs.CL cs.LG
Nearly Tight Rademacher Bounds for Sparsely Activated Neural Networks
University of New South Wales(新南威尔士大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Sydney(悉尼大学)
研究单隐层 ReLU 网络中输入依赖稀疏性的统计复杂度,提出近紧的 Rademacher 界,并证明宽度依赖性与输入域的关键影响。
2026-09-09 cs.LG stat.ML
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Google(谷歌)
在深度学习中,模型通常对所有输入重复使用相同的参数。混合专家模型(MoE)则不这么做,而是为每个传入的示例选择不同的参数。其结果是一个稀疏激活的模型-参数数量惊人-但计算成本恒定。然而,尽管MoE取得了一些显著的成功,但复杂性、通信成本和培训不稳定性阻碍了广泛采用--我们使用Switch Transformer解决了这些问题。我们简化了MoE路由算法和设计直观的改进模型,降低了通信和计算成本。我们提出的训练技术有助于解决不稳定性,我们首次展示了大型稀疏模型可以使用较低精度(bfloat 16)格式进行训练。我们基于T5-Base和T5-Large设计模型,以相同的计算资源获得高达7倍的预训练速度。这些改进扩展到多语言设置中,我们在所有101种语言中测量了mT5-Base版本的收益。最后,我们通过在“Colossal Clean Crawled Corpus”上预训练多达万亿个参数模型,提升了语言模型的当前规模,并实现了T5-XXL模型的4倍加速。
2022-06-16 cs.AI cs.LG
Learning Neural Networks with Sparse Activations
Google Research(谷歌研究院);University of California, Los Angeles(加州大学洛杉矶分校)
本文研究神经网络中MLP层激活稀疏现象,通过PAC学习理论证明其计算与统计优势,旨在推动实际应用。
2024-06-26 cs.LG stat.ML
BlockFFN: Towards End-Side Acceleration-Friendly Mixture-of-Experts with Chunk-Level Activation Sparsity
Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China(计算机科学与技术系,人工智能研究院,清华大学,北京,中国)
针对传统MoE路由不灵活、块级稀疏性低不利于端侧加速的问题,提出BlockFFN架构,通过可微路由、CLS感知训练及结合稀疏性与投机解码的加速内核,实现更优性能与端侧3.67倍最高加速。
2025-07-30 cs.CL cs.LG
Mixture of Group Experts for Learning Invariant Representations
Beijing Normal University(北京师范大学)
针对MoE模型专家多样性和专业化受限的问题,提出混合群组专家(MoGE),通过群组稀疏正则化和二维拓扑分组学习不变性表示,显著提升了专家多样性与模型性能。
2025-07-10 cs.CL cs.CV cs.LG
REAP the Experts: Why Pruning Prevails for One-Shot MoE compression
Cerebras Systems Inc.(Cerebras系统公司);Schulich School of Engineering, University of Calgary(卡莱尔大学施密特工程学院)
本文提出REAP剪枝方法,通过结合路由门值和专家激活范数,有效减少生成任务中的重建误差,优于合并和其他剪枝方法,尤其在50%压缩下表现优异。
2026-05-13 cs.AI cs.LG
Towards Understanding Mixture of Experts in Deep Learning
University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
混合专家(MoE)层是由路由器控制的稀疏激活模型,在深度学习中取得了巨大的成功。然而,对这种架构的理解仍然难以捉摸。在本文中,我们正式研究了MoE层如何提高神经网络学习的性能,以及为什么混合模型不会崩溃为单一模型。我们的实证结果表明,集群结构的潜在问题和非线性的专家是关键的成功MoE。为了进一步理解这一点,我们考虑了一个具有内在聚类结构的具有挑战性的分类问题,这是很难使用单个专家学习的。然而,在MoE层,通过选择专家作为两层非线性卷积神经网络(CNN),我们证明了这个问题可以成功地学习。此外,我们的理论表明,路由器可以学习集群中心的功能,这有助于将输入复杂的问题划分为更简单的线性分类子问题,个别专家可以征服。据我们所知,这是正式理解深度学习的MoE层机制的第一个结果。
2022-08-04 cs.AI cs.LG stat.ML
Beyond Task-Agnostic: Task-Aware Grouping for Communication-Efficient Multi-Task MoE Inference
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室)
提出任务感知共激活分组(TACG)框架,通过任务特定的共激活模式优化专家放置,并引入通用专家共享复制(GESR)应对在线负载倾斜,在三个MoE模型上平均降低通信成本31.39%,保持公平性指数0.9975。
2026-05-31 cs.AI cs.LG
Soft Merging of Experts with Adaptive Routing
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Toronto(多伦多大学);Vector Institute(向量研究所)
针对稀疏激活模型中离散路由导致的训练性能不足问题,提出通过加权平均专家参数构建合并专家的SMEAR方法,在不显著增加计算量的前提下实现可微训练,性能优于多种基线路由方法且专家具备专业化特征。
2024-05-13 cs.LG
Retraining-Free Merging of Sparse MoE via Hierarchical Clustering
National Tsing Hua University(国立清华大学);National Taiwan University(国立台湾大学);University of Toronto(多伦多大学);NVIDIA AI Technology Center (NVAITC)(NVIDIA AI技术中心);Samsung Research America(三星美国研究院)
本文提出HC-SMoE,一种基于专家输出层次聚类的无重训练稀疏MoE合并框架,在降低内存需求的同时保持模型性能,并在Qwen和Mixtral等模型上验证了其有效性。
2025-10-26 cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab(小米AI实验室)
本文提出多样尺寸专家混合(MoDSE)架构,通过不同尺寸专家和专家对分配策略,在保持总参数和专家数不变的情况下,提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
HierMoE: Accelerating MoE Training with Hierarchical Token Deduplication and Expert Swap
School of Computer Science and Technology(计算机科学与技术学院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)(数据科学与分析方向,香港科技大学(广州));Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(计算机科学与工程系,香港科技大学)
针对MoE模型训练中的通信和负载不平衡问题,提出HierMoE系统,通过分层令牌去重和专家交换两种拓扑感知技术,在32-GPU集群上实现1.18至1.27倍的端到端训练加速。
2025-08-13 cs.DC cs.LG
A Hybrid Tensor-Expert-Data Parallelism Approach to Optimize Mixture-of-Experts Training
University of Maryland(马里兰大学);Microsoft, Inc.(微软公司)
提出DeepSpeed-TED三维混合并行算法,结合数据、张量和专家并行,支持训练比现有技术大4-8倍基础模型的MoE模型,并在400亿参数模型上实现26%加速。
2023-05-14 cs.AI cs.DC cs.LG
MASKerade: Token-Routed Mask Experts for Dense-to-MoE Upcycling
Northeastern University(东北大学)
MASKerade通过冻结FFN上的学习掩码定义专家,实现稠密到MoE升级,在视觉语言基准上以较低计算成本达到最优性能。
2026-10-07 cs.LG
GW-MoE: Resolving Uncertainty in MoE Router with Global Workspace Theory
Zhejiang University(浙江大学);Tsinghua University(清华大学);INF Technology(INF科技);Hong Kong University of Science and Technology(香港科技大学)
针对MoE模型中token路由不确定性导致选择错误的问题,提出基于全局工作空间理论的微调方法GW-MoE,微调时广播不确定token至所有专家,无额外推理开销,在多任务多模型规模下均有效提升性能。
2024-06-18 cs.AI cs.LG
Mixture-of-Experts with Expert Choice Routing
Google(谷歌)
稀疏激活的混合专家模型(MoE)模型允许参数的数量大大增加,同时保持给定令牌或给定样本的计算量不变。然而,较差的专家路由策略(例如,导致负载不平衡的策略)可能导致某些专家训练不足,从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家,而不管不同令牌的相对重要性。为了解决这个问题,我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌,而不是让令牌选择前k个专家。因此,每个令牌可以被路由到可变数量的专家,并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速,发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本,我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本,我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts
Beijing University of Posts and Telecommunications(北京邮电大学)
针对联邦学习中的客户端异构性挑战,提出基于稀疏混合专家架构的个性化框架FedMoE,通过两阶段微调(启发式搜索构建子模型与模块化聚合)及全局专家推荐机制,有效解决数据异构问题并提升模型性能。
2024-08-21 cs.LG
ModuleFormer: Modularity Emerges from Mixture-of-Experts
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学);Mila/University of Montreal(米拉/蒙特利尔大学)
本文提出基于稀疏混合专家的模块化架构ModuleFormer,通过新损失函数从非精选数据中诱导模块性,实现了高效性、可扩展性和专业化三大能力。
2023-09-11 cs.AI cs.CL cs.LG
DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism
University of Washington(华盛顿大学);Cornell University(康奈尔大学)
DisagMoE通过解耦注意力与FFN层,优化模型放置与调度,提升MoE训练效率,实验显示在16节点8xH800集群上实现1.8倍加速。
2026-05-10 cs.AI cs.DC cs.LG
FlexMoE: Learning One-for-All Multi-Budget Expert Pruning for Flexible MoE Deployment
National University of Singapore(新加坡国立大学)
提出FlexMoE方法,通过专家通道重要性排序和离散动作学习,将预训练MoE大语言模型转换为嵌套子网络族,支持跨预算部署,在Qwen2-57B-A14B上剪枝50%路由专家参数仍保留约99.8%性能。
2026-11-19 cs.LG
SYMI: Efficient Mixture-of-Experts Training via Model and Optimizer State Decoupling
Stanford University(斯坦福大学);University of Colorado Boulder(科罗拉多大学博尔德分校);NVIDIA(英伟达);OpenAI(开放人工智能研究所);Enfabrica
SYMI通过解耦专家参数与优化器状态,静态分区优化器并动态调整参数放置,以最小开销实现每迭代资源优化,相比DeepSpeed和FlexMoE分别提速30.5%和25.9%的收敛。
2025-10-17 cs.DC cs.LG
FSMoE: A Flexible and Scalable Training System for Sparse Mixture-of-Experts Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Hong Kong University of Science and Technology(香港科技大学)
FSMoE提出统一抽象、协同调度和自适应梯度划分等技术,优化稀疏MoE模型训练的任务调度,在多种路由函数和真实模型上显著提升训练效率。
2025-01-18 cs.LG
Taming Latency-Memory Trade-Off in MoE-Based LLM Serving via Fine-Grained Expert Offloading
Stevens Institute of Technology(史蒂文斯理工学院);Rice University(Rice大学);University of Waterloo(多伦多大学);Rutgers University(罗格斯大学)
针对基于MoE的大语言模型服务中粗粒度专家卸载存在的延迟与内存权衡问题,提出细粒度专家卸载系统FineMoE,利用专家选择模式和输入语义指导卸载决策,显著降低推理延迟并提升专家命中率。
2025-10-04 cs.AI cs.DC cs.LG
ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference
School of Computer Science and Engineering, Beihang University, Beijing 100191, China(北京航空航天大学计算机科学与工程学院);Huawei Technologies Ltd(华为技术有限公司)
提出ReMoE路由器微调框架,通过偏向近期选中的专家实现时间稳定的路由,减少专家从外部存储的获取次数,在保持下游任务性能的同时提升专家重用26%,并在实际系统中实现8.4%的吞吐量提升和1.77-1.99倍的解码加速。
2026-05-26 cs.AI cs.DC cs.LG
Lazarus: Resilient and Elastic Training of Mixture-of-Experts Models
UC Berkeley(伯克利大学);NUS(新加坡国立大学);UMich(密歇根大学);AWS(亚马逊云科技);NVIDIA(英伟达);UCLA(加州大学洛杉矶分校);Duke(杜克大学)
针对MoE模型训练中故障频繁且现有方案缺乏弹性的问题,提出Lazarus系统,通过自适应专家副本分配和最优放置算法,实现故障后充分利用节点,性能提升最高达5.7倍。
2025-10-24 cs.DC cs.LG