MoESD: Unveil Speculative Decoding's Potential for Accelerating Sparse MoE
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
MoESD研究揭示了投机解码在加速稀疏MoE模型中的潜力,提出目标效率指标以更全面理解SD加速效果。
2026-02-16 cs.AI cs.LG
Dense2MoE: Pushing the Pareto Frontier of On-Device LLMs via Unified Pruning and Upcycling
Li Auto;The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出Dense2MoE框架,通过层融合升级(LF-UC)统一剪枝和升级,将密集LLM高效转换为设备端MoE模型,在推理延迟与准确性之间取得更优帕累托前沿。
2026-05-26 cs.AI cs.LG
ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学);Chinese University of Hong Kong(中国香港大学)
ExpertWeaver通过GLU激活模式解锁密集大语言模型中的内在MoE,提供无需训练的高效转换方法。
2026-02-17 cs.CL cs.LG
DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
Microsoft(微软)
由于巨型密集模型的训练触及了当今硬件资源的可用性和能力的边界,混合专家模型(MoE)模型成为最有前途的模型架构之一,因为与质量等效的密集模型相比,它们显著降低了训练成本。它的训练成本节省从编码器-解码器模型(以前的作品)到自动攻击语言模型的5倍节省(这项工作与并行探索一起)。然而,由于更大的模型大小和独特的架构,如何提供快速的MoE模型推理仍然是具有挑战性的和未解决的,限制了其实际应用。为了解决这个问题,我们提出了DeepSpeed-MoE,这是一个端到端的MoE训练和推理解决方案,作为DeepSpeed库的一部分,包括新颖的MoE架构设计和模型压缩技术,可将MoE模型大小减少多达3.7倍,以及高度优化的推理系统,与现有的MoE推理解决方案相比,延迟和成本降低了7.3倍。DeepSpeed-MoE提供了前所未有的规模和效率,可为大规模MoE模型提供服务,与质量相当的密集模型相比,推理速度快4.5倍,成本低9倍。我们希望我们的创新和系统有助于在大型模型领域开辟一条充满希望的新方向,从密集到稀疏的MoE模型,在这种情况下,用更少的资源训练和部署更高质量的模型变得更加可能。
2022-07-21 cs.AI cs.DC cs.LG
Complete-muE: Optimal Hyperparameter Transfer and Scaling for MoE Models
Adobe Research(Adobe研究院)
提出Complete-muE框架,通过双桥系统实现稠密FFN与混合专家(MoE)架构间的超参数迁移,支持MoE模型在激活专家数、总容量、粒度等方面的缩放,并验证了“一次调优稠密模型,迁移至所有MoE配置”的实用策略。
2026-09-29 cs.LG
MASKerade: Token-Routed Mask Experts for Dense-to-MoE Upcycling
Northeastern University(东北大学)
MASKerade通过冻结FFN上的学习掩码定义专家,实现稠密到MoE升级,在视觉语言基准上以较低计算成本达到最优性能。
2026-10-07 cs.LG
Continual Pre-training of MoEs: How robust is your router?
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);Concordia University(康科迪亚大学);University of Chicago(芝加哥大学);Capital One(Capital One公司)
本文通过大规模实验研究 MoE 大语言模型在持续预训练中的路由器稳健性,发现即使不进行重放,MoE 也能保持样本效率并接近完全重训性能。
2025-11-10 cs.AI cs.CL cs.LG
Spectral-MoE: Heterogeneous Per-Layer Expert Utilization in Dense-to-MoE Conversion
Stanford University(斯坦福大学)
Spectral-MoE 是一种密集转 MoE 的优化技术,通过异构分配每层专家利用率,在多个模型的 WikiText-2 困惑度和六任务平均准确率上均优于均匀分配,确立了新的优化维度。
2026-10-13 cs.LG
Pruning and Distilling Mixture-of-Experts into Dense Language Models
KRAFTON;KAIST(韩国科学技术院)
提出首个将混合专家(MoE)模型转换为标准密集架构的系统框架,通过专家评分、选择、分组、拼接和知识蒸馏,在参数匹配条件下比密集到密集剪枝平均下游准确率提升6.3个百分点,训练速度提升1.6倍。
2026-11-11 cs.AI cs.CL cs.LG
Analytical FFN-to-MoE Restructuring via Activation Pattern Analysis
The Chinese University of Hong Kong(香港中文大学);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出一种分析性后训练框架,通过小数据集将FFN重构为稀疏MoE,利用激活模式分析划分共享专家和路由专家,实现快速部署或轻量微调,实验显示在计算受限场景下速度提升达1.17倍。
2026-04-23 cs.AI cs.LG
EvoMoE: An Evolutional Mixture-of-Experts Training Framework via Dense-To-Sparse Gate
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Tencent Inc(腾讯公司)
混合专家(Mixture-of-Experts,MoE)由于其在提高模型质量,特别是在Transformers中的成功而越来越受欢迎。通过将具有稀疏门的令牌路由到少数专家(即,完整模型的一小部分),MoE可以容易地将模型参数增加到非常大的规模,同时将计算成本保持在恒定水平。现有的大多数工作只是初始化一些随机的专家,设置一个固定的门控策略(例如,Top-k),并以特定的方式从头开始训练模型。我们发现这些MoE模型存在专家不成熟和稀疏门不稳定的问题,不利于收敛性能。在本文中,我们提出了一个有效的端到端的MoE培训框架称为Evo MoE。EvoMoE从训练单个专家开始,逐渐演变成一个大而稀疏的MoE结构。EvoMoE主要包含两个阶段:专家多样化阶段,训练基础专家一段时间,并从中产生多个不同的专家,和门稀疏化阶段,学习自适应稀疏门,并激活动态数量的专家。EvoMoE自然地将专家和稀疏门的联合学习结合起来,并专注于在早期训练阶段与单个专家一起学习基础知识。然后,它多样化的专家,并继续训练的MoE与一个新的密集到稀疏门(DTS门)。具体来说,DTS-Gate不是使用永久的稀疏门,而是作为一个密集门开始,将令牌路由到所有专家,然后逐渐自适应地变得稀疏,同时路由到更少的专家。对三种流行的模型和任务进行了评估,包括用于掩码语言建模任务的RoBERTa,用于语言建模任务的GPT和用于机器翻译任务的Tr…
2022-10-09 cs.AI cs.LG
Efficient Large Scale Language Modeling with Mixtures of Experts
Meta AI
混合专家模型层(MoE)通过条件计算实现语言模型的有效缩放。本文提出了一个详细的实证研究,自回归MoE语言模型的规模与密集的模型相比,在广泛的设置:在域和域外的语言建模,零和Few-Shot启动,全镜头微调。除了微调之外,我们发现MoE的计算效率大大提高。在更适度的训练预算下,MoE可以使用少$\sim$ 4倍的计算来匹配密集模型的性能。这个差距缩小规模,但我们最大的MoE模型(1.1 T参数)始终优于计算等效的密集模型(6.7 B参数)。总的来说,这种性能差距在不同的任务和领域中变化很大,这表明MoE和密集模型以不同的方式进行推广,值得将来研究。我们公开我们的代码和模型供研究使用。
2022-10-26 cs.AI cs.CL cs.LG
GRIN: GRadient-INformed MoE
Microsoft(微软公司)
针对MoE模型离散专家路由阻碍梯度优化的问题,提出GRIN梯度感知训练方法,结合稀疏梯度估计与防令牌丢弃的并行策略,构建的小激活参数MoE模型性能匹配更大规模稠密模型,多基准测试表现优异。
2024-09-18 cs.AI cs.CL cs.LG
Symphony-MoE: Harmonizing Disparate Pre-trained Models into a Coherent Mixture-of-Experts
针对现有MoE升级方法专家多样性受限的问题,本文提出Symphony-MoE两阶段框架,融合多个架构相同但不同的预训练模型作为专家,通过层感知融合和激活对齐构建共享骨干,所获MoE在多域任务和分布外泛化上显著优于基线。
2025-11-12 cs.AI cs.LG
One Student Knows All Experts Know: From Sparse to Dense
National University of Singapore(新加坡国立大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
人类教育系统由多个专家培养一个学生。混合专家(Mixture-of-experts,MoE)是一种包含多个专家的强大稀疏体系结构。然而,稀疏MoE模型容易过拟合,难以部署,并且对于从业者来说不是硬件友好的。在这项工作中,受人类教育模型的启发,我们提出了一个新的任务,知识整合,以获得一个密集的学生模型(OneS)作为一个稀疏的MoE知识渊博。我们通过提出一个包括知识收集和知识蒸馏的一般培训框架来调查这一任务。具体来说,收集关键知识,从不同的预先训练的专家,我们首先研究了四种不同的可能的知识收集方法,\ie求和,平均,Top-K知识收集(Top-KG),奇异值分解知识收集(SVD-KG)在本文中提出的。然后,我们通过知识蒸馏来改进密集学生模型,以抵消来自收集的噪声。在ImageNet上,我们的OneS保留了$61.7\%$从MoE中获得的好处,并仅使用$15$ M参数实现了$78.4\%$ top-1精度ImageNet。在四个自然语言处理数据集上,OneS获得了$88.2\%$ MoE的优势,并通过使用相同架构和训练数据的$51.7\%$,获得了优于最佳基线的性能。此外,与MoE相比,OneS由于计算量小和硬件友好的架构,可以实现$3.7 \times$推理加速。
2022-10-25 cs.AI cs.CL cs.CV
Revisiting Generative vs. Dense Retrieval: A Static Value Prior Reverses the Gap
Shopify;University of Toronto(多伦多大学)
该研究对比生成式检索与密集检索在推荐任务中的表现,发现静态物品价值先验可逆转生成式检索的价值领先,且工业场景下大模型仍弱于小型密集编码器。
2026-11-06 cs.AI cs.IR cs.LG
SPRI: SVD-Partitioned Residual Initialization for Data-Constrained MoE Upcycling
Northeastern University, China(东北大学);Huawei TSC, China(华为技术有限公司);CUHK-Shenzhen, China(香港中文大学(深圳));University of Maryland, USA(马里兰大学);Harbin Engineering University, China(哈尔滨工程大学);Inclusion AI, Ant Group(蚂蚁集团Inclusion AI);NiuTrans Research, China(小牛翻译研究中心)
提出SPRI方法,利用预训练FFN权重的SVD分解残差初始化MoE专家,结合两阶段训练策略,在数据受限的多语言语音翻译任务中显著提升性能。
2026-06-16 cs.AI cs.LG
Output Dilution: Redundant but Fragile Representations in MoE Models
Distiller Labs(Distiller实验室)
该研究发现MoE模型对道德内容的编码看似稳健实则脆弱,归因于输出稀释,其稳健性比同等规模密集模型低4.2倍,且该脆弱性为架构性而非学习所得。
2026-08-27 cs.AI cs.CL cs.LG
Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient
University of Warsaw(华沙大学);Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学);Institute of Mathematics, Polish Academy of Sciences(波兰科学院数学研究所);Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所)
针对MoE模型在内存约束下的可扩展性与效率未被充分探索的问题,本研究提出纳入活跃参数数量等关键因素的联合缩放定律,通过超280次实验验证其理论预测,发现MoE模型可比密集模型更内存高效,为最优配置选择提供框架与可操作见解。
2025-02-19 cs.AI cs.CL cs.LG
Upcycling Instruction Tuning from Dense to Mixture-of-Experts via Parameter Merging
Beijing University of Posts and Telecommunications(北京邮电大学);Baidu Inc.(百度公司)
本文提出UpIT方法,利用指令微调中间检查点、遗传算法与参数合并,以数据高效方式将稠密模型升级为混合专家指令模型,并通过少量种子数据预优化路由器,实验验证其性能与扩展稳定性。
2024-10-02 cs.AI cs.CL cs.LG
DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Shanghai Jiao Tong University(上海交通大学)
DivMoE是首个实现细粒度MoE升级的框架,通过领域专用专家初始化与多样性约束路由,在15个基准测试中优于6个升级基线,性能接近更大规模的Moonlight-MoE模型。
2026-10-09 cs.AI cs.LG
Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers
本文提出Seg-MoE,通过分段式混合专家机制提升时间序列预测的准确性,验证了分段路由在捕捉长期时间动态中的有效性。
2026-03-14 cs.AI cs.LG
Sparsity and Superposition in Mixture of Experts
Arcadia Research Team(Arcadia研究团队)
该研究探讨了混合专家模型中稀疏性和叠加的关系,发现网络稀疏性更能表征MoE,并提出了基于单语义特征表示的专家专业化定义,表明适当初始化下专家会围绕一致特征组合组织,从而提升模型可解释性而不牺牲性能。
2025-12-25 cs.AI cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University(北京航空航天大学);The Institute of Acoustics of the Chinese Academy of Sciences(中国科学院声学研究所);Microsoft(微软)
稀疏混合专家模型(MoE)模型是强大的大规模预训练,并取得了可喜的成果,由于其模型容量。然而,由于参数数以万亿计,MoE很难部署在云或移动环境中。MoE的推理需要专家并行,这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务,这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中,我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法,逐步下降的目标下游任务的非专业专家,它保留了MoE的好处,同时减少MoE模型到一个单一的专家密集模型。我们的实验表明,微调的单专家模型可以保留99.3%的利益,从MoE在六种不同类型的任务,同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
MoEEdit: Efficient and Routing-Stable Knowledge Editing for Mixture-of-Experts LLMs
Tsinghua University(清华大学);Georgia Institute of Technology(佐治亚理工学院)
MoEEdit提出一种高效且路由稳定的知识编辑方法,用于稀疏混合专家语言模型,通过空空间投影和块坐标下降求解器实现高效率和稳定性。
2026-02-11 cs.LG
Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization
Institute of Science Tokyo(东京科学大学);Sakana AI;NII LLMC(信息学研究所语言与媒体计算实验室);Tohoku University(东北大学);RIKEN(理化学研究所)
针对 Upcycling 初始化 MoE 后长期训练缓慢的问题,提出部分权重重初始化的 Drop-Upcycling,以促进专家专门化,并以约四分之一训练 FLOPs 使 5.9B 活跃参数 MoE 媲美 13B 稠密模型。
2025-03-15 cs.AI cs.CL cs.LG
$\texttt{MoE-RBench}$: Towards Building Reliable Language Models with Sparse Mixture-of-Experts
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);MIT(麻省理工学院);Harvard University(哈佛大学);The Chinese University of Hong Kong(香港中文大学)
本文提出 MoE-RBench,首次从安全性、对抗鲁棒性和分布外鲁棒性三方面系统评估稀疏混合专家模型,发现通过优化训练设置可使其比稠密大语言模型更可靠。
2024-06-17 cs.CL cs.LG
Dense vs Sparse Pretraining at Tiny Scale: Active-Parameter vs Total-Parameter Matching
Independent Researcher(独立研究者)
本文研究了在微小预训练规模下密集和混合专家(MoE)Transformer的表现,通过比较主动参数与总参数匹配策略,发现MoE在主动参数匹配下验证损失更优,但总参数匹配下密集模型仍更优。
2026-05-13 cs.CL cs.LG
MoE-DisCo:Low Economy Cost Training Mixture-of-Experts Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
MoE-DisCo通过分阶段训练框架,利用低成本硬件降低混合专家模型训练成本,同时在多个任务上实现性能提升。
2026-01-11 cs.AI cs.LG
BAM! Just Like That: Simple and Efficient Parameter Upcycling for Mixture of Experts
Cohere For AI;Cohere;University of Oxford(牛津大学)
针对稠密模型转MoE时仅能复用FFN层参数的局限,提出BAM方法,通过复用注意力参数构建MoA层、采用并行注意力架构提升效率,在相同计算数据约束下性能优于基线。
2024-08-17 cs.LG
UMM-RM: An Upcycle-and-Merge MoE Reward Model for Mitigating Reward Hacking
Guangxi University(广西大学)
UMM-RM通过升级和合并MoE架构,提升奖励模型的鲁棒性和抗利用性,减少奖励黑客并提高偏好一致性。
2026-10-14 cs.IR cs.LG
Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers
University of Texas at Austin(德克萨斯大学奥斯汀分校)
尽管巨大的Transformers取得了显着的成就,但它们也遇到了显着的缺点,包括训练过程中过高的计算和内存占用,以及高度的参数冗余所证明的严重崩溃。稀疏激活的混合专家(SMoE)已经显示出缓解训练效率问题的希望,但它们容易出现(1)由于代表性崩溃而导致的冗余专家;以及(2)推理和下游微调的专家可扩展性差,主要是由于在训练期间学习的路由策略过度拟合激活的专家数量。由于最近的研究工作主要集中在改进路由策略以鼓励专家专业化,这项工作的重点是探索被忽视的SMoE的可扩展性瓶颈,并利用它来有效地扩展密集Transformers。为此,我们提出了一个新的即插即用的训练框架,SMoE-Dropout,使缩放Transformers,以更好的准确性,在其全部容量没有崩溃。具体来说,SMoE-Dropout由一个随机初始化和固定的路由器网络组成,用于激活专家,并随着训练的进行逐渐增加激活的专家数量。经过SMoE-Dropout训练的Transformers自然会表现出受资源可用性影响的自我瘦身特性,在推理或微调期间,随着激活专家的增加,可提供平稳一致的性能提升。我们广泛的实验表明,与具有相同参数计数的密集训练基线相比,SMoE-Dropout具有卓越的性能和大量的计算节省。特别是,我们训练的BERT在具有挑战性的推理任务{ASDiv-A,MAWPS,SVAMP}上分别以{1.03%,0.78%,1…
2023-03-02 cs.LG
From Sparse to Soft Mixtures of Experts
Google DeepMind(谷歌DeepMind)
本文提出Soft MoE,一种完全可微分的稀疏Transformer,通过隐式软分配解决传统MoE的训练不稳定、令牌丢弃等问题,在视觉识别中大幅超越密集Transformer和现有MoE,并以极小推理开销实现参数规模大幅扩展。
2024-05-27 cs.AI cs.CV cs.LG
Mobile V-MoEs: Scaling Down Vision Transformers via Sparse Mixture-of-Experts
Apple(苹果公司)
本文提出一种移动友好的稀疏混合专家设计Mobile V-MoEs,通过整图路由和超类引导的稳定训练,在资源受限场景下使视觉Transformer在性能与效率间取得更优平衡。
2023-09-08 cs.CV cs.LG stat.ML
Nexus: Specialization meets Adaptability for Efficiently Training Mixture of Experts
Cohere for AI;University of Oxford(牛津大学);Cohere
提出增强型MoE架构Nexus,通过自适应路由将稠密专家模型升级回收,实现高效专业化并支持灵活添加新专家,在初始升级和扩展新专家上分别获得2.1%和18.8%的相对增益。
2024-08-28 cs.AI cs.CL cs.LG
Scaling Laws for Fine-Grained Mixture of Experts
University of Warsaw(华沙大学);IDEAS NCBR;IPPT PAN(波兰科学院物理化学研究所);TradeLink;Nomagic
本文引入粒度超参数以精确控制专家大小,建立了细粒度混合专家模型的缩放定律,推导出给定计算预算下的最优训练配置,并证明MoE模型优于稠密Transformer且效率优势随规模扩大而增加。
2024-02-12 cs.AI cs.CL cs.LG
Scalable and Efficient MoE Training for Multitask Multilingual Models
Microsoft(微软)
混合专家模型(MoE)模型是一类新兴的稀疏激活的深度学习模型,其具有关于其参数的次线性计算成本。与密集模型相比,MoE的稀疏架构提供了大幅增加模型大小的机会,具有显著的精度增益,同时消耗低得多的计算预算。然而,支持大规模MoE培训也有其自身的一系列系统和建模挑战。为了克服挑战并拥抱MoE的机遇,我们首先开发了一个能够有效地将MoE模型扩展到数万亿参数的系统。它将多维并行和异构内存技术与MoE和谐地结合在一起,与现有工作相比,在相同的硬件上支持8倍大的模型。除了提高系统的效率,我们还提出了新的训练方法,以提高MoE样本效率和利用专家修剪策略,以提高推理时间效率。通过将高效的系统和训练方法相结合,我们能够显着扩展用于语言生成的大型多任务多语言模型,从而大大提高模型的准确性。使用50种语言的100亿个参数训练的模型可以在机器翻译(MT)和多语言自然语言生成任务中实现最先进的性能。高效MoE培训的系统支持已通过DeepSpeed库实现并开源。
2021-09-22 cs.AI cs.CL cs.LG
Scaling Vision with Sparse Mixture of Experts
Google Brain(谷歌大脑)
稀疏选通的混合专家模型网络(MoE)在自然语言处理中表现出良好的可扩展性。然而,在计算机视觉中,几乎所有的性能网络都是“密集”的,即每个输入都由每个参数处理。我们提出了一个视觉MoE(V-MoE),一个稀疏版本的视觉Transformer,这是可扩展的和最大的密集网络的竞争力。当应用于图像识别时,V-MoE与最先进的网络的性能相匹配,同时在推理时只需要一半的计算。此外,我们提出了一个扩展的路由算法,可以优先考虑每个输入的子集在整个批次,导致自适应每图像计算。这使得V-MoE能够在测试时权衡性能并顺利计算。最后,我们展示了V-MoE缩放视觉模型的潜力,并在ImageNet上训练了一个达到90.35%的15 B参数模型。
2021-06-10 cs.CV cs.LG stat.ML
Improving Parameter Utilization by Sharing Neural Experts Across Layers in Transformers
China Electronics Cloud Technology Co., Ltd.(中国电子云科技有限公司)
针对Transformer层间参数冗余,提出跨层共享专家的CS-MoE架构,实现更低困惑度并仅激活55%参数,为计算受限环境提供高效方案。
2026-09-22 cs.AI cs.LG
Double-Stage Feature-Level Clustering-Based Mixture of Experts Framework
Faculdade de Ciências da Universidade de Lisboa(里斯本大学理学院);LASIGE
本文提出 DFCP-MoE 框架,通过双阶段特征级聚类与伪标签策略降低噪声影响并利用少量标签数据,结合条件端到端联合训练提升专家专业化,在三个基准数据集上取得有竞争力的多类分类结果。
2025-03-12 cs.AI cs.CV cs.LG
SERE: Similarity-based Expert Re-routing for Efficient Batch Decoding in MoE Models
Taobao & Tmall Group of Alibaba(淘宝与天猫集团);Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
SERE通过基于相似性的专家重新路由方法,提升MoE模型在批量解码中的效率,实现2倍速度提升并减少质量损失。
2026-02-07 cs.AI cs.LG
Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution
University of California, Berkeley(加州大学伯克利分校);Advanced Micro Devices, Inc.(先进微器件公司)
本文研究了混合专家模型中专家内部激活稀疏性,通过利用这种未被探索的稀疏性维度,提高了模型执行效率,实现了2.5倍的层执行速度提升和1.2倍的端到端速度提升。
2026-05-09 cs.AI cs.LG
DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices
Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China(计算机科学与技术系,人工智能研究院,清华大学,北京,中国)
本文提出DECO,一种稀疏的专家混合模型,能够在相同的总参数预算和训练token数量下,实现与密集Transformer相当的性能,并在端侧设备上实现高效部署。
2026-05-20 cs.CL cs.LG
Is Temperature Sample Efficient for Softmax Gaussian Mixture of Experts?
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对密集到稀疏门控高斯MoE的参数估计收敛慢问题,提出带激活函数的新型门控机制,将收敛速度从慢于多项式提升至多项式速度,并通过仿真验证了理论结论。
2024-06-24 cs.LG stat.ML
Sparse Mixers: Combining MoE and Mixing to build a more efficient BERT
Google Research(谷歌研究院)
我们将稀疏门控混合专家(MoE)的能力与线性混合变换的速度和稳定性相结合,设计了稀疏混合器编码器模型。Sparse Mixer在GLUE和SuperGLUE上的表现略优于(<1%)BERT,但更重要的是,训练速度快了65%,推理速度快了61%。我们还提出了一个更快的变体,简单地命名为快速稀疏混合器,它在SuperGLUE上的性能略低于BERT,但训练和运行速度几乎是它的两倍。我们证明这两个模型的设计仔细烧蚀通过各种混合机制,MoE配置和超参数。Sparse Mixer克服了MoE模型的许多延迟和稳定性问题,并提供了服务稀疏学生模型的前景,而无需将其提取为密集变体。
2022-10-13 cs.CL cs.LG
Twins: Revisiting the Design of Spatial Attention in Vision Transformers
Meituan Inc.(美团公司);The University of Adelaide(阿德莱德大学)
最近,各种各样的视觉Transformer架构密集的预测任务已经提出,他们表明,空间注意力的设计是至关重要的,他们在这些任务中的成功。在这项工作中,我们重新审视了空间注意力的设计,并证明了一个精心设计的,但简单的空间注意力机制表现良好,对国家的最先进的计划。因此,我们提出了两个视觉Transformer架构,即双PCPVT和双SVT。我们提出的架构高效且易于实现,仅涉及在现代深度学习框架中高度优化的矩阵乘法。更重要的是,所提出的架构在广泛的视觉任务上实现了出色的性能,包括图像级分类以及密集检测和分割。简单性和强大的性能表明,我们提出的架构可以作为许多视觉任务的更强大的骨干。我们的代码发布在https://github.com/Meituan-AutoML/Twins。
2021-09-30 cs.AI cs.CV cs.LG
PADD: Path-Aligned Decompression Distillation for Non-Router Teacher to Guide MoE Student Learning
University of Science and Technology of China(中国科学技术大学)
提出路径对齐解压缩蒸馏(PADD)框架,通过四阶段两阶段流程将密集教师知识蒸馏到混合专家(MoE)学生中,同时学习高质量路由策略,在数学推理任务上显著优于基线。
2026-06-09 cs.CL cs.LG
Mixture-of-Experts Models in Vision: Routing, Optimization, and Generalization
Department of Information Technology, Uppsala University, Uppsala, Sweden(乌普萨拉大学信息科技系);Scaleout Systems, Uppsala, Sweden(Scaleout系统)
本文研究了视觉任务中MoE模型的路由、优化与泛化能力,通过实验比较不同MoE变体在图像分类中的性能,发现SoftMoE在尖锐度指标上表现更优,同时指出稀疏MoE在实际效率上存在理论与实践的差距。
2026-01-21 cs.CV cs.LG
Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
Stanford University(斯坦福大学);Paul G. Allen School of Computer Science, University of Washington(华盛顿大学保罗·G·艾伦计算机科学学院)
本文研究数据重复对混合专家模型的影响,发现其比密集模型过拟合更严重,且随稀疏性加剧;强掩码正则化可缓解,但无法完全替代唯一数据。
2026-10-08 cs.CL cs.LG
Sparse Backpropagation for MoE Training
Microsoft Research(微软研究院);Microsoft Azure AI(微软Azure人工智能部门)
针对MoE模型反向传播需稠密计算与稀疏专家路由不匹配的问题,提出基于数值ODE框架中点法的SparseMixer梯度估计器,可低开销近似被忽略的梯度项,在Switch Transformer任务中使训练收敛速度最高提升2倍。
2023-10-01 cs.AI cs.CL cs.CV
Secret mixtures of experts inside your LLM
Wharton School of Statistics and Data Science at the University of Pennsylvania(宾夕法尼亚大学沃顿统计与数据科学学院)
本文提出LLM中MLP层可能通过稀疏计算近似MoE结构,并通过实验验证激活分布对结果的影响,揭示了MLP和MoE的有效性原理。
2025-12-20 cs.AI cs.LG stat.ML
MoEMoE: Question Guided Dense and Scalable Sparse Mixture-of-Expert for Multi-source Multi-modal Answering
Amazon(亚马逊);CMT Systems(CMT系统);International Machine Learning(国际机器学习团队)
本文提出MoEMoE框架,通过问题引导的注意力机制和稀疏专家混合模型,解决多源多模态问答中的答案来源选择与可扩展性问题,并在多个数据集上验证了有效性。
2025-03-08 cs.CL cs.LG
MiLo: Efficient Quantized MoE Inference with Mixture of Low-Rank Compensators
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
MiLo通过混合低秩补偿器和自适应秩选择策略恢复极端量化MoE模型的精度损失,并开发3比特Tensor Core内核实现高效推理,在多个SoTA MoE模型上优于现有方法。
2025-04-07 cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia(微软亚洲研究院)
专家稀疏混合算法(MoE)以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家,并利用门控路由网络使专家有条件地激活。然而,随着专家数量的增长,具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重,从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中,我们提出了混合专家集群-一种通用的方法,使专家层学习更多样化和适当的知识,通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明,MoEC能够提高机器翻译和自然语言理解任务的性能,并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG