Beyond the Previous Layer: Residual Predictive Structure in Sparse MoE Routing
The University of Electro-Communications(电气通信大学)
本研究探究稀疏MoE路由中,更早的专家选择是否比仅用前一次选择更能预测下一路由器,实验表明扩展历史可显著提升预测精度,揭示了超越相邻层的残差预测结构。
2026-09-17 cs.LG
EPnG: Adaptive Expert Prune-and-Grow for Parameter-Efficient MoE Fine-tuning
Ulsan National Institute of Science & Technology (UNIST)(蔚山科学技术院)
提出EPnG框架,基于路由器门控概率动态分配LoRA容量,剪枝低效专家并扩展重要专家,在固定参数预算下超越LoRA,性能媲美全微调。
2026-07-03 cs.AI cs.LG
Output Dilution: Redundant but Fragile Representations in MoE Models
Distiller Labs(Distiller实验室)
该研究发现MoE模型对道德内容的编码看似稳健实则脆弱,归因于输出稀释,其稳健性比同等规模密集模型低4.2倍,且该脆弱性为架构性而非学习所得。
2026-08-27 cs.AI cs.CL cs.LG
Robust Heterogeneous Analog-Digital Computing for Mixture-of-Experts Models with Theoretical Generalization Guarantees
Rensselaer Polytechnic Institute(拉特克利夫理工学院);IBM Research(IBM研究院)
本文提出一种无需重新训练的异构计算框架,通过数字计算处理噪声敏感的专家和密集激活模块,以提高大规模混合专家模型在模拟非理想特性下的鲁棒性和效率。
2026-03-03 cs.AI cs.LG
Hierarchical Mixture-of-Experts with Two-Stage Optimization
BRAIn Lab(BRAIn实验室)
本文提出Hi-MoE分层专家混合框架,通过双阶段优化解决路由负载均衡与专家专业化之间的矛盾,提升模型稳定性和表现。
2026-05-08 cs.AI cs.LG math.OC
Capacity-Aware Inference: Mitigating the Straggler Effect in Mixture of Experts
University of Maryland, College Park(马里兰大学学院公园分校);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
本文提出容量感知令牌丢弃和扩展丢弃方法,通过减少专家负载不平衡提升混合专家模型的推理效率和性能。
2026-05-11 cs.AI cs.CL cs.LG
SpecMD: A Comprehensive Study On Speculative Expert Prefetching
Apple(苹果公司)
SpecMD研究了MoE缓存策略,提出Least-Stale算法,显著提升缓存命中率和TTFT性能。
2026-02-03 cs.AI cs.LG
Table-based Fact Verification with Self-adaptive Mixture of Experts
Tsinghua University(清华大学);THiFLY Research(THiFLY研究院);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
基于表格的事实验证问题近年来得到了广泛的关注,但仍然是一个非常具有挑战性的问题。它内在地需要对自然语言的信息推理以及对表的不同数值和逻辑推理(例如,计数、最高级、比较级)。考虑到这一点,我们利用混合专家,本文提出了一种新的方法:自适应混合专家网络(SaMoE)。具体来说,我们已经开发了一个混合的专家神经网络,以识别和执行不同类型的推理-网络是由多个专家,每个处理的语义推理的特定部分,而管理模块被应用于决定每个专家网络的贡献的验证结果。提出了一种自适应的方法,使管理模块能够在不需要外部知识的情况下,更有效地结合不同专家的结果进行教学。实验结果表明,我们的框架在基准数据集TabFact上达到了85.1%的准确率,与以前的最先进的模型相当。我们希望我们的框架可以作为一个新的基线基于表的验证。我们的代码可在www.example.com上获得。
2022-04-19 cs.AI cs.CL cs.LG
HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
Department of Computer Science and Technlogy(计算机科学与技术系);Tsinghua University(清华大学);School of Computer Science and Technlogy(计算机科学与技术系);Xi’an Jiaotong University(西安交通大学);The State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高科技区(滨江)区块链与数据安全研究院)
本文提出HELLoRA,一种针对混合专家模型的层级低秩适应方法,通过仅对最活跃的专家添加LoRA模块,减少可训练参数和计算量,同时提升下游任务性能。
2026-05-11 cs.AI cs.LG
Efficiently Editing Mixture-of-Experts Models with Compressed Experts
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软公司)
针对MoE模型激活专家存在冗余的问题,提出用轻量压缩专家替代辅助激活专家的方法,可在保留90%以上性能的同时减少超30%激活参数、节省20%推理成本,助力资源受限场景部署。
2025-09-03 cs.AI cs.LG
On the Spatial Structure of Mixture-of-Experts in Transformers
AI Center, Skoltech(斯科尔科沃科技学院人工智能中心);AIRI(人工智能研究所(AIRI))
本文通过实证分析揭示Transformer中MoE路由不仅依赖语义特征,位置信息同样关键,并给出机理解释与实践启示。
2025-04-06 cs.AI cs.CL cs.LG
Peirce in the Machine: How Mixture of Experts Models Perform Hypothesis Construction
Purdue University(普渡大学)
本文探讨了混合专家模型在假设构造中的表现,指出其函数容量优势,并通过实验验证其在归纳推理中的有效性。
2024-06-24 cs.AI cs.LG
Every Expert Matters: Towards Effective Knowledge Distillation for Mixture-of-Experts Language Models
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));AITRICS
针对MoE语言模型压缩中未激活专家知识未被有效利用的问题,提出KA和SAR两种专用KD方法,通过采样增强和路由器训练提取所有专家知识,实验证明其优于传统KD方法。
2025-02-18 cs.AI cs.CL cs.LG
Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Salesforce AI Research(Salesforce人工智能研究院);Shanghai Jiao Tong University(上海交通大学);CPII under InnoHK(InnoHK下属CPII);CUHK MMLab(香港中文大学MMLab)
本文针对混合专家大语言模型部署困难的问题,首次提出了即插即用的任务无关与任务特定专家剪枝及跳过训练后方法,在不依赖特定硬件的情况下有效减小了模型规模并加快了推理速度,同时保持了模型性能。
2024-05-30 cs.AI cs.CL cs.LG
Multi-Head Mixture-of-Experts
Tsinghua University(清华大学);Microsoft Research(微软研究院)
针对SMoE存在的专家激活率低和单token多语义概念分析能力不足的问题,提出多头混合专家(MH-MoE),通过多头机制将token拆分为子token并行交由多专家处理并重组,显著提升专家激活率与上下文理解能力。
2024-04-23 cs.AI cs.CL cs.LG
Does Mixture-of-Experts Actually Help Inference on Consumer and Edge Hardware? An Empirical Study
TSAI Lab, University of New Brunswick, Fredericton, NB, Canada(TSAI实验室,新不伦瑞克大学,弗雷德里克顿,NB,加拿大);Analytics Everywhere Lab, University of New Brunswick, Fredericton, NB, Canada(全方位分析实验室,新不伦瑞克大学,弗雷德里克顿,NB,加拿大)
通过实测OLMoE-1B-7B与稠密模型在Apple M2 Pro和Jetson Orin Nano上的性能,发现MoE的活跃参数优势在笔记本电脑上部分实现,在边缘设备上完全丧失,推理成本与总参数而非活跃参数相关。
2026-07-10 cs.AI cs.PF
Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学)
针对稀疏混合专家模型静态Top-k专家选择导致的脆弱边界问题,提出弹性专家路由方法,在两类训练场景下均提升了模型下游任务性能。
2026-10-14 cs.CL cs.LG
MixtureKit: A General Framework for Composing, Training, and Visualizing Mixture-of-Experts Models
MBZUAI(马克斯·普朗克智能系统研究所)
MixtureKit提供了一种通用框架,用于组合、训练和可视化混合专家模型,通过三种方法提升模型性能与灵活性。
2025-12-13 cs.AI cs.LG
ROMER: Expert Replacement and Router Calibration for Robust MoE LLMs on Analog Compute-in-Memory Systems
The Department of Electrical and Computer Engineering, The University of Hong Kong(香港大学电子与计算机工程系);The School of Integrated Circuit Science and Engineering, Beihang University(北航集成电路科学与工程学院)
ROMER通过专家替换和路由校准缓解模拟计算-内存系统中MoE大语言模型的噪声影响,显著降低困惑度。
2026-05-12 cs.CL cs.LG
MoEC: Mixture of Expert Clusters
Microsoft Research Asia(微软亚洲研究院)
专家稀疏混合算法(MoE)以其良好的扩展能力和可承受的计算开销而受到广泛关注。MoE将密集层转换为稀疏专家,并利用门控路由网络使专家有条件地激活。然而,随着专家数量的增长,具有离谱参数的MoE遭受过拟合和稀疏数据分配。这些问题在数据有限的任务中尤其严重,从而阻碍了MoE模型通过扩大规模来提高性能的进展。在这项工作中,我们提出了混合专家集群-一种通用的方法,使专家层学习更多样化和适当的知识,通过施加基于方差的约束路由阶段。我们进一步提出了一个专门为专家集群结构设计的集群级专家退出策略。实验结果表明,MoEC能够提高机器翻译和自然语言理解任务的性能,并在有限数据下提高扩展专家的性能上限.我们还验证了MoEC在缓解过拟合和稀疏数据分配方面起着积极的作用。
2022-07-19 cs.CL cs.LG
PERFT: Parameter-Efficient Routed Fine-Tuning for Mixture-of-Expert Model
Technical University of Munich(慕尼黑工业大学);Ludwig Maximilian University of Munich(慕尼黑大学);University of Cambridge(剑桥大学)
本文提出统一框架将 PEFT 模块直接集成到 MoE 机制中,并引入专为 MoE 模型定制的参数高效路由微调策略族 PERFT,实验证明了其有效性与可扩展性。
2024-11-12 cs.AI cs.LG
Mixture-of-Experts with Expert Choice Routing
Google(谷歌)
稀疏激活的混合专家模型(MoE)模型允许参数的数量大大增加,同时保持给定令牌或给定样本的计算量不变。然而,较差的专家路由策略(例如,导致负载不平衡的策略)可能导致某些专家训练不足,从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家,而不管不同令牌的相对重要性。为了解决这个问题,我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌,而不是让令牌选择前k个专家。因此,每个令牌可以被路由到可变数量的专家,并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速,发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本,我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本,我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
How Many Experts Are Enough? Towards Optimal Semantic Specialization for Mixture-of-Experts
MASS通过自适应语义专业化和动态路由策略,优化混合专家架构的语义分化,提升模型性能和领域鲁棒性。
2025-12-21 cs.AI cs.LG
Mixture of Diverse Size Experts
Xiaomi AI Lab(小米AI实验室)
本文提出多样尺寸专家混合(MoDSE)架构,通过不同尺寸专家和专家对分配策略,在保持总参数和专家数不变的情况下,提升大语言模型性能并均匀分配GPU工作负载。
2024-09-18 cs.AI cs.LG
LSTM-based Mixture-of-Experts for Knowledge-Aware Dialogues
University of Amsterdam(阿姆斯特丹大学);Xerox Research Centre Europe(施乐欧洲研究中心)
我们介绍了一种基于LSTM的方法,动态集成多个单词预测专家,以获得一个条件语言模型,它可以同时在几个子任务。我们说明了这种一般的方法与对话的应用程序,我们集成了神经聊天模型,善于对话方面,与神经问答模型,善于从知识库检索精确的信息,并显示集成如何结合的优势,独立的组件。我们希望这篇有重点的文章能引起人们对在NLP中使用这种专家组合的好处的关注。
2016-05-05 cs.AI cs.CL
GatePro: Parameter-Free Expert Selection Optimization for Mixture-of-Experts Models
ByteDance Seed(字节跳动种子);UC Berkeley(伯克利大学)
GatePro是一种无参数方法,通过识别相似专家对并引入局部竞争机制,直接促进专家选择多样性,减少冗余计算,提升MoE模型的有效容量和性能。
2025-10-15 cs.CL cs.LG
Mixture of Raytraced Experts
提出光线追踪专家混合架构,通过动态选择专家序列生成可变计算图,无需负载均衡即可在减少训练轮数的同时提升精度。
2025-07-16 cs.AI cs.LG
On the Representation Collapse of Sparse Mixture of Experts
Beijing Institute of Technology(北京理工大学);Microsoft Corporation(微软公司);Peking University(北京大学);Microsoft Research(微软研究院)
稀疏的混合专家模型提供了更大的模型容量,同时需要恒定的计算开销。它采用路由机制,将输入令牌分配给最佳匹配的专家,根据他们的隐藏表示。然而,学习这样的路由机制鼓励令牌聚集在专家质心周围,这意味着表示坍塌的趋势。在这项工作中,我们建议估计令牌和专家之间的路由分数的低维超球体。我们对跨语言语言模型的预训练和下游任务的微调进行了广泛的实验。七个多语言基准测试的实验结果表明,我们的方法实现了一致的收益。我们还提出了一个全面的分析,我们的模型的代表性和路由行为。我们的方法避免了表示坍塌的问题,并实现了更一致的路由比基准的混合专家的方法。
2022-10-12 cs.CL cs.LG
CoSMoEs: Compact Sparse Mixture of Experts
Meta Reality Labs(元宇宙实验室);Meta GenAI(元生成式人工智能部门)
本文提出CoSMoEs框架,通过权重分解专家提升设备端MoE模型质量,并优化内存卸载以降低推理延迟,证明其在公平评估下优于FLOP对齐的稠密模型。
2025-02-28 cs.CL cs.LG
MC#: Mixture Compressor for Mixture-of-Experts Large Models
Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系);School of Computing, National University of Singapore(新加坡国立大学计算机学院);NVIDIA Research(NVIDIA研究)
提出MC#框架,结合静态混合精度量化(PMQ)与动态专家剪枝(OTP),在DeepSeek-VL2上实现6.2倍权重压缩且精度仅降1.7%,有效降低MoE大模型的存储与计算开销。
2025-10-13 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University(厦门大学);Tencent Hunyuan(腾讯混元);Soochow University(苏州大学)
该研究针对混合专家(MoE)模型,提出LatentMoE框架,通过分析专家几何特性确定最优专家形状,并用分层固有维度指导容量分配,提升了模型性能。
2026-10-14 cs.AI cs.LG
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan(腾讯混元);Tokyo Institute of Technology(东京工业大学);University of Macau(澳门大学)
本文提出异构专家混合模型HMoE,通过不同大小的专家处理不同复杂度的令牌,并设计训练目标促进小专家激活,以更少参数实现更低损失,超越传统同质MoE。
2024-08-20 cs.CL cs.LG
Preferential Mixture-of-Experts: Interpretable Models that Rely on Human Expertise as much as Possible
Harvard University(哈佛大学);Microsoft Research(微软研究院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Sienna(锡耶纳大学)
我们提出了优先MoE,这是一种新的人类-ML混合专家模型,仅在预测性能需要时才使用基于数据的分类器来增强人类在决策方面的专业知识。我们的模型展示了一个可解释的门控函数,它提供了关于何时应该遵循或避免人类规则的信息。最大化门函数以使用基于人的规则,并最小化分类错误。我们提出解决一个耦合的多目标问题的凸子问题。我们开发近似算法,并研究其性能和收敛性。最后,我们展示了优先MoE在两个临床应用中的效用,用于治疗人类免疫缺陷病毒(HIV)和管理重度抑郁症(MDD)。
2021-01-13 cs.AI cs.LG
Task-Specific Expert Pruning for Sparse Mixture-of-Experts
Beihang University(北京航空航天大学);The Institute of Acoustics of the Chinese Academy of Sciences(中国科学院声学研究所);Microsoft(微软)
稀疏混合专家模型(MoE)模型是强大的大规模预训练,并取得了可喜的成果,由于其模型容量。然而,由于参数数以万亿计,MoE很难部署在云或移动环境中。MoE的推理需要专家并行,这不是硬件友好和通信昂贵。特别是对于资源有限的下游任务,这种稀疏结构不得不牺牲大量的计算效率来获得有限的性能增益。在这项工作中,我们观察到大多数专家几乎没有贡献的MoE微调和推理。我们进一步提出了一个一般的方法,逐步下降的目标下游任务的非专业专家,它保留了MoE的好处,同时减少MoE模型到一个单一的专家密集模型。我们的实验表明,微调的单专家模型可以保留99.3%的利益,从MoE在六种不同类型的任务,同时享受2倍的推理速度与免费的通信成本。
2022-06-02 cs.AI cs.LG
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);INF Technology(INF科技);Hong Kong University of Science and Technology(香港科技大学)
针对混合专家模型中稀疏性与专家知识可用性之间的矛盾,提出基于Hypernetworks的HyperMoE框架,利用未选中专家的信息生成补充模块进行知识迁移,在保持稀疏性的同时显著提升了模型性能。
2024-07-25 cs.AI cs.LG
When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models
Department of Computer Science and Engineering, POSTECH, South Korea(韩国POSTECH计算机科学与工程系);Graduate School of Artificial Intelligence, POSTECH, South Korea(韩国POSTECH人工智能研究生院);Microsoft Research Asia, Beijing, China(中国北京微软亚洲研究院)
研究探讨了混合专家模型中路由选择的质量评估,发现标准路由在自信 token 上表现良好,但在脆弱 token 上存在误分配问题,通过更新路由层可提升模型性能。
2026-05-08 cs.CL cs.LG
MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
MetaMoE通过利用公共代理数据统一独立训练的领域专家,解决隐私约束下混合专家训练的挑战,采用多样性感知的代理选择方法提升专家协调性。
2026-05-14 cs.AI cs.CL cs.CR
Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
本研究提出用路由器梯度敏感性替代激活频率来识别稀疏MoE大语言模型中的安全敏感专家,实验表明该方法在多种架构和预算下能更有效地降低恶意提示的拒绝率,且不损害生成质量。
2026-10-05 cs.AI cs.CR cs.LG
Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
School of Engineering (STI)(工程学院);Laboratory of Applied Photonics Devices (LAPD)(应用光子器件实验室);Optics Laboratory(光学实验室)
本文提出SMoE-VAE架构,通过无监督专家路由在QuickDraw数据集上发现超越人类定义的子类别结构,揭示数据量与专家特化的权衡,为MoE架构设计提供指导。
2025-09-12 cs.AI cs.LG
Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
Aleph Alpha
本文提出精确分位数均衡(EQB)与负载误差注入(LEI),分别改进MoE训练的全局与局部负载均衡,在7.5B参数模型上提升性能并优于GShard损失。
2026-09-24 cs.CL cs.LG
MoDE: A Mixture-of-Experts Model with Mutual Distillation among the Experts
Ant Group(蚂蚁集团);Zhejiang University(浙江大学)
针对混合专家(MoE)模型因门控路由导致专家视野狭窄、泛化能力受限的问题,提出专家间相互蒸馏的MoDE模型,经多领域实验验证有效,并通过专家探测揭示其作用机理。
2024-01-31 cs.AI cs.LG
Rethinking Routing Exploration in Modern Mixture-of-Experts
ETH Zurich(苏黎世联邦理工学院);The University of Hong Kong(香港大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);WU Vienna(维也纳经济大学)
本文针对现代MoE架构中细粒度专家分割与共享专家间的探索困境,提出MirrorMoE通过token自适应抑制不必要专家缩小探索空间,在各模型规模下均提升性能。
2026-10-16 cs.AI cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China(科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题,提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架,并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
Mixture of Lookup Experts
Peking University(北京大学)
提出查找专家混合(MoLE)架构,通过将训练好的专家重新参数化为查找表并卸载,推理时直接检索结果,在保持性能的同时实现低通信开销和快速推理。
2025-05-25 cs.CL cs.LG
Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM
FAIR at Meta(Meta FAIR)
该研究提出名为Branch-Train-MiX(BTX)的大语言模型高效训练方法,通过种子模型分支并行训练多领域专家、整合参数后做MoE微调,实现了更优的准确率与效率权衡。
2024-03-12 cs.AI cs.CL
Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts
Institute of Science Tokyo(东京科学研究院);CyberAgent;Nara Institute of Science and Technology(奈良科学技術大學)
提出kNN-MoE框架,通过检索历史相似案例的局部最优专家分配来增强MoE路由,使用检索邻居的平均相似度作为置信度混合系数,在分布偏移下提升鲁棒性。
2026-05-25 cs.AI cs.CL
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup(蚂蚁集团);Peking University(北京大学)
OrdMoE通过利用混合专家架构中的内在信号,实现多模态混合专家语言模型的零成本偏好对齐,无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts
The University of Tokyo(东京大学)
$\infty$-MoE通过在连续空间中选择参数部分,实现无限专家的高效训练,提升模型准确率和灵活性。
2026-01-25 cs.CL cs.LG
Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution
University of California, Berkeley(加州大学伯克利分校);Advanced Micro Devices, Inc.(先进微器件公司)
本文研究了混合专家模型中专家内部激活稀疏性,通过利用这种未被探索的稀疏性维度,提高了模型执行效率,实现了2.5倍的层执行速度提升和1.2倍的端到端速度提升。
2026-05-09 cs.AI cs.LG
SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts
Stanford University(斯坦福大学);Google(谷歌);NVIDIA(英伟达)
本文提出 SEER-MoE 两阶段框架,通过 heavy-hitters 计数引导裁剪专家并结合正则化微调,降低预训练 MoE 的内存、计算与激活专家数,且几乎不损失精度。
2024-04-07 cs.CL cs.LG
MoE-Inference-Bench: Performance Evaluation of Mixture of Expert Large Language and Vision Models
Argonne National Laboratory(阿贡国家实验室);Cerebras(Cerebras公司);Pacific Northwest National Laboratory(太平洋西北国家实验室)
该研究提出MoE-Inference-Bench,通过评估不同场景下MoE模型的性能,分析批量大小等因素对吞吐量的影响,在Nvidia H100上测试多种优化技术,为MoE高效部署提供见解。
2025-08-24 cs.LG cs.PF
Universal Simultaneous Machine Translation with Mixture-of-Experts Wait-k Policy
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
同步机器翻译(SiMT)在阅读整个源句子之前生成翻译,因此它必须在翻译质量和延迟之间进行权衡。为了满足实际应用中对翻译质量和延迟的不同要求,以往的方法通常需要针对不同的延迟水平对多个SiMT模型进行训练,导致计算量大。在本文中,我们提出了一个通用的SiMT模型与混合专家模型等待k策略,以实现最佳的翻译质量在任意延迟下,只有一个训练模型。具体来说,我们的方法采用多头注意力来完成混合专家模型,其中每个头被视为一个等待k专家与自己的等待字数,并给出一个测试延迟和源输入,专家的权重相应地调整,以产生最佳的翻译。在三个数据集上的实验表明,我们的方法在不同的延迟下优于所有的强基线,包括最先进的自适应策略。
2022-03-21 cs.AI cs.CL
MoRE: Mixture of Reused Experts
Cornell University(康奈尔大学)
MoRE通过相邻层共享专家池并引入深度嵌入,在不增参数下提升路由多样性,在114M-1.15B规模上优于标准MoE和权重共享架构。
2026-09-18 cs.AI cs.LG
BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
Shanghai Jiao Tong University(上海交通大学)
针对MoE模型推理时参数超出GPU内存、专家传输延迟及预取失败的问题,BuddyMoE利用专家冗余加速内存受限的MoE推理,旨在平衡推理速度与模型精度。
2025-11-13 cs.AI cs.LG