Towards an empirical understanding of MoE design choices
EPFL（洛桑联邦理工学院）
本文系统评估MoE设计选择对性能的影响，发现学习式路由与随机冻结路由器性能相当，并揭示序列级路由与Token级路由在专家专业化上的差异。
2024-02-20 cs.AI cs.CL cs.LG
MoE-Sieve: Routing-Guided LoRA for Efficient MoE Fine-Tuning
本文提出MoE-Sieve，通过路由指导的LoRA微调方法，仅训练高频路由专家，显著减少参数和训练时间，同时保持性能。
2026-03-25 cs.CL cs.LG
Localized LoRA-MoE: Block-wise Low-Rank Experts With Adaptive Routing
Fortinet（Fortinet公司）
研究针对大语言模型等依赖参数高效微调方法的局限，提出融合局部空间分块与动态上下文条件路由的Localized LoRA-MoE框架，介绍两种架构范式并证明其能解决静态基线优化死锁问题。
2026-07-07 cs.AI cs.CL cs.LG
Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）；LLM-Core Xiaomi（小米LLM-Core）
针对MoE大模型强化学习中路由机制导致的训练不稳定甚至崩溃问题，提出R3方法通过重放推理阶段路由分布对齐训练与推理路由，有效稳定训练且性能优于现有方法。
2025-10-21 cs.AI cs.CL cs.LG
Dynamic Language Group-Based MoE: Enhancing Code-Switching Speech Recognition with Hierarchical Routing
School of Informatics, Xiamen University（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与技术学院）；Kuaishou Technology Co., Ltd（快手科技有限公司）
本文提出DLG-MoE，一种基于动态语言分组的MoE模型，通过层次化路由机制显式建模语言属性并隐式协调专家路由，有效解决了CS-ASR任务并充分利用了参数扩展优势，在性能和灵活性上超越现有方法。
2024-12-22 cs.AI cs.CL
Spectral Manifold Regularization for Stable and Modular Routing in Deep MoE Architectures
Ibrahim Delibasoglu（独立研究者）
SR-MoE 通过谱正则化方法解决深度 MoE 架构中的专家崩溃问题，保持结构模块化并实现稳定终身学习。
2026-01-07 cs.AI cs.LG
Polysemantic Experts, Monosemantic Paths: Routing as Control in MoEs
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种无参数分解方法，将MoE模型的隐藏状态分为控制信号和内容通道，发现专家路径变得单一语义，而控制信号在层间旋转，从而实现组合专业化。
2026-04-20 cs.AI cs.CL cs.LG
Routing-Free Mixture-of-Experts
Ludwig Maximilian University of Munich（慕尼黑大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出无路由专家混合模型，通过消除传统集中路由机制，实现专家自主激活，改进资源分配方法，实验表明其在可扩展性和鲁棒性上优于基线模型。
2026-04-01 cs.AI cs.CL cs.LG
Routing Is Not Enough: Diagnosing Intra-Adapter Subspace Contention in MoE+LoRA Fine-Tuning
Islamic University of Technology（伊斯兰理工大学）；York University（约克大学）；Dialpad Inc.（Dialpad公司）
该研究针对MoE+LoRA微调中路由分离无法防止负迁移的问题，提出SpawnLoRA方法，通过在MoE专家内动态添加门控子适配器减少负迁移，在Phi-tiny-MoE-instruct等模型上验证了其有效性。
2026-09-04 cs.CL cs.LG
Routing Drift Alone Does Not Diagnose Failure in Merged MoE LLMs
本研究探究MoE模型合并后路由漂移是否意味着故障，提出路由分析工具包和选择性路由器修复（SRR），证明路由漂移本身不足以诊断故障，需以任务级干预效果为准。
2026-09-29 cs.AI cs.LG
Fuzzy-MoE: Interpretable Regime-Conditioned Expert Routing for Non-Stationary Multivariate Time Series Forecasting
本文提出Fuzzy-MoE模型，通过双视图模糊路由器实现可解释专家路由，在非平稳多元时间序列预测中显著优于主流方法，同时具备透明可追溯的机制。
2026-08-24 cs.AI cs.LG
SMAR: Soft Modality-Aware Routing Strategy for MoE-based Multimodal Large Language Models Preserving Language Capabilities
针对多模态 MoE 模型适配预训练模型时语言能力退化或训练成本高的问题，提出利用 KL 散度控制跨模态路由分布的正则化技术 SMAR，仅需 2.5% 纯文本即能以 86.6% 保留率维持语言能力并保持多模态性能。
2025-06-25 cs.AI cs.CL
A Survey on Model MoErging: Recycling and Routing Among Specialized Experts for Collaborative Learning
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；University of Toronto（多伦多大学）；Vector Institue（向量研究所）；MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；Microsoft Research（微软研究院）；Mila（蒙特利尔人工智能研究院）
本文综述了模型 MoErging 方法，提出了一种新的分类法来编目关键设计选择，并探讨了相关软件工具与应用，为该新兴领域提供了统一概述与研究基础。
2025-08-09 cs.AI cs.CL cs.LG
Probing Semantic Routing in Large Mixture-of-Expert Models
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
本研究针对大型混合专家（MoE）模型的路由机制，通过两项对照实验验证输入语义对专家路由的影响，证实了大型MoE模型中语义路由的存在，为理解其功能分化提供了依据。
2025-05-21 cs.AI cs.CL cs.LG
MoE Routing Testbed: Studying Expert Specialization and Routing Behavior at Small Scale
Amazon AGI（亚马逊AGI）
本文提出MoE路由测试平台，通过对比不同路由方法，验证了在小规模下平衡范围是实现专家专业化和高利用的关键因素。
2026-04-08 cs.LG
Union of Experts: Adapting Hierarchical Routing to Equivalently Decomposed Transformer
Dalian University of Technology（大连理工大学）
针对传统MoE架构协调动态次优、未有效扩展到注意力块的问题，提出UoE，将Transformer等价分解为专家组并采用分层路由，在多任务中提升性能且降低计算量，优于现有模型。
2025-09-23 cs.AI cs.CL cs.LG
Grouter: Decoupling Routing from Representation for Accelerated MoE Training
School of Mathematical Sciences, Peking University, Beijing, China（北京大学数学科学学院）；Center for Machine Learning Research, Peking University, Beijing, China（北京大学机器学习研究中心）；Yuanpei College, Peking University, Beijing, China（北京大学元培学院）；Zhejiang Lab, Hangzhou, China（浙江实验室）
提出Grouter方法，通过从预训练MoE模型中蒸馏高质量结构作为固定路由器，解耦结构优化与权重更新，显著加速模型收敛并提升训练吞吐量。
2026-05-24 cs.AI cs.LG
MergeMoE: Efficient Compression of MoE Models via Expert Output Merging
Peking University（北京大学）；ByteDance（字节跳动）
本文提出MergeMoE，通过将专家合并视为前向计算中插入矩阵的优化问题，利用数学优化构建压缩矩阵，在多个MoE模型上以相同压缩比优于基线。
2025-10-16 cs.LG
CIPHER-MoE: Balancing Efficiency and Routing Fidelity in Trillion-Scale MoE Training
Tongji University（同济大学）；Cornell University（康奈尔大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；AI Training Platform Team, Shenzhen Loop Area Institute（深圳环域研究院AI训练平台团队）
针对万亿级MoE训练中的工作负载不平衡问题，提出CIPHER-MoE方法，通过亲和感知的专家到令牌过滤和显式容量控制，在不改变路由选择的前提下减少热点专家负载，实现高达64.9%的负载降低和1.94倍训练加速。
2026-10-06 cs.AI cs.LG
Mixture-of-Experts as Soft Clustering: A Dual Jacobian-PCA Spectral Geometry Perspective
本文从双雅可比-PCA谱几何视角研究MoE，发现其通过软划分函数空间，降低局部曲率并重新分布表示方差，从而提升模型性能。
2026-02-18 cs.AI cs.CL cs.LG
MoEEdit: Efficient and Routing-Stable Knowledge Editing for Mixture-of-Experts LLMs
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
MoEEdit提出一种高效且路由稳定的知识编辑方法，用于稀疏混合专家语言模型，通过空空间投影和块坐标下降求解器实现高效率和稳定性。
2026-02-11 cs.LG
Harder Tasks Need More Experts: Dynamic Routing in MoE Models
Peking University（北京大学）；AGIBang；Kuaishou Technology（快手科技）
本研究提出MoE模型的动态专家选择框架，依据输入难度与专家选择置信度动态调整激活专家数，在激活参数不足90%时较Top-2路由平均提升0.7%，还发现Transformer不同层专家需求有差异，为异构MoE设计提供参考。
2024-03-12 cs.CL cs.LG
Unveiling Language Routing Isolation in Multilingual MoE Models for Interpretable Subnetwork Adaptation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；HKUST (Guangzhou)（香港科技大学（广州））；University of Maryland（马里兰大学）
本文研究了多语言MoE模型中语言路由隔离现象，提出RISE框架通过识别和适应语言特定的专家子网络，提升低资源语言性能并保持其他语言能力。
2026-09-01 cs.AI cs.CL
Routing Divergence Is Not Evidence of Behavioral Influence in Same-Weight MoE Self-Distillation
Lunit（卢尼特公司）
该研究针对等权MoE自蒸馏中路由分歧问题，通过分块分解等方法验证路由项暴露度小，路由移动非行为影响证据，提出需先测暴露度再采取干预。
2026-08-18 cs.AI cs.CL cs.LG
GRIN: GRadient-INformed MoE
Microsoft（微软公司）
针对MoE模型离散专家路由阻碍梯度优化的问题，提出GRIN梯度感知训练方法，结合稀疏梯度估计与防令牌丢弃的并行策略，构建的小激活参数MoE模型性能匹配更大规模稠密模型，多基准测试表现优异。
2024-09-18 cs.AI cs.CL cs.LG
BRANCH-MoE: Balance-Aware Tree Routing for Large Embedding Models
Google Research（谷歌研究院）；University of Southern California（南加利福尼亚大学）
BRANCH-MoE提出一种平衡感知的树形路由架构，通过指数移动平均估计分支概率，在多个数据集上保持任务质量与专家均衡利用，并支持局部共激活与通信减少。
2026-10-06 cs.AI cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China（科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题，提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架，并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
SERE: Similarity-based Expert Re-routing for Efficient Batch Decoding in MoE Models
Taobao & Tmall Group of Alibaba（淘宝与天猫集团）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
SERE通过基于相似性的专家重新路由方法，提升MoE模型在批量解码中的效率，实现2倍速度提升并减少质量损失。
2026-02-07 cs.AI cs.LG
Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging
Hong Kong University of Science and Technology（香港科技大学）；Xi’an Jiaotong University（西安交通大学）；University of Birmingham（伯明翰大学）
针对MoE LLMs专家合并中的参数冲突问题，提出Sub-MoE框架，通过联合SVD提取共享U矩阵并合并V矩阵，实现子空间内专家高效压缩且性能显著优于现有方法。
2025-06-29 cs.LG
Stable Routing for Mixture-of-Experts in Class-Incremental Learning
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文研究了在类增量学习中混合专家模型的稳定路由问题，提出了一种稳定路由框架StaR-MoE，通过敏感性感知路由对齐和不对称容量正则化，提高了模型对新类别的适应能力和旧类别的知识保留能力。
2026-05-17 cs.CV cs.LG
Self-Routing: Parameter-Free Expert Routing from Hidden States
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Universite de Montreal（蒙特利尔大学）；Concordia University（康考迪亚大学）
本文提出自路由机制，通过直接利用隐藏状态子空间作为专家logits，无需额外路由参数，实现更平衡的专家利用。在GPT-2语言模型和ImageNet-1K分类任务中，自路由在性能上与传统路由方法相当，且提升专家利用率。
2026-08-11 cs.AI
The Myth of Expert Specialization in MoEs: Why Routing Reflects Geometry, Not Necessarily Domain Expertise
Johns Hopkins University（约翰霍普金斯大学）
本文研究了MoEs中专家专业化的机制，指出路由依赖于隐藏状态相似性，而非领域专业知识，并揭示了专业化的几何属性及在不同数据下的表现。
2026-04-10 cs.AI
Structuring MoE Expert Selection for Agentic Reinforcement Learning
Apple（苹果公司）；Purdue University（普渡大学）
针对长视界LLM智能体中的MoE模型，提出分层路由控制框架，通过对齐回合级专家选择与智能体操作并正则化令牌级选择，结合熵门控机制，在多个基准上实现成功率提升超10个百分点。
2026-10-07 cs.CL cs.LG
Advancing MoE Efficiency: A Collaboration-Constrained Routing (C2R) Strategy for Better Expert Parallelism Design
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对MoE模型因专家过度协作导致的通信开销和利用率不足问题，提出协作约束路由（C2R）策略，鼓励专家专业化，在多个基准上提升性能并节省20%-30%运行时间。
2025-04-20 cs.AI cs.CL cs.DC
FreeBalance: Pre-Routing Online Moe Load Balancing via Residual Workload Prediction
FreeBalance 是一种 MoE 模型在线负载均衡框架，通过残差 workload 预测实现专家迁移与预路由计算重叠，降低负载失衡与推理延迟，提升分布式推理效率。
2026-08-17 cs.AI cs.LG
Beyond Independent Optimization: Compression, MoE Routing, and Quantization Interactions in Multimodal Edge Intelligence
Nirma University（尼玛大学）；Singapore Institute of Technology（新加坡理工学院）；Marwadi University（马尔瓦迪大学）
研究多模态边缘智能中高效推理受多种因素限制，回顾相关模型进展，指出技术间相互影响不能独立优化，介绍关键设计权衡，引入视频MoE模型诊断方法，强调多方面开放研究方向。
2026-07-24 cs.AI
Fixing MoE Over-Fitting on Low-Resource Languages in Multilingual Machine Translation
Meta AI
稀疏门混合专家模型（MoE）模型已被证明是一种计算效率高的方法来扩展多语言机器翻译的模型容量。然而，对于低资源任务，MoE模型严重过拟合。我们展示了有效的正则化策略，即EOM和FOM中MoE层的辍学技术，有条件的MoE路由和课程学习方法，可以防止过度拟合并提高MoE模型在低资源任务上的性能，而不会对高资源任务产生不利影响。在一个大规模多语言机器翻译基准测试中，我们的策略在资源非常少的语言对中得到了大约+1 chrF++的改进。我们对学习到的MoE路由进行了广泛的分析，以更好地了解我们的正则化方法的影响以及如何改进它们。
2022-12-15 cs.AI cs.CL
Geometric Asymmetry in MoE Specialization: Functional Decorrelation and Representational Overlap
研究揭示MoE专业化中功能去相关与表征重叠共存的几何结构，通过实验表明路由稀疏性影响功能分离与子空间分歧。
2026-05-08 cs.LG
Upcycling Instruction Tuning from Dense to Mixture-of-Experts via Parameter Merging
Beijing University of Posts and Telecommunications（北京邮电大学）；Baidu Inc.（百度公司）
本文提出UpIT方法，利用指令微调中间检查点、遗传算法与参数合并，以数据高效方式将稠密模型升级为混合专家指令模型，并通过少量种子数据预优化路由器，实验验证其性能与扩展稳定性。
2024-10-02 cs.AI cs.CL cs.LG
Not All Models Suit Expert Offloading: On Local Routing Consistency of Mixture-of-Expert Models
Fudan University（复旦大学）；University of Southern California（南加州大学）；Huawei Technologies Ltd.（华为技术有限公司）；Shanghai Innovation Institute（上海创智学院）
本文提出两个指标衡量混合专家模型的局部路由一致性，发现局部路由一致性与局部负载平衡存在权衡，而全局负载平衡可共存，并揭示领域专用专家对路由一致性贡献更大。
2026-02-28 cs.AI cs.LG
Value-and-Structure Alignment for Routing-Consistent Quantization of Mixture-of-Experts Models
Nota Inc., South Korea（韩国Nota公司）
提出VSRAQ方法，通过值对齐和结构对齐两个互补目标保持量化前后的专家选择行为一致性，减少量化引起的性能下降，无需推理开销。
2026-06-04 cs.AI cs.CL
Latent Prototype Routing: Achieving Near-Perfect Load Balancing in Mixture-of-Experts
针对MoE架构的负载不平衡问题，提出Latent Prototype Routing (LPR)路由框架，通过聚类视角泛化现有方法以促进均衡的专家利用，在不影响下游性能的前提下，将专家负载基尼系数降至0.035，实现近乎完美的负载均衡。
2025-06-26 cs.CL cs.LG
PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对专家混合模型内存开销大难题，提出PuzzleMoE方法。通过识别权重冗余与专业化进行稀疏专家合并，用双掩码捕获参数，引入位打包编码避免存储开销，实现高效推理，大幅压缩模型且保持精度。
2026-07-07 cs.AI cs.LG
Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）；ETH Zurich（苏黎世联邦理工学院）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
针对细粒度MoE模型路由开销大的问题，提出基于向量量化的两阶段倒排索引路由AIR-MoE，近似Top-K选择，无需结构约束，在百万级专家下改善困惑度-FLOPs权衡。
2026-10-06 cs.LG
L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts
Hokkaido University（北海道大学）
本文提出L2R框架，通过低秩潜在路由空间和SIPS评分机制提升MoE模型的路由几何和专家表现力，实验表明其在语言和视觉任务中均提升性能。
2026-09-18 cs.AI cs.LG
Elbow-Based MoE Routing: A Training-Free Inference Time Plugin for Expert Selection
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Department of Mathematics, Harvard University（哈佛大学数学系）
该研究提出无需训练的肘部法MoE推理时路由插件，动态调整每个token的专家数量，保持专家负载均衡，在六个基准测试中以5.3%的平均延迟降低量维持MoE模型准确率。
2026-08-06 cs.LG
One Router to Route Them All: Homogeneous Expert Routing for Heterogeneous Graph Transformers
本文提出同质专家路由（HER），通过随机掩码类型嵌入促进类型无关的专业化，从而在异构图变换器中提升链接预测性能。
2026-01-21 cs.AI cs.LG
SpecPrefetch: Parameter-Efficient Expert Prefetching for Sparse MoE Foundation Models
StepOs（未知）；ShanghaiTech University（上海科技大学）；Xiamen University（厦门大学）；Chongqing University（重庆大学）
研究针对稀疏MoE模型在有限内存下部署及专家卸载的传输瓶颈问题，提出SpecPrefetch框架，通过分离传输预测与执行路由，结合窗口感知调度器，提升专家召回率和设备解码吞吐量。
2026-07-31 cs.AI cs.LG
Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers
本文提出Seg-MoE，通过分段式混合专家机制提升时间序列预测的准确性，验证了分段路由在捕捉长期时间动态中的有效性。
2026-03-14 cs.AI cs.LG
Parameter-Efficient Routed Fine-Tuning: Mixture-of-Experts Demands Mixture of Adaptation Modules
Technical University of Munich（慕尼黑技术大学）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；University of Cambridge（剑桥大学）
针对现有PEFT未利用MoE动态路由的问题，提出在适配模块中融入路由机制，并在OLMoE-1B-7B和Mixtral-8x7B上验证了其性能与效率，给出了最优配置与实用见解。
2025-08-04 cs.AI cs.CL cs.LG
StableMoE: Stable Routing Strategy for Mixture of Experts
Microsoft Research（微软研究院）；Peking University（北京大学）
混合专家（MoE）技术可以以可承受的计算开销来扩展Transformers的模型大小。我们指出，现有的学习路由MoE方法遭受路由波动问题，即，同一输入的目标专家可能会随着训练而改变，但在推理过程中，只有一个专家会被激活用于输入。路由波动往往会损害样本效率，因为相同的输入更新不同的专家，但只有一个最终使用。在本文中，我们提出了两个训练阶段的StableMoE来解决路由波动问题。在第一个训练阶段，我们学习了一个平衡的和有凝聚力的路由策略，并将其提炼成一个轻量级的路由器从骨干模型解耦。在第二个训练阶段，我们利用蒸馏路由器来确定令牌专家分配，并冻结它的一个稳定的路由策略。我们验证了我们的方法在语言建模和多语种机器翻译。结果表明，StableMoE算法在收敛速度和性能上均优于现有的MoE算法。
2022-04-18 cs.CL cs.LG
Is MoE Routing a Huffman Code? Discovering the Frequency-Diversity Law in Chain-of-Thought
研究混合专家架构路由逻辑，揭示其是哈夫曼编码体现，提出频率多样性定律。发现Qwen3.5-35B-A3B的冗余陷阱，提出子集差异剪枝策略，证明可释放模型哈夫曼效率，建议下一代模型转向最小描述长度最优。
2026-07-24 cs.AI cs.CL cs.IT
BEAM: Binary Expert Activation Masking for Dynamic Routing in MoE
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
BEAM通过可训练二进制掩码实现token自适应专家选择，提升MoE推理效率，减少计算量并提高吞吐量。
2026-05-14 cs.AI
SMILE: Scaling Mixture-of-Experts with Efficient Bi-level Routing
University of Southern California（南加州大学）；AWS AI（亚马逊云科技人工智能部门）
专家（MoE）并行的混合是一个最近的进步，规模与恒定的计算成本的模型大小。MoE选择不同的参数组（即，专家），从而产生稀疏激活的模型。尽管MoE的几个成功的应用程序，其培训效率显着下降的专家数量的增加。MoE中的路由阶段依赖于All2All通信集合的效率，其遭受网络拥塞并且具有差的可扩展性。为了缓解这些问题，我们引入了SMILE，它利用异构网络带宽，并将单步路由分为两级路由。我们的实验结果表明，所提出的方法获得了2.5倍的加速比开关Transformer在预训练吞吐量的Colossal清洁爬行语料库，而不会失去任何收敛速度。
2022-12-10 cs.LG
