AdaMoE: Token-Adaptive Routing with Null Experts for Mixture-of-Experts Language Models
Qing Yuan Research Institute（庆元研究院）；SEIEE（电子信息与电气工程学院）；Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出AdaMoE，通过引入不消耗FLOPs的空专家并增加k值，实现MoE模型中的token自适应路由，在降低平均专家负载的同时提升下游任务性能。
2024-10-14 cs.AI
EntropyMoE: Entropy-Aware Sparse Expert Routing for Tokenizer-Free LLMs
EntropyMoE针对无分词器字节级LLM的块计算局限性，提出基于块熵的稀疏专家路由MoE架构，在降低位每字节的同时保持下游准确率，扩展了MoE建模的应用范围。
2026-08-10 cs.AI
BrainStack: Neuro-MoE with Functionally Guided Expert Routing for EEG-Based Language Decoding
University of Technology Sydney（新南威尔士大学）；Mohamed bin Zayed University of Artificial Intelligence（莫莫迪 bin Zayed 人工智能大学）
BrainStack通过功能引导的神经混合专家模型，结合解剖学分区和跨区域蒸馏，实现了基于EEG的高效语言解码，提升了准确性和泛化能力。
2026-01-29 cs.AI
L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts
Hokkaido University（北海道大学）
本文提出L2R框架，通过低秩潜在路由空间和SIPS评分机制提升MoE模型的路由几何和专家表现力，实验表明其在语言和视觉任务中均提升性能。
2026-09-18 cs.AI cs.LG
Cross-Entropy Guided Routing in Mixture-of-Experts Large Language Models
Bar-Ilan University（巴伊兰大学）；NVIDIA（英伟达）
针对稀疏混合专家模型路由与词元错误不对齐的问题，提出两种基于交叉熵对齐的词元错误监督机制，在多个基准上提升准确率约2.3个百分点。
2026-09-30 cs.AI
ProbMoE: Differentiable Probabilistic Routing for Mixture-of-Experts
Imperial College London（伦敦帝国学院）；University of Waterloo（多伦多大学）；EPFL（瑞士联邦理工学院）
提出ProbMoE概率路由框架，通过离散子集空间上的概率推断实现专家选择，解决top-k路由的离散非可微问题，并扩展到动态k路由，提升专家利用率和路由多样性。
2026-06-01 cs.AI cs.LG
BEAM: Binary Expert Activation Masking for Dynamic Routing in MoE
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
BEAM通过可训练二进制掩码实现token自适应专家选择，提升MoE推理效率，减少计算量并提高吞吐量。
2026-05-14 cs.AI
An Expert is Worth One Token: Synergizing Multiple Expert LLMs as Generalist via Expert Token Routing
Zhejiang University（浙江大学）；Beijing Huairou Laboratory（北京怀柔实验室）；ByteDance Inc.（字节跳动公司）
本文提出Expert-Token-Routing框架，将专家LLM表示为元LLM词汇表中的特殊Token，实现多专家LLM的即插即用协同，并在多领域基准上验证了构建通才系统的有效性与鲁棒性。
2024-06-11 cs.AI cs.CL
Not All Models Suit Expert Offloading: On Local Routing Consistency of Mixture-of-Expert Models
Fudan University（复旦大学）；University of Southern California（南加州大学）；Huawei Technologies Ltd.（华为技术有限公司）；Shanghai Innovation Institute（上海创智学院）
本文提出两个指标衡量混合专家模型的局部路由一致性，发现局部路由一致性与局部负载平衡存在权衡，而全局负载平衡可共存，并揭示领域专用专家对路由一致性贡献更大。
2026-02-28 cs.AI cs.LG
Equifinality in Mixture of Experts: Routing Topology Does Not Determine Language Modeling Quality
Department of Software Systems, Uzhhorod National University（软件系统系，乌日霍罗德国立大学）
本文研究路由拓扑对语言建模质量的影响，通过62次实验发现不同路由方法在渐近困惑度上无显著差异，且通过简化路由机制提升了效率。
2026-04-15 cs.AI
JevSoup: System-One Routing for Training-Free LoRA Composition
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Malaya（马来亚大学）；Georgian College（乔治亚学院）；Huazhong University of Science and Technology（华中科技大学）
JevSoup提出免训练LoRA组合框架，通过系统一路由选择两个专家并正交投影组合，在14个PorTAL任务和三个Qwen3规模上取得最高1.19%和1.21%的准确率提升。
2026-09-28 cs.AI
ProtLingo: Efficient Protein Language Modeling via Conditional Memory and Expert Routing
ShanghaiTech University（上海科技大学）
本文提出ProtLingo框架，通过条件局部记忆与稀疏专家路由机制构建高效蛋白质语言模型，在1.5亿参数规模下于多项蛋白质预测任务取得竞争力性能，兼具参数效率与长程结构表征能力。
2026-09-07 cs.AI
Routing by Analogy: kNN-Augmented Expert Assignment for Mixture-of-Experts
Institute of Science Tokyo（东京科学研究院）；CyberAgent；Nara Institute of Science and Technology（奈良科学技術大學）
提出kNN-MoE框架，通过检索历史相似案例的局部最优专家分配来增强MoE路由，使用检索邻居的平均相似度作为置信度混合系数，在分布偏移下提升鲁棒性。
2026-05-25 cs.AI cs.CL
Value-and-Structure Alignment for Routing-Consistent Quantization of Mixture-of-Experts Models
Nota Inc., South Korea（韩国Nota公司）
提出VSRAQ方法，通过值对齐和结构对齐两个互补目标保持量化前后的专家选择行为一致性，减少量化引起的性能下降，无需推理开销。
2026-06-04 cs.AI cs.CL
Cosine-Similarity Routing with Semantic Anchors for Interpretable Mixture-of-Experts Language Models
Department of Software Systems, Uzhhorod National University（软件系统系，乌日霍罗德国立大学）
本文提出语义共振架构(SRA)，通过令牌表示与可学习语义锚点之间的余弦相似性路由令牌到专家，使路由决策可追溯至锚令牌相似度得分。实验表明余弦路由在 perplexity 上与标准线性路由相当，同时减少死专家比例并提升子令牌一致性。
2026-04-12 cs.AI cs.CL
RA-MoE: Routing-Aligned Fine-Tuning for Multilingual Adaptation of Mixture-of-Experts Models
City University of Hong Kong（香港城市大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Hong Kong（香港大学）
针对混合专家模型在多语言下游任务中的路由结构异构问题，提出RA-MoE三阶段框架，通过中间层语言通用对齐区识别任务相关专家，并引入路由对齐损失增强目标语言路由，实验表明该方法优于标准微调和强基线。
2026-10-01 cs.AI cs.CL
CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
CoGR-MoE通过整合答案选项的语义信息指导专家选择，利用选项特征重新加权专家，生成判别性表示，用于选项比较和对比学习优化，提升视觉问答性能。
2026-04-18 cs.AI cs.CV
Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts
School of Psychology University of Auckland（心理学系奥克兰大学）
本文研究了视觉混合专家模型中专家调节与表示的特性，通过对比学习训练稀疏门控卷积MoE模型，并利用视觉神经科学工具分析专家的专业化，发现动植物区分主导专家划分，并揭示了专家在更广泛的连续视觉和语义维度上的调节。
2026-05-20 cs.AI cs.CV
Neural Inhibition Improves Dynamic Routing and Mixture of Experts
Engineering Science University of Toronto（多伦多大学工程科学学院）
本文提出在动态路由和专家混合模型中引入神经抑制机制，通过抑制共享信号来增强专家路径选择的专门化，实验证明该算法能显著提升通用任务性能。
2025-07-03 cs.AI cs.LG
Rethinking Routing Exploration in Modern Mixture-of-Experts
ETH Zurich（苏黎世联邦理工学院）；The University of Hong Kong（香港大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；WU Vienna（维也纳经济大学）
本文针对现代MoE架构中细粒度专家分割与共享专家间的探索困境，提出MirrorMoE通过token自适应抑制不必要专家缩小探索空间，在各模型规模下均提升性能。
2026-10-16 cs.AI cs.LG
Routing-Aware Safety Alignment for Mixture-of-Experts Models
Department of XXX, University of YYY（YYY大学XXX系）；School of ZZZ, Institute of WWW（WWW学院ZZZ学院）
RASA通过针对性修复安全关键专家提升混合专家模型的安全性，有效防止路由绕过，实现高鲁棒性和跨攻击泛化能力。
2026-10-08 cs.AI cs.CR cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China（科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题，提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架，并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts
Department of Electrical；Computer Engineering University of Hawai'i at M\= a noa Honolulu, HI, USA
通过激活和梯度两种信号分析Mixtral 8x7B-Instruct在良性及有害提示下的路由行为，发现安全相关的路由是微妙、深度依赖且分布式的，而非由固定专家集主导。
2026-05-22 cs.AI cs.CR
SoftMoE: Soft Differentiable Routing for Mixture-of-Experts in LLMs
AGH University of Krakow, Poland（克拉科夫AGH大学）；Faculty of Mathematics（数学系）；Computer Science, Jagiellonian University, Poland（计算机科学系，杰哥利安大学，波兰）；Centre for Credible Artificial Intelligence, Warsaw University of Technology（可信人工智能中心，华沙技术大学）
提出SoftMoE，通过软top-k LapSum松弛替代离散路由，实现专家路由的梯度优化，并学习每层专家激活数量，在语言建模中激活更少专家达到相当或更优性能。
2026-06-17 cs.AI cs.LG
One Router to Route Them All: Homogeneous Expert Routing for Heterogeneous Graph Transformers
本文提出同质专家路由（HER），通过随机掩码类型嵌入促进类型无关的专业化，从而在异构图变换器中提升链接预测性能。
2026-01-21 cs.AI cs.LG
A Knowledge-Driven Diffusion Policy for End-to-End Autonomous Driving Based on Expert Routing
College of Transportation, Tongji University（同济大学交通运输学院）；Department of Computer Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校计算机科学系）
针对端到端自动驾驶决策自适应、鲁棒性与可解释性不足的问题，提出融合扩散建模与稀疏混合专家路由的KDP策略，经实验验证其在成功率、碰撞风险与控制平滑度上优于主流范式，为该领域提供可扩展可解释的新范式。
2025-10-06 cs.AI cs.RO
RouterInterp: Understanding Superposed Specialisation in Mixture of Experts Routing
Faculty of Informatics, TU Wien（维也纳工业大学信息学学院）；UK AI Security Institute（英国人工智能安全机构）
本研究针对混合专家模型路由的不可解释问题，提出叠加式专业化假设，开发RouterInterp方法，在gpt-oss-20b上使路由解释检测准确率较旧方法提升约65%，增进了对基础模型该组件的理解。
2026-10-09 cs.AI cs.CL cs.LG
Fuzzy-MoE: Interpretable Regime-Conditioned Expert Routing for Non-Stationary Multivariate Time Series Forecasting
本文提出Fuzzy-MoE模型，通过双视图模糊路由器实现可解释专家路由，在非平稳多元时间序列预测中显著优于主流方法，同时具备透明可追溯的机制。
2026-08-24 cs.AI cs.LG
RouterRetriever: Routing over a Mixture of Expert Embedding Models
Ai2
RouterRetriever通过路由机制在混合领域专家嵌入模型中选择最合适专家，轻量且可扩展，在BEIR基准上超越单一模型和多任务模型，展示了路由替代通用嵌入模型的有效性。
2025-02-26 cs.AI cs.IR
Routing-Aware Expert Calibration for Machine Unlearning in Mixture-of-Experts Language Models
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Lightstandard
针对MoE模型中遗忘数据与保留数据路由不匹配导致遗忘关键专家正则化不足的问题，提出TRACE方法，通过离线激活统计检测遗忘关键专家并重新加权保留损失以校准保留侧激活频率，实验表明在WMDP和MUSE-BOOKS上遗忘-效用权衡提升9%。
2026-09-24 cs.AI cs.CL
Task-Conditioned Routing Signatures in Sparse Mixture-of-Experts Transformers
MSR Avinash Independent Researcher（MSR阿文纳什独立研究员）
研究发现稀疏混合专家变压器中的路由机制具有任务条件结构，通过路由签名分析显示同类任务提示具有高相似性，不同任务提示相似性较低，且基于路由签名的分类器在任务分类中表现优异。
2026-03-11 cs.AI cs.LG
Evidence for Shared Routing Geometry and Dynamics in Sparse Mixture-of-Experts
Central University（中央大学）；Innopolis University（因诺波利斯大学）
本研究证实稀疏MoE模型各层路由状态共享通用几何结构，经对齐后可复用线性过渡，且该共享动力学为路由特有，迁移规范状态可降低模型的负对数似然损失。
2026-09-03 cs.AI cs.LG
Spatio-Semantic Expert Routing Architecture with Mixture-of-Experts for Referring Image Segmentation
本文提出SERA架构，通过在视觉语言框架中引入轻量级表达感知专家细化，提升指代图像分割的时空一致性与边界精度，实验表明其在准确定位和精细边界界定上表现优异。
2026-03-13 cs.AI cs.CV
Mixture-of-Experts with Expert Choice Routing
Google（谷歌）
稀疏激活的混合专家模型（MoE）模型允许参数的数量大大增加，同时保持给定令牌或给定样本的计算量不变。然而，较差的专家路由策略（例如，导致负载不平衡的策略）可能导致某些专家训练不足，从而导致专家专业化不足或过度专业化。先前的工作使用top-k函数为每个令牌分配固定数量的专家，而不管不同令牌的相对重要性。为了解决这个问题，我们提出了一个异构的混合专家模型采用专家选择方法。我们让专家选择前k个令牌，而不是让令牌选择前k个专家。因此，每个令牌可以被路由到可变数量的专家，并且每个专家可以具有固定的桶大小。我们系统地研究了使用与先前工作相同的Switch Transformer top-1和GShard top-2门控的预训练加速，发现我们的方法将训练收敛时间提高了2倍以上。对于相同的计算成本，我们的方法在微调11个选定的任务在GLUE和SuperGLUE基准测试中表现出更高的性能。对于较小的激活成本，我们的方法在11个任务中的7个任务中优于T5密集模型。
2022-10-14 cs.AI cs.LG
STAR: Rethinking MoE Routing as Structure-Aware Subspace Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出STAR方法，通过广义Hebbian算法学习主子空间来增强路由对输入结构的感知，实现专家稳定专业化，在合成数据和语言视觉任务上提升路由质量和下游性能。
2026-06-07 cs.AI cs.LG
LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts
University of Connecticut（康涅狄格大学）；University of Pennsylvania（宾夕法尼亚大学）；University of California San Diego（圣地亚哥大学）
LD-MoLE通过可学习动态路由机制实现自适应的token依赖和层间专家分配，提升大型语言模型在下游任务中的性能。
2026-02-23 cs.AI cs.CL
Multinomial Subset Routing with Sum-Max Rewards and Operational Constraints
National University of Singapore（新加坡国立大学）；The Great Bay University（大湾区大学）
针对现有路由方法无法处理仅依赖最佳专家的奖励结构及操作约束的问题，提出OMD-Approachability方法，在真实众包数据集上验证了其性能。
2026-09-29 cs.AI cs.LG
Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
ShanghaiTech University（上海科技大学）
针对扩散Transformer的扩展性问题，提出搭载Expert Race灵活路由策略的Race-DiT模型，结合逐层正则化与路由相似度损失优化专家利用，在ImageNet上实现显著性能提升。
2025-06-12 cs.AI cs.CV cs.LG
Probing Semantic Routing in Large Mixture-of-Expert Models
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
本研究针对大型混合专家（MoE）模型的路由机制，通过两项对照实验验证输入语义对专家路由的影响，证实了大型MoE模型中语义路由的存在，为理解其功能分化提供了依据。
2025-05-21 cs.AI cs.CL cs.LG
Routing-Free Mixture-of-Experts
Ludwig Maximilian University of Munich（慕尼黑大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出无路由专家混合模型，通过消除传统集中路由机制，实现专家自主激活，改进资源分配方法，实验表明其在可扩展性和鲁棒性上优于基线模型。
2026-04-01 cs.AI cs.CL cs.LG
SpectR: Dynamically Composing LM Experts with Spectral Routing
Johns Hopkins University（约翰霍普金斯大学）
本文提出SPECTR方法，在推理时通过谱路由无需额外训练即可动态组合多个专家模型，实现token级和层级灵活组合，实验证明其路由准确率和跨领域任务性能优于现有免训练方法。
2025-08-15 cs.AI cs.CL cs.LG
Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
研究揭示多模态混合专家模型在视觉输入时路由机制无法有效激活任务相关专家，导致推理失败，提出路由干扰假说并验证其有效性。
2026-04-09 cs.AI cs.CL cs.CV
Spectral Manifold Regularization for Stable and Modular Routing in Deep MoE Architectures
Ibrahim Delibasoglu（独立研究者）
SR-MoE 通过谱正则化方法解决深度 MoE 架构中的专家崩溃问题，保持结构模块化并实现稳定终身学习。
2026-01-07 cs.AI cs.LG
Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing
本文提出专家阈值路由方法，通过动态计算分配和负载平衡机制提升自回归语言模型性能，实验显示其在预训练任务中表现更优。
2026-03-12 cs.AI cs.CL
SERE: Similarity-based Expert Re-routing for Efficient Batch Decoding in MoE Models
Taobao & Tmall Group of Alibaba（淘宝与天猫集团）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
SERE通过基于相似性的专家重新路由方法，提升MoE模型在批量解码中的效率，实现2倍速度提升并减少质量损失。
2026-02-07 cs.AI cs.LG
BadMoE: Backdooring Mixture-of-Experts LLMs via Routing-Aware Triggers and Task-Underutilized Experts
Hong Kong University of Science and Technology（香港科技大学）；Carnegie Mellon University（卡内基梅隆大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
本文提出首个针对MoE架构LLMs的后门攻击BadMoE，通过优化路由触发器激活并毒化休眠专家使其成为主导专家，在保持模型整体效用的同时实现对目标任务的恶意预测控制。
2026-11-11 cs.AI cs.CR
Sticky Routing: Training MoE Models for Memory-Efficient Inference
BrainChip Inc.（脑芯片公司）
研究MoE模型推理时内存效率问题，提出StickyMoE方法，通过惩罚相邻token间专家切换，使专家表示和路由决策共同适应。实验表明该方法能大幅降低专家切换率，在质量-局部性方面优于事后微调。
2026-07-13 cs.AI cs.CL cs.LG
Unveiling Language Routing Isolation in Multilingual MoE Models for Interpretable Subnetwork Adaptation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；HKUST (Guangzhou)（香港科技大学（广州））；University of Maryland（马里兰大学）
本文研究了多语言MoE模型中语言路由隔离现象，提出RISE框架通过识别和适应语言特定的专家子网络，提升低资源语言性能并保持其他语言能力。
2026-09-01 cs.AI cs.CL
FreeBalance: Pre-Routing Online Moe Load Balancing via Residual Workload Prediction
FreeBalance 是一种 MoE 模型在线负载均衡框架，通过残差 workload 预测实现专家迁移与预路由计算重叠，降低负载失衡与推理延迟，提升分布式推理效率。
2026-08-17 cs.AI cs.LG
SpecPrefetch: Parameter-Efficient Expert Prefetching for Sparse MoE Foundation Models
StepOs（未知）；ShanghaiTech University（上海科技大学）；Xiamen University（厦门大学）；Chongqing University（重庆大学）
研究针对稀疏MoE模型在有限内存下部署及专家卸载的传输瓶颈问题，提出SpecPrefetch框架，通过分离传输预测与执行路由，结合窗口感知调度器，提升专家召回率和设备解码吞吐量。
2026-07-31 cs.AI cs.LG
Mixture-of-Experts as Soft Clustering: A Dual Jacobian-PCA Spectral Geometry Perspective
本文从双雅可比-PCA谱几何视角研究MoE，发现其通过软划分函数空间，降低局部曲率并重新分布表示方差，从而提升模型性能。
2026-02-18 cs.AI cs.CL cs.LG
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
Department of Computing, Imperial College London（伦敦帝国理工学院计算机系）
提出变分混合专家路由（VMoER），通过将贝叶斯推断限制在专家选择阶段，实现大规模模型的不确定性校准，在微调基础模型上显著提升路由稳定性、降低校准误差并提高分布外检测AUROC，且额外计算开销极小。
2026-05-28 cs.AI cs.LG stat.ML
From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对混合专家模型推理时专家负载不均导致系统性能下降的问题，提出即插即用的推理时路由算法LASER，可适配门控分数分布动态调整路由策略，在不重训练的前提下提升负载均衡效果与推理性能且准确率损失极小。
2025-09-29 cs.AI cs.DC cs.LG
Awakening Dormant Experts:Counterfactual Routing to Mitigate MoE Hallucinations
Xi’an Jiaotong University（西安交通大学）；Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.（兴辰AGI实验室，中国电信人工智能技术（北京）有限公司）；Institute of Artificial Intelligence, China Telecom（中国电信人工智能研究院）；Beijing Foreign Studies University（北京外国语大学）
本文提出反事实路由框架，通过动态调整计算资源以唤醒沉睡的专家，提升事实准确性，实验显示在TruthfulQA等数据集上平均提升3.1%。
2026-04-29 cs.AI cs.LG
