MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing
Georgia Institute of Technology(佐治亚理工学院)
针对MoE模型分布式部署中令牌路由与专家激活不均衡、通信尾延迟等问题,提出MoETuner方案,通过ILP优化专家放置并利用层间令牌路由依赖,实现负载均衡与通信优化,单节点和多节点推理速度分别提升9.3%和17.5%。
2025-02-10 cs.DC cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China(科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题,提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架,并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
Mixture of Regression Experts in fMRI Encoding
IIIT Hyderabad(海得拉巴国际信息技术学院);University of Hyderabad(海得拉巴大学)
使用语言编码模型的fMRI语义类别理解试图学习将刺激与相应的大脑激活相关联的前向映射。经典的编码模型使用线性多变量方法来预测给定刺激的大脑激活(所有体素)。然而,这些方法基本上假设多个区域为一个大的均匀区域或几个独立的区域,忽略了它们之间的连接。在本文中,我们提出了一个基于混合专家模型的模型,其中一组专家捕获与特定感兴趣区域(ROI)相关的大脑活动模式,并显示不同专家之间的歧视。该模型以编码为25维特征向量的单词刺激作为输入,以相应的大脑反应作为输出。给定一个新词(25维特征向量),它预测整个大脑激活作为多个专家大脑激活的线性组合。我们认为,每个专家都学习了与其词汇类别相对应的大脑激活的某个区域,这解决了用简单的编码模型识别区域的问题。我们展示了所提出的基于混合专家模型的模型确实学习了基于区域的专家,以高空间精度预测大脑激活。
2018-12-01 cs.HC cs.LG stat.ML
Selective Sinkhorn Routing for Improved Sparse Mixture of Experts
University of California, Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学)
本文提出了一种选择性Sinkhorn路由方法,通过将token到专家的分配问题转化为最优传输问题,并引入约束以确保专家利用率均衡,从而在不依赖辅助平衡损失的情况下提升稀疏专家混合模型的性能。
2026-06-04 cs.LG
PA-Net: Precipitation-Adaptive Mixture-of-Experts for Long-Tail Rainfall Nowcasting
PA-Net通过自适应专家混合机制和双轴压缩潜在注意力机制,有效解决降雨现在预报中计算成本高和长尾分布问题,提升极端降雨预测性能。
2026-03-14 cs.AI cs.CV cs.LG
NEST: Tackling Dataset-Level Distribution Shifts via Regime-Oriented Mixture-of-Experts
Beihang University(北京航空航天大学)
针对复杂系统中数据集级分布变化影响长期预测问题,提出NEST框架,通过两阶段密集MoE架构,经无监督聚类和面向机制的路由器机制建模重组演变结构,在多基准测试中性能达最优。
2026-07-09 cs.AI cs.LG
Time Tracker: Mixture-of-Experts-Enhanced Foundation Time Series Forecasting Model with Decoupled Training Pipelines
School of Computer Science (National Pilot Software Engineering School)(计算机学院(国家级试点软件工程学院));Beijing University of Posts and Telecommunications(北京邮电大学);China Telecom Research Institute(中国电信研究院)
本文提出Time Tracker模型,通过稀疏混合专家和Any-variate Attention处理多变量时间序列,提升预测精度和泛化能力。
2026-03-18 cs.LG
Sampling the Riemann-Theta Boltzmann Machine
Università degli Studi di Milano(米兰大学);INFN Sezione di Milano(意大利国家核物理研究院米兰分部);University of Lausanne(洛桑大学)
我们发现,可见扇区的概率密度函数的黎曼-θ玻尔兹曼机对应于一个高斯混合模型组成的无限多个组件的多变量高斯。混合物的权重由隐藏状态空间上的离散多变量高斯函数给出。这使我们能够以直接的方式对可见扇区密度函数进行采样。此外,我们证明了可见扇区概率密度函数具有仿射变换性质,类似于多变量高斯密度。
2020-06-30 cs.LG stat.ML
Towards Foundation Models for Experimental Readout Systems Combining Discrete and Continuous Data
William \& Mary, Department of Data Science(威廉玛丽大学数据科学系)
本文提出面向核物理实验的原型基础模型,通过分离离散与连续词表、因果多头交叉注意力、连续运动学条件嵌入和专家混合,实现切伦科夫光子像素与时间序列的高保真生成,并泛化到粒子鉴别与噪声过滤任务。
2025-07-18 cs.LG hep-ex nucl-ex
Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts
Salesforce AI Research(Salesforce人工智能研究院)
本文提出LLEP算法,通过动态路由减少MoE模型中专家负载不平衡,提升训练和推理效率,实现5倍速度提升和4倍内存减少。
2026-01-23 cs.AI cs.LG
$ϕ$-Balancing for Mixture-of-Experts Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);Northwestern University(西北大学)
本文提出$ϕ$-平衡框架,通过最小化严格凸、对称且可导的潜在函数,实现专家资源的群体平衡,优于现有启发式方法,在大规模预训练和下游微调中表现更稳定有效。
2026-05-14 cs.LG math.OC stat.ML
StableMoE: Stable Routing Strategy for Mixture of Experts
Microsoft Research(微软研究院);Peking University(北京大学)
混合专家(MoE)技术可以以可承受的计算开销来扩展Transformers的模型大小。我们指出,现有的学习路由MoE方法遭受路由波动问题,即,同一输入的目标专家可能会随着训练而改变,但在推理过程中,只有一个专家会被激活用于输入。路由波动往往会损害样本效率,因为相同的输入更新不同的专家,但只有一个最终使用。在本文中,我们提出了两个训练阶段的StableMoE来解决路由波动问题。在第一个训练阶段,我们学习了一个平衡的和有凝聚力的路由策略,并将其提炼成一个轻量级的路由器从骨干模型解耦。在第二个训练阶段,我们利用蒸馏路由器来确定令牌专家分配,并冻结它的一个稳定的路由策略。我们验证了我们的方法在语言建模和多语种机器翻译。结果表明,StableMoE算法在收敛速度和性能上均优于现有的MoE算法。
2022-04-18 cs.CL cs.LG
EMoE: Eigenbasis-Guided Routing for Mixture-of-Experts
University of Southern California(南加州大学)
EMoE通过基于学习的正交特征基的路由机制,解决混合专家架构中的负载不平衡和专家同质化问题,无需辅助损失函数。
2026-01-17 cs.CV cs.LG
Latent Prototype Routing: Achieving Near-Perfect Load Balancing in Mixture-of-Experts
针对MoE架构的负载不平衡问题,提出Latent Prototype Routing (LPR)路由框架,通过聚类视角泛化现有方法以促进均衡的专家利用,在不影响下游性能的前提下,将专家负载基尼系数降至0.035,实现近乎完美的负载均衡。
2025-06-26 cs.CL cs.LG
Learning Subset-Shared Invariances for Domain Generalization with Mixture-of-Experts
VinUniversity
针对域泛化中全局不变性限制表示空间的问题,提出子集共享不变性,通过专家混合架构学习路由条件不变性,提升域外泛化性能。
2026-06-25 cs.LG
A Minimal Bifurcation Model of Load Imbalance in a Softmax Mixture-of-Experts Router
Innopolis University(因诺波利斯大学)
提出一个两专家混合专家层的自适应softmax路由最小动力学模型,通过平均场极限从离散强化规则导出,发现超临界叉形分岔导致负载不平衡,并推导了分岔集和尖点灾变的精确参数方程。
2026-05-27 cs.AI cs.LG math.DS
Joint-Centric Dual Contrastive Alignment with Structure-Preserving and Information-Balanced Regularization
Dalhousie University(达尔豪斯大学)
本文提出HILBERT框架,通过跨模态注意力和自注意力池化学习文档级音频文本表示,采用双对比目标和辅助正则化提升跨模态对齐效果,实现长序列语义表示学习。
2026-04-17 cs.AI cs.LG
GMoPE:A Prompt-Expert Mixture Framework for Graph Foundation Models
本文提出GMoPE框架,将专家混合架构与提示学习结合用于图基础模型,通过专家特定提示、结构感知路由和软正交约束实现专家专业化,并采用仅提示微调降低迁移成本,在多个下游任务上以极少适应开销达到与全参数微调相当的性能。
2025-11-05 cs.AI cs.LG cs.SI
Fairness-Aware Mixture-of-Experts via Subgroup Reweighting and Gate Regularization
Dongyang Mirae University(东阳未来大学)
本文针对混合专家模型的路由诱导偏差问题,提出子组重加权与门控熵正则化结合的端到端框架,在提升公平性的同时维持了预测性能。
2026-08-25 cs.AI cs.LG
SliceMoE: Routing Embedding Slices Instead of Tokens for Fine-Grained and Balanced Transformer Scaling
Rutgers University - New Brunswick(罗格斯大学新布朗斯维克分校)
针对令牌级MoE路由的容量瓶颈、负载失衡等问题,提出SliceMoE架构通过路由嵌入切片实现细粒度均衡扩展,经多任务实验验证其推理更快、困惑度更低且专家均衡性与可解释性更优。
2025-10-05 cs.AI cs.CL cs.LG
MoE-AMC: Enhancing Automatic Modulation Classification Performance Using Mixture-of-Experts
Shanghai Jiao Tong University(上海交通大学);Ningbo Institute of Digital Twin, Eastern Institute of Technology(东方理工高等研究院数字孪生宁波研究院)
本文提出MoE-AMC模型,通过专家混合框架结合Transformer模型处理低信噪比信号和ResNet模型处理高信噪比信号,在RML2018.01a数据集上实现71.76%的平均分类准确率,超越此前SOTA近10%。
2023-12-04 cs.CV cs.LG eess.SP
Scaling Laws for Multimodal Data Mixtures
MILA - Quebec AI Institute(米拉 - 魁北克人工智能研究所);McGill University(麦吉尔大学);EPFL(洛桑联邦理工学院);ETH(苏黎世联邦理工学院);University of Washington(华盛顿大学)
本研究推导了文本、视觉、音频的多模态数据混合缩放定律,通过268项MoE实验发现计算最优值具模态特异性、重复数据超2倍收益可忽略、跨模态交互不对称,为训练前沿MLLMs提供了原则性基础。
2026-11-10 cs.CL cs.LG
MoxE: Mixture of xLSTM Experts with Entropy-Aware Routing for Efficient Language Modeling
FSM, University of Monastir(FSM,蒙斯塔尔大学);CES Lab, ENIS, University of Sfax(CES实验室,ENIS,萨菲大学);Department of Computer Science, College of Computer, Qassim University(计算机科学系,计算机学院,卡西姆大学);University of Michigan-Flint(密歇根大学弗林特分校)
本文提出MoxE架构,将xLSTM与MoE框架结合,并引入熵感知路由机制动态分配token给专家,同时采用辅助损失函数,以提升大语言模型的可扩展性和效率。
2025-05-01 cs.AI cs.CL cs.LG
Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts
DeepSeek-AI(深度求索公司);Peking University(北京大学)
针对MoE模型中辅助损失负载均衡引发的干扰梯度问题,提出无辅助损失的Loss-Free Balancing策略,通过动态调整专家偏置实现负载均衡,在3B参数模型上验证了其优于传统方法的性能与均衡效果。
2024-08-28 cs.CL cs.LG
MoEMba: A Mamba-based Mixture of Experts for High-Density EMG-based Hand Gesture Recognition
Concordia Institute for Information Systems Engineering (CIISE)(康科迪亚信息系统工程研究所)
MoEMba通过结合选择性状态空间模型和小波特征调制,提升高密度EMG手部动作识别的准确性和鲁棒性。
2026-02-24 cs.AI cs.LG eess.SP
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida(佛罗里达大学)
我们引入了一种新的基于机器学习的方法,我们称之为独立分类器网络(InClass网)技术,条件独立混合模型(CIMM)的非参数估计。我们将CIMM的估计视为多类分类问题,因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络(NN)组成,每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力,我们允许模型的条件独立变量是单独的高维,这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个(不同的)充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包,并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Learning Balanced Mixtures of Discrete Distributions with Small Sample
Carnegie Mellon University(卡内基梅隆大学)
我们研究了一个小样本的$n$个人的划分问题,从混合的$k$产品分布在一个布尔立方体$\{0, 1\}^K$根据他们的分布。每个分布由$\R^K$中的等位基因频率向量描述。给定两个分布,我们使用$γ$来表示$K$维度上频率的平均$\ell_2^2$距离,该距离测量它们之间的统计差异。我们研究的情况下,假设位是独立分布在$K$尺寸。这项工作表明,对于$k = 2$的平衡输入实例,某个基于图的优化函数以高概率返回正确的分区,其中在$n$个体上形成加权图$G$,其对应位向量之间的成对汉明距离定义边缘权重,只要$K = Ω(\ln n/γ)$和$Kn = \tildeΩ(\ln n/γ^2)$。该函数计算$G$的最大权重平衡切割,其中切割的权重是切割中所有边的权重之和。这个结果展示了高维特征空间中的一个很好的特性:人们可以权衡样本大小所需的特征数量,以完成某些任务,如聚类。
2008-02-10 cs.LG stat.ML
Balanced Marginal and Joint Distributional Learning via Mixture Cramer-Wold Distance
University of Seoul(首尔大学)
针对 Cramer-Wold 距离偏重联合分布、忽视边缘模式的问题,本文提出混合 Cramer-Wold 距离并构建 CWDAE,以同时学习两类分布并实现高质量、隐私可调的表格合成数据生成。
2023-12-06 cs.LG stat.ML
A 1/R Law for Kurtosis Contrast in Balanced Mixtures
Tri-Institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS)(翻译神经影像与数据科学转化研究中心);Georgia State University(佐治亚州立大学);Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学);Department of Computer Science(计算机科学系);School of Electrical and Computer Engineering(电气与计算机工程学院)
本文提出平衡混合中kurtosis对比的1/R定律,并展示通过纯化方法恢复对比的机制,验证了理论预测和实验结果。
2026-02-25 cs.AI cs.LG stat.ML
Balanced Mixture of SuperNets for Learning the CNN Pooling Architecture
ÉTS(高等技术学院)
针对CNN池化架构搜索中单SuperNet参数共享导致训练困难的问题,提出平衡混合SuperNet方法,在多个数据集上优于默认配置和其他方法。
2023-06-21 cs.CV cs.LG
Learning Deep Mixtures of Gaussian Process Experts Using Sum-Product Networks
Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);Graz University of Technology(格拉茨工业大学);University of Cambridge(剑桥大学)
虽然高斯过程(GP)是回归任务的首选方法,但它们也有实际困难,因为推理成本在时间上是三次方,在内存中是二次方。在本文中,我们介绍了一种自然和表达的方式来解决这些问题,通过将GP的和积网络(SPN),最近提出的易处理的概率模型,允许准确和有效的推理。特别是,通过使用GP作为SPN的叶子,我们获得了一种新的灵活的先验函数,它隐含地表示了指数级大的混合本地GP。在这个模型中,精确和有效的后验推理可以在GP和SPN中的推理机制的自然相互作用中完成。因此,每个GP--类似于混合专家模型方法--仅负责数据点的子集,这以分而治之的方式有效地降低了推理成本。我们表明,将GP集成到SPN框架中会产生一个有前途的概率回归模型,该模型具有以下特点:(1)计算和内存效率高,(2)允许有效和精确的后验推理,(3)足够灵活,可以混合不同的核函数,(4)自然地考虑时间序列中的非平稳性。在一系列实验中,我们证明了SPN-GP模型可以学习依赖于输入的参数和超参数,并且与传统的GP以及对真实世界数据的最先进的近似值相当或优于传统的GP。
2018-09-12 cs.LG stat.ML
Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
本文提出RESM方法,通过改进的参数融合策略提升大型语言模型在有用性、诚实性和无害性方面的平衡对齐效果。
2026-01-31 cs.AI cs.CL cs.LG
Mixture Experts with Test-Time Self-Supervised Aggregation for Tabular Imbalanced Regression
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对表格回归中连续标签边界不清及测试分布未知不平衡的问题,提出 MATI,通过区域感知高斯混合专家与测试时自监督聚合动态适配分布,在三类测试设置下平均将 MAE 改善 7.1%。
2025-06-08 cs.LG
Clustering Survival Data using a Mixture of Non-parametric Experts
Federal University of Rio de Janeiro(里约热内卢联邦大学)
SurvMixClust将聚类与生存函数预测统一于非参数专家混合框架,在五个公共数据集上生成平衡且生存曲线不同的聚类,优于聚类基线,预测精度媲美非聚类生存模型。
2024-05-24 cs.LG stat.ML
Balanced Data, Imbalanced Spectra: Unveiling Class Disparities with Spectral Imbalance
Georgia Institute of Technology(佐治亚理工学院);Samsung Research(三星研究院);Stanford University(斯坦福大学)
本文提出特征中的谱不平衡概念作为类别差异的潜在来源,构建理论框架推导高维混合模型中每类误差的精确表达式,并在11个预训练编码器上验证其可用于比较编码器质量及评估数据增强策略,揭示了预训练特征中可通过谱诊断的未知偏差。
2024-06-03 cs.LG stat.ML
Routing in Gradient Space: Balanced Usage Is Not Expert Specialization
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
本研究提出梯度对齐路由(GAR),通过负载归一化目标函数按梯度对齐分组观测,在多任务文本分类中比仅任务损失路由准确率提升约1个百分点,并区分了负载均衡与专家专业化。
2026-11-17 cs.LG
Revisiting Multilingual Data Mixtures in Language Model Pretraining
EPFL(瑞士联邦理工学院)
预训练大语言模型(LLM)中不同多语言数据混合的影响一直是一个持续争论的话题,经常引起对语言覆盖率和模型性能之间潜在权衡的担忧(即,多语言的诅咒)。在这项工作中,我们通过在不同的多语言语料库上训练1.1B和3B参数LLM来研究这些假设,语言的数量从25到400不等。我们的研究挑战了围绕多语言培训的共同信念。首先,我们发现,结合英语和多语言数据并不一定会降低任何一组的语言性能,前提是语言有足够数量的令牌包括在预训练语料库。其次,我们观察到,使用英语作为一种枢纽语言(即,作为多语言通用化催化剂的高资源语言)在各语言家族中产生益处,并且与预期相反,从特定家族中选择中枢语言并不能始终如一地提高该家族中语言的性能。最后,我们没有观察到显著的“多语言诅咒”,因为在这种规模下,模型中的训练语言数量增加了。我们的研究结果表明,多语言数据,当平衡适当,可以提高语言模型的能力,而不影响性能,即使在低资源设置
2025-10-29 cs.AI cs.CL cs.LG
TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models
Anhui University(安徽大学);Hefei University(合肥大学);University of Science and Technology of China(中国科学技术大学)
TalkLoRA通过引入专家间通信机制,提升LoRA在大语言模型中的参数效率和路由稳定性,实现在多种任务中更高效和均衡的专家路由。
2026-04-07 cs.AI cs.LG