Conditional Capacity and Routing in Mixture-of-Experts Particle Transformers
University of California San Diego(加州大学圣迭戈分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Fermi National Accelerator Laboratory(费米国家加速器实验室);University of California Davis(加州大学戴维斯分校)
本研究在JetClass-II上对比密集与MoE粒子Transformer,发现top-1 MoE在计算量不变时提升精度,多专家激活增加计算成本但提升预测,并强调需区分存储容量、活跃计算、路由容量与组织。
2026-10-08 cs.LG hep-ex
Task-Aware Mixture-of-Experts for Time Series Analysis
East China Normal University(东华师范大学)
PatchMoE通过引入递归噪声门控和时空负载平衡损失,实现任务感知的时间序列分析框架,提升不同任务的建模能力。
2026-01-20 cs.LG
A multi-scale lithium-ion battery capacity prediction using mixture of experts and patch-based MLP
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院)
本文提出多尺度锂离子电池容量预测模型MSPMLP,结合专家混合架构与分块MLP提取多尺度特征,在NASA数据集上MAE达0.0078,较现有方法提升41.8%。
2025-03-26 cs.LG cs.SY eess.SP
Peirce in the Machine: How Mixture of Experts Models Perform Hypothesis Construction
Purdue University(普渡大学)
本文探讨了混合专家模型在假设构造中的表现,指出其函数容量优势,并通过实验验证其在归纳推理中的有效性。
2024-06-24 cs.AI cs.LG
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
Xiamen University(厦门大学);Tencent Hunyuan(腾讯混元);Soochow University(苏州大学)
该研究针对混合专家(MoE)模型,提出LatentMoE框架,通过分析专家几何特性确定最优专家形状,并用分层固有维度指导容量分配,提升了模型性能。
2026-10-14 cs.AI cs.LG
DynaMoE: Dynamic Token-Level Expert Activation with Layer-Wise Adaptive Capacity for Mixture-of-Experts Neural Networks
Machine Learning Research Stuttgart, Germany(斯图加特德国机器学习研究)
DynaMoE通过动态令牌级专家激活和层间自适应容量分配,提升混合专家神经网络的参数效率和计算适应性。
2026-03-02 cs.AI cs.LG
Maximum Score Routing For Mixture-of-Experts
Tsinghua University(清华大学);Tianjin University(天津大学);Seed-Foundation-Model Team(种子基础模型团队)
本文提出MaxScore路由范式,将MoE路由建模为最小成本最大流问题并结合SoftTopk算子,在相同FLOPs下实现更低训练损失和更高评估分数。
2025-08-18 cs.CL cs.LG
Capacity-Aware Inference: Mitigating the Straggler Effect in Mixture of Experts
University of Maryland, College Park(马里兰大学学院公园分校);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
本文提出容量感知令牌丢弃和扩展丢弃方法,通过减少专家负载不平衡提升混合专家模型的推理效率和性能。
2026-05-11 cs.AI cs.CL cs.LG
MAEM: Mitigating Recency Bias via a Replay-Free, Capacity-Controlled Dynamic Mixture of Experts for Class-Incremental Graph Learning
Beihang University(北京航空航天大学);Renmin University of China(中国人民大学);Trine University(特莱恩大学);Beijing University of Posts and Telecommunications(北京邮电大学)
MAEM是一种无重放、容量可控的动态专家混合框架,通过SGC构建表示,用MAE实现无任务标识的路由,在四个类增量图基准上缓解近期偏差,性能优于基线且容量受限。
2026-10-15 cs.LG stat.ML
Lightweight Metadata-Aware Mixture-of-Experts Masked Autoencoder for Earth Observation
European Centre for Medium-Range Weather Forecasts(欧洲中期天气预报中心)
针对地球观测大模型计算成本高的问题,提出仅2.5M参数的元数据感知混合专家掩码自编码器,结合稀疏专家路由与地理时间条件化预训练,在下游任务中展现出与数亿参数模型相当的竞争力。
2025-09-13 cs.CV cs.LG
TA-MoE: Topology-Aware Large Scale Mixture-of-Expert Training
Peking University(北京大学);Baidu Inc.(百度公司)
稀疏门控混合专家(MoE)已经证明了其在将深度神经网络扩展到极端规模方面的有效性。尽管已经从模型设计或系统优化的角度做出了许多努力来提高MoE的性能,但是现有的MoE调度模式仍然不能充分利用底层的异构网络环境。本文从模型-系统协同设计的角度,提出了一种面向大规模MoE训练的拓扑感知路由策略TA-MoE,该策略能够根据网络拓扑动态调整MoE的调度模式。基于通信建模,我们将调度问题抽象为一个优化目标,得到了不同拓扑结构下的近似调度模式。在此基础上,我们设计了一个拓扑感知的辅助损耗,它可以自适应地路由数据以适应底层拓扑,而不会牺牲模型的准确性。实验表明,TA-MoE在各种硬件和模型配置上都能大幅优于同类产品,与流行的DeepSpeed-MoE、FastMoE和FasterMoE相比,性能提高了约1.01倍-1.61倍、1.01倍-4.77倍、1.25倍-1.54倍。
2023-02-20 cs.AI cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China(科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题,提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架,并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
针对大规模混合数据集训练通用检测器参数量大的问题,提出数据集感知混合专家模型DAMEX,通过路由数据集令牌到对应专家实现数据集专属知识整合,在通用目标检测基准上显著超越现有最优方法及非MoE基线,且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
Unbiased Gradient Estimation with Balanced Assignments for Mixtures of Experts
University of Amsterdam(阿姆斯特丹大学);DeepMind
在现代硬件上有效地训练大规模混合专家模型需要将数据点批量分配给不同的专家,每个专家的容量有限。最近提出的分配程序缺乏概率的解释,并使用有偏估计的培训。作为替代方案,我们提出了两种基于原则性随机分配程序的无偏估计:一种是跳过超过专家能力的数据点,另一种是使用Gumbel匹配分布的扩展对完全平衡的分配进行采样[29]。这两种估计量都是无偏的,因为它们对所使用的抽样程序进行了校正。在一个玩具实验中,我们发现“跳跃”估计是更有效的平衡抽样的,都是更强大的解决任务比有偏见的替代品。
2021-12-08 cs.LG stat.ML
LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts
German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
提出LongMoE框架,通过上下文感知插补、注意力标记化、轨迹感知编码和稀疏MoE路由,联合解决临床多模态学习中模态缺失和纵向动态两大挑战,在ADNI等数据集上验证了鲁棒性。
2026-10-01 cs.AI cs.LG
FLUX: Geometry-Aware Longitudinal Flow Matching with Mixture of Experts
Yale University(耶鲁大学)
FLUX通过几何感知的纵向流匹配框架,结合混合专家方法,解决无配对纵向数据中的轨迹建模与隐式状态发现问题。
2026-05-09 cs.LG q-bio.NC
MoNTA: Accelerating Mixture-of-Experts Training with Network-Traffc-Aware Parallel Optimization
Shanghai Enflame Technology Co. Ltd(上海燧原科技有限公司)
针对现有分布式训练框架对大基座MoE模型通信优化不足的问题,本文提出网络流量感知的并行优化方法MoNTA,可依据通信量和集群拓扑选最优策略,显著提升通信效率与训练速度。
2024-11-01 cs.AI cs.LG
Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models
Qualcomm AI Research(高通人工智能研究院)
提出Mixture-of-Control(MoC)框架,通过稀疏混合专家机制自适应融合局部和全局控制信号,增强Transformer块间信息交换,实现高效微调。
2026-10-22 cs.AI cs.LG
Dynamic Mixture of Experts Against Severe Distribution Shifts
Graduate School of AI(人工智能研究生院)
本文提出动态专家混合方法,用于持续学习和强化学习环境,通过动态增加容量来解决分布偏移问题。
2025-11-24 cs.AI cs.LG
Conflict-Aware Federated Fine-Tuning of Large Language Models with Mixture-of-Experts
Nanyang Technological University(南洋理工大学);University of Malaya(马来亚大学)
针对联邦学习中混合专家模型因数据异质性导致的专家优化冲突问题,提出FC-MoE框架,通过重要性加权、梯度共识投影和局部知识保留机制,实现稳定优化并提升非独立同分布环境下的模型性能。
2026-06-16 cs.LG cs.NI
Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models
Apple(苹果公司);MIT(麻省理工学院)
本文研究稀疏混合专家模型中参数数量与FLOPs的关系,发现不同约束下存在最优稀疏性水平,可同时提升训练效率和模型性能,为高效架构设计提供指导。
2025-07-02 cs.AI cs.LG
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Google Brain(谷歌大脑);Jagiellonian University(雅盖隆大学)
神经网络吸收信息的能力受到其参数数量的限制。条件计算,其中网络的部分在每个示例的基础上是活跃的,在理论上已经被提出作为一种显着增加模型容量而不按比例增加计算的方法。然而,在实践中,存在显著的算法和性能挑战。在这项工作中,我们解决了这些挑战,并最终实现了条件计算的承诺,实现了模型容量的1000倍以上的改进,而现代GPU集群的计算效率只有轻微的损失。我们引入了一个稀疏门控混合专家模型层(MoE),由多达数千个前馈子网络。可训练的门控网络确定这些专家的稀疏组合以用于每个示例。我们将MoE应用于语言建模和机器翻译的任务,其中模型容量对于吸收训练语料库中的大量知识至关重要。我们提出了模型架构,其中具有高达1370亿个参数的MoE在堆叠的LSTM层之间以卷积方式应用。在大型语言建模和机器翻译基准测试中,这些模型以更低的计算成本获得了比最先进的模型更好的结果。
2017-01-23 cs.CL cs.LG cs.NE
Dynamic TMoE: A Drift-Aware Dynamic Mixture of Experts Framework for Non-Stationary Time Series Forecasting
School of Software Technology, Zhejiang University, Ningbo, China;State Key Lab of CAD\&CG, Zhejiang University, Hangzhou, China
本文提出Dynamic TMoE框架,通过动态构建异构专家和剪枝冗余专家来优化容量,并利用时间记忆路由器确保稳定且上下文感知的专家选择,从而在非平稳时间序列预测中实现更优性能。
2026-05-20 cs.AI cs.LG
RoME: Role-aware Mixture-of-Expert Transformer for Text-to-Video Retrieval
随着社交渠道的普及,每天都有大量的视频上传;因此,通过用户文本查询检索最相关的视频内容起着更重要的作用。大多数方法只考虑全局视觉和文本特征之间的一个联合嵌入空间,而没有考虑每个模态的局部结构。其他一些方法分别考虑由全局和局部特征组成的多个嵌入空间,忽略了丰富的模态间相关性。我们提出了一种新的混合专家Transformer罗马,解开的文本和视频到三个层次的角色的空间背景,时间背景和对象的背景。我们利用一个基于transformer的注意力机制,充分利用视觉和文本嵌入在全球和当地的水平与混合的专家考虑之间的模态和结构的相关性。结果表明,我们的方法在YouCook 2和MSR-VTT数据集上的表现优于最先进的方法,给定相同的视觉骨干而无需预训练。最后,我们进行了广泛的消融研究,以阐明我们的设计选择。
2022-06-26 cs.CV cs.IR cs.LG
S'MoRE: Structural Mixture of Residual Experts for Parameter-Efficient LLM Fine-tuning
Meta AI
针对大语言模型微调中参数效率与容量难平衡的问题,提出融合LoRA效率与MoE灵活性的S'MoRE框架,通过分层低秩分解残差与GNN式层间传播,在相近参数下指数级提升结构灵活性,实现更优微调性能。
2025-10-29 cs.CL cs.LG
X-MoD: Practical Scaling Laws for Sparse-Depth Routing Beyond Mixture-of-Depths
Tsinghua University(清华大学);Tianjin University(天津大学)
X-MoD提出一种解耦令牌稀疏性与锚点步长的稀疏深度架构,并建立实用缩放定律,以预测和优化不同配置下的性能,超越传统MoD。
2026-09-29 cs.CL cs.LG
MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
MetaMoE通过利用公共代理数据统一独立训练的领域专家,解决隐私约束下混合专家训练的挑战,采用多样性感知的代理选择方法提升专家协调性。
2026-05-14 cs.AI cs.CL cs.CR
Latent-MoE: Domain-Aware Mixture-of-Experts for PDEs with Multi-Regime Physics
University of Pennsylvania(宾夕法尼亚大学)
针对物理随区域变化的PDE,提出Latent-MoE,通过域感知MoE块和共享骨干实现局部化学习,在多阶段时变物理基准上性能提升超一个数量级。
2026-09-09 cs.LG physics.comp-ph
Cost-Aware Mixture-of-Experts Coordination for Model Markets
University of Southampton(南安普顿大学);Aalborg University(奥尔堡大学);University of Nottingham(诺丁汉大学)
本文提出基于MoE的模型市场框架,将MoE从模型级架构升级为市场级协调机制,推导成本感知门控与收益分配规则,实验显示其在15个基准上福利更高、成本更低且计算开销更小。
2026-10-09 cs.DB cs.LG
HAPMoE: Heterogeneity-Aware Automatic Parallelism Planning for Mixture-of-Experts Models Training
Peking University(北京大学);Infinigence AI(无问智能);Tsinghua University(清华大学)
针对MoE模型在异构集群上的自动并行化难题,提出HAPMoE,通过MoE感知成本模型和六维并行空间搜索,实现吞吐量最高提升3.2倍,并在一分钟内完成规划。
2026-10-01 cs.DC cs.LG
MixAtlas: Uncertainty-aware Data Mixture Optimization for Multimodal LLM Midtraining
Apple(苹果公司);University of Washington(华盛顿大学);Virginia Tech(弗吉尼亚理工学院)
MixAtlas通过双轴分解训练语料,结合小代理模型与高斯过程代理,优化多模态大语言模型的训练混合策略,提升性能和泛化能力。
2026-04-03 cs.AI cs.CL cs.LG
Context-Aware Mixture-of-Experts Inference on CXL-Enabled GPU-NDP Systems
Rensselaer Polytechnic Institute(罗切斯特理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research Europe(IBM欧洲研究院);IBM T. J. Watson Research Center(IBM托马斯·贾诺斯·沃森研究中心)
本文提出一种基于上下文的混合专家推理系统,利用CXL-NDP减少内存传输成本,提升解码吞吐量8.7倍,精度仅下降0.13%。
2025-12-04 cs.AR cs.LG
Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Meta
提出 Mixture-of-Mamba 架构,通过对 Mamba 块进行模态特定参数化引入模态感知稀疏性,在保持计算效率的同时显著降低多模态预训练成本并达到等效性能。
2025-01-27 cs.AI cs.CL cs.CV
Risk-Aware Decision-Making for Autonomous Overtaking: A World Model-Based Mixture-of-Experts Framework
School of Mechanical Engineering, Southeast University(东南大学机械工程学院);University of Michigan(密歇根大学);Nanyang Technological University(南洋理工大学)
该研究针对自主超车决策的长期潜在风险问题,提出WM-RMoE框架,结合世界模型、混合专家与高斯混合模型,提升了安全合规性、决策稳定性与泛化能力,可生成多交通密度下的前瞻性超车操纵。
2026-09-02 cs.AI cs.LG cs.RO
MoRE: Mixture of Reused Experts
Cornell University(康奈尔大学)
MoRE通过相邻层共享专家池并引入深度嵌入,在不增参数下提升路由多样性,在114M-1.15B规模上优于标准MoE和权重共享架构。
2026-09-18 cs.AI cs.LG
MACS: Modality-Aware Capacity Scaling for Efficient Multimodal MoE Inference
School of Software, Tsinghua University, Beijing, China(清华大学软件学院,北京,中国);TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China(天津大学计算机科学与技术学院,中国);School of New Media and Communication, Tianjin University, China(天津大学新媒体与传播学院,中国)
针对多模态MoE大模型在专家并行推理中因信息异质性和模态动态性导致的效率瓶颈,提出无需训练的MACS框架,通过熵加权负载和动态模态自适应容量机制优化资源分配,显著提升多模态基准性能。
2026-06-05 cs.AI cs.LG
Regime-Gated Residual Mixture-of-Experts for Cross-Sectional Volatility Forecasting
School of Computing, Montclair State University(蒙特克莱尔州立大学计算机学院)
本文针对金融波动率的 regime 依赖性问题,提出 RG-ResMoE 架构,将 regime 信息仅用于专家路由,在美、日股票波动率预测中,该模型在精度和稳定性上均优于 MLP。
2026-08-13 cs.LG q-fin.ST
FAME: Failure-Aware Mixture-of-Experts for Message-Level Log Anomaly Detection
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出FAME,一种面向失败的混合专家模型,用于消息级日志异常检测。该方法通过少量标注数据训练轻量级路由器和领域专家,实现高效的异常检测,同时在BGL和Thunderbird数据集上取得了高精度和召回率。
2026-07-21 cs.LG cs.SE
Routing-Aware Safety Alignment for Mixture-of-Experts Models
Department of XXX, University of YYY(YYY大学XXX系);School of ZZZ, Institute of WWW(WWW学院ZZZ学院)
RASA通过针对性修复安全关键专家提升混合专家模型的安全性,有效防止路由绕过,实现高鲁棒性和跨攻击泛化能力。
2026-10-08 cs.AI cs.CR cs.LG
RaMP: Runtime-Aware Megakernel Polymorphism for Mixture-of-Experts
Hippocratic AI
RaMP通过运行时感知的调度框架优化混合专家推理,基于硬件常数分析性能区域,实现高效内核配置,提升推理速度1.22倍,优于静态调度和多个现有系统。
2026-11-03 cs.AI cs.DC cs.LG
Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation
Nanyang Technological University(南洋理工大学)
针对序列推荐中物品多面性和用户偏好多样性的问题,提出FAME模型,利用多头注意力子嵌入和专家混合网络解耦分面偏好,并通过门控机制动态整合推荐,在四个数据集上验证了其有效性。
2025-02-10 cs.IR cs.LG
MoMa: Efficient Early-Fusion Pre-training with Mixture of Modality-Aware Experts
Meta FAIR
本研究提出模态感知专家混合架构MoMa,通过模态特定专家组与组内路由处理任意图文序列,在1万亿token预训练中相比稠密基线实现3.7倍整体FLOPs节省,结合MoD可达4.2倍,显著提升多模态早期融合预训练效率。
2024-08-12 cs.AI cs.LG
eMoE: Task-aware Memory Efficient Mixture-of-Experts-Based (MoE) Model Inference
University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院)
eMoE通过基于路由模式预测并仅加载所需专家、按提示间隔调用预测器以及任务感知调度,在保持准确性的同时显著降低MoE大语言模型推理的内存消耗和延迟,并提升吞吐量。
2025-03-10 cs.DC cs.LG
I2MoE: Interpretable Multimodal Interaction-aware Mixture-of-Experts
University of Pennsylvania(宾夕法尼亚大学)
I2MoE提出一种可解释的多模态交互感知混合专家框架,通过交互专家和重加权模型显式建模多模态交互,提供局部与全局解释,并在医学和通用数据集上提升性能。
2025-05-25 cs.AI cs.CV cs.LG
MoxE: Mixture of xLSTM Experts with Entropy-Aware Routing for Efficient Language Modeling
FSM, University of Monastir(FSM,蒙斯塔尔大学);CES Lab, ENIS, University of Sfax(CES实验室,ENIS,萨菲大学);Department of Computer Science, College of Computer, Qassim University(计算机科学系,计算机学院,卡西姆大学);University of Michigan-Flint(密歇根大学弗林特分校)
本文提出MoxE架构,将xLSTM与MoE框架结合,并引入熵感知路由机制动态分配token给专家,同时采用辅助损失函数,以提升大语言模型的可扩展性和效率。
2025-05-01 cs.AI cs.CL cs.LG
$μ$-MoE: Test-Time Pruning as Micro-Grained Mixture-of-Experts
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
本文提出$μ$-MoE,将测试时激活感知剪枝形式化为微粒度混合专家,通过计算高效的校准实现每个提示的自适应结构化稀疏,以降低推理计算需求。
2025-05-24 cs.AI cs.CL cs.LG
Topology-Aware Multiscale Mixture of Experts for Efficient Molecular Property Prediction
School of Mathematics and Statistics(数学与统计学学院);Victoria University of Wellington(威灵顿维多利亚大学);School of Physical and Mathematical Sciences(物理与数学科学学院);Nanyang Technological University(南洋理工大学)
本文提出基于拓扑的多尺度专家混合方法,通过多尺度交互建模提升3D分子性质预测的效率和准确性。
2026-01-19 cs.AI cs.LG q-bio.QM
MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts
School of Computer Science, National University of Singapore(新加坡国立大学计算机科学学院);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
MoST通过模态感知混合专家架构,实现语音和文本的高效融合,首次公开了基于混合专家的语音-文本大语言模型。
2026-01-15 cs.AI cs.CL cs.LG
AI-driven Thermal-aware Data Center Capacity Planning
Cadence Design Systems(楷登电子)
针对LLM带来的数据中心热管理挑战,提出AI驱动的热感知容量规划框架,实现秒级规划、毫秒级预测,较CFD加速10000倍,并优化负载与冷却效率。
2026-10-05 cs.LG
Improved Variance-Aware Confidence Sets for Linear Bandits and Linear Mixture MDP
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文提出了线性强盗和线性混合马尔可夫决策过程的新的\emph{variance-aware}置信集。对于线性强盗,我们得到了一个$\tilde{O}(poly(d)\sqrt{1 + \sum_{k=1}^{K}σ_k^2})$数据依赖的后悔界,其中$d$是特征维数,$K$是回合数,$σ_k^2$是第$k$回合奖励的方差\emph{unknown}.这是第一个遗憾界限,它只与方差和维数成比例,但与\emph{no explicit polynomial dependency on $K$}成比例。当方差很小时,这个界可以显著小于$\tildeΘ\left(d\sqrt{K}\right)$最坏情况下的后悔界。对于线性混合MDP,我们得到了一个$\tilde{O}(poly(d, \log H)\sqrt{K})$遗憾界,其中$d$是基础模型的数量,$K$是情节的数量,$H$是规划范围。这是第一个遗憾的界限,只有规模\emph{logarithmically}与$H$在强化学习与线性函数逼近设置,从而\emph{exponentially improving}现有的结果,并解决了一个开放的问题,在\citep{zhou2020nearly}。我们开发了三个技术思想,可能是独立的兴趣:1)应用剥离技术的输入范数和方差大小,2)基于递归的估计方差,和3)一个新的凸势引理,推广了种子椭圆势…
2021-10-29 cs.LG
ChainLearn: A Blockchain-Based Capacity-Aware Framework for Federated Ensemble Learning
EdddTri
针对医院计算资源异构导致标准联邦学习失效的问题,提出容量感知协调方法,通过区块链分离链上策略与链下学习,为各医院分配适当架构并加权集成,在降低通信开销的同时保持竞争性精度与校准误差。
2026-05-23 cs.LG
Learning Slice-Aware Representations with Mixture of Attentions
Amazon Alexa AI(亚马逊Alexa人工智能部门)
现实世界的机器学习系统在粗粒度指标(如整体准确性和F-1分数)方面取得了显着的性能。然而,模型改进和开发通常需要对单个数据子集或切片进行细粒度建模,例如,模型结果不令人满意的数据切片。在实践中,它为开发这样的模型提供了切实的价值,这些模型可以在保留原始整体性能的同时,额外关注关键或感兴趣的切片。本文扩展了最近的基于切片的学习(SBL)~ \cite{chen2019slice}与混合注意(MoA)来学习切片感知的双重注意表示。我们的经验表明,MoA方法优于基线方法以及原始SBL方法对两个自然语言理解(NLU)任务的监控切片。
2021-06-04 cs.CL cs.LG
Attention Mixtures for Time-Aware Sequential Recommendation
Deezer Research(Deezer研究院)
本文提出MOJITO,一种改进的Transformer序列推荐系统,利用基于注意力的时间上下文和物品嵌入表示的高斯混合体进行序列建模,在多个真实数据集上超越现有方法。
2023-07-03 cs.IR cs.LG
Uncertainty-Aware Learning from Demonstration using Mixture Density Networks with Sampling-Free Variance Modeling
Seoul National University(首尔国立大学);Korea University(高丽大学)
在本文中,我们提出了一种不确定性感知的示教学习方法,提出了一种新的不确定性估计方法,利用混合密度网络建模复杂和嘈杂的人类行为。建议的不确定性采集可以用一个单一的前向路径,而无需蒙特卡罗采样,是适合于实时机器人应用。通过三个不同的合成例子,没有数据,重测量噪声,和组合功能的情况下,建议的不确定性度量的属性进行了分析。我们表明,每种情况下,可以区分使用所提出的不确定性措施,并提出了一个不确定性意识的学习,从演示方法的自动驾驶使用此属性。所提出的不确定性感知的示教学习方法在使用复杂的真实世界驾驶数据集的安全性方面优于其他比较方法。
2017-09-08 cs.AI cs.CV cs.LG