Global Context-aware Representation Learning for Spatially Resolved Transcriptomics
Graduate School of Data Science, KAIST, Daejeon, Republic of Korea;Department of Industrial \& Systems Engineering, KAIST, Daejeon, Republic of Korea;Department of Mathematical Sciences, KAIST, Daejeon, Republic of Korea
针对空间转录组学中现有图方法难以获得有意义点表示的问题,本文提出Spotscape框架,通过相似性望远镜模块捕获全局关系,并采用相似性缩放策略整合多切片数据,在多个下游任务中表现优越。
2025-06-23 cs.CV cs.LG
MRI Plane Orientation Detection using a Context-Aware 2.5D Model
Department of Computer Science, University of Massachusetts Boston(计算机科学系,马萨诸塞大学波士顿分校);Department of Physics, University of Massachusetts Boston(物理系,马萨诸塞大学波士顿分校)
针对自动化系统识别MRI切片解剖平面困难的问题,本研究提出上下文感知2.5D模型,利用多切片信息训练分类器生成平面方向元数据,提升准确率并降低错误率,还验证其在脑肿瘤检测中的实用性并开源应用。
2025-11-18 cs.AI cs.CV cs.LG
MixAtlas: Uncertainty-aware Data Mixture Optimization for Multimodal LLM Midtraining
Apple(苹果公司);University of Washington(华盛顿大学);Virginia Tech(弗吉尼亚理工学院)
MixAtlas通过双轴分解训练语料,结合小代理模型与高斯过程代理,优化多模态大语言模型的训练混合策略,提升性能和泛化能力。
2026-04-03 cs.AI cs.CL cs.LG
MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification
MetaMoE通过利用公共代理数据统一独立训练的领域专家,解决隐私约束下混合专家训练的挑战,采用多样性感知的代理选择方法提升专家协调性。
2026-05-14 cs.AI cs.CL cs.CR
Structure Aware Neural Architecture Search for Mixture of Experts
该研究提出结构感知NAS框架,将数据簇与专家的对齐作为显式搜索变量,通过广义EM流程优化,在无标签的图像分类和时间序列预测任务上优于MoE与NAS基线。
2026-09-01 cs.LG
Context-aware Attention-based Gaussian Mixture Models for Vehicular Trajectory Prediction
University of Central Florida(中佛罗里达大学)
本文提出CAA-GMM模型,利用上下文感知注意力机制和高斯混合实现多模态轨迹预测,在nuScenes和Argoverse 2数据集上达到先进精度且计算高效。
2026-10-08 cs.LG
Domino: Discovering Systematic Errors with Cross-Modal Embeddings
Stanford University(斯坦福大学)
实现高整体准确性的机器学习模型通常会在重要的数据子集(或切片)上产生系统性错误。识别表现不佳的切片在处理高维输入(例如图像、音频)时尤其具有挑战性,其中重要切片通常未标记。为了解决这个问题,最近的研究提出了自动切片发现方法(SDM),它利用学习的模型表示来挖掘输入数据,以寻找模型表现不佳的切片。为了对从业者有用,这些方法必须识别表现不佳和连贯的切片(即由人类可理解的概念联合起来)。然而,目前还没有定量评价框架,可用于根据这些标准严格评估可持续发展机制。此外,先前的定性评估表明,SDM通常识别不相干的切片。在这项工作中,我们首先设计了一个原则性的评估框架,该框架能够在三个输入域(自然图像,医学图像和时间序列数据)中的1,235个切片发现设置中对SDM进行定量比较,从而解决这些挑战。然后,最近发展的强大的跨模态表示学习方法的动机下,我们提出了Domino,一个SDM,利用跨模态嵌入和一个新的错误感知混合模型来发现和描述连贯的切片。我们发现Domino准确地识别了我们框架中1,235个切片中的36%-比以前的方法提高了12个百分点。此外,Domino是第一个可以提供所识别切片的自然语言描述的SDM,在35%的设置中正确地生成切片的确切名称。
2022-05-21 cs.AI cs.LG
Attention Mixtures for Time-Aware Sequential Recommendation
Deezer Research(Deezer研究院)
本文提出MOJITO,一种改进的Transformer序列推荐系统,利用基于注意力的时间上下文和物品嵌入表示的高斯混合体进行序列建模,在多个真实数据集上超越现有方法。
2023-07-03 cs.IR cs.LG
Slice-based Learning: A Programming Model for Residual Learning in Critical Data Slices
Stanford University(斯坦福大学)
在现实世界的机器学习应用中,数据子集对应于特别关键的结果:脆弱的骑自行车者检测在自动驾驶任务中是安全关键的,并且“问题”句子可能对对话代理的语言理解很重要。虽然机器学习模型可以在粗粒度指标(如F1分数和整体准确性)上实现高质量的性能,但它们在关键子集上可能表现不佳-我们将这些定义为切片,这是我们方法中的关键抽象。为了解决切片级性能,从业者通常在切片子集上训练单独的“专家”模型或使用多任务硬参数共享。我们提出了基于切片的学习,一个新的编程模型,其中切片功能(SF),编程接口,指定关键数据子集的模型应该提交额外的容量。任何模型都可以利用SF来学习切片专家表示,切片专家表示与注意力机制相结合,以进行切片感知预测。我们表明,我们的方法保持了参数有效的表示,同时在切片上提高了19.0 F1,在跨越语言理解(例如SuperGLUE),计算机视觉和生产规模工业系统的数据集上提高了4.6 F1。
2020-02-29 cs.AI cs.LG stat.ML
Uncertainty-Aware Learning from Demonstration using Mixture Density Networks with Sampling-Free Variance Modeling
Seoul National University(首尔国立大学);Korea University(高丽大学)
在本文中,我们提出了一种不确定性感知的示教学习方法,提出了一种新的不确定性估计方法,利用混合密度网络建模复杂和嘈杂的人类行为。建议的不确定性采集可以用一个单一的前向路径,而无需蒙特卡罗采样,是适合于实时机器人应用。通过三个不同的合成例子,没有数据,重测量噪声,和组合功能的情况下,建议的不确定性度量的属性进行了分析。我们表明,每种情况下,可以区分使用所提出的不确定性措施,并提出了一个不确定性意识的学习,从演示方法的自动驾驶使用此属性。所提出的不确定性感知的示教学习方法在使用复杂的真实世界驾驶数据集的安全性方面优于其他比较方法。
2017-09-08 cs.AI cs.CV cs.LG
Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Meta
提出 Mixture-of-Mamba 架构,通过对 Mamba 块进行模态特定参数化引入模态感知稀疏性,在保持计算效率的同时显著降低多模态预训练成本并达到等效性能。
2025-01-27 cs.AI cs.CL cs.CV
MoxE: Mixture of xLSTM Experts with Entropy-Aware Routing for Efficient Language Modeling
FSM, University of Monastir(FSM,蒙斯塔尔大学);CES Lab, ENIS, University of Sfax(CES实验室,ENIS,萨菲大学);Department of Computer Science, College of Computer, Qassim University(计算机科学系,计算机学院,卡西姆大学);University of Michigan-Flint(密歇根大学弗林特分校)
本文提出MoxE架构,将xLSTM与MoE框架结合,并引入熵感知路由机制动态分配token给专家,同时采用辅助损失函数,以提升大语言模型的可扩展性和效率。
2025-05-01 cs.AI cs.CL cs.LG
Mixture-Greedy for Online Generative Model Selection: Is UCB Necessary in Diversity-Aware Multi-Armed Bandits?
Department of Computer Science and Engineering, Chinese University of Hong Kong(计算机科学与工程系,香港中文大学)
在生成模型选择中,混合贪婪策略无需UCB探索奖励即可实现更快收敛和更高样本效率,挑战了传统多臂老虎机中UCB的必要性。
2026-10-12 cs.AI cs.CV cs.LG
Mixture-of-Experts for Distributed Edge Computing with Channel-Aware Gating Function
Shenzhen Future Network of Intelligence Institute(深圳未来智能网络研究院);University of California, San Francisco(加利福尼亚大学旧金山分校);New Jersey Institute of Technology(新泽西理工学院);University of Louisiana at Lafayette(路易斯安那大学拉法叶分校)
本文提出一种用于无线分布式混合专家模型的信道感知门控函数,通过将通信信道信噪比纳入门控机制以优化专家选择,实验证明其性能优于传统MoE模型。
2025-04-01 cs.LG
Information Gap and Feasibility-Aware Inference in Binomial Logistic Mixtures
研究二项逻辑混合模型中混合检测与标签恢复之间的信息差距,提出基于后验熵惩罚的可行性感知推断方法,避免误导性成分选择并改善后验标签概率校准。
2026-06-16 cs.LG math.ST stat.ML
Drift-Aware Multimodal User Representation Learning via Multi-Scale Temporal Modeling and Sparse Mixture-of-Experts
Shanghai Innovation Institute(上海创新研究院);Tongji University(同济大学)
针对社交媒体用户兴趣漂移问题,提出DUMoE框架,通过时序动态感知骨干与稀疏MoE兴趣适配器实现多模态用户表示学习,在两类预测任务上优于现有最优方法。
2026-11-17 cs.LG
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
针对大规模混合数据集训练通用检测器参数量大的问题,提出数据集感知混合专家模型DAMEX,通过路由数据集令牌到对应专家实现数据集专属知识整合,在通用目标检测基准上显著超越现有最优方法及非MoE基线,且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
Task-Aware Mixture-of-Experts for Time Series Analysis
East China Normal University(东华师范大学)
PatchMoE通过引入递归噪声门控和时空负载平衡损失,实现任务感知的时间序列分析框架,提升不同任务的建模能力。
2026-01-20 cs.LG
RagGAD: Rationale-Aware Conditional Gaussian Mixture Normalizing Flow for Unsupervised Graph Anomaly Detection
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);State Key Laboratory of Submarine Geoscience, School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学海洋地质国家重点实验室、自动化与智能传感学院)
针对现有图异常检测方法依赖同质性假设、鲁棒性不足的问题,提出RagGAD框架,通过依据解缠与混合建模提升性能,在多基准数据集上优于现有方法。
2026-08-18 cs.AI cs.LG
Lightweight Metadata-Aware Mixture-of-Experts Masked Autoencoder for Earth Observation
European Centre for Medium-Range Weather Forecasts(欧洲中期天气预报中心)
针对地球观测大模型计算成本高的问题,提出仅2.5M参数的元数据感知混合专家掩码自编码器,结合稀疏专家路由与地理时间条件化预训练,在下游任务中展现出与数亿参数模型相当的竞争力。
2025-09-13 cs.CV cs.LG
TA-MoE: Topology-Aware Large Scale Mixture-of-Expert Training
Peking University(北京大学);Baidu Inc.(百度公司)
稀疏门控混合专家(MoE)已经证明了其在将深度神经网络扩展到极端规模方面的有效性。尽管已经从模型设计或系统优化的角度做出了许多努力来提高MoE的性能,但是现有的MoE调度模式仍然不能充分利用底层的异构网络环境。本文从模型-系统协同设计的角度,提出了一种面向大规模MoE训练的拓扑感知路由策略TA-MoE,该策略能够根据网络拓扑动态调整MoE的调度模式。基于通信建模,我们将调度问题抽象为一个优化目标,得到了不同拓扑结构下的近似调度模式。在此基础上,我们设计了一个拓扑感知的辅助损耗,它可以自适应地路由数据以适应底层拓扑,而不会牺牲模型的准确性。实验表明,TA-MoE在各种硬件和模型配置上都能大幅优于同类产品,与流行的DeepSpeed-MoE、FastMoE和FasterMoE相比,性能提高了约1.01倍-1.61倍、1.01倍-4.77倍、1.25倍-1.54倍。
2023-02-20 cs.AI cs.LG
Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts
University of Science and Technology of China(科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
针对 sMoE 相似度路由难以兼顾专家专业化与负载均衡的问题,提出独立于任务目标训练的 Input Domain Aware MoE 概率混合路由框架,并在视觉-语言任务上验证其性能与利用均衡优势。
2025-10-18 cs.AI cs.LG
CoCoA-Mix: Confusion-and-Confidence-Aware Mixture Model for Context Optimization
Urban Robotics Lab, School of Electrical Engineering, Korea Advanced Institute of Science and Technology, Republic of Korea(乌尔班机器人实验室,电气工程学院,韩国科学技术院,大韩民国)
本文提出CoCoA-Mix,利用混淆感知损失细化类别边界,并以置信度感知权重构建混合模型,从而同时增强视觉-语言模型提示调优的专业化与跨域泛化能力。
2025-06-09 cs.AI cs.CV cs.LG
Improved Variance-Aware Confidence Sets for Linear Bandits and Linear Mixture MDP
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本文提出了线性强盗和线性混合马尔可夫决策过程的新的\emph{variance-aware}置信集。对于线性强盗,我们得到了一个$\tilde{O}(poly(d)\sqrt{1 + \sum_{k=1}^{K}σ_k^2})$数据依赖的后悔界,其中$d$是特征维数,$K$是回合数,$σ_k^2$是第$k$回合奖励的方差\emph{unknown}.这是第一个遗憾界限,它只与方差和维数成比例,但与\emph{no explicit polynomial dependency on $K$}成比例。当方差很小时,这个界可以显著小于$\tildeΘ\left(d\sqrt{K}\right)$最坏情况下的后悔界。对于线性混合MDP,我们得到了一个$\tilde{O}(poly(d, \log H)\sqrt{K})$遗憾界,其中$d$是基础模型的数量,$K$是情节的数量,$H$是规划范围。这是第一个遗憾的界限,只有规模\emph{logarithmically}与$H$在强化学习与线性函数逼近设置,从而\emph{exponentially improving}现有的结果,并解决了一个开放的问题,在\citep{zhou2020nearly}。我们开发了三个技术思想,可能是独立的兴趣:1)应用剥离技术的输入范数和方差大小,2)基于递归的估计方差,和3)一个新的凸势引理,推广了种子椭圆势…
2021-10-29 cs.LG
Uncertainty-Aware PCA for Arbitrarily Distributed Data Modeled by Gaussian Mixture Models
University of Stuttgart(斯图加特大学);University of Siegen(锡根大学)
本文提出了一种基于高斯混合模型的不确定性感知主成分分析方法,用于更准确地表示任意分布数据。
2026-01-14 cs.GR cs.LG stat.ML
LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts
German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
提出LongMoE框架,通过上下文感知插补、注意力标记化、轨迹感知编码和稀疏MoE路由,联合解决临床多模态学习中模态缺失和纵向动态两大挑战,在ADNI等数据集上验证了鲁棒性。
2026-10-01 cs.AI cs.LG
MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts
School of Computer Science, National University of Singapore(新加坡国立大学计算机科学学院);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
MoST通过模态感知混合专家架构,实现语音和文本的高效融合,首次公开了基于混合专家的语音-文本大语言模型。
2026-01-15 cs.AI cs.CL cs.LG
FLUX: Geometry-Aware Longitudinal Flow Matching with Mixture of Experts
Yale University(耶鲁大学)
FLUX通过几何感知的纵向流匹配框架,结合混合专家方法,解决无配对纵向数据中的轨迹建模与隐式状态发现问题。
2026-05-09 cs.LG q-bio.NC
MoNTA: Accelerating Mixture-of-Experts Training with Network-Traffc-Aware Parallel Optimization
Shanghai Enflame Technology Co. Ltd(上海燧原科技有限公司)
针对现有分布式训练框架对大基座MoE模型通信优化不足的问题,本文提出网络流量感知的并行优化方法MoNTA,可依据通信量和集群拓扑选最优策略,显著提升通信效率与训练速度。
2024-11-01 cs.AI cs.LG
AoiZora: Compiler-Agnostic, Placement-Aware Auto-Parallelization for Video Diffusion Transformers
Rice University(里士大学);Independent Researcher(独立研究者);Google(谷歌)
针对扩散变换器推理中的低延迟需求,提出AoiZora编译器,通过拓扑感知的物理布局优化自动并行策略,在TPU子片上实现高达1.42倍的加速。
2026-11-03 cs.DC cs.LG
Mixture-of-Control: State-Aware Fine-Tuning for Transformer-based Models
Qualcomm AI Research(高通人工智能研究院)
提出Mixture-of-Control(MoC)框架,通过稀疏混合专家机制自适应融合局部和全局控制信号,增强Transformer块间信息交换,实现高效微调。
2026-10-22 cs.AI cs.LG
RoME: Role-aware Mixture-of-Expert Transformer for Text-to-Video Retrieval
随着社交渠道的普及,每天都有大量的视频上传;因此,通过用户文本查询检索最相关的视频内容起着更重要的作用。大多数方法只考虑全局视觉和文本特征之间的一个联合嵌入空间,而没有考虑每个模态的局部结构。其他一些方法分别考虑由全局和局部特征组成的多个嵌入空间,忽略了丰富的模态间相关性。我们提出了一种新的混合专家Transformer罗马,解开的文本和视频到三个层次的角色的空间背景,时间背景和对象的背景。我们利用一个基于transformer的注意力机制,充分利用视觉和文本嵌入在全球和当地的水平与混合的专家考虑之间的模态和结构的相关性。结果表明,我们的方法在YouCook 2和MSR-VTT数据集上的表现优于最先进的方法,给定相同的视觉骨干而无需预训练。最后,我们进行了广泛的消融研究,以阐明我们的设计选择。
2022-06-26 cs.CV cs.IR cs.LG
Conflict-Aware Federated Fine-Tuning of Large Language Models with Mixture-of-Experts
Nanyang Technological University(南洋理工大学);University of Malaya(马来亚大学)
针对联邦学习中混合专家模型因数据异质性导致的专家优化冲突问题,提出FC-MoE框架,通过重要性加权、梯度共识投影和局部知识保留机制,实现稳定优化并提升非独立同分布环境下的模型性能。
2026-06-16 cs.LG cs.NI
Bayesian Neural Networks vs. Mixture Density Networks: Theoretical and Empirical Insights for Uncertainty-Aware Nonlinear Modeling
Department of Mathematics and Statistics, Bowling Green State University(数学与统计学系,布恩维尔格林州立大学);Department of Biostatistics, University of Pennsylvania(生物统计学系,宾夕法尼亚大学)
本文对比了贝叶斯神经网络(BNNs)与混合密度网络(MDNs)两种概率神经建模范式,从理论上推导了二者的收敛速率与误差界,通过合成数据及RSNA儿科骨龄基准实验验证了二者的互补优势,为不确定性感知非线性建模提供了指导。
2025-10-28 cs.LG stat.CO
Dynamic TMoE: A Drift-Aware Dynamic Mixture of Experts Framework for Non-Stationary Time Series Forecasting
School of Software Technology, Zhejiang University, Ningbo, China;State Key Lab of CAD\&CG, Zhejiang University, Hangzhou, China
本文提出Dynamic TMoE框架,通过动态构建异构专家和剪枝冗余专家来优化容量,并利用时间记忆路由器确保稳定且上下文感知的专家选择,从而在非平稳时间序列预测中实现更优性能。
2026-05-20 cs.AI cs.LG
Latent-MoE: Domain-Aware Mixture-of-Experts for PDEs with Multi-Regime Physics
University of Pennsylvania(宾夕法尼亚大学)
针对物理随区域变化的PDE,提出Latent-MoE,通过域感知MoE块和共享骨干实现局部化学习,在多阶段时变物理基准上性能提升超一个数量级。
2026-09-09 cs.LG physics.comp-ph
Risk-Aware Decision-Making for Autonomous Overtaking: A World Model-Based Mixture-of-Experts Framework
School of Mechanical Engineering, Southeast University(东南大学机械工程学院);University of Michigan(密歇根大学);Nanyang Technological University(南洋理工大学)
该研究针对自主超车决策的长期潜在风险问题,提出WM-RMoE框架,结合世界模型、混合专家与高斯混合模型,提升了安全合规性、决策稳定性与泛化能力,可生成多交通密度下的前瞻性超车操纵。
2026-09-02 cs.AI cs.LG cs.RO
TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models
Anhui University(安徽大学);Hefei University(合肥大学);University of Science and Technology of China(中国科学技术大学)
TalkLoRA通过引入专家间通信机制,提升LoRA在大语言模型中的参数效率和路由稳定性,实现在多种任务中更高效和均衡的专家路由。
2026-04-07 cs.AI cs.LG
Cost-Aware Mixture-of-Experts Coordination for Model Markets
University of Southampton(南安普顿大学);Aalborg University(奥尔堡大学);University of Nottingham(诺丁汉大学)
本文提出基于MoE的模型市场框架,将MoE从模型级架构升级为市场级协调机制,推导成本感知门控与收益分配规则,实验显示其在15个基准上福利更高、成本更低且计算开销更小。
2026-10-09 cs.DB cs.LG
Routing-Aware Safety Alignment for Mixture-of-Experts Models
Department of XXX, University of YYY(YYY大学XXX系);School of ZZZ, Institute of WWW(WWW学院ZZZ学院)
RASA通过针对性修复安全关键专家提升混合专家模型的安全性,有效防止路由绕过,实现高鲁棒性和跨攻击泛化能力。
2026-10-08 cs.AI cs.CR cs.LG
RaMP: Runtime-Aware Megakernel Polymorphism for Mixture-of-Experts
Hippocratic AI
RaMP通过运行时感知的调度框架优化混合专家推理,基于硬件常数分析性能区域,实现高效内核配置,提升推理速度1.22倍,优于静态调度和多个现有系统。
2026-11-03 cs.AI cs.DC cs.LG
I2MoE: Interpretable Multimodal Interaction-aware Mixture-of-Experts
University of Pennsylvania(宾夕法尼亚大学)
I2MoE提出一种可解释的多模态交互感知混合专家框架,通过交互专家和重加权模型显式建模多模态交互,提供局部与全局解释,并在医学和通用数据集上提升性能。
2025-05-25 cs.AI cs.CV cs.LG