Multimodal Image Synthesis with Conditional Implicit Maximum Likelihood Estimation
University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Nanjing University(南京大学)
计算机视觉和图形学中的许多任务都属于条件图像合成的框架。近年来,生成对抗网络(GANs)在合成图像质量方面取得了令人印象深刻的进步。然而,由于模式坍塌的问题,对于相同的输入生成多样且合理的图像仍然是一个挑战。在本文中,我们开发了一种新的通用多模态条件图像合成方法的基础上隐式最大似然估计(IMLE),并证明了改进的多模态图像合成性能的两个任务,单图像超分辨率和图像合成场景布局。我们公开我们的实现。
2020-04-07 cs.CV cs.GR cs.LG
Harmonizing Maximum Likelihood with GANs for Multimodal Conditional Generation
Seoul National University(首尔国立大学)
条件图像生成任务的最新进展,如图像到图像的翻译和图像修补,在很大程度上是由于条件GAN模型的成功,这往往是优化的联合使用的GAN损失与重建损失。然而,我们发现,几乎所有现有方法共享的这种训练配方会导致一个关键的副作用:输出样本缺乏多样性。为了实现训练稳定性和多模态输出生成,我们提出了一种新的训练方案,其中包含一组新的损失,称为矩重构损失,可以简单地取代重构损失。我们表明,我们的方法是适用于任何条件生成任务进行彻底的实验图像到图像的翻译,超分辨率和图像修补使用Cityscapes和CelebA数据集。定量评估还证实,我们的方法实现了输出的多样性,同时保留甚至提高了生成的样本的视觉保真度。
2019-02-25 cs.LG stat.ML
GGMPs: Generalized Gaussian Mixture Processes
GGMPs是一种基于高斯过程的多模态条件密度估计方法,通过局部混合拟合和异方差训练提升非高斯数据的分布近似能力。
2026-03-11 cs.LG stat.ML
Mixture Gaussian Process Conditional Heteroscedasticity
Imperial College London(帝国理工学院);Cyprus University of Technology(塞浦路斯理工大学)
广义自回归条件异方差(GARCH)模型一直被认为是最成功的金融收益率波动建模方法之一。在本文中,我们提出了一种替代方法的基础上广泛使用的统计机器学习领域的方法。具体来说,我们提出了一种新的非参数贝叶斯混合高斯过程回归模型,其中每个组件模型的噪声方差过程,污染的观测数据作为一个单独的潜在的高斯过程驱动的观测数据。这样,我们基本上得到了一个混合高斯过程条件异方差(MGPCH)模型的金融收益率波动建模。我们施加一个非参数先验与幂律性质的模型混合物成分的分布,即Pitman-Yor过程之前,允许更好地捕捉建模的数据分布与重尾和偏度。最后,我们提供了一种基于copula的方法,用于获得通过假设MGPCH模型建模的资产收益协方差的预测后验。我们评估了我们的方法在一些基准场景中的有效性,并将其性能与最先进的方法进行比较。
2013-01-25 cs.LG stat.ML
Mixture Proportion Estimation and Weakly-supervised Kernel Test for Conditional Independence
Institute of Science Tokyo(东京科学大学);RIKEN AIP(理化学研究所革新智能综合研究中心)
本文提出基于条件独立性的新假设,解决了混合比例估计中的可识别性问题,并开发了弱监督核检验方法,用于验证条件独立性假设,提升了估计性能和检验准确性。
2026-04-08 cs.AI cs.LG
Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University(斯坦福大学)
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布,例如自然语言理解、人类意图预测和视觉场景表示。然而,离散的潜在空间需要足够大,以捕获真实世界数据的复杂性,从而使下游任务在计算上具有挑战性。例如,在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器,同时保持其学习的多模态。作为一种事后潜在空间缩减技术,我们使用证据理论来识别从特定输入条件接收直接证据的潜在类,并过滤掉那些不接收直接证据的潜在类。不同的任务,如图像生成和人类行为预测的实验,证明了我们提出的技术在减少模型的离散潜在样本空间大小,同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
CHIMLE: Conditional Hierarchical IMLE for Multimodal Conditional Image Synthesis
School of Computing Science(计算科学学院);Google(谷歌);Simon Fraser University(西蒙弗雷泽大学)
条件图像合成中的持续挑战是从相同的输入图像生成不同的输出图像,尽管每个输入图像仅观察到一个输出图像。基于GAN的方法容易发生模式坍塌,这导致低多样性。为了解决这个问题,我们利用隐式最大似然估计(IMLE),它可以从根本上克服模式坍塌。IMLE使用与GANs相同的生成器,但使用不同的非对抗性目标对其进行训练,以确保每个观察到的图像附近都有生成的样本。不幸的是,为了生成高保真图像,现有的基于IMLE的方法需要大量的样本,这是昂贵的。在本文中,我们提出了一种新的方法来绕过这一限制,我们称之为条件分层IMLE(CHIMLE),它可以生成高保真图像,而不需要很多样本。我们表明CHIMLE在四个任务(即夜间到白天,16倍单图像超分辨率,图像着色和图像解压缩)的图像保真度和模式覆盖方面显着优于先前最好的IMLE,GAN和基于扩散的方法。从定量上看,与之前最好的基于IMLE的方法相比,我们的方法将Fréchet Inception Distance(FID)平均提高了36.9%,与最好的非基于IMLE的通用方法相比,平均提高了27.5%。
2023-02-06 cs.CV cs.LG
RagGAD: Rationale-Aware Conditional Gaussian Mixture Normalizing Flow for Unsupervised Graph Anomaly Detection
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);State Key Laboratory of Submarine Geoscience, School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学海洋地质国家重点实验室、自动化与智能传感学院)
针对现有图异常检测方法依赖同质性假设、鲁棒性不足的问题,提出RagGAD框架,通过依据解缠与混合建模提升性能,在多基准数据集上优于现有方法。
2026-08-18 cs.AI cs.LG
Multimodal Deep Generative Models for Trajectory Prediction: A Conditional Variational Autoencoder Approach
Stanford University(斯坦福大学)
人类行为预测模型使机器人能够预测人类对其行为的反应,因此有助于设计安全和主动的机器人规划算法。然而,建模复杂的互动动态和捕捉在这种互动环境中的许多可能的结果的可能性是非常具有挑战性的,这促使最近的几种不同的方法的研究。在这项工作中,我们提供了一个独立的教程有条件的变分自编码器(CVAE)的方法来预测人类的行为,在其核心,可以产生一个多模态概率分布在未来的人类轨迹上的条件,过去的相互作用和候选机器人未来的行动。具体来说,本教程的目标是审查和建立人类行为预测中最先进的方法的分类,从基于物理的方法到纯粹的数据驱动的方法,提供严格但易于访问的数据驱动的描述,基于CVAE的方法,突出重要的设计特征,使其成为一个有吸引力的模型,用于基于模型的人机交互规划,并在使用这类模型时提供重要的设计考虑。
2020-11-21 cs.HC cs.LG cs.RO
Cascading Modular Network (CAM-Net) for Multimodal Image Synthesis
Simon Fraser University(西蒙菲莎大学)
近年来,GANs等深度生成模型在条件图像合成方面取得了令人印象深刻的进展。由于模式坍塌的问题,一个持续的挑战是从相同的输入图像生成不同版本的输出图像:因为每个输入图像仅给出一个地面实况输出图像,所以仅对条件分布的一个模式进行建模。在本文中,我们专注于这个问题的多模态条件图像合成,并建立在最近提出的隐式最大似然估计(IMLE)技术。先前基于IMLE的方法需要不同的架构用于不同的任务,这限制了它们的适用性,并且在生成的图像中缺乏精细的细节。我们提出CAM-Net,一个统一的架构,可以应用于广泛的任务。此外,它还能够生成令人信服的高频细节,与基线相比,Frechet起始距离(FID)减少了45.3%。
2021-06-16 cs.CV cs.LG
DialogWAE: Multimodal Response Generation with Conditional Wasserstein Auto-Encoder
Hong Kong University of Science and Technology(香港科技大学);Clova AI Research, NAVER(NAVER Clova AI研究);CIFAR Azrieli Global Scholar(CIFAR Azrieli全球学者)
变分自编码器~(VAE)在数据驱动的对话建模中显示出了希望。然而,大多数VAE会话模型将潜在变量上的近似后验分布与简单先验(诸如标准正态分布)相匹配,从而将所生成的响应限制为相对简单的(例如,单峰)范围。在本文中,我们提出了DialogWAE,一个专门为对话建模而设计的条件Wasserstein自动编码器~(WAE)。与在潜在变量上施加简单分布的VAE不同,DialogWAE通过在潜在变量空间内训练GAN来对数据的分布进行建模。具体来说,我们的模型样本从先验和后验分布的潜在变量通过转换上下文相关的随机噪声使用神经网络,并最大限度地减少两个分布之间的Wasserstein距离。我们进一步开发了高斯混合先验网络来丰富潜在空间。在两个流行数据集上的实验表明,DialogWAE在生成更连贯、信息量更大和更多样化的响应方面优于最先进的方法。
2019-02-26 cs.AI cs.CL cs.LG
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
Zhejiang University(浙江大学);Kwai Inc.(快手公司)
多模态图像到图像翻译(I2 IT)旨在学习一种条件分布,该分布在给定源域中的输入图像的情况下探索目标域中的多个可能图像。通常采用条件生成对抗网络(cGAN)来对这种条件分布进行建模。然而,cGANs在条件图像合成中容易忽略潜在代码并学习单峰分布,这也被称为GANs的模式坍塌问题。为了解决这个问题,我们提出了一种简单而有效的方法,该方法通过使用本文中的深度互信息神经估计器来显式地估计和最大化cGAN中的潜在代码和输出图像之间的互信息。最大化互信息增强了潜在代码和输出图像之间的统计依赖性,这防止了生成器忽略潜在代码,并鼓励cGAN充分利用潜在代码来合成不同的结果。该方法不仅从信息论的角度为提高I2 IT的多样性提供了一个新的视角,而且还免费实现了源域内容和目标域风格之间的解纠缠。
2021-05-08 cs.CV cs.LG eess.IV
Estimating conditional density of missing values using deep Gaussian mixture model
Jagiellonian University(雅盖隆大学)
我们考虑的问题估计的条件概率分布的缺失值的观察。我们提出了一种方法,它结合了深度神经网络的灵活性和高斯混合模型(GARCH)的简单性。给定一个不完整的数据点,我们的神经网络返回代表相应条件密度的高斯分布参数(以因子分析模型的形式)。我们通过实验验证了我们的模型比以典型方式训练的条件GMM提供了更好的对数似然。此外,通过使用我们模型的均值向量替换缺失值获得的插补在视觉上看起来似乎是合理的。
2020-10-06 cs.LG
TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts
School of Software, BNRist, Tsinghua University(软件学院、BNRist、清华大学)
TiMi通过多模态专家混合机制,利用大语言模型生成未来推断以提升时间序列预测的因果推理能力,实现多模态数据的有效整合与高精度预测。
2026-08-19 cs.LG
Mixture-of-experts VAEs can disregard variation in surjective multimodal data
TU Berlin(柏林工业大学);SAP AI Research(SAP人工智能研究院);University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
机器学习系统通常部署在需要来自多个模态的数据的领域中,例如,表型和基因型特征描述医疗保健中的患者。先前的工作已经开发了多模态变分自编码器(VAE),其生成若干模态。我们考虑主观数据,其中来自一种模态的单个数据点(例如类别标签)描述来自另一种模态的多个数据点(例如图像)。我们从理论上和经验上证明,多模态VAE与混合专家模型后,可以努力捕捉这种主观数据的变化。
2022-04-11 cs.LG stat.ML
Skill-CMIB: Multimodal Agent Skill for Consistent Action via Conditional Multimodal Information Bottleneck
UC San Diego(UC圣地亚哥大学);Adobe Research(Adobe研究院);UC Santa Barbara(UC圣芭芭拉大学);University of New South Wales(新南威尔士大学)
本文提出Skill-CMIB方法,通过条件多模态信息瓶颈构建多模态技能,解决多模态环境下代理执行不一致的问题,提升执行稳定性。
2026-05-08 cs.LG
Conditional Information Bottleneck for Multimodal Fusion: Overcoming Shortcut Learning in Sarcasm Detection
IEIT SYSTEMS Co., Ltd.(IEIT SYSTEMS公司)
针对多模态讽刺检测中模型依赖捷径学习、泛化能力弱及现有融合策略不足的问题,本文构建去捷径数据集MUStARD++$^{R}$,提出MCIB模型实现高效融合,在无捷径依赖下取得最优性能。
2025-11-17 cs.LG
Causal conditional hidden Markov model for multimodal traffic prediction
Beihang University(北京航空航天大学);Beijing Big Data Centre(北京大数据中心)
多模式交通流是反映交通系统健康状况的重要指标,其预测对城市交通管理具有重要意义。最近的研究过分强调交通流的时空相关性,而忽略了导致观测结果产生的物理概念及其因果关系。时空相关在不同条件下是不稳定的,观测值中可能存在虚假相关。本文从观测生成原理的角度分析了影响多模交通流生成的物理概念,提出了一种预测多模交通流的因果条件隐马尔可夫模型(CCHMM)。在隐变量推理阶段,后验网络从条件信息和观察中解开感兴趣概念的因果表示,因果传播模块挖掘它们的因果关系。在数据生成阶段,先验网络从先验分布中采样因果潜变量,并将其馈送到生成器中以生成多模态交通流。我们使用相互监督的训练方法的先验和后验,以提高模型的可识别性。在真实数据集上的实验表明,CCHMM能够有效地分解感兴趣概念的因果关系表示,识别因果关系,准确地预测多模式交通流。
2023-01-19 cs.LG
Linear Model Merging Unlocks Simple and Scalable Multimodal Data Mixture Optimization
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出通过模型合并高效估算多模态数据混合效果,结合领域专家训练与参数空间组合,实现可扩展的混合优化方法。
2026-11-10 cs.AI cs.CL cs.LG
Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions
Tianjin University(天津大学)
多模态回归是一项基础性工作,它将不同来源的信息进行整合,以提高后续应用的性能。然而,现有的方法主要集中在提高性能,往往忽略了不同情况下的预测的信心。在这项研究中,我们致力于可信的多峰回归,这是成本敏感的领域的关键。为此,我们引入了一种新的混合正逆伽马分布(MoNIG)算法,该算法有效地估计原则上的不确定性,以适应不同模态的整合,并产生一个值得信赖的回归结果。我们的模型可以动态地知道每个模态的不确定性,并且对于损坏的模态也是鲁棒的。此外,建议MoNIG确保明确表示(特定模态/全球)的认知和任意的不确定性,分别。在合成数据和不同真实数据上的实验结果证明了我们的方法在各种多模态回归任务上的有效性和可信度(例如,超导性的温度预测、CT切片的相对位置预测以及多模态情感分析)。
2021-11-11 cs.AI cs.LG
MIDG: Mixture of Invariant Experts with knowledge injection for Domain Generalization in Multimodal Sentiment Analysis
School of Electronics and Information Technology(电子信息学院)
MIDG通过混合不变专家和跨模态适配器,提升多模态情感分析中领域泛化的性能与语义表达能力。
2025-12-08 cs.AI cs.LG
Tackling Multimodal Learning Challenges with Mixture-of-Expert: A Survey
Adelaide University(阿德莱德大学)
本文综述了混合专家(MoE)如何通过高效扩展、表示学习和自适应适配解决多模态学习中的可扩展性、异质性和数据不完美等核心挑战。
2026-10-30 cs.AI cs.LG
Variational methods for Conditional Multimodal Deep Learning
Indian Institute of Science(印度科学理工学院)
在本文中,我们解决的问题,条件模态学习,其中一个有兴趣在生成一个模态给定的其他。虽然使用深度多模态架构学习多模态的联合分布很简单,但我们观察到这些模型在条件生成方面不是很有效。因此,我们通过学习模态之间的条件分布来解决这个问题。我们使用变分方法最大化相应的条件对数似然。由此产生的深度模型,我们称之为条件多模态自动编码器(CMMA),迫使单独从单个模态获得的潜在表示“接近”从多个模态获得的联合表示。我们使用所提出的模型来生成属性的面孔。我们表明,使用所提出的模型从属性中生成的人脸,在定性和定量上比其他深度生成模型更能代表它们生成的属性。我们还提出了一个次要的任务,即现有的面孔修改相应的属性进行修改。我们观察到,所提出的模型中引入的面的修改是相应的修改属性的代表。
2016-08-26 cs.CV cs.LG stat.ML
MixAtlas: Uncertainty-aware Data Mixture Optimization for Multimodal LLM Midtraining
Apple(苹果公司);University of Washington(华盛顿大学);Virginia Tech(弗吉尼亚理工学院)
MixAtlas通过双轴分解训练语料,结合小代理模型与高斯过程代理,优化多模态大语言模型的训练混合策略,提升性能和泛化能力。
2026-04-03 cs.AI cs.CL cs.LG
Scaling Laws for Multimodal Data Mixtures
MILA - Quebec AI Institute(米拉 - 魁北克人工智能研究所);McGill University(麦吉尔大学);EPFL(洛桑联邦理工学院);ETH(苏黎世联邦理工学院);University of Washington(华盛顿大学)
本研究推导了文本、视觉、音频的多模态数据混合缩放定律,通过268项MoE实验发现计算最优值具模态特异性、重复数据超2倍收益可忽略、跨模态交互不对称,为训练前沿MLLMs提供了原则性基础。
2026-11-10 cs.CL cs.LG
OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs
AntGroup(蚂蚁集团);Peking University(北京大学)
OrdMoE通过利用混合专家架构中的内在信号,实现多模态混合专家语言模型的零成本偏好对齐,无需人工标注数据即可提升模型对齐和性能。
2025-11-24 cs.AI cs.LG
I2MoE: Interpretable Multimodal Interaction-aware Mixture-of-Experts
University of Pennsylvania(宾夕法尼亚大学)
I2MoE提出一种可解释的多模态交互感知混合专家框架,通过交互专家和重加权模型显式建模多模态交互,提供局部与全局解释,并在医学和通用数据集上提升性能。
2025-05-25 cs.AI cs.CV cs.LG
FLAME: Adaptive Mixture-of-Experts for Continual Multimodal Multi-Task Learning
Johns Hopkins University(约翰霍普金斯大学)
FLAME提出了一种可扩展的专家混合框架,支持多任务预训练和连续学习,通过模态特定路由器处理不同模态的任务,同时利用低秩内存子空间压缩专家知识,提升参数效率和减少灾难性遗忘。
2026-09-29 cs.LG
AGMA: Adaptive Gaussian Mixture Anchors for Prior-Guided Multimodal Human Trajectory Forecasting
本文提出AGMA,通过两阶段方法构建表达性先验,提升多模态人类轨迹预测的准确性和多样性,实验表明其在ETH-UCY等数据集上达到SOTA性能。
2026-04-14 cs.CV cs.LG
Multimodal Mixture-of-Experts for ISAC in Low-Altitude Wireless Networks
IEEE
本文提出了一种多模态专家混合模型,用于提升低空无线网络中ISAC的性能,通过自适应融合策略提高环境感知和通信效率。
2025-12-01 cs.LG eess.SP
Multi-level Mixture of Experts for Multimodal Entity Linking
School of Computer;Information Technology Shanxi University Taiyuan China;School of Computer Science;Informatics Cardiff University Cardiff UK;ILCC, School of Informatics University of Edinburgh Edinburgh UK;Information Technology Shanxi University;Informatics Cardiff University;ILCC, School of Informatics University of Edinburgh
针对多模态实体链接中的指称歧义和模态动态选择问题,提出多层级混合专家模型MMoE,通过描述增强、特征提取及层级内外混合专家机制动态选择特征,取得了优于现有技术的性能。
2025-06-03 cs.AI cs.CL cs.CV
MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning
Brown University(布朗大学);Salesforce AI Research(Salesforce AI研究院);NVIDIA Research(英伟达研究院);Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学);Texas A&M University(德克萨斯A&M大学);California Institute of Technology(加州理工学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出MoDoMoDo框架,针对多模态大语言模型强化学习中的多数据集目标冲突问题,通过可学习的数据混合策略预测并优化RL微调结果,在分布外基准上显著提升模型的通用推理能力。
2025-06-05 cs.CL cs.CV cs.LG
Context-specific Credibility-aware Multimodal Fusion with Conditional Probabilistic Circuits
Department of Computer Science , TU Darmstadt(德累斯顿技术大学计算机科学系);Air Force Research Lab(空军研究实验室)
提出C$^2$MF框架,利用条件概率电路建模实例级源可靠性,通过KL散度度量上下文特定信息可信度,在跨模态冲突下提升预测准确率高达29%。
2026-06-29 cs.LG
MoMA: A Mixture-of-Multimodal-Agents Architecture for Enhancing Clinical Prediction Modelling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Northwestern University(西北大学)
本文提出多模态智能体混合(MoMA)架构,利用多个LLM智能体将非文本模态转为文本摘要并整合,以增强临床预测,在真实数据上优于现有方法。
2025-08-07 cs.AI cs.LG cs.MA
MMQ: Multimodal Mixture-of-Quantization Tokenization for Semantic ID Generation and User Behavioral Adaptation
Alibaba Group(阿里巴巴集团);Peking University(北京大学);Beijing University of Aeronautics and Astronautics(北京航空航天大学);Wuhan University, School of Computer Science(武汉大学计算机学院)
MMQ通过多模态混合量化标记化方法,解决推荐系统中多模态协同、特定性和行为适应的挑战,提升语义ID生成和用户行为适应能力。
2025-08-21 cs.IR cs.LG
MMCTOP: A Multimodal Textualization and Mixture-of-Experts Framework for Clinical Trial Outcome Prediction
Nova School of Business and Economics(诺瓦商学院);Hogarthian Technologies(霍加斯技术);School of Medicine(医学院);Oregon Health & Science University(俄勒冈健康与科学大学);Cleveland Clinic(克利夫兰诊所);IBM Research(IBM研究院)
MMCTOP通过多模态文本化与专家混合框架,提升临床试验结果预测的精度与稳定性。
2025-12-26 cs.AI cs.LG
Conditional Distribution Quantization in Machine Learning
FOXSTREAM;ESPCI PSL(巴黎高等物理化工学院,PSL大学)
针对条件期望难以捕捉多模态条件分布复杂性的问题,提出可通过梯度下降学习的n点条件量化方法,适配CLVQ实现Wasserstein距离下的条件分布逼近,经实验验证可用于不确定性量化与多模态生成任务。
2025-05-20 cs.LG
Drift-Aware Multimodal User Representation Learning via Multi-Scale Temporal Modeling and Sparse Mixture-of-Experts
Shanghai Innovation Institute(上海创新研究院);Tongji University(同济大学)
针对社交媒体用户兴趣漂移问题,提出DUMoE框架,通过时序动态感知骨干与稀疏MoE兴趣适配器实现多模态用户表示学习,在两类预测任务上优于现有最优方法。
2026-11-17 cs.LG
R2-T2: Re-Routing in Test-Time for Multimodal Mixture-of-Experts
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland, College Park(马里兰大学帕克分校)
针对大型多模态模型中端到端路由器无法为测试样本生成最优权重的问题,提出测试时重路由(R2-T2)方法,通过局部优化路由权重向量,在无需训练基础模型参数的情况下显著提升模型在多任务基准上的性能。
2025-03-01 cs.LG
Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts
Hong Kong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出MoCE,一种基于聚类条件专家混合的MAE预训练范式,通过为每个下游任务定制预训练模型,解决数据分布差异导致的负迁移问题,在11个任务上平均提升2.45%,并刷新检测与分割的SOTA。
2024-02-08 cs.CV cs.LG
TIER-MoE: Trust-Informed Expert Routing via Conditional Modality Risk for Multimodal Fusion in Biomedical Classification
该研究提出TIER-MoE风险引导子空间混合专家模型,用于生物医学分类多模态融合,可提升预测性能与概率校准,在多数据集上优于现有最优方法且具备强零样本泛化能力。
2026-07-31 cs.LG
EEG-Based Multimodal Learning via Hyperbolic Mixture-of-Curvature Experts
Nanyang Technological University, Singapore(新加坡南洋理工大学);BIFOLD, Berlin Institute for the Foundations of Learning(柏林学习与数据基础研究所);University of Cambridge, Cambridge, UK(剑桥大学)
提出EEG-MoCE框架,通过可学习曲率的双曲空间为每个模态分配专家,并采用曲率感知融合策略,实现层次结构建模,在情绪识别、睡眠分期和认知评估任务上达到最优性能。
2026-05-29 cs.LG
LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts
German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
提出LongMoE框架,通过上下文感知插补、注意力标记化、轨迹感知编码和稀疏MoE路由,联合解决临床多模态学习中模态缺失和纵向动态两大挑战,在ADNI等数据集上验证了鲁棒性。
2026-10-01 cs.AI cs.LG
Optimal Mixture-of-Experts Model Averaging for Conditional Generative Models
School of Management, University of Science and Technology of China(中国科学技术大学管理学院);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
针对条件生成模型多候选生成器性能随场景波动的问题,提出无需可处理密度的样本驱动最优模型平均框架,含静态与输入自适应方法,经多模态实验验证效果优于基线。
2026-07-07 cs.LG stat.ML
Technical report: Training Mixture Density Networks with full covariance matrices
Heidelberg University(海德堡大学)
混合密度网络是一个久经考验的工具,用于建模条件概率分布。因此,它们构成了解决这个问题的新方法的一个很好的基线。在标准公式中,MDN采用高斯混合模型的一些输入和输出参数,并对混合分量的协方差进行限制。由于随机变量之间的协方差是我们正在研究的条件建模问题中的一个核心问题,我推导并实现了一个具有无限制协方差的MDN公式。这可能是以前做过的,但我在网上找不到任何资源。出于这个原因,我以本技术报告的形式记录了我的方法,希望它可能对面临类似情况的其他人有用。
2020-03-04 cs.LG
Conjugate Mixture Models for Clustering Multimodal Data
INRIA Grenoble Rhône-Alpes(法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心)
多模态聚类的问题出现时,数据收集与几个物理上不同的传感器。不同模态的观察结果不一定是一致的,因为没有明显的方式在某个共同的空间中将它们联系起来或进行比较。一种解决方案可以包括针对每个模态独立地考虑多个聚类任务。这种方法的主要困难是保证单峰聚类是相互一致的。在本文中,我们表明,多峰聚类可以在一个新的框架,即共轭混合模型。这些模型利用了在未观测的参数空间(对象)和每个观测空间(传感器)之间经常可用的显式变换。我们制定的问题作为一个似然最大化的任务,我们推导出相关的共轭期望最大化算法。该算法的收敛性能进行了深入研究。提出了几种局部/全局优化技术,以提高其收敛速度。提出并比较了两种初始化策略。提出了一个一致的模型选择准则。该算法及其变体进行测试和评估的任务内的3D定位的几个扬声器使用听觉和视觉数据。
2020-12-09 cs.CV cs.LG cs.SD
C$^2$MOE: Consistency and Complementarity-guided Mixture of Experts for Incomplete Multimodal Emotion Learning
Central South University of Forestry and Technology(中南林业科技大学);State University of New York, New Paltz(纽约州立大学新帕尔茨分校)
针对多模态情感识别中模态缺失导致性能下降的问题,本文提出C²MOE框架,通过分解多模态知识为一致性与互补性分量、引入双分支预测机制及可学习重加权模块,在多个基准上实现了优于现有方法的性能。
2026-08-06 cs.AI cs.LG
MoE-Health: A Mixture of Experts Framework for Robust Multimodal Healthcare Prediction
Drexel University(德雷塞尔大学)
针对临床多模态数据缺失与异构问题,本文提出 MoE-Health 混合专家框架,通过专家网络和动态门控按可用模态融合信息,并在 MIMIC-IV 三项任务上验证其性能与鲁棒性。
2025-08-29 cs.AI cs.LG
mDPO: Conditional Preference Optimization for Multimodal Large Language Models
University of Southern California(南加州大学);Microsoft Research(微软研究院);University of California Davis(加州大学戴维斯分校)
针对多模态偏好优化中模型忽略图像条件的无条件偏好问题,提出同时优化图像偏好、引入奖励锚点的mDPO方法,有效提升多模态大模型性能、减少幻觉。
2024-10-07 cs.AI cs.CL cs.CV
MoPE: Mixture of Prompt Experts for Parameter-Efficient and Scalable Multimodal Fusion
Department of Computing, The Hong Kong Polytechnic University(计算系,香港理工大学);Research Institute of Multiple Agents and Embodied Intelligence, Pengcheng Laboratory(多智能体与具身智能研究院,鹏城实验室)
针对现有提示融合方法适应性、表达能力不足及扩展性瓶颈问题,提出MoPE提示专家混合框架,通过动态生成实例专属提示、结合正则化促进专家专业化,仅用0.8%可训练参数在6个多模态数据集上达到匹配或超越全微调的最优性能。
2025-11-14 cs.AI cs.CL cs.CV
Discriminative Multimodal Learning via Conditional Priors in Generative Models
BI Norwegian Business School(BI挪威商学院);UiT The Arctic University of Norway(挪威北极大学);Norwegian Computing Center(挪威计算中心)
带有潜变量的深度生成模型最近被用于从多模态数据中学习联合表示和生成过程。然而,这两种学习机制可能相互冲突,并且表示可能无法在数据模态上嵌入信息。本研究研究的现实场景中,所有的模态和类标签可用于模型训练,但下游任务所需的一些模态和标签丢失。我们表明,在这种情况下,变分的下限限制联合表示和丢失的方式之间的互信息。为了解决这些问题,我们引入了一种新的条件多模态判别模型,该模型使用信息丰富的先验分布,并优化了一个无似然的目标函数,使联合表示和缺失模态之间的互信息最大化。大量的实验证明了我们提出的模型的好处,实证结果表明,我们的模型实现了最先进的结果,在代表性的问题,如下游分类,声学反演,图像和注释生成。
2023-01-21 cs.LG stat.ML
LiME: Lightweight Mixture of Experts for Efficient Multimodal Multi-task Learning
UCF(中佛罗里达大学);Coventry University(考文垂大学);Axon(Axon公司)
LiME通过轻量级调制实现专家专业化,减少可训练参数并提升泛化能力,实验表明其在多模态多任务基准上性能优异且训练更快。
2026-02-01 cs.CL cs.CV cs.LG
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida(佛罗里达大学)
我们引入了一种新的基于机器学习的方法,我们称之为独立分类器网络(InClass网)技术,条件独立混合模型(CIMM)的非参数估计。我们将CIMM的估计视为多类分类问题,因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络(NN)组成,每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力,我们允许模型的条件独立变量是单独的高维,这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个(不同的)充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包,并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Identifiable Shared Component Analysis of Unpaired Multimodal Mixtures
Oregon State University(俄勒冈州立大学)
本文研究跨模态样本未对齐的多模态线性混合中共享成分的可辨识性问题,提出基于分布散度最小化的损失函数,推导出比独立成分分析更温和的充分条件,并通过合成与真实数据验证了可辨识性。
2024-10-01 cs.AI cs.LG stat.ML