Harmonized Multimodal Learning with Gaussian Process Latent Variable Models
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Noah’s Ark Lab（诺亚方舟实验室）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
多模态学习旨在发现多种模态之间的关系。由于跨模态检索等多模态检索的广泛应用，它已成为一个重要的研究课题。本文试图解决模态异质性问题的基础上高斯过程隐变量模型（GPLVM）表示多模态数据在一个共同的空间。以前的多模态GPLVM扩展通常采用隐表示和核超参数的个体学习方案，忽略了它们之间的内在关系。为了利用不同模态和GPLVM组件之间的强大互补性，我们开发了一种名为Harmonization的新学习方案，其中潜在模型参数相互联合学习。除了在现有研究中广泛使用的相关拟合或模态内结构保存范式之外，协调是以模型驱动的方式导出的，以鼓励模态特定的GP内核之间的协议和潜在表征的相似性。我们提出了一系列的多模态学习模型，将协调机制纳入几个代表性的基于GPLVM的方法。在四个基准数据集上的实验结果表明，所提出的模型在跨模态检索任务中的性能优于强基线，并且协调的多模态学习方法在发现语义一致的潜在表示方面具有优势。
2019-08-14 cs.CV cs.IR cs.LG
Uncertainty-aware Multi-modal Learning via Cross-modal Random Network Prediction
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）
多模态学习通过在预测过程中平等地组合多个输入数据模态来关注训练模型。然而，这种相等的组合可能对预测准确性有害，因为不同的模态通常伴随着不同程度的不确定性。使用这样的不确定性来组合模态已经通过几种方法进行了研究，但是成功有限，因为这些方法要么被设计用于处理特定的分类或分割问题，并且不能容易地转化为其他任务，要么遭受数值不稳定性。在本文中，我们提出了一个新的不确定性感知多模态学习器，通过跨模态随机网络预测（CRNP）测量特征密度来估计不确定性。CRNP被设计为在不同的预测任务之间进行转换时几乎不需要适应，同时具有稳定的训练过程。从技术的角度来看，CRNP是第一种探索随机网络预测来估计不确定性和组合多模态数据的方法。两个三维多模态医学图像分割任务和三个二维多模态计算机视觉分类任务的实验表明，CRNP的有效性，适应性和鲁棒性。此外，我们提供了一个广泛的讨论不同的融合功能和可视化，以验证所提出的模型。
2022-07-22 cs.CV cs.LG
Semantic uncertainty intervals for disentangled latent spaces
MIT（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；Technion—Israel Institute of Technology（以色列理工学院）
计算机视觉中有意义的不确定性量化需要对语义信息进行推理--比如照片中人的头发颜色或街上汽车的位置。为此，最近在生成建模方面的突破使我们能够在分离的潜在空间中表示语义信息，但提供语义潜变量的不确定性仍然具有挑战性。在这项工作中，我们提供了原则性的不确定性区间，保证包含任何底层生成模型的真实语义因素。该方法执行以下操作：（1）它使用分位数回归为潜在空间中的每个元素输出启发式不确定性区间（2）校准这些不确定性，使得它们包含新的、看不见的输入的潜在的真实值。然后，这些校准间隔的端点可以通过生成器传播，以产生每个语义因素的可解释的不确定性可视化。这种技术可靠地传达了图像超分辨率和图像补全等逆问题中语义上有意义、有原则和实例自适应的不确定性。
2022-11-30 cs.AI cs.CV cs.LG
Learning Disentangled Latent Factors from Paired Data in Cross-Modal Retrieval: An Implicit Identifiable VAE Approach
Samsung AI Center Cambridge（三星剑桥人工智能中心）；Rutgers University（罗格斯大学）
我们处理的问题，学习潜在的解开潜在因素之间共享的成对的双模态数据在跨模态检索。我们的假设是，这两种模式中的数据都是复杂的、结构化的和高维的（例如，图像和文本），对于这些，诸如变分自编码器（VAE）的常规深度自动编码潜在变量模型经常遭受准确解码器训练或真实合成的困难。一个次优训练的解码器可能会损害模型识别真实因素的能力。在本文中，我们提出了一种新的想法，隐式解码器，它完全删除了环境数据解码模块从一个潜在的变量模型，通过隐式编码器反演，实现了雅可比正则化的低维嵌入函数。从最近的可识别的VAE（IVAE）模型的动机，我们修改它，将查询模态数据作为条件辅助输入，这使我们能够证明，模型的真实参数可以确定在一定的规律性条件下。在真实因素完全/部分可用的各种数据集上进行测试，我们的模型可以准确地识别因素，显着优于传统的编码器-解码器潜变量模型。我们还在大型食物图像/食谱数据集Recipe 1 M上测试了我们的模型，其中通过我们的方法学习的因素与广泛认同的最明显的食物因素高度一致，包括美味，平淡和绿色。
2020-12-01 cs.CV cs.LG
Robust Latent Representations via Cross-Modal Translation and Alignment
Queen Mary University of London（伦敦玛丽女王大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
多模态学习将同一物理现象的不同观察模态的信息联系起来，以利用互补信息。大多数多模态机器学习方法要求用于训练的所有模态也可用于测试。当来自某些模态的信号不可用或被噪声严重降级时，这是一种限制。为了解决这一限制，我们的目标是提高测试性能的单模态系统使用多种模式在培训期间。提出的多模态训练框架使用跨模态翻译和基于相关性的潜在空间对齐来改善较弱模态的表示。从较弱模态到较强模态的转换生成代表两种模态的多模态中间编码。然后，这种编码与共享潜在空间中的较强模态表示相关。我们在AVEC 2016连续情感识别数据集上验证了所提出的方法，并展示了该方法的有效性，该方法可为较弱的模态实现最先进的（单峰）性能。
2021-03-08 cs.LG cs.MM
Multimodal LLMs under Pairwise Modalities
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种基于成对模态训练多模态大语言模型的方法，通过理论分析和表示学习框架，实现了跨模态对齐和重构，提升了模型的跨模态性能。
2026-05-20 cs.CV cs.LG
From Orthogonality to Dependency: Learning Disentangled Representation for Multi-Modal Time-Series Sensing Signals
School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Shantou University（汕头大学）；Carnegie Mellon University（卡内基梅隆大学）
针对多模态时间序列表示学习中潜在变量依赖性问题，提出MATE模型，基于时间变分推断实现解耦，并证明其可辨识性，在多个数据集上提升下游任务性能。
2024-05-25 cs.LG
ALUM: Adversarial Data Uncertainty Modeling from Latent Model Uncertainty Compensation
Northwestern University（西北大学）；Peking University（北京大学）
关键是，模型不仅要注意准确性，还要注意预测的确定性。由噪声数据引起的深度模型的不确定预测引起了值得信赖的AI领域的重大关注。为了探索和处理由于固有的数据噪声的不确定性，我们提出了一种新的方法，称为ALUM同时处理模型的不确定性和数据的不确定性在一个统一的计划。我们建议探索挖掘的对抗三元组，以促进数据不确定性建模和非参数不确定性估计，以补偿训练不足的潜在模型层，而不是仅仅基于随机选择的训练数据对深度模型的最终层中的数据不确定性进行建模。因此，关键数据的不确定性和模型的不确定性所造成的噪声数据可以很容易地量化，以提高模型的鲁棒性。我们提出的ALUM是模型无关的，可以很容易地实现到任何现有的深度模型，几乎没有额外的计算开销。在各种噪声学习任务上的大量实验验证了该方法的鲁棒性和泛化能力。代码发布于https://github.com/wwzjer/ALUM。
2023-03-29 cs.CV cs.LG
Brain tumor segmentation with missing modalities via latent multi-source correlation representation
Normandie Univ, INSA Rouen, UNIROUEN, UNIHAVRE, LITIS（诺曼底大学，鲁昂国立应用科学学院，鲁昂大学，勒阿弗尔大学，LITIS）；Department of Nuclear Medicine, Henri Becquerel Cancer Center（亨利·贝克勒尔癌症中心核医学科）
多模态MR图像可以为准确的脑肿瘤分割提供补充信息。然而，在临床实践中，缺少成像模式是常见的。由于多模态之间存在很强的相关性，提出了一种新的相关性表示块来专门发现潜在的多源相关性。由于所获得的相关性表示，分割在丢失模态的情况下变得更加鲁棒。模型参数估计模块首先对每个编码器产生的个体表示进行映射得到独立的参数，然后在这些参数下，相关表达模块对所有个体表示进行变换，形成潜在的多源相关表示。最后，跨模态的相关性表示通过注意机制融合成一个共享的表示，以强调最重要的分割特征。我们在BraTS 2018数据集上评估了我们的模型，它优于当前最先进的方法，并在一个或多个模态缺失时产生稳健的结果。
2021-04-20 cs.CV cs.LG eess.IV
Communication-Efficient and Robust Multi-Modal Federated Learning via Latent-Space Consensus
Center for Wireless Communications, University of Oulu（奥卢大学无线通信中心）
本文提出CoMFed框架，通过可学习的投影矩阵生成压缩的潜在表示，并利用潜在空间正则化器对齐客户端间的表示，提升跨模态一致性和鲁棒性，实验显示在人体活动识别基准上具有竞争力的准确率与低开销。
2026-03-19 cs.LG eess.SP
Mask CycleGAN: Unpaired Multi-modal Domain Translation with Interpretable Latent Variable
Stanford University（斯坦福大学）
我们提出了Mask CycleGAN，一种基于CycleGAN构建的用于不成对图像域翻译的新架构，旨在解决两个问题：1）图像翻译中的单峰性和2）潜在变量缺乏可解释性。我们在技术方法上的创新由三个关键部分组成：掩蔽方案，生成器和物镜。实验结果表明，这种架构是能够带来变化，以可控的方式生成的图像，是合理的鲁棒性不同的面具。
2022-05-14 cs.LG
Modeling Latent Variable Uncertainty for Loss-based Learning
INRIA Saclay（法国国家信息与自动化研究所萨克雷中心）；Stanford University（斯坦福大学）
我们考虑使用弱监督数据集的参数估计问题，其中训练样本由输入和部分指定的注释组成，我们称之为输出。注释中缺失的信息使用隐变量建模。以前的方法用两个单独的任务来覆盖单个分布：（i）在训练期间对潜变量中的不确定性进行建模;以及（ii）在测试期间对输出和潜变量进行准确预测。我们提出了一个新的框架，使用两种分布来分离两个任务的需求：（i）条件分布，用于对给定输入-输出对的潜变量的不确定性进行建模;以及（ii）增量分布，用于预测给定输入的输出和潜变量。在学习过程中，我们通过最小化基于损失的相异度系数来鼓励两个分布之间的一致性。我们的方法在两个重要方面概括了潜在SVM：（i）它对潜在变量的不确定性进行建模，而不是依赖于逐点估计;（ii）它允许使用依赖于潜在变量的损失函数，这大大提高了它的适用性。我们证明了我们的方法在两个具有挑战性的问题-目标检测和动作检测-使用公开的数据集的有效性。
2012-06-18 cs.AI cs.CV cs.LG
Exchangeable Sequence Models Quantify Uncertainty Over Latent Concepts
Columbia University（哥伦比亚大学）
本研究提出可交换序列模型，通过回归De Finetti经典预测视角实现对潜在概念的不确定性量化，证明其等价于贝叶斯模型，还提出数据增强等编码可交换性的方法。
2024-11-28 cs.LG stat.ML
RiVaT-Fuse: Reliability-Calibrated Variational Tensor Fusion with Matrix-Valued Trust for Multimodal Prediction under Modality Uncertainty
Oklahoma State University（俄克拉荷马州立大学）；George Mason University（乔治梅森大学）
针对多模态预测中模态不确定性，提出可靠性校准变分张量融合框架RiVaT-Fuse，通过潜在状态估计平衡异构证据，在基准上取得最优预测性能并提升稳定性。
2026-10-06 cs.CV cs.LG
Large-scale Uncertainty Quantification for Latent Variable Models Using Subsampling Markov Chain Monte Carlo
University of Cambridge（剑桥大学）
针对潜变量模型中SGLD-Gibbs算法超参数调优缺乏理论指导的问题，通过推导统计缩放极限理论，提出确保不确定性量化有意义的调优准则。
2026-05-29 cs.LG stat.ML
ShaLa: Multimodal Shared Latent Space Modelling
针对现有多模态方法易掩盖跨模态共享高级语义、多模态VAEs存在后验设计难和合成质量低的问题，提出ShaLa框架，通过新型架构推理模型和扩散先验提升推理与合成性能，在多基准上表现更优且可扩展至更多模态。
2025-08-24 cs.CV cs.LG
Latent Gaussian Process Regression
University of Bristol（布里斯托大学）；University of Bath（巴斯大学）
我们介绍了潜在的高斯过程回归，这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量，用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法，并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Conditional generation of multi-modal data using constrained embedding space mapping
IBM Research-Tokyo（IBM东京研究院）
我们提出了一个条件生成模型，映射到一个共同的潜在空间，从而提取它们之间的语义关系的低维嵌入的多种形式的数据。首先提取特定于模态的嵌入，随后执行约束优化过程以将两个嵌入空间投影到公共流形。个体嵌入是从这个公共潜在空间中生成的。然而，为了实现独立的条件推理，用于从公共潜在空间表示中单独提取对应的嵌入，我们部署了代理变量技巧-其中，单个共享潜在空间被每个模态的相应单独潜在空间替换。我们设计了一个目标函数，使得在训练过程中，我们可以通过最小化它们的概率分布函数之间的距离来迫使这些独立的空间彼此靠近。实验结果表明，学习的联合模型可以推广到学习的概念，双MNIST数字与颜色的附加属性，从文本和语音输入。
2017-07-26 cs.AI cs.CV cs.LG
Improving black-box optimization in VAE latent space using decoder uncertainty
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
变分自编码器的潜在空间中的优化是一种有希望的方法，用于生成最大化昂贵的黑盒属性（例如，分子生成中的药物相似性，算术表达式的函数近似）。然而，现有的方法缺乏鲁棒性，因为它们可能决定探索在训练期间没有数据可用的潜在空间的区域，并且解码器可能不可靠，导致生成不切实际或无效的对象。我们建议利用解码器的认知不确定性来指导优化过程。但这并不是微不足道的，因为我们认为在高维和结构化设置中对不确定性的天真估计会导致高估计方差。为了解决这个问题，我们引入了一个基于重要性采样的估计，提供了更强大的估计认知不确定性。我们的不确定性引导优化方法不需要修改模型架构，也不需要修改训练过程。它生成的样本在黑盒目标和生成样本的有效性之间具有更好的权衡，有时同时改善两者。我们说明了这些优势，在几个实验设置在数字生成，算术表达式近似和药物设计的分子生成。
2021-06-30 cs.LG stat.ML
Multi-modal contrastive learning adapts to intrinsic dimensions of shared latent variables
Department of Statistics, University of Chicago（芝加哥大学统计系）；Department of Statistics and Data Science, Yale University（耶鲁大学统计学与数据科学系）
该研究突破线性表示与特定分布的局限，从理论上证明温度优化下的多模态对比学习可适配数据远低于指定维度的固有维度，且经合成与真实数据集实验验证，为其低维信息表示学习能力提供了理论支撑。
2025-05-18 cs.LG math.ST stat.ML
Heterogeneous-Modal Unsupervised Domain Adaptation via Latent Space Bridging
Southern University of Science and Technology（南方科技大学）；SZ DJI Technology Co., Ltd（深圳大疆科技有限公司）
本文提出异构模态无监督域适应（HMUDA）设置及潜在空间桥接（LSB）框架，利用桥接域实现跨模态知识迁移，在六个基准数据集上达到语义分割任务的最优性能。
2026-10-09 cs.AI cs.CV cs.LG
Latent Discriminant deterministic Uncertainty
ENSTA Paris, Institut polytechnique de Paris（巴黎高等先进技术学院，巴黎理工学院）；Paris-Saclay University（巴黎萨克雷大学）；Aix Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
预测性不确定性估计对于在现实世界的自治系统中部署深度神经网络至关重要。然而，大多数成功的方法都是计算密集型的。在这项工作中，我们试图在自动驾驶感知任务的背景下解决这些挑战。最近提出的确定性不确定性方法（DUM）只能部分满足这些要求，因为它们对复杂计算机视觉任务的可扩展性不明显。在这项工作中，我们提出了一个可扩展的和有效的DUM高分辨率的语义分割，放松Lipschitz约束通常阻碍这种架构的实用性。我们通过在任意大小的可训练原型集上利用区别最大化层来学习判别潜在空间。我们的方法在图像分类、分割和单目深度估计任务上取得了比Deep Ensembles（最先进的不确定性预测）更有竞争力的结果。我们的代码可在https://github.com/ENSTA-U2IS/LDU上获得
2022-07-20 cs.CV cs.LG
Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives
Nanyang Technological University（南洋理工大学）；School of Social Sciences（社会科学学院）；School of Mechanical and Aerospace Engineering（机械与宇航工程学院）；School of Physical and Mathematical Sciences（物理与数学科学学院）
提出一种紧密逼近对数似然的变分目标，并利用置换不变神经网络构建灵活的多模态聚合方案，避免PoE或MoE的归纳偏置，在可识别模型中更好地逼近真实联合分布。
2024-09-24 cs.LG stat.ML
Learning a Multi-Modal Policy via Imitating Demonstrations with Mixed Behaviors
National Tsing Hua University（国立清华大学）
我们提出了一种新的方法来训练一个多模态的政策，从混合示范没有他们的行为标签。我们开发了一种方法来发现潜在的变化因素的演示。具体来说，我们的方法是基于变分自编码器与分类潜在变量。编码器从演示中推断出对应于不同行为的离散潜在因素。作为策略，解码器相应地执行行为。一旦学习，该策略就能够通过简单地以分类向量为条件来再现特定的行为。我们评估我们的方法在三个不同的任务，包括一个具有挑战性的任务与高维视觉输入。实验结果表明，我们的方法是优于各种基线方法和竞争力的多模态政策训练的地面真相行为标签。
2019-03-25 cs.LG stat.ML
Biased Dreams: Limitations to Epistemic Uncertainty Quantification in Latent Dynamics Models
研究探讨了潜在空间模型中知识不确定性量化存在的偏差问题，指出潜在过渡偏向于高代表性的区域，导致环境动态差异在潜在空间中不显现，影响不确定性估计的可靠性。
2026-07-28 cs.LG
Latent Uncertainty Representations for Video-based Driver Action and Intention Recognition
Volvo Car Corporation（沃尔沃汽车公司）
针对基于视频的驾驶员动作与意图识别任务中现有最后层概率深度学习方法分布外检测性能波动的问题，提出潜在不确定性表示方法，在保证分类性能的同时提升了检测效率与调优便捷性，还补充了NuScenes数据集的标注。
2025-10-06 cs.CV cs.LG
Disentangling shared and private latent factors in multimodal Variational Autoencoders
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
本研究针对多模态变分自编码器在模态特异性变异主导共享信号场景下的解耦局限，从跨模态预测角度提出改进方案以提升鲁棒性，相关结论经合成及真实多组学数据实验验证。
2024-03-10 cs.LG q-bio.GN stat.ML
Gaussian Latent Representations for Uncertainty Estimation using Mahalanobis Distance in Deep Classifiers
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Georgia Tech Europe（佐治亚理工学院欧洲校区）；Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人学与控制论研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
针对基于马氏距离的不确定性与 OOD 检测，本文提出自监督多高斯潜在表示正则化方法，以极小架构和推理开销取得最先进 OOD 检测及有竞争力的校准效果。
2023-09-29 cs.CV cs.LG
Supervised Multi-Modal Fission Learning
Georgia Institute of Technology（佐治亚理工学院）；Arizona State University（亚利桑那州立大学）；Banner Alzheimer’s Institute（班纳阿尔茨海默病研究所）；MS Technologies Corporation（MS科技公司）
本文提出有监督多模态裂变学习（MMFL）模型，可同时识别全局联合、部分联合和个体潜成分，利用响应变量监督提升预测能力，并能处理不完整多模态数据，在模拟和ADNI阿尔茨海默病早期预测中均优于现有方法。
2024-09-30 cs.CV cs.LG
Robust Dynamic Multi-Modal Data Fusion: A Model Uncertainty Perspective
Zhejiang Lab（之江实验室）
研究了非线性非高斯动态过程中非预期模态故障下的多模态数据融合问题。提出了一个解决这个问题的有效框架。具体地，采用值为1或0的称为模态“\emph{usefulness}“的概念用于指示该模态的观察是否有用。对于涉及的$n$模态，存在其“\emph{usefulness}“值的$2^n$组合。每个组合定义了真实数据生成过程的一个假设模型。然后将所关心的问题形式化为模型不确定性下的非线性非高斯状态滤波任务，并通过基于动态模型平均（DMA）的粒子滤波（PF）算法来解决。该DMA算法采用$2^n$模型，而所有模型共享相同的状态转移函数和唯一的一组粒子值。这使得其计算复杂性仅略大于基于单个模型的PF算法，特别是对于其中$n$较小的场景。实验结果表明，所提出的解决方案明显优于国家的最先进的方法。代码和数据可在https://github.com/robinlau1981/fusion上获得。
2021-10-01 cs.LG stat.ML
Probabilistic Embeddings for Frozen Vision-Language Models: Uncertainty Quantification with Gaussian Process Latent Variable Models
Computer Vision Group, Friedrich Schiller University Jena（计算机视觉组，费迪里奇·施勒尔大学耶纳）
本文提出GroVE，一种基于高斯过程潜变量模型的事后方法，从冻结的视觉-语言模型中学习不确定性感知的概率嵌入，在跨模态检索、视觉问答和主动学习等任务上实现了最先进的不确定性校准。
2025-07-04 cs.CV cs.LG
Cross-Modal Diffusion for Biomechanical Dynamical Systems Through Local Manifold Alignment
ETH Zurich（苏黎世联邦理工学院）
本文提出相互对齐的跨模态扩散框架，利用局部潜在流形对齐（LLMA）在每步融合关节角度与地面反作用力信息，实验证明其提升生物力学运动生成保真度和表征质量。
2025-03-15 cs.LG math.DS
Reducing Aleatoric and Epistemic Uncertainty through Multi-modal Data Acquisition
Université de Lorraine, CentraleSupélec CNRS, LORIA, Metz, France（洛林大学、中央超导电子学学院 CNRS、LORIA、法国梅茨）；Université de technologie de Compiègne UMR CNRS 7253 Heudiasyc, France（图卢兹理工学院 UMR CNRS 7253 Heudiasyc、法国）；CNRS, Université de technologie de Compiègne UMR CNRS 7253 Heudiasyc, France（CNRS、图卢兹理工学院 UMR CNRS 7253 Heudiasyc、法国）；University of Ghent Ghent, Belgium（根特大学、比利时根特）
本文提出一种多模态数据采集框架，通过增加模态数量和收集更多观测来减少偶然性和epistemic不确定性。
2026-02-09 cs.LG
Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
基于无人机的车辆检测旨在从航拍图像中找到车辆的位置和类别。助力智慧城市交通管理和灾害救援。研究者们在这方面做了大量的工作，并取得了很大的进展.然而，当物体难以区分时，特别是在弱光条件下，这仍然是一个挑战。为了解决这个问题，我们构建了一个大规模的基于无人机的RGB红外车辆检测数据集，称为DroneVehicle。DroneVehicle采集了28439个RGB-红外图像对，覆盖城市道路、居民区、停车场等场景，从白天到晚上。由于RGB图像与红外图像之间的巨大差距，交叉模态图像既提供了有效信息，又提供了冗余信息。为了解决这一难题，我们进一步提出了一个不确定性感知的跨模态车辆检测（UA-CMDet）框架，从跨模态图像中提取补充信息，这可以显着提高低光照条件下的检测性能。设计了一个不确定性感知模块（UAM），通过跨模态交集和RGB亮度值计算出各模态的不确定性权重。此外，我们设计了一个照明感知的跨模态非最大值抑制算法，以更好地整合在推理阶段的模态特定的信息。在DroneVehicle数据集上的大量实验证明了所提出的跨模态车辆检测方法的灵活性和有效性。数据集可以从https://github.com/VisDrone/DroneVehicle下载。
2021-10-14 cs.CV cs.LG eess.IV
Uncertainty-based Cross-Modal Retrieval with Probabilistic Representations
Samsung AI Centre Toronto（多伦多三星人工智能中心）；York University（约克大学）；University of Toronto（多伦多大学）
概率嵌入已被证明对于捕获多义词含义以及图像匹配中的歧义是有用的。在本文中，我们研究了概率嵌入在跨模态设置（即，文本和图像），并提出了一种简单的方法，取代标准的矢量点嵌入在现有的图像-文本匹配模型与概率分布，参数学习。我们的指导假设是，概率嵌入中编码的不确定性捕获了输入实例中的跨模态模糊性，并且通过捕获这种不确定性，概率模型可以在下游任务中表现得更好，例如图像到文本或文本到图像检索。通过对标准和新基准的广泛实验，我们在跨模态检索中展示了概率表示的一致优势，并验证了我们的嵌入捕获不确定性的能力。
2022-04-20 cs.CL cs.CV cs.IR
LatentVerse: A Framework for Understanding Shared and Modality-Specific Information in Multimodal Latent Representations
Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学布罗德研究所）；Massachusetts Institute of Technology（麻省理工学院）；The Schmidt Center, Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学布罗德研究所施密特中心）
LatentVerse是一个结合可视化平台与命令行界面的表示分析框架，通过分解共享与模态特定组件，实现多模态潜在表示的质量评估，提升可理解性与可复现性。
2026-09-14 cs.HC cs.LG
Patch-PODiff-ViT: Structured Latent Diffusion with Patchwise POD for Super-Resolution and Uncertainty Quantification
提出Patch-PODiff-ViT框架，使用分块本征正交分解（POD）定义固定线性正交基的潜在空间，结合Vision Transformer实现高效扩散，并通过线性解码器解析传播不确定性，在多个领域实现参数少、内存低且校准良好的超分辨率重建。
2026-07-01 cs.LG
Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations
The University of Hong Kong（香港大学）；TCL AI Lab（TCL人工智能实验室）；Imperial College London（帝国理工学院）
针对现有不确定性估计方法受限于低维假设且依赖训练时分布外数据的问题，提出一种基于潜在表示的数据自适应高维假设检验框架，无需重训编码器即可提升OOD检测与不确定性估计的准确性。
2023-10-25 cs.AI cs.CV cs.LG
MaD-Mix: Multi-Modal Data Mixtures via Latent Space Coupling for Vision-Language Model Training
LIONS, EPFL（EPFL 雷奥尼实验室）
MaD-Mix通过潜在空间耦合实现多模态数据混合，提升视觉-语言模型训练效率，减少训练步骤并增强复杂场景下的性能。
2026-02-08 cs.LG
Probabilistic Contrastive Learning Recovers the Correct Aleatoric Uncertainty of Ambiguous Inputs
University of Tübingen（图宾根大学）；TUM University（慕尼黑工业大学）；Tübingen AI Center（图宾根人工智能中心）
针对模糊输入导致潜变量后验具有异方差不确定性的问题，扩展InfoNCE目标预测潜变量分布，证明其能恢复正确后验及偶然不确定性，并提供校准的不确定性估计与图像检索可信区间。
2023-05-17 cs.AI cs.LG stat.ML
Hidden Axis of Uncertainty: Latent-Posterior Alignment in Graph Neural Networks with Bayesian Output Layers
Korea Institute of Science and Technology（韩国科学技术研究院）；Clean Energy Research Center（清洁能源研究中心）
该研究针对带贝叶斯输出层的图神经网络，发现潜在-后验对齐现象，提出对齐引导学习方法，可降低预测不确定性并改善结构校准，为不确定性动力学提供新视角。
2026-08-24 cs.LG
Learning Latent Graph Structures and their Uncertainty
Politecnico di Milano, Milan, Italy（米兰理工大学，米兰，意大利）
针对图神经网络中潜在图结构学习无法通过点预测损失保证正确学习关系及不确定性的问题，提出基于采样的联合学习方法，同时学习潜在图分布并实现目标变量最优预测。
2025-05-28 cs.AI cs.LG stat.ML
ASLSL: Adaptive shared latent structure learning with incomplete multi-modal physiological data for multi-dimensional emotional feature selection
School of Information Science and Technology, Beijing University of Technology, Beijing 100124, China（信息科学与技术学院，北京理工大学，北京）；School of Artificial Intelligence, Anhui University, Beijing 100124, China（人工智能学院，安徽大学，北京）
针对多模态生理数据不完整及特征高维冗余导致情感分类性能下降的问题，提出自适应共享潜在结构学习方法（ASLSL），通过探索共享潜在空间挖掘共识信息并减轻缺失影响，在DEAP和DREAMER数据集上验证了其优于17种特征选择方法的有效性。
2025-08-08 cs.AI cs.HC cs.LG
ProMUSE: Progressive Multi-modal Uncertainty-guided Staged Evidential Alzheimer Disease Classification
Kennesaw State University（肯尼索州立大学）；Michigan Technological University（密歇根理工大学）；University of Iowa（爱荷华大学）
提出ProMUSE，一种渐进式多模态不确定性引导的分阶段证据网络，通过自适应决定何时需要额外模态，在保持准确性的同时降低数据采集成本。
2026-06-19 cs.AI cs.CV cs.LG
Latent Object Characteristics Recognition with Visual to Haptic-Audio Cross-modal Transfer Learning
School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）；The Alan Turing Institute（阿兰·图灵研究所）；Waseda University（早稻田大学）
针对机器人操作中隐藏物体特征识别难题，提出视觉到触觉-音频的跨模态迁移学习，利用间接传感器数据表征物体特征，并在人形机器人上验证了形状、位置和方向的在线识别。
2024-03-15 cs.CV cs.LG cs.RO
Robustness to Multi-Modal Environment Uncertainty in MARL using Curriculum Learning
University of Maryland（马里兰大学）
本文首次提出多智能体强化学习中多模态环境不确定性的鲁棒性问题，并基于课程学习提出通用训练方法，在合作与竞争环境中达到最先进鲁棒性。
2023-10-12 cs.LG
Uncertainty-Aware Boosted Ensembling in Multi-Modal Settings
BITS Pilani, K K Birla Goa Campus（比拉理工学院皮拉尼校区果阿分校）；Harvard Medical School（哈佛医学院）
机器学习（ML）系统的可靠性在医疗保健等安全关键型应用中至关重要，而不确定性估计是一种广泛研究的方法，用于突出ML系统在部署中的置信度。顺序和并行集成技术已经显示出通过一起利用特征集来提高ML系统在多模态设置中的性能。我们提出了一种用于多模态集成的不确定性感知提升技术，以便专注于具有较高相关不确定性估计的数据点，而不是具有较高损失值的数据点。我们评估这种方法对涉及现实世界的多模态语音和文本数据的痴呆症和帕金森病相关的医疗保健任务，其中我们的方法显示出改进的性能。进一步的分析表明，将不确定性意识引入到增强的集合中会降低系统的整体熵，使其对数据中的异方差更鲁棒，并更好地校准每个模态以及高质量的预测区间。我们在https://github.com/usarawgi911/Uncertainty-aware-boosting上开源了整个代码库
2021-04-21 cs.AI cs.LG
CroSSL: Cross-modal Self-Supervised Learning for Time-series through Latent Masking
University of New South Wales（新南威尔士大学）；Nokia Bell Labs（诺基亚贝尔实验室）
针对多模态时间序列标注数据稀缺问题，提出CroSSL框架，通过掩码模态编码器中间嵌入并经跨模态聚合器生成全局嵌入，实现无需负样本对采样的端到端跨模态自监督学习，在处理缺失模态和低资源场景下优于现有方法。
2024-02-19 cs.LG
Multi-modal Gaussian Process Variational Autoencoders for Neural and Behavioral Data
Fordham University（福特汉姆大学）；Georgia Institute of Technology（佐治亚理工学院）；Icahn School of Medicine at Mount Sinai（Mount Sinai医学院）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出多模态高斯过程变分自编码器，用于分析神经和行为数据的共享与独立潜在结构，提升数据重建和解释性。
2026-02-11 cs.LG q-bio.NC
Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution
Westlake University（西湖大学）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）
提出LE-PDE-UQ方法，通过在潜空间中联合演化系统状态及其不确定性估计，为PDE正逆问题提供高效精确的不确定性量化，在长期预测中超越强基线。
2024-02-13 cs.AI cs.LG
Structurally Separated Uncertainty in Supervised Latent Variable Models
CRIL UMR 8188, Univ Artois, CNRS, France（CRIL UMR 8188，阿维尼翁大学，法国国家科学研究中心）
本文提出了一种可信概念瓶颈模型，通过结构分离epistemic和aleatoric不确定性，显著降低两者相关性并提升预测误差与真实模糊度的一致性。
2026-07-30 cs.AI cs.LG
Are you SURE? Enhancing Multimodal Pretraining with Missing Modalities through Uncertainty Estimation
VinUniversity（范安大学）
针对多模态预训练模型在缺失模态场景下的局限性，提出SURE框架，通过潜在空间重建和不确定性估计（含皮尔逊相关损失与误差传播），提升模型在不完整数据上的鲁棒性与性能，在多任务中取得最优结果。
2025-04-18 cs.LG
Uncertainty-Resilient Multimodal Learning via Consistency-Guided Cross-Modal Transfer
Brain and Cognitive Engineering（脑科学与认知工程）
本论文提出通过一致性引导的跨模态转移实现不确定性鲁棒的多模态学习，旨在提高模型的稳定性和鲁棒性。
2025-11-18 cs.AI cs.HC cs.LG
Uncertainty-Aware Multi-Modal Ensembling for Severity Prediction of Alzheimer's Dementia
Massachusetts Institute of Technology（麻省理工学院）；BITS Pilani Goa Campus（贝拉理工学院皮拉尼果阿校区）
神经网络（NN）的可靠性在医疗保健等安全关键型应用中至关重要，而不确定性估计是一种广泛研究的方法，用于突出NN在部署中的置信度。在这项工作中，我们提出了一个不确定性意识增强技术的多模态集成来预测阿尔茨海默氏症痴呆的严重程度。声学，认知和语言特征的不确定性的传播产生了一个对数据中的异方差具有鲁棒性的集成系统。根据不确定性估计对不同的模态进行加权，我们在基准ADReSS数据集（一个独立于受试者的平衡数据集）上进行了实验，以表明我们的方法优于最先进的方法，同时还降低了系统的整体熵。这项工作旨在鼓励公平和知情的模式。源代码可在https://github.com/wazeerzulfikar/alzheimers-dementia上获得
2020-11-19 cs.LG cs.SD eess.AS
