Exploiting the Complementarity of 2D and 3D Networks to Address Domain-Shift in 3D Semantic Segmentation
University of Bologna（博洛尼亚大学）
本文解释了多模态3D语义分割中独立处理2D和3D信息的双分支设计的有效性，并提出一种简单改进方法以增强其对域偏移的鲁棒性，在多个无监督域适应基准和域泛化场景中取得最优性能。
2023-04-06 cs.CV
Weakly supervised segmentation with cross-modality equivariant constraints
École de Technologie Supérieure（高等技术学院）；Purdue University（普渡大学）
弱监督学习已经成为一种有吸引力的替代方案，以减轻语义分割中对大型标记数据集的需求。目前大多数方法利用类激活图（CAM），它可以从图像级注释生成。然而，由此产生的地图已被证明是高度判别，未能作为最佳的代理像素级标签。我们提出了一种新的学习策略，利用自我监督的多模态图像的情况下，显着提高原始CAM。特别是，所提出的方法是基于两个观察。首先，全监督分割网络的学习通过数据增强隐含地施加等方差，而这种隐含的约束在使用图像标签生成的CAM上消失。第二，图像模态之间的共性可以用作有效的自我监督信号，校正跨多个模态获得的CAM所示的不一致性。为了有效地训练我们的模型，我们集成了一个新的损失函数，其中包括一个模态内和跨模态等变项，明确施加这些约束在训练过程中。此外，我们在类预测分布上添加了KL发散，以促进模态之间的信息交换，与等变正则化器相结合，进一步提高了我们模型的性能。在流行的多模态BRATS数据集上的详尽实验表明，在相同的学习条件下，我们的方法优于最近的相关文献。
2022-01-14 cs.CV
Self-Captioning Multimodal Interaction Tuning: Amplifying Exploitable Redundancies for Robust Vision Language Models
Singapore University of Technology and Design（新加坡科技设计大学）；DSO National Laboratories（国防部国家实验室）；Massachusetts Institute of Technology（麻省理工学院）
针对视觉语言模型中的幻觉和鲁棒性问题，提出自描述多模态交互调优方法，通过放大模态间冗余信息来补偿受损模态，并设计多模态交互门机制将独特交互转化为冗余交互，实验表明该方法可减少38.3%的视觉诱导错误并提升16.8%的一致性。
2026-05-29 cs.AI cs.CV cs.LG
Modality Mixer Exploiting Complementary Information for Multi-modal Action Recognition
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电气工程学院）
本文提出 M-Mixer 网络，通过 MCU 循环单元和 CFEM 模块有效融合跨模态互补信息与时序上下文，在多个数据集上实现了优于现有最先进方法的动作识别性能。
2023-11-21 cs.CV
Urban Land Cover Classification with Missing Data Modalities Using Deep Convolutional Neural Networks
UiT The Arctic University of Norway（挪威北极大学）；Norwegian Computing Center（挪威计算中心）
城市土地覆盖自动分类是遥感领域的一个基本问题，例如用于环境监测。这个问题是非常具有挑战性的，因为类通常具有高的类间方差和低的类内方差。提高城市土地覆盖遥感分类性能的技术包括融合来自不同传感器和不同数据模式的数据。然而，这样的技术要求所有模态在决策过程中，即在测试时以及在训练中对分类器可用。如果数据模态在测试时缺失，则当前最先进的方法通常没有可用于利用来自这些模态的信息的程序。这是对潜在有用信息的浪费。我们提出了一种用于城市土地覆盖分类的卷积神经网络（CNN）架构，该架构能够将所有可用的训练模式嵌入到所谓的幻觉网络中。该网络实际上将在测试阶段取代缺失的数据模态，即使在测试中缺失数据模态时也能实现融合功能。我们使用两个数据集组成的光学和数字表面模型（DSM）图像的方法。我们通过假设DSM图像在测试期间丢失来模拟丢失的模态。我们的方法优于仅在光学图像上训练的标准CNN以及两个标准CNN的集合。我们进一步评估我们的方法来处理的情况下，只有一些DSM图像在测试过程中丢失的潜力。总的来说，我们表明，我们可以清楚地利用训练时间信息的缺失模态在测试过程中。
2018-05-08 cs.CV
Robust Multimodal Learning with Missing Modalities via Parameter-Efficient Adaptation
University of California Riverside（加州大学河滨分校）；Air Force Research Laboratory（空军研究实验室）
针对多模态网络在测试时因模态缺失导致性能下降的问题，提出一种参数高效的中间特征调制适应方法，以不到1%的参数弥补性能下降，在多任务与数据集上优于现有方法。
2024-10-07 cs.CV cs.LG
A Theoretical Analysis of Joint Manifolds
Rice University（莱斯大学）
用于不同模态的低成本传感器架构的出现使得可以部署从大量有利位置并使用多种模态捕获单个事件的传感器阵列。在许多情况下，这些传感器获取非常高维的数据，如音频信号，图像和视频。为了处理这种高维数据，我们通常依赖于低维模型。流形模型提供了一个特别强大的模型，当它由一组低维参数控制时，它可以捕获高维数据的结构。然而，这些模型通常不考虑多个传感器之间的依赖性。因此，我们提出了一个新的联合流形框架的数据集成，利用这种依赖关系。我们表明，简单的算法可以利用联合流形结构，以提高其性能的标准信号处理应用。此外，最近的结果有关维数减少流形使我们能够制定一个网络可扩展的数据压缩计划，使用随机投影的传感器数据。该方案有效地融合了来自所有传感器的数据，通过添加这样的预测，无论数据的形式和维度。
2009-12-09 cs.CV cs.LG
Online Convolutional Dictionary Learning for Multimodal Imaging
Université catholique de Louvain（鲁汶天主教大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
可以利用多种模态的计算成像方法具有增强传统传感系统的能力的潜力。在本文中，我们提出了一种新的方法，重建多模态图像从他们的线性测量，通过利用不同的方式冗余。我们的方法将图像的卷积组稀疏表示与全变差（TV）正则化相结合，以实现高质量的多模态成像。我们开发了一种在线算法，该算法能够在此类应用中典型的大规模数据集上对卷积字典进行无监督学习。我们说明了我们的方法在联合强度-深度成像的背景下的好处。
2017-06-13 cs.CV
HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously Exploiting Image and Event Modalities
Purdue University（普渡大学）
本文提出混合端到端分割框架 HALSIE，融合图像帧与事件并采用 SNN/ANN 双编码器和多尺度混合器，以更低推理成本和更高参数效率在多个数据集上达到先进性能。
2023-09-28 cs.CV
Deep Neural Networks for Visual Reasoning
Deakin University（迪肯大学）
视觉感知和语言理解是人类智能的基本组成部分，使他们能够理解和推理物体及其相互作用。对于机器来说，使用这两种模式来发明新的机器人-人类协作系统，具有这种推理能力至关重要。深度学习的最新进展已经建立了视觉场景和语言的独立复杂表示。然而，在多模态推理的共享环境中理解两种模态之间的关联仍然是一个挑战。本论文以语言和视觉模态为重点，提出了如何利用神经网络来支持推理的视觉和语言任务的关键方面的理解。我们从一系列的著作中获得这些理解，做出了双重贡献：（i）用于响应于语言查询从动态视觉场景选择内容和构建时间关系的有效机制，以及为推理过程准备足够的知识（ii）通过利用视觉-语言关联来用神经网络执行推理的新框架，直接从数据中推断或由外部先验指导。
2022-09-24 cs.CV
OctopusNet: A Deep Learning Segmentation Network for Multi-modal Medical Images
Nanjing University（南京大学）；YouTu Lab, Tencent（腾讯优图实验室）
深度学习模型，如全卷积网络（FCN），已广泛用于3D生物医学分割，并实现了最先进的性能。多种模态通常用于疾病诊断和量化。文献中广泛使用两种方法来融合分割网络中的多个模态：早期融合（将多个模态堆叠为不同的输入通道）和后期融合（在最后融合来自不同模态的分割结果）。这些融合方法很容易受到输入模态变化较大而引起的跨模态干扰的影响。为了解决这个问题，我们提出了一种新的深度学习架构，即OctopusNet，以更好地利用和融合多模态中包含的信息。该框架采用了一个单独的编码器为每一个模态的特征提取，并利用超融合解码器融合提取的特征，同时避免特征爆炸。我们在两个公开的数据集上评估了所提出的OctopusNet，即ISLES-2018和MRBrainS-2013。实验结果表明，我们的框架优于常用的特征融合方法，并产生最先进的分割精度。
2019-08-22 cs.CV eess.IV
Feature-enhanced Generation and Multi-modality Fusion based Deep Neural Network for Brain Tumor Segmentation with Missing MR Modalities
INSA de Rouen（鲁昂国立应用科学学院）；Université de Rouen Normandie（鲁昂诺曼底大学）；Normandie Univ（诺曼底大学）；Henri Becquerel Cancer Center（亨利·贝克勒尔癌症中心）
使用多模态磁共振成像（MRI）是必要的准确的脑肿瘤分割。主要问题是，并非所有类型的MRI都可用于临床检查。基于同一患者的MR模态之间存在很强的相关性这一事实，在这项工作中，我们提出了一种新的脑肿瘤分割网络，在缺失一个或多个模态的情况下。该网络由三个子网络组成：一个特征增强生成器，一个相关约束块和一个分割网络。特征增强生成器利用可用的模态来生成表示缺失模态的3D特征增强图像。相关性约束块可以利用模态之间的多源相关性，并且还约束生成器以合成必须与可用模态具有相干相关性的特征增强模态。分割网络是一个基于多编码器的U-Net，实现最终的脑肿瘤分割。该方法在BraTS 2018数据集上进行了评估。实验结果表明，该方法的有效性，实现了82.9，74.9和59.1的平均Dice分数的整体肿瘤，肿瘤核心和增强肿瘤，分别在所有情况下，并优于最好的方法3.5%，17%和18.2%。
2021-11-08 cs.CV eess.IV physics.med-ph
Perceiver: General Perception with Iterative Attention
DeepMind（深度思维）
生物系统通过同时处理来自视觉、听觉、触觉、本体感受等不同模态的高维输入来感知世界。另一方面，深度学习中使用的感知模型是为个体模态设计的，通常依赖于特定领域的假设，例如几乎所有现有视觉模型所利用的局部网格结构。这些先验引入了有益的归纳偏差，但也将模型锁定在个体模态上。在本文中，我们介绍了Perceiver -一个建立在Transformers基础上的模型，因此对其输入之间的关系做了一些架构假设，但也可以扩展到数十万个输入，如ConvNets。该模型利用不对称的注意力机制来迭代地将输入提取到紧密的潜在瓶颈中，从而使其能够扩展以处理非常大的输入。我们表明，这种架构在各种形式的分类任务上具有竞争力或优于强大的专业模型：图像，点云，音频，视频和视频+音频。Perceiver通过直接处理50，000个像素，在没有2D卷积的情况下获得了与ResNet-50和ImageNet上的ViT相当的性能。它在AudioSet的所有模式中也具有竞争力。
2021-06-23 cs.AI cs.CV cs.LG
AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust Autonomous Driving
Nanyang Technological University (NTU)（南洋理工大学）；University of Maryland（马里兰大学）；China-Singapore International Joint Research Institute（中新国际联合研究院）
利用机载传感器进行目标检测（例如，激光雷达、雷达和摄像头）在自动驾驶（AD）中发挥着至关重要的作用，这些传感器在模式上相互补充。虽然crowdsensing可能会利用这些传感器（数量巨大）来获得更全面的知识，但\textit{federated learning}（FL）似乎是实现这一潜力的必要工具：它使自动驾驶汽车（AV）能够在不显式共享原始传感数据的情况下训练机器学习模型。然而，多模态传感器在分布式AV之间引入了各种数据异质性（例如，标签数量偏差和不同的方式），提出了关键的挑战，有效的FL。为此，我们提出AutoFed作为异质性意识FL框架，充分利用多模态感官数据的AV，从而使强大的AD。具体来说，我们首先提出了一种新的模型，利用伪标签，以避免错误地对待未标记的对象作为背景。我们还提出了一种基于自动编码器的数据填补方法，以填补缺失的数据模态（某些AV）与可用的。为了进一步协调异构性，我们最后提出了一个客户端选择机制，利用客户端模型之间的相似性，以提高训练稳定性和收敛速度。我们在基准数据集上的实验证实，AutoFed在准确率和召回率方面都大大提高了现状方法，同时对恶劣天气条件表现出强大的鲁棒性。
2023-03-30 cs.AI cs.CV cs.LG
Dynamic Graph Neural Network with Adaptive Features Selection for RGB-D Based Indoor Scene Recognition
organization= School of Electronic Information；Communications,Huazhong University of Science
本文提出动态图模型，通过自适应节点选择机制提取RGB和深度模态的关键局部特征，用于提升室内场景识别性能，实验表明其优于现有方法。
2026-04-01 cs.CV
Duality-Gated Mutual Condition Network for RGBT Tracking
Anhui University（安徽大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
RGBT跟踪中的低质量模态不仅包含大量噪声信息，而且还包含一些鉴别特征。然而，在现有的RGBT跟踪算法中，低质量模态的潜力没有得到很好的开发。在这项工作中，我们提出了一种新的双门控互条件网络，以充分利用所有模态的判别信息，同时抑制数据噪声的影响。具体地说，我们设计了一个交互条件模块，它以一种模态的判别信息为条件，指导目标外观在另一种模态下的特征学习。这样的模块可以有效地增强目标表示的所有形式，即使在存在低质量的模态。为了提高条件的质量，进一步降低数据噪声，我们提出了一种双重门控机制，并将其集成到相互条件模块。针对RGBT跟踪中经常出现的摄像机突然运动导致跟踪失败的问题，设计了一种基于光流算法的恢复策略。它不会增加太多的计算成本，因为我们只执行光流计算时，模型预测是不可靠的，然后执行resception时，突然的相机运动被检测到。在四个RGBT跟踪基准数据集上的大量实验表明，该方法对最先进的跟踪算法表现良好
2022-04-29 cs.CV
A TRIANGLE Enables Multimodal Alignment Beyond Cosine Similarity
Department of Information Engineering, Electronics, and Telecommunications（信息工程、电子与电信系）
本文提出 TRIANGLE 相似度度量，利用模态嵌入张成空间中的三角形面积实现三模态联合对齐，并在检索与分类任务中显著优于余弦相似度方法。
2025-09-29 cs.AI cs.CV cs.LG
Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing
Microsoft Health Futures（微软健康未来部门）
本文提出BioViL-T模型，通过联合编码当前及先前的医学图像和报告，利用时间结构增强生物医学视觉-语言表示，并在进展分类、短语定位和报告生成等任务上取得最先进性能。
2023-03-16 cs.CL cs.CV
Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis
Inception Institute of Artificial Intelligence（人工智能 inception 研究所）
磁共振成像（MRI）是一种广泛使用的神经成像技术，其可以提供不同对比度的图像（即，方式）。事实证明，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和频繁的患者脱落，收集每个患者的所有模式仍然是一个挑战。医学图像合成已被提出作为一种有效的解决方案，其中任何丢失的模态从现有的模态合成。在本文中，我们提出了一种用于多模态MR图像合成的新型混合融合网络（Hi-Net），该网络从多模态源图像（即，现有的模态）到目标图像（即，缺少模式）。在我们的Hi-Net中，使用特定于模态的网络来学习每个模态的表示，并使用融合网络来学习多模态数据的共同潜在表示。然后，多模态合成网络被设计成密集地将潜在表示与来自每个模态的层次特征相结合，作为生成器来合成目标图像。此外，提出了一种分层多模态融合策略，以有效地利用多模态之间的相关性，其中提出了混合融合块（MFB）来自适应地加权不同的融合策略（即，逐元素求和、乘积和最大化）。大量的实验表明，该模型优于其他国家的最先进的医学图像合成方法。
2020-02-11 cs.CV eess.IV
Enhancing SNN-based Spatio-Temporal Learning: A Benchmark Dataset and Cross-Modality Attention Model
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）
本文针对现有神经形态数据集时间相关性不足的问题，提出DVS-SLR双模态数据集及跨模态注意力融合方法，以增强SNN时空学习能力并提升识别准确率与鲁棒性。
2024-10-21 cs.CV cs.LG cs.NE
Cross-Modality Proposal-guided Feature Mining for Unregistered RGB-Thermal Pedestrian Detection
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
针对未配准RGB-红外图像对的行人检测难题，提出跨模态候选框引导特征挖掘机制与双流检测范式，结合Homography数据增强和两种NMS后处理方法，有效提升了未配准场景下的检测效果与鲁棒性。
2023-08-23 cs.CV
BM2CP: Efficient Collaborative Perception with LiDAR-Camera Modalities
School of Computer Science and Technology（计算机科学与技术学院）；Harbin Institute of Technology（哈尔滨工业大学）
针对单模态协同感知的局限，本文提出 BM2CP，通过 LiDAR-相机深度融合与协同深度生成实现高效多模态协同感知，并在通信量降低50倍的同时超越现有方法。
2023-12-07 cs.AI cs.CV cs.RO
Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks
Imperial College（帝国理工学院）
真实感三维人脸的生成对于计算机图形学和计算机视觉应用具有重要意义。通常，三维人脸生成的研究围绕着面部表面的线性统计模型。然而，这些模型不能忠实地表示人脸的纹理或法线，这是非常重要的照片逼真的人脸合成。最近，有研究表明，生成对抗网络（GANs）可用于生成高质量的人脸纹理。然而，生成过程要么省略几何体和法线，要么使用独立的过程来生成3D形状信息。在本文中，我们提出了第一种方法，产生高品质的纹理，形状和法线联合，可用于照片级逼真的合成。为此，我们提出了一种新的GAN，它可以从不同的模态生成数据，同时利用它们的相关性。此外，我们演示了如何在表情上调节生成，并创建具有各种面部表情的面孔。由于尺寸限制，本文中显示的定性结果被压缩，全分辨率结果和附带的视频可以在补充文件中找到。代码和模型可以在项目页面上找到：https://github.com/barisgecer/TBGAN。
2020-12-02 cs.CV cs.GR
Dense Multi-path U-Net for Ischemic Stroke Lesion Segmentation in Multiple Image Modalities
Laboratory of Imaging, Vision and Artificial Intelligence（成像、视觉与人工智能实验室）
在缺血性卒中病变中描绘梗死组织对于确定损伤的范围和这种危及生命的疾病的最佳治疗是至关重要的。然而，由于缺血性中风的位置和形状的高度可变性，这个问题仍然具有挑战性。最近，全卷积神经网络（CNN），特别是基于U-Net的那些，已经导致了该任务的改进的性能。在这项工作中，我们提出了一种新的架构，提高了标准的U-网为基础的方法在三个重要方面。首先，不是在输入处组合可用的图像模态，而是在不同的路径中处理它们中的每一个，以更好地利用它们的独特信息。此外，网络是密集连接的（即，每个层都连接到所有后续层），在每个路径内和跨不同路径，类似于HyperDenseNet。这使我们的模型可以自由地学习处理和组合模式的规模。最后，受Inception架构的启发，我们通过扩展Inception模块来改进标准U-Net模块，其中包含两个具有不同规模的膨胀卷积的卷积块。这有助于处理病变大小的可变性。我们将93个笔画数据集分为训练集和验证集，分别包含83个和9个示例。我们的网络是在具有16 GB RAM的NVidia TITAN XP GPU上训练的，使用ADAM作为优化器，在200个epoch期间的学习率为1 $\times$ 10 $^{-5}$。训练大约需要5个小时，整个卷的分割平均需要0.2到2秒。通过我们的方法获得的测试集上的性能与几个基线进行比较，以证明我们的架构的有效性，以及采用因子分解扩张卷积的最新…
2018-10-16 cs.CV
Learning Robust Representations for Automatic Target Recognition
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
射频（RF）传感器与其他传感方式一起使用，以提供对世界的丰富表示。由于复值目标响应的高度可变性，RF系统容易受到攻击，从而掩盖了准确识别的真实目标特征。在这项工作中，我们评估了不同的技术，建立强大的分类架构，利用学到的物理结构，在接收到的合成孔径雷达信号的模拟三维目标。
2018-11-26 cs.CV cs.LG stat.ML
AMC: Attention guided Multi-modal Correlation Learning for Image Search
University of Southern California（南加州大学）；Adobe Research（Adobe研究院）
给定用户的查询，传统的图像搜索系统根据图像与单个模态（例如，图像内容或周围文本）。如今，互联网上越来越多的图像与丰富形式的相关联的Meta数据（例如，标题、关键字、标签等），这可以被利用来更好地测量与查询的相似性。在本文中，我们利用视觉和文本形式的图像搜索，通过学习它们与输入查询的相关性。根据查询意图，引入注意力机制，自适应地平衡不同模态的重要性。我们提出了一种新的注意力引导的多模态相关（AMC）学习方法，该方法由内部和内部注意力网络的联合学习层次组成。以查询的意图为条件，内部注意力网络（即，视觉内注意力网络和语言内注意力网络）关注每个模态内的信息部分;多模态间注意力网络促进最与查询相关的模态的重要性。在实验中，我们评估AMC模型的搜索日志从两个现实世界的图像搜索引擎和用户点击的图像在搜索结果中的排名显着提高。此外，我们将AMC模型扩展到COCO数据集上的字幕排名任务，并与最近的最先进的技术相比，取得了有竞争力的结果。
2017-04-03 cs.CV
MouseGAN++: Unsupervised Disentanglement and Contrastive Representation for Multiple MRI Modalities Synthesis and Structural Segmentation of Mouse Brain
Fudan University（复旦大学）
在磁共振（MR）图像上分割小鼠大脑的精细结构对于描绘形态区域、分析大脑功能以及理解它们之间的关系至关重要。与单一MRI模态相比，多模态MRI数据提供了可由深度学习模型利用的互补组织特征，从而获得更好的分割结果。然而，多模态小鼠大脑MRI数据往往是缺乏的，使得小鼠大脑精细结构的自动分割是一个非常具有挑战性的任务。为了解决这个问题，有必要融合多模态MRI数据，以在不同的大脑结构中产生不同的对比。因此，我们提出了一种新的基于GAN的分解和对比框架，名为MouseGAN++，以结构保留的方式从单个MR模态合成多个MR模态，从而通过输入缺失模态和多模态融合来提高分割性能。我们的结果表明，我们的方法的翻译性能优于国家的最先进的方法。使用随后学习的模态不变信息以及模态转换图像，MouseGAN++可以分割精细的大脑结构，平均骰子系数分别为90.0%（T2w）和87.9%（T1w），与最先进的算法相比，性能提高了约10%。我们的研究结果表明，MouseGAN++作为一种同时进行图像合成和分割的方法，可以用于以不成对的方式融合跨模态信息，并在没有多模态数据的情况下产生更强大的性能。我们将我们的方法作为一个小鼠大脑结构分割工具发布，供免费学术使用。https://github.com/yu02019
2022-12-04 cs.CV eess.IV
UniMPR: A Unified Framework for Multimodal Place Recognition with Heterogeneous Sensor Configurations
Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）；The University of New South Wales（新南威尔士大学）
UniMPR提出了一种统一框架，能够适应多种异构传感器配置，通过极坐标BEV特征空间和多分支网络实现多模态地点识别的高效与鲁棒性。
2025-12-23 cs.CV
Modality-specific Cross-modal Similarity Measurement with Recurrent Attention Network
Peking University（北京大学）
如今，跨模态检索在灵活地跨数据模态查找信息方面发挥着不可或缺的作用。有效地度量不同模态数据之间的相似性是跨模态检索的关键。图像和文本等不同的形式之间存在着不平衡的互补关系，在描述相同的语义时，它们所包含的信息量是不相等的。例如，图像通常包含更多无法通过文本描述展示的细节，反之亦然。现有的基于深度神经网络（DNN）的工作大多为不同的模态构建一个公共空间来发现它们之间的潜在对齐，这失去了它们独有的模态特定特征。与已有的工作不同，本文提出了特定于情态的跨情态相似性度量（MCSM）方法，该方法通过为每个情态构建独立的语义空间，采用端到端的框架直接生成特定于情态的跨情态相似性，无需显式的公共表示。对于每个语义空间，循环注意力网络充分利用一个模态的模态特征，而另一个模态的数据通过基于注意力的联合嵌入投射到该空间，利用学习到的注意力权重指导细粒度的跨模态相关学习，可以捕捉不同模态之间的不平衡和互补关系。最后，通过自适应地融合特定模态的跨模态相似度，探索不同模态语义空间之间的互补性，实现跨模态检索。在广泛使用的Wikipedia和Pascal Sentence数据集以及我们构建的大规模XMediaNet数据集上的实验验证了我们提出的方法的有效性，优于9种最先进的方法。
2017-08-16 cs.CL cs.CV cs.MM
MHTN: Modal-adversarial Hybrid Transfer Network for Cross-modal Retrieval
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
跨模态检索是跨模态数据检索的一个研究热点。然而，现有的基于DNN的方法面临着跨模态训练数据不足的挑战，这限制了训练的有效性，并且容易导致过拟合。迁移学习是为了缓解训练数据不足的问题，但它主要关注的是知识从大规模数据集（单模态源域）到单模态目标域的迁移。这种大规模的单模态数据集还包含丰富的模态独立的语义知识，可以在不同的模态之间共享。此外，大规模的跨模态数据集的收集和标注非常耗费人力，因此充分利用单模态数据集的知识对于提高跨模态检索具有重要意义。本文提出了模态-对抗混合迁移网络（MHTN），它是第一个实现知识从单模态源域到跨模态目标域的迁移，并学习跨模态公共表示的网络。它是一个端到端的体系结构，包含两个子网：（1）模态共享知识转移子网，以星型网络结构将知识从源域的大规模单模态数据集中联合转移到目标域的所有模态，提取模态无关的补充知识，促进跨模态公共表示学习。(2)提出了模态对抗语义学习子网络，在公共表示生成器和模态识别器之间建立对抗训练机制，使公共表示对语义具有区分性，对模态不具有区分性，以增强迁移过程中跨模态语义的一致性.在4个广泛使用的数据集上的综合实验表明了该方法的有效性和通用性。
2017-08-08 cs.CV cs.LG cs.MM
GeThR-Net: A Generalized Temporally Hybrid Recurrent Neural Network for Multimodal Information Fusion
Xerox Research Centre India（施乐印度研究中心）；Amazon Development Center India（亚马逊印度研发中心）
从真实世界事件生成的数据通常是时间性的，并且包含多模态信息，例如音频、视觉、深度、传感器等，这些信息需要被智能地组合以用于分类任务。在本文中，我们提出了一种新的广义深度神经网络架构，其中组合了来自多种模态的时间流。在所提出的网络中总共有M+1个（M是模态的数量）组件。第一个组成部分是一个新的时间混合循环神经网络（RNN），利用互补性质的多模态时间信息，允许网络学习模态特定的时间动态以及在多模态特征空间的动态。M个额外的组件被添加到网络中，从每个模态中提取有区别的但非时间的线索。最后，使用一组自动学习的权重线性组合来自所有这些组件的预测。我们在三个不同的数据集上进行了详尽的实验，涵盖了四种模式。对于UCF-101、CCV和Multimodal Gesture数据集，该网络分别比性能最好的时间多模态基线好3.5%、5.7%和2%。
2016-09-17 cs.CV
A Bimodal Co-Sparse Analysis Model for Image Processing
Technische Universität München（慕尼黑工业大学）
许多计算机视觉任务的成功在于能够利用不同图像模态（例如强度和深度）之间的相互依赖性。融合相应的信息可以在多个层次上实现，一个有前途的方法是在低层次上的集成。此外，稀疏信号模型已成功地用于许多视觉应用中。在这一研究领域内，所谓的共稀疏分析模型吸引了相当少的注意力比其众所周知的对应物，稀疏合成模型，虽然它已被证明是非常有用的各种图像处理应用。在本文中，我们提出了一个共同的稀疏分析模型，能够捕捉两种图像模态的相互依赖性。它是基于这样的假设，即存在一对分析算子，使得相应的双峰图像结构的共同支撑是相关的。我们提出了一种算法，能够学习这样一个耦合对运营商注册和无噪声训练数据。此外，我们解释了这个模型可以应用于解决线性逆问题，在图像处理，它可以用于图像配准任务。本文扩展了一些作者的工作的两个主要贡献。首先，提出了一种修改的学习过程，先验保证单位范数和零均值的行的操作。这解释了图像模态中的对比度承载最多信息的直觉。其次，将该模型用于一种新型的双模态图像配准算法，该算法估计不同模态未配准图像的变换参数。
2014-06-25 cs.CV
Enabling Efficient Deep Convolutional Neural Network-based Sensor Fusion for Autonomous Driving
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
自动驾驶需要准确的感知和安全的决策。为了实现这一点，自动化车辆现在配备有多个传感器（例如，相机、激光雷达等），使他们能够通过融合来自不同传感模式的数据来利用互补的环境背景。随着深度卷积神经网络（DCNN）的成功，DCNN之间的融合已被证明是一种有前途的策略，以达到令人满意的感知精度。然而，现有的主流DCNN融合方案通过在各个阶段直接将从不同模态提取的特征图逐元素添加在一起来进行融合，而没有考虑被融合的特征是否匹配。因此，我们首先提出了一个特征视差度量，以定量地衡量融合的特征图之间的特征视差的程度。然后，我们提出融合滤波器作为一种特征匹配技术，以解决特征不匹配的问题。我们还提出了一个层共享技术在深层，可以实现更好的精度与更少的计算开销。再加上特征差异的帮助，我们提出的技术使DCNN能够从不同的模态中学习具有相似特征和互补视觉上下文的相应特征图，以实现更好的准确性。实验结果表明，我们提出的融合技术可以达到更好的精度KITTI数据集与较少的计算资源的需求。
2022-02-22 cs.CV
Modal-aware Features for Multimodal Hashing
Sun Yat-Sen University（中山大学）；South China Normal University（华南师范大学）
许多检索应用可以受益于多种模态，例如，维基百科上包含图像的文本，如何表示多模态数据是关键组成部分。大多数深度多模态学习方法通常涉及两个步骤来构建联合表示：1）使用单独和独立的深度模型学习多个中间特征，每个中间特征对应于一个模态; 2）使用融合策略将中间特征合并到联合表示中。然而，在第一步中，这些中间特征彼此没有先前的知识，并且不能充分利用其他模态中包含的信息。在本文中，我们提出了一个模态感知操作作为一个通用的构建块，以捕获异构中间特征之间的非线性依赖关系，可以尽快学习其他多模态数据中的相关结构。模态感知操作由内核网络和注意力网络组成。核网络用于学习与其他模态的非线性关系。然后，为了更好地学习二进制哈希码的表示，我们提出了一个注意力网络，发现这些模态感知功能的信息区域，有利于检索。在三个公共基准数据集上进行的实验表明，相对于最先进的方法，我们的方法的性能有显着的改善。
2019-11-19 cs.CV
Pow3R: Empowering Unconstrained 3D Reconstruction with Camera and Scene Priors
UCL（伦敦大学学院）；Naver Labs Europe（Naver欧洲实验室）
本文提出大型三维视觉回归模型 Pow3R，基于 DUSt3R 通过随机模态训练与轻量条件机制融合相机、深度等先验，在多项三维任务上达到最先进水平。
2025-03-21 cs.CV
Optical Flow Matters: an Empirical Comparative Study on Fusing Monocular Extracted Modalities for Better Steering
Capgemini Engineering（凯捷工程）；Massachusetts Institute of Technology（麻省理工学院）
本研究提出一种端到端方法，融合单目相机提取的RGB、深度或光流模态，通过CNN-NCP、VAE-LSTM等模型，利用光流数据将转向估计误差降低31%，显著提升自动驾驶转向预测性能。
2024-09-18 cs.AI cs.CV
