Pic@Point: Cross-Modal Learning by Local and Global Point-Picture Correspondence
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Renumics GmbH（Renumics有限公司）
本文提出Pic@Point，一种基于结构化2D-3D对应关系的跨模态对比学习方法，利用图像线索指导点云表示学习，在多个3D基准上超越现有预训练方法。
2024-10-12 cs.AI cs.CV
FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators
LISMARS；Hubei Luojia Laboratory（湖北珞珈实验室）；Wuhan University（武汉大学）；The University of Hong Kong（香港大学）；The Hong Kong Polytechnic University（香港理工大学）；Texas A&M University（德克萨斯农工大学）
针对图像与点云跨模态特征匹配难的问题，提出FreeReg方法，借助预训练扩散模型的扩散特征和单目深度估计的几何特征实现无任务特定训练的精准配准，在多个基准上性能显著优于现有最优方法。
2024-04-13 cs.CV
CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding
The University of Sydney（悉尼大学）
由于点云数据结构的不规则性，对大规模点云数据集进行人工标注，如3D目标分类、分割和检测，往往是一项非常费力的工作。自监督学习不需要任何人工标记，是解决这个问题的一种很有前途的方法。我们在现实世界中观察到，人类能够映射从2D图像中学习到的视觉概念来理解3D世界。受此启发，我们提出了CrossPoint，一种简单的跨模态对比学习方法来学习可转移的3D点云表示。它通过最大化点云与不变空间中对应的渲染2D图像之间的一致性来实现对象的3D-2D对应，同时鼓励点云模态中的变换的不变性。我们的联合训练目标结合了模态内和模态间的特征对应关系，从而以自监督的方式集成了来自3D点云和2D图像模态的丰富学习信号。实验结果表明，我们的方法优于以前的无监督学习方法在各种下游任务，包括3D对象分类和分割。此外，消融研究验证了我们的方法的潜力，更好地了解点云。代码和预训练模型可在http://github.com/MohamedAfham/CrossPoint上获得。
2022-03-24 cs.CV
Cross-Coordinate Correspondence Pruning for Image-to-Point Cloud Registration
研究图像到点云配准问题，提出交叉坐标对应关系修剪（CCP）策略，通过投影统一坐标、轻量级网络预测内点置信度及多密度点集成策略，提升配准精度，性能比现有方法至少高8.6%。
2026-07-21 cs.CV
Improving RGB-D Point Cloud Registration by Learning Multi-scale Local Linear Transformation
Beihang University（北京航空航天大学）；The University of Sydney（悉尼大学）；The University of Hong Kong（香港大学）
点云配准的目的是估计两个点云扫描之间的几何变换，其中逐点对应性估计是其成功的关键。除了先前通过手工制作或学习几何特征来寻求对应关系的方法之外，最近的点云配准方法试图应用RGB-D数据来实现更准确的对应关系。然而，这是不平凡的，有效地融合几何和视觉信息，从这两个不同的模态，特别是配准问题。在这项工作中，我们提出了一个新的几何感知视觉特征提取器（GAVE），它采用多尺度局部线性变换来逐步融合这两种模式，其中来自深度数据的几何特征作为几何相关的卷积核来转换RGB数据的视觉特征。由此产生的视觉几何特征是在规范的特征空间与减轻视觉不相似所造成的几何变化，通过它可以实现更可靠的对应关系。建议的GAVE模块可以很容易地插入到最近的RGB-D点云配准框架。在3D Match和ScanNet上的大量实验表明，即使没有对应关系或姿势监督，我们的方法也优于最先进的点云配准方法。该代码可从以下网址获取：https://github.com/514DNA/LLT。
2022-09-01 cs.CV
Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences
Wuhan University（武汉大学）；Carnegie Mellon University（卡内基梅隆大学）
现有地图中的轻量级相机定位对于基于视觉的导航至关重要。目前，视觉和视觉惯性里程计（VO\&VIO）技术已成熟用于状态估计，但在环路闭合时不可避免地会出现累积漂移和姿态跳跃。为了克服这些问题，我们提出了一种有效的单目相机定位方法，在以前的激光雷达地图使用直接的2D-3D线对应。为了处理LiDAR点云和图像之间的外观差异和模态间隙，从LiDAR地图中离线提取几何3D线，而从视频序列中在线提取鲁棒的2D线。通过VIO的姿态预测，我们可以有效地获得粗略的2D-3D线对应。然后，通过最小化对应的投影误差和拒绝离群值来迭代优化相机位姿和2D-3D对应。在EurocMav数据集和我们收集的数据集上的实验结果表明，该方法可以有效地估计相机姿态，而不会在结构化环境中积累漂移或姿态跳跃。
2020-07-31 cs.CV
Mask 2D-3D: Adaptive Dual-Masked Autoencoder Network for Image-to-Point Cloud Registration
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）；Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院）
针对图像到点云配准中域差异和错误对应问题，提出基于相似性和强化学习的自适应掩码双MAE框架（ID-MAE），在RGB-D Scenes v2和7-Scenes上取得最先进性能。
2026-09-17 cs.AI cs.CV
Self-Supervised Cross-Modal Learning for Image-to-Point Cloud Registration
本文提出自监督框架CrossI2P，通过双路径对比学习融合2D纹理与3D结构，结合由粗到细配准和动态训练机制，在KITTI和nuScenes上显著超越现有图像到点云配准方法。
2025-09-19 cs.AI cs.CV
Adaptive Agent Selection and Interaction Network for Image-to-point cloud Registration
本文提出一种结合迭代智能体选择与可靠智能体交互的图像到点云配准框架，通过强化学习筛选可靠智能体引导跨模态交互，在RGB-D Scenes v2和7-Scenes上取得最优性能。
2025-11-08 cs.AI cs.CV
DASC: Robust Dense Descriptor for Multi-modal and Multi-spectral Correspondence Estimation
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；INRIA（法国国家信息与自动化研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在多个图像之间建立密集的对应关系是许多应用中的基本任务。然而，由于其具有挑战性的光度和几何变化，在多模态或多光谱图像中找到可靠的对应关系仍然没有解决。在本文中，我们提出了一种新的密集描述，称为密集自适应自相关（DASC），估计多模态和多光谱密集对应。基于观察到图像内存在的自相似性对成像模态变化是鲁棒的，我们定义了描述符与一系列的自适应自相关相似性度量由随机感受野池采样的补丁之间，其中采样模式是使用判别式学习获得的。密集描述符的计算冗余显着减少应用快速边缘感知过滤。此外，为了解决几何变化，包括缩放和旋转，我们提出了一个几何不变的DASC（GI-DASC）描述符，有效地利用DASC通过基于超像素的表示。为了定量评估GI-DASC，我们建立了一个新的多模态基准作为不同的光度和几何条件。实验结果表明DASC和GI-DASC在多模态和多光谱密集对应的许多情况下具有出色的性能。
2016-04-27 cs.CV
Self-Supervised Spatial Correspondence Across Modalities
University of Michigan（密歇根大学）
本文提出一种基于对比随机游走和循环一致特征学习的自监督方法，无需对齐多模态数据即可实现RGB、深度、热红外等跨模态像素级对应，并在几何与语义匹配基准上表现优异。
2025-06-03 cs.CV
An Unsupervised Cross-Modal Hashing Method Robust to Noisy Training Image-Text Correspondences in Remote Sensing
开发准确和可扩展的跨模态图像-文本检索方法，其中来自一种模态的查询（例如，文本）可以与来自另一个的存档条目匹配（例如，遥感图像）在遥感（RS）领域引起了极大的关注。大多数现有的方法假设存在一个可靠的多模态训练集，该训练集具有精确匹配的文本-图像对。然而，该假设可能并不总是成立，因为多模态训练集可能包括噪声对（即，与训练图像相关联的文本描述/字幕可能是有噪声的），从而扭曲了检索方法的学习过程。为了解决这个问题，我们提出了一种新型的无监督跨模式哈希方法，该方法对有噪图像-文本对应关系（CHNR）具有鲁棒性。CHNR由三个模块组成：1）特征提取模块，其提取图像-文本对的特征表示; 2）噪声检测模块，其检测潜在的噪声对应;以及3）散列模块，其生成跨模态二进制散列码。所提出的CHNR包括两个训练阶段：i）元学习阶段，其使用一小部分干净的（即，可靠的）数据，以对抗方式训练噪声检测模块;以及ii）主训练阶段，在该主训练阶段，使用经训练的噪声检测模块来识别有噪声的对应关系，同时在有噪声的多模态训练集上训练散列模块。实验结果表明，所提出的CHNR优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/chnr上公开获取
2022-02-26 cs.CV
Intra-Modal Neighbors Never Lie: Rectifying Inter-Modal Noisy Correspondence via Graph-Based Intra-Modal Reasoning
University of Science and Technology of China（中国科学技术大学）
提出IN2R框架，利用模态内数据的几何稳定性，通过图精炼器对动态跨模态记忆中的邻居进行关系推理，合成连续软原型以纠正模态间噪声对应，显著提升跨模态检索性能。
2026-06-02 cs.CV
Locality-aware Cross-modal Correspondence Learning for Dense Audio-Visual Events Localization
School of Computer Science and Engineering, Nanjing University of Science and Technology（计算机科学与工程学院，南京理工大学）
本文提出LoCo框架，通过局部对应特征调制和局部自适应跨模态交互，利用事件局部时间连续性增强音视频对齐，解决密集音视频事件定位中的异步与语义不相关问题，性能优于现有方法。
2025-05-09 cs.CV
Learning by Aligning: Visible-Infrared Person Re-identification using Cross-Modal Correspondences
Yonsei University（延世大学）
我们解决的问题，可见光红外人重新识别（VI-reID），即检索一组人的图像，由可见光或红外摄像机，在一个跨模态设置。VI-reID中的两个主要挑战是人物图像的类内变化，以及可见光和红外图像之间的跨模态差异。假设人的图像是粗略对齐的，以前的方法试图学习粗糙的图像或刚性的部分级别的人的表示，是有区别的，并概括在不同的模态。然而，通常由现成的对象检测器裁剪的人图像不一定是良好对准的，这分散了辨别性人表示学习。在本文中，我们介绍了一种新的特征学习框架，以统一的方式解决这些问题。为此，我们建议利用交叉模态的人的图像之间的密集对应。这允许解决像素级的跨模态差异，更有效地抑制来自人表征的模态相关特征。这也鼓励了跨模态局部特征之间的像素关联，进一步促进了VI-reID的区分性特征学习。在标准VI-reID基准上进行的大量实验和分析表明了我们方法的有效性，其性能明显优于最先进的方法。
2021-08-17 cs.CV
Mitigating Noisy Correspondence by Geometrical Structure Consistency Learning
Cooperative Medianet Innovation Center（合作媒体创新中心）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Hong Kong Baptist University（香港浸会大学）
针对跨模态数据中的噪声对应问题，提出几何结构一致性方法，通过保持模态内外几何结构以区分噪声样本，并在四个数据集上显著优于现有方法。
2024-05-27 cs.CV
SurfEmb: Dense and Continuous Correspondence Distributions for Object Pose Estimation with Learnt Surface Embeddings
University of Southern Denmark（南丹麦大学）
我们提出了一种方法来学习密集的，连续的2D-3D对应分布的表面上的对象从数据没有先验知识的视觉模糊性，如对称性。我们还提出了一种新的方法，用于6D姿态估计的刚性物体使用的学习分布的采样，评分和完善的姿势假设。对应分布的学习与对比损失，表示在特定于对象的潜在空间的编码器-解码器查询模型和一个小的全连接的关键模型。我们的方法是无监督的视觉歧义，但我们表明，查询和关键模型学习表示准确的多模态表面分布。我们的姿态估计方法在全面的BOP挑战中显着提高了最先进的水平，纯粹在合成数据上训练，甚至与在真实数据上训练的方法相比。该项目的网站是https://surfemb.github.io/。
2022-04-04 cs.AI cs.CV cs.LG
Deep Self-Convolutional Activations Descriptor for Dense Cross-Modal Correspondence
Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了一种新型描述符，称为深度自卷积激活（DeSCA），旨在在不同成像方式（例如不同光谱范围或照明条件）下拍摄的图像之间建立密集的对应关系。受基于局部自相似性（LSS）的描述符的启发，我们通过在深层架构中利用LSS来制定一种新的描述符，从而比最先进的跨模态描述符具有更好的区分能力和对非刚性图像变形的更强鲁棒性。DeSCA首先在随机采样补丁的局部支持窗口上计算自卷积，然后通过在深度卷积架构内的分层公式执行平均池化来构建自卷积激活。最后，通过圆形配置中的空间金字塔池化对自卷积激活的特征响应进行编码。与现有的基于卷积神经网络（CNN）的描述符相比，DeSCA是无训练的（即，随机采样的片被用作卷积核），对于交叉模态成像是鲁棒的，并且可以以显著减少计算冗余的有效方式密集地计算。通过大量的实验证明了DeSCA在交叉模态图像对的挑战性情况下的最先进性能。
2016-03-21 cs.CV
ViFi-Loc: Multi-modal Pedestrian Localization using GAN with Camera-Phone Correspondences
Rutgers University（罗格斯大学）；Toyota Motor North America（丰田汽车北美公司）
在智慧城市和车联网（V2X）系统中，获取行人的准确位置对交通安全至关重要。目前的系统采用摄像头和无线传感器，通过传感器融合来检测和估计人的位置。然而，当多模态数据不相关联时，标准融合算法变得不适用。例如，行人在摄像机视野之外，或者来自摄像机模态的数据丢失。为了应对这一挑战，并为行人提供更准确的位置估计，我们提出了一种生成对抗网络（GAN）架构。在训练过程中，它学习行人的摄像头-手机数据对应之间的潜在联系。在推理过程中，它仅基于由GPS、IMU和FTM组成的行人电话数据生成精确的位置估计。结果表明，我们的GAN产生的三维坐标在1至2米的定位误差在5个不同的户外场景。我们进一步表明，该模型支持自学习。所生成的坐标可以与行人的限界框坐标相关联，以获得附加的相机-电话数据对应关系。这允许在推断期间自动收集数据汇集。在对扩展数据集进行微调后，定位精度提高了26%。
2022-11-22 cs.CV
Deep Multi-Modal Image Correspondence Learning
Washington University in St. Louis（圣路易斯华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
对不同模态图像之间的对应关系进行推断是一种非常重要的感知能力，它使人类能够理解和识别跨模态概念。在本文中，我们考虑这个问题的一个例子，涉及到匹配的建筑物内部的照片与相应的平面图。这是一个特别具有挑战性的问题，因为平面图作为一个风格化的建筑图纸，在外观上与彩色照片有很大的不同。此外，单独的照片本身仅描绘了平面布置图的一部分（例如，厨房、浴室和客厅）。我们建议使用许多不同的神经网络架构来完成这项任务，这些架构在一个由500万张平面图和8000万张相关照片组成的新型大规模数据集上进行训练和评估。实验评估表明，我们的神经网络架构能够识别视觉线索，导致在这两个完全不同的模式可靠的匹配。事实上，经过训练的网络甚至能够在几个具有挑战性的图像匹配问题中超越人类受试者。我们的研究结果表明，神经网络在需要长时间推理的感知任务中是有效的，即使是人类也需要解决。
2016-12-05 cs.CV
Geometry-Aligned Semantic Matching for Cross-Modal Planar Image Registration
提出CDPM，通过几何对齐语义表示与DINO中心特征金字塔，实现跨模态平面图像配准，显著提升精度并降低计算量。
2026-10-05 cs.CV
BiCro: Noisy Correspondence Rectification for Multi-modality Data via Bi-directional Cross-modal Similarity Consistency
University of Technology Sydney（悉尼科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；National University Singapore（新加坡国立大学）；The University of Sydney（悉尼大学）
针对多模态匹配训练中互联网收集的共现数据对存在错配噪声的问题，提出名为BiCro的通用框架，通过双向跨模态相似性一致性估计软标签，可集成到现有模型中提升噪声鲁棒性，在三个数据集上显著优于现有最优方法。
2023-06-08 cs.CV
CLIP-Driven Fine-grained Text-Image Person Re-identification
Nanjing University of Science and Technology（南京理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
TIReID的目标是从候选图像池中检索与给定文本查询对应的图像。现有的方法采用先验知识，从单模态预训练，以促进学习，但缺乏多模态对应。此外，由于模态之间的巨大差距，现有的方法将原始模态特征嵌入到同一个潜在空间中进行跨模态对齐。然而，特征嵌入可能导致模态内信息失真。近年来，CLIP由于其强大的语义概念学习能力和丰富的多模态知识，能够帮助我们解决上述问题，引起了研究者的广泛关注。因此，在本文中，我们提出了一个CLIP驱动的细粒度信息挖掘框架（CFine），以充分利用TIReID的CLIP强大的知识。为了有效地传递多模态知识，我们进行细粒度的信息挖掘，挖掘模态内的判别线索和模态间的对应关系。具体来说，我们首先设计了一个多粒度的全局特征学习模块，充分挖掘模态内的判别局部信息，它可以通过增强全局图像（文本）和信息丰富的局部块（单词）之间的相互作用来强调与身份相关的判别线索。其次，提出了跨粒度特征细化（CFR）和细粒度对应关系发现（FCD）模块，建立模态间的跨粒度和细粒度交互，过滤掉非模态共享的图像块/词，并从粗到细挖掘跨模态对应关系。CFR和FCD在推理过程中被删除，以节省计算成本。注意，上述过程在原始模态空间中执行，而没有进一步的特征嵌入。在多个基准上的大量实验证明了我们的方法在TIReID上的优越性能。
2022-10-19 cs.CV
SC3EF: A Joint Self-Correlation and Cross-Correspondence Estimation Framework for Visible and Thermal Image Registration
Zhejiang University（浙江大学）；Texas A&M University（德克萨斯农工大学）
针对可见光与热红外图像因模态差异导致配准困难的问题，提出SC3EF框架，通过卷积-Transformer提取局部特征并编码全局相关性，结合分层光流解码器优化对应图，在相关数据集上优于SOTA方法且泛化性强。
2025-04-17 cs.CV
TartanMatch: Towards Universal Dense Correspondence Across Modalities
Fisk University（菲斯克大学）；Carnegie Mellon University（卡内基梅隆大学）
TartanMatch是适用于5种传感器模态全部25种有序对的统一密集对应模型，通过轻量模态适配和真实合成数据混合，在零样本基准中大幅降低端点误差，联合训练提升了跨模态匹配准确率。
2026-10-14 cs.CV cs.LG cs.RO
DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）；Toyota Research Institute（丰田研究院）
我们提出了一个三阶段的6自由度目标检测方法称为DPODv 2（密集姿态对象检测器），依赖于密集的对应关系。我们将2D对象检测器与密集的对应估计网络和多视图姿态细化方法相结合，以估计完整的6 DoF姿态。与通常仅限于单目RGB图像的其他深度学习方法不同，我们提出了一个统一的深度学习网络，允许使用不同的成像模式（RGB或深度）。此外，我们提出了一种新的姿态细化方法，即基于微分绘制。主要概念是比较多个视图中的预测对应和渲染对应，以获得与所有视图中的预测对应一致的姿态。我们提出的方法进行了严格的评估，不同的数据模式和类型的训练数据在一个受控的设置。主要结论是，RGB擅长对应性估计，而深度有助于姿态精度，如果良好的3D-3D对应性是可用的。自然，它们的组合实现了整体最佳性能。我们进行了广泛的评估和消融研究，以分析和验证几个具有挑战性的数据集的结果。DPODv 2在所有这些方面都取得了优异的结果，同时仍然保持快速和可扩展性，与所使用的数据模态和训练数据类型无关
2022-07-06 cs.CV
MMGSD: Multi-Modal Gaussian Shape Descriptors for Correspondence Matching in 1D and 2D Deformable Objects
University of California, Berkeley（加利福尼亚大学伯克利分校）
我们探索学习像素之间的对应关系的图像在不同的配置可变形的对象。传统的对应匹配方法，如SIFT，SURF和ORB可能无法提供足够的上下文信息进行细粒度操作。我们提出了多模态高斯形状描述符（MMGSD），一个新的视觉表示的可变形对象，扩展的想法从密集的对象描述符来预测不同的对象配置之间的所有对称对应。MMGSD以自监督的方式从合成数据中学习，并产生具有可测量不确定性的对应热图。在模拟中，实验表明，MMGSD可以达到的RMSE为32.4和31.3的方形布和编织合成尼龙绳分别。结果表明，基于对比学习、对称像素对比损失（SPCL），与强制分布连续性的MMGSD相反，在提供的基线上平均改善47.7%。
2020-10-09 cs.CV cs.RO
From Correspondence to Actions: Human-Like Multi-Image Spatial Reasoning in Multi-modal Large Language Models
University of Tokyo（东京大学）
提出HATCH框架，通过补丁级空间对齐和动作-答案推理两个目标，提升多模态大模型在多图像空间推理中的性能，在三个基准上超越同规模基线。
2026-06-11 cs.CV
Multi-Memory Matching for Unsupervised Visible-Infrared Person Re-Identification
Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；School of Informatics, Xiamen University（厦门大学信息学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Shanghai Key Laboratory of Computer Software Evaluating and Testing（上海市计算机软件评测重点实验室）
针对无监督可见光-红外行人重识别中单一记忆导致跨模态对应歧义的问题，提出多记忆匹配框架，通过跨模态聚类、多记忆学习与匹配及软聚类级对齐模块，有效建立可靠的跨模态伪标签对应关系并在公开数据集上验证了有效性。
2024-07-29 cs.CV
MUVR: A Multi-Modal Untrimmed Video Retrieval Benchmark with Multi-Level Visual Correspondence
MoE Key Laboratory of Brain-Machine Intelligence Technology, College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（脑机智能技术MoE实验室，人工智能学院，南京航空航天大学）；Nanjing University（南京大学）；The Hong Kong Polytechnic University（香港理工大学）
提出多模态未裁剪视频检索任务及基准MUVR，通过多级视觉对应和多种查询方式，评估检索模型与多模态大模型，揭示其处理未裁剪视频和多模态查询的局限。
2025-10-24 cs.CV
Disentangled Noisy Correspondence Learning
State Grid Shaanxi Electric Power Company Limited（国网陕西省电力公司）；State Grid Corporation of China（国家电网有限公司）；University of Science and Technology of China（中国科学技术大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Baidu Inc（百度公司）
针对跨模态检索中噪声对应及模态专属信息干扰相似度预测的问题，提出信息论框架DisNCL，通过可证明最优的跨模态解耦平衡信息提取，结合软匹配目标实现抗噪对齐，平均召回率提升2%。
2024-08-10 cs.AI cs.CV
Cross-modal Active Complementary Learning with Self-refining Correspondence
Sichuan University（四川大学）；Chengdu Ruibei Yingte Information Technology Co., Ltd（成都睿贝英特信息技术有限公司）；Sichuan Zhiqian Technology Co., Ltd（四川智乾科技有限公司）
针对图文匹配中噪声对应导致的过拟合与校正不可靠问题，提出跨模态鲁棒互补学习框架CRCL，通过主动互补损失和自精炼对应校正提升模型鲁棒性。
2024-01-08 cs.CV cs.LG
IMRAM: Iterative Matching with Recurrent Attention Memory for Cross-Modal Image-Text Retrieval
Tsinghua University（清华大学）；Kwai Ads Platform（快手广告平台）；Microsoft Research（微软研究院）；Kwai Seattle AI Lab（快手西雅图人工智能实验室）；Kwai FeDA Lab（快手联邦学习实验室）；Kwai AI Platform（快手人工智能平台）；University of Warwick（华威大学）
实现图像和文本的双向检索对于理解视觉和语言之间的对应关系非常重要。现有方法利用注意力机制以细粒度的方式探索这种对应。然而，他们中的大多数人认为所有的语义平等，从而统一调整它们，而不管其不同的复杂性。事实上，语义是多样的（即涉及不同种类的语义概念），人类通常遵循潜在的结构将它们组合成可理解的语言。在现有方法中可能难以最佳地捕获这种复杂的对应关系。在本文中，为了解决这样的不足，我们提出了一种迭代匹配与循环注意力记忆（IMRAM）的方法，其中图像和文本之间的对应关系被捕获与多个步骤的对齐。具体来说，我们引入了一个迭代匹配方案，逐步探索这种细粒度的对应关系。一个记忆蒸馏单元用于从早期步骤到后期步骤精炼对齐知识。在Flickr8K、Flickr30K和MS COCO三个基准数据集上的实验结果表明，IMRAM具有最佳的性能，证明了其有效性。在实际商业广告数据集\Ads{}上的实验进一步验证了该方法在实际场景中的适用性。
2020-03-08 cs.CV
Probabilistic Embeddings for Cross-Modal Retrieval
NAVER AI Lab（NAVER人工智能实验室）；NAVER LABS Europe（NAVER欧洲实验室）
跨模态检索方法为来自多个模态（通常来自视觉和语言域）的样本构建公共表示空间。对于图像及其标题，对应关系的多样性使得任务特别具有挑战性。给定一个图像（分别是一个标题），有多个标题（分别是图像）同样有意义。在本文中，我们认为，确定性函数是不够强大的捕捉这样的一对多的对应关系。相反，我们建议使用概率跨模态嵌入（PCME），其中来自不同模态的样本表示为公共嵌入空间中的概率分布。由于常见的基准测试，如COCO遭受非详尽的注释跨模态匹配，我们建议额外评估检索CUB数据集，一个更小但干净的数据库，所有可能的图像标题对注释。我们广泛消融PCME，并证明它不仅提高了检索性能，其确定性的对应，但也提供了不确定性估计，使嵌入更可解释。代码可在https://github.com/naver-ai/pcme上获得
2021-06-14 cs.CV
LazyDrag: Enabling Stable Drag-Based Editing on Multi-Modal Diffusion Transformers via Explicit Correspondence
The Hong Kong University of Science and Technology（香港科技大学）；StepFun；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
LazyDrag通过显式对应关系实现多模态扩散变换器的稳定拖拽编辑，消除了隐式点匹配依赖，提升生成能力与精确控制。
2026-02-03 cs.CV
SyncRA: Learning Temporal Correspondence in Omni-Modal Models
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Alberta（阿尔伯塔大学）；Arizona State University（亚利桑那州立大学）
针对全模态模型难以关联同刻音视频的问题，提出轻量级方法SyncRA，通过对比中间表示对齐匹配时刻并分离不匹配时刻，无需额外标注，在多个模型和基准上一致优于仅答案微调，显著提升时间对应与问答性能。
2026-09-29 cs.AI cs.CV cs.MM
Improving Text-based Person Search via Part-level Cross-modal Correspondence
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
本文针对基于文本的行人搜索提出部件级跨模态对应方法，通过无监督的粗细粒度嵌入对齐和基于共同性的边际排序损失，在三个公开基准上取得最佳性能。
2024-12-31 cs.CV cs.LG
Cross4D-JEPA: Dense Cross-modal Correspondence Distillation for 4D Point Cloud Representation Learning
Nagoya University（名古屋大学）；Northeastern University（东北大学）；KC Machine Learning Lab（KC机器学习实验室）；University of Science, Vietnam National University Ho Chi Minh City（胡志明市越南国立大学理科大学）；University of California, Los Angeles（加州大学洛杉矶分校）
提出Cross4D-JEPA，通过教师-学生框架将冻结的2D基础模型（如DINOv2或V-JEPA 2）的密集补丁特征蒸馏到4D点编码器，实现每点对应和潜在空间匹配，在四个基准上优于模态内和全局跨模态基线。
2026-07-02 cs.AI cs.CV
Modality-Agnostic Structural Image Representation Learning for Deformable Multi-Modality Medical Image Registration
DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Hupan Lab（湖畔实验室）；College of Computer Science and Technology, Zhejiang University, China（浙江大学计算机科学与技术学院）；Shengjing Hospital of China Medical University, China（中国医科大学附属盛京医院）
本文提出模态无关的结构表示学习方法，结合深度邻域自相似性和解剖感知对比学习，在无需标注或预对齐的情况下学习判别性深度结构表示，并在多期相CT、腹部MR-CT和脑MR配准中取得优于传统方法的精度。
2024-04-01 cs.CV
Structured Multi-modal Feature Embedding and Alignment for Image-Sentence Retrieval
University of Glasgow（格拉斯哥大学）；TAL Education Group（好未来教育集团）；National University of Singapore（新加坡国立大学）
目前最先进的图像-句子检索方法隐式地对齐视觉-文本片段，如图像中的区域和句子中的单词，并采用注意模块来突出跨模态语义对应的相关性。然而，检索性能仍然不能令人满意，由于缺乏一致的表示在语义和结构空间。在这项工作中，我们建议从两个方面来解决上述问题：（i）在各个模态的片段之间构建内在结构（以及关系），例如，“狗$\to$玩$\to$球”的语义结构的图像，以及（ii）寻求明确的跨模态的结构和语义之间的对应关系的视觉和文本形式。在本文中，我们提出了一种新的结构化多模态特征嵌入和对齐（SMFEA）模型的图像句子检索。为了联合和明确地学习视觉文本嵌入和跨模态对齐，SMFEA创建了一个新的多模态结构化模块与共享的上下文感知引用树。特别地，通过构造具有共享标签的视觉上下文感知结构化树编码器（VCS-Tree）和文本上下文感知结构化树编码器（TCS-Tree）来建模视觉片段和文本片段之间的关系，从而可以联合学习和优化视觉和文本特征。我们利用多模态树结构显式对齐异构图像句子数据，通过最大化相应的模态间树节点之间的语义和结构相似性。在Microsoft COCO和Flickr 30 K基准测试上的大量实验表明，该模型与现有方法相比具有优越性。
2021-08-05 cs.CV
Multi-Modal Interaction Graph Convolutional Network for Temporal Language Localization in Videos
本文主要研究视频中的时间语言定位问题，其目的是在未经裁剪的视频中识别由自然语言句子描述的时刻的起点和终点。然而，它是不平凡的，因为它不仅需要全面理解的视频和句子查询，但也准确的语义之间的对应捕捉。现有的努力主要集中在探索视频片段和查询词之间的顺序关系以推理视频和句子查询，而忽略了其他模态内关系（例如，视频剪辑之间的语义相似性和查询词之间的句法依赖性）。为此，在这项工作中，我们提出了一个多模态交互图卷积网络（MIGCN），它共同探讨了复杂的模态内的关系和模态间的相互作用驻留在视频和句子查询，以促进理解和语义对应捕捉的视频和句子查询。此外，我们设计了一个自适应的上下文感知定位方法，其中的上下文信息被带到候选时刻和多尺度全连接层的设计，以排名和调整的边界生成的粗候选时刻具有不同的长度。Charades-STA和ActivityNet数据集上的大量实验证明了我们模型的良好性能和优越效率。
2021-10-12 cs.CV
Cross-Modal and Multimodal Data Analysis Based on Functional Mapping of Spectral Descriptors and Manifold Regularization
Artificial Intelligence Department, Faculty of Computer Engineering, University of Isfahan（伊斯法罕大学计算机工程学院人工智能系）；Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab（格勒诺布尔阿尔卑斯大学（Univ. Grenoble Alpes）、法国国家科学研究中心（CNRS）、格勒诺布尔综合理工学院（Grenoble INP）、GIPSA实验室（GIPSA-lab））
多模态流形建模方法将光谱几何感知数据分析扩展到从几个相关和互补的模态中学习。这些方法中的大多数基于两个主要假设工作：1）在每个模态中存在相同数量的同质数据样本，以及2）模态之间的至少部分对应关系被预先给定为先验知识。本文提出了两种新的多模态建模方法。第一种方法建立了一个通用的分析框架来处理异构数据的多模态信息问题，而不需要任何特定的先验知识。为此，首先，我们确定每个流形的地方提取局部描述符通过谱图小波签名（SGWS）。然后，我们提出了一个流形正则化框架的基础上SGWS描述符（FMBSD）之间的功能映射寻找逐点对应。第二种方法是基于逐点对应的流形正则化多模态分类方法（M $^2$ CPC），用于多模态异构的多类分类问题，其中模态之间的对应关系是基于FMBSD方法确定的。在三个常用的跨模态检索数据集上对FMBSD方法进行了评价，在三个基准多模态多类分类数据集上对（M $^2$ CPC）方法进行了评价，实验结果表明了FMBSD方法的有效性和优越性。
2021-05-12 cs.CV cs.LG eess.IV
C-GenReg: Training-Free 3D Point Cloud Registration by Multi-View-Consistent Geometry-to-Image Generation with Probabilistic Modalities Fusion
Ben-Gurion University（本·古里安大学）
C-GenReg通过多视角一致的几何到图像生成，结合概率模态融合，实现无训练的3D点云配准，解决了跨模态、采样差异和环境的泛化问题。
2026-04-17 cs.CV
M$^{3}$3D: Learning 3D priors using Multi-Modal Masked Autoencoders for 2D image and video understanding
Intuitive Surgical Inc.（直觉外科公司）
本文提出M$^{3}$3D多模态掩码自编码器预训练策略，融合MIM与对比学习以利用3D先验和RGB-D跨模态信息，在多个2D与视频下游任务及低数据场景中取得先进性能。
2023-09-26 cs.CV
Multi-Modal Dataset Distillation in the Wild
Xi’an Jiaotong University（西安交通大学）；A*STAR（新加坡科技研究局）；University of Science and Technology of China（中国科学技术大学）
本文提出首个野外多模态数据集蒸馏框架MDW，通过可学习细粒度对应关系和双轨协同学习，将含噪多模态数据蒸馏为紧凑干净的数据集，在多种压缩比下超越先前方法超过15%。
2025-06-02 cs.CV cs.LG
Beyond Instance-Level Self-Supervision in 3D Multi-Modal Medical Imaging
Fudan University, China（复旦大学）；University of Queensland, Australia（昆士兰大学）；Shanghai Academy of AI for Science, China（上海人工智能科学研究院）；Huashan Hospital, National Center for Neurological Disorders, Fudan University, China（华山医院，国家神经系统疾病中心，复旦大学）；Bioinformatics Institute (BII), Agency for Science, Technology and Research (A*STAR), Singapore（生物信息研究所（BII），科技研究局（A*STAR），新加坡）
本文提出利用跨实例拓扑一致性作为监督信号，通过实例内和实例间对齐机制提升多模态医学影像的表征学习，实验显示在7个下游任务中实现了分割和分类任务的平均提升，并在模态缺失时表现出更强的鲁棒性。
2026-05-14 cs.CV
PC$^2$: Pseudo-Classification Based Pseudo-Captioning for Noisy Correspondence Learning in Cross-Modal Retrieval
Nanjing University（南京大学）；Ant Group（蚂蚁集团）；Southeast University（东南大学）
针对跨模态检索中的噪声对应学习问题，提出PC$^2$框架，通过伪分类、伪描述监督和对应修正提升鲁棒性，并发布真实噪声数据集NoW。
2024-08-02 cs.AI cs.CV cs.IR
Noise-Tolerant Learning for Audio-Visual Action Recognition
针对视频数据中的噪声标签与音视频噪声对应问题，提出两阶段噪声容忍学习框架，通过跨模态噪声估计、类别级对比损失和特征距离纠错提升动作识别鲁棒性。
2023-09-11 cs.CV cs.MM
Multi-modal Dynamic Graph Network: Coupling Structural and Functional Connectome for Disease Diagnosis and Classification
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
多模态神经影像学技术极大地提高了诊断的效率和准确性，为发现客观疾病的生物标志物提供了补充信息。传统的深度学习方法，例如卷积神经网络，忽略了节点之间的关系，并且无法捕获图中的拓扑属性。图神经网络已被证明是非常重要的建模大脑连接体网络和相关的疾病特异性模式。然而，大多数现有的图方法明确地要求已知的图结构，这是不可获得的复杂的大脑系统。特别是在异构的多通道脑网络中，考虑通道间的依赖性，对脑区域间的交互进行建模是一个很大的挑战。在这项研究中，我们提出了一个多模态动态图卷积网络（MDGCN）的结构和功能的大脑网络学习。我们的方法受益于建模模态间表示和相关的关注多模型关联到动态图与组成的对应矩阵。此外，提出了一个双边图卷积层来聚合多模态表示的多模态关联。在三个数据集上的大量实验表明，我们提出的方法在疾病分类方面的优越性，在预测轻度认知障碍（MCI），帕金森病（PD）和精神分裂症（SCHZ）的准确率分别为90.4%，85.9%和98.3%。此外，我们对对应矩阵的统计评价显示出与先前生物标志物证据的高度对应性。
2022-10-25 cs.CV cs.LG eess.IV
CLIP-Loc: Multi-modal Landmark Association for Global Localization in Object-based Maps
Frontier Research Center, Toyota Motor Corporation（丰田汽车公司前沿研究中心）
提出CLIP-Loc方法，利用视觉语言模型和自然语言地标描述，在基于对象地图的全局定位中高效提取多模态对应关系，减少迭代次数并提高定位精度。
2024-02-08 cs.CV cs.RO
Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation
Tel Aviv University（特拉维夫大学）；Elbit Systems（埃尔比特系统公司）
许多应用，如自动驾驶，严重依赖于多模态数据，其中需要模态之间的空间对齐。大多数多模态配准方法使用流行的跨模态相似性度量来计算图像之间的空间对应关系。在这项工作中，我们绕过了开发跨模态相似性度量的困难，通过在两种输入模态上训练图像到图像的翻译网络。这种学习的转换允许使用简单可靠的单模态度量来训练配准网络。我们使用两个网络执行多模态配准-空间变换网络和平移网络。我们表明，通过鼓励我们的平移网络保持几何形状，我们设法训练一个准确的空间变换网络。与最先进的多模态方法相比，我们提出的方法是无监督的，不需要成对的对齐模态进行训练，并且可以适应任何一对模态。我们在商业数据集上定量和定性地评估了我们的方法，结果表明它在几种模式上表现良好，并实现了准确的对齐。
2020-03-18 cs.CV
Scene Graph Based Fusion Network For Image-Text Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）
图文检索的一个关键挑战是如何学习图像和文本之间准确的对应关系。现有的方法主要集中在基于语义对象同现的粗粒度对应，而不能区分细粒度的局部对应。在本文中，我们提出了一种新的场景图为基础的融合网络（SGFN），它增强了图像/文本的特征，通过内和跨模态融合的图像-文本检索。具体来说，我们设计了一个模态内层次注意力融合，通过场景图将语义上下文，如对象，属性和关系，到图像/文本的特征向量，和一个跨模态的注意力融合，结合上下文语义和局部融合通过上下文向量。在公共数据集Flickr 30 K和MSCOCO上的大量实验表明，SGFN的性能优于许多SOTA图像-文本检索方法。
2023-03-20 cs.AI cs.CV
Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning
The University of Hong Kong（香港大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Cambridge（剑桥大学）
直接从成对的放射学报告中学习医学视觉表示已经成为表示学习中的一个新兴课题。然而，现有的医学图像-文本联合学习方法受到实例或局部监督分析的限制，忽略了疾病级语义对应。在本文中，我们提出了一种新的多粒度交叉模态对齐（MGCA）框架，用于广义医学视觉表示学习，通过利用医学图像和放射学报告之间自然表现出的语义对应关系，在三个不同的层次上，即，病理区域级、实例级和疾病级。具体来说，我们首先通过最大化图像-报告对之间的一致性来结合实例对齐模块。此外，对于标记对齐，我们引入了一个双向交叉注意策略来显式学习细粒度视觉标记和文本标记之间的匹配，然后通过对比学习来对齐它们。更重要的是，为了利用高级主体间关系语义（例如，疾病）的对应关系，我们设计了一种新的跨模态疾病级对齐范式，以加强跨模态集群分配的一致性。在七个下游医学图像数据集上的广泛实验结果，包括图像分类，目标检测和语义分割任务，证明了我们的框架的稳定和优越的性能。
2022-10-12 cs.AI cs.CL cs.CV
GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI；Tsinghua University（清华大学）
GMS-CAVP通过多尺度对比和生成预训练方法提升音频视频对应关系建模，实现更深入的跨模态理解和高保真生成。
2026-01-27 cs.AI cs.CV cs.LG
