ViPFormer: Efficient Vision-and-Pointcloud Transformer for Unsupervised Pointcloud Understanding
Renmin University of China（中国人民大学）
近年来，越来越多的工作设计无监督的范例点云处理，以减轻昂贵的手工注释和监督方法的可移植性差的限制。其中，CrossPoint遵循对比学习框架，利用图像和点云数据进行无监督点云理解。虽然提出了有前途的性能，不平衡的架构，使它不必要的复杂和效率低下。例如，CrossPoint中的图像分支比点云分支重$\sim$ 8.3倍，导致更高的复杂性和延迟。为了解决这个问题，在本文中，我们提出了一个轻量级的视觉和点云Transformer（ViPFormer），统一在一个单一的架构中的图像和点云处理。ViPFormer通过优化模态内和跨模态对比目标以无监督的方式学习。然后将预训练的模型转移到各种下游任务，包括3D形状分类和语义分割。在不同数据集上的实验表明，ViPFormer优于以前最先进的无监督方法，具有更高的准确性，更低的模型复杂度和运行时延迟。最后，通过广泛的消融研究验证了ViPFormer中每个组件的有效性。所提出的方法的实现可在https://github.com/auniquesun/ViPFormer上获得。
2023-03-25 cs.CV
Contrastive Multi-Modal Hypergraph Reasoning for 3D Crowd Mesh Recovery
Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；Sichuan University（四川大学）
本文提出对比多模态超图推理方法，结合语义、几何和姿态线索，解决人群重建中的遮挡和深度模糊问题，通过超图建模高阶人群动态，提升特征融合与跨模态正交性。
2026-04-01 cs.CV cs.GR cs.MM
CrossVideo: Self-supervised Cross-modal Contrastive Learning for Point Cloud Video Understanding
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对点云视频理解中监督学习数据稀缺、标签难获取的问题，提出CrossVideo自监督跨模态对比学习方法，利用点云与图像视频的跨模态关系，结合模态内、跨模态及多层次对比策略，性能超越现有最优方法。
2024-01-17 cs.CV
CAT-Det: Contrastively Augmented Transformer for Multi-modal 3D Object Detection
Beihang University（北京航空航天大学）
在自动驾驶中，LiDAR点云和RGB图像是两种主要的数据形式，具有用于3D目标检测的互补线索。然而，由于各种运输方式之间的差异很大，很难充分利用它们。为了解决这个问题，我们提出了一个新的框架，即对比增强的Transformer多模态三维目标检测（CAT-Det）。具体而言，CAT-Det采用了由Pointformer（PT）分支、Imageformer（IT）分支以及跨模态Transformer（CMT）模块组成的双流结构。PT、IT和CMT联合编码用于表示对象的模态内和模态间长距离上下文，从而充分探索用于检测的多模态信息。此外，我们提出了一种有效的单向多模态数据增强（OMDA）的方法，通过分层对比学习在点和对象的水平，显着提高准确性，只有通过增加点云，这是免费的复杂生成的成对样本的两种方式。在KITTI基准上进行的大量实验表明，CAT-Det达到了一个新的最先进水平，突出了其有效性。
2022-04-04 cs.CV
Cross-Modal Contrastive Learning for Robust Reasoning in VQA
University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）；DATA61, CSIRO（联邦科学与工业研究组织数据61研究所）
视觉问答（VQA）中的多模态推理近年来取得了快速的发展。然而，大多数推理模型严重依赖于从训练数据中学习的捷径，这阻止了它们在具有挑战性的现实世界场景中的使用。本文提出了一种简单有效的跨模态对比学习策略，以消除不平衡注释导致的捷径推理，提高整体性能。不同于现有的对比学习与复杂的负面类别的粗（图像，问题，答案）三元组水平，我们利用语言和图像模态之间的对应关系，执行更细粒度的跨模态对比学习。我们将每一个QA对作为一个整体来对待，并区分符合它的图像和不符合它的图像。为了减轻采样偏差的问题，我们进一步构建图像之间的连接图。对于每一个正对，我们把来自不同图的图像作为负样本，并推导出多正对比学习的版本。据我们所知，这是第一篇论文，揭示了一个通用的对比学习策略，没有微妙的手工规则，可以有助于强大的VQA推理。在几个主流VQA数据集上的实验证明了我们的优越性。代码可在\url{https://github.com/qizhust/cmcl_vqa_pl}上获得。
2022-11-21 cs.CV
DC-Seg: Disentangled Contrastive Learning for Brain Tumor Segmentation with Missing Modalities
Zhejiang University（浙江大学）
本文提出 DC-Seg，通过解剖与模态对比学习将图像解耦为模态不变和模态特定表征，并结合分割正则化，提升缺失模态下脑肿瘤分割的鲁棒性与泛化性。
2025-05-17 cs.CV
More Than Just Attention: Improving Cross-Modal Attentions with Contrastive Constraints for Image-Text Matching
Rutgers University（罗格斯大学）；Amazon.com Services, Inc（亚马逊服务公司）
跨模态注意力机制由于能够跨模态学习细粒度的相关性，已被广泛应用于图像-文本匹配任务中，并取得了显著的进步。然而，现有方法的跨模态注意力模型可能是次优的和不准确的，因为在训练过程中没有提供直接的监督。在这项工作中，我们提出了两种新的培训策略，即对比内容再采购（CCR）和对比内容交换（CCS）的限制，以解决这些限制。这些约束以对比学习的方式监督跨通道注意力模型的训练，而不需要显式的注意力注释。它们是插件式的训练策略，可以很容易地集成到现有的跨模态注意力模型中。此外，我们引入了三个指标，包括注意力精度，召回率和F1分数，以定量衡量学习的注意力模型的质量。我们评估建议的限制，将它们纳入四个国家的最先进的跨模态注意力为基础的图像-文本匹配模型。在Flickr 30 k和MS-COCO数据集上的实验结果表明，集成这些约束可以提高模型在检索性能和注意力指标方面的性能。
2022-10-03 cs.CV
CMViM: Contrastive Masked Vim Autoencoder for 3D Multi-modal Representation Learning for AD classification
The Hong Kong Polytechnic University（香港理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Shandong University（山东大学）；Research Institute for Smart Ageing, The Hong Kong Polytechnic University（香港理工大学智能老龄化研究院）
本文提出CMViM框架，结合掩码Vim自编码器与模态内和模态间对比学习，实现3D多模态医学图像的高效表示学习，在AD分类任务上AUC提升2.7%。
2024-03-25 cs.CV
MXM-CLR: A Unified Framework for Contrastive Learning of Multifold Cross-Modal Representations
Jilin University（吉林大学）；Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE（教育部知识驱动人机智能工程研究中心）
多重观测对于不同的数据模态是常见的，例如，3D形状可以由多视图图像来表示，并且图像可以用不同的字幕来描述。现有的跨模态对比表示学习（XM-ML）方法，如CLIP，在计算对比损失时只考虑一个正对，而将其他对视为负对，因此不完全适用于多重数据。在本文中，我们提出了MXM-MRM，一个统一的框架，对比学习的多重跨模态表示。MXM-RESISTANCE明确地建模和学习来自不同模态的实例的多重观察之间的关系，以实现更全面的表示学习。MXM-SVM的关键是一种新的多重感知混合损失，它在计算跨模态数据对的硬关系和软关系时考虑了多个正观测。我们进行定量和定性的比较与SOTA基线的跨模态检索任务的Text 2Shape和Flickr 30 K数据集。我们还进行了广泛的评估的适应性和普遍性的MXM-STANDARD，以及消融研究的损失设计和批量大小的影响。实验结果表明，MXM-SVM在学习多重数据的更好表示方面具有优越性。该代码可在https://github.com/JLU-ICL/MXM-CLR上获得。
2023-03-21 cs.CV
Attend to the Difference: Cross-Modality Person Re-identification via Contrastive Correlation
Northwestern Polytechnical University（西北工业大学）
跨通道人称再识别问题因其重要的现实意义而受到越来越多的关注。基于人类在比较两个相似对象时通常会注意到它们之间的差异这一事实，本文提出了一种双路径跨模态特征学习框架，该框架既保留了固有的空间约束，又兼顾了输入跨模态图像对之间的差异。我们的框架是由两个主要组成部分：一个双路径空间结构保持公共空间网络（DSCSN）和对比相关网络（CCN）。前者将跨模态图像嵌入到一个共同的三维张量空间中，而不会丢失空间结构，而后者通过动态比较输入图像对来提取对比特征。请注意，为输入RGB和红外图像生成的表示相互依赖。我们在两个公开的RGB-IR ReID数据集SYSU-MM 01和RegDB上进行了广泛的实验，我们提出的方法在完整和简化的评估模式下都大大优于最先进的算法。
2021-12-01 cs.CV
Cross-Modal Contrastive Learning for Text-to-Image Generation
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
文本到图像合成系统的输出应该是连贯的，清晰的，照片般逼真的场景，具有对其条件文本描述的高度语义保真度。我们的跨模态对比生成对抗网络（XMC-GAN）通过最大化图像和文本之间的互信息来解决这一挑战。它通过捕获模态间和模态内对应的多个对比损失来实现这一点。XMC-GAN使用了一个注意力自调制生成器，它强制执行强文本-图像对应，以及一个对比学习器，它作为一个评论家以及对比学习的特征编码器。XMC-GAN的输出质量比以前的模型有了很大的提高，正如我们在三个具有挑战性的数据集上所展示的那样。在MS-COCO上，XMC-GAN不仅将最先进的FID从24.70提高到9.33，而且-更重要的是-与其他三个最近的模型相比，人们更喜欢XMC-GAN的图像质量为77.3，图文对齐为74.1。XMC-GAN还推广到具有挑战性的本地化叙述数据集（具有更长，更详细的描述），将最先进的FID从48.70提高到14.12。最后，我们在具有挑战性的Open Images数据上对XMC-GAN进行了训练和评估，建立了26.91的强大基准FID分数。
2022-04-14 cs.CV
Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing
跨模态检索系统是遥感领域的一个研究热点，它能够基于任意模态的查询，跨模态检索语义相关的数据。在本文中，我们将注意力集中在跨模态文本图像检索上，其中来自一种模态的查询（例如，文本）可以与来自另一个的存档条目匹配（例如，图片）。现有的跨模态文本图像检索系统中，大多数RS需要大量的标记的训练样本，也不允许快速和内存有效的检索。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题，在本文中，我们介绍了一种新的无监督跨模态对比哈希（DUCH）方法在RS的文本图像检索。为此，所提出的DUCH由两个主要模块组成：1）特征提取模块，其提取两种模态的深度表示; 2）散列模块，其学习从所提取的表示生成跨模态二进制散列码。我们引入了一种新的多目标损失函数，包括：i）对比目标，使相似性保留内和模态间的相似性; ii）一个对抗性的目标，在两个模态之间实施跨模态表示的一致性;和iii）二进制化目标生成哈希码。实验结果表明，所提出的DUCH优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-04-19 cs.CV
Contrastive Parameter Disentanglement for Multi-modal Remote Sensing Image Generation
School of Information and Communication Engineering, Dalian University of Technology（大连理工大学信息与通信工程学院）；Unit 92728 of PLA（中国人民解放军92728部队）
针对现有遥感图像生成方法局限，提出对比参数解缠框架，通过对比参数解缠模块、解缠优化策略及查询-键结构转移机制，实现多模态遥感图像高质量生成，在相关任务中性能优越。
2026-07-28 cs.CV
ERNIE-ViL 2.0: Multi-view Contrastive Learning for Image-Text Pre-training
Baidu Inc.（百度公司）
近年来，基于双编码器的视觉语言预训练（VLP）模型因其在各种跨模态任务上的优异性能和较高的计算效率，引起了学术界和工业界的广泛关注。他们试图使用图像-文本对的对比学习来学习跨模态表示，然而，所建立的模态间相关性仅依赖于每个模态的单个视图。事实上，一幅图像或一段文字包含了各种潜在的视图，就像人类可以通过各种描述或照片来捕捉真实世界的场景一样。在本文中，我们提出了ERNIE-ViL 2.0，多视图对比学习框架，同时建立不同视图之间的模态内和模态间的相关性，旨在学习一个更强大的跨模态表示。具体来说，我们在每个模态内构建多个视图来学习模态内相关性，以增强单模态表示。除了固有的视觉/文本视图，我们构造的对象标签序列作为一个特殊的文本视图，以缩小跨模态的语义差距嘈杂的图像-文本对。ERNIE-ViL 2.0使用29 M公开可用的数据集进行预训练，在英语跨模态检索上取得了有竞争力的结果。此外，为了将我们的方法推广到中文跨模态检索任务，我们通过将预训练数据集扩展到1.5 B中文图像-文本对来训练ERNIE-ViL 2.0，与之前SOTA在中文跨模态检索上的结果相比，结果有了显著的改进。我们在https://github.com/PaddlePaddle/ERNIE中发布了我们的预训练模型。
2022-09-30 cs.CV
Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing
Technische Universität Berlin（柏林工业大学）
由于大规模多模态数据的可用性（例如，不同传感器获取的卫星图像、文本句子等）档案，跨模态检索系统的发展已经引起了RS的极大关注，该系统可以基于任何模态的查询来搜索和检索跨不同模态的语义相关数据。在本文中，我们将注意力集中在跨模态文本图像检索上，其中来自一种模态的查询（例如，文本）可以与来自另一个的存档条目匹配（例如，图片）。大多数现有的跨模态文本图像检索系统需要大量的标记的训练样本，也不允许快速和内存效率的检索，由于其固有的特点。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题，在本文中，我们介绍了一种新的深度无监督跨模态对比哈希（DUCH）方法的RS文本图像检索。所提出的DUCH由两个主要模块组成：1）特征提取模块（其提取文本-图像模态的深度表示）;以及2）散列模块（其学习从所提取的表示生成跨模态二进制散列码）。在散列模块中，我们引入了一个新的多目标损失函数，包括：i）对比目标，使相似性保留在两个模态内和模态间的相似性; ii）一个对抗性的目标，在两个模态之间执行跨模态表示一致性; iii）二进制化目标，用于生成代表性的散列代码。实验结果表明，建议DUCH优于国家的最先进的无监督跨模态哈希方法在两个多模态（图像和文本）基准档案在RS。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-01-20 cs.CV
Extending Multi-modal Contrastive Representations
Zhejiang University（浙江大学）；ByteDance（字节跳动）
本文提出Ex-MCR方法，通过将现有MCR空间对齐到基础空间，无需配对数据即可学习超过三种模态的统一对比表示，在多项检索和分类任务上达到最先进性能。
2023-10-13 cs.CV
Learning Cross-modal Contrastive Features for Video Domain Adaptation
Boston University（波士顿大学）；NEC Labs America（NEC美国实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
从视频中学习可转移和域自适应特征表示对于视频相关任务（如动作识别）非常重要。现有的视频领域自适应方法主要依赖于从RGB图像空间导出的对抗性特征对齐。然而，视频数据通常与多模态信息相关联，例如，RGB和光流，因此设计一种在跨领域自适应设置下考虑跨模态输入的更好方法仍然是一个挑战。为此，我们提出了一个统一的框架，视频领域自适应，同时正则化跨模态和跨域的功能表示。具体来说，我们把一个领域中的每一个模态作为一个视图，并利用对比学习技术与适当设计的采样策略。因此，我们的目标规范化的特征空间，原来缺乏跨模态的连接或跨域的对齐较少。我们在领域自适应动作识别基准数据集上进行实验，即，UCF，HMDB和EPIC-Kitchener，并证明了我们的组件对国家的最先进的算法的有效性。
2021-08-26 cs.CV
TransLocNet: Cross-Modal Attention for Aerial-Ground Vehicle Localization with Contrastive Learning
Department of Computer Science, Purdue University（计算机科学系，普渡大学）；DEVCOM Army Research Laboratory（陆军研究实验室）
TransLocNet通过跨模态注意力和对比学习实现航空-地面车辆定位，显著提升定位精度和鲁棒性。
2025-12-11 cs.CV
Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning
Sensetime Research（商汤科技研究院）；The Hong Kong Polytechnic University（香港理工大学）
视频精彩片段检测是一个重要而又具有挑战性的问题，旨在识别未修剪视频中的有趣时刻。这一任务的关键在于有效的视频表示，共同追求两个目标，\textit{i.e.}，跨模态表示学习和细粒度的特征歧视。在本文中，这两个挑战，不仅丰富内模态和跨模态的关系表示建模，但也形成了有区别的方式的功能来解决。我们提出的方法主要利用内模态编码和跨模态同现编码的充分表示建模。具体而言，模态内编码增强了模态方面的功能，并通过在音频和视觉信号中的模态内关系学习来抑制不相关的模态。同时，跨模态同现编码关注同现的模态间关系，有选择地捕捉多模态之间的有效信息。从局部上下文中提取的全局信息进一步增强了多模态表示。此外，我们扩大了识别能力的特征嵌入与硬对引导对比学习（HPCL）计划。为了提高HPCL的特征区分度，进一步采用了硬对采样策略来挖掘硬样本。在两个基准上进行的大量实验证明了我们所提出的方法与其他最先进的方法相比的有效性和优越性。
2022-06-21 cs.CV
Cross-modal Contrastive Distillation for Instructional Activity Anticipation
University of Rochester（罗切斯特大学）；JD AI Research（京东人工智能研究院）
在本研究中，我们的目的是预测合理的未来行动步骤给定的观察过去和研究的任务，教学活动的预期。与以前的预测任务，旨在行动标签预测，我们的工作目标是生成自然语言输出，提供可解释的和准确的描述未来的行动步骤。这是一个具有挑战性的任务，由于缺乏语义信息提取的教学视频。为了克服这一挑战，我们提出了一个新的知识蒸馏框架，利用相关的外部文本知识，以协助视觉预期任务。然而，先前的知识蒸馏技术通常在相同模态内传递信息。为了弥补在提取过程中视觉和文本模态之间的差距，我们设计了一种新的跨模态对比提取（CCD）方案，它有助于教师和学生之间的知识蒸馏异构模态与建议的跨模态蒸馏损失。我们在Tasty Videos数据集上评估了我们的方法。CCD相对于BLEU4提高了40.2%的预测性能的视觉单独的学生模型的大幅度。我们的方法也比最先进的方法有很大的优势。
2022-01-18 cs.CV
Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation and Koos Grade Prediction based on Semi-Supervised Contrastive Learning
Radboud University Medical Center（拉德堡德大学医学中心）；The Netherlands Cancer Institute（荷兰癌症研究所）；Nanjing University of Information Science and Technology（南京信息工程大学）
领域自适应已被广泛采用，以在多个供应商和多个中心之间传输样式，以及补充缺失的模态。在这项挑战中，我们提出了一个无监督的领域自适应框架，用于跨模态前庭神经鞘瘤（VS）和耳蜗分割和Koos等级预测。我们从ceT 1和hrT 2图像中学习共享表示，并从潜在表示中恢复另一种模态，并且我们还利用VS分割和大脑分割的代理任务来限制领域自适应中图像结构的一致性。在生成缺失模态后，nnU-Net模型用于VS和耳蜗分割，而半监督对比学习预训练方法用于提高Koos等级预测的模型性能。在CrossMoDA验证阶段排行榜上，我们的方法在task 1中获得了4级，平均Dice得分为0.8394，在task 2中获得了2级，宏观平均均方误差为0.3941。我们的代码可在https://github.com/fiy2W/cmda2022.superpolymerization上获得。
2022-10-09 cs.CV
Self-supervised Contrastive Learning for Audio-Visual Action Recognition
Sun Yat-sen University（中山大学）
音频和视觉模态之间的潜在相关性可以用于学习未标记视频的监督信息。在本文中，我们提出了一个端到端的自我监督框架，名为视听对比学习（AVCL），学习有区别的视听表示动作识别。具体来说，我们设计了一个基于注意力的多模态融合模块（AMFM）融合音频和视觉模态。为了对齐异构视听模态，我们构建了一个新的相关引导表示对齐模块（CGRA）。为了从未标记的视频中学习监督信息，我们提出了一种新的自监督对比学习模块（SelfCL）。此外，我们建立了一个新的视听动作识别数据集，名为Kinetics-Sounds 100。在Kinetics-Sounds 32和Kinetics-Sounds 100数据集上的实验结果表明，我们的AVCL在大规模动作识别基准上优于最先进的方法。
2023-03-20 cs.CV
PhysioSync: Temporal and Cross-Modal Contrastive Learning Inspired by Physiological Synchronization for EEG-Based Emotion Recognition
School of Instrument Science and Opto-electronics Engineering, Hefei University of Technology（仪器科学与光电工程学院，合肥工业大学）；School of Computer Science and Information Engineering, Hefei University of Technology（计算机科学与信息工程学院，合肥工业大学）
针对EEG情绪识别中信号噪声大、个体差异及模态同步被忽视等问题，提出PhysioSync框架，通过跨模态一致性对齐和长短期时序对比学习捕捉模态间/内同步，在DEAP和DREAMER数据集上提升了识别性能。
2025-08-26 cs.CV
Vision-Language Pre-Training with Triple Contrastive Learning
University Of Texas at Arlington（德克萨斯大学阿灵顿分校）；Amazon（亚马逊）
视觉语言表示学习通过对比损失（例如，InfoNCE损失）。这种对齐策略的成功归因于它能够最大限度地提高图像与其匹配文本之间的互信息（MI）。然而，简单地执行跨模态对齐（CMA）忽略了每个模态内的数据潜力，这可能导致降级的表示。例如，尽管基于CMA的模型能够在嵌入空间中将图像-文本对映射到一起，但它们无法确保来自相同模态的类似输入保持接近。当预训练数据有噪声时，这个问题可能变得更糟。在本文中，我们提出了三重对比学习（TCL）的视觉语言预训练，利用跨模态和模态内的自我监督。除了CMA之外，TCL还引入了一个模态内对比目标，以在表示学习中提供互补的优势。为了利用来自图像和文本输入的局部化和结构化信息，TCL进一步最大化图像/文本的局部区域与其全局摘要之间的平均MI。据我们所知，我们的工作是第一个考虑局部结构信息进行多模态表示学习的工作。实验评估表明，我们的方法是有竞争力的，并实现了各种常见的下游视觉语言任务，如图像-文本检索和视觉问答的最新水平。
2022-03-28 cs.CV
CPCL: Cross-Modal Prototypical Contrastive Learning for Weakly Supervised Text-based Person Retrieval
本文提出CPCL方法，通过引入CLIP模型、原型多模态记忆模块和离群伪标签挖掘模块，利用跨模态原型对比学习解决弱监督文本行人检索中的类内差异问题，并在多个基准上验证了其有效性和泛化性。
2025-08-18 cs.CV
Contrastive Image Synthesis and Self-supervised Feature Adaptation for Cross-Modality Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Northwestern University（西北大学）
提出CISFA框架，结合单侧生成与逐块对比损失及自监督特征自适应，实现跨模态生物医学图像分割，显著优于现有方法。
2023-09-01 cs.CV
VLCDoC: Vision-Language Contrastive Pre-Training Model for Cross-Modal Document Classification
La Rochelle University（拉罗谢尔大学）；AllRead MLT；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
本文提出VLCDoC，一种基于视觉-语言对比学习的跨模态文档分类预训练模型，通过模态内与模态间注意力流学习语义表示，并在公开数据集上验证了其有效性与通用性。
2023-05-11 cs.CV
On the Generalization of Multi-modal Contrastive Learning
Peking University（北京大学）
本文建立 MMCL 与非对称矩阵分解的联系，给出其下游泛化保证，并从文本诱导正样本对角度统一解释 MMCL 与 SSCL，进而提出 CLIP 引导重采样方法提升 SSCL 的 ImageNet 性能。
2023-06-07 cs.CV
Dual-Level Cross-Modal Contrastive Clustering
针对现有深度聚类方法忽略外部语义信息的问题，提出双层级跨模态对比聚类框架DXMC，利用预训练视觉-语言模型构建图像-文本对并进行跨模态对比学习，在五个基准数据集上验证了有效性。
2024-09-20 cs.CV
Self-Supervised Generative-Contrastive Learning of Multi-Modal Euclidean Input for 3D Shape Latent Representations: A Dynamic Switching Approach
Institute for Anthropomatics and Robotics（人机化与机器人研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学）；Fraunhofer Institute of Optronics, System Technologies and Image Exploitation IOSB（弗劳恩霍夫光学、系统技术与图像利用研究所）
本文提出一种自监督生成-对比学习架构，通过动态切换交叉训练体素网格和多视角图像双编码器，结合对比损失与重建损失学习三维形状潜在表示，提升重建与分类性能。
2025-06-06 cs.CV
A Two-Stage Progressive Pre-training using Multi-Modal Contrastive Masked Autoencoders
Intuitive Surgical Inc.（直觉外科公司）
本研究提出一种基于多模态对比掩码自编码器的两阶段渐进式RGB-D预训练方法，结合对比学习、掩码自编码、去噪与全局蒸馏，在多个数据集语义分割任务上取得优于现有方法的性能，且在小数据场景下同样有效。
2024-09-16 cs.CV
Discrete Contrastive Diffusion for Cross-Modal Music and Image Generation
Illinois Institute of Technology（伊利诺伊理工学院）；Wuhan University（武汉大学）；Snap Inc.（Snap公司）
扩散概率模型（DPMs）已经成为一种流行的方法，条件生成，由于其有前途的结果和跨模态综合的支持。条件合成中的一个关键要求是实现条件输入和生成输出之间的高度对应。大多数现有的方法隐式地学习这样的关系，通过将之前的变分下限。在这项工作中，我们采取了不同的路线-我们显式地通过最大化它们的互信息来增强输入输出连接。为此，我们引入了条件离散对比扩散（CDCD）损失，并设计了两个对比扩散机制，有效地将其纳入去噪过程中，结合扩散训练和对比学习首次通过将其与传统的变分目标。我们证明了我们的方法在评估不同的多模态条件合成任务的有效性：舞蹈到音乐生成，文本到图像合成，以及类条件图像合成。在每一个，我们提高了输入输出对应，并实现更高或有竞争力的综合质量。此外，该方法提高了扩散模型的收敛性，减少了超过35%的两个基准测试所需的扩散步骤的数量，显着提高推理速度。
2023-02-16 cs.CV
Open-Vocabulary 3D Detection via Image-level Class and Debiased Cross-modal Contrastive Learning
UC Berkeley（加州大学伯克利分校）；Peking University（北京大学）
现有的点云检测方法由于泛化能力有限，很难检测到现实世界中的开放词汇对象。此外，收集和完全注释具有众多对象类别的点云检测数据集是非常费力和昂贵的，导致现有点云数据集的类别有限，并阻碍模型学习通用表示以实现开放词汇点云检测。据我们所知，我们是第一个研究开放词汇的3D点云检测问题。我们不寻求带有完整标签的点云数据集，而是求助于ImageNet 1 K来扩展点云检测器的词汇表。我们提出OV-3DETIC，一个开放词汇的3D检测器使用图像级类监督。具体来说，我们利用两种形式，图像模态识别和点云模态定位，生成伪标签看不见的类。然后，我们提出了一种新的去偏跨模态对比学习方法，在训练过程中将知识从图像模态转移到点云模态。在不影响推理延迟的情况下，OV-3DETIC使点云检测器能够实现开放词汇检测。大量的实验表明，所提出的OV-3DETIC实现了至少10.77%的mAP改善（绝对值）和9.56%的mAP改善（绝对值）的广泛的基线上的SUN-RGBD数据集和ScanNet数据集，分别。此外，我们进行了充分的实验，以阐明为什么建议OV-3DETIC工程。
2022-07-05 cs.CV
FMiFood: Multi-modal Contrastive Learning for Food Image Classification
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
本文提出多模态对比学习框架FMiFood，通过融合食物类别文本描述与图像信息并引入灵活匹配和GPT-4增强文本，在UPMC-101和VFN数据集上提升了食物图像分类性能。
2024-08-07 cs.CV
N-Modal Contrastive Losses with Applications to Social Media Data in Trimodal Space
University of Notre Dame（圣母大学）
本文扩展了CLIP的对比损失函数以支持任意数量模态，在包含文本、图像和视频的Telegram数据集上验证了三模态模型在OSINT场景中的实用性，并提出了能学习四种模态交互的新颖四模态CLIP基线模型。
2024-03-18 cs.CV
Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents
Show Lab, National University of Singapore（新加坡国立大学展示实验室）；Central South University（中南大学）；Microsoft（微软公司）
针对现有对比视觉语言模型处理复杂Web文档能力有限的问题，提出以视觉为中心的统一对比学习框架VC2L，通过像素空间渲染和片段级对比学习实现多模态建模，在多个基准上取得优于或媲美CLIP类模型的性能。
2025-10-21 cs.CV
Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations
Uppsala University（乌普萨拉大学）
在组织表征和癌症诊断中，多模态成像已经成为一种强大的技术。由于计算的进步，可以利用大型数据集来发现病理模式并改善诊断。然而，这需要高效和可扩展的图像检索方法。跨模态图像检索特别具有挑战性，因为由不同模态捕获的相似（甚至相同）内容的图像可能共享很少的共同结构。我们提出了一种新的应用程序无关的基于内容的图像检索（CBIR）系统，用于跨模态的反向（子）图像搜索，该系统将深度学习与经典的特征提取和词袋模型相结合，以生成表示（将不同的模态嵌入到公共空间中），从而实现高效可靠的检索。我们说明了它的优势，通过替换研究，探索了一些特征提取器和学习表示，以及通过比较最近（跨模态）CBIR方法。对于明场和二次谐波发生显微图像（公开可用）数据集上的（子）图像检索任务，结果表明我们的方法优于所有测试的替代方案。我们讨论了比较方法的缺点和观察的重要性，学习表示和特征提取器在CBIR管道的等变性和不变性。代码可从以下网址获得：\url{https://github.com/MIDA-group/CrossModal_ImgRetrieval}。
2023-03-20 cs.CV
Multimodal Contrastive Learning with LIMoE: the Language-Image Mixture of Experts
Google Brain（谷歌大脑）
大型稀疏激活模型在多个领域都取得了优异的性能。然而，这样的模型通常一次在单个模态上训练。我们提出了一种能够进行多模态学习的稀疏混合专家模型--图像MoE，LI MoE。LIMoE同时接受图像和文本，同时使用对比损失进行训练。MoE是多模态骨干的天然适合，因为专家层可以学习模态的适当划分。然而，新的挑战出现了;特别是，训练稳定性和平衡的专家利用率，我们提出了一个基于熵的正则化方案。在多个尺度上，我们表现出显着的性能改善密集模型的等效计算成本。LIMoE-L/16训练到CLIP-L/14的映射实现了78.6%的zero-shot ImageNet准确率（vs. 76.2%），当进一步扩展到H/14（使用额外数据）时，它达到了84.1%，与使用更大的自定义每模态主干和预训练方案的最先进方法相当。我们分析了定量和定性行为的LIMoE，并证明了现象，如不同的治疗方式和有机出现的特定模式的专家。
2022-06-06 cs.CV
Two-stream joint matching method based on contrastive learning for few-shot action recognition
Chongqing University（重庆大学）
本文提出基于对比学习的双流联合匹配方法TSJM，通过多模态对比学习模块和联合匹配模块解决少样本动作识别中的多模态信息利用不足及视频匹配问题。
2024-01-08 cs.CV
On the modality gap and the contrastive loss in multi-modal representation learning
Technical University of Denmark（丹麦技术大学）
研究CLIP风格双编码器对比学习中的模态差距，发现是InfoNCE公式在低温下的模式失败所致。提出xNCE方法，使用跨模态和模态内负对比对，能缩小模态差距，提升零样本分类性能且不牺牲判别几何。
2026-07-14 cs.CV cs.LG
PROMISE: Prompt-Attentive Hierarchical Contrastive Learning for Robust Cross-Modal Representation with Missing Modalities
针对多模态模型在模态缺失时性能下降、现有方法难以维持跨模态一致性的问题，提出PROMISE提示注意力分层对比学习框架，通过多模态提示学习与提示注意力机制弥合表征差距，实验证明其性能优于现有最优方法。
2025-11-14 cs.CV cs.LG
Semantic-Consistent Bidirectional Contrastive Hashing for Noisy Multi-Label Cross-Modal Retrieval
本文提出语义一致的双向对比哈希方法，通过跨模态语义一致性分类和双向软对比哈希模块，有效应对多标签数据中的噪声问题，提升跨模态检索的鲁棒性与性能。
2026-01-17 cs.AI cs.CV
How do Cross-View and Cross-Modal Alignment Affect Representations in Contrastive Learning?
TU Delft（代尔夫特理工大学）
各种最先进的自监督视觉表示学习方法通过跨视图和/或模态对齐特征表示来利用来自多个传感器的数据。在这项工作中，我们研究对齐表示如何影响图像和点云上的跨视图和跨模态对比学习获得的视觉特征。在五个真实世界的数据集和五个任务，我们训练和评估108个模型的基础上四个预训练的变化。我们发现，跨模态表示对齐丢弃互补的视觉信息，如颜色和纹理，而是强调冗余的深度线索。从预训练中获得的深度线索提高了下游深度预测性能。此外，总体而言，跨模态对齐导致比通过跨视图对齐进行的预训练更鲁棒的编码器，特别是在深度预测、实例分割和目标检测方面。
2022-11-23 cs.CV cs.LG
Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal Human Activity Recognition
Maastricht University（马斯特里赫特大学）
人类活动识别是输入数据可以采取多种形式的研究领域。每一种可能的输入方式都以不同的方式描述人类行为，每一种都有自己的优点和缺点。我们探讨的假设，利用多种形式可以导致更好的识别。由于手动注释的输入数据是昂贵和耗时的，重点是自我监督的方法，可以学习有用的功能表示没有任何地面真值标签。我们扩展了一些最近的对比自我监督的方法，人类活动识别的任务，利用惯性和骨架数据。此外，我们提出了一个灵活的，通用的框架进行多模态自监督学习，名为对比多视图编码与跨模态知识挖掘（CMC-CMKM）。该框架利用模态特定的知识，以减轻典型的自我监督框架的局限性。在两个广泛使用的数据集上进行的大量实验表明，所提出的框架在不同的场景下，包括全监督微调，活动检索和半监督学习，显着优于对比单峰和多峰基线。此外，即使与监督方法相比，它也显示出性能竞争力。
2022-05-20 cs.AI cs.CV
Multi-modal Contrastive Learning for Tumor-specific Missing Modality Synthesis
Korea University（高丽大学）
针对临床多模态MRI获取困难的问题，PLAVE团队提出集成多模态对比学习（基于熵选特征）与同步分割预测的生成模型，聚焦肿瘤区域，通过多损失结合提升图像质量与下游分割性能，在脑MR合成挑战赛中表现优异。
2025-04-12 cs.AI cs.CV eess.IV
MM-TS: Multi-Modal Temperature and Margin Schedules for Contrastive Learning with Long-Tail Data
University of Bonn（波恩大学）；MPI for Informatics, SIC（信息研究所）；Tuebingen AI Center/University of Tuebingen（图宾根人工智能中心/图宾根大学）；MIT-IBM Watson AI Lab（麻省理工-IBM Watson人工智能实验室）
MM-TS通过动态温度和边距调度提升多模态对比学习在长尾数据上的性能，实现InfoNCE和最大边距方法的统一。
2026-03-09 cs.AI cs.CV
M5Product: Self-harmonized Contrastive Learning for E-commercial Multi-modal Pretraining
Sun Yat-sen University（中山大学）；Beijing Jiaotong University（北京交通大学）；UiT The Arctic University of Norway（挪威UiT北极大学）；PengCheng Laboratory（鹏城实验室）；Alibaba Group（阿里巴巴集团）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
尽管多模态预训练具有从互补数据模态中学习高度区分性特征表示的潜力，但由于缺乏大规模模态多样性数据集，目前的进展正在放缓。通过利用电子商务的自然适用性，其中不同的模态捕获互补的语义信息，我们贡献了一个大规模的多模态预训练数据集M5 Product。该数据集包括5种模态（图像、文本、表格、视频和音频），涵盖6,000多个类别和5,000个属性，比具有类似模态数量的最大公开数据集大500。此外，M5 Product包含不完整的模态对和噪声，同时也具有长尾分布，类似于大多数现实问题。我们进一步提出了自协调的自适应学习（SCALE），一种新的预训练框架，通过自适应特征融合机制将不同的模态集成到一个统一的模型中，其中每个模态的重要性直接从模态嵌入中学习，并影响多模态Transformer模型中的模态间对比学习和掩蔽任务。我们评估了当前的多模态预训练最先进的方法，并对它们在面对M5 Product数据集中大量模态时从未标记数据中学习的能力进行了基准测试。我们对四个下游任务进行了广泛的实验，并证明了我们的SCALE模型的优越性，为数据集规模和多样性的重要性提供了见解。
2022-04-02 cs.CV cs.MM
Is Contrastive Distillation Enough for Learning Comprehensive 3D Representations?
School of Mechatronic Engineering and Automation, Shanghai University, Shanghai, China（上海大学机械与自动化工程学院）；Department of Computer Science, City University of Hong Kong, Hong Kong SAR, China（香港城市大学计算机科学系）
本文提出CMCR框架，通过整合模态共享和特定特征，改进传统方法，引入掩码图像建模和占用估计任务，提升3D表示学习效果。
2026-03-19 cs.AI cs.CV
ContraReg: Contrastive Learning of Multi-modality Unsupervised Deformable Image Registration
New York University（纽约大学）；Hyperfine Research（Hyperfine研究公司）；Yale University（耶鲁大学）
在不同的成像模式之间建立体素语义对应是一项基础而艰巨的计算机视觉任务。当前的多模态配准技术最大化手工制作的域间相似性函数，在建模非线性强度关系和变形方面受到限制，并且可能需要显著的重新设计或在新任务、数据集和域对上表现不佳。这项工作提出了ContraReg，一种无监督的对比表示学习方法，多模态变形配准。通过将学习到的多尺度局部补丁特征投影到联合学习的域间嵌入空间上，ContraReg获得了对非刚性多模态对齐有用的表示。在实验上，ContraReg实现了准确和稳健的结果，在新生儿T1-T2脑MRI配准任务的一系列基线和消融上具有平滑和可逆的变形，所有方法都在广泛的变形正则化强度范围内得到验证。
2022-06-27 cs.CV cs.LG
Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment
Peking University（北京大学）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；School of Computer Science, Peking University（北京大学计算机学院）
针对现有双编码器多模态模型难以实现跨模态深度交互的问题，提出CLIP引导的对比学习特征对齐架构，将多模态特征投影至统一空间，在两类任务上性能优于基线，且易迁移。
2024-03-11 cs.CL cs.CV
COROLLA: An Efficient Multi-Modality Fusion Framework with Supervised Contrastive Learning for Glaucoma Grading
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
青光眼是一种可导致失明的眼科疾病，早期发现和治疗非常重要。眼底图像和光学相干断层扫描（OCT）图像都是广泛使用的诊断青光眼的方式。然而，现有的青光眼分级方法主要利用单一的模态，忽略了眼底和OCT之间的互补信息。在本文中，我们提出了一个有效的多模态监督对比学习框架，名为COROLLA，青光眼分级。通过层分割以及厚度计算和投影，从原始OCT体积中提取视网膜厚度图并用作替代模态，从而以更少的内存使用实现更有效的计算。鉴于医学图像样本之间的高度结构和分布相似性，我们采用监督对比学习来提高模型的区分能力，并具有更好的收敛性。此外，特征级融合的配对眼底图像和厚度图进行，以提高诊断的准确性。在GAMMA数据集上，与最先进的方法相比，我们的COROLLA框架实现了压倒性的青光眼分级性能。
2022-01-25 cs.CV eess.IV
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University（高丽大学）
某些信息的多种形式提供了关于该信息的各种观点，这可以改善对信息的理解。因此，从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中，我们研究了跨模态音频到图像的生成问题，并提出跨模态对比表示学习（CMCRL）提取有用的功能，从音频和使用它在生成阶段。实验结果表明，CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
Learning Visual Representation from Modality-Shared Contrastive Language-Image Pre-training
Columbia University（哥伦比亚大学）；Microsoft Cloud and AI（微软云与人工智能部门）；Microsoft Research（微软研究院）
大规模多模态对比预训练已经证明了通过将多个模态映射到共享嵌入空间中来学习一系列下游任务的可转移特征的巨大效用。通常，这已经针对每种模态采用了单独的编码器。然而，最近的工作表明，Transformers可以支持跨多种模式的学习，并允许知识共享。受此启发，我们研究了各种模态共享对比图像预训练（MS-CLIP）框架。更具体地说，我们质疑在对比预训练期间，Transformer模型的多少参数可以在模态之间共享，并严格检查沿着频谱定位共享参数比例的架构设计选择。在研究的条件下，我们观察到，一个基本统一的编码器的视觉和语言信号优于所有其他的变化，分离更多的参数。此外，我们发现，轻量级的特定模态的并行模块进一步提高性能。实验结果表明，MS-CLIP方法在zero-shot ImageNet分类（在YFCC-100 M上进行预训练）中的相对性能比vanilla CLIP高出13%，同时支持参数的减少。此外，我们的方法在24个下游视觉任务的线性探测中优于vanilla CLIP 1.6个点。此外，我们发现共享参数导致来自不同模态的语义概念在嵌入空间中被更紧密地编码，从而促进公共语义结构的转移（例如，注意力模式（从语言到视觉）。代码可在\href{https://github.com/Hxyou/MSCLIP}{URL}上获得。
2022-07-26 cs.CL cs.CV
Improving Cross-Modal Understanding in Visual Dialog via Contrastive Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
可视化对话是一项具有挑战性的视觉语言任务，因为可视化对话代理需要在对图像内容和对话历史进行推理后回答一系列问题。虽然现有的方法试图处理视觉对话中的跨模态理解，但它们仍然不足以基于对视觉和文本上下文的理解来对候选答案进行排序。本文基于视觉语言预训练模型VD-BERT，分析了视觉对话中的跨模态理解问题，提出了一种新的提高视觉对话跨模态理解的方法ICMU。ICMU通过基于四向对比学习区分不同的拉取输入（即拉取图像、问题或答案）来增强跨模态理解。此外，ICMU利用单轮视觉问答来增强视觉对话模型的跨模态理解，以处理多轮视觉接地对话。实验结果表明，该方法提高了可视化对话模型的跨模态理解能力，在VisDial数据集上取得了满意的效果。
2022-04-15 cs.CL cs.CV
