Unified Contrastive Fusion Transformer for Multimodal Human Action Recognition
Hanyang University（汉阳大学）
本文提出多模态融合架构UCFFormer，通过Unified Transformer捕获时间与模态依赖，结合对比学习对齐特征，在UTD-MHAD和NTU RGB+D数据集上实现了最先进的人类动作识别性能。
2023-09-10 cs.CV
Confidence-driven Gradient Modulation for Multimodal Human Activity Recognition: A Dynamic Contrastive Dual-Path Learning Approach
针对多模态人类活动识别中的跨模态特征对齐困难和模态贡献不平衡问题，提出动态对比双路径网络（DCDP-HAR）框架，通过双路径特征提取、多阶段对比学习和置信度驱动梯度调制，提升识别性能。
2025-08-26 cs.CV
Multimodal Contrastive Training for Visual Representation Learning
University of Chicago（芝加哥大学）；Adobe Research（Adobe研究院）
我们开发了一种方法来学习视觉表示，包括多模态数据，由内和模态间的相似性保存目标的组合驱动。与现有的视觉预训练方法不同，这些方法在单个域中解决代理预测任务，我们的方法同时利用每个模态内的固有数据属性和跨模态相关性的语义信息，从而提高了学习的视觉表示的质量。通过在具有不同类型对比损失的统一框架中包含多模态训练，我们的方法可以学习更强大和通用的视觉特征。我们首先在COCO上训练我们的模型，并在各种下游任务上评估学习到的视觉表示，包括图像分类、目标检测和实例分割。例如，通过我们的方法在COCO上预训练的视觉表示在通用传输协议下在ImageNet分类上实现了$55.3\%$的最先进的top-1验证精度。我们还评估了我们的方法在大规模的股票图像数据集，并显示其有效性的多标签图像标记，和跨模态检索任务。
2021-04-26 cs.CV
CCTVBench: Contrastive Consistency Traffic VideoQA Benchmark for Multimodal LLMs
Technical University of Munich（慕尼黑技术大学）；University of California, Los Angeles（加州大学洛杉矶分校）
CCTVBench通过真实事故视频与世界模型生成的反事实场景配对，提出对比一致性评估方法，揭示视频问答中对比一致性与标准指标间的显著差距，并引入C-TCD方法提升问答与一致性性能。
2026-04-22 cs.CV
UniS-MMC: Multimodal Classification via Unimodality-supervised Multimodal Contrastive Learning
Nanyang Technological University（南洋理工大学）
针对传统多模态融合忽略模态间关系且易受噪声影响的问题，提出在单模态预测弱监督下的多模态对比学习方法UniS-MMC，通过捕获并对齐单模态表示以获取更可靠的多模态表示，在多个图文分类基准上超越现有方法。
2023-05-16 cs.CL cs.CV
Multimodal Contrastive Learning with LIMoE: the Language-Image Mixture of Experts
Google Brain（谷歌大脑）
大型稀疏激活模型在多个领域都取得了优异的性能。然而，这样的模型通常一次在单个模态上训练。我们提出了一种能够进行多模态学习的稀疏混合专家模型--图像MoE，LI MoE。LIMoE同时接受图像和文本，同时使用对比损失进行训练。MoE是多模态骨干的天然适合，因为专家层可以学习模态的适当划分。然而，新的挑战出现了;特别是，训练稳定性和平衡的专家利用率，我们提出了一个基于熵的正则化方案。在多个尺度上，我们表现出显着的性能改善密集模型的等效计算成本。LIMoE-L/16训练到CLIP-L/14的映射实现了78.6%的zero-shot ImageNet准确率（vs. 76.2%），当进一步扩展到H/14（使用额外数据）时，它达到了84.1%，与使用更大的自定义每模态主干和预训练方案的最先进方法相当。我们分析了定量和定性行为的LIMoE，并证明了现象，如不同的治疗方式和有机出现的特定模式的专家。
2022-06-06 cs.CV
Efficient Multimodal 3D Object Detector via Instance-Level Contrastive Distillation
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）
针对多模态3D检测中的模态异构、错位及大BEV特征融合效率问题，提出ICD实例级对比蒸馏与CLFM交叉线性注意力融合，在KITTI和nuScenes上以更高效率超越SOTA。
2025-03-17 cs.CV
fMRI-TAMCL: Text-Anchored Supervised Multimodal Contrastive Learning for fMRI-Based Brain Disorder Classification
Texas State University（德克萨斯州立大学）；University of Technology and Applied Sciences（科技大学与应用科学大学）
针对rs-fMRI多模态异质性和文本缺失问题，提出文本锚定多模态对比学习框架fMRI-TAMCL，整合图像、稀疏FC和生成文本，在五个数据集上以78.6%-86.4%准确率优于29个基线。
2026-10-06 cs.CV
What Really Works for Universal Multimodal Embeddings? A Controlled Study of Contrastive Training Strategies
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Universität Hamburg（汉堡大学）；Sichuan University（四川大学）
该研究通过在MMEB上的受控实验，揭示多数对比训练策略对多模态嵌入的提升有限，整合难负样本挖掘等三类策略可使Qwen2-VL-2B在MMEB上平均提升6.0%，为模型训练提供了可行方案。
2026-10-14 cs.CV
MGI: Multimodal Contrastive pre-training of Genomic and Medical Imaging
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
本文提出多模态预训练框架MGI，结合Mamba基因编码器与ViT影像编码器，利用自监督对比学习对齐基因组与医学影像，在TCGA数据集预训练并在肿瘤分割任务中表现优异。
2024-06-02 cs.CV
Contrastive Graph Multimodal Model for Text Classification in Videos
Tencent（腾讯）
视频文本信息的提取是实现视频语义理解的关键步骤。它通常包括两个步骤：（1）文本识别和（2）文本分类。为了定位视频中的文本，我们可以求助于大量基于OCR技术的文本识别方法。然而，据我们所知，还没有现有的工作集中在视频文本分类的第二步，这将限制指导下游任务，如视频索引和浏览。在本文中，我们首次通过融合多模态信息来解决视频文本分类的新任务，以应对不同类型的视频文本可能与各种颜色，未知字体和复杂布局混淆的挑战性场景。此外，我们定制了一个特定的模块称为CorrelationNet，以加强明确提取布局信息的特征表示。此外，利用对比学习来探索样本之间的内在联系，使用大量的未标记的视频。最后，我们从新闻领域构建了一个新的定义良好的工业数据集，称为TI-News，它致力于构建和评估视频文本识别和分类应用程序。在TI-News上的大量实验证明了该方法的有效性。
2022-06-06 cs.CV
Harnessing Shared Relations via Multimodal Mixup Contrastive Learning for Multimodal Classification
Indian Institute of Technology Bombay（印度理工学院班加罗尔）；AIM for Health Lab, Department of Data Science & AI, Monash University（AIM健康实验室，数据科学与人工智能系，莫纳什大学）
提出多模态 Mixup 对比学习方法（M3CoL），通过基于 Mixup 的对比损失捕获模态间的共享关系，结合融合与单模态预测模块进行辅助监督，在多个多模态分类数据集上取得优异性能。
2025-06-30 cs.AI cs.CV
UMCL: Unimodal-generated Multimodal Contrastive Learning for Cross-compression-rate Deepfake Detection
National Tsing Hua University（清华大学）；National Cheng Kung University（成功大学）；National Yang Ming Chiao Tung University（阳明交通大学）
UMCL通过单模生成多模对比学习，提升跨压缩率深度伪造检测的鲁棒性和准确性。
2025-11-24 cs.CV
Neural-MCRL: Neural Multimodal Contrastive Representation Learning for EEG-based Visual Decoding
Shanghai Maritime University（上海海事大学）；Affiliated Lianyungang Hospital of Xuzhou Medical University（徐州医科大学附属连云港医院）；The Hong Kong Polytechnic University（香港理工大学）
针对现有EEG视觉解码多模态对比学习方法的语义缺陷，提出带NESTA编码器的Neural-MCRL框架，通过语义桥接和交叉注意力实现多模态对齐，显著提升了解码准确率与泛化性。
2025-03-22 cs.CV
Contrastive Parameter Disentanglement for Multi-modal Remote Sensing Image Generation
School of Information and Communication Engineering, Dalian University of Technology（大连理工大学信息与通信工程学院）；Unit 92728 of PLA（中国人民解放军92728部队）
针对现有遥感图像生成方法局限，提出对比参数解缠框架，通过对比参数解缠模块、解缠优化策略及查询-键结构转移机制，实现多模态遥感图像高质量生成，在相关任务中性能优越。
2026-07-28 cs.CV
Mitigating Hallucination in Multimodal LLMs with Layer Contrastive Decoding
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；Hong Kong Baptist University（香港 Baptist大学）
针对多模态大语言模型的图像幻觉问题，提出 LayerCD，通过对比视觉编码器浅层与深层特征产生的输出分布过滤幻觉，并在两个基准上显著超过现有方法。
2025-09-29 cs.CV
Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens
ByteDance Inc.（字节跳动公司）；Rutgers University（罗格斯大学）；Zhejiang University（浙江大学）
基于对比学习的视觉语言预训练方法，如CLIP，在许多视觉语言任务中取得了巨大的成功。这些方法通过对具有相似特征嵌入的匹配图像-文本对进行编码来实现跨模态对齐，这些特征嵌入是通过聚合来自视觉补丁和语言令牌的信息而生成的。然而，使用这种表示直接对齐跨模态信息是具有挑战性的，因为视觉补丁和文本标记在语义级别和粒度上不同。为了缓解这个问题，我们提出了一种基于有限离散令牌（FDT）的多模态表示。FDT是一组表示某些视觉语义概念的可学习标记。通过首先将多模态输入接地到FDT空间，然后聚合激活的FDT表示，使用共享FDT嵌入图像和文本。通过稀疏激活约束，匹配的视觉和语义概念被强制由相同的离散标记集表示。因此，两种模态之间的粒度差距减小。通过定量和定性分析，我们证明了在CLIP风格的模型中使用FDT表示可以提高视觉识别和视觉语言下游任务的跨模态对齐和性能。此外，我们表明，我们的方法可以学习更全面的表示，学习的FDT捕获有意义的跨模态对应，从对象到动作和属性。
2023-03-27 cs.CV
COSMO: COntrastive Streamlined MultimOdal Model with Interleaved Pre-Training
National University of Singapore（新加坡国立大学）；Microsoft Azure AI（微软Azure人工智能）
提出对比精简多模态框架COSMO，通过引入对比损失和划分语言模型组件，在减少参数的同时提升视觉语言任务性能，并构建交错视频文本数据集，在多个下游任务中取得显著增益。
2024-01-01 cs.CV
CoCoT: Contrastive Chain-of-Thought Prompting for Large Multimodal Models with Multiple Image Inputs
University of Rochester（罗切斯特大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；New York University（纽约大学）；Stony Brook University（石溪大学）
针对大型多模态模型在多图像输入下缺乏细粒度感知和信息混合的问题，提出了对比思维链提示方法CoCoT，通过引导模型比较多图像异同来增强其多图像理解能力。
2024-01-05 cs.CV
CROMA: Remote Sensing Representations with Contrastive Radar-Optical Masked Autoencoders
Carleton University（卡尔顿大学）
CROMA通过结合对比学习与掩码重建的自监督框架，并引入X-/2D-ALiBi空间偏置策略，在遥感多模态数据上学习到优于现有最优模型的单模态与多模态表示，在多个分类与分割基准上取得显著提升。
2023-11-01 cs.CV
Seeing Through the Chain: Understanding and Mitigating Hallucinations in Multimodal Large Reasoning Models
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出C3PO框架，通过CoT压缩和对比偏好优化缓解多模态推理模型的幻觉问题，通过过滤冗余思考 token 提升信号效率，并利用高质量反馈和定制诱导器增强对比学习效果。
2026-10-26 cs.CV
CLIPin: A Non-contrastive Plug-in to CLIP for Multimodal Semantic Alignment
Beijing Institute of Technology（北京理工大学）；Beijing Tongren Hospital（北京同仁医院）
针对CLIP在弱监督下语义对齐松散的问题，提出非对比式插件CLIPin，通过共享预投影器增强监督，提升多模态对齐鲁棒性，并在多任务中验证其通用性。
2025-09-25 cs.AI cs.CV
Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents
Show Lab, National University of Singapore（新加坡国立大学展示实验室）；Central South University（中南大学）；Microsoft（微软公司）
针对现有对比视觉语言模型处理复杂Web文档能力有限的问题，提出以视觉为中心的统一对比学习框架VC2L，通过像素空间渲染和片段级对比学习实现多模态建模，在多个基准上取得优于或媲美CLIP类模型的性能。
2025-10-21 cs.CV
Supervised Contrastive Learning for Detecting Anomalous Driving Behaviours from Multimodal Videos
KITE – Toronto Rehabilitation Institute, University Health Network（大学健康网络KITE-多伦多康复研究所）；Institute of Biomedical Engineering, University of Toronto（多伦多大学生物医学工程研究所）
分心驾驶是造成交通事故的主要原因之一。因此，检测分心驾驶行为对于减少全球数百万人的伤亡至关重要。分心或异常驾驶行为是偏离“正常”驾驶的行为，需要正确识别以提醒驾驶员。然而，这些驾驶行为并不包括一种特定类型的驾驶风格，并且它们的分布在分类器的训练和测试阶段可能会有所不同。我们制定了这个问题作为一个监督的对比学习方法来学习视觉表示检测正常的，看到的和看不见的异常驾驶行为。我们对标准对比损失函数进行了更改，以调整负对的相似性来帮助优化。通常，在（自）监督对比框架中，在测试阶段期间省略投影头层，因为编码层被认为包含一般视觉代表信息。然而，我们断言，对于基于视频的监督对比学习任务，包括投影头可能是有益的。我们展示了我们在驾驶员异常检测数据集上的结果，该数据集包含来自各种顶部和前部摄像头（深度和红外）的31名驾驶员的正常和异常驾驶行为的783分钟视频记录。在9种视频模式组合中，与基线模型相比，我们提出的对比方法改善了6种模式的ROC AUC（不同模式的ROC AUC从4.23%提高到8.91%）。我们进行了统计测试，表明我们提出的方法比基线对比学习设置更好。最后，结果表明，从顶视图和前视图融合深度和红外模态实现了0.9738的最佳AUC ROC和0.9772的AUC PR。
2022-04-29 cs.CV
The More, the Merrier: Contrastive Fusion for Higher-Order Multimodal Alignment
Foundation for Research and Technology-Hellas（希腊研究与技术基金会）；University of Crete（克里特大学）；KU Leuven（鲁汶大学）
本文提出对比融合框架，通过联合嵌入个体模态及其融合组合，捕捉高阶依赖关系，提升多模态对齐效果。
2026-04-03 cs.AI cs.CV
Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal Human Activity Recognition
Maastricht University（马斯特里赫特大学）
人类活动识别是输入数据可以采取多种形式的研究领域。每一种可能的输入方式都以不同的方式描述人类行为，每一种都有自己的优点和缺点。我们探讨的假设，利用多种形式可以导致更好的识别。由于手动注释的输入数据是昂贵和耗时的，重点是自我监督的方法，可以学习有用的功能表示没有任何地面真值标签。我们扩展了一些最近的对比自我监督的方法，人类活动识别的任务，利用惯性和骨架数据。此外，我们提出了一个灵活的，通用的框架进行多模态自监督学习，名为对比多视图编码与跨模态知识挖掘（CMC-CMKM）。该框架利用模态特定的知识，以减轻典型的自我监督框架的局限性。在两个广泛使用的数据集上进行的大量实验表明，所提出的框架在不同的场景下，包括全监督微调，活动检索和半监督学习，显着优于对比单峰和多峰基线。此外，即使与监督方法相比，它也显示出性能竞争力。
2022-05-20 cs.AI cs.CV
Mask What Matters: Mitigating Object Hallucinations in Multimodal Large Language Models with Object-Aligned Visual Contrastive Decoding
ETH Zurich（苏黎世联邦理工学院）；Amazon（亚马逊）；MBZUAI（穆罕默德·本·拉什德智能科学技术研究院）
本文提出了一种通过对象对齐的视觉对比解码缓解多模态大语言模型中对象幻觉的方法，具有计算开销低且兼容性强的特点。
2026-02-12 cs.CL cs.CV
On the Importance of Contrastive Loss in Multimodal Learning
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文从理论角度分析了简单多模态对比学习模型的训练动态，揭示正对驱动表示对齐但增加条件数，负对则减小条件数以保持表示平衡，证明了对比对在多模态学习中的重要性。
2023-04-07 cs.CL cs.CV cs.LG
MCN-CL: Multimodal Cross-Attention Network and Contrastive Learning for Multimodal Emotion Recognition
School of Computer and Information Engineering, Anhui University of Finance and Economics, Anhui, 233030, China（计算机与信息工程学院，安徽财经大学，安徽，233030，中国）；State Key Laboratory of Cognitive Science and Mental Health, Institute of Psychology, Chinese Academy of Sciences, Beijing, 100045, China（认知科学与心理健康国家重点实验室，心理学研究所，中国科学院，北京，100045，中国）
针对多模态情感识别现存的类别不均衡、时序建模难、模态异质性融合难问题，本文提出MCN-CL方法，通过三元查询机制与难负样本挖掘策略优化特征，在两个基准数据集上取得了优于SOTA的性能。
2025-11-14 cs.AI cs.CV
Can representation learning for multimodal image registration be improved by supervision of intermediate layers?
Uppsala University（乌普萨拉大学）
多模态成像和相关分析通常需要图像对准。对比学习可以生成多模态图像的表示，将多模态图像配准的挑战性任务减少到单模态。以前，在对比学习中对中间层的额外监督已经改进了生物医学图像分类。我们评估了类似的方法是否可以改进注册学习的表示，以提高注册性能。我们探索了三种方法来增加对比监督的潜在功能的瓶颈层的U-Nets编码的多模态图像和评估三个不同的批评功能。我们的研究结果表明，在没有对潜在特征进行额外监督的情况下学习的表示在两个公共生物医学数据集的注册下游任务中表现最好。我们研究的性能下降，利用最近的见解在分类和自监督学习的对比学习。我们通过多维尺度可视化学习表示的空间关系，并表明对瓶颈层的额外监督可能导致中间嵌入空间的部分维度崩溃。
2023-03-01 cs.CV cs.LG
Pseudo Contrastive Learning for Diagram Comprehension in Multimodal Models
The Japan Research Institute, Limited（日本研究机构有限公司）
本文提出伪对比学习方法，通过生成合成图表增强多模态模型对图表的理解能力，实验表明在图像-文本匹配和视觉问答任务中优于传统CLIP方法。
2026-03-02 cs.AI cs.CV
CoMIR: Contrastive Multimodal Image Representation for Registration
Uppsala University（乌普萨拉大学）
我们提出对比编码来学习共享的、密集的图像表示，称为CoMIRs（对比多模态图像表示）。CoMIRs使得能够配准多模态图像，其中现有的配准方法由于缺乏足够相似的图像结构而经常失败。CoMIRs将多模态配准问题简化为单模态配准问题，其中可以应用一般的基于强度的配准算法以及基于特征的配准算法。该方法涉及使用基于噪声对比度估计（InfoNCE）的对比度损失在对齐图像上训练每个模态的一个神经网络。不像其他对比编码方法，例如，分类，我们的方法生成图像般的表示，包含模态之间共享的信息。我们引入了一种新的，超参数的修改InfoNCE，执行旋转等方差的学习表示，注册任务必不可少的属性。我们评估了在RGB和近红外图像的遥感数据集上实现的旋转等方差的程度和相对于权重初始化，训练集和超参数设置的表示的稳定性。我们通过配准明场和二次谐波生成显微镜图像的生物医学数据集来评估所学习的表示;两种方式几乎没有明显的相关性。所提出的基于CoMIRs的方法显著优于基于GAN的图像到图像转换所创建的表示的配准，以及考虑到有关数据的额外知识的最先进的特定于应用的方法。代码可从以下网址获得：https://github.com/MIDA-group/CoMIR。
2020-10-23 cs.CV cs.LG eess.IV
Enhancing Multimodal Entity Linking with Jaccard Distance-based Conditional Contrastive Learning and Contextual Visual Augmentation
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；VinAI Research（VinAI研究院）
本文针对多模态实体链接中负样本选择不当的问题，提出 JD-CCL 方法利用元信息选取相似属性负样本以增强鲁棒性，并引入 CVaCPT 方法结合多视角合成图像与上下文文本增强视觉表示，在基准数据集上验证了有效性。
2025-01-24 cs.AI cs.CV
Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
本文提出一种基于强文本MT模型、神经适配器和引导式自注意力的多模态机器翻译方法，并构建对比式多语言多模态评估集CoMMuTE，在标准基准上取得有竞争力结果，在对比测试集上大幅超越现有MMT系统。
2023-05-26 cs.CL cs.CV
CL3DOR: Contrastive Learning for 3D Large Multimodal Models via Odds Ratio on High-Resolution Point Clouds
针对3D LMM训练数据视觉与文本信息粒度不足的问题，本文提出CL3DOR，通过高密度点云、困难负例响应及优势比对比损失提升跨模态理解，并在3D场景理解与推理基准上达到SOTA。
2025-01-07 cs.AI cs.CV
Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization
The Hong Kong University of Science（香港科学与技术大学）；OPPO AI Center（OPPO AI中心）
提出上下文视觉对比优化（IC-VCO）方法，通过共享多图像上下文中的对比图像确保数学严谨的目标，并引入视觉对比蒸馏（VCDist）和对比样本编辑策略，有效缓解多模态幻觉。
2026-05-29 cs.CL cs.CV
Large-scale Bilingual Language-Image Contrastive Learning
NAVER Vision（NAVER视觉）
本文是一份技术报告，分享我们的经验和发现，建立一个韩英双语多模态模型。虽然许多多模态数据集专注于英语和多语言多模态研究使用机器翻译的文本，但使用这种机器翻译的文本仅限于描述英语以外的语言中的独特表达，文化信息和专有名词。在这项工作中，我们收集了11亿图像-文本对（7.08亿韩语和4.76亿英语）和训练一个双语多模态模型KELIP。我们引入简单而有效的培训计划，包括MAE预培训和多作物扩增。大量的实验表明，用这种训练方案训练的模型在两种语言中都表现出竞争力。此外，我们还讨论了多模态相关的研究问题：1）基于强增强的方法会分散模型学习正确的多模态关系的注意力; 2）训练没有跨语言关系的多模态模型可以通过视觉语义来学习多模态关系; 3）我们的双语KELIP可以捕捉相同词义的视觉语义的文化差异; 4）大规模多模态模型可用于多模态特征类比。我们希望这项工作将为未来的研究提供有益的经验和发现。我们提供一个开源的预训练KELIP。
2022-04-15 cs.CL cs.CV
What to align in multimodal contrastive learning?
EPFL（洛桑联邦理工学院）；NeuroSpin, CEA（法国原子能和替代能源委员会神经自旋研究所）；CEDRIC, CNAM（法国国立工艺学院CEDRIC实验室）；Radiology Department, CHUV（瑞士洛桑大学医院放射科）
本文提出CoMM多模态对比学习策略，通过最大化多模态特征增强版本间的互信息来对齐表示，使模型能捕获模态间的冗余、独特和协同信息，在七个多模态基准上取得最先进成果。
2025-03-05 cs.AI cs.CL cs.CV
Adapting Multimodal Foundation Models for Few-Shot Learning: A Comprehensive Study on Contrastive Captioners
Department of Computer Science and Engineering, University of Moratuwa, Sri Lanka（计算机科学与工程系，穆塔瓦大学，斯里兰卡）
本文研究了如何通过对比captioners适应少样本学习，探讨了参数高效微调策略及生成-对比基础模型的高效适应方法。
2025-12-14 cs.AI cs.CV
ConVis: Contrastive Decoding with Hallucination Visualization for Mitigating Hallucinations in Multimodal Large Language Models
Sogang University（西江大学）
为缓解多模态大语言模型幻觉问题，提出免训练对比解码方法ConVis，利用T2I模型重建图像并比较概率分布以惩罚幻觉生成，有效提升了模型可靠性。
2024-08-25 cs.AI cs.CV cs.LG
Multimodal Contrastive Learning and Tabular Attention for Automated Alzheimer's Disease Prediction
针对现有计算机视觉方法难以利用AD表格数据的问题，提出多模态对比学习与表格注意力框架，在ADNI的882个MR切片上实现83.8%以上准确率，较先前最优提升近10%。
2023-08-29 cs.AI cs.CV
Generalized Contrastive Learning for Universal Multimodal Retrieval
Qualcomm AI Research（高通人工智能研究）
针对跨模态模型难以检索图文融合键且新构造三元组数据成本高、泛化差的问题，本文提出 GCL 损失，在 mini-batch 内利用现有图文配对数据进行全模态对比学习，并在多个基准和模型上验证了稳定提升。
2025-09-30 cs.CV cs.LG
Robots Autonomously Detecting People: A Multimodal Deep Contrastive Learning Method Robust to Intraclass Variations
University of Toronto（多伦多大学）
本文提出一种多模态人员检测架构，结合TimCLR预训练与MFRCNN检测器，通过跨模态对比学习提升类内变化下的检测精度。
2024-02-13 cs.CV cs.RO
FormNetV2: Multimodal Graph Contrastive Learning for Form Document Information Extraction
Google Cloud AI Research（谷歌云人工智能研究院）；Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）
针对表单文档理解现有多模态预训练方法调优复杂、需额外数据的问题，提出FormNetV2集中式多模态图对比学习框架，用统一损失实现多模态自监督预训练，结合边界框图像特征提取，以更紧凑的模型在多个基准上取得SOTA性能。
2023-06-13 cs.CL cs.CV cs.LG
What Do Hallucinations Reveal About Multimodal Reasoning? Diagnosing Visual Grounding Failures via Contrastive Decoding Probes
Ocean University of China（中国海洋大学）
本研究提出无需训练的SAFE对比解码框架，通过对比视觉接地与消融路径诊断LVLM幻觉，发现视觉依赖衰减、幻觉成簇及早期干预有效，并在MMHalBench上显著优于基线。
2026-09-16 cs.CV cs.MM
PROMISE: Prompt-Attentive Hierarchical Contrastive Learning for Robust Cross-Modal Representation with Missing Modalities
针对多模态模型在模态缺失时性能下降、现有方法难以维持跨模态一致性的问题，提出PROMISE提示注意力分层对比学习框架，通过多模态提示学习与提示注意力机制弥合表征差距，实验证明其性能优于现有最优方法。
2025-11-14 cs.CV cs.LG
RegionMed-CLIP: A Region-Aware Multimodal Contrastive Learning Pre-trained Model for Medical Image Understanding
针对医学图像理解中标注数据稀缺和全局特征忽略关键病理区域的问题，本文提出区域感知多模态对比学习框架RegionMed-CLIP，通过ROI处理器融合局部与全局特征，并构建MedRegion-500k大规模区域标注语料库，在多项任务上显著超越现有视觉语言模型。
2025-09-19 cs.AI cs.CV
SyCoCa: Symmetrizing Contrastive Captioners with Attentive Masking for Multimodal Alignment
Ant Group（蚂蚁集团）
本文提出SyCoCa方法，通过引入文本引导的掩码图像建模头和注意力掩码策略，在全局与局部层面实现图像与文本的双向交互，有效提升了多模态对齐在细粒度层面的理解能力。
2024-01-04 cs.AI cs.CV
Pixel-Wise Multimodal Contrastive Learning for Remote Sensing Images
Wageningen University & Research（瓦赫宁根大学与研究学院）；Institute of Computing, University of Campinas (UNICAMP)（计算学院，坎皮纳斯大学（UNICAMP））
本文提出像素级多模态对比学习方法，通过二维表示和对比学习提升遥感图像中特征提取效果，优于现有方法。
2026-01-07 cs.AI cs.CV
Contrastive Learning for Multimodal Human Activity Recognition with Limited Labeled Data
College of Computer Science, Northwest University（西北大学计算机学院）；Xinjiang University（新疆大学）
本文提出CLMM框架，通过两阶段训练策略提升有限标记数据下的多模态人类活动识别性能，实验表明在三个公开数据集上均优于现有方法。
2026-04-25 cs.CV cs.LG
Language Models Can See Better: Visual Contrastive Decoding For LLM Multimodal Reasoning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出免训练的 MVCD 框架，通过视觉信号文本化与对比示例解码增强 LLM 的视觉感知和多模态推理，并在五个问答数据集、四个 LLM 上验证了准确率提升。
2025-02-17 cs.AI cs.CV
Multimodal Medical Endoscopic Image Analysis via Progressive Disentangle-aware Contrastive Learning
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；First Affiliated Hospital, Sun Yat-sen University（中山大学第一附属医院）；College of Big Data and Internet, Shenzhen Technology University（深圳技术大学大数据与互联网学院）
本文提出一种基于“对齐-解耦-融合”机制的多模态表示学习框架，整合WLI与NBI内窥镜图像，通过多尺度分布对齐和渐进式特征解耦提升咽喉部肿瘤分割精度。
2025-08-23 cs.CV eess.IV
Enhancing Multimodal Medical Image Classification using Cross-Graph Modal Contrastive Learning
Department of Systems Engineering, Stevens Institute of Technology, Hoboken, New Jersey, USA（系统工程系，史蒂文斯理工学院）；Department of Nuclear Medicine, Kaohsiung Chang Gung Memorial Hospital, Kaohsiung, Taiwan（高雄长庚纪念医院核医学部）；Institute of Statistics, National University of Kaohsiung, Kaohsiung, Taiwan（国立高雄大学统计研究所）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China（深圳先进技术研究院，中国科学院）
本文提出跨图模态对比学习框架CGMCL，通过构建跨模态图并在共享潜在空间对齐图像与非图像特征，提升多模态医学图像分类的准确性、可解释性和早期疾病预测能力。
2025-11-10 cs.CV eess.IV
HySurvPred: Multimodal Hyperbolic Embedding with Angle-Aware Hierarchical Contrastive Learning and Uncertainty Constraints for Survival Prediction
Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）；City University of Hong Kong（香港城市大学）；Stanford University（斯坦福大学）
针对癌症生存预测中欧氏建模难以表征层级结构、风险区间离散化及删失样本利用不足的问题，本文提出 HySurvPred，通过双曲映射、角度感知排序对比损失和删失条件不确定性约束提升多模态预测性能。
2025-03-18 cs.CV cs.LG
