TeMo: Temperature Modulation for Multimodal Contrastive Learning
MPI for Informatics（马克斯·普朗克信息学研究所）；SIC Tuebingen AI Center（图宾根人工智能中心SIC）；University of Tuebingen（图宾根大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出TeMo温度调制框架，根据样本对相似度自适应调整温度，集成多模态与单模态损失，在零样本检索和分类任务上取得新最优性能。
2026-09-09 cs.CV
WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models
Shanghai AI Laboratory（上海人工智能实验室）
本文提出大规模中英多模态数据集WanJuan，涵盖文本、图文和视频模态且总容量超2TB，用于训练InternLM模型，在多维评估中展现显著优势，解决了开源数据匮乏与透明度缺失问题。
2023-09-15 cs.CL cs.CV
EmoMeta: A Multimodal Dataset for Fine-grained Emotion Classification in Chinese Metaphors
School of Software（软件学院）；Dalian University of Technology（大连理工大学）；School of Foreign Languages and School of Software（外语学院和软件学院）；Faculty of Business Administration（商学院）；University of Macau（澳门大学）；School of Computing Technologies（计算技术学院）；RMIT University（皇家墨尔本理工大学）
针对现有多模态隐喻细粒度情感数据集匮乏、多聚焦英语的问题，该研究构建了含5000对中文隐喻广告图文的EmoMeta数据集，完成多维度精细标注并公开，助力相关领域研究。
2025-05-12 cs.AI cs.CL cs.CV
ShizhenGPT: Towards Multimodal LLMs for Traditional Chinese Medicine
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Freedom AI；National Health Data Institute, Shenzhen（深圳国家健康数据研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Guangdong University of Technology（广东工业大学）
针对中医药领域大语言模型应用面临的数据稀缺和诊断多模态特性两大挑战，提出首个定制化多模态LLM ShizhenGPT，构建大规模中医药数据集并通过预训练与微调实现，在资格考试和视觉任务中表现优异，为中医药多模态诊断提供支撑。
2025-08-20 cs.AI cs.CL cs.CV
ERNIE-ViL 2.0: Multi-view Contrastive Learning for Image-Text Pre-training
Baidu Inc.（百度公司）
近年来，基于双编码器的视觉语言预训练（VLP）模型因其在各种跨模态任务上的优异性能和较高的计算效率，引起了学术界和工业界的广泛关注。他们试图使用图像-文本对的对比学习来学习跨模态表示，然而，所建立的模态间相关性仅依赖于每个模态的单个视图。事实上，一幅图像或一段文字包含了各种潜在的视图，就像人类可以通过各种描述或照片来捕捉真实世界的场景一样。在本文中，我们提出了ERNIE-ViL 2.0，多视图对比学习框架，同时建立不同视图之间的模态内和模态间的相关性，旨在学习一个更强大的跨模态表示。具体来说，我们在每个模态内构建多个视图来学习模态内相关性，以增强单模态表示。除了固有的视觉/文本视图，我们构造的对象标签序列作为一个特殊的文本视图，以缩小跨模态的语义差距嘈杂的图像-文本对。ERNIE-ViL 2.0使用29 M公开可用的数据集进行预训练，在英语跨模态检索上取得了有竞争力的结果。此外，为了将我们的方法推广到中文跨模态检索任务，我们通过将预训练数据集扩展到1.5 B中文图像-文本对来训练ERNIE-ViL 2.0，与之前SOTA在中文跨模态检索上的结果相比，结果有了显著的改进。我们在https://github.com/PaddlePaddle/ERNIE中发布了我们的预训练模型。
2022-09-30 cs.CV
Towards Patronizing and Condescending Language in Chinese Videos: A Multimodal Dataset and Detector
Dalian University of Technology（大连理工大学）；University of Tsukuba（筑波大学）
针对中文视频中 PCL 微冒犯缺乏多模态研究的问题，本文构建含 715 个 Bilibili 视频的 PCLMM 数据集，并提出带面部表情检测模块的 MultiPCL 检测器。
2024-09-10 cs.CL cs.CV
Harnessing Shared Relations via Multimodal Mixup Contrastive Learning for Multimodal Classification
Indian Institute of Technology Bombay（印度理工学院班加罗尔）；AIM for Health Lab, Department of Data Science & AI, Monash University（AIM健康实验室，数据科学与人工智能系，莫纳什大学）
提出多模态 Mixup 对比学习方法（M3CoL），通过基于 Mixup 的对比损失捕获模态间的共享关系，结合融合与单模态预测模块进行辅助监督，在多个多模态分类数据集上取得优异性能。
2025-06-30 cs.AI cs.CV
GAOKAO-MM: A Chinese Human-Level Benchmark for Multimodal Models Evaluation
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）
本文提出基于中国高考的中文多模态基准 GAOKAO-MM，从 8 个学科和 12 类图像评估模型的人类水平感知、知识与推理能力；10 个 LVLMs 准确率均低于 50%，揭示其与 AGI 的差距。
2024-08-06 cs.AI cs.CL cs.CV
Parkinson's Disease Classification Using Contrastive Graph Cross-View Learning with Multimodal Fusion of SPECT Images and Clinical Features
School of Systems and Enterprises, Stevens Institute of Technology（史蒂文斯理工大学系统与企业学院）；Kaohsiung Chang Gung Memorial Hospital（高雄长庚纪念医院）
提出结合SPECT图像与临床特征的多模态对比跨视图图融合方法，通过共注意力模块与对比损失提升特征提取与融合，在帕金森病分类中实现0.91准确率和0.93 AUC，优于传统机器学习方法。
2024-08-24 cs.CV
Best of Both Worlds: Multimodal Contrastive Learning with Tabular and Imaging Data
Technical University of Munich（慕尼黑工业大学）；Klinikum Rechts der Isar（伊萨尔河右岸医院）；Imperial College London（伦敦帝国理工学院）
医学数据集，特别是生物库，通常包含大量的表格数据，除了图像外还包含丰富的临床信息。在实践中，临床医生通常在多样性和规模方面拥有较少的数据，但仍然希望部署深度学习解决方案。再加上不断增加的医疗数据集大小和昂贵的注释成本，可以进行多模态预训练和单模态预测的无监督方法的必要性已经上升。为了满足这些需求，我们提出了第一个自我监督的对比学习框架，利用图像和表格数据训练单峰编码器。我们的解决方案结合了Simplified和SCARF，两个领先的对比学习策略，是简单而有效的。在我们的实验中，我们通过使用心脏MR图像和来自40，000名英国生物银行受试者的120个临床特征预测心肌梗死和冠状动脉疾病（CAD）的风险来证明我们框架的强度。此外，我们使用DVM汽车广告数据集展示了我们的方法对自然图像的普遍性。我们利用表格数据的高度可解释性，并通过属性和消融实验发现，形态计量表的功能，描述大小和形状，在对比学习过程中有特大的重要性，提高学习嵌入的质量。最后，我们引入了一种新形式的监督式对比学习，标签作为一个特征（LaaF），通过在多模态预训练期间将地面真实标签作为表格特征，优于所有监督对比基线。
2023-03-30 cs.CV
Align and Attend: Multimodal Summarization with Dual Contrastive Losses
University of Maryland, College Park（马里兰大学帕克分校）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
针对现有多模态摘要方法忽略模态时间对应及样本关联的问题，提出基于Transformer的A2Summ模型与双对比损失，在多个数据集上取得SOTA，并发布大规模数据集BLiSS。
2023-06-12 cs.CV
Learning Contrastive Multimodal Fusion with Improved Modality Dropout for Disease Detection and Prediction
OMRON SINIC X Corporation（OMRON SINIC X公司）；Nara Institute of Science and Technology（名取科学技術大學院）
针对医疗多模态数据融合中模态不平衡和缺失问题，提出集成增强模态丢弃与对比学习的框架，引入可学习模态标记改进缺失感知融合，在大规模临床数据集上实现SOTA性能，尤其单模态场景表现优异，且适配CT基础模型，为临床应用提供高效方案。
2025-09-22 cs.CV
CMMMU: A Chinese Massive Multi-discipline Multimodal Understanding Benchmark
Multimodal Art Projection Research Community（多模态艺术投影研究共同体）；Hong Kong University of Science and Technology（香港科技大学）；University of Waterloo（滑铁卢大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Peking University（北京大学）；The Hong Kong Polytechnic University（香港理工大学）；Waseda University（早稻田大学）；University of Manchester（曼彻斯特大学）
CMMMU是一个中文大规模多学科多模态理解基准，包含12k个大学水平问题，覆盖六大学科，用于评估大型多模态模型的高级推理能力，GPT-4V仅达42%准确率，表明巨大提升空间。
2024-11-04 cs.AI cs.CL cs.CV
CSVQA: A Chinese Multimodal Benchmark for Evaluating STEM Reasoning Capabilities of VLMs
Skywork AI；Kunlun Inc.
针对现有多模态基准缺乏真实科学推理场景的问题，研究提出中文多模态基准CSVQA，包含1378道STEM领域视觉问答题目及配套评估协议，评估15款VLM后发现最优模型准确率仅49.6%，凸显提升该类模型科学推理能力的紧迫性。
2025-06-17 cs.AI cs.CV
L-MCAT: Unpaired Multimodal Transformer with Contrastive Attention for Label-Efficient Satellite Image Classification
提出 L-MCAT 框架，通过 MSA 与 U-MAA 在非配对多模态卫星数据上实现标签高效分类，以更少参数和算力在 SEN12MS 上取得 95.4% 准确率并具备强鲁棒性。
2025-07-27 cs.CV
Unified Contrastive Fusion Transformer for Multimodal Human Action Recognition
Hanyang University（汉阳大学）
本文提出多模态融合架构UCFFormer，通过Unified Transformer捕获时间与模态依赖，结合对比学习对齐特征，在UTD-MHAD和NTU RGB+D数据集上实现了最先进的人类动作识别性能。
2023-09-10 cs.CV
Confidence-driven Gradient Modulation for Multimodal Human Activity Recognition: A Dynamic Contrastive Dual-Path Learning Approach
针对多模态人类活动识别中的跨模态特征对齐困难和模态贡献不平衡问题，提出动态对比双路径网络（DCDP-HAR）框架，通过双路径特征提取、多阶段对比学习和置信度驱动梯度调制，提升识别性能。
2025-08-26 cs.CV
Research on the Laws of Multimodal Perception and Cognition from a Cross-cultural Perspective -- Taking Overseas Chinese Gardens as an Example
Beijing Forestry University（北京林业大学）
本研究利用深度学习分析社交媒体文本和图像，结合多智能体系统，探索海外中国园林中感知与情感认知的关系，为跨文化审美体验研究提供新视角。
2023-12-29 cs.AI cs.CL cs.CV
Multimodal Contrastive Training for Visual Representation Learning
University of Chicago（芝加哥大学）；Adobe Research（Adobe研究院）
我们开发了一种方法来学习视觉表示，包括多模态数据，由内和模态间的相似性保存目标的组合驱动。与现有的视觉预训练方法不同，这些方法在单个域中解决代理预测任务，我们的方法同时利用每个模态内的固有数据属性和跨模态相关性的语义信息，从而提高了学习的视觉表示的质量。通过在具有不同类型对比损失的统一框架中包含多模态训练，我们的方法可以学习更强大和通用的视觉特征。我们首先在COCO上训练我们的模型，并在各种下游任务上评估学习到的视觉表示，包括图像分类、目标检测和实例分割。例如，通过我们的方法在COCO上预训练的视觉表示在通用传输协议下在ImageNet分类上实现了$55.3\%$的最先进的top-1验证精度。我们还评估了我们的方法在大规模的股票图像数据集，并显示其有效性的多标签图像标记，和跨模态检索任务。
2021-04-26 cs.CV
CCTVBench: Contrastive Consistency Traffic VideoQA Benchmark for Multimodal LLMs
Technical University of Munich（慕尼黑技术大学）；University of California, Los Angeles（加州大学洛杉矶分校）
CCTVBench通过真实事故视频与世界模型生成的反事实场景配对，提出对比一致性评估方法，揭示视频问答中对比一致性与标准指标间的显著差距，并引入C-TCD方法提升问答与一致性性能。
2026-04-22 cs.CV
On the Importance of Contrastive Loss in Multimodal Learning
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文从理论角度分析了简单多模态对比学习模型的训练动态，揭示正对驱动表示对齐但增加条件数，负对则减小条件数以保持表示平衡，证明了对比对在多模态学习中的重要性。
2023-04-07 cs.CL cs.CV cs.LG
CLIPin: A Non-contrastive Plug-in to CLIP for Multimodal Semantic Alignment
Beijing Institute of Technology（北京理工大学）；Beijing Tongren Hospital（北京同仁医院）
针对CLIP在弱监督下语义对齐松散的问题，提出非对比式插件CLIPin，通过共享预投影器增强监督，提升多模态对齐鲁棒性，并在多任务中验证其通用性。
2025-09-25 cs.AI cs.CV
Toward a Culturally Adapted Chinese Language Agent: A Wizard-of-Oz Study of Nonverbal Behavior in Chinese-German Intercultural Interaction
Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)（德国人工智能研究中心）；National Kaohsiung University of Science and Technology（国立高雄科技大学）
本研究针对现有中文学习智能体缺乏跨文化规范敏感度支持的问题，设计绿野仙踪实验与实时多模态数据采集系统，构建分层标注语料库与生态互动场景，为文化适配的中文学习对话智能体奠定基础。
2026-09-30 cs.CL cs.CV cs.HC
The More, the Merrier: Contrastive Fusion for Higher-Order Multimodal Alignment
Foundation for Research and Technology-Hellas（希腊研究与技术基金会）；University of Crete（克里特大学）；KU Leuven（鲁汶大学）
本文提出对比融合框架，通过联合嵌入个体模态及其融合组合，捕捉高阶依赖关系，提升多模态对齐效果。
2026-04-03 cs.AI cs.CV
Multimodal Contrastive Learning with LIMoE: the Language-Image Mixture of Experts
Google Brain（谷歌大脑）
大型稀疏激活模型在多个领域都取得了优异的性能。然而，这样的模型通常一次在单个模态上训练。我们提出了一种能够进行多模态学习的稀疏混合专家模型--图像MoE，LI MoE。LIMoE同时接受图像和文本，同时使用对比损失进行训练。MoE是多模态骨干的天然适合，因为专家层可以学习模态的适当划分。然而，新的挑战出现了;特别是，训练稳定性和平衡的专家利用率，我们提出了一个基于熵的正则化方案。在多个尺度上，我们表现出显着的性能改善密集模型的等效计算成本。LIMoE-L/16训练到CLIP-L/14的映射实现了78.6%的zero-shot ImageNet准确率（vs. 76.2%），当进一步扩展到H/14（使用额外数据）时，它达到了84.1%，与使用更大的自定义每模态主干和预训练方案的最先进方法相当。我们分析了定量和定性行为的LIMoE，并证明了现象，如不同的治疗方式和有机出现的特定模式的专家。
2022-06-06 cs.CV
Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal Human Activity Recognition
Maastricht University（马斯特里赫特大学）
人类活动识别是输入数据可以采取多种形式的研究领域。每一种可能的输入方式都以不同的方式描述人类行为，每一种都有自己的优点和缺点。我们探讨的假设，利用多种形式可以导致更好的识别。由于手动注释的输入数据是昂贵和耗时的，重点是自我监督的方法，可以学习有用的功能表示没有任何地面真值标签。我们扩展了一些最近的对比自我监督的方法，人类活动识别的任务，利用惯性和骨架数据。此外，我们提出了一个灵活的，通用的框架进行多模态自监督学习，名为对比多视图编码与跨模态知识挖掘（CMC-CMKM）。该框架利用模态特定的知识，以减轻典型的自我监督框架的局限性。在两个广泛使用的数据集上进行的大量实验表明，所提出的框架在不同的场景下，包括全监督微调，活动检索和半监督学习，显着优于对比单峰和多峰基线。此外，即使与监督方法相比，它也显示出性能竞争力。
2022-05-20 cs.AI cs.CV
Efficient Multimodal 3D Object Detector via Instance-Level Contrastive Distillation
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）
针对多模态3D检测中的模态异构、错位及大BEV特征融合效率问题，提出ICD实例级对比蒸馏与CLFM交叉线性注意力融合，在KITTI和nuScenes上以更高效率超越SOTA。
2025-03-17 cs.CV
Mask What Matters: Mitigating Object Hallucinations in Multimodal Large Language Models with Object-Aligned Visual Contrastive Decoding
ETH Zurich（苏黎世联邦理工学院）；Amazon（亚马逊）；MBZUAI（穆罕默德·本·拉什德智能科学技术研究院）
本文提出了一种通过对象对齐的视觉对比解码缓解多模态大语言模型中对象幻觉的方法，具有计算开销低且兼容性强的特点。
2026-02-12 cs.CL cs.CV
MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation
研究针对现有在线医疗咨询基准与实际临床实践契合度差的问题，构建MedRealMM基准测试，用多模态临床挑战点提取框架转化任务并设评分标准，评估多个大语言模型，指出图像信息重要，前沿模型有不足，为多模态医学推理评估提供现实可重复基准。
2026-07-17 cs.AI cs.CL cs.CV
fMRI-TAMCL: Text-Anchored Supervised Multimodal Contrastive Learning for fMRI-Based Brain Disorder Classification
Texas State University（德克萨斯州立大学）；University of Technology and Applied Sciences（科技大学与应用科学大学）
针对rs-fMRI多模态异质性和文本缺失问题，提出文本锚定多模态对比学习框架fMRI-TAMCL，整合图像、稀疏FC和生成文本，在五个数据集上以78.6%-86.4%准确率优于29个基线。
2026-10-06 cs.CV
Contrastive Multimodal Fusion with TupleInfoNCE
Tsinghua University（清华大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）；Peking University（北京大学）；Xidian University（西安电子科技大学）；Peng Cheng Laboratory（鹏城实验室）
提出了一种利用对比损失的多模态数据表示学习方法。传统的方法是对比不同的模式来学习它们之间共享的信息。然而，这种做法可能无法学习可能对下游任务有用的各种模式之间的互补协同作用。另一种方法是将所有模态连接到元组中，然后对比正元组和负元组对应。然而，这种做法可能只考虑较强的模式，而忽略较弱的模式。为了解决这些问题，我们提出了一个新的对比学习目标，TupleInfoNCE。它不仅基于正对应和负对应来对比元组，而且还通过使用描述不同场景的模态来组成新的负元组来对比元组。使用这些额外的否定项进行训练可以鼓励学习模型检查同一元组中模态之间的对应关系，确保不忽略弱模态。我们提供了一个基于互信息的理论证明，为什么这种方法的工作原理，我们提出了一个样本优化算法来生成积极和消极的样本，以最大限度地提高训练效果。我们发现TupleInfoNCE在三个不同的下游任务上显著优于以前的技术水平。
2021-07-06 cs.CV
What Really Works for Universal Multimodal Embeddings? A Controlled Study of Contrastive Training Strategies
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Universität Hamburg（汉堡大学）；Sichuan University（四川大学）
该研究通过在MMEB上的受控实验，揭示多数对比训练策略对多模态嵌入的提升有限，整合难负样本挖掘等三类策略可使Qwen2-VL-2B在MMEB上平均提升6.0%，为模型训练提供了可行方案。
2026-10-14 cs.CV
CoMIR: Contrastive Multimodal Image Representation for Registration
Uppsala University（乌普萨拉大学）
我们提出对比编码来学习共享的、密集的图像表示，称为CoMIRs（对比多模态图像表示）。CoMIRs使得能够配准多模态图像，其中现有的配准方法由于缺乏足够相似的图像结构而经常失败。CoMIRs将多模态配准问题简化为单模态配准问题，其中可以应用一般的基于强度的配准算法以及基于特征的配准算法。该方法涉及使用基于噪声对比度估计（InfoNCE）的对比度损失在对齐图像上训练每个模态的一个神经网络。不像其他对比编码方法，例如，分类，我们的方法生成图像般的表示，包含模态之间共享的信息。我们引入了一种新的，超参数的修改InfoNCE，执行旋转等方差的学习表示，注册任务必不可少的属性。我们评估了在RGB和近红外图像的遥感数据集上实现的旋转等方差的程度和相对于权重初始化，训练集和超参数设置的表示的稳定性。我们通过配准明场和二次谐波生成显微镜图像的生物医学数据集来评估所学习的表示;两种方式几乎没有明显的相关性。所提出的基于CoMIRs的方法显著优于基于GAN的图像到图像转换所创建的表示的配准，以及考虑到有关数据的额外知识的最先进的特定于应用的方法。代码可从以下网址获得：https://github.com/MIDA-group/CoMIR。
2020-10-23 cs.CV cs.LG eess.IV
MCN-CL: Multimodal Cross-Attention Network and Contrastive Learning for Multimodal Emotion Recognition
School of Computer and Information Engineering, Anhui University of Finance and Economics, Anhui, 233030, China（计算机与信息工程学院，安徽财经大学，安徽，233030，中国）；State Key Laboratory of Cognitive Science and Mental Health, Institute of Psychology, Chinese Academy of Sciences, Beijing, 100045, China（认知科学与心理健康国家重点实验室，心理学研究所，中国科学院，北京，100045，中国）
针对多模态情感识别现存的类别不均衡、时序建模难、模态异质性融合难问题，本文提出MCN-CL方法，通过三元查询机制与难负样本挖掘策略优化特征，在两个基准数据集上取得了优于SOTA的性能。
2025-11-14 cs.AI cs.CV
CiQi-Agent: Aligning Vision, Tools and Aesthetics in Multimodal Agent for Cultural Reasoning on Chinese Porcelains
Shanghai Innovation Institute（上海创新研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Shaanxi Academy of Cultural Relics Conservation（陕西省文物保护研究院）
本文提出CiQi-Agent，通过多图像输入、视觉工具调用和多模态检索增强生成，实现对瓷器六个属性的精细分析，同时构建了专家标注的CiQi-VQA数据集和对齐的CiQi-Bench基准，实验表明其在六个属性上的准确率比GPT-5高12.2%。
2026-03-30 cs.AI cs.CV
MGI: Multimodal Contrastive pre-training of Genomic and Medical Imaging
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
本文提出多模态预训练框架MGI，结合Mamba基因编码器与ViT影像编码器，利用自监督对比学习对齐基因组与医学影像，在TCGA数据集预训练并在肿瘤分割任务中表现优异。
2024-06-02 cs.CV
What to align in multimodal contrastive learning?
EPFL（洛桑联邦理工学院）；NeuroSpin, CEA（法国原子能和替代能源委员会神经自旋研究所）；CEDRIC, CNAM（法国国立工艺学院CEDRIC实验室）；Radiology Department, CHUV（瑞士洛桑大学医院放射科）
本文提出CoMM多模态对比学习策略，通过最大化多模态特征增强版本间的互信息来对齐表示，使模型能捕获模态间的冗余、独特和协同信息，在七个多模态基准上取得最先进成果。
2025-03-05 cs.AI cs.CL cs.CV
Can representation learning for multimodal image registration be improved by supervision of intermediate layers?
Uppsala University（乌普萨拉大学）
多模态成像和相关分析通常需要图像对准。对比学习可以生成多模态图像的表示，将多模态图像配准的挑战性任务减少到单模态。以前，在对比学习中对中间层的额外监督已经改进了生物医学图像分类。我们评估了类似的方法是否可以改进注册学习的表示，以提高注册性能。我们探索了三种方法来增加对比监督的潜在功能的瓶颈层的U-Nets编码的多模态图像和评估三个不同的批评功能。我们的研究结果表明，在没有对潜在特征进行额外监督的情况下学习的表示在两个公共生物医学数据集的注册下游任务中表现最好。我们研究的性能下降，利用最近的见解在分类和自监督学习的对比学习。我们通过多维尺度可视化学习表示的空间关系，并表明对瓶颈层的额外监督可能导致中间嵌入空间的部分维度崩溃。
2023-03-01 cs.CV cs.LG
Pseudo Contrastive Learning for Diagram Comprehension in Multimodal Models
The Japan Research Institute, Limited（日本研究机构有限公司）
本文提出伪对比学习方法，通过生成合成图表增强多模态模型对图表的理解能力，实验表明在图像-文本匹配和视觉问答任务中优于传统CLIP方法。
2026-03-02 cs.AI cs.CV
AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models
Tsinghua University（清华大学）；Zhipu AI（智谱AI）；Peking University（北京大学）
本文提出首个面向中文视觉语境的多模态对齐基准AlignMMBench，包含13项任务和4978个问答对，并开发了超越GPT-4的评估器CritiqueVLM及对齐分数指标，系统评估了代表性VLM的对齐能力。
2025-06-04 cs.CL cs.CV
ConVis: Contrastive Decoding with Hallucination Visualization for Mitigating Hallucinations in Multimodal Large Language Models
Sogang University（西江大学）
为缓解多模态大语言模型幻觉问题，提出免训练对比解码方法ConVis，利用T2I模型重建图像并比较概率分布以惩罚幻觉生成，有效提升了模型可靠性。
2024-08-25 cs.AI cs.CV cs.LG
Enhancing Multimodal Entity Linking with Jaccard Distance-based Conditional Contrastive Learning and Contextual Visual Augmentation
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；VinAI Research（VinAI研究院）
本文针对多模态实体链接中负样本选择不当的问题，提出 JD-CCL 方法利用元信息选取相似属性负样本以增强鲁棒性，并引入 CVaCPT 方法结合多视角合成图像与上下文文本增强视觉表示，在基准数据集上验证了有效性。
2025-01-24 cs.AI cs.CV
Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
本文提出一种基于强文本MT模型、神经适配器和引导式自注意力的多模态机器翻译方法，并构建对比式多语言多模态评估集CoMMuTE，在标准基准上取得有竞争力结果，在对比测试集上大幅超越现有MMT系统。
2023-05-26 cs.CL cs.CV
CL3DOR: Contrastive Learning for 3D Large Multimodal Models via Odds Ratio on High-Resolution Point Clouds
针对3D LMM训练数据视觉与文本信息粒度不足的问题，本文提出CL3DOR，通过高密度点云、困难负例响应及优势比对比损失提升跨模态理解，并在3D场景理解与推理基准上达到SOTA。
2025-01-07 cs.AI cs.CV
Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization
The Hong Kong University of Science（香港科学与技术大学）；OPPO AI Center（OPPO AI中心）
提出上下文视觉对比优化（IC-VCO）方法，通过共享多图像上下文中的对比图像确保数学严谨的目标，并引入视觉对比蒸馏（VCDist）和对比样本编辑策略，有效缓解多模态幻觉。
2026-05-29 cs.CL cs.CV
FormNetV2: Multimodal Graph Contrastive Learning for Form Document Information Extraction
Google Cloud AI Research（谷歌云人工智能研究院）；Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）
针对表单文档理解现有多模态预训练方法调优复杂、需额外数据的问题，提出FormNetV2集中式多模态图对比学习框架，用统一损失实现多模态自监督预训练，结合边界框图像特征提取，以更紧凑的模型在多个基准上取得SOTA性能。
2023-06-13 cs.CL cs.CV cs.LG
Large-scale Bilingual Language-Image Contrastive Learning
NAVER Vision（NAVER视觉）
本文是一份技术报告，分享我们的经验和发现，建立一个韩英双语多模态模型。虽然许多多模态数据集专注于英语和多语言多模态研究使用机器翻译的文本，但使用这种机器翻译的文本仅限于描述英语以外的语言中的独特表达，文化信息和专有名词。在这项工作中，我们收集了11亿图像-文本对（7.08亿韩语和4.76亿英语）和训练一个双语多模态模型KELIP。我们引入简单而有效的培训计划，包括MAE预培训和多作物扩增。大量的实验表明，用这种训练方案训练的模型在两种语言中都表现出竞争力。此外，我们还讨论了多模态相关的研究问题：1）基于强增强的方法会分散模型学习正确的多模态关系的注意力; 2）训练没有跨语言关系的多模态模型可以通过视觉语义来学习多模态关系; 3）我们的双语KELIP可以捕捉相同词义的视觉语义的文化差异; 4）大规模多模态模型可用于多模态特征类比。我们希望这项工作将为未来的研究提供有益的经验和发现。我们提供一个开源的预训练KELIP。
2022-04-15 cs.CL cs.CV
Adapting Multimodal Foundation Models for Few-Shot Learning: A Comprehensive Study on Contrastive Captioners
Department of Computer Science and Engineering, University of Moratuwa, Sri Lanka（计算机科学与工程系，穆塔瓦大学，斯里兰卡）
本文研究了如何通过对比captioners适应少样本学习，探讨了参数高效微调策略及生成-对比基础模型的高效适应方法。
2025-12-14 cs.AI cs.CV
Multimodal Contrastive Learning and Tabular Attention for Automated Alzheimer's Disease Prediction
针对现有计算机视觉方法难以利用AD表格数据的问题，提出多模态对比学习与表格注意力框架，在ADNI的882个MR切片上实现83.8%以上准确率，较先前最优提升近10%。
2023-08-29 cs.AI cs.CV
Generalized Contrastive Learning for Universal Multimodal Retrieval
Qualcomm AI Research（高通人工智能研究）
针对跨模态模型难以检索图文融合键且新构造三元组数据成本高、泛化差的问题，本文提出 GCL 损失，在 mini-batch 内利用现有图文配对数据进行全模态对比学习，并在多个基准和模型上验证了稳定提升。
2025-09-30 cs.CV cs.LG
IMU2CLIP: Multimodal Contrastive Learning for IMU Motion Sensors from Egocentric Videos and Text
Meta Reality Labs（Meta现实实验室）
我们提出了IMU 2CLIP，这是一种新的预训练方法，通过将它们投影到对比图像预训练（CLIP）的联合表示空间中，将惯性测量单元（IMU）运动传感器记录与视频和文本对齐。所提出的方法允许IMU 2CLIP将人类运动（由IMU传感器测量）转换为相应的文本描述和视频-同时保留这些模态的传递性。我们探讨了几个新的基于IMU的应用程序，IMU 2CLIP使，如基于运动的媒体检索和自然语言推理任务与运动数据。此外，我们还证明了IMU 2CLIP在为每个应用程序（例如活动识别）进行微调时可以显着提高下游性能，证明了IMU 2CLIP作为一种新的预训练资源的普遍使用。我们的代码将公开提供。
2022-10-26 cs.CL cs.CV cs.LG
Robots Autonomously Detecting People: A Multimodal Deep Contrastive Learning Method Robust to Intraclass Variations
University of Toronto（多伦多大学）
本文提出一种多模态人员检测架构，结合TimCLR预训练与MFRCNN检测器，通过跨模态对比学习提升类内变化下的检测精度。
2024-02-13 cs.CV cs.RO
PROMISE: Prompt-Attentive Hierarchical Contrastive Learning for Robust Cross-Modal Representation with Missing Modalities
针对多模态模型在模态缺失时性能下降、现有方法难以维持跨模态一致性的问题，提出PROMISE提示注意力分层对比学习框架，通过多模态提示学习与提示注意力机制弥合表征差距，实验证明其性能优于现有最优方法。
2025-11-14 cs.CV cs.LG
RegionMed-CLIP: A Region-Aware Multimodal Contrastive Learning Pre-trained Model for Medical Image Understanding
针对医学图像理解中标注数据稀缺和全局特征忽略关键病理区域的问题，本文提出区域感知多模态对比学习框架RegionMed-CLIP，通过ROI处理器融合局部与全局特征，并构建MedRegion-500k大规模区域标注语料库，在多项任务上显著超越现有视觉语言模型。
2025-09-19 cs.AI cs.CV
