Turbo your multi-modal classification with contrastive learning
NIO(蔚来)
针对现有多模态对比学习忽略模态内对比的问题,提出Turbo策略,结合模态内与跨模态对比,在音频-文本分类任务上取得SOTA效果。
2024-09-14 cs.LG cs.MM
Hidden in the Multiplicative Interaction: Uncovering Fragility in Multimodal Contrastive Learning
Berlin Institute of Health, Charité - Universitätsmedizin Berlin(柏林健康研究所,柏林查理医院);Intelligent Medicine Institute, Fudan University(智能医学研究院,复旦大学);Department of Mathematics and Computer Science, Freie Universität Berlin(数学与计算机科学系,柏林自由大学)
本文提出Gated Symile,通过引入对比门机制,解决多模态对比学习中因单个模态信息不足、错位或缺失导致的脆弱性问题,提升检索准确率。
2026-05-07 cs.LG
KinEMbed: Decoding Kinematics from Electromyography via Cross-Modal Contrastive Learning
Department of Statistics, University of Oxford(牛津大学统计学系);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
研究从表面肌电图解码手部运动学这一挑战,提出跨模态对比学习框架KinEMbed训练双编码器,用于手部运动学回归,在NinaPro DB8数据集上优于基线方法。
2026-07-07 cs.LG
Investigating Why Contrastive Learning Benefits Robustness Against Label Noise
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
自监督对比学习(CL)最近被证明在防止深度网络过度拟合噪声标签方面非常有效。尽管它的实证成功,对比学习的效果,提高鲁棒性的理论理解是非常有限的。在这项工作中,我们严格证明了通过对比学习学习的表示矩阵通过以下方式增强了鲁棒性:(i)一个突出的奇异值对应于数据中的每个子类,并且剩余的奇异值显著较小;(ii)突出的奇异向量与每个子类的干净标签之间的大对齐。上述属性使在这种表示上训练的线性层能够有效地学习干净的标签,而不会过度拟合噪声。我们进一步表明,使用对比学习预训练的深度网络的雅可比矩阵的低秩结构使它们在对噪声标签进行微调时能够在最初实现卓越的性能。最后,我们证明了对比学习提供的初始鲁棒性使鲁棒训练方法能够在极端噪声水平下实现最先进的性能,例如,在CIFAR-10和CIFAR-100上,平均准确率分别提高了27.18%和15.58%,在WebVision上平均准确率提高了4.11%。
2022-07-05 cs.LG
On the Adversarial Robustness of Graph Contrastive Learning Methods
Technical University of Munich(慕尼黑工业大学)
本文针对图对比学习方法的对抗鲁棒性尚不明确的问题,提出专门的鲁棒性评估协议,在逃逸攻击场景下对图结构进行自适应对抗攻击,并在节点和图分类任务上评估多种GCL模型,为未来研究提供方向。
2023-11-30 cs.LG
Contrastive Cross-Modal Learning for Infusing Chest X-ray Knowledge into ECGs
提出CroMoTEX对比学习框架,利用胸部X光训练增强心电图表示,在三种心脏病理上优于基线,水肿AUROC达78.31。
2025-06-24 cs.LG
Balancing Robustness and Sensitivity using Feature Contrastive Learning
Google Research(谷歌研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
人们普遍认为,对超大型网络进行健壮的训练对于它们在现实世界中的成功至关重要。然而,当采取极端措施时,提高鲁棒性的方法可能会损害模型对罕见或代表性不足的模式的敏感性。在本文中,我们讨论了敏感性和鲁棒性之间的权衡自然(非对抗性)扰动引入两个概念:上下文特征效用和上下文特征敏感性。我们提出的功能对比学习(FCL),鼓励模型更敏感的功能,具有较高的上下文效用。实证结果表明,使用FCL训练的模型实现了鲁棒性和灵敏度的更好平衡,从而在视觉和NLP数据集上存在噪声的情况下提高了泛化能力。
2021-05-19 cs.LG
On the modality gap and the contrastive loss in multi-modal representation learning
Technical University of Denmark(丹麦技术大学)
研究CLIP风格双编码器对比学习中的模态差距,发现是InfoNCE公式在低温下的模式失败所致。提出xNCE方法,使用跨模态和模态内负对比对,能缩小模态差距,提升零样本分类性能且不牺牲判别几何。
2026-07-14 cs.CV cs.LG
PROMISE: Prompt-Attentive Hierarchical Contrastive Learning for Robust Cross-Modal Representation with Missing Modalities
针对多模态模型在模态缺失时性能下降、现有方法难以维持跨模态一致性的问题,提出PROMISE提示注意力分层对比学习框架,通过多模态提示学习与提示注意力机制弥合表征差距,实验证明其性能优于现有最优方法。
2025-11-14 cs.CV cs.LG
How do Cross-View and Cross-Modal Alignment Affect Representations in Contrastive Learning?
TU Delft(代尔夫特理工大学)
各种最先进的自监督视觉表示学习方法通过跨视图和/或模态对齐特征表示来利用来自多个传感器的数据。在这项工作中,我们研究对齐表示如何影响图像和点云上的跨视图和跨模态对比学习获得的视觉特征。在五个真实世界的数据集和五个任务,我们训练和评估108个模型的基础上四个预训练的变化。我们发现,跨模态表示对齐丢弃互补的视觉信息,如颜色和纹理,而是强调冗余的深度线索。从预训练中获得的深度线索提高了下游深度预测性能。此外,总体而言,跨模态对齐导致比通过跨视图对齐进行的预训练更鲁棒的编码器,特别是在深度预测、实例分割和目标检测方面。
2022-11-23 cs.CV cs.LG
Multi-modal Contrastive Representation Learning for Entity Alignment
Tencent Jarvis Lab(腾讯Jarvis实验室);Southeast University(东南大学)
多模态实体对齐旨在识别两个不同的多模态知识图谱之间的等价实体,知识图谱由结构三元组和与实体相关联的图像组成。以往的工作主要集中在如何利用和编码来自不同模态的信息,而它是不平凡的,利用多模态的知识在实体对齐,因为模态的异质性。在本文中,我们提出了MCLEA,多模态对比学习为基础的实体对齐模型,以获得有效的联合表示的多模态实体对齐。与以往的工作不同,MCLEA考虑面向任务的模态和模型的模态间的关系,为每个实体表示。特别地,MCLEA首先从多个模态学习多个个体表示,然后执行对比学习以联合建模模态内和模态间交互。大量的实验结果表明,MCLEA在监督和无监督设置下的公共数据集上的性能优于最先进的基线。
2022-09-02 cs.AI cs.CL cs.LG
Multi-modal contrastive learning adapts to intrinsic dimensions of shared latent variables
Department of Statistics, University of Chicago(芝加哥大学统计系);Department of Statistics and Data Science, Yale University(耶鲁大学统计学与数据科学系)
该研究突破线性表示与特定分布的局限,从理论上证明温度优化下的多模态对比学习可适配数据远低于指定维度的固有维度,且经合成与真实数据集实验验证,为其低维信息表示学习能力提供了理论支撑。
2025-05-18 cs.LG math.ST stat.ML
ContraReg: Contrastive Learning of Multi-modality Unsupervised Deformable Image Registration
New York University(纽约大学);Hyperfine Research(Hyperfine研究公司);Yale University(耶鲁大学)
在不同的成像模式之间建立体素语义对应是一项基础而艰巨的计算机视觉任务。当前的多模态配准技术最大化手工制作的域间相似性函数,在建模非线性强度关系和变形方面受到限制,并且可能需要显著的重新设计或在新任务、数据集和域对上表现不佳。这项工作提出了ContraReg,一种无监督的对比表示学习方法,多模态变形配准。通过将学习到的多尺度局部补丁特征投影到联合学习的域间嵌入空间上,ContraReg获得了对非刚性多模态对齐有用的表示。在实验上,ContraReg实现了准确和稳健的结果,在新生儿T1-T2脑MRI配准任务的一系列基线和消融上具有平滑和可逆的变形,所有方法都在广泛的变形正则化强度范围内得到验证。
2022-06-27 cs.CV cs.LG
MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learning
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
提出首个多模态对比学习记忆化度量MultiMem,发现跨模态语义错位是主要驱动因素,文本模态影响最大,并通过跨模态增强有效降低记忆化并提升性能。
2026-06-24 cs.AI cs.CV cs.LG
CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations
Amazon(亚马逊);University of Freiburg(弗莱堡大学)
对比学习允许我们通过对比负样本集合中的正对来灵活地定义强大的损失。最近,该原理也被用于学习视频和文本的跨模态嵌入,但没有充分利用其潜力。特别是,之前的丢失没有考虑模态内的相似性,这会导致嵌入效率低下,因为相同的内容被映射到嵌入空间中的多个点。通过Crosslink,我们提出了一个解决这个问题的对比损失。此外,我们根据输入嵌入定义了高度相关的样本集,并将其从阴性样本中排除,以避免假阴性问题。我们表明,这些原则始终提高学习嵌入的质量。使用Crosslink学习的联合嵌入扩展了Youcook 2和LSMDC数据集上的视频-文本检索以及Youcook 2数据集上的视频描述的最新技术水平。我们还通过学习其他模态对的改进联合嵌入来证明概念的一般性。
2021-09-30 cs.AI cs.CV cs.LG
A Generalization Theory of Cross-Modality Distillation with Contrastive Learning
The Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出跨模态对比蒸馏(CMCD)框架,结合正负对应进行对比学习,并通过收敛性分析揭示模态间距离对下游任务测试误差的影响,实验证明其在多种模态和任务上优于现有算法2-3%。
2024-05-28 cs.CV cs.LG
Improving Medical Multi-modal Contrastive Learning with Expert Annotations
Aalto University(阿尔托大学)
本研究提出整合放射科医生眼动热图标注的eCLIP模型,通过热图处理器与mixup增强解决医学多模态对比学习的数据稀缺与模态鸿沟问题,适用于各类CLIP变体,在多任务上实现嵌入质量提升。
2024-07-15 cs.CV cs.LG
Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
我们提出了模态间隙,一个有趣的几何现象的表示空间的多模态模型。具体来说,我们表明,不同的数据形式(如图像和文本)嵌入在手臂的长度在他们的共享表示在多模态模型,如CLIP。我们的系统分析表明,这种差距是由模型初始化和对比学习优化相结合造成的。在模型初始化中,我们从经验和理论上证明了普通深度神经网络的表示仅限于窄锥。因此,在具有两个编码器的多模态模型中,当模型被初始化时,两个模态的表示被清楚地分开。在优化过程中,对比学习使不同模态保持一定的距离,该距离受损失函数中的温度参数的影响。我们的实验进一步证明,改变模态间隙距离在提高模型的下游zero-shot分类性能和公平性方面具有显著影响。我们的代码和数据可在https://modalitygap.readthedocs.io/上获得
2022-10-19 cs.AI cs.CL cs.CV
Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning
University of South Dakota(南达科他大学)
本文提出结合监督对比学习与基于间隔的对比损失的新框架,通过优化特征空间结构和决策边界间隔,在CIFAR-100和ResNet-18上提升了对抗鲁棒性。
2024-12-27 cs.AI cs.LG
Token-Level Contrastive Learning with Modality-Aware Prompting for Multimodal Intent Recognition
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Hebei University of Science and Technology(河北科技大学)
本文提出TCL-MAP方法,通过模态感知提示对齐文本、视频和音频特征,并利用令牌级对比学习利用意图标签指导多模态学习,显著提升多模态意图识别性能。
2024-06-06 cs.LG cs.MM
Improving Paratope and Epitope Prediction by Multi-Modal Contrastive Learning and Interaction Informativeness Estimation
College of Informatics, Huazhong Agricultural University(华中农业大学信息学院);Hubei Key Laboratory of Agricultural Bioinformatics, Huazhong Agricultural University(华中农业大学湖北省农业生物信息重点实验室);Engineering Research Center of Intelligent Technology for Agriculture, Ministry of Education(教育部农业智能技术工程研究中心)
提出MIPE方法,通过多模态对比学习整合序列与结构数据并利用交互信息量估计空间交互,显著提升了抗体-抗原结合残基(paratope和epitope)的预测性能。
2024-05-31 cs.LG q-bio.BM q-bio.QM
Explaining and Mitigating the Modality Gap in Contrastive Multimodal Learning
Department of Electrical Engineering \& Computer Science, University of Michigan
本文通过分析对比多模态学习中的模态差距成因,提出通过温度调度和模态交换等策略缓解模态差距,从而提升多模态任务性能。
2026-02-13 cs.AI cs.CV cs.LG
Decipher the Modality Gap in Multimodal Contrastive Learning: From Convergent Representations to Pairwise Alignment
Stony Brook University(史坦尼·布鲁克大学);University Paris 1 Pantheon-Sorbonne(巴黎第一大学)
本文首次提出理论框架,证明维度坍缩是模态差距的根本原因,并揭示通过超平面旋转和共享空间投影可在子空间约束下实现完美对齐。
2025-10-07 cs.AI cs.LG
Distilling Audio-Visual Knowledge by Compositional Contrastive Learning
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);Tencent PCG(腾讯平台与内容事业群);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
与从单一模态学习相比,获得多模态提示(例如视觉和音频)使一些认知任务能够更快地完成。在这项工作中,我们建议跨异构模态的知识转移,即使这些数据模态可能不语义相关。我们不是直接对齐不同模态的表示,而是跨模态组合音频、图像和视频表示,以揭示更丰富的多模态知识。我们的主要思想是学习一个复合嵌入,关闭跨模态的语义差距,并捕捉任务相关的语义,这有利于拉在一起的组合对比学习跨模态的表示。我们在三个视频数据集上建立了一个新的,全面的多模态蒸馏基准:UCF101,ActivityNet和VGGSound。此外,我们证明,我们的模型显着优于各种现有的知识蒸馏方法在转移视听知识,以提高视频表示学习。代码发布在这里:https://github.com/yanbeic/CCL。
2021-04-22 cs.AI cs.CV cs.LG
HyperGCL: Multi-Modal Graph Contrastive Learning via Learnable Hypergraph Views
Northeastern University(东北大学);University of Connecticut(康涅狄格大学);Georgia State University(佐治亚州立大学)
本文提出HyperGCL,一种基于超图视角的多模态图对比学习框架,通过可学习自适应拓扑增强构建三种超图视图,并利用网络感知对比损失定义正负样本,在节点分类任务上达到最先进性能。
2025-02-26 cs.AI cs.LG
COCOA: Cross Modality Contrastive Learning for Sensor Data
RMIT University(皇家墨尔本理工大学);University of New South Wales(新南威尔士大学);Philips Research(飞利浦研究院);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
自监督学习(Self-Supervised Learning,SSL)是一种新的学习模式,用于在没有标记数据的情况下学习判别表示,并且与监督学习模式相比,SSL已经达到了相当的甚至是最先进的结果。对比学习(CL)是SSL中最著名的方法之一,它试图学习数据的一般性、信息性表示。CL方法主要针对仅使用单个传感器模态的计算机视觉和自然语言处理中的应用而开发。然而,大多数普适计算应用程序利用来自一系列不同传感器模态的数据。虽然现有的CL方法仅限于从一个或两个数据源的学习,我们提出了COCOA(交叉mOdality对比学习),一个自我监督的模型,采用了一种新的目标函数,通过计算不同的数据模态之间的互相关,并最大限度地减少不相关的实例之间的相似性,从多传感器数据学习质量表示。我们评估了COCOA对八个最近引入的最先进的自监督模型的有效性,以及五个公共数据集的两个监督基线。我们表明,COCOA实现了优于所有其他方法的分类性能。此外,COCOA的标签效率远远高于其他基线,包括仅使用十分之一可用标签数据的完全监督模型。
2022-08-03 cs.CV cs.LG
CMSBERT-CLR: Context-driven Modality Shifting BERT with Contrastive Learning for linguistic, visual, acoustic Representations
Dongguk University(东国大学)
随着对多模态在线内容的需求不断增长,多模态情感分析已经成为越来越受欢迎的研究领域。对于多模态情感分析,词语可以根据语言上下文和非语言信息而具有不同的含义,因此理解词语的含义是至关重要的。此外,词义的理解应在包含非言语信息的整个话语语境中进行。本文提出了一种基于对比学习的语境驱动的语言、视觉、听觉表征的模态转换BERT(CMSBERT-STABILITY)方法,该方法通过对比学习整合了整个语境中的非言语和言语信息,从而更有效地调整了模态。首先,我们介绍了一种语境驱动的情态转换(CMS),将非言语信息和言语信息整合到句子话语的整个语境中。然后,为了改善在一个共同的嵌入空间内的不同模态的对齐,我们应用对比学习。此外,我们使用指数移动平均参数和标签平滑作为优化策略,这可以使网络的收敛更稳定,增加对齐的灵活性。在我们的实验中,我们证明了我们的方法达到了最先进的结果。
2022-08-21 cs.CL cs.LG cs.SD
Geometric Multimodal Contrastive Representation Learning
KTH Royal Institute of Technology(KTH皇家理工学院);INESC-ID(葡萄牙系统与计算机工程研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院)
由于从不同通道获得的数据的固有异质性,在测试时对缺失模态既有信息又鲁棒的多模态数据的学习表示仍然是一个具有挑战性的问题。为了解决这个问题,我们提出了一种新的几何多模态对比(GMC)表示学习方法,该方法由两个主要部分组成:i)由模态特定的基本编码器和共享投影头组成的两级架构,该编码器允许将任意数量的模态处理为固定维度的中间表示,该投影头将中间表示映射到潜在表示空间; ii)多模态对比损失函数,其鼓励所学习的表示的几何对齐。我们的实验表明,GMC表示是语义丰富,并实现了国家的最先进的性能与丢失的模态信息的三个不同的学习问题,包括预测和强化学习任务。
2022-11-18 cs.AI cs.LG
Multi-Scale and Multi-Modal Contrastive Learning Network for Biomedical Time Series
Shanghai Jiao Tong University(上海交通大学);Key Laboratory for Thin Film and Microfabrication of Ministry of Education(教育部薄膜与微细加工重点实验室);Guangdong JiuZhi Technology Co., Ltd(广东九智科技有限公司);Shenzhen University(深圳大学)
针对多模态生物医学时间序列的噪声与模态差异问题,提出 MBSL 网络,通过模态分组、多尺度 patch/掩码编码及跨模态对比学习提升表示鲁棒性,并在四项任务上超过现有方法。
2023-12-06 cs.AI cs.LG
MLEM: Generative and Contrastive Learning as Distinct Modalities for Event Sequences
Skolkovo Institute of Science and Technology(斯科科沃科学技术学院);HSE University(高等经济大学);Sberbank(俄罗斯联邦储蓄银行);AIRI(人工智能研究所)
针对事件序列自监督学习中对比式与生成式方法各有优势但单一方法受限的问题,本文提出MLEM模型,将两种学习范式作为互补模态并对齐嵌入,在多个指标上取得更优性能。
2024-07-03 cs.AI cs.LG
CCPL: Cross-modal Contrastive Protein Learning
Zhejiang University(浙江大学);AI Lab, Westlake University(西湖大学人工智能实验室)
本文提出无监督跨模态对比蛋白质学习方法CCPL,利用蛋白质语言模型和对比对齐增强结构表示学习,并通过自监督结构约束保持结构信息,在多个基准上取得优越性能。
2024-09-04 cs.AI cs.LG q-bio.BM
Cross-modal Contrastive Learning for Multimodal Fake News Detection
Institute of Information Engineering, CAS(中国科学院信息工程研究所);School of Cyber Security, UCAS(中国科学院大学网络空间安全学院)
本文提出跨模态对比学习框架COOLANT,通过辅助任务软化负样本损失、跨模态融合模块和注意力引导机制提升多模态假新闻检测性能,并在Twitter和Weibo数据集上取得最优结果。
2023-08-11 cs.AI cs.CL cs.LG
Bidirectional Contrastive Split Learning for Visual Question Answering
University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目)
针对隐私保护型视觉问答,提出BiCSL分割学习框架,通过模块解耦、梯度与权重共享及对比损失实现去中心化训练,并在VQA-v2上验证性能与抗后门攻击稳健性。
2023-12-11 cs.CV cs.LG
Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
人脸微表情识别是近年来研究的热点。微表情具有持续时间短、强度低的特点,现有的微表情数量有限,很难训练出高性能的分类器。因此,识别微表情是一项具有挑战性的任务。提出了一种基于属性信息嵌入和跨模态对比学习的微表情识别方法。在人脸动作编码系统中,采用三维CNN提取微表情序列的RGB特征和FLOW特征并进行融合,采用BERT网络提取文本信息。通过跨模态对比损失,将属性信息嵌入到视觉网络中,从而提高了在样本有限情况下微表情识别的表征能力。在CASME II和MMEW数据库上进行了大量的实验,准确率分别为77.82%和71.04%。对比实验表明,该方法在微表情识别中具有较好的识别效果。
2022-05-29 cs.AI cs.CV cs.LG
SynCo: Learning Cross-Modal Synergy by Contrasting Interaction Residuals
SynCo通过监督交互残差直接训练多模态协同,以可忽略的计算成本提升协同捕获,在Trifeature及真实基准上优于或匹配现有方法。
2026-09-29 cs.CV cs.LG
DELAN: Dual-Level Alignment for Vision-and-Language Navigation by Cross-Modal Contrastive Learning
School of Data Science, Fudan University(复旦大学数据科学学院);Alibaba Group(阿里巴巴集团);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
DELAN框架通过跨模态对比学习在融合前对指令-历史与地标-观察进行双层对齐,增强跨模态交互与决策,并可无缝集成到现有模型中,在多个VLN基准上提升导航性能。
2024-04-02 cs.CL cs.CV cs.LG
Contrastive Learning of Visual-Semantic Embeddings
Cadence Design Systems (India) Private Limited(楷登电子科技(印度)私人有限公司);Indian Institute of Technology, Jodhpur(焦特布尔印度理工学院)
对比学习是一种强大的技术,可以学习语义独特且几何不变的表示。虽然大多数早期的方法已经证明了其对单模态学习任务(如图像分类)的有效性,但最近有一些尝试将此想法扩展到多模态数据。在本文中,我们提出了两个损失函数的归一化交叉熵的基础上执行的任务,学习联合视觉语义嵌入使用批量对比训练。在一个批次中,对于来自一个模态的给定锚点,我们只考虑来自另一个模态的否定,并基于所有否定引起的预期违规来定义我们的第一个对比损失。接下来,我们更新这个损失,并定义第二个对比损失的基础上,违反所招致的只有最难的负面。我们将我们的结果与现有的视觉语义嵌入方法进行比较,使用MS-COCO和Flickr 30 K数据集进行跨模态图像到文本和文本到图像检索任务,我们在MS-COCO数据集上的表现优于最先进的技术,并在Flickr 30 K数据集上取得了可比的结果。
2021-10-17 cs.CV cs.IR cs.LG
Contrastive View Design Strategies to Enhance Robustness to Domain Shifts in Downstream Object Detection
University of Pittsburgh(匹兹堡大学)
对比学习已经成为目标检测的一种有竞争力的预训练方法。尽管取得了这一进展,但在面对域偏移时,对对比预训练检测器的鲁棒性的研究很少。为了解决这个差距,我们进行了对比学习和域外目标检测的实证研究,研究对比视图设计如何影响鲁棒性。特别是,我们进行了以检测为重点的借口任务实例定位(InsLoc)的案例研究,并提出了策略,以增加视图,并提高鲁棒性的外观转移和上下文转移的情况下。在这些策略中,我们提出了对裁剪的更改,例如更改使用的百分比,添加IoU约束,以及集成基于显着性的对象先验。我们还探讨了增加捷径减少增强,如泊松混合,纹理平坦化和弹性变形。我们对这些策略进行了抽象,天气和上下文域转换的基准测试,并在单对象和多对象图像数据集的预训练中说明了将它们结合起来的强大方法。总的来说,我们的结果和见解显示了如何通过选择对比学习中的视图来确保鲁棒性。
2022-12-09 cs.AI cs.CV cs.LG
The Geometric Mechanics of Contrastive Representation Learning: Alignment Potentials, Entropic Dispersion, and Cross-modal Divergence
University of Science and Technology of China(中国科学技术大学)
本文通过测度论框架,在大批量极限下证明InfoNCE目标与确定性能量景观的等价性,揭示单模态与对称多模态之间的几何分岔,并指出跨模态散度项导致模态间隙。
2026-10-16 cs.LG stat.ML
CWCL: Cross-Modal Transfer with Continuously Weighted Contrastive Loss
Samsung Research America(三星美国研究院)
针对跨模态零样本迁移中二元对比目标难以刻画连续相似性的问题,论文提出 CWCL 连续加权对比损失,并在图像-文本、语音-文本任务上显著提升零样本分类性能。
2023-09-26 cs.AI cs.CV cs.LG
ETSCL: An Evidence Theory-Based Supervised Contrastive Learning Framework for Multi-modal Glaucoma Grading
Beihang University(北京航空航天大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Lee Kong Chian School of Medicine, Nanyang Technological University(南洋理工大学李光前医学院);Sun Yat-sen University(中山大学);National University of Singapore(新加坡国立大学);South China University of Technology(华南理工大学)
提出ETSCL框架,结合监督对比学习和证据理论融合,处理多模态青光眼分级中的特征提取和不确定性估计问题,实现最先进性能。
2024-07-19 cs.CV cs.LG
Group Contrastive Learning for Weakly Paired Multimodal Data
Research and Early Development (gRED), Genentech(Genentech 研究与早期发展部门);UCLA(加州大学洛杉矶分校);Biology Research | AI Development (BRAID), Genentech(Genentech 生物研究 | 人工智能开发部门);Genentech Computational Sciences NYU(Genentech 计算科学与纽约大学)
GROOVE通过组级对比学习方法,有效处理弱配对多模态数据,提升跨模态匹配与填补任务的性能。
2026-02-03 cs.LG q-bio.QM stat.ML
Cross-Modal Contrastive Learning for the Retrieval of Immunotherapy-Associated Molecular Signatures from Histopathology
Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(加泰罗尼亚理工大学);IRB Lleida(莱里达生物医学研究所)
提出CCMIL框架,通过跨模态对比学习从H&E切片直接检索免疫治疗相关分子特征,无需基因组测序,实现可解释的检索与分类预筛选。
2026-10-06 cs.AI cs.IR cs.LG
Multi-Format Contrastive Learning of Audio Representations
Google DeepMind(谷歌DeepMind)
最近的进展表明,与单一模式方法相比,多模式培训具有优势。与此相反,在我们的工作中,我们发现,可以从不同格式的单一模态的训练中获得类似的增益。特别是,我们研究了使用的对比学习框架来学习音频表示最大限度地提高原始音频和它的频谱表示之间的协议。我们发现,使用这种多格式的策略对单一格式的同行显着的收益。此外,在下游的AudioSet和ESC-50分类任务中,我们的纯音频方法分别以0.376的平均精度和90.5%的准确率实现了最新的最先进的结果。
2021-03-24 cs.LG cs.SD eess.AS
AmCLR: Unified Augmented Learning for Cross-Modal Representations
Texas A&M University(德克萨斯农工大学)
针对对比学习依赖大批次、增强多样性不足等问题,提出AmCLR与xAmCLR目标函数,整合多模态增强并引入模态内对齐,基于SogCLR以更少计算资源提升双模态表征质量与鲁棒性。
2024-12-10 cs.AI cs.CV cs.LG
FOCAL: Contrastive Learning for Multimodal Time-Series Sensing Signals in Factorized Orthogonal Latent Space
Shanghai Jiao Tong University(上海交通大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta
本文提出FOCAL对比学习框架,通过因子化正交潜在空间分离共享与私有特征,并引入时间结构约束,在多模态时间序列感知任务中显著超越现有方法。
2023-10-30 cs.AI cs.LG cs.MM
Normalized Contrastive Learning for Text-Video Retrieval
Columbia University(哥伦比亚大学);Meta
跨模态对比学习以其简单有效的特点引领了多模态检索的发展。然而,在这项工作中,我们发现,跨模态对比学习遭受不正确的归一化的总和检索概率的每个文本或视频实例。具体来说,我们发现,许多测试实例是过度或不足的代表在检索过程中,显着损害检索性能。为了解决这个问题,我们提出了归一化对比学习(NCL),它利用Sinkhorn-Knopp算法来计算实例偏差,这些偏差适当地归一化每个实例的总检索概率,以便在跨模态检索期间公平地表示每个文本和视频实例。实证研究表明,NCL在不同模型架构上的文本视频检索中带来了一致和显著的收益,在ActivityNet,MSVD和MSR-VTT数据集上具有新的最先进的多模态检索指标,而无需任何架构工程。
2022-11-30 cs.CV cs.IR cs.LG
Cross-modal Contrastive Learning with Asymmetric Co-attention Network for Video Moment Retrieval
IOE, Pulchowk Campus(普尔乔克校区工程学院);Wiseyak Solutions Pvt. Ltd.(Wiseyak解决方案私人有限公司)
针对视频文本领域可能存在的信息不对称问题,该研究引入非对称协同注意力网络与动量对比损失,在参数量显著更少的情况下,于TACoS数据集取得SOTA性能,在ActivityNet Captions上取得可比结果。
2023-12-12 cs.AI cs.CL cs.CV
Understanding and Achieving Efficient Robustness with Adversarial Supervised Contrastive Learning
Monash University(莫纳什大学);Defence Science and Technology Group, Australia(澳大利亚国防科技集团);CSIRO Data61, Australia(澳大利亚联邦科学与工业研究组织Data61)
对比学习(CL)是近年来兴起的一种有效的表征学习方法。这种方法的核心是选择正(相似)和负(不相似)集,为模型提供在潜在空间中的数据和类表示之间进行“对比”的机会。在本文中,我们研究CL提高模型的鲁棒性使用对抗样本。我们首先设计并进行了一项全面的研究,以了解对抗性脆弱性在潜在空间中的表现。基于这些经验证据,我们提出了一种有效和高效的监督对比学习,以实现对对抗攻击的模型鲁棒性。此外,我们提出了一种新的样本选择策略,通过去除冗余和提高与锚的相关性来优化正/负集。大量的实验表明,我们的对抗监督对比学习(ASCL)方法实现了与最先进的防御相当的性能,同时通过仅使用$42.8\%$阳性和$6.3\%$阴性,显着优于其他基于CL的防御方法。
2021-10-22 cs.AI cs.CV cs.LG
ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院哈索·普拉特纳数字健康研究所)
高注释成本是将现代深度学习架构应用于临床相关医疗用例的一个重要瓶颈,这证实了对从未标记数据中学习的新算法的需求。在这项工作中,我们提出了ContIG,这是一种自监督方法,可以从未标记的医学图像和遗传数据的大型数据集中学习。我们的方法使用对比损失在特征空间中对齐图像和几种遗传方式。我们设计了我们的方法,将每个人的多个模态集成到同一个模型中,即使可用的模态因个人而异。我们的程序在所有评估的下游基准任务上都优于最先进的自监督方法。我们还采用了基于梯度的可解释性算法,以更好地理解图像和遗传方式之间的跨模态关联。最后,我们对模型学习到的特征进行全基因组关联研究,揭示图像和遗传数据之间有趣的关系。
2021-11-26 cs.AI cs.CV cs.LG
What to align in multimodal contrastive learning?
EPFL(洛桑联邦理工学院);NeuroSpin, CEA(法国原子能和替代能源委员会神经自旋研究所);CEDRIC, CNAM(法国国立工艺学院CEDRIC实验室);Radiology Department, CHUV(瑞士洛桑大学医院放射科)
本文提出CoMM多模态对比学习策略,通过最大化多模态特征增强版本间的互信息来对齐表示,使模型能捕获模态间的冗余、独特和协同信息,在七个多模态基准上取得最先进成果。
2025-03-05 cs.AI cs.CL cs.CV
Self-supervised Contrastive Cross-Modality Representation Learning for Spoken Question Answering
Yale University(耶鲁大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
口语问答(SQA)需要对口语文档和问题进行细粒度的理解,以获得最佳答案预测。在本文中,我们提出了新的训练计划,口语问答与自我监督的训练阶段和对比表示学习阶段。在自监督阶段,我们提出了三个辅助的自监督任务,包括话语恢复,话语插入,和问题的歧视,并共同训练模型,以捕捉语音文档之间的一致性和连贯性,而无需任何额外的数据或注释。然后,我们建议通过采用多种增强策略,包括跨度删除和跨度替换,在对比目标中学习噪声不变的话语表示。此外,我们设计了一个时间对齐注意,语义对齐的语音文本线索在学习的共同空间和效益的SQA任务。通过这种方式,训练方案可以更有效地指导生成模型预测更合适的答案。实验结果表明,我们的模型在三个SQA基准测试中取得了最先进的结果。
2021-09-08 cs.AI cs.CL cs.LG
Connecting Multi-modal Contrastive Representations
Zhejiang University(浙江大学);ByteDance(字节跳动);Shanghai AI Laboratory(上海人工智能实验室)
提出无需配对数据的高效方法C-MCR,利用重叠模态连接预训练的多模态对比表示空间,实现非重叠模态间的对齐,在视听及3D-语言任务上取得SOTA性能。
2023-10-19 cs.AI cs.CV cs.LG
The "Law" of the Unconscious Contrastive Learner: Probabilistic Alignment of Unpaired Modalities
Princeton University(普林斯顿大学)
本文从理论上证明,在特定假设下,未配对模态的对比表示可直接比较并恢复似然比,并提出在预训练模型和强化学习语言歧义处理中的两种新应用。
2025-01-20 cs.LG stat.ML