Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework
Salesforce Research(Salesforce研究院)
当前的对比学习框架专注于利用单个监督信号来学习表示,这限制了对看不见的数据和下游任务的有效性。在本文中,我们提出了一个分层的多标签表示学习框架,可以利用所有可用的标签,并保持类之间的层次关系。我们引入了新的层次保持损失,共同适用于层次惩罚的对比损失,并执行层次约束。损失函数是数据驱动的,并自动适应任意多标签结构。在多个数据集上的实验表明,我们的关系保持嵌入在各种任务上都表现良好,并且优于基线监督和自监督方法。代码可在https://github.com/salesforce/hierarchicalContrastiveLearning上获得。
2022-04-27 cs.AI cs.CV cs.LG
Bridging Contrastive Learning and Domain Adaptation: Theoretical Perspective and Practical Application
Centre Borelli(博雷利中心);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校)
本研究从理论视角揭示了对比学习与领域自适应的联系,证明最小化对比损失能降低CMMD并提升类别可分性,并在乳腺X光数据集上验证了其改善领域自适应和分类性能的有效性。
2025-01-28 cs.AI cs.LG
Deep Bregman Divergence for Contrastive Learning of Visual Representations
LMU Munich(慕尼黑大学);Google Research(谷歌研究院);Technical University of Munich(慕尼黑工业大学)
深度Bregman发散使用神经网络来测量数据点的发散,该神经网络超出欧几里得距离并且能够捕获分布上的发散。在本文中,我们提出了深度Bregman分歧,用于视觉表示的对比学习,我们的目标是通过训练基于功能Bregman分歧的额外网络来增强自监督学习中使用的对比损失。传统的对比学习方法仅仅基于单点之间的分歧,相比之下,我们的框架可以捕获分布之间的分歧,提高了学习表示的质量。我们展示了传统对比损失和我们提出的发散损失的组合优于基线和大多数以前的自监督和半监督学习方法,用于多分类和目标检测任务和数据集。此外,学习的表示在转移到其他数据集和任务时具有很好的泛化能力。源代码和我们的模型是补充,并将与纸发布。
2021-11-22 cs.AI cs.CV cs.LG
Simple and Effective Balance of Contrastive Losses
NAVER LABS Europe(NAVER LABS 欧洲);University of Amsterdam(阿姆斯特丹大学)
对比损失长期以来一直是深度度量学习的关键组成部分,现在由于自监督学习的成功而变得越来越流行。最近的研究表明,将这种损失分解为两个子损失的好处,这两个子损失在学习表示网络时以互补的方式起作用:正项和熵项。虽然总损失因此被定义为两个术语的组合,但这两个术语的平衡往往隐藏在实施细节之后,在实践中基本上被忽视和次优。在这项工作中,我们接近的对比损失作为一个超参数优化问题的平衡,并提出了一个基于坐标下降的搜索方法,有效地找到超参数,优化评估性能。在此过程中,我们将现有的余额分析扩展到对比利润损失,将批次大小纳入余额中,并解释如何汇总批次中的损失元素,以在更大的批次大小范围内保持接近最佳的性能。对深度度量学习和自监督学习的基准测试进行的大量实验表明,与其他常见的搜索方法相比,我们的方法可以更快地找到最佳超参数。
2021-12-22 cs.CV cs.LG
The Role of Local Alignment and Uniformity in Image-Text Contrastive Learning on Medical Images
Technical University of Munich(慕尼黑工业大学);Helmholtz Zentrum Munich(慕尼黑亥姆霍兹中心);Imperial College London(伦敦帝国理工学院)
图像-文本对比学习已被证明是预训练医学图像模型的有效方法。当针对局部下游任务(如语义分割或目标检测)时,将图像区域与句子对齐的额外局部对比度损失已显示出有希望的结果。我们研究了局部对比损失如何与全局(每个样本)对比损失相关,以及它们对本地化医疗下游任务的影响。理论比较的基础上,我们建议删除局部损失的一些组件,并取代其他由一个新的分布前,强制执行每个样本内的一致性表示。我们在胸部X射线任务上实证研究了这种方法,发现它非常有效,在18个任务中的12个任务上没有局部损失。
2023-03-02 cs.CV cs.LG
UniCLIP: Unified Framework for Contrastive Language-Image Pre-training
LG AI Research(LG人工智能研究院);KAIST(韩国科学技术院)
具有对比目标的预训练视觉语言模型已显示出有希望的结果,这些结果既可扩展到大型未策划的数据集,又可转移到许多下游应用程序。一些后续的工作有针对性地提高数据的效率,通过增加自我监督条款,但域间(图像-文本)对比损失和域内(图像-图像)对比损失的定义在这些作品中的个别空间,所以许多可行的监督组合被忽视。为了克服这个问题,我们提出了UniCLIP,一个用于对比图像预训练的统一框架。UniCLIP将域间对和域内对的对比损失集成到单个通用空间中。当整合不同领域之间的对比损失时发生的差异通过UniCLIP的三个关键组件来解决:(1)增强感知特征嵌入,(2)MP-NCE损失和(3)依赖于领域的相似性度量。UniCLIP在各种单模态和多模态下游任务上优于以前的视觉语言预训练方法。在我们的实验中,我们表明,组成UniCLIP的每个组件都有助于最终的性能。
2022-10-31 cs.CV cs.LG
Contrastive Classification and Representation Learning with Probabilistic Interpretation
Toyota Motor Europe(丰田汽车欧洲公司);Czech Technical University in Prague(捷克布拉格技术大学)
交叉熵损失已经作为基于分类的任务的主要目标函数。广泛用于学习神经网络分类器,它显示了有效性和概率解释。最近,在自监督对比表示学习方法取得成功之后,已经提出了监督对比方法来学习表示,并且与具有交叉熵损失的单独训练相比,监督对比方法已经显示出优越且更鲁棒的性能。然而,交叉熵损失仍然需要训练最终的分类层。在这项工作中,我们研究学习的表示和分类器使用一个目标函数,结合了对比学习的鲁棒性和交叉熵损失的概率解释的可能性。首先,我们重新审视了以前提出的基于对比度的目标函数,该目标函数近似交叉熵损失,并提出了一个简单的扩展来共同学习分类器。其次,我们提出了一个新版本的监督对比训练,它联合学习分类器和网络骨干的参数。我们的经验表明,我们提出的目标函数在各种具有挑战性的设置中具有更高的训练稳定性和鲁棒性,比标准交叉熵损失有显着改善。
2022-11-07 cs.CV cs.LG
Comparing Contrastive and Triplet Loss: Variance Analysis and Optimization Behavior
KDDI Research, Inc., Japan(日本KDDI研究所)
本文通过理论与实验对比深度度量学习中的对比损失和三元组损失,分析二者的方差特性与优化行为差异,发现三元组损失在多数据集的分类、检索任务中性能更优,为不同场景的损失选择提供依据。
2025-10-06 cs.AI cs.LG cs.MM
Probabilistic Contrastive Loss for Self-Supervised Learning
National University of Singapore(新加坡国立大学);Youtu Lab Tencent(腾讯优图实验室)
提出了一种适用于自监督学习的概率对比损失函数。众所周知的对比度损失是确定性的,并且涉及温度超参数,该温度超参数缩放两个赋范特征嵌入之间的内积。通过重新解释的温度超参数作为一个量有关的半径的超球,我们推导出一个新的损失函数,涉及到一个置信度的措施,量化的不确定性在数学接地的方式。一些有趣的性质的建议损失函数的经验证明,这与人类的预测。我们相信本研究为对比学习的研究提供了一个新的视角。
2021-12-02 cs.LG
Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning
Korea Institute for Advanced Study(韩国高等研究院);University of Seoul(首尔市立大学);Seoul National University(首尔国立大学);Hanyang University(汉阳大学);Saige Research(赛奇研究院)
本文提出 GCD 目标,将 EBM 与扩散模型联合训练建模为极小极大博弈,并建立其与逆强化学习的等价关系,从而无需 MCMC 即可训练 EBM 并改善扩散模型样本质量。
2023-12-06 cs.AI cs.LG
Learning to segment with limited annotations: Self-supervised pretraining with regression and contrastive loss in MRI
University of Arizona(亚利桑那大学);Houston Methodist Hospital(休斯顿卫理公会医院)
获取大型数据集的手动注释以用于深度学习(DL)模型的监督训练是具有挑战性的。与标记数据集相比,大型未标记数据集的可用性促使使用自监督预训练来初始化后续分割任务的DL模型。在这项工作中,我们考虑了两种用于驱动DL模型学习不同表示的预训练方法:a)利用图像内的空间依赖性的回归损失和b)利用图像对之间的语义相似性的对比损失。在使用磁共振(MR)图像的两个下游分割应用中评估预训练技术的效果:a)腹部T2加权MR图像中的肝脏分割和b)前列腺T2加权MR图像中的前列腺分割。我们观察到,使用自我监督预训练的DL模型可以用更少的标记数据集进行微调,以获得相当的性能。此外,我们还观察到,使用基于对比损失的预训练初始化DL模型的性能优于回归损失。
2022-05-26 cs.AI cs.CV cs.LG
Contrastive Learning for Label-Efficient Semantic Segmentation
Northwestern University(西北大学);Google Research(谷歌研究院)
为语义分割任务收集标记数据是昂贵且耗时的,因为它需要密集的像素级注释。虽然最近的基于卷积神经网络(CNN)的语义分割方法通过使用大量标记的训练数据取得了令人印象深刻的结果,但是它们的性能随着标记数据量的减少而显著下降。这是因为使用事实上的交叉熵损失训练的深度CNN很容易过拟合少量标记数据。为了解决这个问题,我们提出了一种简单有效的基于对比学习的训练策略,首先使用基于像素、基于标签的对比损失对网络进行预训练,然后使用交叉熵损失对其进行微调。这种方法增加了类内紧凑性和类间可分离性,从而产生更好的像素分类器。我们使用Cityscapes和PASCAL VOC 2012分割数据集证明了所提出的训练策略的有效性。我们的研究结果表明,当标记数据量有限时,使用所提出的对比损失进行预训练会带来很大的性能提升(在某些设置中绝对提升超过20%)。在许多情况下,不使用任何额外数据的对比预训练策略能够匹配或优于广泛使用的ImageNet预训练策略,该策略使用超过一百万个额外的标记图像。
2021-08-18 cs.AI cs.CV cs.LG
CWCL: Cross-Modal Transfer with Continuously Weighted Contrastive Loss
Samsung Research America(三星美国研究院)
针对跨模态零样本迁移中二元对比目标难以刻画连续相似性的问题,论文提出 CWCL 连续加权对比损失,并在图像-文本、语音-文本任务上显著提升零样本分类性能。
2023-09-26 cs.AI cs.CV cs.LG
Understanding the Behaviour of Contrastive Loss
Beijing National Research Center for Information Science and Technology(BNRist)(北京信息科学与技术国家研究中心);Department of Computer Science and Technology Tsinghua University(清华大学计算机科学与技术系)
无监督的对比学习取得了显著的成功,而对比丢失的机制却研究得较少。在本文中,我们集中在无监督的对比损失的行为的理解。我们将证明对比损失是一个硬度感知的损失函数,温度τ控制着硬负样本上的惩罚强度。以往的研究表明,一致性是对比学习的一个重要特性。我们建立了均匀性和温度τ之间的关系。我们将表明,一致性有助于对比学习学习可分离的功能,但过度追求的一致性,使对比损失不容忍语义相似的样本,这可能会打破底层的语义结构,并不利于形成有用的功能,为下游任务。这是由实例判别目标的内在缺陷造成的。具体而言,实例判别目标试图将所有不同的实例分开,忽略样本之间的潜在关系。将语义一致的样本分开对于获取先前的信息性任务没有积极的影响。一个设计良好的对比损失应该对语义相似的样本的接近程度有一定程度的容忍度。因此,我们发现,对比度损失满足一致性公差的困境,一个好的温度选择可以适当地折衷这两个属性,既学习可分离的功能和容忍语义相似的样本,提高特征质量和下游性能。
2021-03-20 cs.LG
Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer
Kim Jaechul Graduate School of AI(金在哲人工智能研究生院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出零样本对比损失方法,利用预训练扩散模型中的分块对比损失,在无需微调或辅助网络的情况下实现文本引导的图像风格迁移,并优于现有方法。
2023-04-12 cs.AI cs.CV cs.LG
Mean-Shifted Contrastive Loss for Anomaly Detection
The Hebrew University of Jerusalem(希伯来大学)
深度异常检测方法学习区分正常和异常图像的表示。虽然自我监督表示学习是常用的,小的数据集大小限制了其有效性。之前已经证明,利用外部通用数据集(例如ImageNet分类)可以显着提高异常检测性能。一种方法是离群值暴露,当外部数据集不类似异常时,这种方法就会失败。我们采用传输在外部数据集上预先训练的表示的方法进行异常检测。异常检测性能可以通过对正常训练图像上的预训练表示进行微调来显著提高。在本文中,我们首先证明和分析,对比学习,最流行的自监督学习范式不能天真地应用于预训练的功能。原因是预训练的特征初始化导致标准对比目标的条件差,导致优化动态性差。基于我们的分析,我们提供了一个修改后的对比目标,均值移动对比损失。我们的方法是非常有效的,并实现了一个新的国家的最先进的异常检测性能,包括$98.6\%$ ROC AUC的CIFAR-10数据集。
2022-11-28 cs.CV cs.LG
Robust Contrastive Learning against Noisy Views
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
对比学习依赖于肯定对包含相关视图的假设,例如,图像的块或视频的共同出现的多模态信号,其共享关于实例的某些基础信息。但如果这个假设被违背了呢?文献表明,对比学习在存在噪声视图的情况下产生次优表示,例如,没有明显共享信息的假阳性对。在这项工作中,我们提出了一个新的对比损失函数,是强大的噪声视图。我们提供了严格的理论依据,显示连接到强大的对称损失的嘈杂的二进制分类,并通过建立一个新的对比界互信息最大化的基础上的Wasserstein距离测量。所提出的损失是完全模态不可知的,并且是InfoNCE损失的简单替代品,这使得它很容易应用于现有的对比框架。我们表明,我们的方法提供了一致的改进,在国家的最先进的图像,视频和图形对比学习基准,表现出各种现实世界的噪声模式。
2022-01-12 cs.CV cs.LG
Local contrastive loss with pseudo-label based self-training for semi-supervised medical image segmentation
Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室)
基于监督式深度学习的方法可为医学图像分割提供准确的结果。然而,它们需要大型标记数据集,并且获得它们是一项艰巨的任务,需要临床专业知识。基于半/自监督学习的方法通过利用未标记的数据以及有限的注释数据来解决这个限制。最近的自监督学习方法使用对比损失从未标记图像中学习良好的全局水平表示,并在流行的自然图像数据集(如ImageNet)上实现高性能的分类任务。在像素级预测任务(如分割)中,学习良好的局部表示和全局表示以实现更好的准确性至关重要。然而,现有的本地对比损失为基础的方法的影响仍然有限的学习良好的本地表示,因为相似和不相似的本地区域的定义基于随机扩增和空间接近,而不是基于本地区域的语义标签,由于缺乏大规模的专家注释在半/自我监督设置。在本文中,我们提出了一个本地对比损失学习良好的像素级功能,通过利用语义标签信息,从伪标签的未标记的图像旁边有限的注释图像分割有用。特别地,我们定义了建议的损失,以鼓励具有相同伪标签/标签的像素的类似表示,同时与数据集中具有不同伪标签/标签的像素的表示不同。我们执行基于伪标签的自训练和训练网络,通过联合优化建议的对比损失的标记和未标记的集和分割损失的有限的标记集。我们在三个公共心脏和前列腺数据集上进行了评估,并获得了较高的分割性能。
2021-12-17 cs.AI cs.CV cs.LG
A White-Box False Positive Adversarial Attack Method on Contrastive Loss Based Offline Handwritten Signature Verification Models
University of St Andrews(圣安德鲁斯大学)
本文提出了一种针对基于对比损失的离线手写签名验证模型的白盒误报对抗攻击方法,将攻击视为书写风格迁移,通过引入两个新损失函数扰动嵌入向量距离并保持图像最小扰动,实现了优于其他方法的攻击性能。
2024-02-09 cs.AI cs.CR cs.CV
$\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs
Meta FAIR;New York Univeristy(纽约大学);Brown University(布朗大学);Genentech(基因泰克);CIFAR(加拿大高级研究院)
针对传统对比损失仅采用二元相似图、忽略样本间跨相似性的不足,提出$\mathbb{X}$-样本对比损失,显式编码样本关联关系,在多数据集视觉任务中性能优于CLIP等基线模型。
2024-09-11 cs.CV cs.LG
Contrastive Diffusion Guidance for Spatial Inverse Problems
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of South Carolina(南卡罗来纳大学)
本文提出CoGuide模型,通过对比学习在平滑嵌入空间中近似似然分数,以解决空间逆问题中的非可微前向算子挑战,实现更稳定的去噪和更稳健的重建。
2026-03-12 cs.CV cs.LG eess.SP
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Salesforce(Salesforce公司);Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型,有效识别和缓解奖励黑客问题,提升模型对齐性能。
2026-02-23 cs.AI cs.LG
No Gaussian Required: Contrastive Inverse Dynamics for JEPA World Models
Quantexa(昆泰克萨公司)
该研究提出AC-MTM,用对比逆动力学替代JEPA世界模型的高斯型抗坍塌机制,在多目标视觉任务上性能优于SIGReg,且训练稳定无额外复杂组件
2026-08-19 cs.AI cs.LG
Generalization Bounds for Robust Contrastive Learning: From Theory to Practice
Qualcomm AI Research(英伟达人工智能研究)
本文为对抗对比学习建立严格泛化理论,揭示良性对比损失与全局散度可提升鲁棒监督损失,并通过实验验证。
2025-10-27 cs.CV cs.LG
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
本文提出统一理论框架,首次推导任意对比损失的鲁棒条件,证明InfoNCE不鲁棒并提出对称InfoNCE(SymNCE),同时解释最近邻样本选择等已有技术,实验验证其抗标签噪声优势。
2025-01-02 cs.LG
Provable Contrastive Continual Learning
SEIEE, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Beijing Normal University(北京师范大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文为对比持续学习建立理论性能保证,揭示模型性能受先前任务训练损失约束,并据此提出使用自适应蒸馏系数的CILA算法,在标准基准上取得新的最先进性能。
2024-05-29 cs.AI cs.CV cs.LG
A Unified Contrastive Loss for Self-Training
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(信息与信号处理实验室)
针对半监督自训练多依赖交叉熵损失的问题,提出用统一对比损失替换所有交叉熵损失的通用框架,结合类别原型实现理论等价,在少标记数据集上提升性能,同时优化收敛速度、迁移能力与超参数稳定性。
2024-09-11 cs.CV cs.LG
Label Contrastive Coding based Graph Neural Network for Graph Classification
Florida State University(佛罗里达州立大学)
图分类是一个重要的研究问题,在许多不同领域的应用。为了学习图分类模型,最广泛使用的监督组件是输出层以及分类损失(例如,交叉熵损失与softmax或边际损失一起)。事实上,实例之间的区分信息是更细粒度的,这可以有利于图分类任务。本文提出了一种新的基于标签对比编码的图神经网络(LCGNN),以更有效、更全面地利用标签信息。LCGNN仍然使用分类损失来确保类别的可区分性。同时,LCGNN利用自监督学习提出的标签对比损失来鼓励实例级的类内紧凑性和类间可分性。为了支持对比学习,LCGNN引入了动态标签存储体和动量更新编码器。我们对八个基准图数据集的广泛评估表明,LCGNN可以超越最先进的图分类模型。实验结果也证明了LCGNN能以较少的训练数据获得有竞争力的性能,因为LCGNN充分利用了标签信息。
2021-01-14 cs.AI cs.LG
Similarity-Dissimilarity Loss for Multi-label Supervised Contrastive Learning
University of Essex(埃塞克斯大学);Queen Mary University of London(伦敦大学玛丽女王学院)
本文提出相似性-差异性损失,通过动态加权样本解决多标签场景下正样本确定问题,提供理论证明并统一单标签与多标签对比学习框架,实验表明方法在图像、文本和医疗领域均优于基线。
2026-06-13 cs.CL cs.CV cs.LG
The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning
ETH Zürich(苏黎世联邦理工学院)
本文通过测度论框架形式化对比学习中的多样性条件,提出支持校正的InfoNCE变体,并实验验证了采样多样性与编码器归纳偏置的相互作用。
2026-06-02 cs.AI cs.IR cs.LG
An Asymmetric Contrastive Loss for Handling Imbalanced Datasets
Universitas Indonesia(印度尼西亚大学)
对比学习是一种表示学习方法,通过将一个样本与其他相似样本进行对比,使它们紧密地聚集在一起,在特征空间中形成聚类。学习过程通常使用两阶段训练架构进行,并且它利用对比度损失(CL)进行特征学习。对比学习已被证明在处理不平衡数据集方面非常成功,其中一些类被过度代表,而另一些类则被代表不足。然而,以前的研究没有专门修改CL不平衡的数据集。在这项工作中,我们引入了一个非对称版本的CL,简称为ACL,以直接解决类不平衡的问题。此外,我们提出了非对称焦点对比度损失(AFCL)作为ACL和焦点对比度损失(FCL)的进一步推广。FMNIST和ISIC 2018不平衡数据集的结果表明,AFCL在加权和未加权分类精度方面都能够优于CL和FCL。在附录中,我们提供了一个完整的公理处理熵,以及完整的证明。
2022-07-14 cs.CV cs.IT cs.LG
CHGNN: A Semi-Supervised Contrastive Hypergraph Learning Network
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Aalborg University(奥尔堡大学);School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
本文提出半监督对比超图学习网络CHGNN,通过自适应视图生成、改进编码器及联合损失函数,利用有标签和无标签数据,在九个数据集上分类准确率优于13个对比方法。
2024-05-28 cs.AI cs.LG
Understanding Deep Contrastive Learning via Coordinate-wise Optimization
Meta AI (FAIR)(元人工智能(基础人工智能研究团队))
我们表明,对比学习(CL)在一个广泛的家庭的损失函数(包括InfoNCE)有一个统一的配方的坐标优化的网络参数$\boldsymbolθ$和成对的重要性$α$,其中的\emph{max player} $\boldsymbolθ$学习表示对比度,和\emph{min player} $α$把更多的权重对不同的样本,共享类似的表示。由此产生的公式,称为$α$ -CL,不仅统一了各种现有的对比损耗,不同的样本对重要性$α$是如何构建的,但也能够外推,以提供新的对比损耗超出流行的,开辟了一条新的途径对比损耗设计。这些新的损失在CIFAR 10、STL-10和CIFAR-100上产生了与经典InfoNCE相当(或更好)的性能。此外,我们还详细分析了max player:我们证明了在固定$α$的情况下,max player等价于深度线性网络的主成分分析(PCA),并且几乎所有的局部极小值都是全局的和秩为1的,恢复最优PCA解。最后,我们将我们对max player的分析扩展到2层ReLU网络,表明它的不动点可以有更高的秩。
2022-11-20 cs.CV cs.LG cs.NE
Fisher Discriminant Triplet and Contrastive Losses for Training Siamese Networks
University of Waterloo(滑铁卢大学);Kimia Lab(Kimia实验室)
Siamese神经网络对于特征提取和度量学习都是一个非常强大的体系结构。它通常由几个共享权重的网络组成。暹罗概念是拓扑不可知的,可以使用任何神经网络作为其骨干。用于训练这些网络的两种最流行的损失函数是三元组和对比损失函数。在本文中,我们提出了两个新的损失函数,分别命名为Fisher判别三元组(FDT)和Fisher判别对比(FDC)。前者使用锚-邻-远三元组,而后者使用锚-邻和锚-远样本对。FDT和FDC损失函数是基于Fisher判别分析(FDA)的统计公式设计的,这是一种线性子空间学习方法。我们在MNIST和两个具有挑战性的公开可用的组织病理学数据集上的实验表明了所提出的损失函数的有效性。
2020-04-05 cs.CV cs.LG stat.ML
Supervised Contrastive Learning
Google Research(谷歌研究院);Boston University(波士顿大学);Snap Inc.(森宝公司);MIT(麻省理工学院)
近年来,应用于自监督表示学习的对比学习已经出现了复苏,导致了深度图像模型的无监督训练的最新表现。现代批量对比方法的性能优于或显著优于传统的对比损失,如三重,最大余量和N对损失。在这项工作中,我们将自监督批量对比方法扩展到完全监督设置,使我们能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起,同时将来自不同类的样本簇推开。我们分析了两种可能的版本的监督对比(SupCon)损失,确定性能最好的制定的损失。在ResNet-200上,我们在ImageNet数据集上实现了81.4%的top-1准确率,比该架构报告的最佳数字高出0.8%。我们在其他数据集和两个ResNet变体上显示出一致的优于交叉熵的性能。损失显示出对自然损坏的鲁棒性的益处,并且对超参数设置(例如优化器和数据增强)更稳定。我们的损失函数易于实现,参考TensorFlow代码在https://t.ly/supcon上发布。
2021-03-10 cs.CV cs.LG stat.ML
SCEHR: Supervised Contrastive Learning for Clinical Risk Prediction using Electronic Health Records
Weill Cornell Medicine(威尔康奈尔医学院)
对比学习在图像和文本领域以自监督或监督的方式表现出很好的性能。在这项工作中,我们将监督对比学习框架扩展到基于纵向电子健康记录(EHR)的临床风险预测问题。我们提出了一种通用的监督对比损失$\mathcal{L}_{\text{Contrastive Cross Entropy} } + λ\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$,用于在统一的框架中学习二元分类(例如,住院死亡率预测)和多标签分类(例如,表型)。我们的监督对比损失实践了对比学习的关键思想,即同时通过其两个组件将相似的样本拉近并将不相似的样本彼此分开:$\mathcal{L}_{\text{Contrastive Cross Entropy} }$尝试将样本与代表正和负集群的学习锚进行对比,而$\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$尝试根据其监督标签将样本彼此进行对比。我们提出了上述监督对比损失的两个版本,并且我们对真实世界EHR数据的实验表明,我们提出的损失函数在提高强基线甚至最先进模型在临床风险预测基准任务上的性能方面表现出益处。我们的损失函数可以很好地处理临床风险预测问题中常见的极不平衡数据。我们的损失函数可以很容易地用来取代现有临床预测模型中采用的(二进制或多标记)交…
2021-10-11 cs.LG
Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks
HSE University(俄罗斯高等经济学院);Yandex;Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
在计算机视觉中,使用对比度损失进行表示学习已经变得非常突出,并且现在在自然语言处理(NLP)中也受到关注。在这里,我们探索了在微调大规模预训练的Transformer模型时使用batch-softmax对比损失的想法,以学习更好的特定于任务的句子嵌入,用于成对句子评分任务。我们介绍和研究了一些变化的计算损失,以及在整个训练过程中,特别是,我们发现,数据洗牌可以是相当重要的。我们的实验结果显示,在许多数据集和成对句子评分任务(包括分类,排名和回归)上有相当大的改进。最后,我们提供了详细的分析和讨论,这应该是有用的研究人员旨在探索的对比损失在自然语言处理的效用。
2021-10-10 cs.AI cs.CL cs.IR
On Learning Contrastive Representations for Learning with Noisy Labels
University of Western Ontario(西安大略大学);ByteDance Inc.(字节跳动公司);Vector Institute(向量研究所)
深度神经网络能够很容易地记住有噪声的标签,并具有softmax交叉熵(CE)损失。先前的研究试图解决这个问题,重点是将噪声鲁棒损失函数的CE损失。然而,记忆问题得到缓解,但由于非鲁棒CE损失而仍然存在。为了解决这个问题,我们专注于学习强大的对比表示的数据上的分类器是很难记住的标签噪声下CE损失。我们提出了一种新的对比正则化函数来学习这样的表示噪声数据标签噪声不占主导地位的表示学习。通过理论上研究所提出的正则化函数诱导的表示,我们揭示了学习的表示保持与真实标签相关的信息,并丢弃与损坏标签相关的信息。此外,我们的理论结果还表明,学习的表示是强大的标签噪声。在基准数据集上的实验证明了该方法的有效性。
2022-07-23 cs.CV cs.LG
Analysis of Using Sigmoid Loss for Contrastive Learning
Yonsei University(延世大学)
本文从嵌入几何结构角度理论分析对比学习中使用sigmoid损失,提出双常数嵌入模型CCEM,证明其包含sigmoid损失最优嵌入,并揭示最优嵌入随温度参数从单纯形等角紧框架变化到对极结构,合成实验验证了理论结果。
2024-02-20 cs.LG
Contrastive Feature Loss for Image Prediction
MIT(麻省理工学院);Adobe Research(Adobe研究院);UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学)
训练有监督的图像合成模型需要一个评论家比较两个图像:结果的地面真相。然而,这一基本功能仍然是一个悬而未决的问题。一种流行的方法使用L1(平均绝对误差)损失,无论是在预训练深度网络的像素空间还是特征空间中。然而,我们观察到这些损失往往会产生过于模糊和灰色的图像,需要采用其他技术,如GANs来对抗这些伪影。在这项工作中,我们介绍了一个基于信息论的方法来衡量两个图像之间的相似性。我们认为,一个好的重建应该有高互信息与地面真相。该视图使得能够学习轻量级批评者以对比的方式“校准”特征空间,使得对应的空间块的重建被带到一起,而其他块被排斥。我们表明,我们的配方立即提高输出图像的感知现实主义时,作为一个下拉式替代L1损失,有或没有额外的GAN损失。
2021-11-12 cs.CV cs.LG
On the Surrogate Gap between Contrastive and Supervised Losses
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
对比表示学习鼓励数据表示使语义相似的对比随机抽取的负样本更接近,这在视觉、语言和图形等各个领域都取得了成功。最近的理论研究试图解释的好处,大负样本量的上限下游分类损失的对比损失。然而,以前的替代边界有两个缺点:它们只适用于有限范围的负样本大小,即使在该范围内也过大。由于这些缺点,在负样本量理论上如何与下游分类性能相关方面仍然没有达成共识。根据简化设置,其中从真实分布中提取阳性对(不是通过数据增强生成的;如先前研究中所假设的),本研究为所有阴性样本量的下游分类损失建立了替代上限和下限,最好地解释了早期研究中阴性样本量的经验观察结果。我们的界限表明,对比损失可以被视为下游损失的替代目标,较大的负样本量可以改善下游分类,因为对比损失和监督损失之间的替代差距衰减。我们验证了我们的理论与合成,视觉和语言数据集上的实验是一致的。
2022-05-30 cs.LG
Joint Debiased Representation and Image Clustering Learning with Self-Supervision
LMU Munich(慕尼黑大学);Google Research(谷歌研究院)
对比学习是视觉表示学习最成功的方法之一,其性能可以通过对学习到的表示联合执行聚类来进一步提高。然而,现有的联合聚类和对比学习的方法在长尾数据分布上表现不佳,因为多数类压倒并扭曲少数类的损失,从而防止学习有意义的表示。出于这一动机,我们开发了一种新的联合聚类和对比学习框架,通过调整去偏对比损失,以避免不平衡数据集的少数类别的聚类不足。我们表明,我们提出的改进的去偏对比损失和发散聚类损失提高了多个数据集和学习任务的性能。源代码可在https://anonymous.4open.science/r/SSL-debiased-clustering上获得
2022-09-14 cs.CV cs.LG
SINCERE: Supervised Information Noise-Contrastive Estimation REvisited
Tufts University(塔夫茨大学)
针对SupCon损失存在类内排斥问题,提出理论上合理的SINCERE损失,消除类内排斥,提升嵌入分离与迁移学习分类准确率,并推导信息论界限。
2024-11-07 cs.CV cs.LG
Contrastive inverse regression for dimension reduction
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Lawrence Berkeley Laboratory(劳伦斯伯克利实验室)
针对病例对照研究数据,提出专为对比背景设计的监督降维方法对比逆回归(CIR),通过Stiefel流形上的非标准损失优化问题,在提取前景组特有低维结构的同时保持与响应变量的函数关系,并证明了其收敛性及在高维数据上的优越性能。
2023-05-20 cs.LG stat.AP stat.ME
Cluster Analysis with Deep Embeddings and Contrastive Learning
Iowa State University(爱荷华州立大学);John Deere(约翰迪尔公司)
无监督解纠缠表示学习是计算机视觉中一个长期存在的问题。这项工作提出了一种新的框架,通过结合实例级对比学习与基于深度嵌入的聚类中心预测器,从深度嵌入执行图像聚类。我们的方法以端到端的方式联合学习表示并预测聚类中心。这是通过一个三管齐下的方法来实现的,该方法结合了聚类损失、实例对比损失和锚点损失。我们的基本直觉是,使用集成损失,结合实例级的功能和聚类过程集中在语义相似性加强学习更好的表示在潜在的空间。我们观察到,我们的方法在使用标准聚类度量(如归一化互信息(NMI))进行评估时,在流行的视觉数据集上表现得非常好,此外还产生了由欧几里得距离定义的几何分离的聚类嵌入。我们的框架与广泛接受的聚类方法不相上下,并且在CIFAR-10数据集上的表现优于最先进的对比学习方法,NMI得分为0.772,在强基线上提高了7-8%。
2021-10-02 cs.CV cs.LG
Temperature-Free Loss Function for Contrastive Learning
Pohang University of Science and Technology(浦项科技大学)
针对对比学习中InfoNCE loss需繁琐调节温度超参数的问题,提出用反双曲正切函数替代温度缩放的无温度损失函数,改善了梯度特性并在五个基准上取得优异性能。
2025-01-29 cs.LG
Revisiting Contrastive Learning through the Lens of Neighborhood Component Analysis: an Integrated Framework
MIT(麻省理工学院);MSU(密歇根州立大学);IBM Research AI(IBM研究院人工智能中心);UCSD(加州大学圣地亚哥分校)
对比学习作为自监督表示学习的重要工具,近年来得到了前所未有的关注。本质上,对比学习旨在利用正负样本对进行表示学习,这涉及利用特征空间中的邻域信息。通过研究对比学习和邻域成分分析(NCA)之间的联系,提出了一种新的对比学习的随机最近邻观点,并提出了一系列优于现有对比学习的对比损失.在我们提出的框架下,我们展示了一种新的方法来设计综合对比损失,可以同时实现良好的准确性和鲁棒性的下游任务。在该框架下,标准精度提高了6%,鲁棒精度提高了17%.
2022-01-28 cs.CV cs.LG
Speech Emotion Recognition via Contrastive Loss under Siamese Networks
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
语音情感识别是人机交互的一个重要方面。先前的工作提出了各种端到端模型来提高分类性能。然而,它们中的大多数依赖于交叉熵损失和softmax作为监督组件,这并不明确鼓励特征的区分学习。在本文中,我们引入了对比损失函数,以鼓励类内的紧凑性和类间的可学习功能之间的分离性。此外,多个特征选择方法和成对样本选择方法进行了评估。为了验证所提出的系统的性能,我们进行了实验的交互式情感二元运动捕捉(IEMOCAP)数据库,一个共同的评价语料库。实验结果表明,该方法的优势,它达到62.19%的加权准确率和63.21%的非加权准确率。与未采用对比损失函数优化的基准系统相比,加权精度和未加权精度分别提高了1.14%和2.55%。
2019-10-23 cs.CV cs.LG eess.AS
Contrastive Conditional-Unconditional Alignment for Long-tailed Diffusion Model
University of California Merced(加州大学默塞德分校);Oregon State University(俄勒冈州立大学);University of Florida(佛罗里达大学)
针对长尾分布下条件扩散模型的模式坍塌问题,提出对比条件-无条件对齐方法,通过对齐损失和对比损失提升尾部类别的多样性与保真度。
2026-06-25 cs.CV cs.LG
On the Importance of Contrastive Loss in Multimodal Learning
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文从理论角度分析了简单多模态对比学习模型的训练动态,揭示正对驱动表示对齐但增加条件数,负对则减小条件数以保持表示平衡,证明了对比对在多模态学习中的重要性。
2023-04-07 cs.CL cs.CV cs.LG
Heterogeneous Contrastive Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University at Buffalo(布法罗大学);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院)
随着跨多个高影响力应用程序的大数据的出现,我们经常面临复杂异构性的挑战。新收集的数据通常由多个模态组成,并具有多个标签的特征,从而表现出多种类型的异质性共存。虽然国家的最先进的技术是在建模复杂的异质性与足够的标签信息,这样的标签信息可以是相当昂贵的,以获得在实际应用中。近年来,对比学习因其利用大量未标记数据的突出表现而受到研究者的广泛关注。然而,现有的关于对比学习的工作不能解决假否定对的问题,即,一些“负”对如果具有相同的标签,则可能具有类似的表示。为了克服这些问题,在本文中,我们提出了一个统一的异构学习框架,它结合了加权无监督对比损失和加权监督对比损失来建模多种类型的异构性。我们首先提供了一个理论分析,表明香草对比学习损失容易导致次优解的假阴性对的存在,而建议的加权损失可以自动调整的基础上学习表示的相似性,以减轻这个问题的权重。在真实数据集上的实验结果表明了该框架对多种异构性建模的有效性和效率。
2022-07-26 cs.CV cs.LG
SigCLR: Sigmoid Contrastive Learning of Visual Representations
Koç University(科克大学)
本文提出SigCLR,用仅作用于样本对的逻辑损失替代SimCLR的交叉熵损失,在多个数据集上取得有竞争力的性能,并验证了可学习偏置与固定温度的重要性。
2024-10-22 cs.CV cs.LG
Learning a Domain-Agnostic Visual Representation for Autonomous Driving via Contrastive Loss
Seoul National University(首尔大学)
深度神经网络在自动驾驶应用中得到了广泛的研究,例如语义分割或深度估计。然而,以监督的方式训练神经网络需要大量的注释标签,这是昂贵和耗时的collect.Recent研究利用从虚拟环境中收集的合成数据,这是更容易获得和更准确的数据相比,从现实世界中,但他们通常遭受由于固有的域移位问题的泛化能力差。在本文中,我们提出了一个领域不可知的对比学习(DACL),这是一个两阶段的无监督领域自适应框架与循环对抗训练和对比损失。DACL引导神经网络学习领域无关的表示,以克服训练数据和测试数据分布之间存在差异时的性能下降。我们提出的方法实现了更好的性能相比,以前的国家的最先进的方法,在单目深度估计任务,也显示了有效性的语义分割任务。
2021-03-10 cs.CV cs.LG cs.RO
Enriching Knowledge Distillation with Intra-Class Contrastive Learning
Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(新一代人工智能技术及其跨学科应用重点实验室(东南大学),教育部,中国)
针对知识蒸馏中教师软标签缺乏类内多样表示的问题,本文提出带 margin loss 的类内对比学习教师训练方法,并通过理论与实验验证其有效性。
2025-09-26 cs.CV cs.LG