Resampling Augmentation for Time Series Contrastive Learning: Application to Remote Sensing
ICube, University of Strasbourg, Strasbourg, France（ICube，斯特拉斯堡大学，法国斯特拉斯堡）
针对遥感时间序列对比学习，提出重采样增强策略，通过上采样并提取不相交子序列生成正样本对，在农业分类基准上优于常见方法，并在S2-Agri100上达到最先进性能。
2025-06-23 cs.CV
K-Shot Contrastive Learning of Visual Features with Multiple Instance Augmentations
Shanghai Jiaotong University（上海交通大学）；Seattle Cloud Lab, Futurewei Technologies（未来wei技术西雅图云实验室）
在本文中，我们提出了$K$ -镜头对比学习（KSCL）的视觉特征，通过应用多个增强调查的样本变化在个别情况下。它旨在通过学习区分特征来区分不同的实例，以及通过将查询与实例上增强样本的变体相匹配来区分实例内的变化，从而结合实例间区分的优势。特别地，对于每个实例，它构造一个实例子空间来模拟$K$ -镜头增强中的变化的重要因素如何被组合以形成增强的变体的配置。给定一个查询，通过将查询投影到实例的子空间上来预测正实例类，从而检索实例的最相关变体。这推广了现有的对比学习，可以被视为一个特殊的一次性情况。通过特征值分解来构造实例子空间，并通过可微子空间构造来训练嵌入网络。实验结果表明，所提出的$K$ -shot对比学习取得了优于国家的最先进的无监督方法的性能。
2021-02-01 cs.CV
Unilaterally Aggregated Contrastive Learning with Hierarchical Augmentation for Anomaly Detection
Beihang University（北京航空航天大学）
针对异常检测对内点集中与离群点分散的双重需求，提出UniCon-HA，通过有监督/无监督对比损失、软重加权净化和分层深度聚合提升性能。
2023-08-20 cs.CV
Hierarchical Consistent Contrastive Learning for Skeleton-Based Action Recognition with Growing Augmentations
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
针对自监督骨骼动作识别中强增强导致训练不稳定的问题，提出HiCLR框架，通过渐进增强、有序正样本对和非对称定向聚类损失实现层次一致性，并在NTU60、NTU120和PKUMMD上显著超越现有方法。
2023-07-10 cs.CV
Implicit Data Synthesis for Contrastive Unsupervised Data Augmentation
School of Informatics, The University of Edinburgh（信息学院）；Massachusetts Institute of Technology Lincoln Laboratory（麻省理工学院林肯实验室）
针对科学观测数据难以标注的问题，提出通过扰动网络权重而非数据生成对比样本，在雷达流星观测上使用SimCLR管道验证性能提升。
2026-06-05 cs.CV
Contrastive Cross-Bag Augmentation for Multiple Instance Learning-based Whole Slide Image Classification
提出对比跨包增强方法，从同类别所有包采样实例增加伪包多样性，并引入包级和组级对比学习，提升多实例学习全切片图像分类性能。
2025-08-05 cs.CV
Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for Self-Supervised Skeleton-Based Action Recognition
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）
基于对比学习的自监督神经网络动作识别方法受到了广泛的关注。最近的文献表明，数据增强和大量对比对对于学习此类表示至关重要。在本文中，我们发现，直接扩展的对比对的基础上正常的增广带来的性能方面的回报有限，因为对比对的正常数据增强的损失的贡献越来越小，随着训练的进展。因此，我们深入研究了对比学习的硬对比对。混合增强策略的成功，提高了许多任务的性能，通过合成新的样本的动机，我们提出了SkeleMixtail：一个对比学习框架与时空骨架混合增强（SkeleMix），以补充当前的对比学习方法，通过提供硬对比样本。首先，SkeleMix利用骨架数据的拓扑信息，通过随机组合裁剪的骨架片段（修剪视图）与剩余的骨架序列（截断视图）来混合两个骨架序列。其次，应用时空掩模池来在特征级别分离这两个视图。第三，我们用这两种观点扩展对比对。SkeleMixtool利用修剪和截断的视图来提供丰富的硬对比对，因为它们由于图卷积操作而涉及彼此的一些上下文信息，这允许模型学习更好的运动表示以进行动作识别。在NTU-RGB+D、NTU 120-RGB+D和PKU-MMD数据集上进行的大量实验表明，SkeleMixtool实现了最先进的性能。代码可在https://github.com/czhaneva/SkeleMixCLR上获得。
2022-07-07 cs.CV
Stronger is not better: Better Augmentations in Contrastive Learning for Medical Image Segmentation
Department of Computer Science（计算机科学系）
本文研究了医学图像分割中对比学习的增强方法，发现强数据增强不一定提升性能，并提出了改进的增强技术以提高分割效果。
2025-12-10 cs.CV eess.IV
A Theory of Contrastive Learning with Natural Images
研究简单图像与增强方式的对比学习为何能为下游任务产生有用表征。核心方法是依据对比损失解析计算最优表征，贡献为揭示特定增强方式下最优 CNN 的结构及权重特点，实验验证其有效性。
2026-07-09 cs.CV
Composable Augmentation Encoding for Video Representation Learning
Google Research（谷歌研究院）；Brown University（布朗大学）；MIT（麻省理工学院）
我们专注于自监督视频表示学习的对比方法。对比学习中的一个常见范例是通过对同一实例的不同数据视图进行采样来构建正对，不同的数据实例作为负对。这些方法隐含地假设一组代表性的不变性的视图选择机制（例如，采样帧的时间偏移），这可能会导致下游的任务，违反这些不变性（细粒度的视频动作识别，将受益于时间信息）的性能差。为了克服这一限制，我们提出了一个“增强意识”的对比学习框架，在这里我们明确地提供了一个序列的增强参数化（如用于创建数据视图的时移的值）作为可组合增强编码（CATE），我们的模型时，投影的视频表示对比学习。我们表明，通过我们的方法学习的表示编码有关指定的空间或时间增强的有价值的信息，并且在这样做的过程中，还在许多视频基准上实现了最先进的性能。
2021-08-20 cs.CV
MetAug: Contrastive Learning via Meta Feature Augmentation
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Southern Marine Science and Engineering Guangdong Laboratory (Guangzhou)（南方海洋科学与工程广东省实验室（广州））；Renmin University of China（中国人民大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本文提出MetAug方法，通过元学习在潜在空间直接增强特征，并引入边际注入正则化和优化驱动的统一对比损失，以有限数据学习判别性表示，在多个基准上取得最优性能。
2023-08-09 cs.CV
Saliency Can Be All You Need In Contrastive Self-Supervised Learning
Leiden University（莱顿大学）；Tel-Hai College（泰勒海学院）；Migal Institute（米加尔研究所）
我们提出了一个增强政策的对比自监督学习（SSL）的形式已经建立了显着的图像分割技术，题为全球对比度为基础的显着区域检测。这种检测技术，这已经被设计用于无关的计算机视觉任务，经验观察到SSL协议中的增强促进剂的作用。这种观察植根于我们的实际尝试学习，通过SSL方式，太阳能电池板的航空图像，表现出具有挑战性的边界模式。在我们的问题域上成功地集成了这种技术后，我们制定了一个通用的程序，并进行了全面的，系统的性能评估与各种对比SSL算法的标准增强技术。在多个数据集上进行的这项评估表明，所提出的技术确实有助于SSL。我们假设显着的图像分割是否足以作为唯一的增强策略在对比SSL处理下游分割任务时。
2022-10-30 cs.CV
CCPA: Long-term Person Re-Identification via Contrastive Clothing and Pose Augmentation
Quantitative Imaging Lab, Univeristy of Houston（休斯顿大学定量成像实验室）
本文提出CCPA框架，通过跨身份服装与姿态迁移生成增强数据，并结合关系图注意力网络与细粒度对比损失，提升长期行人重识别在服装变化下的鲁棒性。
2024-02-22 cs.CV
Sensor Data Augmentation by Resampling for Contrastive Learning in Human Activity Recognition
University of South China（南华大学）；Ulster University（阿尔斯特大学）；University of Science and Technology Beijing（北京科技大学）
虽然深度学习为基于传感器的人类活动识别（HAR）的发展做出了贡献，但它通常是一项昂贵且具有挑战性的监督任务，需要大量的标记数据。为了缓解这个问题，对比学习已经被应用于基于传感器的HAR。数据增强是对比学习的重要组成部分，对下游任务的性能有着重要的影响。然而，目前流行的增强方法并没有实现基于传感器的HAR的对比学习的竞争力的性能。基于此，本文提出了一种新的传感器数据增强方法，该方法通过改变采样频率来最大化采样空间的覆盖范围，从而模拟出更真实的活动数据。此外，我们扩展MoCo，一个流行的对比学习框架，MoCoHAR的HAR。将使用UCI-HAR、MotionSensor和USC-HAD数据集在两个对比学习框架SimCLRHAR和MoCoHAR上评估恢复增强方法。实验结果表明，在SimCLRCHAR和MoCoHAR上，以平均F1-score作为评价指标，在少量标记数据下，该方法的性能优于现有的所有方法。结果还表明，并非所有的数据增强方法在对比学习框架中都有积极的影响。
2022-03-23 cs.CV cs.HC
What Should Not Be Contrastive in Contrastive Learning
UC Berkeley（加州大学伯克利分校）；UC San Diego（加州大学圣迭戈分校）
最近的自监督对比方法已经能够通过学习对不同的数据增强保持不变来产生令人印象深刻的可转移视觉表示。然而，这些方法隐含地假设了一组特定的代表性不变性（例如，颜色不变性），并且当下游任务违反该假设时可能表现不佳（例如，红车与黄车的区别）。我们引入了一个对比学习框架，它不需要特定的，任务相关的不变性的先验知识。我们的模型通过构建单独的嵌入空间来学习捕获视觉表示的变化和不变因素，每个嵌入空间除了一个增强之外都是不变的。我们使用一个具有共享骨干的多头网络，该网络在每个增强过程中捕获信息，并且单独在下游任务上优于所有基线。我们进一步发现，不变空间和变化空间的串联在我们调查的所有任务中表现最好，包括粗粒度，细粒度和Few-Shot下游分类任务，以及各种数据损坏。
2021-03-18 cs.CV
Superpixel Graph Contrastive Clustering with Semantic-Invariant Augmentations for Hyperspectral Images
School of Software Engineering, Southeast University（东南大学软件学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及交叉应用关键实验室（东南大学））；Department of Computing and Information Sciences, Saint Francis University（圣弗朗西斯大学计算机与信息科学系）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
本文提出超像素图对比聚类模型SPGCC，通过混合卷积预训练提取高光谱图像高阶空谱特征，并设计像素采样与模型权重两种语义不变增强，交替优化聚类与网络，在多个HSI数据集上优于现有方法。
2025-09-21 cs.CV
Category-Level Pose Retrieval with Contrastive Features Learnt with Occlusion Augmentation
KU Leuven（鲁汶大学）；Ford Greenfield Labs（福特格林菲尔德实验室）
姿态估计通常被处理为箱分类或回归问题。在这两种情况下，想法都是直接预测对象的姿态。由于相似姿势之间的外观变化和不同姿势之间的相似性，这是一项重要的任务。相反，我们遵循的关键思想是，比较两个姿势比直接预测一个姿势更容易。渲染和比较的方法已经被用于该目的，然而，它们往往是不稳定的，计算上昂贵的，并且对于实时应用来说是缓慢的。我们建议通过学习嵌入空间中的对齐度量，使用具有动态余量和连续姿势标签空间的对比损失来进行类别级姿势估计。为了有效的推理，我们使用一个简单的实时图像检索方案与预渲染和预嵌入的参考集的渲染。为了实现鲁棒性，真实世界的条件下，我们采用合成闭塞，限界框扰动，和外观增强。我们的方法在PASCAL 3D和OccludedPASCAL 3D上实现了最先进的性能，并在跨数据集评估设置中超越了KITTI 3D上的竞争方法。该代码目前可在https://github.com/gkouros/contrastive-pose-retrieval上获得。
2022-10-12 cs.CV
Learning Better Contrastive View from Radiologist's Gaze
Shanghai Jiao Tong University（上海交通大学）；University of Georgia（佐治亚大学）；Northwestern Polytechnical University（西北工业大学）；ShanghaiTech University（上海科技大学）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能科技有限公司）
针对医学图像随机增强易破坏微小病灶的问题，提出基于放射科医师注视的注意力感知增强方法FocusContrast，在膝关节X射线数据集上提升SimCLR、MoCo和BYOL分类准确率4.0%~7.0%。
2023-05-15 cs.CV
PCLMix: Weakly Supervised Medical Image Segmentation via Pixel-Level Contrastive Learning and Dynamic Mix Augmentation
College of Artificial Intelligence, Sichuan University（四川大学人工智能学院）
针对弱监督医学图像分割中监督信号传播易过度扩散的问题，提出含动态混合增强、像素级对比学习与双一致性正则化的PCLMix框架，在ACDC数据集上缩小了与全监督方法的性能差距。
2024-05-18 cs.CV
Single Domain Generalization for Alzheimer's Detection from 3D MRIs with Pseudo-Morphological Augmentations and Contrastive Learning
VPALab, Faculty of Engineering and Natural Sciences, Sabanci University（VPALab，工程与自然科学学院，萨班奇大学）
针对MRI阿尔茨海默病检测中数据多样性有限导致的泛化难题，提出利用可学习的伪形态学模块生成形状感知增强，并结合有监督对比学习提取鲁棒特征，有效提升了模型在未见域、类别不平衡及协议差异下的泛化性能。
2025-05-29 cs.CV
DDA: Dimensionality Driven Augmentation Search for Contrastive Learning in Laparoscopic Surgery
the University of Melbourne（墨尔本大学）；St Vincent’s Hospital Melbourne（墨尔本圣文森特医院）
本文提出维度驱动增强搜索方法DDA，利用深度表示局部维度作为代理目标，在对比学习中自动搜索腹腔镜手术图像的合适增强策略，并在三个分类与分割任务上显著优于现有基线。
2024-06-06 cs.CV cs.LG
Contrastive Learning with Consistent Representations
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出CoCor方法，通过DA一致性度量将数据增强强度与表征空间映射相协调，在保持单调性质的同时学习最优映射位置，从而提升对比学习表征的泛化性和可迁移性。
2024-09-04 cs.CV
Attack-Augmentation Mixing-Contrastive Skeletal Representation Learning
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Artificial Intelligence Industrial Technology Research Institute, Nanjing Institute of Technology（南京工程学院人工智能产业技术研究院）；School of Computer Science, Nanjing University（南京大学计算机科学学院）
针对无监督骨骼动作识别中随机增强难以产生直接语义扰动且会软化正负对的问题，提出 A²MC，利用攻击增强生成困难正样本并由 PNM 混合生成困难负样本，在三个公开数据集上达到与 SOTA 相当的性能。
2024-10-02 cs.CV
The Impact of Spatiotemporal Augmentations on Self-Supervised Audiovisual Representation Learning
University of Western Ontario（西安大略大学）
听觉和视觉感知的对比学习在单独研究时非常成功。然而，我们如何整合从这两个领域学到的原则，以实现有效的视听表现，仍然存在重大问题。在本文中，我们提出了一个对比框架，学习视听表示从未标记的视频。在自我监督预训练期间使用的增强的类型和强度对于对比框架充分工作起着至关重要的作用。因此，我们广泛研究适合学习视听表示的时间增强的组成;我们发现不破坏视频的时间一致性的有损时空变换是最有效的。此外，我们表明，这些变换的有效性尺度更高的时间分辨率和更强的变换强度。与仅基于采样的时间增强预训练的自监督模型相比，使用我们的时间增强预训练的自监督模型在AVE数据集上的线性分类器性能上获得了大约6.5%的增益。最后，我们表明，尽管它们很简单，但我们提出的转换在自监督学习框架（SimSiam，MoCoV 3等）和基准视听数据集（AVE）中运行良好。
2021-10-13 cs.CV
Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise
The University of Hong Kong（香港大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院）；Fudan University（复旦大学）；School of Artificial Intelligence, OPtics（人工智能学院）；ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学电子学院）
本文研究对比学习与正激励噪声的联系，定义了任务熵并提出正激励噪声生成器，通过可视化证明所提方法有效。
2026-05-08 cs.CV cs.LG
Enhancing Contrastive Learning for Retinal Imaging via Adjusted Augmentation Scales
UCL（伦敦大学学院）；UCL Institute of Ophthalmology（伦敦大学学院眼科研究所）
针对对比学习在视网膜医学图像上表现次优的问题，本文通过六个临床相关数据集比较不同增强策略，发现弱增强预训练可显著提升模型性能与外部泛化能力。
2025-01-05 cs.AI cs.CV
Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook 人工智能研究院）
自监督表示学习方法最近在目标检测和图像分类等下游任务上超过了监督学习方法。令人费解的是，最近的性能提升来自于训练实例分类模型，将每个图像及其增强版本视为单个类的样本。在这项工作中，我们首先提出了定量实验来揭开这些收益的神秘面纱。我们证明了像MOCO和PIRL这样的方法可以学习遮挡不变表示。然而，他们无法捕捉的观点和类别实例的不变性，这是对象识别的关键组成部分。其次，我们证明了这些方法可以从访问像Imagenet这样的干净的以对象为中心的训练数据集中获得进一步的收益。最后，我们提出了一种利用非结构化视频来学习具有更高视点不变性的表示的方法。我们的研究结果表明，学习表示优于MOCOv2训练相同的数据方面的不变性编码和下游图像分类和语义分割任务的性能。
2020-07-29 cs.CV
Unifying Graph Contrastive Learning via Graph Message Augmentation
Anhui University（安徽大学）
本文提出图消息增强（GMA）作为统一现有图数据增强方法的通用方案，并基于此构建图消息对比学习（GMCL）框架，为图自监督学习提供了新视角与更有效的增强手段。
2024-01-08 cs.CV cs.LG
Feature Dropout: Revisiting the Role of Augmentations in Contrastive Learning
Stanford University（斯坦福大学）
增强在对比学习中扮演什么角色？最近的工作表明，良好的扩增是标签保留相对于一个特定的下游任务。我们通过展示破坏标签的增强在基础模型设置中可能是有用的来使这幅图复杂化，在该设置中，目标是为多个下游任务学习多样化的通用表示。我们对一系列图像和音频数据集进行了对比学习实验，并进行了多个下游任务（例如，叠加在照片上的数字，预测一个与另一个的类别）。我们发现，Viewmaker网络，最近提出的对比学习的学习增强模型，产生标签破坏增强，随机破坏不同的下游任务所需的功能。这些增强是可解释的（例如，改变形状，数字或添加到图像中的字母），并且令人惊讶的是，与专家设计的增强相比，这些增强通常会产生更好的性能，尽管不保留标签信息。为了支持我们的实证结果，我们从理论上分析了一个简单的对比学习设置与线性模型。在这种情况下，标签破坏增强对于防止一组特征抑制对另一个下游任务有用的特征的学习至关重要。我们的研究结果强调，需要分析多个下游任务之间的相互作用时，试图解释基础模型的成功。
2022-12-16 cs.CV cs.LG cs.SD
ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
该研究针对自监督对比学习可迁移性理论理解不足的问题，构建理论框架分析数据增强的影响，发现对比学习难学域不变特征，据此提出ArCL方法，可提升对比学习的可迁移性。
2023-12-12 cs.AI cs.CV cs.LG
ScoreCL: Augmentation-Adaptive Contrastive Learning via Score-Matching Function
Twelvelabs；Yonsei University（延世大学）；Wrtn；Yanolza；Ajou University（亚洲大学）
针对现有对比学习少有考虑增强视图差异的问题，提出ScoreCL方法，利用分数匹配函数衡量数据增强变化并自适应加权样本对，在多个数据集和对比学习方法上实现性能提升。
2024-07-15 cs.CV
Spatiotemporal Contrastive Learning of Facial Expressions in Videos
Queen’s University（女王大学）；Ingenuity Labs Research Institute（英格纽蒂实验室研究院）
提出了一种自监督的对比学习方法用于视频中的面部表情识别。我们提出了一种新的基于时间采样的增强方案，除了标准的空间增强用于对比学习。我们提出的时间增强方案从三种时间采样技术中随机选取：（1）纯随机采样，（2）均匀采样和（3）顺序采样。随后是最多三个标准空间增强的组合。然后，我们使用一个深度R（2+1）D网络的FER，我们训练在一个自我监督的方式的基础上增强，随后微调。在Oulu-CASIA数据集上进行了实验，并将其性能与FER中的其他作品进行了比较。结果表明，我们的方法达到了89.4%的准确率，设置一个新的国家的最先进的优于其他作品。额外的实验和分析证实了相当大的贡献，拟议的时间增强与现有的空间。
2021-08-06 cs.CV cs.LG
Domain Generalisation with Domain Augmented Supervised Contrastive Learning (Student Abstract)
The University of Adelaide（阿德莱德大学）
域泛化（DG）方法解决了当训练域和目标域的分布不匹配时的域转移问题。数据增强方法已成为DG的一种有前途的替代方案。然而，单独的数据增强不足以实现较低的概括误差。该项目提出了一种新的方法，结合数据增强和域距离最小化，以解决与数据增强相关的问题，并提供一个学习性能的保证，在现有的框架下。从经验上讲，我们的方法优于DG基准的基线结果。
2020-12-27 cs.CV cs.LG
CLR-GAM: Contrastive Point Cloud Learning with Guided Augmentation and Feature Mapping
Samsung Semiconductor US（美国三星半导体）；National Yang Ming Chiao Tung University（国立阳明交通大学）
点云数据在机器人和自动驾驶应用中起着至关重要的作用。然而，注释点云数据是耗时且不平凡的，而它们能够学习有区别的3D表示，从而增强下游任务，例如分类和分割。最近，基于对比学习的框架已经显示出以自监督方式学习3D表示的有希望的结果。然而，现有的对比学习方法不能精确地编码和关联结构特征，并且不能有效地搜索更高维的增强空间。在本文中，我们提出了CLR-GAM，一种新的对比学习为基础的框架与引导增强（GA）有效的动态探索策略和引导特征映射（GFM）增强点云之间的相似结构特征关联。我们经验证明，所提出的方法在模拟和真实世界的3D点云数据集上实现了最先进的性能，用于三个不同的下游任务，即，3D点云分类、少样本学习和对象部分分割。
2023-02-28 cs.AI cs.CV cs.LG
Strongly Augmented Contrastive Clustering
South China Agricultural University（华南农业大学）；Sun Yat-sen University（中山大学）
深度聚类由于其通过深度神经网络联合表示学习和聚类的能力，近年来引起了越来越多的关注。在其最新的发展中，对比学习已经成为一种有效的技术，以大大提高深度聚类性能。然而，现有的基于对比学习的深度聚类算法大多集中在一些精心设计的增强（通常通过有限的变换来保持结构），称为弱增强，但不能超越弱增强来探索更强增强中的更多机会（具有更积极的变换甚至严重的失真）。在本文中，我们提出了一种称为强增强对比聚类（SACC）的端到端深度聚类方法，该方法将传统的两个增强视图范式扩展到多个视图，并联合利用强增强和弱增强来加强深度聚类。特别是，我们利用一个骨干网络与triangle共享的权重，其中一个强增强的视图和两个弱增强的意见。基于由主干产生的表示，弱-弱视图对和强-弱视图对被同时用于实例级对比学习（经由实例投影仪）和集群级对比学习（经由集群投影仪），其与主干一起可以以纯无监督的方式联合优化。在五个具有挑战性的图像数据集上的实验结果表明，我们的SACC方法优于最先进的方法。代码可以在https://github.com/dengxiaozhi/SACC上找到。
2022-07-14 cs.CV cs.LG
Adults as Augmentations for Children in Facial Emotion Recognition with Contrastive Learning
Centrum Wiskunde & Informatica（荷兰数学与计算机科学研究中心）；University of Trieste（的里雅斯特大学）；Leiden University Medical Center（莱顿大学医学中心）；Delft University of Technology（代尔夫特理工大学）
儿童的情绪识别可以帮助早期识别和干预在癌症治疗等压力情况下出现的心理并发症。尽管深度学习模型越来越多地被采用，但数据稀缺往往是儿科医学的一个问题，包括儿童的面部情绪识别。本文研究了基于数据增强的对比学习在儿童面部情绪识别中克服数据匮乏的应用。我们探索忽略代沟的想法，通过将大量可用的成人数据添加到儿科数据中，以学习更好的表示。我们调查不同的方式，成人面部表情图像可以一起使用的儿童。特别是，我们建议明确纳入每个小批量成人图像作为儿童的增强。在学习方法和训练集大小的$84$组合中，我们发现使用所提出的训练方案的监督对比学习表现最好，达到了通常超过第二最佳方法2%至3%的测试准确度。我们的研究结果表明，成人数据可以被认为是一个有意义的增强儿科数据的识别儿童的情绪面部表情，并开辟了其他应用的对比学习，以改善儿科护理的可能性，通过补充儿童与成人的数据。
2022-02-10 cs.CV cs.NE
Training GANs with Stronger Augmentations via Contrastive Discriminator
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
生成对抗网络（GANs）的最新工作正在积极地重新审视各种数据增强技术，作为防止过拟合的有效方法。然而，目前还不清楚哪些增强可以真正改善GANs，特别是如何在训练中应用更广泛的增强。在本文中，我们提出了一种新的方法来解决这些问题，将最近的对比表示学习计划纳入GAN的框架，创造了ContraD。这种“融合”使判别器能够在不增加其训练不稳定性的情况下使用更强的增强，从而更有效地防止GANs中的过拟合问题。更好的是，我们观察到对比学习本身也受益于我们的GAN训练，即，通过维持真实样本和假样本之间的区分特征，表明两个世界之间具有很强的一致性：良好的对比表示也有利于GAN鉴别器，反之亦然。我们的实验结果表明，与采用数据增强的其他最新技术相比，具有ContradD的GANs始终提高了FID和IS，在线性评估方面仍然保持了高分辨力的特征。最后，作为一个副产品，我们还表明，我们的GANs以无监督的方式（无标签）训练，可以通过简单的潜在采样，利用ContraD的学习功能，诱导许多条件生成模型。代码可在https://github.com/jh-jeong/ContraD上获得。
2021-03-17 cs.AI cs.CV cs.LG
Spectral Feature Augmentation for Graph Contrastive Learning and Beyond
The Chinese University of Hong Kong（香港中文大学）；Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
虽然增强（例如，图边缘的扰动、图像裁剪）提高了对比学习（CL）的效率，特征级增强是另一种合理的、互补的但尚未得到充分研究的策略。因此，我们提出了一种新的光谱特征论证的对比学习的图形（和图像）。为此，对于每个数据视图，我们估计每个特征映射的低秩近似，并从映射中减去该近似以获得其补。这是通过本文提出的不完全功率迭代来实现的，不完全功率迭代是一种非标准功率迭代机制，其具有两个有价值的副产品（在仅仅一次或两次迭代下）：（i）它部分地平衡特征图的频谱，以及（ii）它将噪声注入到特征图的重新平衡的奇异值中（频谱增强）。对于两个视图，我们将这些重新平衡的特征图对齐，因为改进的对齐步骤可以更多地关注两个视图的矩阵的不太占主导地位的奇异值，而光谱增强不影响光谱角度对齐（奇异向量不受干扰）。我们推导出的解析形式：（i）不完整的功率迭代，以捕捉其频谱平衡效果，和（ii）的奇异值的方差增加隐含的噪声。我们还表明，谱增强提高了泛化界。在图形/图像数据集上的实验表明，我们的光谱特征增强优于基线，与其他增强策略互补，并与各种对比度损失兼容。
2022-12-02 cs.AI cs.CV cs.LG
Contrastive Learning with Stronger Augmentations
Purdue University（普渡大学）；Futurewei Seattle Cloud Lab（未来威西雅图云实验室）
随着对比学习方法的发展，表示学习得到了长足的发展。这些方法中的大多数都受益于各种数据增强，这些数据增强被仔细指定以保持它们的身份，以便仍然可以检索从同一实例转换的图像。然而，这些精心设计的转换限制了我们进一步探索其他转换所揭示的新模式。同时，我们在实验中发现，强增强会使图像的结构发生扭曲，导致检索困难。因此，我们提出了一个通用的框架，称为对比学习与更强的增强~（CLSA），以补充目前的对比学习的方法。在这里，弱增强图像和强增强图像之间的分布差异表示银行被用来监督强增强查询从一个池的实例检索。在ImageNet数据集和下游数据集上的实验表明，来自强增强图像的信息可以显着提高性能。例如，CLSA在ImageNet上实现了76.2%的top-1准确率，采用标准ResNet-50架构，并对单层分类器进行了微调，这几乎与76.5%的监督结果相同。代码和预训练模型可在https://github.com/maple-research-lab/CLSA中找到。
2022-01-21 cs.AI cs.CV cs.LG
Label-invariant Augmentation for Semi-Supervised Graph Classification
Brandeis University（布兰迪斯大学）
近年来，基于对比度的增强技术在计算机视觉领域掀起了一个新的高潮，旋转、裁剪、翻转等操作与专用算法相结合，极大地提高了模型的泛化能力和鲁棒性。在这种趋势下，一些开创性的尝试将类似的想法用于图形数据。然而，与图像不同，在不改变图的性质的情况下设计合理的增强要困难得多。虽然令人兴奋，但目前的图形对比学习并没有达到视觉对比学习那样有前途的性能。我们推测，图对比学习的当前性能可能受到违反标签不变扩增假设的限制。有鉴于此，我们提出了一个标签不变的增强图结构的数据，以解决这一挑战。与节点/边修改和子图提取不同，我们在表示空间中进行增强，并在最困难的方向生成增强样本，同时保持增强数据的标签与原始样本相同。在半监督的情况下，我们证明了我们提出的方法优于经典的图神经网络的方法和最近的图对比学习的8个基准图结构的数据，其次是几个深入的实验，以进一步探索标签不变的增强在几个方面。
2022-05-19 cs.AI cs.CV cs.LG
Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；Sun Yat-sen University（中山大学）
近年来，对比学习已成为大规模自监督学习的一种很有前途的方法。然而，对它如何工作的理论理解仍然不清楚。在本文中，我们提出了一个新的下游性能的保证，而不诉诸条件独立性假设，这是广泛采用的在以前的工作，但在实践中很难成立。我们的新理论取决于这样一种见解，即在积极的数据增强下，不同类内样本的支持将变得更加重叠，因此简单地对齐阳性样本（同一样本的增强视图）可以使对比学习将类内样本聚类在一起。基于这种增强重叠的观点，理论上，我们在较弱的假设下获得了下游性能的渐近闭合边界，并且根据经验，我们提出了一种无监督的模型选择度量ARC，该度量与下游精度很好地保持一致。我们的理论提出了对对比学习的另一种理解：对齐阳性样本的作用更像是一个替代任务，而不是最终目标，重叠的增强视图（即，混乱）为对比学习创建阶梯以逐渐学习类分离的表示。用于计算ARC的代码可在https://github.com/zhangq327/ARC上获得。
2022-05-27 cs.CV cs.LG stat.ML
What Has Been Overlooked in Contrastive Source-Free Domain Adaptation: Leveraging Source-Informed Latent Augmentation within Neighborhood Context
The University of British Columbia（不列颠哥伦比亚大学）；Department of Mechanical Engineering（机械工程系）；Department of Computer Science（计算机科学系）
针对无源域自适应中难以估计域差距的问题，本文提出一种基于源预训练模型引导的邻域潜在特征增强方法，通过提升正键信息量优化对比学习，在多个基准数据集上超越现有方法。
2024-12-18 cs.CV cs.LG
Augmentation Component Analysis: Modeling Similarity via the Augmentation Overlaps
Nanjing University（南京大学）
自监督学习旨在学习语义相似样本接近的嵌入空间。对比学习方法将样本的视图拉到一起，将不同的样本推开，利用了增强的语义不变性，但忽略了样本之间的关系。为了更好地利用增强的力量，我们观察到语义相似的样本更有可能具有相似的增强视图。因此，我们可以将增强视图作为样本的特殊描述。在本文中，我们模型的增广分布，我们称之为增广功能的描述。增强特征的相似性反映了两个样本的视图重叠程度，并与它们的语义相似性有关。在没有计算负担来明确估计增强特征的值的情况下，我们提出了增强分量分析（ACA），其具有类似对比的损失来学习主分量和实时投影损失来嵌入数据。ACA相当于PCA的有效降维，并提取低维嵌入，理论上保持了样本之间增强分布的相似性。实验结果表明，我们的方法可以取得竞争力的结果，对各种传统的对比学习方法在不同的基准。
2023-02-16 cs.CV cs.LG
Enhancing Contrastive Learning Inspired by the Philosophy of "The Blind Men and the Elephant"
Tsinghua University（清华大学）；Tencent（腾讯）；University of Science and Technology Beijing（北京科技大学）；University of Macau（澳门大学）
针对对比学习数据增强策略的优化需求，受“盲人摸象”启发提出JointCrop和JointBlur方法，首次将两种增强参数的联合分布引入对比学习，在多个基准模型上实现性能提升且无额外计算开销。
2025-04-16 cs.AI cs.CV
SCALP -- Supervised Contrastive Learning for Cardiopulmonary Disease Classification and Localization in Chest X-rays using Patient Metadata
UT Austin（得克萨斯大学奥斯汀分校）；MIS, Germany（德国曼海姆应用科学大学）；Weill Cornell Medicine（威尔康奈尔医学院）
计算机辅助诊断在胸部X线检查中对心肺疾病的分类和定位具有重要意义。数百万人因这些疾病而受到影响和死亡，而没有准确和及时的诊断。最近提出的对比学习严重依赖于数据增强，特别是正数据增强。然而，为医学图像生成临床精确的数据增强是极其困难的，因为计算机视觉中的常见数据增强方法（例如锐化、模糊和裁剪操作）可以严重改变医学图像的临床设置。在本文中，我们提出了一种新的和简单的数据增强方法的基础上，病人的元数据和监督知识，以创建临床准确的积极和消极的胸部X射线增强。我们引入了一个端到端的框架，SCALP，它扩展了自我监督的对比方法的监督设置。具体而言，SCALP将来自同一患者的胸部X射线（正键）拉在一起，并将来自不同患者的胸部X射线（负键）分开。此外，它使用ResNet-50和三重注意机制来识别心肺疾病，并使用Grad-CAM ++来突出异常区域。我们广泛的实验表明，SCALP优于现有的基线，在分类和本地化任务的显着利润率。具体来说，平均分类AUC从82.8%（使用DenseNet-121的SOTA）提高到83.9%（使用ResNet-50的SCALP），而定位结果在不同的IoU阈值上平均提高了3.7%。
2021-10-27 cs.CV eess.IV
Structuring Representation Geometry with Rotationally Equivariant Contrastive Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出CARE方法，通过在对比学习中引入等变目标强制输入增强对应于球面嵌入空间的旋转，构建表示几何结构，在无需严格不变性的情况下提升下游任务性能并保留对数据重要变化的敏感性。
2023-06-24 cs.CV cs.LG
Spatiotemporal Contrastive Video Representation Learning
Google Research（谷歌研究院）；Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）
我们提出了一种自监督的对比视频表示学习（CVRL）方法来学习时空视觉表示从未标记的视频。我们的表示是使用对比损失来学习的，其中来自同一短视频的两个增强剪辑在嵌入空间中被拉到一起，而来自不同视频的剪辑被推开。我们研究了视频自监督学习的良好数据增强，发现空间和时间信息都是至关重要的。我们仔细设计了涉及空间和时间线索的数据增强。具体地说，我们提出了一个时间上一致的空间增强方法施加强大的空间增强视频的每一帧，同时保持跨帧的时间一致性。我们还提出了一个基于采样的时间增强方法，以避免过度强制执行的剪辑是遥远的时间上的不变性。在Kinetics-600上，在CVRL学习的表示上训练的线性分类器在3D-ResNet-50（R3 D-50）主干上实现了70.4%的前1准确率，比ImageNet监督预训练高出15.7%，比Simplified无监督预训练高出18.8%。CVRL的性能可以通过更大的R3 D-152（2x过滤器）主干进一步提高到72.9%，显著缩小了无监督和有监督视频表示学习之间的差距。我们的代码和模型将在https://github.com/tensorflow/models/tree/master/official/上提供。
2021-04-05 cs.CV cs.LG
CIPER: Combining Invariant and Equivariant Representations Using Contrastive and Predictive Learning
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Xidian-FIAS International Joint Research Center（西电-法兰克福高等研究院国际联合研究中心）
针对自监督表示学习中单一不变/等变特征适配性有限的问题，提出CIPER框架，通过共享编码器结合对比不变与预测等变双目标，在多任务上优于基线，还能形成层次化表示。
2023-07-18 cs.AI cs.CV
Object-aware Contrastive Learning for Debiased Scene Representation
KAIST（韩国科学技术院）；Google Cloud AI（谷歌云人工智能）
对比自监督学习通过对不同的数据增强实施不变性，在从未标记图像中学习视觉表示方面表现出令人印象深刻的结果。然而，学习的表示往往在上下文上偏向于不同对象或对象与背景的虚假场景相关性，这可能会损害其在下游任务上的泛化。为了解决这个问题，我们开发了一种新的对象感知的对比学习框架，首先（a）以自我监督的方式定位对象，然后（b）通过考虑推断的对象位置的适当的数据增强来消除场景相关性。对于（a），我们提出了对比类激活图（ContraCAM），它找到了最具区别性的区域（例如，对象）与其他图像进行比较。我们进一步提高了ContraCAM检测多个对象和整个形状通过迭代细化过程。对于（b），我们引入了两种基于ContraCAM的数据增强，对象感知随机裁剪和背景混合，它们分别减少了对比自监督学习期间的上下文和背景偏差。我们的实验证明了我们的表示学习框架的有效性，特别是在多对象图像下训练或在背景（和分布）移动图像下评估时。
2021-10-26 cs.CV cs.LG
Enhancing Multimodal Entity Linking with Jaccard Distance-based Conditional Contrastive Learning and Contextual Visual Augmentation
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；VinAI Research（VinAI研究院）
本文针对多模态实体链接中负样本选择不当的问题，提出 JD-CCL 方法利用元信息选取相似属性负样本以增强鲁棒性，并引入 CVaCPT 方法结合多视角合成图像与上下文文本增强视觉表示，在基准数据集上验证了有效性。
2025-01-24 cs.AI cs.CV
DiffAug: Enhance Unsupervised Contrastive Learning with Domain-Knowledge-Free Diffusion-based Data Augmentation
Westlake University（西湖大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab, Zhejiang Province（浙江省湖畔实验室）；AI Lab, Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究中心人工智能实验室）
本文提出DiffAug，一种利用条件扩散模型生成正样本的无监督对比学习增强方法，无需领域知识，在DNA、视觉和生物特征数据集上优于现有方法。
2024-05-25 cs.CE cs.CV cs.LG
Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning
UIBE Beijing（北京对外经济贸易大学）；Carnegie Mellon University（卡内基梅隆大学）
通过对比学习训练的神经网络如何从未标记的数据中提取特征？为什么对比学习通常需要比监督学习更强的数据增强来确保良好的表示？这些问题涉及深度学习的优化和统计方面，但很难通过分析目标函数是最高追求的监督学习来回答。事实上，在自监督学习中，不可避免地涉及到神经网络的优化/泛化，以及它们如何对数据中的潜在结构进行编码，我们称之为特征学习过程。在这项工作中，我们正式研究对比学习如何学习神经网络的特征表示，通过分析其特征学习过程。我们考虑的情况下，我们的数据是由两种类型的功能：语义对齐稀疏的功能，我们要学习，和其他密集的功能，我们要避免。理论上，我们证明了使用$\mathbf{ReLU}$网络的对比学习可证明学习所需的稀疏特征，如果采用适当的增强。我们提出了一个基本的原则，称为$\textbf{feature decoupling}$来解释增强的影响，在那里我们从理论上描述了增强如何减少正样本之间的密集特征的相关性，同时保持稀疏特征的相关性不变，从而迫使神经网络从稀疏特征的自我监督中学习。在实践中，我们验证了特征解耦原则与对比学习的基本机制相匹配。
2021-07-05 cs.CV cs.LG stat.ML
Contrastive Visual Data Augmentation
UCLA（加利福尼亚大学洛杉矶分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；TAMU（德克萨斯农工大学）
本文提出对比式视觉数据增强策略CoDA，通过提取目标概念与易混淆概念的对比特征并生成合成数据，显著提升LMMs对低资源和新颖概念的识别能力。
2025-06-05 cs.AI cs.CL cs.CV
