Robust image representations with counterfactual contrastive learning
Imperial College London（伦敦帝国理工学院）；Kheiron Medical Technologies（Kheiron医疗技术公司）
针对传统对比学习的图像增强无法模拟医学成像真实域偏移的问题，提出反事实对比学习框架，利用因果图像合成生成正样本对，在多数据集上提升了采集偏移鲁棒性与下游性能，还能缩小性别子群体差异。
2025-04-10 cs.AI cs.CV
ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts
EverEx
研究在条件扩散模型采样中，针对简单否定CFG引导存在的问题，提出用对比损失实现对给定条件引导的新方法，能在多样场景下有效注入或去除给定概念并保持样本质量。
2026-07-09 cs.AI cs.CV cs.LG
Contrastive Learning-Enhanced Trajectory Matching for Small-Scale Dataset Distillation
Graduate School of Engineering, University of Fukui（福井大学工学研究科）
针对小规模数据集蒸馏中语义信息丢失问题，提出在轨迹匹配中融入对比学习以增强合成样本的判别性与多样性，实验证明该方法在极少量合成数据下显著提升模型性能。
2025-05-22 cs.CV
Contrastive Syn-to-Real Generalization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；NVIDIA（英伟达）；California Institute of Technology（加州理工学院）
在合成数据上进行培训对于标签或数据稀缺的情况是有益的。然而，综合训练的模型往往遭受在真实领域由于领域差距的泛化能力差。在这项工作中，我们做了一个关键的观察，学习的特征嵌入的多样性在泛化性能中起着重要的作用。为此，我们提出了对比合成到真实泛化（CSG），这是一种新的框架，它利用预先训练的ImageNet知识来防止合成域的过拟合，同时促进特征嵌入的多样性作为归纳偏差来提高泛化能力。此外，我们加强了建议CSG框架与注意力池（A-pool），让模型专注于语义上的重要区域，并进一步提高其泛化。我们证明了CSG在各种综合训练任务上的有效性，在zero-shot领域泛化上表现出最先进的性能。
2021-04-06 cs.CV
ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning
Peking University（北京大学）；Huawei（华为）；National University of Singapore（新加坡国立大学）
针对合成到真实新视角合成中合成数据导致体积密度不准确的问题，提出几何感知对比学习和跨视图注意力，提升泛化NeRF的渲染质量，在PSNR、SSIM和LPIPS上优于现有方法。
2023-06-23 cs.CV
A Survey on Data Curation for Visual Contrastive Learning: Why Crafting Effective Positive and Negative Pairs Matters
Yale University（耶鲁大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特校区）
本综述针对视觉对比学习中正负样本对设计影响表示质量等问题，构建现有正负样本对整理技术的分类体系并详细描述，助力优化对比预训练的有效性。
2025-02-12 cs.CV
Ranking Info Noise Contrastive Estimation: Boosting Contrastive Learning via Ranked Positives
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）；University of Bonn（波恩大学）
本文介绍了排名信息噪声对比估计（RINCE），一个新的成员在家庭的InfoNCE损失，保持了排名排序的正样本。与标准的InfoNCE损失相比，它需要将训练对严格地二进制分离为相似和不相似的样本，RINCE可以利用有关相似性排名的信息来学习相应的嵌入空间。我们表明，建议的损失函数学习有利的嵌入相比，标准的InfoNCE时，至少可以获得嘈杂的排名信息，或当定义的积极和消极的是模糊的。我们证明了这一点的监督分类任务，额外的超类标签和嘈杂的相似性分数。此外，我们还通过对视频的无监督表示学习进行实验，证明了RINCE也可以应用于无监督训练。特别是，嵌入产生更高的分类精度，检索率和性能更好的分布外检测比标准的InfoNCE损失。
2022-01-27 cs.CV
Rethinking Rotation in Self-Supervised Contrastive Learning: Adaptive Positive or Negative Data Augmentation
The University of Tokyo（东京大学）；NTT Corporation（日本电报电话公司）
在对比学习中，旋转经常被列为数据增强的候选者，但很少提供令人满意的改进。我们认为，这是因为旋转的图像总是被视为积极或消极的。图像的语义可以是旋转不变的，也可以是旋转可变的，因此应该根据图像的内容来确定旋转后的图像是正还是负。因此，我们提出了一种新的增强策略，自适应积极或消极的数据增强（PNDA），其中原始图像和旋转图像是一个积极的一对，如果它们是语义接近和一个消极的一对，如果它们是语义不同。为了实现PNDA，我们首先以无监督的方式逐个图像地确定旋转是正还是负。然后，我们将PNDA应用到对比学习框架中。我们的实验表明，PNDA提高了对比学习的性能。代码可在\url{ https://github.com/AtsuMiyai/rethinking_rotation}上获得。
2022-11-24 cs.CV
PathoSCOPE: Few-Shot Pathology Detection via Self-Supervised Contrastive Learning and Pathology-Informed Synthetic Embeddings
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；University of Glasgow（格拉斯哥大学）；University College London（伦敦大学学院）
PathoSCOPE提出小样本无监督病理检测框架，仅需少量非病理样本，通过全局-局部对比损失和病理信息嵌入生成模块，在BraTS2020和ChestXray8上达到最先进性能且计算高效。
2025-05-23 cs.CV
Contrastive Positive Sample Propagation along the Audio-Visual Event Line
Hefei University of Technology（合肥工业大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在自然环境中，视听信号常常共存，形成视听事件。给定一个视频，我们的目标是本地化包含AVE的视频片段，并确定其类别。学习每个视频片段的区分特征是关键。与现有的工作侧重于视听特征融合，在本文中，我们提出了一种新的对比积极的样本传播（CPSP）方法更好的深度特征表示学习。CPSP的贡献是引入可用的完整或弱标签作为先验，构造用于对比学习的精确正负样本。具体而言，CPSP涉及全面的对比约束：对级阳性样本传播（PSP）、片段级和视频级阳性样本激活（PSA $_S$和PSA $_V$）。提出了三个新的对比目标（\emph{i.e.}、$\mathcal{L}_{\text{avpsp}}$、$\mathcal{L}_\text{spsa}$和$\mathcal{L}_\text{vpsa}$）并将其引入到完全监督和弱监督AVE定位中。为了更全面地描述AVE定位中的对比学习，我们还研究了自监督正样本传播算法。因此，CPSP更有助于获得可与底片区分的精细视听特征，从而有利于分类器预测。在AVE和新采集的VGGSound-AVEL 100 k数据集上的实验验证了该方法的有效性和泛化能力。
2022-11-18 cs.CV
Synthetic-to-Real Domain Adaptation using Contrastive Unpaired Translation
University of Bonn（波恩大学）
机器人技术中深度学习模型的有用性在很大程度上取决于训练数据的可用性。手动注释训练数据通常是不可行的。合成数据是一种可行的替代方案，但存在域缺口。我们提出了一种多步骤的方法来获得训练数据，而无需手动注释工作：从3D对象网格，我们使用现代合成管道生成图像。我们利用最先进的图像到图像的翻译方法，以适应合成图像的真实域，最大限度地减少域差距的学习方式。翻译网络是从未配对的图像中训练出来的，即只需要一个未注释的真实图像集合。然后可以使用生成和细化的图像来为特定任务训练深度学习模型。我们还提出并评估了进一步提高性能的翻译方法的扩展，例如基于补丁的训练，它缩短了训练时间并提高了全局一致性。我们评估我们的方法，并证明其有效性的两个机器人数据集。最后，我们深入了解学习的细化操作。
2022-06-28 cs.CV
Nearest-Neighbor Inter-Intra Contrastive Learning from Unlabeled Videos
Amazon Prime Video（亚马逊Prime视频）
对比学习最近缩小了图像和视频领域中自监督和监督方法之间的差距。最先进的视频对比学习方法，如CVRL和$ρ$ -MoCo时空增强来自同一视频的两个片段作为阳性。通过仅从单个视频局部地采样正片段，这些方法忽略了也可能有用的其他语义相关的视频。为了解决这一限制，我们利用来自全局空间的最近邻视频作为额外的正对，从而提高了正关键字的多样性，并引入了一个更宽松的相似性概念，该概念可以扩展到视频甚至类边界之外。我们的方法，帧间-帧内视频对比学习（IIVCL），提高了一系列视频任务的性能。
2023-03-13 cs.CV
FISHing in Uncertainty: Synthetic Contrastive Learning for Genetic Aberration Detection
St. Anna Children’s Cancer Research Institute（圣安娜儿童癌症研究所）；TU Wien（维也纳技术大学）；Medical University of Vienna（维也纳医科大学）
针对FISH图像遗传畸变检测中人工标注成本高、不确定性处理不足的问题，提出基于合成图像的联合对比与分类训练方法，在真实数据上实现96.7%的高置信样本分类准确率，优化诊断流程。
2024-11-01 cs.CV
Positive-Negative Equal Contrastive Loss for Semantic Segmentation
University of Science and Technology Beijing（北京科技大学）
背景信息对于各种计算机视觉任务至关重要，以前的工作通常设计即插即用模块和结构损失来有效地提取和聚合全局背景。这些方法利用精细标记来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，其可以向硬像素引入优选分布（即，误分类像素）。受无监督模式下对比学习的启发，我们以监督的方式应用对比损失，并重新设计损失函数，以摆脱无监督学习的刻板印象（例如，正负不平衡，锚计算混乱）。为此，我们提出了正负相等对比损失（PNE损失），它增加了正嵌入对锚点的潜在影响，并平等对待正样本和负样本对。PNE损失可以直接插入到现有的语义分割框架中，并以可忽略的额外计算成本获得出色的性能。我们利用许多经典的分割方法（例如，DeepLabV 3、HRNetV 2、OCRNet、UperNet）和主干（例如，ResNet、HRNet、Swin Transformer）进行全面的实验，并在三个基准数据集（例如，Cityscapes、COCO-Stuff和ADE20K）。我们的代码将很快公开。
2023-02-23 cs.CV
Synthetic Hard Negative Samples for Contrastive Learning
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出SSCL方法，通过混合负样本生成并采样更难负样本，同时进行去偏处理，以提升对比学习在图像分类任务中的性能。
2023-04-17 cs.CV cs.LG
SynCo: Synthetic Hard Negatives for Contrastive Visual Representation Learning
Imperial College London（伦敦帝国学院）
针对对比学习难负例获取成本高的问题，提出SynCo方法，直接在表征空间用缓存队列嵌入合成难负例，在MoCo框架下验证其能以极低计算成本提升表征效果和下游任务迁移性能，且长预训练周期下无性能下降。
2026-09-01 cs.AI cs.CV
CLICv2: Image Complexity Representation via Content Invariance Contrastive Learning
XAUAT（西安建筑科技大学）
CLICv2通过移位分块、逐块对比损失和熵恢复掩码图像建模，在无监督图像复杂度表示中消除正样本对偏差并抑制内容干扰，在IC9600上显著超越现有方法。
2025-03-09 cs.CV
SYNCS: Synthetic Data and Contrastive Self-Supervised Training for Central Sulcus Segmentation
Danish Research Centre for Magnetic Resonance (DRCMR)（丹麦磁共振研究中心）
针对双相障碍和精神分裂症高风险儿童的中央沟分割挑战，本研究提出结合合成数据生成与多任务自监督预训练的新方法，提升了跨人群分割性能并免除了繁重预处理。
2024-03-22 cs.CV
Leveraging Contrastive Learning for Semantic Segmentation with Consistent Labels Across Varying Appearances
本文提出一个多天气城市场景合成数据集及利用对比学习实现特征一致性的域自适应方法，有效提升了跨域语义分割性能并确立了合成数据生成与域自适应的新范式。
2024-12-21 cs.CV
CLIP-FLow: Contrastive Learning by semi-supervised Iterative Pseudo labeling for Optical Flow Estimation
OPPO US Research Center（OPPO美国研究中心）；Innopeak Technology（Innopeak科技公司）
合成数据集通常用于预训练端到端光流网络，因为缺乏大量标记的真实场景数据。但是，当从合成场景移动到真实场景时，准确性会发生重大下降。我们如何更好地将从合成领域学到的知识转移到真实领域？为此，我们提出了CLIP-FLow，一个半监督迭代伪标记框架，将预训练知识转移到目标实域。我们利用大规模的、未标记的真实数据来促进迁移学习，并监督迭代更新的伪真实标签，弥合合成和真实之间的领域差距。此外，我们提出了一个对比流损失的参考功能和扭曲功能的伪地面真相流，以进一步提高准确的匹配和抑制由于运动，遮挡，或嘈杂的伪标签的不匹配。我们采用RAFT作为主干，并获得4.11%的F1-所有误差，即从RAFT（5.10%）减少19%的误差，并在KITTI 2015基准提交时排名2位$^{nd}$。我们的框架也可以扩展到其他模型，例如CRAFT，在KITTI 2015基准上将F1-all误差从4.79%降低到4.66%。
2022-12-03 cs.CV
MixCo: Mix-up Contrastive Learning for Visual Representation
KAIST（韩国科学技术院）
对比学习在最近的视觉表示的自监督方法中显示出显着的效果。通过学习将正对的表示与相应的负对进行对比，可以训练良好的视觉表示而无需人工注释。本文提出了混合对比度（MixCo），它扩展了对比学习的概念，从混合的正面和负像编码的半积极的。MixCo的目标是学习表示的相对相似性，反映混合图像有多少原始正面。我们验证了MixCo在TinyImageNet、CIFAR10和CIFAR100上的标准线性评估协议下应用于最近的自监督学习算法时的有效性。在实验中，MixCo始终如一地提高了测试精度。值得注意的是，当学习能力（例如，模型大小）是有限的，这表明MixCo在现实世界的场景中可能更有用。该代码可从以下网址获得：https://github.com/Lee-Gihun/MixCo-Mixup-Contrast。
2020-11-15 cs.CV
Unsupervised Synthetic Image Refinement via Contrastive Learning and Consistent Semantic-Structural Constraints
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
针对合成图像与真实图像语义分布差异导致的语义失真问题，提出一种无监督合成图像优化方法，利用语义-结构一致性、对比学习和难负样本挖掘，实现最先进性能。
2023-04-26 cs.AI cs.CV eess.IV
Temporal Contrastive Learning with Curriculum
Queen’s University（女王大学）
我们提出了ConCur，一个对比视频表示学习方法，使用课程学习在对比训练中施加动态采样策略。更具体地说，ConCur使用简单的阳性样本（时间上接近且语义上相似的片段）开始对比训练，随着训练的进行，它增加了时间跨度，有效地对硬阳性样本（时间上远离且语义上不相似）进行采样。为了更好地学习上下文感知表示，我们还提出了一个辅助任务，预测一个积极的一对剪辑之间的时间距离。我们在两个流行的动作识别数据集UCF 101和HMDB 51上进行了广泛的实验，我们提出的方法在视频动作识别和视频检索两个基准任务上实现了最先进的性能。我们通过使用R（2+1）D和C3 D编码器以及Kinetics-400和Kinetics-200数据集上的预训练来探索编码器骨干和预训练策略的影响。此外，详细的消融研究表明，我们提出的方法的每个组件的有效性。
2022-09-02 cs.CV
Doubly Contrastive Deep Clustering
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；University of Pittsburgh（匹兹堡大学）；JD Finance America Corporation（京东金融美国公司）
深度聚类成功地提供了比传统聚类更有效的特征，因此成为当前无监督学习中的重要技术。然而，大多数深度聚类方法忽略了由数据增强引入的重要的正对和负对，以及进一步的对比学习的重要性，这导致了次优性能。在本文中，我们提出了一种新的双对比深度聚类（DCDC）框架，该框架在样本和类视图上构建对比损失，以获得更具区分力的特征和竞争力的结果。具体来说，对于样本视图，我们将原始样本及其增强版本的类分布设置为正样本对，并将其他增强样本之一设置为负样本对。之后，我们可以采用样本对比损失将正样本对拉在一起，将负样本对分开。类似地，对于类视图，我们从类的样本分布中构建正对和负对。这样，两个对比损失成功地约束小批量样本的聚类结果在样本和类的水平。在六个基准数据集上的大量实验结果证明了我们提出的模型对最先进方法的优越性。特别是在具有挑战性的数据集Tiny-ImageNet中，我们的方法比最新的比较方法领先5.6%。我们的代码将在\url{https://github.com/ZhiyuanDang/DCDC}上提供。
2021-03-09 cs.CV
Take More Positives: An Empirical Study of Contrastive Learing in Unsupervised Person Re-Identification
Shandong University（山东大学）；Hong Kong Baptist University（香港浸会大学）；Meituan（美团）
无监督人员重新识别（re-ID）旨在缩小与监督方法的性能差距。这些方法在学习表示的同时在数据点之间建立可靠的关系。然而，我们的经验表明，他们成功的原因不仅是他们的标签生成机制，而且他们未经探索的设计。通过交叉研究两种无监督的人员再识别方法，指出它们分别通过数据增强和PK采样器的设计隐式地处理了一个困难的负问题。在本文中，我们找到了另一个简单的解决方案，即，在训练过程中采取更多的积极措施，通过这种方式，我们以迭代的方式生成伪标签并更新模型。基于我们的研究结果，我们提出了一种无记忆的对比学习方法，用于无监督的人重新识别。我们的方法在基准数据集上运行良好，性能优于最先进的方法。代码将提供。
2021-03-19 cs.CV
Contrastive pretraining for semantic segmentation is robust to noisy positive pairs
KTH Royal Institute of Technology（瑞典皇家理工学院）
研究发现，面向语义分割的领域特定对比预训练对未经人工筛选、含相关变化的噪声正样本对具有鲁棒性甚至可获益，因而无需预先过滤。
2023-01-23 cs.CV
Detail-recovery Image Deraining via Dual Sample-augmented Contrastive Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）；Ryerson University（瑞尔森大学）；Hefei University of Technology（合肥工业大学）
雨图像内容的复杂性往往导致尖端的deraining模型图像退化，包括残留的雨，错误删除的细节，扭曲的外观。当将在合成数据上训练的模型应用于真实世界的下雨图像时，这种退化进一步加剧。我们观察到两种类型的域之间的差距合成和现实世界的下雨图像：一个存在于雨条纹图案，另一个是像素级外观的无雨图像。为了弥合这两个领域的差距，我们提出了一个半监督的细节恢复图像去盲网络（半DRDNet）与双样本增强对比学习。Semi-DRDNet由三个子网络组成：（1）为了去除雨痕，提出了一个基于挤压激励的雨痕残差网络;（2）为了鼓励丢失的细节回归，提出了一个基于结构细节上下文聚合的细节修复网络，据我们所知，这是第一次;以及iii）为了为雨条纹和干净背景两者建立有效的对比约束，我们采用了一种新的双样本增强对比正则化网络，Semi-DRDNet在模拟和真实降雨数据上都能顺利运行，具有良好的鲁棒性和细节精度。包括我们建立的Real 200在内的四个数据集的比较显示，Semi-DRDNet比十五种最先进的方法有明显的改进。代码和数据集可在https://github.com/syy-whu/DRD-Net上获得。
2023-02-14 cs.CV
Multi Positive Contrastive Learning with Pose-Consistent Generated Images
Sony Group Corporation（索尼集团公司）
针对生成图像预训练在人体姿态估计等任务中的不足，本文提出姿态一致但视觉不同的图像生成方法及多正样本对比学习框架 GenPoCCL，以极少数据提升人体结构特征学习效果。
2024-04-04 cs.CV
With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations
Google Research（谷歌研究院）；DeepMind（深度思维公司）
基于实例判别的自监督学习算法训练编码器对相同实例的预定义变换保持不变。虽然大多数方法将同一图像的不同视图视为对比度损失的阳性，但我们对使用数据集中其他实例的阳性感兴趣。我们的方法，视觉表示的最近邻对比学习（NNNN），从潜在空间中的数据集采样最近邻，并将它们视为阳性。这提供了比预定义转换更多的语义变化。我们发现，在对比损失中使用最近邻作为阳性，可以显着提高ImageNet分类的性能，从71.7%提高到75.6%，优于以前的最先进方法。在半监督学习基准测试中，当只有1%的ImageNet标签可用时，我们将性能从53.8%提高到56.5%。在迁移学习基准测试中，我们的方法在12个下游数据集中的8个上优于最先进的方法（包括ImageNet的监督学习）。此外，我们的经验表明，我们的方法是不太依赖于复杂的数据增强。当我们仅使用随机作物进行训练时，我们看到ImageNet Top-1准确率相对降低了2.1%。
2021-10-07 cs.CV
Supervised Contrastive Learning on Blended Images for Long-tailed Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
真实世界的数据通常具有长尾分布，其中每个类的样本数量在训练类中不相等。不平衡的数据形成有偏的特征空间，这恶化了识别模型的性能。在本文中，我们提出了一种新的长尾识别方法来平衡潜在的特征空间。首先，我们引入了一种基于MixUp的数据增强技术来减少长尾数据的偏差。此外，我们提出了一种新的监督对比学习方法，命名为监督对比学习混合类（SMC），混合图像。SMC根据原始图像的类别标签创建一组阳性图像。阳性的组合比率对训练损失中的阳性进行加权。基于类混合损失的SMC探索了更多样的数据空间，增强了模型的泛化能力。在各种基准测试上的大量实验表明了我们的一阶段训练方法的有效性。
2022-11-22 cs.CV
Tuned Contrastive Learning
UC San Diego（加州大学圣迭戈分校）
该研究提出新型TCL对比损失函数，支持批次内多正负样本、可调节难样本梯度响应，经理论和实验验证，在监督与自监督视觉表示学习场景下均达SOTA水平。
2023-05-30 cs.CV
Semantic Contrastive Bootstrapping for Single-positive Multi-label Recognition
Beihang University（北京航空航天大学）；Peking University（北京大学）
针对单正标签多标签识别，本文提出 Scob 语义对比自举框架，结合类别激活引导、循环语义掩码 transformer 与期望最大化迭代优化，在四个基准上大幅超过现有方法。
2023-07-15 cs.CV
Crafting Better Contrastive Views for Siamese Representation Learning
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
最近的自监督对比学习方法极大地受益于旨在最小化正对之间的距离的连体结构。高性能的连体表示学习的关键之一是设计好的对比对。以前的大多数作品只是简单地应用随机采样来制作同一图像的不同作物，这忽略了可能降低视图质量的语义信息。在这项工作中，我们提出了对比作物，它可以有效地产生更好的作物暹罗表示学习。首先，在训练过程中提出了一种完全无监督的语义感知目标定位策略。这指导我们生成对比视图，这可以避免大多数误报（即，对象与背景）。此外，我们根据经验发现，具有相似外观的视图对于暹罗模型训练来说是微不足道的。因此，中心抑制抽样进一步设计，以扩大作物的方差。值得注意的是，我们的方法仔细考虑了对比学习的正对，额外的训练开销可以忽略不计。作为一个即插即用和框架无关的模块，ContrastiveCrop在CIFAR-10，CIFAR-100，Tiny ImageNet和STL-10上持续提高Simplain，MoCo，BYOL，SimSiam的分类精度0.4% ~ 2.0%。在ImageNet-1 K上进行预训练时，下游检测和分割任务也取得了优异的结果。
2022-03-30 cs.CV
Contrastive Positive Mining for Unsupervised 3D Action Representation Learning
Tianjin University（天津大学）；University of Wollongong（伍伦贡大学）
近年来，基于对比的三维动作表示学习取得了很大的进展。然而，严格的积极/消极约束尚未放松，非自我积极的使用还有待探索。本文提出了一种用于无监督骨架三维动作表示学习的对比积极挖掘框架。CPM识别上下文队列中的非自我肯定以促进学习。具体地说，暹罗编码器采用和训练，以匹配的相似性分布的扩增实例在参考上下文队列中的所有实例。通过识别队列中的非自我肯定实例，提出了一种积极的增强学习策略，利用挖掘的积极性的知识，以提高学习的潜在空间对类内和类间的多样性的鲁棒性。实验结果表明，提出的CPM是有效的，并优于现有的最先进的无监督方法在具有挑战性的NTU和PKU-MMD数据集。
2022-08-06 cs.CV cs.MM
Anatomy-Constrained Contrastive Learning for Synthetic Segmentation without Ground-truth
Yale University（耶鲁大学）
通常需要大量的手动分割来训练鲁棒的分割网络，使得其能够以新的成像模态分割感兴趣的对象。如果在一个成像模态中的手动分割（例如，CT）可用于训练另一成像模态中的分割网络（例如，CBCT/MRI/PET）。在这项工作中，我们开发了一个解剖结构约束的对比合成分割网络（AccSeg-Net），训练目标成像模式的分割网络，而不使用其地面实况。具体而言，我们提出使用解剖约束和补丁对比学习，以确保在无监督自适应过程中的解剖保真度，使得分割网络可以在具有正确解剖结构/内容的自适应图像上进行训练。我们的AccSeg-Net的训练数据包括1）源模态中与分割真值配对的成像数据，以及2）未配对的源和目标模态成像数据。我们证明了CBCT，MRI和PET成像数据的成功应用，并显示出优越的分割性能相比，以前的方法。
2021-07-12 cs.AI cs.CV eess.IV
Soft Neighbors are Positive Supporters in Contrastive Visual Representation Learning
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；AI Institute, Fudan University（复旦大学人工智能研究院）
对比学习方法通过将来自一个实例的视图与来自其他实例的视图进行比较来训练视觉编码器。通常，从一个实例创建的视图设置为正，而从其他实例创建的视图设置为负。这种二进制实例判别被广泛研究，以改善自监督学习中的特征表示。在本文中，我们重新思考的实例判别框架，发现二进制实例标记不足以衡量不同样本之间的相关性。对于直观的示例，给定随机图像实例，在小批量中可能存在其内容含义相同的其他图像（即，属于同一类别）或部分相关（即，属于同类）。如何处理与当前图像实例类似地相关的图像留下了一个未探索的问题。因此，我们提出通过探索其他相关实例来支持当前图像（即，软邻居）。我们首先仔细培养一个候选邻居集，这将进一步用于探索高度相关的实例。然后引入交叉注意模块来预测其他相关实例相对于当前实例的相关性得分（表示为正性）。积极性得分定量地测量来自每个相关实例的积极支持，并被编码到用于借口训练的目标中。为此，我们提出的方法的好处，在区分不相关的实例，同时吸收相关的SSL实例。我们评估我们的软邻居的对比学习方法（SNPLESS）的标准视觉识别基准，包括图像分类，目标检测，和实例分割。最先进的识别性能表明，SNARY在改善ViT和CNN编码器的特征表示方面是有效的。
2023-03-30 cs.CV
NoiseTransfer: Image Noise Generation with Contrastive Embeddings
Hanyang University（汉阳大学）
在大量合成训练数据集的帮助下，深度图像去噪网络取得了令人印象深刻的成功。然而，真实世界的去噪仍然是一个具有挑战性的问题，由于真实和合成噪声数据集之间的分布的差异。尽管已经提出了几个真实世界的噪声数据集，但是训练数据集的数量（即，干净和真实噪声图像对）是有限的，并且获取更多真实噪声数据集是费力且昂贵的。为了缓解这个问题，已经研究了使用生成模型来模拟真实噪声模型的许多尝试。然而，以前的工作必须训练多个网络来处理多个不同的噪声分布。相比之下，我们提出了一个新的生成模型，可以合成多个不同的噪声分布的噪声图像。具体来说，我们采用最近的对比学习来学习噪声的可区分的潜在特征。此外，我们的模型可以产生新的噪声图像，通过转移的噪声特性仅从一个单一的参考噪声图像。我们证明了我们的噪声模型的准确性和有效性，已知和未知的噪声去除。
2023-01-31 cs.CV
Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition
East China Normal University（华东师范大学）
本文提出跨流对比学习框架CSCLR，通过引入流间对比困难样本和正特征变换PFT增强自监督骨架动作表示学习，在多个基准数据集上超越现有方法。
2023-10-26 cs.CV
Introducing SDICE: An Index for Assessing Diversity of Synthetic Medical Datasets
本文提出SDICE指标，利用预训练对比编码器度量合成与真实图像相似度分布距离，并经指数归一化，用于评估合成医学数据集多样性，实验验证其有效性。
2024-09-28 cs.CV
Supervised Contrastive Machine Unlearning of Background Bias in Sonar Image Classification with Fine-Grained Explainable AI
Department of Computational Intelligence, Faculty of Engineering；Technology, SRM Institute of Science
本文提出结合目标对比遗忘和解释框架的水声图像分类方法，通过减少背景偏见提升模型泛化能力与可解释性。
2025-12-01 cs.CV
Attack-Augmentation Mixing-Contrastive Skeletal Representation Learning
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Artificial Intelligence Industrial Technology Research Institute, Nanjing Institute of Technology（南京工程学院人工智能产业技术研究院）；School of Computer Science, Nanjing University（南京大学计算机科学学院）
针对无监督骨骼动作识别中随机增强难以产生直接语义扰动且会软化正负对的问题，提出 A²MC，利用攻击增强生成困难正样本并由 PNM 混合生成困难负样本，在三个公开数据集上达到与 SOTA 相当的性能。
2024-10-02 cs.CV
Positive Pair Geometry Matters: Optimal Transport for Contrastive Learning of Visual Representations
Indian Institute of Technology Bhubaneswar（印度理工学院布巴内斯瓦尔分校）；Østfold University of Applied Sciences（东福尔应用科学大学）；NTNU（挪威科技大学）
针对随机增强可能破坏语义的问题，提出基于熵最优传输位移插值构造几何一致正样本的OTCLR框架，在不改编码器下提升表征质量与迁移性能。
2026-09-22 cs.CG cs.CV
Improve Contrastive Clustering Performance by Multiple Fusing-Augmenting ViT Blocks
School of Mathematics and Statistics（数学与统计学学院）；Xidian University（西安电子科技大学）；General Education College of Xi’an Eurasia University（西安欧亚大学通识教育学院）
针对现有对比学习网络未充分利用正样本对互补性的问题，提出基于ViT的多融合增强ViT块（MFAVBs），通过多次融合增强正样本特征，结合CLIP预训练特征输入，在七个数据集上聚类性能优于现有技术。
2025-11-12 cs.CV
Contrastive Image Synthesis and Self-supervised Feature Adaptation for Cross-Modality Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Northwestern University（西北大学）
提出CISFA框架，结合单侧生成与逐块对比损失及自监督特征自适应，实现跨模态生物医学图像分割，显著优于现有方法。
2023-09-01 cs.CV
Improving Adversarial Robustness by Contrastive Guided Diffusion Process
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出对比引导扩散过程（Contrastive-DP），通过对比损失增强生成数据的可区分性，从而提高对抗鲁棒性，并在理论和图像数据集实验中验证了其有效性。
2023-07-04 cs.CV cs.LG
Stable Single-Pixel Contrastive Learning for Semantic and Geometric Tasks
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Technical University Dortmund（德累斯顿技术大学）
本文提出了一种稳定的单像素对比学习方法，用于同时捕捉图像的语义和几何信息，通过过完备描述符实现精确点对应，无需动量基教师-学生训练。
2025-12-04 cs.CV
Improving Contrastive Learning by Visualizing Feature Transformation
The Chinese University of HongKong, Shenzhen（香港中文大学（深圳））；JD AI Research（京东人工智能研究院）；Tongji University（同济大学）；The Hong Kong Polytechnic University（香港理工大学）
对比学习以最小化正对距离、最大化负对距离为目标，在无监督特征学习中得到了广泛而成功的应用，其中正对和负对的设计是其关键之一。在本文中，我们试图设计一个特征级的数据操作，不同于数据增强，以提高通用的对比自监督学习。为此，我们首先设计了一个可视化方案的pos/neg分数（Pos/neg分数表示余弦相似的pos/neg对。）分布，这使我们能够分析，解释和理解学习过程。据我们所知，这是此类尝试的第一次。更重要的是，利用这个工具，我们获得了一些重要的观察结果，这些观察结果激发了我们新颖的特征转换建议，包括对正数据的外推。这个操作创建了更硬的阳性来增强学习，因为硬阳性使模型更具视图不变性。此外，我们还提出了否定词间的插值，提供了多样化的否定词，使模型更具鉴别力。这是同时应对这两个挑战的第一次尝试。实验结果表明，我们提出的特征变换可以提高至少6.0%的准确率ImageNet-100在MoCo基线，约2.0%的准确率ImageNet-1 K在MoCoV 2基线。转移到下游任务成功地证明了我们的模型是较少的任务偏见。可视化工具和代码https://github.com/DTennant/CL-Visualizing-Feature-Transformation。
2021-08-06 cs.CV
Integrating Prior Knowledge in Contrastive Learning with Kernel
NeuroSpin, CEA, Université Paris-Saclay（巴黎萨克雷大学 法国原子能委员会 神经自旋研究所）；LTCI, Télécom Paris, IPParis（巴黎理工学院 巴黎电信学院 通信与信息处理实验室）；University of Turin（都灵大学）
本文提出基于核理论的解耦均匀性损失，将生成模型或弱属性等先验知识引入对比学习的正负样本采样，并在无监督和弱监督场景下验证了其对表示质量和分类性能的提升。
2023-05-30 cs.CV
Contrastive Multimodal Fusion with TupleInfoNCE
Tsinghua University（清华大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）；Peking University（北京大学）；Xidian University（西安电子科技大学）；Peng Cheng Laboratory（鹏城实验室）
提出了一种利用对比损失的多模态数据表示学习方法。传统的方法是对比不同的模式来学习它们之间共享的信息。然而，这种做法可能无法学习可能对下游任务有用的各种模式之间的互补协同作用。另一种方法是将所有模态连接到元组中，然后对比正元组和负元组对应。然而，这种做法可能只考虑较强的模式，而忽略较弱的模式。为了解决这些问题，我们提出了一个新的对比学习目标，TupleInfoNCE。它不仅基于正对应和负对应来对比元组，而且还通过使用描述不同场景的模态来组成新的负元组来对比元组。使用这些额外的否定项进行训练可以鼓励学习模型检查同一元组中模态之间的对应关系，确保不忽略弱模态。我们提供了一个基于互信息的理论证明，为什么这种方法的工作原理，我们提出了一个样本优化算法来生成积极和消极的样本，以最大限度地提高训练效果。我们发现TupleInfoNCE在三个不同的下游任务上显著优于以前的技术水平。
2021-07-06 cs.CV
Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise
The University of Hong Kong（香港大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院）；Fudan University（复旦大学）；School of Artificial Intelligence, OPtics（人工智能学院）；ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学电子学院）
本文研究对比学习与正激励噪声的联系，定义了任务熵并提出正激励噪声生成器，通过可视化证明所提方法有效。
2026-05-08 cs.CV cs.LG
CaCo: Both Positive and Negative Samples are Directly Learnable via Cooperative-adversarial Contrastive Learning
Purdue University（普渡大学）；Shanghai University（上海大学）；Futurewei Seattle Cloud Lab（Futurewei西雅图云实验室）
对比学习作为一种有代表性的自监督学习方法，在表征的无监督训练方面取得了巨大的成功。它通过区分给定查询锚的正样本和负样本来训练编码器。这些正样本和负样本在定义学习判别式编码器的目标方面起着关键作用，避免了学习琐碎的特征。虽然现有的方法选择这些样本，但我们提出了一种原则性的方法，其中正负样本都可以直接与编码器端到端学习。我们表明，积极和消极的样本可以通过最小化和最大化的对比损失，分别合作和对抗学习。这就产生了关于编码器的合作积极和对抗消极，它们被更新以连续跟踪小批量查询锚点的学习表示。该方法在ImageNet 1 K上预训练ResNet-50主干的200和800个epoch中分别达到了71.3%和75.3%的前1准确率，而没有多作物或更强的增强等技巧。通过多作物，它可以进一步提高到75.7%。源代码和预训练模型在https://github.com/maple-research-lab/caco中发布。
2022-03-27 cs.AI cs.CV
Feature Extraction Framework based on Contrastive Learning with Adaptive Positive and Negative Samples
China Agricultural University（中国农业大学）
在这项研究中，我们提出了一个特征提取框架的基础上对比学习与自适应积极和消极的样本（CL-FEFA），适用于无监督，监督和半监督的单视图特征提取。CL-FEFA从特征提取的结果中自适应地构造正样本和负样本，使其更加合适和准确。然后，根据InfoNCE损失的大小，在前两次正样本和负样本的基础上重新提取鉴别特征，使类内样本更加紧凑，类间样本更加分散。同时，利用子空间样本的潜在结构信息动态地构造正样本和负样本，可以使我们的框架对噪声数据具有更强的鲁棒性。此外，CL-FEFA还考虑了正样本之间的互信息，即潜在结构中的相似样本，这为其在特征提取中的优势提供了理论支持。最后的数值实验证明，该框架与传统的特征提取方法和对比学习方法相比具有很强的优势。
2022-01-11 cs.AI cs.CV cs.LG
UCL-Dehaze: Towards Real-world Image Dehazing via Unsupervised Contrastive Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Hong Kong Metropolitan University（香港都会大学）；Lingnan University（岭南大学）；Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）
虽然在合成模糊数据上训练图像去雾模型的智慧可以减轻收集真实世界模糊/干净图像对的困难，但它带来了众所周知的域偏移问题。本文从一个不同但新的角度，探索对比学习与对抗训练的努力，利用不成对的现实世界的模糊和干净的图像，从而弥合合成和现实世界的模糊之间的差距是避免的。我们提出了一个有效的无监督对比学习模式的图像去雾，被称为UCL-Dehaze。不成对的真实世界的干净和模糊的图像很容易捕获，并将作为重要的积极和消极的样本分别训练我们的UCL-Dehaze网络。为了更有效地训练网络，我们构造了一个新的自对比感知损失函数，它鼓励恢复图像在嵌入空间中接近正样本而远离负样本。除了UCL-Dehaze的整体网络架构外，还利用对抗训练来对齐阳性样本和去雾图像之间的分布。与最近的图像去雾工作相比，UCL-Dehaze在训练过程中不需要配对数据，并且利用不成对的正/负数据来更好地增强去雾性能。我们进行了全面的实验来评估我们的UCL-Dehaze，并证明其优于最先进的技术，即使只有1,800个未配对的真实世界图像用于训练我们的网络。源代码已在https://github.com/yz-wang/UCL-Dehaze上提供。
2022-05-04 cs.CV
Learning Representation for Clustering via Prototype Scattering and Positive Sampling
Fudan University（复旦大学）；Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与类脑研究中心）
现有的深度聚类方法依赖于用于下游聚类任务的对比或非对比表示学习。基于对比的方法由于负对学习聚类的统一表示，其中负对，然而，可能不可避免地导致类冲突问题，从而损害聚类性能。另一方面，基于非对比度的方法避免了类冲突问题，但由此产生的非均匀表示可能导致聚类崩溃。为了享受这两个世界的优势，本文提出了一种新的端到端的深度聚类方法与原型散射和正采样，称为ProPos。具体来说，我们首先最大化原型表示之间的距离，命名为原型散射损失，这提高了表示的均匀性。其次，我们将实例的一个增强视图与另一个视图的采样邻居对齐-假设在嵌入空间中是真正的正对-以提高集群内的紧凑性，称为正采样对齐。ProPos的优点是可避免的类冲突问题，统一表示，良好分离的集群和集群内的紧凑性。通过在端到端的期望最大化框架中优化ProPos，大量的实验结果表明，ProPos在中等规模的聚类基准数据集上实现了竞争性能，并在大规模数据集上建立了新的最先进的性能。源代码可从\url{https://github.com/Hzzone/ProPos}获得。
2022-10-19 cs.CV
