Unsupervised Graph Poisoning Attack via Contrastive Loss Back-propagation
University of Technology Sydney（悉尼科技大学）；Southeast University（东南大学）
图对比学习是最先进的无监督图表示学习框架，并已显示出与监督方法相当的性能。然而，评估图对比学习是否对对抗攻击具有鲁棒性仍然是一个悬而未决的问题，因为大多数现有的图对抗攻击都是有监督的模型，这意味着它们严重依赖于标签，并且只能用于评估特定场景下的图对比学习。对于图对比学习等无监督图表示方法，在真实场景中获取标签比较困难，使得传统的有监督图攻击方法难以应用于测试其鲁棒性。在本文中，我们提出了一种新的无监督的基于梯度的对抗攻击，不依赖于标签的图对比学习。我们计算两个视图的邻接矩阵的梯度，并使用梯度上升翻转边缘以最大化对比损失。通过这种方式，我们可以充分利用由图对比学习模型生成的多个视图，并在不知道其标签的情况下选择信息量最大的边，因此可以有希望地支持我们的模型适应更多种类的下游任务。大量的实验表明，我们的攻击优于无监督的基线攻击，并具有相当的性能与监督攻击在多个下游任务，包括节点分类和链接预测。我们进一步表明，我们的攻击也可以转移到其他图表示模型。
2022-01-27 cs.IR cs.LG
Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning
Massachusetts Institute of Technology（麻省理工学院）
不分青红皂白的数据投毒攻击对监督学习是非常有效的。然而，关于它们对无监督对比学习（CL）的影响知之甚少。本文是第一个考虑对比学习的无差别中毒攻击。我们提出了对比中毒（CP），第一个有效的这种攻击CL。我们的经验表明，对比中毒，不仅大大降低了CL算法的性能，但也攻击监督学习模型，使其成为最普遍的无差别中毒攻击。我们还表明，CL算法与动量编码器是更强大的不分青红皂白中毒，并提出了一个新的对策的基础上矩阵完成。代码可在：https://github.com/kaiwenzha/contrastive-poisoning.
2023-03-09 cs.AI cs.CR cs.CV
DeepfakeUCL: Deepfake Detection via Unsupervised Contrastive Learning
Deakin University（迪肯大学）；University of Fukui（福井大学）
最近，面部深度伪造检测取得了令人印象深刻的结果。几乎所有现有的用于人脸deepfake检测的深度学习技术都是完全监督的，并且在训练期间需要标签。在本文中，我们通过无监督对比学习设计了一种新的deepfake检测方法。我们首先生成图像的两个不同的变换版本，并将它们馈送到两个顺序的子网络中，即，编码器和投影头。通过最大化投影头输出的对应度来实现无监督训练。为了评估我们的无监督方法的检测性能，我们进一步使用的无监督功能训练一个有效的线性分类网络。大量的实验表明，我们的无监督学习方法能够在数据集内和数据集间设置中实现与最先进的监督技术相当的检测性能。我们还对我们的方法进行了消融研究。
2021-04-23 cs.CV cs.LG
Prototypical Contrastive Learning of Unsupervised Representations
Salesforce Research（赛富时研究院）
本文提出了原型对比学习（PCL），一种无监督的表示学习方法，解决了实例式对比学习的基本局限性。PCL不仅学习用于实例区分任务的低级特征，更重要的是，它将数据的语义结构隐式编码到学习的嵌入空间中。具体来说，我们引入原型作为潜在变量，以帮助在期望最大化框架中找到网络参数的最大似然估计。我们迭代地执行E-step，通过聚类找到原型的分布，M-step通过对比学习优化网络。我们提出了ProtoNCE损失，一个广义版本的InfoNCE损失的对比学习，鼓励表示更接近他们分配的原型。PCL在多个基准测试中的表现优于最先进的实例式对比学习方法，并在低资源迁移学习方面有实质性改进。代码和预训练模型可在https://github.com/salesforce/PCL上获得。
2021-03-30 cs.CV cs.LG
Extending Contrastive Learning to Unsupervised Coreset Selection
KAIST（韩国科学技术院）；Kyungpook National University（庆北国立大学）
自监督对比学习提供了一种从未标记数据池中学习信息特征的方法。在本文中，我们深入研究了另一种有用的方法-提供了一种选择完全未标记的核心集的方法。在这方面，对比学习，大量的自我监督的方法之一，最近提出，并一直提供最高的性能。这促使我们选择了两种主要的对比学习方法：视觉表征对比学习的简单框架（Simplified）和动量对比学习框架（MoCo）。我们计算了对比学习过程的整个持续时间内每个时期的余弦相似度，随后累积余弦相似度值以获得coreset分数。我们的假设是，具有低相似性的样本可能表现为coreset。与现有的核心选择方法与标签相比，我们的方法减少了与人类注释相关的成本。在本研究中实现的用于核心集选择的无监督方法在随机选择的子集上获得了改进的结果，并且与各种分类数据集上的现有监督核心集选择（例如，CIFAR、SVHN和QMNIST）。
2021-04-07 cs.LG
Unsupervised Domain Adaptation for Training Event-Based Networks Using Contrastive Learning and Uncorrelated Conditioning
University of Southern California（南加州大学）
基于事件的摄像机为在高动态范围环境和快速运动机动期间执行计算机视觉任务提供可靠的测量。然而，在基于事件的视觉中采用深度学习面临着由于事件相机的新近性而导致的注释数据稀缺的挑战。转移可以从传统相机注释数据中获得的知识为这一挑战提供了一个实用的解决方案。我们开发了一种无监督的领域自适应算法，用于使用对比学习和数据的不相关条件来训练用于基于事件的数据图像分类的深度网络。为此，我们的解决方案优于现有的算法。
2023-03-22 cs.CV cs.LG
Eliciting Structural and Semantic Global Knowledge in Unsupervised Graph Contrastive Learning
Arizona State University（亚利桑那州立大学）
图对比学习（GCL）是近年来研究的热点，它以自监督的方式学习可泛化的节点表示。一般来说，GCL中的对比学习过程是在由图神经网络（GNN）主干学习的表示之上执行的，GNN主干基于节点的局部邻域来转换和传播节点上下文信息。然而，共享相似特征的节点可能并不总是在地理上接近，这对无监督GCL工作构成了巨大的挑战，因为它们在捕获这种全局图知识方面存在固有的局限性。在这项工作中，我们通过提出一个简单而有效的框架来解决它们固有的局限性--具有结构和语义对比学习的简单神经网络（S^3-CL）。值得注意的是，凭借所提出的结构和语义对比学习算法，即使是简单的神经网络也可以学习保留有价值的全局结构和语义模式的表达性节点表示。我们的实验表明，与最先进的无监督GCL方法相比，S^3-CL学习的节点表示在不同的下游任务上具有更好的性能。实施和更多实验细节可在\url{https://github.com/kaize0409/S-3-CL.}上公开获取
2022-12-04 cs.LG
Domain Confused Contrastive Learning for Unsupervised Domain Adaptation
Nanyang Technological University（南洋理工大学）
在这项工作中，我们研究了无监督领域自适应（UDA）在一个具有挑战性的自我监督的方法。其中一个难点是如何在没有目标标签的情况下学习任务区分。与以往文献中直接对齐跨域分布或利用反向梯度不同，我们提出了域混淆对比学习（DCCL），通过域拼图来桥接源域和目标域，并在适应后保留区分性表示。从技术上讲，DCCL搜索最具领域挑战性的方向，并将领域混淆的增强作为正对进行精细加工，然后对比鼓励模型将表示拉向另一个领域，从而学习更稳定和有效的领域不变性。我们还研究了在进行其他数据增强时，对比学习是否一定有助于UDA。大量的实验表明，DCCL显着优于基线。
2022-07-10 cs.CL cs.LG
Neural Contrastive Clustering: Fully Unsupervised Bias Reduction for Sentiment Classification
工作背景：神经网络由于相关性偏差而产生有偏差的分类结果（它们学习输入和输出之间的相关性以分类样本，即使这些相关性不代表因果关系）。目的：这项研究引入了一种完全无监督的方法来减轻相关性偏差，并在COVID-19社交媒体数据上进行了情感分类。方法：情感分类中的相关偏差经常出现在关于有争议话题的对话中。因此，本研究使用对抗性学习来对比基于情感分类标签的聚类，以及由无监督主题建模产生的聚类。这阻碍了神经网络学习产生有偏见的分类结果的主题相关特征。结果如下：与基线分类器相比，神经对比聚类对人类标记的COVID-19社交媒体数据的倾向于偏见的句子的准确性大约增加了一倍，而不会对分类器的整体F1得分产生不利影响。尽管是一种完全无监督的方法，但神经对比聚类在倾向于偏见的句子上的准确性比监督掩蔽方法有更大的提高。结论：神经对比聚类减少了情感文本分类中的相关性偏差。需要进一步的研究来探索将这种技术推广到其他神经网络架构和应用领域。
2022-04-22 cs.CL cs.LG
Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation
Bar-Ilan University（巴伊兰大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个自监督表示学习模型的任务，无监督音素边界检测。该模型是一个卷积神经网络，直接对原始波形进行操作。它被优化为使用噪声对比估计原理来识别信号中的频谱变化。在测试时，峰值检测算法应用于模型输出以产生最终边界。因此，所提出的模型以完全无监督的方式进行训练，没有目标边界形式的手动注释，也没有语音音译。我们比较所提出的方法，几个无监督的基线使用TIMIT和七叶树语料库。结果表明，我们的方法超越了基线模型，并在两个数据集上达到了最先进的性能。此外，我们还尝试使用Librispeech语料库中的其他示例来扩展训练集。我们评估了在训练阶段没有看到的分布和语言（英语，希伯来语和德语）的结果模型，并表明利用额外的未转录数据有利于模型性能。
2020-08-06 cs.LG cs.SD eess.AS
PAC-Bayesian Contrastive Unsupervised Representation Learning
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）；Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
对比无监督表示学习（CURL）是从未标记数据中学习表示（作为一组特征）的最先进技术。虽然CURL最近取得了一些经验上的成功，但仍然缺乏对其性能的理论理解。在最近的一项工作中，Arora et al.（2019）提供了CURL的第一个泛化边界，依赖于Rademacher复杂性。我们将他们的框架扩展到灵活的PAC贝叶斯设置，使我们能够处理非iid设置。我们提出了PAC贝叶斯泛化界限的CURL，然后用它来推导出一个新的表示学习算法。在真实数据集上的数值实验表明，我们的算法达到了有竞争力的精度，并产生非空的广义界。
2020-07-17 cs.LG math.ST stat.ML
Batch Curation for Unsupervised Contrastive Representation Learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
最近出现的最先进的无监督对比视觉表示学习方法（Simplified，MoCo，SwAV）都利用数据增强来构建由相似和不相似的图像对组成的即时区分的借口任务。相似对是通过从同一图像中随机提取补丁并应用几种其他变换（如颜色抖动或模糊）来构建的，而来自给定批次中不同图像实例的变换补丁被视为不相似对。我们认为，这种方法可以导致相似的对是\textit{semantically}不同。在这项工作中，我们通过引入一个\textit{batch curation}计划来解决这个问题，该计划在训练过程中选择更符合底层对比目标的批次。我们提供的见解是什么构成了有益的相似和不相似的对，以及验证\textit{batch curation} CIFAR10通过将其集成在Simplified模型。
2021-08-19 cs.LG
Joint Contrastive-Adversarial Representation Learning for Unsupervised Domain Adaptation
该研究提出JCAR框架用于无监督域适应，结合对比学习与对抗域对齐学习公共表示，建立非渐近超额风险界，在多个数据集上验证了迁移增益。
2026-10-14 cs.LG stat.ML
Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation
Stanford University（斯坦福大学）
我们考虑无监督领域自适应（UDA），其中来自源域的标记数据（例如，照片）和来自目标域的未标记数据（例如，草图）用于学习目标域的分类器。常规UDA方法（例如，域对抗训练）学习域不变特征以改进对目标域的泛化。在本文中，我们证明了对比预训练，即在未标记的源数据和目标数据上学习特征，然后在标记的源数据上进行微调，与强UDA方法相比具有竞争力。然而，我们发现对比预训练不会学习域不变特征，这与传统的UDA直觉不同。我们从理论上证明，对比预训练可以通过分解域和类信息来学习跨域细微变化的特征，但仍然可以推广到目标域。我们的研究结果表明，域不变性是不必要的UDA。我们在基准视觉数据集上实证验证了我们的理论。
2022-12-02 cs.CV cs.LG
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon Alexa（亚马逊Alexa）
语音情感识别是实现更自然的人机交流的关键技术。然而，SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题，我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明，对比预测编码（CPC）方法可以学习显着表示从未标记的数据集，这提高了情感识别性能。在我们的实验中，这种方法实现了最先进的一致性相关系数（CCC）的性能，所有的情绪原语（激活，效价，和优势）IEMOCAP。此外，在MSP-Podcast数据集上，与基线相比，我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
OmicsCL: Unsupervised Contrastive Learning for Cancer Subtype Discovery and Survival Stratification
Department of Computer Science University of Basel（计算机科学系 巴塞尔大学）
提出OmicsCL框架，通过生存感知对比损失将异构多组学数据嵌入统一潜在空间，无需标签即可发现癌症亚型并实现生存分层，在TCGA BRCA数据集上表现出强无监督一致性和鲁棒性。
2025-05-01 cs.AI cs.LG q-bio.GN
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering
Tsinghua University（清华大学）；Institute for AI（人工智能研究院）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合研究中心）；THBI Lab（清华脑与智能实验室）
我们提出的混合对比专家（MiCE），一个统一的概率聚类框架，同时利用对比学习和潜在的混合模型捕获的语义结构学习的歧视性表示。受混合专家模型的启发，MiCE采用门控函数根据潜在语义将未标记的数据集划分为子集，并且多个专家以对比学习的方式区分分配给它们的实例的不同子集。为了解决由潜在变量引起的非平凡推理和学习问题，我们进一步开发了MiCE的期望最大化（EM）算法的可扩展变体，并提供收敛性证明。经验上，我们评估的聚类性能的MiCE四个广泛采用的自然图像数据集。MiCE实现了比各种以前的方法和强大的对比学习基线显著更好的结果。
2021-05-05 cs.CV cs.LG
Unsupervised Contrastive Learning of Sound Event Representations
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）；Insight Centre for Data Analytics, Dublin City University (DCU)（都柏林城市大学洞察数据分析中心）
自监督表示学习可以缓解人工标记数据少而未标记数据多的识别任务的局限性--这是声音事件研究中的一种常见情况。在这项工作中，我们探索无监督的对比学习作为一种学习声音事件表示的方法。为此，我们建议使用的借口任务，对比不同的增强意见的声音事件。视图主要通过将训练样本与不相关的背景混合来计算，然后进行其他数据增强。我们通过烧蚀实验分析了我们的方法的主要组成部分。我们评估学习表示使用线性评估，并在两个域中的下游声音事件分类任务，即，使用有限的手动标记的数据，并使用嘈杂的标记数据。我们的研究结果表明，无监督的对比预训练可以减轻数据稀缺的影响，并提高对噪声标签的鲁棒性，优于有监督的基线。
2020-11-15 cs.LG cs.SD eess.AS
A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
对抗训练（AT）被认为是增强深度神经网络鲁棒性的有效方法。近年来，研究者们注意到具有AT的鲁棒模型具有良好的生成能力，并且能够合成真实感图像，但其背后的原因尚未得到充分的研究。在本文中，我们通过开发一个统一的概率框架，称为基于对比能量的模型（CEM）来揭开这一现象的神秘面纱。一方面，我们通过对鲁棒性和生成能力的统一理解，提供了AT的第一个概率表征。另一方面，我们的统一框架可以扩展到无监督的情况下，解释无监督对比学习作为一个重要的抽样CEM。在此基础上，我们提出了一种原则性的方法来开发对抗性学习和采样方法。实验结果表明，从我们的框架派生的采样方法提高了样本质量的监督和无监督学习。值得注意的是，我们的无监督对抗采样方法在CIFAR-10上的初始得分为9.61，优于以前的基于能量的模型，并与最先进的生成模型相当。
2022-03-25 cs.CV cs.LG stat.ML
Contrastive Training for Models of Information Cascades
College of Computer and Information Science（计算机与信息科学学院）；Northeastern University（东北大学）
本文提出了一种信息级联模型，作为有向生成树（DST）的观察文件。此外，我们提出了一个对比训练过程，利用部分时间排序的节点感染，而不是标记的训练链接。模型和无监督训练的这种组合使得可以改进单独使用感染时间的模型，并利用信息级联中节点和消息文本内容的任意特征。DST模型只有基本的节点和时滞特征，与以前的模型类似，它在无监督训练的情况下实现了与博客网络推理任务的强基线相当的性能。具有额外内容特征的无监督训练可以获得更好的结果，达到完全监督模型的一半精度。
2018-12-11 cs.LG cs.SI stat.ML
Contrastive Unsupervised Learning of World Model with Invariant Causal Features
Cambridge Research Laboratory（剑桥研究实验室）；Toshiba Europe Limited（东芝欧洲有限公司）；University of Cambridge（剑桥大学）
在本文中，我们提出了一个世界模型，学习因果关系的特点，使用不变性原则。特别是，我们使用对比无监督学习来学习不变的因果特征，这使得不相关部分或观察风格的增强具有不变性。基于世界模型的强化学习方法独立地优化表示学习和策略。因此，由于缺乏对表示学习模块的监督信号，天真的对比损失实现崩溃。我们提出了一个干预不变的辅助任务，以减轻这个问题。具体来说，我们利用深度预测来明确地执行不变性，并使用数据增强作为对RGB观察空间的样式干预。我们的设计利用无监督表示学习来学习具有不变因果特征的世界模型。我们提出的方法在iGibson数据集上的分布点导航任务上显着优于当前最先进的基于模型和无模型强化学习方法。此外，我们提出的模型擅长于我们的感知学习模块的仿真到现实迁移。最后，我们在DeepMind控制套件上评估了我们的方法，并且由于深度不可用，因此只能隐式地执行不变性。尽管如此，我们提出的模型与最先进的对应模型表现相当。
2022-09-29 cs.AI cs.CV cs.LG
Contrastive Unsupervised Learning for Audio Fingerprinting
Bytedance AI Lab（字节跳动人工智能实验室）
视频分享平台的兴起吸引了越来越多的人拍摄视频并上传到互联网。这些视频大多包含精心编辑的背景音轨，其中可能涉及严重的语音变化、音高偏移和各种类型的音频效果，并且现有的音频识别系统可能无法识别音频。为了解决这个问题，本文将对比学习的思想引入到音频指纹识别（AFP）中。对比学习是一种无监督的学习方法，可以有效地对相似样本进行分组，并区分不同的样本。在我们的工作中，我们认为一个音轨和它的不同失真的版本是相似的，而认为不同的音轨是不相似的。基于动量对比（MoCo）框架，提出了一种基于对比学习的AFP指纹识别方法，该方法能够生成具有鉴别力和鲁棒性的指纹。一组实验表明，我们的AFP方法是有效的音频识别，与严重的音频失真的鲁棒性，包括具有挑战性的速度变化和音高变化。
2020-10-26 cs.LG cs.MM cs.SD
ConFUDA: Contrastive Fewshot Unsupervised Domain Adaptation for Medical Image Segmentation
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；Stanford University（斯坦福大学）
无监督领域自适应（UDA）旨在将从标记的源领域学习到的知识转移到未标记的目标领域。UDA背景下的对比学习（CL）可以帮助更好地分离特征空间中的类。然而，在图像分割中，由于逐像素对比度损失的计算而导致的大的存储器占用使得其无法使用。此外，标记的目标数据在医学成像中不容易获得，并且获得新的样本不经济。因此，在这项工作中，我们解决了一个更具挑战性的UDA任务时，只有几个（fewshot）或一个单一的（oneshot）图像可从目标域。我们应用了风格转换模块来缓解目标样本的稀缺性。然后，为了使源特征和目标特征对齐，并解决传统对比度丢失的记忆问题，提出了基于质心的对比学习（CCL）和质心范数正则化器（CNR），以优化方向和幅度上的对比度对。此外，我们还提出了多分区形心对比学习（MPCCL）来进一步减少目标特征的方差。MS-CMRSeg数据集上的Fewshot评估表明，与基线相比，ConFUDA在目标域上的分割性能提高了0.34的Dice分数，并且在更严格的oneshot设置中提高了0.31的Dice分数。
2022-06-08 cs.CV cs.LG
Contrastive Learning for Unsupervised Domain Adaptation of Time Series
ETH Zürich（苏黎世联邦理工学院）；LMU Munich（慕尼黑大学）
无监督领域自适应（UDA）旨在使用在相似但不同的未标记目标域上表现良好的标记源域来学习机器学习模型。UDA在许多应用中很重要，例如医学，它用于调整不同患者队列的风险评分。在本文中，我们开发了一个新的框架UDA的时间序列数据，称为CLUDA。具体来说，我们提出了一个对比学习框架来学习多变量时间序列中的上下文表示，以便这些保留标签信息的预测任务。在我们的框架中，我们进一步捕获的变化，通过自定义最近邻对比学习的上下文表示之间的源和目标域。据我们所知，我们是第一个学习时间序列数据的UDA的域不变，上下文表示的框架。我们使用广泛的时间序列数据集来评估我们的框架，以证明其有效性，并表明它实现了时间序列UDA的最先进性能。
2023-02-07 cs.AI cs.LG
Unified Framework for Feature Extraction based on Contrastive Learning
China Agricultural University（中国农业大学）；Beijing Engineering and Technology Research Center for Internet of Things in Agriculture（北京农业物联网工程技术研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；National Innovation Center for Digital Fishery（国家数字渔业创新中心）
特征提取是解决高维数据维数问题的有效方法。作为一种流行的自监督学习方法，对比学习近年来受到了广泛的关注。在这项研究中，我们提出了一个统一的框架的基础上，一个新的角度对比学习（CL），适用于无监督和监督特征提取。该框架首先构造了两个CL图，用于唯一地定义正负对。然后通过最小化对比损失函数确定投影矩阵。此外，该框架考虑了相似和不相似的样本，统一了无监督和有监督的特征提取。提出了三种具体的方法：无监督对比学习方法、有监督对比学习方法1和有监督对比学习方法2。最后，在五个真实数据集上的数值实验表明，与现有的方法相比，该框架的优越性能。
2021-09-13 cs.LG
ContraReg: Contrastive Learning of Multi-modality Unsupervised Deformable Image Registration
New York University（纽约大学）；Hyperfine Research（Hyperfine研究公司）；Yale University（耶鲁大学）
在不同的成像模式之间建立体素语义对应是一项基础而艰巨的计算机视觉任务。当前的多模态配准技术最大化手工制作的域间相似性函数，在建模非线性强度关系和变形方面受到限制，并且可能需要显著的重新设计或在新任务、数据集和域对上表现不佳。这项工作提出了ContraReg，一种无监督的对比表示学习方法，多模态变形配准。通过将学习到的多尺度局部补丁特征投影到联合学习的域间嵌入空间上，ContraReg获得了对非刚性多模态对齐有用的表示。在实验上，ContraReg实现了准确和稳健的结果，在新生儿T1-T2脑MRI配准任务的一系列基线和消融上具有平滑和可逆的变形，所有方法都在广泛的变形正则化强度范围内得到验证。
2022-06-27 cs.CV cs.LG
A Theoretical Analysis of Contrastive Unsupervised Representation Learning
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Carnegie Mellon University（卡内基梅隆大学）
最近的经验工作已经成功地使用未标记的数据来学习在下游分类任务中广泛有用的特征表示。这些方法中有几种让人想起了著名的word2vec嵌入算法：利用语义上“相似”的数据点和“负样本”的可用性，学习器迫使相似对的表示的内积平均高于负样本。本文使用术语对比学习，这样的算法，并提出了一个理论框架，通过引入潜在的类和假设，语义相似的点是从相同的潜在类采样分析。这个框架允许我们显示可证明的保证学习表示的平均分类任务，是由同一组潜在类的子集的性能。我们的泛化范围还表明，学习的表示可以降低下游任务的（标记）样本复杂度。我们在文本和图像域进行对照实验来支持这一理论。
2019-02-25 cs.AI cs.LG stat.ML
Unsupervised Feature Learning for Manipulation with Contrastive Domain Randomization
Technion（以色列理工学院）；Cornell University（康奈尔大学）
机器人任务（诸如利用视觉输入的操纵）需要捕获场景的物理属性的图像特征，例如，物体的位置和形状。最近，有人建议从模拟的、自我监督的机器人交互中以无监督的方式学习这些特征;其想法是高级物理特性可以被现代物理模拟器很好地捕获，并且它们从视觉输入的表示可以很好地转移到现实世界。特别是，基于噪声对比估计的学习方法已经显示出有希望的结果。为了增强模拟到真实的转换，域随机化（DR）被建议用于学习对不相关的视觉属性（如纹理或照明）不变量的特征。然而，在这项工作中，我们表明，一个天真的应用DR无监督学习的基础上对比估计不促进不变性，损失函数最大化的功能之间的互信息和相关和不相关的视觉属性。我们提出了一个简单的修改对比度损失来解决这个问题，利用我们可以控制视觉属性的模拟随机化的事实。我们的方法学习的物理特征是更强大的视觉域的变化，因为我们证明使用刚性和非刚性对象。
2021-06-08 cs.AI cs.LG cs.RO
Unsupervised Domain Adaptation for Brain Vessel Segmentation through Transwarp Contrastive Learning
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）
本文提出一种基于 Transwarp 对比学习的无监督域自适应框架，用于缩小带标签 3DRA 与无标签 MRA 模态间的域差距，并在脑血管数据集上验证其能有效提升无标签 MRA 数据的血管分割性能。
2024-02-23 cs.CV cs.LG
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology（华南理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题，提出SARCSE框架，通过自编码器重构全部词元并引入自适应重构损失，在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
Unsupervised Representation Learning from Pathology Images with Multi-directional Contrastive Predictive Coding
University of Dundee（邓迪大学）；Ninewells Hospital and Medical School（奈恩韦尔斯医院与医学院）
数字病理学任务从现代深度学习算法中受益匪浅。然而，他们需要大量的注释数据已被确定为一个关键的挑战。这种对数据的需求可以通过在数据丰富但对注释的访问有限的情况下使用无监督学习来解决。使用对比预测编码（CPC）从未注释的数据学习的特征表示已经被示出为使得分类器能够从相对少量的注释的计算机视觉数据获得最先进的性能。我们提出了一个修改的CPC框架与数字病理补丁使用。这是通过引入用于构建潜在上下文的替代掩码并使用多方向PixelCNN自回归器来实现的。为了证明我们提出的方法，我们从Patch Camelyon组织学数据集学习特征表示。我们表明，我们提出的修改可以产生改进的组织学补丁的深层分类。
2021-05-11 cs.CV cs.LG
Learning Informative Health Indicators Through Unsupervised Contrastive Learning
ETH Zürich（苏黎世联邦理工学院）；Stadler Service AG（施塔德勒服务股份公司）；Swiss Federal Railways（瑞士联邦铁路）；EPFL（洛桑联邦理工学院）
本文提出一种基于对比学习的无监督方法，以运行时间为退化代理学习健康指标，在铣床磨损评估（相关性0.97）和铁路车轮故障检测（平衡准确率88.7%）上验证了其通用性。
2024-05-28 cs.LG
DiffAug: Enhance Unsupervised Contrastive Learning with Domain-Knowledge-Free Diffusion-based Data Augmentation
Westlake University（西湖大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab, Zhejiang Province（浙江省湖畔实验室）；AI Lab, Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究中心人工智能实验室）
本文提出DiffAug，一种利用条件扩散模型生成正样本的无监督对比学习增强方法，无需领域知识，在DNA、视觉和生物特征数据集上优于现有方法。
2024-05-25 cs.CE cs.CV cs.LG
DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University Health Network（大学健康网络）
句子嵌入是许多自然语言处理（NLP）系统的重要组成部分。与词嵌入一样，句子嵌入通常在大型文本语料库中学习，然后转移到各种下游任务中，例如聚类和检索。与词嵌入不同，学习句子嵌入的最高性能解决方案需要标记数据，这限制了它们对标记数据丰富的语言和领域的有用性。在本文中，我们提出了DeCLUTR：用于无监督文本表示的深度对比学习。受深度度量学习（DML）最新进展的启发，我们仔细设计了一个自监督目标，用于学习通用句子嵌入，不需要标记的训练数据。当用于扩展基于transformer的语言模型的预训练时，我们的方法缩小了通用句子编码器的无监督和监督预训练之间的性能差距。重要的是，我们的实验表明，学习嵌入的质量与可训练参数的数量和未标记的训练数据的数量成比例。我们的代码和预训练模型是公开的，可以轻松适应新领域或用于嵌入看不见的文本。
2021-05-27 cs.CL cs.LG
A Low Rank Promoting Prior for Unsupervised Contrastive Learning
JD AI Research（京东人工智能研究院）；SUN YAT-SEN UNIVERSITY（中山大学）；University of Science and Technology of China（中国科学技术大学）
无监督学习正处于一个临界点，它可能会真正起飞。在这些方法中，对比学习已经取得了巨大的进展，并导致了国家的最先进的性能。在本文中，我们构建了一个新的概率图模型，有效地将低秩提升先验的对比学习的框架，简称为LORAC。与现有的传统的自监督方法只考虑独立学习相比，我们的假设明确要求属于同一实例类的所有样本都位于同一个小维度的子空间上。这种启发式提出了特定的联合学习约束，以减少在搜索最佳网络参数化的问题的自由度。最重要的是，我们认为，这里采用的低秩先验是不唯一的，和许多不同的先验可以调用类似的概率方式，对应于不同的假设背后的对比功能的基本真理。实验结果表明，该算法在图像分类、目标检测、实例分割和关键点检测等多个方面都明显优于现有的方法。
2021-08-05 cs.AI cs.CV cs.LG
Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比自监督学习方法学习将诸如图像的数据点映射到非参数表示空间而不需要标签。虽然非常成功，但目前的方法在训练阶段需要大量的数据。在目标训练集大小有限的情况下，泛化能力较差。在Few-Shot模式下，在大的源数据集上进行预训练并对目标样本进行微调，很容易出现过拟合，因为只有少量的目标样本可用。出于这一动机，我们提出了一种自监督对比学习的域自适应方法，称为Few-Max，以解决适应少样本学习下的目标分布的问题。为了量化表示质量，我们在一系列源和目标数据集上评估了Few-Max，包括ImageNet，VisDA和fastMRI，Few-Max始终优于其他方法。
2022-06-22 cs.AI cs.CV cs.LG
Behavior Contrastive Learning for Unsupervised Skill Discovery
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Northwestern Polytechnical University（西北工业大学）
提出基于行为对比学习的无监督技能发现方法，通过最大化同技能行为间互信息上界，隐式增加状态熵，在迷宫和连续控制任务中生成多样且远达技能，下游性能媲美最先进方法。
2023-05-08 cs.LG
Overfitting In Contrastive Learning?
Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
本文研究了无监督对比学习中的过拟合现象，揭示了过拟合确实会发生及其背后的机制，填补了无监督学习领域对该现象研究的不足。
2024-08-22 cs.LG
Difficult Examples Hurt Unsupervised Contrastive Learning: A Theoretical Perspective
State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院人工智能国家重点实验室）；School of Engineering, Hong Kong University of Science and Technology（香港科技大学工程学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文从理论角度探讨了困难示例对无监督对比学习的影响，发现移除困难示例可提升下游分类性能，并通过理论分析和实验证明了其有效性。
2026-03-04 cs.AI cs.LG
Unsupervised Wildfire Change Detection based on Contrastive Learning
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；University of California, Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）；Lisbon University（里斯本大学）；Northwest Nazarene University（西北拿撒勒大学）；University of Oxford（牛津大学）
准确描述野火事件的严重程度有助于描述火灾易发地区的燃料状况，并为灾害应对提供有价值的信息。这项研究的目的是开发一个建立在高分辨率多光谱卫星图像之上的自主系统，并采用先进的深度学习方法来检测烧毁面积的变化。这项工作提出了一个初步的探索，使用无监督模型的特征提取野火的情况。它基于对比学习技术Simplified，该技术经过训练以最小化图像增强之间的余弦距离。编码图像之间的距离也可以用于变化检测。我们建议对这种方法进行修改，使其能够用于无监督的烧伤区域检测和后续下游任务。我们表明，我们提出的方法优于测试的基线方法。
2022-11-26 cs.CV cs.LG
Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
对比自监督学习在许多下游任务（如分割和目标检测）上的表现优于监督预训练。然而，目前的方法仍然主要应用于像ImageNet这样的策展数据集。在本文中，我们首先研究数据集中的偏差如何影响现有的方法。我们的研究结果表明，目前的对比方法在以下几个方面的效果令人惊讶：（i）对象与场景为中心，（ii）统一与长尾，以及（iii）一般与特定领域的数据集。其次，考虑到该方法的一般性，我们试图通过微小的修改来实现进一步的收益。我们表明，学习额外的不变性-通过使用多尺度裁剪，更强的增强和最近的邻居-提高了表示。最后，我们观察到MoCo在使用多作物策略进行训练时学习空间结构化表示。该表示可用于语义段检索和视频实例分割而无需微调。此外，结果与专业模型相当。我们希望这项工作能为其他研究人员提供有益的研究。代码和模型可在https://github.com/wvangansbeke/Revisiting-Contrastive-SSL上获得。
2021-12-14 cs.CV cs.LG
Unsupervised Time Series Anomaly Prediction with Importance-based Generative Contrastive Learning
Aalborg University（奥尔堡大学）；East China Normal University（华东师范大学）
本文提出基于重要性的生成对比学习（IGCL）方法，用于无监督时间序列异常预测，通过区分正常与异常前兆并自适应存储代表性异常前兆，提升预测性能。
2025-12-04 cs.LG
TimeCSL: Unsupervised Contrastive Learning of General Shapelets for Explorable Time Series Analysis
Harbin Institute of Technology（哈尔滨工业大学）；CnosDB Inc.（CnosDB公司）
本文提出端到端系统 TimeCSL，利用 CSL 无监督对比学习得到的通用可解释 Shapelet，在统一流水线中支持分类、聚类、异常检测及可探索分析。
2024-04-07 cs.DB cs.LG
Joint Contrastive Learning for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；Hyundai Motor Group（现代汽车集团）
通过匹配边缘分布来增强特征可转移性已经导致了领域自适应的改进，尽管这是以特征鉴别为代价的。特别是，理想的联合假设误差的目标误差上限，这是以前被认为是分钟，已被发现是显着的，削弱其理论保证。在本文中，我们提出了一个替代上限的目标误差，明确考虑联合误差，使其更易于管理。在理论分析的基础上，提出了一种结合源域和目标域的联合优化框架。此外，我们引入了联合对比学习（JCL）来寻找类级判别特征，这对于最小化联合误差至关重要。在坚实的理论框架下，JCL使用对比损失来最大化特征与其标签之间的互信息，这相当于最大化条件分布之间的Jensen-Shannon散度。在两个真实数据集上的实验表明，JCL优于最先进的方法。
2020-06-18 cs.CV cs.LG
Contrastive learning for unsupervised medical image clustering and reconstruction
University of Rome Tor Vergata（罗马第二大学）；University of Cambridge（剑桥大学）；Athinoula A. Martinos Center for Biomedical Imaging（阿西诺拉·A·马蒂诺斯生物医学成像中心）
与临床建立的疾病类别相比，缺乏大型标记的医学成像数据集以及显著的个体间变异性，对在精确医学范例中利用医学成像信息提出了重大挑战，其中原则上可以采用密集的患者特异性数据来制定个体预测和/或将患者分层为更精细的-颗粒组可能遵循更均匀的轨迹，因此可以进行临床试验。为了有效地探索有效的自由度潜在的变化，在医学图像中的无监督的方式，在这项工作中，我们提出了一个无监督的自动编码器框架，增强了对比度损失，以鼓励高分离的潜在空间。该模型在（医学）基准数据集上进行了验证。由于根据聚类分配将聚类标签分配给每个示例，因此我们将性能与监督迁移学习基线进行比较。我们的方法实现了类似的性能，监督架构，表明在潜在空间中的分离再现专家的医疗卫生机构分配的标签。所提出的方法可能是有益的患者分层，探索新的细分较大的类或病理连续，或由于其采样能力的变化设置，数据增强在医学图像处理。
2022-09-24 cs.CV cs.LG
Unsupervised Generative Feature Transformation via Graph Contrastive Pre-training and Multi-objective Fine-tuning
Arizona State University（亚利桑那州立大学）；University of Kansas（堪萨斯大学）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
针对无监督特征变换问题，提出度量-预训练-微调范式，结合图对比学习和生成模型，以捕获复杂特征交互并避免大搜索空间。
2024-05-27 cs.AI cs.LG
HiCL: Hierarchical Contrastive Learning of Unsupervised Sentence Embeddings
University of Michigan（密歇根大学）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
HiCL通过分层对比学习同时建模局部片段与全局序列关系，提升无监督句子嵌入的训练效率与效果，在七个STS任务上超越SNCSE模型。
2023-10-15 cs.CL cs.LG
Segmental Contrastive Predictive Coding for Unsupervised Word Segmentation
Johns Hopkins University（约翰霍普金斯大学）
音素或类词单元的自动检测是零资源语音处理的核心目标之一。最近的尝试采用自监督训练方法，例如对比预测编码（CPC），其中下一帧在给定过去上下文的情况下预测。然而，CPC仅查看音频信号的帧级结构。我们克服了这一限制与分段对比预测编码（SCPC）的框架，可以在更高的水平，例如在音素水平的信号结构建模。在这个框架中，卷积神经网络通过噪声对比估计（NCE）从原始波形中学习帧级表示。可微分边界检测器找到可变长度的段，然后通过NCE优化段编码器以学习段表示。可微边界检测器允许我们联合训练帧级和段级编码器。通常，音素和词分割被视为单独的任务。我们统一它们，并通过实验表明，我们的单一模型优于现有的音素和词分割方法TIMIT和七叶树数据集。我们分析了边界阈值的影响，以及何时是正确的时间，包括在学习过程中的分段损失。
2021-06-03 cs.CL cs.LG cs.SD
Unsupervised Detection of Fraudulent Transactions in E-commerce Using Contrastive Learning
Columbia University（哥伦比亚大学）；New York University（纽约大学）；University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Michigan（密歇根大学）
针对电商欺诈检测标注数据稀缺、传统方法适配性差的问题，提出基于SimCLR的无监督欺诈检测算法，在eBay数据集上多项指标优于传统无监督方法，具备广阔应用前景。
2025-03-24 cs.LG
JTCSE: Joint Tensor-Modulus Constraints and Cross-Attention for Unsupervised Contrastive Learning of Sentence Embeddings
School of Computer Science and Technology, University of Chinese Academy of Sciences, Cloud Computing and Intelligent Information Processing Laboratory(CCIP)（计算机科学与技术学院，中国科学院大学，云计算与智能信息处理实验室）；Institute of Information Engineering, Chinese Academy of Sciences（信息工程研究所，中国科学院）
本文提出JTCSE框架，通过张量模长约束增强正样本对齐，并引入双塔模型间交叉注意力优化CLS池化，在多个语义相似度和零样本任务上取得SOTA效果。
2025-05-07 cs.AI cs.CL cs.LG
Addressing Feature Suppression in Unsupervised Visual Representations
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
对比学习是机器学习中发展最快的研究领域之一，因为它能够在没有标记数据的情况下学习有用的表示。然而，对比学习易受特征抑制的影响，即，它可以丢弃与感兴趣的任务相关的重要信息，并学习不相关的特征。过去的工作已经通过手工制作的数据增强来消除不相关的信息来解决这个限制。然而，这种方法并不适用于所有数据集和任务。此外，当一个属性可以抑制与其他属性相关的特征时，数据增强无法解决多属性分类中的特征抑制。本文分析了对比学习的目标函数，并形式化地证明了它易受特征抑制的影响。然后，我们提出了预测对比学习（PCL），一个框架，用于学习无监督的表示，是强大的功能抑制。关键思想是迫使学习的表示预测输入，从而防止它丢弃重要信息。大量的实验验证了PCL对特征抑制的鲁棒性，并且在各种数据集和任务上优于最先进的对比学习方法。
2021-11-27 cs.CV cs.LG
Unsupervised Domain Adaptation with Contrastive Learning for OCT Segmentation
F Hoffmann-La Roche AG（罗氏公司）；Genentech Inc（基因泰克公司）；ETH Zurich（苏黎世联邦理工学院）；Uppsala University（乌普萨拉大学）
三维光学相干断层扫描图像中视网膜液体的准确分割是眼科疾病诊断和个性化治疗的关键。虽然深度学习在这项任务上取得了成功，但训练的监督模型通常会在不类似标记示例的图像上失败，例如使用不同设备获取的图像。在此，我们提出了一种新的半监督学习框架分割的体积图像从新的未标记的域。我们联合使用监督和对比学习，还引入了一个对比配对方案，利用3D中附近切片之间的相似性。此外，我们提出了通道式聚合作为替代传统的空间池聚合对比特征映射投影。我们评估我们的领域自适应从（标记）源域到（未标记）目标域的方法，每个域包含用不同的采集设备采集的图像。在目标域中，我们的方法实现了比Simplified（最先进的对比框架）高13.8%的Dice系数，并导致与该域中监督训练的上限相当的结果。在源域中，我们的模型还通过成功利用来自许多未标记图像的信息，将结果提高了5.4%。
2022-08-03 cs.CV cs.LG eess.IV
Multimodal Emotion Recognition with Modality-Pairwise Unsupervised Contrastive Loss
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
情感识别涉及到几个现实世界的应用。随着可用模式的增加，情绪的自动理解正在更准确地执行。多模态情感识别（MER）的成功主要依赖于监督学习范式。然而，数据注释是昂贵的、耗时的，并且由于情感表达和感知取决于若干因素（例如，年龄、性别、文化）获得具有高可靠性的标签是困难的。受此启发，我们专注于MER的无监督特征学习。我们考虑离散的情感，并作为模态的文本，音频和视觉使用。我们的方法，是基于成对模式之间的对比损失，是MER文献中的第一次尝试。与现有的MER方法相比，我们的端到端特征学习方法有几个不同之处（和优点）：i）它是无监督的，因此学习缺乏数据标记成本; ii）它不需要数据空间增强，模态对齐，大量的批量大小或时期; iii）它只在推理时应用数据融合; iv）它不需要在情感识别任务上预先训练的骨干。在基准数据集上的实验表明，该方法的性能优于几种基线方法和无监督学习方法。特别是，它甚至超过了一些监督MER的最先进的。
2022-07-23 cs.AI cs.CV cs.LG
