CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery
UC Berkeley（加州大学伯克利分校）；NYU（纽约大学）；MetaAI（元人工智能）；Covariant（协变公司）
我们介绍了对比内在控制（CIC），无监督的技能发现算法，最大限度地提高状态转换和潜在技能向量之间的互信息。CIC利用状态转换和技能之间的对比学习来学习行为嵌入，并将这些嵌入的熵最大化作为鼓励行为多样性的内在奖励。我们在无监督强化学习基准测试中评估了我们的算法，该测试包括一个长时间的无奖励预训练阶段，然后是一个短时间的适应阶段，以适应具有外部奖励的下游任务。CIC在适应效率方面大大提高了现有方法，比现有的无监督技能发现方法高出1.79倍，比下一个领先的整体探索算法高出1.18倍。
2022-03-30 cs.AI cs.LG
Extending Contrastive Learning to Unsupervised Coreset Selection
KAIST（韩国科学技术院）；Kyungpook National University（庆北国立大学）
自监督对比学习提供了一种从未标记数据池中学习信息特征的方法。在本文中，我们深入研究了另一种有用的方法-提供了一种选择完全未标记的核心集的方法。在这方面，对比学习，大量的自我监督的方法之一，最近提出，并一直提供最高的性能。这促使我们选择了两种主要的对比学习方法：视觉表征对比学习的简单框架（Simplified）和动量对比学习框架（MoCo）。我们计算了对比学习过程的整个持续时间内每个时期的余弦相似度，随后累积余弦相似度值以获得coreset分数。我们的假设是，具有低相似性的样本可能表现为coreset。与现有的核心选择方法与标签相比，我们的方法减少了与人类注释相关的成本。在本研究中实现的用于核心集选择的无监督方法在随机选择的子集上获得了改进的结果，并且与各种分类数据集上的现有监督核心集选择（例如，CIFAR、SVHN和QMNIST）。
2021-04-07 cs.LG
Eliciting Structural and Semantic Global Knowledge in Unsupervised Graph Contrastive Learning
Arizona State University（亚利桑那州立大学）
图对比学习（GCL）是近年来研究的热点，它以自监督的方式学习可泛化的节点表示。一般来说，GCL中的对比学习过程是在由图神经网络（GNN）主干学习的表示之上执行的，GNN主干基于节点的局部邻域来转换和传播节点上下文信息。然而，共享相似特征的节点可能并不总是在地理上接近，这对无监督GCL工作构成了巨大的挑战，因为它们在捕获这种全局图知识方面存在固有的局限性。在这项工作中，我们通过提出一个简单而有效的框架来解决它们固有的局限性--具有结构和语义对比学习的简单神经网络（S^3-CL）。值得注意的是，凭借所提出的结构和语义对比学习算法，即使是简单的神经网络也可以学习保留有价值的全局结构和语义模式的表达性节点表示。我们的实验表明，与最先进的无监督GCL方法相比，S^3-CL学习的节点表示在不同的下游任务上具有更好的性能。实施和更多实验细节可在\url{https://github.com/kaize0409/S-3-CL.}上公开获取
2022-12-04 cs.LG
Unsupervised Graph Poisoning Attack via Contrastive Loss Back-propagation
University of Technology Sydney（悉尼科技大学）；Southeast University（东南大学）
图对比学习是最先进的无监督图表示学习框架，并已显示出与监督方法相当的性能。然而，评估图对比学习是否对对抗攻击具有鲁棒性仍然是一个悬而未决的问题，因为大多数现有的图对抗攻击都是有监督的模型，这意味着它们严重依赖于标签，并且只能用于评估特定场景下的图对比学习。对于图对比学习等无监督图表示方法，在真实场景中获取标签比较困难，使得传统的有监督图攻击方法难以应用于测试其鲁棒性。在本文中，我们提出了一种新的无监督的基于梯度的对抗攻击，不依赖于标签的图对比学习。我们计算两个视图的邻接矩阵的梯度，并使用梯度上升翻转边缘以最大化对比损失。通过这种方式，我们可以充分利用由图对比学习模型生成的多个视图，并在不知道其标签的情况下选择信息量最大的边，因此可以有希望地支持我们的模型适应更多种类的下游任务。大量的实验表明，我们的攻击优于无监督的基线攻击，并具有相当的性能与监督攻击在多个下游任务，包括节点分类和链接预测。我们进一步表明，我们的攻击也可以转移到其他图表示模型。
2022-01-27 cs.IR cs.LG
DeepfakeUCL: Deepfake Detection via Unsupervised Contrastive Learning
Deakin University（迪肯大学）；University of Fukui（福井大学）
最近，面部深度伪造检测取得了令人印象深刻的结果。几乎所有现有的用于人脸deepfake检测的深度学习技术都是完全监督的，并且在训练期间需要标签。在本文中，我们通过无监督对比学习设计了一种新的deepfake检测方法。我们首先生成图像的两个不同的变换版本，并将它们馈送到两个顺序的子网络中，即，编码器和投影头。通过最大化投影头输出的对应度来实现无监督训练。为了评估我们的无监督方法的检测性能，我们进一步使用的无监督功能训练一个有效的线性分类网络。大量的实验表明，我们的无监督学习方法能够在数据集内和数据集间设置中实现与最先进的监督技术相当的检测性能。我们还对我们的方法进行了消融研究。
2021-04-23 cs.CV cs.LG
Prototypical Contrastive Learning of Unsupervised Representations
Salesforce Research（赛富时研究院）
本文提出了原型对比学习（PCL），一种无监督的表示学习方法，解决了实例式对比学习的基本局限性。PCL不仅学习用于实例区分任务的低级特征，更重要的是，它将数据的语义结构隐式编码到学习的嵌入空间中。具体来说，我们引入原型作为潜在变量，以帮助在期望最大化框架中找到网络参数的最大似然估计。我们迭代地执行E-step，通过聚类找到原型的分布，M-step通过对比学习优化网络。我们提出了ProtoNCE损失，一个广义版本的InfoNCE损失的对比学习，鼓励表示更接近他们分配的原型。PCL在多个基准测试中的表现优于最先进的实例式对比学习方法，并在低资源迁移学习方面有实质性改进。代码和预训练模型可在https://github.com/salesforce/PCL上获得。
2021-03-30 cs.CV cs.LG
Batch Curation for Unsupervised Contrastive Representation Learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
最近出现的最先进的无监督对比视觉表示学习方法（Simplified，MoCo，SwAV）都利用数据增强来构建由相似和不相似的图像对组成的即时区分的借口任务。相似对是通过从同一图像中随机提取补丁并应用几种其他变换（如颜色抖动或模糊）来构建的，而来自给定批次中不同图像实例的变换补丁被视为不相似对。我们认为，这种方法可以导致相似的对是\textit{semantically}不同。在这项工作中，我们通过引入一个\textit{batch curation}计划来解决这个问题，该计划在训练过程中选择更符合底层对比目标的批次。我们提供的见解是什么构成了有益的相似和不相似的对，以及验证\textit{batch curation} CIFAR10通过将其集成在Simplified模型。
2021-08-19 cs.LG
Unsupervised Domain Adaptation for Training Event-Based Networks Using Contrastive Learning and Uncorrelated Conditioning
University of Southern California（南加州大学）
基于事件的摄像机为在高动态范围环境和快速运动机动期间执行计算机视觉任务提供可靠的测量。然而，在基于事件的视觉中采用深度学习面临着由于事件相机的新近性而导致的注释数据稀缺的挑战。转移可以从传统相机注释数据中获得的知识为这一挑战提供了一个实用的解决方案。我们开发了一种无监督的领域自适应算法，用于使用对比学习和数据的不相关条件来训练用于基于事件的数据图像分类的深度网络。为此，我们的解决方案优于现有的算法。
2023-03-22 cs.CV cs.LG
Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning
Massachusetts Institute of Technology（麻省理工学院）
不分青红皂白的数据投毒攻击对监督学习是非常有效的。然而，关于它们对无监督对比学习（CL）的影响知之甚少。本文是第一个考虑对比学习的无差别中毒攻击。我们提出了对比中毒（CP），第一个有效的这种攻击CL。我们的经验表明，对比中毒，不仅大大降低了CL算法的性能，但也攻击监督学习模型，使其成为最普遍的无差别中毒攻击。我们还表明，CL算法与动量编码器是更强大的不分青红皂白中毒，并提出了一个新的对策的基础上矩阵完成。代码可在：https://github.com/kaiwenzha/contrastive-poisoning.
2023-03-09 cs.AI cs.CR cs.CV
Unsupervised Feature Extraction by Time-Contrastive Learning and Nonlinear ICA
University of Helsinki（赫尔辛基大学）
非线性独立成分分析（ICA）为无监督特征学习提供了一个有吸引力的框架，但迄今为止提出的模型是不可识别的。在这里，我们首先提出了一个新的直观原则，即从时间序列中进行无监督深度学习，它使用了数据的非平稳结构。我们的学习原则，时间对比学习（TCL），找到一个表示，允许最佳的歧视的时间段（窗口）。令人惊讶的是，我们展示了TCL如何与非线性ICA模型相关，当ICA被重新定义为包括时间非平稳性时。特别是，我们表明，TCL结合线性ICA估计的非线性ICA模型的逐点变换的来源，这种解决方案是唯一的-从而提供了第一个可识别的结果，非线性ICA这是严格的，建设性的，以及非常普遍的。
2016-05-20 cs.LG stat.ML
JTCSE: Joint Tensor-Modulus Constraints and Cross-Attention for Unsupervised Contrastive Learning of Sentence Embeddings
School of Computer Science and Technology, University of Chinese Academy of Sciences, Cloud Computing and Intelligent Information Processing Laboratory(CCIP)（计算机科学与技术学院，中国科学院大学，云计算与智能信息处理实验室）；Institute of Information Engineering, Chinese Academy of Sciences（信息工程研究所，中国科学院）
本文提出JTCSE框架，通过张量模长约束增强正样本对齐，并引入双塔模型间交叉注意力优化CLS池化，在多个语义相似度和零样本任务上取得SOTA效果。
2025-05-07 cs.AI cs.CL cs.LG
About contrastive unsupervised representation learning for classification and its convergence
Université de Paris（巴黎大学）；Université Paris-Dauphine（巴黎多芬纳大学）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）
对比表示学习最近被证明是非常有效的自我监督训练。这些方法已成功地用于训练编码器，该编码器对下游分类任务执行监督训练。一些工作已经开始围绕对比学习建立一个理论框架，其中可以证明其性能的保证。我们将这些结果扩展到多个阴性样本的训练和多路分类。此外，我们提供了收敛保证，以最小化过参数化深度神经编码器的梯度下降的对比训练误差，并提供了一些数值实验，以补充我们的理论发现
2020-12-02 cs.AI cs.LG stat.ML
Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation
Stanford University（斯坦福大学）
我们考虑无监督领域自适应（UDA），其中来自源域的标记数据（例如，照片）和来自目标域的未标记数据（例如，草图）用于学习目标域的分类器。常规UDA方法（例如，域对抗训练）学习域不变特征以改进对目标域的泛化。在本文中，我们证明了对比预训练，即在未标记的源数据和目标数据上学习特征，然后在标记的源数据上进行微调，与强UDA方法相比具有竞争力。然而，我们发现对比预训练不会学习域不变特征，这与传统的UDA直觉不同。我们从理论上证明，对比预训练可以通过分解域和类信息来学习跨域细微变化的特征，但仍然可以推广到目标域。我们的研究结果表明，域不变性是不必要的UDA。我们在基准视觉数据集上实证验证了我们的理论。
2022-12-02 cs.CV cs.LG
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon Alexa（亚马逊Alexa）
语音情感识别是实现更自然的人机交流的关键技术。然而，SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题，我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明，对比预测编码（CPC）方法可以学习显着表示从未标记的数据集，这提高了情感识别性能。在我们的实验中，这种方法实现了最先进的一致性相关系数（CCC）的性能，所有的情绪原语（激活，效价，和优势）IEMOCAP。此外，在MSP-Podcast数据集上，与基线相比，我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
Unified Framework for Feature Extraction based on Contrastive Learning
China Agricultural University（中国农业大学）；Beijing Engineering and Technology Research Center for Internet of Things in Agriculture（北京农业物联网工程技术研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；National Innovation Center for Digital Fishery（国家数字渔业创新中心）
特征提取是解决高维数据维数问题的有效方法。作为一种流行的自监督学习方法，对比学习近年来受到了广泛的关注。在这项研究中，我们提出了一个统一的框架的基础上，一个新的角度对比学习（CL），适用于无监督和监督特征提取。该框架首先构造了两个CL图，用于唯一地定义正负对。然后通过最小化对比损失函数确定投影矩阵。此外，该框架考虑了相似和不相似的样本，统一了无监督和有监督的特征提取。提出了三种具体的方法：无监督对比学习方法、有监督对比学习方法1和有监督对比学习方法2。最后，在五个真实数据集上的数值实验表明，与现有的方法相比，该框架的优越性能。
2021-09-13 cs.LG
Unsupervised Contrastive Learning of Sound Event Representations
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）；Insight Centre for Data Analytics, Dublin City University (DCU)（都柏林城市大学洞察数据分析中心）
自监督表示学习可以缓解人工标记数据少而未标记数据多的识别任务的局限性--这是声音事件研究中的一种常见情况。在这项工作中，我们探索无监督的对比学习作为一种学习声音事件表示的方法。为此，我们建议使用的借口任务，对比不同的增强意见的声音事件。视图主要通过将训练样本与不相关的背景混合来计算，然后进行其他数据增强。我们通过烧蚀实验分析了我们的方法的主要组成部分。我们评估学习表示使用线性评估，并在两个域中的下游声音事件分类任务，即，使用有限的手动标记的数据，并使用嘈杂的标记数据。我们的研究结果表明，无监督的对比预训练可以减轻数据稀缺的影响，并提高对噪声标签的鲁棒性，优于有监督的基线。
2020-11-15 cs.LG cs.SD eess.AS
OmicsCL: Unsupervised Contrastive Learning for Cancer Subtype Discovery and Survival Stratification
Department of Computer Science University of Basel（计算机科学系 巴塞尔大学）
提出OmicsCL框架，通过生存感知对比损失将异构多组学数据嵌入统一潜在空间，无需标签即可发现癌症亚型并实现生存分层，在TCGA BRCA数据集上表现出强无监督一致性和鲁棒性。
2025-05-01 cs.AI cs.LG q-bio.GN
Learning Informative Health Indicators Through Unsupervised Contrastive Learning
ETH Zürich（苏黎世联邦理工学院）；Stadler Service AG（施塔德勒服务股份公司）；Swiss Federal Railways（瑞士联邦铁路）；EPFL（洛桑联邦理工学院）
本文提出一种基于对比学习的无监督方法，以运行时间为退化代理学习健康指标，在铣床磨损评估（相关性0.97）和铁路车轮故障检测（平衡准确率88.7%）上验证了其通用性。
2024-05-28 cs.LG
Contrastive Learning for Unsupervised Domain Adaptation of Time Series
ETH Zürich（苏黎世联邦理工学院）；LMU Munich（慕尼黑大学）
无监督领域自适应（UDA）旨在使用在相似但不同的未标记目标域上表现良好的标记源域来学习机器学习模型。UDA在许多应用中很重要，例如医学，它用于调整不同患者队列的风险评分。在本文中，我们开发了一个新的框架UDA的时间序列数据，称为CLUDA。具体来说，我们提出了一个对比学习框架来学习多变量时间序列中的上下文表示，以便这些保留标签信息的预测任务。在我们的框架中，我们进一步捕获的变化，通过自定义最近邻对比学习的上下文表示之间的源和目标域。据我们所知，我们是第一个学习时间序列数据的UDA的域不变，上下文表示的框架。我们使用广泛的时间序列数据集来评估我们的框架，以证明其有效性，并表明它实现了时间序列UDA的最先进性能。
2023-02-07 cs.AI cs.LG
Behavior Contrastive Learning for Unsupervised Skill Discovery
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Northwestern Polytechnical University（西北工业大学）
提出基于行为对比学习的无监督技能发现方法，通过最大化同技能行为间互信息上界，隐式增加状态熵，在迷宫和连续控制任务中生成多样且远达技能，下游性能媲美最先进方法。
2023-05-08 cs.LG
Overfitting In Contrastive Learning?
Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
本文研究了无监督对比学习中的过拟合现象，揭示了过拟合确实会发生及其背后的机制，填补了无监督学习领域对该现象研究的不足。
2024-08-22 cs.LG
ContraReg: Contrastive Learning of Multi-modality Unsupervised Deformable Image Registration
New York University（纽约大学）；Hyperfine Research（Hyperfine研究公司）；Yale University（耶鲁大学）
在不同的成像模式之间建立体素语义对应是一项基础而艰巨的计算机视觉任务。当前的多模态配准技术最大化手工制作的域间相似性函数，在建模非线性强度关系和变形方面受到限制，并且可能需要显著的重新设计或在新任务、数据集和域对上表现不佳。这项工作提出了ContraReg，一种无监督的对比表示学习方法，多模态变形配准。通过将学习到的多尺度局部补丁特征投影到联合学习的域间嵌入空间上，ContraReg获得了对非刚性多模态对齐有用的表示。在实验上，ContraReg实现了准确和稳健的结果，在新生儿T1-T2脑MRI配准任务的一系列基线和消融上具有平滑和可逆的变形，所有方法都在广泛的变形正则化强度范围内得到验证。
2022-06-27 cs.CV cs.LG
Contrastive Unsupervised Learning for Audio Fingerprinting
Bytedance AI Lab（字节跳动人工智能实验室）
视频分享平台的兴起吸引了越来越多的人拍摄视频并上传到互联网。这些视频大多包含精心编辑的背景音轨，其中可能涉及严重的语音变化、音高偏移和各种类型的音频效果，并且现有的音频识别系统可能无法识别音频。为了解决这个问题，本文将对比学习的思想引入到音频指纹识别（AFP）中。对比学习是一种无监督的学习方法，可以有效地对相似样本进行分组，并区分不同的样本。在我们的工作中，我们认为一个音轨和它的不同失真的版本是相似的，而认为不同的音轨是不相似的。基于动量对比（MoCo）框架，提出了一种基于对比学习的AFP指纹识别方法，该方法能够生成具有鉴别力和鲁棒性的指纹。一组实验表明，我们的AFP方法是有效的音频识别，与严重的音频失真的鲁棒性，包括具有挑战性的速度变化和音高变化。
2020-10-26 cs.LG cs.MM cs.SD
Unsupervised Time Series Anomaly Prediction with Importance-based Generative Contrastive Learning
Aalborg University（奥尔堡大学）；East China Normal University（华东师范大学）
本文提出基于重要性的生成对比学习（IGCL）方法，用于无监督时间序列异常预测，通过区分正常与异常前兆并自适应存储代表性异常前兆，提升预测性能。
2025-12-04 cs.LG
Unsupervised Domain Adaptation for Brain Vessel Segmentation through Transwarp Contrastive Learning
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）
本文提出一种基于 Transwarp 对比学习的无监督域自适应框架，用于缩小带标签 3DRA 与无标签 MRA 模态间的域差距，并在脑血管数据集上验证其能有效提升无标签 MRA 数据的血管分割性能。
2024-02-23 cs.CV cs.LG
Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation
Bar-Ilan University（巴伊兰大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个自监督表示学习模型的任务，无监督音素边界检测。该模型是一个卷积神经网络，直接对原始波形进行操作。它被优化为使用噪声对比估计原理来识别信号中的频谱变化。在测试时，峰值检测算法应用于模型输出以产生最终边界。因此，所提出的模型以完全无监督的方式进行训练，没有目标边界形式的手动注释，也没有语音音译。我们比较所提出的方法，几个无监督的基线使用TIMIT和七叶树语料库。结果表明，我们的方法超越了基线模型，并在两个数据集上达到了最先进的性能。此外，我们还尝试使用Librispeech语料库中的其他示例来扩展训练集。我们评估了在训练阶段没有看到的分布和语言（英语，希伯来语和德语）的结果模型，并表明利用额外的未转录数据有利于模型性能。
2020-08-06 cs.LG cs.SD eess.AS
Unsupervised Representation Learning from Pathology Images with Multi-directional Contrastive Predictive Coding
University of Dundee（邓迪大学）；Ninewells Hospital and Medical School（奈恩韦尔斯医院与医学院）
数字病理学任务从现代深度学习算法中受益匪浅。然而，他们需要大量的注释数据已被确定为一个关键的挑战。这种对数据的需求可以通过在数据丰富但对注释的访问有限的情况下使用无监督学习来解决。使用对比预测编码（CPC）从未注释的数据学习的特征表示已经被示出为使得分类器能够从相对少量的注释的计算机视觉数据获得最先进的性能。我们提出了一个修改的CPC框架与数字病理补丁使用。这是通过引入用于构建潜在上下文的替代掩码并使用多方向PixelCNN自回归器来实现的。为了证明我们提出的方法，我们从Patch Camelyon组织学数据集学习特征表示。我们表明，我们提出的修改可以产生改进的组织学补丁的深层分类。
2021-05-11 cs.CV cs.LG
PAC-Bayesian Contrastive Unsupervised Representation Learning
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）；Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
对比无监督表示学习（CURL）是从未标记数据中学习表示（作为一组特征）的最先进技术。虽然CURL最近取得了一些经验上的成功，但仍然缺乏对其性能的理论理解。在最近的一项工作中，Arora et al.（2019）提供了CURL的第一个泛化边界，依赖于Rademacher复杂性。我们将他们的框架扩展到灵活的PAC贝叶斯设置，使我们能够处理非iid设置。我们提出了PAC贝叶斯泛化界限的CURL，然后用它来推导出一个新的表示学习算法。在真实数据集上的数值实验表明，我们的算法达到了有竞争力的精度，并产生非空的广义界。
2020-07-17 cs.LG math.ST stat.ML
Difficult Examples Hurt Unsupervised Contrastive Learning: A Theoretical Perspective
State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院人工智能国家重点实验室）；School of Engineering, Hong Kong University of Science and Technology（香港科技大学工程学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文从理论角度探讨了困难示例对无监督对比学习的影响，发现移除困难示例可提升下游分类性能，并通过理论分析和实验证明了其有效性。
2026-03-04 cs.AI cs.LG
DiffAug: Enhance Unsupervised Contrastive Learning with Domain-Knowledge-Free Diffusion-based Data Augmentation
Westlake University（西湖大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab, Zhejiang Province（浙江省湖畔实验室）；AI Lab, Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究中心人工智能实验室）
本文提出DiffAug，一种利用条件扩散模型生成正样本的无监督对比学习增强方法，无需领域知识，在DNA、视觉和生物特征数据集上优于现有方法。
2024-05-25 cs.CE cs.CV cs.LG
Unsupervised Wildfire Change Detection based on Contrastive Learning
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；University of California, Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）；Lisbon University（里斯本大学）；Northwest Nazarene University（西北拿撒勒大学）；University of Oxford（牛津大学）
准确描述野火事件的严重程度有助于描述火灾易发地区的燃料状况，并为灾害应对提供有价值的信息。这项研究的目的是开发一个建立在高分辨率多光谱卫星图像之上的自主系统，并采用先进的深度学习方法来检测烧毁面积的变化。这项工作提出了一个初步的探索，使用无监督模型的特征提取野火的情况。它基于对比学习技术Simplified，该技术经过训练以最小化图像增强之间的余弦距离。编码图像之间的距离也可以用于变化检测。我们建议对这种方法进行修改，使其能够用于无监督的烧伤区域检测和后续下游任务。我们表明，我们提出的方法优于测试的基线方法。
2022-11-26 cs.CV cs.LG
A Low Rank Promoting Prior for Unsupervised Contrastive Learning
JD AI Research（京东人工智能研究院）；SUN YAT-SEN UNIVERSITY（中山大学）；University of Science and Technology of China（中国科学技术大学）
无监督学习正处于一个临界点，它可能会真正起飞。在这些方法中，对比学习已经取得了巨大的进展，并导致了国家的最先进的性能。在本文中，我们构建了一个新的概率图模型，有效地将低秩提升先验的对比学习的框架，简称为LORAC。与现有的传统的自监督方法只考虑独立学习相比，我们的假设明确要求属于同一实例类的所有样本都位于同一个小维度的子空间上。这种启发式提出了特定的联合学习约束，以减少在搜索最佳网络参数化的问题的自由度。最重要的是，我们认为，这里采用的低秩先验是不唯一的，和许多不同的先验可以调用类似的概率方式，对应于不同的假设背后的对比功能的基本真理。实验结果表明，该算法在图像分类、目标检测、实例分割和关键点检测等多个方面都明显优于现有的方法。
2021-08-05 cs.AI cs.CV cs.LG
Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
对比自监督学习在许多下游任务（如分割和目标检测）上的表现优于监督预训练。然而，目前的方法仍然主要应用于像ImageNet这样的策展数据集。在本文中，我们首先研究数据集中的偏差如何影响现有的方法。我们的研究结果表明，目前的对比方法在以下几个方面的效果令人惊讶：（i）对象与场景为中心，（ii）统一与长尾，以及（iii）一般与特定领域的数据集。其次，考虑到该方法的一般性，我们试图通过微小的修改来实现进一步的收益。我们表明，学习额外的不变性-通过使用多尺度裁剪，更强的增强和最近的邻居-提高了表示。最后，我们观察到MoCo在使用多作物策略进行训练时学习空间结构化表示。该表示可用于语义段检索和视频实例分割而无需微调。此外，结果与专业模型相当。我们希望这项工作能为其他研究人员提供有益的研究。代码和模型可在https://github.com/wvangansbeke/Revisiting-Contrastive-SSL上获得。
2021-12-14 cs.CV cs.LG
Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比自监督学习方法学习将诸如图像的数据点映射到非参数表示空间而不需要标签。虽然非常成功，但目前的方法在训练阶段需要大量的数据。在目标训练集大小有限的情况下，泛化能力较差。在Few-Shot模式下，在大的源数据集上进行预训练并对目标样本进行微调，很容易出现过拟合，因为只有少量的目标样本可用。出于这一动机，我们提出了一种自监督对比学习的域自适应方法，称为Few-Max，以解决适应少样本学习下的目标分布的问题。为了量化表示质量，我们在一系列源和目标数据集上评估了Few-Max，包括ImageNet，VisDA和fastMRI，Few-Max始终优于其他方法。
2022-06-22 cs.AI cs.CV cs.LG
TimeCSL: Unsupervised Contrastive Learning of General Shapelets for Explorable Time Series Analysis
Harbin Institute of Technology（哈尔滨工业大学）；CnosDB Inc.（CnosDB公司）
本文提出端到端系统 TimeCSL，利用 CSL 无监督对比学习得到的通用可解释 Shapelet，在统一流水线中支持分类、聚类、异常检测及可探索分析。
2024-04-07 cs.DB cs.LG
Joint Contrastive Learning for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；Hyundai Motor Group（现代汽车集团）
通过匹配边缘分布来增强特征可转移性已经导致了领域自适应的改进，尽管这是以特征鉴别为代价的。特别是，理想的联合假设误差的目标误差上限，这是以前被认为是分钟，已被发现是显着的，削弱其理论保证。在本文中，我们提出了一个替代上限的目标误差，明确考虑联合误差，使其更易于管理。在理论分析的基础上，提出了一种结合源域和目标域的联合优化框架。此外，我们引入了联合对比学习（JCL）来寻找类级判别特征，这对于最小化联合误差至关重要。在坚实的理论框架下，JCL使用对比损失来最大化特征与其标签之间的互信息，这相当于最大化条件分布之间的Jensen-Shannon散度。在两个真实数据集上的实验表明，JCL优于最先进的方法。
2020-06-18 cs.CV cs.LG
Unsupervised Detection of Fraudulent Transactions in E-commerce Using Contrastive Learning
Columbia University（哥伦比亚大学）；New York University（纽约大学）；University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Michigan（密歇根大学）
针对电商欺诈检测标注数据稀缺、传统方法适配性差的问题，提出基于SimCLR的无监督欺诈检测算法，在eBay数据集上多项指标优于传统无监督方法，具备广阔应用前景。
2025-03-24 cs.LG
Unsupervised Domain Adaptation for COVID-19 Information Service with Contrastive Adversarial Domain Mixup
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Notre Dame（圣母大学）
在COVID-19错误信息检测的实际应用中，一个根本的挑战是缺乏标记的COVID数据来实现模型的监督端到端训练，特别是在大流行的早期阶段。为了应对这一挑战，我们提出了一个无监督的领域自适应框架，该框架使用对比学习和对抗性领域混合来将知识从现有的源数据领域转移到目标COVID-19数据领域。特别是，为了弥合源域和目标域之间的差距，我们的方法减少了基于径向基函数（RBF）这两个域之间的差异。此外，我们利用领域对抗性示例的力量来建立一个中间领域混合，其中来自两个领域的输入文本的潜在表示可以在训练过程中混合。在多个真实世界数据集上进行的大量实验表明，我们的方法可以有效地使错误信息检测系统适应看不见的COVID-19目标域，与最先进的基线相比有显着改进。
2022-10-06 cs.AI cs.CL
Contrastive learning for unsupervised medical image clustering and reconstruction
University of Rome Tor Vergata（罗马第二大学）；University of Cambridge（剑桥大学）；Athinoula A. Martinos Center for Biomedical Imaging（阿西诺拉·A·马蒂诺斯生物医学成像中心）
与临床建立的疾病类别相比，缺乏大型标记的医学成像数据集以及显著的个体间变异性，对在精确医学范例中利用医学成像信息提出了重大挑战，其中原则上可以采用密集的患者特异性数据来制定个体预测和/或将患者分层为更精细的-颗粒组可能遵循更均匀的轨迹，因此可以进行临床试验。为了有效地探索有效的自由度潜在的变化，在医学图像中的无监督的方式，在这项工作中，我们提出了一个无监督的自动编码器框架，增强了对比度损失，以鼓励高分离的潜在空间。该模型在（医学）基准数据集上进行了验证。由于根据聚类分配将聚类标签分配给每个示例，因此我们将性能与监督迁移学习基线进行比较。我们的方法实现了类似的性能，监督架构，表明在潜在空间中的分离再现专家的医疗卫生机构分配的标签。所提出的方法可能是有益的患者分层，探索新的细分较大的类或病理连续，或由于其采样能力的变化设置，数据增强在医学图像处理。
2022-09-24 cs.CV cs.LG
Unsupervised Generative Feature Transformation via Graph Contrastive Pre-training and Multi-objective Fine-tuning
Arizona State University（亚利桑那州立大学）；University of Kansas（堪萨斯大学）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
针对无监督特征变换问题，提出度量-预训练-微调范式，结合图对比学习和生成模型，以捕获复杂特征交互并避免大搜索空间。
2024-05-27 cs.AI cs.LG
Addressing Feature Suppression in Unsupervised Visual Representations
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
对比学习是机器学习中发展最快的研究领域之一，因为它能够在没有标记数据的情况下学习有用的表示。然而，对比学习易受特征抑制的影响，即，它可以丢弃与感兴趣的任务相关的重要信息，并学习不相关的特征。过去的工作已经通过手工制作的数据增强来消除不相关的信息来解决这个限制。然而，这种方法并不适用于所有数据集和任务。此外，当一个属性可以抑制与其他属性相关的特征时，数据增强无法解决多属性分类中的特征抑制。本文分析了对比学习的目标函数，并形式化地证明了它易受特征抑制的影响。然后，我们提出了预测对比学习（PCL），一个框架，用于学习无监督的表示，是强大的功能抑制。关键思想是迫使学习的表示预测输入，从而防止它丢弃重要信息。大量的实验验证了PCL对特征抑制的鲁棒性，并且在各种数据集和任务上优于最先进的对比学习方法。
2021-11-27 cs.CV cs.LG
Joint Contrastive-Adversarial Representation Learning for Unsupervised Domain Adaptation
该研究提出JCAR框架用于无监督域适应，结合对比学习与对抗域对齐学习公共表示，建立非渐近超额风险界，在多个数据集上验证了迁移增益。
2026-10-14 cs.LG stat.ML
Unsupervised Domain Adaptation with Contrastive Learning for OCT Segmentation
F Hoffmann-La Roche AG（罗氏公司）；Genentech Inc（基因泰克公司）；ETH Zurich（苏黎世联邦理工学院）；Uppsala University（乌普萨拉大学）
三维光学相干断层扫描图像中视网膜液体的准确分割是眼科疾病诊断和个性化治疗的关键。虽然深度学习在这项任务上取得了成功，但训练的监督模型通常会在不类似标记示例的图像上失败，例如使用不同设备获取的图像。在此，我们提出了一种新的半监督学习框架分割的体积图像从新的未标记的域。我们联合使用监督和对比学习，还引入了一个对比配对方案，利用3D中附近切片之间的相似性。此外，我们提出了通道式聚合作为替代传统的空间池聚合对比特征映射投影。我们评估我们的领域自适应从（标记）源域到（未标记）目标域的方法，每个域包含用不同的采集设备采集的图像。在目标域中，我们的方法实现了比Simplified（最先进的对比框架）高13.8%的Dice系数，并导致与该域中监督训练的上限相当的结果。在源域中，我们的模型还通过成功利用来自许多未标记图像的信息，将结果提高了5.4%。
2022-08-03 cs.CV cs.LG eess.IV
Refinement Contrastive Learning of Cell-Gene Associations for Unsupervised Cell Type Identification
本文提出scRCL框架，通过整合细胞-基因关联，提升无监督细胞类型识别的准确性与生物学相关性。
2025-12-11 cs.AI cs.LG
Cross-domain Contrastive Learning for Unsupervised Domain Adaptation
Fudan University（复旦大学）；Futurewei Technologies（未来wei技术公司）
无监督领域自适应（UDA）旨在将从完全标记的源领域学习到的知识转移到不同的未标记的目标领域。大多数现有的UDA方法通过最小化跨域的特征距离来学习域不变特征表示。在这项工作中，我们建立在对比自监督学习对齐功能，以减少训练集和测试集之间的域差异。探索由这两个域共享的同一组类别，我们介绍了一个简单而有效的框架CDCL，域对齐。特别是，给定一个锚图像从一个域，我们最小化其距离跨域样本从同一类相对于那些从不同的类别。由于目标标签不可用，我们使用基于聚类的方法，仔细初始化中心，以产生伪标签。此外，我们证明了CDCL是一个通用的框架，可以适应无数据设置，其中源数据在训练过程中不可用，修改最少。我们对两个广泛使用的领域自适应基准进行实验，即，Office-31和VisDA-2017，用于图像分类任务，并证明CDCL在两个数据集上都达到了最先进的性能。
2022-05-09 cs.AI cs.CV cs.LG
CueGCL: Cluster-aware Personalized Self-Training for Unsupervised Graph Contrastive Learning
School of Computer Science and Engineering, Sun Yat-sen University（计算机科学与工程学院，中山大学）；School of Systems Science and Engineering, Sun Yat-sen University（系统科学与工程学院，中山大学）；School of Software Engineering, Sun Yat-Sen University（软件工程学院，中山大学）
针对无监督图对比学习在聚类任务中缺乏簇级信息及类碰撞问题，提出簇感知框架CueGCL，结合个性化自训练与对齐图聚类，在五个基准数据集上达到最先进性能。
2025-09-23 cs.AI cs.LG cs.SI
Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；LG AI Research（LG人工智能研究院）
无监督元学习的目标是在由未标记数据构建的任务分布中学习可推广的知识。在这里，主要的挑战是如何在没有标签信息的情况下为元学习构建不同的任务;最近的工作已经提出创建，例如，通过预训练的表示进行伪标记或通过生成模型创建合成样本。然而，由于在元学习期间严重依赖不可变的伪标签以及表示或生成的样本的质量，这样的任务构建策略从根本上受到限制。为了克服这些局限性，我们提出了一个简单而有效的无监督元学习框架，即伪监督对比度（PsCo），用于Few-Shot分类。我们受到最近的自监督学习文献的启发; PsCo利用动量网络和先前批次的队列来改进伪标记并以渐进的方式构建各种任务。我们广泛的实验表明，PsCo优于现有的无监督元学习方法在各种域内和跨域的Few-Shot分类基准。我们还验证了PsCo是很容易扩展到一个大规模的基准，而最近的现有技术的元计划没有。
2023-03-02 cs.AI cs.CV cs.LG
A Theoretical Analysis of Contrastive Unsupervised Representation Learning
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Carnegie Mellon University（卡内基梅隆大学）
最近的经验工作已经成功地使用未标记的数据来学习在下游分类任务中广泛有用的特征表示。这些方法中有几种让人想起了著名的word2vec嵌入算法：利用语义上“相似”的数据点和“负样本”的可用性，学习器迫使相似对的表示的内积平均高于负样本。本文使用术语对比学习，这样的算法，并提出了一个理论框架，通过引入潜在的类和假设，语义相似的点是从相同的潜在类采样分析。这个框架允许我们显示可证明的保证学习表示的平均分类任务，是由同一组潜在类的子集的性能。我们的泛化范围还表明，学习的表示可以降低下游任务的（标记）样本复杂度。我们在文本和图像域进行对照实验来支持这一理论。
2019-02-25 cs.AI cs.LG stat.ML
Unsupervised Contrastive Learning for Robust RF Device Fingerprinting Under Time-Domain Shift
Oregon State University（俄勒冈州立大学）
针对射频设备指纹识别受时域域偏移影响准确率下降的问题，提出基于对比学习的无监督方法，通过构造同/异传输信号正负样本对学习域不变特征，在多日采集的数据集上较基线准确率提升10.8%-27.8%。
2024-03-06 cs.AI cs.LG eess.SP
Unsupervised visualization of image datasets using contrastive learning
University of Tübingen（蒂宾根大学）
提出一种名为 t-SimCNE 的新方法，结合对比学习与邻居嵌入，将高维像素空间参数化映射至二维，实现了与 SimCLR 相当的分类准确率，并生成了展示丰富聚类结构和异常值的图像数据集可视化。
2023-02-28 cs.CV cs.HC cs.LG
Neural Contrastive Clustering: Fully Unsupervised Bias Reduction for Sentiment Classification
工作背景：神经网络由于相关性偏差而产生有偏差的分类结果（它们学习输入和输出之间的相关性以分类样本，即使这些相关性不代表因果关系）。目的：这项研究引入了一种完全无监督的方法来减轻相关性偏差，并在COVID-19社交媒体数据上进行了情感分类。方法：情感分类中的相关偏差经常出现在关于有争议话题的对话中。因此，本研究使用对抗性学习来对比基于情感分类标签的聚类，以及由无监督主题建模产生的聚类。这阻碍了神经网络学习产生有偏见的分类结果的主题相关特征。结果如下：与基线分类器相比，神经对比聚类对人类标记的COVID-19社交媒体数据的倾向于偏见的句子的准确性大约增加了一倍，而不会对分类器的整体F1得分产生不利影响。尽管是一种完全无监督的方法，但神经对比聚类在倾向于偏见的句子上的准确性比监督掩蔽方法有更大的提高。结论：神经对比聚类减少了情感文本分类中的相关性偏差。需要进一步的研究来探索将这种技术推广到其他神经网络架构和应用领域。
2022-04-22 cs.CL cs.LG
UNSEE: Unsupervised Non-contrastive Sentence Embeddings
Koç University（科克大学）
针对非对比目标下的句子表征崩塌问题，研究提出带目标网络的UNSEE无监督非对比式句子嵌入方法，经微调优化在Massive Text Embedding基准上超越SimCSE，达非对比句子嵌入最优性能。
2024-02-02 cs.CL
PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
The University of Tokyo（东京大学）；Microsoft Corporation（微软公司）
在自然语言处理中，以无监督的方式学习句子嵌入是基本的。最近的常见做法是将预训练的语言模型与无监督的对比学习相结合，其成功依赖于用语义上接近的正实例来增强句子以构建对比对。然而，现有的方法通常依赖于一个单一的增强策略，这导致学习捷径的增强偏见，从而损坏的句子嵌入的质量。一个简单的解决方案是从多增强策略中诉诸更多样化的积极因素，而一个悬而未决的问题仍然是如何在无监督的情况下从不同的积极因素中学习，但在文本字段中具有不均匀的增强质量。作为一个答案，我们提出了一种新的同行对比学习（PCL）与不同的增强。PCL在群体水平上为无监督的句子嵌入构建了不同的对比肯定和否定。PCL执行对等积极对比以及对等网络合作，这提供了固有的抗偏见能力和从不同增强中学习的有效方法。STS基准测试的实验验证了PCL在无监督句子嵌入中的有效性。
2022-10-19 cs.CL
