Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Poisoning and Backdooring Contrastive Learning
Google（谷歌）
多模态对比学习方法，如CLIP训练噪声和未经策划的训练数据集。这比手动标记数据集更便宜，甚至提高了分布外的鲁棒性。我们表明，这种做法使得后门和中毒攻击成为一个重大威胁。通过中毒仅0.01%的数据集（例如，仅300万个示例概念说明数据集的300张图像），我们可以通过覆盖一个小块来导致模型对测试图像进行错误分类。有针对性的中毒攻击，由此模型将特定的测试输入与不利的期望标签错误分类，甚至更容易，需要控制0.0001%的数据集（例如，3百万张图片中的3张）。我们的攻击提出了一个问题，即在嘈杂和未经策划的互联网上进行训练是否可取。
2022-03-28 cs.LG
Leveraging Group Classification with Descending Soft Labeling for Deep Imbalanced Regression
Western University（韦仕敦大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
针对深度不平衡回归中分类作用不明确及现有正则化器忽略数据连续性与相似性的问题，本文从贝叶斯视角将DIR目标分解为分类与回归任务，引入组感知对比学习损失、多专家回归器及对称降序软标签策略，有效保持了数据连续性并提升了回归性能。
2024-12-19 cs.LG
Enhancing Text-Based Hierarchical Multilabel Classification for Mobile Applications via Contrastive Learning
Tencent Shenzhen Guangdong China；Xidian University Xi'an Shaanxi China；Shenzhen Institute of Information Technology Shenzhen Guangdong China；Independent Researcher Dublin County Dublin Ireland；Tencent；Xidian University；Shenzhen Institute of Information Technology；Independent Researcher
针对移动应用分层多标签分类问题，提出HMCN（从无约束多标签和分层约束顺序预测两角度处理分类）与HMCL（通过对比学习增强应用表示），在腾讯及公共数据集上表现优异，部署后提升用户信用风险管理KS指标10.70%。
2025-07-06 cs.LG
Non-Contrastive Self-Supervised Learning of Utterance-Level Speech Representations
Johns Hopkins University（约翰斯·霍普金斯大学）
考虑到大量的未标记语音数据和高昂的标记成本，无监督学习方法对于更好的系统开发至关重要。最成功的方法之一是对比自监督方法，它需要负采样：对替代样本进行采样，以与当前样本（锚）进行对比。然而，很难确保所有的负样本是否属于与没有标签的锚类不同的类。本文采用非对比自监督学习方法在无标注语音语料库上学习话语级嵌入。我们使用了在计算机视觉中提出的带NO标签的Distillation（DINO），并将其应用于语音领域。与对比方法不同，DINO不需要负采样。这些嵌入进行了评估，说话人确认和情感识别。在说话人验证中，无监督DINO嵌入余弦评分在VoxCeleb 1测试试验中提供了4.38%的EER。这比最好的对比自我监督方法在EER方面的相对性能高出40%。一个迭代的伪标签训练管道，不需要说话人标签，进一步提高了EER到1.89%。在情感识别方面，DINO嵌入在IEMOCAP，Crema-D和MSP-Podcast上的micro-f1得分分别为60.87，79.21和56.98%。结果表明，DINO嵌入的通用性，不同的语音应用。
2022-08-10 cs.LG eess.AS
I'm Me, We're Us, and I'm Us: Tri-directional Contrastive Learning on Hypergraphs
KAIST（韩国科学技术院）
虽然超图的机器学习已经引起了相当大的关注，但大多数工作都集中在（半）监督学习，这可能会导致沉重的标记成本和泛化能力差。近年来，对比学习作为一种成功的无监督表示学习方法出现。尽管对比学习在其他领域得到了蓬勃的发展，但超图上的对比学习却很少有人研究。在本文中，我们提出了三向对比学习（TriCL），超图上的对比学习的一般框架。它的主要思想是三向对比，具体来说，它的目的是在两个增强视图中最大化（a）相同节点之间的一致性，（b）相同节点组之间的一致性，以及（c）每个组及其成员之间的一致性。结合简单但令人惊讶的有效数据增强和负采样方案，这三种形式的对比度使TriCL能够在节点嵌入中捕获微观和介观结构信息。我们使用13种基线方法，5个数据集和两个任务进行了广泛的实验，证明了TriCL的有效性，最值得注意的是，TriCL的性能不仅优于无监督竞争对手，而且还优于（半）监督竞争对手，主要是节点分类的显著优势。代码和数据集可在https://github.com/wooner49/TriCL上获得。
2023-01-05 cs.LG
A Framework using Contrastive Learning for Classification with Noisy Labels
EURA NOVA BE
我们提出了一个框架，使用对比学习作为一个预训练任务来执行图像分类的存在噪声标签。最近的策略，如伪标记，高斯混合模型的样本选择，加权监督对比学习已被结合到一个微调阶段后的预训练。本文提供了一个广泛的实证研究表明，一个初步的对比学习步骤带来了显着的增益性能时，使用不同的损失函数：非鲁棒性，鲁棒性，和早期学习正则化。我们在标准基准测试和真实世界数据集上进行的实验表明：i）对比预训练增加了任何损失函数对噪声标签的鲁棒性，ii）额外的微调阶段可以进一步提高准确性，但代价是额外的复杂性。
2021-04-19 cs.CV cs.LG
Understand and Improve Contrastive Learning Methods for Visual Representation: A Review
Georgia Tech（佐治亚理工学院）
传统的监督学习方法由于依赖于昂贵的人工标记数据以及泛化能力有限和易受对抗攻击等弱点而遇到瓶颈。作为无监督学习的一种，自监督学习是一种很有前途的替代方法，由于其在不需要人工标记的情况下学习有效的数据表示的潜力而受到欢迎。在自监督学习算法中，对比学习在多个研究领域取得了最新的性能。这篇文献综述旨在提供一个最新的分析研究人员的努力，以了解自监督学习的关键组成部分和局限性。
2021-06-06 cs.CV cs.LG
Supervised Graph Contrastive Learning for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）；Bytedance AI Lab（字节跳动人工智能实验室）
图存在于许多现实世界的应用中，例如金融欺诈检测、商业推荐和社会网络分析。但是考虑到图注释或标记的高成本，我们面临着严重的图标记稀缺问题，即，一个图可能有几个标记的节点。这种问题的一个例子是所谓的\textit{few-shot node classification}。解决这个问题的主要方法是求助于\textit{episodic meta-learning}。在这项工作中，我们提出了一个基本问题，元学习是否是一个必须的Few-Shot节点分类任务的挑战现状。我们提出了一个新的和简单的框架下的标准Few-Shot节点分类设置作为替代元学习一个有效的图形编码器。该框架由监督图对比学习与新的机制，数据增强，子图编码，和多尺度对比图。在三个基准数据集（CoraFull，Reddit，Ogbn）上的大量实验表明，新框架的性能明显优于最先进的基于元学习的方法。
2022-08-05 cs.LG
DiCaP: Distribution-Calibrated Pseudo-labeling for Semi-Supervised Multi-Label Learning
DiCaP通过分布校准伪标签法，提升半监督多标签学习的性能，实现高达4.27%的提升。
2025-12-02 cs.LG
Contrastive Learning-Based Dependency Modeling for Anomaly Detection in Cloud Services
University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；Northeastern University（东北大学）；Trine University（特里恩大学）
本文提出融合对比学习与依赖图建模的云服务异常检测方法，通过图卷积聚合与时间一致性约束增强表示，实验证明在关键指标上优于现有方法且鲁棒性强。
2025-10-15 cs.LG
Scalable Trajectory-User Linking with Dual-Stream Representation Networks
Ocean University of China（中国海洋大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对现有轨迹-用户关联方法难以处理大规模数据的问题，提出基于双流表征网络的ScaleTUL方法，通过时空增强视图与监督对比学习融合多时空依赖，经两阶段训练实现关联，在多类真实数据集上表现优于现有最优基线。
2025-03-19 cs.LG
Integrating Distribution Matching into Semi-Supervised Contrastive Learning for Labeled and Unlabeled Data
Doshisha University（大阪大学）
本研究通过整合分布匹配技术，提升半监督对比学习中伪标签的利用效率，以提高图像分类性能。
2026-01-08 cs.AI cs.LG
Approximation in Contrastive Representation Learning
School of mathematics and statistics（数学与统计学院）；University of Sydney（悉尼大学）
本文针对对比表征学习中标准内积评分为何能近似总体目标PMI的问题，通过关联PMI与紧算子、分析神经网络实现及校准率，明确了其近似机制与误差特性。
2026-10-14 cs.LG
Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；LG AI Research（LG人工智能研究院）
无监督元学习的目标是在由未标记数据构建的任务分布中学习可推广的知识。在这里，主要的挑战是如何在没有标签信息的情况下为元学习构建不同的任务;最近的工作已经提出创建，例如，通过预训练的表示进行伪标记或通过生成模型创建合成样本。然而，由于在元学习期间严重依赖不可变的伪标签以及表示或生成的样本的质量，这样的任务构建策略从根本上受到限制。为了克服这些局限性，我们提出了一个简单而有效的无监督元学习框架，即伪监督对比度（PsCo），用于Few-Shot分类。我们受到最近的自监督学习文献的启发; PsCo利用动量网络和先前批次的队列来改进伪标记并以渐进的方式构建各种任务。我们广泛的实验表明，PsCo优于现有的无监督元学习方法在各种域内和跨域的Few-Shot分类基准。我们还验证了PsCo是很容易扩展到一个大规模的基准，而最近的现有技术的元计划没有。
2023-03-02 cs.AI cs.CV cs.LG
Improving Biomedical Entity Linking with Retrieval-enhanced Learning
Jarvis Research Center, Tencent YouTu Lab（腾讯优图实验室Jarvis研究中心）
针对生物医学实体链接中长尾分布导致稀有难实体处理效果差的问题，提出带动态难负样本采样对比学习的检索增强方案$k$NN-BioEL，在多个数据集上超越现有最优基线。
2023-12-15 cs.AI cs.CL cs.LG
Enhancing Active Learning for Sentinel 2 Imagery through Contrastive Learning and Uncertainty Estimation
本文提出结合半监督学习、对比学习与MC Dropout不确定性估计的主动学习方法，在Sentinel-2影像分析中显著提高标注效率并保持高分类准确率。
2024-06-25 cs.CV cs.LG
A Mathematical Perspective On Contrastive Learning
Stores Foundational AI, Amazon, Palo Alto CA 94301 and Pasadena CA 91125（亚马逊公司、帕洛阿尔托加州94301和帕萨迪纳加州91125）；Computing and Mathematical Sciences, California Institute of Technology, Pasadena CA 91125（计算与数学科学系，加州理工学院，帕萨迪纳加州91125）
本文从数学视角将多模态对比学习解释为优化定义条件概率分布的编码器，提出引入新概率损失函数和替代对齐度量的推广方法，并在多元高斯、MNIST及海洋数据同化实验中验证了其有效性。
2025-05-30 cs.CV cs.LG stat.ML
Towards Generalizable SER: Soft Labeling and Data Augmentation for Modeling Temporal Emotion Shifts in Large-Scale Multilingual Speech
Virginia Commonwealth University（弗吉尼亚联邦大学）；Nile University（尼罗大学）
本研究通过整合16个数据集、提出软标签系统及利用Whisper编码器和对比学习增强，实现了多语言语音情感时间动态建模，并在四个数据集上验证了零样本泛化能力。
2023-11-15 cs.CL cs.LG eess.AS
Supervised Graph Contrastive Learning for Gene Regulatory Networks
University of Tokyo（东京大学）；National Institute of Genetics（日本国立遗传学研究所）
本文提出SupGCL方法，通过整合基因敲除实验中的生物扰动作为监督信号，改进基因调控网络的表示学习，提升疾病亚型识别和下游任务性能。
2026-06-15 cs.LG
Local Contrastive Learning for Medical Image Recognition
Yale University（耶鲁大学）；Rice University（莱斯大学）；University of Texas Health Science Center（德克萨斯大学健康科学中心）
基于深度学习（DL）的放射图像分析方法的激增，对专家标记的放射学数据产生了巨大的需求。最近的自我监督的框架，减轻了需要从相关的放射学报告获得监督的专家标签。然而，这些框架很难区分医学图像中不同病理之间的细微差异。此外，它们中的许多不提供图像区域和文本之间的解释，使得放射科医生难以评估模型预测。在这项工作中，我们提出了局部区域对比学习（LRSTO），一个灵活的微调框架，增加了显着的图像区域选择以及跨模态交互层。我们的研究结果的一个外部验证集的胸部X射线表明，LRSTOM识别显着的局部图像区域，并提供有意义的解释对放射学文本，同时提高zero-shot性能的几个胸部X射线医学发现。
2023-03-24 cs.CV cs.LG
Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning
Monash University（莫纳什大学）；Nanjing University of Science and Technology（南京理工大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
图表示学习在图结构数据处理中起着至关重要的作用。然而，关于图表示学习的现有技术严重依赖于标记信息。为了克服这个问题，受最近成功的图对比学习和暹罗网络在视觉表示学习的启发，我们提出了一种新的自监督的方法来学习节点表示，通过增强暹罗自蒸馏与多尺度对比学习。具体来说，我们首先从输入图中生成两个增强视图，基于局部和全局的角度。然后，我们采用两个目标，称为跨视图和跨网络的对比度，以最大限度地提高跨不同的视图和网络的节点表示之间的协议。为了证明我们的方法的有效性，我们在五个真实世界的数据集上进行了实证实验。我们的方法不仅取得了新的国家的最先进的结果，但也超过了一些半监督同行的大幅度。代码可在https://github.com/GRAND-Lab/MERIT上获得
2021-07-16 cs.LG cs.SI
On the Marginal Benefit of Active Learning: Does Self-Supervision Eat Its Cake?
University of California, Riverside（加州大学河滨分校）
主动学习是一组用于智能标记大型未标记数据集以减少标记工作的技术。同时，自监督和半监督学习（S4 L）的最新发展提供了基于数据增强、对比学习和自训练的强大技术，这些技术能够更好地利用未标记的数据，从而显著减少标准机器学习基准测试中所需的标记。一个自然的问题是，这些范式是否可以统一起来，以获得更好的结果。为此，本文提出了一种新的算法框架，集成自监督预训练，主动学习，一致性正则化的自我训练。我们在CIFAR 10和CIFAR 100数据集上对我们的框架进行了广泛的实验。这些实验使我们能够分离和评估使用最先进的方法（例如~ Core-Set、VAAL、simple、FixMatch）。我们的实验揭示了两个关键的见解：（i）自监督预训练显着提高了半监督学习，特别是在少标签制度，（ii）主动学习的好处是破坏和S4 L技术的包容。具体来说，我们没有观察到任何额外的好处，国家的最先进的主动学习算法时，结合国家的最先进的S4 L技术。
2020-11-16 cs.LG
Contrastive Semantic Projection: Faithful Neuron Labeling with Contrastive Examples
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Centre of eXplainable Artificial Intelligence, Technological University Dublin（可解释人工智能中心，都柏林技术大学）
本文提出对比语义投影(CSP)，通过视觉语言模型生成候选标签并结合CLIP-like编码器进行标签分配，改进神经元标注的准确性和语义粒度。
2026-04-29 cs.CV cs.LG
CLAWS: Contrastive Learning with hard Attention and Weak Supervision
Iowa State University（爱荷华州立大学）
在没有人类监督的情况下学习有效的视觉表示是计算机视觉中的一个长期问题。自监督学习算法的最新进展已经利用了对比学习，其具有诸如Simplified的方法，Simplified将增强的合成应用于图像，并且最小化两个增强图像之间的对比损失。在本文中，我们提出了CLAWS，一个注释高效的学习框架，解决了手动标记大规模农业数据集的问题，以及异常检测和植物生长分析等潜在应用。CLAWS使用受Simplified启发的网络骨干和弱监督来调查类集群内的对比学习的效果。此外，我们注入一个硬注意力掩模的裁剪输入图像之前，最大限度地利用对比损失函数的图像对之间的协议。该遮罩迫使网络专注于相关的对象特征，而忽略背景特征。我们使用农业数据集比较了监督Simplified和CLAWS之间的结果，该数据集包含227，060个样本，包括11种不同的作物类别。我们的实验和广泛的评估表明，CLAWS实现了0.7325的竞争力NMI分数。此外，CLAWS产生了非常大的数据集的低维表示的创建，具有最小的参数调整和形成定义良好的集群，这有助于使用高效，透明和高度可解释的聚类方法，如高斯混合模型。
2022-01-31 cs.CV cs.LG
Self-Labeling Refinement for Robust Representation Learning with Bootstrap Your Own Latent
在这项工作中，我们努力实现两个主要目标。首先，我们研究了批量归一化（BN）层在一个名为Bootstrap Your Own Latent（BYOL）的非对比表示学习框架中的重要性。我们进行了几个实验，得出结论，BN层是不必要的表示学习在BYOL。此外，BYOL只从积极的图像对中学习，而忽略同一批输入中的其他语义相似的图像。对于第二个目标，我们引入了两个新的损失函数来确定同一批输入图像中的语义相似对，并减少它们的表示之间的距离。这些损失函数是交叉余弦相似性损失（CCSL）和交叉S形相似性损失（CSSL）。使用所提出的损失函数，我们能够通过在STL 10数据集上使用CCSL损失（76.87%）训练BYOL框架来超越Vanilla BYOL（71.04%）的性能。使用CSSL loss训练的BYOL使用Vanilla BYOL执行恢复。
2022-04-09 cs.AI cs.CV cs.LG
From Volumes to Slices: Computationally Efficient Contrastive Learning for Sequential Abdominal CT Analysis
Computer Science & Information Engineering National Central University（计算机科学与信息工程国家中央大学）
2D-VoCo通过高效对比学习提升腹部CT多器官损伤分类性能，减少对标注数据的依赖。
2026-01-21 cs.CV cs.LG
Self-Supervised Learning at the Edge: The Cost of Labeling
本文研究边缘端自监督学习的可行性与效率，分析其资源权衡及标注成本，证明定制策略可降低高达4倍资源消耗。
2025-07-09 cs.LG eess.SP
Unsupervised Waste Classification By Dual-Encoder Contrastive Learning and Multi-Clustering Voting (DECMCV)
School of engineering, Dali university（大理大学工程学院）；Research Center of Yunnan Provincial Department of Education（云南省教育厅研究中心）
本文提出无监督方法 DECMCV，结合双编码器对比学习与多聚类投票机制解决废物分类中的数据标注与领域偏移问题，在多个数据集上准确率优于或媲美监督模型，显著降低标注成本并提升泛化能力。
2025-03-04 cs.CV cs.LG
Incorporating Attributes and Multi-Scale Structures for Heterogeneous Graph Contrastive Learning
Department of Computer Science and Technology, Ocean University of China（计算机科学与技术系，中国海洋大学）
本文提出异构图对比学习框架ASHGCL，通过属性、高阶和低阶结构三视图及属性增强正样本选择策略，缓解采样偏差，在多个数据集上超越无监督基线并媲美有监督方法。
2025-08-19 cs.LG cs.SI
Mixing Up Contrastive Learning: Self-Supervised Representation Learning for Time Series
UiT the Arctic University of Norway（特罗姆瑟大学-挪威北极圈大学）；Norwegian Computing Center（挪威计算中心）；University Hospital of North Norway（北挪威大学医院）
缺乏标记数据是从时间序列数据中学习有用表示的关键挑战。然而，能够产生高质量表示的无监督表示框架可能具有很大的价值。这是实现迁移学习的关键，这对医学应用尤其有益，因为医学应用中有大量数据，但标记成本高且耗时。我们提出了一个无监督的对比学习框架，从标签平滑的角度出发。所提出的方法使用了一种新的对比损失，自然利用数据增强方案，其中新的样本是通过混合两个数据样本与混合组件。在所提出的框架中的任务是预测的混合成分，这是利用作为软目标的损失函数。实验表明，该框架的优越性能相比，其他表示学习方法的单变量和多变量时间序列，并说明其好处的临床时间序列的迁移学习。
2022-03-17 cs.AI cs.LG stat.ML
An Adaptive Contrastive Learning Model for Spike Sorting
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）
脑机接口（BCI）是电子设备与大脑直接通信的方式。对于大多数医学类型的脑机接口任务，多个神经元单元或局部场电位的活动足以进行解码。但对于神经科学研究中使用的脑机接口来说，分离出单个神经元的活动是很重要的。随着大规模硅技术的发展和探针通道数量的增加，人工解释和标记尖峰变得越来越不切实际。在本文中，我们提出了一种新的建模框架：自适应对比学习模型，通过对比学习的基础上最大化的互信息损失函数作为理论基础的尖峰表示学习。基于具有相似特征的数据共享相同标签的事实，无论它们是多分类还是二分类。在此理论支持下，我们将多分类问题简化为多个二进制分类，提高了准确率和运行效率。此外，我们还介绍了一系列的增强尖峰，同时解决了问题，因为重叠尖峰的分类效果受到影响。
2022-05-24 cs.AI cs.LG q-bio.NC
The Geometric Mechanics of Contrastive Representation Learning: Alignment Potentials, Entropic Dispersion, and Cross-modal Divergence
University of Science and Technology of China（中国科学技术大学）
本文通过测度论框架，在大批量极限下证明InfoNCE目标与确定性能量景观的等价性，揭示单模态与对称多模态之间的几何分岔，并指出跨模态散度项导致模态间隙。
2026-10-16 cs.LG stat.ML
Pseudo Contrastive Learning for Graph-based Semi-supervised Learning
Xidian University（西安电子科技大学）；Northwest University（西北大学）；Xi’an University of Posts and Telecommunications（西安邮电大学）；The University of Sydney（悉尼大学）
针对半监督图神经网络中伪标签质量不佳的问题，提出伪对比学习框架，将生成伪标签转化为识别可靠负样本对，结合拓扑加权对比损失，在五个真实图数据集上提升了多种GNN的性能。
2023-12-19 cs.AI cs.LG
Weakly Supervised Contrastive Learning for Better Severity Scoring of Lung Ultrasound
Carnegie Mellon University（卡内基梅隆大学）；Louisiana State University（路易斯安那州立大学）；Cosmeticsurg.net, LLC（Cosmeticsurg.net有限责任公司）
随着COVID-19疫情的爆发，超声波已成为患者床边监测的有效工具。因此，已经提供了大量的肺部超声扫描，可用于基于AI的诊断和分析。已经提出了几种基于AI的患者严重程度评分模型，这些模型依赖于对超声扫描的外观进行评分。AI模型使用基于标准化视觉特征手动标记的超声外观严重程度评分进行训练。我们解决了标记视频剪辑中每个超声帧的挑战。我们的对比学习方法将视频剪辑严重性标签视为单个帧的噪声弱严重性标签，因此仅需要视频级标签。我们证明了它比传统的基于交叉熵损失的训练更好。我们结合帧严重性预测来提出视频严重性预测，并表明基于帧的模型在结合公共和私人来源的大型数据集上实现了与基于视频的TSM模型相当的性能。
2022-01-18 cs.CV cs.LG eess.IV
SimCKP: Simple Contrastive Learning of Keyphrase Representations
Naver Webtoon AI（Naver Webtoon人工智能）；KAIST AI（韩国科学技术院人工智能）
提出SimCKP对比学习框架，通过两阶段提取与重排序关键短语表示，显著超越现有最先进模型。
2023-10-12 cs.AI cs.CL cs.LG
Fine-grained Category Discovery under Coarse-grained supervision with Hierarchical Weighted Self-contrastive Learning
Xi’an Jiaotong University（西安交通大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；Zhejiang University（浙江大学）；Lenovo Research（联想研究院）
新类别发现的目的是使在已知类别上训练的模型适应新类别。以前的工作只关注已知和新颖类别具有相同粒度的情况。在本文中，我们研究了一个新的实际场景称为细粒度的类别发现下粗粒度的监督（FCDC）。FCDC的目标是发现细粒度的类别，只有粗粒度的标记数据，它可以适应模型的类别不同的粒度从已知的，并减少显着的标签成本。这也是一项具有挑战性的任务，因为粗粒度类别的监督训练往往专注于类间距离（粗粒度类别之间的距离），但忽略了类内距离（细粒度子类之间的距离），这对于分离细粒度类别至关重要。针对目前大多数方法不能将知识从粗粒度层传递到细粒度层的问题，提出了一种分层加权自对比网络，通过构造一种新的加权自对比模块，并将其与监督学习分层结合.在公共数据集上的大量实验表明，我们的模型比比较方法的有效性和效率。代码和数据可在https://github.com/Lackel/Hierarchical_Weighted_SCL上获得。
2022-10-14 cs.AI cs.CL cs.LG
Understanding Contrastive Representation Learning from Positive Unlabeled (PU) Data
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；OpenAI；Meta
本文针对正无标记数据上的对比表示学习，提出puCL和puNCE两种无偏对比目标，并结合PU感知聚类伪标签算法，在低监督场景下显著优于现有方法。
2025-04-10 cs.AI cs.CV cs.LG
Towards Graph Self-Supervised Learning with Contrastive Adjusted Zooming
Monash University（莫纳什大学）；Griffith University（格里菲斯大学）；Beihang University（北京航空航天大学）；Zhejiang Normal University（浙江师范大学）；Alibaba Group（阿里巴巴集团）
图表示学习（GRL）是图结构数据分析的关键。然而，大多数现有的图神经网络（GNN）严重依赖于标签信息，这通常是昂贵的，以获得在现实世界中。虽然一些现有的作品旨在以无监督的方式有效地学习图表示，但它们受到一定的限制，例如严重依赖单调对比度和有限的可扩展性。为了克服上述问题，我们引入了一种新的自监督图表示学习算法，通过图对比调整缩放，即G-Zoom，学习节点表示，利用所提出的调整缩放方案。具体来说，这种机制使G-Zoom能够从多个尺度的图中探索和提取自我监督信号：微观（即，节点级），中间（即，邻域级），以及宏（即，子图级）。首先，我们通过两种不同的图增强生成输入图的两个增强视图。然后，我们建立了三个不同的对比度在上述三个尺度上逐步，从节点，邻居，子图的水平，在那里我们最大限度地提高跨尺度的图表示之间的协议。虽然我们可以从微观和宏观角度的给定图形中提取有价值的线索，但相邻级别的对比度为G-Zoom提供了基于我们调整的缩放方案的可定制选项的能力，以手动选择介于微观和宏观角度之间的最佳视点，以更好地理解图形数据。此外，为了使我们的模型可扩展到大型图，我们采用了并行图扩散方法来将模型训练与图大小解耦。我们在真实世界的数据集上进行了大量的实验，结果表明我们提出的模型始终优于最先进的方法。
2022-11-21 cs.AI cs.LG
Bridging Text and Crystal Structures: Literature-driven Contrastive Learning for Materials Science
Toyota Motor Corporation（丰田汽车公司）；OMRON SINIC X Corporation（OMRON SINIC X公司）；Randeft, Inc.（Randeft公司）；The University of Osaka（大阪大学）
本文提出对比语言-结构预训练（CLaSP）范式，利用40万条文献数据构建晶体结构与文本的跨模态嵌入空间，实现基于文本查询的材料检索与结构筛选。
2025-06-19 cond-mat.mtrl-sci cs.LG
FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series
针对大量带有限或昂贵注释的时间序列数据，介绍基于曼巴的深度聚类框架FMMVCC。它利用状态空间序列建模及多视图自监督学习，在15个基准数据集实验中优于现有基线，在多指标评估中表现出色。
2026-07-09 cs.AI cs.LG
Federated Contrastive Learning for Volumetric Medical Image Segmentation
University of Pittsburgh（匹兹堡大学）；University of Notre Dame（圣母大学）
监督式深度学习需要大量的标记数据来实现高性能。然而，在医学成像分析中，每个站点可能只有有限的数据和标签，这使得学习无效。联邦学习（FL）可以通过学习共享模型来帮助解决这一问题，同时将训练数据保持在本地以保护隐私。传统的FL需要完全标记的数据进行训练，由于高昂的标记成本和专业知识的要求，这是不方便的，有时甚至是不可行的。对比学习（CL）作为一种自监督学习方法，可以有效地从未标记的数据中学习，以预训练神经网络编码器，然后对具有有限注释的下游任务进行微调。然而，当在FL中采用CL时，每个客户端上有限的数据多样性使得联邦对比学习（FCL）无效。在这项工作中，我们提出了一个FCL框架体积医学图像分割有限的注释。更具体地说，我们交换了FCL预训练过程中的功能，以便为每个站点提供不同的对比数据，以实现有效的本地CL，同时保持原始数据的私密性。基于交换的特征，全局结构匹配进一步利用结构相似性将本地特征与远程特征对齐，使得可以在不同站点之间学习统一的特征空间。在心脏MRI数据集上的实验表明，与最先进的技术相比，所提出的框架大大提高了分割性能。
2022-04-23 cs.CV cs.LG eess.IV
Representation Learning via Non-Contrastive Mutual Information
Google DeepMind（谷歌DeepMind）
本文提出互信息非对比（MINC）损失，结合对比与非对比方法优势，在ImageNet上提升表示学习性能。
2025-04-23 cs.AI cs.CV cs.LG
VGFL-SA: Vertical Graph Federated Learning Structure Attack Based on Contrastive Learning
针对纵向图联邦学习中客户端节点无标签导致现有攻击受限的问题，提出VGFL-SA，利用对比学习和邻接矩阵梯度修改本地图结构，实验证明其攻击有效且可迁移。
2025-03-18 cs.AI cs.LG
Contrastive Learning-Based Audio to Lyrics Alignment for Multiple Languages
Spotify
针对现有歌词对齐方法的缺陷，提出基于对比学习的跨模态嵌入对齐方案，实现了Jamendo数据集上的最优精度，且跨语言鲁棒性强，并发布了多语言数据集的词级对齐结果。
2023-06-13 cs.LG cs.SD eess.AS
Enhancing Semi-Supervised Multi-View Graph Convolutional Networks via Supervised Contrastive Learning and Self-Training
University of the Basque Country（巴斯克大学）；IKERBASQUE；North China University of Water Resources and Electric Power（华北水利水电大学）
MV-SupGCN通过监督对比学习和自训练方法提升多视图图卷积网络的半监督性能。
2025-12-15 cs.CV cs.LG
Bootstrapping Semi-supervised Medical Image Segmentation with Anatomical-aware Contrastive Distillation
New York University（纽约大学）；Yale University（耶鲁大学）
对比学习在医学图像分割的背景下已经显示出对注释稀缺问题的巨大希望。现有的方法通常假设一个平衡的类分布标记和未标记的医学图像。然而，现实中的医学图像数据通常是不平衡的（即，多类别标签不平衡），这自然会产生模糊的轮廓，并且通常会错误地标记稀有对象。此外，目前还不清楚是否所有阴性样本都是阴性的。在这项工作中，我们提出了行动，解剖意识的ConTrastive dIstillatiON框架，半监督医学图像分割。具体来说，我们首先开发了一个迭代对比蒸馏算法，通过软标签的负面，而不是二元监督之间的积极和消极的对。我们还从随机选择的阴性集合中捕获与阳性集合相比语义上更相似的特征，以加强采样数据的多样性。其次，我们提出了一个更重要的问题：我们真的可以处理不平衡的样本，以产生更好的性能？因此，ACTION的关键创新是以最小的额外内存占用来学习整个数据集的全局语义关系和相邻像素之间的局部解剖特征。在训练过程中，我们通过主动采样一组稀疏的硬负像素来引入解剖对比度，这可以生成更平滑的分割边界和更准确的预测。在两个基准数据集和不同的未标记设置上的广泛实验表明，ACTION显著优于当前最先进的半监督方法。
2023-03-10 cs.AI cs.CV cs.LG
Homography augumented momentum constrastive learning for SAR image retrieval
University of Florida（佛罗里达大学）；Miami University（迈阿密大学）；Air Force Research Laboratory（空军研究实验室）
基于深度学习的图像检索在计算机视觉中一直受到重视。深度神经网络（DNN）提取的表示嵌入不仅旨在包含图像的语义信息，而且可以管理大规模的图像检索任务。在这项工作中，我们提出了一种基于深度学习的图像检索方法，使用单应性变换增强对比学习来执行大规模合成孔径雷达（SAR）图像搜索任务。此外，我们提出了一种训练方法的DNN诱导的对比学习，不需要任何标记过程。这可以相对容易地实现大规模数据集的易处理性。最后，我们通过极化SAR图像数据集进行实验，验证了所提出的方法的性能。
2021-09-21 cs.CV cs.IR cs.LG
Inclusive FinTech Lending via Contrastive Learning and Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）；Arizona State University（亚利桑那州立大学）
针对金融科技贷款筛选中的代表性偏差问题，提出基于Transformer的序列模型，结合对比学习和领域自适应，在真实小额贷款数据上提升包容性，并将准确率和利润分别提高7.10%和8.95%。
2023-05-10 cs.CY cs.LG
Tabular Data Contrastive Learning via Class-Conditioned and Feature-Correlation Based Augmentation
Layer 6 AI
本文提出一种改进的表格数据对比学习增强方法，通过类别条件采样破坏表格条目并基于特征相关性选择破坏特征，在分类任务上持续优于传统破坏方法。
2024-04-30 cs.AI cs.LG stat.ML
Federated Self-Supervised Contrastive Learning and Masked Autoencoder for Dermatological Disease Diagnosis
University of Pittsburgh（匹兹堡大学）；University of Notre Dame（圣母大学）；George Mason University（乔治梅森大学）；University of Pittsburgh Medical Center（匹兹堡大学医学中心）
在皮肤病诊断中，由移动皮肤病助理收集的私人数据存在于患者的分布式移动设备上。联邦学习（FL）可以使用分散的数据来训练模型，同时保持数据本地化。现有的FL方法假设所有的数据都有标签。然而，由于高昂的标签成本，医疗数据通常没有完整的标签。自监督学习（SSL）方法，对比学习（CL）和掩码自编码器（MAE），可以利用未标记的数据来预训练模型，然后用有限的标签进行微调。然而，SSL和FL的结合具有独特的挑战。例如，CL需要不同的数据，但每个设备只有有限的数据。对于MAE，虽然基于视觉Transformer（ViT）的MAE在集中式学习中具有比CNN更高的准确性，但尚未研究MAE在具有未标记数据的FL中的性能。此外，服务器和客户端之间的ViT同步与传统的CNN不同。因此，需要设计特殊的同步方法。在这项工作中，我们提出了两个联邦自监督学习框架的皮肤病诊断有限的标签。第一个具有较低的计算成本，适合移动设备。第二个具有高精度，适合高性能服务器。在此基础上，提出了基于特征共享的联邦对比学习（FedCLF）。共享不同对比信息的特征，而不共享原始数据以保护隐私。在MAE的基础上，我们提出了FedMAE。知识分割将从每个客户那里学到的全球知识和当地知识分开。只有全局知识聚合更高的泛化性能。在皮肤病数据集上的实验表明，所提出的框架比最先进的框架具有更高的准确性。
2022-08-24 cs.CR cs.LG eess.IV
Multi-Scale Self-Contrastive Learning with Hard Negative Mining for Weakly-Supervised Query-based Video Grounding
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
基于查询的视频基础是视频理解中一项重要而又具有挑战性的任务，其目的是根据句子查询定位未经裁剪的视频中的目标片段。大多数以前的工作取得了显着的进展，通过解决这个任务在一个完全监督的方式与段级标签，这需要高的标签成本。尽管最近的一些努力开发了只需要视频级知识的弱监督方法，但它们通常将多个预定义的片段建议与查询匹配并选择最佳片段，这缺乏细粒度的帧级细节以区分整个视频中具有高重复性和相似性的帧。为了缓解上述限制，我们提出了一个自我对比学习框架，以解决弱监督设置下的基于查询的视频接地任务。首先，而不是利用冗余段的建议，我们提出了一个新的接地方案，学习帧匹配分数参考查询语义预测可能的前景帧，只使用视频级注释。其次，由于一些预测帧（即，边界帧）是相对粗糙的，并且表现出与它们的相邻帧相似的外观，我们提出了一种从粗到细的对比学习范例，以学习更多的区分性逐帧表示，用于区分假阳性帧。特别是，我们迭代地探索多尺度硬负样本，这些样本接近表示空间中的正样本，以区分细粒度的帧细节，从而实施更准确的分段接地。在两个具有挑战性的基准上进行的大量实验表明，与最先进的方法相比，我们所提出的方法具有优越性。
2022-03-08 cs.AI cs.CV cs.LG
Self-Supervised Contrastive Learning for Robust Audio-Sheet Music Retrieval Systems
Johannes Kepler University Linz（林茨约翰·开普勒大学）
本文提出用自监督对比学习对音频与乐谱图像片段进行预训练，以缓解标注数据稀缺问题，实验表明该方法可显著提升跨模态片段检索精度，并使曲目识别检索质量从30%提升至100%。
2023-09-21 cs.IR cs.LG cs.SD
Federated Contrastive Learning for Dermatological Disease Diagnosis via On-device Learning
University of Pittsburgh（匹兹堡大学）；University of Notre Dame（圣母大学）；George Mason University（乔治梅森大学）；University of New Mexico（新墨西哥大学）；University of Pittsburgh Medical Center（匹兹堡大学医学中心）
深度学习模型已经部署在越来越多的边缘和移动设备中，以提供医疗保健。这些模型依赖于使用大量标记数据进行训练以实现高精度。然而，对于皮肤病诊断等医疗应用，移动皮肤科助理收集的隐私数据存在于患者的分布式移动设备上，每个设备仅具有有限的数据量。直接从有限的数据中学习会大大降低学习模型的性能。联邦学习（FL）可以通过使用分布在设备上的数据来训练模型，同时保持数据本地隐私。现有的FL工作假设所有的数据都有地面实况标签。然而，医疗数据往往没有任何附带的标签，因为标签需要专业知识，并导致高昂的劳动力成本。最近开发的自监督学习方法，对比学习（CL），可以利用未标记的数据来预训练模型，之后模型在有限的标记数据上进行微调，用于皮肤病诊断。然而，简单地将CL与FL组合为联邦对比学习（FCL）将导致无效的学习，因为CL需要用于学习的不同数据，但每个设备仅具有有限的数据。在这项工作中，我们提出了一个设备上的FCL框架，皮肤病诊断有限的标签。在FCL预训练过程中共享特征，以提供多样化和准确的对比信息。在此之后，预训练的模型在每个设备上独立地使用本地标记数据进行微调，或者与所有设备上的监督联邦学习协作进行微调。在皮肤病数据集上的实验表明，与现有方法相比，该框架有效地提高了皮肤病诊断的召回率和准确率。
2022-02-14 cs.AI cs.CV cs.LG
