Angular Gaussian Supervised Contrastive Learning for Long-Tailed Electrocardiogram Arrhythmia Diagnosis
School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；Department of Neurology and Neurological Rehabilitation, Shanghai Yangzhi Rehabilitation Hospital, School of Medicine, Tongji University（同济大学医学院附属上海养志康复医院神经科与神经康复科）
研究针对长尾心电图心律失常诊断问题，提出角高斯监督对比学习（AG-SCL），集成角高斯对比分支、自适应对数调整和尾部感知增强三个组件，在两个数据集上取得最佳宏观性能，增强对罕见心律失常敏感性并保持特异性。
2026-07-17 cs.AI cs.LG
Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究零样本多标签文本分类，提出利用文档元数据诱导对比学习（MICoL）方法，通过文档元数据构建相似文档对训练分类器，在无需标注数据下性能媲美有监督方法并缓解长尾标签问题。
2022-03-24 cs.CL cs.LG
Where Does the Semantic Gain Come From? A Reproduction and Extension of Semantic Knowledge-driven Contrastive Learning for Long-Tailed Recognition
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（弗里德里希-亚历山大大学埃尔朗根-纽伦堡）
本研究复现并扩展了SKCL，发现其声称的增益主要来自ConCutMix和更长训练，而非语义图，并提出了结合CutMix分支等改进。
2026-10-06 cs.CV cs.LG
Exploring Contrastive Learning in Human Activity Recognition for Healthcare
University of Cambridge（剑桥大学）；MRC Epidemiology Unit（医学研究委员会流行病学组）；Alan Turing Institute（艾伦·图灵研究所）
人类活动识别（HAR）是可穿戴和移动传感的最重要任务之一，因为它在人类福祉和健康监测中具有重要意义。受HAR中标记数据集的限制，特别是在医疗保健相关应用中使用时，这项工作探讨了HAR的Simplified（一种用于视觉表示的对比学习技术）的采用和适应。对比学习目标的使用导致对应视图的表征更加相似，而非对应视图的表征更加不同。经过广泛的评估，探索64种不同信号变换的组合来增强数据，我们观察到由于其顺序和功能而导致的显着性能差异。特别是，初步结果表明，在使用微调和随机旋转增强时，监督和无监督学习方法有所改进，但是，未来的工作应该探索在何种条件下Simplified有利于HAR系统和其他医疗保健相关应用。
2021-02-11 cs.LG eess.SP
Model Failure or Data Corruption? Exploring Inconsistencies in Building Energy Ratings with Self-Supervised Contrastive Learning
ADAPT Centre（ADAPT中心）
本研究提出CLEAR方法，利用自监督对比学习检测建筑能效评级中的不一致性，并在爱尔兰建筑数据集上验证，发现测量数据损坏证据。
2024-04-14 cs.AI cs.LG
FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
数据高效GANs（DE-GANs）旨在利用有限的训练数据学习生成模型，在生成高质量样本方面遇到了一些挑战。由于数据增强策略在很大程度上缓解了训练的不稳定性，如何进一步提高DE-GAN的生成性能成为研究热点。近年来，对比学习在提高DE-GAN的综合质量方面显示出巨大的潜力，但相关的原理还没有得到很好的探索。本文回顾和比较了DE-GAN中不同的对比学习策略，发现（i）当前生成性能的瓶颈是潜在空间的不连续性;（ii）与其他对比学习策略相比，实例扰动法更倾向于潜在空间的连续性，这给DE-GAN带来了重大改进。基于这些观察，我们提出了FakeObserver，它只对扰动的假样本进行对比学习，并设计了三种相关的训练技术：噪声相关的潜在增强，多样性感知队列和队列的遗忘因子。我们的实验结果表明，新的艺术状态的Few-Shot生成和有限的数据生成。在多个数据集上，与现有的DE-GAN相比，Faketown获得了超过15%的FID改进。代码可在https://github.com/iceli1007/FakeCLR上获得。
2022-07-19 cs.AI cs.CV cs.LG
Exploring Representation Learning for Small-Footprint Keyword Spotting
Xiaomi（小米）
在本文中，我们研究表示学习的低资源关键字发现（KWS）。KWS的主要挑战是有限的标记数据和有限的可用设备资源。为了解决这些问题，我们通过自监督对比学习和预训练模型的自训练，探索了知识系统的表示学习。首先，局部-全局对比连体网络（LGCSiam）的目的是学习类似的话语级表示类似的音频采样器提出的局部-全局对比损失，而不需要地面真理。其次，应用自监督预训练的Wav 2 Vec 2.0模型作为约束模块（WVC）来强制KWS模型学习帧级声学表示。通过LGCSiam和WVC模块，可以使用未标记的数据对所提出的小足迹KWS模型进行预训练。语音命令数据集上的实验表明，自训练WVC模块和自监督LGCSiam模块显着提高了准确率，尤其是在小标记数据集上训练的情况下。
2023-03-20 cs.CL cs.LG cs.SD
Exploring Self-Supervised Contrastive Learning of Spatial Sound Event Representation
Columbia University（哥伦比亚大学）
提出 MC-SimCLR 自监督多通道对比学习框架，结合多级频谱与空间特征及通道增强，从无标签空间音频中学习表征，提升下游事件分类与定位性能。
2023-09-27 cs.LG cs.SD eess.AS
Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation
Guangdong University of Technology（广东工业大学）；The University of Sydney（悉尼大学）
不成对图像到图像翻译的目的是找到源域和目标域之间的映射。为了缓解源图像缺乏监督标签的问题，已经提出了基于循环一致性的方法，通过假设不成对图像之间的可逆关系来进行图像结构保存。然而，该假设仅使用图像对之间的有限对应。最近，对比学习（CL）已被用于通过使用基于块的正/负学习来进一步研究不成对图像翻译中的图像对应性。基于块的对比例程通过自相似性计算获得阳性，并将其余块识别为阴性。这种灵活的学习范式以低成本获得辅助情境化信息。由于否定词拥有大量的样本，出于好奇，我们基于一个问题进行了调查：所有的否定词都是特征对比学习所必需的吗？与以往的CL方法，尽可能多地使用否定，在本文中，我们从信息论的角度研究的否定，并介绍了一种新的负修剪技术的不成对的图像到图像的翻译（PUT）的稀疏化和排名的补丁。该算法具有高效、灵活的特点，能够稳定地学习对应面片间的基本信息。通过把质量放在数量之上，只需要几个负面的补丁就可以达到更好的效果。最后通过对比实验验证了该模型的优越性、稳定性和通用性。
2022-07-13 cs.AI cs.CV cs.LG
Joint Debiased Representation and Image Clustering Learning with Self-Supervision
LMU Munich（慕尼黑大学）；Google Research（谷歌研究院）
对比学习是视觉表示学习最成功的方法之一，其性能可以通过对学习到的表示联合执行聚类来进一步提高。然而，现有的联合聚类和对比学习的方法在长尾数据分布上表现不佳，因为多数类压倒并扭曲少数类的损失，从而防止学习有意义的表示。出于这一动机，我们开发了一种新的联合聚类和对比学习框架，通过调整去偏对比损失，以避免不平衡数据集的少数类别的聚类不足。我们表明，我们提出的改进的去偏对比损失和发散聚类损失提高了多个数据集和学习任务的性能。源代码可在https://anonymous.4open.science/r/SSL-debiased-clustering上获得
2022-09-14 cs.CV cs.LG
Exploring ChatGPT-based Augmentation Strategies for Contrastive Aspect-based Sentiment Analysis
Hong Kong Metropolitan University（香港都会大学）；Lingnan University（岭南大学）；University of Southern Queensland（南昆士兰大学）
针对方面级情感分析中标注数据稀缺的问题，提出三种基于ChatGPT的数据增强策略并结合对比学习，实验验证其均能提升性能，其中上下文-方面增强策略效果最优。
2024-09-17 cs.CL
Towards Long-Tailed Recognition for Graph Classification via Collaborative Experts
Nankai University（南开大学）；Peking University（北京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对图分类中的长尾识别问题，提出协作多专家学习框架CoMe，通过平衡对比学习、困难类别挖掘及专家协作，在七个基准数据集上超越现有方法。
2023-09-05 cs.AI cs.IR cs.LG
Uncovering the Structural Fairness in Graph Contrastive Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；BioMap（百图生科）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
最近的研究表明，图卷积网络（GCN）往往表现出更差的低度节点，表现出所谓的结构不公平的图与长尾度分布在现实世界中普遍存在。图对比学习（GCL）结合了GCN和对比学习的能力，已经成为一种有前途的学习节点表示的自监督方法。协鑫在结构公平方面表现如何？令人惊讶的是，我们发现GCL方法获得的表示已经比GCN学习的表示更公平。我们从理论上证明了这种公平性源于GCL的社区内集中和社区间分散特性，从而产生了一个非常清晰的社区结构，以驱动低度节点远离社区边界。基于我们的理论分析，我们进一步设计了一种新的图增强方法，称为GRAph的度偏差（GRADE），它适用于不同的策略，低，高程度的节点的对比学习。在各种基准测试和评估协议上的实验验证了该方法的有效性。
2022-10-06 cs.LG cs.SI
Propagate Yourself: Exploring Pixel-Level Consistency for Unsupervised Visual Representation Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
用于无监督视觉表示学习的对比学习方法已经达到了显著的迁移性能水平。我们认为，对比学习的力量还没有完全释放，因为目前的方法只在实例级的借口任务上训练，导致表示可能是次优的下游任务需要密集的像素预测。在本文中，我们介绍了像素级的借口任务学习密集的特征表示。第一个任务直接在像素级应用对比学习。我们还提出了一个像素传播的一致性任务，产生更好的结果，甚至超过了国家的最先进的方法，由一个很大的利润。具体来说，当转移到Pascal VOC目标检测（C4）、COCO目标检测时，其实现了60.2 AP、41.4 / 40.5 mAP和77.2 mIoU（FPN / C4）和Cityscapes语义分割，使用ResNet-50骨干网络，它们是2.6 AP，0.8 / 1.0 mAP和1.0 mIoU优于以前基于实例级对比学习的最佳方法。此外，像素级的借口任务被发现是有效的预训练不仅定期骨干网络，但也头网络用于密集的下游任务，并补充实例级的对比方法。这些结果证明了在像素级定义借口任务的强大潜力，并提出了一个新的路径，在无监督的视觉表示学习。代码可在\url{https://github.com/zdaxie/PixPro}上获得。
2021-03-09 cs.CV cs.LG
Exploring "Many in Few" and "Few in Many" Properties in Long-Tailed, Highly-Imbalanced IC Defect Classification
Institute of Data Science and Information Computing, National Chung Hsing University（数据科学与信息计算研究所，中国台湾 Chung Hsing 大学）；Department of Electrical Engineering, National Tsing Hua University（电子工程系，中国台湾 Tsing Hua 大学）；Department of Electrical Engineering, National Taiwan University of Science and Technology（电子工程系，中国台湾 Science and Technology 大学）；Development of Smart Manufacturing, United Microelectronics Corporation（智能制造发展，联合微电子公司）
针对现实IC缺陷分类中数据极不平衡、类内差异大且类间相似性高的难题，本文构建了IC-Defect-14数据集，并提出融合多模块的ReCAME-Net模型，在该数据集及通用公开数据集上均取得优异表现。
2025-10-22 cs.CV cs.LG
ACTION++: Improving Semi-supervised Medical Image Segmentation with Adaptive Anatomical Contrast
Yale University（耶鲁大学）
针对医学数据长尾分布及类别不平衡问题，提出带自适应解剖对比的ACTION++半监督分割框架，通过自适应监督对比损失与动态温度τ提升性能，在两个基准上实现SOTA且标签效率更优。
2023-07-17 cs.AI cs.CV cs.LG
Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
对比自监督学习在许多下游任务（如分割和目标检测）上的表现优于监督预训练。然而，目前的方法仍然主要应用于像ImageNet这样的策展数据集。在本文中，我们首先研究数据集中的偏差如何影响现有的方法。我们的研究结果表明，目前的对比方法在以下几个方面的效果令人惊讶：（i）对象与场景为中心，（ii）统一与长尾，以及（iii）一般与特定领域的数据集。其次，考虑到该方法的一般性，我们试图通过微小的修改来实现进一步的收益。我们表明，学习额外的不变性-通过使用多尺度裁剪，更强的增强和最近的邻居-提高了表示。最后，我们观察到MoCo在使用多作物策略进行训练时学习空间结构化表示。该表示可用于语义段检索和视频实例分割而无需微调。此外，结果与专业模型相当。我们希望这项工作能为其他研究人员提供有益的研究。代码和模型可在https://github.com/wvangansbeke/Revisiting-Contrastive-SSL上获得。
2021-12-14 cs.CV cs.LG
Sub-Clustering for Class Distance Recalculation in Long-Tailed Drug Classification
The Hong Kong Polytechnic University（香港理工大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
针对长尾药物分类问题，提出基于子聚类对比学习的动态类间可分性度量方法，通过重计算类别距离来重新平衡分类损失权重，在不牺牲头部类别性能的前提下提升尾部类别准确率。
2025-04-07 cs.LG q-bio.QM
A Tale of Two Classes: Adapting Supervised Contrastive Learning to Binary Imbalanced Datasets
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Imperial College London（伦敦帝国学院）
针对监督对比学习在二分类不平衡数据集上表现不佳的问题，提出两种评估表示空间质量的新指标并设计适配的监督对比学习策略，最高可将下游分类准确率提升35%。
2025-03-21 cs.CV cs.LG
Global-Graph Guided and Local-Graph Weighted Contrastive Learning for Unified Clustering on Incomplete and Noise Multi-View Data
Guangxi Normal University（广西师范学院）；University of Electronic Science and Technology of China（电子科技大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Hainan University（海南大学）
本文提出一种全局图引导和局部图加权对比学习框架，用于提升不完整和噪声多视图数据的聚类效果。
2025-12-25 cs.CV cs.LG
GraphGuard: Contrastive Self-Supervised Learning for Credit-Card Fraud Detection in Multi-Relational Dynamic Graphs
University of St. Gallen (HSG)（圣加仑大学（HSG））
针对信用卡欺诈检测中特征工程和标注依赖的局限，提出基于图的对比自监督框架GraphGuard，在真实与合成数据集上验证了其有效性。
2024-07-17 cs.LG
IITK at SemEval-2024 Task 1: Contrastive Learning and Autoencoders for Semantic Textual Relatedness in Multilingual Texts
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
针对 SemEval-2024 多语言语义文本相关性任务，本文提出基于 BERT 的对比学习与相似度方法处理监督赛道，并探索自动编码器及负采样构建二元语料库以改进词嵌入。
2024-04-06 cs.AI cs.CL cs.LG
Beyond I-Con: Exploring New Dimension of Distance Measures in Representation Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
Beyond I-Con框架通过探索替代统计散度，改进了表示学习中的对比学习和降维任务，展示了不同散度选择对优化效果的重要性。
2025-12-04 cs.AI cs.CV cs.LG
What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks?
Nanyang Technological University（南洋理工大学）
自监督学习建立了一个新的范式，学习表示少得多，甚至没有标签注释。近年来，需要大量计算资源的大规模对比学习模型取得了显著的进展，但这种模型对于小规模任务并不是最佳的。为了填补这一空白，我们的目标是研究基于可穿戴设备的活动识别任务的对比学习。具体而言，我们从算法级和任务级两个角度对对比学习进行了深入研究。对于算法级分析，我们将对比模型分解为几个关键组件，并进行严格的实验评估，以更好地理解对比学习背后的有效性和原理。更重要的是，对于任务级分析，我们表明，基于可穿戴设备的信号给现有的对比模型带来了独特的挑战和机遇，这些挑战和机遇无法通过现有的算法轻松解决。我们全面的实证研究提出了重要的实践，并阐明了未来的研究挑战。同时，本文还介绍了一个开源的PyTorch库\texttt{CL-HAR}，可作为研究人员的实用工具。该库高度模块化，易于使用，为将来快速探索新的对比模型开辟了途径。
2022-02-12 cs.AI cs.LG
Exploring Representation-Level Augmentation for Code Search
Nanyang Technological University（南洋理工大学）；China-Singapore International Joint Research Institute（中新国际联合研究院）；Sun Yat-sen University（中山大学）；The University of Newcastle（纽卡斯尔大学）
代码搜索是软件开发实践中的一种常见活动，其目的是为给定的自然语言查询检索最相关的代码片段。最近，对比学习被广泛用于代码搜索研究，其中许多用于源代码的数据增强方法（例如，语义保持程序变换）来学习更好的表示。然而，这些增强是在原始数据级别，这需要在预处理阶段进行额外的代码分析，并在训练阶段增加额外的训练成本。在本文中，我们探讨了增强数据（包括代码和查询）在表示级别，不需要额外的数据处理和训练的方法，并在此基础上，我们提出了一个通用的格式表示级增强，统一现有的方法。然后，我们提出了三个新的增强方法（线性外推，二进制插值，高斯缩放）的基础上的一般格式。此外，我们从理论上分析了所提出的增强方法的优势，传统的对比学习方法的代码搜索。我们的实验评估所提出的代表级增强方法与国家的最先进的代码搜索模型的大规模的公共数据集，包括六个程序设计语言。实验结果表明，我们的方法可以持续提高所研究的代码搜索模型的性能。我们的源代码可在https://github.com/Alex-HaochenLi/RACS上获得。
2022-10-21 cs.IR cs.LG cs.SE
Exploring Self-Supervised Representation Ensembles for COVID-19 Cough Classification
RMIT University（皇家墨尔本理工大学）
使用智能手机收集的呼吸声，用深度学习模型训练，用于检测和分类COVID-19最近变得流行。它消除了对现场测试程序的需求，特别是对于相关医疗用品，经验丰富的工人和设备有限的农村地区。然而，现有的基于声音的诊断方法是以完全监督的方式训练的，这需要大规模的标记良好的数据。关键是要发现新的方法来利用未标记的呼吸数据，这可以更容易地获得。在本文中，我们提出了一种新的自监督学习启用框架，用于COVID-19咳嗽分类。一个对比的预训练阶段被引入到训练一个基于transformer的特征编码器与未标记的数据。具体来说，我们设计了一个随机掩蔽机制来学习呼吸声的鲁棒表示。然后在下游阶段微调预训练的特征编码器以执行咳嗽分类。此外，在下游阶段还探索了具有不同随机掩蔽率的不同系综。通过广泛的评估，我们证明了所提出的对比预训练，随机掩蔽机制和集成架构有助于提高咳嗽分类性能。
2021-06-03 cs.LG cs.SD eess.AS
Negatives-Dominant Contrastive Learning for Generalization in Imbalanced Domains
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；School of Computer and Artificial Intelligence, Nanjing University of Finance and Economics（南京财经大学计算机与人工智能学院）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（信息产业部模式分析与机器智能重点实验室）
本文提出对抗性主导对比学习方法，通过增强决策边界分离和后验一致性，提升不平衡领域泛化的性能。
2026-01-29 cs.LG
Solving the long-tailed distribution problem by exploiting the synergies and balance of different techniques
Faculty of Engineering and Physical Sciences, University of Leeds（利兹大学工程与物理科学学院）
本研究探讨监督对比学习、稀有类别样本生成器和标签分布感知边际损失三种长尾识别技术的协同与平衡，通过端到端架构实验，在不牺牲优势类别性能的前提下提升尾部类别准确率，实现各类别均衡改进。
2025-01-23 cs.AI cs.CV cs.LG
MIM-Refiner: A Contrastive Learning Boost from Intermediate Pre-Trained Representations
ELLIS Unit Linz（ELLIS林茨单元）；JKU Linz（约翰内斯·开普勒大学林茨分校）；Emmi AI GmbH（Emmi AI有限公司）；NXAI GmbH（NXAI有限公司）；University of Vienna（维也纳大学）
本研究提出MIM-Refiner方法，利用连接MIM模型中间层的多对比头与改进最近邻目标构建语义簇，仅需少量训练轮次即可提升预训练MIM模型的下游任务性能，在多个基准上超越现有最先进SSL模型。
2025-02-20 cs.AI cs.CV cs.LG
Rethinking Dimensional Rationale in Graph Contrastive Learning from Causal Perspective
Science & Technology on Integrated Information System Laboratory, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所综合信息系统技术国家级重点实验室）；State Key Laboratory of Intelligent Game（智能博弈国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；State Key Laboratory of Computer Science, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所计算机科学国家重点实验室）
本文从因果视角分析图对比学习中的维度理据，构建结构因果模型，并提出结合可学习理据获取网络、双层元学习与冗余减少约束的DRGCL，显著提升判别性和迁移性。
2024-04-08 cs.AI cs.LG
Long-Tailed Object Detection Pre-training: Dynamic Rebalancing Contrastive Learning with Dual Reconstruction
Nanjing University of Science and Technology（南京理工大学）；Southeast University（东南大学）
本文提出用于长尾目标检测的预训练框架2DRCL，通过整体-局部对比学习机制、动态重平衡采样策略和双重重构机制，有效解决了长尾数据不平衡和简单性偏差问题，显著提升了尾部类别的mAP/AP分数。
2024-11-14 cs.CV cs.LG
A Refined Generalization Analysis for Extreme Multi-class Supervised Contrastive Representation Learning
School of Computing and Information Systems, Singapore Management University（新加坡国立管理学院计算机与信息系统学院）
针对对比表示学习在有限标注数据中构造元组导致依赖性的问题，提出改进的U-统计量分析，得到与类别数R同阶的样本复杂度，并设计新估计器在长尾分布下实现O(k)的样本复杂度。
2026-05-28 cs.LG stat.ML
Generalizing Supervised Contrastive learning: A Projection Perspective
University of Michigan（密歇根大学）
本文提出ProjNCE，通过投影函数和负对调整项泛化InfoNCE损失，统一监督与自监督对比学习，证明其构成互信息下界，并在图像和音频数据集上优于SupCon和交叉熵训练。
2025-10-06 cs.IT cs.LG math.IT
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University（西安交通大学）
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言，使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题，我们提出了多个深度度量表示学习，通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外，我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广，平均平均类准确率（AMCA）64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
Contrastive Conditional-Unconditional Alignment for Long-tailed Diffusion Model
University of California Merced（加州大学默塞德分校）；Oregon State University（俄勒冈州立大学）；University of Florida（佛罗里达大学）
针对长尾分布下条件扩散模型的模式坍塌问题，提出对比条件-无条件对齐方法，通过对齐损失和对比损失提升尾部类别的多样性与保真度。
2026-06-25 cs.CV cs.LG
Flexible Phase Dynamics for Bio-Plausible Contrastive Learning
Universite de Montreal（蒙特利尔大学）；Mila, Quebec AI Institute（米拉魁北克人工智能研究所）
本研究提出柔性相位动力学，使对比学习在生物和神经形态系统中实现时间局部化，并放宽标准训练要求，通过定理和实验验证其有效性，为相关研究奠定理论基础。
2023-08-30 cs.LG cs.NE
Video-Based MPAA Rating Prediction: An Attention-Driven Hybrid Architecture Using Contrastive Learning
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对视频年龄分级需求，提出结合对比学习与LRCN-注意力混合架构的MPAA自动分级方法，在上下文对比学习框架下达到88%准确率，并部署为实时Web应用。
2025-09-08 cs.CV cs.LG
Learning Deep Representations via Contrastive Learning for Instance Retrieval
Missouri University of Science and Technology（密苏里科技大学）
实例级图像检索（IIR），或简称为实例检索，处理在包含查询实例（例如对象）的数据集中查找所有图像的问题。本文首次尝试使用基于实例判别的对比学习（CL）来解决这个问题。虽然CL在许多计算机视觉任务中表现出令人印象深刻的性能，但在IIR领域从未发现类似的成功。在这项工作中，我们通过探索从预训练和微调的CL模型中导出判别表示的能力来解决这个问题。首先，我们研究了迁移学习在IIR中的有效性，通过比较由预训练的深度神经网络（DNN）分类器学习的现成特征与由CL模型学习的特征。这些发现启发我们提出了一种新的训练策略，通过使用平均精度（AP）损失和微调方法来学习针对IIR的对比特征表示，从而优化CL学习面向IIR的特征。我们的经验评估表明，在具有挑战性的牛津和巴黎数据集上，从预训练的DNN分类器中学习到的现成特征的性能有了显着提高。
2022-09-28 cs.CV cs.LG
Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）
现有的分布外（OOD）检测方法通常在具有平衡类分布的训练集上进行基准测试。然而，在实际应用中，训练集通常具有长尾分布。在这项工作中，我们首先证明了现有的OOD检测方法通常遭受显着的性能下降时，训练集是长尾分布。通过分析，我们认为这是因为模型很难区分少数尾类分布样本，从真正的OOD样本，使尾类更容易被错误地检测为OOD。为了解决这个问题，我们提出了部分和非对称监督对比学习（PASCL），它明确鼓励模型区分尾类分布样本和OOD样本。为了进一步提高分布内分类的准确性，我们提出了辅助分支微调，它使用BN和分类层的两个独立分支分别进行异常检测和分布内分类。直觉是，分布内和OOD异常数据具有不同的潜在分布。我们的方法优于以前的国家的最先进的方法，$1.29\%$，$1.45\%$，$0.69\%$异常检测假阳性率（FPR）和$3.24\%$，$4.06\%$，$7.89\%$在分布分类准确性分别在CIFAR 10-LT，CIFAR 100-LT和ImageNet-LT。代码和预训练模型可在https://github.com/amazon-research/long-tailed-ood-detection上获得。
2022-07-04 cs.CV cs.LG
STELLAR: Spatio-Temporal Environmental Learning with Latent Alignment and Refinement for Long-Tailed Species Distribution Modeling
Sun Yat-sen University（中山大学）；Cornell University（康奈尔大学）；Foshan University（佛山大学）；Cornell Lab of Ornithology（康奈尔鸟类学实验室）
提出STELLAR框架，通过图-时间编码器、上下文锚定潜在对齐和不平衡感知解码模块，联合优化动态栖息地上下文和群落结构，有效解决物种分布建模中的时空耦合与长尾不平衡问题。
2026-06-07 cs.AI cs.LG
Semi-Supervised Contrastive Learning for Remote Sensing: Identifying Ancient Urbanization in the South Central Andes
Vanderbilt University（范德堡大学）；Brown University（布朗大学）
本文针对遥感考古影像中古代建筑样本极度稀少的长尾分布问题，提出一种半监督对比学习框架，利用未标注图像与少量标注锚点的相似度排序构造伪负样本对，在安第斯山脉数据集上实现了79.0%的测试平衡准确率，较现有方法提升3.8%。
2023-04-15 cs.CV cs.LG
iMove: Exploring Bio-impedance Sensing for Fitness Activity Recognition
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵-普法尔茨技术大学）
提出iMove框架，通过传感器融合与对比学习利用生物阻抗增强IMU的健身活动识别，在推理阶段仅需IMU即可提升分类准确率。
2024-06-03 cs.AI cs.LG cs.RO
MuseCL: Predicting Urban Socioeconomic Indicators via Multi-Semantic Contrastive Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）
MuseCL通过多语义对比学习融合视觉与文本信息，提升城市社会经济预测的精度与鲁棒性。
2024-06-23 cs.AI cs.CV cs.CY
TimeCSL: Unsupervised Contrastive Learning of General Shapelets for Explorable Time Series Analysis
Harbin Institute of Technology（哈尔滨工业大学）；CnosDB Inc.（CnosDB公司）
本文提出端到端系统 TimeCSL，利用 CSL 无监督对比学习得到的通用可解释 Shapelet，在统一流水线中支持分类、聚类、异常检测及可探索分析。
2024-04-07 cs.DB cs.LG
Contrastive learning for unsupervised medical image clustering and reconstruction
University of Rome Tor Vergata（罗马第二大学）；University of Cambridge（剑桥大学）；Athinoula A. Martinos Center for Biomedical Imaging（阿西诺拉·A·马蒂诺斯生物医学成像中心）
与临床建立的疾病类别相比，缺乏大型标记的医学成像数据集以及显著的个体间变异性，对在精确医学范例中利用医学成像信息提出了重大挑战，其中原则上可以采用密集的患者特异性数据来制定个体预测和/或将患者分层为更精细的-颗粒组可能遵循更均匀的轨迹，因此可以进行临床试验。为了有效地探索有效的自由度潜在的变化，在医学图像中的无监督的方式，在这项工作中，我们提出了一个无监督的自动编码器框架，增强了对比度损失，以鼓励高分离的潜在空间。该模型在（医学）基准数据集上进行了验证。由于根据聚类分配将聚类标签分配给每个示例，因此我们将性能与监督迁移学习基线进行比较。我们的方法实现了类似的性能，监督架构，表明在潜在空间中的分离再现专家的医疗卫生机构分配的标签。所提出的方法可能是有益的患者分层，探索新的细分较大的类或病理连续，或由于其采样能力的变化设置，数据增强在医学图像处理。
2022-09-24 cs.CV cs.LG
Cross-domain Contrastive Learning for Unsupervised Domain Adaptation
Fudan University（复旦大学）；Futurewei Technologies（未来wei技术公司）
无监督领域自适应（UDA）旨在将从完全标记的源领域学习到的知识转移到不同的未标记的目标领域。大多数现有的UDA方法通过最小化跨域的特征距离来学习域不变特征表示。在这项工作中，我们建立在对比自监督学习对齐功能，以减少训练集和测试集之间的域差异。探索由这两个域共享的同一组类别，我们介绍了一个简单而有效的框架CDCL，域对齐。特别是，给定一个锚图像从一个域，我们最小化其距离跨域样本从同一类相对于那些从不同的类别。由于目标标签不可用，我们使用基于聚类的方法，仔细初始化中心，以产生伪标签。此外，我们证明了CDCL是一个通用的框架，可以适应无数据设置，其中源数据在训练过程中不可用，修改最少。我们对两个广泛使用的领域自适应基准进行实验，即，Office-31和VisDA-2017，用于图像分类任务，并证明CDCL在两个数据集上都达到了最先进的性能。
2022-05-09 cs.AI cs.CV cs.LG
Exploring Weight Balancing on Long-Tailed Recognition Problem
The University of Tokyo（东京大学）
本文分析了权重平衡在长尾识别问题中有效的原理，发现其可分解为提升Fisher判别比与隐式logit调整，并据此将两阶段训练简化为单阶段且提升了准确率。
2024-04-28 cs.LG
CoCa: Contrastive Captioners are Image-Text Foundation Models
Google Research（谷歌研究院）
探索大规模预训练的基础模型在计算机视觉中具有重要意义，因为这些模型可以快速转移到许多下游任务中。本文介绍了对比字幕（CoCa），一个极简的设计，预训练图像-文本编码器-解码器基础模型联合对比损失和字幕损失，从而包含模型功能的对比方法，如CLIP和生成方法，如SimVLM。与标准的编码器-解码器Transformers（其中所有解码器层都参与编码器输出）相比，CoCa省略了解码器层的前半部分中的交叉关注以编码单峰文本表示，并级联了交叉关注图像编码器的剩余解码器层以用于多模态图像-文本表示。我们应用单峰图像和文本嵌入之间的对比损失，除了多模态解码器输出的字幕损失，预测文本令牌自回归。通过共享相同的计算图，这两个训练目标以最小的开销有效地计算。CoCa通过将所有标签简单地视为文本，对网络规模的替代文本数据和注释图像进行端到端的预训练，无缝统一自然语言监督以进行表示学习。从经验上讲，CoCa通过zero-shot传输或对广泛的下游任务的最小任务特定适应实现了最先进的性能，包括视觉识别（ImageNet，Kinetics-400/600/700，Moments-in-Time），跨模态检索（MSCOCO，Flickr 30 K，MSR-VTT），多模态理解（VQA，SNLI-VE，NLVR 2）和图像描述（MSCOCO，NoCaps）。值得注意的是，在ImageNet分类上，CoCa获得了8…
2022-06-14 cs.CV cs.LG cs.MM
CORAL: Disentangling Latent Representations in Long-Tailed Diffusion
Arizona State University（亚利桑那州立大学）
CORAL通过对比学习对齐潜在表示，解决长尾分布下扩散模型生成尾类样本多样性与质量低的问题。
2025-12-01 cs.LG
Open-Sampling: Exploring Out-of-Distribution data for Re-balancing Long-tailed datasets
Nanyang Technological University（南洋理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Chongqing University（重庆大学）
深度神经网络通常在训练数据集遭受极端类别不平衡时表现不佳。最近的研究发现，直接用分布外的数据（即，开集样本）将损害泛化性能。在这项工作中，我们理论上表明，从贝叶斯的角度来看，仍然可以利用分布外的数据来增加少数类。基于这种动机，我们提出了一种新的方法，称为开放采样，它利用开放集的噪声标签来重新平衡训练数据集的类先验。对于每个开集实例，标签从我们预定义的分布中采样，该分布与原始类先验分布互补。我们的经验表明，开放采样不仅重新平衡类先验，但也鼓励神经网络学习可分离的表示。大量的实验表明，我们提出的方法显着优于现有的数据重新平衡方法，可以提高现有的最先进的方法的性能。
2022-07-05 cs.CV cs.LG
Distribution-Aware Robust Learning from Long-Tailed Data with Noisy Labels
Hanyang University（汉阳大学）；Seoul National University（首尔大学）
针对长尾分布与标签噪声导致质心估计易受干扰的问题，提出分布感知样本选择与对比学习框架，通过基于模型预测的加权质心估计和置信度感知对比学习策略，显著提升了模型的泛化与鲁棒性能。
2024-07-23 cs.AI cs.CV cs.LG
Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers
Warsaw University of Technology（华沙技术大学）；Centre for Credible Artificial Intelligence（可信人工智能中心）；University of Warsaw（华沙大学）
本文通过协方差矩阵谱分解，揭示对比预训练VLMs的潜在空间中多模态噪声结构，发现去除共享噪声维度对下游任务性能无害，提供对现代VLMs表征结构的新见解。
2026-05-14 cs.AI cs.CV cs.LG
Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
生成对抗网络（GANs）在高维数据建模方面显示出巨大的潜力。GANs的学习目标通常是最小化一些度量差异，\textit{e.g.}，$f$ -散度~（$f$ -GANs）或积分概率度量~（Wasserstein GANs）。以$f$ -散度为目标函数，该算法本质上是对密度比的估计，并且该估计的密度比被证明对进一步提高生成器的样本质量是有用的。然而，如何利用Wasserstein GANs（WGAN）中包含的信息却很少被探索。本文基于WGAN的特征及其与能量模型的关系，引入了鉴别器对比散度。与标准GANs相比，其中直接利用生成器来获得新样本，我们的方法提出了一种半摊销生成过程，其中以生成器的输出作为初始状态来生成样本。然后，几个步骤的朗之万动力学进行使用的梯度的。我们证明了显着改善生成的好处，合成数据和几个真实世界的图像生成基准。
2020-04-05 cs.CV cs.LG stat.ML
Quantitatively Measuring and Contrastively Exploring Heterogeneity for Domain Generalization
Zhejiang University（浙江大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
本文提出基于异质性的两阶段对比学习（HTCL），通过对比度量挖掘域异质性并生成最优划分，再利用不变性对比学习提升域泛化性能。
2023-11-11 cs.LG
