Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations
Mila – Quebec AI Institute（Mila-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）；University of Montreal（蒙特利尔大学）
我们研究了一种策略，通过在预训练期间利用少量的监督信息来提高视觉表示的对比学习的效率。我们提出了一个半监督损失，SuNCEt，基于噪声对比估计和邻域成分分析，其目的是区分不同类别的例子，除了自我监督的实例借口任务。在ImageNet上，我们发现SuNCEt可以用来匹配以前对比方法的半监督学习准确性，同时使用不到一半的预训练和计算量。我们的主要观点是，在预训练期间，而不仅仅是在微调期间，即使是少量的标记数据，也可以提供一个重要的信号，可以显着加速视觉表示的对比学习。我们的代码可在github.com/facebookresearch/suncet上获得。
2020-12-01 cs.CV cs.LG stat.ML
SCEHR: Supervised Contrastive Learning for Clinical Risk Prediction using Electronic Health Records
Weill Cornell Medicine（威尔康奈尔医学院）
对比学习在图像和文本领域以自监督或监督的方式表现出很好的性能。在这项工作中，我们将监督对比学习框架扩展到基于纵向电子健康记录（EHR）的临床风险预测问题。我们提出了一种通用的监督对比损失$\mathcal{L}_{\text{Contrastive Cross Entropy} } + λ\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$，用于在统一的框架中学习二元分类（例如，住院死亡率预测）和多标签分类（例如，表型）。我们的监督对比损失实践了对比学习的关键思想，即同时通过其两个组件将相似的样本拉近并将不相似的样本彼此分开：$\mathcal{L}_{\text{Contrastive Cross Entropy} }$尝试将样本与代表正和负集群的学习锚进行对比，而$\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$尝试根据其监督标签将样本彼此进行对比。我们提出了上述监督对比损失的两个版本，并且我们对真实世界EHR数据的实验表明，我们提出的损失函数在提高强基线甚至最先进模型在临床风险预测基准任务上的性能方面表现出益处。我们的损失函数可以很好地处理临床风险预测问题中常见的极不平衡数据。我们的损失函数可以很容易地用来取代现有临床预测模型中采用的（二进制或多标记）交…
2021-10-11 cs.LG
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST（韩国科学技术院）
本研究通过将自监督表示学习表述为监督学习目标的近似，推导出与InfoNCE相关的损失函数，引入原型表示偏差和平衡对比损失概念，从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
Supervised Contrastive Learning
Google Research（谷歌研究院）；Boston University（波士顿大学）；Snap Inc.（森宝公司）；MIT（麻省理工学院）
近年来，应用于自监督表示学习的对比学习已经出现了复苏，导致了深度图像模型的无监督训练的最新表现。现代批量对比方法的性能优于或显著优于传统的对比损失，如三重，最大余量和N对损失。在这项工作中，我们将自监督批量对比方法扩展到完全监督设置，使我们能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起，同时将来自不同类的样本簇推开。我们分析了两种可能的版本的监督对比（SupCon）损失，确定性能最好的制定的损失。在ResNet-200上，我们在ImageNet数据集上实现了81.4%的top-1准确率，比该架构报告的最佳数字高出0.8%。我们在其他数据集和两个ResNet变体上显示出一致的优于交叉熵的性能。损失显示出对自然损坏的鲁棒性的益处，并且对超参数设置（例如优化器和数据增强）更稳定。我们的损失函数易于实现，参考TensorFlow代码在https://t.ly/supcon上发布。
2021-03-10 cs.CV cs.LG stat.ML
Supervised Stochastic Neighbor Embedding Using Contrastive Learning
University of Geneva（日内瓦大学）
本研究将自监督对比学习扩展至全监督设置，提出一种有监督随机近邻嵌入方法，通过在低维空间中拉近同类样本、推开异类样本，有效利用标签信息以优化数据可视化。
2023-09-15 cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Probabilistic Contrastive Loss for Self-Supervised Learning
National University of Singapore（新加坡国立大学）；Youtu Lab Tencent（腾讯优图实验室）
提出了一种适用于自监督学习的概率对比损失函数。众所周知的对比度损失是确定性的，并且涉及温度超参数，该温度超参数缩放两个赋范特征嵌入之间的内积。通过重新解释的温度超参数作为一个量有关的半径的超球，我们推导出一个新的损失函数，涉及到一个置信度的措施，量化的不确定性在数学接地的方式。一些有趣的性质的建议损失函数的经验证明，这与人类的预测。我们相信本研究为对比学习的研究提供了一个新的视角。
2021-12-02 cs.LG
A Simple Framework for Contrastive Learning of Visual Representations
本文介绍了Simplified：一个简单的框架，对比学习的视觉表征。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或存储体。为了理解是什么使对比预测任务能够学习有用的表征，我们系统地研究了我们框架的主要组成部分。我们表明，（1）数据增强的组成在定义有效的预测任务中起着关键作用，（2）在表示和对比损失之间引入可学习的非线性变换，大大提高了学习表示的质量，（3）与监督学习相比，对比学习受益于更大的批量和更多的训练步骤。通过结合这些发现，我们能够在ImageNet上大大优于以前的自监督和半监督学习方法。在Simplified学习的自监督表示上训练的线性分类器达到了76.5%的top-1准确率，比以前的最先进技术相对提高了7%，与监督ResNet-50的性能相匹配。当仅对1%的标签进行微调时，我们实现了85.8%的前5名准确率，在标签数量减少100倍的情况下优于AlexNet。
2020-07-01 cs.CV cs.LG stat.ML
Rethinking Weak Supervision in Helping Contrastive Learning
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对弱监督信息能否直接用于对比学习的问题，本文建立统一理论框架，通过谱聚类相似度图与误差界分析，揭示半监督标签可改善下游误差而带噪标签作用有限。
2023-06-07 cs.LG
Supervised Contrastive Learning for Product Matching
University of Mannheim（曼海姆大学）
近年来，对比学习已经推动了计算机视觉和信息检索中许多任务的发展。这张海报是第一个将监督对比学习应用于电子商务中使用来自不同电子商店的产品报价的产品匹配任务的工作。更具体地说，我们采用监督对比学习技术来预训练Transformer编码器，该编码器随后使用成对训练数据针对匹配任务进行微调。我们进一步提出了一个源感知的采样策略，使对比学习应用于用例中的训练数据不包含产品标识符。我们表明，将监督对比预训练与源感知采样相结合，可以显着提高几个广泛使用的基准测试的最新性能：对于Abt-Buy，我们达到了94.29的F1分数（与之前的最新水平相比，+3.24），对于Amazon-Google 79.28（+3.7）。对于WDC Computers数据集，根据训练集的大小，我们的F1得分在+0.8到+8.84之间。进一步的实验与数据增强和自我监督对比预训练表明，前者可以帮助较小的训练集，而后者会导致性能显着下降，由于固有的标签噪声。因此，我们得出结论，对比预训练具有很高的潜力，在产品匹配的用例中，明确的监督是可用的。
2022-05-02 cs.LG
Embodied-Symbolic Contrastive Graph Self-Supervised Learning for Molecular Graphs
IBM
双符号概念表示是深度学习和符号AI集成的基础。我们讨论了使用双重符号化概念表示的分子图表示学习，特别是与基于范例的对比自监督学习（SSL）。具体化表示从分子图中学习，符号表示从相应的化学知识图谱（KG）中学习。我们使用化学KG增强分子图与符号（语义）知识，并生成其增强分子图。我们将分子图及其语义增强的分子图视为同一语义类的范例，并在基于范例的对比SSL中将这些对用作正对。
2022-05-13 cs.LG
Generalized Supervised Contrastive Learning
Seoul National University Graduate School（首尔大学研究生院）；University of Seoul（首尔市立大学）；XAIMED Co., Ltd.（XAIMED有限公司）
本文提出广义监督对比损失，通过衡量标签相似性与潜在相似性间的交叉熵以充分利用标签分布，构建 GenSCL 框架并结合图像正则化与任意教师分类器，在 ImageNet、CIFAR10 和 CIFAR100 上取得新最优准确率。
2023-05-21 cs.CV cs.LG
Adversarial Self-Supervised Contrastive Learning
KAIST（韩国科学技术院）；AITRICS（艾特里克斯）
现有的对抗性学习方法大多使用类标签来生成导致错误预测的对抗性样本，然后将其用于增强模型的训练以提高鲁棒性。虽然最近的一些工作提出了利用未标记数据的半监督对抗学习方法，但它们仍然需要类标签。然而，我们真的需要类标签来进行深度神经网络的对抗性鲁棒训练吗？在本文中，我们提出了一种新的对抗攻击的未标记的数据，这使得模型混淆扰动数据样本的实例级身份。此外，我们提出了一个自监督的对比学习框架对抗训练一个强大的神经网络没有标记的数据，其目的是最大限度地提高数据样本的随机扩增和它的实例之间的相似性对抗扰动。我们在多个基准数据集上验证了我们的方法，鲁棒对比学习（RoCL），在这些数据集上，它获得了与最先进的监督对抗学习方法相当的鲁棒准确性，并显着提高了对黑盒和不可见攻击类型的鲁棒性。此外，通过与监督对抗损失的进一步联合微调，RoCL获得了比单独使用自监督学习更高的鲁棒准确性。值得注意的是，RoCL在强大的迁移学习中也表现出令人印象深刻的结果。
2020-10-26 cs.CV cs.LG stat.ML
Sentence Embeddings using Supervised Contrastive Learning
Princeton University（普林斯顿大学）
句子嵌入将句子编码在固定的密集向量中，并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习（如Quick-Thoughts）和监督学习（如Infersent）。随着预训练的NLP模型的成功，最近的研究表明，在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入，在各种评估基准上优于以前的句子嵌入方法。在本文中，我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说，我们的方法在SNLI数据上微调预训练的BERT，同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比，我们的监督对比方法在语义文本相似性（STS）基准测试中平均提高了2.8%，在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning
UIBE Beijing（北京对外经济贸易大学）；Carnegie Mellon University（卡内基梅隆大学）
通过对比学习训练的神经网络如何从未标记的数据中提取特征？为什么对比学习通常需要比监督学习更强的数据增强来确保良好的表示？这些问题涉及深度学习的优化和统计方面，但很难通过分析目标函数是最高追求的监督学习来回答。事实上，在自监督学习中，不可避免地涉及到神经网络的优化/泛化，以及它们如何对数据中的潜在结构进行编码，我们称之为特征学习过程。在这项工作中，我们正式研究对比学习如何学习神经网络的特征表示，通过分析其特征学习过程。我们考虑的情况下，我们的数据是由两种类型的功能：语义对齐稀疏的功能，我们要学习，和其他密集的功能，我们要避免。理论上，我们证明了使用$\mathbf{ReLU}$网络的对比学习可证明学习所需的稀疏特征，如果采用适当的增强。我们提出了一个基本的原则，称为$\textbf{feature decoupling}$来解释增强的影响，在那里我们从理论上描述了增强如何减少正样本之间的密集特征的相关性，同时保持稀疏特征的相关性不变，从而迫使神经网络从稀疏特征的自我监督中学习。在实践中，我们验证了特征解耦原则与对比学习的基本机制相匹配。
2021-07-05 cs.CV cs.LG stat.ML
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出统一理论框架，首次推导任意对比损失的鲁棒条件，证明InfoNCE不鲁棒并提出对称InfoNCE（SymNCE），同时解释最近邻样本选择等已有技术，实验验证其抗标签噪声优势。
2025-01-02 cs.LG
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning
Stony Brook University（石溪大学）；University of Washington（华盛顿大学）；Tencent AI Lab（腾讯人工智能实验室）
标签是昂贵的，有时不可靠。噪声标签学习、半监督学习和对比学习是用于设计需要较少注释成本的学习过程的三种不同策略。半监督学习和对比学习最近已经被证明可以改进处理带有噪声标签的数据集的学习策略。尽管如此，这些领域之间的内在联系以及将其优势结合在一起的潜力才刚刚开始出现。在本文中，我们探讨了进一步的方式和优势，他们融合。具体来说，我们提出了CSSL，一个统一的对比半监督学习算法，和CoDiM（对比DivideMix），一种新的算法，用于学习噪声标签。CSSL利用了经典半监督学习和对比学习技术的强大功能，并进一步适应CoDiM，它从多种类型和级别的标签噪声中进行鲁棒学习。我们表明，CoDiM带来了一致的改进，并在多个基准测试中取得了最先进的结果。
2021-11-23 cs.CV cs.LG
Unified Framework for Feature Extraction based on Contrastive Learning
China Agricultural University（中国农业大学）；Beijing Engineering and Technology Research Center for Internet of Things in Agriculture（北京农业物联网工程技术研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；National Innovation Center for Digital Fishery（国家数字渔业创新中心）
特征提取是解决高维数据维数问题的有效方法。作为一种流行的自监督学习方法，对比学习近年来受到了广泛的关注。在这项研究中，我们提出了一个统一的框架的基础上，一个新的角度对比学习（CL），适用于无监督和监督特征提取。该框架首先构造了两个CL图，用于唯一地定义正负对。然后通过最小化对比损失函数确定投影矩阵。此外，该框架考虑了相似和不相似的样本，统一了无监督和有监督的特征提取。提出了三种具体的方法：无监督对比学习方法、有监督对比学习方法1和有监督对比学习方法2。最后，在五个真实数据集上的数值实验表明，与现有的方法相比，该框架的优越性能。
2021-09-13 cs.LG
Concept Representation Learning with Contrastive Self-Supervised Learning
IBM
面向概念的深度学习（CODL）是一种应对深度学习未来挑战的通用方法：（1）在很少或没有外部监督的情况下学习，（2）处理来自与训练样本不同分布的测试样本，以及（3）将深度学习与符号AI集成。在CODL中，就像在人类学习中一样，概念表示是基于概念范例学习的。对比自监督学习（CSSL）提供了一种很有前途的方法来做到这一点，因为它：（1）使用数据驱动的关联，摆脱语义标签，（2）支持增量和持续学习，摆脱（大型）固定数据集，（3）适应紧急目标，摆脱固定目标（任务）。我们讨论了使用CSSL的概念表示学习的主要方面。这些包括双层概念表示，CSSL特征表示，范例相似性度量和自监督关系推理，增量和连续CSSL，以及对比自监督概念（类）增量学习。讨论利用了认知神经科学和CSSL的最新发现。
2022-02-03 cs.LG
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services（亚马逊云科技）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UCLA（加州大学洛杉矶分校）
少样本学习的目的是从一个任务中转移信息，以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中，我们调查的互补作用，这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习（SUPMOCO）。我们的方法避免了在监督学习中观察到的一个问题，即图像中与任务无关的信息被丢弃，这阻碍了它们对新任务的推广。我们表明，（自监督）对比学习和监督学习是互惠互利的，导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据，从而进一步改进。
2021-06-21 cs.CV cs.LG
Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning
University of South Dakota（南达科他大学）
本文提出结合监督对比学习与基于间隔的对比损失的新框架，通过优化特征空间结构和决策边界间隔，在CIFAR-100和ResNet-18上提升了对抗鲁棒性。
2024-12-27 cs.AI cs.LG
Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
Stanford University（斯坦福大学）
对比学习在计算机视觉方面取得了相当大的进展，在一系列下游数据集上的表现优于有监督的预训练。然而，对比学习是否在所有情况下都是更好的选择？我们证明了两种情况下，它不是。首先，在足够小的预训练预算下，ImageNet上的监督预训练在八个不同的图像分类数据集上的表现始终优于可比的对比模型。这表明，在数百或数千个epoch上比较预训练方法的常见做法可能不会为那些计算预算有限的人提供可操作的见解。其次，即使预训练预算较大，我们也可以识别出监督学习占主导地位的任务，这可能是因为监督预训练的以对象为中心的偏见使模型对常见的腐败和虚假的前景-背景相关性更具弹性。这些结果强调，需要在更广泛的背景和培训制度的特点权衡不同的预培训目标。
2021-12-10 cs.CV cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
An Augmentation-Aware Theory for Self-Supervised Contrastive Learning
Peking University（北京大学）；University of Twente（特文特大学）
首次提出自监督对比学习的增强感知误差界，揭示数据增强引发的权衡对监督风险的影响，并通过像素级和表示级实验验证了理论结果。
2025-05-28 cs.LG
Semi-Supervised Contrastive Learning with Orthonormal Prototypes
Department of Electrical Engineering, Statistics, Biostatistics（电气工程系、统计学与生物统计学系）；Wisconsin Institute of Discovery（威斯康星发现研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出CLOP，一种基于正交原型的半监督对比学习方法，通过促进类嵌入正交子空间形成，防止维度坍缩，提升图像分类和目标检测性能。
2025-11-27 cs.LG
Weakly-Supervised Contrastive Learning for Imprecise Class Labels
School of Computer Science and Engineering, Southeast University, Nanjing, China（计算机科学与工程学院，东南大学，南京，中国）；Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（计算机网络与信息集成重点实验室（东南大学），教育部，中国）
针对不精确类标签限制监督对比学习的问题，提出基于连续语义相似度的图论弱监督对比学习框架，通过迭代细化弱监督信号测量样本对相似度，在噪声和部分标签场景下显著提升性能并具备理论误差保证。
2025-05-28 cs.LG
Supervised Contrastive Learning with Structure Inference for Graph Classification
Beijing University of Technology（北京工业大学）
近年来，高级图神经网络在图分类方面显示出巨大的潜力。与节点分类不同的是，图分类需要对不同层次的拓扑信息进行分层积累，以生成有区别的图嵌入，节点分类可以直接使用从本地邻居聚合的节点嵌入来学习节点标签。尽管如此，如何充分探索图结构并制定有效的图分类管道仍然是基本的。本文提出了一种基于结构推理的有监督对比学习的图神经网络。首先，我们提出了一个数据驱动的图增强策略，可以发现额外的连接，以增强现有的边集。具体地说，我们诉诸于一个结构推理阶段的基础上扩散级联，以恢复可能的连接与高节点相似性。其次，为了提高图神经网络的对比度，我们提出了使用监督对比损失进行图分类。通过标签信息的整合，可以将one-vs-many对比学习扩展到many-vs-many，从而将拓扑相似度较高的图级嵌入拉近。监督对比损失和结构推理可以自然地并入分层图神经网络中，其中拓扑模式可以被充分探索以产生有区别的图嵌入。实验结果表明，该方法的有效性与最近的国家的最先进的方法相比。
2022-03-15 cs.LG
Towards the Generalization of Contrastive Self-Supervised Learning
Qing Yuan Research Institute, Shanghai Jiao Tong University（上海交通大学清源研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
最近，自监督学习引起了极大的关注，因为它只需要未标记的数据进行模型训练。对比学习是自监督学习的一种流行方法，并且已经取得了很好的实验效果。然而，对其泛化能力的理论认识仍然有限。为此，我们定义了一种$(σ,δ)$ -措施数学量化的数据增强，然后提供了一个上限的下游分类出错率的基础上的措施。结果表明，对比自监督学习的泛化能力与正样本的对齐、类中心的发散和扩充数据的集中度等三个关键因素有关。前两个因素是学习表示的属性，而第三个因素由预定义的数据增强确定。我们进一步研究了两个典型的对比损失，InfoNCE和互相关，以展示它们如何可证明地实现前两个因素。此外，我们进行实验来研究第三个因素，并观察到下游性能和增强数据的浓度之间的强相关性。
2023-03-02 cs.AI cs.CV cs.LG
Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning
IBM（国际商业机器公司）
人类能够从少数（标记的）样本中学习新概念，增量和持续。这发生在我们可以区分样本的上下文中，以及样本和大量其他数据（未标记和标记）之间。这表明，在人类学习中，基于范例的概念监督学习发生在基于未标记和标记数据的对比自监督学习（CSSL）的更大背景下。我们讨论扩展CSSL（1）主要基于样本，其次是数据增强，（2）适用于未标记的数据（一般有大量可用）和标记的数据（一些样本可以获得有价值的监督知识）。这些扩展的主要好处是基于范例的CSSL，具有监督微调，支持Few-Shot类增量学习（CIL）。具体来说，我们讨论了基于样本的CSSL，包括：最近邻CSSL，监督预训练的邻域CSSL，以及监督微调的样本CSSL。我们进一步讨论使用基于范例的CSSL，以促进少样本学习，特别是，Few-Shot CIL。
2022-02-05 cs.LG
On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning
Yonsei University（延世大学）
针对非对称非对比学习在监督表示学习中研究不足的问题，提出 SupSiam 与 SupBYOL，通过引入标签并调节监督贡献来降低类内方差、避免坍塌，并在多数据集和任务上验证其优越性。
2024-06-16 cs.AI cs.CV cs.LG
GraphGuard: Contrastive Self-Supervised Learning for Credit-Card Fraud Detection in Multi-Relational Dynamic Graphs
University of St. Gallen (HSG)（圣加仑大学（HSG））
针对信用卡欺诈检测中特征工程和标注依赖的局限，提出基于图的对比自监督框架GraphGuard，在真实与合成数据集上验证了其有效性。
2024-07-17 cs.LG
Improving Semi-Supervised Contrastive Learning via Entropy-Weighted Confidence Integration of Anchor-Positive Pairs
Doshisha University（立命馆大学）
本文提出基于熵加权置信度整合的半监督对比学习方法，通过提升伪标签分配的置信度来增强分类准确率和学习稳定性。
2026-01-08 cs.AI cs.LG
Multi-level Supervised Contrastive Learning
RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵-普法尔茨理工大学）；RIKEN（理化学研究所）
本文提出多级对比学习（MLCL）框架，通过多个投影头捕捉样本在不同标签和层次上的相似性，适用于多标签和层次分类任务，并在文本和图像数据集上超越现有对比学习方法。
2025-02-05 cs.LG
Text Transformations in Contrastive Self-Supervised Learning: A Review
Arizona State University（亚利桑那州立大学）
对比自监督学习已成为表示学习中的一种重要技术。这些方法的主要步骤是对比语义相似和不相似的样本对。然而，在自然语言处理（NLP）领域，用于创建关于对比学习（CL）假设的相似对的增强方法具有挑战性。这是因为，即使简单地修改输入中的单词也可能改变句子的语义含义，因此违反了分布假设。在这篇综述论文中，我们形式化的对比学习框架，强调需要解决的数据转换步骤中的考虑因素，并审查国家的最先进的方法和评价的对比表示学习在自然语言处理。最后，我们描述了使用对比方法学习更好的文本表示的一些挑战和潜在方向。
2022-06-06 cs.CL cs.LG
Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning
Texas A&M University（德克萨斯农工大学）
该研究填补自监督对比学习（CL）理论空白，证明其隐式近似仅负样本监督对比损失（NSCL），且两者差距随类别数增加消失，还刻画NSCL几何结构并提出少样本误差边界，实证验证理论发现。
2025-11-10 cs.LG
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft（微软）
由于标记数据的稀缺性，提高泛化能力是音频分类的主要挑战。自监督学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中，我们提出了一个增强的对比SSL框架，学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明，我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
Mixed Supervised Graph Contrastive Learning for Recommendation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出MixSGCL方法，将推荐与对比损失整合为监督对比学习损失以统一优化方向，并引入节点级和边级混合挖掘监督信号，有效缓解数据稀疏性，在准确率和效率上超越现有方法。
2024-04-25 cs.IR cs.LG
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab（腾讯人工智能实验室）
在这项研究中，我们研究了用于说话人确认（SV）的自监督表示学习。首先，我们研究了一个简单的对比学习方法（Simplified）与动量对比（MoCo）学习框架，其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现，更好的发言人嵌入可以通过动量对比学习。接下来，替代增强策略进行了探讨，规范化的两个随机段从同一语音话语的外在说话人变异。具体而言，波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时，所提出的MoCo说话人嵌入得到进一步改进，这鼓励说话人嵌入更接近其分配的原型，并具有中间聚类步骤。此外，我们将自监督框架推广到半监督场景，其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明，与现有技术相比，我们提出的自监督方法具有竞争力的性能，并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
Conditional Contrastive Learning for Improving Fairness in Self-Supervised Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
对比自监督学习（SSL）学习嵌入空间，该嵌入空间将相似的数据对映射得更近，而将不相似的数据对映射得更远。尽管它取得了成功，但有一个问题被忽视了：使用对比SSL学习的表示的公平性。如果不采取缓解措施，对比SSL技术可能会包含性别或种族等敏感信息，并对下游任务造成潜在的不公平预测。在本文中，我们提出了一个条件对比学习（CCL）的方法来提高对比SSL方法的公平性。我们的方法从敏感属性的条件分布中采样阳性和阴性对，或者从经验上讲，从同一性别或同一种族中采样阳性和阴性对。我们表明，我们的方法可证明最大化的条件互信息之间的学习表示的积极对，并减少敏感属性的影响，将其作为条件变量。在七个公平性和视觉数据集上，我们实证证明，与无监督基线相比，所提出的方法实现了最先进的下游性能，并显着提高了对比SSL模型在多个公平性指标上的公平性。
2022-06-28 cs.LG
Bayesian Self-Supervised Contrastive Learning
Southwest Jiaotong University（西南交通大学）；Huazhong University of Science and Technology（华中科技大学）
针对自监督对比学习中随机负样本易出现假负例导致训练偏差的问题，提出BCL损失，在贝叶斯框架下设计带位置与浓度参数的参数化采样分布，用重要性权重修正偏差并挖掘难负例，实验验证了其有效性与优越性。
2024-01-31 cs.LG
Self-Contrastive Learning: Single-viewed Supervised Contrastive Framework using Sub-network
KAIST（韩国科学技术院）；SK Hynix（SK海力士）
对比损失通过使用利用增强和标签信息的多视图框架，显着提高了监督分类任务的性能。增强功能可以实现与单个图像的另一个视图的对比，但会增加训练时间和内存使用。为了利用多视图的优势，同时避免高计算成本，我们引入了一个多出口架构，输出多个功能的一个单一的图像在一个单一的视图框架。为此，我们提出了自对比（SelfCon）学习，它在单个网络的不同级别的多个输出中进行自对比。多出口架构有效地替换多增强图像并利用来自网络不同层的各种信息。我们证明了SelfCon学习提高了编码器网络的分类性能，并实证分析了其在单视图和子网络方面的优势。此外，我们提供了基于互信息界的性能提高的理论证据。对于ResNet-50上的ImageNet分类，SelfCon将准确率提高了+0.6%，具有59%的内存和48%的监督对比学习时间，并且多出口输出的简单集成将性能提高了+1.5%。我们的代码可在https://github.com/raymin0223/self-contrastive-learning上获得。
2022-11-24 cs.AI cs.LG
Integrating Distribution Matching into Semi-Supervised Contrastive Learning for Labeled and Unlabeled Data
Doshisha University（大阪大学）
本研究通过整合分布匹配技术，提升半监督对比学习中伪标签的利用效率，以提高图像分类性能。
2026-01-08 cs.AI cs.LG
Contrastive Neural Processes for Self-Supervised Learning
Panasonic AI Lab（松下人工智能实验室）；Panasonic Technology Division（松下技术部门）；AIoli Labs（AIoli实验室）
最近的对比方法显示了自监督学习在几个领域的显着改善。特别地，对比方法在例如计算机视觉中可以容易地构造数据增强的情况下是最有效的。然而，它们在没有建立数据转换（如时间序列数据）的领域中不太成功。在本文中，我们提出了一种新的自监督学习框架，结合对比学习与神经过程。它依赖于神经过程的最新进展来执行时间序列预测。这允许通过采用一组各种采样函数来生成数据的增强版本，从而避免手动设计的增强。我们扩展了传统的神经过程，并提出了一种新的对比损失，以在自监督设置中学习时间序列表示。因此，与以前的自监督方法不同，我们的增强管道是任务不可知的，使我们的方法能够在各种应用程序中表现良好。特别是，使用我们的方法训练的具有线性分类器的ResNet能够在工业，医疗和音频数据集上超越最先进的技术，将ECG周期性数据的准确性提高10%以上。我们进一步证明了我们的自监督表示在潜在空间中更有效，提高了多个聚类指数，并且在10%的标签上微调我们的方法可以获得与完全监督学习竞争的结果。
2021-12-08 cs.LG eess.SP
Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods
Meta AI Research（Meta人工智能研究院）；NYU（纽约大学）
自监督学习（SSL）推测输入和成对的正关系足以学习有意义的表示。虽然SSL最近达到了一个里程碑：在许多模态\dots中优于监督方法，但理论基础有限，方法特定，并且未能为从业者提供原则性的设计指南。在本文中，我们提出了一个统一的框架下的频谱流形学习，以解决这些限制。通过这项研究的过程中，我们将严格证明VICReg，Simplified，BarlowTwins等。对应于epsilon谱方法，如Laplacian Eigenmaps，Multidimensional Scaling等。这种统一将使我们能够获得（i）每种方法的闭合形式最佳表示，（ii）每种方法的线性区域中的闭合形式最佳网络参数，（iii）训练过程中使用的成对关系对每个量和下游任务性能的影响，最重要的是，（iv）对比和非对比方法之间的第一个理论桥梁，分别通向全局和局部谱嵌入方法，暗示每个方法的优点和局限性。例如，（i）如果成对关系与下游任务对齐，则可以成功地采用任何SSL方法并将恢复监督方法，但在低数据状态下，VICReg的不变性超参数应该较高;（ii）如果成对关系与下游任务不对齐，则具有小不变性超参数的VICReg应该优于Simplified或BarlowTwins。
2022-06-10 cs.AI cs.CV cs.LG
Multi-Label Contrastive Learning : A Comprehensive Study
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文系统研究了多标签分类中的对比学习损失，发现其优势来自标签交互建模与鲁棒优化，并在大规模标签数据集上Macro-F1表现突出。
2026-11-10 cs.LG
Variational Self-Supervised Contrastive Learning Using Beta Divergence
Sabanci University（萨班哲大学）；Türkiye（土耳其）
针对多标签场景下未标注含噪数据的判别表示学习问题，提出结合 beta 散度的变分对比自监督方法 VCL，并在人脸理解多标签实验中取得优于现有自监督方法的准确率。
2024-05-08 cs.CV cs.LG
Explicit homography estimation improves contrastive self-supervised learning
School of Computer Science and Applied Mathematics（计算机科学与应用数学学院）；University of the Witwatersrand（金山大学）
典型的对比自监督算法通过直接或间接地对比正像和负像，使用潜在空间中的相似性度量作为监督信号。尽管自监督算法的实用性最近有所提高，但仍然存在阻碍其广泛使用的瓶颈，例如所需的计算。在本文中，我们提出了一个模块，作为一个额外的目标，在自我监督的对比学习范例。我们展示了如何包含这个模块来回归仿射变换或单应性的参数，除了原始的对比目标，提高了性能和学习速度。重要的是，我们确保这个模块不会强制仿射变换的各个分量具有不变性，因为这并不总是理想的。我们证明了两个最近，流行的自我监督算法的额外目标的有效性。我们对所提出的方法进行了广泛的实验分析，并对所有考虑的数据集的性能进行了改进。此外，我们发现，虽然一般的单应性和仿射变换都足以提高性能和收敛性，仿射变换在所有情况下都表现得更好。
2021-01-12 cs.CV cs.LG
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
SupCL-Seq: Supervised Contrastive Learning for Downstream Optimized Sequence Representations
DSIG - Bayer Pharmaceuticals（拜耳制药 DSIG）；New York University（纽约大学）；Michigan State University（密歇根州立大学）
虽然对比学习被证明是计算机视觉中一种有效的训练策略，但自然语言处理（NLP）直到最近才将其作为掩蔽语言建模（MLM）的自监督替代方案，以改进序列表示。本文介绍了SupCL-Seq，它将有监督的对比学习从计算机视觉扩展到NLP中序列表示的优化。通过改变标准Transformer架构中的丢弃掩码概率，对于每个表示（锚），我们生成增强的改变视图。然后利用监督对比损失来最大化系统将相似样本拉在一起的能力（例如，锚和它们改变的视图）并推开属于其他类的样本。尽管它很简单，但与标准BERTbase相比，SupCLSeq在GLUE基准上的许多序列分类任务中都有很大的收益，包括CoLA上6%的绝对改进，MRPC上5.4%，RTE上4.7%和STSB上2.6%。我们还显示出一致的收益超过自我监督的对比学习表示，特别是在非语义任务。最后，我们表明，这些收益不仅仅是由于增强，而是下游优化的序列表示。代码：https://github.com/hooman650/SupCL-Seq
2021-09-15 cs.CL cs.LG
Contrastive Learning for Online Semi-Supervised General Continual Learning
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；LIGM（马恩拉瓦莱信息与数学实验室）
我们研究在线持续学习与缺失标签，并提出SemiCon，一个新的对比损失设计的部分标记的数据。我们通过设计一种基于内存的方法来证明其效率，该方法在未标记的数据流上进行训练，其中添加到内存中的每个数据都使用Oracle进行标记。当可用标签很少时，我们的方法优于现有的半监督方法，并且在Split-CIFAR 10上仅使用2.6%的标签和Split-CIFAR 100上仅使用10%的标签的情况下，获得与最先进的监督方法相似的结果。
2022-11-22 cs.AI cs.CV cs.LG
Token-Level Supervised Contrastive Learning for Punctuation Restoration
Southern University of Science and Technology（南方科技大学）；University of Surrey（萨里大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
标点符号对于理解自然语言文本至关重要。当前，大多数自动语音识别（ASR）系统不生成标点，这影响了下游任务（诸如意图检测和槽填充）的性能。这就需要恢复标点符号。最近的标点符号恢复工作大量利用预训练的语言模型，而不考虑预测标点符号类时的数据不平衡。在这项工作中，我们解决这个问题，提出了一个令牌级监督对比学习方法，旨在最大限度地提高不同的标点符号在嵌入空间中的表示的距离。结果表明，使用标记级监督对比学习的训练在测试集上获得了高达3.2%的绝对F1改进。
2023-03-03 cs.CL cs.LG
S5CL: Unifying Fully-Supervised, Self-Supervised, and Semi-Supervised Learning Through Hierarchical Contrastive Learning
Technical University Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能研究院）
在计算病理学中，我们经常面临着缺乏注释和大量未标记数据的问题。处理这种情况的一种方法是半监督学习，它通常分为自我监督的借口任务和随后的模型微调。在这里，我们通过引入S5 CL将这两个阶段的训练压缩为一个，S5 CL是一个用于全监督、自监督和半监督学习的统一框架。通过为标记图像、未标记图像和伪标记图像定义三种对比度损失，S5 CL可以学习反映距离关系层次的特征表示：相似图像和增强嵌入最接近，其次是同一类的不同外观图像，而来自不同类的图像具有最大的距离。此外，S5 CL允许我们灵活地组合这些损失，以适应不同的场景。在两个公共组织病理学数据集上对我们的框架进行的评估显示，在稀疏标签的情况下，我们的框架有了很大的改进：对于H& E染色的结直肠癌数据集，与监督交叉熵损失相比，准确度提高了9%;对于来自白血病患者血涂片的单个白细胞的高度不平衡数据集，F1分数提高了6%。
2022-03-14 cs.CV stat.ML
SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption
Google Research（谷歌研究院）
自监督对比表示学习已被证明在视觉和自然语言领域取得了令人难以置信的成功，能够以数量级更少的标记数据实现最先进的性能。然而，这些方法是特定于域的，并且很少有人在现实世界的表格数据集上利用这种技术。我们提出了SCARF，一个简单的，广泛适用的技术对比学习，其中的意见是通过破坏一个随机子集的功能。当应用于在OpenML-CC 18基准测试的69个真实世界表格分类数据集上预训练深度神经网络时，SCARF不仅提高了全监督设置中的分类准确性，而且在存在标签噪声和半监督设置中也能做到这一点，其中只有一小部分可用的训练数据被标记。我们表明，SCARF补充现有的策略，并优于替代品，如自动编码器。我们进行全面的消融，详细说明一系列因素的重要性。
2022-03-15 cs.AI cs.LG
Data-Efficient Contrastive Self-supervised Learning: Most Beneficial Examples for Supervised Learning Contribute the Least
University of California Los Angeles（加州大学洛杉矶分校）
本文首次证明对比自监督学习中贡献最大的样本是增强最相似的样本，并据此提出数据高效选择方法，可在不影响下游性能下排除20%-40%数据，且这些样本对监督学习贡献最小。
2024-03-12 cs.AI cs.LG
