Supervised Contrastive Learning for Product Matching
University of Mannheim（曼海姆大学）
近年来，对比学习已经推动了计算机视觉和信息检索中许多任务的发展。这张海报是第一个将监督对比学习应用于电子商务中使用来自不同电子商店的产品报价的产品匹配任务的工作。更具体地说，我们采用监督对比学习技术来预训练Transformer编码器，该编码器随后使用成对训练数据针对匹配任务进行微调。我们进一步提出了一个源感知的采样策略，使对比学习应用于用例中的训练数据不包含产品标识符。我们表明，将监督对比预训练与源感知采样相结合，可以显着提高几个广泛使用的基准测试的最新性能：对于Abt-Buy，我们达到了94.29的F1分数（与之前的最新水平相比，+3.24），对于Amazon-Google 79.28（+3.7）。对于WDC Computers数据集，根据训练集的大小，我们的F1得分在+0.8到+8.84之间。进一步的实验与数据增强和自我监督对比预训练表明，前者可以帮助较小的训练集，而后者会导致性能显着下降，由于固有的标签噪声。因此，我们得出结论，对比预训练具有很高的潜力，在产品匹配的用例中，明确的监督是可用的。
2022-05-02 cs.LG
Embodied-Symbolic Contrastive Graph Self-Supervised Learning for Molecular Graphs
IBM
双符号概念表示是深度学习和符号AI集成的基础。我们讨论了使用双重符号化概念表示的分子图表示学习，特别是与基于范例的对比自监督学习（SSL）。具体化表示从分子图中学习，符号表示从相应的化学知识图谱（KG）中学习。我们使用化学KG增强分子图与符号（语义）知识，并生成其增强分子图。我们将分子图及其语义增强的分子图视为同一语义类的范例，并在基于范例的对比SSL中将这些对用作正对。
2022-05-13 cs.LG
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出统一理论框架，首次推导任意对比损失的鲁棒条件，证明InfoNCE不鲁棒并提出对称InfoNCE（SymNCE），同时解释最近邻样本选择等已有技术，实验验证其抗标签噪声优势。
2025-01-02 cs.LG
Unified Framework for Feature Extraction based on Contrastive Learning
China Agricultural University（中国农业大学）；Beijing Engineering and Technology Research Center for Internet of Things in Agriculture（北京农业物联网工程技术研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；National Innovation Center for Digital Fishery（国家数字渔业创新中心）
特征提取是解决高维数据维数问题的有效方法。作为一种流行的自监督学习方法，对比学习近年来受到了广泛的关注。在这项研究中，我们提出了一个统一的框架的基础上，一个新的角度对比学习（CL），适用于无监督和监督特征提取。该框架首先构造了两个CL图，用于唯一地定义正负对。然后通过最小化对比损失函数确定投影矩阵。此外，该框架考虑了相似和不相似的样本，统一了无监督和有监督的特征提取。提出了三种具体的方法：无监督对比学习方法、有监督对比学习方法1和有监督对比学习方法2。最后，在五个真实数据集上的数值实验表明，与现有的方法相比，该框架的优越性能。
2021-09-13 cs.LG
Concept Representation Learning with Contrastive Self-Supervised Learning
IBM
面向概念的深度学习（CODL）是一种应对深度学习未来挑战的通用方法：（1）在很少或没有外部监督的情况下学习，（2）处理来自与训练样本不同分布的测试样本，以及（3）将深度学习与符号AI集成。在CODL中，就像在人类学习中一样，概念表示是基于概念范例学习的。对比自监督学习（CSSL）提供了一种很有前途的方法来做到这一点，因为它：（1）使用数据驱动的关联，摆脱语义标签，（2）支持增量和持续学习，摆脱（大型）固定数据集，（3）适应紧急目标，摆脱固定目标（任务）。我们讨论了使用CSSL的概念表示学习的主要方面。这些包括双层概念表示，CSSL特征表示，范例相似性度量和自监督关系推理，增量和连续CSSL，以及对比自监督概念（类）增量学习。讨论利用了认知神经科学和CSSL的最新发现。
2022-02-03 cs.LG
An Augmentation-Aware Theory for Self-Supervised Contrastive Learning
Peking University（北京大学）；University of Twente（特文特大学）
首次提出自监督对比学习的增强感知误差界，揭示数据增强引发的权衡对监督风险的影响，并通过像素级和表示级实验验证了理论结果。
2025-05-28 cs.LG
Semi-Supervised Contrastive Learning with Orthonormal Prototypes
Department of Electrical Engineering, Statistics, Biostatistics（电气工程系、统计学与生物统计学系）；Wisconsin Institute of Discovery（威斯康星发现研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出CLOP，一种基于正交原型的半监督对比学习方法，通过促进类嵌入正交子空间形成，防止维度坍缩，提升图像分类和目标检测性能。
2025-11-27 cs.LG
Weakly-Supervised Contrastive Learning for Imprecise Class Labels
School of Computer Science and Engineering, Southeast University, Nanjing, China（计算机科学与工程学院，东南大学，南京，中国）；Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（计算机网络与信息集成重点实验室（东南大学），教育部，中国）
针对不精确类标签限制监督对比学习的问题，提出基于连续语义相似度的图论弱监督对比学习框架，通过迭代细化弱监督信号测量样本对相似度，在噪声和部分标签场景下显著提升性能并具备理论误差保证。
2025-05-28 cs.LG
Supervised Contrastive Learning with Structure Inference for Graph Classification
Beijing University of Technology（北京工业大学）
近年来，高级图神经网络在图分类方面显示出巨大的潜力。与节点分类不同的是，图分类需要对不同层次的拓扑信息进行分层积累，以生成有区别的图嵌入，节点分类可以直接使用从本地邻居聚合的节点嵌入来学习节点标签。尽管如此，如何充分探索图结构并制定有效的图分类管道仍然是基本的。本文提出了一种基于结构推理的有监督对比学习的图神经网络。首先，我们提出了一个数据驱动的图增强策略，可以发现额外的连接，以增强现有的边集。具体地说，我们诉诸于一个结构推理阶段的基础上扩散级联，以恢复可能的连接与高节点相似性。其次，为了提高图神经网络的对比度，我们提出了使用监督对比损失进行图分类。通过标签信息的整合，可以将one-vs-many对比学习扩展到many-vs-many，从而将拓扑相似度较高的图级嵌入拉近。监督对比损失和结构推理可以自然地并入分层图神经网络中，其中拓扑模式可以被充分探索以产生有区别的图嵌入。实验结果表明，该方法的有效性与最近的国家的最先进的方法相比。
2022-03-15 cs.LG
Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning
IBM（国际商业机器公司）
人类能够从少数（标记的）样本中学习新概念，增量和持续。这发生在我们可以区分样本的上下文中，以及样本和大量其他数据（未标记和标记）之间。这表明，在人类学习中，基于范例的概念监督学习发生在基于未标记和标记数据的对比自监督学习（CSSL）的更大背景下。我们讨论扩展CSSL（1）主要基于样本，其次是数据增强，（2）适用于未标记的数据（一般有大量可用）和标记的数据（一些样本可以获得有价值的监督知识）。这些扩展的主要好处是基于范例的CSSL，具有监督微调，支持Few-Shot类增量学习（CIL）。具体来说，我们讨论了基于样本的CSSL，包括：最近邻CSSL，监督预训练的邻域CSSL，以及监督微调的样本CSSL。我们进一步讨论使用基于范例的CSSL，以促进少样本学习，特别是，Few-Shot CIL。
2022-02-05 cs.LG
GraphGuard: Contrastive Self-Supervised Learning for Credit-Card Fraud Detection in Multi-Relational Dynamic Graphs
University of St. Gallen (HSG)（圣加仑大学（HSG））
针对信用卡欺诈检测中特征工程和标注依赖的局限，提出基于图的对比自监督框架GraphGuard，在真实与合成数据集上验证了其有效性。
2024-07-17 cs.LG
Multi-level Supervised Contrastive Learning
RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道莱茵-普法尔茨理工大学）；RIKEN（理化学研究所）
本文提出多级对比学习（MLCL）框架，通过多个投影头捕捉样本在不同标签和层次上的相似性，适用于多标签和层次分类任务，并在文本和图像数据集上超越现有对比学习方法。
2025-02-05 cs.LG
Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning
Texas A&M University（德克萨斯农工大学）
该研究填补自监督对比学习（CL）理论空白，证明其隐式近似仅负样本监督对比损失（NSCL），且两者差距随类别数增加消失，还刻画NSCL几何结构并提出少样本误差边界，实证验证理论发现。
2025-11-10 cs.LG
Conditional Contrastive Learning for Improving Fairness in Self-Supervised Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
对比自监督学习（SSL）学习嵌入空间，该嵌入空间将相似的数据对映射得更近，而将不相似的数据对映射得更远。尽管它取得了成功，但有一个问题被忽视了：使用对比SSL学习的表示的公平性。如果不采取缓解措施，对比SSL技术可能会包含性别或种族等敏感信息，并对下游任务造成潜在的不公平预测。在本文中，我们提出了一个条件对比学习（CCL）的方法来提高对比SSL方法的公平性。我们的方法从敏感属性的条件分布中采样阳性和阴性对，或者从经验上讲，从同一性别或同一种族中采样阳性和阴性对。我们表明，我们的方法可证明最大化的条件互信息之间的学习表示的积极对，并减少敏感属性的影响，将其作为条件变量。在七个公平性和视觉数据集上，我们实证证明，与无监督基线相比，所提出的方法实现了最先进的下游性能，并显着提高了对比SSL模型在多个公平性指标上的公平性。
2022-06-28 cs.LG
Bayesian Self-Supervised Contrastive Learning
Southwest Jiaotong University（西南交通大学）；Huazhong University of Science and Technology（华中科技大学）
针对自监督对比学习中随机负样本易出现假负例导致训练偏差的问题，提出BCL损失，在贝叶斯框架下设计带位置与浓度参数的参数化采样分布，用重要性权重修正偏差并挖掘难负例，实验验证了其有效性与优越性。
2024-01-31 cs.LG
Generalized Supervised Contrastive Learning
Seoul National University Graduate School（首尔大学研究生院）；University of Seoul（首尔市立大学）；XAIMED Co., Ltd.（XAIMED有限公司）
本文提出广义监督对比损失，通过衡量标签相似性与潜在相似性间的交叉熵以充分利用标签分布，构建 GenSCL 框架并结合图像正则化与任意教师分类器，在 ImageNet、CIFAR10 和 CIFAR100 上取得新最优准确率。
2023-05-21 cs.CV cs.LG
Sentence Embeddings using Supervised Contrastive Learning
Princeton University（普林斯顿大学）
句子嵌入将句子编码在固定的密集向量中，并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习（如Quick-Thoughts）和监督学习（如Infersent）。随着预训练的NLP模型的成功，最近的研究表明，在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入，在各种评估基准上优于以前的句子嵌入方法。在本文中，我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说，我们的方法在SNLI数据上微调预训练的BERT，同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比，我们的监督对比方法在语义文本相似性（STS）基准测试中平均提高了2.8%，在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning
Stony Brook University（石溪大学）；University of Washington（华盛顿大学）；Tencent AI Lab（腾讯人工智能实验室）
标签是昂贵的，有时不可靠。噪声标签学习、半监督学习和对比学习是用于设计需要较少注释成本的学习过程的三种不同策略。半监督学习和对比学习最近已经被证明可以改进处理带有噪声标签的数据集的学习策略。尽管如此，这些领域之间的内在联系以及将其优势结合在一起的潜力才刚刚开始出现。在本文中，我们探讨了进一步的方式和优势，他们融合。具体来说，我们提出了CSSL，一个统一的对比半监督学习算法，和CoDiM（对比DivideMix），一种新的算法，用于学习噪声标签。CSSL利用了经典半监督学习和对比学习技术的强大功能，并进一步适应CoDiM，它从多种类型和级别的标签噪声中进行鲁棒学习。我们表明，CoDiM带来了一致的改进，并在多个基准测试中取得了最先进的结果。
2021-11-23 cs.CV cs.LG
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services（亚马逊云科技）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UCLA（加州大学洛杉矶分校）
少样本学习的目的是从一个任务中转移信息，以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中，我们调查的互补作用，这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习（SUPMOCO）。我们的方法避免了在监督学习中观察到的一个问题，即图像中与任务无关的信息被丢弃，这阻碍了它们对新任务的推广。我们表明，（自监督）对比学习和监督学习是互惠互利的，导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据，从而进一步改进。
2021-06-21 cs.CV cs.LG
Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning
University of South Dakota（南达科他大学）
本文提出结合监督对比学习与基于间隔的对比损失的新框架，通过优化特征空间结构和决策边界间隔，在CIFAR-100和ResNet-18上提升了对抗鲁棒性。
2024-12-27 cs.AI cs.LG
Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
Stanford University（斯坦福大学）
对比学习在计算机视觉方面取得了相当大的进展，在一系列下游数据集上的表现优于有监督的预训练。然而，对比学习是否在所有情况下都是更好的选择？我们证明了两种情况下，它不是。首先，在足够小的预训练预算下，ImageNet上的监督预训练在八个不同的图像分类数据集上的表现始终优于可比的对比模型。这表明，在数百或数千个epoch上比较预训练方法的常见做法可能不会为那些计算预算有限的人提供可操作的见解。其次，即使预训练预算较大，我们也可以识别出监督学习占主导地位的任务，这可能是因为监督预训练的以对象为中心的偏见使模型对常见的腐败和虚假的前景-背景相关性更具弹性。这些结果强调，需要在更广泛的背景和培训制度的特点权衡不同的预培训目标。
2021-12-10 cs.CV cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Improving Semi-Supervised Contrastive Learning via Entropy-Weighted Confidence Integration of Anchor-Positive Pairs
Doshisha University（立命馆大学）
本文提出基于熵加权置信度整合的半监督对比学习方法，通过提升伪标签分配的置信度来增强分类准确率和学习稳定性。
2026-01-08 cs.AI cs.LG
Text Transformations in Contrastive Self-Supervised Learning: A Review
Arizona State University（亚利桑那州立大学）
对比自监督学习已成为表示学习中的一种重要技术。这些方法的主要步骤是对比语义相似和不相似的样本对。然而，在自然语言处理（NLP）领域，用于创建关于对比学习（CL）假设的相似对的增强方法具有挑战性。这是因为，即使简单地修改输入中的单词也可能改变句子的语义含义，因此违反了分布假设。在这篇综述论文中，我们形式化的对比学习框架，强调需要解决的数据转换步骤中的考虑因素，并审查国家的最先进的方法和评价的对比表示学习在自然语言处理。最后，我们描述了使用对比方法学习更好的文本表示的一些挑战和潜在方向。
2022-06-06 cs.CL cs.LG
Mixed Supervised Graph Contrastive Learning for Recommendation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出MixSGCL方法，将推荐与对比损失整合为监督对比学习损失以统一优化方向，并引入节点级和边级混合挖掘监督信号，有效缓解数据稀疏性，在准确率和效率上超越现有方法。
2024-04-25 cs.IR cs.LG
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab（腾讯人工智能实验室）
在这项研究中，我们研究了用于说话人确认（SV）的自监督表示学习。首先，我们研究了一个简单的对比学习方法（Simplified）与动量对比（MoCo）学习框架，其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现，更好的发言人嵌入可以通过动量对比学习。接下来，替代增强策略进行了探讨，规范化的两个随机段从同一语音话语的外在说话人变异。具体而言，波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时，所提出的MoCo说话人嵌入得到进一步改进，这鼓励说话人嵌入更接近其分配的原型，并具有中间聚类步骤。此外，我们将自监督框架推广到半监督场景，其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明，与现有技术相比，我们提出的自监督方法具有竞争力的性能，并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
Efficient Availability Attacks against Supervised and Contrastive Learning Simultaneously
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
提出同时针对监督与对比学习的高效可用性攻击，采用类对比数据增强于监督误差最小化/最大化框架，实现两者最坏情况不可学习性且计算消耗更低。
2024-02-06 cs.LG stat.ML
Self-Contrastive Learning: Single-viewed Supervised Contrastive Framework using Sub-network
KAIST（韩国科学技术院）；SK Hynix（SK海力士）
对比损失通过使用利用增强和标签信息的多视图框架，显着提高了监督分类任务的性能。增强功能可以实现与单个图像的另一个视图的对比，但会增加训练时间和内存使用。为了利用多视图的优势，同时避免高计算成本，我们引入了一个多出口架构，输出多个功能的一个单一的图像在一个单一的视图框架。为此，我们提出了自对比（SelfCon）学习，它在单个网络的不同级别的多个输出中进行自对比。多出口架构有效地替换多增强图像并利用来自网络不同层的各种信息。我们证明了SelfCon学习提高了编码器网络的分类性能，并实证分析了其在单视图和子网络方面的优势。此外，我们提供了基于互信息界的性能提高的理论证据。对于ResNet-50上的ImageNet分类，SelfCon将准确率提高了+0.6%，具有59%的内存和48%的监督对比学习时间，并且多出口输出的简单集成将性能提高了+1.5%。我们的代码可在https://github.com/raymin0223/self-contrastive-learning上获得。
2022-11-24 cs.AI cs.LG
Integrating Distribution Matching into Semi-Supervised Contrastive Learning for Labeled and Unlabeled Data
Doshisha University（大阪大学）
本研究通过整合分布匹配技术，提升半监督对比学习中伪标签的利用效率，以提高图像分类性能。
2026-01-08 cs.AI cs.LG
Contrastive Neural Processes for Self-Supervised Learning
Panasonic AI Lab（松下人工智能实验室）；Panasonic Technology Division（松下技术部门）；AIoli Labs（AIoli实验室）
最近的对比方法显示了自监督学习在几个领域的显着改善。特别地，对比方法在例如计算机视觉中可以容易地构造数据增强的情况下是最有效的。然而，它们在没有建立数据转换（如时间序列数据）的领域中不太成功。在本文中，我们提出了一种新的自监督学习框架，结合对比学习与神经过程。它依赖于神经过程的最新进展来执行时间序列预测。这允许通过采用一组各种采样函数来生成数据的增强版本，从而避免手动设计的增强。我们扩展了传统的神经过程，并提出了一种新的对比损失，以在自监督设置中学习时间序列表示。因此，与以前的自监督方法不同，我们的增强管道是任务不可知的，使我们的方法能够在各种应用程序中表现良好。特别是，使用我们的方法训练的具有线性分类器的ResNet能够在工业，医疗和音频数据集上超越最先进的技术，将ECG周期性数据的准确性提高10%以上。我们进一步证明了我们的自监督表示在潜在空间中更有效，提高了多个聚类指数，并且在10%的标签上微调我们的方法可以获得与完全监督学习竞争的结果。
2021-12-08 cs.LG eess.SP
Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations
Mila – Quebec AI Institute（Mila-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）；University of Montreal（蒙特利尔大学）
我们研究了一种策略，通过在预训练期间利用少量的监督信息来提高视觉表示的对比学习的效率。我们提出了一个半监督损失，SuNCEt，基于噪声对比估计和邻域成分分析，其目的是区分不同类别的例子，除了自我监督的实例借口任务。在ImageNet上，我们发现SuNCEt可以用来匹配以前对比方法的半监督学习准确性，同时使用不到一半的预训练和计算量。我们的主要观点是，在预训练期间，而不仅仅是在微调期间，即使是少量的标记数据，也可以提供一个重要的信号，可以显着加速视觉表示的对比学习。我们的代码可在github.com/facebookresearch/suncet上获得。
2020-12-01 cs.CV cs.LG stat.ML
Self-supervised Learning: Generative or Contrastive
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology (TNList)（清华信息科学与技术国家实验室）；Anhui University（安徽大学）；Renmin University of China（中国人民大学）
深度监督学习在过去十年中取得了巨大的成功。然而，其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法，在过去的几年里，由于其在表示学习方面的出色表现，吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督，并使几乎所有类型的下游任务受益。在这篇综述中，我们将探讨新的自监督学习方法，用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法，并根据其目标将其归纳为三个主要类别：生成，对比和生成对比（对抗）。我们进一步研究相关的理论分析工作，提供更深层次的思考自监督学习是如何工作的。最后，我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
Variational Self-Supervised Contrastive Learning Using Beta Divergence
Sabanci University（萨班哲大学）；Türkiye（土耳其）
针对多标签场景下未标注含噪数据的判别表示学习问题，提出结合 beta 散度的变分对比自监督方法 VCL，并在人脸理解多标签实验中取得优于现有自监督方法的准确率。
2024-05-08 cs.CV cs.LG
Explicit homography estimation improves contrastive self-supervised learning
School of Computer Science and Applied Mathematics（计算机科学与应用数学学院）；University of the Witwatersrand（金山大学）
典型的对比自监督算法通过直接或间接地对比正像和负像，使用潜在空间中的相似性度量作为监督信号。尽管自监督算法的实用性最近有所提高，但仍然存在阻碍其广泛使用的瓶颈，例如所需的计算。在本文中，我们提出了一个模块，作为一个额外的目标，在自我监督的对比学习范例。我们展示了如何包含这个模块来回归仿射变换或单应性的参数，除了原始的对比目标，提高了性能和学习速度。重要的是，我们确保这个模块不会强制仿射变换的各个分量具有不变性，因为这并不总是理想的。我们证明了两个最近，流行的自我监督算法的额外目标的有效性。我们对所提出的方法进行了广泛的实验分析，并对所有考虑的数据集的性能进行了改进。此外，我们发现，虽然一般的单应性和仿射变换都足以提高性能和收敛性，仿射变换在所有情况下都表现得更好。
2021-01-12 cs.CV cs.LG
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft（微软）
由于标记数据的稀缺性，提高泛化能力是音频分类的主要挑战。自监督学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中，我们提出了一个增强的对比SSL框架，学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明，我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
GraphCL: Contrastive Self-Supervised Learning of Graph Representations
Université Internationale de Rabat（拉巴特国际大学）；Telecom ParisTech（巴黎高等电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；United States Army Research Laboratory（美国陆军研究实验室）
我们提出了图对比学习（GraphCL），一个通用的框架，学习节点表示在一个自我监督的方式。GraphCL通过最大化同一节点局部子图的内在特征和链接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入。我们使用图神经网络来产生同一节点的两种表示，并利用对比学习损失来最大化它们之间的一致性。在转导和归纳学习设置，我们证明了我们的方法显着优于国家的最先进的无监督学习的节点分类基准。
2020-07-15 cs.LG stat.ML
SupCL-Seq: Supervised Contrastive Learning for Downstream Optimized Sequence Representations
DSIG - Bayer Pharmaceuticals（拜耳制药 DSIG）；New York University（纽约大学）；Michigan State University（密歇根州立大学）
虽然对比学习被证明是计算机视觉中一种有效的训练策略，但自然语言处理（NLP）直到最近才将其作为掩蔽语言建模（MLM）的自监督替代方案，以改进序列表示。本文介绍了SupCL-Seq，它将有监督的对比学习从计算机视觉扩展到NLP中序列表示的优化。通过改变标准Transformer架构中的丢弃掩码概率，对于每个表示（锚），我们生成增强的改变视图。然后利用监督对比损失来最大化系统将相似样本拉在一起的能力（例如，锚和它们改变的视图）并推开属于其他类的样本。尽管它很简单，但与标准BERTbase相比，SupCLSeq在GLUE基准上的许多序列分类任务中都有很大的收益，包括CoLA上6%的绝对改进，MRPC上5.4%，RTE上4.7%和STSB上2.6%。我们还显示出一致的收益超过自我监督的对比学习表示，特别是在非语义任务。最后，我们表明，这些收益不仅仅是由于增强，而是下游优化的序列表示。代码：https://github.com/hooman650/SupCL-Seq
2021-09-15 cs.CL cs.LG
Token-Level Supervised Contrastive Learning for Punctuation Restoration
Southern University of Science and Technology（南方科技大学）；University of Surrey（萨里大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
标点符号对于理解自然语言文本至关重要。当前，大多数自动语音识别（ASR）系统不生成标点，这影响了下游任务（诸如意图检测和槽填充）的性能。这就需要恢复标点符号。最近的标点符号恢复工作大量利用预训练的语言模型，而不考虑预测标点符号类时的数据不平衡。在这项工作中，我们解决这个问题，提出了一个令牌级监督对比学习方法，旨在最大限度地提高不同的标点符号在嵌入空间中的表示的距离。结果表明，使用标记级监督对比学习的训练在测试集上获得了高达3.2%的绝对F1改进。
2023-03-03 cs.CL cs.LG
SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption
Google Research（谷歌研究院）
自监督对比表示学习已被证明在视觉和自然语言领域取得了令人难以置信的成功，能够以数量级更少的标记数据实现最先进的性能。然而，这些方法是特定于域的，并且很少有人在现实世界的表格数据集上利用这种技术。我们提出了SCARF，一个简单的，广泛适用的技术对比学习，其中的意见是通过破坏一个随机子集的功能。当应用于在OpenML-CC 18基准测试的69个真实世界表格分类数据集上预训练深度神经网络时，SCARF不仅提高了全监督设置中的分类准确性，而且在存在标签噪声和半监督设置中也能做到这一点，其中只有一小部分可用的训练数据被标记。我们表明，SCARF补充现有的策略，并优于替代品，如自动编码器。我们进行全面的消融，详细说明一系列因素的重要性。
2022-03-15 cs.AI cs.LG
Data-Efficient Contrastive Self-supervised Learning: Most Beneficial Examples for Supervised Learning Contribute the Least
University of California Los Angeles（加州大学洛杉矶分校）
本文首次证明对比自监督学习中贡献最大的样本是增强最相似的样本，并据此提出数据高效选择方法，可在不影响下游性能下排除20%-40%数据，且这些样本对监督学习贡献最小。
2024-03-12 cs.AI cs.LG
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University（延世大学）；Bank of Korea（韩国银行）
本文提出单纯形到单纯形嵌入模型（SSEM）作为理论框架，分析监督对比学习中超参数对表示的影响，并给出防止类别坍缩的实用指导，且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
Contrasting Contrastive Self-Supervised Representation Learning Pipelines
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
在过去的几年里，我们目睹了自监督表示学习方面的显着突破。尽管通过这种范式学习的表示方法取得了成功并被采用，但关于不同的训练方法和数据集如何影响下游任务的性能，还有很多问题有待了解。在本文中，我们分析了对比方法作为自监督表示学习的最成功和最流行的变体之一。我们从训练算法、预训练数据集和最终任务的角度进行分析。我们检查了700多个训练实验，包括30个编码器，4个预训练数据集和20个不同的下游任务。我们的实验解决了各种问题，自我监督模型的性能相比，他们的监督同行，目前的基准用于评估，以及预训练数据对最终任务性能的影响。我们的可视化表示基准（ViRB）可在https://github.com/allenai/virb上获得。
2021-08-18 cs.CV cs.LG
When Does Contrastive Visual Representation Learning Work?
Caltech（加州理工学院）；Google（谷歌）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Copenhagen（哥本哈根大学）
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解，但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步，我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度，我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果：（i）超过500k图像的额外预训练数据的好处是适度的，（ii）添加来自另一个域的预训练图像不会导致更一般的表示，（iii）损坏的预训练图像对监督和自监督预训练有不同的影响，（iv）对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
SPARC: SuperPixel-Aware Region Contrastive Learning for Self-Supervised Dense Prediction
University of Waterloo（滑铁卢大学）
SPARC提出一种基于超像素的区域级对比学习框架，通过区域对比分支与全局目标联合优化，在语义分割和检测上显著超越现有方法，提升密集预测性能。
2026-09-23 cs.CV cs.LG
Self-supervised Contrastive Learning of Multi-view Facial Expressions
Ingenuity Labs Research Institute（Ingenuity Labs 研究所）
人脸表情识别是人机交互系统的重要组成部分。尽管FER最近取得了进展，但非正面面部图像的性能通常会显着下降。我们提出了多视角面部表情的对比学习（CL-MEx），以利用从不同角度同时捕获的面部图像对FER。CL-MEx是一个两步培训框架。在第一步中，编码器网络使用所提出的自监督对比度损失进行预训练，其中它学习为主题的不同视图生成视图不变嵌入。然后在监督设置中使用标记数据对模型进行微调。我们证明了所提出的方法在两个多视图FER数据集，KDEF和DDCF，其中最先进的性能实现的性能。进一步的实验表明，我们的方法在处理具有挑战性的角度和减少标记的数据量的鲁棒性。
2021-08-15 cs.CV cs.LG
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Is Self-Supervised Learning More Robust Than Supervised Learning?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）
自监督对比学习是学习无标签视觉表征的有力工具。以前的工作主要集中在评估各种预训练算法的识别准确性，但忽略了其他行为方面。除了准确性，分布鲁棒性在机器学习模型的可靠性中起着关键作用。我们设计并进行了一系列鲁棒性测试，以量化对比学习和监督学习之间的行为差异，下游或前训练数据分布的变化。这些测试利用多个级别的数据损坏，从像素级伽马失真到补丁级洗牌，再到磁盘组级分布偏移。我们的测试揭示了对比学习和监督学习有趣的鲁棒性行为。一方面，在下游腐败下，我们通常观察到对比学习比监督学习更鲁棒。另一方面，在预训练损坏的情况下，我们发现对比学习容易受到补丁洗牌和像素强度变化的影响，但对补丁级分布变化不太敏感。我们试图通过数据增强和特征空间属性的作用来解释这些结果。我们的见解对提高监督学习的下游鲁棒性具有启示。
2022-06-10 cs.CV cs.LG
Contrastive Learning for Online Semi-Supervised General Continual Learning
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；LIGM（马恩拉瓦莱信息与数学实验室）
我们研究在线持续学习与缺失标签，并提出SemiCon，一个新的对比损失设计的部分标记的数据。我们通过设计一种基于内存的方法来证明其效率，该方法在未标记的数据流上进行训练，其中添加到内存中的每个数据都使用Oracle进行标记。当可用标签很少时，我们的方法优于现有的半监督方法，并且在Split-CIFAR 10上仅使用2.6%的标签和Split-CIFAR 100上仅使用10%的标签的情况下，获得与最先进的监督方法相似的结果。
2022-11-22 cs.AI cs.CV cs.LG
Supervised Contrastive Learning
Google Research（谷歌研究院）；Boston University（波士顿大学）；Snap Inc.（森宝公司）；MIT（麻省理工学院）
近年来，应用于自监督表示学习的对比学习已经出现了复苏，导致了深度图像模型的无监督训练的最新表现。现代批量对比方法的性能优于或显著优于传统的对比损失，如三重，最大余量和N对损失。在这项工作中，我们将自监督批量对比方法扩展到完全监督设置，使我们能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起，同时将来自不同类的样本簇推开。我们分析了两种可能的版本的监督对比（SupCon）损失，确定性能最好的制定的损失。在ResNet-200上，我们在ImageNet数据集上实现了81.4%的top-1准确率，比该架构报告的最佳数字高出0.8%。我们在其他数据集和两个ResNet变体上显示出一致的优于交叉熵的性能。损失显示出对自然损坏的鲁棒性的益处，并且对超参数设置（例如优化器和数据增强）更稳定。我们的损失函数易于实现，参考TensorFlow代码在https://t.ly/supcon上发布。
2021-03-10 cs.CV cs.LG stat.ML
Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning
University of Chicago（芝加哥大学）；Northwestern University（西北大学）；Shanghai AI Laboratory（上海人工智能实验室）；Yale University（耶鲁大学）
该研究针对低秩转移的MDPs和MGs场景，提出融合对比损失的UCB类在线强化学习算法，从理论上证明其能恢复真实表示且具备样本效率，并通过实证验证了有效性，是首个可证明高效的结合对比学习做表示学习的在线RL算法。
2024-04-13 cs.LG stat.ML
Non-Contrastive Self-Supervised Learning of Utterance-Level Speech Representations
Johns Hopkins University（约翰斯·霍普金斯大学）
考虑到大量的未标记语音数据和高昂的标记成本，无监督学习方法对于更好的系统开发至关重要。最成功的方法之一是对比自监督方法，它需要负采样：对替代样本进行采样，以与当前样本（锚）进行对比。然而，很难确保所有的负样本是否属于与没有标签的锚类不同的类。本文采用非对比自监督学习方法在无标注语音语料库上学习话语级嵌入。我们使用了在计算机视觉中提出的带NO标签的Distillation（DINO），并将其应用于语音领域。与对比方法不同，DINO不需要负采样。这些嵌入进行了评估，说话人确认和情感识别。在说话人验证中，无监督DINO嵌入余弦评分在VoxCeleb 1测试试验中提供了4.38%的EER。这比最好的对比自我监督方法在EER方面的相对性能高出40%。一个迭代的伪标签训练管道，不需要说话人标签，进一步提高了EER到1.89%。在情感识别方面，DINO嵌入在IEMOCAP，Crema-D和MSP-Podcast上的micro-f1得分分别为60.87，79.21和56.98%。结果表明，DINO嵌入的通用性，不同的语音应用。
2022-08-10 cs.LG eess.AS
CoMatch: Semi-supervised Learning with Contrastive Graph Regularization
Salesforce Research（Salesforce研究院）
半监督学习是利用未标记数据减少对标记数据依赖的有效范例。我们提出了CoMatch，一种新的半监督学习方法，它统一了主流方法并解决了它们的局限性。CoMatch联合学习训练数据的两种表示，它们的类概率和低维嵌入。这两种表征相互作用，共同进化。嵌入对类概率施加平滑约束以改进伪标签，而伪标签通过基于图的对比学习来正则化嵌入的结构。CoMatch在多个数据集上实现了最先进的性能。它在标签稀缺的CIFAR-10和STL-10上实现了实质性的精度改进。在标签数为1%的ImageNet上，CoMatch达到了66.0%的top-1准确率，比FixMatch高出12.6%。此外，CoMatch在下游任务上实现了更好的表示学习性能，优于监督学习和自监督学习。代码和预训练模型可在www.example.com上获得。
2021-03-03 cs.CV cs.LG
FastGCL: Fast Self-Supervised Learning on Graphs via Contrastive Neighborhood Aggregation
Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
图对比学习（GCL）作为一种流行的图自监督学习方法，近年来取得了不可忽视的效果。为了获得更好的性能，大多数现有的GCL方法都详细说明了图数据增强以构建适当的对比对。然而，现有的方法更多地强调复杂的图数据增强，这需要额外的时间开销，而不太注意开发特定于编码器特性的对比方案。我们认为，一个更好的对比方案应该适合图神经网络的特点（例如，邻域聚合），并提出了一个简单而有效的方法命名为FastGCL。具体而言，通过分别构建加权聚合和非聚合邻域信息作为正样本和负样本，FastGCL在不干扰图拓扑和节点属性的情况下识别数据的潜在语义信息，从而获得更快的训练和收敛速度。在节点分类和图分类任务上进行了大量的实验，结果表明，与现有的最先进的方法相比，FastGCL具有竞争力的分类性能和显着的训练加速。
2022-05-02 cs.AI cs.LG
ExCon: Explanation-driven Supervised Contrastive Learning for Image Classification
University of Toronto（多伦多大学）；LG AI Research（LG人工智能研究院）
对比学习已经导致用于诸如图像分类的任务的学习的嵌入表示的质量的实质性改进。然而，现有的对比增强方法的一个关键缺点是，它们可能会导致修改的图像内容，这可能会产生不希望的改变其语义。这可能会影响模型在下游任务上的性能。因此，在本文中，我们问我们是否可以增加图像数据在对比学习，这样的任务相关的语义内容的图像被保留。为此，我们建议利用基于显着性的解释方法来创建内容保持掩蔽增强对比学习。我们的新的解释驱动的监督对比学习（ExCon）方法严格地服务于鼓励附近的图像嵌入具有相似的内容和解释的双重目标。为了量化ExCon的影响，我们在CIFAR-100和Tiny ImageNet数据集上进行了实验。我们证明了ExCon在分类，解释质量，对抗鲁棒性以及分布偏移背景下的概率校准方面优于香草监督对比学习。
2022-04-18 cs.AI cs.CV cs.LG
