SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption
Google Research(谷歌研究院)
自监督对比表示学习已被证明在视觉和自然语言领域取得了令人难以置信的成功,能够以数量级更少的标记数据实现最先进的性能。然而,这些方法是特定于域的,并且很少有人在现实世界的表格数据集上利用这种技术。我们提出了SCARF,一个简单的,广泛适用的技术对比学习,其中的意见是通过破坏一个随机子集的功能。当应用于在OpenML-CC 18基准测试的69个真实世界表格分类数据集上预训练深度神经网络时,SCARF不仅提高了全监督设置中的分类准确性,而且在存在标签噪声和半监督设置中也能做到这一点,其中只有一小部分可用的训练数据被标记。我们表明,SCARF补充现有的策略,并优于替代品,如自动编码器。我们进行全面的消融,详细说明一系列因素的重要性。
2022-03-15 cs.AI cs.LG
Data-Efficient Contrastive Self-supervised Learning: Most Beneficial Examples for Supervised Learning Contribute the Least
University of California Los Angeles(加州大学洛杉矶分校)
本文首次证明对比自监督学习中贡献最大的样本是增强最相似的样本,并据此提出数据高效选择方法,可在不影响下游性能下排除20%-40%数据,且这些样本对监督学习贡献最小。
2024-03-12 cs.AI cs.LG
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST(韩国科学技术院)
本研究通过将自监督表示学习表述为监督学习目标的近似,推导出与InfoNCE相关的损失函数,引入原型表示偏差和平衡对比损失概念,从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
Contrastive Learning for Online Semi-Supervised General Continual Learning
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);LIGM(马恩拉瓦莱信息与数学实验室)
我们研究在线持续学习与缺失标签,并提出SemiCon,一个新的对比损失设计的部分标记的数据。我们通过设计一种基于内存的方法来证明其效率,该方法在未标记的数据流上进行训练,其中添加到内存中的每个数据都使用Oracle进行标记。当可用标签很少时,我们的方法优于现有的半监督方法,并且在Split-CIFAR 10上仅使用2.6%的标签和Split-CIFAR 100上仅使用10%的标签的情况下,获得与最先进的监督方法相似的结果。
2022-11-22 cs.AI cs.CV cs.LG
FastGCL: Fast Self-Supervised Learning on Graphs via Contrastive Neighborhood Aggregation
Sun Yat-sen University(中山大学);Nanyang Technological University(南洋理工大学)
图对比学习(GCL)作为一种流行的图自监督学习方法,近年来取得了不可忽视的效果。为了获得更好的性能,大多数现有的GCL方法都详细说明了图数据增强以构建适当的对比对。然而,现有的方法更多地强调复杂的图数据增强,这需要额外的时间开销,而不太注意开发特定于编码器特性的对比方案。我们认为,一个更好的对比方案应该适合图神经网络的特点(例如,邻域聚合),并提出了一个简单而有效的方法命名为FastGCL。具体而言,通过分别构建加权聚合和非聚合邻域信息作为正样本和负样本,FastGCL在不干扰图拓扑和节点属性的情况下识别数据的潜在语义信息,从而获得更快的训练和收敛速度。在节点分类和图分类任务上进行了大量的实验,结果表明,与现有的最先进的方法相比,FastGCL具有竞争力的分类性能和显着的训练加速。
2022-05-02 cs.AI cs.LG
ExCon: Explanation-driven Supervised Contrastive Learning for Image Classification
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
对比学习已经导致用于诸如图像分类的任务的学习的嵌入表示的质量的实质性改进。然而,现有的对比增强方法的一个关键缺点是,它们可能会导致修改的图像内容,这可能会产生不希望的改变其语义。这可能会影响模型在下游任务上的性能。因此,在本文中,我们问我们是否可以增加图像数据在对比学习,这样的任务相关的语义内容的图像被保留。为此,我们建议利用基于显着性的解释方法来创建内容保持掩蔽增强对比学习。我们的新的解释驱动的监督对比学习(ExCon)方法严格地服务于鼓励附近的图像嵌入具有相似的内容和解释的双重目标。为了量化ExCon的影响,我们在CIFAR-100和Tiny ImageNet数据集上进行了实验。我们证明了ExCon在分类,解释质量,对抗鲁棒性以及分布偏移背景下的概率校准方面优于香草监督对比学习。
2022-04-18 cs.AI cs.CV cs.LG
Self-Supervised Contrastive Learning for Long-term Forecasting
Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院)
针对长期预测中滑动窗口难以捕捉窗口外长期变化的问题,提出结合对比学习和增强分解架构的自监督方法,利用全局自相关构建正负样本对,在九个基准上超越14个基线模型。
2024-03-24 cs.AI cs.LG
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh(爱丁堡大学);Cardiff University(卡迪夫大学)
针对现有层次多标签文本分类(HMTC)对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题,提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL,在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Supervised Stochastic Neighbor Embedding Using Contrastive Learning
University of Geneva(日内瓦大学)
本研究将自监督对比学习扩展至全监督设置,提出一种有监督随机近邻嵌入方法,通过在低维空间中拉近同类样本、推开异类样本,有效利用标签信息以优化数据可视化。
2023-09-15 cs.LG
Contrastive Supervised Distillation for Continual Representation Learning
Università degli Studi di Firenze(佛罗伦萨大学)
在本文中,我们提出了一种新的训练过程中的连续表示学习问题,其中神经网络模型顺序学习,以减轻视觉搜索任务中的灾难性遗忘。我们的方法,称为对比监督蒸馏(CSD),减少特征遗忘,同时学习判别特征。这是通过在蒸馏设置中利用标签信息来实现的,在蒸馏设置中,学生模型是从教师模型中对比学习的。大量的实验表明,CSD在减轻灾难性遗忘方面表现良好,优于当前最先进的方法。我们的研究结果还提供了进一步的证据,视觉检索任务中的特征遗忘评估是不是灾难性的分类任务。代码:https://github.com/NiccoBiondi/ContrastiveSupervisedDistillation。
2022-06-10 cs.AI cs.CV cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);US Army Research Laboratory(美国陆军研究实验室)
本文提出了一个半监督学习框架,是新的设计自动调制分类(AMC)。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据,我们的框架在给定少量标记数据的情况下实现了更高的性能,从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明,我们的半监督方法显着优于监督框架,从而大大提高了我们的能力,训练深度神经网络自动调制分类的方式,利用未标记的数据。
2022-03-29 cs.LG
On the duality between contrastive and non-contrastive self-supervised learning
Meta AI - FAIR(Meta人工智能实验室(基础人工智能研究部));Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);New York University(纽约大学);Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
本文研究对比与非对比自监督学习的理论相似性,证明两类方法在有限假设下等价,并通过超参数调优和设计选择缩小性能差距,推动统一SOTA方法以深化理解。
2023-06-26 cs.AI cs.CV cs.LG
Probabilistic Contrastive Loss for Self-Supervised Learning
National University of Singapore(新加坡国立大学);Youtu Lab Tencent(腾讯优图实验室)
提出了一种适用于自监督学习的概率对比损失函数。众所周知的对比度损失是确定性的,并且涉及温度超参数,该温度超参数缩放两个赋范特征嵌入之间的内积。通过重新解释的温度超参数作为一个量有关的半径的超球,我们推导出一个新的损失函数,涉及到一个置信度的措施,量化的不确定性在数学接地的方式。一些有趣的性质的建议损失函数的经验证明,这与人类的预测。我们相信本研究为对比学习的研究提供了一个新的视角。
2021-12-02 cs.LG
Generalized Supervised Contrastive Learning
Seoul National University Graduate School(首尔大学研究生院);University of Seoul(首尔市立大学);XAIMED Co., Ltd.(XAIMED有限公司)
本文提出广义监督对比损失,通过衡量标签相似性与潜在相似性间的交叉熵以充分利用标签分布,构建 GenSCL 框架并结合图像正则化与任意教师分类器,在 ImageNet、CIFAR10 和 CIFAR100 上取得新最优准确率。
2023-05-21 cs.CV cs.LG
Sentence Embeddings using Supervised Contrastive Learning
Princeton University(普林斯顿大学)
句子嵌入将句子编码在固定的密集向量中,并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习(如Quick-Thoughts)和监督学习(如Infersent)。随着预训练的NLP模型的成功,最近的研究表明,在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入,在各种评估基准上优于以前的句子嵌入方法。在本文中,我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说,我们的方法在SNLI数据上微调预训练的BERT,同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比,我们的监督对比方法在语义文本相似性(STS)基准测试中平均提高了2.8%,在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
Rethinking Weak Supervision in Helping Contrastive Learning
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Qing Yuan Research Institute(清源研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对弱监督信息能否直接用于对比学习的问题,本文建立统一理论框架,通过谱聚类相似度图与误差界分析,揭示半监督标签可改善下游误差而带噪标签作用有限。
2023-06-07 cs.LG
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research(脸书人工智能研究院)
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中,对比学习通过负样本对防止崩溃。已经表明,非对比方法遭受不同性质的较小崩溃问题:维度崩溃,其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里,我们表明,维度崩溃也发生在对比学习。在本文中,我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发,我们提出了一种新的对比学习方法,称为DirectRank,它直接优化表示空间,而不依赖于显式的可训练投影。实验表明,DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
Interactive Contrastive Learning for Self-supervised Entity Alignment
Tsinghua University(清华大学);Beijing University of Chemical Technology(北京化工大学);Singapore Management University(新加坡管理大学);Information Research Center of Military Science(军事科学院信息研究中心);China Mobile Research Institute(中国移动研究院)
自监督实体对齐(EA)的目标是在没有种子对齐的情况下将不同知识图谱(KG)之间的等价实体链接起来。当前的SOTA自监督EA方法从对比学习中获得灵感,该方法最初是基于实例判别和对比损失在计算机视觉中设计的,并且存在两个缺点。首先,它单向强调将采样的负实体推得很远,而不是像在完善的监督EA中那样将正对齐的对拉得很近。其次,KG包含丰富的边信息(例如,实体描述),以及如何有效地利用这些信息还没有得到充分的研究,在自我监督EA。在本文中,我们提出了一个互动的对比学习模型的自我监督EA。该模型不仅对实体的结构和语义(包括实体名称、实体描述和实体邻域)进行编码,而且通过建立伪对齐的实体对进行跨KG对比学习。实验结果表明,我们的方法优于以前的最好的自我监督的结果由一个大的利润率(超过9%的平均改善),并表现出与以前的SOTA监督同行,展示了互动对比学习的有效性自我监督EA。
2022-10-10 cs.AI cs.CL
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning
Stony Brook University(石溪大学);University of Washington(华盛顿大学);Tencent AI Lab(腾讯人工智能实验室)
标签是昂贵的,有时不可靠。噪声标签学习、半监督学习和对比学习是用于设计需要较少注释成本的学习过程的三种不同策略。半监督学习和对比学习最近已经被证明可以改进处理带有噪声标签的数据集的学习策略。尽管如此,这些领域之间的内在联系以及将其优势结合在一起的潜力才刚刚开始出现。在本文中,我们探讨了进一步的方式和优势,他们融合。具体来说,我们提出了CSSL,一个统一的对比半监督学习算法,和CoDiM(对比DivideMix),一种新的算法,用于学习噪声标签。CSSL利用了经典半监督学习和对比学习技术的强大功能,并进一步适应CoDiM,它从多种类型和级别的标签噪声中进行鲁棒学习。我们表明,CoDiM带来了一致的改进,并在多个基准测试中取得了最先进的结果。
2021-11-23 cs.CV cs.LG
Supervised Contrastive Learning for Product Matching
University of Mannheim(曼海姆大学)
近年来,对比学习已经推动了计算机视觉和信息检索中许多任务的发展。这张海报是第一个将监督对比学习应用于电子商务中使用来自不同电子商店的产品报价的产品匹配任务的工作。更具体地说,我们采用监督对比学习技术来预训练Transformer编码器,该编码器随后使用成对训练数据针对匹配任务进行微调。我们进一步提出了一个源感知的采样策略,使对比学习应用于用例中的训练数据不包含产品标识符。我们表明,将监督对比预训练与源感知采样相结合,可以显着提高几个广泛使用的基准测试的最新性能:对于Abt-Buy,我们达到了94.29的F1分数(与之前的最新水平相比,+3.24),对于Amazon-Google 79.28(+3.7)。对于WDC Computers数据集,根据训练集的大小,我们的F1得分在+0.8到+8.84之间。进一步的实验与数据增强和自我监督对比预训练表明,前者可以帮助较小的训练集,而后者会导致性能显着下降,由于固有的标签噪声。因此,我们得出结论,对比预训练具有很高的潜力,在产品匹配的用例中,明确的监督是可用的。
2022-05-02 cs.LG
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia(弗吉尼亚大学);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而,学习的表示可能会导致下游任务的性能差异,例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战,在这项工作中,我们研究了通过对比学习学习满足公平性概念的公平表示,即文本分类的均衡化几率。具体来说,我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系,然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验,以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外,我们还表明,所提出的方法是稳定的,在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
Understanding and Achieving Efficient Robustness with Adversarial Supervised Contrastive Learning
Monash University(莫纳什大学);Defence Science and Technology Group, Australia(澳大利亚国防科技集团);CSIRO Data61, Australia(澳大利亚联邦科学与工业研究组织Data61)
对比学习(CL)是近年来兴起的一种有效的表征学习方法。这种方法的核心是选择正(相似)和负(不相似)集,为模型提供在潜在空间中的数据和类表示之间进行“对比”的机会。在本文中,我们研究CL提高模型的鲁棒性使用对抗样本。我们首先设计并进行了一项全面的研究,以了解对抗性脆弱性在潜在空间中的表现。基于这些经验证据,我们提出了一种有效和高效的监督对比学习,以实现对对抗攻击的模型鲁棒性。此外,我们提出了一种新的样本选择策略,通过去除冗余和提高与锚的相关性来优化正/负集。大量的实验表明,我们的对抗监督对比学习(ASCL)方法实现了与最先进的防御相当的性能,同时通过仅使用$42.8\%$阳性和$6.3\%$阴性,显着优于其他基于CL的防御方法。
2021-10-22 cs.AI cs.CV cs.LG
Self-Supervised Video Representation Learning with Meta-Contrastive Network
University of Washington(华盛顿大学);Microsoft Research Asia(微软亚洲研究院)
自监督学习已成功应用于预训练视频表示,其目的是从预训练域到下游任务的有效适应。现有的方法仅仅利用对比损失来学习实例级区分。然而,缺乏类别信息将导致硬正问题,限制了这类方法的推广能力。我们发现元学习的多任务过程可以为这个问题提供解决方案。在本文中,我们提出了一个元对比网络(MCN),它结合了对比学习和元学习,以提高现有的自监督方法的学习能力。我们的方法包含两个基于模型不可知元学习(MAML)的训练阶段,每个阶段由一个对比分支和一个元分支组成。广泛的评估表明我们的方法的有效性。对于两个下游任务,即,在视频动作识别和视频检索方面,MCN在UCF 101和HMDB 51数据集上的性能优于最先进的方法。更具体地说,使用R(2 + 1)D主干,MCN在视频动作识别方面达到了84.8%和54.5%的Top-1准确率,在视频检索方面达到了52.5%和23.7%。
2021-08-23 cs.AI cs.CV cs.LG
Embodied-Symbolic Contrastive Graph Self-Supervised Learning for Molecular Graphs
IBM
双符号概念表示是深度学习和符号AI集成的基础。我们讨论了使用双重符号化概念表示的分子图表示学习,特别是与基于范例的对比自监督学习(SSL)。具体化表示从分子图中学习,符号表示从相应的化学知识图谱(KG)中学习。我们使用化学KG增强分子图与符号(语义)知识,并生成其增强分子图。我们将分子图及其语义增强的分子图视为同一语义类的范例,并在基于范例的对比SSL中将这些对用作正对。
2022-05-13 cs.LG
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services(亚马逊云科技);UMass Amherst(马萨诸塞大学阿默斯特分校);UCLA(加州大学洛杉矶分校)
少样本学习的目的是从一个任务中转移信息,以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中,我们调查的互补作用,这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习(SUPMOCO)。我们的方法避免了在监督学习中观察到的一个问题,即图像中与任务无关的信息被丢弃,这阻碍了它们对新任务的推广。我们表明,(自监督)对比学习和监督学习是互惠互利的,导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据,从而进一步改进。
2021-06-21 cs.CV cs.LG
Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations
Mila – Quebec AI Institute(Mila-魁北克人工智能研究所);McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院);University of Montreal(蒙特利尔大学)
我们研究了一种策略,通过在预训练期间利用少量的监督信息来提高视觉表示的对比学习的效率。我们提出了一个半监督损失,SuNCEt,基于噪声对比估计和邻域成分分析,其目的是区分不同类别的例子,除了自我监督的实例借口任务。在ImageNet上,我们发现SuNCEt可以用来匹配以前对比方法的半监督学习准确性,同时使用不到一半的预训练和计算量。我们的主要观点是,在预训练期间,而不仅仅是在微调期间,即使是少量的标记数据,也可以提供一个重要的信号,可以显着加速视觉表示的对比学习。我们的代码可在github.com/facebookresearch/suncet上获得。
2020-12-01 cs.CV cs.LG stat.ML
Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
Stanford University(斯坦福大学)
对比学习在计算机视觉方面取得了相当大的进展,在一系列下游数据集上的表现优于有监督的预训练。然而,对比学习是否在所有情况下都是更好的选择?我们证明了两种情况下,它不是。首先,在足够小的预训练预算下,ImageNet上的监督预训练在八个不同的图像分类数据集上的表现始终优于可比的对比模型。这表明,在数百或数千个epoch上比较预训练方法的常见做法可能不会为那些计算预算有限的人提供可操作的见解。其次,即使预训练预算较大,我们也可以识别出监督学习占主导地位的任务,这可能是因为监督预训练的以对象为中心的偏见使模型对常见的腐败和虚假的前景-背景相关性更具弹性。这些结果强调,需要在更广泛的背景和培训制度的特点权衡不同的预培训目标。
2021-12-10 cs.CV cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
本文提出统一理论框架,首次推导任意对比损失的鲁棒条件,证明InfoNCE不鲁棒并提出对称InfoNCE(SymNCE),同时解释最近邻样本选择等已有技术,实验验证其抗标签噪声优势。
2025-01-02 cs.LG
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft(微软)
由于标记数据的稀缺性,提高泛化能力是音频分类的主要挑战。自监督学习(SSL)方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中,我们提出了一个增强的对比SSL框架,学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据,并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明,我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
ConLID: Supervised Contrastive Learning for Low-Resource Language Identification
ConLID通过监督对比学习方法,提升低资源语言在领域外数据上的识别性能,同时保持高资源语言的识别效果。
2026-03-09 cs.AI cs.CL cs.LG
Text Transformations in Contrastive Self-Supervised Learning: A Review
Arizona State University(亚利桑那州立大学)
对比自监督学习已成为表示学习中的一种重要技术。这些方法的主要步骤是对比语义相似和不相似的样本对。然而,在自然语言处理(NLP)领域,用于创建关于对比学习(CL)假设的相似对的增强方法具有挑战性。这是因为,即使简单地修改输入中的单词也可能改变句子的语义含义,因此违反了分布假设。在这篇综述论文中,我们形式化的对比学习框架,强调需要解决的数据转换步骤中的考虑因素,并审查国家的最先进的方法和评价的对比表示学习在自然语言处理。最后,我们描述了使用对比方法学习更好的文本表示的一些挑战和潜在方向。
2022-06-06 cs.CL cs.LG
Unified Framework for Feature Extraction based on Contrastive Learning
China Agricultural University(中国农业大学);Beijing Engineering and Technology Research Center for Internet of Things in Agriculture(北京农业物联网工程技术研究中心);University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);National Innovation Center for Digital Fishery(国家数字渔业创新中心)
特征提取是解决高维数据维数问题的有效方法。作为一种流行的自监督学习方法,对比学习近年来受到了广泛的关注。在这项研究中,我们提出了一个统一的框架的基础上,一个新的角度对比学习(CL),适用于无监督和监督特征提取。该框架首先构造了两个CL图,用于唯一地定义正负对。然后通过最小化对比损失函数确定投影矩阵。此外,该框架考虑了相似和不相似的样本,统一了无监督和有监督的特征提取。提出了三种具体的方法:无监督对比学习方法、有监督对比学习方法1和有监督对比学习方法2。最后,在五个真实数据集上的数值实验表明,与现有的方法相比,该框架的优越性能。
2021-09-13 cs.LG
Towards the Generalization of Contrastive Self-Supervised Learning
Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
最近,自监督学习引起了极大的关注,因为它只需要未标记的数据进行模型训练。对比学习是自监督学习的一种流行方法,并且已经取得了很好的实验效果。然而,对其泛化能力的理论认识仍然有限。为此,我们定义了一种$(σ,δ)$ -措施数学量化的数据增强,然后提供了一个上限的下游分类出错率的基础上的措施。结果表明,对比自监督学习的泛化能力与正样本的对齐、类中心的发散和扩充数据的集中度等三个关键因素有关。前两个因素是学习表示的属性,而第三个因素由预定义的数据增强确定。我们进一步研究了两个典型的对比损失,InfoNCE和互相关,以展示它们如何可证明地实现前两个因素。此外,我们进行实验来研究第三个因素,并观察到下游性能和增强数据的浓度之间的强相关性。
2023-03-02 cs.AI cs.CV cs.LG
Contrastive Self-Supervised Learning for Commonsense Reasoning
SAP AI Research(SAP人工智能研究院)
我们提出了一个自我监督的方法来解决代词消歧和Winograd模式挑战问题。我们的方法利用了与所谓的“触发”词相关的训练语料库的特征结构,这些词负责在代词消歧中翻转答案。我们通过构造成对对比辅助预测来实现这种常识推理。为此,我们利用由对比保证金规范化的互斥损失。我们的架构是基于最近推出的Transformer网络,BERT,表现出强大的性能在许多NLP基准。实验结果表明,我们的方法消除了现有的监督方法的局限性常识推理。这项研究开辟了利用廉价的自我监督,以实现性能增益常识推理任务的途径。
2020-05-02 cs.AI cs.CL
On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning
Yonsei University(延世大学)
针对非对称非对比学习在监督表示学习中研究不足的问题,提出 SupSiam 与 SupBYOL,通过引入标签并调节监督贡献来降低类内方差、避免坍塌,并在多数据集和任务上验证其优越性。
2024-06-16 cs.AI cs.CV cs.LG
Mixed Supervised Graph Contrastive Learning for Recommendation
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
提出MixSGCL方法,将推荐与对比损失整合为监督对比学习损失以统一优化方向,并引入节点级和边级混合挖掘监督信号,有效缓解数据稀疏性,在准确率和效率上超越现有方法。
2024-04-25 cs.IR cs.LG
Concept Representation Learning with Contrastive Self-Supervised Learning
IBM
面向概念的深度学习(CODL)是一种应对深度学习未来挑战的通用方法:(1)在很少或没有外部监督的情况下学习,(2)处理来自与训练样本不同分布的测试样本,以及(3)将深度学习与符号AI集成。在CODL中,就像在人类学习中一样,概念表示是基于概念范例学习的。对比自监督学习(CSSL)提供了一种很有前途的方法来做到这一点,因为它:(1)使用数据驱动的关联,摆脱语义标签,(2)支持增量和持续学习,摆脱(大型)固定数据集,(3)适应紧急目标,摆脱固定目标(任务)。我们讨论了使用CSSL的概念表示学习的主要方面。这些包括双层概念表示,CSSL特征表示,范例相似性度量和自监督关系推理,增量和连续CSSL,以及对比自监督概念(类)增量学习。讨论利用了认知神经科学和CSSL的最新发现。
2022-02-03 cs.LG
Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning
Tencent AI Lab(腾讯人工智能实验室)
在这项研究中,我们研究了用于说话人确认(SV)的自监督表示学习。首先,我们研究了一个简单的对比学习方法(Simplified)与动量对比(MoCo)学习框架,其中MoCo扬声器嵌入系统利用队列来维护一个大的负面例子。我们发现,更好的发言人嵌入可以通过动量对比学习。接下来,替代增强策略进行了探讨,规范化的两个随机段从同一语音话语的外在说话人变异。具体而言,波形的增强在很大程度上改善了SV任务的扬声器表示。当引入一个原型记忆库时,所提出的MoCo说话人嵌入得到进一步改进,这鼓励说话人嵌入更接近其分配的原型,并具有中间聚类步骤。此外,我们将自监督框架推广到半监督场景,其中只有一小部分数据被标记。在Voxceleb数据集上的综合实验表明,与现有技术相比,我们提出的自监督方法具有竞争力的性能,并且可以用部分标记的数据来接近完全监督的结果。
2021-02-14 cs.LG eess.AS
Efficient Availability Attacks against Supervised and Contrastive Learning Simultaneously
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
提出同时针对监督与对比学习的高效可用性攻击,采用类对比数据增强于监督误差最小化/最大化框架,实现两者最坏情况不可学习性且计算消耗更低。
2024-02-06 cs.LG stat.ML
An Augmentation-Aware Theory for Self-Supervised Contrastive Learning
Peking University(北京大学);University of Twente(特文特大学)
首次提出自监督对比学习的增强感知误差界,揭示数据增强引发的权衡对监督风险的影响,并通过像素级和表示级实验验证了理论结果。
2025-05-28 cs.LG
Semi-Supervised Contrastive Learning with Orthonormal Prototypes
Department of Electrical Engineering, Statistics, Biostatistics(电气工程系、统计学与生物统计学系);Wisconsin Institute of Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出CLOP,一种基于正交原型的半监督对比学习方法,通过促进类嵌入正交子空间形成,防止维度坍缩,提升图像分类和目标检测性能。
2025-11-27 cs.LG
Weakly-Supervised Contrastive Learning for Imprecise Class Labels
School of Computer Science and Engineering, Southeast University, Nanjing, China(计算机科学与工程学院,东南大学,南京,中国);Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China(计算机网络与信息集成重点实验室(东南大学),教育部,中国)
针对不精确类标签限制监督对比学习的问题,提出基于连续语义相似度的图论弱监督对比学习框架,通过迭代细化弱监督信号测量样本对相似度,在噪声和部分标签场景下显著提升性能并具备理论误差保证。
2025-05-28 cs.LG
Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods
Meta AI Research(Meta人工智能研究院);NYU(纽约大学)
自监督学习(SSL)推测输入和成对的正关系足以学习有意义的表示。虽然SSL最近达到了一个里程碑:在许多模态\dots中优于监督方法,但理论基础有限,方法特定,并且未能为从业者提供原则性的设计指南。在本文中,我们提出了一个统一的框架下的频谱流形学习,以解决这些限制。通过这项研究的过程中,我们将严格证明VICReg,Simplified,BarlowTwins等。对应于epsilon谱方法,如Laplacian Eigenmaps,Multidimensional Scaling等。这种统一将使我们能够获得(i)每种方法的闭合形式最佳表示,(ii)每种方法的线性区域中的闭合形式最佳网络参数,(iii)训练过程中使用的成对关系对每个量和下游任务性能的影响,最重要的是,(iv)对比和非对比方法之间的第一个理论桥梁,分别通向全局和局部谱嵌入方法,暗示每个方法的优点和局限性。例如,(i)如果成对关系与下游任务对齐,则可以成功地采用任何SSL方法并将恢复监督方法,但在低数据状态下,VICReg的不变性超参数应该较高;(ii)如果成对关系与下游任务不对齐,则具有小不变性超参数的VICReg应该优于Simplified或BarlowTwins。
2022-06-10 cs.AI cs.CV cs.LG
Contrastive Neural Processes for Self-Supervised Learning
Panasonic AI Lab(松下人工智能实验室);Panasonic Technology Division(松下技术部门);AIoli Labs(AIoli实验室)
最近的对比方法显示了自监督学习在几个领域的显着改善。特别地,对比方法在例如计算机视觉中可以容易地构造数据增强的情况下是最有效的。然而,它们在没有建立数据转换(如时间序列数据)的领域中不太成功。在本文中,我们提出了一种新的自监督学习框架,结合对比学习与神经过程。它依赖于神经过程的最新进展来执行时间序列预测。这允许通过采用一组各种采样函数来生成数据的增强版本,从而避免手动设计的增强。我们扩展了传统的神经过程,并提出了一种新的对比损失,以在自监督设置中学习时间序列表示。因此,与以前的自监督方法不同,我们的增强管道是任务不可知的,使我们的方法能够在各种应用程序中表现良好。特别是,使用我们的方法训练的具有线性分类器的ResNet能够在工业,医疗和音频数据集上超越最先进的技术,将ECG周期性数据的准确性提高10%以上。我们进一步证明了我们的自监督表示在潜在空间中更有效,提高了多个聚类指数,并且在10%的标签上微调我们的方法可以获得与完全监督学习竞争的结果。
2021-12-08 cs.LG eess.SP
WeCromCL: Weakly Supervised Cross-Modality Contrastive Learning for Transcription-only Supervised Text Spotting
Baidu Inc.(百度公司)
针对仅转录监督文本定位无需边界标注的需求,提出弱监督跨模态对比学习模型WeCromCL,通过逐字符细粒度对比学习检测转录文本锚点作为伪标签,在四个基准上取得优于现有方法的性能。
2025-01-13 cs.AI cs.CV
Self-Supervised Video Representation Learning with Motion-Contrastive Perception
Fudan University(复旦大学)
纯视觉自监督学习在视频表示学习中取得了显著的进步。现有的相关方法鼓励模型通过利用对比学习或设计特定的借口任务来学习视频表示。然而,一些模型可能会关注背景,这对于学习视频表示并不重要。为了缓解这个问题,我们提出了一个新的视图称为远程残差帧,以获得更多的运动特定的信息。在此基础上,我们提出了运动对比感知网络(MCPNet),它包括两个分支,即运动信息感知(MIP)和对比实例感知(CIP),通过关注视频中的变化区域来学习通用视频表示。具体而言,MIP分支旨在学习细粒度的运动特征,CIP分支执行对比学习以学习每个实例的整体语义信息。在两个基准数据集UCF-101和HMDB-51上的实验表明,我们的方法优于当前最先进的视觉自监督方法。
2022-04-10 cs.AI cs.CV
Supervised Contrastive Learning with Structure Inference for Graph Classification
Beijing University of Technology(北京工业大学)
近年来,高级图神经网络在图分类方面显示出巨大的潜力。与节点分类不同的是,图分类需要对不同层次的拓扑信息进行分层积累,以生成有区别的图嵌入,节点分类可以直接使用从本地邻居聚合的节点嵌入来学习节点标签。尽管如此,如何充分探索图结构并制定有效的图分类管道仍然是基本的。本文提出了一种基于结构推理的有监督对比学习的图神经网络。首先,我们提出了一个数据驱动的图增强策略,可以发现额外的连接,以增强现有的边集。具体地说,我们诉诸于一个结构推理阶段的基础上扩散级联,以恢复可能的连接与高节点相似性。其次,为了提高图神经网络的对比度,我们提出了使用监督对比损失进行图分类。通过标签信息的整合,可以将one-vs-many对比学习扩展到many-vs-many,从而将拓扑相似度较高的图级嵌入拉近。监督对比损失和结构推理可以自然地并入分层图神经网络中,其中拓扑模式可以被充分探索以产生有区别的图嵌入。实验结果表明,该方法的有效性与最近的国家的最先进的方法相比。
2022-03-15 cs.LG
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore(联发科新加坡)
基于神经网络的语音识别系统由于口音语音,特别是不熟悉的口音而遭受性能下降。在本文中,我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图(类似的"积极"的数据样本)的对比学习,三个数据增强技术,包括噪声注入,频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验,我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示,这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明,对比学习比联合训练方法平均提高了3.66%(zero-shot)和3.78%(full-shot)的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Self-supervised Learning: Generative or Contrastive
Tsinghua University(清华大学);Tsinghua National Laboratory for Information Science and Technology (TNList)(清华信息科学与技术国家实验室);Anhui University(安徽大学);Renmin University of China(中国人民大学)
深度监督学习在过去十年中取得了巨大的成功。然而,其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法,在过去的几年里,由于其在表示学习方面的出色表现,吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督,并使几乎所有类型的下游任务受益。在这篇综述中,我们将探讨新的自监督学习方法,用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法,并根据其目标将其归纳为三个主要类别:生成,对比和生成对比(对抗)。我们进一步研究相关的理论分析工作,提供更深层次的思考自监督学习是如何工作的。最后,我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
An Investigation into the Performance of Non-Contrastive Self-Supervised Learning Methods for Network Intrusion Detection
Freie Universität, Berlin Germany(柏林自由大学)
该研究针对网络入侵检测中非对比自监督方法效果不明的问题,对比5种非对比方法搭配不同编码器、增强策略的表现,验证了其相较传统无监督基线的检测竞争力。
2025-09-27 cs.AI cs.CR
Variational Self-Supervised Contrastive Learning Using Beta Divergence
Sabanci University(萨班哲大学);Türkiye(土耳其)
针对多标签场景下未标注含噪数据的判别表示学习问题,提出结合 beta 散度的变分对比自监督方法 VCL,并在人脸理解多标签实验中取得优于现有自监督方法的准确率。
2024-05-08 cs.CV cs.LG
Supervised Contrastive Learning
Google Research(谷歌研究院);Boston University(波士顿大学);Snap Inc.(森宝公司);MIT(麻省理工学院)
近年来,应用于自监督表示学习的对比学习已经出现了复苏,导致了深度图像模型的无监督训练的最新表现。现代批量对比方法的性能优于或显著优于传统的对比损失,如三重,最大余量和N对损失。在这项工作中,我们将自监督批量对比方法扩展到完全监督设置,使我们能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起,同时将来自不同类的样本簇推开。我们分析了两种可能的版本的监督对比(SupCon)损失,确定性能最好的制定的损失。在ResNet-200上,我们在ImageNet数据集上实现了81.4%的top-1准确率,比该架构报告的最佳数字高出0.8%。我们在其他数据集和两个ResNet变体上显示出一致的优于交叉熵的性能。损失显示出对自然损坏的鲁棒性的益处,并且对超参数设置(例如优化器和数据增强)更稳定。我们的损失函数易于实现,参考TensorFlow代码在https://t.ly/supcon上发布。
2021-03-10 cs.CV cs.LG stat.ML
Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning
IBM(国际商业机器公司)
人类能够从少数(标记的)样本中学习新概念,增量和持续。这发生在我们可以区分样本的上下文中,以及样本和大量其他数据(未标记和标记)之间。这表明,在人类学习中,基于范例的概念监督学习发生在基于未标记和标记数据的对比自监督学习(CSSL)的更大背景下。我们讨论扩展CSSL(1)主要基于样本,其次是数据增强,(2)适用于未标记的数据(一般有大量可用)和标记的数据(一些样本可以获得有价值的监督知识)。这些扩展的主要好处是基于范例的CSSL,具有监督微调,支持Few-Shot类增量学习(CIL)。具体来说,我们讨论了基于样本的CSSL,包括:最近邻CSSL,监督预训练的邻域CSSL,以及监督微调的样本CSSL。我们进一步讨论使用基于范例的CSSL,以促进少样本学习,特别是,Few-Shot CIL。
2022-02-05 cs.LG