Contrastive Semi-supervised Learning for ASR
Facebook AI
伪标记是自动语音识别（ASR）模型预训练中最常用的方法。然而，它的性能受到监督教师模型的质量下降，在低资源设置和域转移。受计算机视觉和语音应用中对比表示学习的成功以及最近视觉对象的监督学习的启发，我们提出了对比半监督学习（CSL）。CSL避免直接预测教师生成的伪标签，而是利用它们来选择正面和负面的例子。在转录公共社交媒体视频的挑战性任务中，当使用10小时的监督数据来注释75，000小时的视频时，与标准交叉熵伪标记（CE-PL）相比，使用CSL将WER降低了8%。在使用1小时标签进行教师监督的超低资源条件下，WER减少了19%。CSL在域外条件下的泛化能力要好得多，与最好的CE-PL预训练模型相比，WER降低了17%。
2021-03-09 cs.CL
Attention-based Contrastive Learning for Winograd Schemas
SAP AI Research（SAP人工智能研究）
自监督学习最近在NLP社区引起了相当大的关注，因为它能够使用对比目标来学习区分特征。本文探讨了对比学习是否可以扩展到Transfomer注意力，以应对Winograd图式挑战。为此，我们提出了一种新的自我监督框架，直接在自我注意力水平上利用对比损失。在多个数据集上对我们的基于注意力的模型进行的实验分析表明，该模型具有卓越的常识推理能力。所提出的方法优于所有可比的无监督的方法，偶尔超过监督的。
2021-09-10 cs.CL
Self-Supervised Contrastive Learning with Adversarial Perturbations for Defending Word Substitution-based Attacks
ETH Zurich（苏黎世联邦理工学院）
在本文中，我们提出了一种方法来提高BERT语言模型对基于单词替换的对抗攻击的鲁棒性，通过利用对抗性扰动进行自监督对比学习。我们创建了一个词级对抗攻击，在对比学习过程中动态生成硬阳性作为对抗示例。与以前的工作相比，我们的方法提高了模型的鲁棒性，而不使用任何标记的数据。实验结果表明，该方法提高了BERT对四种不同的基于词替换的对抗攻击的鲁棒性，并且将该方法与对抗训练相结合，比单独进行对抗训练具有更高的鲁棒性。由于我们的方法纯粹使用未标记数据提高了BERT的鲁棒性，因此它开辟了使用大型文本数据集来训练鲁棒语言模型以对抗基于单词替换的对抗攻击的可能性。
2022-05-24 cs.CL
reCSE: Portable Reshaping Features for Sentence Embedding in Self-supervised Contrastive Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室）
提出基于特征重塑的自监督对比学习句子表示框架reCSE，通过聚合token全局信息缓解表示极性和GPU内存消耗问题，在语义相似度任务中表现优异且具备强通用性。
2024-08-26 cs.CL
Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision
Kyoto University（京都大学）
远程监督的对比预训练在提高监督式关系抽取任务方面表现出显著的效果。然而，现有的方法忽略了在预训练阶段的远程监督的固有噪声。在本文中，我们提出了一种加权对比学习方法，利用监督数据来估计预训练实例的可靠性，并显式地减少噪声的影响。在三个监督数据集上的实验结果证明了我们提出的加权对比学习方法与两个最先进的非加权基线相比的优势。我们的代码和模型可以在https://github.com/YukinoWan/WCL上获得
2023-02-10 cs.CL
SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
具有对比学习目标的预训练方法在对话理解任务中表现出显著的成功。然而，当前的对比学习仅将自增强对话样本视为正样本，而将所有其他对话样本视为负样本，这甚至对于语义相关的对话实施了不同的表示。在本文中，我们提出了SPACE-2，一个树结构的预训练会话模型，它通过半监督对比预训练从有限的标记对话和大规模的未标记对话语料库中学习对话表示。具体地说，我们首先定义了一个通用的语义树结构（STS），以统一不同的对话数据集之间的不一致的注释模式，使丰富的结构信息存储在所有标记的数据可以被利用。然后，我们提出了一种新的多视图评分函数，以增加共享相似STS的所有可能对话的相关性，并且在监督对比预训练期间仅推开其他完全不同的对话。为了充分利用未标记的对话框，还添加了基本的自监督对比损失以改进学习的表示。实验表明，我们的方法可以实现新的国家的最先进的结果DialogLUE基准组成的七个数据集和四个流行的对话理解任务。为了重现性，我们在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/space-2上发布代码和数据。
2022-09-14 cs.CL
Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
放射学报告生成旨在从放射学图像自动生成描述性文本，这可能为改进放射学报告和解释提供机会。一个典型的设置包括在具有交叉熵损失的图像-报告对上训练编码器-解码器模型，这很难生成用于临床诊断的信息句子，因为正常发现占数据集的主导地位。为了应对这一挑战，并鼓励更临床准确的文本输出，我们提出了一种新的弱监督对比损失的医疗报告生成。实验结果表明，我们的方法受益于对比目标报告与不正确的，但语义上接近的。它在两个公共基准的临床正确性和文本生成指标方面都优于以前的工作。
2021-09-25 cs.CL
Interactive Contrastive Learning for Self-supervised Entity Alignment
Tsinghua University（清华大学）；Beijing University of Chemical Technology（北京化工大学）；Singapore Management University（新加坡管理大学）；Information Research Center of Military Science（军事科学院信息研究中心）；China Mobile Research Institute（中国移动研究院）
自监督实体对齐（EA）的目标是在没有种子对齐的情况下将不同知识图谱（KG）之间的等价实体链接起来。当前的SOTA自监督EA方法从对比学习中获得灵感，该方法最初是基于实例判别和对比损失在计算机视觉中设计的，并且存在两个缺点。首先，它单向强调将采样的负实体推得很远，而不是像在完善的监督EA中那样将正对齐的对拉得很近。其次，KG包含丰富的边信息（例如，实体描述），以及如何有效地利用这些信息还没有得到充分的研究，在自我监督EA。在本文中，我们提出了一个互动的对比学习模型的自我监督EA。该模型不仅对实体的结构和语义（包括实体名称、实体描述和实体邻域）进行编码，而且通过建立伪对齐的实体对进行跨KG对比学习。实验结果表明，我们的方法优于以前的最好的自我监督的结果由一个大的利润率（超过9%的平均改善），并表现出与以前的SOTA监督同行，展示了互动对比学习的有效性自我监督EA。
2022-10-10 cs.AI cs.CL
Text Transformations in Contrastive Self-Supervised Learning: A Review
Arizona State University（亚利桑那州立大学）
对比自监督学习已成为表示学习中的一种重要技术。这些方法的主要步骤是对比语义相似和不相似的样本对。然而，在自然语言处理（NLP）领域，用于创建关于对比学习（CL）假设的相似对的增强方法具有挑战性。这是因为，即使简单地修改输入中的单词也可能改变句子的语义含义，因此违反了分布假设。在这篇综述论文中，我们形式化的对比学习框架，强调需要解决的数据转换步骤中的考虑因素，并审查国家的最先进的方法和评价的对比表示学习在自然语言处理。最后，我们描述了使用对比方法学习更好的文本表示的一些挑战和潜在方向。
2022-06-06 cs.CL cs.LG
Contrastive Self-Supervised Learning for Commonsense Reasoning
SAP AI Research（SAP人工智能研究院）
我们提出了一个自我监督的方法来解决代词消歧和Winograd模式挑战问题。我们的方法利用了与所谓的“触发”词相关的训练语料库的特征结构，这些词负责在代词消歧中翻转答案。我们通过构造成对对比辅助预测来实现这种常识推理。为此，我们利用由对比保证金规范化的互斥损失。我们的架构是基于最近推出的Transformer网络，BERT，表现出强大的性能在许多NLP基准。实验结果表明，我们的方法消除了现有的监督方法的局限性常识推理。这项研究开辟了利用廉价的自我监督，以实现性能增益常识推理任务的途径。
2020-05-02 cs.AI cs.CL
SupCL-Seq: Supervised Contrastive Learning for Downstream Optimized Sequence Representations
DSIG - Bayer Pharmaceuticals（拜耳制药 DSIG）；New York University（纽约大学）；Michigan State University（密歇根州立大学）
虽然对比学习被证明是计算机视觉中一种有效的训练策略，但自然语言处理（NLP）直到最近才将其作为掩蔽语言建模（MLM）的自监督替代方案，以改进序列表示。本文介绍了SupCL-Seq，它将有监督的对比学习从计算机视觉扩展到NLP中序列表示的优化。通过改变标准Transformer架构中的丢弃掩码概率，对于每个表示（锚），我们生成增强的改变视图。然后利用监督对比损失来最大化系统将相似样本拉在一起的能力（例如，锚和它们改变的视图）并推开属于其他类的样本。尽管它很简单，但与标准BERTbase相比，SupCLSeq在GLUE基准上的许多序列分类任务中都有很大的收益，包括CoLA上6%的绝对改进，MRPC上5.4%，RTE上4.7%和STSB上2.6%。我们还显示出一致的收益超过自我监督的对比学习表示，特别是在非语义任务。最后，我们表明，这些收益不仅仅是由于增强，而是下游优化的序列表示。代码：https://github.com/hooman650/SupCL-Seq
2021-09-15 cs.CL cs.LG
Token-Level Supervised Contrastive Learning for Punctuation Restoration
Southern University of Science and Technology（南方科技大学）；University of Surrey（萨里大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
标点符号对于理解自然语言文本至关重要。当前，大多数自动语音识别（ASR）系统不生成标点，这影响了下游任务（诸如意图检测和槽填充）的性能。这就需要恢复标点符号。最近的标点符号恢复工作大量利用预训练的语言模型，而不考虑预测标点符号类时的数据不平衡。在这项工作中，我们解决这个问题，提出了一个令牌级监督对比学习方法，旨在最大限度地提高不同的标点符号在嵌入空间中的表示的距离。结果表明，使用标记级监督对比学习的训练在测试集上获得了高达3.2%的绝对F1改进。
2023-03-03 cs.CL cs.LG
CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models
Tsinghua University（清华大学）；Tencent（腾讯）
微调预训练的语言模型（PLM）最近在各种下游NLP任务上证明了其有效性。然而，在许多低资源的情况下，传统的微调策略不能充分捕捉下游任务的重要语义特征。为了解决这个问题，我们引入了一个新的框架（名为“CSS-LM”），以提高通过对比半监督学习的PLM的微调阶段。具体来说，给定一个特定的任务，我们检索积极和消极的实例从大规模的未标记语料库根据其领域级和类级的语义相关的任务。然后，我们进行对比半监督学习检索未标记和原始标记的实例，以帮助PLM捕捉关键的任务相关的语义特征。实验结果表明，CSS-LM在一系列Few-Shot设置的下游任务上取得了比传统微调策略更好的效果，并且优于最新的监督对比微调策略。我们的数据集和源代码将提供更多细节。
2021-03-03 cs.CL cs.LG
Acoustic word embeddings for zero-resource languages using self-supervised contrastive learning and multilingual adaptation
School of Data Science and Computational Thinking (SU)（数据科学与计算思维学院（南非大学））
声学词嵌入（AWE）是可变长度语音段的固定维表示。对于没有标记数据的零资源语言，一种AWE方法是使用无监督的基于自动编码器的递归模型。另一种最近的方法是使用多语言传输：在几种资源丰富的语言上训练有监督的AWE模型，然后将其应用于一种看不见的零资源语言。我们考虑如何最近的对比学习损失可以在纯粹的无监督和多语言传输设置。首先，我们证明了来自无监督术语发现系统的术语可以用于对比自我监督，从而改进了以前的无监督单语AWE模型。其次，我们考虑如何多语言AWE模型可以适应一个特定的零资源语言使用发现的条款。我们发现，自监督对比适应优于适应多语言对应自动编码器和暹罗AWE模型，在六种零资源语言的单词识别任务中获得了最佳的整体结果。
2021-03-19 cs.CL eess.AS
HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）
远距离监督假设任何包含相同实体对的句子都反映相同的关系。以往的远距离监督关系抽取（DSRE）任务一般都是独立地进行单级或袋级去噪，而忽略了与跨级的显式交互。本文提出了一种基于层次对比学习的远程监督关系抽取框架（HiCLRE），该框架综合了全局结构信息和局部细粒度交互，能够有效地减少噪声句子。具体来说，我们提出了一个三层的分层学习框架，通过调整现有的多头自注意力，生成去噪的上下文感知表示，命名为多粒度重构。同时，伪正样本也提供在特定的水平，对比学习通过动态梯度的数据增强策略，称为动态梯度对抗扰动。实验表明，HiCLRE在各种主流DSRE数据集上的性能明显优于强基线。
2022-02-27 cs.AI cs.CL
Semi-supervised New Event Type Induction and Description via Contrastive Loss-Enforced Batch Attention
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
大多数事件提取方法传统上依赖于一组带注释的事件类型。然而，创建事件本体和注释监督训练数据是昂贵和耗时的。以前的工作已经提出了半监督的方法，利用看到（注释）类型来学习如何自动发现新的事件类型。最先进的方法，无论是半监督还是完全无监督，都在上下文中对特定令牌使用某种形式的重建损失。相比之下，我们提出了一种新的方法，半监督新的事件类型的诱导使用掩蔽的对比损失，学习事件之间的相似性提到通过强制执行注意力机制的数据minibatch。我们通过近似数据中的底层流形来进一步解开所发现的集群，这使我们能够将归一化互信息和Fowlkes-Malows分数绝对值提高20%以上。在这些聚类结果的基础上，我们将我们的方法扩展到两个新的任务：预测发现的集群的类型名称，并将它们与FrameNet框架相关联。
2022-02-12 cs.AI cs.CL
Dictionary-Assisted Supervised Contrastive Learning
New York University（纽约大学）
社会科学中的文本分析通常涉及使用专业词典来推理抽象概念，例如对经济的看法或社交媒体上的滥用。这些词典允许研究人员传授领域知识，并记录与感兴趣的概念相关的单词的微妙用法。我们引入了词典辅助监督对比学习（DASCL）目标，允许研究人员在微调预训练的语言模型时利用专门的词典。首先对文本进行关键字简化：一个通用的固定标记替换语料库中出现在词典中与感兴趣的概念相关的任何单词。在微调过程中，有监督的对比目标使同一类的原始文本和关键词简化文本的嵌入更接近，同时使不同类的嵌入进一步分开。同一个类的关键字简化文本在文本上比它们的原始文本更相似，这额外地将同一个类的嵌入更紧密地结合在一起。与单独使用交叉熵和替代对比和数据增强方法相比，组合DASCL和交叉熵提高了少样本学习设置和社会科学应用中的分类性能指标。
2022-10-27 cs.CL cs.LG
HC$^2$L: Hybrid and Cooperative Contrastive Learning for Cross-lingual Spoken Language Understanding
University of Science and Technology Beijing（北京科技大学）；Agency for Science, Technology and Research（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；University of Technology Sydney（悉尼科技大学）
针对零样本跨语言口语理解中标签信息未被利用的问题，提出融合无监督与三类有监督对比学习的协作框架，在9种语言上取得新SOTA。
2024-05-10 cs.AI cs.CL
Contrastive Distillation Is a Sample-Efficient Self-Supervised Loss Policy for Transfer Learning
Meta AI
传统的强化学习方法集中在直接从情景决策中学习决策策略，而缓慢而隐式地学习泛化所需的组合表示的语义。虽然已经采用了一些方法来通过辅助自监督损失来改进表示，同时学习决策策略，但从手工设计和上下文无关的自监督损失（多视图）学习组成表示仍然相对缓慢地适应现实世界，现实世界包含许多非IID子空间，这些子空间需要在不同抽象级别的时间和空间注意力模式中快速分布偏移。相比之下，监督语言模型级联显示出适应许多不同流形的灵活性，以及自主任务转移所需的自学习提示。然而，到目前为止，语言模型的迁移方法，如少样本学习和微调仍然需要人的监督和使用自学习方法的迁移学习还没有得到充分的探索。我们提出了一个自我监督的损失政策，称为对比蒸馏，体现了高互信息与源和目标任务从权重令牌的潜在变量。我们展示了这是如何优于常见的迁移学习方法，并提出了一个有用的设计轴的权衡计算的泛化在线传输。对比蒸馏是通过从内存中采样改进，并提出了一个简单的算法，更有效地抽样对比损失的负例比随机抽样。
2022-12-21 cs.CL cs.LG
LLMSniffer: Detecting LLM-Generated Code via GraphCodeBERT and Supervised Contrastive Learning
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出LLMSniffer框架，通过GraphCodeBERT和监督对比学习检测AI生成代码，实验表明其在GPTSniffer和Whodunit数据集上准确率显著提升。
2026-04-17 cs.CL cs.SE
Similarity-Dissimilarity Loss for Multi-label Supervised Contrastive Learning
University of Essex（埃塞克斯大学）；Queen Mary University of London（伦敦大学玛丽女王学院）
本文提出相似性-差异性损失，通过动态加权样本解决多标签场景下正样本确定问题，提供理论证明并统一单标签与多标签对比学习框架，实验表明方法在图像、文本和医疗领域均优于基线。
2026-06-13 cs.CL cs.CV cs.LG
A Cross-Corpus Speech Emotion Recognition Method Based on Supervised Contrastive Learning
Southeast University（东南大学）
针对语音情感识别中大规模公开数据集缺乏、跨分布数据泛化能力有限的问题，提出基于监督对比学习的两阶段微调跨语料库方法，在IEMOCAP和CASIA数据集上取得优于现有最佳结果的无加权准确率。
2024-11-25 cs.CL cs.SD eess.AS
ConLID: Supervised Contrastive Learning for Low-Resource Language Identification
ConLID通过监督对比学习方法，提升低资源语言在领域外数据上的识别性能，同时保持高资源语言的识别效果。
2026-03-09 cs.AI cs.CL cs.LG
Self-supervised Contrastive Cross-Modality Representation Learning for Spoken Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语问答（SQA）需要对口语文档和问题进行细粒度的理解，以获得最佳答案预测。在本文中，我们提出了新的训练计划，口语问答与自我监督的训练阶段和对比表示学习阶段。在自监督阶段，我们提出了三个辅助的自监督任务，包括话语恢复，话语插入，和问题的歧视，并共同训练模型，以捕捉语音文档之间的一致性和连贯性，而无需任何额外的数据或注释。然后，我们建议通过采用多种增强策略，包括跨度删除和跨度替换，在对比目标中学习噪声不变的话语表示。此外，我们设计了一个时间对齐注意，语义对齐的语音文本线索在学习的共同空间和效益的SQA任务。通过这种方式，训练方案可以更有效地指导生成模型预测更合适的答案。实验结果表明，我们的模型在三个SQA基准测试中取得了最先进的结果。
2021-09-08 cs.AI cs.CL cs.LG
