Imposing Relation Structure in Language-Model Embeddings Using Contrastive Learning
KU Leuven（鲁汶大学）；Idiap Research Institute（Idiap研究所）；EPFL（洛桑联邦理工学院）
针对语言模型嵌入捕捉实体关系等高层语义能力不足的问题，提出基于对比学习的框架，在CharacterBERT词元表征上施加关系结构，所得关系感知嵌入用简单KNN即达关系抽取SOTA，还可融合实体识别表征空间用于实体关系任务。
2021-09-04 cs.AI cs.CL
HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）
远距离监督假设任何包含相同实体对的句子都反映相同的关系。以往的远距离监督关系抽取（DSRE）任务一般都是独立地进行单级或袋级去噪，而忽略了与跨级的显式交互。本文提出了一种基于层次对比学习的远程监督关系抽取框架（HiCLRE），该框架综合了全局结构信息和局部细粒度交互，能够有效地减少噪声句子。具体来说，我们提出了一个三层的分层学习框架，通过调整现有的多头自注意力，生成去噪的上下文感知表示，命名为多粒度重构。同时，伪正样本也提供在特定的水平，对比学习通过动态梯度的数据增强策略，称为动态梯度对抗扰动。实验表明，HiCLRE在各种主流DSRE数据集上的性能明显优于强基线。
2022-02-27 cs.AI cs.CL
HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction
Tsinghua University（清华大学）；Amazon（亚马逊）；University of Illinois at Chicago（伊利诺伊大学香槟分校）
提出层次范例对比学习框架HiURE，利用跨层次注意力获取层次信号并优化句子关系表示，解决无监督关系抽取中的漂移和相似句对误分问题，在公开数据集上优于现有模型。
2025-06-18 cs.AI cs.CL
Language Agnostic Multilingual Information Retrieval with Contrastive Learning
Carnegie Mellon University（卡内基梅隆大学）；AWS AI Labs（AWS人工智能实验室）
本文提出一种利用平行与非平行语料和双重对比损失训练语言无关多语言信息检索模型的方法，在零样本跨语言检索中显著提升性能且计算开销更低，并适用于低资源语言场景。
2023-05-26 cs.CL cs.IR
Efficient Information Extraction in Few-Shot Relation Classification through Contrastive Representation Learning
IESEG School of Management（IESEG管理学院）；KU Leuven（鲁汶大学）
本文提出一种结合多种句子表示与对比学习的新方法，用于少样本关系分类中的信息抽取，有效利用模型内部未开发的互补判别信息，在低资源及不同约束下均保持稳健性能。
2024-03-25 cs.AI cs.CL
Long Context Question Answering via Supervised Contrastive Learning
Bar-Ilan University（巴伊兰大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
长上下文问答（QA）任务需要对长文档或多个文档进行推理。解决这些任务通常受益于识别一组证据跨度（例如，句子），为回答问题提供支持证据。在这项工作中，我们提出了一种新的方法，用于为长上下文QA模型配备额外的序列级目标，以更好地识别支持证据。我们通过微调中的额外对比监督信号来实现这一点，其中鼓励模型通过最大化问题-证据相似性来明确区分支持证据句子和否定证据句子。在三种不同的强长上下文Transformer模型上，在两个具有挑战性的问答基准测试HotpotQA和QAsper上，所提出的额外损失表现出一致的改进。
2022-05-05 cs.AI cs.CL
WCL-BBCD: A Contrastive Learning and Knowledge Graph Approach to Named Entity Recognition
命名实体识别任务是信息抽取的核心任务之一。词汇歧义和词汇缩略是命名实体识别率低的重要原因。本文提出了一种新的命名实体识别模型WCL-BBCD（Word对比学习with BERT-BiLSTM-CRF-DBpedia），它融合了对比学习的思想。该模型首先对文本中的句子对进行训练，计算句子对之间的相似度，并根据相似度对用于命名实体识别任务的BERT进行微调，从而缓解单词歧义。然后，微调后的BERT与BiLSTM-CRF相结合，执行命名实体识别任务。最后，结合知识图谱等先验知识对识别结果进行修正，以缓解单词缩写造成的低识别率问题。在CoNLL-2003英文数据集和OntoNotes V5英文数据集上的实验结果表明，该模型的性能优于其他同类模型。
2022-08-15 cs.AI cs.CL
Learning Open Information Extraction of Implicit Relations from Reading Comprehension Datasets
The Wharton School（沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）；Western Engineering（西部工程学院）；University of Western Ontario（西安大略大学）
句子中两个实体之间的关系通常由语序和常识暗示，而不是明确的谓语。例如，很明显，“美联储主席鲍威尔表示加息”意味着（鲍威尔，是美联储主席）和（鲍威尔，为美联储工作）。这些元组与显式谓词元组一样重要（鲍威尔指出，利率上升），但在传统的开放信息抽取（OpenIE）系统下召回率要低得多。隐式元组是我们对这种类型的提取的术语，其中关系不存在于输入句子中。相对于其他NLP任务，OpenIE的训练数据非常少，而且没有一个专注于隐式关系。我们开发了一个开源的，基于解析的工具，用于将大型阅读理解数据集转换为OpenIE数据集，并发布了一个比以前的句子数量大35倍的数据集。在此数据上训练的基线神经模型在隐式提取任务上优于以前的方法。
2019-05-15 cs.CL cs.IR cs.LG
UNSEE: Unsupervised Non-contrastive Sentence Embeddings
Koç University（科克大学）
针对非对比目标下的句子表征崩塌问题，研究提出带目标网络的UNSEE无监督非对比式句子嵌入方法，经微调优化在Massive Text Embedding基准上超越SimCSE，达非对比句子嵌入最优性能。
2024-02-02 cs.CL
Non-contrastive sentence representations via self-supervision
Bloomberg（彭博）
本文系统比较了维度对比自监督方法与标准对比句嵌入基线 SimCSE，发现前者无需辅助损失即可在下游任务上取得更优性能。
2023-10-26 cs.CL
DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings
Massachusetts Institute of Technology（麻省理工学院）；Meta AI；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们提出了DiffCSE，一个无监督的对比学习框架学习句子嵌入。DiffCSE学习对原始句子和编辑句子之间的差异敏感的句子嵌入，其中编辑句子是通过随机掩蔽原始句子然后从掩蔽的语言模型采样而获得的。我们证明了DiffSCE是等变对比学习的一个实例（Dangovski等人，2021），其概括了对比学习并学习对某些类型的增强不敏感而对其他“有害”类型的增强敏感的表示。我们的实验表明，DiffCSE在无监督句子表示学习方法中取得了最先进的结果，在语义文本相似性任务上比无监督SimCSE高出2.3个绝对点。
2022-04-21 cs.CL
CLEAR: Contrastive Learning for Sentence Representation
University of Michigan（密歇根大学）；Facebook AI（脸书人工智能研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
预训练的语言模型已经证明了它们在捕捉隐式语言特征方面的独特能力。然而，大多数的预训练方法都集中在单词层面的训练目标，而词汇层面的目标却很少被研究。在本文中，我们提出了对比学习的句子表示（CLEAR），它采用多个层次的增强策略，以学习噪声不变的句子表示。这些扩充包括单词和跨度删除、重新排序和替换。此外，我们还通过大量的实验研究了对比学习有效的关键原因。我们观察到，在预训练过程中，不同的句子增强会导致不同的下游任务的性能提高。我们的方法在SentEval和GLUE基准测试中优于多种现有方法。
2020-12-31 cs.CL
Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning
虽然提供了惊人的上下文化的标记级表示，目前的预训练语言模型实际上很少注意在其自我监督的预训练过程中获取标记级表示。如果自监督学习可以分为生成学习和对比学习两个子类，那么现有的研究表明，句子表示学习可能更多地受益于对比方法，而不是生成方法。然而，对比学习不能很好地兼容常见的令牌级生成自监督学习，并且不能保证下游语义检索任务的良好性能。因此，为了减轻这种明显的不便，我们提出了一种新的生成自监督学习目标的基础上短语重建。实证研究表明，我们的生成学习可以产生足够强大的句子表示，并实现与对比学习在句子文本相似性（STS）任务的性能。此外，在无监督设置方面，我们的生成方法在下游语义检索任务的基准上优于以前最先进的SimCSE。
2022-10-21 cs.CL
Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding
Tencent Cloud Xiaowei（腾讯云小微）；Westlake University（西湖大学）
对比学习已经成为无监督句子嵌入的一种新的范式。以往的研究集中在实例方面的对比学习，试图构建积极的对文本数据增强。本文提出了一种新的基于虚拟语义原型的对比学习方法。具体而言，我们借助提示语，为每个实例构造虚拟语义原型，并利用提示语的否定形式推导出否定原型。利用原型对比损失，我们使锚句子嵌入靠近其对应的语义原型，远离否定原型以及其他句子的原型。语义文本相似性，转移和聚类任务的大量实验结果表明，我们提出的模型相比，强大的基线的有效性。代码可在https://github.com/lemon0830/promptCSE上获得。
2022-12-11 cs.CL
Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
句子的语义表示学习是自然语言处理中的一个重要研究课题。该任务的当前趋势涉及通过与文本的对比目标来训练基于transformer的句子编码器，即，聚类语义相似的句子，分散其他句子。在这项工作中，我们发现Transformer模型作为句子编码器的性能可以通过使用来自另一种模态的未配对示例（例如，句子和不相关的图像/音频数据）。特别是，除了通过文本的对比损失进行学习之外，我们的模型还对来自非语言领域的示例进行聚类（例如，视觉/听觉）与此同时具有类似的对比度损失。我们的框架对非成对非语言数据的依赖使其与语言无关，使其能够广泛应用于英语NLP之外。在7个语义文本相似性基准上的实验表明，使用额外的非语言（图像/音频）对比目标训练的模型导致更高质量的句子嵌入。这表明Transformer模型能够通过执行类似的任务（即，聚类）与来自多任务方式的不同模态的未配对示例。
2022-09-20 cs.CL
PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
The University of Tokyo（东京大学）；Microsoft Corporation（微软公司）
在自然语言处理中，以无监督的方式学习句子嵌入是基本的。最近的常见做法是将预训练的语言模型与无监督的对比学习相结合，其成功依赖于用语义上接近的正实例来增强句子以构建对比对。然而，现有的方法通常依赖于一个单一的增强策略，这导致学习捷径的增强偏见，从而损坏的句子嵌入的质量。一个简单的解决方案是从多增强策略中诉诸更多样化的积极因素，而一个悬而未决的问题仍然是如何在无监督的情况下从不同的积极因素中学习，但在文本字段中具有不均匀的增强质量。作为一个答案，我们提出了一种新的同行对比学习（PCL）与不同的增强。PCL在群体水平上为无监督的句子嵌入构建了不同的对比肯定和否定。PCL执行对等积极对比以及对等网络合作，这提供了固有的抗偏见能力和从不同增强中学习的有效方法。STS基准测试的实验验证了PCL在无监督句子嵌入中的有效性。
2022-10-19 cs.CL
Contrastive Learning of Sentence Embeddings from Scratch
Zhejiang University（浙江大学）；Westlake University（西湖大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出SynCSE框架，利用大语言模型合成数据（含部分标注与从零生成）进行对比学习训练句子嵌入，在相似性和重排序任务中大幅超越无监督基线，部分设置下媲美监督模型。
2023-10-24 cs.CL
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
对比学习在无监督的句子嵌入任务中显示出巨大的潜力，例如，SimCSE。然而，我们发现，这些现有的解决方案是严重影响的表面特征，如句子的长度或句法结构。在本文中，我们提出了一个语义感知的句子嵌入对比学习框架，称为伪令牌BERT（PT-BERT），它能够利用伪令牌空间（即，潜在语义空间）表示，同时消除诸如句子长度和句法的表面特征的影响。具体来说，我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层，以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列，我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外，我们利用梯度更新和动量更新编码器来编码实例，同时动态地维护一个额外的队列来存储句子嵌入的表示，提高编码器的学习性能的负面的例子。实验表明，我们的模型优于国家的最先进的基线上六个标准的语义文本相似性（STS）的任务。此外，对齐和一致性损失的实验，以及不同句子长度和语法的硬例子，一致验证了我们的方法的有效性。
2022-03-11 cs.CL
InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
对比学习在句子嵌入学习中得到了广泛的研究，它假设同一个句子的不同观点的嵌入更接近。这个假设带来的约束是弱的，一个好的句子表示还应该能够重构原始的句子片段。因此，本文提出了一个信息聚合的对比学习框架学习无监督句子嵌入，称为InfoCSE。InfoCSE通过引入额外的Masked语言模型任务和精心设计的网络，强制[CLS]位置的表示聚合更密集的句子信息。我们在几个基准数据集上评估了所提出的InfoCSE的语义文本相似性（STS）任务。实验结果表明，InfoCSE在BERT-base和BERT-large上的平均Spearman相关性分别为2.60%和1.77%，优于SimCSE，在无监督语句表示学习方法中取得了最好的效果.我们的代码可从https://github.com/caskcsg/sentemb/tree/main/InfoCSE获得。
2022-10-14 cs.CL
Differentiable Data Augmentation for Contrastive Sentence Representation Learning
Singapore University of Technology and Design（新加坡科技设计大学）
通过具有大量未标记句子或标记句子对的对比学习框架来微调预训练的语言模型是获得高质量句子表示的常用方法。尽管对比学习框架在句子表示学习方面已经显示出其优越性，但由于其构造正对的方法简单，迄今为止，这种框架的潜力还没有得到充分的开发。受此启发，我们提出了一种方法，使硬阳性从原来的训练样本。我们的方法的一个关键组成部分是使用附加到预训练语言模型的前缀，这允许在对比学习期间进行可区分的数据增强。我们的方法可以概括为两个步骤：监督前缀调整，然后与未标记或标记的例子联合对比微调。我们的实验证实了我们的数据增强方法的有效性。所提出的方法产生显着的改进，现有的方法在半监督和监督设置。在低标记数据集下的实验也表明，我们的方法比最先进的对比学习方法具有更高的标记效率。
2022-10-29 cs.CL
Sentence Representation Learning with Generative Objective rather than Contrastive Objective
Shanghai Jiao Tong University（上海交通大学）
虽然提供了惊人的上下文化的标记级表示，当前的预训练语言模型在其自我监督的预训练过程中很少注意准确地获取标记级表示。然而，目前句子表示学习中占主导地位的对比目标几乎没有语言可解释性，也没有下游语义任务的性能保证。相反，我们提出了一种新的生成自监督学习目标的短语重建的基础上。为了克服以前生成方法的缺点，我们仔细建模的句子内结构分解成几个重要的短语。实证研究表明，我们的生成学习实现了足够强大的性能改进，并优于目前最先进的对比方法，不仅在STS基准测试，而且在下游的语义检索和重排序任务。我们的代码可在https://github.com/chengzhipanpan/PaSeR上获得。
2022-10-21 cs.CL
Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning
Singapore University of Technology and Design（新加坡科技设计大学）；DAMO Academy, Alibaba Group, Singapore（阿里巴巴集团达摩院（新加坡））；Nanyang Technological University, Singapore（南洋理工大学）；Hupan Lab（湖畔实验室）
针对对比学习句子表示受LLM生成句子对质量限制的问题，提出三阶段优化的MultiCSR框架，可让弱模型超ChatGPT、强模型刷新SOTA。
2024-05-17 cs.CL
MCSE: Multimodal Contrastive Learning of Sentence Embeddings
Saarland University（萨尔大学）
学习语义有意义的句子嵌入是自然语言处理中的一个开放性问题。在这项工作中，我们提出了一个句子嵌入学习方法，利用视觉和文本信息，通过多模态对比目标。通过对各种语义文本相似性任务的实验，我们证明了我们的方法在各种数据集和预先训练的编码器中始终提高了性能。特别是，结合少量的多模态数据与一个大的纯文本语料库，我们提高了国家的最先进的平均斯皮尔曼的相关性1.7%。通过分析文本嵌入空间的属性，我们表明，我们的模型擅长对齐语义相似的句子，提供了一个解释其性能的提高。
2022-04-22 cs.CL
Learning a Word-Level Language Model with Sentence-Level Noise Contrastive Estimation for Contextual Sentence Probability Estimation
Seoul National University（首尔大学）
推断句子或词序列的概率分布是自然语言处理中的一个关键过程。虽然单词级语言模型（LM）已被广泛采用的计算单词序列的联合概率，他们有困难，在捕捉足够长的上下文句子概率估计（SPE）。为了克服这一点，最近的研究引入了使用递归神经网络（RNN）的重复级噪声对比估计（NCE）的训练方法。在这项工作中，我们试图扩展它的上下文SPE，其目的是估计一个条件句的概率给定以前的文本。所提出的NCE独立于先前文本对否定句进行采样，使得训练后的模型对与\textcolor{blue}{the}上下文更一致的句子给出更高的概率。我们将我们的方法应用于一个简单的单词级RNN LM，以关注单词级NCE训练的效果，而不是网络架构。评估的质量对多项选择完形填空式的问题，包括人类和自动生成的问题。实验结果表明，该方法提高了词级RNN LM的SPE质量。
2021-03-14 cs.CL
Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文从理论和实验两方面揭示，基于对比损失微调的句编码器会根据信息论量隐式地对词进行加权，更具信息量的词会获得更大权重。
2023-10-24 cs.CL
JCSE: Contrastive Learning of Japanese Sentence Embeddings and Its Applications
Kindai University（近畿大学）
对比学习广泛应用于句子的表示学习。尽管这种流行，大多数研究都集中在英语和关注领域自适应特定领域的下游任务，特别是对低资源的语言，如日语，其特点是目标域数据不足，缺乏适当的培训策略。为了克服这一点，我们提出了一种新的日语句子表示框架，JCSE（来自“对比学习的句子嵌入为日本”“），创建训练数据通过生成句子和合成它们与句子在目标域。具体来说，使用我们收集的语料库将预训练的数据生成器微调到目标域。然后，它被用来生成矛盾的句子对，用于对比学习，以适应日本语言模型在目标领域的特定任务。日语句子表示学习的另一个问题是由于缺乏基准数据集而难以评估现有的嵌入方法。因此，我们建立了一个全面的日语语义文本相似性（STS）的基准上，各种嵌入模型进行评估。基于此基准测试结果，选择多种嵌入方法，并与JCSE在两个特定领域的任务，STS在临床领域和信息检索在教育领域进行比较。结果表明，JCSE取得了显着的绩效改善超过直接迁移和其他培训策略。这从经验上证明了JCSE对于低资源语言的下游任务的有效性和实用性。
2023-01-19 cs.CL
reCSE: Portable Reshaping Features for Sentence Embedding in Self-supervised Contrastive Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室）
提出基于特征重塑的自监督对比学习句子表示框架reCSE，通过聚合token全局信息缓解表示极性和GPU内存消耗问题，在语义相似度任务中表现优异且具备强通用性。
2024-08-26 cs.CL
Pair-Level Supervised Contrastive Learning for Natural Language Inference
Tsinghua University（清华大学）
自然语言推理（NLI）是自然语言理解中一项日益重要的任务，它要求人们推断句子对（前提和假设）之间的关系。最近的许多研究都使用了对比学习，通过结合NLI数据集的句子对的关系来学习句子表示。然而，这些方法仅关注与双级表示的比较。在本文中，我们提出了一个对级监督对比学习方法（PairSCL）。我们采用交叉注意模块来学习句子对的联合表征。对比学习的目的是通过将一类句子对拉在一起，将另一类句子对推开来区分不同类别的句子对。我们在NLI的两个公共数据集上对PairSCL进行了评估，其中PairSCL的准确性平均优于其他方法2.1%。此外，我们的方法优于以前的国家的最先进的方法上的七个转移任务的文本分类。
2022-04-01 cs.CL
AugCSE: Contrastive Sentence Embedding with Diverse Augmentations
Boston University（波士顿大学）
数据增强技术已被证明在自然语言处理领域的许多应用中是有用的。大多数增强都是针对特定任务的，不能用作通用工具。在我们的工作中，我们提出了AugCSE，一个统一的框架，利用不同的数据增强集，以实现更好的，通用的，句子嵌入模型。基于最新的句子嵌入模型，我们的方法使用了一个简单的对抗性的增强类型进行区分。借用领域自适应的微调目标，我们表明，不同的增强，这往往会导致冲突的对比信号，可以驯服产生一个更好的和更强大的句子表示。我们的方法在下游传输任务上实现了最先进的结果，并且仅使用无监督数据在语义文本相似性任务上具有竞争力。
2022-10-20 cs.CL
KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文提出KDMCSE方法，通过教师模型知识蒸馏有效检测噪声负样本，并引入AdapACSE自适应角度裕度对比目标增强判别力，显著提升了多模态句子嵌入性能。
2024-03-26 cs.CL
Modeling Multi-level Context for Informational Bias Detection by Contrastive Learning and Sentential Graph Network
Shanghai Jiao Tong University（上海交通大学）
新闻报道中普遍存在信息偏差。它是指对某一实体的特定方面提供片面的、选择性的或暗示性的信息，以指导特定的解释，从而使读者产生偏见。句子层面的信息偏见检测是一项非常具有挑战性的任务，因为这种偏见只能与上下文一起揭示，例如从各种来源收集信息或结合背景分析整篇文章。在本文中，我们整合了三个层次的上下文来检测英语新闻文章中的事件级信息偏差：相邻的句子，整篇文章，和来自其他新闻媒体的文章描述同一事件。我们的模型MultiCTX（Multi-level ConteXt）使用对比学习和句子图以及图注意网络（GAT），通过策略性地组成对比三元组和在事件内构造句子图来编码不同阶段的这三个程度的上下文。我们的实验证明，对比学习与句子图一起有效地结合了不同程度的上下文，并显着优于目前的SOTA模型的信息偏见检测逐行。
2022-01-25 cs.CL
SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
National University of Defense Technology（国防科技大学）；SenseTime（商汤科技）；The University of Hong Kong（香港大学）
无监督句子嵌入的目的是为句子获得最合适的嵌入，以反映其语义。对比学习正受到越来越多的关注。对于一个句子，当前的模型利用不同的数据增强方法来生成正样本，而将其他独立的句子视为负样本。然后，他们采用InfoNCE损失来拉动聚集的正对的嵌入，并推动分散的负对的嵌入。虽然这些模型在句子嵌入方面取得了很大的进展，但我们认为它们可能受到特征抑制。这些模型不能区分和解耦文本相似性和语义相似性。而且，他们可能高估任何具有相似文本的对的语义相似性，而不管它们之间的实际语义差异。这是因为无监督对比学习中的正对通过数据增强来获得相似甚至相同的文本。为了减轻特征抑制，我们提出了对比学习的无监督句子嵌入与软负样本（SNCSE）。软否定样本与原始样本具有高度相似的文本，但具有明显不同的语义。具体地说，我们将原句的否定作为软否定样本，提出双向边际损失（BML）将其引入传统的对比学习框架，只涉及正样本和负样本。实验结果表明，SNCSE在语义文本相似性（STS）任务上的平均Spearman相关系数在BERTbase上为78.97%，在RoBERTbase上为79.23%。此外，我们还采用基于秩的误差分析方法来发现SNCSE的不足之处，为后续的研究提供参考。
2022-03-02 cs.CL
Improved Universal Sentence Embeddings with Prompt-based Contrastive Learning and Energy-based Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；The University of New South Wales（新南威尔士大学）
对比学习已被证明在增强预训练的语言模型（PLM）以获得优越的通用句子嵌入方面是有效的。然而，现有的对比方法仍然有两个局限性。首先，以前的工作可能会获得域转移设置下的性能差，从而阻碍了句子表示在实践中的应用。我们将这种低性能归因于具有数百万参数的PLM的过度参数化。为了缓解它，我们提出了PromCSE（用于句子嵌入的基于语义的对比学习），它只训练小规模的\emph{Soft Prompt}（即，一组可训练向量），同时保持PLM固定。其次，对比学习的常用NT-Xent损失函数在监督学习设置中没有充分利用硬否定。为此，我们建议整合一个基于能量的铰链损失，以提高成对的区分能力，受到NT-Xent损失和基于能量的学习范式之间的联系的启发。七个标准的语义文本相似性（STS）任务和一个领域转移的STS任务的实验结果都表明，我们的方法相比，目前最先进的句子嵌入模型的有效性。我们的代码可在https://github.com/YJiangcm/PromCSE上公开获取
2022-10-09 cs.CL
Information Type Classification with Contrastive Task-Specialized Sentence Encoders
Technische Hochschule Nürnberg（纽伦堡工业大学）
针对危机场景下用户生成信息分类受噪声和事件偏差影响的问题，提出采用对比式任务专用句子编码器，在多个基准任务上提升了F1分数，并验证了其跨语料与跨语言能力。
2023-12-18 cs.CL
EASE: Entity-Aware Contrastive Learning of Sentence Embedding
Studio Ousia（Ousia工作室）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；National Institute of Informatics（国立信息学研究所）
我们提出了EASE，一种新的方法学习句子嵌入通过对比学习之间的句子和它们的相关实体。使用实体监督的优点是双重的：（1）实体已被证明是文本语义的强指示器，因此应该为句子嵌入提供丰富的训练信号;（2）实体是独立于语言定义的，因此提供有用的跨语言对齐监督。我们评估EASE对其他无监督模型在单语和多语言设置。我们表明，EASE表现出竞争力或更好的性能在英语语义文本相似性（STS）和短文本聚类（STC）的任务，它显着优于基线方法在多种任务的多语言设置。我们的源代码，预训练模型和新构建的多语言STC数据集可在https://github.com/studio-ousia/ease上获得。
2022-05-09 cs.CL
S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding
Westlake University（西湖大学）
为了提高句子嵌入的学习性能，人们研究了对比学习。目前最先进的方法是SimCSE，它采用dropout作为数据增强方法，并向预训练的Transformer编码器提供相同的输入语句两次。相应的输出，即从具有不同丢弃掩码的相同句子导出的两个句子嵌入，可以用于构建正对。一个带有丢弃掩码的网络可以看作是它自身的一个子网络，其期望规模由丢弃率决定。在本文中，我们推动具有不同预期尺度的子网络学习相同句子的相似嵌入。SimCSE未能做到这一点，因为他们将辍学率固定为一个调优的超参数。我们实现这一点的抽样辍学率从一个分布eatch前进的过程。由于这种方法可能会使优化变得更加困难，我们还提出了一个简单的逐行掩码策略来采样更多的子网络。我们在几个流行的语义文本相似度数据集上评估了所提出的S-SimCSE。实验结果表明，S-SimCSE在BERT $_{base}$上的性能优于$1\%$
2021-11-24 cs.CL
SimCSE++: Improving Contrastive Learning for Sentence Embeddings from Two Perspectives
Nanyang Technological University（南洋理工大学）；Tencent AI Lab（腾讯人工智能实验室）
本文从处理dropout噪声和解决特征损坏两个视角改进句子嵌入的对比学习，提出通用方法，在SimCSE和DiffCSE上分别提升1.8和1.4分。
2023-10-20 cs.CL
Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
最近的无监督文本表示学习模型采用了许多技术来改善上下文单词表示，但很少关注话语级表示。我们提出了CONPONO，一个用于预训练语言模型的句间目标，它模拟了话语连贯性和句子之间的距离。给定一个锚定句子，我们的模型被训练为使用sampled-softmax目标来预测k个句子之外的文本，其中候选者由相邻句子和从语料库中随机采样的句子组成。在话语表征基准DiscoEval上，我们的模型比以前的最先进水平提高了13%，在7个任务中平均提高了4%。我们的模型与BERT-Base的大小相同，但优于更大的BERT- Large模型和其他最近的包含话语的方法。我们还表明，CONPONO产生2%-6%的绝对收益，即使是没有明确评估话语的任务：文本蕴涵（RTE），常识推理（COPA）和阅读理解（ReCoRD）。
2020-05-20 cs.CL
Domain Adaptation for Japanese Sentence Embeddings with Contrastive Learning based on Synthetic Sentence Generation
Doshisha University（同志社大学）；Kindai University（近畿大学）
本文提出 SDJC 方法，通过生成与目标领域句子句法相同但语义不同的合成句子来增强对比学习，实现日语句子嵌入的领域自适应，并构建了日语 STS 基准数据集，实验验证了其有效性。
2025-03-12 cs.CL
Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment
The University of Tokyo（东京大学）
针对多模态句子嵌入训练中图像-字幕对存在噪声的问题，提出结合细粒度对象-短语对齐的MCSEO方法，利用分割与检测模型提取配对优化对比学习目标，在STS任务上 consistently 优于强基线。
2025-08-01 cs.CL
Multilingual Representation Distillation with Contrastive Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI Research（Meta人工智能研究院）
本研究将对比学习融入多语言表示蒸馏，用于平行句对质量评估，在低资源语言的多语言相似度搜索与语料过滤任务中性能显著优于LASER等经典句子编码器。
2023-04-30 cs.CL
Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）
本文从梯度视角提出统一范式，揭示对比损失在语义文本相似度任务中表现优异的关键组件，并通过调整这些组件使非对比自监督学习在STS任务中取得出色性能。
2024-06-05 cs.CL
Leveraging Multi-lingual Positive Instances in Contrastive Learning to Improve Sentence Embedding
The University of Tokyo（东京大学）
针对多语言句子嵌入学习，本研究提出MPCL方法，通过利用多个多语言正例的跨语言优势与传递相似性改进对比学习，在多类任务及未见过语言的跨语言迁移上均优于传统单正例对比学习。
2024-01-31 cs.CL
SDA: Simple Discrete Augmentation for Contrastive Sentence Representation Learning
Baidu Inc.（百度公司）；SenseTime Research（商汤科技研究院）；Fudan University（复旦大学）
本文针对无监督对比句表示学习提出 SDA 离散增强框架，通过标点插入、情态动词和双重否定平衡语义一致性与表达多样性，并用标准否定构造负样本以缓解特征抑制，在多个语义文本相似度数据集上稳定优于现有方法。
2024-06-14 cs.CL
Sentence Embeddings using Supervised Contrastive Learning
Princeton University（普林斯顿大学）
句子嵌入将句子编码在固定的密集向量中，并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习（如Quick-Thoughts）和监督学习（如Infersent）。随着预训练的NLP模型的成功，最近的研究表明，在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入，在各种评估基准上优于以前的句子嵌入方法。在本文中，我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说，我们的方法在SNLI数据上微调预训练的BERT，同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比，我们的监督对比方法在语义文本相似性（STS）基准测试中平均提高了2.8%，在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
Improving Multi-lingual Alignment Through Soft Contrastive Learning
Yonsei University（延世大学）；Linq
提出软对比学习改进多语言句子对齐，利用单语言模型相似性作为软标签，在双语挖掘和STS任务上超越硬标签方法及LaBSE。
2024-05-28 cs.CL
SCD: Self-Contrastive Decorrelation for Sentence Embeddings
SAP AI Research（思爱普人工智能研究院）
在本文中，我们提出了自对比解相关（SCD），一种自监督的方法。给定一个输入句子，它优化了一个联合的自对比和去相关目标。通过利用以不同速率的标准辍学的实例化所产生的对比来促进学习表示。所提出的方法是概念简单，但经验强大。它在多个基准上实现了与最先进的方法相当的结果，而不使用对比对。这项研究为有效的自监督学习方法开辟了道路，这些方法比当前的对比方法更强大。
2022-03-15 cs.CL cs.LG
Debiased Contrastive Learning of Unsupervised Sentence Representations
Renmin University of China（中国人民大学）
最近，对比学习已被证明是有效的，在改善预训练的语言模型（PLM），以获得高质量的句子表示。它的目的是拉近积极的例子，以提高对齐，同时推开不相关的负面的整个表示空间的一致性。然而，以往的工作大多采用批内否定或从训练数据中随机抽取样本。这种方式可能会导致采样偏差，使用不适当的否定（例如假否定和各向异性表示）来学习句子表示，这将损害表示空间的均匀性。为了解决这个问题，我们提出了一个新的框架\textbf{DCLR}（\underline{D} ebiased \underline{C} ontrasive \underline{L} earning of unsupervised sentence \underline{R} eprepresentation）来减轻这些不适当的负面影响.在DSPs中，我们设计了一种实例加权方法来惩罚假阴性，并生成基于噪声的阴性，以保证表示空间的均匀性。在七个语义文本相似性任务上的实验表明，我们的方法比竞争基线更有效。我们的代码和数据可通过以下链接公开获取：\textcolor{blue}{\url{https://github.com/RUCAIBox/DCLR}}。
2022-05-02 cs.CL
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
SAP AI Research（SAP人工智能研究院）
本文提出基于互信息的对比学习框架miCSE，通过强制不同视图间注意力模式对齐与结构一致性，提升了对比自监督学习的样本效率，在少样本句子嵌入任务上取得优异表现。
2023-05-23 cs.CL cs.LG
Classification and Clustering of Sentence-Level Embeddings of Scientific Articles Generated by Contrastive Learning
Faculdade de Tecnologia, Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学技术学院）；Federal Institute of São Paulo（圣保罗联邦学院）
本文通过对比学习微调句子Transformer生成科学论文句级嵌入，并引入全文句子数据集PMC-Sents-FULL，在分类与聚类任务上显著优于基线模型。
2024-03-30 cs.CL
Self-Guided Contrastive Learning for BERT Sentence Representations
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）
尽管BERT及其变体已经重塑了NLP的格局，但如何从这种预先训练的Transformers中最好地获得句子嵌入仍然不清楚。在这项工作中，我们提出了一个对比学习方法，利用自我指导，以提高质量的BERT句子表示。我们的方法以自我监督的方式微调BERT，不依赖于数据增强，并使通常的[CLS]令牌嵌入作为句子向量。此外，我们重新设计了对比学习目标（NT-Xent），并将其应用于句子表示学习。我们用大量的实验证明，我们的方法是更有效的竞争力的基线上不同的业务相关的任务。我们还表明，它是有效的推理和鲁棒域转移。
2021-06-03 cs.AI cs.CL
Contrastive Prompting Enhances Sentence Embeddings in LLMs through Inference-Time Steering
State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）
针对大语言模型句子嵌入最后词元含过多非必要信息的问题，提出即插即用的对比提示推理调控方法，通过辅助提示对比引导编码核心语义，在多类任务和不同LLM上均提升了现有提示方法的性能。
2025-05-19 cs.CL
DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings
DAMO Academy, Alibaba Group（阿里巴巴达摩院）
从对话中学习句子嵌入因其低标注成本和高领域适应性而受到越来越多的关注。传统的方法采用连体网络来完成这个任务，它通过在句子编码器上应用前馈网络来建模上下文响应语义相关性来获得句子嵌入。然而，由于语义文本相似性通常通过元素距离度量（例如余弦和L2距离）来测量，因此这种架构在训练和评估之间产生了很大的差距。在本文中，我们提出了DialogueCSE，一个基于对话的对比学习方法来解决这个问题。DialogueCSE首先引入了一种新的匹配引导嵌入（MGE）机制，该机制根据多轮上下文响应匹配矩阵的指导，为每个候选响应嵌入生成上下文感知嵌入（即上下文无关嵌入）。然后将每个上下文感知嵌入与其对应的上下文无关嵌入配对，最后最小化所有对的对比损失。我们在三个多轮对话数据集上评估了我们的模型：微软对话语料库，京东对话语料库和电子商务对话语料库。评估结果表明，我们的方法显着优于所有三个数据集的MAP和斯皮尔曼的相关性措施方面的基线，证明了其有效性。进一步的定量实验表明，我们的方法实现了更好的性能时，利用更多的对话上下文和保持鲁棒性时，提供更少的训练数据。
2021-09-26 cs.CL
Debiasing Sentence Embedders through Contrastive Word Pairs
CITEC, University of Bielefeld（比勒费尔德大学CITEC（认知交互技术中心））
针对现有去偏方法直接从词嵌入转移而忽略句子嵌入非线性特性的问题，本文提出通过对比词对去除句子嵌入中线性和非线性偏见信息的方法，且不影响下游任务性能。
2024-03-27 cs.CL
