Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
句子的语义表示学习是自然语言处理中的一个重要研究课题。该任务的当前趋势涉及通过与文本的对比目标来训练基于transformer的句子编码器，即，聚类语义相似的句子，分散其他句子。在这项工作中，我们发现Transformer模型作为句子编码器的性能可以通过使用来自另一种模态的未配对示例（例如，句子和不相关的图像/音频数据）。特别是，除了通过文本的对比损失进行学习之外，我们的模型还对来自非语言领域的示例进行聚类（例如，视觉/听觉）与此同时具有类似的对比度损失。我们的框架对非成对非语言数据的依赖使其与语言无关，使其能够广泛应用于英语NLP之外。在7个语义文本相似性基准上的实验表明，使用额外的非语言（图像/音频）对比目标训练的模型导致更高质量的句子嵌入。这表明Transformer模型能够通过执行类似的任务（即，聚类）与来自多任务方式的不同模态的未配对示例。
2022-09-20 cs.CL
PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
The University of Tokyo（东京大学）；Microsoft Corporation（微软公司）
在自然语言处理中，以无监督的方式学习句子嵌入是基本的。最近的常见做法是将预训练的语言模型与无监督的对比学习相结合，其成功依赖于用语义上接近的正实例来增强句子以构建对比对。然而，现有的方法通常依赖于一个单一的增强策略，这导致学习捷径的增强偏见，从而损坏的句子嵌入的质量。一个简单的解决方案是从多增强策略中诉诸更多样化的积极因素，而一个悬而未决的问题仍然是如何在无监督的情况下从不同的积极因素中学习，但在文本字段中具有不均匀的增强质量。作为一个答案，我们提出了一种新的同行对比学习（PCL）与不同的增强。PCL在群体水平上为无监督的句子嵌入构建了不同的对比肯定和否定。PCL执行对等积极对比以及对等网络合作，这提供了固有的抗偏见能力和从不同增强中学习的有效方法。STS基准测试的实验验证了PCL在无监督句子嵌入中的有效性。
2022-10-19 cs.CL
Contrastive Learning of Sentence Embeddings from Scratch
Zhejiang University（浙江大学）；Westlake University（西湖大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出SynCSE框架，利用大语言模型合成数据（含部分标注与从零生成）进行对比学习训练句子嵌入，在相似性和重排序任务中大幅超越无监督基线，部分设置下媲美监督模型。
2023-10-24 cs.CL
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
对比学习在无监督的句子嵌入任务中显示出巨大的潜力，例如，SimCSE。然而，我们发现，这些现有的解决方案是严重影响的表面特征，如句子的长度或句法结构。在本文中，我们提出了一个语义感知的句子嵌入对比学习框架，称为伪令牌BERT（PT-BERT），它能够利用伪令牌空间（即，潜在语义空间）表示，同时消除诸如句子长度和句法的表面特征的影响。具体来说，我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层，以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列，我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外，我们利用梯度更新和动量更新编码器来编码实例，同时动态地维护一个额外的队列来存储句子嵌入的表示，提高编码器的学习性能的负面的例子。实验表明，我们的模型优于国家的最先进的基线上六个标准的语义文本相似性（STS）的任务。此外，对齐和一致性损失的实验，以及不同句子长度和语法的硬例子，一致验证了我们的方法的有效性。
2022-03-11 cs.CL
InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
对比学习在句子嵌入学习中得到了广泛的研究，它假设同一个句子的不同观点的嵌入更接近。这个假设带来的约束是弱的，一个好的句子表示还应该能够重构原始的句子片段。因此，本文提出了一个信息聚合的对比学习框架学习无监督句子嵌入，称为InfoCSE。InfoCSE通过引入额外的Masked语言模型任务和精心设计的网络，强制[CLS]位置的表示聚合更密集的句子信息。我们在几个基准数据集上评估了所提出的InfoCSE的语义文本相似性（STS）任务。实验结果表明，InfoCSE在BERT-base和BERT-large上的平均Spearman相关性分别为2.60%和1.77%，优于SimCSE，在无监督语句表示学习方法中取得了最好的效果.我们的代码可从https://github.com/caskcsg/sentemb/tree/main/InfoCSE获得。
2022-10-14 cs.CL
Differentiable Data Augmentation for Contrastive Sentence Representation Learning
Singapore University of Technology and Design（新加坡科技设计大学）
通过具有大量未标记句子或标记句子对的对比学习框架来微调预训练的语言模型是获得高质量句子表示的常用方法。尽管对比学习框架在句子表示学习方面已经显示出其优越性，但由于其构造正对的方法简单，迄今为止，这种框架的潜力还没有得到充分的开发。受此启发，我们提出了一种方法，使硬阳性从原来的训练样本。我们的方法的一个关键组成部分是使用附加到预训练语言模型的前缀，这允许在对比学习期间进行可区分的数据增强。我们的方法可以概括为两个步骤：监督前缀调整，然后与未标记或标记的例子联合对比微调。我们的实验证实了我们的数据增强方法的有效性。所提出的方法产生显着的改进，现有的方法在半监督和监督设置。在低标记数据集下的实验也表明，我们的方法比最先进的对比学习方法具有更高的标记效率。
2022-10-29 cs.CL
Sentence Representation Learning with Generative Objective rather than Contrastive Objective
Shanghai Jiao Tong University（上海交通大学）
虽然提供了惊人的上下文化的标记级表示，当前的预训练语言模型在其自我监督的预训练过程中很少注意准确地获取标记级表示。然而，目前句子表示学习中占主导地位的对比目标几乎没有语言可解释性，也没有下游语义任务的性能保证。相反，我们提出了一种新的生成自监督学习目标的短语重建的基础上。为了克服以前生成方法的缺点，我们仔细建模的句子内结构分解成几个重要的短语。实证研究表明，我们的生成学习实现了足够强大的性能改进，并优于目前最先进的对比方法，不仅在STS基准测试，而且在下游的语义检索和重排序任务。我们的代码可在https://github.com/chengzhipanpan/PaSeR上获得。
2022-10-21 cs.CL
Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning
Singapore University of Technology and Design（新加坡科技设计大学）；DAMO Academy, Alibaba Group, Singapore（阿里巴巴集团达摩院（新加坡））；Nanyang Technological University, Singapore（南洋理工大学）；Hupan Lab（湖畔实验室）
针对对比学习句子表示受LLM生成句子对质量限制的问题，提出三阶段优化的MultiCSR框架，可让弱模型超ChatGPT、强模型刷新SOTA。
2024-05-17 cs.CL
MCSE: Multimodal Contrastive Learning of Sentence Embeddings
Saarland University（萨尔大学）
学习语义有意义的句子嵌入是自然语言处理中的一个开放性问题。在这项工作中，我们提出了一个句子嵌入学习方法，利用视觉和文本信息，通过多模态对比目标。通过对各种语义文本相似性任务的实验，我们证明了我们的方法在各种数据集和预先训练的编码器中始终提高了性能。特别是，结合少量的多模态数据与一个大的纯文本语料库，我们提高了国家的最先进的平均斯皮尔曼的相关性1.7%。通过分析文本嵌入空间的属性，我们表明，我们的模型擅长对齐语义相似的句子，提供了一个解释其性能的提高。
2022-04-22 cs.CL
Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文从理论和实验两方面揭示，基于对比损失微调的句编码器会根据信息论量隐式地对词进行加权，更具信息量的词会获得更大权重。
2023-10-24 cs.CL
JCSE: Contrastive Learning of Japanese Sentence Embeddings and Its Applications
Kindai University（近畿大学）
对比学习广泛应用于句子的表示学习。尽管这种流行，大多数研究都集中在英语和关注领域自适应特定领域的下游任务，特别是对低资源的语言，如日语，其特点是目标域数据不足，缺乏适当的培训策略。为了克服这一点，我们提出了一种新的日语句子表示框架，JCSE（来自“对比学习的句子嵌入为日本”“），创建训练数据通过生成句子和合成它们与句子在目标域。具体来说，使用我们收集的语料库将预训练的数据生成器微调到目标域。然后，它被用来生成矛盾的句子对，用于对比学习，以适应日本语言模型在目标领域的特定任务。日语句子表示学习的另一个问题是由于缺乏基准数据集而难以评估现有的嵌入方法。因此，我们建立了一个全面的日语语义文本相似性（STS）的基准上，各种嵌入模型进行评估。基于此基准测试结果，选择多种嵌入方法，并与JCSE在两个特定领域的任务，STS在临床领域和信息检索在教育领域进行比较。结果表明，JCSE取得了显着的绩效改善超过直接迁移和其他培训策略。这从经验上证明了JCSE对于低资源语言的下游任务的有效性和实用性。
2023-01-19 cs.CL
Sentence-Level Contextual Entrainment in Large Language Models
Kyoto University（京都大学）
研究大型语言模型中句子级上下文嵌入现象，发现提示中的句子（包括反事实陈述）会显著增加其推理概率，且该现象随模型增大而减弱，通过关闭2%-4%的注意力头可缓解而不影响性能。
2026-06-24 cs.CL
reCSE: Portable Reshaping Features for Sentence Embedding in Self-supervised Contrastive Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室）
提出基于特征重塑的自监督对比学习句子表示框架reCSE，通过聚合token全局信息缓解表示极性和GPU内存消耗问题，在语义相似度任务中表现优异且具备强通用性。
2024-08-26 cs.CL
Pair-Level Supervised Contrastive Learning for Natural Language Inference
Tsinghua University（清华大学）
自然语言推理（NLI）是自然语言理解中一项日益重要的任务，它要求人们推断句子对（前提和假设）之间的关系。最近的许多研究都使用了对比学习，通过结合NLI数据集的句子对的关系来学习句子表示。然而，这些方法仅关注与双级表示的比较。在本文中，我们提出了一个对级监督对比学习方法（PairSCL）。我们采用交叉注意模块来学习句子对的联合表征。对比学习的目的是通过将一类句子对拉在一起，将另一类句子对推开来区分不同类别的句子对。我们在NLI的两个公共数据集上对PairSCL进行了评估，其中PairSCL的准确性平均优于其他方法2.1%。此外，我们的方法优于以前的国家的最先进的方法上的七个转移任务的文本分类。
2022-04-01 cs.CL
AugCSE: Contrastive Sentence Embedding with Diverse Augmentations
Boston University（波士顿大学）
数据增强技术已被证明在自然语言处理领域的许多应用中是有用的。大多数增强都是针对特定任务的，不能用作通用工具。在我们的工作中，我们提出了AugCSE，一个统一的框架，利用不同的数据增强集，以实现更好的，通用的，句子嵌入模型。基于最新的句子嵌入模型，我们的方法使用了一个简单的对抗性的增强类型进行区分。借用领域自适应的微调目标，我们表明，不同的增强，这往往会导致冲突的对比信号，可以驯服产生一个更好的和更强大的句子表示。我们的方法在下游传输任务上实现了最先进的结果，并且仅使用无监督数据在语义文本相似性任务上具有竞争力。
2022-10-20 cs.CL
KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文提出KDMCSE方法，通过教师模型知识蒸馏有效检测噪声负样本，并引入AdapACSE自适应角度裕度对比目标增强判别力，显著提升了多模态句子嵌入性能。
2024-03-26 cs.CL
Modeling Multi-level Context for Informational Bias Detection by Contrastive Learning and Sentential Graph Network
Shanghai Jiao Tong University（上海交通大学）
新闻报道中普遍存在信息偏差。它是指对某一实体的特定方面提供片面的、选择性的或暗示性的信息，以指导特定的解释，从而使读者产生偏见。句子层面的信息偏见检测是一项非常具有挑战性的任务，因为这种偏见只能与上下文一起揭示，例如从各种来源收集信息或结合背景分析整篇文章。在本文中，我们整合了三个层次的上下文来检测英语新闻文章中的事件级信息偏差：相邻的句子，整篇文章，和来自其他新闻媒体的文章描述同一事件。我们的模型MultiCTX（Multi-level ConteXt）使用对比学习和句子图以及图注意网络（GAT），通过策略性地组成对比三元组和在事件内构造句子图来编码不同阶段的这三个程度的上下文。我们的实验证明，对比学习与句子图一起有效地结合了不同程度的上下文，并显着优于目前的SOTA模型的信息偏见检测逐行。
2022-01-25 cs.CL
SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
National University of Defense Technology（国防科技大学）；SenseTime（商汤科技）；The University of Hong Kong（香港大学）
无监督句子嵌入的目的是为句子获得最合适的嵌入，以反映其语义。对比学习正受到越来越多的关注。对于一个句子，当前的模型利用不同的数据增强方法来生成正样本，而将其他独立的句子视为负样本。然后，他们采用InfoNCE损失来拉动聚集的正对的嵌入，并推动分散的负对的嵌入。虽然这些模型在句子嵌入方面取得了很大的进展，但我们认为它们可能受到特征抑制。这些模型不能区分和解耦文本相似性和语义相似性。而且，他们可能高估任何具有相似文本的对的语义相似性，而不管它们之间的实际语义差异。这是因为无监督对比学习中的正对通过数据增强来获得相似甚至相同的文本。为了减轻特征抑制，我们提出了对比学习的无监督句子嵌入与软负样本（SNCSE）。软否定样本与原始样本具有高度相似的文本，但具有明显不同的语义。具体地说，我们将原句的否定作为软否定样本，提出双向边际损失（BML）将其引入传统的对比学习框架，只涉及正样本和负样本。实验结果表明，SNCSE在语义文本相似性（STS）任务上的平均Spearman相关系数在BERTbase上为78.97%，在RoBERTbase上为79.23%。此外，我们还采用基于秩的误差分析方法来发现SNCSE的不足之处，为后续的研究提供参考。
2022-03-02 cs.CL
Improved Universal Sentence Embeddings with Prompt-based Contrastive Learning and Energy-based Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；The University of New South Wales（新南威尔士大学）
对比学习已被证明在增强预训练的语言模型（PLM）以获得优越的通用句子嵌入方面是有效的。然而，现有的对比方法仍然有两个局限性。首先，以前的工作可能会获得域转移设置下的性能差，从而阻碍了句子表示在实践中的应用。我们将这种低性能归因于具有数百万参数的PLM的过度参数化。为了缓解它，我们提出了PromCSE（用于句子嵌入的基于语义的对比学习），它只训练小规模的\emph{Soft Prompt}（即，一组可训练向量），同时保持PLM固定。其次，对比学习的常用NT-Xent损失函数在监督学习设置中没有充分利用硬否定。为此，我们建议整合一个基于能量的铰链损失，以提高成对的区分能力，受到NT-Xent损失和基于能量的学习范式之间的联系的启发。七个标准的语义文本相似性（STS）任务和一个领域转移的STS任务的实验结果都表明，我们的方法相比，目前最先进的句子嵌入模型的有效性。我们的代码可在https://github.com/YJiangcm/PromCSE上公开获取
2022-10-09 cs.CL
Sentence-aware Contrastive Learning for Open-Domain Passage Retrieval
Shanghai Jiao Tong University（上海交通大学）
通过对比学习训练密集段落表示已被证明是有效的开放域段落检索（ODPR）。现有的研究集中在通过改进负采样策略或额外的预训练来进一步优化。然而，这些研究保持未知的捕获通道与内部表示冲突的建模粒度不当。因此，这项工作提出了一个细化模型的基础上，更小的粒度，上下文语句，以减轻有关冲突。具体来说，我们引入了一个通道内的负采样策略，以鼓励不同的一代的句子表征在同一个通道。在三个基准数据集上的实验验证了该方法的有效性，特别是在冲突严重的数据集上。大量的实验进一步表明，我们的方法在数据集之间具有良好的可移植性。
2022-03-05 cs.CL
Information Type Classification with Contrastive Task-Specialized Sentence Encoders
Technische Hochschule Nürnberg（纽伦堡工业大学）
针对危机场景下用户生成信息分类受噪声和事件偏差影响的问题，提出采用对比式任务专用句子编码器，在多个基准任务上提升了F1分数，并验证了其跨语料与跨语言能力。
2023-12-18 cs.CL
One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations
Japan Advanced Institute of Science and Technology（日本先进科学研究院）；Toshiba Corporation（东芝公司）
DualCSE通过对比学习为句子生成显式和隐式语义嵌入，提升信息检索和文本分类任务性能。
2026-01-15 cs.CL
EASE: Entity-Aware Contrastive Learning of Sentence Embedding
Studio Ousia（Ousia工作室）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；National Institute of Informatics（国立信息学研究所）
我们提出了EASE，一种新的方法学习句子嵌入通过对比学习之间的句子和它们的相关实体。使用实体监督的优点是双重的：（1）实体已被证明是文本语义的强指示器，因此应该为句子嵌入提供丰富的训练信号;（2）实体是独立于语言定义的，因此提供有用的跨语言对齐监督。我们评估EASE对其他无监督模型在单语和多语言设置。我们表明，EASE表现出竞争力或更好的性能在英语语义文本相似性（STS）和短文本聚类（STC）的任务，它显着优于基线方法在多种任务的多语言设置。我们的源代码，预训练模型和新构建的多语言STC数据集可在https://github.com/studio-ousia/ease上获得。
2022-05-09 cs.CL
S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding
Westlake University（西湖大学）
为了提高句子嵌入的学习性能，人们研究了对比学习。目前最先进的方法是SimCSE，它采用dropout作为数据增强方法，并向预训练的Transformer编码器提供相同的输入语句两次。相应的输出，即从具有不同丢弃掩码的相同句子导出的两个句子嵌入，可以用于构建正对。一个带有丢弃掩码的网络可以看作是它自身的一个子网络，其期望规模由丢弃率决定。在本文中，我们推动具有不同预期尺度的子网络学习相同句子的相似嵌入。SimCSE未能做到这一点，因为他们将辍学率固定为一个调优的超参数。我们实现这一点的抽样辍学率从一个分布eatch前进的过程。由于这种方法可能会使优化变得更加困难，我们还提出了一个简单的逐行掩码策略来采样更多的子网络。我们在几个流行的语义文本相似度数据集上评估了所提出的S-SimCSE。实验结果表明，S-SimCSE在BERT $_{base}$上的性能优于$1\%$
2021-11-24 cs.CL
SimCSE++: Improving Contrastive Learning for Sentence Embeddings from Two Perspectives
Nanyang Technological University（南洋理工大学）；Tencent AI Lab（腾讯人工智能实验室）
本文从处理dropout噪声和解决特征损坏两个视角改进句子嵌入的对比学习，提出通用方法，在SimCSE和DiffCSE上分别提升1.8和1.4分。
2023-10-20 cs.CL
Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation
Soochow University（苏州大学）；Sogou（搜狗）
文档级机器翻译将文档间的依赖性结合到源句子的翻译中。在本文中，我们提出了一个新的框架，通过训练神经机器翻译（NMT）来预测目标翻译和源句子的周围句子来建模跨句子依赖关系。通过强制NMT模型来预测源上下文，我们希望模型能够学习“上下文化”的源语句表示，这些表示可以捕获源端的文档级依赖关系。我们进一步提出了两种不同的方法来学习和集成这样的上下文句子嵌入到NMT：联合训练方法，联合训练NMT模型与源上下文预测模型和预训练和微调方法，预训练的源上下文预测模型上的大规模单语文档语料库，然后微调它与NMT模型。通过对汉英和英德翻译的实验表明，这两种方法都能在较强的文档级Transformer基础上显著提高翻译质量。
2020-03-30 cs.CL
Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
最近的无监督文本表示学习模型采用了许多技术来改善上下文单词表示，但很少关注话语级表示。我们提出了CONPONO，一个用于预训练语言模型的句间目标，它模拟了话语连贯性和句子之间的距离。给定一个锚定句子，我们的模型被训练为使用sampled-softmax目标来预测k个句子之外的文本，其中候选者由相邻句子和从语料库中随机采样的句子组成。在话语表征基准DiscoEval上，我们的模型比以前的最先进水平提高了13%，在7个任务中平均提高了4%。我们的模型与BERT-Base的大小相同，但优于更大的BERT- Large模型和其他最近的包含话语的方法。我们还表明，CONPONO产生2%-6%的绝对收益，即使是没有明确评估话语的任务：文本蕴涵（RTE），常识推理（COPA）和阅读理解（ReCoRD）。
2020-05-20 cs.CL
Domain Adaptation for Japanese Sentence Embeddings with Contrastive Learning based on Synthetic Sentence Generation
Doshisha University（同志社大学）；Kindai University（近畿大学）
本文提出 SDJC 方法，通过生成与目标领域句子句法相同但语义不同的合成句子来增强对比学习，实现日语句子嵌入的领域自适应，并构建了日语 STS 基准数据集，实验验证了其有效性。
2025-03-12 cs.CL
Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment
The University of Tokyo（东京大学）
针对多模态句子嵌入训练中图像-字幕对存在噪声的问题，提出结合细粒度对象-短语对齐的MCSEO方法，利用分割与检测模型提取配对优化对比学习目标，在STS任务上 consistently 优于强基线。
2025-08-01 cs.CL
Multilingual Representation Distillation with Contrastive Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI Research（Meta人工智能研究院）
本研究将对比学习融入多语言表示蒸馏，用于平行句对质量评估，在低资源语言的多语言相似度搜索与语料过滤任务中性能显著优于LASER等经典句子编码器。
2023-04-30 cs.CL
Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）
本文从梯度视角提出统一范式，揭示对比损失在语义文本相似度任务中表现优异的关键组件，并通过调整这些组件使非对比自监督学习在STS任务中取得出色性能。
2024-06-05 cs.CL
Sentence-Level Relation Extraction via Contrastive Learning with Descriptive Relation Prompts
Netease Inc.（网易公司）
本文提出CTL-DRP范式，通过描述性关系提示和对比学习联合建模实体信息、关系知识与类型限制，在TACRED、TACREV和Re-TACRED上取得领先性能。
2023-04-11 cs.CL
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool（利物浦大学）；Amazon（亚马逊）
在NLP社区中已经提出了各种上下文化的语言模型，这些模型在不同的语料库上训练以产生许多神经语言模型（NLM）。然而，不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法，该方法采用独立训练的上下文化词嵌入模型，并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的，并且不与特定的下游任务绑定，这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说，我们首先投影由各个NLM获得的令牌级嵌入，并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来，我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明，我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
Using Contextual Information for Sentence-level Morpheme Segmentation
George Mason University（乔治梅森大学）
本研究将语素切分重构为序列到序列任务，以整句为输入，发现多语言模型优于单语言模型，虽未超越最先进方法，但在高资源语言上效果相当，低资源语言上存在局限。
2024-12-16 cs.CL
Leveraging Multi-lingual Positive Instances in Contrastive Learning to Improve Sentence Embedding
The University of Tokyo（东京大学）
针对多语言句子嵌入学习，本研究提出MPCL方法，通过利用多个多语言正例的跨语言优势与传递相似性改进对比学习，在多类任务及未见过语言的跨语言迁移上均优于传统单正例对比学习。
2024-01-31 cs.CL
SDA: Simple Discrete Augmentation for Contrastive Sentence Representation Learning
Baidu Inc.（百度公司）；SenseTime Research（商汤科技研究院）；Fudan University（复旦大学）
本文针对无监督对比句表示学习提出 SDA 离散增强框架，通过标点插入、情态动词和双重否定平衡语义一致性与表达多样性，并用标准否定构造负样本以缓解特征抑制，在多个语义文本相似度数据集上稳定优于现有方法。
2024-06-14 cs.CL
Bi-ISCA: Bidirectional Inter-Sentence Contextual Attention Mechanism for Detecting Sarcasm in User Generated Noisy Short Text
Shiv Nadar University（希夫·纳达尔大学）；Accenture Technology Labs（埃森哲技术实验室）
社交媒体平台上的许多在线评论是仇恨的，幽默的，或讽刺的。这些评论（尤其是短评论）的讽刺性质改变了它们实际隐含的情感，这导致了现有情感分析模型的误解。大量的研究已经做了检测讽刺的文本中使用基于用户的，主题和会话信息，但没有太多的工作已经做了使用句间上下文信息检测相同。本文提出了一种新的最先进的深度学习架构，该架构使用一种新的双向句间上下文注意力机制（Bi-ISCA）来捕获句间依赖关系，以便仅使用会话上下文来检测用户生成的短文本中的讽刺。所提出的深度学习模型展示了捕获负责引起讽刺的显式、隐式和上下文不一致的单词和短语的能力。Bi-ISCA在两个广泛使用的讽刺检测任务基准数据集（Reddit和Twitter）上生成最先进的结果。据我们所知，没有一个现有的国家的最先进的模型使用一个句子间的上下文注意力机制，以检测讽刺的用户生成的短文本中使用的会话上下文。
2021-04-20 cs.CL
Sentence Embeddings using Supervised Contrastive Learning
Princeton University（普林斯顿大学）
句子嵌入将句子编码在固定的密集向量中，并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习（如Quick-Thoughts）和监督学习（如Infersent）。随着预训练的NLP模型的成功，最近的研究表明，在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入，在各种评估基准上优于以前的句子嵌入方法。在本文中，我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说，我们的方法在SNLI数据上微调预训练的BERT，同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比，我们的监督对比方法在语义文本相似性（STS）基准测试中平均提高了2.8%，在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
Improving Multi-lingual Alignment Through Soft Contrastive Learning
Yonsei University（延世大学）；Linq
提出软对比学习改进多语言句子对齐，利用单语言模型相似性作为软标签，在双语挖掘和STS任务上超越硬标签方法及LaBSE。
2024-05-28 cs.CL
SCD: Self-Contrastive Decorrelation for Sentence Embeddings
SAP AI Research（思爱普人工智能研究院）
在本文中，我们提出了自对比解相关（SCD），一种自监督的方法。给定一个输入句子，它优化了一个联合的自对比和去相关目标。通过利用以不同速率的标准辍学的实例化所产生的对比来促进学习表示。所提出的方法是概念简单，但经验强大。它在多个基准上实现了与最先进的方法相当的结果，而不使用对比对。这项研究为有效的自监督学习方法开辟了道路，这些方法比当前的对比方法更强大。
2022-03-15 cs.CL cs.LG
Debiased Contrastive Learning of Unsupervised Sentence Representations
Renmin University of China（中国人民大学）
最近，对比学习已被证明是有效的，在改善预训练的语言模型（PLM），以获得高质量的句子表示。它的目的是拉近积极的例子，以提高对齐，同时推开不相关的负面的整个表示空间的一致性。然而，以往的工作大多采用批内否定或从训练数据中随机抽取样本。这种方式可能会导致采样偏差，使用不适当的否定（例如假否定和各向异性表示）来学习句子表示，这将损害表示空间的均匀性。为了解决这个问题，我们提出了一个新的框架\textbf{DCLR}（\underline{D} ebiased \underline{C} ontrasive \underline{L} earning of unsupervised sentence \underline{R} eprepresentation）来减轻这些不适当的负面影响.在DSPs中，我们设计了一种实例加权方法来惩罚假阴性，并生成基于噪声的阴性，以保证表示空间的均匀性。在七个语义文本相似性任务上的实验表明，我们的方法比竞争基线更有效。我们的代码和数据可通过以下链接公开获取：\textcolor{blue}{\url{https://github.com/RUCAIBox/DCLR}}。
2022-05-02 cs.CL
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
SAP AI Research（SAP人工智能研究院）
本文提出基于互信息的对比学习框架miCSE，通过强制不同视图间注意力模式对齐与结构一致性，提升了对比自监督学习的样本效率，在少样本句子嵌入任务上取得优异表现。
2023-05-23 cs.CL cs.LG
Classification and Clustering of Sentence-Level Embeddings of Scientific Articles Generated by Contrastive Learning
Faculdade de Tecnologia, Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学技术学院）；Federal Institute of São Paulo（圣保罗联邦学院）
本文通过对比学习微调句子Transformer生成科学论文句级嵌入，并引入全文句子数据集PMC-Sents-FULL，在分类与聚类任务上显著优于基线模型。
2024-03-30 cs.CL
Self-Guided Contrastive Learning for BERT Sentence Representations
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）
尽管BERT及其变体已经重塑了NLP的格局，但如何从这种预先训练的Transformers中最好地获得句子嵌入仍然不清楚。在这项工作中，我们提出了一个对比学习方法，利用自我指导，以提高质量的BERT句子表示。我们的方法以自我监督的方式微调BERT，不依赖于数据增强，并使通常的[CLS]令牌嵌入作为句子向量。此外，我们重新设计了对比学习目标（NT-Xent），并将其应用于句子表示学习。我们用大量的实验证明，我们的方法是更有效的竞争力的基线上不同的业务相关的任务。我们还表明，它是有效的推理和鲁棒域转移。
2021-06-03 cs.AI cs.CL
What do you learn from context? Probing for sentence structure in contextualized word representations
Google AI Language；Johns Hopkins University（约翰斯·霍普金斯大学）；Swarthmore College（斯沃斯莫尔学院）；New York University（纽约大学）；Brown University（布朗大学）
诸如ELMo（Peters等人，2018 a）和BERT（Devlin等人，2018）最近在一系列下游NLP任务上取得了最先进的成果。基于最近的标记级探测工作，我们引入了一种新的边缘探测任务设计，并从传统的结构化NLP管道中构建了一系列广泛的子句子任务。我们从四个最近的模型中探索词级上下文表示，并研究它们如何在一系列句法，语义，局部和远程现象中编码句子结构。我们发现，在语言建模和翻译上训练的现有模型对句法现象产生了强有力的表示，但在非上下文基线上对语义任务只提供了非常小的改进。
2019-05-15 cs.CL
Contrastive Prompting Enhances Sentence Embeddings in LLMs through Inference-Time Steering
State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）
针对大语言模型句子嵌入最后词元含过多非必要信息的问题，提出即插即用的对比提示推理调控方法，通过辅助提示对比引导编码核心语义，在多类任务和不同LLM上均提升了现有提示方法的性能。
2025-05-19 cs.CL
DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings
DAMO Academy, Alibaba Group（阿里巴巴达摩院）
从对话中学习句子嵌入因其低标注成本和高领域适应性而受到越来越多的关注。传统的方法采用连体网络来完成这个任务，它通过在句子编码器上应用前馈网络来建模上下文响应语义相关性来获得句子嵌入。然而，由于语义文本相似性通常通过元素距离度量（例如余弦和L2距离）来测量，因此这种架构在训练和评估之间产生了很大的差距。在本文中，我们提出了DialogueCSE，一个基于对话的对比学习方法来解决这个问题。DialogueCSE首先引入了一种新的匹配引导嵌入（MGE）机制，该机制根据多轮上下文响应匹配矩阵的指导，为每个候选响应嵌入生成上下文感知嵌入（即上下文无关嵌入）。然后将每个上下文感知嵌入与其对应的上下文无关嵌入配对，最后最小化所有对的对比损失。我们在三个多轮对话数据集上评估了我们的模型：微软对话语料库，京东对话语料库和电子商务对话语料库。评估结果表明，我们的方法显着优于所有三个数据集的MAP和斯皮尔曼的相关性措施方面的基线，证明了其有效性。进一步的定量实验表明，我们的方法实现了更好的性能时，利用更多的对话上下文和保持鲁棒性时，提供更少的训练数据。
2021-09-26 cs.CL
Debiasing Sentence Embedders through Contrastive Word Pairs
CITEC, University of Bielefeld（比勒费尔德大学CITEC（认知交互技术中心））
针对现有去偏方法直接从词嵌入转移而忽略句子嵌入非线性特性的问题，本文提出通过对比词对去除句子嵌入中线性和非线性偏见信息的方法，且不影响下游任务性能。
2024-03-27 cs.CL
English Contrastive Learning Can Learn Universal Cross-lingual Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
通用跨语言句子嵌入将语义相似的跨语言句子映射到共享的嵌入空间中。对齐跨语言句子嵌入通常需要监督的跨语言平行句子。在这项工作中，我们提出了mSimCSE，它扩展SimCSE到多语言设置，并揭示了英语数据的对比学习可以令人惊讶地学习高质量的通用跨语言句子嵌入，而无需任何并行数据。在无监督和弱监督的设置，mSimCSE显着改善了以前的跨语言检索和多语言STS任务的句子嵌入方法。在检索低资源语言和多语言STS方面，无监督mSimCSE的性能与完全监督方法相当。当跨语言NLI数据可用时，性能可以进一步增强。我们的代码可在https://github.com/yaushian/mSimCSE上公开获取。
2022-11-11 cs.AI cs.CL
Contextual Salience for Fast and Accurate Sentence Vectors
Stanford University（斯坦福大学）；Salesforce Research（Salesforce 研究院）
句子或文档的无监督向量表示是许多语言任务（如情感分类）的主要构建块。然而，目前的方法是不可解释的和缓慢的或需要大量的训练数据集。最近的词向量为基础的建议隐含地假设，在词嵌入空间的距离是同样重要的，无论上下文。我们引入上下文显着性（CoSal），一个词的重要性，使用上下文向量的分布来规范化的距离和权重的措施。CoSal依赖于不寻常的词向量不成比例地影响短语向量的洞察力。一个基于CoSal-based权重的词袋模型产生准确的无监督句子或文档表示用于分类，需要很少的计算来评估，只需要一个协方差计算来"训练“。“CoSal支持小上下文，上下文外的单词，在大多数基准测试中优于SkipThought，在所有基准测试中击败tf-idf，并与无监督的最先进技术竞争。
2020-11-02 cs.CL
On Isotropy, Contextualization and Learning Dynamics of Contrastive-based Sentence Representation Learning
Durham University（杜伦大学）
本文从各向同性、语境化和学习动态角度分析对比学习在句子表示学习中的作用机制，揭示其促进表示各向同性、提高句内相似性并缓解虚假语境化，为未来方法设计提供依据。
2023-05-26 cs.AI cs.CL
Contrastive Entropy: A new evaluation metric for unnormalized language models
University of Florida（佛罗里达大学）
复杂度（每个单词）是评估语言模型的最广泛使用的度量。尽管如此，对这一指标的批评并不缺乏。这些批评大多集中在缺乏相关性的外部指标，如词出错率（WER），依赖于共享词汇的模型比较和不适合非规范化的语言模型评估。在本文中，我们解决了最后一个问题，并提出了一个新的判别熵为基础的内在度量，适用于传统的词级模型和非规范化的语言模型，如句子级模型。我们还提出了一个有区别地训练句子级解释的递归神经网络为基础的语言模型（RNN）作为一个例子，非规范化的句子级模型。我们证明，对于词级模型，对比熵表现出很强的相关性与困惑。我们还观察到，当在较低失真水平下训练时，句子级RNN在这个新指标上的表现大大优于传统RNN。
2016-03-31 cs.CL
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta（阿尔伯塔大学）
针对 SimCSE 未充分利用难负样本的问题，提出结合难负样本挖掘的无监督对比学习框架，通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数，使模型聚焦于难负样本，在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG
A Contrastive Cross-Channel Data Augmentation Framework for Aspect-based Sentiment Analysis
Jilin University（吉林大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）；Wuhan University（武汉大学）
基于体的情感分析（ABSA）是一种细粒度的情感分析任务，其重点是检测句子中对体的情感极性。然而，它总是敏感的多方面的挑战，在一个句子中的多个方面的特点会相互影响。为了解决这个问题，我们设计了一种新的训练框架，称为对比跨通道数据增强（C3 DA），它利用域内生成器来构建更多的多方面样本，然后通过对这些生成的数据进行对比学习来增强ABSA模型的鲁棒性。在实践中，给定一个生成式预训练语言模型和一些有限的ABSA标记数据，我们首先采用一些参数有效的方法来执行域内微调。然后，使用所获得的域内生成器从两个通道生成合成句子，即，方面增强通道和极性增强通道，分别在给定的方面和极性上生成句子条件。具体来说，我们的C3 DA执行的句子生成在一个跨通道的方式，以获得更多的句子，并提出了一个熵最小化过滤器过滤低质量的生成样本。大量的实验表明，我们的C3 DA可以优于这些基线没有任何增强约1%的准确性和宏F1。代码和数据发布在https://github.com/wangbing1416/C3DA。
2022-09-07 cs.CL
