SimCSE: Simple Contrastive Learning of Sentence Embeddings
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
本文介绍了SimCSE，一个简单的对比学习框架，大大提高了最先进的句子嵌入。我们首先描述了一个无监督的方法，它需要一个输入句子，并预测自己在一个对比的目标，只有标准的辍学作为噪音。这个简单的方法工作得出奇的好，与以前的监督对应物表现相当。我们发现，dropout作为最小的数据增强，并删除它会导致一个表示坍塌。然后，我们提出了一种监督的方法，它将注释对从自然语言推理数据集到我们的对比学习框架，使用“蕴涵”对作为积极和“矛盾”对硬否定。我们在标准语义文本相似性（STS）任务上评估SimCSE，我们使用BERT基础的无监督和有监督模型分别达到平均76.3%和81.6%的斯皮尔曼相关性，与以前的最佳结果相比，分别提高了4.2%和2.2%。我们还从理论上和经验上证明，对比学习的目标是使预训练的嵌入的各向异性空间更加均匀，并且在监督信号可用时更好地对齐正对。
2022-05-18 cs.CL cs.LG
Composition-contrastive Learning for Sentence Embeddings
Texas A&M University（德州农工大学）
针对无标注句子表示学习，本文提出文本与其短语成分组合对齐的成分对比学习目标，在语义文本相似度任务上达到可比最先进水平，且无需辅助目标或额外参数。
2023-07-14 cs.CL cs.LG
Interpretable contrastive word mover's embedding
Tufts University（塔夫茨大学）
本文表明，一种流行的方法，监督嵌入文件的分类，即对比词移动器的嵌入，可以显着提高通过增加可解释性。这种可解释性是通过将聚类促进机制纳入对比损失来实现的。在几个公共数据集上，我们表明我们的方法在现有基线的基础上显着改进，同时通过识别一组最能代表特定类别的关键字来提供对集群的解释。我们的方法的动机部分是需要开发自然语言处理（NLP）方法的\textit{novel problem of assessing student work for scientific writing and thinking} -一个问题，是中央（教育）学习科学（LS）的领域。在这种情况下，我们表明，我们的方法导致一个有意义的评估学生的工作相关的实验室报告，从生物类，可以帮助LS研究人员深入了解学生的理解和评估科学思维过程的证据。
2021-11-01 cs.CL cs.LG
Embedding And Clustering Your Data Can Improve Contrastive Pretraining
Snowflake Inc.（雪花公司）
本研究利用预训练文本嵌入模型和 k-means 聚类算法，将训练数据按来源内部的语义簇进一步分层拆分，显著提升了基于 BERT 的模型在 MSMARCO 数据集上的 NDCG@10 指标，并统一了 TAS-B 和 ANCE 方法，为对比预训练数据组织提供了新视角。
2024-07-26 cs.CL cs.LG
UNSEE: Unsupervised Non-contrastive Sentence Embeddings
Koç University（科克大学）
针对非对比目标下的句子表征崩塌问题，研究提出带目标网络的UNSEE无监督非对比式句子嵌入方法，经微调优化在Massive Text Embedding基准上超越SimCSE，达非对比句子嵌入最优性能。
2024-02-02 cs.CL
Isolating authorship from content with semantic embeddings and contrastive learning
Universidad Politécnica de Madrid（马德里理工大学）
针对作者身份识别中内容与风格纠缠导致内容泄露的问题，提出结合语义相似性模型生成难负样本的对比学习（InfoNCE）解耦技术，提升多产作者识别准确率并保留零样本能力。
2024-11-27 cs.CL cs.LG
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology（华南理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题，提出SARCSE框架，通过自编码器重构全部词元并引入自适应重构损失，在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University Health Network（大学健康网络）
句子嵌入是许多自然语言处理（NLP）系统的重要组成部分。与词嵌入一样，句子嵌入通常在大型文本语料库中学习，然后转移到各种下游任务中，例如聚类和检索。与词嵌入不同，学习句子嵌入的最高性能解决方案需要标记数据，这限制了它们对标记数据丰富的语言和领域的有用性。在本文中，我们提出了DeCLUTR：用于无监督文本表示的深度对比学习。受深度度量学习（DML）最新进展的启发，我们仔细设计了一个自监督目标，用于学习通用句子嵌入，不需要标记的训练数据。当用于扩展基于transformer的语言模型的预训练时，我们的方法缩小了通用句子编码器的无监督和监督预训练之间的性能差距。重要的是，我们的实验表明，学习嵌入的质量与可训练参数的数量和未标记的训练数据的数量成比例。我们的代码和预训练模型是公开的，可以轻松适应新领域或用于嵌入看不见的文本。
2021-05-27 cs.CL cs.LG
Adversarial Contrastive Estimation
Borealis AI；University of Toronto（多伦多大学）
正负样本对比学习是许多方法普遍采用的策略。用于词嵌入的噪声对比估计（NCE）和用于知识图谱的翻译嵌入是采用这种方法的NLP中的示例。在这项工作中，我们将对比学习视为所有此类方法的抽象，并将负采样器增加到包含逆向学习采样器的混合分布中。由此产生的自适应采样器会找到更难的负样本，这迫使主模型学习更好的数据表示。我们评估了我们关于学习词嵌入，顺序嵌入和知识图谱嵌入的建议，并观察到更快的收敛速度和多个指标的改进结果。
2018-08-02 cs.AI cs.CL cs.LG
Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores
BA Inc.（BA公司）
本文提出在带有专家增强分数的小数据集上通过对比微调改进文本嵌入模型，使用软标签微调以提升语义相似性和检索能力，在MTEB多个检索任务上优于基准模型，适用于标记数据稀缺的现实场景。
2024-08-19 cs.AI cs.CL cs.LG
Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding
Tencent Cloud Xiaowei（腾讯云小微）；Westlake University（西湖大学）
对比学习已经成为无监督句子嵌入的一种新的范式。以往的研究集中在实例方面的对比学习，试图构建积极的对文本数据增强。本文提出了一种新的基于虚拟语义原型的对比学习方法。具体而言，我们借助提示语，为每个实例构造虚拟语义原型，并利用提示语的否定形式推导出否定原型。利用原型对比损失，我们使锚句子嵌入靠近其对应的语义原型，远离否定原型以及其他句子的原型。语义文本相似性，转移和聚类任务的大量实验结果表明，我们提出的模型相比，强大的基线的有效性。代码可在https://github.com/lemon0830/promptCSE上获得。
2022-12-11 cs.CL
TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs
National University of Singapore（新加坡国立大学）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）
针对 LLM 响应来源归因在 NLP 中缺乏稳健框架的问题，本文提出基于 Transformer 与对比嵌入的 TRACE，并通过多场景实证评估证明其可显著提升来源准确归因能力与模型可信度。
2024-07-06 cs.CL cs.LG
HiCL: Hierarchical Contrastive Learning of Unsupervised Sentence Embeddings
University of Michigan（密歇根大学）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
HiCL通过分层对比学习同时建模局部片段与全局序列关系，提升无监督句子嵌入的训练效率与效果，在七个STS任务上超越SNCSE模型。
2023-10-15 cs.CL cs.LG
SetCSE: Set Operations using Contrastive Learning of Sentence Embeddings
受集合论启发提出SetCSE信息检索框架，通过集合间对比学习目标增强句子嵌入模型对复杂语义的理解，并提供交集、差分等集合操作，显著提升模型判别能力，支持现有方法无法实现的复杂提示检索任务。
2024-04-25 cs.CL cs.IR cs.LG
PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
The University of Tokyo（东京大学）；Microsoft Corporation（微软公司）
在自然语言处理中，以无监督的方式学习句子嵌入是基本的。最近的常见做法是将预训练的语言模型与无监督的对比学习相结合，其成功依赖于用语义上接近的正实例来增强句子以构建对比对。然而，现有的方法通常依赖于一个单一的增强策略，这导致学习捷径的增强偏见，从而损坏的句子嵌入的质量。一个简单的解决方案是从多增强策略中诉诸更多样化的积极因素，而一个悬而未决的问题仍然是如何在无监督的情况下从不同的积极因素中学习，但在文本字段中具有不均匀的增强质量。作为一个答案，我们提出了一种新的同行对比学习（PCL）与不同的增强。PCL在群体水平上为无监督的句子嵌入构建了不同的对比肯定和否定。PCL执行对等积极对比以及对等网络合作，这提供了固有的抗偏见能力和从不同增强中学习的有效方法。STS基准测试的实验验证了PCL在无监督句子嵌入中的有效性。
2022-10-19 cs.CL
SemCSE: Semantic Contrastive Sentence Embeddings Using LLM-Generated Summaries For Scientific Abstracts
Bielefeld University, Germany（比勒菲尔德大学）
SemCSE 利用大语言模型生成的摘要进行无监督对比学习，以增强科学文本语义嵌入，并在 SciRepEval 基准上取得同等规模模型中的最优性能。
2025-07-17 cs.CL cs.IR cs.LG
Towards General Text Embeddings with Multi-stage Contrastive Learning
Alibaba Group（阿里巴巴集团）
本文提出通用文本嵌入模型 GTE，通过多阶段对比学习并在预训练与微调阶段大幅增加数据，以 110M 参数超越 OpenAI 嵌入 API 及更大模型，并在代码检索任务中表现优异。
2023-08-07 cs.CL
KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文提出KDMCSE方法，通过教师模型知识蒸馏有效检测噪声负样本，并引入AdapACSE自适应角度裕度对比目标增强判别力，显著提升了多模态句子嵌入性能。
2024-03-26 cs.CL
MCSE: Multimodal Contrastive Learning of Sentence Embeddings
Saarland University（萨尔大学）
学习语义有意义的句子嵌入是自然语言处理中的一个开放性问题。在这项工作中，我们提出了一个句子嵌入学习方法，利用视觉和文本信息，通过多模态对比目标。通过对各种语义文本相似性任务的实验，我们证明了我们的方法在各种数据集和预先训练的编码器中始终提高了性能。特别是，结合少量的多模态数据与一个大的纯文本语料库，我们提高了国家的最先进的平均斯皮尔曼的相关性1.7%。通过分析文本嵌入空间的属性，我们表明，我们的模型擅长对齐语义相似的句子，提供了一个解释其性能的提高。
2022-04-22 cs.CL
Embedding Geometries of Contrastive Language-Image Pre-Training
Cohere For AI Community（Cohere AI 社区）；Cisco Meraki（思科 Meraki）
本文重新审视了CLIP的L2归一化和余弦相似度设计，提出基于欧几里得几何的变体EuCLIP，实验证明其性能匹配或超越CLIP，且能更好支持层次关系。
2024-09-19 cs.CL cs.CV cs.LG
DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings
Massachusetts Institute of Technology（麻省理工学院）；Meta AI；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们提出了DiffCSE，一个无监督的对比学习框架学习句子嵌入。DiffCSE学习对原始句子和编辑句子之间的差异敏感的句子嵌入，其中编辑句子是通过随机掩蔽原始句子然后从掩蔽的语言模型采样而获得的。我们证明了DiffSCE是等变对比学习的一个实例（Dangovski等人，2021），其概括了对比学习并学习对某些类型的增强不敏感而对其他“有害”类型的增强敏感的表示。我们的实验表明，DiffCSE在无监督句子表示学习方法中取得了最先进的结果，在语义文本相似性任务上比无监督SimCSE高出2.3个绝对点。
2022-04-21 cs.CL
Contrastive Loss is All You Need to Recover Analogies as Parallel Lines
Columbia University（哥伦比亚大学）
本研究揭示静态词嵌入类比平行结构的形成机制，发现基础对比式方法在类比恢复任务上性能媲美主流模型且训练更快，证明对比损失可构建平行结构并建立共现统计与嵌入几何的精确关系。
2023-06-14 cs.CL
Let LLMs Speak Embedding Languages: Generative Text Embeddings via Iterative Contrastive Refinement
Department of Computer Science and Information Engineering, National Taiwan University（国家台湾大学计算机科学与信息工程系）；National Taiwan University AI Center of Research Excellence（国家台湾大学人工智能研究中心）
GIRCSE通过迭代对比细化生成文本嵌入，优于现有LLM基嵌入方法，在多个基准和任务中表现出色。
2026-02-06 cs.AI cs.CL
Non-contrastive sentence representations via self-supervision
Bloomberg（彭博）
本文系统比较了维度对比自监督方法与标准对比句嵌入基线 SimCSE，发现前者无需辅助损失即可在下游任务上取得更优性能。
2023-10-26 cs.CL
Unsupervised Document Embedding via Contrastive Augmentation
The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Labs America（美国 NEC 实验室）；University of Connecticut（康涅狄格大学）
我们提出了一种对比学习方法与数据增强技术，学习文档表示在无监督的方式。受最近用于图像和NLP预训练的对比自监督学习算法的启发，我们假设高质量的文档嵌入应该对保留原始文档语义的各种释义保持不变。通过不同的主干和对比学习框架，我们的研究揭示了对比增强对文档表示学习的巨大好处，并提供了两个额外的见解：1）以对比的方式包括数据增强可以显著地提高无监督文档表示学习中的嵌入质量，以及2）通常，由简单的单词级操作生成的随机增强比文档级和文档级操作好得多。我们将我们的方法插入分类器，并将其与六个基准数据集上的各种基线方法进行比较。我们的方法可以降低分类出错率高达6.4%，SOTA方法的文件分类任务，匹配，甚至超过完全监督的方法。
2021-03-26 cs.CL
SimCSE++: Improving Contrastive Learning for Sentence Embeddings from Two Perspectives
Nanyang Technological University（南洋理工大学）；Tencent AI Lab（腾讯人工智能实验室）
本文从处理dropout噪声和解决特征损坏两个视角改进句子嵌入的对比学习，提出通用方法，在SimCSE和DiffCSE上分别提升1.8和1.4分。
2023-10-20 cs.CL
Contrastive Learning of Sentence Embeddings from Scratch
Zhejiang University（浙江大学）；Westlake University（西湖大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出SynCSE框架，利用大语言模型合成数据（含部分标注与从零生成）进行对比学习训练句子嵌入，在相似性和重排序任务中大幅超越无监督基线，部分设置下媲美监督模型。
2023-10-24 cs.CL
English Contrastive Learning Can Learn Universal Cross-lingual Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
通用跨语言句子嵌入将语义相似的跨语言句子映射到共享的嵌入空间中。对齐跨语言句子嵌入通常需要监督的跨语言平行句子。在这项工作中，我们提出了mSimCSE，它扩展SimCSE到多语言设置，并揭示了英语数据的对比学习可以令人惊讶地学习高质量的通用跨语言句子嵌入，而无需任何并行数据。在无监督和弱监督的设置，mSimCSE显着改善了以前的跨语言检索和多语言STS任务的句子嵌入方法。在检索低资源语言和多语言STS方面，无监督mSimCSE的性能与完全监督方法相当。当跨语言NLI数据可用时，性能可以进一步增强。我们的代码可在https://github.com/yaushian/mSimCSE上公开获取。
2022-11-11 cs.AI cs.CL
Improved Universal Sentence Embeddings with Prompt-based Contrastive Learning and Energy-based Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；The University of New South Wales（新南威尔士大学）
对比学习已被证明在增强预训练的语言模型（PLM）以获得优越的通用句子嵌入方面是有效的。然而，现有的对比方法仍然有两个局限性。首先，以前的工作可能会获得域转移设置下的性能差，从而阻碍了句子表示在实践中的应用。我们将这种低性能归因于具有数百万参数的PLM的过度参数化。为了缓解它，我们提出了PromCSE（用于句子嵌入的基于语义的对比学习），它只训练小规模的\emph{Soft Prompt}（即，一组可训练向量），同时保持PLM固定。其次，对比学习的常用NT-Xent损失函数在监督学习设置中没有充分利用硬否定。为此，我们建议整合一个基于能量的铰链损失，以提高成对的区分能力，受到NT-Xent损失和基于能量的学习范式之间的联系的启发。七个标准的语义文本相似性（STS）任务和一个领域转移的STS任务的实验结果都表明，我们的方法相比，目前最先进的句子嵌入模型的有效性。我们的代码可在https://github.com/YJiangcm/PromCSE上公开获取
2022-10-09 cs.CL
InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）
对比学习在句子嵌入学习中得到了广泛的研究，它假设同一个句子的不同观点的嵌入更接近。这个假设带来的约束是弱的，一个好的句子表示还应该能够重构原始的句子片段。因此，本文提出了一个信息聚合的对比学习框架学习无监督句子嵌入，称为InfoCSE。InfoCSE通过引入额外的Masked语言模型任务和精心设计的网络，强制[CLS]位置的表示聚合更密集的句子信息。我们在几个基准数据集上评估了所提出的InfoCSE的语义文本相似性（STS）任务。实验结果表明，InfoCSE在BERT-base和BERT-large上的平均Spearman相关性分别为2.60%和1.77%，优于SimCSE，在无监督语句表示学习方法中取得了最好的效果.我们的代码可从https://github.com/caskcsg/sentemb/tree/main/InfoCSE获得。
2022-10-14 cs.CL
AugCSE: Contrastive Sentence Embedding with Diverse Augmentations
Boston University（波士顿大学）
数据增强技术已被证明在自然语言处理领域的许多应用中是有用的。大多数增强都是针对特定任务的，不能用作通用工具。在我们的工作中，我们提出了AugCSE，一个统一的框架，利用不同的数据增强集，以实现更好的，通用的，句子嵌入模型。基于最新的句子嵌入模型，我们的方法使用了一个简单的对抗性的增强类型进行区分。借用领域自适应的微调目标，我们表明，不同的增强，这往往会导致冲突的对比信号，可以驯服产生一个更好的和更强大的句子表示。我们的方法在下游传输任务上实现了最先进的结果，并且仅使用无监督数据在语义文本相似性任务上具有竞争力。
2022-10-20 cs.CL
Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives
Alibaba Group（阿里巴巴集团）
继SimCSE之后，基于对比学习的方法在学习句子嵌入方面取得了最先进的（SOTA）性能。然而，无监督的对比学习方法仍然远远落后于有监督的同类方法。我们将此归因于阳性和阴性样本的质量，并旨在改善两者。具体来说，对于阳性样本，我们提出了开关情况下的增强翻转的情况下，随机选择的单词在一个句子中的第一个字母。这是为了抵消预先训练的标记嵌入对频率、词格和子词的固有偏见。对于阴性样本，我们基于预训练的语言模型从整个数据集中抽取硬阴性样本。将上述两种方法与SimCSE相结合，我们提出的对比学习与增强和检索数据的句子嵌入（Sentence embedding）方法显着优于当前的SOTA在STS基准在无监督设置。
2022-06-06 cs.CL cs.IR
Improving Contrastive Learning of Sentence Embeddings from AI Feedback
Fudan University（复旦大学）
本文提出CLAIF方法，利用大型预训练语言模型的AI反馈构建带细粒度相似度分数的样本对，并结合人类反馈提供监督信号，显著提升了句子嵌入对比学习在语义文本相似性等任务上的性能。
2023-05-20 cs.AI cs.CL
DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings
DAMO Academy, Alibaba Group（阿里巴巴达摩院）
从对话中学习句子嵌入因其低标注成本和高领域适应性而受到越来越多的关注。传统的方法采用连体网络来完成这个任务，它通过在句子编码器上应用前馈网络来建模上下文响应语义相关性来获得句子嵌入。然而，由于语义文本相似性通常通过元素距离度量（例如余弦和L2距离）来测量，因此这种架构在训练和评估之间产生了很大的差距。在本文中，我们提出了DialogueCSE，一个基于对话的对比学习方法来解决这个问题。DialogueCSE首先引入了一种新的匹配引导嵌入（MGE）机制，该机制根据多轮上下文响应匹配矩阵的指导，为每个候选响应嵌入生成上下文感知嵌入（即上下文无关嵌入）。然后将每个上下文感知嵌入与其对应的上下文无关嵌入配对，最后最小化所有对的对比损失。我们在三个多轮对话数据集上评估了我们的模型：微软对话语料库，京东对话语料库和电子商务对话语料库。评估结果表明，我们的方法显着优于所有三个数据集的MAP和斯皮尔曼的相关性措施方面的基线，证明了其有效性。进一步的定量实验表明，我们的方法实现了更好的性能时，利用更多的对话上下文和保持鲁棒性时，提供更少的训练数据。
2021-09-26 cs.CL
Apple of Sodom: Hidden Backdoors in Superior Sentence Embeddings via Contrastive Learning
Peking University（北京大学）；Rutgers University（罗格斯大学）
本文发现，对比学习可以为预先训练的模型产生更好的句子嵌入，但也容易受到后门攻击。我们提出了第一个后门攻击框架BadCSE，用于监督和无监督学习设置下的最先进的句子嵌入。该攻击操纵正和负对的构造，使得后门样本具有与目标样本相似的嵌入（有针对性的攻击）或其干净版本的负嵌入（非有针对性的攻击）。通过在句子嵌入中注入后门，BadCSE抵抗下游微调。我们在STS任务和其他下游任务上评估BadCSE。有监督的非目标攻击获得了194.86%的性能下降，而目标攻击将后门样本映射到目标嵌入的成功率为97.70%，同时保持模型效用。
2022-10-20 cs.CL cs.CR
SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
National University of Defense Technology（国防科技大学）；SenseTime（商汤科技）；The University of Hong Kong（香港大学）
无监督句子嵌入的目的是为句子获得最合适的嵌入，以反映其语义。对比学习正受到越来越多的关注。对于一个句子，当前的模型利用不同的数据增强方法来生成正样本，而将其他独立的句子视为负样本。然后，他们采用InfoNCE损失来拉动聚集的正对的嵌入，并推动分散的负对的嵌入。虽然这些模型在句子嵌入方面取得了很大的进展，但我们认为它们可能受到特征抑制。这些模型不能区分和解耦文本相似性和语义相似性。而且，他们可能高估任何具有相似文本的对的语义相似性，而不管它们之间的实际语义差异。这是因为无监督对比学习中的正对通过数据增强来获得相似甚至相同的文本。为了减轻特征抑制，我们提出了对比学习的无监督句子嵌入与软负样本（SNCSE）。软否定样本与原始样本具有高度相似的文本，但具有明显不同的语义。具体地说，我们将原句的否定作为软否定样本，提出双向边际损失（BML）将其引入传统的对比学习框架，只涉及正样本和负样本。实验结果表明，SNCSE在语义文本相似性（STS）任务上的平均Spearman相关系数在BERTbase上为78.97%，在RoBERTbase上为79.23%。此外，我们还采用基于秩的误差分析方法来发现SNCSE的不足之处，为后续的研究提供参考。
2022-03-02 cs.CL
DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective
Sina Weibo（新浪微博）；China Literature Limited（阅文集团）
本文提出DebCSE框架，通过逆倾向加权采样方法消除对比句嵌入学习中的多种偏差，在STS基准上以80.33%的Spearman相关系数显著优于现有最先进模型。
2023-09-14 cs.AI cs.CL
JCSE: Contrastive Learning of Japanese Sentence Embeddings and Its Applications
Kindai University（近畿大学）
对比学习广泛应用于句子的表示学习。尽管这种流行，大多数研究都集中在英语和关注领域自适应特定领域的下游任务，特别是对低资源的语言，如日语，其特点是目标域数据不足，缺乏适当的培训策略。为了克服这一点，我们提出了一种新的日语句子表示框架，JCSE（来自“对比学习的句子嵌入为日本”“），创建训练数据通过生成句子和合成它们与句子在目标域。具体来说，使用我们收集的语料库将预训练的数据生成器微调到目标域。然后，它被用来生成矛盾的句子对，用于对比学习，以适应日本语言模型在目标领域的特定任务。日语句子表示学习的另一个问题是由于缺乏基准数据集而难以评估现有的嵌入方法。因此，我们建立了一个全面的日语语义文本相似性（STS）的基准上，各种嵌入模型进行评估。基于此基准测试结果，选择多种嵌入方法，并与JCSE在两个特定领域的任务，STS在临床领域和信息检索在教育领域进行比较。结果表明，JCSE取得了显着的绩效改善超过直接迁移和其他培训策略。这从经验上证明了JCSE对于低资源语言的下游任务的有效性和实用性。
2023-01-19 cs.CL
KGE-CL: Contrastive Learning of Tensor Decomposition Based Knowledge Graph Embeddings
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
学习知识图谱（KG）的嵌入在人工智能中至关重要，并且可以使各种下游应用受益，例如推荐和问答。近年来，人们对知识图谱嵌入进行了大量的研究。然而，大多数以前的KGE方法忽略了语义相似性的相关实体和实体之间的关系对不同的三元组，因为他们分别优化每个三元组的评分函数。针对这一问题，本文提出了一种简单有效的基于张量分解（TDB）的KGE对比学习框架，该框架可以缩短不同三元组中相关实体和实体-关系对的语义距离，从而提高KGE的性能.我们在三个标准KGE数据集上评估了我们提出的方法：WN 18 RR，FB 15 k-237和YAGO 3 -10。我们的方法可以产生一些新的最先进的结果，在WN 18 RR数据集上实现51.2%MRR，46.8%Hits@1，在FB 15 k-237数据集上实现37.8%MRR，28.6%Hits@1，在YAGO 3 -10数据集上实现59.1%MRR，51.8%Hits@1。
2022-10-24 cs.AI cs.CL cs.LG
Improving Text Embeddings for Smaller Language Models Using Contrastive Fine-tuning
Tsinghua University（清华大学）
本文针对较小语言模型嵌入质量不足的问题，对MiniCPM、Phi-2和Gemma在NLI数据集上进行对比微调，在多个基准上提升文本嵌入质量，其中MiniCPM平均性能提升56.33%。
2024-08-02 cs.CL
Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
句子的语义表示学习是自然语言处理中的一个重要研究课题。该任务的当前趋势涉及通过与文本的对比目标来训练基于transformer的句子编码器，即，聚类语义相似的句子，分散其他句子。在这项工作中，我们发现Transformer模型作为句子编码器的性能可以通过使用来自另一种模态的未配对示例（例如，句子和不相关的图像/音频数据）。特别是，除了通过文本的对比损失进行学习之外，我们的模型还对来自非语言领域的示例进行聚类（例如，视觉/听觉）与此同时具有类似的对比度损失。我们的框架对非成对非语言数据的依赖使其与语言无关，使其能够广泛应用于英语NLP之外。在7个语义文本相似性基准上的实验表明，使用额外的非语言（图像/音频）对比目标训练的模型导致更高质量的句子嵌入。这表明Transformer模型能够通过执行类似的任务（即，聚类）与来自多任务方式的不同模态的未配对示例。
2022-09-20 cs.CL
One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations
Japan Advanced Institute of Science and Technology（日本先进科学研究院）；Toshiba Corporation（东芝公司）
DualCSE通过对比学习为句子生成显式和隐式语义嵌入，提升信息检索和文本分类任务性能。
2026-01-15 cs.CL
EASE: Entity-Aware Contrastive Learning of Sentence Embedding
Studio Ousia（Ousia工作室）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；National Institute of Informatics（国立信息学研究所）
我们提出了EASE，一种新的方法学习句子嵌入通过对比学习之间的句子和它们的相关实体。使用实体监督的优点是双重的：（1）实体已被证明是文本语义的强指示器，因此应该为句子嵌入提供丰富的训练信号;（2）实体是独立于语言定义的，因此提供有用的跨语言对齐监督。我们评估EASE对其他无监督模型在单语和多语言设置。我们表明，EASE表现出竞争力或更好的性能在英语语义文本相似性（STS）和短文本聚类（STC）的任务，它显着优于基线方法在多种任务的多语言设置。我们的源代码，预训练模型和新构建的多语言STC数据集可在https://github.com/studio-ousia/ease上获得。
2022-05-09 cs.CL
Efficient Document Embeddings via Self-Contrastive Bregman Divergence Learning
Ludwig Maximilian University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Copenhagen（哥本哈根大学）
针对长文档嵌入的效率与质量问题，本文提出结合 SimCSE 自对比孪生网络与基于 Bregman 散度的神经网络的混合方法，在法律和生物医学长文档分类任务上优于基线方法。
2024-03-26 cs.CL
Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction
Idiap Research Institute（伊迪亚普研究所）；University of Zurich（苏黎世大学）；Brno University of Technology（布尔诺理工大学）
本文提出Dialog2Flow嵌入，通过软对比预训练将对话话语按动作功能映射到潜在空间并聚类量化，从而自动提取对话工作流，在多个领域上优于现有句子嵌入方法。
2024-11-05 cs.AI cs.CL cs.LG
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
对比学习在无监督的句子嵌入任务中显示出巨大的潜力，例如，SimCSE。然而，我们发现，这些现有的解决方案是严重影响的表面特征，如句子的长度或句法结构。在本文中，我们提出了一个语义感知的句子嵌入对比学习框架，称为伪令牌BERT（PT-BERT），它能够利用伪令牌空间（即，潜在语义空间）表示，同时消除诸如句子长度和句法的表面特征的影响。具体来说，我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层，以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列，我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外，我们利用梯度更新和动量更新编码器来编码实例，同时动态地维护一个额外的队列来存储句子嵌入的表示，提高编码器的学习性能的负面的例子。实验表明，我们的模型优于国家的最先进的基线上六个标准的语义文本相似性（STS）的任务。此外，对齐和一致性损失的实验，以及不同句子长度和语法的硬例子，一致验证了我们的方法的有效性。
2022-03-11 cs.CL
Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment
The University of Tokyo（东京大学）
针对多模态句子嵌入训练中图像-字幕对存在噪声的问题，提出结合细粒度对象-短语对齐的MCSEO方法，利用分割与检测模型提取配对优化对比学习目标，在STS任务上 consistently 优于强基线。
2025-08-01 cs.CL
Resource-Efficient Adaptation of Large Language Models for Text Embeddings via Prompt Engineering and Contrastive Fine-tuning
fortiss GmbH（fortiss公司）；School of Computation and Information Technology（计算与信息科技学院）
本研究通过提示工程与资源高效的对比微调，将大语言模型适配为文本嵌入模型，在MTEB英语聚类任务上取得有竞争力性能，并揭示微调提升语义压缩效果。
2025-09-24 cs.CL
Emotions are Subtle: Learning Sentiment Based Text Representations Using Contrastive Learning
Carnegie Mellon University（卡内基梅隆大学）；University of California（加利福尼亚大学）
对比学习技术作为一种扩充数据集的手段已经广泛应用于计算机视觉领域。在本文中，我们将这些对比学习嵌入的使用扩展到情感分析任务，并证明了对这些嵌入的微调提供了对基于BERT的嵌入的微调的改进，以在DynaSent数据集上评估时实现情感分析任务的更高基准。我们还探索了我们的微调模型在跨域基准数据集上的表现。此外，我们还探索了上采样技术，以实现更平衡的类分布，从而进一步改进我们的基准测试任务。
2021-12-02 cs.CL
Leveraging Multi-lingual Positive Instances in Contrastive Learning to Improve Sentence Embedding
The University of Tokyo（东京大学）
针对多语言句子嵌入学习，本研究提出MPCL方法，通过利用多个多语言正例的跨语言优势与传递相似性改进对比学习，在多类任务及未见过语言的跨语言迁移上均优于传统单正例对比学习。
2024-01-31 cs.CL
Unifying Dual-Space Embedding for Entity Alignment via Contrastive Learning
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；Inner Mongolia Key Laboratory of Multilingual Artificial Intelligence Technology（内蒙古多语言人工智能技术重点实验室）
提出UniEA方法，通过同时在欧几里得空间与双曲空间学习图结构嵌入并结合对比学习，解决知识图谱复杂结构表示及相似邻近实体导致的误对齐问题，在基于结构的实体对齐上达到最优性能。
2024-12-06 cs.CL
S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding
Westlake University（西湖大学）
为了提高句子嵌入的学习性能，人们研究了对比学习。目前最先进的方法是SimCSE，它采用dropout作为数据增强方法，并向预训练的Transformer编码器提供相同的输入语句两次。相应的输出，即从具有不同丢弃掩码的相同句子导出的两个句子嵌入，可以用于构建正对。一个带有丢弃掩码的网络可以看作是它自身的一个子网络，其期望规模由丢弃率决定。在本文中，我们推动具有不同预期尺度的子网络学习相同句子的相似嵌入。SimCSE未能做到这一点，因为他们将辍学率固定为一个调优的超参数。我们实现这一点的抽样辍学率从一个分布eatch前进的过程。由于这种方法可能会使优化变得更加困难，我们还提出了一个简单的逐行掩码策略来采样更多的子网络。我们在几个流行的语义文本相似度数据集上评估了所提出的S-SimCSE。实验结果表明，S-SimCSE在BERT $_{base}$上的性能优于$1\%$
2021-11-24 cs.CL
CMLM-CSE: Based on Conditional MLM Contrastive Learning for Sentence Embeddings
Hangzhou Yizhi Intelligent Technology Co., Ltd.（杭州意智智能科技有限公司）；School of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）
针对传统对比学习句子嵌入忽略句中词汇语义影响的问题，提出基于条件MLM的无监督对比学习框架CMLM-CSE，通过新增辅助网络融合句子嵌入执行MLM任务，在文本相似度任务上性能优于SimCSE。
2023-06-16 cs.AI cs.CL
reCSE: Portable Reshaping Features for Sentence Embedding in Self-supervised Contrastive Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室）
提出基于特征重塑的自监督对比学习句子表示框架reCSE，通过聚合token全局信息缓解表示极性和GPU内存消耗问题，在语义相似度任务中表现优异且具备强通用性。
2024-08-26 cs.CL
