Neural Contrastive Clustering: Fully Unsupervised Bias Reduction for Sentiment Classification
工作背景：神经网络由于相关性偏差而产生有偏差的分类结果（它们学习输入和输出之间的相关性以分类样本，即使这些相关性不代表因果关系）。目的：这项研究引入了一种完全无监督的方法来减轻相关性偏差，并在COVID-19社交媒体数据上进行了情感分类。方法：情感分类中的相关偏差经常出现在关于有争议话题的对话中。因此，本研究使用对抗性学习来对比基于情感分类标签的聚类，以及由无监督主题建模产生的聚类。这阻碍了神经网络学习产生有偏见的分类结果的主题相关特征。结果如下：与基线分类器相比，神经对比聚类对人类标记的COVID-19社交媒体数据的倾向于偏见的句子的准确性大约增加了一倍，而不会对分类器的整体F1得分产生不利影响。尽管是一种完全无监督的方法，但神经对比聚类在倾向于偏见的句子上的准确性比监督掩蔽方法有更大的提高。结论：神经对比聚类减少了情感文本分类中的相关性偏差。需要进一步的研究来探索将这种技术推广到其他神经网络架构和应用领域。
2022-04-22 cs.CL cs.LG
Efficient Learning for Undirected Topic Models
The University of Hong Kong（香港大学）
复制Softmax模型是一种著名的无向主题模型，在抽取文档的语义表示方面具有很强的能力。传统的学习策略如对比发散是非常低效的。本文提出了一种新的估计器，以加快学习的基础上噪声对比估计，扩展到不同长度的文件和加权输入。在两个基准测试上的实验表明，新的估计器在文档检索和分类上取得了很高的学习效率和准确率。
2015-06-24 cs.CL cs.IR cs.LG
Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
句子的语义表示学习是自然语言处理中的一个重要研究课题。该任务的当前趋势涉及通过与文本的对比目标来训练基于transformer的句子编码器，即，聚类语义相似的句子，分散其他句子。在这项工作中，我们发现Transformer模型作为句子编码器的性能可以通过使用来自另一种模态的未配对示例（例如，句子和不相关的图像/音频数据）。特别是，除了通过文本的对比损失进行学习之外，我们的模型还对来自非语言领域的示例进行聚类（例如，视觉/听觉）与此同时具有类似的对比度损失。我们的框架对非成对非语言数据的依赖使其与语言无关，使其能够广泛应用于英语NLP之外。在7个语义文本相似性基准上的实验表明，使用额外的非语言（图像/音频）对比目标训练的模型导致更高质量的句子嵌入。这表明Transformer模型能够通过执行类似的任务（即，聚类）与来自多任务方式的不同模态的未配对示例。
2022-09-20 cs.CL
Natural Language Processing for Aligning Readings with Learning Objectives and Assessing Topic Balance in Dental Education
本研究提出一种结合PubMedBERT、余弦相似度、NLI及主题建模的NLP工作流，用于牙科教育中对齐阅读材料与学习目标，经测试可提升阅读材料选择的准确率，支持循证课程整理。
2026-10-14 cs.CL
Small sample-based adaptive text classification through iterative and contrastive description refinement
Mphasis Limited（Mphasis公司）
提出一种结合迭代主题精化、对比提示和主动学习的分类框架，利用小样本和人工反馈精化类别描述，在AGNews和DBpedia上分别达到91%和84%的准确率，并能无缝集成新类别。
2025-08-01 cs.AI cs.CL cs.LG
Contrastive News and Social Media Linking using BERT for Articles and Tweets across Dual Platforms
University of Warsaw（华沙大学）；MIM Solutions（MIM解决方案公司）；University of Amsterdam（阿姆斯特丹大学）；Warsaw University of Technology（华沙理工大学）；IDEAS NCBR（IDEAS国家计算机科学研究中心）
针对推文与新闻关联的难题，本文提出基于预训练BERT的对比学习方法CATBERT，在俄乌战争相关多语言数据集上表现优于传统方法和OpenAI嵌入方法，还验证了其在推文级联主题查找任务中的性能。
2023-12-11 cs.CL cs.LG
Composition-contrastive Learning for Sentence Embeddings
Texas A&M University（德州农工大学）
针对无标注句子表示学习，本文提出文本与其短语成分组合对齐的成分对比学习目标，在语义文本相似度任务上达到可比最先进水平，且无需辅助目标或额外参数。
2023-07-14 cs.CL cs.LG
SimCSE: Simple Contrastive Learning of Sentence Embeddings
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
本文介绍了SimCSE，一个简单的对比学习框架，大大提高了最先进的句子嵌入。我们首先描述了一个无监督的方法，它需要一个输入句子，并预测自己在一个对比的目标，只有标准的辍学作为噪音。这个简单的方法工作得出奇的好，与以前的监督对应物表现相当。我们发现，dropout作为最小的数据增强，并删除它会导致一个表示坍塌。然后，我们提出了一种监督的方法，它将注释对从自然语言推理数据集到我们的对比学习框架，使用“蕴涵”对作为积极和“矛盾”对硬否定。我们在标准语义文本相似性（STS）任务上评估SimCSE，我们使用BERT基础的无监督和有监督模型分别达到平均76.3%和81.6%的斯皮尔曼相关性，与以前的最佳结果相比，分别提高了4.2%和2.2%。我们还从理论上和经验上证明，对比学习的目标是使预训练的嵌入的各向异性空间更加均匀，并且在监督信号可用时更好地对齐正对。
2022-05-18 cs.CL cs.LG
InferES : A Natural Language Inference Corpus for Spanish Featuring Negation-Based Contrastive and Adversarial Examples
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Universitat de Barcelona（巴塞罗那大学）
在本文中，我们提出了InferES -原始语料库的自然语言推理（NLI）在欧洲西班牙语。我们提出，实施和分析各种语料库创建策略，利用专家语言学家和人群工作者。InferES的目标是提供高质量的数据，同时促进对自动化系统的系统评估。具体来说，我们专注于测量和提高机器学习系统在基于否定的对抗性示例上的性能，以及它们在分布外主题上进行概括的能力。我们在InferES（8，055个黄金示例）上对两个Transformer模型进行了各种场景的训练。我们最好的模型获得了72.8%的准确率，留下了很大的改进空间。“仅假设”基线的性能仅比大多数高2%-5%，这表明注释工件比以前的工作少得多。我们发现，在InferES上训练的模型在各个主题（分布内和分布外）上都有很好的泛化能力，并且在基于否定的对抗性示例上表现良好。
2022-10-06 cs.AI cs.CL cs.LG
GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization
National Centre for Text Mining（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Chancefocus AMC
最近，神经主题模型（NTM）已被纳入到预训练的语言模型（PLM），以捕捉全局语义信息的文本摘要。然而，在这些方法中，仍然存在的方式，他们捕获和集成的全局语义信息的限制。在本文中，我们提出了一种新的模型，图对比主题增强语言模型（GRETEL），它结合了图对比主题模型与预训练的语言模型，充分利用全局和局部上下文语义的长文档提取摘要。为了更好地捕获全局语义信息并将其合并到PLM中，图对比主题模型集成了分层Transformer编码器和图对比学习，以融合来自全局文档上下文和黄金摘要的语义信息。为此，GRETEL鼓励模型有效地提取与黄金摘要主题相关的突出句子，而不是覆盖次优主题的冗余句子。在一般领域和生物医学数据集上的实验结果表明，我们提出的方法优于SOTA方法。
2022-08-21 cs.CL
Beyond Topics: Discovering Latent Healthcare Objectives from Event Sequences
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；The Children’s Cancer Research Unit（儿童癌症研究组）；The Children’s Hospital at Westmead（韦斯特米德儿童医院）
对临床协议和患者路径的有意义的理解有助于改善医疗保健结果。电子健康记录（EHR）反映了用于增强医疗保健管理但存在挑战的真实世界治疗行为;协议和途径通常定义松散，并且经常没有记录在EHR中的元素，使增强变得复杂。为了解决这一挑战，与医疗保健管理活动相关的医疗保健目标可以作为潜在主题在EHR中间接观察到。主题模型，如潜在狄利克雷分配（LDA），用于识别EHR数据中的潜在模式。然而，他们没有检查EHR序列的有序性，也没有孤立地评估单个事件。我们的新方法，分类序列编码器（CaSE）解决了这些缺点。EHR的连续性被CaSE的事件级表示捕获，揭示了潜在的医疗保健目标。在合成EHR序列中，CaSE在识别医疗保健目标方面优于LDA高达37%。在现实世界的MIMIC-III数据集中，CaSE识别出了有意义的表示，可以极大地增强协议和途径的开发。
2021-10-04 cs.AI cs.CL cs.LG
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia（弗吉尼亚大学）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而，学习的表示可能会导致下游任务的性能差异，例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战，在这项工作中，我们研究了通过对比学习学习满足公平性概念的公平表示，即文本分类的均衡化几率。具体来说，我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系，然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验，以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外，我们还表明，所提出的方法是稳定的，在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
Combinatorial Topic Models using Small-Variance Asymptotics
Ohio State University（俄亥俄州立大学）；Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）
主题模型已成为无监督机器学习的基本工具。大多数现代主题建模算法采用概率观点，并基于潜在狄利克雷分配（LDA）或其变体推导推理算法。相反，我们研究主题建模作为一个组合优化问题，并提出了一个新的目标函数来自LDA通过传递到小方差限制。我们通过使用组合优化的思想来最小化导出的目标，从而产生一种新的、快速的、高质量的主题建模算法。特别是，我们表明，我们的研究结果与流行的基于LDA的主题建模方法是有竞争力的，也讨论了我们的方法和它的概率同行之间的（不）相似性。
2016-05-27 cs.CL cs.LG stat.ML
UCTopic: Unsupervised Contrastive Learning for Phrase Representations and Topic Mining
University of California, San Diego（加州大学圣地亚哥分校）
高质量的短语表示对于在文档中查找主题和相关术语至关重要（也称为主题挖掘）。现有的短语表示学习方法要么简单地以上下文无关的方式组合单字表示，要么依赖于广泛的注释来学习上下文感知知识。在本文中，我们提出了UCTopic，一个新的无监督对比学习框架上下文感知短语表示和主题挖掘。UCTopic被大规模地预训练以区分两个短语提及的上下文是否具有相同的语义。预训练的关键是从我们面向短语的假设中构建正对。然而，我们发现传统的批量否定在对具有小主题数的数据集进行微调时会导致性能下降。因此，我们提出了集群辅助的对比学习（CCL），大大减少了噪音的负面影响，从集群中选择负面的，并进一步提高相应的主题短语表示。UCTopic在四个实体聚类任务上的平均NMI比最先进的短语表示模型高38.2%。综合评价表明，UCTopic能够提取出连贯性和多样性的主题短语。
2022-02-27 cs.AI cs.CL
Sentence Representation Learning with Generative Objective rather than Contrastive Objective
Shanghai Jiao Tong University（上海交通大学）
虽然提供了惊人的上下文化的标记级表示，当前的预训练语言模型在其自我监督的预训练过程中很少注意准确地获取标记级表示。然而，目前句子表示学习中占主导地位的对比目标几乎没有语言可解释性，也没有下游语义任务的性能保证。相反，我们提出了一种新的生成自监督学习目标的短语重建的基础上。为了克服以前生成方法的缺点，我们仔细建模的句子内结构分解成几个重要的短语。实证研究表明，我们的生成学习实现了足够强大的性能改进，并优于目前最先进的对比方法，不仅在STS基准测试，而且在下游的语义检索和重排序任务。我们的代码可在https://github.com/chengzhipanpan/PaSeR上获得。
2022-10-21 cs.CL
UNSEE: Unsupervised Non-contrastive Sentence Embeddings
Koç University（科克大学）
针对非对比目标下的句子表征崩塌问题，研究提出带目标网络的UNSEE无监督非对比式句子嵌入方法，经微调优化在Massive Text Embedding基准上超越SimCSE，达非对比句子嵌入最优性能。
2024-02-02 cs.CL
A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration
University of Amsterdam（阿姆斯特丹大学）；Amazon（亚马逊）
交叉熵目标已被证明是自回归语言模型（LM）的通用训练目标。然而，在不考虑有问题的令牌的惩罚的情况下，使用交叉熵训练的LM表现出文本退化。为了解决这个问题，已经提出了非似然训练来降低LM预测的不太可能的令牌的概率。但是不可能性不考虑标签标记和不可能标记候选者之间的关系，因此在退化方面显示出边际改善。我们提出了一种新的对比令牌学习目标，继承了交叉熵和非似然训练的优点，并避免了它们的局限性。关键思想是教LM生成标签标记的高概率和负候选的低概率。语言建模和开放域对话生成任务的综合实验表明，所提出的对比令牌目标产生更少的重复文本，具有更高的生成质量比基线方法，实现了新的国家的最先进的性能对文本退化。
2022-05-19 cs.CL
Speech SIMCLR: Combining Contrastive and Reconstruction Objective for Self-supervised Speech Representation Learning
AI Labs, YuanFuDao（元福道AI实验室）；AI Labs, Didi Chuxing（滴滴出行AI实验室）
自我监督的视觉预训练最近取得了重大进展。在这些方法中，Simplified极大地推进了ImageNet上自监督和半监督学习的最新技术水平。语音和视觉任务的输入特征表示都是连续的，因此考虑将类似的目标应用于语音表示学习是很自然的。在本文中，我们提出了语音模拟，一个新的自我监督的目标语音表示学习。在训练期间，Speech SimCLR对原始语音及其谱图应用增强。它的目标是最大化潜在空间中不同增强样本之间的一致性的对比损失和输入表示的重建损失的组合。该方法在语音情感识别和语音识别上取得了较好的效果。
2021-07-05 cs.CL
Topic-Aware Contrastive Learning for Abstractive Dialogue Summarization
Beijing University of Posts and Telecommunications（北京邮电大学）
与结构良好的文本（如新闻报道和百科全书文章）不同，对话内容通常来自两个或多个对话者，彼此交换信息。在这种情况下，对话的主题可以随着进展而变化，并且特定主题的关键信息通常分散在不同说话者的多个话语中，这对抽象总结对话提出了挑战。为了捕获会话的各种主题信息并概述所捕获主题的突出事实，这项工作提出了两个主题感知的对比学习目标，即连贯性检测和子摘要生成目标，期望隐式地建模主题变化并处理对话摘要任务的信息分散挑战。所提出的对比目标的框架作为辅助任务的主要对话摘要任务，通过一个替代参数更新策略。在基准数据集上的大量实验表明，所提出的简单方法显着优于强基线，并实现了新的最先进的性能。代码和训练模型可通过\href{https://github.com/Junpliu/ConDigSum}{https://github.com/Junpliu/ConDigSum}公开获得。
2021-09-10 cs.AI cs.CL cs.LG
Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models
Université Internationale de Rabat（拉巴特国际大学）；INRIA-Lorraine（法国国家信息与自动化研究所洛林分部）
近年来，有监督的对比学习（SCL）在大多数分类任务中表现出了优异的性能。在SCL中，一个神经网络被训练来优化两个目标：在嵌入空间中将锚点和阳性样本拉在一起，以及将锚点从阴性样本中推开。然而，这两个不同的目标可能会发生冲突，需要在优化过程中进行权衡。在这项工作中，我们制定的SCL问题作为一个多目标优化问题的微调阶段的RoBERTa语言模型。利用两种方法来解决优化问题：（i）线性标量化（LS）方法，它最小化每任务损失的加权线性组合;以及（ii）精确帕累托最优（EPO）方法，它找到帕累托前沿与给定偏好向量的交集。我们在几个GLUE基准任务上评估了我们的方法，而不使用数据增强、存储体或生成对抗性示例。实验结果表明，所提出的学习策略显着优于一个强大的竞争对比学习基线
2022-09-28 cs.CL
Unlocking Decoding-time Controllability: Gradient-Free Multi-Objective Alignment with Contrastive Prompts
Renmin University of China（中国人民大学）；UC San Diego（加州大学圣迭戈分校）
针对多目标对齐需训练多模型且扩展性差的问题，提出无梯度 MCA，在解码时用专家与对抗提示的对比组合平衡目标，并获得更优 Pareto 前沿。
2024-08-09 cs.CL
HALvest-Contrastive: Retrieval-Like Authorship Attribution with Patch-Level Late Interaction
Inria Paris（Inria 巴黎）；Sorbonne Université（索邦大学）；IRIF；LRE, EPITA Ecole nationale des chartes – PSL（LRE, EPITA 法国国家档案馆 – PSL）
针对文本作者归属任务中主题混淆问题，提出HALvest多语料库及其对比版本HALvest-Contrastive，并采用补丁级后期交互方法提升跨主题作者识别性能。
2026-05-25 cs.CL cs.DL
CoSD: Collaborative Stance Detection with Contrastive Heterogeneous Topic Graph Learning
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Department of Computer Science, Tongji University（同济大学计算机科学系）；College of Computer Science and Technology, Taiyuan University of Technology（太原理工大学计算机科学与技术学院）
针对现有立场检测模型可解释性差、对潜在数据结构不敏感等问题，提出基于对比异质主题图学习的CoSD框架，通过构建异质图、CPA模块及混合评分模块融合主题语义与协同信号，在两个基准数据集上取得最优性能且兼具可解释性。
2024-06-19 cs.AI cs.CL cs.LG
Multi-Modal Video Topic Segmentation with Dual-Contrastive Domain Adaptation
University of British Columbia（不列颠哥伦比亚大学）；Adobe Research（奥多比研究院）
本文提出一种结合视频转录文本与帧的多模态主题分割方法，并通过双对比域自适应框架提升模型在长视频和跨域场景下的准确性与可迁移性。
2023-11-30 cs.CL cs.CV cs.MM
Topic Shift Detection in Chinese Dialogues: Corpus and Benchmark
Soochow University（苏州大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对无回复信息的对话话题转移预测难题，构建了含1308段对话的中文CNTD语料库，提出基于层级对比学习的师生框架，实验验证了模型有效性。
2023-05-02 cs.CL cs.LG
CLEAR: Contrastive Learning for Sentence Representation
University of Michigan（密歇根大学）；Facebook AI（脸书人工智能研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
预训练的语言模型已经证明了它们在捕捉隐式语言特征方面的独特能力。然而，大多数的预训练方法都集中在单词层面的训练目标，而词汇层面的目标却很少被研究。在本文中，我们提出了对比学习的句子表示（CLEAR），它采用多个层次的增强策略，以学习噪声不变的句子表示。这些扩充包括单词和跨度删除、重新排序和替换。此外，我们还通过大量的实验研究了对比学习有效的关键原因。我们观察到，在预训练过程中，不同的句子增强会导致不同的下游任务的性能提高。我们的方法在SentEval和GLUE基准测试中优于多种现有方法。
2020-12-31 cs.CL
MOSAIC: Masked Objective with Selective Adaptation for In-domain Contrastive Learning
MOSAIC通过联合优化掩码语言建模和对比目标，提升领域适应文本嵌入模型的性能，实现NDCG@10的显著提升。
2026-01-29 cs.AI cs.CL
When do Contrastive Word Alignments Improve Many-to-many Neural Machine Translation?
Kyoto University（京都大学）；NICT（日本信息通信研究机构）
单词对齐已被证明有利于多对多神经机器翻译（NMT）。然而，在以前的方法中，高质量的地面实况双语词典被用于预编辑，这对于大多数语言对是不可用的。同时，对比目标可以隐含地利用自动学习的词对齐，这在多对多NMT中还没有被探索。这项工作提出了一个词级的对比目标，利用词对齐多对多NMT。实证结果表明，这导致了0.8 BLEU增益为几个语言对。分析表明，在多对多NMT中，编码器的句子检索性能与翻译质量高度相关，这解释了所提出的方法何时影响翻译。这激发了未来对多对多NMT的探索，以提高编码器的句子检索性能。
2022-04-26 cs.CL
ACL: Aligned Contrastive Learning Improves BERT and Multi-exit BERT Fine-tuning
DataSelect AI；University of Hong Kong（香港大学）
ACL通过融合对比学习与交叉熵损失，提升BERT及多退出BERT的微调性能，实现更优的质量-速度平衡。
2026-02-12 cs.CL
ColMate: Contrastive Late Interaction and Masked Text for Multimodal Document Retrieval
ServiceNow；York University（约克大学）；MILA - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；École de technologie supérieure（卓越工程学院）
针对多模态文档检索直接套用纯文本检索技术的局限，提出ColMate模型，结合基于OCR的预训练、自监督掩码对比学习与后期交互评分机制，在ViDoRe V2基准上提升3.61%并增强域外泛化能力。
2025-11-02 cs.CL
A Contrastive Framework for Neural Text Generation
University of Cambridge（剑桥大学）；Tencent AI Lab（腾讯人工智能实验室）；DeepMind（深度思维）；The University of Hong Kong（香港大学）
文本生成对于许多自然语言处理应用都是非常重要的。然而，神经语言模型的基于最大化的解码方法（例如束搜索）通常会导致退化的解决方案-生成的文本是不自然的，并且包含不期望的重复。现有的方法通过采样或修改训练目标来引入随机性以降低某些令牌的概率（例如，不可能训练）。然而，它们往往导致缺乏连贯性的解决办法。在这项工作中，我们表明，模型退化的一个根本原因是令牌表示的各向异性分布。我们提出了一个对比解决方案：（i）SimCTG，一个对比训练目标，用于校准模型的表示空间，以及（ii）一种解码方法-对比搜索-鼓励多样性，同时保持生成文本的连贯性。广泛的实验和分析，从两种语言的三个基准测试表明，我们提出的方法显着优于目前最先进的文本生成方法的评估人类和自动度量。
2022-09-26 cs.CL
Non-contrastive sentence representations via self-supervision
Bloomberg（彭博）
本文系统比较了维度对比自监督方法与标准对比句嵌入基线 SimCSE，发现前者无需辅助损失即可在下游任务上取得更优性能。
2023-10-26 cs.CL
Improving Long Document Topic Segmentation Models With Enhanced Coherence Modeling
Alibaba Group（阿里巴巴集团）
本文提出TSSP和CSSL方法，从逻辑结构和语义相似性增强监督模型的连贯性捕获能力，在多个数据集上显著提升了长文档主题分割性能并超越SOTA。
2023-10-23 cs.CL
Enhancing Dialogue Generation via Multi-Level Contrastive Learning
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
大多数现有的对话生成工作都是直接在从网站上抓取的语料库上训练的数据驱动模型。它们主要关注于改进模型结构以产生更好的响应，但很少注意对比地考虑训练数据的质量。在本文中，我们提出了一个多层次的对比学习范例来模拟细粒度的质量的响应方面的查询。设计了一个秩感知校正（RC）网络来构造多级对比优化目标。由于这些目标是基于句子级别计算的，这可能会错误地鼓励/抑制无信息/信息词的生成。为了解决这个问题，一方面，我们设计了一个精致的令牌级策略，以更准确地估计实例损失。另一方面，我们建立了一个知识推理（KI）组件，在训练过程中从参考文献中捕获关键字知识，并利用这些信息来鼓励生成信息词。我们在仔细注释的对话数据集上评估了所提出的模型，结果表明，与基线模型相比，我们的模型可以产生更相关和更多样化的响应。
2021-06-22 cs.CL
LACoS-BLOOM: Low-rank Adaptation with Contrastive objective on 8 bits Siamese-BLOOM
Apple（苹果公司）
本文提出LACoS-BLOOM，通过8比特量化、LoRA适配器和Siamese对比目标微调BLOOM，在单GPU上高效训练71亿参数模型，显著提升英语及多语言句子相似度任务性能。
2023-05-10 cs.AI cs.CL
DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling
Amazon（亚马逊）
基于检索的会话系统通过计算它们的向量表示之间的相似性来学习对给定对话上下文的响应候选进行排名。然而，在多回合上下文的单个文本形式上进行训练限制了模型学习表示的能力，这些表示概括为推理期间看到的自然扰动。在本文中，我们提出了一个框架，将增强版本的对话背景下的学习目标。我们利用对比学习作为一个辅助目标，学习强大的对话上下文表示是不变的扰动注入通过增强方法。我们用四个基准对话数据集进行了实验，证明我们的框架与现有的增强方法结合得很好，并且可以显着改善基于BERT的基线排名架构。此外，我们提出了一种新的数据增强方法，ConMix，通过随机混合令牌从其他上下文中的批次添加令牌级扰动。我们表明，我们提出的增强方法优于以前的数据增强方法，并提供对话表示，更强大的常见干扰推理过程中看到的。
2022-04-15 cs.CL
CoBIT: A Contrastive Bi-directional Image-Text Generation Model
Columbia University（哥伦比亚大学）；Google Research（谷歌研究院）；UCLA（加州大学洛杉矶分校）
视觉和语言领域已经见证了预先训练的基础模型的扩散。大多数现有的方法都是使用CLIP等对比目标，PaLI等图像到文本生成目标或Parti等文本到图像生成目标进行独立预训练的。然而，这三个目标可以在相同的数据、图像-文本对上进行预训练，并且直观地说，它们相互补充，因为对比提供了全局对齐能力，而生成则提供了细粒度的理解。在这项工作中，我们提出了一个对比双向图像-文本生成模型（CoBIT），它试图将三个预训练目标统一在一个框架中。具体来说，CoBIT采用了一种新颖的unicoder-decoder结构，由图像unicoder，文本unicoder和交叉模态解码器组成。图像/文本unicoders可以在不同的任务中在编码和解码之间切换，实现灵活性和共享知识，有利于图像到文本和文本到图像的生成。CoBIT在图像理解、图像-文本理解（检索、字幕、VQA、SNLI-VE）和基于文本的内容创建方面具有卓越的性能，特别是在zero-shot场景中。例如，zero-shot ImageNet分类中的82.7%，zero-shot文本到图像生成中的9.37 FID得分和zero-shot字幕中的44.8 CIDER。
2023-03-23 cs.CL cs.CV
Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment
Ghent University（根特大学）；imec；Contextual AI；Stanford University（斯坦福大学）
针对大语言模型对齐中因模型、数据与目标交互导致的欠指定问题，提出对比偏好数据构建方法CLAIR和可控稳定的对齐目标APO，显著提升Llama-3-8B-Instruct性能，缩小与GPT4-turbo的差距。
2024-09-14 cs.AI cs.CL cs.LG
A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives
German Research Center for AI（德国人工智能研究中心）；University of Copenhagen（哥本哈根大学）
现代自然语言处理（NLP）方法采用自监督预训练目标，如掩蔽语言建模，以提高各种应用程序任务的性能。这些预训练方法经常扩展为递归、对抗或语言属性掩蔽，最近还扩展为对比学习目标。对比自监督训练目标通过学习将增强图像的输入-输入对对比为相似或不相似，使最近在图像表示预训练中取得了成功。然而，在NLP中，自动创建文本输入增强仍然非常具有挑战性，因为单个令牌可以颠倒句子的含义。出于这个原因，一些对比NLP预训练方法使用来自度量学习和基于能量的模型的方法来对比输入-标签对，而不是输入-输入对。在这项调查中，我们总结了最近的自监督和监督对比NLP预训练方法，并描述了它们用于改进语言建模，少量或零样本学习，预训练数据效率和特定NLP最终任务的地方。我们介绍了关键的对比学习概念，从以前的研究和结构工程的应用和跨领域的关系。最后，我们指出了对比NLP面临的挑战和未来的发展方向，以鼓励对比NLP预训练更接近最近在图像表示预训练中取得的成功。
2021-02-25 cs.AI cs.CL cs.CV
Sequence-level Large Language Model Training with Contrastive Preference Optimization
Carnegie Mellon University（卡内基梅隆大学）；AWS AI（亚马逊云科技人工智能）；AGI Foundations（AGI 基金会）
针对下一词预测损失缺乏序列级信号导致训练与推理不匹配的问题，提出对比偏好优化（CPO）方法，无需人工标注即可注入序列级信息，在指令遵循和文本生成任务中胜率超越基线。
2025-02-23 cs.AI cs.CL cs.LG
SCD: Self-Contrastive Decorrelation for Sentence Embeddings
SAP AI Research（思爱普人工智能研究院）
在本文中，我们提出了自对比解相关（SCD），一种自监督的方法。给定一个输入句子，它优化了一个联合的自对比和去相关目标。通过利用以不同速率的标准辍学的实例化所产生的对比来促进学习表示。所提出的方法是概念简单，但经验强大。它在多个基准上实现了与最先进的方法相当的结果，而不使用对比对。这项研究为有效的自监督学习方法开辟了道路，这些方法比当前的对比方法更强大。
2022-03-15 cs.CL cs.LG
Improving Lexical Difficulty Prediction with Context-Aligned Contrastive Learning and Ridge Ensembling
Mantera Studio（Mantera工作室）；The University of Manchester（曼彻斯特大学）；Universitas Gadjah Mada（加查马达大学）
本文提出上下文对齐对比回归方法，结合岭回归集成与交叉视图上下文和有序软对比学习，提升跨语言词汇难度预测的准确性和稳定性。
2026-05-09 cs.AI cs.CL
Contrastive Distillation on Intermediate Representations for Language Model Compression
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
现有的语言模型压缩方法大多使用简单的L2损失将大BERT模型的中间表示中的知识提取到较小的模型中。尽管被广泛使用，但这个目标的设计假设隐藏表示的所有维度都是独立的，未能捕获教师网络中间层中的重要结构知识。为了实现更好的蒸馏效果，我们提出了对比蒸馏的中间表示（COSTO），一个原则性的知识蒸馏框架，学生通过对比的目标，通过教师的中间层进行培训，以提取知识。通过学习从大量的负样本中区分出正样本，Coconut有助于学生利用教师隐藏层中的丰富信息。CONDITION可以很容易地应用于在预训练和微调阶段压缩大规模语言模型，并在GLUE基准测试中实现了卓越的性能，优于最先进的压缩方法。
2020-09-29 cs.CL cs.LG
Group-wise Contrastive Learning for Neural Dialogue Generation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，神经对话响应生成得到了广泛的应用。最大似然估计（MLE）目标被广泛采用在现有的对话模型学习。然而，使用MLE目标函数训练的模型在开放域会话设置时受到低多样性问题的困扰。受人类不仅从积极信号中学习，而且还从纠正不良行为中受益的观察的启发，在这项工作中，我们将对比学习引入对话生成，其中模型明确感知精心选择的积极和消极话语之间的差异。具体来说，我们采用预训练的基线模型作为参考。在对比学习期间，目标对话模型被训练为与参考模型相比，对于肯定样本给出更高的条件概率，并且对于那些否定样本给出更低的条件概率。为了管理人类对话中普遍存在的多映射关系，我们用分组双采样来增强对比对话学习。大量的实验结果表明，所提出的组明智的对比学习框架是适合于训练范围广泛的神经对话生成模型具有非常有利的性能超过基线训练方法。
2020-10-13 cs.AI cs.CL
Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval
Beijing Jiaotong University（北京交通大学）
本文针对低资源语言检索数据稀缺问题，提出解耦对比学习方法，将多语言表示分离为语义与语言子空间，在mMARCO、MIRACL上的零样本多语言密集检索性能优于多个强基线。
2026-08-04 cs.CL cs.IR
Continual Contrastive Finetuning Improves Low-Resource Relation Extraction
University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本文针对低资源关系抽取中预训练与微调目标不一致的问题，提出持续对比微调方法，并引入多中心对比损失，在 BioRED 和 Re-DocRED 上显著优于 PLM 分类器。
2023-05-31 cs.AI cs.CL cs.LG
M3: A Multi-Task Mixed-Objective Learning Framework for Open-Domain Multi-Hop Dense Sentence Retrieval
The University of Florida（佛罗里达大学）
本文提出M3框架，通过结合多任务混合目标进行稠密文本表征学习，解决了仅依赖对比学习导致的检索性能欠佳问题，并在大规模开放域事实验证基准数据集FEVER上取得最先进性能。
2024-03-21 cs.CL cs.IR cs.LG
Let LLMs Speak Embedding Languages: Generative Text Embeddings via Iterative Contrastive Refinement
Department of Computer Science and Information Engineering, National Taiwan University（国家台湾大学计算机科学与信息工程系）；National Taiwan University AI Center of Research Excellence（国家台湾大学人工智能研究中心）
GIRCSE通过迭代对比细化生成文本嵌入，优于现有LLM基嵌入方法，在多个基准和任务中表现出色。
2026-02-06 cs.AI cs.CL
Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization
The Hong Kong University of Science（香港科学与技术大学）；OPPO AI Center（OPPO AI中心）
提出上下文视觉对比优化（IC-VCO）方法，通过共享多图像上下文中的对比图像确保数学严谨的目标，并引入视觉对比蒸馏（VCDist）和对比样本编辑策略，有效缓解多模态幻觉。
2026-05-29 cs.CL cs.CV
Contrastive Decoding: Open-ended Text Generation as Optimization
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；FAIR（Meta人工智能研究院）
本文提出对比解码CD，通过在合理性约束下优化专家大模型与业余小模型的似然差，实现无需训练的高质量开放式文本生成，并显著优于现有解码方法。
2023-07-10 cs.AI cs.CL cs.LG
Contrastive Instruction-Trajectory Learning for Vision-Language Navigation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Monash University（莫纳什大学）；Alibaba group（阿里巴巴集团）
视觉语言导航（VLN）任务要求智能体在自然语言指令的引导下到达目标。以前的作品学习导航一步一步的指示。然而，这些工作可能无法区分的相似性和差异跨越轨迹对，忽略了时间的连续性的子指令。这些问题阻碍了智能体学习独特的视觉和语言表示，损害了导航策略的鲁棒性和通用性。在本文中，我们提出了一个对比教学轨迹学习（CITL）框架，探讨了不同数据样本之间的不变性和不同数据样本之间的方差，以学习不同的表示方法来实现强大的导航。具体而言，我们建议：（1）粗粒度的对比学习目标，用于通过分别对比全轨迹观察和指令的语义来增强视觉和语言表示;（2）细粒度的对比学习目标，用于通过利用子指令的时间信息来感知指令;（3）用于对比学习的成对样本重新加权机制，挖掘硬样本，从而减轻对比学习中数据采样偏差的影响。我们的CITL可以很容易地与VLN骨干集成，形成一个新的学习范式，并在看不见的环境中实现更好的泛化能力。大量的实验表明，CITL模型优于R2 R，R4 R和RxR上以前的最先进的方法。
2021-12-09 cs.CL cs.CV cs.LG
Topic-Guided Sampling For Data-Efficient Multi-Domain Stance Detection
University of Copenhagen（哥本哈根大学）
本文提出TESTED方法，通过主题引导多样性采样和对比学习微调立场分类器，在仅用10%训练数据的情况下显著提升多领域立场检测的领域内和领域外性能。
2023-06-01 cs.AI cs.CL cs.IR
