Learning to Rank Question Answer Pairs with Bilateral Contrastive Data Augmentation
The Chinese University of Hong Kong(香港中文大学)
在这项工作中,我们提出了一种新的和易于应用的数据增强策略,即双边生成(BiG),具有对比训练目标,以提高现有标记数据的问答对排名的性能。具体来说,我们用两个预训练的生成模型来合成伪正QA对,而不是原始的负QA对,一个用于问题生成,另一个用于答案生成,这些模型是在原始数据集中有限的正QA对上进行微调的。利用增强后的数据集,我们设计了一个对比训练目标,用于学习排序问题答案对。在三个基准数据集上的实验结果表明,该方法充分利用了已有的标记数据,显著提高了排序模型的性能,并且可以方便地应用于不同的排序模型。
2021-09-30 cs.CL cs.IR
Improving Unsupervised Relation Extraction by Augmenting Diverse Sentence Pairs
Iowa State University(爱荷华州立大学)
本文提出 AugURE,通过句内和跨句句对增强提升无监督关系抽取中对比学习的正样本多样性,并用间隔损失替代 NCE 损失,在 NYT-FB 和 TACRED 上取得最优性能。
2023-12-01 cs.CL
Neural inhibition during speech planning contributes to contrastive hyperarticulation
Yale University(耶鲁大学)
本文提出动态神经场模型,将对比性过度发音归结为最小对立竞争对手在言语规划中的抑制作用,并通过伪词实验验证该效应,揭示词汇与音系层交互激活对CH范围与幅度的影响。
2023-03-14 cs.CL
A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
自然语言推理是自然语言理解中一项日益重要的任务,它要求对句子对(前提和假设)之间的关系进行推理。最近,低资源自然语言推理得到了越来越多的关注,由于显着节省人工注释成本和更好地适应现实世界的场景。现有的工作无法表征不同类别之间的区别表示有限的训练数据,这可能会导致错误的标签预测。在这里,我们提出了一个多层次的监督对比学习框架命名为MultiSCL的低资源自然语言推理。MultiSCL利用句子级和句子对级的对比学习目标来区分不同类别的句子对,将一类中的句子对放在一起,并将不同类别中的句子对推开。MultiSCL采用了一个数据增强模块,为输入样本生成不同的视图,以更好地学习潜在表示。从交叉注意模块获得对级表示。我们在低资源环境下对两个公共NLI数据集进行了广泛的实验,MultiSCL的准确率平均超过其他模型3.1%。此外,我们的方法优于以前的国家的最先进的方法在跨领域的文本分类任务。
2022-05-31 cs.CL
Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment
The University of Tokyo(东京大学)
针对多模态句子嵌入训练中图像-字幕对存在噪声的问题,提出结合细粒度对象-短语对齐的MCSEO方法,利用分割与检测模型提取配对优化对比学习目标,在STS任务上 consistently 优于强基线。
2025-08-01 cs.CL
SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
National University of Defense Technology(国防科技大学);SenseTime(商汤科技);The University of Hong Kong(香港大学)
无监督句子嵌入的目的是为句子获得最合适的嵌入,以反映其语义。对比学习正受到越来越多的关注。对于一个句子,当前的模型利用不同的数据增强方法来生成正样本,而将其他独立的句子视为负样本。然后,他们采用InfoNCE损失来拉动聚集的正对的嵌入,并推动分散的负对的嵌入。虽然这些模型在句子嵌入方面取得了很大的进展,但我们认为它们可能受到特征抑制。这些模型不能区分和解耦文本相似性和语义相似性。而且,他们可能高估任何具有相似文本的对的语义相似性,而不管它们之间的实际语义差异。这是因为无监督对比学习中的正对通过数据增强来获得相似甚至相同的文本。为了减轻特征抑制,我们提出了对比学习的无监督句子嵌入与软负样本(SNCSE)。软否定样本与原始样本具有高度相似的文本,但具有明显不同的语义。具体地说,我们将原句的否定作为软否定样本,提出双向边际损失(BML)将其引入传统的对比学习框架,只涉及正样本和负样本。实验结果表明,SNCSE在语义文本相似性(STS)任务上的平均Spearman相关系数在BERTbase上为78.97%,在RoBERTbase上为79.23%。此外,我们还采用基于秩的误差分析方法来发现SNCSE的不足之处,为后续的研究提供参考。
2022-03-02 cs.CL
Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images
Stanford University(斯坦福大学)
本文提出对称视觉对比优化S-VCO及最小视觉对比数据集MVC,通过强化细粒度视觉-文本对齐,显著减少VLM幻觉并提升视觉依赖任务性能。
2025-06-02 cs.AI cs.CL cs.CV
Differentiable Data Augmentation for Contrastive Sentence Representation Learning
Singapore University of Technology and Design(新加坡科技设计大学)
通过具有大量未标记句子或标记句子对的对比学习框架来微调预训练的语言模型是获得高质量句子表示的常用方法。尽管对比学习框架在句子表示学习方面已经显示出其优越性,但由于其构造正对的方法简单,迄今为止,这种框架的潜力还没有得到充分的开发。受此启发,我们提出了一种方法,使硬阳性从原来的训练样本。我们的方法的一个关键组成部分是使用附加到预训练语言模型的前缀,这允许在对比学习期间进行可区分的数据增强。我们的方法可以概括为两个步骤:监督前缀调整,然后与未标记或标记的例子联合对比微调。我们的实验证实了我们的数据增强方法的有效性。所提出的方法产生显着的改进,现有的方法在半监督和监督设置。在低标记数据集下的实验也表明,我们的方法比最先进的对比学习方法具有更高的标记效率。
2022-10-29 cs.CL
SimCSE: Simple Contrastive Learning of Sentence Embeddings
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
本文介绍了SimCSE,一个简单的对比学习框架,大大提高了最先进的句子嵌入。我们首先描述了一个无监督的方法,它需要一个输入句子,并预测自己在一个对比的目标,只有标准的辍学作为噪音。这个简单的方法工作得出奇的好,与以前的监督对应物表现相当。我们发现,dropout作为最小的数据增强,并删除它会导致一个表示坍塌。然后,我们提出了一种监督的方法,它将注释对从自然语言推理数据集到我们的对比学习框架,使用“蕴涵”对作为积极和“矛盾”对硬否定。我们在标准语义文本相似性(STS)任务上评估SimCSE,我们使用BERT基础的无监督和有监督模型分别达到平均76.3%和81.6%的斯皮尔曼相关性,与以前的最佳结果相比,分别提高了4.2%和2.2%。我们还从理论上和经验上证明,对比学习的目标是使预训练的嵌入的各向异性空间更加均匀,并且在监督信号可用时更好地对齐正对。
2022-05-18 cs.CL cs.LG
Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks
HSE University(俄罗斯高等经济学院);Yandex;Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
在计算机视觉中,使用对比度损失进行表示学习已经变得非常突出,并且现在在自然语言处理(NLP)中也受到关注。在这里,我们探索了在微调大规模预训练的Transformer模型时使用batch-softmax对比损失的想法,以学习更好的特定于任务的句子嵌入,用于成对句子评分任务。我们介绍和研究了一些变化的计算损失,以及在整个训练过程中,特别是,我们发现,数据洗牌可以是相当重要的。我们的实验结果显示,在许多数据集和成对句子评分任务(包括分类,排名和回归)上有相当大的改进。最后,我们提供了详细的分析和讨论,这应该是有用的研究人员旨在探索的对比损失在自然语言处理的效用。
2021-10-10 cs.AI cs.CL cs.IR
Automatic Pair Construction for Contrastive Post-training
University of California, San Diego(加利福尼亚大学圣迭戈分校);Microsoft Research(微软研究院)
本文提出利用多强度模型偏好对自动构建对比数据,并结合 DPO/SLiC 与由易到难的课程学习进行后训练,使 Orca 性能超过 ChatGPT。
2024-04-03 cs.AI cs.CL cs.LG
Text Transformations in Contrastive Self-Supervised Learning: A Review
Arizona State University(亚利桑那州立大学)
对比自监督学习已成为表示学习中的一种重要技术。这些方法的主要步骤是对比语义相似和不相似的样本对。然而,在自然语言处理(NLP)领域,用于创建关于对比学习(CL)假设的相似对的增强方法具有挑战性。这是因为,即使简单地修改输入中的单词也可能改变句子的语义含义,因此违反了分布假设。在这篇综述论文中,我们形式化的对比学习框架,强调需要解决的数据转换步骤中的考虑因素,并审查国家的最先进的方法和评价的对比表示学习在自然语言处理。最后,我们描述了使用对比方法学习更好的文本表示的一些挑战和潜在方向。
2022-06-06 cs.CL cs.LG
Improving Contrastive Learning of Sentence Embeddings from AI Feedback
Fudan University(复旦大学)
本文提出CLAIF方法,利用大型预训练语言模型的AI反馈构建带细粒度相似度分数的样本对,并结合人类反馈提供监督信号,显著提升了句子嵌入对比学习在语义文本相似性等任务上的性能。
2023-05-20 cs.AI cs.CL
Pairwise Supervised Contrastive Learning of Sentence Representations
AWS AI(亚马逊云科技人工智能)
最近在句子表示学习中的许多成功都是通过简单地对具有三重丢失或连体丢失的自然语言推理(NLI)数据集进行微调来实现的。然而,它们有一个共同的缺点:矛盾对中的句子不一定来自不同的语义范畴。因此,单独优化语义蕴涵和矛盾推理目标不足以捕获高级语义结构。这个缺点是由这样一个事实加剧的,即香草连体或三元组损失只从单独的句子对或三元组中学习,这些句子对或三元组经常遭受糟糕的局部最优。在本文中,我们提出了PairSupCon,一个实例歧视为基础的方法,旨在桥梁语义蕴涵和矛盾的理解与高层次的分类概念编码。我们评估PairSupCon的各种下游任务,涉及理解句子语义在不同的粒度。我们优于以前的国家的最先进的方法与$10\%$ - $13\%$平均改善八个聚类任务,和$5\%$ - $6\%$平均改善七个语义文本相似性(STS)任务。
2022-01-29 cs.CL cs.LG
On the Importance of Contrastive Loss in Multimodal Learning
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文从理论角度分析了简单多模态对比学习模型的训练动态,揭示正对驱动表示对齐但增加条件数,负对则减小条件数以保持表示平衡,证明了对比对在多模态学习中的重要性。
2023-04-07 cs.CL cs.CV cs.LG
SCD: Self-Contrastive Decorrelation for Sentence Embeddings
SAP AI Research(思爱普人工智能研究院)
在本文中,我们提出了自对比解相关(SCD),一种自监督的方法。给定一个输入句子,它优化了一个联合的自对比和去相关目标。通过利用以不同速率的标准辍学的实例化所产生的对比来促进学习表示。所提出的方法是概念简单,但经验强大。它在多个基准上实现了与最先进的方法相当的结果,而不使用对比对。这项研究为有效的自监督学习方法开辟了道路,这些方法比当前的对比方法更强大。
2022-03-15 cs.CL cs.LG
MCP: Self-supervised Pre-training for Personalized Chatbots with Multi-level Contrastive Sampling
Renmin University of China(中国人民大学);University of Montreal(蒙特利尔大学)
个性化聊天机器人专注于赋予聊天机器人一致的个性,以表现得像真实用户一样,并进一步充当个人助理。以前的研究已经探索了从用户的对话历史中生成隐式用户简档,以构建个性化的聊天机器人。然而,这些研究仅使用响应生成损失来训练整个模型,因此容易遭受数据稀疏的问题。此外,他们过分强调最终生成的响应的质量,而忽略了用户的对话历史之间的相关性和融合,导致粗糙的数据表示和性能下降。为了解决这些问题,我们提出了一个自监督学习框架MCP,用于从用户的对话历史中捕获更好的表示,以用于个性化聊天机器人。具体来说,我们应用对比采样方法来利用隐藏在用户对话历史中的监督信号,并生成用于增强模型的预训练样本。我们设计了三个预训练任务,基于三种类型的对比对用户对话历史,即响应对,序列增强对,和用户对。我们预先训练的话语编码器和历史编码器的对比目标,并使用这些预先训练的编码器生成用户简档,而个性化的响应生成。在两个真实数据集上的实验结果表明,与现有的方法相比,我们提出的模型MCP有显着的改善。
2022-12-14 cs.AI cs.CL cs.LG
WPN: An Unlearning Method Based on N-pair Contrastive Learning in Language Models
Beijing University of Posts and Telecommunications(北京邮电大学)
针对生成式语言模型预训练习得的有害知识易生成有害输出、现有遗忘方法损害模型性能的问题,提出基于N对对比学习的WPN方法,在高无害率下维持模型性能且泛化性、鲁棒性良好。
2024-08-18 cs.CL cs.IR
Mitigating Degree Bias Adaptively with Hard-to-Learn Nodes in Graph Contrastive Learning
University of Bristol(布里斯托大学)
本文提出硬度自适应重加权对比损失HAR及实验框架SHARP,通过利用标签扩充正样本对并按学习硬度加权,有效缓解图神经网络节点分类中的度偏差问题。
2025-06-05 cs.AI cs.CL cs.LG
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition
Microsoft(微软)
用于自动语音识别(ASR)的自监督学习(SSL)的目标是从大量未标记的语音中学习良好的语音表示以用于下游的ASR任务。然而,大多数SSL框架没有考虑噪声鲁棒性,这对现实世界的应用至关重要。在本文中,我们提出了wav 2 vec-Switch,一种通过对比学习将噪声鲁棒性编码到语音的上下文表示中的方法。具体来说,我们将原始噪声语音对同时输入wav 2 vec 2.0网络。除了现有的对比学习任务,我们切换的量化表示的原始和嘈杂的语音作为额外的预测目标。通过这样做,它强制网络对原始语音和噪声语音进行一致的预测,从而允许学习具有噪声鲁棒性的上下文表示。我们对合成和真实噪声数据的实验表明,我们的方法的有效性:它实现了2.9- 4.9%的相对字出错率(WER)减少对合成的噪声LibriSpeech数据,而不恶化的原始数据,和5.7%的CHiME-4真正的1通道噪声数据相比,数据增强基线,即使有一个强大的语言模型解码。我们在CHiME-4上的结果可以匹配甚至超过那些设计良好的语音增强组件。
2022-01-26 cs.CL cs.LG cs.SD
Contrastive Identification and Generation in the Limit
University of New South Wales(新南威尔士大学);University of Sydney(悉尼大学)
本文研究了极限下的对比识别与生成,提出对比可识别类的精确刻画、对比闭包维度及统一生成的样本复杂度,揭示了对比生成与文本识别的互不包含关系,并证明了在有限对抗污染下对比对偶对的识别优势。
2026-11-17 cs.AI cs.CL cs.DS