Fidelity-Enriched Contrastive Search: Reconciling the Faithfulness-Diversity Trade-Off in Text Generation
National Taiwan University(国立台湾大学);Artificial Intelligence Research Center, AIST(产业技术综合研究所人工智能研究中心)
本文提出一种名为 FECS 的新解码方法,通过引入上下文感知正则化项增强对比搜索,有效缓解了自然语言生成中的幻觉问题,在多种模型规模下提升了文本忠实度并保持了输出多样性。
2023-10-23 cs.CL
Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, AAIS, Peking University(北京大学AAIS数据科学中心);Ant Group(蚂蚁集团);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本文提出一种层次对比学习框架,通过关键词图、实例级与关键词级内部对比及跨对比机制统一混合粒度语义,缓解曝光偏差,在改写、对话生成和故事讲述任务上超越基线模型。
2025-03-11 cs.CL
Contrastive Search Is What You Need For Neural Text Generation
University of Cambridge(剑桥大学)
用自回归语言模型(LM)生成文本对于许多自然语言处理(NLP)应用是非常重要的。此任务的先前解决方案通常产生包含退化表达式或缺乏语义一致性的文本。最近,Su等人基于语言模型的各向同性表示空间引入了一种新的解码方法,对比搜索,并在各种基准上获得了新的技术水平。此外,Su等人认为自回归线性模型(例如GPT-2)的表示本质上是各向异性的,这也是以前的研究所共有的。因此,为了确保语言模型遵循各向同性分布,Su等人提出了一种对比学习方案SimCTG,该方案通过额外的训练来校准语言模型的表示。在这项研究中,我们首先回答这个问题:“自回归LM真的是各向异性的吗?".为此,我们广泛评估了16种主要语言的LM的各向同性。令人惊讶的是,我们发现,各向异性问题只存在于两个特定的英语GPT-2-小型/中型模型。另一方面,所有其他评估的LM是自然各向同性的,这与以前的研究得出的结论相反。基于我们的研究结果,我们进一步评估了对比搜索解码方法,使用现成的LM在16种语言的四代任务。我们的实验结果表明,对比搜索显着优于以前的解码方法,无需任何额外的训练。更值得注意的是,在16种评估语言中的12种语言上,对比搜索的性能与人类评估所判断的人类水平的性能相当。我们的代码和其他相关资源可在https://github.com/yxuansu/Contrastive_Search_Is_What_You_Need上公开获取…
2023-02-14 cs.CL
Controllable Natural Language Generation with Contrastive Prefixes
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft Corporation(微软公司)
为了指导大型预训练语言模型(LM)的生成,以前的工作集中在直接微调语言模型或利用属性映射。在这项工作中,我们提出了一种新的轻量级框架可控GPT 2生成,它利用一组小的属性特定的向量,称为前缀,引导自然语言的生成。不同于前缀调整,其中每个前缀是独立训练,我们考虑到前缀之间的关系,训练多个前缀同时进行。我们提出了一种新的监督方法和一种非监督方法来训练用于单方面控制的前缀,而这两种方法的组合可以实现多方面控制。单方面和多方面控制的实验结果表明,我们的方法可以引导生成所需的属性,同时保持高的语言质量。
2022-02-27 cs.CL
Multi-Amateur Contrastive Decoding for Text Generation
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出多业余对比解码框架,通过集成多个业余模型更全面地捕捉语言生成中的不良模式,提升文本生成的流畅性、连贯性和多样性。
2025-06-22 cs.CL
Towards Zero-Shot Personalized Table-to-Text Generation with Contrastive Persona Distillation
DAMO Academy, Alibaba(阿里巴巴达摩院)
本文提出零样本个性化表格到文本生成方法S2P-CPD,通过潜在空间融合与对比式人设蒸馏,在无需对齐三元组训练数据的情况下同时保持内容保真度和个性化表达。
2023-04-18 cs.CL
CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning
Alibaba Group(阿里巴巴集团)
本文主要研究广告文本的自动生成,目标是使生成的文本能够捕捉用户的兴趣,从而获得更高的点击率。我们提出了CREATER,一个点击率驱动的广告文本生成方法,基于高质量的用户评论生成广告文本。为了融入CTR目标,我们的模型使用对比学习从在线A/B测试数据中学习,这鼓励模型生成获得更高CTR的广告文本。为了缓解低资源问题,我们设计了一个自定义的自监督目标,减少了预训练和微调之间的差距。在工业数据集上的实验表明,CREATER显著优于当前的方法。它已被部署在一个领先的广告平台上,并带来了核心在线指标的提升。
2022-05-18 cs.CL cs.IR
Semantic-aware Contrastive Learning for Electroencephalography-to-Text Generation with Curriculum Learning
Harbin Institute of Technology(哈尔滨工业大学)
由于脑机接口(BCI)的巨大潜力,直接从脑电信号中生成自然文本的脑电文本生成(EEG-to-Text generation,EEG-to-Text)技术近年来受到越来越多的关注。然而,受试者相关的EEG表示和语义相关的文本表示之间的显着差异对这项任务提出了很大的挑战。为了缓解这一挑战,我们设计了一个课程语义感知的对比学习策略(C-SCL),有效地重新校准的主题依赖的EEG表示的语义依赖的EEG表示,从而减少了差异。具体来说,我们的C-SCL将语义相似的EEG表示拉在一起,同时将不同的EEG表示分开。此外,为了引入更多有意义的对比对,我们谨慎地使用课程学习,不仅要制作有意义的对比对,而且要使学习过程循序渐进。我们在ZuCo基准测试上进行了大量的实验,我们的方法结合了不同的模型和架构,在三种类型的指标上显示出稳定的改进,同时实现了新的最先进的水平。进一步的研究证明了它不仅在单主题和低资源设置中的优越性,而且在zero-shot设置中具有强大的泛化能力。
2023-01-23 cs.CL cs.HC
CoBIT: A Contrastive Bi-directional Image-Text Generation Model
Columbia University(哥伦比亚大学);Google Research(谷歌研究院);UCLA(加州大学洛杉矶分校)
视觉和语言领域已经见证了预先训练的基础模型的扩散。大多数现有的方法都是使用CLIP等对比目标,PaLI等图像到文本生成目标或Parti等文本到图像生成目标进行独立预训练的。然而,这三个目标可以在相同的数据、图像-文本对上进行预训练,并且直观地说,它们相互补充,因为对比提供了全局对齐能力,而生成则提供了细粒度的理解。在这项工作中,我们提出了一个对比双向图像-文本生成模型(CoBIT),它试图将三个预训练目标统一在一个框架中。具体来说,CoBIT采用了一种新颖的unicoder-decoder结构,由图像unicoder,文本unicoder和交叉模态解码器组成。图像/文本unicoders可以在不同的任务中在编码和解码之间切换,实现灵活性和共享知识,有利于图像到文本和文本到图像的生成。CoBIT在图像理解、图像-文本理解(检索、字幕、VQA、SNLI-VE)和基于文本的内容创建方面具有卓越的性能,特别是在zero-shot场景中。例如,zero-shot ImageNet分类中的82.7%,zero-shot文本到图像生成中的9.37 FID得分和zero-shot字幕中的44.8 CIDER。
2023-03-23 cs.CL cs.CV
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出自适应对比搜索解码策略,通过模型每一步的估计不确定性引导自适应退化惩罚,在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
Contrastive Decoding: Open-ended Text Generation as Optimization
Stanford University(斯坦福大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学);FAIR(Meta人工智能研究院)
本文提出对比解码CD,通过在合理性约束下优化专家大模型与业余小模型的似然差,实现无需训练的高质量开放式文本生成,并显著优于现有解码方法。
2023-07-10 cs.AI cs.CL cs.LG
Context-Enhanced Contrastive Search for Improved LLM Text Generation
Praxis Business School(普拉克西斯商学院)
针对LLM长文本生成中连贯性与多样性难以兼顾的问题,本文提出带上下文校准的Context-Enhanced Contrastive Search (CECS),通过动态上下文加权、多级对比搜索和自适应温度控制优化生成质量,实验证明其在连贯性和相关性上显著优于现有方法。
2025-04-22 cs.AI cs.CL cs.LG
An Effective Deployment of Contrastive Learning in Multi-label Text Classification
Guangdong University of Technology(广东工业大学);Guangdong University of Foreign Studies(广东外语外贸大学);Lingnan Normal University(岭南师范学院)
针对多标签文本分类中对比对象难以构建的问题,提出五种新型对比损失并结合基线模型验证其性能提升与可解释性。
2023-07-14 cs.CL
A Simple Graph Contrastive Learning Framework for Short Text Classification
Jilin University(吉林大学);University of Trento(特伦托大学)
针对现有短文本分类图对比学习模型依赖数据增强易引入噪声、忽略潜在视图判别信息的问题,提出无需数据增强的SimSTC框架,通过多组件图学习获取多视图嵌入再做对比学习,性能超越大语言模型。
2025-01-16 cs.CL
Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchical Text Classification
Peking University(北京大学)
层次文本分类由于其复杂的标签层次结构而成为多标签分类中一个具有挑战性的子任务。现有的方法分别编码文本和标签层次结构,并混合它们的表示进行分类,其中层次结构对所有输入文本保持不变。而不是单独建模,在这项工作中,我们提出了层次引导的对比学习(HGSTOM)直接嵌入到文本编码器的层次结构。在训练过程中,HGARCH在标签层次结构的指导下为输入文本构造正样本。通过将输入文本及其正样本拉在一起,文本编码器可以学习独立地生成分层感知的文本表示。因此,经过训练后,HGARCH增强的文本编码器可以省去冗余的层次。在三个基准数据集上的大量实验验证了HGARCH的有效性。
2022-03-23 cs.CL
CLSEG: Contrastive Learning of Story Ending Generation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
故事结尾生成是自然语言生成中的一项具有挑战性的任务。近年来,基于预训练语言模型(PLM)的方法取得了很大的发展,它可以产生流畅连贯的故事结局。然而,基于PLM的方法的预训练目标无法对故事上下文和结局之间的一致性进行建模。本文的目标是采用对比学习来生成更符合故事语境的结尾,而SEG的对比学习主要有两个挑战。第一,错误结局与故事背景不一致的负面抽样。第二个挑战是对比学习对SEG的适应。为了解决这两个问题,我们提出了一个新的对比学习框架的故事结尾生成(CLSEG),它有两个步骤:多方面的采样和特定的故事对比学习。特别是,对于第一个问题,我们利用新的多方面的采样机制,以获得错误的结局,考虑到顺序,因果关系和情感的一致性。为了解决第二个问题,我们精心设计了一个适合SEG的故事特定的对比训练策略。实验结果表明,CLSEG算法的性能优于基线算法,能够生成一致性和合理性更强的故事结局。
2022-02-18 cs.CL
Mitigating Data Sparsity for Short Text Topic Modeling by Topic-Semantic Contrastive Learning
Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
为了克服短文本主题建模中的数据稀疏性问题,现有的方法通常依赖于数据增强或短文本的数据特性来引入更多的词共现信息。然而,大多数算法没有充分利用数据的增广性或数据的特征,对数据样本之间的关系学习不足,导致语义相似的文本对的主题分布不一致。为了更好地解决数据稀疏性问题,本文提出了一种新的短文本主题建模框架,主题-语义对比主题模型(TSCTM)。为了充分建模样本之间的关系,我们采用了一种新的对比学习方法,有效的积极和消极的抽样策略的基础上的主题语义。这种对比学习方法细化了表示,丰富了学习信号,从而减轻了稀疏性问题。大量的实验结果表明,我们的TSCTM优于国家的最先进的基线,无论数据增强的可用性,产生高质量的主题和主题分布。
2022-11-23 cs.CL
CL-ISR: A Contrastive Learning and Implicit Stance Reasoning Framework for Misleading Text Detection on Social Media
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文提出CL-ISR框架,结合对比学习与隐式立场推理,通过增强语义差异学习和挖掘文本潜在立场倾向,提升社交媒体误导性文本检测的准确性。
2025-06-05 cs.CL
Contrastive Learning enhanced Author-Style Headline Generation
Tencent(腾讯);Wenzhou University(温州大学)
标题生成是为给定的文章生成合适的标题的任务,该标题可以进一步用于机器辅助写作或提高点击率。现有的著作在生成时只使用了文章本身,而没有考虑标题的写作风格。在本文中,我们提出了一种新的Seq2Seq模型称为CLH3G(对比学习增强的基于历史标题的标题生成),它可以使用作者在过去写的文章的历史标题,以改善当前文章的标题生成。通过考虑历史标题,我们可以将作者的文体特征整合到我们的模型中,生成一个既适合文章,又符合作者风格的标题。为了有效地学习作者的文体特征,我们进一步为我们模型的编码器引入了一个基于对比学习的辅助任务。此外,我们提出了两种方法来使用学习的风格特征,以指导指针和解码器在生成过程中。实验结果表明,同一用户的历史标题可以显著提高标题生成的效率,而对比学习模块和两种风格特征融合方法都可以进一步提高标题生成的性能。
2022-11-07 cs.CL
UniTRec: A Unified Text-to-Text Transformer and Joint Contrastive Learning Framework for Text-based Recommendation
The Chinese University of Hong Kong(香港中文大学);MoE Key Laboratory of High Confidence Software Technologies(教育部高可信软件技术重点实验室);Tencent(腾讯)
UniTRec提出统一的局部与全局注意力Transformer编码器建模用户历史,并利用解码器估计候选文本困惑度作为对比信号,联合判别匹配与困惑度目标,在三个文本推荐任务上达到SOTA。
2023-05-25 cs.CL
PESCO: Prompt-enhanced Self Contrastive Learning for Zero-shot Text Classification
Carnegie Mellon University(卡内基梅隆大学)
PESCO是一种新颖的对比学习框架,通过添加提示增强标签匹配并利用检索标签在自训练循环中丰富训练集,将文本分类转化为神经文本匹配问题,在四个基准数据集上实现了零样本文本分类的最先进性能。
2023-05-24 cs.CL
Towards General Text Embeddings with Multi-stage Contrastive Learning
Alibaba Group(阿里巴巴集团)
本文提出通用文本嵌入模型 GTE,通过多阶段对比学习并在预训练与微调阶段大幅增加数据,以 110M 参数超越 OpenAI 嵌入 API 及更大模型,并在代码检索任务中表现优异。
2023-08-07 cs.CL
A Robust Contrastive Alignment Method For Multi-Domain Text Classification
Beijing University of Posts and Telecommunications(北京邮电大学);University of Surrey(萨里大学);Shandong University of Finance and Economics(山东财经大学)
多领域文本分类可以在各种场景下对文本进行自动分类。由于人类语言的多样性,不同领域中具有相同标签的文本可能差异很大,这给多领域文本分类带来了挑战。当前的高级方法使用私有共享范式,通过共享编码器捕获域共享特征,并为每个域训练私有编码器以提取域特定特征。然而,在现实的情况下,这些方法的效率低下,因为新的领域不断出现。在本文中,我们提出了一个强大的对比对齐方法对齐文本分类的不同领域的特征在同一个特征空间中的监督对比学习。通过这种方法,我们只需要两个通用的特征提取器来实现多领域的文本分类。大量的实验结果表明,我们的方法执行等同于或有时优于国家的最先进的方法,它使用复杂的多分类器在一个私人共享的框架。
2022-04-26 cs.CL
Emotions are Subtle: Learning Sentiment Based Text Representations Using Contrastive Learning
Carnegie Mellon University(卡内基梅隆大学);University of California(加利福尼亚大学)
对比学习技术作为一种扩充数据集的手段已经广泛应用于计算机视觉领域。在本文中,我们将这些对比学习嵌入的使用扩展到情感分析任务,并证明了对这些嵌入的微调提供了对基于BERT的嵌入的微调的改进,以在DynaSent数据集上评估时实现情感分析任务的更高基准。我们还探索了我们的微调模型在跨域基准数据集上的表现。此外,我们还探索了上采样技术,以实现更平衡的类分布,从而进一步改进我们的基准测试任务。
2021-12-02 cs.CL
Enhancing Dialogue Generation via Multi-Level Contrastive Learning
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
大多数现有的对话生成工作都是直接在从网站上抓取的语料库上训练的数据驱动模型。它们主要关注于改进模型结构以产生更好的响应,但很少注意对比地考虑训练数据的质量。在本文中,我们提出了一个多层次的对比学习范例来模拟细粒度的质量的响应方面的查询。设计了一个秩感知校正(RC)网络来构造多级对比优化目标。由于这些目标是基于句子级别计算的,这可能会错误地鼓励/抑制无信息/信息词的生成。为了解决这个问题,一方面,我们设计了一个精致的令牌级策略,以更准确地估计实例损失。另一方面,我们建立了一个知识推理(KI)组件,在训练过程中从参考文献中捕获关键字知识,并利用这些信息来鼓励生成信息词。我们在仔细注释的对话数据集上评估了所提出的模型,结果表明,与基线模型相比,我们的模型可以产生更相关和更多样化的响应。
2021-06-22 cs.CL
Fine-grained Contrastive Learning for Definition Generation
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);University of California, San Diego(加州大学圣迭戈分校)
最近,预训练的基于transformer的模型在定义生成(DG)任务中取得了巨大的成功。然而,以前的编码器-解码器模型缺乏有效的表示学习来包含给定单词的完整语义成分,这导致生成不够具体的定义。为了解决这个问题,我们提出了一种新的对比学习方法,鼓励模型从定义序列编码中捕获更详细的语义表示。在三个主流基准上的实验结果表明,与现有的几种模型相比,该方法能够生成更具体、更高质量的定义。
2022-10-02 cs.CL
ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification
Beihang University(北京航空航天大学);University of Ottawa(渥太华大学);University of Leeds(利兹大学)
提出对比学习框架ContrastNet,通过拉近同类、推开异类表示学习判别性特征,并在任务级和实例级引入无监督对比正则化防止过拟合,在8个数据集上超越现有最先进模型。
2023-05-16 cs.CL
A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration
University of Amsterdam(阿姆斯特丹大学);Amazon(亚马逊)
交叉熵目标已被证明是自回归语言模型(LM)的通用训练目标。然而,在不考虑有问题的令牌的惩罚的情况下,使用交叉熵训练的LM表现出文本退化。为了解决这个问题,已经提出了非似然训练来降低LM预测的不太可能的令牌的概率。但是不可能性不考虑标签标记和不可能标记候选者之间的关系,因此在退化方面显示出边际改善。我们提出了一种新的对比令牌学习目标,继承了交叉熵和非似然训练的优点,并避免了它们的局限性。关键思想是教LM生成标签标记的高概率和负候选的低概率。语言建模和开放域对话生成任务的综合实验表明,所提出的对比令牌目标产生更少的重复文本,具有更高的生成质量比基线方法,实现了新的国家的最先进的性能对文本退化。
2022-05-19 cs.CL
Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation
Tsinghua University(清华大学)
本文提出自对比训练方法,通过惩罚模型不成熟检查点对重复的错误预测,有效缓解开放式生成中的文本重复问题,同时保持生成流畅性。
2023-07-04 cs.CL
Class-Aware Contrastive Optimization for Imbalanced Text Classification
University of Notre Dame(圣母大学);VinUniversity
针对不平衡文本分类中嵌入易出现类重叠的问题,提出结合类别感知对比优化与去噪自编码器的方法,通过融合重构损失与对比类别分离平衡嵌入真实性与分类能力,在多数据集上性能优于现有最优方法。
2024-10-29 cs.CL
Improved Text Classification via Contrastive Adversarial Training
IBM Watson(IBM沃森);IBM Research AI(IBM研究院AI)
我们提出了一种简单而通用的方法来规范基于transformer的编码器的文本分类任务的微调。具体来说,在微调过程中,我们通过扰动模型的词嵌入来生成对抗性示例,并对干净和对抗性示例进行对比学习,以教会模型学习噪声不变的表示。通过对干净和对抗性样本以及额外的对比目标进行训练,我们观察到了对干净样本进行标准微调的一致改进。在几个GLUE基准测试任务中,我们的微调BERT Large模型平均比BERT Large基线提高1.7%,我们的微调RoBERTa Large比RoBERTa Large基线提高1.3%。我们还使用三个意图分类数据集在不同领域验证了我们的方法,其中我们的微调RoBERTa Large平均比RoBERTa Large基线高出1-2%。
2022-02-17 cs.CL
KFCNet: Knowledge Filtering and Contrastive Learning Network for Generative Commonsense Reasoning
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
预先训练的语言模型已经在广泛的自然语言处理(NLP)任务中取得了实质性的进展,但已经被证明对于具有高质量输出要求的自然语言生成任务具有局限性,例如常识生成和广告关键字生成。在这项工作中,我们提出了一种新的知识过滤和对比学习网络(KFCNet),参考外部知识,并取得更好的生成性能。具体来说,我们提出了一个基于BERT的过滤器模型,以消除低质量的候选人,并分别应用对比学习的编码器和解码器中的每一个,在一个通用的编码器-解码器架构。编码器对比模块有助于在编码过程中捕获全局目标语义,解码器对比模块在学习一般特征的同时增强检索到的原型的实用性。在CommonGen基准测试上进行的大量实验表明,我们的模型远远优于先前的最先进水平:BLEU-4为+6.6点(42.5 vs. 35.9),SPICE为+3.7点(33.3 vs. 29.6),CIDER为+1.3点(18.3 vs. 17.0)。我们进一步验证了所提出的对比模块在广告关键词生成上的有效性,并表明我们的模型具有潜在的商业价值。
2021-09-14 cs.CL
Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
本文提出SharpReCL模型,通过原型向量和硬混合技术解决文本分类中的数据不平衡问题,提升对比学习效果。
2026-01-23 cs.CL
Contrastive Learning on LLM Back Generation Treebank for Cross-domain Constituency Parsing
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(计算与智能研究院,哈尔滨工业大学(深圳));School of New Media and Communication, Tianjin University(新媒体与传播学院,天津大学);School of Engineering, Westlake University(工程学院,西湖大学)
针对跨领域成分句法分析中树库有限的问题,提出LLM回溯生成树库方法并引入跨度级对比学习预训练策略,在MCTB五个目标领域上达到最先进性能。
2025-05-27 cs.CL
Improving Text Embeddings for Smaller Language Models Using Contrastive Fine-tuning
Tsinghua University(清华大学)
本文针对较小语言模型嵌入质量不足的问题,对MiniCPM、Phi-2和Gemma在NLI数据集上进行对比微调,在多个基准上提升文本嵌入质量,其中MiniCPM平均性能提升56.33%。
2024-08-02 cs.CL
Dynamic Adaptive Attention and Supervised Contrastive Learning: A Novel Hybrid Framework for Text Sentiment Classification
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种结合动态自适应注意力与监督对比学习的混合框架,用于提升文本情感分类的准确性,实验表明其在IMDB数据集上达到94.67%的准确率,优于现有基线模型。
2026-04-12 cs.CL
Adaptive Contrastive Decoding in Retrieval-Augmented Generation for Handling Noisy Contexts
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学);NAVER Cloud(NAVER云);KAIST AI(韩国科学技术院AI学院);NAVER AI LAB(NAVER AI实验室);Hanyang University(汉阳大学)
针对现有对比解码方法在检索增强生成中易受噪声上下文干扰的问题,提出自适应对比解码方法,有效利用上下文影响力,提升了开放域问答任务性能与抗噪声鲁棒性。
2024-10-07 cs.CL
StructCoh: Structured Contrastive Learning for Context-Aware Text Semantic Matching
Beihang University, Beijing, China(北京航空航天大学);University College London, London, UK(伦敦大学学院)
针对预训练语言模型在文本语义匹配中忽略层级结构、难区分细微语义的问题,提出融合双图编码器与层级对比目标的StructCoh框架,在法律匹配等任务上显著超越SOTA。
2025-09-02 cs.CL
CoCo: Coherence-Enhanced Machine-Generated Text Detection Under Data Limitation With Contrastive Learning
Queen Mary University of London(伦敦玛丽女王大学);Xi’an Jiaotong University(西安交通大学)
提出基于连贯性的对比学习模型CoCo,通过将图形式连贯性信息编码至文本表示并改进对比损失,在低资源场景下有效检测机器生成文本,显著优于现有方法。
2023-10-20 cs.CL
Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning
Singapore University of Technology and Design(新加坡科技设计大学);DAMO Academy, Alibaba Group, Singapore(阿里巴巴集团达摩院(新加坡));Nanyang Technological University, Singapore(南洋理工大学);Hupan Lab(湖畔实验室)
针对对比学习句子表示受LLM生成句子对质量限制的问题,提出三阶段优化的MultiCSR框架,可让弱模型超ChatGPT、强模型刷新SOTA。
2024-05-17 cs.CL
Let the CAT out of the bag: Contrastive Attributed explanations for Text
Microsoft(微软);IBM Research(IBM研究院)
最近,理解黑箱模型行为的对比解释获得了很多关注,因为它们提供了潜在的追索权。在本文中,我们提出了一种方法对比属性的解释文本(CAT),它提供了一个新的扭曲的对比解释自然语言的文本数据,因为我们建立和利用属性分类器,导致更多的语义有意义的解释。为了确保我们的对比生成的文本相对于原始文本具有尽可能少的编辑,同时也流畅且接近人类生成的对比,我们采用了一种最小扰动方法,该方法使用BERT语言模型和在可用属性上训练的属性分类器进行正则化。我们通过定性的例子和用户研究表明,我们的方法不仅传达了更多的洞察力,因为这些属性,但也导致更好的质量(对比)的文本。量化,我们表明,我们的方法优于其他国家的最先进的方法在四个基准指标的四个数据集。
2022-11-02 cs.AI cs.CL
Resource-Efficient Adaptation of Large Language Models for Text Embeddings via Prompt Engineering and Contrastive Fine-tuning
fortiss GmbH(fortiss公司);School of Computation and Information Technology(计算与信息科技学院)
本研究通过提示工程与资源高效的对比微调,将大语言模型适配为文本嵌入模型,在MTEB英语聚类任务上取得有竞争力性能,并揭示微调提升语义压缩效果。
2025-09-24 cs.CL
Assisting Language Learners: Automated Trans-Lingual Definition Generation via Contrastive Prompt Learning
Tsinghua University(清华大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对传统单语定义生成易包含学习者陌生词汇的问题,提出跨语言定义生成任务,设计提示组合与对比提示学习方法,经高低资源场景验证,生成质量优于基线方法。
2023-06-09 cs.CL
SLM4Offer: Personalized Marketing Offer Generation Using Contrastive Learning Based Fine-Tuning
SPARC Research, HCLSoftware(HCLSoftware SPARC 研究院)
本文提出SLM4Offer模型,通过对比学习微调T5-Small,利用InfoNCE损失对齐客户画像与优惠,在合成数据集上实现优惠接受率较监督微调基线提升17%。
2025-08-21 cs.CL
Contrastive Speaker-Aware Learning for Multi-party Dialogue Generation with LLMs
Shangqiu University(商丘大学)
本文提出SA-LLM,通过说话人感知对比学习无需关系标注即可建模多方对话中的说话人角色与上下文连贯性,在流畅性、连贯性和多样性上超越现有基线。
2025-03-11 cs.CL
Constructing Contrastive samples via Summarization for Text Classification with limited annotations
Zhejiang University(浙江大学);IBM Research(IBM研究院);Squirrel AI Learning(松鼠AI)
对比学习已经成为一种功能强大的表示学习方法,并促进了各种下游任务,特别是当监督数据有限时。如何通过数据增强构造有效的对比样本是其成功的关键。与视觉任务不同,用于对比学习的数据增强方法在语言任务中还没有得到充分的研究。在本文中,我们提出了一种新的方法来构建对比样本的语言任务,使用文本摘要。我们使用这些样本进行监督对比学习,以获得更好的文本表示,这极大地有利于有限注释的文本分类任务。为了进一步改进该方法,我们混合了来自不同类别的样本,并在交叉熵损失之外添加了一个额外的正则化,名为Mixsum。在真实文本分类数据集(Amazon-5、Yelp-5、AG News和IMDb)上的实验证明了所提出的基于摘要的数据增强和Mixsum正则化的对比学习框架的有效性。
2021-11-29 cs.CL cs.LG
SignCLIP: Connecting Text and Sign Language by Contrastive Learning
University of Zurich(苏黎世大学)
本研究提出SignCLIP方法,复用CLIP将口语文本与手语视频映射到同一空间,在大规模多语言手语数据集上预训练后,在跨模态检索及少样本下游手语任务中表现优异,还为语言学研究提供了新视角。
2024-10-06 cs.CL
Boosting Short Text Classification with Multi-Source Information Exploration and Dual-Level Contrastive Learning
Jilin University(吉林大学);Heriot-Watt University(赫瑞瓦特大学);University of Trento(特伦托大学)
针对短文本分类的语义稀疏与标注不足问题,提出融合多源信息、图学习与双层对比学习的MI-DELIGHT模型,通过分层架构建模任务关联,性能超越现有模型及部分大语言模型。
2025-01-16 cs.CL
Closed-book Question Generation via Contrastive Learning
Texas A&M University(德克萨斯农工大学);Emory University(埃默里大学)
问题生成(QG)是许多下游应用程序的基本NLP任务。最近的研究开卷QG,其中支持性的答案上下文对提供给模型,取得了可喜的进展。然而,在缺乏这些支持文件的更实际的封闭式设置下生成自然问题仍然是一个挑战。在这项工作中,我们提出了一个新的QG模型,这个封闭的书设置,旨在更好地理解语义的长形式的抽象答案,并存储更多的信息,通过对比学习和答案重建模块的参数。通过实验,我们在公共数据集和新的WikiCQA数据集上验证了所提出的QG模型。实证结果表明,所提出的QG模型优于基线在自动评估和人工评估。此外,我们将展示如何利用所提出的模型,以改善现有的问答系统。这些结果进一步表明,我们的QG模型的有效性,以提高闭卷问答任务。
2023-02-10 cs.CL
Contrastive Learning Subspace for Text Clustering
Alibaba Group(阿里巴巴集团);Soochow University(苏州大学)
针对现有对比学习文本聚类忽略实例间潜在关系的问题,提出子空间对比学习(SCL)方法,通过自表达模块构建虚拟正样本并学习判别性子空间建模簇级关系,在多数据集上取得优异结果且降低正样本构建复杂度。
2024-08-26 cs.AI cs.CL
Text Transformations in Contrastive Self-Supervised Learning: A Review
Arizona State University(亚利桑那州立大学)
对比自监督学习已成为表示学习中的一种重要技术。这些方法的主要步骤是对比语义相似和不相似的样本对。然而,在自然语言处理(NLP)领域,用于创建关于对比学习(CL)假设的相似对的增强方法具有挑战性。这是因为,即使简单地修改输入中的单词也可能改变句子的语义含义,因此违反了分布假设。在这篇综述论文中,我们形式化的对比学习框架,强调需要解决的数据转换步骤中的考虑因素,并审查国家的最先进的方法和评价的对比表示学习在自然语言处理。最后,我们描述了使用对比方法学习更好的文本表示的一些挑战和潜在方向。
2022-06-06 cs.CL cs.LG
Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification
National University of Singapore(新加坡国立大学)
细粒度分类涉及处理具有大量类别的数据集,这些类别之间存在细微差异。引导模型专注于区分这些通常容易混淆的类之间的维度,是提高细粒度任务性能的关键。在这项工作中,我们分析了两个细粒度的文本分类任务,情感分类和情感分析的预训练语言模型的对比微调。我们自适应地嵌入类关系到一个对比的目标函数,以帮助不同的权重的积极和消极的,特别是,加权密切混淆的负面比不太相似的负面的例子。我们发现,标签感知的对比损失优于以前的对比方法,在更大的数量和/或更容易混淆的类的存在下,并帮助模型产生更有区别的输出分布。
2021-09-12 cs.AI cs.CL
Conceptual Contrastive Edits in Textual and Vision-Language Retrieval
National Technical University of Athens(雅典国家技术大学)
本研究提出事后概念对比编辑方法,通过设计针对不同词性的可控干预并引入逐词影响评估指标,以黑盒方式揭示文本与视觉-语言检索模型表征中的模式与偏差。
2025-03-01 cs.AI cs.CL
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Facebook AI(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了VideoCLIP,这是一种对比方法,用于预训练zero-shot视频和文本理解的统一模型,而无需在下游任务上使用任何标签。VideoCLIP通过将时间上重叠的正视频-文本对与最近邻检索的硬否定进行对比,来训练视频和文本的Transformer。我们对一系列下游任务的实验,包括序列级文本视频检索,VideoQA,令牌级动作定位和动作分割,揭示了最先进的性能,超过了先前的工作,在某些情况下甚至优于监督方法。代码可在https://github.com/pytorch/fairseq/tree/main/examples/MMPT上获得。
2021-10-01 cs.CL cs.CV