PromptCL: Improving Event Representation via Prompt Template and Contrastive Learning
Dalian University of Technology(大连理工大学)
针对事件文本较短导致与预训练分布不一致的问题,提出PromptCL框架,利用提示模板扩展输入并结合对比学习,同时引入SPO语序与EventMLM训练模型理解事件组件关系,显著提升了事件表示性能与泛化能力。
2024-04-27 cs.CL
CMV-BERT: Contrastive multi-vocab pretraining of BERT
在这项工作中,我们代表CMV-BERT,它通过两个成分改进了语言模型的预训练:(a)对比学习,这在计算机视觉领域得到了很好的研究;(b)多个词汇,其中一个是细粒度的,另一个是粗粒度的。这两种方法都提供了一个原始句子的不同的观点,都被证明是有益的。下游任务表明,我们提出的CMV-BERT是有效的,在改善预训练的语言模型。
2021-05-30 cs.CL
ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning
Tencent Inc.(腾讯公司);Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
预训练的语言模型(PLM)在各种下游自然语言处理(NLP)任务上表现出卓越的性能。然而,传统的预训练目标并没有显式地对文本中的关系事实进行建模,这对于文本理解至关重要。为了解决这个问题,我们提出了一个新的对比学习框架ERICA,以获得对文本中的实体及其关系的深入理解。具体来说,我们定义了两个新的预训练任务,以更好地理解实体和关系:(1)实体判别任务,以区分哪个尾部实体可以由给定的头部实体和关系推断出来;(2)关系判别任务,以区分两个关系在语义上是否接近,这涉及复杂的关系推理。实验结果表明,ERICA可以改善典型的PLM(BERT和RoBERTa)在几个语言理解任务,包括关系抽取,实体类型和问答,特别是在低资源设置。
2021-05-26 cs.AI cs.CL
Improving Factual Consistency of News Summarization by Contrastive Preference Optimization
School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);Alibaba Group(阿里巴巴集团)
针对大型语言模型(LLMs)新闻摘要存在的复杂事实幻觉问题,提出对比偏好优化(CPO)分离其生成忠实与虚假内容的倾向,并结合探测式训练增强区分能力,显著提升了摘要可靠性。
2025-02-13 cs.AI cs.CL
Improving Large Language Model Safety with Contrastive Representation Learning
ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(智能系统最大计划);University of Toronto(多伦多大学)
本文提出基于对比表征学习的框架,通过三元组损失和对抗性难负样本挖掘提升大语言模型对对抗攻击的鲁棒性。
2025-12-28 cs.AI cs.CL cs.LG
MuSC: Improving Complex Instruction Following with Multi-granularity Self-Contrastive Training
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Nanjing University(南京大学);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
本文提出多粒度自对比训练框架MuSC,通过指令分解重组构建约束感知偏好数据,并执行动态token级监督的偏好优化,在不依赖更强模型的情况下显著提升了LLMs的复杂与通用指令遵循能力。
2025-05-30 cs.AI cs.CL
SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data
Sungkyunkwan University(成均馆大学);SK Telecom(SK电讯)
针对预训练语言模型微调时的虚假关联问题,提出SALAD方法,通过标记生成结构感知正样本、LLM生成反事实负样本用于对比学习,提升了模型在情感分类等任务中对分布外数据的鲁棒性与泛化性。
2025-04-16 cs.AI cs.CL
LLM Probing with Contrastive Eigenproblems: Improving Understanding and Applicability of CCS
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文重新审视了无监督探针方法CCS,将其双项目标优化问题重新表述为特征值问题,提出相对对比一致性以获得闭式解,在保持性能的同时解决了随机初始化敏感性问题,并扩展了多变量适用性。
2025-11-03 cs.CL cs.LG
Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning
Soochow University(苏州大学);Fudan University(复旦大学);The Hong Kong Polytechnic University(香港理工大学);Jilin University(吉林大学)
针对现实噪声影响知识增强对话(KGD)鲁棒性的问题,提出基于实体的对比学习框架,通过构造语义相关与无关的扰动正负样本提升模型抗噪能力,在三个基准数据集上取得最优性能且在噪声与少样本设置下表现更优。
2024-01-09 cs.AI cs.CL
QCRD: Quality-guided Contrastive Rationale Distillation for Large Language Models
University of Science and Technology of China(中国科学技术大学);ByteDance Inc(字节跳动公司);Fudan University(复旦大学)
本文提出QCRD框架,通过质量引导的对比蒸馏,利用正面与负面知识增强小模型推理能力,实验证明优于现有蒸馏方法。
2024-09-19 cs.AI cs.CL
UCD: Unlearning in LLMs via Contrastive Decoding
MIT(麻省理工学院);Boston University(波士顿大学)
本研究针对大语言模型的机器遗忘需求,提出基于对比解码的推理阶段遗忘算法UCD,通过两个不同训练设置的小模型引导原模型输出,在TOFU和MUSE基准上实现了遗忘效果与模型效用的更好平衡。
2025-06-12 cs.CL cs.CR cs.LG
Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction
University of Delaware(特拉华大学);Weill Cornell Medicine(威尔康奈尔医学院)
在计算机视觉中,对比学习已被用于学习图像的高质量表示。然而,对比学习并没有被广泛地应用于自然语言处理中,这是由于缺乏一种通用的文本数据数据增强方法。在这项工作中,我们探索的方法,采用对比学习,以改善文本表示的BERT模型的关系抽取。我们的框架的关键旋钮是一个独特的对比预训练步骤,通过将语言知识无缝集成到数据增强中,为关系抽取任务量身定制。此外,我们研究了如何从外部知识库构建的大规模数据可以增强BERT的对比预训练的通用性。在三个关系抽取基准数据集上的实验结果表明,该方法能够提高BERT模型的表示能力,达到最佳性能。此外,我们通过展示具有对比预训练的BERT更多地依赖于预测的基本原理来探索模型的可解释性。我们的代码和数据可在https://github.com/udel-biotm-lab/BERT-CLRE上公开获取。
2021-04-28 cs.CL
Improving Event Representation via Simultaneous Weakly Supervised Contrastive Learning and Clustering
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学);HKUST(香港科技大学);Paradigm. Inc.(第四范式公司)
文本中描述的事件的表示对于各种任务都很重要。在这项工作中,我们提出了SWCC:同时弱监督对比学习和聚类框架的事件表示学习。SWCC通过更好地利用事件的共现信息来学习事件表示。具体来说,我们引入了一个弱监督的对比学习方法,使我们能够考虑多个积极和多个消极的,和一个基于原型的聚类方法,避免语义相关的事件被拉开。对于模型训练,SWCC通过同时执行弱监督对比学习和基于原型的聚类来学习表示。实验结果表明,SWCC在硬相似性和传递性句子相似性任务上优于其他基线。此外,对基于原型的聚类方法的深入分析表明,学习的原型向量能够隐式地捕获事件之间的各种关系。
2022-03-15 cs.CL
CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization
University of Michigan(密歇根大学)
我们研究生成的摘要是忠实的,事实上与给定的文章一致。提出了一种新的对比学习公式,该公式利用参考摘要作为正训练数据和自动生成的错误摘要作为负训练数据来训练更好地区分它们的摘要系统。我们进一步设计了四种类型的策略来创建阴性样本,以类似于我们在总结错误的新人类注释中发现的两种最先进的模型BART和PEGASUS通常所犯的错误。在XSum和CNN/Daily Mail上的实验表明,我们的对比学习框架在数据集和模型上都是鲁棒的。根据基于QA的真实性评估,它始终产生更多的事实摘要,而不是与事后纠错,基于蕴涵的重新排序和不可能训练的强比较。人类法官回应了观察结果,发现我们的模型总结纠正了更多的错误。
2021-09-19 cs.CL
To Answer or Not to Answer? Improving Machine Reading Comprehension Model with Span-based Contrastive Learning
Beike Inc.(贝壳公司)
机器阅读理解是一个困难的NLP任务,它面临着不能从文章中得到答案的问题。据观察,微妙的文字变化往往使一个可回答的问题无法回答,然而,大多数MRC模型无法识别这样的变化。为了解决这个问题,在本文中,我们提出了一个基于跨度的对比学习(spanCL)的方法,明确对比可回答的问题,他们的回答和不可回答的答案跨度水平。使用spanCL,MRC模型被迫从轻微的文字差异中感知关键的语义变化。在SQuAD 2.0数据集上的实验表明,spanCL可以显着改善基线,产生0.86-2.14的绝对EM改善。实验还表明,spanCL是一种有效的方式来利用生成的问题。
2022-08-02 cs.CL
SimCSE++: Improving Contrastive Learning for Sentence Embeddings from Two Perspectives
Nanyang Technological University(南洋理工大学);Tencent AI Lab(腾讯人工智能实验室)
本文从处理dropout噪声和解决特征损坏两个视角改进句子嵌入的对比学习,提出通用方法,在SimCSE和DiffCSE上分别提升1.8和1.4分。
2023-10-20 cs.CL
Improving Multi-lingual Alignment Through Soft Contrastive Learning
Yonsei University(延世大学);Linq
提出软对比学习改进多语言句子对齐,利用单语言模型相似性作为软标签,在双语挖掘和STS任务上超越硬标签方法及LaBSE。
2024-05-28 cs.CL
Improving Language Modelling with Noise-contrastive estimation
University of Kent(肯特大学)
当词汇量很大时,神经语言模型不能很好地扩展。噪声对比估计(NCE)是一种基于采样的方法,可以快速学习大词汇量。虽然NCE在神经机器翻译中表现出了很好的性能,但它被认为是一种不成功的语言建模方法。对基于NCE的神经语言模型中的超参数也缺乏足够的研究。在本文中,我们表明,NCE可以是一个成功的方法在神经语言建模时,神经网络的超参数进行了适当的调整。我们介绍了“搜索然后收敛”的学习率调度的NCE和设计了一个启发式,指定如何使用这个时间表。其他重要的超参数,如辍学率和权重初始化范围的影响,也被证明。我们表明,适当调整基于NCE的神经语言模型优于最先进的单模型方法在一个流行的基准测试。
2017-09-22 cs.CL
Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment
The University of Tokyo(东京大学)
针对多模态句子嵌入训练中图像-字幕对存在噪声的问题,提出结合细粒度对象-短语对齐的MCSEO方法,利用分割与检测模型提取配对优化对比学习目标,在STS任务上 consistently 优于强基线。
2025-08-01 cs.CL
ML-LMCL: Mutual Learning and Large-Margin Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
Peking University(北京大学)
针对ASR错误影响口语理解性能的问题,提出ML-LMCL框架,通过互学习在手动与ASR转录文本间共享知识,引入距离极化正则化器避免推远相似对,并采用循环退火调度缓解KL消失,在三个数据集上达到最先进性能。
2023-11-19 cs.CL
LoopCD: Loop-wise Contrastive Decoding for Improving Reasoning in Looped Language Models
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对循环语言模型推理中的循环不稳定性问题,提出循环级对比解码LoopCD,通过对比早期与最终迭代logits干预困难标记,无需训练且开销极小,有效提升多种推理任务性能。
2026-09-22 cs.CL
TaCL: Improving BERT Pre-training with Token-aware Contrastive Learning
University of Cambridge(剑桥大学);Beijing Institute of Technology(北京理工大学);Amazon(亚马逊);Monash University(莫纳什大学)
在过去的几年里,BERT和RoBERTa等掩蔽语言模型(Masked language models,MLMs)彻底改变了自然语言理解领域。然而,现有的预先训练的MLM通常输出令牌表示的各向异性分布,其占据整个表示空间的窄子集。这样的标记表示并不理想,特别是对于需要不同标记的区别性语义的任务。在这项工作中,我们提出了TaCL(令牌感知对比学习),一种新的连续预训练方法,鼓励BERT学习令牌表示的各向同性和歧视性分布。TaCL是完全无监督的,不需要额外的数据。我们在广泛的英语和中文基准上广泛测试我们的方法。实验结果表明,TaCL模型较之原有的BERT模型有了一致的、显著的改进。此外,我们进行详细的分析,以揭示我们的方法的优点和内部工作。
2022-04-28 cs.CL
Improving Self-training for Cross-lingual Named Entity Recognition with Contrastive and Prototype Learning
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
提出ContProto框架,以对比自训练对齐跨语言表示并分离类别簇,同时用基于原型的伪标签降噪,显著提升跨语言NER性能。
2023-06-04 cs.CL
Improving Factuality of Abstractive Summarization via Contrastive Reward Learning
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种结合奖励学习与事实性指标的对比学习框架,使抽象式摘要模型从事实性反馈中学习,从而生成更符合事实的摘要。
2023-07-10 cs.AI cs.CL
Improving Dialog Safety using Socially Aware Contrastive Learning
University at Buffalo(布法罗大学)
针对现有对话AI易生成不安全内容、难识别细微不安全场景的问题,提出基于社会感知n对对比损失的双步微调方法,结合多数据集训练融合亲社会行为的模型,有效提升了对话回复的社会适宜性。
2024-02-01 cs.CL
Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
National Taiwan University(国立台湾大学)
口语语言理解(Spoken language understanding,SLU)是机器理解人类语音以实现更好交互的重要任务。然而,来自自动语音识别器(ASR)的错误通常会损害理解性能。实际上,ASR系统可能不容易针对目标场景进行调整。因此,本文采用对比目标学习对ASR错误具有鲁棒性的话语表征,并在模型微调中结合监督对比学习和自升华进一步增强泛化能力。在三个基准数据集上的实验证明了该方法的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta(阿尔伯塔大学)
针对 SimCSE 未充分利用难负样本的问题,提出结合难负样本挖掘的无监督对比学习框架,通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数,使模型聚焦于难负样本,在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG
Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning
Zhejiang University(浙江大学);IBM Research(IBM研究院)
面向现实世界的信息抽取场景,关系抽取的研究正在向文档级关系抽取(DocRE)发展。现有的DocRE方法旨在通过新的模型架构对长上下文中的各种信息源进行编码来提取关系。然而,DocRE固有的长尾分布问题被以前的工作所忽视。我们认为,减轻长尾分布问题是至关重要的DocRE在现实世界中的场景。受长尾分布问题的启发,我们提出了一种简单的关系增强(ERA)方法,通过增强尾部关系的性能来改进DocRE。此外,我们进一步提出了一个新的对比学习框架,即基于我们的ERA,ERACL,它可以进一步提高模型在尾关系上的性能,并实现与最先进的DocRE相比具有竞争力的整体性能。
2022-05-21 cs.AI cs.CL
Improving Lexical Difficulty Prediction with Context-Aligned Contrastive Learning and Ridge Ensembling
Mantera Studio(Mantera工作室);The University of Manchester(曼彻斯特大学);Universitas Gadjah Mada(加查马达大学)
本文提出上下文对齐对比回归方法,结合岭回归集成与交叉视图上下文和有序软对比学习,提升跨语言词汇难度预测的准确性和稳定性。
2026-05-09 cs.AI cs.CL
Improving Disease Detection from Social Media Text via Self-Augmentation and Contrastive Learning
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道莱茵-普法尔茨技术大学)
本文提出一种结合自增强与对比学习的语言模型方法,通过双分支表示增强和对比优化提升社交媒体疾病检测性能,在多个NLP任务上F1分数最高提升2.48%。
2024-04-30 cs.CL
Improving Unsupervised Relation Extraction by Augmenting Diverse Sentence Pairs
Iowa State University(爱荷华州立大学)
本文提出 AugURE,通过句内和跨句句对增强提升无监督关系抽取中对比学习的正样本多样性,并用间隔损失替代 NCE 损失,在 NYT-FB 和 TACRED 上取得最优性能。
2023-12-01 cs.CL
Improving Gradient-based Adversarial Training for Text Classification by Contrastive Learning and Auto-Encoder
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信人工智能模式识别中心)
最近的工作提出了几种有效的方法来生成基于梯度的对抗性扰动的嵌入,并证明了模型的性能和鲁棒性可以提高,当他们训练这些污染的嵌入。虽然他们很少关注如何帮助模型更有效地学习这些对抗样本。在本文中,我们着眼于在模型的训练过程中增强模型防御基于梯度的对抗攻击的能力,并提出了两种新的对抗训练方法:(1)CARL缩小了原始样本及其对抗样本在表示空间中的距离,同时扩大了它们与不同标记样本的距离。(2)RAR迫使模型从其对抗性表示中重建原始样本。实验结果表明,所提出的两种方法优于强基线在各种文本分类数据集。分析实验表明,使用本文方法时,输入句子的语义表示不会受到对抗性扰动的显著影响,并且在对抗攻击下,模型的性能下降较小。也就是说,我们的方法可以有效地提高模型的鲁棒性。此外,RAR还可以用于生成文本形式的对抗样本。
2021-09-14 cs.CL
ConFit: Improving Resume-Job Matching using Data Augmentation and Contrastive Learning
Columbia University(哥伦比亚大学);Intellipro Group Inc.(英特利普罗集团)
针对简历-岗位匹配数据交互稀疏的问题,提出ConFit方法,通过文本改写数据增强结合对比学习扩充训练样本,在两个真实数据集上的排序任务性能显著优于BM25等现有方法。
2024-01-29 cs.CL cs.CY
Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores
BA Inc.(BA公司)
本文提出在带有专家增强分数的小数据集上通过对比微调改进文本嵌入模型,使用软标签微调以提升语义相似性和检索能力,在MTEB多个检索任务上优于基准模型,适用于标记数据稀缺的现实场景。
2024-08-19 cs.AI cs.CL cs.LG
Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning
University of Cambridge(剑桥大学)
针对现有基于CLIP的仇恨表情包检测模型对细微差异不敏感的问题,提出检索引导的对比学习方法构建仇恨感知嵌入空间,在HatefulMemes数据集上达SOTA且支持无需重训的样本更新。
2024-10-30 cs.CL cs.CV
Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本文提出基于监督角度间隔的对比学习框架,通过关注同类情感分数差异和单模态重要性,增强多模态情感分析中融合表示的判别力与泛化性。
2023-12-04 cs.CL cs.LG
Improving Cross-Modal Understanding in Visual Dialog via Contrastive Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
可视化对话是一项具有挑战性的视觉语言任务,因为可视化对话代理需要在对图像内容和对话历史进行推理后回答一系列问题。虽然现有的方法试图处理视觉对话中的跨模态理解,但它们仍然不足以基于对视觉和文本上下文的理解来对候选答案进行排序。本文基于视觉语言预训练模型VD-BERT,分析了视觉对话中的跨模态理解问题,提出了一种新的提高视觉对话跨模态理解的方法ICMU。ICMU通过基于四向对比学习区分不同的拉取输入(即拉取图像、问题或答案)来增强跨模态理解。此外,ICMU利用单轮视觉问答来增强视觉对话模型的跨模态理解,以处理多轮视觉接地对话。实验结果表明,该方法提高了可视化对话模型的跨模态理解能力,在VisDial数据集上取得了满意的效果。
2022-04-15 cs.CL cs.CV
Improving RAG for Personalization with Author Features and Contrastive Examples
Amsterdam University of Applied Sciences(阿姆斯特丹应用科学大学);Leiden University(莱顿大学)
针对RAG个性化难以捕捉作者细粒度特征的问题,提出补充作者特定特征(如情感极性、常用词)及对比示例(其他作者文档)的方法,实验实现15%相对改进,为RAG个性化研究提供新方向并开源代码。
2025-03-24 cs.AI cs.CL cs.IR
Explaining and Improving Contrastive Decoding by Extrapolating the Probabilities of a Huge and Hypothetical LM
UMass Amherst(马萨诸塞大学阿默斯特分校);Amazon AGI Foundations(亚马逊AGI基础部)
本文通过理论证明对比解码等价于从巨大假设LM线性外推logits,指出其局限,并提出渐近概率解码(APD)方法,在事实性生成和常识问答上显著提升性能,达到或超过更大模型的效果。
2024-11-03 cs.CL
Small Changes Make Big Differences: Improving Multi-turn Response Selection in Dialogue Systems via Fine-Grained Contrastive Learning
Microsoft(微软)
基于检索的对话响应选择旨在从给定多轮上下文的候选集合中找到合适的响应。基于预训练的语言模型(PLM)的方法在这一任务上取得了显著的改进。序列表征在对话语境与应答匹配度的学习中起着关键作用。然而,我们观察到,不同的上下文响应对共享相同的上下文总是有更大的相似性,在序列表示计算的PLM,这使得它很难区分积极的反应,从消极的。基于此,我们提出了一种新的\textbf{F}线性学习方法-- \textbf{G}雨\textbf{C}对比学习(FGC)方法,用于基于PLM的响应选择任务.这种FGC学习策略有助于PLM在细粒度上生成每个对话的更可区分的匹配表示,并进一步对选择积极响应做出更好的预测。两个基准数据集的实证研究表明,所提出的FGC学习方法可以普遍和显着提高现有的基于PLM的匹配模型的模型性能。
2021-11-25 cs.CL cs.IR
Improving Content Recommendation: Knowledge Graph-Based Semantic Contrastive Learning for Diversity and Cold-Start Users
George Washington University(乔治华盛顿大学);Comcast(康卡斯特)
针对推荐系统数据稀疏、冷启动和多样性问题,提出混合多任务学习方法,结合用户-物品交互与基于物品的文本对比学习,在保证排名性能的同时提升推荐多样性与冷启动用户体验。
2024-03-27 cs.CL cs.IR
A Chinese Spelling Check Framework Based on Reverse Contrastive Learning
Guangdong University of Technology(广东工业大学);Guangdong University of Foreign Studies(广东外语外贸大学)
本文提出基于反向对比学习的汉语拼写检查框架,通过迫使模型区分音形易混淆字符,可与现有模型结合并取得最先进性能。
2023-07-06 cs.CL
Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction
Microsoft(微软)
噪声鲁棒性对于在真实世界环境中部署自动语音识别(ASR)系统至关重要。降低噪声干扰影响的一种方法是采用进行语音增强的预处理模块,然后将增强的语音馈送到ASR后端。在这项工作中,而不是抑制背景噪声与传统的级联流水线,我们采用了噪声鲁棒表示学习的一个完善的自监督框架嘈杂的语音识别。我们建议将重建模块与对比学习相结合,并对噪声数据进行多任务连续预训练。重建模块用于辅助学习,以提高学习表示的噪声鲁棒性,因此在推理期间不需要重建模块。实验证明了该方法的有效性。我们的模型大大降低了字出错率(WER)的合成噪声LibriSpeech测试集,并产生约4.1/7.5%的WER减少噪声清洁/其他测试集相比,数据增强。对于来自CHiME-4挑战(1通道轨道)的真实噪声语音,我们在没有任何去噪前端的情况下获得了最先进的ASR性能。此外,我们实现了与最佳监督方法相当的性能,仅用16%的标记数据。
2021-10-28 cs.CL cs.SD eess.AS
Improving Speech Translation by Cross-Modal Multi-Grained Contrastive Learning
Information Engineering University(信息工程大学);Tsinghua University(清华大学)
本文提出 FCCL 跨模态多粒度对比学习方法,通过句子级与帧级对比及白化策略增强 E2E-ST 的语义表示,在 MuST-C 八个语言对上显著超越现有基线。
2023-04-20 cs.CL cs.CV
CoCo-BERT: Improving Video-Language Pre-training with Contrastive Cross-modal Matching and Denoising
Sun Yat-sen University(中山大学);The Key Laboratory of Machine Intelligence and Advanced Computing (Sun Yat-sen University), Ministry of Education(机器智能与先进计算教育部重点实验室(中山大学));JD AI Research(京东人工智能研究院)
BERT型结构导致了视觉语言预训练的革命,并在许多视觉语言下游任务上取得了最先进的结果。现有的解决方案主要利用具有掩码令牌的多模态输入来触发基于掩码的代理预训练任务(例如,掩蔽语言建模和掩蔽对象/帧预测)。在这项工作中,我们认为,这种掩盖的输入将不可避免地引入噪声的跨模态匹配代理任务,从而离开固有的视觉语言关联未被探索。作为替代方案,我们推导出用于视频语言预训练的特定形式的跨模态代理目标,即,对比跨模态匹配和去噪(CoCo)。通过将掩蔽帧/字序列视为主要未掩蔽帧/字序列的噪声增强,CoCo通过以对比的方式同时追求掩蔽和未掩蔽输入之间的模态间匹配和模态内去噪来加强视频-语言关联。我们的CoCo代理目标可以进一步集成到任何BERT类型的编码器-解码器结构中,用于视频语言预训练,称为对比跨模态BERT(CoCo-BERT)。我们在TV数据集和新收集的大规模GIF视频数据集(ACTION)上预训练CoCo-BERT。通过对广泛的下游任务(例如,跨模态检索、视频问答和视频描述),我们证明了CoCo-BERT作为预训练结构的优越性。
2021-12-14 cs.AI cs.CL cs.CV
Improving Word Translation via Two-Stage Contrastive Learning
University of Cambridge(剑桥大学)
本文提出两阶段对比学习框架用于双语词典归纳,先精化静态词嵌入的跨语言映射,再对 mBERT 进行面向 BLI 的对比微调,在 28 个语言对的 112 个设置上均取得提升。
2024-10-17 cs.AI cs.CL cs.IR
Improving Embedding Accuracy for Document Retrieval Using Entity Relationship Maps and Model-Aware Contrastive Sampling
Fifth Dimension AI(第五维度人工智能公司)
提出APEX-Embedding-7B,通过结构化实体关系图的收敛前中断微调与模型感知对比采样,提升长上下文文档RAG检索的事实聚焦能力并取得90.86% rank@1。
2024-10-08 cs.AI cs.CL cs.IR
Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs
Huazhong University of Science and Technology(华中科技大学);Alibaba Cloud(阿里云)
通过视觉对比提升VLMs的推理能力,提出VC-STaR框架,有效减少推理幻觉并提升多种VLMs的视觉推理性能。
2026-03-03 cs.AI cs.CL cs.CV
Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification
National University of Singapore(新加坡国立大学)
细粒度分类涉及处理具有大量类别的数据集,这些类别之间存在细微差异。引导模型专注于区分这些通常容易混淆的类之间的维度,是提高细粒度任务性能的关键。在这项工作中,我们分析了两个细粒度的文本分类任务,情感分类和情感分析的预训练语言模型的对比微调。我们自适应地嵌入类关系到一个对比的目标函数,以帮助不同的权重的积极和消极的,特别是,加权密切混淆的负面比不太相似的负面的例子。我们发现,标签感知的对比损失优于以前的对比方法,在更大的数量和/或更容易混淆的类的存在下,并帮助模型产生更有区别的输出分布。
2021-09-12 cs.AI cs.CL
Self-Guided Contrastive Learning for BERT Sentence Representations
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室)
尽管BERT及其变体已经重塑了NLP的格局,但如何从这种预先训练的Transformers中最好地获得句子嵌入仍然不清楚。在这项工作中,我们提出了一个对比学习方法,利用自我指导,以提高质量的BERT句子表示。我们的方法以自我监督的方式微调BERT,不依赖于数据增强,并使通常的[CLS]令牌嵌入作为句子向量。此外,我们重新设计了对比学习目标(NT-Xent),并将其应用于句子表示学习。我们用大量的实验证明,我们的方法是更有效的竞争力的基线上不同的业务相关的任务。我们还表明,它是有效的推理和鲁棒域转移。
2021-06-03 cs.AI cs.CL
What's left can't be right -- The remaining positional incompetence of contrastive vision-language models
SFI Centre for Research Training in Machine Learning at University College Dublin(都柏林大学学院SFI机器学习研究培训中心);School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院);School of Computer Science and Statistics, Trinity College Dublin(都柏林圣三一学院计算机科学与统计学院)
本文分析了CLIP等对比式视觉语言模型缺乏空间理解能力的成因,发现即使使用大规模数据集,其在左右位置关系上的缺陷仍可预测,并提出利用合成数据训练该能力,成功泛化至自然图像并提升了Visual Genome Relations上的性能。
2023-11-20 cs.CL cs.CV
MaskCD: Mitigating LVLM Hallucinations by Image Head Masked Contrastive Decoding
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
针对大视觉语言模型的幻觉问题,提出利用图像头掩码构建对比样本的MaskCD方法,在多个模型和基准上验证其可缓解幻觉且保留模型通用能力。
2025-10-03 cs.AI cs.CL cs.CV