SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning
针对LLM因知识冲突生成不忠实响应的问题,提出自我改进框架SI-FACT,通过自动生成对比学习数据并应用对比学习训练,显著提升了模型上下文召回率并降低对内部记忆的依赖。
2025-09-12 cs.AI cs.CL
KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning
Shanghai Jiao Tong University(上海交通大学)
KaLM通过双视角知识图谱对比学习和三元组完成语言模型,实现LLMs与知识图谱的对齐,提升知识驱动任务的性能。
2026-01-13 cs.AI cs.CL
KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);Ant Group(蚂蚁集团)
摘要抽取式问答是机器阅读理解中的重要任务之一,通过微调预训练语言模型的广度选择头部可以解决抽取式问答问题。然而,大多数现有的MRC方法在少样本学习场景中可能表现不佳。为了解决这个问题,我们提出了一个新的框架命名为知识增强的对比调优(KECP)。而不是添加指针头PLM,我们引入了一个开创性的范式EQA转换成一个非自回归的掩蔽语言建模(MLM)生成问题的任务。同时,丰富的语义从外部知识库(KB)和通道上下文的支持,以增强表示的查询。此外,为了提高PLM的性能,我们采用MLM和对比学习目标对模型进行联合训练。在多个基准测试上的实验表明,我们的方法在Few-Shot设置中始终优于最先进的方法。
2022-05-06 cs.AI cs.CL
Refine Knowledge of Large Language Models via Adaptive Contrastive Learning
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);Sun-Yat Sen University(中山大学);INFLY TECH (Shanghai) Co., Ltd.(影革科技(上海)有限公司);University of Illinois Chicago(芝加哥大学伊利诺伊分校)
为缓解大型语言模型(LLMs)的幻觉问题,本文模仿人类学习过程设计自适应对比学习策略,根据模型知识掌握情况构建正负样本,优化知识表示,实验验证其能巩固正确知识、纠正错误并承认知识缺口。
2025-02-11 cs.AI cs.CL
QCRD: Quality-guided Contrastive Rationale Distillation for Large Language Models
University of Science and Technology of China(中国科学技术大学);ByteDance Inc(字节跳动公司);Fudan University(复旦大学)
本文提出QCRD框架,通过质量引导的对比蒸馏,利用正面与负面知识增强小模型推理能力,实验证明优于现有蒸馏方法。
2024-09-19 cs.AI cs.CL
Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning
Hanyang University(汉阳大学)
本文提出子图感知训练框架SATKGC,通过子图感知小批量采样和结构感知对比学习,将知识图谱的拓扑结构归纳偏置全面纳入预训练语言模型微调,有效提升了知识图谱补全的准确度。
2026-10-14 cs.AI cs.CL
Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Amazon(亚马逊)
本文提出一种在推理时结合对比解码与对抗性不相关段落负样本的方法,以增强大语言模型在开放域问答中的上下文锚定能力,实验证明其优于现有方法且无需额外训练。
2024-05-04 cs.AI cs.CL
SLiNT: Structure-aware Language Model with Injection and Contrastive Training for Knowledge Graph Completion
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);National Astronomical Observatories, Chinese Academy of Sciences(中国科学院国家天文台)
针对知识图谱链接预测中结构稀疏与语义歧义问题,提出SLiNT框架,通过邻域增强、硬对比学习与梯度解耦注入,在冻结LLM上实现结构感知补全,并在WN18RR和FB15k-237上取得优越性能。
2025-09-08 cs.AI cs.CL
TiTok: Transfer Token-level Knowledge via Contrastive Excess to Transplant LoRA
Yonsei University(延世大学)
TiTok通过token级知识迁移实现有效LoRA迁移,利用源模型有无LoRA的token对比超额提取任务相关信息,无需额外模型即可选择性过滤合成数据,在多个迁移设置中实现平均+4~10%的性能提升。
2026-05-14 cs.AI cs.CL
Rewire-then-Probe: A Contrastive Recipe for Probing Biomedical Knowledge of Pre-trained Language Models
University of Cambridge(剑桥大学);University of Glasgow(格拉斯哥大学);Monash University(莫纳什大学)
知识探测对于理解预训练语言模型(PLM)背后的知识传递机制至关重要。尽管在一般领域探索PLM知识的进展越来越大,但生物医学领域等专业领域的探索还远远不够。为了促进这一方向的研究,我们发布了一个精心策划的生物医学知识探测基准MedLAMA,它是基于统一医学语言系统(UMLS)元词库构建的。我们在基准测试中测试了各种最先进的PLM和探测方法,最多达到acc@10的3%。在强调导致这种表现平平的特定领域挑战的各种来源的同时,我们说明了底层PLM具有更高的探测任务潜力。为了实现这一目标,我们提出了对比探测,一种新的自我监督的对比探测方法,调整底层PLM,而不使用任何探测数据。虽然对比探针将acc@10推到28%,但性能差距仍然很明显。我们的人类专家评估表明,我们的对比探针的探测性能仍然被低估,因为UMLS仍然不包括事实知识的全部范围。我们希望MedLAMA和对比探针促进更适合这一领域的探测技术的进一步发展。
2022-05-22 cs.CL
Toward Structured Knowledge Reasoning: Contrastive Retrieval-Augmented Generation on Experience
Sun Yat-sen University(中山大学);Tencent(腾讯)
针对 LLM 在表格、数据库等结构化推理任务上的迁移不足,提出无需训练的 CoRE 框架,利用 MCTS 经验记忆与对比 ICL 检索增强,显著提升 Text-to-SQL 和 TableQA 性能。
2025-07-24 cs.AI cs.CL
Contrastive Learning Reduces Hallucination in Conversations
Shandong University(山东大学);University of Amsterdam(阿姆斯特丹大学)
预先训练的语言模型(LM)将知识存储在其参数中,并且当用于会话系统中时可以生成信息性响应。然而,LMs遭受“幻觉“的问题:它们可能会产生看似不相关或事实上不正确的陈述。为了解决这个问题,我们提出了一个对比学习计划,命名为MixCL。提出了一种新的混合对比目标,以显式优化LM的隐式知识获取过程,从而减少他们在对话中的幻觉。我们还研究了检索到的硬底片和模型生成的底片的负采样策略。我们在维基百科的向导上进行实验,这是一个公共的,开放领域的知识基础对话基准,并评估MixCL的有效性。MixCL有效地减少了会话中LM的幻觉,并在相关性和真实性方面达到了基于LM的对话代理的最高性能。我们表明,MixCL实现了与最先进的基于KB的方法相当的性能,同时在效率和可扩展性方面具有显着的优势。
2022-12-20 cs.AI cs.CL
Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering
Deakin University(德肯大学)
提出CADE框架,通过逐点线性编码器直接嵌入每个时间步,避免分词瓶颈,并利用单向监督对比损失对齐时间序列与文本锚点,在Time-MQA基准上提升六项TSQA任务性能。
2026-10-19 cs.AI cs.CL
Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning
Soochow University(苏州大学);Fudan University(复旦大学);The Hong Kong Polytechnic University(香港理工大学);Jilin University(吉林大学)
针对现实噪声影响知识增强对话(KGD)鲁棒性的问题,提出基于实体的对比学习框架,通过构造语义相关与无关的扰动正负样本提升模型抗噪能力,在三个基准数据集上取得最优性能且在噪声与少样本设置下表现更优。
2024-01-09 cs.AI cs.CL
From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression
Alibaba(阿里巴巴);Peking University(北京大学)
预训练语言模型(Pre-trained Language Models,PLM)在预训练和微调的范式下在各种自然语言处理(Natural Language Processing,NLP)任务中取得了巨大的成功。PLM具有大量的参数,计算密集型和资源消耗型。因此,模型修剪已被引入到压缩大规模PLM。然而,大多数已有的方法在剪枝时只考虑任务相关的知识,而忽略了任务无关的基本知识,这可能会导致灾难性遗忘问题,从而导致泛化能力差。为了在我们的修剪模型中保持任务不可知和任务特定的知识,我们提出了预训练和微调范式下的主动修剪(CAP)。它被设计为一个通用框架,兼容结构化和非结构化修剪。CAP与对比学习相结合,使修剪后的模型能够从预训练的模型中学习任务不可知的知识,并对任务特定的知识进行微调。此外,为了更好地保持修剪模型的性能,快照(即,在每次修剪迭代的中间模型)也用作修剪的有效监督。我们广泛的实验表明,采用CAP一贯产生显着的改善,特别是在极高的稀疏性的情况下。仅保留3%的模型参数(即,97%稀疏性),CAP成功地实现了99.2%和96.3%的原始BERT性能在QQP和MNLI任务。此外,我们的探测实验表明,CAP修剪的模型倾向于实现更好的泛化能力。
2021-12-14 cs.AI cs.CL
KFCNet: Knowledge Filtering and Contrastive Learning Network for Generative Commonsense Reasoning
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
预先训练的语言模型已经在广泛的自然语言处理(NLP)任务中取得了实质性的进展,但已经被证明对于具有高质量输出要求的自然语言生成任务具有局限性,例如常识生成和广告关键字生成。在这项工作中,我们提出了一种新的知识过滤和对比学习网络(KFCNet),参考外部知识,并取得更好的生成性能。具体来说,我们提出了一个基于BERT的过滤器模型,以消除低质量的候选人,并分别应用对比学习的编码器和解码器中的每一个,在一个通用的编码器-解码器架构。编码器对比模块有助于在编码过程中捕获全局目标语义,解码器对比模块在学习一般特征的同时增强检索到的原型的实用性。在CommonGen基准测试上进行的大量实验表明,我们的模型远远优于先前的最先进水平:BLEU-4为+6.6点(42.5 vs. 35.9),SPICE为+3.7点(33.3 vs. 29.6),CIDER为+1.3点(18.3 vs. 17.0)。我们进一步验证了所提出的对比模块在广告关键词生成上的有效性,并表明我们的模型具有潜在的商业价值。
2021-09-14 cs.CL
SOrT-ing VQA Models : Contrastive Gradient Learning for Improved Consistency
Georgia Tech(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院);University of California, San Diego(加州大学圣迭戈分校);Salesforce Research(Salesforce研究院)
视觉问答(VQA)的最新研究表明,最先进的模型在对世界的理解上是不一致的--它们回答了看似困难的问题,需要正确的推理,但却把更简单的相关子问题弄错了。这些子问题涉及图像中的较低级别的视觉概念,模型理想地应该理解这些概念以能够正确地回答较高级别的问题。为了解决这个问题,我们首先提出了一种基于梯度的可解释性方法来确定与图像上的推理问题最密切相关的问题,并使用它来评估VQA模型识别回答推理问题所需的相关子问题的能力。接下来,我们提出了一种基于对比梯度学习的方法,称为面向子问题的调整(SOrT),它鼓励模型将相关子问题的排名高于<image,reasoning-question>对的不相关问题。我们表明,SOrT提高了模型的一致性高达6.5%的点比现有的基线,同时也提高了视觉基础。
2020-12-01 cs.AI cs.CL cs.CV
From Context-Aware to Conflict-Aware: Generalizing Contrastive Decoding for Knowledge Conflict in LLMs
Peking University(北京大学);Alibaba Group(阿里巴巴集团);The University of Hong Kong(香港大学)
针对大语言模型生成时外部上下文与参数先验之间的知识冲突,提出冲突感知范式,通过动态分配先验与上下文的权重,并设计自适应机制解决不同冲突状态下的不对称问题。
2026-06-09 cs.AI cs.CL
Self-supervised Contrastive Cross-Modality Representation Learning for Spoken Question Answering
Yale University(耶鲁大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
口语问答(SQA)需要对口语文档和问题进行细粒度的理解,以获得最佳答案预测。在本文中,我们提出了新的训练计划,口语问答与自我监督的训练阶段和对比表示学习阶段。在自监督阶段,我们提出了三个辅助的自监督任务,包括话语恢复,话语插入,和问题的歧视,并共同训练模型,以捕捉语音文档之间的一致性和连贯性,而无需任何额外的数据或注释。然后,我们建议通过采用多种增强策略,包括跨度删除和跨度替换,在对比目标中学习噪声不变的话语表示。此外,我们设计了一个时间对齐注意,语义对齐的语音文本线索在学习的共同空间和效益的SQA任务。通过这种方式,训练方案可以更有效地指导生成模型预测更合适的答案。实验结果表明,我们的模型在三个SQA基准测试中取得了最先进的结果。
2021-09-08 cs.AI cs.CL cs.LG
QA Domain Adaptation using Hidden Space Augmentation and Self-Supervised Contrastive Adaptation
UIUC(伊利诺伊大学厄巴纳-香槟分校);EthonAI;LMU Munich(慕尼黑大学)
问答(QA)最近在回答来自定制域的问题方面显示出令人印象深刻的结果。然而,一个共同的挑战是使QA模型适应一个看不见的目标领域。在本文中,我们提出了一种新的自监督框架称为QADA的QA领域自适应。QADA引入了一种新的数据增强管道,用于增强训练QA样本。与现有的方法不同,我们通过隐藏空间增强来丰富样本。对于问题,我们介绍了多跳同义词和样本增强令牌嵌入Dirichlet分布。对于上下文,我们开发了一种增强方法,该方法通过自定义注意采样策略来学习丢弃上下文跨度。此外,对比学习集成在所提出的自监督适应框架QADA。与现有的方法不同,我们生成伪标签,并建议通过一种新的基于注意力的对比自适应方法来训练模型。注意力权重用于构建用于差异估计的信息特征,以帮助QA模型分离答案并在源域和目标域之间进行概括。据我们所知,我们的工作是第一个利用隐藏空间增强和基于注意力的对比适应的自我监督领域自适应在QA。我们的评估表明,QADA在QA领域自适应中的多个目标数据集上取得了相当大的改进。
2022-10-19 cs.AI cs.CL
Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering
Fudan University(复旦大学)
针对视频问答中均匀采样忽略问题相关线索且缺乏关键时间戳标注的问题,提出弱监督高斯对比定位框架,利用CLIP生成伪标签并学习高斯函数采样关键帧作为LMMs输入,显著提升问答性能。
2024-07-23 cs.AI cs.CL cs.CV
Graph-Based Multimodal Contrastive Learning for Chart Question Answering
The University of Western Australia(西澳大学);The University of Melbourne(墨尔本大学)
本文提出联合多模态场景图框架,结合图对比学习与定制思维链提示,通过建模图表结构关系并缓解幻觉,提升图表问答性能。
2025-04-07 cs.CL
Null Space Constrained Contrastive Visual Forgetting for MLLM Unlearning
School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);Xi’an Jiaotong University(西安交通大学)
本文提出一种MLLM反学习方法,通过冻结LLM主干并微调视觉模块,在保留非目标视觉知识和全部文本知识的同时,有效遗忘目标视觉知识。
2026-05-07 cs.AI
Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning
School of Computer Science, Wuhan University(武汉大学计算机学院);Xiaomi Inc.(小米公司)
本文提出ChapTER框架,通过伪孪生编码器与虚拟时间前缀微调,在冻结预训练语言模型上实现文本与时序信息的对比平衡,以极少可调参数在直推式和少样本归纳式时序知识图谱推理中取得优越性能。
2024-03-25 cs.AI cs.CL cs.LG
SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models
Microsoft Research Asia(微软亚洲研究院);Yuanfudao AI Lab(猿辅导AI实验室)
知识图谱补全(KGC)的目的是对已知事实进行推理,并推断出缺失的链接。基于文本的方法,诸如KGBERT(Yao等人,2019)从自然语言描述中学习实体表示,并具有归纳KGC的潜力。然而,基于文本的方法的性能仍然在很大程度上落后于基于图嵌入的方法,如TransE(Bordes等人,2013)和RotatE(Sun等人,2019年b)。在本文中,我们确定的关键问题是有效的对比学习。为了提高学习效率,我们引入了三种类型的否定:批内否定,批前否定和自我否定,它们是硬否定的简单形式。结合InfoNCE损失,我们提出的模型SimKGC可以在几个基准数据集上大大优于基于嵌入的方法。在平均倒数排名(MRR)方面,我们在WN18RR上将最先进的技术提高了+19%,在Wikidata5M的转换设置上提高了+6.8%,在Wikidata5M的归纳设置上提高了+22%。进行彻底的分析,以深入了解每个组成部分。我们的代码可在https://github.com/intfloat/SimKGC上获得。
2022-03-04 cs.CL
CoRTEx: Contrastive Learning for Representing Terms via Explanations with Applications on Constructing Biomedical Knowledge Graphs
Tsinghua University(清华大学);University of Washington(华盛顿大学)
本研究提出CoRTEx模型,利用大语言模型生成的术语解释结合对比学习增强术语表示,搭配ChatGPT辅助的BIRCH算法,实现了更优的生物医学术语聚类效果,可用于大规模生物医学知识图谱构建。
2023-12-13 cs.CL
Contrastive Learning of English Language and Crystal Graphs for Multimodal Representation of Materials Knowledge
Massachusetts Institute of Technology(麻省理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出对比语言-晶体模型CLaC,利用合成数据克服晶体数据稀缺,实现零样本跨模态理解,性能超越大型语言模型。
2025-02-23 cs.CL
Contrastive Distillation of Emotion Knowledge from LLMs for Zero-Shot Emotion Recognition
University of Michigan(密歇根大学)
提出对比蒸馏框架,从LLMs(如GPT-4)蒸馏情感知识至紧凑模型,实现零样本情感识别,性能接近GPT-4且规模小万倍以上。
2025-05-23 cs.CL
When to Speak, When to Abstain: Contrastive Decoding with Abstention
Seoul National University(首尔国立大学);IntelliSys;Hanyang University(翰阳大学)
针对大语言模型在缺乏相关信息时鲁棒性不足的问题,提出无需训练的带弃权机制的对比解码方法CDA,可自适应判断知识相关性并选择生成或弃权,提升模型可靠性与用户信任。
2025-05-16 cs.CL
Difficulty-Focused Contrastive Learning for Knowledge Tracing with a Large Language Model-Based Difficulty Prediction
Korea University(高丽大学);i-Scream Edu(i-Scream教育);The University of Missouri System(密苏里大学系统)
本研究针对以往知识追踪研究未挖掘难度优化潜力、难预测未知数据难度的问题,提出以难度为中心的对比学习方法和基于大语言模型的难度预测框架,提升了知识追踪模型性能。
2023-12-19 cs.CL cs.SI
Enhancing Unsupervised Sentence Embeddings via Knowledge-Driven Data Augmentation and Gaussian-Decayed Contrastive Learning
School of Computer Science, Peking University(北京大学计算机科学学院);College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院)
针对无监督句子嵌入中数据多样性不足、噪声高的问题,提出结合知识图谱的LLM数据增强流水线与高斯衰减对比学习GCSE模型,在STS任务上以更少数据和更小模型实现SOTA性能。
2025-10-04 cs.CL
Contrastive Knowledge Transfer and Robust Optimization for Secure Alignment of Large Language Models
Northwestern University(西北大学);Syracuse University(雪城大学);Trine University(特里恩大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种结合对比蒸馏与噪声鲁棒训练的微调方法,通过冻结骨干模型迁移教师模型知识边界并引入鲁棒优化约束,显著提升了大型语言模型在安全对齐和抗干扰方面的性能。
2025-10-31 cs.CL
Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Peking University(北京大学);Tencent Inc(腾讯公司)
用于视觉问答(VQA)的模型通常依赖于虚假相关性,即,语言先验知识存在于训练集的有偏样本中,这使得训练集对分布外(out-of-distribution,OOD)测试数据的敏感性降低。最近的方法已经取得了可喜的进展,克服了这个问题,减少了偏见的样本对模型训练的影响。然而,这些模型揭示了一个权衡,即OOD数据的改进严重牺牲了分布(ID)数据(由有偏样本主导)的性能。因此,我们提出了一种新的对比学习方法,MMBS,建立强大的VQA模型,使最有偏见的样本。具体来说,我们通过消除原始训练样本中与伪相关性相关的信息来构造用于对比学习的正样本,并探索了使用构造的正样本进行训练的几种策略。我们的方法不是削弱有偏样本在模型训练中的重要性,而是精确地利用有偏样本来获得有助于推理的无偏信息。所提出的方法是兼容各种VQA骨干。我们通过在OOD数据集VQA-CP v2上实现具有竞争力的性能,同时在ID数据集VQA v2上保持稳健的性能来验证我们的贡献。
2022-10-10 cs.AI cs.CV
Masked Vision and Language Pre-training with Unimodal and Multimodal Contrastive Losses for Medical Visual Question Answering
College of Computer Science and Technology, Harbin Engineering University(哈尔滨工程大学计算机科学与技术学院);Monash University(莫纳什大学)
本文提出一种结合单模态与多模态对比损失及掩码语言建模的医学视觉问答自监督预训练方法,在三个公开数据集上取得最先进性能,准确率分别提升2.2%、14.7%和1.7%。
2023-07-11 cs.AI cs.CV
Focus-Driven Contrastive Learniang for Medical Question Summarization
Peking University(北京大学)
自动医疗问题摘要可以显著帮助系统理解消费者健康问题并检索正确答案。基于最大似然估计(MLE)的Seq2Seq模型被应用于该任务中,该模型面临两个普遍问题:模型不能很好地捕获问题焦点和传统的MLE策略缺乏理解文档级语义的能力。为了缓解这些问题,我们提出了一个新的问题焦点驱动的对比学习框架(QFCL)。特别地,我们提出了一种简单有效的方法来生成基于问题焦点的硬否定样本,并在编码器和解码器上利用对比学习来获得更好的句子级表示。在三个医学基准数据集上,我们提出的模型取得了新的最先进的结果,并在三个数据集上分别获得了5.33,12.85和3.81点的性能增益。进一步的人工判断和详细的分析证明,我们的QFCL模型学习更好的句子表示,能够区分不同的句子含义,并通过捕获问题焦点生成高质量的摘要。
2023-02-14 cs.AI cs.CL
WCL-BBCD: A Contrastive Learning and Knowledge Graph Approach to Named Entity Recognition
命名实体识别任务是信息抽取的核心任务之一。词汇歧义和词汇缩略是命名实体识别率低的重要原因。本文提出了一种新的命名实体识别模型WCL-BBCD(Word对比学习with BERT-BiLSTM-CRF-DBpedia),它融合了对比学习的思想。该模型首先对文本中的句子对进行训练,计算句子对之间的相似度,并根据相似度对用于命名实体识别任务的BERT进行微调,从而缓解单词歧义。然后,微调后的BERT与BiLSTM-CRF相结合,执行命名实体识别任务。最后,结合知识图谱等先验知识对识别结果进行修正,以缓解单词缩写造成的低识别率问题。在CoNLL-2003英文数据集和OntoNotes V5英文数据集上的实验结果表明,该模型的性能优于其他同类模型。
2022-08-15 cs.AI cs.CL
Multi-view Contrastive Learning for Entity Typing over Knowledge Graphs
Shanxi University(山西大学);Cardiff University(卡迪夫大学);University of Edinburgh(爱丁堡大学)
本文提出MCLET方法,通过多视图生成编码、跨视图对比学习和混合专家预测模块,将聚类粗粒度知识融入实体与类型表示,有效推断知识图谱中缺失的实体类型,性能优于现有方法。
2023-10-18 cs.AI cs.CL
The Short Text Matching Model Enhanced with Knowledge via Contrastive Learning
Alibaba(阿里巴巴);Xiaohongshu(小红书);East China University of Science and Technology(华东理工大学);Yunnan University(云南大学)
针对短文本语义不足与噪声问题,提出融合对比学习与外部知识图谱的匹配模型,在中文数据集上达到最优性能。
2023-12-20 cs.AI cs.CL
HaSa: Hardness and Structure-Aware Contrastive Knowledge Graph Embedding
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
针对知识图谱嵌入中负三元组生成带来的假负三元组偏差,提出硬度和结构感知的HaSa对比方法,在生成困难负三元组时缓解假负影响,提升InfoNCE-based KGE性能,在WN18RR上达到最先进结果。
2023-10-15 cs.AI cs.CL
Knowledge Graph Error Detection with Contrastive Confidence Adaption
Nanjing University(南京大学)
本文提出知识图谱错误检测模型CCA,通过融合文本与图结构信息并设计交互式对比学习,显著提升了对语义相似噪声和对抗性噪声的检测性能。
2024-01-16 cs.AI cs.CL
LRC-BERT: Latent-representation Contrastive Knowledge Distillation for Natural Language Understanding
Alibaba Group(阿里巴巴集团)
以BERT为代表的预训练模型在各种自然语言处理问题中取得了很好的效果。然而,大量的参数需要大量的内存和推理时间的消耗,这使得很难将它们部署在边缘设备上。本文提出了一种基于对比学习的知识蒸馏方法LRC-BERT,从角度距离的角度拟合中间层的输出,这是现有蒸馏方法没有考虑的。此外,我们在训练阶段引入了一种基于梯度扰动的训练结构,以提高LRC-BERT的鲁棒性,这是知识蒸馏的第一次尝试。此外,为了更好地捕捉中间层的分布特征,我们设计了一种两阶段的总蒸馏损失训练方法。最后,通过在通用语言理解评测(GLUE)上对8个数据集进行验证,结果表明,本文提出的LRC-BERT方法的性能优于现有的最新方法,证明了本文方法的有效性。
2020-12-14 cs.AI cs.CL
SMiLE: Schema-augmented Multi-level Contrastive Learning for Knowledge Graph Link Prediction
School of Computer Science, Wuhan University(武汉大学计算机学院);The University of Manchester(曼彻斯特大学);Victoria University(维多利亚大学)
针对知识图谱链接预测中上下文信息与实体表示一致性不足的问题,提出SMiLE框架,利用网络模式采样负例并进行多级对比预训练与三元组监督微调,在四个数据集上优于先进基线。
2024-03-04 cs.AI cs.CL
CILDA: Contrastive Data Augmentation using Intermediate Layer Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Université de Montréal(蒙特利尔大学);University of Waterloo(滑铁卢大学)
知识蒸馏(KD)是一种用于压缩大规模预训练语言模型的有效框架。近年来,通过利用对比学习、中间层蒸馏、数据增强和对抗训练来提高KD的研究激增。在这项工作中,我们提出了一个学习为基础的数据增强技术量身定制的知识蒸馏,称为CILDA。据我们所知,这是第一次使用主任务的中间层表示来提高增强样本的质量。更确切地说,我们引入了一种基于中间层匹配的KD增强技术,使用对比度损失来改善掩蔽的对抗性数据增强。CILDA在GLUE基准测试和域外评估中的表现优于现有的最先进的KD方法。
2022-04-15 cs.CL
MICO: A Multi-alternative Contrastive Learning Framework for Commonsense Knowledge Representation
HKUST(香港科技大学);Tencent AI lab(腾讯人工智能实验室)
常识知识图补全和常识问答等常识推理任务需要强大的表示学习。本文提出了一种基于常识知识图谱的多选择对比学习框架MICO(Multi-Alternative Contrast Learning Framework),用于常识知识表示的学习。MICO通过多选择对比学习,通过实体节点和关系之间的上下文交互,生成常识知识表示。在MICO中,$(h,r,t)$知识三元组中的头和尾实体被转换为自然语言形式的两个关系感知序列对(前提和替代)。通过比较语义表征之间的距离得分,MICO生成的语义表征可以帮助完成以下两个任务:1)zero-shot常识问答任务; 2)归纳常识知识图完成任务。大量的实验表明了该方法的有效性。
2022-10-14 cs.CL
Contrastive Multi-document Question Generation
Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
多文档问题生成的重点是生成一个问题,涵盖了多个文档的共同方面。这种模式有助于产生澄清性的备选方案。然而,仅使用目标(“肯定”)文档集训练的朴素模型可能会生成过于通用的问题,这些问题覆盖的范围比文档集所描绘的范围更大。为了应对这一挑战,我们引入了对比学习策略,其中给定“正面”和“负面”文档集,我们生成一个与“正面”集密切相关但远离“负面”集的问题。此设置允许生成的问题更具体,并与目标文档集相关。为了生成这样的具体问题,我们提出了多源协调问题生成器(MSCQG),一个新的框架,包括监督学习(SL)阶段和强化学习(RL)阶段。在SL阶段,训练了一个单文档问题生成器。在RL阶段,协调器模型被训练以通过优化旨在促进生成的问题的特异性的奖励来找到最佳注意力权重以对齐多个单文档生成器。我们还开发了一个有效的辅助目标,命名为集合诱导的对比正则化(SCR),提高协调员的对比学习在RL阶段。我们表明,我们的模型显著优于几个强大的基线,通过自动指标和人工评估来衡量。源存储库在\url{www.github.com/woonsangcho/contrast_qgen}上公开提供。
2021-05-18 cs.CL
KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本文提出KDMCSE方法,通过教师模型知识蒸馏有效检测噪声负样本,并引入AdapACSE自适应角度裕度对比目标增强判别力,显著提升了多模态句子嵌入性能。
2024-03-26 cs.CL
AspectCSE: Sentence Embeddings for Aspect-based Semantic Textual Similarity Using Contrastive Learning and Structured Knowledge
Technical University of Munich(慕尼黑工业大学);DFKI GmbH(德国人工智能研究中心)
本文提出AspectCSE方法,利用对比学习和Wikidata知识图谱属性训练基于方面的句子嵌入,在信息检索任务上平均提升3.97%,并证明多方面嵌入优于单方面嵌入。
2023-09-24 cs.AI cs.CL
Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction
Nanjing University(南京大学)
本文提出SCKD模型,通过序列知识蒸馏保留先验知识并利用伪样本进行对比学习,解决持续少样本关系抽取中的灾难性遗忘和过拟合问题,在两个基准数据集上验证了其优越性。
2023-05-11 cs.CL
Towards a Holistic Understanding of Mathematical Questions with Contrastive Pre-training
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);iFLYTEK Co., Ltd.(科大讯飞股份有限公司)
有效地理解数学问题是一项重要的任务,它可以使许多应用受益,例如难度估计。由于人类注释的缺乏,研究人员已经引起了对设计用于问题表示的预训练模型的极大关注(例如,标签困难)。然而,与一般的自由格式文本(例如,用户评论),数学问题通常设计有明确的目的和数学逻辑,并且通常包括更复杂的内容,例如公式,以及相关的数学知识(例如,函数)。因此,整体表示数学问题的问题仍然没有得到充分的探索。为此,在本文中,我们提出了一种新的数学问题表征的对比预训练方法,即QuesCo,它试图使具有更相似目的的问题更接近。具体来说,我们首先设计了两个层次的问题增强,包括内容级和结构级,产生字面上不同的问题对相似的目的。然后,为了充分利用知识概念的层次信息,我们提出了一个知识层次感知的排名策略(KHAR),排名问题之间的相似性在细粒度的方式。接下来,我们采用排名对比学习任务,以优化我们的模型的基础上增强和排名的问题。我们在两个真实世界的数学数据集上进行了广泛的实验。实验结果证明了该模型的有效性。
2023-01-18 cs.CL
Learning to Rank Question Answer Pairs with Bilateral Contrastive Data Augmentation
The Chinese University of Hong Kong(香港中文大学)
在这项工作中,我们提出了一种新的和易于应用的数据增强策略,即双边生成(BiG),具有对比训练目标,以提高现有标记数据的问答对排名的性能。具体来说,我们用两个预训练的生成模型来合成伪正QA对,而不是原始的负QA对,一个用于问题生成,另一个用于答案生成,这些模型是在原始数据集中有限的正QA对上进行微调的。利用增强后的数据集,我们设计了一个对比训练目标,用于学习排序问题答案对。在三个基准数据集上的实验结果表明,该方法充分利用了已有的标记数据,显著提高了排序模型的性能,并且可以方便地应用于不同的排序模型。
2021-09-30 cs.CL cs.IR
Closed-book Question Generation via Contrastive Learning
Texas A&M University(德克萨斯农工大学);Emory University(埃默里大学)
问题生成(QG)是许多下游应用程序的基本NLP任务。最近的研究开卷QG,其中支持性的答案上下文对提供给模型,取得了可喜的进展。然而,在缺乏这些支持文件的更实际的封闭式设置下生成自然问题仍然是一个挑战。在这项工作中,我们提出了一个新的QG模型,这个封闭的书设置,旨在更好地理解语义的长形式的抽象答案,并存储更多的信息,通过对比学习和答案重建模块的参数。通过实验,我们在公共数据集和新的WikiCQA数据集上验证了所提出的QG模型。实证结果表明,所提出的QG模型优于基线在自动评估和人工评估。此外,我们将展示如何利用所提出的模型,以改善现有的问答系统。这些结果进一步表明,我们的QG模型的有效性,以提高闭卷问答任务。
2023-02-10 cs.CL
MACO: A Modality Adversarial and Contrastive Framework for Modality-missing Multi-modal Knowledge Graph Completion
Zhejiang University(浙江大学)
针对多模态知识图谱补全中的模态缺失问题,提出MACO框架,通过对抗生成缺失模态特征并结合跨模态对比损失,实现最先进性能且可适配多种MMKGC模型。
2023-08-13 cs.AI cs.CL cs.MM
To Answer or Not to Answer? Improving Machine Reading Comprehension Model with Span-based Contrastive Learning
Beike Inc.(贝壳公司)
机器阅读理解是一个困难的NLP任务,它面临着不能从文章中得到答案的问题。据观察,微妙的文字变化往往使一个可回答的问题无法回答,然而,大多数MRC模型无法识别这样的变化。为了解决这个问题,在本文中,我们提出了一个基于跨度的对比学习(spanCL)的方法,明确对比可回答的问题,他们的回答和不可回答的答案跨度水平。使用spanCL,MRC模型被迫从轻微的文字差异中感知关键的语义变化。在SQuAD 2.0数据集上的实验表明,spanCL可以显着改善基线,产生0.86-2.14的绝对EM改善。实验还表明,spanCL是一种有效的方式来利用生成的问题。
2022-08-02 cs.CL
KGE-CL: Contrastive Learning of Tensor Decomposition Based Knowledge Graph Embeddings
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
学习知识图谱(KG)的嵌入在人工智能中至关重要,并且可以使各种下游应用受益,例如推荐和问答。近年来,人们对知识图谱嵌入进行了大量的研究。然而,大多数以前的KGE方法忽略了语义相似性的相关实体和实体之间的关系对不同的三元组,因为他们分别优化每个三元组的评分函数。针对这一问题,本文提出了一种简单有效的基于张量分解(TDB)的KGE对比学习框架,该框架可以缩短不同三元组中相关实体和实体-关系对的语义距离,从而提高KGE的性能.我们在三个标准KGE数据集上评估了我们提出的方法:WN 18 RR,FB 15 k-237和YAGO 3 -10。我们的方法可以产生一些新的最先进的结果,在WN 18 RR数据集上实现51.2%MRR,46.8%Hits@1,在FB 15 k-237数据集上实现37.8%MRR,28.6%Hits@1,在YAGO 3 -10数据集上实现59.1%MRR,51.8%Hits@1。
2022-10-24 cs.AI cs.CL cs.LG