SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization
UC Berkeley(加州大学伯克利分校);Microsoft(微软)
在摘要领域中,摘要的一个关键要求是与输入文档事实上一致。以前的工作已经发现,自然语言推理(NLI)模型不执行竞争时,应用于不一致检测。在这项工作中,我们重新使用NLI不一致检测,发现过去的工作遭受了NLI数据集(文档级)和不一致检测(文档级)之间的输入粒度不匹配。我们提供了一种称为SummaCConv的高效轻量级方法,通过将文档分割成句子单元并在句子对之间聚合分数,使NLI模型能够成功用于此任务。在我们新引入的由六个大型不一致检测数据集组成的SummaC(总结一致性)基准测试中,SummaCConv获得了最先进的结果,平衡准确率为74.4%,与之前的工作相比提高了5%。我们提供模型和数据集:https://github.com/tingofurro/summac
2021-11-18 cs.CL
Learning to Infer from Unlabeled Data: A Semi-supervised Learning Approach for Robust Natural Language Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自然语言推理(NLI)或识别文本蕴涵(RTE)的目的是预测一对句子(前提和假设)之间的关系是蕴涵、矛盾还是语义独立。尽管近年来深度学习模型在NLI方面表现出了良好的性能,但它们依赖于大规模昂贵的人工注释数据集。半监督学习(SSL)是一种流行的技术,通过利用未标记的数据进行训练来减少对人类注释的依赖。然而,尽管它在单句分类任务上取得了巨大的成功,其中使用未标记数据的挑战是分配“足够好”的伪标签,但对于NLI任务,未标记数据的性质更加复杂:数据中缺少一个句子(通常是假设)以及类标签,需要人工注释,这使得NLI的SSL更具挑战性。在本文中,我们提出了一种新的方法,将未标记的数据在SSL的NLI,我们使用一个条件语言模型,BART生成的假设为未标记的句子(用作前提)。我们的实验表明,我们的SSL框架成功地利用未标记的数据,并大大提高了四个NLI数据集在低资源设置的性能。我们在https://github.com/msadat3/SSL_for_NLI上发布代码。
2022-11-05 cs.CL
Resolving Word Vagueness with Scenario-guided Adapter for Natural Language Inference
Fudan University(复旦大学);University of Trento(特伦托大学)
针对传统NLI模型因缺乏情境视觉信息导致词语语义模糊、推理受限的问题,提出融合预训练语言知识与视觉信息的ScenaFuse适配器,通过交互与融合模块实现模态协同,经基准实验验证可有效提升NLI性能。
2024-05-21 cs.CL
Improving Sentence Embeddings with Automatic Generation of Training Data Using Few-shot Examples
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
本文提出利用大语言模型通过少样本学习自动生成NLI数据集来微调PromptEOL,从而在无需大规模人工标注数据的情况下改进句子嵌入,并在STS任务上优于现有模型。
2024-08-02 cs.CL cs.LG
Pair-Level Supervised Contrastive Learning for Natural Language Inference
Tsinghua University(清华大学)
自然语言推理(NLI)是自然语言理解中一项日益重要的任务,它要求人们推断句子对(前提和假设)之间的关系。最近的许多研究都使用了对比学习,通过结合NLI数据集的句子对的关系来学习句子表示。然而,这些方法仅关注与双级表示的比较。在本文中,我们提出了一个对级监督对比学习方法(PairSCL)。我们采用交叉注意模块来学习句子对的联合表征。对比学习的目的是通过将一类句子对拉在一起,将另一类句子对推开来区分不同类别的句子对。我们在NLI的两个公共数据集上对PairSCL进行了评估,其中PairSCL的准确性平均优于其他方法2.1%。此外,我们的方法优于以前的国家的最先进的方法上的七个转移任务的文本分类。
2022-04-01 cs.CL
Multi-Perspective Inferrer: Reasoning Sentences Relationship from Holistic Perspective
Nanjing University(南京大学);National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Collaborative Innovation Center of Novel Software Technology and Industrialization(软件新技术与产业化协同创新中心)
自然语言推理(NLI)旨在确定逻辑关系(即,蕴涵,中性和矛盾)之间的前提和假设。最近,对准机构通过捕获对准的部分(即,句对中的“相似段”,隐含着蕴涵和矛盾的视角。然而,这些对齐的部分有时会误导中立关系的判断。直觉上,NLI应该更多地依靠多个视角,形成一个整体的观点,以消除偏见。在本文中,我们提出了多角度Inferrer(MPI),一种新的NLI模型,原因从多个角度与三个关系的关系。MPI通过协议路由策略确定句子不同部分的观点,并从整体角度做出最终决定。此外,我们引入了一个辅助监督信号,以确保MPI学习预期的观点。在SNLI和MultiNLI上的实验表明:1)MPI在基本模型的基础上实现了实质性的改进,验证了多视角推理的动机; 2)可视化证据验证了MPI能够按照预期学习到高度可解释的视角; 3)更重要的是,MPI与强大的BERT是无架构的,并且兼容。
2019-11-09 cs.CL
Multilingual Sentence-T5: Scalable Sentence Encoders for Multilingual Applications
Nagoya University(名古屋大学);PKSHA Technology Inc.(PKSHA Technology 公司)
本文提出基于NLI的多语言句子嵌入模型m-ST5,利用LoRA技术将Sentence T5扩展至57亿参数,实验证明其性能优于先前方法且随模型规模提升,低资源语言获益更多。
2024-03-26 cs.CL
Unsupervised Knowledge Graph Construction and Event-centric Knowledge Infusion for Scientific NLI
Ocean University of China(中国海洋大学);University of Technology Sydney(悉尼科技大学);Australian AI Institute(澳大利亚人工智能研究所)
随着自然语言推理技术的发展,对自然语言推理的需求越来越多地体现在对科技文本的处理上。现有的方法依赖于缺乏特定领域知识的预训练模型(PTM)。为了解决这个问题,我们引入了一个科学知识图谱推广PTM到科学领域。然而,现有的知识图谱构建方法存在一些缺点,即,昂贵的标记数据,无法应用于其他领域,推理时间长,难以扩展到大型语料库。因此,我们提出了一种无监督的知识图谱构建方法,以建立一个科学的知识图谱(SKG)没有任何标记的数据。此外,为了减轻SKG的噪声效应,更好地补充句子中的知识,本文提出了一种以事件为中心的知识注入方法,将外部知识融入到句子中的细粒度语义单元--事件中。实验结果表明,该方法达到了最先进的性能和SKG的有效性和可靠性。
2022-10-28 cs.CL
Discourse Marker Augmented Network with Reinforcement Learning for Natural Language Inference
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Fabu Inc.(Fabu公司)
自然语言推理(NLI),又称文本蕴涵识别(RTE),是自然语言处理中最重要的问题之一。它需要推断两个给定句子之间的逻辑关系。虽然目前的方法主要集中在句子的交互结构,在本文中,我们建议从一些重要的话语标记转移知识,以提高NLI模型的质量。我们观察到人们通常使用诸如“so”或“but”之类的话语标记来表示两个句子之间的逻辑关系。这些词与句子的意义有着潜在的深层联系,因此可以用来帮助改善句子的表征。此外,我们使用强化学习来优化一个新的目标函数,并根据NLI数据集的属性定义奖励,以充分利用标签信息。实验表明,我们的方法达到了最先进的性能在几个大规模的数据集。
2019-07-23 cs.AI cs.CL cs.LG
DocNLI: A Large-scale Dataset for Document-level Natural Language Inference
Salesforce Research(赛富时研究院);Yale University(耶鲁大学)
自然语言推理(NLI)是一个统一的框架,用于解决各种自然语言处理问题,如关系抽取、问答、摘要等。然而,大多数现有的研究集中在仅仅是中间层的推理,这限制了NLI的应用范围在下游的NLP问题。本文提出了一种新的大规模文档级自然语言集成数据集DocNLI。DocNLI是从广泛的NLP问题转换而来的,涵盖了多种文本类型。前提总是停留在文档粒度上,而假设的长度从单个句子到数百个单词的段落不等。此外,DocNLI具有非常有限的工件,不幸的是,这些工件广泛存在于一些流行的文档级NLI数据集中。我们的实验表明,即使没有微调,在DocNLI上预训练的模型在流行的文档级基准测试中表现出良好的性能,并很好地推广到依赖于文档粒度推理的域外NLP任务。针对特定任务的微调可以带来进一步的改进。数据、代码和预训练模型可以在https://github.com/salesforce/DocNLI上找到。
2021-06-17 cs.CL
Unbiased Sentence Encoder For Large-Scale Multi-lingual Search Engines
Microsoft Corporation(微软公司)
在本文中,我们提出了一个多语言的句子编码器,可用于搜索引擎作为查询和文档编码器。这种嵌入使得查询和文档之间的语义相似性得分成为文档排序和相关性中的重要特征。为了训练这种定制的句子编码器,以查询-文档点击对的形式利用用户搜索数据是有益的,然而,我们必须避免过于依赖搜索点击数据,因为它是有偏见的,并且没有覆盖许多看不见的情况。搜索数据严重偏向于短查询,而长查询则很小,而且经常有噪音。我们的目标是设计一个通用的多语言编码器,适用于所有情况,并涵盖短和长查询。我们选择了一些不同语言的公共NLI数据集和翻译数据,并与用户搜索数据一起,我们使用多任务方法训练一个语言模型。一个挑战是,这些数据集在内容、大小和平衡率方面并不均匀。虽然公共NLI数据集通常是基于两个句子的,具有相同部分的正对和负对,但用户搜索数据可以包含多句子文档并且仅包含正对。我们展示了多任务训练如何使我们能够利用所有这些数据集,并利用这些任务之间的知识共享。
2021-03-01 cs.CL cs.LG
Generating Token-Level Explanations for Natural Language Inference
University of Cambridge(剑桥大学);Amazon(亚马逊)
自然语言推理(NLI)的任务被广泛地建模为有监督的句对分类。虽然最近在生成分类器对单个文本的预测的解释方面做了很多工作,但还没有尝试生成分类器对句子对的操作的解释。在本文中,我们表明,它是可能的,生成令牌级的解释NLI,而不需要明确注释为此目的的训练数据。我们使用一个简单的LSTM架构,并为此任务评估LIME和Anchor解释。我们将这些与使用阈值注意力进行标记级预测的多实例学习(MIL)方法进行比较。本文提出的方法是一种新的扩展zero-shot单句标记的句子对NLI。我们进行了我们的实验,充分研究的SNLI数据集,最近增加了手动注释的令牌,解释蕴涵关系。我们发现,我们的白盒MIL为基础的方法,而数量级更快,并没有达到相同的准确性的黑盒方法。
2019-04-24 cs.CL cs.LG stat.ML
Stress-Testing Neural Models of Natural Language Inference with Multiply-Quantified Sentences
Stanford Symbolic Systems Program(斯坦福大学符号系统项目);Stanford Linguistics(斯坦福大学语言学系)
使用自然主义语料库对深度学习模型进行语义的标准评估,在它们能够告诉我们的关于学习表示的保真度方面是有限的,因为语料库很少有很好的语义复杂性度量。为了克服这一限制,我们提出了一种方法,用于生成数据集的多重量化的自然语言推理(NLI)的例子中,语义的复杂性,可以精确的特点,我们用这种方法来表明,各种常见的架构NLI不可避免地无法编码的关键信息,只有一个模型与强制词汇对齐避免这种破坏性的信息丢失。
2018-10-30 cs.CL
Revisiting text decomposition methods for NLI-based factuality scoring of summaries
M Health Information Systems(3M健康信息系统);Carnegie Mellon University(卡内基梅隆大学)
对生成的摘要的真实性进行评分涉及使用输入文档作为支持来测量目标文本包含事实信息的程度。鉴于问题表述的相似性,以前的工作表明,自然语言推理模型可以有效地重新利用来执行这项任务。由于这些模型被训练为在句子级别上对蕴涵进行评分,最近的几项研究表明,将输入文档或摘要分解为句子有助于真实性评分。但是细粒度分解总是一个成功的策略吗?在本文中,我们系统地比较了不同的粒度分解-从文档到子句子级别,我们的答案是否定的。我们的结果表明,将额外的上下文可以产生改善,但这并不一定适用于所有的数据集。我们还表明,以前提出的基于蕴涵的评分方法的小的变化可以导致更好的性能,强调需要谨慎的模型和方法选择下游任务。
2022-11-30 cs.CL
Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic
University of Alberta(阿尔伯塔大学);Carnegie Mellon University(卡内基梅隆大学)
自然语言推理的目的是确定两个句子之间的逻辑关系,如蕴涵、矛盾和中性。近年来,深度学习模型已成为NLI的主流方法,但它们缺乏可解释性和可解释性。在这项工作中,我们解决了NLI的弱监督逻辑推理的可解释性,并提出了一个可解释短语推理(EPR)的方法。我们的模型首先检测短语作为语义单位,并将两个句子中的相应短语对齐。然后,该模型预测对齐短语的NLI标签,并通过模糊逻辑公式归纳句子标签。我们的EPR几乎在任何地方都是可微的,因此系统可以端到端地训练。通过这种方式,我们能够以弱监督的方式提供短语逻辑关系的明确解释。我们进一步表明,这样的推理结果有助于文本解释生成。
2023-02-22 cs.AI cs.CL
Collecting Diverse Natural Language Inference Problems for Sentence Representation Evaluation
Johns Hopkins University(约翰斯·霍普金斯大学);BITS Pilani, Goa Campus(贝拉理工学院皮拉尼分校果阿校区);Brown University(布朗大学);University of Rochester(罗切斯特大学)
我们提出了一个大规模的收集不同的自然语言推理(NLI)数据集,帮助提供洞察如何以及一个句子表示捕捉不同类型的推理。收集结果从重铸13个现有的数据集从7个语义现象到一个共同的NLI结构,导致超过50万个标记的上下文假设对。我们将我们的集合称为DNC:多样自然语言推理集合。DNC可在https://www.decomp.net上在线获得,并将随着时间的推移而增长,因为其他资源将从新的来源重新铸造和添加。
2018-08-29 cs.CL
Character-level Intra Attention Network for Natural Language Inference
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
自然语言推理是语言理解的核心问题。近年来,端到端人工神经网络在自然语言识别领域已经达到了最先进的水平。在本文中,我们提出了一种用于NLI任务的机器人级内部注意力网络(CIAN)。在我们的模型中,我们使用字符级卷积网络来代替标准的词嵌入层,并使用内部注意力来捕获句子内部语义。建议CIAN模型提供了改进的结果的基础上,新出版的MNLI语料库。
2017-07-24 cs.CL cs.LG
A Straightforward Pipeline for Targeted Entailment and Contradiction Detection
LBNL(劳伦斯伯克利国家实验室)
针对特定主张的前提与矛盾识别问题,提出结合Transformer注意力机制与NLI模型的流水线方法,先通过注意力分数筛选相关候选句,再用NLI分类关系,高效分离文本中主张的关键语义关系。
2025-08-23 cs.CL cs.LO
A MISMATCHED Benchmark for Scientific Natural Language Inference
Computer Science(计算机科学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Kansas State University(堪萨斯州立大学)
本文提出覆盖心理学、工程学和公共卫生三个非计算机科学领域的科学NLI基准MISMATCHED,并通过实验表明引入隐式NLI关系句子对可提升模型性能。
2025-06-05 cs.CL
Let's CONFER: A Dataset for Evaluating Natural Language Inference Models on CONditional InFERence and Presupposition
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
本文提出CONFER数据集,通过评估四个NLI模型及多款LLM在零样本、少样本条件下的表现,揭示模型在条件句预设推理上的不足。
2025-06-06 cs.CL
Transforming Question Answering Datasets Into Natural Language Inference Datasets
Stanford University(斯坦福大学)
现有的自然语言推理数据集推动了语言理解的研究。我们提出了一种新的方法,自动推导NLI数据集的日益丰富的大型问答数据集。我们的方法取决于学习一个句子转换模型,转换成他们的陈述形式的问答对。尽管主要是在单个QA数据集上进行训练,但我们表明它可以成功地应用于各种其他QA资源。使用这个系统,我们自动获得了一个新的免费提供的数据集超过500 k NLI的例子(QA-NLI),并表明它表现出广泛的推理现象很少看到以前的NLI数据集。
2018-09-11 cs.CL
For Generated Text, Is NLI-Neutral Text the Best Text?
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文利用预训练NLI模型检测生成句与提示及前文的推理关系,并为GPT-J设计NLI引导生成策略,实验证明最大化中性类别可稳定获得最高文本质量。
2024-01-20 cs.CL
Probing the Natural Language Inference Task with Automated Reasoning Tools
Advancing Machine and Human Reasoning (AMHR) Lab(推进机器与人类推理(AMHR)实验室);University of South Florida(南佛罗里达大学)
自然语言推理(NLI)任务是现代NLP中的一项重要任务,因为它提出了一个广泛的问题,许多其他任务可以简化为:给定一对句子,第一个是否包含第二个?虽然NLI的当前基准数据集的最新技术是基于深度学习的,但值得使用其他技术来检查NLI任务的逻辑结构。我们这样做是通过测试如何以及面向机器的控制自然语言(Attempto控制英语)可以用来解析NLI句子,以及如何自动定理证明可以在由此产生的公式的原因。为了提高性能,我们开发了一套语法和语义转换规则。我们报告他们的表现,并讨论NLI和基于逻辑的NLP的影响。
2020-05-06 cs.AI cs.CL cs.SC
Stress Test Evaluation for Natural Language Inference
Carnegie Mellon University(卡内基梅隆大学)
自然语言推理(NLI)是确定自然语言假设是否可以以合理的方式从给定前提中推断出来的任务。NLI被提出作为自然语言理解的基准任务。现有的模型在NLI的标准数据集上表现良好,在不同类型的文本中取得了令人印象深刻的结果。然而,这些模型在多大程度上理解句子的语义内容尚不清楚。在这项工作中,我们提出了一种评估方法,包括自动构建的“压力测试”,使我们能够检查系统是否有能力作出真正的推理决定。我们对这些压力测试中的六个语音编码器模型的评估揭示了这些模型在具有挑战性的语言现象方面的优势和劣势,并为这一领域未来的工作提出了重要的方向。
2018-06-13 cs.CL
Sentence Embeddings using Supervised Contrastive Learning
Princeton University(普林斯顿大学)
句子嵌入将句子编码在固定的密集向量中,并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习(如Quick-Thoughts)和监督学习(如Infersent)。随着预训练的NLP模型的成功,最近的研究表明,在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入,在各种评估基准上优于以前的句子嵌入方法。在本文中,我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说,我们的方法在SNLI数据上微调预训练的BERT,同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比,我们的监督对比方法在语义文本相似性(STS)基准测试中平均提高了2.8%,在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
What If We Simply Swap the Two Text Fragments? A Straightforward yet Effective Way to Test the Robustness of Methods to Confounding Signals in Nature Language Inference Tasks
Carnegie Mellon University(卡内基梅隆大学);Southeast University(东南大学)
自然语言推理任务是确定一对自然语言句子之间推理关系的预测任务。随着NLI的日益普及,许多最先进的预测模型已经提出了令人印象深刻的性能。然而,一些作品已经注意到,在收集的NLI数据集,可能会导致这些模型的性能高估的统计违规行为,并提出了补救措施。在本文中,我们进一步调查的统计不规则性,我们称之为混杂因素,NLI数据集。由于相信一些NLI标签应该在交换操作下保留,我们提出了一种简单而有效的方法(交换两个文本片段)来评估自然缓解观察到的问题的NLI预测模型。此外,我们继续训练的预测模型与我们的交换方式,并提出使用不同的百分比的训练文本片段被交换的模型的评估性能的偏差来描述的预测模型的鲁棒性。我们的评估指标导致一些有趣的理解最近公布的NLI方法。最后,我们还将交换操作应用于NLI模型,以了解这种简单方法在为其他NLP传输任务训练通用句子嵌入时减轻混淆因素问题的有效性。
2018-11-12 cs.AI cs.CL
Are Natural Language Inference Models IMPPRESsive? Learning IMPlicature and PRESupposition
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
自然语言推理(NLI)是自然语言理解中越来越重要的任务,它要求人们推断一个句子是否包含另一个句子。然而,NLI模型进行语用推理的能力仍然研究不足。我们创建了一个IMplicature和PRESupposition诊断数据集(IMPPRES),由超过25k个半自动生成的句子对组成,这些句子对说明了经过充分研究的语用推理类型。我们使用IMPPRES来评估在MultiNLI上训练的BERT、InferSent和BOW NLI模型(Williams等人,2018年,学习实用推理。虽然MultiNLI似乎包含很少的对说明这些推理类型,我们发现,BERT学会了语用推理。它可靠地将由“一些”触发的等级含义视为蕴涵。对于一些预设触发器,如“only”,BERT可靠地将预设识别为蕴涵,即使触发器被嵌入在蕴涵取消算子(如否定)下。BOW和Infersent显示出较弱的语用推理证据。我们的结论是,NLI训练鼓励模型学习一些,但不是所有的,语用推理。
2020-07-14 cs.CL
SciNLI: A Corpus for Natural Language Inference on Scientific Text
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
现有的自然语言推理(NLI)数据集虽然有助于自然语言理解(NLU)研究的进步,但与科学文本无关。在本文中,我们介绍了SciNLI,这是一个用于NLI的大型数据集,它捕获了科学文本中的形式,包含从NLP和计算语言学的学术论文中提取的107,412个句子对。鉴于科学文献中使用的文本在词汇和句子结构方面与日常语言中使用的文本有很大不同,我们的数据集非常适合作为评估科学NLU模型的基准。我们的实验表明,SciNLI比现有的NLI数据集更难分类。我们使用XLNet的最佳性能模型的Macro F1得分仅为78.18%,准确率为78.23%,这表明还有很大的改进空间。
2022-03-15 cs.CL
Knowledge-Enhanced Evidence Retrieval for Counterargument Generation
Carnegie Mellon University(卡内基梅隆大学);KAIST(韩国科学技术院);Sungkyunkwan University(成均馆大学);University of Dundee(邓迪大学)
寻找反证是许多任务的关键,包括反驳生成。我们建立了一个系统,给定一个声明,检索反证从不同的来源在Web上。该系统的核心是一个自然语言推理(NLI)模型,用于确定候选句子是否是有效的反证。然而,大多数NLI模型,到目前为止,缺乏适当的推理能力,需要找到反证,涉及复杂的推理。因此,我们提出了一个知识增强的NLI模型,旨在处理因果关系和基于实例的推理,将知识图谱。我们的NLI模型优于NLI任务的基线,特别是对于需要有针对性的推理的实例。此外,该NLI模型进一步改进了反证检索系统,特别是更好地发现复杂反证。
2021-09-19 cs.CL
A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus
University of Bucharest(布加勒斯特大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出首个罗马尼亚语自然语言推理语料库RoNLI,并通过基于数据制图的课程学习方法提升最佳模型性能,为罗马尼亚语NLI任务建立了竞争性基线。
2024-10-18 cs.AI cs.CL cs.LG
Improving Domain-Specific Retrieval by NLI Fine-Tuning
Allegro sp. z o.o.(Allegro 有限责任公司)
本文研究利用NLI数据微调单语和多语句子编码器,在英波双语检索与排序任务中验证其性能提升,并通过嵌入均匀性与对齐性分析解释域外泛化效果。
2023-08-06 cs.CL cs.IR
Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks
Samsung SDS(三星SDS)
来自预训练的语言模型的上下文表示是实现下游NLP任务的高性能的核心。预训练的BERT和A Lite BERT(ALBERT)模型可以进行微调,以在语义文本相似性(STS)和自然语言推理(NLI)等配对回归中给出最先进的结果。虽然基于BERT的模型产生的[CLS]令牌向量作为一个合理的句子嵌入,寻找一个最佳的句子嵌入计划仍然是一个活跃的研究领域,在计算语言学。本文探讨了BERT和ALBERT的句子嵌入模型。特别地,我们采用具有连体和三重网络结构的修改的BERT网络,称为句子-BERT(SBERT),并用AL BERT替换BERT,以创建句子-AL BERT(SAL BERT)。我们还对SBERT和SALBERT的外部CNN嵌入式网络进行了实验。我们使用STS和NLI数据集评估所有嵌入模型的性能。实证结果表明,我们的CNN架构改善ALBERT模型大大超过BERT模型的STS基准。尽管模型参数明显较少,但ALBERT句子嵌入在下游NLP评估中与BERT相比具有很强的竞争力。
2021-01-26 cs.AI cs.CL
ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan Inc.(美团公司)
学习高质量的句子表示有利于广泛的自然语言处理任务。虽然基于BERT的预训练语言模型在许多下游任务上取得了很高的性能,但本地派生的句子表示被证明是崩溃的,从而在语义文本相似性(STS)任务上产生较差的性能。在本文中,我们提出了ConSERT,一个自我监督的句子表征转移的对比框架,采用对比学习,以无监督和有效的方式微调BERT。通过使用未标记的文本,ConSERT解决了BERT派生的句子表示的崩溃问题,使它们更适用于下游任务。STS数据集上的实验表明,ConSERT实现了8%的相对改善,比以前的国家的最先进的,甚至相当于监督SBERT-NLI。当进一步结合NLI监督时,我们在STS任务上实现了新的最先进的性能。此外,ConSERT仅用1000个样本就获得了可比的结果,显示了其在数据稀缺情况下的鲁棒性。
2021-05-25 cs.AI cs.CL
MSciNLI: A Diverse Benchmark for Scientific Natural Language Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Computer Science(计算机科学学院)
本文提出包含5个新科学领域132320个句子对的MSciNLI数据集以丰富科学NLI任务多样性,建立PLM和LLM基线验证其挑战性,证实领域偏移的影响,并表明该类数据集可提升科学领域下游任务性能。
2024-04-11 cs.CL
NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance
Basement AI;University of Gothenburg(哥德堡大学);University of Helsinki(赫尔辛基大学)
预训练的神经语言模型在自然语言推理(NLI)任务上具有高性能。但他们是否真的理解处理过的序列的含义仍不清楚。我们提出了一个新的诊断测试套件,它允许评估数据集是否构成一个很好的测试平台,用于评估模型的意义理解能力。我们专门将受控腐败转换应用于广泛使用的基准测试(MNLI和ANLI),这涉及删除整个单词类,并经常导致无意义的句子对。如果受损数据的模型准确性仍然很高,那么数据集可能包含指导预测的统计偏差和伪影。然而,模型精度的大幅下降表明原始数据集对模型的推理能力提出了适当的挑战。因此,我们提出的控制可以作为一个碰撞测试,为NLI任务开发高质量的数据。
2021-04-10 cs.CL
Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence
Fudan University(复旦大学)
基于情感的情感分析(ABSA)是情感分析(SA)的一个具有挑战性的子任务,其目的是识别对特定方面的细粒度意见极性。在本文中,我们从体构造一个辅助句,并转换ABSA到一个双对分类任务,如问答(QA)和自然语言推理(NLI)。我们微调了来自BERT的预训练模型,并在SentiHood和SemEval-2014 Task 4数据集上获得了最新的结果。
2019-03-22 cs.CL
Several Experiments on Investigating Pretraining and Knowledge-Enhanced Models for Natural Language Inference
Queen’s University(女王大学);iFLYTEK Research(科大讯飞研究院);University of Science and Technology of China(中国科学技术大学)
自然语言推理是自然语言理解中最具挑战性的任务之一。最近关于利用无监督信号(如语言模型和句子预测目标)的无监督预训练的工作已被证明在广泛的NLP问题上非常有效。仍然希望进一步理解它如何帮助NLI;例如,如果它学习数据注释中的伪影,或者相反地学习真正的推理知识。另外,可以以两种典型的方式将不存在于有限数量的NLI训练数据中的外部知识添加到NLI模型中,例如,从人类创造的资源或无监督的预训练范式。我们在这里进行了几个实验,以研究它们是否以同样的方式帮助NLI,如果不是,如何帮助?
2019-04-27 cs.CL
Probing Multilingual Sentence Representations With X-Probe
University of Oslo(奥斯陆大学)
本文扩展了探测句子表征的任务,在多语言领域的语言洞察力。在这样做的时候,我们做了两个贡献:首先,我们提供数据集的多语言探测,来自维基百科,在五种语言,即英语,法语,德语,西班牙语和俄语。其次,我们评估每种语言的六个句子编码器,每个编码器都是通过将句子表示映射到英语句子表示来训练的,使用平行语料库中的句子。我们发现,跨语言映射的表示往往更好地保留某些语言信息比表示来自英语编码器训练自然语言推理(NLI)作为下游任务。
2019-06-12 cs.CL
A Generic NLI approach for Classification of Sentiment Associated with Therapies
Institute for Infocomm Research, Agency for Science Technology and Research(新加坡科技研究局信息通信研究所)
该研究提出基于NLI的句子对分类方法并训练transformer模型,用于SMM4H 2023疗法相关情感分类任务,最佳模型F1达75.22%,显著优于参赛队伍均值与中位数。
2023-11-28 cs.AI cs.CL
Polish Natural Language Inference and Factivity -- an Expert-based Dataset and Benchmarks
University of Warsaw(华沙大学);Warsaw University of Technology(华沙理工大学)
针对波兰语自然语言推理中的事实性现象,构建了包含2,432个动词-补语对的数据集,并评估了BERT模型与基于语言特征的方法,发现BERT模型接近专家特征性能,但复杂案例仍待研究。
2022-01-10 cs.CL cs.LG
Pairwise Supervised Contrastive Learning of Sentence Representations
AWS AI(亚马逊云科技人工智能)
最近在句子表示学习中的许多成功都是通过简单地对具有三重丢失或连体丢失的自然语言推理(NLI)数据集进行微调来实现的。然而,它们有一个共同的缺点:矛盾对中的句子不一定来自不同的语义范畴。因此,单独优化语义蕴涵和矛盾推理目标不足以捕获高级语义结构。这个缺点是由这样一个事实加剧的,即香草连体或三元组损失只从单独的句子对或三元组中学习,这些句子对或三元组经常遭受糟糕的局部最优。在本文中,我们提出了PairSupCon,一个实例歧视为基础的方法,旨在桥梁语义蕴涵和矛盾的理解与高层次的分类概念编码。我们评估PairSupCon的各种下游任务,涉及理解句子语义在不同的粒度。我们优于以前的国家的最先进的方法与$10\%$ - $13\%$平均改善八个聚类任务,和$5\%$ - $6\%$平均改善七个语义文本相似性(STS)任务。
2022-01-29 cs.CL cs.LG
With a Little Push, NLI Models can Robustly and Efficiently Predict Faithfulness
Heidelberg University(海德堡大学)
本文提出通过任务自适应数据增强、联合利用蕴含与矛盾概率以及蒙特卡洛dropout推理,使纯NLI模型在TRUE基准上以更低计算成本稳健超越复杂忠实性度量方法。
2023-05-26 cs.CL
Avoiding the Hypothesis-Only Bias in Natural Language Inference via Ensemble Adversarial Training
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
自然语言推理(NLI)数据集包含注释伪像,其导致自然语言话语与它们各自的蕴涵类之间的虚假相关。即使只考虑假设而忽略前提,神经网络也会利用这些人为因素,从而导致不必要的偏差。Belinkov等人(2019 b)提出通过对抗训练来解决这个问题,但这可能会导致学习到的句子表示仍然存在相同的偏见。我们表明,可以通过使用对手的集合来减少句子表示中的偏差,鼓励模型在拟合数据的同时共同降低这些不同对手的准确性。这种方法产生更稳健的NLI模型,当推广到12个其他数据集时,其表现优于先前的去偏置努力(Belinkov等人,2019 a; Mahabadi等人,2020年)。此外,我们发现对抗分类器的最佳数量取决于句子表示的维度,更大的句子表示更难去偏见,同时受益于使用更多的对手。
2021-05-27 cs.AI cs.CL cs.LG
Enhancing Sentence Embedding with Generalized Pooling
Queen’s University(女王大学)
池化是各种句子表示和嵌入模型的重要组成部分。本文探讨了增强句子嵌入的广义池化方法。我们提出了基于向量的多头注意力,其中包括广泛使用的最大池,平均池,标量自注意力作为特殊情况。该模型受益于适当设计的惩罚条款,以减少冗余的多头注意力。我们评估三个不同的任务:自然语言推理(NLI),作者分析,和情感分类所提出的模型。实验表明,该模型实现了显着的改进,基于强并行编码的方法,导致在四个数据集上的最先进的性能。所提出的方法可以很容易地实现,解决的问题比我们在本文中讨论的更多。
2018-06-26 cs.AI cs.CL cs.LG
Non-entailed subsequences as a challenge for natural language inference
Johns Hopkins University(约翰斯·霍普金斯大学)
神经网络模型在自然语言推理(NLI)方面取得了巨大的成功,NLI是确定前提是否包含假设的任务。然而,最近的研究表明,这些模型可能依赖于错误的语法,而不是深入的语言理解。我们引入了一个挑战集来测试NLI系统是否采用这样的启发式:假设一个句子需要所有的合法性,如假设“爱丽丝相信玛丽是在撒谎”需要“爱丽丝相信玛丽。“我们在这个挑战集上评估了几个有竞争力的NLI模型,并找到了强有力的证据表明它们确实依赖于子序列启发式。
2018-11-30 cs.CL
Exploring Factual Entailment with NLI: A News Media Study
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出新型事实蕴涵标注方案FactRel并构建新闻句对数据集,发现事实关系与NLI关系存在显著差异,验证了GPT-4合成数据、小样本学习在该任务上的有效性,揭示任务对世界知识与推理能力的双重依赖。
2024-06-24 cs.CL
SILT: Efficient transformer training for inter-lingual inference
Departamento de Sistemas Informáticos(计算机系统系);Universidad Politécnica de Madrid(马德里理工大学)
Transformers执行精确任务的能力,如问答,自然语言推理(NLI)或总结,使其成为解决自然语言处理(NLP)任务的最佳范例之一。NLI是测试这些架构的最佳场景之一,因为理解复杂句子以及假设和前提之间建立关系所需的知识。然而,这些模型无法推广到其他领域或难以面对多语言和跨语言的情况。文献中解决这些问题的主要途径涉及设计和训练非常大的架构,这会导致不可预测的行为,并建立阻碍广泛访问和微调的障碍。在本文中,我们提出了一个新的架构称为暹罗间的语言Transformer(SILT),有效地对齐多语言嵌入自然语言推理,允许不匹配的语言对进行处理。SILT利用具有冻结权重的siamese预训练多语言Transformers,其中两个输入句子彼此关注,稍后通过矩阵对齐方法组合。本文中进行的实验结果证明,SILT允许大幅减少可训练参数的数量,同时允许跨语言NLI并在常见基准上实现最先进的性能。我们在https://github.com/jahuerta92/siamese-inter-lingual-transformer上提供代码和数据集。
2021-05-17 cs.CL cs.LG
AMR4NLI: Interpretable and robust NLI measures from semantic graphs
Heidelberg University(海德堡大学);Georgetown University(乔治城大学)
该研究提出利用上下文嵌入与语义图(AMR)作为可解释度量,判断假设是否为前提的语义子结构,在三个英文基准上验证了两种表示互补且可混合使用。
2023-09-05 cs.CL cs.IR
Unsupervised Pre-training with Structured Knowledge for Improving Natural Language Inference
Queen’s University(女王大学)
虽然最近对自然语言推理的研究已经从大型注释数据集中受益匪浅,但注释数据中提供的推理相关知识(包括常识)的数量仍然相当有限。有两种方法可以用来进一步解决这一限制:(1)无监督预训练可以利用更大的非结构化文本数据中的知识;(2)结构化(通常是人工策划的)知识已经开始被考虑用于NLI的基于神经网络的模型。一个迫在眉睫的问题是,这两种方法是否可以相互补充,或者如何开发能够将它们的优势结合起来的模型。在本文中,我们提出了在预训练模型的不同组件中利用结构化知识的模型。我们的研究结果表明,所提出的模型比以前的BERT为基础的国家的最先进的模型表现更好。虽然我们的模型是为NLI提出的,但它们可以很容易地扩展到其他句子或句子对分类问题。
2021-09-08 cs.AI cs.CL cs.LG
Probing What Different NLP Tasks Teach Machines about Function Word Comprehension
New York University(纽约大学);Google AI Language(谷歌人工智能语言团队);Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Brown University(布朗大学)
我们介绍了一套九个挑战性的任务,测试功能词的理解。这些任务是通过从现有数据集中结构地突变句子来创建的,以针对特定类型的功能词的理解(例如,介词、wh词)。使用这些探测任务,我们探索了句子编码器的各种预训练目标的影响(例如,语言建模、CCG超标记和自然语言推理(NLI))。我们的研究结果表明,在我们的探测任务中,语言建模的预训练平均表现最好,支持其广泛用于预训练最先进的NLP模型,CCG超级标记和NLI预训练表现最好。总的来说,没有一个预训练目标是全面主导的,我们的功能词探测任务突出了预训练目标之间的几个直观差异,例如,NLI有助于理解否定。
2019-08-07 cs.CL
Natural Language Inference over Interaction Space
New York University(纽约大学);Horizon Robotics, Inc.(地平线机器人技术有限公司(Horizon Robotics, Inc.))
自然语言推理(NLI)任务要求智能体确定自然语言前提和自然语言假设之间的逻辑关系。我们介绍了交互式推理网络(IIN),一类新的神经网络架构,能够实现高层次的理解的句子对分层提取的语义特征,从交互空间。我们发现,一个交互张量(注意力权重)包含语义信息来解决自然语言推理,和一个密集的交互张量包含更丰富的语义信息。这种架构的一个实例,密集交互式推理网络(DIIN),展示了国家的最先进的性能上的大规模NLI copora和大规模NLI相似的语料库。值得注意的是,相对于最强的已发布系统,DIIN在具有挑战性的多类型NLI(MultiNLI)数据集上实现了超过20%的错误减少。
2018-05-26 cs.CL
A deep Natural Language Inference predictor without language-specific training data
Lutech S.p.A.(Lutech公司);University of Verona(维罗纳大学)
本文提出一种利用知识蒸馏技术,通过通用翻译数据集和双预训练模型,实现无需语言特定训练数据的跨语言自然语言推理预测,并在多项测试中优于机器翻译方法。
2023-09-06 cs.AI cs.CL
Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference
Johns Hopkins University(约翰斯·霍普金斯大学);Brown University(布朗大学)
机器学习系统可以通过依赖于对频繁示例类型有效但在更具挑战性的情况下会崩溃的算法,在给定的测试集上获得良好的分数。我们在自然语言推理(NLI)中研究这个问题,确定一个句子是否包含另一个句子。我们假设,统计NLI模型可能会采用三种易犯错误的句法启发式:词汇重叠启发式,子序列启发式和成分启发式。为了确定模型是否采用了这些启发式,我们引入了一个受控的评估集,称为HANS(启发式分析NLI系统),其中包含许多例子,其中的启发式失败。我们发现,在MNLI上训练的模型,包括最先进的模型BERT,在HANS上的表现非常差,这表明它们确实采用了这些算法。我们的结论是,NLI系统有很大的改进空间,HANS数据集可以激励和衡量这一领域的进展
2019-06-24 cs.CL
Elastic weight consolidation for better bias inoculation
University of Cambridge(剑桥大学)
训练数据集中存在的偏差已被证明会影响句子对分类任务的模型,例如自然语言推理(NLI)和事实验证。虽然对额外数据的微调模型已被用于减轻它们,但一个常见的问题是原始训练数据集的灾难性遗忘。在本文中,我们表明,弹性权重合并(EWC)允许微调模型,以减轻偏见,同时不太容易受到灾难性遗忘。在我们对事实验证和NLI压力测试的评估中,我们表明,EWC的微调优于标准微调,产生的模型在原始(有偏)数据集上具有较低的遗忘水平,而在微调(无偏)数据集上具有相同的准确性增益。
2021-02-04 cs.CL cs.LG