Improving Natural Language Inference with a Pretrained Parser
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们介绍了一种新的方法,将语法到自然语言推理(NLI)模型。我们的方法使用来自预训练的依赖解析器的上下文标记级向量表示。像其他上下文嵌入器一样,我们的方法广泛适用于任何神经模型。我们用四个强NLI模型(可分解注意力模型,ESIM,BERT和MT-DNN)进行了实验,并在三个NLI基准测试中显示出一致的准确性优势。
2019-09-18 cs.CL
Are Natural Language Inference Models IMPPRESsive? Learning IMPlicature and PRESupposition
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
自然语言推理(NLI)是自然语言理解中越来越重要的任务,它要求人们推断一个句子是否包含另一个句子。然而,NLI模型进行语用推理的能力仍然研究不足。我们创建了一个IMplicature和PRESupposition诊断数据集(IMPPRES),由超过25k个半自动生成的句子对组成,这些句子对说明了经过充分研究的语用推理类型。我们使用IMPPRES来评估在MultiNLI上训练的BERT、InferSent和BOW NLI模型(Williams等人,2018年,学习实用推理。虽然MultiNLI似乎包含很少的对说明这些推理类型,我们发现,BERT学会了语用推理。它可靠地将由“一些”触发的等级含义视为蕴涵。对于一些预设触发器,如“only”,BERT可靠地将预设识别为蕴涵,即使触发器被嵌入在蕴涵取消算子(如否定)下。BOW和Infersent显示出较弱的语用推理证据。我们的结论是,NLI训练鼓励模型学习一些,但不是所有的,语用推理。
2020-07-14 cs.CL
Don't Learn, Ground: A Case for Natural Language Inference with Visual Grounding
Utrecht University(乌特勒支大学)
本文提出了一种基于视觉依托的零样本自然语言推理方法,通过生成视觉表示并比较与假设的相似度,实现高精度推理,展示了对文本偏见的鲁棒性。
2025-11-21 cs.CL
Enhanced LSTM for Natural Language Inference
National Research Council Canada(加拿大国家研究委员会);iFLYTEK Research(科大讯飞研究院);York University(约克大学);University of Ottawa(渥太华大学)
推理和推断是人类和人工智能的核心。在人类语言中建模推理是非常具有挑战性的。随着大量注释数据的可用性(Bowman等人,2015),最近已经可以训练基于神经网络的推理模型,其已经显示出非常有效。在本文中,我们提出了一个新的国家的最先进的结果,达到了88.6%的准确率斯坦福自然语言推理数据集。与之前使用非常复杂的网络架构的顶级模型不同,我们首先证明了基于链式LSTM精心设计的顺序推理模型可以优于所有之前的模型。在此基础上,我们进一步表明,通过显式地考虑递归体系结构的局部推理建模和推理组合,我们实现了额外的改进。特别是,结合句法分析信息有助于我们的最佳结果-它进一步提高了性能,即使添加到已经非常强大的模型中。
2017-04-26 cs.CL
Neuro-symbolic Natural Logic with Introspective Revision for Natural Language Inference
Ingenuity Labs Research Institute(匠心实验室研究所);Queen’s University(女王大学)
我们介绍了一个神经符号的自然逻辑框架的基础上强化学习内省修订。该模型通过策略梯度对特定的推理路径进行采样和奖励,其中内省修正算法修改中间符号推理步骤以发现奖励操作,并利用外部知识来减轻虚假推理和训练效率低下。该框架由适当设计的局部关系模型支持,以避免输入纠缠,这有助于确保证明路径的可解释性。该模型具有内置的可解释性,并表现出优越的能力,在单调性推理,系统的推广,和可解释性,与以前的模型在现有的数据集。
2022-06-05 cs.CL
Uncertain Natural Language Inference
Johns Hopkins University(约翰斯·霍普金斯大学);Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所)
我们引入了不确定自然语言推理(UNLI),这是自然语言推理(NLI)的一种改进,它远离了分类标签,而是针对主观概率评估的直接预测。我们证明了通过在概率尺度下重新标记SNLI数据集的一部分来为UNLI收集注释的可行性,即使具有相同分类标签的项目在给定前提下人们判断它们为真的可能性也不同。我们描述了一种直接标量回归建模方法,并发现现有的分类标记的NLI数据可以用于预训练。我们最好的模型接近人类的表现,证明模型可能能够比目前NLI任务中采用的分类箱分配更微妙的推断。
2020-05-05 cs.CL
SEME at SemEval-2024 Task 2: Comparing Masked and Generative Language Models on Natural Language Inference for Clinical Trials
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心)
本文比较了微调集成掩码语言模型与提示大语言模型在临床试验自然语言推理任务上的表现,发现 2-shot 提示 Flan-T5-large 效果最佳,F1 为 0.57。
2024-04-05 cs.CL
Transforming Question Answering Datasets Into Natural Language Inference Datasets
Stanford University(斯坦福大学)
现有的自然语言推理数据集推动了语言理解的研究。我们提出了一种新的方法,自动推导NLI数据集的日益丰富的大型问答数据集。我们的方法取决于学习一个句子转换模型,转换成他们的陈述形式的问答对。尽管主要是在单个QA数据集上进行训练,但我们表明它可以成功地应用于各种其他QA资源。使用这个系统,我们自动获得了一个新的免费提供的数据集超过500 k NLI的例子(QA-NLI),并表明它表现出广泛的推理现象很少看到以前的NLI数据集。
2018-09-11 cs.CL
Extracting and filtering paraphrases by bridging natural language inference and paraphrasing
University of Ljubljana(卢布尔雅那大学)
释义是一种有用的自然语言处理任务,可以有助于生成或翻译更多样化的文本。自然语言推理(NLI)和释义有一些相似之处,可以从联合方法中受益。我们提出了一种新的方法,从NLI数据集的释义数据集的提取和清洗现有的释义数据集。我们的方法是基于双向蕴涵,也就是说,如果两个句子可以相互蕴涵,他们是释义。我们在单语和跨语言环境中使用几个大型预训练的Transformer语言模型来评估我们的方法。结果表明,高质量的提取的释义数据集和令人惊讶的高噪声水平在两个现有的释义数据集。
2021-11-13 cs.CL
Uncertainty-Aware Natural Language Inference with Stochastic Weight Averaging
University of Helsinki(赫尔辛基大学);Aalto University(阿尔托大学)
本文提出在自然语言理解任务中利用SWAG进行贝叶斯不确定性建模,应用于自然语言推理,有效提升预测准确率并与人类标注分歧相关,凸显了不确定性建模的重要性。
2023-04-10 cs.CL
Collecting Diverse Natural Language Inference Problems for Sentence Representation Evaluation
Johns Hopkins University(约翰斯·霍普金斯大学);BITS Pilani, Goa Campus(贝拉理工学院皮拉尼分校果阿校区);Brown University(布朗大学);University of Rochester(罗切斯特大学)
我们提出了一个大规模的收集不同的自然语言推理(NLI)数据集,帮助提供洞察如何以及一个句子表示捕捉不同类型的推理。收集结果从重铸13个现有的数据集从7个语义现象到一个共同的NLI结构,导致超过50万个标记的上下文假设对。我们将我们的集合称为DNC:多样自然语言推理集合。DNC可在https://www.decomp.net上在线获得,并将随着时间的推移而增长,因为其他资源将从新的来源重新铸造和添加。
2018-08-29 cs.CL
Stress-Testing Neural Models of Natural Language Inference with Multiply-Quantified Sentences
Stanford Symbolic Systems Program(斯坦福大学符号系统项目);Stanford Linguistics(斯坦福大学语言学系)
使用自然主义语料库对深度学习模型进行语义的标准评估,在它们能够告诉我们的关于学习表示的保真度方面是有限的,因为语料库很少有很好的语义复杂性度量。为了克服这一限制,我们提出了一种方法,用于生成数据集的多重量化的自然语言推理(NLI)的例子中,语义的复杂性,可以精确的特点,我们用这种方法来表明,各种常见的架构NLI不可避免地无法编码的关键信息,只有一个模型与强制词汇对齐避免这种破坏性的信息丢失。
2018-10-30 cs.CL
Learning as Abduction: Trainable Natural Logic Theorem Prover for Natural Language Inference
Utrecht University(乌得勒支大学)
用基于逻辑的方法处理自然语言推理变得越来越不常见。虽然这在几十年前可能是违反直觉的,但现在似乎很明显。这种概念的主要原因是:(a)基于逻辑的方法在处理广泛覆盖的文本时通常很脆弱,(b)它们需要大量的人工开发,而不是自动从数据中学习。我们通过将从数据中学习建模为溯因推理来克服这些缺点:反转定理证明过程来溯因语义关系,这些语义关系可以作为推理问题的黄金标签的最佳解释。换句话说,不是借助于词汇关系来证明语义级推理关系,而是考虑语义级推理关系来证明词汇关系。我们在自然语言的tableau定理证明器中实现了学习方法,并表明它将定理证明器在SICK数据集上的性能提高了1.4%,同时仍然保持了高精度(>94%)。所获得的结果是有竞争力的最先进的基于逻辑的系统之间。
2020-12-01 cs.CL
A large annotated corpus for learning natural language inference
Stanford Linguistics(斯坦福大学语言学系);Stanford NLP Group(斯坦福大学自然语言处理小组);Stanford Computer Science(斯坦福大学计算机科学系)
理解蕴涵和矛盾是理解自然语言的基础,而关于蕴涵和矛盾的推理是语义表示发展的有价值的试验场。然而,由于缺乏大规模的资源,这一领域的机器学习研究受到了极大的限制。为了解决这个问题,我们介绍了斯坦福大学的自然语言推理语料库,一个新的,免费提供的集合标记的句子对,写的人做一个新的接地任务的基础上图像描述。在570K对,它是两个数量级以上的所有其他资源的类型。这种规模的增加允许词汇化分类器优于一些复杂的现有蕴涵模型,并且它允许基于神经网络的模型首次在自然语言推理基准上具有竞争力。
2015-08-21 cs.CL
Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches
University of Michigan(密歇根大学);Michigan State University(密歇根州立大学);Computer Science and Engineering(计算机科学与工程学院)
在NLP社区中,近年来出现了大量研究活动,这些研究活动旨在解决机器执行深度语言理解的能力,这种能力超越了文本中明确陈述的内容,而是依赖于推理和对世界的了解。已经创建了许多基准任务和数据集来支持这种自然语言推理能力的开发和评估。随着这些基准成为NLP研究社区的工具和驱动力,本文旨在概述最近的基准,相关知识资源以及最先进的学习和推理方法,以支持更好地理解这个不断发展的领域。
2020-02-26 cs.CL
e-SNLI: Natural Language Inference with Natural Language Explanations
University of Oxford(牛津大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维)
为了使机器学习获得广泛的公众采用,模型必须能够为其决策提供可解释和强大的解释,并在训练时从人类提供的解释中学习。在这项工作中,我们扩展了斯坦福大学的自然语言推理数据集与人类注释的自然语言解释的蕴涵关系的附加层。我们进一步实现了将这些解释纳入其训练过程并在测试时输出的模型。我们展示了我们的解释语料库(我们称之为e-SNLI)如何用于各种目标,例如获得模型决策的完整句子理由,改进通用句子表示以及转移到域外NLI数据集。因此,我们的数据集为使用自然语言解释开辟了一系列研究方向,无论是为了改进模型还是为了维护它们的信任。
2018-12-06 cs.CL
Syntax-based Attention Model for Natural Language Inference
Fudan University(复旦大学)
在神经网络中引入注意机制是一个强大的概念,并在许多自然语言处理任务中取得了令人印象深刻的结果。然而,大多数现有的模型施加注意力分布上的平面拓扑结构,即整个输入表示序列。显然,任何格式良好的句子都有其相应的句法树结构,这是一个非常丰富的拓扑结构。将注意力应用于这样的拓扑不仅利用了底层语法,而且还使注意力更可解释。在本文中,我们将在自然语言推理的背景下探索这一方向。结果证明了它的有效性。我们还进行了广泛的定性分析,得出了关于我们的模型为什么以及如何工作的见解和直觉。
2016-07-22 cs.CL
On Adversarial Removal of Hypothesis-only Bias in Natural Language Inference
Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Massachusetts Institute of Technology(麻省理工学院)
流行的自然语言推理(NLI)数据集已被证明是污染的假设只有偏见。对抗性学习可以帮助模型忽略数据中的敏感偏差和虚假相关性。我们评估了对抗学习是否可以用于NLI,以鼓励模型学习没有假设偏见的表示。我们的分析表明,通过对抗性学习学习的表示可能偏差较小,NLI准确性只有小幅下降。
2019-07-09 cs.CL
Non-entailed subsequences as a challenge for natural language inference
Johns Hopkins University(约翰斯·霍普金斯大学)
神经网络模型在自然语言推理(NLI)方面取得了巨大的成功,NLI是确定前提是否包含假设的任务。然而,最近的研究表明,这些模型可能依赖于错误的语法,而不是深入的语言理解。我们引入了一个挑战集来测试NLI系统是否采用这样的启发式:假设一个句子需要所有的合法性,如假设“爱丽丝相信玛丽是在撒谎”需要“爱丽丝相信玛丽。“我们在这个挑战集上评估了几个有竞争力的NLI模型,并找到了强有力的证据表明它们确实依赖于子序列启发式。
2018-11-30 cs.CL
Attention Boosted Sequential Inference Model
Beijing Jiaotong University(北京交通大学)
注意力机制在自然语言处理中被证明是有效的。本文提出了一种名为aESIM的注意力增强自然语言推理模型,通过将单词注意力和自适应方向注意力机制添加到自然语言推理模型(例如ESIM)的传统Bi-LSTM层。这使得推理模型aESIM能够有效地学习单词的表示,并对前提和假设对之间的局部实质推理进行建模。对SNLI、MultiNLI和Quora基准的实证研究表明,aESIM模型优于原ESIM模型。
2018-12-06 cs.CL
Let's CONFER: A Dataset for Evaluating Natural Language Inference Models on CONditional InFERence and Presupposition
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
本文提出CONFER数据集,通过评估四个NLI模型及多款LLM在零样本、少样本条件下的表现,揭示模型在条件句预设推理上的不足。
2025-06-06 cs.CL
Persian Natural Language Inference: A Meta-learning approach
Sharif University of Technology(谢里夫理工大学)
从其他语言翻译信息可以改善低资源语言的任务结果。为低资源语言构建功能性自然语言处理系统的一种强大方法是将多语言预训练表示与跨语言迁移学习相结合。然而,一般来说,共享表征是单独学习的,无论是跨任务还是跨语言。本文提出了一种用于推断波斯语自然语言的元学习方法。或者,元学习使用不同的任务信息(例如波斯语中的QA)或其他语言信息(例如英语中的自然语言推理)。此外,我们调查的任务增强策略形成额外的高质量的任务的作用。我们使用四种语言和一个辅助任务来评估所提出的方法。与基线方法相比,所提出的模型始终优于它,准确性提高了大约6%。我们还研究了使用zero-shot评估和CCA相似性找到合适的初始参数的效果。
2022-05-18 cs.CL
Several Experiments on Investigating Pretraining and Knowledge-Enhanced Models for Natural Language Inference
Queen’s University(女王大学);iFLYTEK Research(科大讯飞研究院);University of Science and Technology of China(中国科学技术大学)
自然语言推理是自然语言理解中最具挑战性的任务之一。最近关于利用无监督信号(如语言模型和句子预测目标)的无监督预训练的工作已被证明在广泛的NLP问题上非常有效。仍然希望进一步理解它如何帮助NLI;例如,如果它学习数据注释中的伪影,或者相反地学习真正的推理知识。另外,可以以两种典型的方式将不存在于有限数量的NLI训练数据中的外部知识添加到NLI模型中,例如,从人类创造的资源或无监督的预训练范式。我们在这里进行了几个实验,以研究它们是否以同样的方式帮助NLI,如果不是,如何帮助?
2019-04-27 cs.CL
Towards Controllable Natural Language Inference through Lexical Inference Types
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
本文提出基于AMR图定义词汇推理类型并改造T5瓶颈层,以实现多前提解释性推理的可控生成,并构建约5000步标注数据集验证其有效性。
2024-11-24 cs.CL
Stress Test Evaluation for Natural Language Inference
Carnegie Mellon University(卡内基梅隆大学)
自然语言推理(NLI)是确定自然语言假设是否可以以合理的方式从给定前提中推断出来的任务。NLI被提出作为自然语言理解的基准任务。现有的模型在NLI的标准数据集上表现良好,在不同类型的文本中取得了令人印象深刻的结果。然而,这些模型在多大程度上理解句子的语义内容尚不清楚。在这项工作中,我们提出了一种评估方法,包括自动构建的“压力测试”,使我们能够检查系统是否有能力作出真正的推理决定。我们对这些压力测试中的六个语音编码器模型的评估揭示了这些模型在具有挑战性的语言现象方面的优势和劣势,并为这一领域未来的工作提出了重要的方向。
2018-06-13 cs.CL
Fake News Detection as Natural Language Inference
National Cheng Kung University(国立成功大学)
本报告描述了智能知识管理(IKM)实验室在WSDM 2019假新闻分类挑战中的参赛作品。我们把任务作为自然语言推理(NLI)。我们单独训练一些最强的NLI模型以及BERT。我们将这些结果进行集成,并在两个阶段中使用噪声标签进行重新训练。我们分析了训练集和测试集中的传递性关系,并在此基础上确定了一组可以可靠分类的测试用例。其余的测试用例由我们的集合进行分类。我们的参赛作品在比赛中获得了88.063%的测试集准确率,获得第三名。
2019-07-17 cs.CL
Supervised Learning of Universal Sentence Representations from Natural Language Inference Data
Facebook AI Research(Facebook人工智能研究院);LIUM, Université Le Mans(勒芒大学LIUM实验室)
许多现代NLP系统依赖于词嵌入作为基本特征,这些词嵌入以前在大型语料库上以无监督的方式进行训练。然而,为更大的文本块(例如句子)获得嵌入的努力并不那么成功。学习句子的无监督表示的几次尝试都没有达到令人满意的性能,无法被广泛采用。在本文中,我们展示了使用斯坦福自然语言推理数据集的监督数据训练的通用句子表示如何在广泛的迁移任务中始终优于SkipThought向量等无监督方法。就像计算机视觉如何使用ImageNet来获取特征,然后将其转移到其他任务一样,我们的工作往往表明自然语言推理对于迁移学习到其他NLP任务的适用性。我们的编码器是公开的。
2018-07-08 cs.CL
Hypothesis Only Baselines in Natural Language Inference
Johns Hopkins University(约翰斯·霍普金斯大学);BITS Pilani, Goa Campus(博拉理工学院皮拉尼校区果阿分校)
我们提出了一个诊断自然语言推理(NLI)的假设只有基线。特别是当NLI数据集假设推断纯粹基于上下文和假设之间的关系发生时,因此在忽略所提供的上下文的同时评估蕴涵关系是退化的解决方案。然而,通过对10个不同的NLI数据集的实验,我们发现这种方法,我们称之为仅假设模型,能够在许多NLI数据集上显着优于大多数类基线。我们的分析表明,统计不规则性可能允许模型在某些数据集中执行NLI,超出了在没有访问上下文的情况下应该实现的范围。
2018-05-02 cs.CL
ARC-NLP at PAN 2023: Transition-Focused Natural Language Inference for Writing Style Detection
Aselsan Research Center(阿瑟尔桑研究中心)
ARC-NLP团队将多作者写作风格检测表述为连续段落配对的自然语言推理问题,提出聚焦段落转换并截断输入标记的方法,采用带预热的Transformer编码器,在PAN 2023各难度设置中表现优于基线。
2023-07-27 cs.CL
Natural Language Inference over Interaction Space: ICLR 2018 Reproducibility Report
American University of Armenia(亚美尼亚美国大学);YerevaNN(埃里瓦恩神经网络研究中心);Yerevan State University(埃里温国立大学)
我们试图复制提交给ICLR 2018会议的论文“交互空间上的自然语言推理”的结果,作为ICLR 2018复制挑战赛的一部分。最初,我们不知道代码可用,所以我们从头开始实现网络。我们在斯坦福NLI数据集上评估了我们的模型版本,在测试集上达到了86.38%的准确率,而论文声称准确率为88.0%。据我们所知,主要的区别来自优化器和模型选择的执行方式。
2018-02-09 cs.CL
Exploring Transitivity in Neural NLI Models through Veridicality
RIKEN(理化学研究所);Keio University(庆应义塾大学);Tohoku University(东北大学)
尽管深度神经网络最近在自然语言处理方面取得了成功,但它们在自然语言理解方面能在多大程度上表现出类似人类的泛化能力仍不清楚。我们在自然语言推理(NLI)领域探索这个问题,重点是推理关系的传递性,系统地绘制推理的基本属性。一个捕捉传递性的模型可以组成基本的推理模式,并得出新的推理。我们介绍了一种分析方法,使用合成的和自然的NLI数据集,涉及小句嵌入动词,以评估模型是否可以执行由真实推理和任意推理类型组成的传递性推理。我们发现,目前的NLI模型并不一贯表现良好的传递性推理任务,这表明他们缺乏泛化能力,从提供的训练样本绘制复合推理。用于我们分析的数据和代码可在https://github.com/verypluming/transitivity上公开获取。
2021-01-26 cs.CL
MonaLog: a Lightweight System for Natural Language Inference Based on Monotonicity
Indiana University(印第安纳大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
提出了一种新的基于逻辑的自然语言推理机MonaLog。与现有的基于逻辑的方法相比,我们的系统被故意设计为尽可能轻量级,并使用一小部分关于量词,词汇项和标记级极性信息的众所周知的(表面级)单调性事实进行操作。尽管它的简单性,我们发现我们的方法是有竞争力的其他基于逻辑的NLI模型的SICK基准。我们还将MonaLog与当前最先进的模型BERT结合使用,用于各种设置,包括组合数据增强。我们表明,MonaLog能够为BERT生成大量高质量的训练数据,提高其在SICK上的准确性。
2019-10-19 cs.CL
Natural Language Inference with Mixed Effects
University of Rochester(罗切斯特大学)
越来越多的证据表明,用于构建自然语言推理数据集的原始注释中普遍存在的分歧使得将这些注释聚合到单个标签的常见做法存在问题。我们提出了一种通用的方法,允许人们跳过聚合步骤,直接在原始注释上进行训练,而不会使模型受到注释者响应偏差引起的不必要的噪声。我们证明,这种方法,它概括了\textit{mixed effects model}的概念,将\textit{annotator random effects}到任何现有的神经模型,提高了性能的模型,不包括这样的效果。
2020-10-20 cs.CL
ANLIzing the Adversarial Natural Language Inference Dataset
Facebook AI Research(Facebook AI研究(团队))
我们对对抗性NLI(ANLI)进行了深入的错误分析,ANLI是最近引入的大规模人类和模型在环自然语言推理数据集,收集了多轮数据。我们提出了一个细粒度的注释方案的不同方面的推理,负责黄金分类标签,并使用它来手动编码所有三个ANLI开发集。我们使用这些注释来回答各种有趣的问题:哪些推理类型是最常见的,哪些模型在每种推理类型上具有最高的性能,以及哪些类型对于最先进的模型来说是最具挑战性的?我们希望我们的注释能够对在ANLI上训练的模型进行更细粒度的评估,让我们更深入地了解模型的失败和成功之处,并帮助我们确定未来如何训练更好的模型。
2020-10-24 cs.CL
BNLI: A Linguistically-Refined Bengali Dataset for Natural Language Inference
Computer Science and Engineering(计算机科学与工程);Brac University(布拉大学);Bangladesh University of Engineering and Technology(孟加拉工程与技术大学)
针对现有孟加拉语NLI数据集的标注错误、语义模糊等问题,本文构建语言精修的BNLI数据集,经多语言及孟加拉语特定Transformer模型基准测试,提升了推理任务的可靠性与可解释性,为低资源语言推理研究奠基。
2025-11-11 cs.CL
NILE : Natural Language Inference with Faithful Natural Language Explanations
Indian Institute of Science(印度科学学院)
最近,深度学习模型在NLP分类任务中的流行和成功伴随着对预测标签生成某种形式的自然语言解释的需求。期望这样生成的自然语言(NL)解释是忠实的,即,它们应该与模型的内部决策很好地关联。在这项工作中,我们专注于自然语言推理(NLI)的任务,并解决以下问题:我们可以建立NLI系统,产生高精度的标签,同时也产生忠实的解释其决定?我们提出了自然语言推理的标签特定的解释(NILE),一种新的NLI方法,利用自动生成的标签特定的NL解释,以产生标签及其忠实的解释。我们证明了NILE的有效性,通过自动化和人工评价所产生的标签和解释比以前报道的方法。我们对NILE的评估也支持这样的说法,即可以设计出能够为他们的决定提供可测试解释的精确系统。我们讨论了NILE的解释的忠实性方面的敏感性的决定,相应的解释。我们认为,除了标签和解释准确性外,对忠实性的明确评估是评估模型解释的重要步骤。此外,我们表明,任务特定的探针是必要的,以建立这样的灵敏度。
2020-05-25 cs.CL
Extractive Fact Decomposition for Interpretable Natural Language Inference in one Forward Pass
TU Dresden(德累斯顿技术大学)
本文提出仅编码器架构JEDI,通过抽取式原子事实分解与可解释推理联合执行,并利用合成理由语料训练,在NLI任务中实现有竞争力的准确率和显著提升的分布外及对抗鲁棒性。
2025-09-23 cs.CL
A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
自然语言推理是自然语言理解中一项日益重要的任务,它要求对句子对(前提和假设)之间的关系进行推理。最近,低资源自然语言推理得到了越来越多的关注,由于显着节省人工注释成本和更好地适应现实世界的场景。现有的工作无法表征不同类别之间的区别表示有限的训练数据,这可能会导致错误的标签预测。在这里,我们提出了一个多层次的监督对比学习框架命名为MultiSCL的低资源自然语言推理。MultiSCL利用句子级和句子对级的对比学习目标来区分不同类别的句子对,将一类中的句子对放在一起,并将不同类别中的句子对推开。MultiSCL采用了一个数据增强模块,为输入样本生成不同的视图,以更好地学习潜在表示。从交叉注意模块获得对级表示。我们在低资源环境下对两个公共NLI数据集进行了广泛的实验,MultiSCL的准确率平均超过其他模型3.1%。此外,我们的方法优于以前的国家的最先进的方法在跨领域的文本分类任务。
2022-05-31 cs.CL
Dissecting vocabulary biases datasets through statistical testing and automated data augmentation for artifact mitigation in Natural Language Inference
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对自然语言推理众包数据集的词汇偏差伪影问题,提出统计检验方法发现词汇与蕴涵类别的关联,并设计字符到词级的自动数据增强策略,经ELECTRA模型实验验证可提升准确率并降低偏差。
2023-12-14 cs.CL
Posing Fair Generalization Tasks for Natural Language Inference
Stanford(斯坦福大学)
用于语义的深度学习模型通常使用自然主义语料库进行评估。对抗性方法,即在具有已知语义属性的新示例上评估模型,已经开始揭示,在这些自然主义任务中的良好表现可能隐藏严重的缺点。然而,我们应该坚持这些评估是公平的-模型被给予足够的数据来支持必要的推广。在本文中,我们定义和激励在这个意义上的公平的正式概念。然后,我们将这些想法应用于自然语言推理,构建非常具有挑战性但可证明是公平的人工数据集,并表明标准神经模型无法以所需的方式进行推广;只有共同组成前提和假设的特定于任务的模型才能实现高性能,即使这些模型也不能完美地解决任务。
2019-11-03 cs.CL
ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference
University of Sheffield(谢菲尔德大学);University of Durham(杜伦大学)
神经语言表示模型,如BERT,在大规模非结构化语料库上进行预训练,缺乏对现实世界常识知识的明确基础,并且通常无法记住推理和推断所需的事实。自然语言推理(NLI)是一个具有挑战性的推理任务,它依赖于人类对语言的共同理解和现实世界的常识知识。我们引入了一个新的模型NLI称为外部知识增强BERT(ExBERT),丰富的上下文表示与现实世界的常识知识,从外部知识源,并提高BERT的语言理解和推理能力。ExBERT充分利用从BERT中获得的上下文词表示,并使用它们从知识图谱中检索相关的外部知识,并对检索到的外部知识进行编码。我们的模型自适应地结合了推理输入所需的外部知识背景。在具有挑战性的SciTail和SNLI基准测试上进行的大量实验证明了ExBERT的有效性:与之前的最新技术相比,我们在SciTail上获得了95.9%的准确率,在SNLI上获得了91.5%的准确率。
2021-08-03 cs.CL
Investigating Reasons for Disagreement in Natural Language Inference
The Ohio State University(俄亥俄州立大学);UCLouvain(鲁汶大学)
我们研究如何在自然语言推理(NLI)注释出现分歧。我们开发了一个分类法的分歧来源,10个类别跨越3个高级别的类。我们发现,一些分歧是由于句子意义的不确定性,其他注释者的偏见和任务工件,导致不同的解释的标签分布。我们探讨了两种建模方法来检测项目与潜在的分歧:4路分类与“复杂”的标签,除了三个标准的NLI标签,和多标签分类方法。我们发现,多标签分类是更有表现力,并给出了更好的回忆数据中可能的解释。
2022-09-07 cs.CL
Mining Knowledge for Natural Language Inference from Wikipedia Categories
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Rutgers University(罗格斯大学);University of Chicago(芝加哥大学)
精确的词汇蕴涵(LE)和自然语言推理(NLI)通常需要大量昂贵的注释。为了减轻对标记数据的需求,我们引入了WikiNLI:一个用于提高NLI和LE任务模型性能的资源。它包含428,899对短语,这些短语是从维基百科中自然注释的类别层次结构中构建的。我们表明,我们可以通过在WikiNLI上对BERT和RoBERTa进行预训练并将模型转移到下游任务上来改进强基线。我们与从其他知识库(如WordNet和Wikidata)中提取的短语进行了系统的比较,发现在WikiNLI上进行预训练可以获得最佳性能。此外,我们还用其他语言构建了WikiNLI,并表明对它们进行预训练可以提高相应语言的NLI任务的性能。
2020-10-03 cs.CL
SciNLI: A Corpus for Natural Language Inference on Scientific Text
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
现有的自然语言推理(NLI)数据集虽然有助于自然语言理解(NLU)研究的进步,但与科学文本无关。在本文中,我们介绍了SciNLI,这是一个用于NLI的大型数据集,它捕获了科学文本中的形式,包含从NLP和计算语言学的学术论文中提取的107,412个句子对。鉴于科学文献中使用的文本在词汇和句子结构方面与日常语言中使用的文本有很大不同,我们的数据集非常适合作为评估科学NLU模型的基准。我们的实验表明,SciNLI比现有的NLI数据集更难分类。我们使用XLNet的最佳性能模型的Macro F1得分仅为78.18%,准确率为78.23%,这表明还有很大的改进空间。
2022-03-15 cs.CL
Data and Representation for Turkish Natural Language Inference
Garanti BBVA Technology(Garanti BBVA科技公司);Boğaziçi University(博阿齐奇大学);Stanford University(斯坦福大学)
NLP中的大型注释数据集绝大多数是英语的。这是其他语言取得进展的一个障碍。不幸的是,为每项任务获得每种语言的新注释资源将是非常昂贵的。与此同时,商业机器翻译系统现在也很强大。我们能否利用这些系统自动翻译英语数据集?在本文中,我们提供了一个积极的回应自然语言推理(NLI)在土耳其。我们将两个大型英语NLI数据集翻译成土耳其语,并让一个专家团队验证其翻译质量和对原始标签的忠实度。使用这些数据集,我们解决代表土耳其NLI的核心问题。我们发现,在语言嵌入是必不可少的,可以避免形态分析的训练集是大的。最后,我们证明了在我们的机器翻译数据集上训练的模型在人类翻译的评估集上是成功的。我们公开共享所有代码、模型和数据。
2020-10-20 cs.CL
Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora
Universidad de Jaén(哈恩大学);University of Stuttgart(斯图加特大学)
在文本情感分类中,相关标签集取决于领域和应用场景,并且在模型开发时可能不知道。这与监督学习的经典范例相冲突,在经典范例中,标签需要被预定义。获得具有灵活的标签集合的模型的解决方案是使用零样本学习的范例作为自然语言推理任务,这另外增加了不需要任何标记的训练数据的优点。这提出了如何提示用于零样本学习情感分类的自然语言推理模型的问题。提示公式的选项包括情绪名称愤怒或声明“这段文字表达愤怒”。在本文中,我们分析了如何敏感的自然语言推理为基础的zero-shot学习分类器是这样的变化,以提示下考虑的语料库:如何仔细提示需要选择?我们进行实验的一组情感数据集,根据不同的来源(推文,事件,博客)与三个自然语言推理模型呈现不同的语言寄存器,并表明,确实一个特定的提示制定的选择需要适合语料库。我们表明,这一挑战可以解决多种提示的组合。这样的集合在语料库中比单个提示更鲁棒,并且表现出与特定语料库的单个最佳提示几乎相同的性能。
2022-09-15 cs.CL
Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering
Ohio State University(俄亥俄州立大学)
在本文中,我们分析了几种用于句子对建模的神经网络设计(及其变体),并在八个数据集上广泛比较了它们的性能,包括释义识别,语义文本相似性,自然语言推理和问答任务。尽管这些模型中的大多数都声称具有最先进的性能,但原始论文通常只报告一两个选定的数据集。我们提供了一个系统的研究,并表明(i)通过LSTM编码上下文信息和句子间交互是至关重要的,(ii)Tree-LSTM并没有像之前声称的那样有帮助,但令人惊讶地提高了Twitter数据集的性能,(iii)增强型顺序推理模型是迄今为止最适合较大数据集的模型,而成对词交互模型在可用数据较少时实现了最佳性能。我们将我们的实现作为开源工具包发布。
2018-08-23 cs.CL
Reverse-engineering NLI: A study of the meta-inferential properties of Natural Language Inference
The Centre for Linguistic Theory and Studies in Probability (CLASP), Department of Philosophy, Linguistics and Theory of Science, University of Gothenburg(语言理论与概率研究所以及哲学、语言学和科学理论系,哥德堡大学);Computational Linguistics and Language Technology Lab (UCRC), Department of Philology, University of Crete(计算语言学与语言技术实验室(UCRC),文学系,希腊克里特大学)
本文研究NLI任务的元推理属性,通过分析SNLI数据集中的项目,探讨模型在推理一致性上的表现及数据集所编码的逻辑关系。
2026-01-09 cs.CL
Formal Proofs as Structured Explanations: Proposing Several Tasks on Explainable Natural Language Inference
Institute for Language Sciences Utrecht University(乌得勒支大学语言科学研究所)
本文提出基于语义表方法的推理框架,利用形式证明半自动生成结构化解释,并据此定义可按解释粒度排序难度的自然语言推理任务,以减少现有可解释推理任务的缺陷。
2025-02-06 cs.CL
DR-BiLSTM: Dependent Reading Bidirectional LSTM for Natural Language Inference
Oregon State University(俄勒冈州立大学);Philips Research North America(飞利浦北美研究院)
我们提出了一种新的深度学习架构来解决自然语言推理(NLI)任务。现有的方法大多依赖于简单的阅读机制,独立编码的前提和假设。相反,我们提出了一种新的依赖阅读双向LSTM网络(DR-BiLSTM),以有效地建模编码和推理过程中前提和假设之间的关系。我们还引入了一个复杂的集成策略来结合我们提出的模型,这显着提高了最终的预测。最后,我们演示了如何通过额外的预处理步骤进一步改善结果。我们的评估表明,DR-BiLSTM获得了最佳的单个模型和集成模型结果,在斯坦福NLI数据集上获得了最新的最先进分数。
2018-04-11 cs.CL
Logographic Information Aids Learning Better Representations for Natural Language Inference
Tandon School of Engineering(坦登工程学院);New York University(纽约大学);Courant Institute of Mathematical Sciences(柯朗数学科学研究所)
统计语言模型通常基于词或其他形式单元的上下文分布来实现表示学习,而与书面文本的语标特征相关的任何信息通常被忽略,假设它们应该依赖于共现统计来检索。另一方面,随着语言模型变得更大并且需要更多的数据来学习可靠的表示,这样的假设可能开始回落,特别是在数据稀疏的条件下。许多语言,包括汉语和越南语,使用语标书写系统,其中表面形式表示为较小的字形单位的视觉组织,这些单位通常包含许多语义线索。在本文中,我们提出了一个新的研究,探讨了提供语言模型与语标信息,学习更好的语义表示的好处。我们测试我们的假设,在自然语言推理(NLI)的任务,通过评估的好处计算多模态表示,结合上下文信息与语义信息。我们在六种不同类型和书写系统的语言中的评估结果表明,在具有logograhic系统的语言中使用多模态嵌入具有显着的好处,特别是对于出现统计较少的单词。
2022-11-03 cs.CL
Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University(浙江大学);Fudan University(复旦大学);Westlake University(西湖大学)
自然语言推理是自然语言处理的一项基本任务,它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示,但它们不足以测试长文本的上下文推理,这是人类推理过程的自然部分。我们介绍了ConTRoL,一个新的数据集,用于长文本的上下文推理。ConTRoL由8,325个专家设计的带有黄金标签的“上下文假设”对组成,是一个高级NLI数据集,专注于复杂的上下文推理类型,如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验(言语推理测验),具有专家级质量。与以前的NLI基准相比,ConTRoL中的材料更具挑战性,涉及一系列推理类型。实证结果表明,最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集,例如检查摘要的事实正确性。
2020-11-10 cs.CL
Understanding and Predicting Human Label Variation in Natural Language Inference through Explanation
The Ohio State University(俄亥俄州立大学);University of Chicago(芝加哥大学);UCLouvain(鲁汶大学)
该研究构建了含标注者高亮与解释的 LiveNLI 数据集,用于分析自然语言推理中的人类标签分歧,并揭示 GPT-3 借助思维链上下文学习预测标签分布仍存在不足。
2023-04-24 cs.CL
Dialogue Natural Language Inference
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院);CIFAR Azrieli Global Scholar(CIFAR Azrieli全球学者)
一致性是对话模式面临的一个长期问题。在本文中,我们框架的一致性对话代理的自然语言推理(NLI),并创建一个新的自然语言推理数据集称为对话NLI。我们提出了一种方法,该方法证明了在对话NLI上训练的模型可以用于提高对话模型的一致性,并在一套旨在测量对话模型一致性的评估集上使用人工评估和自动度量来评估该方法。
2019-01-18 cs.AI cs.CL