Reasoning with Natural Language Explanations
Idiap Research Institute(伊迪亚普研究所);University of Manchester(曼彻斯特大学);National Biomarker Centre, CRUK-MI, University of Manchester(英国癌症研究中心曼彻斯特研究所国家生物标志物中心(曼彻斯特大学))
本教程围绕基于解释的自然语言推理(NLI)领域,以解释的认识论-语言学基础为依托,系统介绍相关架构趋势与评估方法,回应该领域兼具的挑战与研究机遇。
2024-10-05 cs.AI cs.CL
Probing the Natural Language Inference Task with Automated Reasoning Tools
Advancing Machine and Human Reasoning (AMHR) Lab(推进机器与人类推理(AMHR)实验室);University of South Florida(南佛罗里达大学)
自然语言推理(NLI)任务是现代NLP中的一项重要任务,因为它提出了一个广泛的问题,许多其他任务可以简化为:给定一对句子,第一个是否包含第二个?虽然NLI的当前基准数据集的最新技术是基于深度学习的,但值得使用其他技术来检查NLI任务的逻辑结构。我们这样做是通过测试如何以及面向机器的控制自然语言(Attempto控制英语)可以用来解析NLI句子,以及如何自动定理证明可以在由此产生的公式的原因。为了提高性能,我们开发了一套语法和语义转换规则。我们报告他们的表现,并讨论NLI和基于逻辑的NLP的影响。
2020-05-06 cs.AI cs.CL cs.SC
Agree, Disagree, Explain: Decomposing Human Label Variation in NLI through the Lens of Explanations
Faculty of Computer Science, UniVie(维也纳大学计算机科学系);Doctoral School Computer Science, Faculty of Philological and Cultural Studies, University of Vienna, Austria(维也纳大学哲学与文化研究系计算机科学博士学院);MaiNLP, Center for Information and Language Processing, LMU Munich, Germany(慕尼黑大学信息与语言处理中心MaiNLP);Munich Center for Machine Learning, Germany(慕尼黑机器学习中心);FNRS, CENTAL, UCLouvain, Belgium(比利时列日大学FNRS、CENTAL)
本文通过分析解释视角,探讨自然语言推理中人类标注变异的多样性,揭示标注者在推理类别和标签上的分歧,强调推理类别一致性比标签一致性更能反映解释的语义相似性。
2026-04-20 cs.CL
Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University(浙江大学);Fudan University(复旦大学);Westlake University(西湖大学)
自然语言推理是自然语言处理的一项基本任务,它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示,但它们不足以测试长文本的上下文推理,这是人类推理过程的自然部分。我们介绍了ConTRoL,一个新的数据集,用于长文本的上下文推理。ConTRoL由8,325个专家设计的带有黄金标签的“上下文假设”对组成,是一个高级NLI数据集,专注于复杂的上下文推理类型,如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验(言语推理测验),具有专家级质量。与以前的NLI基准相比,ConTRoL中的材料更具挑战性,涉及一系列推理类型。实证结果表明,最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集,例如检查摘要的事实正确性。
2020-11-10 cs.CL
NLI under the Microscope: What Atomic Hypothesis Decomposition Reveals
University of Maryland, College Park(马里兰大学帕克分校)
本文利用原子假设分解将NLI和可废止NLI任务拆分为原子子问题,以探究模型逻辑一致性,发现LLM在此类细粒度推理上仍存在困难,并提出衡量模型推理一致性的新指标。
2025-03-07 cs.CL
Generating Intermediate Steps for NLI with Next-Step Supervision
Singapore University of Technology and Design(新加坡科技设计大学);IIT Kharagpur(印度理工学院卡拉格普尔分校);Microsoft(微软)
自然语言推理(NLI)任务通常需要通过多个步骤进行推理才能得出结论。虽然生成这些中间步骤(而不是摘要解释)的必要性已获得普遍支持,但不清楚如何在没有完整的端到端监督的情况下生成这些步骤,以及如何进一步利用这些生成的步骤。在这项工作中,我们训练一个序列到序列模型,在给定NLI前提和假设对(以及之前的步骤)的情况下,只生成下一个步骤;然后用外部知识和符号搜索来增强它,生成中间步骤,只有下一个步骤的监督。我们通过自动化和人工验证来证明这些生成步骤的正确性。此外,我们表明,这种生成的步骤可以帮助提高端到端的NLI任务的性能,使用简单的数据增强策略,在多个公共NLI数据集。
2022-08-31 cs.AI cs.CL
Rethinking STS and NLI in Large Language Models
MBZUAI(穆罕默德·本·扎耶德人工智能大学);LibrAI;Monash University(莫纳什大学)
本文重新审视大型语言模型在语义文本相似性和自然语言推理任务中的表现,指出其受限于低资源领域准确性、过度自信及难以捕捉人类分歧,并评估了模型在临床生物医学领域的性能与置信度。
2024-02-04 cs.CL
Inferring Latent Intentions: Attributional Natural Language Inference in LLM Agents
University of Manchester(曼彻斯特大学);University of Sheffield(谢菲尔德大学);Idiap Research Institute(Idiap研究 institute);National Biomarker Centre, CRUK-MI, University of Manchester(国家生物标志物中心,CRUK-MI,曼彻斯特大学)
本文提出归因性NLI框架,通过文本游戏实验展示其在多智能体环境中提升LLM推理能力的潜力。
2026-01-13 cs.CL
NLI4CT: Multi-Evidence Natural Language Inference for Clinical Trial Reports
University of Manchester(曼彻斯特大学);Cancer Research UK Manchester Institute(英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap研究所)
本文提出NLI4CT语料库,包含2400条陈述与临床试验报告,用于多证据自然语言推理,通过预测陈述与报告间的推理关系并检索支持事实,揭示现有NLI模型在生物医学领域的不足(最高F1为0.627)。
2023-10-28 cs.AI cs.CL cs.LG
Improving Natural Language Inference Using External Knowledge in the Science Questions Domain
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
自然语言推理(NLI)是许多自然语言处理(NLP)应用(包括语义搜索和问答)的基础。由于大规模、具有挑战性的数据集的发布,NLI问题得到了极大的关注。目前的解决方法主要集中在基于学习的方法,只使用文本信息,以分类是否一个给定的前提需要,矛盾,或相对于一个给定的假设是中性的。令人惊讶的是,使用基于结构化知识的方法--人工智能的一个中心主题--在NLI问题上并没有得到太多的关注。虽然有许多开放的知识库,包含各种类型的推理信息,它们的使用NLI还没有得到很好的探索。为了解决这个问题,我们提出了一个技术的组合,利用知识图谱,以提高性能的NLI问题的科学问题域。我们提出了我们的技术应用于文本,图形和文本到图形为基础的模型的结果,并讨论了使用外部知识解决NLI问题的影响。我们的模型在SciTail科学问题数据集上实现了NLI问题的最新性能。
2018-11-20 cs.AI cs.CL cs.LG
No Strong Feelings One Way or Another: Re-operationalizing Neutrality in Natural Language Inference
Advancing Machine and Human Reasoning (AMHR) Lab(机器与人类推理推进(AMHR)实验室);University of South Florida(南佛罗里达大学)
该研究指出当前自然语言推理(NLI)数据集中中立标签操作化存在有效性低、解读不一致等缺陷,会损害下游任务性能,呼吁构建更完善的NLI评估框架。
2023-06-16 cs.AI cs.CL
NL-Eye: Abductive NLI for Images
Technion - IIT(以色列理工学院);Google Research(谷歌研究院)
本文提出NL-Eye基准,将溯因自然语言推理任务扩展到视觉领域,通过350个三元组示例评估视觉语言模型的视觉溯因推理能力,实验表明现有模型表现接近随机水平,揭示了其在多模态推理上的不足。
2024-10-03 cs.AI cs.CL cs.CV
Supporting Context Monotonicity Abstractions in Neural NLI Models
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
自然语言语境显示了关于相关概念替换的逻辑冲突:这些被捕获在称为单调性的函数序理论属性中。对于某一类NLI问题,其中所产生的蕴涵标签仅取决于上下文单调性和替代概念之间的关系,我们建立在以前的技术,旨在提高这些问题的NLI模型的性能,因为即使对于最先进的模型,在向上和向下单调的上下文中的一致性能似乎仍然很难达到。为此,我们重新定义了上下文单调性分类的问题,使其与基于transformer的预训练NLI模型兼容,并将此任务添加到训练管道中。此外,我们介绍了一个健全的和完整的简化单调性逻辑形式主义,它描述了我们的处理上下文作为抽象单位。使用我们的形式主义中的概念,我们适应有针对性的挑战集,以调查是否中间上下文单调性分类任务可以帮助NLI模型的表现表现单调性推理的例子。
2021-05-17 cs.CL cs.LG
FZI-WIM at SemEval-2024 Task 2: Self-Consistent CoT for Complex NLI in Biomedical Domain
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
该研究提出面向生物医学临床试验 NLI 的自洽 CoT 推理系统,通过同提示采样多条推理链并多数投票,在 SemEval-2024 任务 2 中取得领先成绩并开源代码与数据。
2024-06-14 cs.AI cs.CL
Partial-input baselines show that NLI models can ignore context, but they don't
University of Maryland, College Park(马里兰大学帕克分校)
当强大的部分输入基线揭示了众包NLI数据集中的伪影时,在这些数据集上训练的全输入模型的性能通常被认为依赖于虚假的相关性。我们调查国家的最先进的NLI模型是否能够覆盖默认的部分输入基线的推断。我们引入了一个评估集的600个例子组成的扰动的前提,以检查一个RoberTa模型的敏感性编辑的上下文。我们的研究结果表明,NLI模型仍然能够学习以上下文为条件-推理推理的必要组成部分-尽管是在伪影缠身的数据集上训练的。
2022-05-24 cs.CL
Interactive Model with Structural Loss for Language-based Abductive Reasoning
Hebei University of Technology(河北工业大学);West Virginia University(西弗吉尼亚大学)
溯因自然语言推理任务($α$ NLI)被提出来推断原因和事件之间的最合理的解释。在$α$ NLI任务中,给出两个观察结果,并要求从候选者中挑选出最合理的假设。现有的方法分别对每个候选假设之间的关系建模,并统一惩罚推理网络。在本文中,我们认为没有必要区分正确的假设之间的推理能力;同样,所有错误的假设都有助于解释观察的原因。因此,我们建议在本文中将假设分组而不是排序,并设计一种称为“联合softmax焦点损失”的结构损失。基于观察到的假设一般是语义相关的,我们设计了一种新的交互式语言模型,旨在利用竞争的假设之间的丰富的互动。我们将这个新模型命名为$α$ NLI:具有结构损失的交互模型(IMSL)。实验结果表明,我们的IMSL在RoBERTa-large预训练模型上取得了最高的性能,ACC和AUC结果分别提高了约1%和5%。
2022-12-20 cs.AI cs.CL
Explaining Textual Entailment with Lexical Entailments: Using LLMs to Supply Lexical Relations for Formal Proofs
本文评估LLM在逻辑NLI系统中提供词汇蕴含的能力,发现其生成关系部分合理且贡献有限,任务仍具挑战性。
2026-09-29 cs.AI cs.CL
TaxiNLI: Taking a Ride up the NLU Hill
Microsoft Research India(微软印度研究院);Google Research(谷歌研究院);University of Richmond(里士满大学)
经过预训练的基于transformer的神经架构在自然语言推理(NLI)任务中始终实现了最先进的性能。由于NLI示例包含各种语言、逻辑和推理现象,因此仍不清楚训练系统学习了哪些特定概念,以及它们在哪里可以实现强大的泛化。为了研究这个问题,我们提出了一个分类层次的类别,是相关的NLI任务。我们引入TAXINLI,一个新的数据集,它有来自MNLI数据集的10 k个例子(Williams等人,2018年)与这些分类标签。通过对TAXINLI的各种实验,我们观察到,尽管SOTA神经模型在某些分类类别上已经达到了近乎完美的准确度--比以前的模型有了很大的飞跃--但有些类别仍然很困难。我们的工作增加了越来越多的文献,通过系统地介绍和分析推理类别,显示了当前NLI系统和数据集的差距。
2020-10-09 cs.AI cs.CL
Estimating the Causal Effects of Natural Logic Features in Neural NLI Models
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
本文通过因果效应估计方法,在NLI任务中系统分析上下文干预和词对干预对模型蕴含判断的影响,构建模型在鲁棒性与敏感性方面的比较画像。
2023-05-15 cs.CL
Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学)
自然语言推理(NLI)需要模型来学习和应用常识知识。这些推理能力对于可解释的NLI系统特别重要,该系统除了其标签预测之外还生成自然语言解释。外部知识的整合已被证明可以改善NLI系统,在这里,我们调查它是否也可以提高他们的解释能力。为此,我们调查了不同的外部知识来源,并评估了我们的模型在域内数据以及旨在评估细粒度推理能力的特殊传输数据集上的性能。我们发现不同的知识来源对推理能力有不同的影响,例如,存储在语言模型中的隐性知识会阻碍对数字和否定的推理。最后,我们进行了迄今为止规模最大,粒度最细的可解释的NLI众包研究。它表明,即使是在自动性能分数的巨大差异并不反映在标签,解释,常识或语法正确性的人的评级。
2021-10-13 cs.CL cs.HC
SpaceNLI: Evaluating the Consistency of Predicting Inferences in Space
Utrecht University(乌得勒支大学);Institute for Language Sciences(语言科学研究所)
本文提出空间推理数据集 SpaceNLI,并引入模式准确率指标,发现现有 NLI 系统在空间推理上表现中等且缺乏模式一致性,其中非投射性空间推理最具挑战性。
2023-07-05 cs.CL
Leveraging Data Recasting to Enhance Tabular Reasoning
IIIT Hyderabad(印度海得拉巴国际信息技术学院);Google Research(谷歌研究院);University of Utah(犹他大学)
创建具有挑战性的表格推理数据对于学习复杂推理至关重要。以前的工作主要依赖于两种数据生成策略。第一种是人工注释,它产生语言多样的数据,但难以扩展。第二类创造是合成发电,这是可扩展的,成本效益高,但缺乏创造性。在这项研究中,我们提出了一个框架,半自动重铸现有的表格数据,利用这两种方法的好处。我们利用我们的框架,建立表格NLI实例,从五个数据集,最初打算像table 2 text创建,表格Q/A,和语义解析的任务。我们证明,重铸的数据可以作为评估基准,以及增强数据,以提高性能的表格NLI任务。此外,我们还研究了在zero-shot场景中对重铸数据进行训练的模型的有效性,并分析了不同重铸数据集类型的性能趋势。
2022-11-23 cs.AI cs.CL cs.IR
Can neural networks understand monotonicity reasoning?
RIKEN(理化学研究所);Ochanomizu University(御茶水女子大学);Tohoku University(东北大学);University of Groningen(格罗宁根大学)
单调性推理是任何智能自然语言推理(NLI)模型的重要推理技巧之一,因为它需要捕获词汇和句法结构之间的交互的能力。由于没有测试集已经开发的单调性推理的覆盖面广,它仍然是不清楚的神经模型是否可以执行单调性推理以适当的方式。为了研究这个问题,我们引入了单调蕴涵数据集(MED)。最先进的NLI模型在新的测试集上的表现要差得多,低于55%,特别是在向下推理方面。此外,使用单调性驱动的数据增强方法进行的分析表明,这些模型在向上和向下推理中的泛化能力可能有限。
2019-06-27 cs.CL
Multi-Perspective Inferrer: Reasoning Sentences Relationship from Holistic Perspective
Nanjing University(南京大学);National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Collaborative Innovation Center of Novel Software Technology and Industrialization(软件新技术与产业化协同创新中心)
自然语言推理(NLI)旨在确定逻辑关系(即,蕴涵,中性和矛盾)之间的前提和假设。最近,对准机构通过捕获对准的部分(即,句对中的“相似段”,隐含着蕴涵和矛盾的视角。然而,这些对齐的部分有时会误导中立关系的判断。直觉上,NLI应该更多地依靠多个视角,形成一个整体的观点,以消除偏见。在本文中,我们提出了多角度Inferrer(MPI),一种新的NLI模型,原因从多个角度与三个关系的关系。MPI通过协议路由策略确定句子不同部分的观点,并从整体角度做出最终决定。此外,我们引入了一个辅助监督信号,以确保MPI学习预期的观点。在SNLI和MultiNLI上的实验表明:1)MPI在基本模型的基础上实现了实质性的改进,验证了多视角推理的动机; 2)可视化证据验证了MPI能够按照预期学习到高度可解释的视角; 3)更重要的是,MPI与强大的BERT是无架构的,并且兼容。
2019-11-09 cs.CL
When Does Meaning Backfire? Investigating the Role of AMRs in NLI
Georgetown University(乔治城大学);Amherst College(阿默斯特学院)
本研究探究在自然语言推理中引入抽象意义表示(AMR)的影响,发现微调时AMR阻碍泛化,提示时虽有小幅提升但源于表面差异放大,可能误导模型误判非蕴含。
2025-09-24 cs.CL
Let's CONFER: A Dataset for Evaluating Natural Language Inference Models on CONditional InFERence and Presupposition
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
本文提出CONFER数据集,通过评估四个NLI模型及多款LLM在零样本、少样本条件下的表现,揭示模型在条件句预设推理上的不足。
2025-06-06 cs.CL
EQUATE: A Benchmark Evaluation Framework for Quantitative Reasoning in Natural Language Inference
Carnegie Mellon University(卡内基梅隆大学)
定量推理是一种高阶推理技能,任何智能自然语言理解系统都可以合理地处理。我们提出了EQUATE(Evaluating Quantitative Understanding Aptitude in Textual Entailment),一个新的文本蕴涵定量推理框架。我们对9个已发表的NLI模型在EQUATE上的性能进行了基准测试,发现平均而言,最先进的方法并没有在大多数类基线上实现绝对的改进,这表明它们并没有隐式地学习用数量进行推理。我们建立了一个新的基线Q-REAS,象征性地操纵数量。与表现最好的NLI模型相比,它在数字推理测试中取得了成功(+24.2%),但语言推理能力有限(-8.1%)。我们希望我们的评估框架将支持语言理解中定量推理模型的发展。
2019-10-27 cs.CL
Knowledge-Enhanced Evidence Retrieval for Counterargument Generation
Carnegie Mellon University(卡内基梅隆大学);KAIST(韩国科学技术院);Sungkyunkwan University(成均馆大学);University of Dundee(邓迪大学)
寻找反证是许多任务的关键,包括反驳生成。我们建立了一个系统,给定一个声明,检索反证从不同的来源在Web上。该系统的核心是一个自然语言推理(NLI)模型,用于确定候选句子是否是有效的反证。然而,大多数NLI模型,到目前为止,缺乏适当的推理能力,需要找到反证,涉及复杂的推理。因此,我们提出了一个知识增强的NLI模型,旨在处理因果关系和基于实例的推理,将知识图谱。我们的NLI模型优于NLI任务的基线,特别是对于需要有针对性的推理的实例。此外,该NLI模型进一步改进了反证检索系统,特别是更好地发现复杂反证。
2021-09-19 cs.CL
LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference
MaiNLP, Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心 MaiNLP);Munich Center for Machine Learning(慕尼黑机器学习中心);FNRS, CENTAL, UCLouvain(比利时法语区科学研究基金、鲁汶大学自然语言处理中心);Faculty of Computer Science and UniVie Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学学院与维也纳大学计算机科学博士学院)
针对NLI中标签内变异被忽视的问题,提出语言学分类体系LITEX,用于分类自由文本解释,并证明基于该分类引导的解释生成更接近人类解释。
2025-10-08 cs.CL
Semantic Sensitivities and Inconsistent Predictions: Measuring the Fragility of NLI Models
University of Copenhagen(哥本哈根大学)
该研究针对NLI模型对保语义微小表层变化敏感、预测不一致的问题,提出基于对抗生成样本的语义敏感性衡量框架,发现其会导致域内外性能显著下降,揭示了现有NLI模型的脆弱性。
2024-01-31 cs.AI cs.CL cs.CY
SEA-NLI: Natural Language Inference as a Lens into Southeast Asian Cultural Understanding
Chulalongkorn University(朱拉隆功大学);AI Singapore(新加坡人工智能机构);MBZUAI(穆罕默德·本·扎耶德人工智能大学);VISTEC(泰国国家科学技术发展局国家科学技术研究院)
提出SEA-NLI基准,通过自然语言推理评估模型对东南亚文化的理解,发现现有模型表现不佳,文化适应和提示可提升性能。
2026-06-02 cs.CL
NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance
Basement AI;University of Gothenburg(哥德堡大学);University of Helsinki(赫尔辛基大学)
预训练的神经语言模型在自然语言推理(NLI)任务上具有高性能。但他们是否真的理解处理过的序列的含义仍不清楚。我们提出了一个新的诊断测试套件,它允许评估数据集是否构成一个很好的测试平台,用于评估模型的意义理解能力。我们专门将受控腐败转换应用于广泛使用的基准测试(MNLI和ANLI),这涉及删除整个单词类,并经常导致无意义的句子对。如果受损数据的模型准确性仍然很高,那么数据集可能包含指导预测的统计偏差和伪影。然而,模型精度的大幅下降表明原始数据集对模型的推理能力提出了适当的挑战。因此,我们提出的控制可以作为一个碰撞测试,为NLI任务开发高质量的数据。
2021-04-10 cs.CL
Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
University of Manchester(曼彻斯特大学);National Biomarker Centre, CRUK-MI, University of Manchester(曼彻斯特大学国家生物标志物中心,英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap 研究所)
本文针对基于 Transformer 的 NLI 模型,利用因果效应估计和干预实验分析自然逻辑特征,揭示相近基准准确率背后的行为差异及单调性、否定相关偏差。
2024-04-03 cs.CL
MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference
Utrecht Institute of Linguistics OTS(乌得勒支语言研究所OTS)
提出MERGE测试,通过最小表达式替换(MERE)生成高质量变体,评估NLI模型在非对抗性变体上的泛化能力,发现LLM和微调模型泛化较差。
2026-10-02 cs.CL
Probing Natural Language Inference Models through Semantic Fragments
Allen Institute for AI(艾伦人工智能研究所);Indiana University(印第安纳大学)
最先进的语言理解模型是否已经具有或能够容易地学习布尔协调、量化、条件句、比较句和单调性推理(即,在上下文中进行词替换的推理)?虽然这种现象涉及自然语言推理(NLI),并超出了基本的语言理解,目前还不清楚他们在现有的NLI基准捕捉和有效地学习模型的程度。为了研究这一点,我们建议使用语义片段-系统生成的数据集,每个数据集针对不同的语义现象-用于探测和有效地提高语言模型的这种能力。这种创建挑战数据集的方法允许直接控制目标语言现象的语义多样性和复杂性,并导致模型语言行为的更精确表征。我们的实验,使用8个这样的语义片段的库,揭示了两个显着的发现:(a)国家的最先进的模型,包括BERT,这是预先训练的现有NLI基准数据集在这些新的片段表现不佳,即使这里探讨的现象是NLI任务的核心。(b)另一方面,只需几分钟的额外微调-通过精心选择的学习率和新的“接种”变体-基于BERT的模型可以掌握所有这些逻辑和单调性片段,同时保持其在已建立的NLI基准上的性能。
2019-12-02 cs.CL
Decomposing Natural Logic Inferences in Neural NLI
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap 研究所)
本文通过探测多种神经 NLI 模型的中间语境嵌入,发现高分模型对自然逻辑所需单调性特征编码较弱,而相关微调改进可增强该特征并提升挑战集表现。
2023-11-08 cs.CL
Exploring Factual Entailment with NLI: A News Media Study
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出新型事实蕴涵标注方案FactRel并构建新闻句对数据集,发现事实关系与NLI关系存在显著差异,验证了GPT-4合成数据、小样本学习在该任务上的有效性,揭示任务对世界知识与推理能力的双重依赖。
2024-06-24 cs.CL
Learning Proposition-Level Links from Sentence-Level Supervision for Neuro-Symbolic NLI
University College London(伦敦大学学院)
该研究针对神经符号NLI,提出可训练原子链接器,从句子级监督学习命题级链接,在SNLI、SICK、MNLI等数据集上较基线及固定链接器系统实现显著准确率提升。
2026-10-15 cs.CL
XAI-enhanced Comparative Opinion Mining via Aspect-based Scoring and Semantic Reasoning
VNU University of Engineering(越南工程大学);Singapore Management University(新加坡管理大学);Centre Hospitalier Universitaire Vaudois(瓦乌多大学医院);University of Lausanne(洛桑大学)
本文提出XCom模型,通过基于方面的评分和语义推理提升比较性意见挖掘的可解释性与性能。
2026-03-01 cs.CL
ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference
University of Sheffield(谢菲尔德大学);University of Durham(杜伦大学)
神经语言表示模型,如BERT,在大规模非结构化语料库上进行预训练,缺乏对现实世界常识知识的明确基础,并且通常无法记住推理和推断所需的事实。自然语言推理(NLI)是一个具有挑战性的推理任务,它依赖于人类对语言的共同理解和现实世界的常识知识。我们引入了一个新的模型NLI称为外部知识增强BERT(ExBERT),丰富的上下文表示与现实世界的常识知识,从外部知识源,并提高BERT的语言理解和推理能力。ExBERT充分利用从BERT中获得的上下文词表示,并使用它们从知识图谱中检索相关的外部知识,并对检索到的外部知识进行编码。我们的模型自适应地结合了推理输入所需的外部知识背景。在具有挑战性的SciTail和SNLI基准测试上进行的大量实验证明了ExBERT的有效性:与之前的最新技术相比,我们在SciTail上获得了95.9%的准确率,在SNLI上获得了91.5%的准确率。
2021-08-03 cs.CL
Enhancing Robustness in Biomedical NLI Models: A Probing Approach for Clinical Trials
National University of Computer & Emerging Sciences(国家计算机与新兴科学大学)
本研究通过记忆探针分析Sci-five模型在临床试验蕴含任务中的特征学习,并利用迭代零空间投影微调,提升了模型鲁棒性和准确性。
2024-02-04 cs.CL cs.LG
ViLegalNLI: Natural Language Inference for Vietnamese Legal Texts
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
本文提出ViLegalNLI,首个针对法律领域构建的越南语自然语言推理数据集,包含42,012个前提-假设对,涵盖多种法律领域,用于评估法律推理的结构逻辑与术语一致性。
2026-04-30 cs.AI cs.CL cs.LG
Atomic-SNLI: Fine-Grained Natural Language Inference through Atomic Fact Decomposition
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Atomic-SNLI通过原子事实分解提升细粒度自然语言推理,通过构建新数据集增强模型的原子级推理能力。
2026-01-10 cs.AI cs.CL
Are Natural Language Inference Models IMPPRESsive? Learning IMPlicature and PRESupposition
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
自然语言推理(NLI)是自然语言理解中越来越重要的任务,它要求人们推断一个句子是否包含另一个句子。然而,NLI模型进行语用推理的能力仍然研究不足。我们创建了一个IMplicature和PRESupposition诊断数据集(IMPPRES),由超过25k个半自动生成的句子对组成,这些句子对说明了经过充分研究的语用推理类型。我们使用IMPPRES来评估在MultiNLI上训练的BERT、InferSent和BOW NLI模型(Williams等人,2018年,学习实用推理。虽然MultiNLI似乎包含很少的对说明这些推理类型,我们发现,BERT学会了语用推理。它可靠地将由“一些”触发的等级含义视为蕴涵。对于一些预设触发器,如“only”,BERT可靠地将预设识别为蕴涵,即使触发器被嵌入在蕴涵取消算子(如否定)下。BOW和Infersent显示出较弱的语用推理证据。我们的结论是,NLI训练鼓励模型学习一些,但不是所有的,语用推理。
2020-07-14 cs.CL
Generating Hypothetical Events for Abductive Inference
Heidelberg University(海德堡大学)
溯因推理从一些观察开始,旨在为这些观察找到最合理的解释。为了进行溯因推理,人类经常利用时间和因果推理,以及关于某些假设情况如何导致不同结果的知识。这项工作提供了第一个研究,这些知识如何影响外展NLI任务-这包括选择更可能的解释给定的意见。我们训练一个专门的语言模型LMI,它的任务是从一个给定事件演变而来的假设场景中生成接下来可能发生的事情。然后,我们提出了一个多任务模型MTL来解决外展NLI任务,它通过以下方式预测一个合理的解释:a)考虑候选假设中出现的不同可能事件-由LMI生成的事件-以及b)选择与观察结果最相似的事件。我们表明,我们的MTL模型比之前的香草预训练LM更好,这些LM在外展NLI上进行了微调。我们的人工评估和分析表明,从不同的假设场景中学习可能的下一个事件支持溯因推理。
2021-06-07 cs.AI cs.CL
WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Southern California(南加州大学)
大规模众包NLP数据集的一个反复出现的挑战是,人类作者在制作示例时经常依赖重复的模式,导致缺乏语言多样性。我们介绍了一种基于工人和AI协作的数据集创建新方法,该方法将语言模型的生成能力和人类的评估能力结合在一起。从一个现有的数据集,MultiNLI的自然语言推理(NLI),我们的方法使用数据集制图自动识别的例子,证明具有挑战性的推理模式,并指示GPT-3组成新的例子与类似的模式。然后机器生成的示例会自动过滤,最后由人类众包工作者进行修改和标记。由此产生的数据集WANLI由107,885个NLI示例组成,并在现有的NLI数据集上呈现出独特的经验优势。值得注意的是,与在4倍大的MultiNLI上训练相比,在WANLI上训练模型可以提高我们考虑的8个域外测试集的性能,包括在HANS上提高11%,在对抗性NLI上提高9%。此外,它仍然比其他NLI数据集增强的MultiNLI更有效。我们的研究结果证明了利用自然语言生成技术和重新想象人类在数据集创建过程中的作用的前景。
2022-11-15 cs.CL
Empowering Language Understanding with Counterfactual Reasoning
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
目前的语言理解方法已经证明了通过机器学习识别文本中模式的非凡能力。然而,现有的方法在测试阶段不加区别地使用与具有反事实思维的我们人类固有不同的识别模式,例如,仔细检查那些难以检测的样本受此启发,我们提出了一个反事实推理模型,它通过从少量的反事实样本中学习来模仿反事实思维。特别是,我们设计了一个生成模块,为每个事实样本生成代表性的反事实样本,和一个回顾模块,通过比较反事实和事实样本来回顾模型预测。在情感分析(SA)和自然语言推理(NLI)上的大量实验验证了该方法的有效性。
2021-06-06 cs.AI cs.CL
SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所);Cancer Research UK Manchester Institute(英国癌症研究院曼彻斯特研究所)
本文介绍SemEval-2023任务7(NLI4CT),包含临床试验数据的蕴含与证据选择两个子任务,发现增加模型参数比生物医学预训练更有效,并公开了数据集和结果。
2023-05-11 cs.AI cs.CL cs.LG
Developmental Negation Processing in Transformer Language Models
University of South Florida(南佛罗里达大学)
使用否定的推理对于基于转换器的语言模型来说是困难的。虽然之前的研究已经使用心理语言学工具来探讨Transformer推理否定的能力,但没有人关注发展心理学中研究的否定类型。我们探讨如何以及Transformers可以处理这些类别的否定,通过框架的问题作为一个自然语言推理(NLI)的任务。我们从流行的NLI数据集中为我们的目标类别策划了一组诊断问题,并评估了一套模型对它们的推理能力。我们发现,模型只在某些类别上表现得更好,这表明它们在处理方式上有明显的区别。
2022-04-29 cs.CL
IndoNLI: A Natural Language Inference Dataset for Indonesian
Universitas Indonesia(印度尼西亚大学);Kata.ai Research(Kata.ai研究院);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of St Andrews(圣安德鲁斯大学);Amazon(亚马逊)
我们提出了IndoNLI,第一个人类引起的NLI数据集印度尼西亚。我们采用了MNLI的数据汇集协议,并收集了近18 K的句子对人群工作人员和专家的注释。专家注释的数据专门用作测试集。它的目的是提供一个具有挑战性的测试台,印尼NLI明确纳入各种语言现象,如数字推理,结构变化,成语,或时间和空间推理。实验结果表明,XLM-R在我们的数据中优于其他预训练模型。专家注释数据的最佳性能仍然远低于人类性能(13.4%的准确率差距),这表明该测试集特别具有挑战性。此外,我们的分析表明,我们的专家注释的数据更多样化,包含更少的注释工件比人群注释的数据。我们希望这个数据集可以帮助加快印度尼西亚NLP研究的进展。
2021-10-27 cs.CL
Towards Question Format Independent Numerical Reasoning: A Set of Prerequisite Tasks
Arizona State University(亚利桑那州立大学);Microsoft Research(微软研究院)
数字推理对于准确理解世界通常很重要。最近,已经提出了几种格式特定的数据集,例如自然语言推理(NLI),阅读理解(RC)和问答(QA)设置中的数值推理。针对这些数据集,还提出了几种特定格式的模型和架构。然而,在执行与问题格式无关的数值推理时,存在对可以评估模型能力的基准的强烈需求,因为(i)我们想要教导的数值推理能力不受问题格式控制,(ii)对于数值推理技术具有最佳可能应用,它必须能够以不排他于单一格式的方式处理语言和推理,任务、数据集或域。为了实现这一目标,我们引入了NUMBERGAME,这是一个多方面的基准测试,用于评估八种不同格式的数值推理任务的模型性能。我们在编译中添加了四种现有的问题类型。我们增加的两种新类型是关于需要外部数字知识,常识知识和领域知识的问题。为了构建一个更实用的数值推理系统,NUMBERGAME需要四个能力超越数值推理:(i)检测问题格式直接从数据(ii)找到中间的共同格式,每一个格式可以转换(iii)纳入常识知识(iv)处理数据格式之间的不平衡。我们建立了几个基线,包括一个基于使用备忘单的知识搜索的新模型。然而,与人类基线相比,所有基线的表现都很差,这表明我们的基准测试很难。我们的工作推进了通用系统开发的最新进展,展示了这些未充分探索的任务的范围。
2020-05-18 cs.AI cs.CL cs.LG
Collecting Diverse Natural Language Inference Problems for Sentence Representation Evaluation
Johns Hopkins University(约翰斯·霍普金斯大学);BITS Pilani, Goa Campus(贝拉理工学院皮拉尼分校果阿校区);Brown University(布朗大学);University of Rochester(罗切斯特大学)
我们提出了一个大规模的收集不同的自然语言推理(NLI)数据集,帮助提供洞察如何以及一个句子表示捕捉不同类型的推理。收集结果从重铸13个现有的数据集从7个语义现象到一个共同的NLI结构,导致超过50万个标记的上下文假设对。我们将我们的集合称为DNC:多样自然语言推理集合。DNC可在https://www.decomp.net上在线获得,并将随着时间的推移而增长,因为其他资源将从新的来源重新铸造和添加。
2018-08-29 cs.CL
Multi-Granularity Reasoning for Natural Language Inference
University of Science and Technology of China(中国科学技术大学)
提出多粒度推理网络(MGRN),通过分层语义特征交互模拟人类认知过程,在多个基准上超越强基线模型。
2026-06-23 cs.AI cs.CL
SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所);CRUK-MI(英国癌症研究中心曼彻斯特研究所);National Biomarker Centre(国家生物标志物中心)
本文介绍 SemEval-2024 任务 2,通过改进的 NLI4CT-P 数据集评测 LLM 的干预与因果推理能力,并汇总参赛系统结果,以提升医疗 NLI 的安全性和鲁棒性。
2024-04-07 cs.AI cs.CL