Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference
Purdue University（普渡大学）
自然语言推理（NLI）或文本蕴涵识别（RTE）是预测一对句子（前提和假设）之间的蕴涵关系的任务。这项任务已被描述为一个有价值的测试场的语义表示的发展，是自然语言理解评估基准的关键组成部分。理解蕴涵的模型应该对前提和假设都进行编码。然而，Poliak等人的实验揭示了这些模型对仅在假设中观察到的模式的强烈偏好，基于10个数据集的比较。他们的研究结果表明，假设中存在统计不规则性，使模型与最先进的模型竞争。虽然重铸数据集由于最少的人为干预而提供了大规模的NLI实例生成，但生成它们的论文并没有提供对可能使NLI模型产生偏差的潜在统计模式的细粒度分析。在这项工作中，我们分析了在Poliak等人提供的一个重铸数据集上训练的仅假设模型。我们的研究结果表明，存在潜在的词汇偏见，可能有助于膨胀的模型性能。
2021-01-22 cs.CL
Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI Research（Meta人工智能研究院）
评估解释的可信性是出于信任、可解释性和诊断模型错误的原因。在这项工作中，它专注于NLI任务，我们介绍了通过反事实的忠实的方法，它首先生成一个反事实的假设的基础上的逻辑谓词表示的解释，然后评估模型的预测是否与反事实的表达逻辑一致（即，如果新的公式是\textit{logically satisfiable}）。与现有方法相比，这不需要对训练单独的验证模型进行任何解释。我们首先验证自动反事实假设生成的有效性，利用Few-Shot启动范式。接下来，我们表明，我们提出的度量区分人类模型的协议和新的反事实输入的分歧。此外，我们进行了敏感性分析，以验证我们的指标是敏感的不忠实的解释。
2022-05-25 cs.CL
Learning to Infer from Unlabeled Data: A Semi-supervised Learning Approach for Robust Natural Language Inference
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
自然语言推理（NLI）或识别文本蕴涵（RTE）的目的是预测一对句子（前提和假设）之间的关系是蕴涵、矛盾还是语义独立。尽管近年来深度学习模型在NLI方面表现出了良好的性能，但它们依赖于大规模昂贵的人工注释数据集。半监督学习（SSL）是一种流行的技术，通过利用未标记的数据进行训练来减少对人类注释的依赖。然而，尽管它在单句分类任务上取得了巨大的成功，其中使用未标记数据的挑战是分配“足够好”的伪标签，但对于NLI任务，未标记数据的性质更加复杂：数据中缺少一个句子（通常是假设）以及类标签，需要人工注释，这使得NLI的SSL更具挑战性。在本文中，我们提出了一种新的方法，将未标记的数据在SSL的NLI，我们使用一个条件语言模型，BART生成的假设为未标记的句子（用作前提）。我们的实验表明，我们的SSL框架成功地利用未标记的数据，并大大提高了四个NLI数据集在低资源设置的性能。我们在https://github.com/msadat3/SSL_for_NLI上发布代码。
2022-11-05 cs.CL
AMR4NLI: Interpretable and robust NLI measures from semantic graphs
Heidelberg University（海德堡大学）；Georgetown University（乔治城大学）
该研究提出利用上下文嵌入与语义图（AMR）作为可解释度量，判断假设是否为前提的语义子结构，在三个英文基准上验证了两种表示互补且可混合使用。
2023-09-05 cs.CL cs.IR
When Does Meaning Backfire? Investigating the Role of AMRs in NLI
Georgetown University（乔治城大学）；Amherst College（阿默斯特学院）
本研究探究在自然语言推理中引入抽象意义表示（AMR）的影响，发现微调时AMR阻碍泛化，提示时虽有小幅提升但源于表面差异放大，可能误导模型误判非蕴含。
2025-09-24 cs.CL
Can NLI Models Verify QA Systems' Predictions?
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了构建健壮的问答系统，我们需要能够验证问题的答案是否真正正确，而不仅仅是在不完美的QA数据集的上下文中“足够好”。我们探索使用自然语言推理（NLI）作为实现这一目标的一种方式，因为NLI本质上需要的前提（文档上下文）包含所有必要的信息来支持假设（提出的问题的答案）。我们利用大型的预训练模型和最近的先验数据集来构建强大的问题转换器和去语境化模块，这些模块可以将QA实例重新表述为具有非常高可靠性的前提假设对。然后，通过结合标准NLI数据集和从QA训练数据自动获得的NLI示例，我们可以训练NLI模型来判断QA模型提出的答案的正确性。我们表明，我们的NLI方法通常可以提高跨不同领域的QA模型的置信度估计，在选择性QA设置进行评估。对我们的NLI模型的预测进行仔细的手动分析表明，它可以进一步识别QA模型由于错误的原因产生正确答案的情况，或者答案无法验证为解决问题的所有方面的情况。
2021-09-11 cs.AI cs.CL
A New Benchmark Dataset and Mixture-of-Experts Language Models for Adversarial Natural Language Inference in Vietnamese
Faculty of Information Science and Engineering, University of Information Technology（信息科学与工程学院，信息技术大学）；Vietnam National University（越南国家大学）
本文提出越南语首个对抗性NLI数据集ViANLI及混合专家模型NLIMoE，通过对抗性人机协同构建超万对数据，NLIMoE以47.3%准确率超越XLM-R Large，并提升其他基准性能。
2025-10-23 cs.CL
From Disagreement to Understanding: The Case for Ambiguity Detection in NLI
University of Florida（佛罗里达大学）
该立场论文指出NLI标注分歧常源于内容歧义而非单纯噪声，提出先做歧义检测分类再推理的歧义感知NLI框架与统一分类体系，呼吁开发相关标注资源与无监督方法以构建更鲁棒可解释、符合人类认知的NLI系统。
2025-08-31 cs.CL
Can current NLI systems handle German word order? Investigating language model performance on a new German challenge set of minimal pairs
Mannheim University（曼海姆大学）；Heidelberg University（海德堡大学）
本文提出首个德语词序对抗 NLI 数据集 WOGLI，利用仅词序和形态变化不同的最小对立体，评估并揭示德语模型在翻译数据训练后处理词序推理的局限。
2023-06-07 cs.CL
Non-entailed subsequences as a challenge for natural language inference
Johns Hopkins University（约翰斯·霍普金斯大学）
神经网络模型在自然语言推理（NLI）方面取得了巨大的成功，NLI是确定前提是否包含假设的任务。然而，最近的研究表明，这些模型可能依赖于错误的语法，而不是深入的语言理解。我们引入了一个挑战集来测试NLI系统是否采用这样的启发式：假设一个句子需要所有的合法性，如假设“爱丽丝相信玛丽是在撒谎”需要“爱丽丝相信玛丽。“我们在这个挑战集上评估了几个有竞争力的NLI模型，并找到了强有力的证据表明它们确实依赖于子序列启发式。
2018-11-30 cs.CL
Compositional Semantics and Inference System for Temporal Order based on Japanese CCG
The University of Tokyo（东京大学）
自然语言推理（NLI）是确定前提是否包含假设的任务。时体是一种复杂的语言现象，涉及到时间副词和时间连接词的相互作用。为了解决这个问题，时态和体推理已经在形式语义学领域中以各种方式进行了分析。然而，日本NLI系统的时间顺序的基础上分析的形式语义还没有得到充分的发展。我们提出了一个基于逻辑的NLI系统，认为时间顺序在日本的组合语义的基础上，通过组合范畴语法（CCG）的句法分析。我们的系统进行推理，涉及时序使用公理的时间关系和自动定理证明。我们评估我们的系统通过实验与日本NLI数据集，涉及时间顺序。我们表明，我们的系统优于以前的基于逻辑的系统以及当前基于深度学习的模型。
2022-04-20 cs.CL
Generating Intermediate Steps for NLI with Next-Step Supervision
Singapore University of Technology and Design（新加坡科技设计大学）；IIT Kharagpur（印度理工学院卡拉格普尔分校）；Microsoft（微软）
自然语言推理（NLI）任务通常需要通过多个步骤进行推理才能得出结论。虽然生成这些中间步骤（而不是摘要解释）的必要性已获得普遍支持，但不清楚如何在没有完整的端到端监督的情况下生成这些步骤，以及如何进一步利用这些生成的步骤。在这项工作中，我们训练一个序列到序列模型，在给定NLI前提和假设对（以及之前的步骤）的情况下，只生成下一个步骤;然后用外部知识和符号搜索来增强它，生成中间步骤，只有下一个步骤的监督。我们通过自动化和人工验证来证明这些生成步骤的正确性。此外，我们表明，这种生成的步骤可以帮助提高端到端的NLI任务的性能，使用简单的数据增强策略，在多个公共NLI数据集。
2022-08-31 cs.AI cs.CL
Learning Proposition-Level Links from Sentence-Level Supervision for Neuro-Symbolic NLI
University College London（伦敦大学学院）
该研究针对神经符号NLI，提出可训练原子链接器，从句子级监督学习命题级链接，在SNLI、SICK、MNLI等数据集上较基线及固定链接器系统实现显著准确率提升。
2026-10-15 cs.CL
Natural Language Inference over Interaction Space
New York University（纽约大学）；Horizon Robotics, Inc.（地平线机器人技术有限公司(Horizon Robotics, Inc.)）
自然语言推理（NLI）任务要求智能体确定自然语言前提和自然语言假设之间的逻辑关系。我们介绍了交互式推理网络（IIN），一类新的神经网络架构，能够实现高层次的理解的句子对分层提取的语义特征，从交互空间。我们发现，一个交互张量（注意力权重）包含语义信息来解决自然语言推理，和一个密集的交互张量包含更丰富的语义信息。这种架构的一个实例，密集交互式推理网络（DIIN），展示了国家的最先进的性能上的大规模NLI copora和大规模NLI相似的语料库。值得注意的是，相对于最强的已发布系统，DIIN在具有挑战性的多类型NLI（MultiNLI）数据集上实现了超过20%的错误减少。
2018-05-26 cs.CL
Math Natural Language Inference: this should be easy!
该研究提出Math NLI问题，构建了人工标注的数学文本自然语言推理语料库，探究大语言模型在该任务上的性能与组间一致性，发现多数投票可媲美人工标注但模型仍存推理缺陷，并开源语料支持后续研究。
2025-07-30 cs.CL
Estimating the Causal Effects of Natural Logic Features in Neural NLI Models
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文通过因果效应估计方法，在NLI任务中系统分析上下文干预和词对干预对模型蕴含判断的影响，构建模型在鲁棒性与敏感性方面的比较画像。
2023-05-15 cs.CL
Stress Test Evaluation for Natural Language Inference
Carnegie Mellon University（卡内基梅隆大学）
自然语言推理（NLI）是确定自然语言假设是否可以以合理的方式从给定前提中推断出来的任务。NLI被提出作为自然语言理解的基准任务。现有的模型在NLI的标准数据集上表现良好，在不同类型的文本中取得了令人印象深刻的结果。然而，这些模型在多大程度上理解句子的语义内容尚不清楚。在这项工作中，我们提出了一种评估方法，包括自动构建的“压力测试”，使我们能够检查系统是否有能力作出真正的推理决定。我们对这些压力测试中的六个语音编码器模型的评估揭示了这些模型在具有挑战性的语言现象方面的优势和劣势，并为这一领域未来的工作提出了重要的方向。
2018-06-13 cs.CL
Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Westlake University（西湖大学）
自然语言推理是自然语言处理的一项基本任务，它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示，但它们不足以测试长文本的上下文推理，这是人类推理过程的自然部分。我们介绍了ConTRoL，一个新的数据集，用于长文本的上下文推理。ConTRoL由8，325个专家设计的带有黄金标签的“上下文假设”对组成，是一个高级NLI数据集，专注于复杂的上下文推理类型，如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验（言语推理测验），具有专家级质量。与以前的NLI基准相比，ConTRoL中的材料更具挑战性，涉及一系列推理类型。实证结果表明，最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集，例如检查摘要的事实正确性。
2020-11-10 cs.CL
DR-BiLSTM: Dependent Reading Bidirectional LSTM for Natural Language Inference
Oregon State University（俄勒冈州立大学）；Philips Research North America（飞利浦北美研究院）
我们提出了一种新的深度学习架构来解决自然语言推理（NLI）任务。现有的方法大多依赖于简单的阅读机制，独立编码的前提和假设。相反，我们提出了一种新的依赖阅读双向LSTM网络（DR-BiLSTM），以有效地建模编码和推理过程中前提和假设之间的关系。我们还引入了一个复杂的集成策略来结合我们提出的模型，这显着提高了最终的预测。最后，我们演示了如何通过额外的预处理步骤进一步改善结果。我们的评估表明，DR-BiLSTM获得了最佳的单个模型和集成模型结果，在斯坦福NLI数据集上获得了最新的最先进分数。
2018-04-11 cs.CL
Improving the Natural Language Inference robustness to hard dataset by data augmentation and preprocessing
School of Computer Science（计算机科学学院）；University of Texas（德克萨斯大学）
针对 NLI 模型在困难及分布外数据上依赖虚假关联的问题，本文提出不依赖测试分布的数据增强与预处理方法，以缓解词重叠、数值推理和长度不匹配并增强鲁棒性。
2024-12-10 cs.CL
Learning Natural Language Inference with LSTM
Singapore Management University（新加坡管理大学）
自然语言推理（NLI）是自然语言处理中的一项重要任务，有着广泛的应用。最近发布的斯坦福自然语言推理（SNLI）语料库使得开发和评估以学习为中心的方法成为可能，例如用于自然语言推理（NLI）的深度神经网络。在本文中，我们提出了一个特殊的长短期记忆（LSTM）架构的NLI。我们的模型建立在最近提出的NLI神经注意力模型之上，但基于一个显着不同的想法。我们的解决方案不是为用于分类的前提和假设导出句子嵌入，而是使用match-LSTM来执行假设与前提的逐字匹配。这个LSTM能够更加强调重要的单词级匹配结果。特别是，我们观察到这个LSTM记住了重要的不匹配，这对于预测矛盾或中性关系标签至关重要。在SNLI语料库上，我们的模型达到了86.1%的准确率，超过了最先进的水平。
2016-11-10 cs.AI cs.CL cs.NE
Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options
New York University（纽约大学）
大规模自然语言推理（NLI）数据集，如SNLI或MNLI，是通过要求众包工作者阅读一个前提并编写三个新假设来创建的，每个假设对应一种可能的语义关系（蕴涵、矛盾和中性）。虽然该协议已被用于创建有用的基准数据，但仍不清楚基于书写的注释协议是否对任何目的都是最佳的，因为它尚未被直接评估。此外，有充分的证据表明，众包写作可以在数据中引入工件。我们研究了两种替代协议，自动创建候选人（前提，假设）对标注。使用这些协议和基于写作的基线，我们收集了几个新的英语NLI数据集，每个数据集都有超过3k个示例，每个数据集都使用固定的注释时间，但示例数量不同，以适应时间预算。我们对NLI和迁移学习的实验显示了负面的结果：没有一个替代协议在NLI内的泛化评估或迁移到外部目标任务上优于基线。我们的结论是，众包写作仍然是蕴涵数据的最佳选择，强调需要进一步的数据汇集工作，专注于改善基于写作的注释过程。
2020-10-13 cs.CL
Resolving Word Vagueness with Scenario-guided Adapter for Natural Language Inference
Fudan University（复旦大学）；University of Trento（特伦托大学）
针对传统NLI模型因缺乏情境视觉信息导致词语语义模糊、推理受限的问题，提出融合预训练语言知识与视觉信息的ScenaFuse适配器，通过交互与融合模块实现模态协同，经基准实验验证可有效提升NLI性能。
2024-05-21 cs.CL
Pair-Level Supervised Contrastive Learning for Natural Language Inference
Tsinghua University（清华大学）
自然语言推理（NLI）是自然语言理解中一项日益重要的任务，它要求人们推断句子对（前提和假设）之间的关系。最近的许多研究都使用了对比学习，通过结合NLI数据集的句子对的关系来学习句子表示。然而，这些方法仅关注与双级表示的比较。在本文中，我们提出了一个对级监督对比学习方法（PairSCL）。我们采用交叉注意模块来学习句子对的联合表征。对比学习的目的是通过将一类句子对拉在一起，将另一类句子对推开来区分不同类别的句子对。我们在NLI的两个公共数据集上对PairSCL进行了评估，其中PairSCL的准确性平均优于其他方法2.1%。此外，我们的方法优于以前的国家的最先进的方法上的七个转移任务的文本分类。
2022-04-01 cs.CL
Logical Inferences with Comparatives and Generalized Quantifiers
Ochanomizu University（御茶水女子大学）；Keio University（庆应义塾大学）
比较构式是自然语言推理中的一个难题，它的任务是确定文本是否包含假设。比较级在结构上是复杂的，因为它们与其他语言现象，如量词，数词和词汇反义词相互作用。在形式语义学中，有大量关于比较级和等级表达式的工作使用了度的概念。然而，一个逻辑推理系统的比较还没有得到充分的发展，用于在NLI任务。在本文中，我们提出了一个组合语义，映射各种比较结构在英语中的语义表示，通过组合范畴语法（CCG）解析器，并结合它与推理系统的基础上自动定理证明。我们评估我们的系统在三个NLI数据集，包含复杂的逻辑推理比较，广义量词和数字。我们表明，该系统优于以前的基于逻辑的系统以及最近的基于深度学习的模型。
2020-05-16 cs.CL
LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference
MaiNLP, Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心 MaiNLP）；Munich Center for Machine Learning（慕尼黑机器学习中心）；FNRS, CENTAL, UCLouvain（比利时法语区科学研究基金、鲁汶大学自然语言处理中心）；Faculty of Computer Science and UniVie Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学学院与维也纳大学计算机科学博士学院）
针对NLI中标签内变异被忽视的问题，提出语言学分类体系LITEX，用于分类自由文本解释，并证明基于该分类引导的解释生成更接近人类解释。
2025-10-08 cs.CL
MorphNLI: A Stepwise Approach to Natural Language Inference Using Text Morphing
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）；University of Arizona（亚利桑那大学）
MorphNLI通过文本变形逐步改进自然语言推理任务，在跨领域场景中显著优于现有基线模型。
2025-02-13 cs.AI cs.CL
A New Dataset for Natural Language Inference from Code-mixed Conversations
Microsoft Research India（微软研究院印度分院）；Microsoft Corporation（微软公司）
自然语言推理（NLI）是推理前提和假设之间的逻辑关系的任务，通常是蕴涵或矛盾。语码混合是指在同一会话或话语中使用一种以上的语言，在世界各地的多语言社区中普遍存在。在本文中，我们提出了第一个数据集的代码混合NLI，其中的前提和假设是在代码混合印地语-英语。我们使用的数据从印地语电影（宝莱坞）的前提下，和众包的假设，从印地语-英语双语。我们进行了一项试点注释研究，并根据试点的观察结果描述了最终的注释协议。目前，收集的数据包括400个前提的形式代码混合的对话片段和2240代码混合的假设。我们进行了广泛的分析，以推断在所获得的数据集中通常观察到的语言现象。我们使用标准的基于mBERT的NLI管道评估数据集并报告结果。
2020-04-13 cs.CL
Multi-Perspective Inferrer: Reasoning Sentences Relationship from Holistic Perspective
Nanjing University（南京大学）；National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Collaborative Innovation Center of Novel Software Technology and Industrialization（软件新技术与产业化协同创新中心）
自然语言推理（NLI）旨在确定逻辑关系（即，蕴涵，中性和矛盾）之间的前提和假设。最近，对准机构通过捕获对准的部分（即，句对中的“相似段”，隐含着蕴涵和矛盾的视角。然而，这些对齐的部分有时会误导中立关系的判断。直觉上，NLI应该更多地依靠多个视角，形成一个整体的观点，以消除偏见。在本文中，我们提出了多角度Inferrer（MPI），一种新的NLI模型，原因从多个角度与三个关系的关系。MPI通过协议路由策略确定句子不同部分的观点，并从整体角度做出最终决定。此外，我们引入了一个辅助监督信号，以确保MPI学习预期的观点。在SNLI和MultiNLI上的实验表明：1）MPI在基本模型的基础上实现了实质性的改进，验证了多视角推理的动机; 2）可视化证据验证了MPI能够按照预期学习到高度可解释的视角; 3）更重要的是，MPI与强大的BERT是无架构的，并且兼容。
2019-11-09 cs.CL
HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference
School of EECS, Peking University（北京大学工程科学学院（电子工程与计算机科学学院））；Peng Cheng Laboratory（鹏城实验室）
最近的许多研究表明，对于在自然语言推理（NLI）数据集上训练的模型，可以通过只考虑假设而完全忽略前提来做出正确的预测。在这项工作中，我们设法从仅假设偏见的角度推导出对抗性的例子，并探索合适的方法来减轻这种偏见。具体来说，我们从训练集中的假设（人工模式）中提取各种短语，并表明它们是特定标签的强指标。然后，我们从原始测试集中找出标签与这些指示相反或一致的“硬”和“容易”实例。我们还设置了基线，包括预训练模型（BERT，RoBERTa，XLNet）和竞争性非预训练模型（InferSent，DAM，ESIM）。除了基准和基线之外，我们还研究了两种去偏置方法，它们利用人工模式建模来减轻这种仅假设的偏差：下采样和对抗训练。我们相信这些方法可以被视为NLI去偏置任务中的竞争基线。
2021-03-15 cs.AI cs.CL cs.LG
Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
University of Manchester（曼彻斯特大学）；National Biomarker Centre, CRUK-MI, University of Manchester（曼彻斯特大学国家生物标志物中心，英国癌症研究中心曼彻斯特研究所）；Idiap Research Institute（Idiap 研究所）
本文针对基于 Transformer 的 NLI 模型，利用因果效应估计和干预实验分析自然逻辑特征，揭示相近基准准确率背后的行为差异及单调性、否定相关偏差。
2024-04-03 cs.CL
Logical Reasoning with Span-Level Predictions for Interpretable and Robust NLI Models
Imperial College London（伦敦帝国学院）；University of Edinburgh（爱丁堡大学）；UCL（伦敦大学学院）；Queen Mary University of London（伦敦玛丽女王大学）
当前的自然语言推理（NLI）模型取得了令人印象深刻的结果，有时在分布测试集上进行评估时表现优于人类。然而，由于已知这些模型从注释伪影和数据集偏差中学习，因此不清楚模型在多大程度上学习NLI任务，而不是从其训练数据中的浅层几何学中学习。我们通过为NLI引入一个逻辑推理框架来解决这个问题，创建基于逻辑规则的高度透明的模型决策。与以前的工作不同，我们表明，可以在不降低预测精度的情况下实现更好的可解释性。我们几乎完全保留了SNLI的性能，同时还确定了负责每个模型预测的确切假设跨度。使用e-SNLI人类解释，我们验证了我们的模型在跨度水平上做出了明智的决策，尽管在训练过程中没有使用任何跨度标签。我们可以通过在训练过程中使用e-SNLI解释来进一步提高模型性能和跨度级决策。最后，我们的模型在减少的数据设置中更鲁棒。当仅使用1，000个示例进行训练时，相对于基线，MNLI匹配和不匹配验证集的分布外性能提高了13%和16%。用较少的观测值进行训练可以进一步改善分布内和分布外的性能。
2022-10-21 cs.CL cs.LG
Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference
University of Amsterdam（阿姆斯特丹大学）；University of Tehran（德黑兰大学）；Tehran Institute for Advanced Studies（德黑兰高等研究院）；Khatam University（哈塔姆大学）
它已被证明，NLI模型通常是有偏见的前提和假设之间的词重叠，他们把这个功能作为一个主要线索，预测蕴涵标签。在本文中，我们专注于一个被忽视的方面的重叠偏置NLI模型：反向词重叠偏置。我们的实验结果表明，目前的NLI模型高度偏向于具有低重叠的实例上的非蕴涵标签，并且据报道在现有挑战数据集上成功的现有去偏置方法通常在解决这类偏差方面无效。我们调查的原因出现的重叠偏见和少数的例子在其缓解的作用。对于前者，我们发现词重叠偏差并不源于预训练，而对于后者，我们观察到，与公认的假设相反，消除少数的例子并不影响去偏置方法关于重叠偏差的普遍性。
2022-11-07 cs.CL
Collecting Diverse Natural Language Inference Problems for Sentence Representation Evaluation
Johns Hopkins University（约翰斯·霍普金斯大学）；BITS Pilani, Goa Campus（贝拉理工学院皮拉尼分校果阿校区）；Brown University（布朗大学）；University of Rochester（罗切斯特大学）
我们提出了一个大规模的收集不同的自然语言推理（NLI）数据集，帮助提供洞察如何以及一个句子表示捕捉不同类型的推理。收集结果从重铸13个现有的数据集从7个语义现象到一个共同的NLI结构，导致超过50万个标记的上下文假设对。我们将我们的集合称为DNC：多样自然语言推理集合。DNC可在https://www.decomp.net上在线获得，并将随着时间的推移而增长，因为其他资源将从新的来源重新铸造和添加。
2018-08-29 cs.CL
Mitigating Annotation Artifacts in Natural Language Inference Datasets to Improve Cross-dataset Generalization Ability
Tencent（腾讯）；Harbin Institute of Technology（哈尔滨工业大学）
自然语言推理（NLI）旨在预测给定前提和假设对之间的关系。然而，一些工作已经发现，在NLI数据集中广泛存在一种称为注释伪影的偏差模式，使得仅通过查看假设来识别标签成为可能。这种不规则性使得评价结果被高估，影响了模型的泛化能力。在本文中，我们考虑一个更值得信赖的设置，即，跨数据集评估。我们探讨了跨数据集测试中注释工件的影响。此外，我们提出了一个培训框架，以减轻偏见模式的影响。实验结果表明，该方法能有效地消除伪影对模型的负面影响，提高模型的泛化能力。
2019-10-05 cs.CL cs.LG
Interactive Model with Structural Loss for Language-based Abductive Reasoning
Hebei University of Technology（河北工业大学）；West Virginia University（西弗吉尼亚大学）
溯因自然语言推理任务（$α$ NLI）被提出来推断原因和事件之间的最合理的解释。在$α$ NLI任务中，给出两个观察结果，并要求从候选者中挑选出最合理的假设。现有的方法分别对每个候选假设之间的关系建模，并统一惩罚推理网络。在本文中，我们认为没有必要区分正确的假设之间的推理能力;同样，所有错误的假设都有助于解释观察的原因。因此，我们建议在本文中将假设分组而不是排序，并设计一种称为“联合softmax焦点损失”的结构损失。基于观察到的假设一般是语义相关的，我们设计了一种新的交互式语言模型，旨在利用竞争的假设之间的丰富的互动。我们将这个新模型命名为$α$ NLI：具有结构损失的交互模型（IMSL）。实验结果表明，我们的IMSL在RoBERTa-large预训练模型上取得了最高的性能，ACC和AUC结果分别提高了约1%和5%。
2022-12-20 cs.AI cs.CL
Improving Natural Language Inference Using External Knowledge in the Science Questions Domain
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
自然语言推理（NLI）是许多自然语言处理（NLP）应用（包括语义搜索和问答）的基础。由于大规模、具有挑战性的数据集的发布，NLI问题得到了极大的关注。目前的解决方法主要集中在基于学习的方法，只使用文本信息，以分类是否一个给定的前提需要，矛盾，或相对于一个给定的假设是中性的。令人惊讶的是，使用基于结构化知识的方法--人工智能的一个中心主题--在NLI问题上并没有得到太多的关注。虽然有许多开放的知识库，包含各种类型的推理信息，它们的使用NLI还没有得到很好的探索。为了解决这个问题，我们提出了一个技术的组合，利用知识图谱，以提高性能的NLI问题的科学问题域。我们提出了我们的技术应用于文本，图形和文本到图形为基础的模型的结果，并讨论了使用外部知识解决NLI问题的影响。我们的模型在SciTail科学问题数据集上实现了NLI问题的最新性能。
2018-11-20 cs.AI cs.CL cs.LG
Avoiding the Hypothesis-Only Bias in Natural Language Inference via Ensemble Adversarial Training
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
自然语言推理（NLI）数据集包含注释伪像，其导致自然语言话语与它们各自的蕴涵类之间的虚假相关。即使只考虑假设而忽略前提，神经网络也会利用这些人为因素，从而导致不必要的偏差。Belinkov等人（2019 b）提出通过对抗训练来解决这个问题，但这可能会导致学习到的句子表示仍然存在相同的偏见。我们表明，可以通过使用对手的集合来减少句子表示中的偏差，鼓励模型在拟合数据的同时共同降低这些不同对手的准确性。这种方法产生更稳健的NLI模型，当推广到12个其他数据集时，其表现优于先前的去偏置努力（Belinkov等人，2019 a; Mahabadi等人，2020年）。此外，我们发现对抗分类器的最佳数量取决于句子表示的维度，更大的句子表示更难去偏见，同时受益于使用更多的对手。
2021-05-27 cs.AI cs.CL cs.LG
First Train to Generate, then Generate to Train: UnitedSynT5 for Few-Shot NLI
DataLabs（数据实验室）；United We Care
针对少样本NLI任务受数据集局限难以提升性能的问题，提出进阶模型UnitedSynT5，通过T5生成器合成并清洗增强数据后训练GTR-T5-XL，在多个NLI数据集上刷新SOTA准确率，证明合成数据增强的应用潜力。
2024-12-13 cs.AI cs.CL
Multi-turn Inference Matching Network for Natural Language Inference
Beijing Language and Culture University（北京语言大学）；Beijing Advanced Innovation for Language Resources of BLCU（北京语言大学语言资源高精尖创新中心）
自然语言推理（NLI）是自然语言处理（NLP）中的一项基本而又具有挑战性的任务。大多数现有的方法只对一个混合匹配特征进行一次推理，这是一个前提和假设之间不同匹配特征的串联。在本文中，我们提出了一个新的模型称为多轮推理匹配网络（MIMN）进行多轮推理不同的匹配功能。在每一轮中，模型关注一个特定的匹配特征，而不是混合匹配特征。为了增强不同匹配特征之间的交互，采用了存储器组件来存储历史推理信息。每一轮的推理是在当前匹配特征和存储器上执行的。我们在三个不同的NLI数据集上进行实验。实验结果表明，我们的模型在所有三个数据集上的性能优于或达到最先进的性能。
2019-01-08 cs.CL
A Generative Approach for Mitigating Structural Biases in Natural Language Inference
Technion（以色列理工学院）；Israel Institute of Technology（以色列理工学院）；Harvard University（哈佛大学）
许多自然语言推理（NLI）数据集包含偏差，这些偏差允许模型仅使用输入的偏差子集，而不考虑其余特征。例如，模型能够通过仅使用假设来做出分类决策，而无需学习它与前提之间的真实关系。这些结构性偏差导致判别模型学习非预期的表面特征，并在训练分布中推广得很差。在这项工作中，我们将NLI任务重新定义为生成任务，其中模型以输入和标签的偏置子集为条件，并生成输入的剩余子集。我们表明，通过施加一个统一的先验，我们得到一个可证明的无偏模型。通过合成实验，我们发现，这种方法是非常强大的大量的偏见。然后，我们证明经验上的两种类型的自然偏见，这种方法导致完全无偏的模型在实践中。然而，我们发现生成模型很难训练，而且它们的表现通常比判别基线差。我们强调了在NLI的背景下生成建模任务的难度，这是导致性能下降的原因。最后，通过用判别目标微调生成模型，我们减少了生成模型和判别基线之间的性能差距，同时允许少量的偏差。
2021-08-31 cs.CL
Hypothesis-only Biases in Large Language Model-Elicited Natural Language Inference
研究测试用LLM替代众包工人编写NLI假设是否产生标注伪影，发现LLM生成数据中存在严重的仅基于假设的偏差，证明NLI的已知偏差在LLM生成数据中依然持续存在。
2024-10-11 cs.CL
Enhancing Natural Language Inference Performance with Knowledge Graph for COVID-19 Automated Fact-Checking in Indonesian Language
School of Electrical Engineering and Informatics, Institut Teknologi Bandung（万隆理工学院电气工程与信息学院）；Center for Artificial Intelligence (U-COE AI-VLB), Institut Teknologi Bandung（万隆理工学院人工智能中心）
针对深度学习因缺乏知识导致性能停滞的问题，提出在印尼语COVID-19自动事实核查中引入知识图谱作为外部知识，构建含事实、NLI和分类器模块的模型，显著提升了自然语言推理性能，最佳准确率达0.8616。
2025-09-03 cs.AI cs.CL
Visuallly Grounded Generation of Entailments from Premises
IRISA（法国信息与随机系统研究所）；Université de Rennes I（雷恩第一大学）；Institute of Linguistics and Language Technology, University of Malta（马耳他大学语言学与语言技术研究所）
自然语言推理是确定前提和假设之间的语义关系的任务。在本文中，我们专注于{ \em代}的假设前提在多模态设置，生成一个句子（假设）给定的图像和/或其描述（前提）作为输入。本文的主要目标是：（a）调查是否是合理的框架NLI作为一个生成任务;（b）考虑在何种程度上接地文本前提的视觉信息是有益的生成。我们比较了不同的神经架构，通过自动和人工评估表明，蕴涵确实可以成功生成。我们还表明，多模态模型优于单峰模型在这项任务中，虽然微不足道。
2019-09-21 cs.AI cs.CL cs.NE
Embarrassingly Simple Performance Prediction for Abductive Natural Language Inference
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；University of Stuttgart（斯图加特大学）
溯因自然语言推理（αnli）的任务是决定哪个假设是对一组观察结果的更可能的解释，这是一种特别困难的NLI类型。它不仅需要确定因果关系，还需要常识来评估解释的合理性。所有最近的竞争系统都建立在上下文表示的基础上，并利用Transformer架构来学习NLI模型。当有人面临特定的NLI任务时，他们需要选择可用的最佳模型。这是一项耗费时间和资源的工作。为了解决这个实际问题，我们提出了一个简单的方法来预测的性能，实际上没有微调的模型。我们通过测试预先训练的模型在αnli任务上的表现如何来做到这一点，当仅仅比较具有余弦相似性的句子嵌入与在这些嵌入之上训练分类器时所实现的性能时。我们发现，余弦相似性方法的准确性与皮尔逊相关系数为0.65的分类方法的准确性密切相关。由于相似性计算在给定数据集上的计算速度快了几个数量级（不到一分钟，而不是几小时），因此我们的方法可以在模型选择过程中节省大量时间。
2022-07-11 cs.CL
Learning to Rank for Plausible Plausibility
Harbin Institute of Technology（哈尔滨工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
研究人员通过一组共享的自然语言理解（NLU）任务的结果表现来说明上下文编码策略的改进。这些任务中的许多都是分类预测类型：给定条件上下文（例如，NLI前提），基于相关联的提示提供标签（例如，NLI假说）。这些任务的分类性质导致在训练期间通常使用交叉熵对数损失目标。我们认为，这种损失是直观错误的，当应用到可扩展性任务，其中提示的设计既不是绝对必然的，也不矛盾的背景。对数损失自然会促使模型分配接近0.0或1.0的分数，这与我们建议使用的基于边际的损失相反。在讨论了我们的直觉之后，我们描述了一项基于MultiNLI的极端综合策划任务的确认研究。我们发现，基于保证金的损失导致一个更合理的模型的可扩展性。最后，我们通过这种损失的变化说明了合理选择（COPA）任务的改进。
2019-06-05 cs.CL
Decompose-and-Formalise: Recursively Verifiable Natural Language Inference
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）；Idiap Research Institute（Idiap研究 institute）；National Biomarker Centre, CRUK-MI, University of Manchester（曼彻斯特大学国家生物标记中心）
本文提出分解与形式化框架，通过自底向上的验证和局部诊断引导细化，提升自然语言推理的解释验证效率和准确性。
2026-01-27 cs.CL
NL-Eye: Abductive NLI for Images
Technion - IIT（以色列理工学院）；Google Research（谷歌研究院）
本文提出NL-Eye基准，将溯因自然语言推理任务扩展到视觉领域，通过350个三元组示例评估视觉语言模型的视觉溯因推理能力，实验表明现有模型表现接近随机水平，揭示了其在多模态推理上的不足。
2024-10-03 cs.AI cs.CL cs.CV
Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder
Nanyang Technological University（南洋理工大学）；AWS AI（亚马逊云科技人工智能）
本文演示了自然语言推理（NLI）和文本分类系统中的致命漏洞。更具体地说，我们对NLP模型进行了“后门中毒”攻击。我们的中毒攻击利用条件逆向正则化自动编码器（CARA）生成中毒的训练样本的毒药注射在潜在的空间。实验结果表明，仅添加1%的中毒数据，当输入假设被注入中毒签名时，受害者BERT微调分类器的预测就可以以>80%的成功率转向中毒目标类，这表明NLI和文本分类系统面临着巨大的安全风险。
2020-10-06 cs.AI cs.CL cs.NE
Unsupervised Natural Language Inference Using PHL Triplet Generation
Arizona State University（亚利桑那州立大学）
基于transformer的模型在各自的训练数据集上训练时，在众多自然语言推理（NLI）基准测试中取得了令人印象深刻的性能。然而，在某些情况下，训练样本可能不可用，或者收集它们可能是耗时和资源密集型的。在这项工作中，我们解决了上述挑战，并提出了一个探索性的研究无监督NLI，一个范例，其中没有人类注释的训练样本。我们在三种设置下研究它：PH，P和NPH，它们在可用于学习的未标记数据的程度上有所不同。作为一种解决方案，我们提出了一个程序化的数据生成方法，利用一组句子转换来收集PHL（假设，假设，标签）三元组用于训练NLI模型，绕过了对人类注释的训练数据的需要。在多个NLI数据集上的综合实验表明，该方法在PH、P和NPH设置下的准确率分别高达66.75%、65.9%和65.39%，优于所有现有的无监督基线。此外，使用人工注释的训练数据集（500个实例）的约0.1%来微调我们的模型，比在相同的500个实例上从头开始训练的模型的准确率高出12.2%。在这种卓越性能的支持下，我们总结了收集高质量特定任务数据的建议。
2022-03-15 cs.AI cs.CL cs.LG
Fine-Grained Natural Language Inference Based Faithfulness Evaluation for Diverse Summarisation Tasks
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）；ILCC（语言、认知与计算研究所）
本文提出 InFusE，通过可变前提粒度和短句假设改进基于 NLI 的摘要忠实度评估，并构建 DiverSumm 基准验证其在长文档、会议及多文档摘要任务上的优越性能。
2024-02-27 cs.CL
Synthetic Dataset for Evaluating Complex Compositional Knowledge for Natural Language Inference
University of Arizona（亚利桑那大学）
本文构建包含1,304对句子的合成数据集SICCK，通过自然逻辑中的量词、否定等修饰语检验NLI模型的逻辑组合理解能力，发现模型在零样本与微调后均难以处理否定及量词修饰。
2025-10-20 cs.CL
Enhancing adversarial robustness in Natural Language Inference using explanations
Artificial Intelligence and Learning Systems Laboratory（人工智能与学习系统实验室）；School of Electrical and Computer Engineering（电气与计算机工程学院）；National Technical University of Athens（雅典技术大学）
针对自然语言推理模型易受对抗攻击的问题，提出基于自然语言解释的模型无关防御策略，在解释上微调分类器可提升对抗鲁棒性，并探究了语言生成指标与人类感知的相关性以辅助构建鲁棒模型，方法高效易复现。
2024-10-06 cs.CL
Atomic-SNLI: Fine-Grained Natural Language Inference through Atomic Fact Decomposition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Atomic-SNLI通过原子事实分解提升细粒度自然语言推理，通过构建新数据集增强模型的原子级推理能力。
2026-01-10 cs.AI cs.CL
