Can current NLI systems handle German word order? Investigating language model performance on a new German challenge set of minimal pairs
Mannheim University(曼海姆大学);Heidelberg University(海德堡大学)
本文提出首个德语词序对抗 NLI 数据集 WOGLI,利用仅词序和形态变化不同的最小对立体,评估并揭示德语模型在翻译数据训练后处理词序推理的局限。
2023-06-07 cs.CL
Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI
Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI Research(Meta人工智能研究院)
评估解释的可信性是出于信任、可解释性和诊断模型错误的原因。在这项工作中,它专注于NLI任务,我们介绍了通过反事实的忠实的方法,它首先生成一个反事实的假设的基础上的逻辑谓词表示的解释,然后评估模型的预测是否与反事实的表达逻辑一致(即,如果新的公式是\textit{logically satisfiable})。与现有方法相比,这不需要对训练单独的验证模型进行任何解释。我们首先验证自动反事实假设生成的有效性,利用Few-Shot启动范式。接下来,我们表明,我们提出的度量区分人类模型的协议和新的反事实输入的分歧。此外,我们进行了敏感性分析,以验证我们的指标是敏感的不忠实的解释。
2022-05-25 cs.CL
Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University(浙江大学);Fudan University(复旦大学);Westlake University(西湖大学)
自然语言推理是自然语言处理的一项基本任务,它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示,但它们不足以测试长文本的上下文推理,这是人类推理过程的自然部分。我们介绍了ConTRoL,一个新的数据集,用于长文本的上下文推理。ConTRoL由8,325个专家设计的带有黄金标签的“上下文假设”对组成,是一个高级NLI数据集,专注于复杂的上下文推理类型,如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验(言语推理测验),具有专家级质量。与以前的NLI基准相比,ConTRoL中的材料更具挑战性,涉及一系列推理类型。实证结果表明,最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集,例如检查摘要的事实正确性。
2020-11-10 cs.CL
LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference
MaiNLP, Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心 MaiNLP);Munich Center for Machine Learning(慕尼黑机器学习中心);FNRS, CENTAL, UCLouvain(比利时法语区科学研究基金、鲁汶大学自然语言处理中心);Faculty of Computer Science and UniVie Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学学院与维也纳大学计算机科学博士学院)
针对NLI中标签内变异被忽视的问题,提出语言学分类体系LITEX,用于分类自由文本解释,并证明基于该分类引导的解释生成更接近人类解释。
2025-10-08 cs.CL
Generating Intermediate Steps for NLI with Next-Step Supervision
Singapore University of Technology and Design(新加坡科技设计大学);IIT Kharagpur(印度理工学院卡拉格普尔分校);Microsoft(微软)
自然语言推理(NLI)任务通常需要通过多个步骤进行推理才能得出结论。虽然生成这些中间步骤(而不是摘要解释)的必要性已获得普遍支持,但不清楚如何在没有完整的端到端监督的情况下生成这些步骤,以及如何进一步利用这些生成的步骤。在这项工作中,我们训练一个序列到序列模型,在给定NLI前提和假设对(以及之前的步骤)的情况下,只生成下一个步骤;然后用外部知识和符号搜索来增强它,生成中间步骤,只有下一个步骤的监督。我们通过自动化和人工验证来证明这些生成步骤的正确性。此外,我们表明,这种生成的步骤可以帮助提高端到端的NLI任务的性能,使用简单的数据增强策略,在多个公共NLI数据集。
2022-08-31 cs.AI cs.CL
Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic
University of Alberta(阿尔伯塔大学);Carnegie Mellon University(卡内基梅隆大学)
自然语言推理的目的是确定两个句子之间的逻辑关系,如蕴涵、矛盾和中性。近年来,深度学习模型已成为NLI的主流方法,但它们缺乏可解释性和可解释性。在这项工作中,我们解决了NLI的弱监督逻辑推理的可解释性,并提出了一个可解释短语推理(EPR)的方法。我们的模型首先检测短语作为语义单位,并将两个句子中的相应短语对齐。然后,该模型预测对齐短语的NLI标签,并通过模糊逻辑公式归纳句子标签。我们的EPR几乎在任何地方都是可微的,因此系统可以端到端地训练。通过这种方式,我们能够以弱监督的方式提供短语逻辑关系的明确解释。我们进一步表明,这样的推理结果有助于文本解释生成。
2023-02-22 cs.AI cs.CL
FLUTE: Figurative Language Understanding through Textual Explanations
Columbia University(哥伦比亚大学);Educational Testing Service(教育考试服务中心)
比喻性语言理解最近被定义为一个识别文本蕴涵(RTE)任务(a.k.a.自然语言推理或NLI)。然而,类似于经典的RTE/NLI数据集,目前的基准遭受虚假的相关性和注释工件。为了解决这个问题,NLI的工作建立了基于解释的数据集,如e-SNLI,使我们能够探索语言模型是否出于正确的原因而正确。然而,对于比喻语言来说,没有这样的数据,这使得评估对这些表达的真正理解变得更加困难。为了解决这个问题,我们发布了FLUTE,这是一个包含9,000个具有解释的比喻性NLI实例的数据集,涵盖四个类别:讽刺,明喻,隐喻和习语。我们通过基于GPT-3的模型在环框架,人群工作人员和专家注释器收集数据。我们展示了如何利用GPT-3与人类注释者(新手和专家)相结合,可以帮助扩大数据集的创建,即使是对于像比喻语言这样复杂的语言现象。在FLUTE上微调的T5模型的基线性能表明,我们的数据集可以使我们更接近于开发通过文本解释理解比喻语言的模型。
2022-10-14 cs.CL
Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks
University of Campinas(坎皮纳斯大学);Technical University of Darmstadt(达姆施塔特工业大学)
本文研究利用现有解释数据集训练自我合理化模型,通过在19个OOD数据集上评估T5-Large和OLMo-7B,发现少量标注示例即可有效适应OOD解释生成,且微调数据来源比样本选择策略对性能影响更大。
2025-02-07 cs.CL
Generating Hypothetical Events for Abductive Inference
Heidelberg University(海德堡大学)
溯因推理从一些观察开始,旨在为这些观察找到最合理的解释。为了进行溯因推理,人类经常利用时间和因果推理,以及关于某些假设情况如何导致不同结果的知识。这项工作提供了第一个研究,这些知识如何影响外展NLI任务-这包括选择更可能的解释给定的意见。我们训练一个专门的语言模型LMI,它的任务是从一个给定事件演变而来的假设场景中生成接下来可能发生的事情。然后,我们提出了一个多任务模型MTL来解决外展NLI任务,它通过以下方式预测一个合理的解释:a)考虑候选假设中出现的不同可能事件-由LMI生成的事件-以及b)选择与观察结果最相似的事件。我们表明,我们的MTL模型比之前的香草预训练LM更好,这些LM在外展NLI上进行了微调。我们的人工评估和分析表明,从不同的假设场景中学习可能的下一个事件支持溯因推理。
2021-06-07 cs.AI cs.CL
Investigating Reasons for Disagreement in Natural Language Inference
The Ohio State University(俄亥俄州立大学);UCLouvain(鲁汶大学)
我们研究如何在自然语言推理(NLI)注释出现分歧。我们开发了一个分类法的分歧来源,10个类别跨越3个高级别的类。我们发现,一些分歧是由于句子意义的不确定性,其他注释者的偏见和任务工件,导致不同的解释的标签分布。我们探讨了两种建模方法来检测项目与潜在的分歧:4路分类与“复杂”的标签,除了三个标准的NLI标签,和多标签分类方法。我们发现,多标签分类是更有表现力,并给出了更好的回忆数据中可能的解释。
2022-09-07 cs.CL
NILE : Natural Language Inference with Faithful Natural Language Explanations
Indian Institute of Science(印度科学学院)
最近,深度学习模型在NLP分类任务中的流行和成功伴随着对预测标签生成某种形式的自然语言解释的需求。期望这样生成的自然语言(NL)解释是忠实的,即,它们应该与模型的内部决策很好地关联。在这项工作中,我们专注于自然语言推理(NLI)的任务,并解决以下问题:我们可以建立NLI系统,产生高精度的标签,同时也产生忠实的解释其决定?我们提出了自然语言推理的标签特定的解释(NILE),一种新的NLI方法,利用自动生成的标签特定的NL解释,以产生标签及其忠实的解释。我们证明了NILE的有效性,通过自动化和人工评价所产生的标签和解释比以前报道的方法。我们对NILE的评估也支持这样的说法,即可以设计出能够为他们的决定提供可测试解释的精确系统。我们讨论了NILE的解释的忠实性方面的敏感性的决定,相应的解释。我们认为,除了标签和解释准确性外,对忠实性的明确评估是评估模型解释的重要步骤。此外,我们表明,任务特定的探针是必要的,以建立这样的灵敏度。
2020-05-25 cs.CL
LIREx: Augmenting Language Inference with Relevant Explanation
University of Michigan(密歇根大学);School of Information(信息学院);Department of Learning Health Sciences(学习健康科学系)
自然语言解释(NLE)是一种特殊形式的数据注释,其中注释者在为数据实例分配标签时识别基本原理(最重要的文本标记),并基于基本原理用自然语言写出对标签的解释。NLE已被证明可以更好地捕捉人类推理,但对于自然语言推理(NLI)来说并不那么有益。在本文中,我们分析了两个主要缺陷的方式NLE目前用于训练解释生成器的语言推理任务。我们发现,解释发电机不考虑到固有的可变性,在人类的解释标签,目前的解释生成模型产生虚假的解释。为了克服这些限制,我们提出了一个新的框架,LIREx,它结合了一个合理的解释生成器和一个实例选择器,只选择相关的,合理的NLE来增强NLI模型。在标准化SNLI数据集上进行评估时,LIREx的准确率达到91.87%,比基线提高了0.32,与数据集上报告的最佳性能相匹配。当转移到域外MultiNLI数据集时,它也实现了比以前的研究更好的性能。定性分析表明,LIREx生成灵活,忠实和相关的NLE,使模型更强大的虚假解释。该代码可在https://github.com/zhaoxy92/LIREx上获得。
2020-12-16 cs.AI cs.CL
Explaining Textual Entailment with Lexical Entailments: Using LLMs to Supply Lexical Relations for Formal Proofs
本文评估LLM在逻辑NLI系统中提供词汇蕴含的能力,发现其生成关系部分合理且贡献有限,任务仍具挑战性。
2026-09-29 cs.AI cs.CL
Supervising Model Attention with Human Explanations for Robust Natural Language Inference
Imperial College London(帝国理工学院);Technion – Israel Institute of Technology(以色列理工学院)
众所周知,自然语言推理(NLI)模型可以从其训练数据中的偏差和伪影中学习,从而影响它们对其他不可见数据集的泛化能力。现有的去偏置方法集中在防止模型学习这些偏置,这可能导致限制性模型和较低的性能。相反,我们研究如何教模型人类将接近NLI任务,以学习功能,将更好地推广到以前看不见的例子。使用自然语言解释,我们监督模型的注意力权重,以鼓励更多的注意力集中在解释中出现的单词,显着提高模型的性能。我们的实验表明,这种方法的分布内改进也伴随着分布外改进,监督模型从更好地推广到其他NLI数据集的特征中学习。对模型的分析表明,人类的解释鼓励增加对重要词的关注,更多地关注前提词,而较少关注标点符号和停止词。
2022-05-01 cs.CL cs.LG
Case-Based Abductive Natural Language Inference
Idiap Research Institute(伊迪亚普研究所);University of Manchester(曼彻斯特大学)
大多数当代的多跳自然语言推理(NLI)方法都是孤立地考虑每个测试用例来构造解释。然而,这种范式被称为遭受语义漂移,一种现象,导致虚假的解释,导致错误的结论的建设。与此相反,本文提出了一个溯因框架的多跳NLI探索检索重用细化范例基于案例推理(CBR)。具体来说,我们提出了基于案例的溯因自然语言推理(CB-ANLI),一个模型,解决了看不见的推理问题,从类似的例子中类比转移先前的解释。我们对常识和科学问答任务的溯因框架进行了实证评估,表明CB-ANLI可以有效地与稀疏和密集的预训练编码器集成,以提高多跳推理,或作为Transformers的证据检索器。此外,语义漂移的实证分析表明,CBR范式提高了最具挑战性的解释的质量,这一特征对下游推理任务的鲁棒性和准确性有直接影响。
2022-09-10 cs.AI cs.CL
Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学)
自然语言推理(NLI)需要模型来学习和应用常识知识。这些推理能力对于可解释的NLI系统特别重要,该系统除了其标签预测之外还生成自然语言解释。外部知识的整合已被证明可以改善NLI系统,在这里,我们调查它是否也可以提高他们的解释能力。为此,我们调查了不同的外部知识来源,并评估了我们的模型在域内数据以及旨在评估细粒度推理能力的特殊传输数据集上的性能。我们发现不同的知识来源对推理能力有不同的影响,例如,存储在语言模型中的隐性知识会阻碍对数字和否定的推理。最后,我们进行了迄今为止规模最大,粒度最细的可解释的NLI众包研究。它表明,即使是在自动性能分数的巨大差异并不反映在标签,解释,常识或语法正确性的人的评级。
2021-10-13 cs.CL cs.HC
A Differentiable Integer Linear Programming Solver for Explanation-Based Natural Language Inference
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap 研究所)
本文提出 Diff-Comb Explainer,利用可微黑盒组合求解器在不松弛语义约束的情况下融合 ILP 与神经表示,提升 NLI 性能及解释质量。
2024-04-03 cs.AI cs.CL cs.LG
Generating Token-Level Explanations for Natural Language Inference
University of Cambridge(剑桥大学);Amazon(亚马逊)
自然语言推理(NLI)的任务被广泛地建模为有监督的句对分类。虽然最近在生成分类器对单个文本的预测的解释方面做了很多工作,但还没有尝试生成分类器对句子对的操作的解释。在本文中,我们表明,它是可能的,生成令牌级的解释NLI,而不需要明确注释为此目的的训练数据。我们使用一个简单的LSTM架构,并为此任务评估LIME和Anchor解释。我们将这些与使用阈值注意力进行标记级预测的多实例学习(MIL)方法进行比较。本文提出的方法是一种新的扩展zero-shot单句标记的句子对NLI。我们进行了我们的实验,充分研究的SNLI数据集,最近增加了手动注释的令牌,解释蕴涵关系。我们发现,我们的白盒MIL为基础的方法,而数量级更快,并没有达到相同的准确性的黑盒方法。
2019-04-24 cs.CL cs.LG stat.ML
Logical Reasoning with Span-Level Predictions for Interpretable and Robust NLI Models
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);UCL(伦敦大学学院);Queen Mary University of London(伦敦玛丽女王大学)
当前的自然语言推理(NLI)模型取得了令人印象深刻的结果,有时在分布测试集上进行评估时表现优于人类。然而,由于已知这些模型从注释伪影和数据集偏差中学习,因此不清楚模型在多大程度上学习NLI任务,而不是从其训练数据中的浅层几何学中学习。我们通过为NLI引入一个逻辑推理框架来解决这个问题,创建基于逻辑规则的高度透明的模型决策。与以前的工作不同,我们表明,可以在不降低预测精度的情况下实现更好的可解释性。我们几乎完全保留了SNLI的性能,同时还确定了负责每个模型预测的确切假设跨度。使用e-SNLI人类解释,我们验证了我们的模型在跨度水平上做出了明智的决策,尽管在训练过程中没有使用任何跨度标签。我们可以通过在训练过程中使用e-SNLI解释来进一步提高模型性能和跨度级决策。最后,我们的模型在减少的数据设置中更鲁棒。当仅使用1,000个示例进行训练时,相对于基线,MNLI匹配和不匹配验证集的分布外性能提高了13%和16%。用较少的观测值进行训练可以进一步改善分布内和分布外的性能。
2022-10-21 cs.CL cs.LG
Unravelling Interlanguage Facts via Explainable Machine Learning
Università di Milano(米兰大学);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
母语识别(NLI)是训练(通过监督机器学习)猜测文本作者母语的分类器的任务。在过去的十年中,这项任务得到了广泛的研究,NLI系统的性能在过去几年中稳步提高。我们专注于NLI任务的另一个方面,即,分析由\emph{explainable}机器学习算法训练的NLI分类器的内部结构,以获得对其分类决策的解释,最终目标是深入了解哪些语言现象“泄露了说话者的母语”。我们使用这个视角来处理NLI和一个(研究得少得多的)伴随任务,即,猜测文本是由本族语者还是非本族语者撰写的。使用三个不同来源的数据集(两个英语学习者的文章数据集和一个社交媒体帖子数据集),我们调查了哪种语言特征(词汇,形态,句法和统计)对解决我们的两个任务最有效,即,最能表明说话者的L1。我们还提出了两个案例研究,一个西班牙语和一个意大利语的英语学习者,在其中我们分析了个人的语言特征,分类器已经挑出最重要的发现这些L1。总的来说,我们的研究表明,使用可解释的机器学习可以是一个有价值的工具,
2022-08-02 cs.AI cs.CL
Compositional Explanations of Neurons
Stanford University(斯坦福大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们描述了一个程序,用于解释神经元在深表示识别组成的逻辑概念,密切接近神经元的行为。与使用原子标签作为解释的先前工作相比,从组成上分析神经元使我们能够更精确地描述它们的行为。我们用这个过程来回答几个问题的可解释性模型的视觉和自然语言处理。首先,我们研究神经元学习的抽象类型。在图像分类中,我们发现许多神经元学习高度抽象但语义连贯的视觉概念,而其他多语义神经元检测多个不相关的特征;在自然语言推理(NLI)中,神经元从数据集偏差中学习浅层词汇分类。第二,我们看看组成的解释是否让我们深入了解模型的性能:视觉神经元,检测人类可解释的概念与任务性能呈正相关,而NLI神经元,火灾浅层记忆与任务性能呈负相关。最后,我们展示了组合解释如何为最终用户提供一种可访问的方式来生成简单的“复制-粘贴”对抗性示例,这些示例以可预测的方式改变模型行为。
2021-02-02 cs.AI cs.CL cs.CV
XNLI: Explaining and Diagnosing NLI-based Visual Data Analysis
Zhejiang University(浙江大学);Hong Kong University of Science and Technology(香港科技大学);MIT Media Lab(麻省理工学院媒体实验室);Southern University of Science and Technology(南方科技大学)
自然语言接口(NLI)使用户能够在数据可视化中灵活地指定分析意图。然而,诊断的可视化结果,而不了解底层的生成过程是具有挑战性的。我们的研究探讨了如何为NLI提供解释,以帮助用户定位问题并进一步修改查询。我们提出XNLI,一个可解释的NLI系统的可视化数据分析。该系统引入了一个出处生成器来揭示视觉转换的详细过程,一套交互式小部件来支持错误调整,以及一个提示生成器来提供基于用户查询和交互分析的查询修订提示。XNLI的两个使用场景和用户研究验证了系统的有效性和可用性。结果表明,XNLI可以显着提高任务的准确性,而不会中断基于NLI的分析过程。
2023-01-25 cs.CL cs.HC
VariErr NLI: Separating Annotation Error from Human Label Variation
LMU Munich(慕尼黑大学);FNRS(比利时国家科学研究基金会);UCLouvain(鲁汶大学)
本文提出 VariErr NLI 数据集和两轮标注方法,用于区分标注错误与人类标签变异,并发现现有自动错误检测方法及 GPT-4 仍不及人类表现。
2024-06-06 cs.CL
Enhancing adversarial robustness in Natural Language Inference using explanations
Artificial Intelligence and Learning Systems Laboratory(人工智能与学习系统实验室);School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典技术大学)
针对自然语言推理模型易受对抗攻击的问题,提出基于自然语言解释的模型无关防御策略,在解释上微调分类器可提升对抗鲁棒性,并探究了语言生成指标与人类感知的相关性以辅助构建鲁棒模型,方法高效易复现。
2024-10-06 cs.CL
Interactive Model with Structural Loss for Language-based Abductive Reasoning
Hebei University of Technology(河北工业大学);West Virginia University(西弗吉尼亚大学)
溯因自然语言推理任务($α$ NLI)被提出来推断原因和事件之间的最合理的解释。在$α$ NLI任务中,给出两个观察结果,并要求从候选者中挑选出最合理的假设。现有的方法分别对每个候选假设之间的关系建模,并统一惩罚推理网络。在本文中,我们认为没有必要区分正确的假设之间的推理能力;同样,所有错误的假设都有助于解释观察的原因。因此,我们建议在本文中将假设分组而不是排序,并设计一种称为“联合softmax焦点损失”的结构损失。基于观察到的假设一般是语义相关的,我们设计了一种新的交互式语言模型,旨在利用竞争的假设之间的丰富的互动。我们将这个新模型命名为$α$ NLI:具有结构损失的交互模型(IMSL)。实验结果表明,我们的IMSL在RoBERTa-large预训练模型上取得了最高的性能,ACC和AUC结果分别提高了约1%和5%。
2022-12-20 cs.AI cs.CL
NL-Eye: Abductive NLI for Images
Technion - IIT(以色列理工学院);Google Research(谷歌研究院)
本文提出NL-Eye基准,将溯因自然语言推理任务扩展到视觉领域,通过350个三元组示例评估视觉语言模型的视觉溯因推理能力,实验表明现有模型表现接近随机水平,揭示了其在多模态推理上的不足。
2024-10-03 cs.AI cs.CL cs.CV
Atomic Inference for NLI with Generated Facts as Atoms
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);Queen Mary University of London(伦敦玛丽女王大学);University College London(伦敦大学学院)
本文提出以LLM生成事实为原子的原子推断方法,通过多阶段事实生成和融合事实的训练机制,在自然语言推理中实现可解释且性能更优的决策。
2024-10-01 cs.CL
Decompose-and-Formalise: Recursively Verifiable Natural Language Inference
Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院);Idiap Research Institute(Idiap研究 institute);National Biomarker Centre, CRUK-MI, University of Manchester(曼彻斯特大学国家生物标记中心)
本文提出分解与形式化框架,通过自底向上的验证和局部诊断引导细化,提升自然语言推理的解释验证效率和准确性。
2026-01-27 cs.CL
Investigating Selective Prediction Approaches Across Several Tasks in IID, OOD, and Adversarial Settings
Arizona State University(亚利桑那州立大学)
为了使NLP系统具有选择性预测能力,已经提出了几种特定于任务的方法。然而,哪些方法在任务中效果最好,或者即使它们始终优于最简单的基线“MaxProb”,仍有待探索。为此,我们系统地研究了“选择性预测”在一个大规模的设置17个数据集在几个NLP任务。通过在域内(IID),域外(OOD)和对抗(ADV)设置下的全面实验,我们表明,尽管利用了额外的资源(保留的数据/计算),但现有方法在所有三种设置中都没有一致且显著优于MaxProb。此外,他们的表现并不能很好地体现在各项任务中。例如,Monte-Carlo Dropout在重复检测数据集上优于所有其他方法,但在NLI数据集上表现不佳,特别是在OOD设置中。因此,我们建议,未来的选择性预测方法应跨任务和设置进行评估,以可靠地估计其能力。
2022-03-01 cs.AI cs.CL cs.LG
Embarrassingly Simple Performance Prediction for Abductive Natural Language Inference
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);University of Stuttgart(斯图加特大学)
溯因自然语言推理(αnli)的任务是决定哪个假设是对一组观察结果的更可能的解释,这是一种特别困难的NLI类型。它不仅需要确定因果关系,还需要常识来评估解释的合理性。所有最近的竞争系统都建立在上下文表示的基础上,并利用Transformer架构来学习NLI模型。当有人面临特定的NLI任务时,他们需要选择可用的最佳模型。这是一项耗费时间和资源的工作。为了解决这个实际问题,我们提出了一个简单的方法来预测的性能,实际上没有微调的模型。我们通过测试预先训练的模型在αnli任务上的表现如何来做到这一点,当仅仅比较具有余弦相似性的句子嵌入与在这些嵌入之上训练分类器时所实现的性能时。我们发现,余弦相似性方法的准确性与皮尔逊相关系数为0.65的分类方法的准确性密切相关。由于相似性计算在给定数据集上的计算速度快了几个数量级(不到一分钟,而不是几小时),因此我们的方法可以在模型选择过程中节省大量时间。
2022-07-11 cs.CL
A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference
Boğaziçi University(博阿齐奇大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Technion – Israel Institute of Technology(以色列理工学院)
针对归因方法评估偏重英语的问题,本文提出基于词对齐的跨语言忠实性评估策略,结合多种输出与聚合机制全面评估 NLI 归因方法,并构建带高亮解释的多语言 XNLI 数据集。
2023-06-05 cs.AI cs.CL
e-SNLI: Natural Language Inference with Natural Language Explanations
University of Oxford(牛津大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维)
为了使机器学习获得广泛的公众采用,模型必须能够为其决策提供可解释和强大的解释,并在训练时从人类提供的解释中学习。在这项工作中,我们扩展了斯坦福大学的自然语言推理数据集与人类注释的自然语言解释的蕴涵关系的附加层。我们进一步实现了将这些解释纳入其训练过程并在测试时输出的模型。我们展示了我们的解释语料库(我们称之为e-SNLI)如何用于各种目标,例如获得模型决策的完整句子理由,改进通用句子表示以及转移到域外NLI数据集。因此,我们的数据集为使用自然语言解释开辟了一系列研究方向,无论是为了改进模型还是为了维护它们的信任。
2018-12-06 cs.CL
Can We Still Trace L1 Signals? Investigating the Resilience of Native Language Signals in the LLM Era
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
研究通过分析ACL论文集不同时期的母语识别趋势,探讨大语言模型对科研论文同质化的影响,发现后LLM时代出现异常波动,部分语言表现更趋明显。
2026-09-17 cs.AI cs.CL
Validity Assessment of Legal Will Statements as Natural Language Inference
The University of Arizona(亚利桑那大学)
这项工作引入了一个自然语言推理(NLI)数据集,重点关注法律遗嘱中陈述的有效性。这个数据集是独一无二的,因为:(a)每个蕴涵决定需要三个输入:遗嘱的陈述,法律和立遗嘱人死亡时的条件;(b)所包含的文本比当前NLI数据集中的文本更长。我们在这个数据集中训练了八个神经NLI模型。所有模型都达到了80%以上的宏观F1和准确度,这表明神经方法可以很好地处理这项任务。然而,群体准确性,一个更严格的评估措施,计算了一组积极和消极的例子,从同一个陈述作为一个单位,最多在80年代中期,这表明模型的理解仍然是肤浅的。进一步的消融分析和解释实验表明,所有三个文本段用于预测,但一些决策依赖于语义无关的令牌。这表明在这些较长的文本上可能会发生过度拟合,并且需要更多的研究来解决这个任务。
2022-10-30 cs.CL
Faithful and Robust LLM-Driven Theorem Proving for NLI Explanations
University of Manchester(曼彻斯特大学);Idiap Research Institute(IDIAP研究所);University of Sheffield(谢菲尔德大学)
本文研究LLM与定理证明器交互中的忠实性与鲁棒性问题,提出四种策略缓解自动形式化语义丢失、纠正语法错误、指导生成证明草图及解释反馈迭代优化,在多个数据集上显著提升自动形式化与解释优化效果并大幅减少验证迭代次数。
2025-05-30 cs.AI cs.CL
Plausible Extractive Rationalization through Semi-Supervised Entailment Signal
Nanyang Technological University(南洋理工大学);A*STAR, IHPC(新加坡科技研究局,高性能计算研究院)
本文提出一种半监督方法,利用预训练NLI模型在少量监督理据上微调,通过蕴含对齐为解释器提供监督信号,优化抽取式理据的合理性,在ERASER数据集上取得与监督模型相当且远超无监督方法的效果。
2024-11-12 cs.CL
To what extent do human explanations of model behavior align with actual model behavior?
Johns Hopkins University(约翰霍普金斯大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Facebook AI Research(Facebook人工智能研究)
鉴于NLP模型在我们的生活中扮演着越来越重要的角色,人类对模型行为的期望与实际的模型行为保持一致是很重要的。使用自然语言推理(NLI)作为一个案例研究,我们调查的程度,人类生成的解释模型的推理决策与模型实际上如何使这些决定。更具体地说,我们定义了三个对齐度量,量化自然语言解释与模型对输入单词的敏感性的对齐程度,如通过集成梯度测量的。然后,我们评估了八种不同的模型(BERT,RoBERTa和ELECTRA的基础和大版本,以及一个RNN和词袋模型),并发现BERT基础模型与人类生成的解释具有最高的对齐度,对于所有对齐度量。专注于Transformers,我们发现,基础版本往往有更高的对齐与人类生成的解释比他们的更大的同行,这表明,增加模型参数的数量导致,在某些情况下,与人类的解释更差的对齐。最后,我们发现模型与人类解释的一致性并不是由模型的准确性预测的,这表明准确性和一致性是评估模型的互补方式。
2021-09-16 cs.CL
Better Language Model-Based Judging Reward Modeling through Scaling Comprehension Boundaries
本文指出评判式奖励建模与NLI存在形式一致性,基于MLM的性能优势提出两阶段ESFP-RM,在RLHF与OOD场景下可输出更稳定、泛化性更强的奖励信号。
2025-11-15 cs.CL
Formal Semantic Control over Language Models
本研究通过VAE框架,探索了在潜在空间中解构语义特征以提升语言模型的可解释性和可控性。
2026-01-31 cs.CL
A Rose by Any Other Name: LLM-Generated Explanations Are Good Proxies for Human Explanations to Collect Label Distributions on NLI
MaiNLP, Center for Information and Language Processing, LMU Munich, Germany(MaiNLP,信息与语言处理中心,慕尼黑大学,德国);Munich Center for Machine Learning (MCML), Munich, Germany(慕尼黑机器学习中心(MCML),慕尼黑,德国);Language Technology Lab, University of Cambridge, United Kingdom(语言技术实验室,剑桥大学,英国)
本文探讨使用LLMs替代人类生成解释以近似人类判断分布(HJD),实验表明在NLI任务中LLM生成的解释在提供人类标签时效果与人类解释相当,并具有良好的泛化能力。
2025-05-30 cs.CL
Investigating Transfer Learning in Multilingual Pre-trained Language Models through Chinese Natural Language Inference
Indiana University Bloomington(印第安纳大学伯明顿分校);Brigham Young University(杨百翰大学);Northwestern University(西北大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Allen Institute for AI(艾伦人工智能研究所);Shanghai Jiaotong Univ.(上海交通大学)
多语言Transformers(XLM,mT5)已被证明在zero-shot设置中具有出色的转换技能。然而,大多数迁移研究依赖于自动翻译的资源(XNLI,XQuAD),这使得很难辨别正在迁移的特定语言知识,以及在开发特定任务模型时专家注释的单语数据集的作用。我们研究了XLM-R在中文和英文自然语言推理(NLI)中的跨语言迁移能力,重点是最近的大规模中文数据集OCNLI。为了更好地理解语言迁移,我们为中国人创建了4类挑战和对抗性任务(共17个新数据集),这些任务建立在几个知名的英语资源(例如,HANS,NLI压力测试)。我们发现,在英语NLI上训练的跨语言模型在我们的中文任务中迁移得很好(例如,在我们3/4的挑战类别中,它们的表现与最好的单语模型一样好/更好,甚至在3/5的独特的中国语言现象上,如成语,亲下降)。然而,这些结果带来了重要的警告:跨语言模型在英语和高质量单语NLI数据(OCNLI)的混合训练中表现最佳,并且经常受到自动翻译资源(XNLI-zh)的阻碍。对于许多现象,所有模型都在继续挣扎,这突出了我们需要新的诊断来帮助基准中文和跨语言模型。所有新的数据集/代码都在https://github.com/huhailinguist/ChineseNLIProbing上发布。
2021-06-07 cs.AI cs.CL
EVADE: LLM-Based Explanation Generation and Validation for Error Detection in NLI
Technical University of Munich(慕尼黑技术大学);MaiNLP, Center for Information and Language Processing, LMU Munich(MaiNLP,信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
提出EVADE框架,利用大语言模型生成和验证解释以检测NLI数据集中的标注错误,实验表明LLM验证能减少人力并提升微调性能。
2026-05-28 cs.CL
Explainable Compliance Detection with Multi-Hop Natural Language Inference on Assurance Case Structure
Simula Research Laboratory(Simula研究实验室)
本文提出EXCLAIM方法,将保证案例结构形式化为多跳自然语言推理,并利用大语言模型生成数据,以实现可解释、可追溯的自动化合规检测。
2025-07-03 cs.CL cs.SE
Enhancing Ethical Explanations of Large Language Models through Iterative Symbolic Refinement
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所);National Biomarker Centre, CRUK-MI, University of Manchester(曼彻斯特大学英国癌症研究中心曼彻斯特研究所国家生物标志物中心)
针对大语言模型伦理解释存在事实错误、逻辑一致性弱的问题,提出融合LLMs与反向链求解器的Logic-Explainer溯因-演绎框架,可精修解释、生成形式化证明,有效提升伦理NLI任务中解释质量与模型对齐性。
2024-02-01 cs.CL
Cross-Document Cross-Lingual NLI via RST-Enhanced Graph Fusion and Interpretability Prediction
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University(航空信息安全与可信计算重点实验室,教育部,网络安全与工程学院,武汉大学);Zhejiang University(浙江大学)
本文提出跨文档跨语言NLI(CDCL-NLI)范式,构建含25,410实例、26语言的数据集,并采用RST增强图融合与可解释性预测方法,显著优于传统模型及大语言模型。
2025-10-07 cs.AI cs.CL
Investigating the Robustness of Modelling Decisions for Few-Shot Cross-Topic Stance Detection: A Preregistered Study
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Leiden University(莱顿大学);Eindhoven University of Technology(埃因霍温理工大学)
本文通过预注册实验,在7个数据集上比较少样本跨主题立场检测的任务定义、编码架构与NLI知识,揭示不同建模选择的效果并不稳定。
2024-04-05 cs.CL
"Seeing the Big through the Small": Can LLMs Approximate Human Judgment Distributions on NLI from a Few Explanations?
University of Cambridge(剑桥大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本研究针对自然语言推理中人类判断分布标注成本高、难扩展的问题,提出用少量专家标签和解释辅助大语言模型近似该分布,验证了该方法的有效性,并指出评估模型判断分布需结合实例级距离与全局级形状指标。
2024-10-04 cs.CL
Verification and Refinement of Natural Language Explanations through LLM-Symbolic Theorem Proving
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所);National Biomarker Centre, CRUK-MI, University of Manchester(英国曼彻斯特大学英国癌症研究中心曼彻斯特研究所国家生物标志物中心)
本文提出神经符号框架Explanation-Refiner,整合LLMs和定理证明器,实现自然语言解释的生成、形式化验证与反馈精炼,用于评估和提升NLI模型的解释质量。
2024-10-11 cs.CL
The Effect of Model Size on LLM Post-hoc Explainability via LIME
University College London(伦敦大学学院)
本文通过 LIME 分析四种规模 DeBERTaV3 在 NLI 与零样本分类上的事后解释,发现规模提升改善性能却不提升解释合理性,并揭示忠实度指标局限。
2024-05-08 cs.AI cs.CL cs.LG
Logic-Parametric Neuro-Symbolic NLI: Controlling Logical Formalisms for Verifiable LLM Reasoning
University of Luxemburg(卢森堡大学);University of Sheffield(谢菲尔德大学)
本文提出逻辑参数化框架,通过可控逻辑形式提升神经符号推理的鲁棒性与适应性,实验表明内部逻辑策略在不同领域具有更优表现。
2026-01-09 cs.AI cs.CL cs.LO
Explaining Interactions Between Text Spans
University of Copenhagen(哥本哈根大学);University of Michigan(密歇根大学)
针对自然语言理解任务中文本跨度交互解释的缺失,研究引入 SpanEx 多标注者数据集,对比微调大模型与人类的决策过程,并提出基于社区检测的无监督方法提取交互解释。
2023-10-20 cs.AI cs.CL
Emulating the Human Mind: A Neural-symbolic Link Prediction Model with Fast and Slow Reasoning and Filtered Rules
Iran University of Science and Technology(伊朗科技大学);Sohar University(苏哈尔大学)
受人类快慢思考与常识推理启发,提出神经符号模型 FaSt-FLiP,结合逻辑与神经模型进行链接预测,利用 NLI 过滤错误规则并统一答案,显著提升了预测性能与解释可靠性。
2023-10-21 cs.CL
Abductive Commonsense Reasoning
Allen Institute for AI(艾伦人工智能研究院);Facebook AI(脸书人工智能研究院);Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院)
溯因推理是对最合理解释的推理。例如,如果珍妮下班回家后发现家里一片狼借,她记得自己开着一扇窗户,她可以假设一个小偷闯入了她的房子,并造成了混乱,这是最合理的解释。虽然溯因一直被认为是人们如何解释和阅读自然语言字里行间的核心(Hobbs et al.,1988年),在支持溯因自然语言推理和生成方面的研究相对较少。我们提出的第一项研究,调查基于语言的溯因推理的可行性。我们引入了一个挑战数据集ART,它由超过20 k个常识性的叙事上下文和200 k个解释组成。基于这个数据集,我们概念化两个新的任务-(i)外展NLI:一个多项选择问答任务,选择更可能的解释,和(ii)外展NLG:一个条件生成任务,解释给定的观察自然语言。在外展NLI上,最佳模型的准确率为68.9%,远低于人类的91.4%。在外展NLG上,目前最好的语言生成器甚至更加挣扎,因为它们缺乏对人类来说微不足道的推理能力。我们的分析导致了对深度预训练的语言模型未能执行的推理类型的新见解-尽管它们在相关但定义更窄的NLI任务上表现出色-为未来的研究指明了有趣的途径。
2020-02-14 cs.CL
The Curse of Performance Instability in Analysis Datasets: Consequences, Source, and Suggestions
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们发现,最先进的模型在自然语言推理(NLI)和阅读理解(RC)分析/重音集上的表现可能非常不稳定。这就提出了三个问题:(1)不稳定性将如何影响基于这些分析集得出的结论的可靠性?(2)这种不稳定性从何而来?(3)我们应该如何处理这种不稳定性,有哪些潜在的解决方案?对于第一个问题,我们对分析集进行了深入的实证研究,发现除了不稳定的最终性能外,不稳定性存在于整个训练曲线上。我们还观察到低于预期的分析验证集和标准验证集之间的相关性,质疑目前的模型选择程序的有效性。接下来,为了回答第二个问题,我们对不稳定性的来源给出了理论解释和经验证据,表明不稳定性主要来自分析集内的高样本间相关性。最后,对于第三个问题,我们讨论了减轻不稳定性的初步尝试,并为未来的工作提出了指导方针,例如报告分解的方差,以获得更可解释的结果和模型之间的公平比较。我们的代码可在https://github.com/owenzx/InstabilityAnalysis上公开获取
2020-11-16 cs.CL cs.LG