Unsupervised Knowledge Graph Construction and Event-centric Knowledge Infusion for Scientific NLI
Ocean University of China(中国海洋大学);University of Technology Sydney(悉尼科技大学);Australian AI Institute(澳大利亚人工智能研究所)
随着自然语言推理技术的发展,对自然语言推理的需求越来越多地体现在对科技文本的处理上。现有的方法依赖于缺乏特定领域知识的预训练模型(PTM)。为了解决这个问题,我们引入了一个科学知识图谱推广PTM到科学领域。然而,现有的知识图谱构建方法存在一些缺点,即,昂贵的标记数据,无法应用于其他领域,推理时间长,难以扩展到大型语料库。因此,我们提出了一种无监督的知识图谱构建方法,以建立一个科学的知识图谱(SKG)没有任何标记的数据。此外,为了减轻SKG的噪声效应,更好地补充句子中的知识,本文提出了一种以事件为中心的知识注入方法,将外部知识融入到句子中的细粒度语义单元--事件中。实验结果表明,该方法达到了最先进的性能和SKG的有效性和可靠性。
2022-10-28 cs.CL
Rethinking STS and NLI in Large Language Models
MBZUAI(穆罕默德·本·扎耶德人工智能大学);LibrAI;Monash University(莫纳什大学)
本文重新审视大型语言模型在语义文本相似性和自然语言推理任务中的表现,指出其受限于低资源领域准确性、过度自信及难以捕捉人类分歧,并评估了模型在临床生物医学领域的性能与置信度。
2024-02-04 cs.CL
Selection Shapes the Boundary: A Replication of Monotonicity and Label Agreement in Unselected NLI Populations
University of Bremen(不来梅大学)
研究自然语言推理中人类标签变异,预注册复制未选群体中单调性和标签一致性边界,原负边界预测失败,新结果显示为正,表明原负边界或为低一致性选择结构,相关主张应明确选择条件。
2026-11-03 cs.CL
How Much Human Label Variation Does Formal Semantic Structure Explain? Group-Level Effects and Item-Level Ceilings in NLI
University of Bremen(不来梅大学)
研究自然语言推理中形式语义结构对人类标签差异的解释程度,通过在ChaosNLI项目上运用特定方法和预注册分析,得出组级界限、项目级上限及组合不变性等结果,揭示形式语义结构对标注分歧的影响有限。
2026-10-09 cs.CL
Learning to Infer from Unlabeled Data: A Semi-supervised Learning Approach for Robust Natural Language Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自然语言推理(NLI)或识别文本蕴涵(RTE)的目的是预测一对句子(前提和假设)之间的关系是蕴涵、矛盾还是语义独立。尽管近年来深度学习模型在NLI方面表现出了良好的性能,但它们依赖于大规模昂贵的人工注释数据集。半监督学习(SSL)是一种流行的技术,通过利用未标记的数据进行训练来减少对人类注释的依赖。然而,尽管它在单句分类任务上取得了巨大的成功,其中使用未标记数据的挑战是分配“足够好”的伪标签,但对于NLI任务,未标记数据的性质更加复杂:数据中缺少一个句子(通常是假设)以及类标签,需要人工注释,这使得NLI的SSL更具挑战性。在本文中,我们提出了一种新的方法,将未标记的数据在SSL的NLI,我们使用一个条件语言模型,BART生成的假设为未标记的句子(用作前提)。我们的实验表明,我们的SSL框架成功地利用未标记的数据,并大大提高了四个NLI数据集在低资源设置的性能。我们在https://github.com/msadat3/SSL_for_NLI上发布代码。
2022-11-05 cs.CL
Uncertain Natural Language Inference
Johns Hopkins University(约翰斯·霍普金斯大学);Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所)
我们引入了不确定自然语言推理(UNLI),这是自然语言推理(NLI)的一种改进,它远离了分类标签,而是针对主观概率评估的直接预测。我们证明了通过在概率尺度下重新标记SNLI数据集的一部分来为UNLI收集注释的可行性,即使具有相同分类标签的项目在给定前提下人们判断它们为真的可能性也不同。我们描述了一种直接标量回归建模方法,并发现现有的分类标记的NLI数据可以用于预训练。我们最好的模型接近人类的表现,证明模型可能能够比目前NLI任务中采用的分类箱分配更微妙的推断。
2020-05-05 cs.CL
NLI under the Microscope: What Atomic Hypothesis Decomposition Reveals
University of Maryland, College Park(马里兰大学帕克分校)
本文利用原子假设分解将NLI和可废止NLI任务拆分为原子子问题,以探究模型逻辑一致性,发现LLM在此类细粒度推理上仍存在困难,并提出衡量模型推理一致性的新指标。
2025-03-07 cs.CL
Reverse-engineering NLI: A study of the meta-inferential properties of Natural Language Inference
The Centre for Linguistic Theory and Studies in Probability (CLASP), Department of Philosophy, Linguistics and Theory of Science, University of Gothenburg(语言理论与概率研究所以及哲学、语言学和科学理论系,哥德堡大学);Computational Linguistics and Language Technology Lab (UCRC), Department of Philology, University of Crete(计算语言学与语言技术实验室(UCRC),文学系,希腊克里特大学)
本文研究NLI任务的元推理属性,通过分析SNLI数据集中的项目,探讨模型在推理一致性上的表现及数据集所编码的逻辑关系。
2026-01-09 cs.CL
Metric-Dependent Annotation Saturation for Learning from Label Distributions
Apple(苹果公司)
研究从标签分布中学习时,所需标注者数量如何依赖于评估度量,发现熵相关需要20-50个标注者收敛,而KL散度在10个标注者时饱和,且软标签优于标签平滑。
2026-10-30 cs.CL
Math Natural Language Inference: this should be easy!
该研究提出Math NLI问题,构建了人工标注的数学文本自然语言推理语料库,探究大语言模型在该任务上的性能与组间一致性,发现多数投票可媲美人工标注但模型仍存推理缺陷,并开源语料支持后续研究。
2025-07-30 cs.CL
Estimating the Causal Effects of Natural Logic Features in Neural NLI Models
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
本文通过因果效应估计方法,在NLI任务中系统分析上下文干预和词对干预对模型蕴含判断的影响,构建模型在鲁棒性与敏感性方面的比较画像。
2023-05-15 cs.CL
Enhancing Transformers with Gradient Boosted Decision Trees for NLI Fine-Tuning
Johannes Kepler University(约翰内斯·开普勒大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
迁移学习已经成为许多自然语言处理任务的主导范式。除了在大型数据集上预训练模型外,还可以在类似于目标任务的中间(监督)任务上进一步训练模型。对于小的自然语言推理(NLI)数据集,语言建模之后通常是在大的(带标签的)NLI数据集上进行预训练,然后对每个NLI子任务进行微调。在这项工作中,我们探讨梯度提升决策树(GBDTs)作为一种替代常用的多层感知器(MLP)分类头。GBDTs具有期望的性质,例如在密集的数值特征上的良好性能,并且在样本数量与特征数量的比率低的情况下是有效的。然后,我们介绍FreeGBDT,一种在微调期间计算的特征上拟合GBDT头部的方法,以提高性能,而无需神经网络进行额外的计算。我们使用强基线模型(带有MNLI预训练的RoberTa-large)在几个NLI数据集上证明了我们的方法的有效性。FreeGBDT显示了对MLP分类头的一致改进。
2021-06-08 cs.CL
Scaling Native Language Identification with Transformer Adapters
Universität Zürich(苏黎世大学);PRODAFT
母语识别(NLI)是根据学习语言的语言产出自动识别个人母语的任务。它可用于各种目的,包括营销,安全和教育应用。NLI通常被定义为多标签分类任务,其中许多设计的特征被组合以实现最先进的结果。最近,基于Transformer解码器(GPT-2)的深度生成方法优于其同行,并在NLI基准数据集上取得了最佳结果。我们调查这种方法,以确定与传统的国家的最先进的NLI系统的实际影响。我们引入了Transformer适配器来解决内存限制并提高训练/推理速度,以扩展NLI应用程序以用于生产。
2022-11-18 cs.CL
NILE : Natural Language Inference with Faithful Natural Language Explanations
Indian Institute of Science(印度科学学院)
最近,深度学习模型在NLP分类任务中的流行和成功伴随着对预测标签生成某种形式的自然语言解释的需求。期望这样生成的自然语言(NL)解释是忠实的,即,它们应该与模型的内部决策很好地关联。在这项工作中,我们专注于自然语言推理(NLI)的任务,并解决以下问题:我们可以建立NLI系统,产生高精度的标签,同时也产生忠实的解释其决定?我们提出了自然语言推理的标签特定的解释(NILE),一种新的NLI方法,利用自动生成的标签特定的NL解释,以产生标签及其忠实的解释。我们证明了NILE的有效性,通过自动化和人工评价所产生的标签和解释比以前报道的方法。我们对NILE的评估也支持这样的说法,即可以设计出能够为他们的决定提供可测试解释的精确系统。我们讨论了NILE的解释的忠实性方面的敏感性的决定,相应的解释。我们认为,除了标签和解释准确性外,对忠实性的明确评估是评估模型解释的重要步骤。此外,我们表明,任务特定的探针是必要的,以建立这样的灵敏度。
2020-05-25 cs.CL
Don't Take the Premise for Granted: Mitigating Artifacts in Natural Language Inference
Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Massachusetts Institute of Technology(麻省理工学院)
自然语言推理(NLI)数据集通常包含仅假设的偏差--允许模型在不学习前提是否需要假设的情况下实现非平凡性能的工件。我们提出了两种概率方法来构建模型,这些模型对此类偏差更鲁棒,并且在数据集之间更好地传输。与NLI的标准方法相比,我们的方法预测给定假设和NLI标签的前提的概率,阻止模型忽略前提。我们通过在包含偏差的数据集上进行训练,并在不包含(或不同)仅假设偏差的数据集上进行测试,来评估我们在合成和现有NLI数据集上的方法。我们的研究结果表明,这些方法可以使NLI模型对特定于网络的工件更加鲁棒,在12个NLI数据集中有9个的传输比基线架构更好。此外,我们还对我们的方法与NLI数据集中已知偏差的相互作用进行了广泛的分析,以及鼓励模型忽略偏差和对目标数据集进行微调的影响。
2019-07-09 cs.CL
Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);RMIT University(皇家墨尔本理工大学)
当前的语言模型很难捕捉否定,尽管这个问题的程度还没有被广泛理解。我们介绍了一个自然语言推理(NLI)测试套件,使探测能力的NLP方法,以了解子子句否定的目的。测试套件包含前提-假设对,其中前提包含子子句否定,并且通过对前提进行最小修改来构建假设,以反映不同的可能解释。除了采用标准的NLI标签,我们的测试套件系统地构建在一个严格的语言框架。它包括基于语言学理论的否定类型和结构的注释,以及用于构建假设的操作。这有助于对模型性能进行细粒度分析。我们使用预先训练的语言模型进行实验,以证明我们的测试套件比现有的基准测试更具挑战性,重点是否定,并显示我们的注释如何支持更深入地了解当前NLI的否定和量化能力。
2022-10-13 cs.CL
Interventional Probing in High Dimensions: An NLI Case Study
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
本文以自然逻辑 NLI 为案例,结合遗忘探测与新提出的记忆探测进行表征级干预,检验语义特征对分类的因果作用并反思方法陷阱。
2023-04-20 cs.CL
How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工国立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文提出利用训练动态自动划分NLI测试集难度级别,以减少虚假相关性并构建更具挑战性的评估集,同时证明该方法可用于筛选高效训练子集,提升模型性能评估的真实性。
2024-10-04 cs.CL
Investigating Reasons for Disagreement in Natural Language Inference
The Ohio State University(俄亥俄州立大学);UCLouvain(鲁汶大学)
我们研究如何在自然语言推理(NLI)注释出现分歧。我们开发了一个分类法的分歧来源,10个类别跨越3个高级别的类。我们发现,一些分歧是由于句子意义的不确定性,其他注释者的偏见和任务工件,导致不同的解释的标签分布。我们探讨了两种建模方法来检测项目与潜在的分歧:4路分类与“复杂”的标签,除了三个标准的NLI标签,和多标签分类方法。我们发现,多标签分类是更有表现力,并给出了更好的回忆数据中可能的解释。
2022-09-07 cs.CL
A synthetic data approach for domain generalization of NLI models
Google Deepmind(谷歌DeepMind)
本文提出一种生成多样化领域和长度的高质量合成NLI数据方法,使模型在零样本下游任务中实现更好的领域泛化,并在TRUE基准上显著提升性能。
2024-06-28 cs.CL
Exploring Factual Entailment with NLI: A News Media Study
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出新型事实蕴涵标注方案FactRel并构建新闻句对数据集,发现事实关系与NLI关系存在显著差异,验证了GPT-4合成数据、小样本学习在该任务上的有效性,揭示任务对世界知识与推理能力的双重依赖。
2024-06-24 cs.CL
English Prompts are Better for NLI-based Zero-Shot Emotion Classification than Target-Language Prompts
University of Stuttgart(斯图加特大学);University of Bamberg(班贝格大学);University of the Basque Country(巴斯克大学)
针对非英文文本零样本情感分类的提示语言选择问题,研究通过基于自然语言推理的多语言大模型实验发现,使用英文提示的效果始终优于目标语言提示,填补了相关研究空白。
2024-03-07 cs.CL
Learning Proposition-Level Links from Sentence-Level Supervision for Neuro-Symbolic NLI
University College London(伦敦大学学院)
该研究针对神经符号NLI,提出可训练原子链接器,从句子级监督学习命题级链接,在SNLI、SICK、MNLI等数据集上较基线及固定链接器系统实现显著准确率提升。
2026-10-15 cs.CL
On Reference (In-)Determinacy in Natural Language Inference
University of Pennsylvania(宾夕法尼亚大学);Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);Microsoft(微软)
本文重新审视NLI任务中的指代确定性假设,发现基于该假设训练的模型在语境不匹配的下游任务中表现差,为此引入RefNLI诊断基准,揭示模型无法识别指代歧义的问题,并指出其对NLI数据集创建及人类分歧的影响。
2025-02-09 cs.CL
Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
University of Manchester(曼彻斯特大学);National Biomarker Centre, CRUK-MI, University of Manchester(曼彻斯特大学国家生物标志物中心,英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap 研究所)
本文针对基于 Transformer 的 NLI 模型,利用因果效应估计和干预实验分析自然逻辑特征,揭示相近基准准确率背后的行为差异及单调性、否定相关偏差。
2024-04-03 cs.CL
Conformal Predictor for Improving Zero-shot Text Classification Efficiency
Salesforce AI Research(赛富时人工智能研究院);Hugging Face(拥抱脸)
预训练的语言模型(PLM)已被证明是有效的zero-shot(0 shot)文本分类。基于自然语言推理(NLI)和下一句预测(NSP)的Oshot模型采用交叉编码器架构,并通过分别对每个标签-文本对进行模型的前向传递来进行推理。这增加了在标签数量上进行线性推断的计算成本。在这项工作中,我们通过使用另一个基于快速基本分类器的共形预测器(CP)来限制可能标签的数量,从而提高了这种基于交叉编码器的0 shot模型的效率。由于CP生成具有覆盖保证的预测集,因此它减少了目标标签的数量,而不排除基于0 shot模型的最可能的标签。我们使用三个意图和两个主题分类数据集进行实验。通过为每个数据集选择合适的CP,我们将基于NLI和NSP的模型的平均推理时间分别减少了25.6%和22.2%,而不会将性能降低到预定义的出错率1%以下。
2022-10-23 cs.CL
Sample-Size Scaling of the African Languages NLI Evaluation
Noida Institute of Engineering and Technology(奈德人工智能工程与技术学院);ML Collective(机器学习集体)
本研究通过AfriXNLI基准对16种非洲语言进行系统样本量缩放实验,发现NLI性能随样本量增加并非单调提升,而是呈现语言敏感且非单调的缩放行为,表明数据量不足以保证稳定收益,需语言敏感的数据集和更强多语言建模策略。
2026-06-02 cs.CL cs.LG
Multi-Perspective Inferrer: Reasoning Sentences Relationship from Holistic Perspective
Nanjing University(南京大学);National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Collaborative Innovation Center of Novel Software Technology and Industrialization(软件新技术与产业化协同创新中心)
自然语言推理(NLI)旨在确定逻辑关系(即,蕴涵,中性和矛盾)之间的前提和假设。最近,对准机构通过捕获对准的部分(即,句对中的“相似段”,隐含着蕴涵和矛盾的视角。然而,这些对齐的部分有时会误导中立关系的判断。直觉上,NLI应该更多地依靠多个视角,形成一个整体的观点,以消除偏见。在本文中,我们提出了多角度Inferrer(MPI),一种新的NLI模型,原因从多个角度与三个关系的关系。MPI通过协议路由策略确定句子不同部分的观点,并从整体角度做出最终决定。此外,我们引入了一个辅助监督信号,以确保MPI学习预期的观点。在SNLI和MultiNLI上的实验表明:1)MPI在基本模型的基础上实现了实质性的改进,验证了多视角推理的动机; 2)可视化证据验证了MPI能够按照预期学习到高度可解释的视角; 3)更重要的是,MPI与强大的BERT是无架构的,并且兼容。
2019-11-09 cs.CL
Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference
University of Amsterdam(阿姆斯特丹大学);University of Tehran(德黑兰大学);Tehran Institute for Advanced Studies(德黑兰高等研究院);Khatam University(哈塔姆大学)
它已被证明,NLI模型通常是有偏见的前提和假设之间的词重叠,他们把这个功能作为一个主要线索,预测蕴涵标签。在本文中,我们专注于一个被忽视的方面的重叠偏置NLI模型:反向词重叠偏置。我们的实验结果表明,目前的NLI模型高度偏向于具有低重叠的实例上的非蕴涵标签,并且据报道在现有挑战数据集上成功的现有去偏置方法通常在解决这类偏差方面无效。我们调查的原因出现的重叠偏见和少数的例子在其缓解的作用。对于前者,我们发现词重叠偏差并不源于预训练,而对于后者,我们观察到,与公认的假设相反,消除少数的例子并不影响去偏置方法关于重叠偏差的普遍性。
2022-11-07 cs.CL
Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic
University of Alberta(阿尔伯塔大学);Carnegie Mellon University(卡内基梅隆大学)
自然语言推理的目的是确定两个句子之间的逻辑关系,如蕴涵、矛盾和中性。近年来,深度学习模型已成为NLI的主流方法,但它们缺乏可解释性和可解释性。在这项工作中,我们解决了NLI的弱监督逻辑推理的可解释性,并提出了一个可解释短语推理(EPR)的方法。我们的模型首先检测短语作为语义单位,并将两个句子中的相应短语对齐。然后,该模型预测对齐短语的NLI标签,并通过模糊逻辑公式归纳句子标签。我们的EPR几乎在任何地方都是可微的,因此系统可以端到端地训练。通过这种方式,我们能够以弱监督的方式提供短语逻辑关系的明确解释。我们进一步表明,这样的推理结果有助于文本解释生成。
2023-02-22 cs.AI cs.CL
Supporting Context Monotonicity Abstractions in Neural NLI Models
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
自然语言语境显示了关于相关概念替换的逻辑冲突:这些被捕获在称为单调性的函数序理论属性中。对于某一类NLI问题,其中所产生的蕴涵标签仅取决于上下文单调性和替代概念之间的关系,我们建立在以前的技术,旨在提高这些问题的NLI模型的性能,因为即使对于最先进的模型,在向上和向下单调的上下文中的一致性能似乎仍然很难达到。为此,我们重新定义了上下文单调性分类的问题,使其与基于transformer的预训练NLI模型兼容,并将此任务添加到训练管道中。此外,我们介绍了一个健全的和完整的简化单调性逻辑形式主义,它描述了我们的处理上下文作为抽象单位。使用我们的形式主义中的概念,我们适应有针对性的挑战集,以调查是否中间上下文单调性分类任务可以帮助NLI模型的表现表现单调性推理的例子。
2021-05-17 cs.CL cs.LG
Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University(浙江大学);Fudan University(复旦大学);Westlake University(西湖大学)
自然语言推理是自然语言处理的一项基本任务,它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示,但它们不足以测试长文本的上下文推理,这是人类推理过程的自然部分。我们介绍了ConTRoL,一个新的数据集,用于长文本的上下文推理。ConTRoL由8,325个专家设计的带有黄金标签的“上下文假设”对组成,是一个高级NLI数据集,专注于复杂的上下文推理类型,如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验(言语推理测验),具有专家级质量。与以前的NLI基准相比,ConTRoL中的材料更具挑战性,涉及一系列推理类型。实证结果表明,最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集,例如检查摘要的事实正确性。
2020-11-10 cs.CL
Evaluating the Effectiveness of Natural Language Inference for Hate Speech Detection in Languages with Limited Labeled Data
University of Zurich(苏黎世大学)
针对标注数据有限的多语言仇恨言论检测问题,验证自然语言推理模型的效用,对比直接微调、英语中间微调等方案,给出低资源语言仇恨言论检测的实践建议。
2023-06-10 cs.CL cs.CY
WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Southern California(南加州大学)
大规模众包NLP数据集的一个反复出现的挑战是,人类作者在制作示例时经常依赖重复的模式,导致缺乏语言多样性。我们介绍了一种基于工人和AI协作的数据集创建新方法,该方法将语言模型的生成能力和人类的评估能力结合在一起。从一个现有的数据集,MultiNLI的自然语言推理(NLI),我们的方法使用数据集制图自动识别的例子,证明具有挑战性的推理模式,并指示GPT-3组成新的例子与类似的模式。然后机器生成的示例会自动过滤,最后由人类众包工作者进行修改和标记。由此产生的数据集WANLI由107,885个NLI示例组成,并在现有的NLI数据集上呈现出独特的经验优势。值得注意的是,与在4倍大的MultiNLI上训练相比,在WANLI上训练模型可以提高我们考虑的8个域外测试集的性能,包括在HANS上提高11%,在对抗性NLI上提高9%。此外,它仍然比其他NLI数据集增强的MultiNLI更有效。我们的研究结果证明了利用自然语言生成技术和重新想象人类在数据集创建过程中的作用的前景。
2022-11-15 cs.CL
Mining Knowledge for Natural Language Inference from Wikipedia Categories
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Rutgers University(罗格斯大学);University of Chicago(芝加哥大学)
精确的词汇蕴涵(LE)和自然语言推理(NLI)通常需要大量昂贵的注释。为了减轻对标记数据的需求,我们引入了WikiNLI:一个用于提高NLI和LE任务模型性能的资源。它包含428,899对短语,这些短语是从维基百科中自然注释的类别层次结构中构建的。我们表明,我们可以通过在WikiNLI上对BERT和RoBERTa进行预训练并将模型转移到下游任务上来改进强基线。我们与从其他知识库(如WordNet和Wikidata)中提取的短语进行了系统的比较,发现在WikiNLI上进行预训练可以获得最佳性能。此外,我们还用其他语言构建了WikiNLI,并表明对它们进行预训练可以提高相应语言的NLI任务的性能。
2020-10-03 cs.CL
SpatialNLI: A Spatial Domain Natural Language Interface to Databases Using Spatial Comprehension
Auburn University(奥本大学);Stony Brook University(石溪大学);WeWork Research(WeWork研究院)
数据库的自然语言接口(NLI)是将自然语言问题转换为可由数据库管理系统(DBMS)执行的结构化查询的接口。然而,由于空间问题的特质和表现力,在一般领域中训练的NLI很难应用于空间领域。受机器理解模型的启发,我们提出了一个空间理解模型,它能够根据上下文的语义来识别空间实体的含义。然后将从空间理解模型中学习到的空间语义注入到自然语言问题中,以减轻捕获空间特定语义的负担。通过我们的空间理解模型和信息注入,我们的空间域NLI,命名为SpatialNLI,能够捕获问题的语义结构,并将其准确地转换为可执行查询的相应语法。我们还通过实验确定SpatialNLI优于最先进的方法。
2019-08-28 cs.CL
Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学)
自然语言推理(NLI)需要模型来学习和应用常识知识。这些推理能力对于可解释的NLI系统特别重要,该系统除了其标签预测之外还生成自然语言解释。外部知识的整合已被证明可以改善NLI系统,在这里,我们调查它是否也可以提高他们的解释能力。为此,我们调查了不同的外部知识来源,并评估了我们的模型在域内数据以及旨在评估细粒度推理能力的特殊传输数据集上的性能。我们发现不同的知识来源对推理能力有不同的影响,例如,存储在语言模型中的隐性知识会阻碍对数字和否定的推理。最后,我们进行了迄今为止规模最大,粒度最细的可解释的NLI众包研究。它表明,即使是在自动性能分数的巨大差异并不反映在标签,解释,常识或语法正确性的人的评级。
2021-10-13 cs.CL cs.HC
Investigating the Effect of Natural Language Explanations on Out-of-Distribution Generalization in Few-shot NLI
University of Chicago(芝加哥大学)
虽然神经模型在SNLI等数据集中表现出了很强的性能,但它们缺乏泛化分布外(OOD)的能力。在这项工作中,我们制定了一个少样本学习设置和检查的影响,自然语言解释对面向对象的推广。我们利用HANS数据集中的模板,并为每个模板构建模板化的自然语言解释。尽管生成的解释显示出与地面实况解释相比具有竞争力的BLEU分数,但它们未能提高预测性能。我们进一步表明,生成的解释往往产生幻觉的信息和错过的关键元素,表明标签。
2021-10-12 cs.AI cs.CL
DocNLI: A Large-scale Dataset for Document-level Natural Language Inference
Salesforce Research(赛富时研究院);Yale University(耶鲁大学)
自然语言推理(NLI)是一个统一的框架,用于解决各种自然语言处理问题,如关系抽取、问答、摘要等。然而,大多数现有的研究集中在仅仅是中间层的推理,这限制了NLI的应用范围在下游的NLP问题。本文提出了一种新的大规模文档级自然语言集成数据集DocNLI。DocNLI是从广泛的NLP问题转换而来的,涵盖了多种文本类型。前提总是停留在文档粒度上,而假设的长度从单个句子到数百个单词的段落不等。此外,DocNLI具有非常有限的工件,不幸的是,这些工件广泛存在于一些流行的文档级NLI数据集中。我们的实验表明,即使没有微调,在DocNLI上预训练的模型在流行的文档级基准测试中表现出良好的性能,并很好地推广到依赖于文档粒度推理的域外NLP任务。针对特定任务的微调可以带来进一步的改进。数据、代码和预训练模型可以在https://github.com/salesforce/DocNLI上找到。
2021-06-17 cs.CL
Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options
New York University(纽约大学)
大规模自然语言推理(NLI)数据集,如SNLI或MNLI,是通过要求众包工作者阅读一个前提并编写三个新假设来创建的,每个假设对应一种可能的语义关系(蕴涵、矛盾和中性)。虽然该协议已被用于创建有用的基准数据,但仍不清楚基于书写的注释协议是否对任何目的都是最佳的,因为它尚未被直接评估。此外,有充分的证据表明,众包写作可以在数据中引入工件。我们研究了两种替代协议,自动创建候选人(前提,假设)对标注。使用这些协议和基于写作的基线,我们收集了几个新的英语NLI数据集,每个数据集都有超过3k个示例,每个数据集都使用固定的注释时间,但示例数量不同,以适应时间预算。我们对NLI和迁移学习的实验显示了负面的结果:没有一个替代协议在NLI内的泛化评估或迁移到外部目标任务上优于基线。我们的结论是,众包写作仍然是蕴涵数据的最佳选择,强调需要进一步的数据汇集工作,专注于改善基于写作的注释过程。
2020-10-13 cs.CL
SpaceNLI: Evaluating the Consistency of Predicting Inferences in Space
Utrecht University(乌得勒支大学);Institute for Language Sciences(语言科学研究所)
本文提出空间推理数据集 SpaceNLI,并引入模式准确率指标,发现现有 NLI 系统在空间推理上表现中等且缺乏模式一致性,其中非投射性空间推理最具挑战性。
2023-07-05 cs.CL
Fake News Detection as Natural Language Inference
National Cheng Kung University(国立成功大学)
本报告描述了智能知识管理(IKM)实验室在WSDM 2019假新闻分类挑战中的参赛作品。我们把任务作为自然语言推理(NLI)。我们单独训练一些最强的NLI模型以及BERT。我们将这些结果进行集成,并在两个阶段中使用噪声标签进行重新训练。我们分析了训练集和测试集中的传递性关系,并在此基础上确定了一组可以可靠分类的测试用例。其余的测试用例由我们的集合进行分类。我们的参赛作品在比赛中获得了88.063%的测试集准确率,获得第三名。
2019-07-17 cs.CL
SourceMinds at CheckThat! 2026: NLI-Grounded Citation Auditing in a Multi-Agent Pipeline for Full Fact-Checking Article Generation
University of North Texas(北得克萨斯大学);Texas Academy of Mathematics and Science (TAMS)(德克萨斯数学与科学学院)
针对CLEF 2026 CheckThat!实验室任务3,提出多智能体管道系统,结合证据检索、结构化规划、文章生成、自我批判及引用审核等方法,强调证据选择、结构化生成与生成后引用验证对事实核查文章生成的重要性。
2026-07-31 cs.CL cs.IR
Data and Representation for Turkish Natural Language Inference
Garanti BBVA Technology(Garanti BBVA科技公司);Boğaziçi University(博阿齐奇大学);Stanford University(斯坦福大学)
NLP中的大型注释数据集绝大多数是英语的。这是其他语言取得进展的一个障碍。不幸的是,为每项任务获得每种语言的新注释资源将是非常昂贵的。与此同时,商业机器翻译系统现在也很强大。我们能否利用这些系统自动翻译英语数据集?在本文中,我们提供了一个积极的回应自然语言推理(NLI)在土耳其。我们将两个大型英语NLI数据集翻译成土耳其语,并让一个专家团队验证其翻译质量和对原始标签的忠实度。使用这些数据集,我们解决代表土耳其NLI的核心问题。我们发现,在语言嵌入是必不可少的,可以避免形态分析的训练集是大的。最后,我们证明了在我们的机器翻译数据集上训练的模型在人类翻译的评估集上是成功的。我们公开共享所有代码、模型和数据。
2020-10-20 cs.CL
What If We Simply Swap the Two Text Fragments? A Straightforward yet Effective Way to Test the Robustness of Methods to Confounding Signals in Nature Language Inference Tasks
Carnegie Mellon University(卡内基梅隆大学);Southeast University(东南大学)
自然语言推理任务是确定一对自然语言句子之间推理关系的预测任务。随着NLI的日益普及,许多最先进的预测模型已经提出了令人印象深刻的性能。然而,一些作品已经注意到,在收集的NLI数据集,可能会导致这些模型的性能高估的统计违规行为,并提出了补救措施。在本文中,我们进一步调查的统计不规则性,我们称之为混杂因素,NLI数据集。由于相信一些NLI标签应该在交换操作下保留,我们提出了一种简单而有效的方法(交换两个文本片段)来评估自然缓解观察到的问题的NLI预测模型。此外,我们继续训练的预测模型与我们的交换方式,并提出使用不同的百分比的训练文本片段被交换的模型的评估性能的偏差来描述的预测模型的鲁棒性。我们的评估指标导致一些有趣的理解最近公布的NLI方法。最后,我们还将交换操作应用于NLI模型,以了解这种简单方法在为其他NLP传输任务训练通用句子嵌入时减轻混淆因素问题的有效性。
2018-11-12 cs.AI cs.CL
Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks
University of Campinas(坎皮纳斯大学);Technical University of Darmstadt(达姆施塔特工业大学)
本文研究利用现有解释数据集训练自我合理化模型,通过在19个OOD数据集上评估T5-Large和OLMo-7B,发现少量标注示例即可有效适应OOD解释生成,且微调数据来源比样本选择策略对性能影响更大。
2025-02-07 cs.CL
Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
虽然判别式神经网络分类器通常是优选的,但是最近的工作已经显示出生成式分类器在数据效率和鲁棒性方面的优势。在本文中,我们专注于自然语言推理(NLI)。我们提出了GenNLI,一个用于NLI任务的生成分类器,并通过将其与五个基线进行比较来实证表征其性能,包括判别模型和大规模预训练语言表示模型,如BERT。我们探索了我们的生成分类器的区分微调的训练目标,显示了对先前工作的日志损失微调的改进。特别是,我们发现一个简单的无界修改日志损失,我们称之为“infinilog损失”强有力的结果。我们的实验表明,GenNLI在几个具有挑战性的NLI实验设置中,包括小训练集,不平衡的标签分布和标签噪声,都优于判别和预训练基线。
2020-10-08 cs.CL cs.LG
Behavior Analysis of NLI Models: Uncovering the Influence of Three Factors on Robustness
University College London(伦敦大学学院)
自然语言推理是一项备受关注的挑战性任务,最先进的模型现在以准确性分数的形式实现了令人印象深刻的测试集性能。在这里,我们超越了这个单一的评估指标,以检查对输入数据的语义有效更改的鲁棒性。我们确定了三个因素-不敏感性,极性和看不见的对-并在各种条件下比较它们对三个SNLI模型的影响。我们的研究结果证明了一些优点和缺点的模型的能力,推广到新的域中的实例。特别是,虽然强大的性能是可能的看不见的上位词,看不见的反义词是更具挑战性的所有模型。更一般地说,这些模型对某些小但语义上重要的变化不敏感,并且经常受到单词和训练标签之间简单统计相关性的影响。总体而言,我们表明,NLI模型的评估可以受益于研究模型固有因素或所用数据集中发现的因素的影响。
2018-05-11 cs.AI cs.CL
Analyzing Compositionality-Sensitivity of NLI Models
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
自然语言推理(NLI)的成功需要一个模型来理解词汇语义和组合语义。然而,通过对抗性评估,我们发现几个具有不同架构的最先进的模型过度依赖前者,而没有使用后者。此外,这种组合性不知道没有通过对当前数据集的标准评估来反映。我们表明,在现有模型中删除RNN或在训练过程中打乱输入单词不会导致大的性能损失,尽管明确删除了成分信息。因此,我们提出了一种成分敏感性测试设置,该设置分析来自现有数据集的自然示例的模型,这些数据集不能单独通过词汇特征来解决(即,词袋模型给出一个错误标签的高概率),从而揭示了模型的实际组合性意识。我们表明,这种设置不仅突出了当前NLI模型的有限组合能力,而且还区分了基于设计的模型性能,例如,将浅的词袋模型与更深的、基于语言的树模型分开。我们的评估设置是一个重要的分析工具:补充目前现有的对抗性和语言驱动的诊断评估,并为未来评估模型的组成理解工作提供机会。
2018-11-16 cs.AI cs.CL
Logical Reasoning with Span-Level Predictions for Interpretable and Robust NLI Models
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);UCL(伦敦大学学院);Queen Mary University of London(伦敦玛丽女王大学)
当前的自然语言推理(NLI)模型取得了令人印象深刻的结果,有时在分布测试集上进行评估时表现优于人类。然而,由于已知这些模型从注释伪影和数据集偏差中学习,因此不清楚模型在多大程度上学习NLI任务,而不是从其训练数据中的浅层几何学中学习。我们通过为NLI引入一个逻辑推理框架来解决这个问题,创建基于逻辑规则的高度透明的模型决策。与以前的工作不同,我们表明,可以在不降低预测精度的情况下实现更好的可解释性。我们几乎完全保留了SNLI的性能,同时还确定了负责每个模型预测的确切假设跨度。使用e-SNLI人类解释,我们验证了我们的模型在跨度水平上做出了明智的决策,尽管在训练过程中没有使用任何跨度标签。我们可以通过在训练过程中使用e-SNLI解释来进一步提高模型性能和跨度级决策。最后,我们的模型在减少的数据设置中更鲁棒。当仅使用1,000个示例进行训练时,相对于基线,MNLI匹配和不匹配验证集的分布外性能提高了13%和16%。用较少的观测值进行训练可以进一步改善分布内和分布外的性能。
2022-10-21 cs.CL cs.LG
MorphNLI: A Stepwise Approach to Natural Language Inference Using Text Morphing
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学);University of Arizona(亚利桑那大学)
MorphNLI通过文本变形逐步改进自然语言推理任务,在跨领域场景中显著优于现有基线模型。
2025-02-13 cs.AI cs.CL
Will I Sound Like Me? Improving Persona Consistency in Dialogues through Pragmatic Self-Consciousness
Seoul National University(首尔国立大学)
我们探讨的任务,提高人物角色的一致性的对话代理。最近处理一致性的模型通常使用额外的自然语言推理(NLI)标签进行训练,或者将训练过的额外模块附加到生成代理以保持一致性。然而,这种额外的标签和培训可能是苛刻的。此外,我们发现,即使是表现最好的基于角色的代理是不敏感的矛盾的话。受社会认知和语用学的启发,我们通过一个假想的听众赋予现有的对话主体公共自我意识。我们的方法基于理性言语行为框架(Frank and Goodman,2012),可以强制对话代理避免说出矛盾。我们通过学习分心物选择来进一步扩展框架,这通常是手动或随机完成的。关于对话NLI的结果(Welleck等人,2019)和PersonaChat(Zhang et al.,2018)数据集表明,我们的方法减少了矛盾,提高了现有对话模型的一致性。此外,我们表明,它可以推广到提高上下文一致性超越人物角色的对话。
2020-10-06 cs.CL
Collecting Diverse Natural Language Inference Problems for Sentence Representation Evaluation
Johns Hopkins University(约翰斯·霍普金斯大学);BITS Pilani, Goa Campus(贝拉理工学院皮拉尼分校果阿校区);Brown University(布朗大学);University of Rochester(罗切斯特大学)
我们提出了一个大规模的收集不同的自然语言推理(NLI)数据集,帮助提供洞察如何以及一个句子表示捕捉不同类型的推理。收集结果从重铸13个现有的数据集从7个语义现象到一个共同的NLI结构,导致超过50万个标记的上下文假设对。我们将我们的集合称为DNC:多样自然语言推理集合。DNC可在https://www.decomp.net上在线获得,并将随着时间的推移而增长,因为其他资源将从新的来源重新铸造和添加。
2018-08-29 cs.CL
Affective-NLI: Towards Accurate and Interpretable Personality Recognition in Conversation
The Hong Kong Polytechnic University(香港理工大学)
针对对话人格识别忽视情绪与人格语义的问题,提出Affective-NLI,结合对话情绪识别微调与NLI蕴含框架,提升准确性和可解释性,并显著优于现有方法。
2024-04-03 cs.AI cs.CL