Smoothing Entailment Graphs with Language Models
University of Edinburgh(爱丁堡大学);Macquarie University(麦考瑞大学)
本文提出利用语言模型对开放关系抽取构建的蕴含图进行无监督平滑,通过传递链理论寻找缺失前提谓词的近似,在提升方向性蕴含召回率的同时保持可解释性。
2023-09-21 cs.CL
Max-Cosine Matching Based Neural Models for Recognizing Textual Entailment
Fudan University(复旦大学)
识别文本蕴涵是文本挖掘或自然语言处理应用中的一项基本任务。本文提出了一个简单的神经网络模型的RTE问题。它首先将假设中的每个词与前提中最相似的词进行匹配,以词对序列的形式产生假设的增强表示。然后使用LSTM模型对这个增强序列进行建模,并将LSTM的最终输出馈送到softmax层进行预测。除了基本模型外,为了提高其性能,我们还提出了三种技术:多个词嵌入库的集成,双向集成和基于模型平均的集成。在SNLI数据集上的实验结果表明,这三种技术在提高预测精度方面是有效的,并且我们的方法优于几种状态的方法。
2017-05-25 cs.CL
A corpus of precise natural textual entailment problems
在本文中,我们提出了一个新的语料库蕴涵问题。该语料库具有以下特点:1.它是精确的(不遗漏隐含的假设)2.它是基于“真实世界”的文本(即,大多数前提是为了测试文本蕴涵以外的目的而编写的)。3.它的大小是150。语料库的构建是通过从真实文本蕴涵中提取问题,并使用一群专家发现缺失的假设。我们相信,这个语料库构成了对精确的自然语言推理系统进行广泛测试的第一步。
2018-12-14 cs.CL
Dataset Creation for Visual Entailment using Generative AI
Leiden University(莱顿大学)
本文利用Stable Diffusion基于SNLI文本前提生成合成图像,构建视觉蕴含训练数据集,并在SNLI-VE和SICK-VTE上验证其性能仅略低于真实数据,证明合成数据可缓解视觉蕴含数据稀疏问题。
2025-08-15 cs.CL
Grounded Textual Entailment
University of Malta(马耳他大学);University of Trento(特伦托大学)
捕捉句子之间的语义关系,如蕴涵,是计算语义学的一个长期挑战。基于逻辑的模型根据可能的世界(解释或情况)来分析蕴涵,其中前提P蕴涵假设H当且仅当在所有P为真的世界中,H也为真。统计模型认为这种关系的概率,解决它在人类是否可能推断H从P.在本文中,我们希望弥合这两个角度来看,通过争论的文本蕴涵任务的视觉接地版本。具体来说,我们问的是,如果除了P和H之外,还有一个图像(对应于相关的“世界”或“情境”),模型是否能表现得更好。我们使用SNLI数据集的多模态版本(Bowman等人,2015),我们比较了文本蕴涵的“盲”和视觉增强模型。我们表明,视觉信息是有益的,但我们也进行了深入的错误分析,揭示了当前的多模态模型没有以最佳方式执行“接地”。
2018-06-14 cs.CL cs.CV
Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options
New York University(纽约大学)
大规模自然语言推理(NLI)数据集,如SNLI或MNLI,是通过要求众包工作者阅读一个前提并编写三个新假设来创建的,每个假设对应一种可能的语义关系(蕴涵、矛盾和中性)。虽然该协议已被用于创建有用的基准数据,但仍不清楚基于书写的注释协议是否对任何目的都是最佳的,因为它尚未被直接评估。此外,有充分的证据表明,众包写作可以在数据中引入工件。我们研究了两种替代协议,自动创建候选人(前提,假设)对标注。使用这些协议和基于写作的基线,我们收集了几个新的英语NLI数据集,每个数据集都有超过3k个示例,每个数据集都使用固定的注释时间,但示例数量不同,以适应时间预算。我们对NLI和迁移学习的实验显示了负面的结果:没有一个替代协议在NLI内的泛化评估或迁移到外部目标任务上优于基线。我们的结论是,众包写作仍然是蕴涵数据的最佳选择,强调需要进一步的数据汇集工作,专注于改善基于写作的注释过程。
2020-10-13 cs.CL
A Straightforward Pipeline for Targeted Entailment and Contradiction Detection
LBNL(劳伦斯伯克利国家实验室)
针对特定主张的前提与矛盾识别问题,提出结合Transformer注意力机制与NLI模型的流水线方法,先通过注意力分数筛选相关候选句,再用NLI分类关系,高效分离文本中主张的关键语义关系。
2025-08-23 cs.CL cs.LO
Performance Impact Caused by Hidden Bias of Training Data for Recognizing Textual Entailment
Toyohashi University of Technology(丰桥技术科学大学)
训练数据的质量是采用以学习为中心的方法时的关键问题之一。本文提出了一种新的方法来调查一个大型语料库的质量设计识别文本蕴涵(RTE)的任务。所提出的方法,这是一个统计假设检验的启发,由两个阶段组成:第一阶段是引入文本蕴涵标签的可预测性作为一个零假设,这是非常不可接受的,如果目标语料库没有隐藏的偏见,第二阶段是使用朴素贝叶斯模型来测试零假设。斯坦福自然语言推理(SNLI)语料库的实验结果不拒绝零假设。因此,它表明,SNLI语料库有一个隐藏的偏见,允许预测的文本蕴涵标签的假设句,即使没有上下文信息是由前提句。本文还介绍了这种隐藏的偏见造成的RTE的NN模型的性能影响。
2018-04-22 cs.AI cs.CL
Spectral Neuro-Symbolic Reasoning II: Semantic Node Merging, Entailment Filtering, and Knowledge Graph Alignment
School of Information, UC Berkeley(信息学院,伯克利大学)
本研究扩展谱神经符号推理(Spectral NSR)框架,新增语义节点合并、蕴含过滤和知识图谱对齐三大增强功能,在多个基准上实现最高+3.8%的准确率提升,提升推理稳健性与可扩展性。
2025-11-02 cs.AI cs.CL cs.NE
Learning to Memorize Entailment and Discourse Relations for Persona-Consistent Dialogues
Yunnan University(云南大学);Yuan Ze University(元智大学)
保持参与和一致性在对话系统中尤为重要。现有的工作通过有意识地学习具有复杂网络结构的对话者角色来提高对话系统的性能。这种方法的一个问题是它需要更多带有注释的个人语料库。此外,这些模型通常执行下一个话语预测以生成响应,但忽略了整个会话中的话语连贯性。为了解决这些问题,本研究提出了一种学习记忆蕴涵和话语关系的方法,用于人物角色一致的对话任务。利用自然语言推理数据集中的蕴涵文本对,通过前提-假设生成任务,学习隐含蕴涵关系作为外部记忆。此外,具有类似结构的内部存储器被应用于对话中的话语信息。在这两个存储空间上放置正交性限制确保了潜在蕴涵关系保持对话独立。这两种记忆合作,以获得蕴涵和话语表征的一代,允许更深入的理解一致性和连贯性。在PersonaChat和DSTC 7-AVSD两个大型公共数据集上的实验证明了该方法的有效性。自动和人类的评价表明,该模型优于几个强大的基线方面的人物角色的一致性和响应的一致性。我们的源代码可以在https://github.com/Chenrj233/LMEDR上找到。
2023-02-25 cs.AI cs.CL
MorphNLI: A Stepwise Approach to Natural Language Inference Using Text Morphing
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学);University of Arizona(亚利桑那大学)
MorphNLI通过文本变形逐步改进自然语言推理任务,在跨领域场景中显著优于现有基线模型。
2025-02-13 cs.AI cs.CL
Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference
Purdue University(普渡大学)
自然语言推理(NLI)或文本蕴涵识别(RTE)是预测一对句子(前提和假设)之间的蕴涵关系的任务。这项任务已被描述为一个有价值的测试场的语义表示的发展,是自然语言理解评估基准的关键组成部分。理解蕴涵的模型应该对前提和假设都进行编码。然而,Poliak等人的实验揭示了这些模型对仅在假设中观察到的模式的强烈偏好,基于10个数据集的比较。他们的研究结果表明,假设中存在统计不规则性,使模型与最先进的模型竞争。虽然重铸数据集由于最少的人为干预而提供了大规模的NLI实例生成,但生成它们的论文并没有提供对可能使NLI模型产生偏差的潜在统计模式的细粒度分析。在这项工作中,我们分析了在Poliak等人提供的一个重铸数据集上训练的仅假设模型。我们的研究结果表明,存在潜在的词汇偏见,可能有助于膨胀的模型性能。
2021-01-22 cs.CL
Multimodal Logical Inference System for Visual-Textual Entailment
Ochanomizu University(御茶水女子大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
近年来,大量关于跨文本和视觉的多模态推理的研究已经发展到获得基于视觉的单词和句子表示。在本文中,我们使用基于逻辑的表示作为文本和图像的统一意义表示,并提出了一个无监督的多模态逻辑推理系统,可以有效地证明它们之间的蕴涵关系。我们表明,通过结合语义解析和定理证明,该系统可以处理语义复杂的句子的视觉-文本推理。
2019-06-10 cs.CL
Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);University of Arizona(亚利桑那大学)
针对分解式文本推理缺乏明确判定协议导致的数据集噪声、性能受限问题,提出有理论依据的分解式蕴含标注方法,构建内部一致性提升9%的RDTE数据集,结合知识蒸馏训练的分类器可有效提升蕴含树推理的准确率与证明质量。
2024-08-12 cs.AI cs.CL
Towards Controllable Natural Language Inference through Lexical Inference Types
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
本文提出基于AMR图定义词汇推理类型并改造T5瓶颈层,以实现多前提解释性推理的可控生成,并构建约5000步标注数据集验证其有效性。
2024-11-24 cs.CL
Explaining Textual Entailment with Lexical Entailments: Using LLMs to Supply Lexical Relations for Formal Proofs
本文评估LLM在逻辑NLI系统中提供词汇蕴含的能力,发现其生成关系部分合理且贡献有限,任务仍具挑战性。
2026-09-29 cs.AI cs.CL
TLDR at SemEval-2024 Task 2: T5-generated clinical-Language summaries for DeBERTa Report Analysis
Carnegie Mellon University(卡内基梅隆大学);Machine Learning Department(机器学习系)
针对临床试验自然语言推理任务中上下文窗口小、前提长的问题,提出融合T5生成前提摘要的TLDR方法,显著提升Macro F1分数,经实验验证其预测一致性与忠实度更优。
2024-04-14 cs.AI cs.CL cs.LG
Active entailment encoding for explanation tree construction using parsimonious generation of hard negatives
The University of Manchester(曼彻斯特大学);CRUK Manchester Institute(英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap研究所)
在开放域文本问答的背景下,蕴涵树被提出来模拟解释生成的人类推理过程。然而,在实践中,手动构建这些解释树证明是一个费力的过程,需要积极的人类参与。考虑到捕获从问题到答案或从主张到前提的推理线的复杂性,问题出现在如何帮助用户有效地构建多层次蕴涵树给定一个大的可用事实集。在本文中,我们将蕴涵树的构建框架化为一系列主动前提选择步骤,即,对于解释树中的每个中间结点,专家需要从大的候选列表中注释前提事实的肯定和否定示例。然后,我们迭代地微调预训练的Transformer模型,得到积极的和严格控制的消极样本,旨在平衡语义关系和解释蕴涵关系的编码。实验评估证实了可衡量的效率增益的主动微调方法,以促进蕴涵树的建设:高达20%的改善,在解释性的前提选择相比,对几个替代品。
2022-08-02 cs.AI cs.CL
A New Dataset for Natural Language Inference from Code-mixed Conversations
Microsoft Research India(微软研究院印度分院);Microsoft Corporation(微软公司)
自然语言推理(NLI)是推理前提和假设之间的逻辑关系的任务,通常是蕴涵或矛盾。语码混合是指在同一会话或话语中使用一种以上的语言,在世界各地的多语言社区中普遍存在。在本文中,我们提出了第一个数据集的代码混合NLI,其中的前提和假设是在代码混合印地语-英语。我们使用的数据从印地语电影(宝莱坞)的前提下,和众包的假设,从印地语-英语双语。我们进行了一项试点注释研究,并根据试点的观察结果描述了最终的注释协议。目前,收集的数据包括400个前提的形式代码混合的对话片段和2240代码混合的假设。我们进行了广泛的分析,以推断在所获得的数据集中通常观察到的语言现象。我们使用标准的基于mBERT的NLI管道评估数据集并报告结果。
2020-04-13 cs.CL
Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback
Bar-Ilan University(巴伊兰大学);Google Research(谷歌研究院)
本文提出利用无需参考的文本蕴含奖励进行强化学习,以优化抽象式摘要的事实一致性,并验证其可同时提升忠实性、显著性和简洁性。
2023-05-31 cs.CL
Learning to Infer from Unlabeled Data: A Semi-supervised Learning Approach for Robust Natural Language Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自然语言推理(NLI)或识别文本蕴涵(RTE)的目的是预测一对句子(前提和假设)之间的关系是蕴涵、矛盾还是语义独立。尽管近年来深度学习模型在NLI方面表现出了良好的性能,但它们依赖于大规模昂贵的人工注释数据集。半监督学习(SSL)是一种流行的技术,通过利用未标记的数据进行训练来减少对人类注释的依赖。然而,尽管它在单句分类任务上取得了巨大的成功,其中使用未标记数据的挑战是分配“足够好”的伪标签,但对于NLI任务,未标记数据的性质更加复杂:数据中缺少一个句子(通常是假设)以及类标签,需要人工注释,这使得NLI的SSL更具挑战性。在本文中,我们提出了一种新的方法,将未标记的数据在SSL的NLI,我们使用一个条件语言模型,BART生成的假设为未标记的句子(用作前提)。我们的实验表明,我们的SSL框架成功地利用未标记的数据,并大大提高了四个NLI数据集在低资源设置的性能。我们在https://github.com/msadat3/SSL_for_NLI上发布代码。
2022-11-05 cs.CL
Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner
Northwestern University(西北大学);AWS AI Labs(亚马逊云科技人工智能实验室)
大语言模型在各种问答(QA)基准测试中取得了很高的性能,但其输出的可解释性仍然很难解释。结构化的解释,称为蕴涵树,最近被建议作为一种解释和检查QA系统答案的方法。为了更好地生成这样的蕴涵树,我们提出了一个架构称为迭代检索生成推理(IRGR)。我们的模型能够通过系统地从文本前提中生成一步一步的解释来解释给定的假设。IRGR模型迭代地搜索合适的前提,每次构造一个单一的蕴涵步骤。与以前的方法相反,我们的方法结合了生成步骤和前提检索,允许模型利用中间结论,并减轻了基线编码器-解码器模型的输入大小限制。我们使用EntailmentBank数据集进行实验,在那里我们在前提检索和蕴涵树生成方面优于现有的基准,总体正确性提高了约300%。
2022-07-19 cs.CL
R$^2$F: A General Retrieval, Reading and Fusion Framework for Document-level Natural Language Inference
SenseTime(商汤科技);National University of Defense Technology(国防科技大学);Singapore Management University(新加坡管理大学)
文档级自然语言推理(Document-level natural language inference,DOCNLI)是自然语言处理领域的一个新的挑战性课题,旨在判断一对假设和前提文档之间的蕴涵关系。目前的数据集和基线基本上遵循文件级别的设置,但未能解决较长文件引起的问题。在本文中,我们建立了一个通用的解决方案,命名为检索,阅读和融合(R2 F)的框架,和一个新的设置,通过分析的主要挑战DOCNLI:可解释性,长程依赖,跨句子推理。该框架的基本思想是将文档级任务简化为一组文档级任务,并利用证据的力量提高性能和可解释性。对于每个假设句,框架从前提中检索证据句,并读取以估计其可信度。然后对文档级结果进行融合,判断文档之间的关系。对于设置,我们提供补充证据和蕴涵标签注释的假设句子,可解释性研究。实验结果表明,R2 F框架可以获得最先进的性能,并对各种证据检索方法具有鲁棒性。此外,它可以给出更多的解释性预测结果。我们的模型和代码在https://github.com/phoenixsecularbird/R2F上发布。
2022-10-22 cs.CL
AMR4NLI: Interpretable and robust NLI measures from semantic graphs
Heidelberg University(海德堡大学);Georgetown University(乔治城大学)
该研究提出利用上下文嵌入与语义图(AMR)作为可解释度量,判断假设是否为前提的语义子结构,在三个英文基准上验证了两种表示互补且可混合使用。
2023-09-05 cs.CL cs.IR
Rethinking the Event Coding Pipeline with Prompt Entailment
Swiss Data Science Center(瑞士数据科学中心);ETH Zürich(苏黎世联邦理工学院)
针对传统事件编码流程资源消耗高的问题,提出基于提示蕴含的PR-ENT方法,结合预训练语言模型完形填空与文本蕴含任务实现事件分类,支持交互式码本设计,经多类鲁棒性测试验证其兼具灵活性与竞争力准确率。
2023-05-05 cs.CL cs.HC cs.LG
Improving the Natural Language Inference robustness to hard dataset by data augmentation and preprocessing
School of Computer Science(计算机科学学院);University of Texas(德克萨斯大学)
针对 NLI 模型在困难及分布外数据上依赖虚假关联的问题,本文提出不依赖测试分布的数据增强与预处理方法,以缓解词重叠、数值推理和长度不匹配并增强鲁棒性。
2024-12-10 cs.CL
Linguistic Features for Interpretable Textual Entailment
Centro de Investigación en Ciencias, Universidad Autónoma del Estado de Morelos(莫雷洛斯州自治大学科学研究中心);Centro Interdisciplinario de Investigación en Humanidades, Universidad Autónoma del Estado de Morelos(莫雷洛斯州自治大学跨学科人文研究中心)
提出可解释混合模型SLITE,结合结构-关系与分布-信息特征,在SICK上达83%准确率,优于IsoLex且接近RoBERTa,验证了混合方法的科学价值。
2026-09-22 cs.CL cs.SC
On Reference (In-)Determinacy in Natural Language Inference
University of Pennsylvania(宾夕法尼亚大学);Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);Microsoft(微软)
本文重新审视NLI任务中的指代确定性假设,发现基于该假设训练的模型在语境不匹配的下游任务中表现差,为此引入RefNLI诊断基准,揭示模型无法识别指代歧义的问题,并指出其对NLI数据集创建及人类分歧的影响。
2025-02-09 cs.CL
Sociocultural Norm Similarities and Differences via Situational Alignment and Explainable Textual Entailment
Columbia University(哥伦比亚大学)
提出一种跨文化对齐社会情境并提取规范的方法,构建包含3069条中美社会规范及解释的数据集,并引入可解释社会规范蕴含任务,发现3B以下模型表现不佳且揭示了跨文化规范差异。
2023-10-23 cs.CL
A large annotated corpus for learning natural language inference
Stanford Linguistics(斯坦福大学语言学系);Stanford NLP Group(斯坦福大学自然语言处理小组);Stanford Computer Science(斯坦福大学计算机科学系)
理解蕴涵和矛盾是理解自然语言的基础,而关于蕴涵和矛盾的推理是语义表示发展的有价值的试验场。然而,由于缺乏大规模的资源,这一领域的机器学习研究受到了极大的限制。为了解决这个问题,我们介绍了斯坦福大学的自然语言推理语料库,一个新的,免费提供的集合标记的句子对,写的人做一个新的接地任务的基础上图像描述。在570K对,它是两个数量级以上的所有其他资源的类型。这种规模的增加允许词汇化分类器优于一些复杂的现有蕴涵模型,并且它允许基于神经网络的模型首次在自然语言推理基准上具有竞争力。
2015-08-21 cs.CL
Are Machines Better at Complex Reasoning? Unveiling Human-Machine Inference Gaps in Entailment Verification
University of Southern California(南加州大学);University of Washington(华盛顿大学);Nanyang Technological University(南洋理工大学)
本研究构建多句前提的蕴含验证基准,发现LLMs在多跳推理上优于人类,而人类擅长简单演绎推理;微调的Flan-T5模型超越GPT-3.5并媲美GPT-4,用于过滤不一致推理依据,使三个多选题数据集平均准确率提升6%。
2024-05-27 cs.AI cs.CL
Post-Hoc Answer Attribution for Grounded and Trustworthy Long Document Comprehension: Task, Insights, and Challenges
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(奥多比研究中心)
本文提出长文档理解中的事后答案归因任务,重构现有数据集并评估基于检索及答案分解、文本蕴涵的归因系统,指出当前数据局限与评测需求。
2024-06-11 cs.CL
Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference
University of Amsterdam(阿姆斯特丹大学);University of Tehran(德黑兰大学);Tehran Institute for Advanced Studies(德黑兰高等研究院);Khatam University(哈塔姆大学)
它已被证明,NLI模型通常是有偏见的前提和假设之间的词重叠,他们把这个功能作为一个主要线索,预测蕴涵标签。在本文中,我们专注于一个被忽视的方面的重叠偏置NLI模型:反向词重叠偏置。我们的实验结果表明,目前的NLI模型高度偏向于具有低重叠的实例上的非蕴涵标签,并且据报道在现有挑战数据集上成功的现有去偏置方法通常在解决这类偏差方面无效。我们调查的原因出现的重叠偏见和少数的例子在其缓解的作用。对于前者,我们发现词重叠偏差并不源于预训练,而对于后者,我们观察到,与公认的假设相反,消除少数的例子并不影响去偏置方法关于重叠偏差的普遍性。
2022-11-07 cs.CL
Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Bar-Ilan University(巴伊兰大学)
该研究针对三类简单语言推理任务评估大语言模型能力,发现模型表现中等偏低,且句法嵌入结构会进一步干扰其蕴涵判断,揭示了LLMs在特定蕴涵类型上存在盲区、信息包装结构会遮蔽语义的问题。
2024-04-11 cs.AI cs.CL
Can current NLI systems handle German word order? Investigating language model performance on a new German challenge set of minimal pairs
Mannheim University(曼海姆大学);Heidelberg University(海德堡大学)
本文提出首个德语词序对抗 NLI 数据集 WOGLI,利用仅词序和形态变化不同的最小对立体,评估并揭示德语模型在翻译数据训练后处理词序推理的局限。
2023-06-07 cs.CL
Identifying Implicit Premises for Logical Reconstruction of Argument Graphs
University College London(伦敦大学学院)
本文针对论证图逻辑重构中省略式论证的隐含前提问题,提出神经符号管道方法,结合大型语言模型生成隐含前提并评估,用于证明陈述间的逻辑关系。
2026-08-20 cs.AI cs.CL
LangPro: Natural Language Theorem Prover
University of Groningen(格罗宁根大学)
LangPro是自然语言的自动定理证明器(https://github.com/kovvalsky/LangPro)。给定一组前提和一个假设,它能够证明它们之间的语义关系。该证明器是基于一个版本的分析Tableau方法专门设计的自然逻辑。证明过程在很大程度上保持语言表达的逻辑形式上操作。这个属性使得逻辑形式很容易从语法树中获得。%,特别是组合范畴语法派生树。证明的本质是演绎的和透明的。在FraCaS和SICK文本蕴涵数据集上,证明器实现了与最先进技术相当的高结果。
2017-08-30 cs.CL
First Train to Generate, then Generate to Train: UnitedSynT5 for Few-Shot NLI
DataLabs(数据实验室);United We Care
针对少样本NLI任务受数据集局限难以提升性能的问题,提出进阶模型UnitedSynT5,通过T5生成器合成并清洗增强数据后训练GTR-T5-XL,在多个NLI数据集上刷新SOTA准确率,证明合成数据增强的应用潜力。
2024-12-13 cs.AI cs.CL
LLMs are Frequency Pattern Learners in Natural Language Inference
University of Edinburgh(爱丁堡大学);HKUST(香港科技大学)
本文发现LLMs在NLI微调中通过学习数据集的频率模式来提升推理性能,揭示了其对频率偏差的依赖及与文本蕴含的相关性。
2025-05-27 cs.CL
Multi-Perspective Inferrer: Reasoning Sentences Relationship from Holistic Perspective
Nanjing University(南京大学);National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Collaborative Innovation Center of Novel Software Technology and Industrialization(软件新技术与产业化协同创新中心)
自然语言推理(NLI)旨在确定逻辑关系(即,蕴涵,中性和矛盾)之间的前提和假设。最近,对准机构通过捕获对准的部分(即,句对中的“相似段”,隐含着蕴涵和矛盾的视角。然而,这些对齐的部分有时会误导中立关系的判断。直觉上,NLI应该更多地依靠多个视角,形成一个整体的观点,以消除偏见。在本文中,我们提出了多角度Inferrer(MPI),一种新的NLI模型,原因从多个角度与三个关系的关系。MPI通过协议路由策略确定句子不同部分的观点,并从整体角度做出最终决定。此外,我们引入了一个辅助监督信号,以确保MPI学习预期的观点。在SNLI和MultiNLI上的实验表明:1)MPI在基本模型的基础上实现了实质性的改进,验证了多视角推理的动机; 2)可视化证据验证了MPI能够按照预期学习到高度可解释的视角; 3)更重要的是,MPI与强大的BERT是无架构的,并且兼容。
2019-11-09 cs.CL
PROPRES: Investigating the Projectivity of Presupposition with Various Triggers and Environments
University of Delaware(特拉华大学);National Institute of Informatics(国立信息学研究所)
本研究针对以往自然语言理解研究未充分考虑预设投射性随触发语与环境组合变化的问题,构建了含1.2万对样本的PROPRES数据集,发现人类存在投射性判断差异,而当前最优模型DeBERTa未能完全捕捉该特性,为语用推理探测研究提供了新的参考。
2023-12-14 cs.CL
Making Implicit Premises Explicit in Logical Understanding of Enthymemes
University College London(伦敦大学学院)
本文提出了一种整合大型语言模型和神经符号推理器的管道,用于将隐含前提显式化并解码逻辑蕴含。
2026-08-20 cs.AI cs.CL
Estimating the Causal Effects of Natural Logic Features in Neural NLI Models
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
本文通过因果效应估计方法,在NLI任务中系统分析上下文干预和词对干预对模型蕴含判断的影响,构建模型在鲁棒性与敏感性方面的比较画像。
2023-05-15 cs.CL
Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);RMIT University(皇家墨尔本理工大学)
当前的语言模型很难捕捉否定,尽管这个问题的程度还没有被广泛理解。我们介绍了一个自然语言推理(NLI)测试套件,使探测能力的NLP方法,以了解子子句否定的目的。测试套件包含前提-假设对,其中前提包含子子句否定,并且通过对前提进行最小修改来构建假设,以反映不同的可能解释。除了采用标准的NLI标签,我们的测试套件系统地构建在一个严格的语言框架。它包括基于语言学理论的否定类型和结构的注释,以及用于构建假设的操作。这有助于对模型性能进行细粒度分析。我们使用预先训练的语言模型进行实验,以证明我们的测试套件比现有的基准测试更具挑战性,重点是否定,并显示我们的注释如何支持更深入地了解当前NLI的否定和量化能力。
2022-10-13 cs.CL
When Does Meaning Backfire? Investigating the Role of AMRs in NLI
Georgetown University(乔治城大学);Amherst College(阿默斯特学院)
本研究探究在自然语言推理中引入抽象意义表示(AMR)的影响,发现微调时AMR阻碍泛化,提示时虽有小幅提升但源于表面差异放大,可能误导模型误判非蕴含。
2025-09-24 cs.CL
ViLegalNLI: Natural Language Inference for Vietnamese Legal Texts
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
本文提出ViLegalNLI,首个针对法律领域构建的越南语自然语言推理数据集,包含42,012个前提-假设对,涵盖多种法律领域,用于评估法律推理的结构逻辑与术语一致性。
2026-04-30 cs.AI cs.CL cs.LG
PAVE: Premise-Aware Validation and Editing for Retrieval-Augmented LLMs
Ryquo;App-In Club
PAVE通过在推理阶段验证和编辑检索到的证据,提高检索增强大语言模型的回答一致性。在两个证据基础问答任务中,PAVE在跨度基础基准上提升了32.7个准确率点。
2026-04-02 cs.AI cs.CL
Decompose-and-Formalise: Recursively Verifiable Natural Language Inference
Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院);Idiap Research Institute(Idiap研究 institute);National Biomarker Centre, CRUK-MI, University of Manchester(曼彻斯特大学国家生物标记中心)
本文提出分解与形式化框架,通过自底向上的验证和局部诊断引导细化,提升自然语言推理的解释验证效率和准确性。
2026-01-27 cs.CL
Avoiding the Hypothesis-Only Bias in Natural Language Inference via Ensemble Adversarial Training
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
自然语言推理(NLI)数据集包含注释伪像,其导致自然语言话语与它们各自的蕴涵类之间的虚假相关。即使只考虑假设而忽略前提,神经网络也会利用这些人为因素,从而导致不必要的偏差。Belinkov等人(2019 b)提出通过对抗训练来解决这个问题,但这可能会导致学习到的句子表示仍然存在相同的偏见。我们表明,可以通过使用对手的集合来减少句子表示中的偏差,鼓励模型在拟合数据的同时共同降低这些不同对手的准确性。这种方法产生更稳健的NLI模型,当推广到12个其他数据集时,其表现优于先前的去偏置努力(Belinkov等人,2019 a; Mahabadi等人,2020年)。此外,我们发现对抗分类器的最佳数量取决于句子表示的维度,更大的句子表示更难去偏见,同时受益于使用更多的对手。
2021-05-27 cs.AI cs.CL cs.LG
Adversarial Attacks and Defense for Conversation Entailment Task
University of Michigan(密歇根大学)
本文研究对话蕴含任务中大语言模型对同义词替换对抗攻击的脆弱性,通过创新微调技术和嵌入扰动损失方法显著提升模型鲁棒性,为可靠NLP应用提供防御方案。
2024-05-02 cs.AI cs.CL
Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
University of Manchester(曼彻斯特大学);National Biomarker Centre, CRUK-MI, University of Manchester(曼彻斯特大学国家生物标志物中心,英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap 研究所)
本文针对基于 Transformer 的 NLI 模型,利用因果效应估计和干预实验分析自然逻辑特征,揭示相近基准准确率背后的行为差异及单调性、否定相关偏差。
2024-04-03 cs.CL
Don't Fight Hallucinations, Use Them: Estimating Image Realism using NLI over Atomic Facts
Skoltech(斯科尔泰克理工学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);MTS AI(MTS人工智能公司);AIRI(人工智能研究所(AIRI))
针对图像真实性量化难题,提出利用大视觉语言模型幻觉、提取原子事实并计算成对蕴含分聚合得真实性分的方法,在WHOOPS!数据集零样本任务上达SOTA。
2025-03-20 cs.AI cs.CL cs.CV
A Logical Pattern Memory Pre-trained Model for Entailment Tree Generation
South China University of Technology(华南理工大学);Key Laboratory of Big Data and Intelligent Robot(大数据与智能机器人重点实验室)
针对蕴含树中间结论逻辑一致性不足的问题,本文提出带外部记忆结构的LMPM预训练模型,并通过实体抽象构建预训练数据,显著提升了蕴含树生成质量。
2024-03-11 cs.AI cs.CL
Entailment-Preserving First-order Logic Representations in Natural Language Entailment
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出EPF任务及EPR评估指标,并采用迭代学习排序方法优化FOL表示生成,在三个数据集上显著提升蕴含保持率。
2025-02-24 cs.CL