Probing the Natural Language Inference Task with Automated Reasoning Tools
Advancing Machine and Human Reasoning (AMHR) Lab（推进机器与人类推理（AMHR）实验室）；University of South Florida（南佛罗里达大学）
自然语言推理（NLI）任务是现代NLP中的一项重要任务，因为它提出了一个广泛的问题，许多其他任务可以简化为：给定一对句子，第一个是否包含第二个？虽然NLI的当前基准数据集的最新技术是基于深度学习的，但值得使用其他技术来检查NLI任务的逻辑结构。我们这样做是通过测试如何以及面向机器的控制自然语言（Attempto控制英语）可以用来解析NLI句子，以及如何自动定理证明可以在由此产生的公式的原因。为了提高性能，我们开发了一套语法和语义转换规则。我们报告他们的表现，并讨论NLI和基于逻辑的NLP的影响。
2020-05-06 cs.AI cs.CL cs.SC
With a Little Push, NLI Models can Robustly and Efficiently Predict Faithfulness
Heidelberg University（海德堡大学）
本文提出通过任务自适应数据增强、联合利用蕴含与矛盾概率以及蒙特卡洛dropout推理，使纯NLI模型在TRUE基准上以更低计算成本稳健超越复杂忠实性度量方法。
2023-05-26 cs.CL
Lessons from the Use of Natural Language Inference (NLI) in Requirements Engineering Tasks
University of Hawaii at Manoa（夏威夷大学马诺阿分校）；Global Cybersecurity Institute, Rochester Institute of Technology（罗切斯特理工学院全球网络安全研究院）
本文评估NLI用于需求分类、缺陷识别和冲突检测，经传统学习与零样本实验证明其优于经典NLP及LLM聊天机器人方法。
2024-04-24 cs.CL cs.LG cs.SE
Looking Beyond Sentence-Level Natural Language Inference for Downstream Tasks
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；IBM Research（IBM研究院）
近年来，自然语言推理（NLI）任务获得了极大的关注，新的数据集和模型在其上实现了接近人类水平的性能。然而，NLI的全部承诺-特别是它学习的知识应该推广到其他下游NLP任务-尚未实现。在本文中，我们从两个下游任务的镜头：问答（QA）和文本摘要研究这个未实现的承诺。我们推测，NLI数据集和这些下游任务之间的关键区别在于前提的长度;并且从现有的QA数据集创建新的长前提NLI数据集是训练真正可推广的NLI模型的有希望的途径。我们验证了我们的猜想，通过显示竞争力的结果，QA的任务，并获得最好的报告结果的任务，检查事实的正确性摘要。
2020-09-18 cs.AI cs.CL cs.LG
A Portuguese Native Language Identification Dataset
University of Lisbon（里斯本大学）；University of Wolverhampton（伍尔弗汉普顿大学）；Harvard Medical School（哈佛医学院）；Macquarie University（麦考瑞大学）
在本文中，我们提出了NLI-PT，第一个葡萄牙语数据集编译的母语识别（NLI），确定作者的第一语言的基础上，他们的第二语言写作的任务。该数据集包括1，868篇由欧洲葡萄牙语学习者撰写的学生论文，母语为以下L1：中文，英语，西班牙语，德语，俄语，法语，日语，意大利语，荷兰语，德顿语，阿拉伯语，波兰语，韩语，罗马尼亚语和瑞典语。NLI-PT包括原始学生文本和四种不同类型的注释：POS，细粒度POS，选区解析和依赖解析。NLI-PT不仅可以用于NLI，还可以用于第二语言习得和教育NLP领域的多个主题的研究。我们讨论了这个数据集的可能应用，并提出了第一个词汇基线系统葡萄牙语NLI的结果。
2018-04-30 cs.CL
Ecologically Valid Explanations for Label Variation in NLI
The Ohio State University（俄亥俄州立大学）；The University of Chicago（芝加哥大学）；UCLouvain（鲁汶大学）
研究构建了LiveNLI数据集以探究NLI中标签变异的来源，发现解释对理解标签内变异至关重要，并指出大模型少样本生成解释存在不一致性。
2023-10-20 cs.CL
Several Experiments on Investigating Pretraining and Knowledge-Enhanced Models for Natural Language Inference
Queen’s University（女王大学）；iFLYTEK Research（科大讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
自然语言推理是自然语言理解中最具挑战性的任务之一。最近关于利用无监督信号（如语言模型和句子预测目标）的无监督预训练的工作已被证明在广泛的NLP问题上非常有效。仍然希望进一步理解它如何帮助NLI;例如，如果它学习数据注释中的伪影，或者相反地学习真正的推理知识。另外，可以以两种典型的方式将不存在于有限数量的NLI训练数据中的外部知识添加到NLI模型中，例如，从人类创造的资源或无监督的预训练范式。我们在这里进行了几个实验，以研究它们是否以同样的方式帮助NLI，如果不是，如何帮助？
2019-04-27 cs.CL
Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation
The University of Melbourne（墨尔本大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；RMIT University（皇家墨尔本理工大学）
当前的语言模型很难捕捉否定，尽管这个问题的程度还没有被广泛理解。我们介绍了一个自然语言推理（NLI）测试套件，使探测能力的NLP方法，以了解子子句否定的目的。测试套件包含前提-假设对，其中前提包含子子句否定，并且通过对前提进行最小修改来构建假设，以反映不同的可能解释。除了采用标准的NLI标签，我们的测试套件系统地构建在一个严格的语言框架。它包括基于语言学理论的否定类型和结构的注释，以及用于构建假设的操作。这有助于对模型性能进行细粒度分析。我们使用预先训练的语言模型进行实验，以证明我们的测试套件比现有的基准测试更具挑战性，重点是否定，并显示我们的注释如何支持更深入地了解当前NLI的否定和量化能力。
2022-10-13 cs.CL
Reading Comprehension as Natural Language Inference: A Semantic Analysis
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；IBM Research（IBM研究（中心））
最近，自然语言推理（NLI）得到了极大的关注，特别是考虑到它对下游NLP任务的承诺。然而，其真正的影响是有限的，并没有得到很好的研究。因此，在本文中，我们探讨的效用NLI的最突出的下游任务之一，即。问答（QA）。我们将最大的可用MRC数据集（RACE）转换为NLI形式，并比较了最先进的模型（RoberTa）在这两种形式上的性能。我们提出了新的问题的特征，并评估这些类别的QA和NLI模型的性能。我们突出了明确的类别，模型能够更好地执行时，数据是在一个连贯的蕴涵形式，和结构化的问答连接形式，分别。
2020-10-04 cs.AI cs.CL cs.LG
Improving Natural Language Inference Using External Knowledge in the Science Questions Domain
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
自然语言推理（NLI）是许多自然语言处理（NLP）应用（包括语义搜索和问答）的基础。由于大规模、具有挑战性的数据集的发布，NLI问题得到了极大的关注。目前的解决方法主要集中在基于学习的方法，只使用文本信息，以分类是否一个给定的前提需要，矛盾，或相对于一个给定的假设是中性的。令人惊讶的是，使用基于结构化知识的方法--人工智能的一个中心主题--在NLI问题上并没有得到太多的关注。虽然有许多开放的知识库，包含各种类型的推理信息，它们的使用NLI还没有得到很好的探索。为了解决这个问题，我们提出了一个技术的组合，利用知识图谱，以提高性能的NLI问题的科学问题域。我们提出了我们的技术应用于文本，图形和文本到图形为基础的模型的结果，并讨论了使用外部知识解决NLI问题的影响。我们的模型在SciTail科学问题数据集上实现了NLI问题的最新性能。
2018-11-20 cs.AI cs.CL cs.LG
Gradient-based Analysis of NLP Models is Manipulable
UC Irvine（加州大学欧文分校）；UC Berkeley（加州大学伯克利分校）
基于显着性的分析方法，如显着性图可视化和对抗性输入扰动，由于其简单性，灵活性以及最重要的是其忠实性，已广泛用于解释神经NLP模型。然而，在本文中，我们证明了模型的梯度是很容易操作的，从而使基于梯度的分析的可靠性受到质疑。特别是，我们将目标模型的层与Facade合并，Facade在不影响预测的情况下对梯度进行优化。这个Facade可以被训练成具有误导性和与任务无关的梯度，例如只关注输入中的停止词。在各种NLP任务（文本分类，NLI和QA）中，我们证明了我们的方法可以操作许多基于梯度的分析技术：显着性图，输入减少和对抗性扰动都可以将不重要或有针对性的标记识别为非常重要。本文的代码和教程可以在http://ucinlp.github.io/facade上找到。
2020-10-12 cs.CL cs.LG
VariErr NLI: Separating Annotation Error from Human Label Variation
LMU Munich（慕尼黑大学）；FNRS（比利时国家科学研究基金会）；UCLouvain（鲁汶大学）
本文提出 VariErr NLI 数据集和两轮标注方法，用于区分标注错误与人类标签变异，并发现现有自动错误检测方法及 GPT-4 仍不及人类表现。
2024-06-06 cs.CL
LIREx: Augmenting Language Inference with Relevant Explanation
University of Michigan（密歇根大学）；School of Information（信息学院）；Department of Learning Health Sciences（学习健康科学系）
自然语言解释（NLE）是一种特殊形式的数据注释，其中注释者在为数据实例分配标签时识别基本原理（最重要的文本标记），并基于基本原理用自然语言写出对标签的解释。NLE已被证明可以更好地捕捉人类推理，但对于自然语言推理（NLI）来说并不那么有益。在本文中，我们分析了两个主要缺陷的方式NLE目前用于训练解释生成器的语言推理任务。我们发现，解释发电机不考虑到固有的可变性，在人类的解释标签，目前的解释生成模型产生虚假的解释。为了克服这些限制，我们提出了一个新的框架，LIREx，它结合了一个合理的解释生成器和一个实例选择器，只选择相关的，合理的NLE来增强NLI模型。在标准化SNLI数据集上进行评估时，LIREx的准确率达到91.87%，比基线提高了0.32，与数据集上报告的最佳性能相匹配。当转移到域外MultiNLI数据集时，它也实现了比以前的研究更好的性能。定性分析表明，LIREx生成灵活，忠实和相关的NLE，使模型更强大的虚假解释。该代码可在https://github.com/zhaoxy92/LIREx上获得。
2020-12-16 cs.AI cs.CL
Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks
Samsung SDS（三星SDS）
来自预训练的语言模型的上下文表示是实现下游NLP任务的高性能的核心。预训练的BERT和A Lite BERT（ALBERT）模型可以进行微调，以在语义文本相似性（STS）和自然语言推理（NLI）等配对回归中给出最先进的结果。虽然基于BERT的模型产生的[CLS]令牌向量作为一个合理的句子嵌入，寻找一个最佳的句子嵌入计划仍然是一个活跃的研究领域，在计算语言学。本文探讨了BERT和ALBERT的句子嵌入模型。特别地，我们采用具有连体和三重网络结构的修改的BERT网络，称为句子-BERT（SBERT），并用AL BERT替换BERT，以创建句子-AL BERT（SAL BERT）。我们还对SBERT和SALBERT的外部CNN嵌入式网络进行了实验。我们使用STS和NLI数据集评估所有嵌入模型的性能。实证结果表明，我们的CNN架构改善ALBERT模型大大超过BERT模型的STS基准。尽管模型参数明显较少，但ALBERT句子嵌入在下游NLP评估中与BERT相比具有很强的竞争力。
2021-01-26 cs.AI cs.CL
Adversarially Regularising Neural NLI Models to Integrate Logical Background Knowledge
University College London（伦敦大学学院）
对抗性示例是机器学习模型的输入，旨在导致模型出错。它们对于理解机器学习模型的缺点、解释其结果以及正则化都很有用。然而，在NLP中，大多数示例生成策略通过使用已知的、预先指定的语义转换来生成输入文本，这需要大量的手动工作以及对问题和领域的深入理解。本文研究了在自然语言推理（NLI）中自动生成违反给定一阶逻辑约束的对抗性实例的问题。我们减少了识别这种对抗性的例子的问题，一个组合优化问题，通过最大化的数量测量违反这些约束的程度，并通过使用一个语言模型生成语言上合理的例子。此外，我们提出了一种方法，逆向正则化神经NLI模型，将背景知识。我们的研究结果表明，虽然所提出的方法并不总是改善SNLI和MultiNLI数据集的结果，但它显着且一致地提高了对恶意数据集的预测准确性-相对提高高达79.6%-同时大大减少了背景知识违规的数量。此外，我们表明，对抗性的例子之间的模型架构的转移，并提出的对抗性训练过程提高了NLI模型的对抗性的例子的鲁棒性。
2018-08-26 cs.AI cs.CL cs.LG
I can tell whether you are a Native Hawlêri Speaker! How ANN, CNN, and RNN perform in NLI-Native Language Identification
University of Kurdistan Hewlêr（库尔德斯坦休勒大学）
本研究通过ANN、CNN和RNN模型评估了Hewlêri亚方言的NLI性能，发现RNN在5秒音频分割中准确率高达95.92%。
2026-02-11 cs.CL
Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Westlake University（西湖大学）
自然语言推理是自然语言处理的一项基本任务，它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示，但它们不足以测试长文本的上下文推理，这是人类推理过程的自然部分。我们介绍了ConTRoL，一个新的数据集，用于长文本的上下文推理。ConTRoL由8，325个专家设计的带有黄金标签的“上下文假设”对组成，是一个高级NLI数据集，专注于复杂的上下文推理类型，如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验（言语推理测验），具有专家级质量。与以前的NLI基准相比，ConTRoL中的材料更具挑战性，涉及一系列推理类型。实证结果表明，最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集，例如检查摘要的事实正确性。
2020-11-10 cs.CL
Estimating the Causal Effects of Natural Logic Features in Neural NLI Models
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文通过因果效应估计方法，在NLI任务中系统分析上下文干预和词对干预对模型蕴含判断的影响，构建模型在鲁棒性与敏感性方面的比较画像。
2023-05-15 cs.CL
What If We Simply Swap the Two Text Fragments? A Straightforward yet Effective Way to Test the Robustness of Methods to Confounding Signals in Nature Language Inference Tasks
Carnegie Mellon University（卡内基梅隆大学）；Southeast University（东南大学）
自然语言推理任务是确定一对自然语言句子之间推理关系的预测任务。随着NLI的日益普及，许多最先进的预测模型已经提出了令人印象深刻的性能。然而，一些作品已经注意到，在收集的NLI数据集，可能会导致这些模型的性能高估的统计违规行为，并提出了补救措施。在本文中，我们进一步调查的统计不规则性，我们称之为混杂因素，NLI数据集。由于相信一些NLI标签应该在交换操作下保留，我们提出了一种简单而有效的方法（交换两个文本片段）来评估自然缓解观察到的问题的NLI预测模型。此外，我们继续训练的预测模型与我们的交换方式，并提出使用不同的百分比的训练文本片段被交换的模型的评估性能的偏差来描述的预测模型的鲁棒性。我们的评估指标导致一些有趣的理解最近公布的NLI方法。最后，我们还将交换操作应用于NLI模型，以了解这种简单方法在为其他NLP传输任务训练通用句子嵌入时减轻混淆因素问题的有效性。
2018-11-12 cs.AI cs.CL
SciNLI: A Corpus for Natural Language Inference on Scientific Text
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
现有的自然语言推理（NLI）数据集虽然有助于自然语言理解（NLU）研究的进步，但与科学文本无关。在本文中，我们介绍了SciNLI，这是一个用于NLI的大型数据集，它捕获了科学文本中的形式，包含从NLP和计算语言学的学术论文中提取的107，412个句子对。鉴于科学文献中使用的文本在词汇和句子结构方面与日常语言中使用的文本有很大不同，我们的数据集非常适合作为评估科学NLU模型的基准。我们的实验表明，SciNLI比现有的NLI数据集更难分类。我们使用XLNet的最佳性能模型的Macro F1得分仅为78.18%，准确率为78.23%，这表明还有很大的改进空间。
2022-03-15 cs.CL
On the Effective Use of Pretraining for Natural Language Inference
Stanford Linguistics（斯坦福大学语言学系）；Stanford Computer Science（斯坦福大学计算机科学系）
神经网络在许多NLP任务中表现出色，但关于预训练的分布式单词表示的性能及其与权重初始化和其他超参数的相互作用仍然存在悬而未决的问题。我们解决这些问题的经验，使用基于注意力的序列到序列模型的自然语言推理（NLI）。具体来说，我们比较了三种类型的嵌入：随机，预训练（GloVe，word2vec）和翻新（预训练加上WordNet信息）。我们表明，预训练的嵌入优于随机和翻新的大型NLI语料库。在更多受控数据集上的进一步实验揭示了改造嵌入可能有用的背景。我们还探索了两种原则性的方法来初始化其余的模型参数，高斯和正交，表明后者在NLI任务中产生高达2.9%的收益。
2017-10-05 cs.CL
Do Natural Language Explanations Represent Valid Logical Arguments? Verifying Entailment in Explainable NLI Gold Standards
University of Manchester（曼彻斯特大学）；Idiap Research Institute（IDIAP研究所）
可解释NLP的一个新兴研究方向是创建富含人工注释解释和原理的数据集，用于构建和评估具有逐步推理和解释生成功能的模型。虽然人类注释的解释被用作推理的基础事实，但缺乏对其一致性和严谨性的系统评估。为了给NLI解释金标准（XGS）提供一个关键的质量评估，我们提出了一个系统的解释方法，命名为解释蕴涵验证（EEV），以量化人类注释的逻辑有效性。EEV在三个主流数据集上的应用揭示了一个令人惊讶的结论，即大多数解释，虽然表面上看起来连贯，但代表逻辑上无效的论点，从不完整到包含明显可识别的逻辑错误。这一结论证实了解释的推理性质仍然缺乏形式化和理解，并且有必要在这一研究领域开展额外的工作，以改善解释金标准的构建方式。
2021-05-15 cs.AI cs.CL
WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Southern California（南加州大学）
大规模众包NLP数据集的一个反复出现的挑战是，人类作者在制作示例时经常依赖重复的模式，导致缺乏语言多样性。我们介绍了一种基于工人和AI协作的数据集创建新方法，该方法将语言模型的生成能力和人类的评估能力结合在一起。从一个现有的数据集，MultiNLI的自然语言推理（NLI），我们的方法使用数据集制图自动识别的例子，证明具有挑战性的推理模式，并指示GPT-3组成新的例子与类似的模式。然后机器生成的示例会自动过滤，最后由人类众包工作者进行修改和标记。由此产生的数据集WANLI由107，885个NLI示例组成，并在现有的NLI数据集上呈现出独特的经验优势。值得注意的是，与在4倍大的MultiNLI上训练相比，在WANLI上训练模型可以提高我们考虑的8个域外测试集的性能，包括在HANS上提高11%，在对抗性NLI上提高9%。此外，它仍然比其他NLI数据集增强的MultiNLI更有效。我们的研究结果证明了利用自然语言生成技术和重新想象人类在数据集创建过程中的作用的前景。
2022-11-15 cs.CL
No Strong Feelings One Way or Another: Re-operationalizing Neutrality in Natural Language Inference
Advancing Machine and Human Reasoning (AMHR) Lab（机器与人类推理推进（AMHR）实验室）；University of South Florida（南佛罗里达大学）
该研究指出当前自然语言推理（NLI）数据集中中立标签操作化存在有效性低、解读不一致等缺陷，会损害下游任务性能，呼吁构建更完善的NLI评估框架。
2023-06-16 cs.AI cs.CL
GatorTron: A Large Clinical Language Model to Unlock Patient Information from Unstructured Electronic Health Records
University of Florida（佛罗里达大学）；NVIDIA（英伟达）
人们对开发人工智能（AI）系统来处理和解释电子健康记录（EHR）的兴趣越来越大。由预训练的语言模型驱动的自然语言处理（NLP）是利用临床叙述的医疗AI系统的关键技术。然而，临床语言模型很少，在临床领域中训练的最大的语言模型相对较小，只有1.1亿个参数（与一般领域中的数十亿个参数相比）。目前尚不清楚具有数十亿参数的大型临床语言模型如何帮助医疗AI系统利用非结构化EHR。在这项研究中，我们从头开始开发了一个大型临床语言模型- GatorTron -使用超过900亿字的文本（包括超过820亿字的去识别临床文本），并在5个临床NLP任务上对其进行了系统评估，包括临床概念提取，医学关系抽取，语义文本相似性，自然语言推理（NLI）和医学问答（MQA）。我们研究了（1）扩大参数的数量和（2）扩大训练数据的大小如何使这些NLP任务受益。GatorTron模型将临床语言模型的参数从1.1亿扩展到89亿，并改进了5项临床NLP任务（例如，NLI和MQA的准确性提高了9.6%和9.5%），可应用于医疗AI系统，以改善医疗保健服务。GatorTron模型可在https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og上公开获取。
2022-12-16 cs.AI cs.CL cs.LG
Augmenting Legal Decision Support Systems with LLM-based NLI for Analyzing Social Media Evidence
University of Maryland（马里兰大学）；University of Wisconsin（威斯康星大学）；University of South Florida（南佛罗里达大学）
本文提出基于LLM的NLI方法用于法律社交媒体证据分析，在NLLP 2024法律NLI共享任务中夺冠，并通过系统描述与错误分析揭示各模型优劣及改进方向。
2024-10-21 cs.AI cs.CL cs.LG
TurkEmbed: Turkish Embedding Model on NLI & STS Tasks
New Mind AI Istanbul, Türkiye（新Mind AI伊斯坦布尔, 土耳其）；Faculty of Engineering and Natural Sciences Isik University Istanbul, Türkiye（工程与自然科学学院伊斯基大学伊斯坦布尔, 土耳其）
针对现有土耳其语嵌入模型依赖机器翻译数据集导致准确性受限的问题，本文提出TurkEmbed模型，结合多样化数据集与嵌套表示学习等技术，在土耳其语STS-b-TR数据集及All-NLI-TR、STS-b-TR基准上超越Emrecan模型，提升1-4%。
2025-11-11 cs.CL cs.IR
Data and Representation for Turkish Natural Language Inference
Garanti BBVA Technology（Garanti BBVA科技公司）；Boğaziçi University（博阿齐奇大学）；Stanford University（斯坦福大学）
NLP中的大型注释数据集绝大多数是英语的。这是其他语言取得进展的一个障碍。不幸的是，为每项任务获得每种语言的新注释资源将是非常昂贵的。与此同时，商业机器翻译系统现在也很强大。我们能否利用这些系统自动翻译英语数据集？在本文中，我们提供了一个积极的回应自然语言推理（NLI）在土耳其。我们将两个大型英语NLI数据集翻译成土耳其语，并让一个专家团队验证其翻译质量和对原始标签的忠实度。使用这些数据集，我们解决代表土耳其NLI的核心问题。我们发现，在语言嵌入是必不可少的，可以避免形态分析的训练集是大的。最后，我们证明了在我们的机器翻译数据集上训练的模型在人类翻译的评估集上是成功的。我们公开共享所有代码、模型和数据。
2020-10-20 cs.CL
Designing NLP Systems That Adapt to Diverse Worldviews
Faculty of Mathematics and Computer Science（数学与计算机科学学院）；Interdisciplinary School of Doctoral Studies（跨学科博士研究学院）；HLT Research Center（HLT研究中心）；University of Bucharest（布加勒斯特大学）
针对 NLI 模型忽视意义主观性、泛化不足的问题，论文提出构建记录标注者背景、价值观与标注理由的数据集，以显式建模多元世界观，并在 SBIC 子集上验证元数据可提升性能。
2024-05-18 cs.CL
SILT: Efficient transformer training for inter-lingual inference
Departamento de Sistemas Informáticos（计算机系统系）；Universidad Politécnica de Madrid（马德里理工大学）
Transformers执行精确任务的能力，如问答，自然语言推理（NLI）或总结，使其成为解决自然语言处理（NLP）任务的最佳范例之一。NLI是测试这些架构的最佳场景之一，因为理解复杂句子以及假设和前提之间建立关系所需的知识。然而，这些模型无法推广到其他领域或难以面对多语言和跨语言的情况。文献中解决这些问题的主要途径涉及设计和训练非常大的架构，这会导致不可预测的行为，并建立阻碍广泛访问和微调的障碍。在本文中，我们提出了一个新的架构称为暹罗间的语言Transformer（SILT），有效地对齐多语言嵌入自然语言推理，允许不匹配的语言对进行处理。SILT利用具有冻结权重的siamese预训练多语言Transformers，其中两个输入句子彼此关注，稍后通过矩阵对齐方法组合。本文中进行的实验结果证明，SILT允许大幅减少可训练参数的数量，同时允许跨语言NLI并在常见基准上实现最先进的性能。我们在https://github.com/jahuerta92/siamese-inter-lingual-transformer上提供代码和数据集。
2021-05-17 cs.CL cs.LG
A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus
University of Bucharest（布加勒斯特大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出首个罗马尼亚语自然语言推理语料库RoNLI，并通过基于数据制图的课程学习方法提升最佳模型性能，为罗马尼亚语NLI任务建立了竞争性基线。
2024-10-18 cs.AI cs.CL cs.LG
Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
University of Manchester（曼彻斯特大学）；National Biomarker Centre, CRUK-MI, University of Manchester（曼彻斯特大学国家生物标志物中心，英国癌症研究中心曼彻斯特研究所）；Idiap Research Institute（Idiap 研究所）
本文针对基于 Transformer 的 NLI 模型，利用因果效应估计和干预实验分析自然逻辑特征，揭示相近基准准确率背后的行为差异及单调性、否定相关偏差。
2024-04-03 cs.CL
Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder
Nanyang Technological University（南洋理工大学）；AWS AI（亚马逊云科技人工智能）
本文演示了自然语言推理（NLI）和文本分类系统中的致命漏洞。更具体地说，我们对NLP模型进行了“后门中毒”攻击。我们的中毒攻击利用条件逆向正则化自动编码器（CARA）生成中毒的训练样本的毒药注射在潜在的空间。实验结果表明，仅添加1%的中毒数据，当输入假设被注入中毒签名时，受害者BERT微调分类器的预测就可以以>80%的成功率转向中毒目标类，这表明NLI和文本分类系统面临着巨大的安全风险。
2020-10-06 cs.AI cs.CL cs.NE
ArNLI: Arabic Natural Language Inference for Entailment and Contradiction Detection
Arab International University（阿拉伯国际大学）
针对阿拉伯语低资源矛盾检测难题，构建了含超12k句的ArNLI数据集，提出结合矛盾向量与语言模型向量的机器学习方法，利用Random Forest在ArNLI上达到75%准确率。
2022-09-28 cs.AI cs.CL cs.LG
A deep Natural Language Inference predictor without language-specific training data
Lutech S.p.A.（Lutech公司）；University of Verona（维罗纳大学）
本文提出一种利用知识蒸馏技术，通过通用翻译数据集和双预训练模型，实现无需语言特定训练数据的跨语言自然语言推理预测，并在多项测试中优于机器翻译方法。
2023-09-06 cs.AI cs.CL
Evaluating Gender Bias in Natural Language Inference
Walmart Labs（沃尔玛实验室）；SAP Labs（思爱普实验室）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究）
性别偏见的刻板印象最近引起了自然语言处理的重大伦理问题。然而，在检测和评估性别偏见的自然语言理解，通过推理的进展是有限的，需要进一步调查。在这项工作中，我们提出了一种评估方法来衡量这些偏见，通过构建一个挑战性的任务，涉及配对性别中立的前提对性别特定的假设。我们使用我们的挑战任务，调查国家的最先进的NLI模型的存在下，性别刻板印象使用的职业。我们的研究结果表明，在MNLI和SNLI数据集上训练的三个模型（BERT，RoBERTa，BART）明显容易出现性别引起的预测错误。我们还发现，在某些情况下，诸如增加训练数据集以确保性别平衡的数据集等去偏置技术可以帮助减少这种偏见。
2021-05-12 cs.CL cs.LG
Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI
University of Lagos（拉各斯大学）
该研究探究非洲语言NLI自适应推断的基于表示的难度估计，发现内部表示统计量无法为该场景提供有用的示例级难度信号，且自适应路由的表现不如始终高开销的推断。
2026-08-20 cs.CL
Order-sensitive Shapley Values for Evaluating Conceptual Soundness of NLP Models
Carnegie Mellon University（卡内基梅隆大学）
以前的工作表明，深度NLP模型并不总是概念上合理的：它们并不总是学习正确的语言概念。具体来说，他们可能对词序不敏感。为了系统地评估模型的概念合理性，相对于词序，我们介绍了一种新的解释方法：顺序敏感Shapley值（OSV）。我们进行了广泛的实证评估，以验证该方法，并揭示各种深度NLP模型学习词序的效果。使用合成数据，我们首先表明，OSV是更忠实地解释模型的行为比基于梯度的方法。其次，应用于HANS数据集，我们发现基于BERT的NLI模型只使用单词出现而不使用单词顺序。虽然简单的数据增强提高了HANS的准确性，但OSV表明，增强模型并没有从根本上提高模型的阶次学习。第三，我们发现并非所有的情感分析模型都能正确地学习否定：有些模型无法捕捉到否定结构的正确语法。最后，我们证明了预训练的语言模型，如BERT，可能依赖于主题词的绝对位置来学习长距离主谓一致。对于每个NLP任务，我们还演示了如何利用OSV来生成对抗性示例。
2022-06-01 cs.AI cs.CL
Multi-turn Inference Matching Network for Natural Language Inference
Beijing Language and Culture University（北京语言大学）；Beijing Advanced Innovation for Language Resources of BLCU（北京语言大学语言资源高精尖创新中心）
自然语言推理（NLI）是自然语言处理（NLP）中的一项基本而又具有挑战性的任务。大多数现有的方法只对一个混合匹配特征进行一次推理，这是一个前提和假设之间不同匹配特征的串联。在本文中，我们提出了一个新的模型称为多轮推理匹配网络（MIMN）进行多轮推理不同的匹配功能。在每一轮中，模型关注一个特定的匹配特征，而不是混合匹配特征。为了增强不同匹配特征之间的交互，采用了存储器组件来存储历史推理信息。每一轮的推理是在当前匹配特征和存储器上执行的。我们在三个不同的NLI数据集上进行实验。实验结果表明，我们的模型在所有三个数据集上的性能优于或达到最先进的性能。
2019-01-08 cs.CL
NILE : Natural Language Inference with Faithful Natural Language Explanations
Indian Institute of Science（印度科学学院）
最近，深度学习模型在NLP分类任务中的流行和成功伴随着对预测标签生成某种形式的自然语言解释的需求。期望这样生成的自然语言（NL）解释是忠实的，即，它们应该与模型的内部决策很好地关联。在这项工作中，我们专注于自然语言推理（NLI）的任务，并解决以下问题：我们可以建立NLI系统，产生高精度的标签，同时也产生忠实的解释其决定？我们提出了自然语言推理的标签特定的解释（NILE），一种新的NLI方法，利用自动生成的标签特定的NL解释，以产生标签及其忠实的解释。我们证明了NILE的有效性，通过自动化和人工评价所产生的标签和解释比以前报道的方法。我们对NILE的评估也支持这样的说法，即可以设计出能够为他们的决定提供可测试解释的精确系统。我们讨论了NILE的解释的忠实性方面的敏感性的决定，相应的解释。我们认为，除了标签和解释准确性外，对忠实性的明确评估是评估模型解释的重要步骤。此外，我们表明，任务特定的探针是必要的，以建立这样的灵敏度。
2020-05-25 cs.CL
Investigating Selective Prediction Approaches Across Several Tasks in IID, OOD, and Adversarial Settings
Arizona State University（亚利桑那州立大学）
为了使NLP系统具有选择性预测能力，已经提出了几种特定于任务的方法。然而，哪些方法在任务中效果最好，或者即使它们始终优于最简单的基线“MaxProb”，仍有待探索。为此，我们系统地研究了“选择性预测”在一个大规模的设置17个数据集在几个NLP任务。通过在域内（IID），域外（OOD）和对抗（ADV）设置下的全面实验，我们表明，尽管利用了额外的资源（保留的数据/计算），但现有方法在所有三种设置中都没有一致且显著优于MaxProb。此外，他们的表现并不能很好地体现在各项任务中。例如，Monte-Carlo Dropout在重复检测数据集上优于所有其他方法，但在NLI数据集上表现不佳，特别是在OOD设置中。因此，我们建议，未来的选择性预测方法应跨任务和设置进行评估，以可靠地估计其能力。
2022-03-01 cs.AI cs.CL cs.LG
How May I Help You? Using Neural Text Simplification to Improve Downstream NLP Tasks
University of Arizona（亚利桑那大学）
文本简化（TS）的总体目标是降低文本的复杂性以供人们使用。本文研究了神经TS的另一个潜在用途：辅助机器执行自然语言处理（NLP）任务。我们以两种方式评估神经TS的使用：在预测时简化输入文本，以及在训练期间增强数据以向机器提供额外信息。我们证明，后一种情况下提供了两个独立的数据集上的机器性能的积极影响。特别是，TS的后一种使用提高了LSTM（1.82-1.98%）和SpanBERT（0.7-1.3%）提取器在TACRED上的性能，TACRED是一种复杂的、大规模的、真实世界的关系抽取任务。此外，相同的设置产生高达0.65%的匹配和0.62%的失配精度的BERT文本分类MNLI，一个实用的自然语言推理数据集的改进。
2021-09-14 cs.CL
Explaining and Improving Model Behavior with k Nearest Neighbor Representations
Salesforce Research（Salesforce研究院）
NLP中的可解释性技术主要集中在使用注意力可视化或基于标记的梯度显着图来理解个体预测。我们建议使用k近邻（kNN）表示来识别负责模型预测的训练样本，并获得对模型行为的语料库级别的理解。除了可解释性，我们表明，kNN表示是有效的发现学习虚假的关联，识别错误标记的例子，并提高微调模型的性能。我们专注于自然语言推理（NLI）作为一个案例研究和实验多个数据集。我们的方法部署回退到kNN的BERT和RoBERTa的例子与低模型的信心，没有任何更新的模型参数。我们的研究结果表明，kNN方法使微调模型对对抗性输入更具鲁棒性。
2020-10-18 cs.CL cs.LG
IndoNLI: A Natural Language Inference Dataset for Indonesian
Universitas Indonesia（印度尼西亚大学）；Kata.ai Research（Kata.ai研究院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of St Andrews（圣安德鲁斯大学）；Amazon（亚马逊）
我们提出了IndoNLI，第一个人类引起的NLI数据集印度尼西亚。我们采用了MNLI的数据汇集协议，并收集了近18 K的句子对人群工作人员和专家的注释。专家注释的数据专门用作测试集。它的目的是提供一个具有挑战性的测试台，印尼NLI明确纳入各种语言现象，如数字推理，结构变化，成语，或时间和空间推理。实验结果表明，XLM-R在我们的数据中优于其他预训练模型。专家注释数据的最佳性能仍然远低于人类性能（13.4%的准确率差距），这表明该测试集特别具有挑战性。此外，我们的分析表明，我们的专家注释的数据更多样化，包含更少的注释工件比人群注释的数据。我们希望这个数据集可以帮助加快印度尼西亚NLP研究的进展。
2021-10-27 cs.CL
FarsTail: A Persian Natural Language Inference Dataset
University of Qom（库姆大学）
本文构建波斯语NLI数据集FarsTail，含10,367个样本并提供多模型基线与偏差分析，以支持波斯语自然语言推理研究。
2021-07-08 cs.CL
ESNLIR: A Spanish Multi-Genre Dataset with Causal Relationships
本文针对西班牙语NLI资源稀缺问题，提出了多体裁且包含因果关系的ESNLIR数据集，并通过BERT家族模型验证了体裁丰富性有助于提升模型泛化能力。
2025-03-11 cs.CL
Simple Contrastive Representation Adversarial Learning for NLP Tasks
Beijing Institute of Technology（北京理工大学）；Alibaba Group（阿里巴巴集团）
对比学习等自监督学习方法在自然语言处理中受到广泛关注。该方法利用成对的训练数据扩充，构造出具有良好表示能力的编码器分类任务。然而，在NLP任务中，在对比学习上构建学习对要困难得多。以前的工作产生词级的变化，形成对，但小的转换可能会导致显着的变化，句子的意义作为离散和稀疏的性质自然语言。在本文中，进行对抗训练以在NLP的嵌入空间上生成具有挑战性和更难学习的对抗示例作为学习对。使用对比学习可以提高对抗训练的泛化能力，因为对比损失可以均匀样本分布。同时，对抗性训练也增强了对比学习的鲁棒性。提出了两个新的框架，监督对比对抗学习（SCAL）和无监督SCAL（USCAL），它通过利用对比学习的对抗训练产生学习对。监督任务的基于标签的损失被用来生成对抗性示例，而非监督任务则带来对比损失。为了验证所提出的框架的有效性，我们将其用于基于transformer的模型，用于自然语言理解，句子语义文本相似性和对抗性学习任务。在GLUE基准测试任务上的实验结果表明，我们的微调监督方法优于BERT $_{base}$超过1.75\%。在语义文本相似度（STS）测试中，我们的方法与BERT $_{base}$的测试结果一致，达到了77.29%.我们的方法的鲁棒性在NLI任务的多个对抗数据集下获得了最先进的结果。
2021-12-02 cs.CL
GeistBERT: Breathing Life into German NLP
Technical University of Munich（慕尼黑工业大学）；University of Augsburg（奥格斯堡大学）
通过在大规模德语语料库上使用 RoBERTa 架构和 Whole Word Masking 进行增量预训练，GeistBERT 在多项德语 NLP 任务上取得了领先性能，并在 GermEval 2018 细粒度文本分类中达到新 SOTA。
2026-06-01 cs.CL
SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）；CRUK-MI（英国癌症研究中心曼彻斯特研究所）；National Biomarker Centre（国家生物标志物中心）
本文介绍 SemEval-2024 任务 2，通过改进的 NLI4CT-P 数据集评测 LLM 的干预与因果推理能力，并汇总参赛系统结果，以提升医疗 NLI 的安全性和鲁棒性。
2024-04-07 cs.AI cs.CL
What Can We Learn from Collective Human Opinions on Natural Language Inference Data?
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
尽管许多NLP任务具有主观性，但大多数NLU评估都集中在使用大多数标签作为基础事实。很少有人注意到人类意见的分布。我们收集了ChaosNLI，一个总共有464，500个注释的数据集，以研究常用NLI评估集中的集体HumAn OpinionS。该数据集是通过收集SNLI和MNLI中3，113个示例和外展NLI中1，532个示例的每个示例100个注释创建的。分析表明：（1）在这些数据集中，大量的例子中存在高度的人类不一致;（2）最先进的模型缺乏恢复人类标签上的分布的能力;（3）模型在具有高水平人类一致性的数据子集上实现了近乎完美的准确性，而在具有低水平人类一致性的数据上，它们几乎无法击败随机猜测，这构成了最先进的模型在评估集上产生的大多数常见错误。这就质疑了在评估数据集的低一致性部分的旧指标上提高模型性能的有效性。因此，我们主张在未来的数据汇集工作中对人类协议进行详细检查，并根据人类集体意见的分布评估模型输出。ChaosNLI数据集和实验脚本可在https://github.com/easonnie/ChaosNLI上获得
2020-10-08 cs.AI cs.CL cs.LG
Advancing NLP Models with Strategic Text Augmentation: A Comprehensive Study of Augmentation Methods and Curriculum Strategies
Yildiz Technical University（伊兹迪克技术大学）
本研究全面评估了多种文本增强技术与课程策略在NLP任务中的效果，提出了新颖的Modified Cyclical Curriculum Learning (MCCL)方法，证明其结合特定增强技术能显著提升模型分类性能并优化训练质量与速度的平衡。
2024-02-14 cs.AI cs.CL
Enhancing adversarial robustness in Natural Language Inference using explanations
Artificial Intelligence and Learning Systems Laboratory（人工智能与学习系统实验室）；School of Electrical and Computer Engineering（电气与计算机工程学院）；National Technical University of Athens（雅典技术大学）
针对自然语言推理模型易受对抗攻击的问题，提出基于自然语言解释的模型无关防御策略，在解释上微调分类器可提升对抗鲁棒性，并探究了语言生成指标与人类感知的相关性以辅助构建鲁棒模型，方法高效易复现。
2024-10-06 cs.CL
Cross-lingual Text Classification Transfer: The Case of Ukrainian
Technical University of Munich（慕尼黑工业大学）
本文针对乌克兰语文本分类语料匮乏问题，探索基于多语言编码器、翻译系统、大语言模型和语言适配器的跨语言迁移方法，并在毒性、正式度和NLI任务上给出最优配置方案。
2025-02-04 cs.AI cs.CL
Improving Natural Language Inference in Arabic using Transformer Models and Linguistically Informed Pre-Training
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学）；University of Bonn（波恩大学）
本文针对阿拉伯语资源匮乏问题构建专用数据集，通过结合Transformer模型与命名实体识别等语言学预训练方法，有效提升了阿拉伯语自然语言推理和矛盾检测性能。
2023-07-27 cs.CL
