Natural Language Inference from Multiple Premises
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们定义了一个新颖的文本蕴涵任务，需要对多个前提句子进行推理。我们提出了一个新的数据集为这项任务，最大限度地减少琐碎的词汇推理，强调日常事件的知识，并提出了一个更具挑战性的设置文本蕴涵。我们评估了几个强大的神经基线，并分析了多前提任务与标准文本蕴涵的不同之处。
2017-10-09 cs.CL
Natural Language Inference over Interaction Space
New York University（纽约大学）；Horizon Robotics, Inc.（地平线机器人技术有限公司(Horizon Robotics, Inc.)）
自然语言推理（NLI）任务要求智能体确定自然语言前提和自然语言假设之间的逻辑关系。我们介绍了交互式推理网络（IIN），一类新的神经网络架构，能够实现高层次的理解的句子对分层提取的语义特征，从交互空间。我们发现，一个交互张量（注意力权重）包含语义信息来解决自然语言推理，和一个密集的交互张量包含更丰富的语义信息。这种架构的一个实例，密集交互式推理网络（DIIN），展示了国家的最先进的性能上的大规模NLI copora和大规模NLI相似的语料库。值得注意的是，相对于最强的已发布系统，DIIN在具有挑战性的多类型NLI（MultiNLI）数据集上实现了超过20%的错误减少。
2018-05-26 cs.CL
Neural Natural Language Inference Models Enhanced with External Knowledge
Queen’s University（女王大学）；University of Ottawa（渥太华大学）；iFLYTEK Research（科大讯飞研究院）
自然语言推理建模是一项非常具有挑战性的任务。随着大量注释数据的可用性，最近训练复杂模型（例如基于神经网络的推理模型）已变得可行，这些模型已显示出达到最先进的性能。虽然存在相对较大的注释数据，但机器是否可以从这些数据中学习执行自然语言推理（NLI）所需的所有知识？如果没有，基于神经网络的NLI模型如何从外部知识中受益，以及如何构建NLI模型来利用它？在本文中，我们丰富了最先进的神经自然语言推理模型与外部知识。我们证明了所提出的模型改进了神经NLI模型，以在SNLI和MultiNLI数据集上实现最先进的性能。
2018-06-23 cs.CL
Improving Natural Language Inference with a Pretrained Parser
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们介绍了一种新的方法，将语法到自然语言推理（NLI）模型。我们的方法使用来自预训练的依赖解析器的上下文标记级向量表示。像其他上下文嵌入器一样，我们的方法广泛适用于任何神经模型。我们用四个强NLI模型（可分解注意力模型，ESIM，BERT和MT-DNN）进行了实验，并在三个NLI基准测试中显示出一致的准确性优势。
2019-09-18 cs.CL
Are Natural Language Inference Models IMPPRESsive? Learning IMPlicature and PRESupposition
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
自然语言推理（NLI）是自然语言理解中越来越重要的任务，它要求人们推断一个句子是否包含另一个句子。然而，NLI模型进行语用推理的能力仍然研究不足。我们创建了一个IMplicature和PRESupposition诊断数据集（IMPPRES），由超过25k个半自动生成的句子对组成，这些句子对说明了经过充分研究的语用推理类型。我们使用IMPPRES来评估在MultiNLI上训练的BERT、InferSent和BOW NLI模型（Williams等人，2018年，学习实用推理。虽然MultiNLI似乎包含很少的对说明这些推理类型，我们发现，BERT学会了语用推理。它可靠地将由“一些”触发的等级含义视为蕴涵。对于一些预设触发器，如“only”，BERT可靠地将预设识别为蕴涵，即使触发器被嵌入在蕴涵取消算子（如否定）下。BOW和Infersent显示出较弱的语用推理证据。我们的结论是，NLI训练鼓励模型学习一些，但不是所有的，语用推理。
2020-07-14 cs.CL
Neuro-symbolic Natural Logic with Introspective Revision for Natural Language Inference
Ingenuity Labs Research Institute（匠心实验室研究所）；Queen’s University（女王大学）
我们介绍了一个神经符号的自然逻辑框架的基础上强化学习内省修订。该模型通过策略梯度对特定的推理路径进行采样和奖励，其中内省修正算法修改中间符号推理步骤以发现奖励操作，并利用外部知识来减轻虚假推理和训练效率低下。该框架由适当设计的局部关系模型支持，以避免输入纠缠，这有助于确保证明路径的可解释性。该模型具有内置的可解释性，并表现出优越的能力，在单调性推理，系统的推广，和可解释性，与以前的模型在现有的数据集。
2022-06-05 cs.CL
Don't Learn, Ground: A Case for Natural Language Inference with Visual Grounding
Utrecht University（乌特勒支大学）
本文提出了一种基于视觉依托的零样本自然语言推理方法，通过生成视觉表示并比较与假设的相似度，实现高精度推理，展示了对文本偏见的鲁棒性。
2025-11-21 cs.CL
Uncertain Natural Language Inference
Johns Hopkins University（约翰斯·霍普金斯大学）；Columbia University（哥伦比亚大学）；Allen Institute for AI（艾伦人工智能研究所）
我们引入了不确定自然语言推理（UNLI），这是自然语言推理（NLI）的一种改进，它远离了分类标签，而是针对主观概率评估的直接预测。我们证明了通过在概率尺度下重新标记SNLI数据集的一部分来为UNLI收集注释的可行性，即使具有相同分类标签的项目在给定前提下人们判断它们为真的可能性也不同。我们描述了一种直接标量回归建模方法，并发现现有的分类标记的NLI数据可以用于预训练。我们最好的模型接近人类的表现，证明模型可能能够比目前NLI任务中采用的分类箱分配更微妙的推断。
2020-05-05 cs.CL
Enhanced LSTM for Natural Language Inference
National Research Council Canada（加拿大国家研究委员会）；iFLYTEK Research（科大讯飞研究院）；York University（约克大学）；University of Ottawa（渥太华大学）
推理和推断是人类和人工智能的核心。在人类语言中建模推理是非常具有挑战性的。随着大量注释数据的可用性（Bowman等人，2015），最近已经可以训练基于神经网络的推理模型，其已经显示出非常有效。在本文中，我们提出了一个新的国家的最先进的结果，达到了88.6%的准确率斯坦福自然语言推理数据集。与之前使用非常复杂的网络架构的顶级模型不同，我们首先证明了基于链式LSTM精心设计的顺序推理模型可以优于所有之前的模型。在此基础上，我们进一步表明，通过显式地考虑递归体系结构的局部推理建模和推理组合，我们实现了额外的改进。特别是，结合句法分析信息有助于我们的最佳结果-它进一步提高了性能，即使添加到已经非常强大的模型中。
2017-04-26 cs.CL
Collecting Diverse Natural Language Inference Problems for Sentence Representation Evaluation
Johns Hopkins University（约翰斯·霍普金斯大学）；BITS Pilani, Goa Campus（贝拉理工学院皮拉尼分校果阿校区）；Brown University（布朗大学）；University of Rochester（罗切斯特大学）
我们提出了一个大规模的收集不同的自然语言推理（NLI）数据集，帮助提供洞察如何以及一个句子表示捕捉不同类型的推理。收集结果从重铸13个现有的数据集从7个语义现象到一个共同的NLI结构，导致超过50万个标记的上下文假设对。我们将我们的集合称为DNC：多样自然语言推理集合。DNC可在https://www.decomp.net上在线获得，并将随着时间的推移而增长，因为其他资源将从新的来源重新铸造和添加。
2018-08-29 cs.CL
Learning as Abduction: Trainable Natural Logic Theorem Prover for Natural Language Inference
Utrecht University（乌得勒支大学）
用基于逻辑的方法处理自然语言推理变得越来越不常见。虽然这在几十年前可能是违反直觉的，但现在似乎很明显。这种概念的主要原因是：（a）基于逻辑的方法在处理广泛覆盖的文本时通常很脆弱，（b）它们需要大量的人工开发，而不是自动从数据中学习。我们通过将从数据中学习建模为溯因推理来克服这些缺点：反转定理证明过程来溯因语义关系，这些语义关系可以作为推理问题的黄金标签的最佳解释。换句话说，不是借助于词汇关系来证明语义级推理关系，而是考虑语义级推理关系来证明词汇关系。我们在自然语言的tableau定理证明器中实现了学习方法，并表明它将定理证明器在SICK数据集上的性能提高了1.4%，同时仍然保持了高精度（>94%）。所获得的结果是有竞争力的最先进的基于逻辑的系统之间。
2020-12-01 cs.CL
Uncertainty-Aware Natural Language Inference with Stochastic Weight Averaging
University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）
本文提出在自然语言理解任务中利用SWAG进行贝叶斯不确定性建模，应用于自然语言推理，有效提升预测准确率并与人类标注分歧相关，凸显了不确定性建模的重要性。
2023-04-10 cs.CL
A large annotated corpus for learning natural language inference
Stanford Linguistics（斯坦福大学语言学系）；Stanford NLP Group（斯坦福大学自然语言处理小组）；Stanford Computer Science（斯坦福大学计算机科学系）
理解蕴涵和矛盾是理解自然语言的基础，而关于蕴涵和矛盾的推理是语义表示发展的有价值的试验场。然而，由于缺乏大规模的资源，这一领域的机器学习研究受到了极大的限制。为了解决这个问题，我们介绍了斯坦福大学的自然语言推理语料库，一个新的，免费提供的集合标记的句子对，写的人做一个新的接地任务的基础上图像描述。在570K对，它是两个数量级以上的所有其他资源的类型。这种规模的增加允许词汇化分类器优于一些复杂的现有蕴涵模型，并且它允许基于神经网络的模型首次在自然语言推理基准上具有竞争力。
2015-08-21 cs.CL
Extracting and filtering paraphrases by bridging natural language inference and paraphrasing
University of Ljubljana（卢布尔雅那大学）
释义是一种有用的自然语言处理任务，可以有助于生成或翻译更多样化的文本。自然语言推理（NLI）和释义有一些相似之处，可以从联合方法中受益。我们提出了一种新的方法，从NLI数据集的释义数据集的提取和清洗现有的释义数据集。我们的方法是基于双向蕴涵，也就是说，如果两个句子可以相互蕴涵，他们是释义。我们在单语和跨语言环境中使用几个大型预训练的Transformer语言模型来评估我们的方法。结果表明，高质量的提取的释义数据集和令人惊讶的高噪声水平在两个现有的释义数据集。
2021-11-13 cs.CL
Transforming Question Answering Datasets Into Natural Language Inference Datasets
Stanford University（斯坦福大学）
现有的自然语言推理数据集推动了语言理解的研究。我们提出了一种新的方法，自动推导NLI数据集的日益丰富的大型问答数据集。我们的方法取决于学习一个句子转换模型，转换成他们的陈述形式的问答对。尽管主要是在单个QA数据集上进行训练，但我们表明它可以成功地应用于各种其他QA资源。使用这个系统，我们自动获得了一个新的免费提供的数据集超过500 k NLI的例子（QA-NLI），并表明它表现出广泛的推理现象很少看到以前的NLI数据集。
2018-09-11 cs.CL
e-SNLI: Natural Language Inference with Natural Language Explanations
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）；DeepMind（深度思维）
为了使机器学习获得广泛的公众采用，模型必须能够为其决策提供可解释和强大的解释，并在训练时从人类提供的解释中学习。在这项工作中，我们扩展了斯坦福大学的自然语言推理数据集与人类注释的自然语言解释的蕴涵关系的附加层。我们进一步实现了将这些解释纳入其训练过程并在测试时输出的模型。我们展示了我们的解释语料库（我们称之为e-SNLI）如何用于各种目标，例如获得模型决策的完整句子理由，改进通用句子表示以及转移到域外NLI数据集。因此，我们的数据集为使用自然语言解释开辟了一系列研究方向，无论是为了改进模型还是为了维护它们的信任。
2018-12-06 cs.CL
Syntax-based Attention Model for Natural Language Inference
Fudan University（复旦大学）
在神经网络中引入注意机制是一个强大的概念，并在许多自然语言处理任务中取得了令人印象深刻的结果。然而，大多数现有的模型施加注意力分布上的平面拓扑结构，即整个输入表示序列。显然，任何格式良好的句子都有其相应的句法树结构，这是一个非常丰富的拓扑结构。将注意力应用于这样的拓扑不仅利用了底层语法，而且还使注意力更可解释。在本文中，我们将在自然语言推理的背景下探索这一方向。结果证明了它的有效性。我们还进行了广泛的定性分析，得出了关于我们的模型为什么以及如何工作的见解和直觉。
2016-07-22 cs.CL
On Adversarial Removal of Hypothesis-only Bias in Natural Language Inference
Harvard University（哈佛大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）
流行的自然语言推理（NLI）数据集已被证明是污染的假设只有偏见。对抗性学习可以帮助模型忽略数据中的敏感偏差和虚假相关性。我们评估了对抗学习是否可以用于NLI，以鼓励模型学习没有假设偏见的表示。我们的分析表明，通过对抗性学习学习的表示可能偏差较小，NLI准确性只有小幅下降。
2019-07-09 cs.CL
Attention Boosted Sequential Inference Model
Beijing Jiaotong University（北京交通大学）
注意力机制在自然语言处理中被证明是有效的。本文提出了一种名为aESIM的注意力增强自然语言推理模型，通过将单词注意力和自适应方向注意力机制添加到自然语言推理模型（例如ESIM）的传统Bi-LSTM层。这使得推理模型aESIM能够有效地学习单词的表示，并对前提和假设对之间的局部实质推理进行建模。对SNLI、MultiNLI和Quora基准的实证研究表明，aESIM模型优于原ESIM模型。
2018-12-06 cs.CL
Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches
University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）；Computer Science and Engineering（计算机科学与工程学院）
在NLP社区中，近年来出现了大量研究活动，这些研究活动旨在解决机器执行深度语言理解的能力，这种能力超越了文本中明确陈述的内容，而是依赖于推理和对世界的了解。已经创建了许多基准任务和数据集来支持这种自然语言推理能力的开发和评估。随着这些基准成为NLP研究社区的工具和驱动力，本文旨在概述最近的基准，相关知识资源以及最先进的学习和推理方法，以支持更好地理解这个不断发展的领域。
2020-02-26 cs.CL
Towards Controllable Natural Language Inference through Lexical Inference Types
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文提出基于AMR图定义词汇推理类型并改造T5瓶颈层，以实现多前提解释性推理的可控生成，并构建约5000步标注数据集验证其有效性。
2024-11-24 cs.CL
Fake News Detection as Natural Language Inference
National Cheng Kung University（国立成功大学）
本报告描述了智能知识管理（IKM）实验室在WSDM 2019假新闻分类挑战中的参赛作品。我们把任务作为自然语言推理（NLI）。我们单独训练一些最强的NLI模型以及BERT。我们将这些结果进行集成，并在两个阶段中使用噪声标签进行重新训练。我们分析了训练集和测试集中的传递性关系，并在此基础上确定了一组可以可靠分类的测试用例。其余的测试用例由我们的集合进行分类。我们的参赛作品在比赛中获得了88.063%的测试集准确率，获得第三名。
2019-07-17 cs.CL
Non-entailed subsequences as a challenge for natural language inference
Johns Hopkins University（约翰斯·霍普金斯大学）
神经网络模型在自然语言推理（NLI）方面取得了巨大的成功，NLI是确定前提是否包含假设的任务。然而，最近的研究表明，这些模型可能依赖于错误的语法，而不是深入的语言理解。我们引入了一个挑战集来测试NLI系统是否采用这样的启发式：假设一个句子需要所有的合法性，如假设“爱丽丝相信玛丽是在撒谎”需要“爱丽丝相信玛丽。“我们在这个挑战集上评估了几个有竞争力的NLI模型，并找到了强有力的证据表明它们确实依赖于子序列启发式。
2018-11-30 cs.CL
Supervised Learning of Universal Sentence Representations from Natural Language Inference Data
Facebook AI Research（Facebook人工智能研究院）；LIUM, Université Le Mans（勒芒大学LIUM实验室）
许多现代NLP系统依赖于词嵌入作为基本特征，这些词嵌入以前在大型语料库上以无监督的方式进行训练。然而，为更大的文本块（例如句子）获得嵌入的努力并不那么成功。学习句子的无监督表示的几次尝试都没有达到令人满意的性能，无法被广泛采用。在本文中，我们展示了使用斯坦福自然语言推理数据集的监督数据训练的通用句子表示如何在广泛的迁移任务中始终优于SkipThought向量等无监督方法。就像计算机视觉如何使用ImageNet来获取特征，然后将其转移到其他任务一样，我们的工作往往表明自然语言推理对于迁移学习到其他NLP任务的适用性。我们的编码器是公开的。
2018-07-08 cs.CL
Hypothesis Only Baselines in Natural Language Inference
Johns Hopkins University（约翰斯·霍普金斯大学）；BITS Pilani, Goa Campus（博拉理工学院皮拉尼校区果阿分校）
我们提出了一个诊断自然语言推理（NLI）的假设只有基线。特别是当NLI数据集假设推断纯粹基于上下文和假设之间的关系发生时，因此在忽略所提供的上下文的同时评估蕴涵关系是退化的解决方案。然而，通过对10个不同的NLI数据集的实验，我们发现这种方法，我们称之为仅假设模型，能够在许多NLI数据集上显着优于大多数类基线。我们的分析表明，统计不规则性可能允许模型在某些数据集中执行NLI，超出了在没有访问上下文的情况下应该实现的范围。
2018-05-02 cs.CL
ARC-NLP at PAN 2023: Transition-Focused Natural Language Inference for Writing Style Detection
Aselsan Research Center（阿瑟尔桑研究中心）
ARC-NLP团队将多作者写作风格检测表述为连续段落配对的自然语言推理问题，提出聚焦段落转换并截断输入标记的方法，采用带预热的Transformer编码器，在PAN 2023各难度设置中表现优于基线。
2023-07-27 cs.CL
Several Experiments on Investigating Pretraining and Knowledge-Enhanced Models for Natural Language Inference
Queen’s University（女王大学）；iFLYTEK Research（科大讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
自然语言推理是自然语言理解中最具挑战性的任务之一。最近关于利用无监督信号（如语言模型和句子预测目标）的无监督预训练的工作已被证明在广泛的NLP问题上非常有效。仍然希望进一步理解它如何帮助NLI;例如，如果它学习数据注释中的伪影，或者相反地学习真正的推理知识。另外，可以以两种典型的方式将不存在于有限数量的NLI训练数据中的外部知识添加到NLI模型中，例如，从人类创造的资源或无监督的预训练范式。我们在这里进行了几个实验，以研究它们是否以同样的方式帮助NLI，如果不是，如何帮助？
2019-04-27 cs.CL
Natural Language Inference over Interaction Space: ICLR 2018 Reproducibility Report
American University of Armenia（亚美尼亚美国大学）；YerevaNN（埃里瓦恩神经网络研究中心）；Yerevan State University（埃里温国立大学）
我们试图复制提交给ICLR 2018会议的论文“交互空间上的自然语言推理”的结果，作为ICLR 2018复制挑战赛的一部分。最初，我们不知道代码可用，所以我们从头开始实现网络。我们在斯坦福NLI数据集上评估了我们的模型版本，在测试集上达到了86.38%的准确率，而论文声称准确率为88.0%。据我们所知，主要的区别来自优化器和模型选择的执行方式。
2018-02-09 cs.CL
Exploring Transitivity in Neural NLI Models through Veridicality
RIKEN（理化学研究所）；Keio University（庆应义塾大学）；Tohoku University（东北大学）
尽管深度神经网络最近在自然语言处理方面取得了成功，但它们在自然语言理解方面能在多大程度上表现出类似人类的泛化能力仍不清楚。我们在自然语言推理（NLI）领域探索这个问题，重点是推理关系的传递性，系统地绘制推理的基本属性。一个捕捉传递性的模型可以组成基本的推理模式，并得出新的推理。我们介绍了一种分析方法，使用合成的和自然的NLI数据集，涉及小句嵌入动词，以评估模型是否可以执行由真实推理和任意推理类型组成的传递性推理。我们发现，目前的NLI模型并不一贯表现良好的传递性推理任务，这表明他们缺乏泛化能力，从提供的训练样本绘制复合推理。用于我们分析的数据和代码可在https://github.com/verypluming/transitivity上公开获取。
2021-01-26 cs.CL
MonaLog: a Lightweight System for Natural Language Inference Based on Monotonicity
Indiana University（印第安纳大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出了一种新的基于逻辑的自然语言推理机MonaLog。与现有的基于逻辑的方法相比，我们的系统被故意设计为尽可能轻量级，并使用一小部分关于量词，词汇项和标记级极性信息的众所周知的（表面级）单调性事实进行操作。尽管它的简单性，我们发现我们的方法是有竞争力的其他基于逻辑的NLI模型的SICK基准。我们还将MonaLog与当前最先进的模型BERT结合使用，用于各种设置，包括组合数据增强。我们表明，MonaLog能够为BERT生成大量高质量的训练数据，提高其在SICK上的准确性。
2019-10-19 cs.CL
Natural Language Inference with Mixed Effects
University of Rochester（罗切斯特大学）
越来越多的证据表明，用于构建自然语言推理数据集的原始注释中普遍存在的分歧使得将这些注释聚合到单个标签的常见做法存在问题。我们提出了一种通用的方法，允许人们跳过聚合步骤，直接在原始注释上进行训练，而不会使模型受到注释者响应偏差引起的不必要的噪声。我们证明，这种方法，它概括了\textit{mixed effects model}的概念，将\textit{annotator random effects}到任何现有的神经模型，提高了性能的模型，不包括这样的效果。
2020-10-20 cs.CL
ConjNLI: Natural Language Inference Over Conjunctive Sentences
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
关于合取句中合取词的推理对于更深入地理解英语中的合取词以及它们的用法和语义与合取和析取布尔逻辑的区别是很重要的。现有的NLI压力测试不考虑连接词的非布尔用法，而是使用模板来测试这种模型知识。因此，我们介绍了ConjNLI，一个挑战压力测试的自然语言推理的连接语句，其中的前提不同的假设的连接词删除，添加，或替换。这些句子包含单个和多个协调连词（“and”，“or”，“but”，“nor”）与量词，否定词的实例，并需要对连词进行各种布尔和非布尔推理。我们发现，像RoBERTa这样的大规模预训练语言模型不能很好地理解连接语义，并采用浅层语义学来对这些句子进行推理。作为一些初步的解决方案，我们首先提出了一个迭代对抗微调方法，使用综合创建的训练数据的基础上布尔和非布尔代数。我们还提出了一个直接的模型进步，使Roberta知道谓词语义角色。虽然我们观察到一些性能的提高，ConjNLI仍然是目前的方法具有挑战性，从而鼓励有趣的未来工作，更好地理解合取。我们的数据和代码可在https://github.com/swarnaHub/ConjNLI上公开获取
2020-10-21 cs.AI cs.CL
Dialogue Natural Language Inference
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者）
一致性是对话模式面临的一个长期问题。在本文中，我们框架的一致性对话代理的自然语言推理（NLI），并创建一个新的自然语言推理数据集称为对话NLI。我们提出了一种方法，该方法证明了在对话NLI上训练的模型可以用于提高对话模型的一致性，并在一套旨在测量对话模型一致性的评估集上使用人工评估和自动度量来评估该方法。
2019-01-18 cs.AI cs.CL
Unsupervised Natural Language Inference via Decoupled Multimodal Contrastive Learning
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Key Laboratory of Data Science, Fudan University（复旦大学数据科学上海重点实验室）
我们建议通过任务无关的多模态预训练来解决自然语言推理问题，而无需来自推理标签的任何监督。虽然最近的多模态自监督学习的研究也代表了语言和视觉的背景下，他们的编码器为不同的方式耦合。因此，当单独编码纯文本时，它们不能包含视觉信息。在本文中，我们提出了多模态对齐对比解耦学习（MACD）网络。MACD迫使解耦的文本编码器通过对比学习来表示视觉信息。因此，它嵌入了视觉知识，即使是纯文本推理。我们在纯文本推理数据集（即SNLI和STS-B）上进行了全面的实验。在STS-B上，无监督MACD甚至优于完全监督的BiLSTM和BiLSTM+ELMO。
2020-10-16 cs.AI cs.CL
Few-Shot Natural Language Inference Generation with PDD: Prompt and Dynamic Demonstration
Shanghai Jiao Tong University（上海交通大学）
自然语言推理生成任务是在给定文本前提和两者之间的逻辑关系的情况下生成文本假设。该任务可用于实际的数据增强和可控文本生成。在本文中，我们提出了语言模型与提示和动态演示（LM-PDD）来解决这个问题，在Few-Shot设置。该框架在资源较少的情况下优于标准的微调模型，在SNLI和MNLI数据集上取得了平均8%的绝对改进，在13个自然语言分类任务上的结果也表明，该动态演示方法具有良好的泛化能力。
2022-05-21 cs.AI cs.CL
Multi-Scales Data Augmentation Approach In Natural Language Inference For Artifacts Mitigation And Pre-Trained Model Optimization
University of Texas at Austin（德克萨斯大学奥斯汀分校）
机器学习模型可以在基准自然语言处理（NLP）数据集上达到高性能，但在更具挑战性的设置中失败。我们研究这个问题时，一个预先训练的模型学习数据集工件在自然语言推理（NLI），研究一对文本序列之间的逻辑关系的主题。我们提供了各种技术来分析和定位众包斯坦福自然语言推理（SNLI）语料库内的数据集工件。我们研究了SNLI中数据集工件的风格模式。为了减轻数据集的文物，我们采用了一种独特的多尺度数据增强技术与两个不同的框架：行为测试清单在句子级别和词汇同义词标准在单词级别。具体来说，我们的组合方法增强了模型对扰动测试的抵抗力，使其能够持续优于预先训练的基线。
2023-03-16 cs.CL stat.AP
SherLIiC: A Typed Event-Focused Lexical Inference Benchmark for Evaluating Natural Language Inference
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
我们提出了SherLIiC，一个上下文中的词汇推理（LIiC）的测试平台，由3985个手动注释的推理规则候选者（InfCands）组成，伴随着（i）~ 960 k未标记的InfCands，以及（ii）从大型实体链接语料库CNOW Web 09中提取的Freebase实体之间的~ 190 k类型化文本关系。每个InfCand都由这些关系中的一个组成，表示为lemmatized依赖路径和两个参数占位符，每个占位符链接到一个或多个Freebase类型。由于我们的候选人选择过程基于强分布证据，SherLIiC比现有的测试平台要难得多，因为分布证据在InfCands的分类中几乎没有用处。我们还表明，由于它的建设，许多SherLIiC的正确InfCands是新颖的，从现有的规则基础失踪。我们评估了SherLIiC上的一些强基线，从语义向量空间模型到最先进的自然语言推理（NLI）神经模型。我们表明，SherLIiC对现有的NLI系统构成了严峻的挑战。
2019-06-04 cs.AI cs.CL
Case-Based Abductive Natural Language Inference
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）
大多数当代的多跳自然语言推理（NLI）方法都是孤立地考虑每个测试用例来构造解释。然而，这种范式被称为遭受语义漂移，一种现象，导致虚假的解释，导致错误的结论的建设。与此相反，本文提出了一个溯因框架的多跳NLI探索检索重用细化范例基于案例推理（CBR）。具体来说，我们提出了基于案例的溯因自然语言推理（CB-ANLI），一个模型，解决了看不见的推理问题，从类似的例子中类比转移先前的解释。我们对常识和科学问答任务的溯因框架进行了实证评估，表明CB-ANLI可以有效地与稀疏和密集的预训练编码器集成，以提高多跳推理，或作为Transformers的证据检索器。此外，语义漂移的实证分析表明，CBR范式提高了最具挑战性的解释的质量，这一特征对下游推理任务的鲁棒性和准确性有直接影响。
2022-09-10 cs.AI cs.CL
NeuralLog: Natural Language Inference with Joint Neural and Logical Reasoning
Rose-Hulman Institute of Technology（罗斯-霍曼理工学院）；Indiana University（印第安纳大学）
基于深度学习（DL）的语言模型在自然语言推理（NLI）的各种基准测试中实现了高性能。在这个时候，象征性的方法NLI受到较少的关注。这两种方法（符号和DL）都有其优点和缺点。然而，目前，没有方法将它们结合在一个系统中来解决NLI的任务。为了融合符号学习和深度学习方法，我们提出了一个名为NeuralLog的推理框架，它利用基于单调性的逻辑推理引擎和神经网络语言模型进行短语对齐。我们的框架模型的NLI任务作为一个经典的搜索问题，并使用束搜索算法搜索最佳推理路径。实验表明，我们的联合逻辑和神经推理系统提高了NLI任务的准确性，并可以在SICK和MED数据集上达到最先进的准确性。
2021-06-10 cs.AI cs.CL
Character-level Intra Attention Network for Natural Language Inference
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
自然语言推理是语言理解的核心问题。近年来，端到端人工神经网络在自然语言识别领域已经达到了最先进的水平。在本文中，我们提出了一种用于NLI任务的机器人级内部注意力网络（CIAN）。在我们的模型中，我们使用字符级卷积网络来代替标准的词嵌入层，并使用内部注意力来捕获句子内部语义。建议CIAN模型提供了改进的结果的基础上，新出版的MNLI语料库。
2017-07-24 cs.CL cs.LG
Annotation Artifacts in Natural Language Inference Data
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；New York University（纽约大学）
用于自然语言推理的大规模数据集是通过向人群工作者提供一个句子（前提），并要求他们生成三个新句子（假设）来创建的，这些句子包含、矛盾或在逻辑上中立。我们表明，在相当一部分这样的数据，该协议留下的线索，使人们有可能识别标签只看假设，而不观察的前提。具体来说，我们表明，一个简单的文本分类模型可以正确分类的假设单独在约67%的SNLI（鲍曼等。等人，2015）和53%的MultiNLI（Williams et.等人，2017）。我们的分析表明，特定的语言现象，如否定和不确定性是高度相关的某些推理类。我们的研究结果表明，迄今为止，自然语言推理模型的成功被高估了，而且这项任务仍然是一个很难解决的问题。
2018-04-16 cs.AI cs.CL
Learning Natural Language Inference with LSTM
Singapore Management University（新加坡管理大学）
自然语言推理（NLI）是自然语言处理中的一项重要任务，有着广泛的应用。最近发布的斯坦福自然语言推理（SNLI）语料库使得开发和评估以学习为中心的方法成为可能，例如用于自然语言推理（NLI）的深度神经网络。在本文中，我们提出了一个特殊的长短期记忆（LSTM）架构的NLI。我们的模型建立在最近提出的NLI神经注意力模型之上，但基于一个显着不同的想法。我们的解决方案不是为用于分类的前提和假设导出句子嵌入，而是使用match-LSTM来执行假设与前提的逐字匹配。这个LSTM能够更加强调重要的单词级匹配结果。特别是，我们观察到这个LSTM记住了重要的不匹配，这对于预测矛盾或中性关系标签至关重要。在SNLI语料库上，我们的模型达到了86.1%的准确率，超过了最先进的水平。
2016-11-10 cs.AI cs.CL cs.NE
UW-BHI at MEDIQA 2019: An Analysis of Representation Methods for Medical Natural Language Inference
University of Washington（华盛顿大学）
分布式语言建模的最新进展已经导致各种自然语言处理（NLP）任务的性能大幅提高。然而，人们还不清楚这些方法如何可以通过基于知识的方法来增强。本文比较了基于表示方法的三种实验条件下的增强型顺序推理模型（ESIM）的性能和内部表示：来自Transformers的双向编码器表示（BERT）、语义预测嵌入（ESP）或Cui2Vec。在MEDIQA 2019共享任务的医学自然语言推理（MedNLI）子任务上对这些方法进行了评价。这项任务在很大程度上依赖于语义理解，因此作为一个合适的评价集，这些表示方法的比较。
2019-07-09 cs.CL cs.IR cs.LG
Monte Carlo Tree Search for Interpreting Stress in Natural Language
Stanford University（斯坦福大学）
自然语言处理可以帮助从一个人所写的文本中分析他的精神状态。以前的研究已经开发出了模型，可以从社交媒体帖子中预测一个人是否正在经历高准确性的心理健康状况。然而，这些模型无法解释为什么人会经历一种特定的精神状态。在这项工作中，我们提出了一种新的方法来解释一个人的精神状态，从文本使用蒙特卡罗树搜索（MCTS）。我们的MCTS算法采用经过训练的分类模型来指导搜索关键短语，以简洁，可解释的方式解释作者的精神状态。此外，我们的算法可以找到依赖于文本的特定上下文的两种解释（例如，最近分手）和那些上下文无关的。使用Reddit上显示压力的帖子的数据集，我们展示了MCTS算法以依赖于上下文和独立于上下文的方式识别一个人的压力感觉的可解释的能力。
2022-04-17 cs.CL cs.IT math.IT
On the Evaluation of Semantic Phenomena in Neural Machine Translation Using Natural Language Inference
Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个过程，调查在何种程度上产生的神经机器翻译（NMT）系统的句子表示编码不同的语义现象。我们使用这些表示作为特征来训练一个基于现有语义注释的数据集重铸的自然语言推理（NLI）分类器。在应用这个过程中的一个代表性的NMT系统，我们发现它的编码器似乎最适合支持推理的语法语义接口，相比，回指解析需要世界知识。最后，我们讨论的优点和潜在的不足，现有的过程中，以及如何可以改进和扩展为一个更广泛的框架，用于评估语义覆盖。
2018-05-06 cs.CL
Using Answer Set Programming in an Inference-Based approach to Natural Language Semantics
在基于推理的自然语言语义方法中使用答案集编程
2006-07-18 cs.AI cs.CL
StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation
The Chinese University of Hong Kong, China（香港中文大学）；Nara Institute of Science and Technology（奈良科学技術大学）
提出StressTransfer系统，利用LLM将源语言词级压力转为目标语言标签以指导TTS，通过自动数据生成和LLM-as-Judge评估，在保留强调的同时维持翻译质量与自然度。
2025-10-15 cs.AI cs.CL
A Tutorial on Dual Decomposition and Lagrangian Relaxation for Inference in Natural Language Processing
对偶分解和更一般的拉格朗日松弛是组合优化的经典方法;它最近已被应用于自然语言处理（NLP）中的几个推理问题。本教程概述了该技术。我们描述了示例算法，描述了正式的方法保证，并描述了在实现算法的实际问题。虽然我们的例子主要来自NLP文献，但这些材料应该与机器学习中的推理问题具有普遍的相关性。本教程的一个中心主题是，拉格朗日松弛自然地与广泛的组合算法相结合，允许在模型中进行推理，这些推理远远超出了以前在图形模型中进行拉格朗日松弛推理的工作。
2014-01-23 cs.AI cs.CL
Flavored Tacotron: Conditional Learning for Prosodic-linguistic Features
AI Foundation（AI基金会）
神经序列到序列文本到语音合成（TTS），如Tacotron-2，将文本转换为高质量的语音。然而，生成具有自然韵律的语音仍然是一个挑战。安田等显示与自然语音不同，Tacotron-2的编码器不能完全表示字符的韵律特征（例如英语中的音节重音），并导致平坦的基频变化。在这项工作中，我们提出了一种新的精心设计的策略，用于调节Tacotron-2在英语中的两个基本韵律特征-重音音节和音高重音，这有助于实现更自然的韵律。为此，我们使用分类器以端到端的方式学习这些特征，并在Tacotron-2的Text-To-Mel Spectrogram的三个部分应用特征调节：预编码器，后编码器和帧内解码器。此外，我们表明，在预编码器和解码器内阶段的联合条件功能的结果在韵律上自然的合成语音（与Tacotron-2），并允许该模型产生语音更准确的音调口音和重音模式。定量评估表明，我们的配方实现了更高的基频轮廓相关性，和较低的梅尔倒谱系数失真度之间的合成和自然语音。主观评价表明，该方法的平均意见得分为4.14，高于基线Tacotron-2，3.91，与自然语音（LJSpeech语料库），4.28相比。
2021-04-08 cs.CL cs.LG cs.SD
WHISTRESS: Enriching Transcriptions with Sentence Stress Detection
The School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem, Israel（耶路撒冷希伯来大学）
本文提出WHISTRESS，一种无需对齐的句子重音检测方法，基于合成数据集TINYSTRESS-15K训练，在多个基准上优于现有方法，并展现零样本泛化能力。
2025-05-25 cs.CL cs.SD eess.AS
