首页/论文/1909.03042

arXiv 1909.030422019-09cs.CL

不确定自然语言推理

Uncertain Natural Language Inference

Johns Hopkins University（约翰斯·霍普金斯大学）；Columbia University（哥伦比亚大学）；Allen Institute for AI（艾伦人工智能研究所）

Tongfei Chen, Zhengping Jiang, Adam Poliak, Keisuke Sakaguchi, Benjamin Van Durme

备注：: Accepted to ACL 2020

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们引入了不确定自然语言推理（UNLI），这是自然语言推理（NLI）的一种改进，它远离了分类标签，而是针对主观概率评估的直接预测。我们证明了通过在概率尺度下重新标记SNLI数据集的一部分来为UNLI收集注释的可行性，即使具有相同分类标签的项目在给定前提下人们判断它们为真的可能性也不同。我们描述了一种直接标量回归建模方法，并发现现有的分类标记的NLI数据可以用于预训练。我们最好的模型接近人类的表现，证明模型可能能够比目前NLI任务中采用的分类箱分配更微妙的推断。

英文摘要：

We introduce Uncertain Natural Language Inference (UNLI), a refinement of Natural Language Inference (NLI) that shifts away from categorical labels, targeting instead the direct prediction of subjective probability assessments. We demonstrate the feasibility of collecting annotations for UNLI by relabeling a portion of the SNLI dataset under a probabilistic scale, where items even with the same categorical label differ in how likely people judge them to be true given a premise. We describe a direct scalar regression modeling approach, and find that existing categorically labeled NLI data can be used in pre-training. Our best models approach human performance, demonstrating models may be capable of more subtle inferences than the categorical bin assignment employed in current NLI tasks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于随机权重平均的不确定性感知自然语言推理

Uncertainty-Aware Natural Language Inference with Stochastic Weight Averaging

University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）

本文提出在自然语言理解任务中利用SWAG进行贝叶斯不确定性建模，应用于自然语言推理，有效提升预测准确率并与人类标注分歧相关，凸显了不确定性建模的重要性。

2023-04-10cs.CL

用于自然语言推理的随机应答网络

Stochastic Answer Networks for Natural Language Inference

Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）

本文提出了一种随机回答网络（SAN）来研究自然语言推理中的多步推理策略。该模型不是直接预测给定输入的结果，而是保持一个状态并迭代地改进其预测。我们的实验表明，SAN达到了最先进的结果在三个基准：斯坦福自然语言推理（SNLI）数据集，多流派自然语言推理（MultiNLI）数据集和Quora问题对数据集。

2019-03-30cs.CL

用于自然语言推理的多轮推理匹配网络

Multi-turn Inference Matching Network for Natural Language Inference

Beijing Language and Culture University（北京语言大学）；Beijing Advanced Innovation for Language Resources of BLCU（北京语言大学语言资源高精尖创新中心）

自然语言推理（NLI）是自然语言处理（NLP）中的一项基本而又具有挑战性的任务。大多数现有的方法只对一个混合匹配特征进行一次推理，这是一个前提和假设之间不同匹配特征的串联。在本文中，我们提出了一个新的模型称为多轮推理匹配网络（MIMN）进行多轮推理不同的匹配功能。在每一轮中，模型关注一个特定的匹配特征，而不是混合匹配特征。为了增强不同匹配特征之间的交互，采用了存储器组件来存储历史推理信息。每一轮的推理是在当前匹配特征和存储器上执行的。我们在三个不同的NLI数据集上进行实验。实验结果表明，我们的模型在所有三个数据集上的性能优于或达到最先进的性能。

2019-01-08cs.CL

用于自然语言推理的端到端模仿人类的神经结构

A Neural Architecture Mimicking Humans End-to-End for Natural Language Inference

IIT Kharagpur（印度理工学院克勒格布尔分校）；Indian Institute of Science, Bangalore（印度科学院）；Accenture Technology Labs（埃森哲技术实验室）

在这项工作中，我们使用的最新进展表示学习提出了一个神经架构的问题，自然语言推理。我们的方法是一致的，以模仿人类如何做自然语言推理过程中给出两个语句。该模型使用长短期记忆（LSTM）、注意力机制和可组合神经网络的变体来执行任务。我们模型的每个部分都可以映射到一个清晰的功能，人类可以执行自然语言推理的整体任务。该模型是端到端可微的，能够通过随机梯度下降进行训练。在斯坦福大学自然语言推理（SNLI）数据集上，该模型比文献中已发表的模型具有更好的精度。

2017-01-27cs.CL

基于成分不确定性量化的鲁棒自回归图分析的神经符号推理

Neural-Symbolic Inference for Robust Autoregressive Graph Parsing via Compositional Uncertainty Quantification

UC San Diego（加州大学圣迭戈分校）；Google Research（谷歌研究院）；Harvard University（哈佛大学）

预训练的seq2seq模型在具有丰富注释数据的图语义解析方面表现出色，但对分布外（OOD）和长尾示例的推广较差。相比之下，符号解析器在人口级指标上表现不佳，但在OOD和尾部泛化方面表现出独特的优势。在这项工作中，我们研究了由模型置信度提供信息的组合感知神经符号推理方法，在子图级别（即，节点和边），并在神经解析器中精确地瞄准具有高不确定性的子图分量。因此，该方法结合了神经和符号方法在捕获图预测的不同方面的独特优势，从而在跨域和尾部都具有全面的泛化性能。我们实证研究的方法在英语资源语法（ERG）的分析问题上的一套不同的标准领域和七个面向对象的语料库。我们的方法分别使神经和符号方法的合计Smatch得分的错误减少了35.26%和35.60%，并且在神经模型的关键尾部语言类别中获得了14%的绝对准确度，优于先前不考虑组合性或不确定性的最先进方法。

2023-01-26cs.CL

一种用于自然语言推理的可分解注意模型

A Decomposable Attention Model for Natural Language Inference

Google（谷歌）

我们提出了一个简单的自然语言推理的神经架构。我们的方法使用注意力将问题分解为可以单独解决的子问题，从而使其具有平凡的并行性。在斯坦福自然语言推理（SNLI）数据集上，我们获得了最先进的结果，参数比以前的工作少了几乎一个数量级，并且不依赖于任何词序信息。增加句内注意力，考虑到最小数量的秩序产生进一步的改善。

2016-09-25cs.CL

更多相关论文收起更多论文

多前提下的自然语言推理

Natural Language Inference from Multiple Premises

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

我们定义了一个新颖的文本蕴涵任务，需要对多个前提句子进行推理。我们提出了一个新的数据集为这项任务，最大限度地减少琐碎的词汇推理，强调日常事件的知识，并提出了一个更具挑战性的设置文本蕴涵。我们评估了几个强大的神经基线，并分析了多前提任务与标准文本蕴涵的不同之处。

2017-10-09cs.CL

对话式自然语言推理

Dialogue Natural Language Inference

New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）；CIFAR Azrieli Global Scholar（CIFAR Azrieli全球学者）

一致性是对话模式面临的一个长期问题。在本文中，我们框架的一致性对话代理的自然语言推理（NLI），并创建一个新的自然语言推理数据集称为对话NLI。我们提出了一种方法，该方法证明了在对话NLI上训练的模型可以用于提高对话模型的一致性，并在一套旨在测量对话模型一致性的评估集上使用人工评估和自动度量来评估该方法。

2019-01-18cs.AIcs.CL

不确定知识关系抽取的多视图推理

Multi-view Inference for Relation Extraction with Uncertain Knowledge

Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）

知识图谱（KG）被广泛用于促进关系抽取（RE）任务。虽然大多数以前的RE方法侧重于利用确定性KG，不确定KG，它为每个关系实例分配一个置信度得分，可以提供先验概率分布的关系事实作为有价值的外部知识的RE模型。本文提出利用不确定性知识来改进关系抽取。具体来说，我们引入ProBase，一个不确定的KG，表明在何种程度上的目标实体属于一个概念，到我们的RE架构。然后，我们设计了一个新的多视图推理框架，系统地集成本地上下文和全球知识在三个视图：提，实体和概念视图。实验结果表明，该模型在句子级和文档级关系抽取上均取得了较好的性能，验证了引入不确定性知识的有效性和所设计的多视图推理框架的有效性.

2021-04-28cs.CL

大型语言模型中推理时间不确定性的人类对齐与校准

Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

本文评估了多种推理时间不确定性度量，发现它们与人类群体不确定性高度对齐，尽管与人类答案偏好不一致，但在正确性相关性和分布分析上表现出中等到强校准证据。

2026-05-28cs.AIcs.CL

在基于推理的自然语言语义方法中使用答案集编程

Using Answer Set Programming in an Inference-Based approach to Natural Language Semantics

在基于推理的自然语言语义方法中使用答案集编程

2006-07-18cs.AIcs.CL

RT-LM：面向语言模型实时推理的不确定性感知资源管理

RT-LM: Uncertainty-Aware Resource Management for Real-Time Inference of Language Models

University of California, Riverside（加州大学河滨分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）

针对语言模型推理延迟不确定问题，提出RT-LM资源管理系统，通过量化输入不确定性与输出长度关系，实现动态优先级排序与CPU卸载，显著降低响应时间并提升吞吐量。

2023-09-12cs.CLcs.LGcs.SY