A Dataset for Statutory Reasoning in Tax Law Entailment and Question Answering
Johns Hopkins University（约翰斯·霍普金斯大学）；U. of Maryland Carey School of Law（马里兰大学凯里法学院）
立法可以被看作是用自然语言表达的规范性规则。将立法应用于案件事实，我们称之为法定推理，其中这些事实也用自然语言表达。计算法定推理与大多数现有的机器阅读工作不同，因为判决案件所需的大部分信息只声明一次（法律），而机器阅读所需的大部分信息往往是通过分布式语言统计学来学习的。为了研究自然语言理解方法在法律推理中的性能，我们引入了一个数据集，以及一个法律领域的文本语料库。机器阅读模型的直接应用在我们的问题上表现出较低的开箱即用性能，无论它们是否已被微调到法律领域。我们将其与手工构建的基于Prolog的系统进行对比，该系统旨在完全解决任务。这些实验支持的法定推理前进所面临的挑战的讨论，我们认为这是一个有趣的现实世界的任务，可以激励模型的发展，能够利用规定的规则指定的自然语言。
2020-08-12 cs.CL
Using contradictions improves question answering systems
Dalhousie University（达尔豪斯大学）
本文研究在问答系统中引入矛盾判断，发现结合矛盾、蕴含与模型置信度可提升多项选择和抽取式问答性能，对安全敏感领域部署具有意义。
2023-05-29 cs.CL
Active entailment encoding for explanation tree construction using parsimonious generation of hard negatives
The University of Manchester（曼彻斯特大学）；CRUK Manchester Institute（英国癌症研究中心曼彻斯特研究所）；Idiap Research Institute（Idiap研究所）
在开放域文本问答的背景下，蕴涵树被提出来模拟解释生成的人类推理过程。然而，在实践中，手动构建这些解释树证明是一个费力的过程，需要积极的人类参与。考虑到捕获从问题到答案或从主张到前提的推理线的复杂性，问题出现在如何帮助用户有效地构建多层次蕴涵树给定一个大的可用事实集。在本文中，我们将蕴涵树的构建框架化为一系列主动前提选择步骤，即，对于解释树中的每个中间结点，专家需要从大的候选列表中注释前提事实的肯定和否定示例。然后，我们迭代地微调预训练的Transformer模型，得到积极的和严格控制的消极样本，旨在平衡语义关系和解释蕴涵关系的编码。实验评估证实了可衡量的效率增益的主动微调方法，以促进蕴涵树的建设：高达20%的改善，在解释性的前提选择相比，对几个替代品。
2022-08-02 cs.AI cs.CL
Explaining Answers with Entailment Trees
Allen Institute for AI（艾伦人工智能研究所）；University of Arizona（亚利桑那大学）
在开放域文本问答（QA）的背景下，我们的目标是通过展示从已知到答案的推理路线来解释答案，而不是简单地展示文本证据的片段（“理性”）。如果能够做到这一点，理解和调试系统推理的新机会就成为可能。我们的方法是以蕴涵树的形式生成解释，即从已知的事实，通过中间结论，到感兴趣的假设（即问题+答案）的多前提蕴涵步骤树。为了训练具有这种技能的模型，我们创建了ENTAILMENTBANK，这是第一个包含多步蕴涵树的数据集。给定一个假设（问题+答案），我们定义了三个越来越困难的解释任务：生成一个有效的蕴涵树给定（a）所有相关的句子（b）所有相关和一些不相关的句子，或（c）语料库。我们表明，一个强大的语言模型可以部分解决这些任务，特别是当相关的句子包括在输入（例如，35%的树（a）是完美的），并具有推广到其他领域的迹象。这项工作意义重大，因为它提供了一种新型的数据集（多步蕴涵）和基线，为社区提供了一种新的途径来生成更丰富，更系统的解释。
2022-05-28 cs.AI cs.CL
WiCE: Real-World Entailment for Claims in Wikipedia
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出了WiCE，一个基于Wikipedia自然主张和证据对的细粒度文本蕴含数据集，包含子句级蕴含判断和最小证据子集，并利用GPT-3.5自动分解策略提升模型性能，揭示了真实主张的验证与检索挑战。
2023-10-22 cs.CL
METGEN: A Module-Based Entailment Tree Generation Framework for Answer Explanation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tencent AI Lab（腾讯人工智能实验室）
了解从知识到预测答案的推理链有助于构建可解释的问答系统。QA解释的新进展提出用由多个蕴涵步骤组成的蕴涵树来解释问题的答案。虽然目前的工作提出用端到端生成模型生成蕴涵树，但生成的树中的步骤不受约束，可能不可靠。在本文中，我们提出了METGEN，基于模块的蕴涵树生成框架，具有多个模块和推理控制器。给定一个问题和多个支持知识，METGEN通过单独的模块进行单步蕴涵，利用控制器选择推理流程，迭代生成蕴涵树。由于每个模块都被引导执行特定类型的蕴涵推理，因此METGEN生成的步骤更加可靠和有效。在标准基准上的实验结果表明，METGEN可以优于以前的国家的最先进的模型，只有9%的参数。
2022-05-05 cs.CL
A Survey of Paraphrasing and Textual Entailment Methods
Athens University of Economics and Business（雅典经济与商业大学）
释义方法识别、生成或提取表达几乎相同信息的短语、句子或较长的自然语言表达。另一方面，文本蕴涵方法识别、生成或提取成对的自然语言表达，使得读取（并信任）成对的第一元素的人将最有可能推断出另一元素也是真的。释义可以被看作是双向的文本蕴涵和方法，从这两个领域往往是相似的。这两种方法至少在原则上都适用于广泛的自然语言处理应用，包括问答、摘要、文本生成和机器翻译。我们总结了这两个领域的关键思想，依次考虑识别，生成和提取方法，也指向突出的文章和资源。
2010-05-30 cs.AI cs.CL
Joint Learning of Sentence Embeddings for Relevance and Entailment
FEE CTU Prague（捷克理工大学布拉格分校电子工程学院）
我们认为，在信息检索的背景下，我们必须同时确定的相关性，以及程度的蕴涵为个别证据，以确定一个是/否的答案，一个二进制自然语言的问题，识别文本蕴涵的问题。我们比较了几种不同的神经网络的句子嵌入在决策的基础上不同的相关性的证据设置。我们提出了一个基本的模型来整合证据的蕴涵，表明联合训练的句子嵌入模型的相关性和蕴涵是可行的，即使没有明确的证据监督，并显示评估强基线的重要性。我们还展示了在我们的小数据集上进行不相关任务训练的文本理解模型的好处。我们的研究主要是由我们引入的一个新的开放数据集驱动的，该数据集由二进制问题和基于新闻的证据片段组成。我们还将所提出的相关蕴涵模型应用于对多项选择题测试答案进行排名的类似任务，在学校测试问题的初步数据集以及标准MCTest数据集上对其进行评估，在那里我们改进了神经模型。
2016-06-22 cs.CL cs.LG cs.NE
Defeasible Visual Entailment: Benchmark, Evaluator, and Reward-Driven Optimization
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对视觉蕴含未探索的可废止性问题，提出DVE任务、推理感知评估器及奖励驱动优化方法，以捕捉更新对图像-文本蕴含关系的修改，提升多应用中模型的准确性与可靠性。
2025-02-08 cs.AI cs.CV cs.LG
The University of Texas at Dallas HLTRI's Participation in EPIC-QA: Searching for Entailed Questions Revealing Novel Answer Nuggets
University of Texas at Dallas（德克萨斯大学达拉斯分校）
文本分析会议（TAC）的流行病学问答（EPIC-QA）轨道是对回答有关COVID-19疾病的特别问题的方法的评估。本文介绍了我们参与EPIC-QA的两项任务，目标是：（1）专家QA和（2）消费者QA。我们的方法使用了一个多阶段的神经信息检索（IR）系统的基础上结合BM 25，BERT，和T5，以及考虑之间的蕴涵关系的原始问题和问题自动生成的答案候选句子。此外，由于在所有生成的问题之间也考虑了蕴涵关系，因此我们能够根据它们包含的新颖答案金块的数量对答案句子进行重新排名，如问题蕴涵图的处理所示。我们的系统，被称为SEaRching为隐含的QUESTIONS揭示新的金块的答案（SER 4 EQUNOVA），产生了有希望的结果，在两个EPIC-QA任务，在专家QA任务中表现出色。
2021-12-28 cs.CL cs.IR
Integrating Hierarchical Semantic into Iterative Generation Model for Entailment Tree Explanation
School of Information Science and Engineering, Yanshan University（燕山大学信息科学与工程学院）
本文提出 HiSCG 架构，通过整合层级语义优化蕴含树生成，在 EntailmentBank 及域外数据集上验证了有效性。
2024-09-26 cs.AI cs.CL
Pentagon at MEDIQA 2019: Multi-task Learning for Filtering and Re-ranking Answers using Language Inference and Question Entailment
Carnegie Mellon University（卡内基梅隆大学）
像微调的BERT和MT-DNN这样的并行深度学习架构已经迅速成为最先进的技术，大大绕过了以前的深度和浅层学习方法。最近，来自大型相关数据集的预训练模型已经能够在许多下游任务上表现良好，只需对特定领域的数据集进行微调。然而，由于并行架构的输入大小限制和极小的数据集（不足以进行微调），在非平凡任务（如排名和大型文档分类）上使用强大的模型仍然是一个挑战。在这项工作中，我们引入了一个端到端的系统，在多任务设置中进行训练，以过滤和重新排列医疗领域的答案。我们使用特定于任务的预训练模型作为深度特征提取器。在ACL-BioNLP研讨会MediQA问答共享任务上，我们的模型达到了最高的Spearman的Rho和平均倒数秩分别为0.338和0.9622。
2019-07-01 cs.CL cs.IR cs.LG
Improve Dense Passage Retrieval with Entailment Tuning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Thrust of Artificial Intelligence（人工智能分支（或：人工智能 thrust，按原文直译））
本文提出蕴含调优方法，以存在性断言为桥梁统一检索与自然语言推理数据，通过掩码预测变体任务训练稠密检索器预测段落蕴含的断言，从而改进嵌入表示并提升检索性能。
2024-10-21 cs.CL cs.IR
XTE: Explainable Text Entailment
University of Passau（帕绍大学）；University of Manchester（曼彻斯特大学）；University of St. Gallen（圣加仑大学）
文本蕴涵（Text entailment）是确定一段文本是否在逻辑上遵循另一段文本的任务，是NLP中的关键组件，为许多语义应用提供输入，例如问答，文本摘要，信息抽取和机器翻译等。蕴涵场景的范围可以从简单的语法变化到文本片段之间更复杂的语义关系，但大多数方法都尝试一种通用的解决方案，通常有利于某些场景而不利于另一个场景。此外，对于需要世界知识的蕴涵，大多数系统仍然作为“黑盒子”工作，提供一个是/否的答案，但不能解释潜在的推理过程。在这项工作中，我们介绍了XTE -可解释的文本蕴涵-一种新的复合方法识别文本蕴涵分析的蕴涵对，以决定它是否必须解决语法或语义。此外，如果涉及语义匹配，我们使答案可解释，使用外部知识库组成的结构化词汇定义，以产生自然语言的理由，解释的语义关系之间的文本片段。除了优于成熟的蕴涵算法外，我们的复合方法还向可解释的人工智能迈出了重要的一步，允许推理模型解释，使语义推理过程明确和可理解。
2020-09-25 cs.CL
Bridging The Gap: Entailment Fused-T5 for Open-retrieval Conversational Machine Reading Comprehension
Beijing Institute of Technology（北京理工大学）；Southeast Academy of Information Technology（东南信息技术研究院）
开放检索会话式机器阅读理解（OCMRC）模拟了现实生活中的会话交互场景。机器需要根据检索到的规则文本、用户场景、用户问题和对话历史，做出“是/否/查询”的决定，或在决定为“查询”时生成后续问题。最近的研究探索了如何减少决策和问题生成之间的信息差距，从而提高生成性能的方法。然而，信息鸿沟仍然存在，因为这些管道结构仍然是有限的决策，跨度提取和问题改写三个阶段。决策和生成是分开进行推理的，决策中使用的蕴涵推理很难在所有阶段共享。为了解决上述问题，我们提出了一个新的一阶段的端到端的框架，称为蕴涵融合T5（EFT），在全球理解的方式弥合决策和生成之间的信息差距。广泛的实验结果表明，我们提出的框架实现了新的国家的最先进的性能的OR-ShARC基准。
2022-12-19 cs.CL
Answering Science Exam Questions Using Query Rewriting with Background Knowledge
IBM Research（IBM研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tulane University（杜兰大学）
开放域问答（QA）是人工智能和自然语言处理中的一个重要问题，它是人工智能方法和技术推广进展的领头羊。开放领域问答系统的许多进展是通过信息检索方法和语料库建设的进步实现的。在本文中，我们专注于最近推出的ARC挑战数据集，其中包含2，590个为小学科学考试编写的多项选择题。这些问题被选为当前QA系统最具挑战性的问题，并且当前最先进的性能仅略优于随机机会。我们提出了一个系统，重写一个给定的问题到查询，用于检索支持文本从一个大的语料库的科学相关的文本。我们的重写器能够结合来自ConceptNet的背景知识，并且-与在SciTail上训练的通用文本蕴涵系统一起识别检索结果中的支持-在端到端QA任务上优于几个强大的基线，尽管只接受了识别原始源问题中的基本术语的训练。我们使用一个可推广的决策方法，检索到的证据和答案候选人，以选择最佳答案。通过结合查询重写，背景知识和文本蕴涵，我们的系统能够超越ARC数据集上的几个强基线。
2019-04-06 cs.AI cs.CL
Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex Healthcare Question Answering
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）
医疗保健问答辅助服务是为客户提供医疗保健信息的服务，广泛存在于Web和移动互联网中。这些问题通常需要有熟练的医疗保健背景知识以及对知识的推理能力的帮助。最近提出了一个涉及复杂医疗推理的挑战，HeadQA数据集，它包含了公共医疗专业化考试授权的多项选择题。与大多数其他QA任务不同，HeadQA任务专注于语言理解，需要更深入的推理，不仅涉及知识提取，还涉及医疗知识的复杂推理。这些问题对于当前的QA系统来说是最具挑战性的，并且最先进的方法的当前性能略好于随机猜测。为了解决这个具有挑战性的任务，我们提出了一个多步推理与知识提取框架（MurKe）。该框架首先从大型语料库中提取医疗保健知识作为支持文档。为了找到推理链并选择正确的答案，MurKe在选择支持文档，使用支持文档重新制定查询表示以及使用蕴涵模型为每个选择获得蕴涵得分之间进行迭代。重新表述模块利用选定的文件寻找缺失的证据，从而保持可解释性。此外，我们正在努力充分利用现成的预训练模型。由于可训练权重较小，预训练模型可以轻松适应训练样本有限的医疗保健任务。从实验结果和消融研究来看，我们的系统能够在HeadQA数据集上超越几个强基线。
2020-08-06 cs.AI cs.IR
Functorial Question Answering
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Cambridge Quantum Computing Ltd.（剑桥量子计算有限公司）
分布组合（DisCo）模型是从句子的单词的含义计算句子的含义的函子。我们证明了集合和关系范畴中的DisCo模型精确地对应于关系数据库。因此，我们得到复杂性理论的减少，从语义和蕴涵的一个片段的自然语言的评价和包含的合取查询，分别。最后，我们将问答定义为NP完全问题。
2020-09-15 cs.CL cs.DB cs.LO
Legal Question Answering using Ranking SVM and Deep Convolutional Neural Network
Japan Advanced Institute of Science and Technology (JAIST)（日本北陆先端科学技术大学院大学）；Hung Yen University of Education and Technology (UTEHY)（兴安教育与技术大学）
本文提出了一种将排序支持向量机和卷积神经网络用于法律信息抽取/蕴涵竞赛中的两个任务：法律信息检索和问答的研究。对于第一个任务，我们提出的模型使用了三重功能（LSI，曼哈顿，Jaccard），并基于段落级别，而不是在以前的研究中的文章级别。事实上，每个单段文章对应于一个巨大的多段文章中的一个特定段落。对于法律问答任务，额外的统计特征，从信息检索任务集成到卷积神经网络有助于更高的准确性。
2017-03-16 cs.AI cs.CL
QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization
Salesforce AI Research（Salesforce人工智能研究院）
事实一致性是文本摘要模型在实际应用中的一个重要特性。现有的工作在评估这方面可以大致分为两条线的研究，蕴涵为基础的和问答（QA）为基础的指标，不同的实验设置往往会导致对比的结论，哪种范式表现最好。在这项工作中，我们进行了广泛的比较蕴涵和QA为基础的指标，表明仔细选择的组件的QA为基础的指标，特别是问题的生成和可回答性分类，是至关重要的性能。基于这些见解，我们提出了一个优化的指标，我们称之为QAFactEval，它比SummaC事实一致性基准上以前基于QA的指标平均提高了14%，并且优于性能最好的基于蕴涵的指标。此外，我们发现，基于QA和基于蕴涵的指标可以提供互补的信号，并结合成一个单一的指标，以进一步提高性能。
2022-04-29 cs.CL
ArNLI: Arabic Natural Language Inference for Entailment and Contradiction Detection
Arab International University（阿拉伯国际大学）
针对阿拉伯语低资源矛盾检测难题，构建了含超12k句的ArNLI数据集，提出结合矛盾向量与语言模型向量的机器学习方法，利用Random Forest在ArNLI上达到75%准确率。
2022-09-28 cs.AI cs.CL cs.LG
Understanding Figurative Meaning through Explainable Visual Entailment
Columbia University（哥伦比亚大学）
本文提出可解释视觉蕴含任务并构建专家验证数据集 V-FLUTE，用于评估 VLM 对图像和文本中隐喻、幽默等比喻意义的理解与解释能力。
2025-02-17 cs.AI cs.CL cs.CV
Generating Natural Language Inference Chains
University College London（伦敦大学学院）
使用自然语言进行推理的能力是许多NLP任务的基本先决条件，例如信息抽取、机器翻译和问答。为了量化这种能力，通常测试系统是否可以识别文本蕴涵，即，一个句子是否可以从另一个句子推断出来。然而，在大多数NLP应用程序中，只有单个源句子，而不是句子对。因此，我们提出了一个新的任务，衡量一个模型可以从源句子生成一个蕴涵句子。我们采用斯坦福自然语言推理语料库的蕴涵对，并训练LSTM。在手动注释的测试集中，我们发现82%生成的句子是正确的，比LSTM基线提高了10.3%。定性分析表明，该模型不仅能够缩短输入句子，而且能够通过释义和短语蕴涵来推断新的语句。然后，我们递归地将该模型应用于输入输出对，从而生成自然语言推理链，该推理链可用于从源句子自动构建蕴涵图。最后，通过交换源句子和目标句子，我们还可以训练一个模型，该模型在给定输入句子的情况下发明附加信息来生成新句子。
2016-06-04 cs.AI cs.CL cs.NE
Declarative Question Answering over Knowledge Bases containing Natural Language Text with Answer Set Programming
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Arizona State University（亚利桑那州立大学）
虽然近年来基于机器学习（ML）的方法已经成为开发端到端问答系统的流行方法，但是当需要额外的知识来正确回答问题时，这样的系统经常会遇到困难。所提出的替代方案涉及将问题和自然语言文本翻译成逻辑表示，然后使用逻辑推理。然而，当文本的大小变得更大时，这种替代方法就不起作用了。为了解决这个问题，我们提出了一种方法，在自然语言文本中编写的前提进行逻辑推理。所提出的方法使用答案集编程（ASP）的最新功能来调用执行简单文本蕴涵的外部NLP模块（可能基于ML）。为了测试我们的方法，我们开发了一个语料库的生存周期问题的基础上，并表明，我们的系统实现了$18\%$性能增益相比，标准MCQ求解器。
2019-05-01 cs.AI cs.CL
RealCQA-V2: A Diagnostic Benchmark for Structured Visual Entailment over Scientific Charts
University at Buffalo, Buffalo, NY, USA（布法罗大学）
RealCQA-V2通过将图表问答转化为视觉前提证明任务，提供结构化视觉蕴含验证，揭示多模态推理中的局部-全局推理差距。
2026-03-24 cs.AI
ConEntail: An Entailment-based Framework for Universal Zero and Few Shot Classification with Supervised Contrastive Pretraining
Penn State University（宾夕法尼亚州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通用分类模型旨在推广到零和Few Shot设置中的不同分类任务。一种有希望的通用分类方法是将异构数据格式转换为与数据集无关的"元任务"（例如，文本蕴涵、问答），然后在组合的元数据集上预训练模型。现有的工作要么是对特定的分类任务子集进行预训练，要么是对分类和生成数据进行预训练，但模型在通用性和可靠性方面无法发挥其潜力。这也留下了大量未被利用的注释数据。为了填补这些空白，我们提出了ConEntail，一个新的框架，用于通用零和Few Shot分类，并进行监督对比预训练。我们的统一分类元任务是基于嵌套蕴涵。它可以被解释为"句子a是否包含[句子b包含标签c]"。这个公式使我们能够更好地利用57个带注释的分类数据集进行监督对比预训练和通用评估。通过这种方式，ConEntail帮助模型（1）从不同的数据集中吸收知识，（2）通过更多的预训练数据获得一致的性能增益。在实验中，我们将我们的模型与在相同数据集上预训练的判别模型和生成模型进行了比较。结果证实，我们的框架有效地利用了现有的注释数据，并在零（平均改善9.4%）和Few Shot设置（平均改善3.5%）中始终优于基线。
2023-02-11 cs.CL
What Question Answering can Learn from Trivia Nerds
University of Maryland（马里兰大学）；Google Research（谷歌研究院）
除了让机器回答问题的传统任务外，问答中的一个主要研究问题是创建有趣的、具有挑战性的问题，这些问题可以帮助系统学习如何回答问题，并揭示哪些系统最擅长回答问题。我们认为，创建一个问答数据集-以及与之配套的无处不在的排行榜-非常类似于运行一个琐事锦标赛：您编写问题，让代理（人类或机器）回答问题，并宣布获胜者。然而，研究界忽视了数十年来从琐事社区创造充满活力，公平和有效的问答比赛中吸取的教训。在详细介绍了现有QA数据集的问题后，我们概述了关键的经验教训-消除歧义，区分技能和裁决争议-可以转移到QA研究以及如何为QA社区实施。
2020-04-21 cs.AI cs.CL cs.LG
Unsupervised Question Answering for Fact-Checking
IIIT Delhi（德里印德拉普拉斯塔信息技术学院）
最近的深度学习（DL）模型已经成功地在各种自然语言任务（如问答、自然语言推理（NLI）和文本蕴涵）上实现了人类水平的准确性。这些任务不仅需要上下文知识，而且还需要推理能力来有效地解决。在本文中，我们提出了一个无监督的问答为基础的方法类似的任务，事实核查。我们通过屏蔽声明中提供的命名实体将FEVER数据集转换为Cloze任务。为了预测答案令牌，我们利用来自Transformers（BERT）的预训练的双向编码器表示。分类器基于正确回答的问题和阈值计算标签。目前，分类器能够将权利要求分类为“索赔”和“索赔_审查”。这种方法在开发集上实现了80.2%的标签准确率，在转换数据集的测试集上实现了80.25%的标签准确率。
2019-10-16 cs.CL
Biomedical Question Answering via Weighted Neural Network Passage Retrieval
ETH Zurich（苏黎世联邦理工学院）
近年来，可公开获得的生物医学文献的数量一直在快速增长，然而问答系统仍在努力开发这种数据源的全部潜力。在初步处理步骤中，许多问答系统依赖于检索模型来识别相关文档和段落。提出了一种基于神经网络词嵌入的加权余弦距离检索方案。我们的实验基于BioASQ生物医学问答挑战赛的公开数据和任务，并在各种最先进的模型中表现出显着的性能提升。
2018-01-09 cs.AI cs.CL cs.IR
Question Answering through Transfer Learning from Large Fine-grained Supervision Data
Seoul National University（首尔大学）；University of Washington（华盛顿大学）
我们发现，问答（QA）的任务可以显着受益于迁移学习的模型在不同的大，细粒度的QA数据集上训练。我们通过SQuAD的基本迁移学习技术，在两个经过充分研究的QA数据集WikiQA和SemEval-2016（任务3A）中实现了最先进的技术。对于WikiQA，我们的模型比以前的最佳模型高出8%以上。我们表明，更精细的监督提供了更好的指导学习词汇和句法信息比粗监督，通过定量结果和可视化分析。我们还表明，一个类似的迁移学习程序实现了最先进的蕴涵任务。
2018-06-21 cs.CL
QED: A Framework and Dataset for Explanations in Question Answering
Department of Linguistics, Stanford University（斯坦福大学语言学系）；Google Research（谷歌研究院）；Department of Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）
除了提供答案之外还提供对导致该答案的推理的解释的问答系统在可调试性、可扩展性和信任方面具有潜在的优点。为此，我们提出了QED，一个语言上知情的，可扩展的框架解释问答。QED解释根据形式语义概念（如指称平等、可证性和蕴涵）指定问题和答案之间的关系。我们描述并公开发布了一个基于Google Natural Questions数据集子集的QED解释的专家注释数据集，并报告了两个任务的基线模型-给出答案的事后解释生成，以及联合问答和解释生成。在联合设置中，一个有希望的结果表明，在相对少量的QED数据上训练可以提高问答。除了描述QED方法的正式的语言理论动机外，我们还描述了一项大型用户研究，该研究表明，QED解释的存在显着提高了未经训练的评分员发现强大的神经QA基线所犯错误的能力。
2020-09-08 cs.AI cs.CL
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Ruhr University Bochum（波鸿鲁尔大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上，这些架构使用预训练的词嵌入。最近的研究表明，微调预训练的Transformer网络（例如BERT）可以在各种自然语言处理任务上优于以前的方法。在这项工作中，我们调查如何以及BERT执行SimpleQuestions，并提供了一个评估的BERT和BiLSTM为基础的模型，在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
How Additional Knowledge can Improve Natural Language Commonsense Question Answering?
Arizona State University（亚利桑那州立大学）
最近几个数据集已被提出，以鼓励在问答领域的研究，其中常识知识预计将发挥重要作用。最近的语言模型，如ROBERTA，BERT和GPT，已经在维基百科的文章和书籍上进行了预训练，在几个这样的多选择分类（MCQ）数据集上表现出合理的性能。我们在这项工作中的目标是开发方法，将额外的（常识）知识到语言模型为基础的方法，更好地回答问题，在这些领域。在这项工作中，我们首先对外部知识来源进行分类，并显示使用这些来源确实会提高性能。然后，我们探讨了三种不同的策略，知识整合和四种不同的模式，回答问题，使用外部常识知识。我们分析我们的预测，以探索进一步改进的范围。
2020-04-17 cs.CL cs.IR cs.LG
Compositional Attention Networks for Interpretability in Natural Language Question Answering
Saama AI Research（萨马人工智能研究院）
MAC网是一个为视觉问答设计的合成注意网络。我们提出了一种改进的MAC网络结构的自然语言问答。问答通常需要语言理解和多步推理。MAC网独特的体系结构-存储和控制分离，有利于数据驱动的迭代推理。这使得它成为解决涉及逻辑推理的任务的理想候选人。我们的实验与20 bAbI任务证明了MAC网的价值作为一个数据高效和可解释的架构自然语言问答。MAC网络的透明性提供了一个高度粒度的视图，网络在回答查询时所采取的推理步骤。
2018-10-30 cs.AI cs.CL cs.LG
Video Question Answering on Screencast Tutorials
Adobe Research（Adobe 研究院）；Amazon Alexa AI（亚马逊 Alexa AI）
本文提出了一种新的视频问答任务的屏幕直播教程。我们介绍了一个数据集，包括问题，答案和上下文三元组从教程视频的软件。与其他视频问答作品不同，我们数据集中的所有答案都基于领域知识库。设计了一种单次识别算法提取视频问答中的视觉线索，提高了问答系统的性能。我们还提出了几个基线神经网络架构的基础上，从数据集的视频上下文的各个方面。实验结果表明，我们提出的模型显着提高问答性能，通过将多模态上下文和领域知识。
2020-08-02 cs.AI cs.CL cs.CV
The combination of context information to enhance simple question answering
Wuhan University of Technology（武汉理工大学）
随着知识库的迅速发展，基于知识库的问答系统已经成为研究的热点。本文主要研究基于知识库的单关系类事实问题的求解。我们建立了一个问答系统，研究了上下文信息对事实选择的影响，如实体的显著性类型、出度等。实验结果表明，上下文信息可以改善简单问答的结果。
2018-10-09 cs.AI cs.CL
Reasoning over Logically Interacted Conditions for Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
有些问题有多个答案，但这些答案并不相同，即在不同的条件下答案是不同的。条件用于区分答案以及提供额外的信息来支持它们。在本文中，我们研究了一个更具挑战性的任务，其中答案受到一系列逻辑交互条件的约束，这需要对条件进行逻辑推理以确定答案的正确性。更具有挑战性的是，我们只为一个子集的条件提供证据，所以有些问题可能没有确定性的答案。在这种情况下，模型被要求找到可能的答案，并确定需要满足的条件，以使答案正确。我们针对这个具有挑战性的推理任务提出了一个新模型TReasoner。TRasoner由一个蕴涵模块、一个推理模块和一个生成模块（如果答案是自由格式的文本跨度）组成。TReasoner在两个基准条件QA数据集上实现了最先进的性能，比之前的最先进性能高出3-10个点。
2022-05-25 cs.AI cs.CL
GeoSQA: A Benchmark for Scenario-based Question Answering in the Geography Domain at High School Level
Nanjing University（南京大学）
基于场景的问答（SQA）越来越受到研究者的关注。它通常需要从多个来源检索和集成知识，并将一般知识应用于场景描述的特定案例。SQA广泛存在于医学、地理和法律领域-无论是在实践中还是在考试中。在本文中，我们介绍了GeoSQA数据集。它包括高中地理领域的1,981个场景和4,110个多项选择题，其中图表（例如，地图、图表）已经用自然语言描述手动注释，以有利于NLP研究。各种最先进的方法的基准测试结果问答，文本蕴涵和阅读理解展示了独特的挑战，提出了SQA为未来的研究。
2019-08-20 cs.CL
ET5: A Novel End-to-end Framework for Conversational Machine Reading Comprehension
Beijing Institute of Technology（北京理工大学）；Southeast Academy of Information Technology, Beijing Institute of Technology（北京理工大学东南信息技术研究院）
会话式机器阅读理解（CMRC）旨在帮助计算机理解自然语言文本，然后参与多轮会话以回答与文本相关的问题。现有的方法通常需要三个步骤：（1）基于蕴涵推理的决策;（2）如果上述决策需要，则提取跨度;（3）基于提取的跨度重新措辞问题。然而，在这些方法中，由于跨度提取和问题重组步骤相对独立，不能充分利用决策步骤中的细粒度蕴涵推理信息，这将进一步扩大决策和问题重组之间的信息鸿沟。因此，为了解决这个问题，我们提出了一个新的端到端的框架会话机器阅读理解的基础上共享参数机制，称为蕴涵推理T5（ET 5）。尽管我们提出的框架是轻量级的，但实验结果表明，所提出的ET 5在ShARC排行榜上取得了新的最先进的结果，BLEU-4得分为55.2。我们的模型和代码可在https://github.com/Yottaxx/ET5上公开获取。
2022-09-23 cs.CL
Interactive Question Answering Systems: Literature Review
Polytechnic University of Bari（巴里理工大学）
本综述系统梳理交互式问答系统，提出统一框架与分类法，分析其方法、评估及数据集，并展望未来趋势，附GitHub资源汇总。
2024-04-19 cs.AI cs.CL cs.HC
Learning to Order Sub-questions for Complex Question Answering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Science and Technology of China（中国科学技术大学）；Bytedance Inc（字节跳动公司）
解决涉及多个实体和关系的复杂问题是一项具有挑战性的任务。从逻辑上讲，复杂问题的答案应该通过将复杂问题分解为多个简单的子问题，然后回答这些子问题来得出。现有的工作遵循这一策略，但没有试图优化如何回答这些子问题的顺序。结果，子问题以任意顺序回答，导致更大的搜索空间和更高的错过答案的风险。在本文中，我们提出了一种新的强化学习（RL）方法来回答复杂的问题，可以学习一个策略，动态地决定哪些子问题应该在推理的每个阶段回答。我们对期望值方差准则进行了改进，使学习策略能够在回答子问题的风险和效用之间进行平衡。实验结果表明，强化学习方法可以大大提高子问题排序的最优性，从而提高问答的准确率。所提出的学习排序子问题的方法是通用的，因此可以潜在地结合许多现有的想法来回答复杂的问题，以提高其性能。
2019-11-12 cs.AI cs.CL
Entailer: Answering Questions with Faithful and Truthful Chains of Reasoning
Allen Institute for AI（艾伦人工智能研究所）
我们的目标是一个问答（QA）系统，它可以通过系统的推理链来展示它的答案是如何被它自己的内部信念所暗示的。这样的能力将使我们更好地理解为什么一个模型会产生它所产生的答案。我们的方法是递归地将一个经过训练的后向链模型与一个验证器相结合，该模型能够生成一组包含答案假设的前提，该验证器通过自我查询来检查模型本身是否相信这些前提（以及蕴涵本身）。据我们所知，这是第一个生成多步链的系统，这些链既忠实（答案来自推理）又真实（链反映了系统自己的内部信念）。在使用两个不同的数据集进行评估时，用户判断大多数（70%以上）生成的链清楚地显示了答案是如何从一组事实中得出的-比高性能基线好得多-同时保持了答案的准确性。通过将系统地支持答案的模型信念具体化，新的机会出现了，可以理解模型的信念系统，并在答案错误时诊断和纠正其误解。
2022-10-21 cs.AI cs.CL
PeCoQ: A Dataset for Persian Complex Question Answering over Knowledge Graph
Shahid Beheshti University（沙希德·贝赫什提大学）
问答系统可以从非结构化文本或诸如知识图谱的结构化数据中找到用户问题的答案。使用包括深度学习模型的监督学习方法来解决问题需要大量的训练数据集。近年来，一些数据集已经被提出用于知识图谱上的问答任务，这是本文的重点。虽然有许多英文数据集被提出，但也有一些波斯语的问答数据集。本文介绍了一个用于波斯语问答的数据集\textit{PeCoQ}。该数据集包含从波斯语知识图谱FarsBase中提取的10，000个复杂问题和答案。对于每个问题，SPARQL查询和两个由语言学家编写的释义也提供了。数据集中存在不同类型的复杂性，例如多关系、多实体、顺序和时间约束。在本文中，我们讨论了数据集的特点，并描述了我们的方法来建立它。
2021-06-27 cs.AI cs.CL
UNCC Biomedical Semantic Question Answering Systems. BioASQ: Task-7B, Phase-B
UNC Charlotte（北卡罗来纳大学夏洛特分校）
在本文中，我们详细介绍了我们提交的2019年，第7年，BioASQ比赛。我们提出了我们的方法，任务-7b，B阶段，精确定位任务。这些问答（QA）任务包括模拟事实、是/否、列表类型问答。我们的系统是基于上下文的词嵌入模型。我们使用了双向编码器表示从Transformers（BERT）为基础的系统，微调生物医学问答任务，使用生物BERT。在第三批测试中，我们的系统取得了最高的MRR分数的仿真问答任务。此外，对于列表类型的问答任务，我们的系统在第四批测试中获得了最高的召回分数。随着我们的详细方法，我们提出了我们提交的结果，并强调了我们当前方法的缺点以及在未来实验中改进它们的方法。
2020-02-05 cs.CL cs.IR
A Novel Architecture For Question Classification Based Indexing Scheme For Efficient Question Answering
Echelon Institute of Technology（埃切隆理工学院）
问答系统可以被看作是信息检索的下一步，它允许用户用自然语言提出问题并得到简洁的答案。为了使问答系统成功，研究表明，相对于期望的答案类型的问题的正确分类是必要的。我们提出了一种新的架构，在索引中的问题分类和搜索，保持预期的答案类型的基础上，有效的问答。系统使用答案相关性分数的标准来查找系统返回的每个答案的相关性。在分析所提出的系统，它已被发现，该系统已显示出有前途的结果比现有的系统的基础上的问题分类。
2013-07-26 cs.CL cs.IR
Lexical-Morphological Modeling for Legal Text Analysis
Japan Advanced Institute of Science and Technology (JAIST)（日本先端科学技术大学院大学）；Hung Yen University of Education and Technology (UTEHY)（兴安教育技术大学）
在法律信息抽取/蕴涵竞赛（COLIEE）的背景下，我们提出了一种方法，该方法包括必要的步骤，用于查找法律问题的相关文件，并决定文本蕴涵证据以提供正确的答案。该方法基于多个词汇和形态特征的组合，建立语言模型和一组特征，用于机器学习算法。我们提供了一个详细的研究所提出的方法的性能和失败的情况下，表明它是具有竞争力的国家的最先进的方法，法律信息检索和问答，而不需要广泛的训练数据，也不依赖于专家产生的知识。所提出的方法在竞赛中取得了显著的成绩，表明所处理的任务具有相当高的充分性。
2016-09-03 cs.CL cs.IR
Cognitive Systems and Question Answering
Universität Koblenz-Landau（科布伦茨-兰道大学）；Harz University of Applied Sciences（哈尔茨应用科学大学）
本文简要介绍了认知计算领域的特点。作为一个例子，自然语言问答领域的介绍与其具体的挑战。掌握这些挑战的可能性说明了详细介绍的LogAnswer系统，这是一个成功的代表领域的自然语言问答。
2014-11-18 cs.AI cs.CL
Is Sluice Resolution really just Question Answering?
水闸解析是一个系统需要输出相应的wh-椭圆的先行词的问题。先行词是省略在wh-词后面的内容，但使用上下文隐含地被提及。以前的工作框架水闸决议作为问答在此设置优于所有其以前的作品大幅度。省略和疑问句是指称依赖表达（照应），检索相应的先行词就像回答问题一样，输出澄清信息。然而，任务并没有完全解决。因此，我们想进一步调查是什么使水闸决议不同的问答，并填补错误的差距。我们还提出了一些结果，使用最近的国家的最先进的问答系统，提高了以前的工作（86.01至90.39 F1）。
2021-05-29 cs.AI cs.CL
Video Question Answering via Attribute-Augmented Attention Network Learning
Zhejiang University（浙江大学）
视频问答是视觉信息检索中的一个具有挑战性的问题，它根据问题对所引用的视频内容提供答案。然而，现有的视觉问答方法主要解决静态图像问题，这可能是无效的视频问答回答由于建模的视频内容的时间动态的不足。本文采用帧级注意力机制对视频问答进行时间动态建模，研究视频问答问题。我们提出的属性增强注意力网络学习框架，使联合帧级属性检测和统一的视频表示学习的视频问答。然后，我们将多步推理过程中，我们提出的注意力网络，以进一步提高性能。我们构建了一个大规模的视频问答数据集。我们在多项选择题和开放式视频问答任务上进行了实验，以证明所提出的方法的有效性。
2017-07-20 cs.AI cs.CL cs.CV
Think Visually: Question Answering through Virtual Imagery
在本文中，我们研究了问答环境下的几何推理问题。我们介绍了动态空间记忆网络（DSMN），这是一种新的深度网络架构，旨在回答承认潜在视觉表征的问题。DSMN学习生成和推理这些表示。此外，我们提出了两个综合基准，FloorPlanQA和ShapeIntersection，以评估QA系统的几何推理能力。实验结果验证了我们提出的DSMN视觉思维任务的有效性。
2018-05-25 cs.AI cs.CL
Learning to Attend On Essential Terms: An Enhanced Retriever-Reader Model for Open-domain Question Answering
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft（微软）
开放域问答仍然是一项具有挑战性的任务，因为它需要能够理解问题和答案，收集有用信息和推理证据的模型。以前的工作通常制定这个任务作为一个阅读理解或蕴涵问题的证据检索搜索引擎。然而，现有的技术努力检索间接相关的证据时，没有直接相关的证据提供，特别是对于复杂的问题，它是很难准确地解析问题问。在本文中，我们提出了一个检索者-读者模型，学习参加在问答过程中的基本条款。我们构建了（1）一个基本术语选择器，它首先识别问题中最重要的词，然后重新制定查询并搜索相关证据;以及（2）一个增强的阅读器，它区分基本术语和分散注意力的词来预测答案。我们在多个开放域多项选择QA数据集上评估了我们的模型，特别是在AI 2推理挑战（ARC）数据集上表现出最先进的水平。
2019-05-09 cs.CL
Advances in Natural Language Question Answering: A Review
Sri Lanka Institute of Information Technology（斯里兰卡信息技术学院）；College of Science, Health, Engineering and Education（科学、健康、工程与教育学院）
由于学习技术的进步，问答最近受到了人工智能社区的高度关注。早期的问答模型使用基于规则的方法，并转向统计方法来处理大量可用的信息。然而，统计方法在处理语言的动态性质和变化方面表现不佳。因此，学习模型已经显示出处理语言的动态性质和变化的能力。许多深度学习方法已经被引入到问答中。与机器学习和统计方法相比，大多数深度学习方法都能获得更高的结果。语言的动态本质得益于深度学习中的非线性学习。这已经创造了显著的成功和问答工作的高峰。本文讨论了问答问答系统的成功和挑战，以及在这些挑战中使用的技术。
2019-04-10 cs.AI cs.CL
Geographic Question Answering: Challenges, Uniqueness, Classification, and Future Directions
University of California Santa Barbara（加州大学圣巴巴拉分校）
问答（QA）是人工智能的重要组成部分，其目的是对用自然语言表达的问题生成答案。虽然在开放域问答方面已经取得了实质性的进展，但是QA系统仍然在努力回答涉及地理实体或概念并且需要空间操作的问题。本文讨论了地理问答问题。本文首先通过分析地理问题的挑战性来探讨地理问题难答的原因。我们讨论了地理问题的独特性相比，一般的QA。然后，我们回顾现有的工作GeoQA和分类的问题，他们可以解决的类型。在此基础上，我们提供了一个通用的地理问题的分类框架。最后，我们总结了我们的工作，指出独特的未来研究方向GeoQA。
2021-05-19 cs.AI cs.CL
Do not let the history haunt you -- Mitigating Compounding Errors in Conversational Question Answering
University of Liverpool（利物浦大学）；Amazon（亚马逊）
会话问答（CoQA）任务涉及回答关于上下文段落的一系列相互关联的会话问题。虽然现有的方法在测试时使用人类编写的地面实况答案来回答会话问题，但在现实场景中，CoQA模型将无法访问先前问题的地面实况答案，迫使模型依赖于自己先前预测的答案来回答后续问题。在本文中，我们发现，复合错误发生时，使用以前预测的答案在测试时，显着降低CoQA系统的性能。为了解决这个问题，我们提出了一种采样策略，在训练过程中在目标答案和模型预测之间进行动态选择，从而密切模拟测试时的情况。此外，我们分析了这种现象的严重程度作为问题类型，会话长度和域类型的函数。
2020-05-12 cs.CL cs.IR
