Knowledge Fusion and Semantic Knowledge Ranking for Open Domain Question Answering
Arizona State University（亚利桑那州立大学）
开放领域问答需要系统检索外部知识，并通过组合分布在多个句子上的知识来执行多跳推理。在最近引入的开放领域问答挑战数据集QASC和OpenBookQA中，我们需要执行事实检索并组合事实以正确回答问题。在我们的工作中，我们学习了一个语义知识排序模型，通过Lucene的信息检索系统检索到的知识重新排名。我们进一步提出了一个“知识融合模型”，利用外部检索的知识和基于BERT的语言模型的知识，并提高了基于BERT的语言模型的知识理解。在OpenBookQA和QASC数据集上，具有语义重新排序的知识的知识融合模型优于以前的尝试。
2020-04-17 cs.AI cs.CL cs.LG
How to Pre-Train Your Model? Comparison of Different Pre-Training Models for Biomedical Question Answering
LIMSI, CNRS, Université Paris-Saclay（巴黎-萨克雷大学法国国家科学研究中心LIMSI实验室）；LRI, Univ. Paris-Sud, CNRS, Université Paris-Saclay（巴黎-萨克雷大学巴黎第十一大学法国国家科学研究中心LRI实验室）；ENSIIE, Université Paris-Saclay（巴黎-萨克雷大学ENSIIE）
在小规模数据集上使用深度学习模型会导致过拟合。为了克服这个问题，在诸如图像处理的领域中广泛使用了预训练模型并将其微调到小规模数据集的过程。类似地，对于问答，预训练和微调可以通过几种方式进行。通常阅读理解模型用于预训练，但我们表明，其他类型的预训练可以更好地工作。我们比较了基于阅读理解和开放域问答模型的两种预训练模型，并确定了在BIOASQ问答数据集上进行微调和测试时的性能。我们发现开放域问答模式比阅读理解模式更适合此任务。
2019-11-02 cs.CL cs.LG
Large-scale Simple Question Answering with Memory Networks
Facebook AI Research（脸书人工智能研究院）
训练大规模问答系统是复杂的，因为训练源通常覆盖可能问题范围的一小部分。本文研究了多任务和迁移学习对简单问答的影响;一个设置，其中所需的推理回答是很容易的，只要一个人可以检索到正确的证据给出一个问题，这可能是困难的大规模条件。为此，我们引入了一个包含10万个问题的新数据集，并将其与现有的基准测试结合使用。我们在记忆网络的框架内进行研究（Weston et al.，2015），因为这种观点使我们最终能够扩展到更复杂的推理，并表明记忆网络可以成功训练以实现出色的性能。
2015-06-05 cs.CL cs.LG
Microsoft AI Challenge India 2018: Learning to Rank Passages for Web Question Answering with Deep Attention Networks
IIIT-Hyderabad（海得拉巴国际信息技术学院）
本文介绍了我们的系统为微软人工智能挑战赛印度2018：排名网页问答通道。该系统使用biLSTM网络，在查询和段落表示之间具有协同注意力机制。此外，我们使用自我注意嵌入，以增加词汇覆盖率，允许系统采取工会在不同的嵌入。我们还结合了手工制作的功能，以提高系统性能。我们的系统在eval-1数据集上实现了0.67的平均倒数秩（MRR）。
2019-06-14 cs.CL
What Question Answering can Learn from Trivia Nerds
University of Maryland（马里兰大学）；Google Research（谷歌研究院）
除了让机器回答问题的传统任务外，问答中的一个主要研究问题是创建有趣的、具有挑战性的问题，这些问题可以帮助系统学习如何回答问题，并揭示哪些系统最擅长回答问题。我们认为，创建一个问答数据集-以及与之配套的无处不在的排行榜-非常类似于运行一个琐事锦标赛：您编写问题，让代理（人类或机器）回答问题，并宣布获胜者。然而，研究界忽视了数十年来从琐事社区创造充满活力，公平和有效的问答比赛中吸取的教训。在详细介绍了现有QA数据集的问题后，我们概述了关键的经验教训-消除歧义，区分技能和裁决争议-可以转移到QA研究以及如何为QA社区实施。
2020-04-21 cs.AI cs.CL cs.LG
The Web as a Knowledge-base for Answering Complex Questions
Tel-Aviv University（特拉维夫大学）
对人类来说，提出复杂的问题是一项耗时的活动，需要推理和信息整合。最近的阅读理解工作在回答简单问题方面取得了进展，但解决复杂问题仍然是一个持续的研究挑战。相反，语义解析器已经成功地处理组合性，但只有当信息驻留在目标知识库。在本文中，我们提出了一个新的框架来回答广泛和复杂的问题，假设回答简单的问题是可能的，使用搜索引擎和阅读理解模型。我们建议将复杂的问题分解为一系列简单的问题，并从答案序列中计算出最终的答案。为了说明我们的方法的可行性，我们创建了一个新的复杂问题数据集ComplexWebQuestions，并提出了一个模型，该模型可以分解问题并与网络交互来计算答案。我们根据经验证明，问题分解在这个新数据集上将性能从20.8 precision@1提高到27.5 precision@1。
2018-03-18 cs.AI cs.CL cs.LG
Question Answering System Using Syntactic Information
问答任务目前正在使用英语文档在TREC 8中完成。本研究以日语句子为研究对象，考察了问答任务。我们的方法通过匹配问题句子与以自然语言编写的基于知识的数据来选择答案。我们使用句法信息来获得高度准确的答案。
1999-11-15 cs.CL
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Ruhr University Bochum（波鸿鲁尔大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上，这些架构使用预训练的词嵌入。最近的研究表明，微调预训练的Transformer网络（例如BERT）可以在各种自然语言处理任务上优于以前的方法。在这项工作中，我们调查如何以及BERT执行SimpleQuestions，并提供了一个评估的BERT和BiLSTM为基础的模型，在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
How Additional Knowledge can Improve Natural Language Commonsense Question Answering?
Arizona State University（亚利桑那州立大学）
最近几个数据集已被提出，以鼓励在问答领域的研究，其中常识知识预计将发挥重要作用。最近的语言模型，如ROBERTA，BERT和GPT，已经在维基百科的文章和书籍上进行了预训练，在几个这样的多选择分类（MCQ）数据集上表现出合理的性能。我们在这项工作中的目标是开发方法，将额外的（常识）知识到语言模型为基础的方法，更好地回答问题，在这些领域。在这项工作中，我们首先对外部知识来源进行分类，并显示使用这些来源确实会提高性能。然后，我们探讨了三种不同的策略，知识整合和四种不同的模式，回答问题，使用外部常识知识。我们分析我们的预测，以探索进一步改进的范围。
2020-04-17 cs.CL cs.IR cs.LG
JaQuAD: Japanese Question Answering Dataset for Machine Reading Comprehension
问答（QA）是机器理解给定文档和问题以找到答案的任务。尽管在NLP领域取得了令人印象深刻的进展，但QA仍然是一个具有挑战性的问题，特别是对于非英语语言，由于缺乏注释数据集。在本文中，我们提出了日本问答数据集，JaQuAD，这是由人类注释。JaQuAD由39，696个关于日语维基百科条目的提取问答对组成。我们微调了一个基线模型，在测试集上F1得分达到78.92%，EM得分达到63.38%。数据集和我们的实验可在https://github.com/SkelterLabsInc/JaQuAD上获得。
2022-02-03 cs.AI cs.CL cs.LG
CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在回答问题时，除了特定的上下文之外，人们还经常利用他们丰富的世界知识。最近的工作主要集中在回答一些相关文件或背景下的问题，并要求很少的一般背景。为了研究具有先验知识的问答，我们提出了常识问答：一个具有挑战性的新数据集常识问答。为了捕捉关联之外的常识，我们从ConceptNet（Speer等人，2017）与单个源概念具有相同语义关系的多个目标概念。人群工作者被要求创作多项选择题，其中提到源概念，并依次区分每个目标概念。这鼓励工作人员创建具有复杂语义的问题，这些问题通常需要先验知识。我们通过这个过程创建了12，247个问题，并通过大量强基线证明了我们任务的难度。我们的最佳基线是基于BERT-large（Devlin et al.，2018年），并获得56%的准确率，远低于人类的表现，这是89%。
2019-03-15 cs.AI cs.CL cs.LG
Simple Question Answering with Subgraph Ranking and Joint-Scoring
Carnegie Mellon University（卡内基梅隆大学）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
基于知识图谱的简单问答（KBSQA）是问答的一个重要研究领域。虽然只处理简单的问题，即，事实上，这个任务既不简单，也不接近解决。针对两个主要步骤，子图选择和事实选择，研究界已经开发了复杂的方法。然而，子图排名和利用的主题-关系依赖的知识库事实的重要性还没有得到充分的探讨。出于这一动机，我们提出了一个统一的框架来描述和分析现有的方法。使用这个框架作为出发点，我们专注于两个方面：通过一种新的排名方法，提高子图的选择和利用的主题-关系依赖，提出了一个联合评分CNN模型与一个新的损失函数，强制执行良好的秩序的分数。我们的方法在SimpleQuestions数据集上达到了最新的水平（准确率为85.44%）。
2019-04-04 cs.CL cs.LG stat.ML
Compositional Attention Networks for Interpretability in Natural Language Question Answering
Saama AI Research（萨马人工智能研究院）
MAC网是一个为视觉问答设计的合成注意网络。我们提出了一种改进的MAC网络结构的自然语言问答。问答通常需要语言理解和多步推理。MAC网独特的体系结构-存储和控制分离，有利于数据驱动的迭代推理。这使得它成为解决涉及逻辑推理的任务的理想候选人。我们的实验与20 bAbI任务证明了MAC网的价值作为一个数据高效和可解释的架构自然语言问答。MAC网络的透明性提供了一个高度粒度的视图，网络在回答查询时所采取的推理步骤。
2018-10-30 cs.AI cs.CL cs.LG
Question Dependent Recurrent Entity Network for Question Answering
University of Pisa（比萨大学）
问答是一项需要构建能够为用人类语言表达的问题提供答案的模型的任务。完整的问答涉及某种形式的推理能力。我们介绍了一个神经网络架构，这是一种形式的$Memory\ Network$，通过一个焦点注意力机制，认识到实体和它们的关系的答案。我们的模型被命名为$Question\ Dependent\ Recurrent\ Entity\ Network$，并扩展了$Recurrent\ Entity\ Network$，利用在记忆过程中的问题的方面。我们在合成数据集和真实数据集上验证了该模型：$bAbI$问答数据集和$CNN\ \&\ Daily\ News$ $reading\ comprehension$数据集。在我们的实验中，模型在前者中取得了最先进的技术水平，在后者中取得了竞争性的结果。
2017-10-06 cs.CL
Video Question Answering on Screencast Tutorials
Adobe Research（Adobe 研究院）；Amazon Alexa AI（亚马逊 Alexa AI）
本文提出了一种新的视频问答任务的屏幕直播教程。我们介绍了一个数据集，包括问题，答案和上下文三元组从教程视频的软件。与其他视频问答作品不同，我们数据集中的所有答案都基于领域知识库。设计了一种单次识别算法提取视频问答中的视觉线索，提高了问答系统的性能。我们还提出了几个基线神经网络架构的基础上，从数据集的视频上下文的各个方面。实验结果表明，我们提出的模型显着提高问答性能，通过将多模态上下文和领域知识。
2020-08-02 cs.AI cs.CL cs.CV
Korean-Specific Dataset for Table Question Answering
LG AI Research ISC（LG人工智能研究ISC）
现有的问答系统主要集中在处理文本数据。然而，每天产生的大部分数据都以表格的形式存储，这些表格可以在文档和关系数据库中找到，也可以在Web上找到。为了解决在表格上进行问答的任务，存在许多用英语编写的表格问答数据集，但很少有韩语数据集。在本文中，我们演示了如何为表格问答构建朝鲜语特定的数据集：朝鲜语表格数据集是140万个表格的集合，其中包含对无监督预训练语言模型的相应描述。韩国表问答语料库由众包工作者创建的7万对问题和答案组成。随后，我们基于Transformer构建了一个预训练的语言模型，并使用这些数据集对表格问答模型进行了微调。然后，我们报告我们的模型的评估结果。我们通过我们的GitHub存储库公开提供我们的数据集，并希望这些数据集将有助于进一步研究表格上的问答，以及表格格式的转换。
2022-05-01 cs.CL
Automatic Question-Answering Using A Deep Similarity Neural Network
New York University（纽约大学）；AT&T Research Labs（AT&T 研究实验室）
自动问答是自然语言处理中的一个经典问题，其目的是设计一个能像人一样自动回答问题的系统。在这项工作中，我们提出了一个基于深度学习的自动问答模型。首先，使用神经概率建模嵌入问题和答案。然后训练一个深度相似度神经网络来求出一对答案和问题的相似度得分。然后，对于每个问题，最佳答案被发现为具有最高相似性得分的答案。我们首先在一个大规模的公共问答数据库上对这个模型进行训练，然后对其进行微调，以将其转移到客户关怀聊天数据上。我们还测试了我们的框架上的公共问答数据库，并取得了很好的性能。
2017-08-05 cs.CL
Question Answering is a Format; When is it Useful?
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Tel Aviv University（特拉维夫大学）；University of Washington（华盛顿大学）
近年来，从阅读理解、语义角色标注甚至机器翻译到图像和视频理解，作为问答的任务和数据集急剧扩展。随着这种扩展，对“问答“本身的效用和定义有许多不同的看法。有些人认为它的范围应该是窄的，或者是宽的，或者它在今天的数据集中被过度使用。在这篇观点文章中，我们认为问答应该被认为是一种有时对研究特定现象有用的格式，而不是一种现象或任务本身。我们讨论了什么时候一个任务被正确地描述为问答，什么时候一个任务被有效地设置为问答，而不是使用其他格式。
2019-09-25 cs.CL
Character-Level Question Answering with Attention
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们表明，字符级的编码器-解码器框架可以成功地应用于问答与结构化的知识库。我们使用我们的模型进行单关系问答，并在SimpleQuestions数据集上证明了我们方法的有效性（Bordes等人，2015年），其中我们将最先进的准确率从63.9%提高到70.9%，而不使用合奏。重要的是，我们的字符级模型的参数比等效的单词级模型少16倍，与以前依赖于数据增强的工作相比，可以用更少的数据学习，并且对测试中的新实体具有鲁棒性。
2016-06-05 cs.AI cs.CL cs.LG
Zero-Shot Open-Book Question Answering
Amazon Web Services（亚马逊云科技）
开卷问答是问答任务的子集，其中系统旨在在给定的文档集合（开卷）和关于主题的常识中找到答案。本文提出了一种解决方案，用于回答来自Amazon Web Services（AWS）技术文档语料库的自然语言问题，其中没有特定于域的标记数据（zero-shot）。这些问题可以有是-否-否答案、简短答案、冗长答案或上述答案的任何组合。该解决方案包括两步架构，其中检索器查找正确的文档，提取器在检索到的文档中查找答案。我们正在为开卷QA引入一个新的测试数据集，该数据集基于AWS技术文档中的真实客户问题。在对几个基于抽取语言模型的信息检索系统和抽取器模型进行实验后，该解决方案尝试在同一遍中找到是-否-否答案和文本答案。该模型在斯坦福问答数据集- SQuAD（Rajpurkaret等人，2016）和自然问题（Kwiatkowski等人，2019）数据集。我们能够实现49%的F1和39%的端到端精确匹配分数（EM），而无需特定于领域的培训。
2021-11-22 cs.CL cs.IR cs.LG
Less is More: Rejecting Unreliable Reviews for Product Question Answering
RMIT University（皇家墨尔本理工大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61）；The University of Melbourne（墨尔本大学）
快速准确地回答关于产品的问题对于电子商务应用非常重要。手动回答产品问题（例如，在社区问答平台上）会导致响应缓慢且无法扩展。最近的研究表明，产品评论是实时、自动产品问答（PQA）的良好来源。在文献中，PQA被表述为检索问题，其目标是搜索最相关的评论来回答给定的产品问题。在本文中，我们专注于PQA使用评论的可回答性和答案的可靠性问题。我们的调查是基于这样一种直觉，即许多问题可能无法用有限的评论来回答。当一个问题无法回答时，系统应该返回空答案，而不是提供一个不相关的评论列表，这可能对用户体验产生重大的负面影响。此外，对于可回答的问题，只有回答问题的最相关的评论才应该包含在结果中。我们提出了一个共形预测为基础的框架，以提高PQA系统的可靠性，我们拒绝不可靠的答案，使返回的结果更简洁，更准确地回答产品的问题，包括返回零答案无法回答的问题。在广泛使用的Amazon数据集上的实验显示了我们所提出的框架的令人鼓舞的结果。更广泛地说，我们的研究结果表明，一个新的和有效的应用保形方法的检索任务。
2020-07-09 cs.CL cs.IR cs.LG
PQuAD: A Persian Question Answering Dataset
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工学院））
我们提出了波斯语问答数据集（PQuAD），波斯语维基百科文章的众包阅读理解数据集。它包括80，000个问题及其答案，其中25%的问题无法回答。我们检查数据集的各种属性，以显示其作为MRC基准的多样性和难度水平。通过发布此数据集，我们的目标是简化对波斯语阅读理解的研究和波斯语问答系统的开发。我们在不同的最先进的预训练上下文化语言模型上的实验显示了74.8%的精确匹配（EM）和87.6%的F1分数，可以用作进一步研究波斯语QA的基线结果。
2022-02-13 cs.CL cs.IR cs.LG
Analysis of Wikipedia-based Corpora for Question Answering
Emory University（埃默里大学）；Infosys Ltd.（印孚瑟斯有限公司）
本文以维基百科为语料库，对问答中的几个任务进行了全面的分析。四个最近的语料库收集，WikiQA，SelQA，SQuAD，和InfoQA，并首先内在地分析了上下文相似性，问题类型和答案类别。这些语料库，然后分析了三个问答任务，答案检索，选择和触发。还提出了一种基于索引的方法，用于使用整个维基百科创建用于答案检索的银标准数据集。我们的分析显示了这些语料库的独特性，并建议更好地利用它们进行统计问答学习。
2018-02-05 cs.CL
RankQA: Neural Question Answering with Answer Re-Ranking
ETH Zurich（苏黎世联邦理工学院）
用于叙事内容的神经问答（QA）中的常规范例限于两阶段过程：首先，检索相关文本段落，随后，用于机器理解的神经网络提取最可能的答案。然而，这两个阶段在现状中基本上是孤立的，因此，来自这两个阶段的信息从未被适当地融合。相比之下，这项工作提出了RankQA：RankQA扩展了神经QA中的传统两阶段过程，第三阶段执行额外的答案重新排名。重新排序利用直接从QA管道提取的不同特征，即，检索和理解功能的组合。虽然我们有意简单的设计允许有效的，数据稀疏的估计，但它仍然比更复杂的QA系统有显著的优势：事实上，RankQA在4个基准数据集中的3个上达到了最先进的性能。此外，它的性能在语料库的大小是动态的设置中特别优越。这里的答案重新排名提供了一个有效的补救措施，对潜在的噪声信息的权衡，由于一个可变的语料库大小。因此，RankQA代表了一种新颖的，强大的，因此具有挑战性的基线，为未来的研究在基于内容的QA。
2019-08-12 cs.CL
Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings
Alibaba Group（阿里巴巴集团）
多关系知识库问答（KBQA）系统在知识图谱（KG）上执行多跳推理以获得答案。最近的方法试图引入知识图谱嵌入（KGE）技术来处理KG不完全性，但只考虑三重事实，而忽略了路径和多关系问题之间的重要语义相关性。在本文中，我们提出了一个路径和知识嵌入增强的多关系问答模型（PKEEQA），它利用KG中实体之间的多跳路径，通过可定制的路径表示机制来评估路径嵌入和多关系问题嵌入之间的双极相关性，有利于从三重事实和额外路径的角度获得更准确的答案。实验结果表明，PKEEQA提高了KBQA模型的多关系问答的性能，解释能力在一定程度上来源于路径。
2021-10-29 cs.AI cs.CL cs.LG
Leveraging Term Banks for Answering Complex Questions: A Case for Sparse Vectors
Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
虽然开放域问答（QA）系统已被证明对回答简单问题是有效的，但它们难以处理更复杂的问题。我们的目标是可靠地回答更复杂的问题，而不会在支持QA的知识资源建设方面产生重大成本。一个现成的知识资源是术语库，列举了一个领域中的关键概念。我们开发了一种无监督学习方法，利用术语库来指导QA系统，通过用数千个专门的向量空间表示术语知识。在复杂的科学问题的实验中，我们表明，这种方法显着优于几个国家的最先进的QA系统，表明显着的杠杆作用，可以从连续的向量表示领域术语。
2017-04-11 cs.CL cs.IR cs.LG
Semantic Parsing to Probabilistic Programs for Situated Question Answering
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
情境问答是回答有关环境（如图像或图表）的问题。这个问题需要使用背景知识来联合解释问题和环境以选择正确答案。我们提出了解析概率程序（P3），一种新的情景问答模型，可以使用背景知识和全球功能的问题/环境的解释，同时保留有效的近似推理。我们的主要见解是把语义解析作为概率程序，执行非确定性和其可能的执行代表环境的不确定性。我们在一个新的公开发布的5000个科学图表问题的数据集上评估了我们的方法，优于几个有竞争力的经典和神经基线。
2016-09-24 cs.CL
The combination of context information to enhance simple question answering
Wuhan University of Technology（武汉理工大学）
随着知识库的迅速发展，基于知识库的问答系统已经成为研究的热点。本文主要研究基于知识库的单关系类事实问题的求解。我们建立了一个问答系统，研究了上下文信息对事实选择的影响，如实体的显著性类型、出度等。实验结果表明，上下文信息可以改善简单问答的结果。
2018-10-09 cs.AI cs.CL
Speeding Up Question Answering Task of Language Models via Inverted Index
Boston University（波士顿大学）；eMentalist
自然语言处理应用，如会话代理及其问答功能，在现实世界中得到广泛应用。尽管大语言模型（LLM）的广泛流行，很少有现实世界的会话代理利用LLM。LLM消耗的大量资源使开发人员无法将其集成到最终用户应用程序中。在这项研究中，我们利用倒排索引机制结合LLM，以提高效率的问题回答模型的封闭域的问题。我们的实验表明，使用索引提高了平均响应时间的97.44%。此外，由于缩小了搜索范围，使用倒排索引时，平均BLEU分数提高了0.23。
2022-10-24 cs.CL cs.IR cs.LG
Two is Better than Many? Binary Classification as an Effective Approach to Multi-Choice Question Answering
Singapore University of Technology and Design（新加坡科技设计大学）；University of Michigan（密歇根大学）
我们提出了一个简单的重构多选择问答（MCQA）任务作为一系列的二元分类。MCQA任务通常通过对所有对标准化的每个（问题，答案）对进行评分，然后从产生最高分数的对中选择答案来执行。对于n个答案选择，这相当于一个n类分类设置，其中只有一个类（正确答案）是正确的。相反，我们表明，将（问题，正确答案）分类为正面实例，将（问题，错误答案）分类为负面实例，在各种模型和数据集中显着更有效。我们在不同的任务--溯因推理，常识问答，科学问答和句子完成中展示了我们提出的方法的有效性。我们的DeBERTa二进制分类模型在这些任务的公共排行榜上达到或接近最高性能。所提出的方法的源代码可在https://github.com/declare-lab/TEAM上获得。
2022-10-29 cs.AI cs.CL cs.LG
A Survey on non-English Question Answering Dataset
Jakarta Artificial Intelligence Research（雅加达人工智能研究院）
问答数据集和模型的研究在研究界得到了广泛的关注。他们中的许多人发布自己的问答数据集以及模型。我们在这一研究领域看到了巨大的进步。该调查的目的是识别、总结和分析许多研究人员发布的现有数据集，特别是非英语数据集以及研究代码和评估指标等资源。在本文中，我们回顾了问答数据集，可在常见的语言以外的英语，如法语，德语，日语，中文，阿拉伯语，俄语，以及多语种和跨语言的问答数据集。
2021-12-27 cs.CL
Exploring Neural Net Augmentation to BERT for Question Answering on SQUAD 2.0
University of California, Berkeley（加州大学伯克利分校）
增强机器回答问题的能力一直是近年来NLP研究的一个相当关注的话题。语言模型如语言模型嵌入（ELMo）[1]和Transformers双向编码器表示（BERT）[2]在开发通用语言模型方面非常成功，可以为大量下游语言任务进行优化。在这项工作中，我们专注于用不同的输出神经网络架构来增强预训练的BERT语言模型，并比较它们在斯坦福问答数据集2.0（SQUAD 2.0）提出的问答任务上的表现。此外，我们还微调了预训练的BERT模型参数，以证明其适应专门语言任务的有效性。我们最好的输出网络是上下文化的CNN，它在不可回答和可回答的问答任务上都有表现，F1得分分别为75.32和64.85。
2020-03-08 cs.AI cs.CL cs.LG
Open-Domain Conversational Question Answering with Historical Answers
National Taiwan University（国立台湾大学）
开放域会话式问答可以被看作两个任务：段落检索和会话式问答，其中前者依赖于从大型语料库中选择候选段落，后者需要更好地理解问题并结合上下文来预测答案。本文提出了ConvADR-QA，利用历史答案来提高检索性能，并进一步实现更好的回答性能。在我们提出的框架中，检索器使用师生框架，以减少噪音从以前的回合。我们在基准数据集OR-QuAC上的实验表明，我们的模型在提取式和生成式读者设置中的表现优于现有基线，很好地证明了开放域会话问答的历史答案的有效性。
2022-11-17 cs.CL
MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering
Apple Inc.（苹果公司）
跨语言建模的进展取决于具有挑战性的、现实的和多样化的评估集。我们引入多语言知识问答（MKQA），一个开放域的问答评估集，包括10k个问答对，在26种不同类型的语言（共260k个问答对）。答案基于精心策划的、独立于语言的数据表示，使结果在不同语言之间具有可比性，并且独立于特定语言的段落。该数据集拥有26种语言，为评估问答提供了迄今为止最广泛的语言。我们基准测试了各种最先进的方法和基线，用于生成和提取问答，在自然问题上进行训练，在zero shot和翻译设置中。结果表明，即使在英语中，该数据集也具有挑战性，尤其是在低资源语言中
2021-08-17 cs.CL
Project PIAF: Building a Native French Question-Answering Dataset
reciTAL；Etalab
由于缺乏非英语语言的数据，特别是下游任务，如问答的评估，我们提出了一个参与性的努力，收集一个本地法语问答数据集。此外，我们描述并公开发布了为我们的收集工作开发的注释工具，以及获得的数据和初步基线。
2020-07-02 cs.CL
DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering
University of Maryland（马里兰大学）
DiscoTrace通过分析问答策略揭示社区回答偏好差异，发现LLM在回答时缺乏修辞多样性且倾向于广泛覆盖问题解释。
2026-09-02 cs.CL
Exploring Question Understanding and Adaptation in Neural-Network-Based Question Answering
University of Science and Technology of China（中国科学技术大学）；National Research Council Canada（加拿大国家研究委员会）；iFLYTEK Research（科大讯飞研究院）；York University（约克大学）
在过去的几年里，人们对探索基于神经网络的机器理解（MC）和问答（QA）模型产生了浓厚的兴趣。在本文中，我们接近的问题密切建模问题的神经网络框架。我们首先引入句法信息来帮助编码问题。然后，我们将不同类型的问题和它们之间共享的信息视为一个适应任务，并为它们提出了适应模型。在斯坦福大学的问答数据集（SQuAD），我们表明，这些方法可以帮助获得更好的结果超过竞争基线。
2017-03-25 cs.CL
Question Answering in Natural Language: the Special Case of Temporal Expressions
LISN-CNRS, Université Paris-Saclay（法国巴黎萨克雷大学、法国国家科学研究中心（CNRS）所属的信息、信号与图像处理实验室（LISN））
针对时间问答关注不足的问题，本文提出受 SQuAD 启发的新数据集，并利用 WikiWars 语料库训练深度学习模型，验证了通用问答中的答案抽取与模式匹配方法可成功应用于时间问答。
2023-11-23 cs.CL
Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering
TU Wien（维也纳工业大学）
存在许多现有的检索和问答数据集。然而，他们中的大多数要么专注于排名列表评估或单一候选人的问答。这种划分使得正确评估与对文档进行排名以及为给定查询提供片段或答案有关的方法具有挑战性。在这项工作中，我们提出了FiRA：一个新的细粒度相关性注释数据集。我们扩展了TREC 2019的深度学习轨道的分级检索注释，为所有相关文档提供了段落和单词级别的分级相关性注释。我们使用新创建的数据来研究长文档中相关性的分布，以及注释者对文本特定位置的注意力。作为一个例子，我们评估最近推出的TKL文档排序模型。我们发现，虽然TKL展览国家的最先进的检索结果长文件，它错过了许多相关段落。
2020-08-12 cs.CL cs.IR
ControversialQA: Exploring Controversy in Question Answering
Tokyo Institute of Technology（东京工业大学）；Delft University of Technology（代尔夫特理工大学）
争议在网上很普遍。以前的研究主要是根据对争议与仇恨言论和冒犯性言论等情绪的关系的模糊假设来定义争议。本文介绍了第一个通过用户感知定义内容争议的问答数据集，即，来自大量用户的投票。它包含近10K个问题，每个问题都有一个最佳答案和一个最具争议的答案。实验结果表明，问答中的争议检测是必要的和具有挑战性的，争议和情感任务之间没有很强的相关性。
2023-02-10 cs.CL
A Neural Comprehensive Ranker (NCR) for Open-Domain Question Answering
提出了一种新的面向大规模开放域问答的神经机器阅读模型。现有的机器理解模型通常假设已经识别出包含答案的一小段相关文本并将其提供给模型，模型被设计为从中提取答案。然而，这种假设是不现实的，建立一个大规模的开放领域的问答系统，既需要深入的文本理解和识别相关的文本从语料库同时进行。在本文中，我们介绍了神经综合排名（NCR），它集成了通道排名和答案提取在一个单一的框架。基于该框架的问答系统允许用户提出一个开放域的问题，而不需要提供一段必须包含答案的文本。实验结果表明，统一NCR模型在相关文本检索和答案抽取方面都优于现有的模型。
2017-10-05 cs.AI cs.CL cs.LG
Towards Domain Adaptation from Limited Data for Question Answering Using Deep Neural Networks
Microsoft Research Montreal（微软研究院蒙特利尔分部）
本文探讨了领域自适应，使问答（QA）系统，以回答对新的专业领域的文件提出的问题。使用深度神经网络（DNN）技术的当前QA系统已被证明对于回答通用类事实式问题是有效的。然而，目前的通用DNN模型在新的专门领域中使用时往往是无效的。本文探讨了迁移学习技术对这一问题的有效性。在汽车手册领域的问答实验中，我们证明了标准DNN迁移学习技术在使用新领域中有限数量的带注释的训练数据使DNN模型适应新领域方面工作得令人惊讶。
2019-11-06 cs.CL
Transfer Learning via Unsupervised Task Discovery for Visual Question Answering
POSTECH（浦项科技大学）；OpenAI；Seoul National University（首尔国立大学）
本文研究了在视觉问答任务中，如何利用现成的视觉和语言数据来处理词汇外答案。现有的大规模视觉数据集与注释，如图像类标签，边界框和区域描述是学习丰富多样的视觉概念的良好来源。然而，由于问题相关回答模型和没有问题的视觉数据之间的链接缺失，如何捕获视觉概念并将其转移到视觉问答模型并不简单。我们通过两个步骤来解决这个问题：1）学习任务条件视觉分类器，它能够解决各种特定于问题的视觉识别任务，基于无监督任务发现和2）将任务条件视觉分类器转移到视觉问答模型。具体来说，我们采用语言知识源，如结构化的词汇数据库（如WordNet）和视觉描述的无监督任务发现，并转移学习任务条件视觉分类器作为一个回答单元的视觉问答模型。我们的经验表明，该算法推广到词汇表外的答案成功地使用从视觉数据集转移的知识。
2019-04-07 cs.CL cs.CV cs.LG
Answering Complicated Question Intents Expressed in Decomposed Question Sequences
University of Maryland, College Park（马里兰大学大学公园分校）；Microsoft Research（微软研究院）
最近的问答语义解析工作集中在长而复杂的问题上，其中许多问题如果在两个人之间的正常对话中被问到，似乎是不自然的。在努力探索会话QA设置，我们提出了一个更现实的任务：回答简单但相互关联的问题序列。我们从维基百科收集了6，066个询问半结构化表格的问题序列的数据集，总共有17，553个问答对。在我们的数据集上进行评估时，现有的QA系统面临两个主要问题：（1）处理包含对先前问题或答案的共引用的问题，以及（2）将问题中的单词或短语与关联表中的相应条目进行匹配。最后，我们提出了处理这两个问题的战略。
2016-11-04 cs.CL
Mixing Context Granularities for Improved Entity Linking on Question Answering Data across Entity Categories
Ubiquitous Knowledge Processing Lab (UKP)（普适知识处理实验室（UKP））；Research Training Group AIPHES（AIPHES研究培训小组）；Department of Computer Science, Technische Universität Darmstadt（达姆施塔特工业大学计算机科学系）
每个知识库问答方法的第一阶段是链接输入问题中的实体。我们调查的背景下，一个问答任务的实体链接，并提出了一个联合优化的神经架构，实体提及检测和实体消歧模型周围的背景下，不同级别的粒度。我们使用维基数据知识库和可用的问答数据集来创建问答数据上实体链接的基准。我们的方法在此数据上优于以前的最先进系统，最终得分平均提高8%。我们进一步证明了我们的模型在不同的实体类别中提供了强大的性能。
2018-04-23 cs.CL
Temporal Reasoning via Audio Question Answering
Facebook Reality Labs（Facebook现实实验室）；Facebook AI Research（Facebook人工智能研究院）
多模态问答任务可以作为代理任务来研究能够感知和推理世界的系统。关于不同类型的输入方式的问题强调了推理的不同方面，如视觉推理，阅读理解，故事理解或导航。本文以音频问答（AQA）为例，研究了机器学习模型的时态推理能力。为此，我们介绍了诊断音频问答（DAQA）数据集，包括自然声音事件的音频序列和编程生成的问题和答案，探测时间推理的各个方面。我们适应最近的几个国家的最先进的视觉问答的AQA任务的方法，并使用DAQA证明，他们表现不佳的问题，需要深入的时间推理。最后，我们提出了一个新的模型，多个辅助控制器的线性调制（MALiMo），扩展了最近的智能线性调制（FILM）模型，并显着提高其时间推理能力。我们设想DAQA促进AQA和时间推理的研究和MALiMo的AQA模型的一步。
2019-11-21 cs.CL cs.LG cs.SD
Towards Robust Numerical Question Answering: Diagnosing Numerical Capabilities of NLP Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Xi’an Jiaotong University（西安交通大学）
数字问答是回答需要数字能力的问题的任务。以前的作品介绍了一般的对抗攻击的数字问答，而不是系统地探讨特定的主题的数字能力。在本文中，我们提出了一系列的数值问答系统和数据集进行数值能力诊断。一系列的数值能力突出，并设计相应的数据集扰动。实证结果表明，现有的系统受到这些扰动的严重挑战。例如，在一个示例中，Graph 2 Tree在ASDiv-a上的“Extra”扰动下经历了53.83%的绝对准确度下降，BART在DROP的数值子集上经历了13.80%的准确度下降。作为一种抵消方法，我们还研究了应用扰动作为数据增强来缓解系统缺乏鲁棒数值能力的有效性。通过实验分析和实证研究，证明了具有鲁棒数值能力的数值问答在很大程度上仍然是一个悬而未决的问题。我们讨论了数值问答的未来发展方向，并总结了未来数据集收集和系统设计的指导方针。
2022-11-14 cs.CL
Question Analysis for Arabic Question Answering Systems
Kannur University（坎努尔大学）
在问答（QA）系统中处理问题的第一步是对问题进行详细分析，以确定问题的要求以及如何完美地回答它。我们的问题分析使用几种技术来分析任何以自然语言给出的问题：一个Stanford POS Tagger和阿拉伯语解析器，一个命名实体识别器，分词器，停止词删除，问题扩展，问题分类和问题焦点提取组件。我们采用了大量的检测规则和训练分类器，使用来自此分析的特征来检测问题的重要元素，包括：1）问题中涉及答案的部分（焦点）; 2）问题中的不同术语，用于确定所要求的实体类型（词汇答案类型）; 3）问题扩展; 4）将问题分类为若干不同类型中的一个或多个的过程;我们描述了如何识别这些元素，并使用平均倒数秩（MRR）准确度测量来评估准确检测对我们的问答系统的影响。
2017-01-11 cs.CL
A Vietnamese Question Answering System
问答系统的目标是对用户的问题产生准确的答案，而不是像当前搜索引擎所使用的相关文档的列表。在本文中，我们提出了一个基于本体的越南语问答系统，允许用户表达他们的问题在自然语言。据我们所知，这是第一次尝试，使用户能够使用越南自然语言查询本体知识库。我们的系统上的组织本体的实验显示出可喜的成果。
2019-11-26 cs.CL
Unifying Question Answering, Text Classification, and Regression via Span Extraction
Salesforce Research（赛富时研究院）
即使像BERT这样的预先训练的语言编码器在许多任务中共享，问答、文本分类和回归模型的输出层也有很大的不同。跨度解码器经常用于问答，固定类，分类层的文本分类，和相似性评分层的回归任务，我们表明，这种区别是没有必要的，所有三个可以统一为跨度提取。统一的跨度提取方法在几个问答、文本分类和回归基准的辅助监督预训练、低数据和多任务学习实验中具有优异或相当的性能。
2019-09-20 cs.CL
ISS-MULT: Intelligent Sample Selection for Multi-Task Learning in Question Answering
EMORY University（埃默里大学）
将知识从一个源域转移到另一个域是有用的，特别是当收集新数据非常昂贵和耗时时。近年来，深度网络在问答任务中得到了很好的研究;然而，在问答领域，通过深度神经网络进行迁移学习的研究并不突出。在本文中，两个主要的方法（INIT和MULT）在这一领域进行了检查。在此基础上，提出了一种新的智能样本选择方法（ISS-MULT）来改进面向问答任务的MULT方法。不同的数据集，特别是SQuAD，SelQA，WikiQA，NewWikiQA和InforBoxQA，用于评估。此外，两个不同的问答任务-答案选择和答案触发-进行评估，以检查迁移学习的有效性。结果表明，如果语料库是相关的，并且基于相同的策略，使用迁移学习通常可以提高性能。此外，使用ISS-MULT可以很好地改进问答任务的MULT方法，这些改进在答案触发任务中表现得更为显著。
2019-11-04 cs.CL
RECONSIDER: Re-Ranking using Span-Focused Cross-Attention for Open Domain Question Answering
Facebook AI（脸书人工智能研究院）；University of Washington（华盛顿大学）
用于开放域问答（QA）的最先进的机器阅读理解（MRC）模型通常使用远距离监督的正例和间接检索的负例来训练跨度选择。这种训练方案可能解释了经验观察，即这些模型在其前几个预测中实现了高召回率，但总体准确率较低，从而激发了对答案重新排名的需求。我们为跨度提取任务开发了一种简单有效的重新排序方法（RECONSIDER），该方法提高了大型预训练MRC模型的性能。RECONSIDER在从MRC模型的高置信度预测中提取的正面和负面示例上进行训练，并使用通道内跨度注释在较小的候选集上执行以跨度为中心的重新排名。因此，RECONSIDER学会了消除接近的假阳性段落，并在四个QA任务上达到了新的技术水平，包括自然问题与真实用户问题的45.5%精确匹配准确率，以及TriviaQA的61.7%。
2020-10-21 cs.CL
The Forgettable-Watcher Model for Video Question Answering
近年来，人们提出了许多视觉问答方法，旨在通过回答自然语言问题来理解视觉场景。虽然图像问答已经引起了极大的关注，但视频问答在很大程度上尚未开发。视频QA不同于图像QA，因为信息和事件分散在多个帧中。为了更好地利用视频的时间结构和答案的短语结构，我们提出了两种机制：重新观看和重新阅读机制，并将它们结合到forgetable-watcher模型。然后，我们提出了一个TGIF-QA数据集的视频问答的自动生成问题的帮助下。最后，我们在我们的数据集上评估模型。实验结果表明了我们提出的模型的有效性。
2017-05-03 cs.CL cs.CV
Modern Question Answering Datasets and Benchmarks: A Survey
Delft University of Technology（代尔夫特理工大学）
问答（QA）是自然语言处理（NLP）中最重要的任务之一。它的目的是利用自然语言处理技术，在海量非结构化语料库的基础上生成一个给定问题的相应答案。随着深度学习的发展，越来越多具有挑战性的质量保证数据集被提出，许多解决这些数据集的新方法也不断出现。在本文中，我们调查了在深度学习时代发布的有影响力的QA数据集。具体来说，我们首先介绍了两个最常见的问答任务-文本问答和视觉问答-分别覆盖最具代表性的数据集，然后给出了一些当前的QA研究的挑战。
2022-06-30 cs.CL
