Question Answering System Using Syntactic Information
问答任务目前正在使用英语文档在TREC 8中完成。本研究以日语句子为研究对象，考察了问答任务。我们的方法通过匹配问题句子与以自然语言编写的基于知识的数据来选择答案。我们使用句法信息来获得高度准确的答案。
1999-11-15 cs.CL
Open-Domain Conversational Question Answering with Historical Answers
National Taiwan University（国立台湾大学）
开放域会话式问答可以被看作两个任务：段落检索和会话式问答，其中前者依赖于从大型语料库中选择候选段落，后者需要更好地理解问题并结合上下文来预测答案。本文提出了ConvADR-QA，利用历史答案来提高检索性能，并进一步实现更好的回答性能。在我们提出的框架中，检索器使用师生框架，以减少噪音从以前的回合。我们在基准数据集OR-QuAC上的实验表明，我们的模型在提取式和生成式读者设置中的表现优于现有基线，很好地证明了开放域会话问答的历史答案的有效性。
2022-11-17 cs.CL
Analysis of Wikipedia-based Corpora for Question Answering
Emory University（埃默里大学）；Infosys Ltd.（印孚瑟斯有限公司）
本文以维基百科为语料库，对问答中的几个任务进行了全面的分析。四个最近的语料库收集，WikiQA，SelQA，SQuAD，和InfoQA，并首先内在地分析了上下文相似性，问题类型和答案类别。这些语料库，然后分析了三个问答任务，答案检索，选择和触发。还提出了一种基于索引的方法，用于使用整个维基百科创建用于答案检索的银标准数据集。我们的分析显示了这些语料库的独特性，并建议更好地利用它们进行统计问答学习。
2018-02-05 cs.CL
Automatic Question-Answering Using A Deep Similarity Neural Network
New York University（纽约大学）；AT&T Research Labs（AT&T 研究实验室）
自动问答是自然语言处理中的一个经典问题，其目的是设计一个能像人一样自动回答问题的系统。在这项工作中，我们提出了一个基于深度学习的自动问答模型。首先，使用神经概率建模嵌入问题和答案。然后训练一个深度相似度神经网络来求出一对答案和问题的相似度得分。然后，对于每个问题，最佳答案被发现为具有最高相似性得分的答案。我们首先在一个大规模的公共问答数据库上对这个模型进行训练，然后对其进行微调，以将其转移到客户关怀聊天数据上。我们还测试了我们的框架上的公共问答数据库，并取得了很好的性能。
2017-08-05 cs.CL
Korean-Specific Dataset for Table Question Answering
LG AI Research ISC（LG人工智能研究ISC）
现有的问答系统主要集中在处理文本数据。然而，每天产生的大部分数据都以表格的形式存储，这些表格可以在文档和关系数据库中找到，也可以在Web上找到。为了解决在表格上进行问答的任务，存在许多用英语编写的表格问答数据集，但很少有韩语数据集。在本文中，我们演示了如何为表格问答构建朝鲜语特定的数据集：朝鲜语表格数据集是140万个表格的集合，其中包含对无监督预训练语言模型的相应描述。韩国表问答语料库由众包工作者创建的7万对问题和答案组成。随后，我们基于Transformer构建了一个预训练的语言模型，并使用这些数据集对表格问答模型进行了微调。然后，我们报告我们的模型的评估结果。我们通过我们的GitHub存储库公开提供我们的数据集，并希望这些数据集将有助于进一步研究表格上的问答，以及表格格式的转换。
2022-05-01 cs.CL
An Answer Verbalization Dataset for Conversational Question Answerings over Knowledge Graphs
University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；University of Siegen（锡根大学）
我们引入了一个新的数据集会话问答的知识图谱（KG）与口头回答。基于KGs的问答目前主要集中在单轮问题（KGQA）或多轮会话式问答（ConvQA）的答案生成上。然而，在现实世界的场景中（例如，语音助理，如Siri，Alexa和Google Assistant），用户更喜欢口头回答。本文通过扩展现有的ConvQA数据集，使用多个释义的口头回答，为最先进的技术做出了贡献。我们用五个序列到序列模型进行实验，在保持语法正确性的同时生成答案响应。我们还执行了一个错误分析，详细说明了模型在指定类别中的错误预测率。我们提出的数据集扩展与回答语言化是公开的，其使用更广泛的实用程序的详细文档。
2022-08-13 cs.CL
Releasing the CRaQAn (Coreference Resolution in Question-Answering): An open-source dataset and dataset creation methodology using instruction-following models
Pyxos, Inc.（Pyxos公司）；Edge Analytics, Inc.（Edge Analytics公司）
本文发布开源数据集CRaQAn，包含250余个含共指的问答对，并提出基于GPT-4和递归批评改进循环的高质量数据集创建方法，以解决问答任务中的共指消解问题。
2023-11-27 cs.AI cs.CL
Question Answering is a Format; When is it Useful?
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Tel Aviv University（特拉维夫大学）；University of Washington（华盛顿大学）
近年来，从阅读理解、语义角色标注甚至机器翻译到图像和视频理解，作为问答的任务和数据集急剧扩展。随着这种扩展，对“问答“本身的效用和定义有许多不同的看法。有些人认为它的范围应该是窄的，或者是宽的，或者它在今天的数据集中被过度使用。在这篇观点文章中，我们认为问答应该被认为是一种有时对研究特定现象有用的格式，而不是一种现象或任务本身。我们讨论了什么时候一个任务被正确地描述为问答，什么时候一个任务被有效地设置为问答，而不是使用其他格式。
2019-09-25 cs.CL
Question Answering in Natural Language: the Special Case of Temporal Expressions
LISN-CNRS, Université Paris-Saclay（法国巴黎萨克雷大学、法国国家科学研究中心（CNRS）所属的信息、信号与图像处理实验室（LISN））
针对时间问答关注不足的问题，本文提出受 SQuAD 启发的新数据集，并利用 WikiWars 语料库训练深度学习模型，验证了通用问答中的答案抽取与模式匹配方法可成功应用于时间问答。
2023-11-23 cs.CL
ISS-MULT: Intelligent Sample Selection for Multi-Task Learning in Question Answering
EMORY University（埃默里大学）
将知识从一个源域转移到另一个域是有用的，特别是当收集新数据非常昂贵和耗时时。近年来，深度网络在问答任务中得到了很好的研究;然而，在问答领域，通过深度神经网络进行迁移学习的研究并不突出。在本文中，两个主要的方法（INIT和MULT）在这一领域进行了检查。在此基础上，提出了一种新的智能样本选择方法（ISS-MULT）来改进面向问答任务的MULT方法。不同的数据集，特别是SQuAD，SelQA，WikiQA，NewWikiQA和InforBoxQA，用于评估。此外，两个不同的问答任务-答案选择和答案触发-进行评估，以检查迁移学习的有效性。结果表明，如果语料库是相关的，并且基于相同的策略，使用迁移学习通常可以提高性能。此外，使用ISS-MULT可以很好地改进问答任务的MULT方法，这些改进在答案触发任务中表现得更为显著。
2019-11-04 cs.CL
Equivariant and Invariant Grounding for Video Question Answering
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
视频问答（VideoQA）是回答关于视频的自然语言问题的任务。产生答案需要理解视频中视觉场景和语言语义之间的相互作用。然而，大多数领先的VideoQA模型都是黑箱，这使得回答过程背后的视觉语言对齐变得模糊不清。这种黑盒子的性质要求视觉上的可解释性，它揭示了“模型应该看视频的哪一部分来回答这个问题？”''.只有少数作品提出的视觉解释，在事后的方式，模拟目标模型的回答过程中，通过一个额外的方法。尽管如此，仿真努力忠实地展示回答过程中的视觉语言对齐。而不是事后的可解释性，我们专注于内在的可解释性，使回答过程透明。它的核心是将关键问题线索作为因果场景来产生答案，同时将与问题无关的信息作为环境场景。以因果关系看视频问答，我们设计了一个自我解释的框架，等变和不变的接地可解释的视频问答（EIGV）。具体而言，等变的接地鼓励的答案是敏感的语义变化的因果场景和问题;相反，不变的接地强制的答案是不敏感的环境场景的变化。EIGV通过将它们施加到回答过程中，能够区分因果场景和环境信息，并显式地呈现视觉-语言对齐。在三个基准数据集上进行的大量实验证明了EIGV在准确性和视觉可解释性方面优于领先基线。
2022-07-26 cs.CL
MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering
Apple Inc.（苹果公司）
跨语言建模的进展取决于具有挑战性的、现实的和多样化的评估集。我们引入多语言知识问答（MKQA），一个开放域的问答评估集，包括10k个问答对，在26种不同类型的语言（共260k个问答对）。答案基于精心策划的、独立于语言的数据表示，使结果在不同语言之间具有可比性，并且独立于特定语言的段落。该数据集拥有26种语言，为评估问答提供了迄今为止最广泛的语言。我们基准测试了各种最先进的方法和基线，用于生成和提取问答，在自然问题上进行训练，在zero shot和翻译设置中。结果表明，即使在英语中，该数据集也具有挑战性，尤其是在低资源语言中
2021-08-17 cs.CL
A Survey on non-English Question Answering Dataset
Jakarta Artificial Intelligence Research（雅加达人工智能研究院）
问答数据集和模型的研究在研究界得到了广泛的关注。他们中的许多人发布自己的问答数据集以及模型。我们在这一研究领域看到了巨大的进步。该调查的目的是识别、总结和分析许多研究人员发布的现有数据集，特别是非英语数据集以及研究代码和评估指标等资源。在本文中，我们回顾了问答数据集，可在常见的语言以外的英语，如法语，德语，日语，中文，阿拉伯语，俄语，以及多语种和跨语言的问答数据集。
2021-12-27 cs.CL
Project PIAF: Building a Native French Question-Answering Dataset
reciTAL；Etalab
由于缺乏非英语语言的数据，特别是下游任务，如问答的评估，我们提出了一个参与性的努力，收集一个本地法语问答数据集。此外，我们描述并公开发布了为我们的收集工作开发的注释工具，以及获得的数据和初步基线。
2020-07-02 cs.CL
Looking Under the Hood : Tools for Diagnosing your Question Answering Engine
在本文中，我们分析了两个问答任务：TREC-8问答任务和一套阅读理解考试。首先，我们表明，Q/A系统的表现更好时，每个问题有多个答案的机会。接下来，我们分析了两个子问题的常见方法：用于答案句子识别的术语重叠和用于简短答案提取的答案类型。我们提出了一般的工具来分析这些子问题的技术的优势和局限性。我们的研究结果量化了术语重叠和答案类型的限制，以区分竞争的答案候选人。
2001-07-03 cs.CL
ControversialQA: Exploring Controversy in Question Answering
Tokyo Institute of Technology（东京工业大学）；Delft University of Technology（代尔夫特理工大学）
争议在网上很普遍。以前的研究主要是根据对争议与仇恨言论和冒犯性言论等情绪的关系的模糊假设来定义争议。本文介绍了第一个通过用户感知定义内容争议的问答数据集，即，来自大量用户的投票。它包含近10K个问题，每个问题都有一个最佳答案和一个最具争议的答案。实验结果表明，问答中的争议检测是必要的和具有挑战性的，争议和情感任务之间没有很强的相关性。
2023-02-10 cs.CL
Integrating question answering and text-to-SQL in Portuguese
Universidade de São Paulo（圣保罗大学）；Center for Artificial Intelligence (C4AI)（人工智能中心（C4AI））
深度学习Transformers极大地改进了用自然语言自动回答问题的系统。然而，不同的问题需要不同的回答技术;在这里，我们提出，构建和验证一个架构，集成不同的模块来回答两种不同的查询。我们的架构采用自由形式的自然语言文本，并将其分类，将其发送到神经问答推理器或自然语言解析器到SQL。我们为葡萄牙语实现了一个完整的系统，使用了该语言的一些主要工具，并翻译了培训和测试数据集。实验结果表明，该系统能够以较高的准确率（99%以上）选择合适的回答方法，从而验证了模块化问答策略的有效性。
2022-09-21 cs.CL
Towards Domain Adaptation from Limited Data for Question Answering Using Deep Neural Networks
Microsoft Research Montreal（微软研究院蒙特利尔分部）
本文探讨了领域自适应，使问答（QA）系统，以回答对新的专业领域的文件提出的问题。使用深度神经网络（DNN）技术的当前QA系统已被证明对于回答通用类事实式问题是有效的。然而，目前的通用DNN模型在新的专门领域中使用时往往是无效的。本文探讨了迁移学习技术对这一问题的有效性。在汽车手册领域的问答实验中，我们证明了标准DNN迁移学习技术在使用新领域中有限数量的带注释的训练数据使DNN模型适应新领域方面工作得令人惊讶。
2019-11-06 cs.CL
One-shot Learning for Question-Answering in Gaokao History Challenge
Shanghai Jiao Tong University（上海交通大学）
从大学入学考试（中国高考）中提取问题是一项具有挑战性的人工智能任务，因为它需要有效的表示来捕捉问题和答案之间复杂的语义关系。在这项工作中，我们提出了一个混合神经网络模型，从历史考试的深度问答任务。我们的模型采用了一个合作门控神经网络检索答案的协助下，额外的标签由神经图灵机labeler。实验结果表明，该标注器在训练集较小的情况下工作良好，门控机制在获取冗长答案的语义表示方面表现良好。问答实验表明，该模型在多个评估指标方面获得了显著的性能增益。
2018-06-24 cs.CL
Question Dependent Recurrent Entity Network for Question Answering
University of Pisa（比萨大学）
问答是一项需要构建能够为用人类语言表达的问题提供答案的模型的任务。完整的问答涉及某种形式的推理能力。我们介绍了一个神经网络架构，这是一种形式的$Memory\ Network$，通过一个焦点注意力机制，认识到实体和它们的关系的答案。我们的模型被命名为$Question\ Dependent\ Recurrent\ Entity\ Network$，并扩展了$Recurrent\ Entity\ Network$，利用在记忆过程中的问题的方面。我们在合成数据集和真实数据集上验证了该模型：$bAbI$问答数据集和$CNN\ \&\ Daily\ News$ $reading\ comprehension$数据集。在我们的实验中，模型在前者中取得了最先进的技术水平，在后者中取得了竞争性的结果。
2017-10-06 cs.CL
Learning When Not to Answer: A Ternary Reward Structure for Reinforcement Learning based Question Answering
Ghent University（根特大学）；Amazon Research（亚马逊研究院）
在本文中，我们调查的挑战，使用强化学习代理问答知识图谱的现实世界的应用。我们研究了最先进的系统所使用的性能指标，并确定它们不适合这种设置。更具体地说，当没有可用的答案时，它们不能正确地评估系统，因此针对这些指标优化的代理在建模置信度方面很差。我们引入了一个简单的新的性能指标来评估问答代理，更能代表实际使用条件，并通过将先前工作中使用的二元奖励结构扩展到三元奖励结构来优化此指标，该结构还奖励代理不回答问题而不是给出错误答案。我们表明，这可以大大提高回答问题的精度，而不是回答有限数量的以前正确回答的问题。采用使用深度优先搜索路径的监督学习策略来引导强化学习算法进一步提高了性能。
2019-04-03 cs.CL
Question Answering on Freebase via Relation Extraction and Textual Evidence
Peking University（北京大学）；University of Edinburgh（爱丁堡大学）；IBM China Research Lab（IBM中国研究实验室）
现有的基于知识的问答系统通常依赖于小的带注释的训练数据。虽然像关系抽取这样的浅层方法对数据稀缺性是鲁棒的，但它们的表达能力不如像语义解析这样的深层含义表示方法，因此无法回答涉及多个约束的问题。在这里，我们减轻这个问题，授权关系抽取方法与维基百科的额外证据。我们首先提出了一个基于神经网络的关系提取器从Freebase检索候选答案，然后推断维基百科来验证这些答案。在WebQuestions问答数据集上的实验表明，该方法的F1达到了53.3%，比现有方法有了很大的提高。
2016-06-09 cs.CL
Semantic Parsing to Probabilistic Programs for Situated Question Answering
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
情境问答是回答有关环境（如图像或图表）的问题。这个问题需要使用背景知识来联合解释问题和环境以选择正确答案。我们提出了解析概率程序（P3），一种新的情景问答模型，可以使用背景知识和全球功能的问题/环境的解释，同时保留有效的近似推理。我们的主要见解是把语义解析作为概率程序，执行非确定性和其可能的执行代表环境的不确定性。我们在一个新的公开发布的5000个科学图表问题的数据集上评估了我们的方法，优于几个有竞争力的经典和神经基线。
2016-09-24 cs.CL
SelQA: A New Benchmark for Selection-based Question Answering
Emory University（埃默里大学）
本文提出了一种新的基于选择的问答数据集SelQA。该数据集由众包生成的问题和句子长度答案组成，这些答案来自英文维基百科中最流行的十个主题。我们引入了一个语料库注释方案，该方案通过明确旨在减少问题和答案之间的单词共现来增强大型，多样化和具有挑战性的数据集的生成。我们的注释计划是由一系列的众包任务，以期更有效地利用众包在不同领域的问答数据集的创建。对几个系统在答案句子选择和答案触发任务方面进行了比较，为未来的工作提供了强有力的基线结果以供改进。
2016-10-28 cs.CL
Unifying Question Answering, Text Classification, and Regression via Span Extraction
Salesforce Research（赛富时研究院）
即使像BERT这样的预先训练的语言编码器在许多任务中共享，问答、文本分类和回归模型的输出层也有很大的不同。跨度解码器经常用于问答，固定类，分类层的文本分类，和相似性评分层的回归任务，我们表明，这种区别是没有必要的，所有三个可以统一为跨度提取。统一的跨度提取方法在几个问答、文本分类和回归基准的辅助监督预训练、低数据和多任务学习实验中具有优异或相当的性能。
2019-09-20 cs.CL
Cross-Lingual Open-Domain Question Answering with Answer Sentence Generation
Inria（法国国家信息与自动化研究所）；Amazon Alexa AI（亚马逊Alexa AI）
开放域生成式问答通过将文档级检索与答案生成相结合，在英语中取得了令人印象深刻的性能。这些方法，我们称之为GenQA，可以生成完整的句子，有效地回答事实和非事实问题。在本文中，我们将GenQA扩展到多语言和跨语言设置。为此，我们首先介绍GenTyDiQA，这是TyDiQA数据集的扩展，具有阿拉伯语，孟加拉语，英语，日语和俄语的格式良好和完整的答案。基于GenTyDiQA，我们设计了一个跨语言生成模型，该模型通过利用多种语言（包括与问题不同的语言）编写的段落来生成整句答案。我们的跨语言生成系统优于所有5种语言的答案句子选择基线和五种语言中三种语言的单语生成管道。
2022-12-19 cs.CL
Medicines Question Answering System, MeQA
Agencia Española de Medicamentos y Productos Sanitarios (AEMPS)（西班牙药品和健康产品局）
在本文中，我们提出了第一个系统，在西班牙能够回答有关药物供人类使用的问题，称为MeQA（药品问答），由西班牙药品和健康产品局（AEMPS，其西班牙语的首字母缩写）创建的一个项目。提供医疗帮助的在线服务大幅增加，主要是由于COVID-19导致的当前疫情。例如，Doctoralia、Savia或SaludOnNet等网站提供Doctor Answers类型的咨询，患者或用户可以向医生和专家发送问题，并在24小时内收到答案。收到的许多问题都与人用药品有关，大多数问题都可以通过传单得到解答。因此，像MeQA这样能够自动回答这类问题的系统可以减轻这些网站的负担，对这些患者来说也很有用。
2021-11-04 cs.CL
Towards Robust Numerical Question Answering: Diagnosing Numerical Capabilities of NLP Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Xi’an Jiaotong University（西安交通大学）
数字问答是回答需要数字能力的问题的任务。以前的作品介绍了一般的对抗攻击的数字问答，而不是系统地探讨特定的主题的数字能力。在本文中，我们提出了一系列的数值问答系统和数据集进行数值能力诊断。一系列的数值能力突出，并设计相应的数据集扰动。实证结果表明，现有的系统受到这些扰动的严重挑战。例如，在一个示例中，Graph 2 Tree在ASDiv-a上的“Extra”扰动下经历了53.83%的绝对准确度下降，BART在DROP的数值子集上经历了13.80%的准确度下降。作为一种抵消方法，我们还研究了应用扰动作为数据增强来缓解系统缺乏鲁棒数值能力的有效性。通过实验分析和实证研究，证明了具有鲁棒数值能力的数值问答在很大程度上仍然是一个悬而未决的问题。我们讨论了数值问答的未来发展方向，并总结了未来数据集收集和系统设计的指导方针。
2022-11-14 cs.CL
Mixing Context Granularities for Improved Entity Linking on Question Answering Data across Entity Categories
Ubiquitous Knowledge Processing Lab (UKP)（普适知识处理实验室（UKP））；Research Training Group AIPHES（AIPHES研究培训小组）；Department of Computer Science, Technische Universität Darmstadt（达姆施塔特工业大学计算机科学系）
每个知识库问答方法的第一阶段是链接输入问题中的实体。我们调查的背景下，一个问答任务的实体链接，并提出了一个联合优化的神经架构，实体提及检测和实体消歧模型周围的背景下，不同级别的粒度。我们使用维基数据知识库和可用的问答数据集来创建问答数据上实体链接的基准。我们的方法在此数据上优于以前的最先进系统，最终得分平均提高8%。我们进一步证明了我们的模型在不同的实体类别中提供了强大的性能。
2018-04-23 cs.CL
Modern Question Answering Datasets and Benchmarks: A Survey
Delft University of Technology（代尔夫特理工大学）
问答（QA）是自然语言处理（NLP）中最重要的任务之一。它的目的是利用自然语言处理技术，在海量非结构化语料库的基础上生成一个给定问题的相应答案。随着深度学习的发展，越来越多具有挑战性的质量保证数据集被提出，许多解决这些数据集的新方法也不断出现。在本文中，我们调查了在深度学习时代发布的有影响力的QA数据集。具体来说，我们首先介绍了两个最常见的问答任务-文本问答和视觉问答-分别覆盖最具代表性的数据集，然后给出了一些当前的QA研究的挑战。
2022-06-30 cs.CL
A Vietnamese Question Answering System
问答系统的目标是对用户的问题产生准确的答案，而不是像当前搜索引擎所使用的相关文档的列表。在本文中，我们提出了一个基于本体的越南语问答系统，允许用户表达他们的问题在自然语言。据我们所知，这是第一次尝试，使用户能够使用越南自然语言查询本体知识库。我们的系统上的组织本体的实验显示出可喜的成果。
2019-11-26 cs.CL
Chart Question Answering: State of the Art and Future Directions
York University（约克大学）
信息可视化（如条形图和折线图）在分析数据和发现关键见解方面非常常见。人们经常分析图表来回答他们心中的问题。回答这些问题可能具有挑战性，因为它们通常需要大量的感知和认知努力。图表问答（CQA）系统通常将图表和自然语言问题作为输入，并自动生成答案以促进可视化数据分析。在过去的几年里，关于CQA任务的文献越来越多。本文系统地回顾了当前关于图表问答问题的研究现状。我们提供了一个分类识别问题域的几个重要方面，包括可能的输入和输出的任务，并讨论了建议的解决方案的优点和局限性。然后，我们总结了各种评估技术中使用的调查文件。最后，我们概述了开放的挑战和未来的研究机会有关的图表问答。
2022-05-21 cs.CL
Representations for Question Answering from Documents with Tables and Text
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
Web文档中的表是普遍存在的，可以直接用于回答Web上搜索的许多查询，从而促进了它们在问答中的集成。表格中提供的信息通常很简洁，很难用标准语言表示来解释。另一方面，表格通常出现在文本上下文中，例如描述表格的文章。使用来自项目的信息作为附加上下文可以潜在地丰富表表示。在这项工作中，我们的目标是改善问答从表中提炼表表示从周围的文本信息的基础上。我们还提出了一种有效的方法来结合文本和基于表格的预测，从完整的文档中的问答，获得显着的改进自然问题数据集。
2021-01-26 cs.CL
Question Answering on Knowledge Bases and Text using Universal Schema and Memory Networks
University of Edinburgh（爱丁堡大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
现有的问答方法从知识库或原始文本中推断答案。虽然知识库（KB）方法擅长回答组合问题，但它们的性能往往受到知识库不完整性的影响。相反，Web文本包含了数百万个KB中不存在的事实，但是以非结构化的形式存在。{ \it Universal schema}可以通过将结构化知识库和非结构化文本对齐到一个公共嵌入空间来支持对它们的联合进行推理。本文将通用模式扩展到自然语言问答系统中，采用\emph{memory networks}处理文本和知识库相结合的大量事实。我们的模型可以在问答对上以端到端的方式进行训练。在\spades填空问答数据集上的评价结果表明，利用通用模式进行问答比单独使用知识库或文本要好。该模型的性能也优于当前最先进的8.5 $F_1$点。\footnote{Code and data available in \url{https://rajarshd.github.io/TextKBQA}}
2017-04-27 cs.CL
Answering Conversational Questions on Structured Data without Logical Forms
Google Research（谷歌研究院）
我们提出了一种新的方法来回答基于结构化对象（如知识库或表）的顺序问题，而不使用逻辑形式作为中间表示。我们使用基于Transformer架构的图神经网络模型将表编码为图。然后使用指针网络从编码图中选择答案。此模型适用于处理围绕结构化数据的会话，其中选择问题答案的注意力机制也可用于解析会话引用。我们证明了这种方法的有效性与竞争的结果顺序问答（SQA）任务（Iyyer等人，2017年）。
2019-08-30 cs.CL
A Generative Approach to Question Answering
Microsoft（微软）
问答经历了从回答句的选择、关系问答到阅读理解的漫长历程。我们将注意力转移到生成式问答（gQA），通过学习生成答案来帮助机器阅读段落并回答问题。我们将问题框架为生成任务，其中编码器是一个网络，该网络对问题和段落之间的关系进行建模，并将其编码为向量，从而便于解码器直接形成答案的抽象。不能记住事实和重复是影响答案整体易读性的常见错误。为了解决这些问题，我们分别采用复制机制和覆盖向量的维护在我们的模型。我们在MS-MARCO上的结果证明了它比基线的优越性，我们还展示了我们在正确性和可读性方面改进的定性示例
2018-07-07 cs.CL
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答（QA）是语音助理的重要用例。一种流行的问答方法是提取阅读理解（RC），它在文本段落中找到答案跨度。然而，提取的答案在会话上下文中通常是不自然的，这导致次优的用户体验。在这项工作中，我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型，它将多个段落的答案生成与段落排名和可回答性相结合。此外，在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结，以评估真实性。实验结果表明，与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比，EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
Will this Question be Answered? Question Filtering via Answer Model Distillation for Efficient Question Answering
Amazon Alexa AI（亚马逊 Alexa 人工智能）
在本文中，我们提出了一种新的方法来提高效率的问答（QA）系统过滤掉的问题，将不会回答他们。这是基于一个有趣的新发现：最先进的QA系统的答案置信度分数可以通过仅使用输入问题文本的模型很好地近似。这使得能够抢先过滤由于其答案置信度分数低于系统阈值而未被系统回答的问题。具体来说，我们通过提取基于transformer的回答模型来学习基于transformer的问题模型。我们在三个流行的QA数据集和一个工业QA基准测试上的实验表明，我们的问题模型能够很好地近似目标QA系统的精度/召回曲线。这些问题模型在用作过滤器时，可以有效地权衡QA系统的较低计算成本以获得较低的召回率，例如，计算量减少约60%，而召回率仅损失约3-4%。
2021-09-14 cs.CL
Answering Ambiguous Questions via Iterative Prompting
Shandong University（山东大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出AmbigPrompt框架，通过迭代集成提示模型与回答模型来生成多样且相关的答案，并结合任务特定后预训练，在歧义开放域问答中实现领先性能、更低内存占用和推理延迟。
2023-07-08 cs.CL
Ensembling Strategies for Answering Natural Questions
IBM Research AI（IBM研究AI）
当今许多顶级问答系统都利用集成来提高其在斯坦福问答数据集（SQuAD）和自然问题（NQ）挑战等任务上的性能。不幸的是，这些系统中的大多数都没有公布他们在排行榜提交中使用的集成策略。在这项工作中，我们研究了一些集成技术，并展示了一种策略，该策略将NQ开发集上的简短答案的F1得分提高了2.3个F1点，超过了我们的单一模型（比以前的SOTA高出1.9个F1点）。
2019-11-06 cs.CL
RuBQ: A Russian Dataset for Question Answering over Wikidata
ITMO University（ITMO大学）；JetBrains Research（JetBrains研究院）；Ural Federal University（乌拉尔联邦大学）
介绍了第一个俄语知识库问答（KBQA）数据集RuBQ。高质量的数据集包括1，500个不同复杂度的俄语问题，它们的英语机器翻译，对维基数据的SPARQL查询，参考答案，以及包含俄语标签实体的三元组的维基数据样本。数据集的创建始于在线测验中的大量问答对。这些数据经过自动过滤、群体辅助实体链接、自动生成SPARQL查询以及随后的内部验证。
2020-05-21 cs.CL
Studio Ousia's Quiz Bowl Question Answering System
Studio Ousia（Studio Ousia公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Keio University（庆应义塾大学）
在本章中，我们描述了我们的问答系统，这是在第三十一届神经信息处理系统（NIPS）年会上的人机问答（HCQA）竞赛中获胜的系统。比赛要求参与者解决一个被称为问答碗的模拟问答任务。为了解决这个问题，我们使用两个新的神经网络模型，并结合这些模型与传统的信息检索模型，使用监督机器学习模型。我们的系统在竞赛中提交的系统中取得了最佳性能，并在与六位顶级人类测验专家的比赛中大获全胜。
2018-03-23 cs.CL
Prompting-based Synthetic Data Generation for Few-Shot Question Answering
University of Stuttgart（斯图加特大学）；IBM Research Zurich（IBM苏黎世研究院）
针对少样本问答数据标注成本高、领域适配性差的问题，提出利用Prompting框架基于大语言模型生成合成数据，验证其任务无关知识可超越预训练/微调范式，在多数据集少样本问答上性能优于现有最优方法。
2024-05-15 cs.CL
Science Question Answering using Instructional Materials
Carnegie Mellon University（卡内基梅隆大学）
我们提供了一个使用教材的基础科学测试解决方案。我们认为，有一个隐藏的结构，解释了给定的问题和教学材料的答案的正确性，并提出了一个统一的最大边际框架，学习找到这些隐藏的结构（给定的问答对和教学材料的语料库），并使用它所学到的回答新的基本科学问题。我们的评估表明，我们的框架优于几个强大的基线。
2016-04-05 cs.AI cs.CL cs.IR
TutorialVQA: Question Answering Dataset for Tutorial Videos
University of Florida（佛罗里达大学）；Adobe Research（奥多比研究院）
尽管当前关于视频问答的可用数据集的数量很多，但仍然需要涉及多步骤和非事实答案的数据集。此外，依赖视频记录仍然是一个未充分探讨的话题。为了充分解决这个问题，我们提出了一个新的问答任务的教学视频，因为他们的冗长和叙事的性质。虽然以前的视频问答的研究都集中在生成一个简短的文本作为答案，给定的问题和视频剪辑，我们的任务的目的是确定一个跨度的视频片段作为一个答案，其中包含各种粒度的教学细节。这项工作的重点是有关图像编辑程序的截屏教程视频。我们引入了一个数据集TutorialVQA，由大约6,000个手动收集的三元组（视频，问题，答案跨度）组成。我们还提供了实验结果与几个基线算法使用的视频成绩单。结果表明，这项任务是具有挑战性的，并呼吁调查新的算法。
2020-05-30 cs.CL
CS1QA: A Dataset for Assisting Code-based Question Answering in an Introductory Programming Course
KAIST（韩国科学技术院）
我们介绍了CS1QA，一个数据集的基于代码的问答在编程教育领域。CS1QA由9，237个问答对组成，这些问答对是从使用Python的入门编程课程中的聊天日志中收集的，还有17，698个带代码的未注释聊天数据。每个问题都附有学生的代码，以及与回答问题相关的代码部分。我们精心设计了CS1QA的标注过程，并对收集到的数据集进行了详细的分析。CS1QA的任务是预测问题类型，给出问题和代码的相关代码片段，并从带注释的语料库中检索答案。几个基线模型的实验结果进行了报告和深入分析。CS1QA的任务要求模型理解代码和自然语言。这个独特的数据集可以用作教育环境中源代码理解和问答的基准。
2022-10-26 cs.CL
Toward Deconfounding the Influence of Entity Demographics for Question Answering Accuracy
Google Research（谷歌研究院）；University of Maryland（马里兰大学）
问答（QA）的目标是回答任何问题。然而，主要的QA数据集在性别、职业和国籍方面存在偏态分布。尽管存在这种偏差，但模型准确性分析显示，几乎没有证据表明基于性别或国籍的人的准确性较低;相反，职业（问题主题）的差异更大。但QA缺乏代表性本身可能隐藏偏见的证据，需要更好地代表全球多样性的QA数据集。
2021-09-10 cs.CL
XOR QA: Cross-lingual Open-Retrieval Question Answering
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Allen Institute for AI（艾伦人工智能研究所）
多语言问答任务通常假设答案与问题的语言相同。然而，在实践中，许多语言面临着信息稀缺和信息不对称两种情况，信息稀缺是指语言中几乎没有参考文章，信息不对称是指问题引用了来自其他文化的概念。这项工作扩展了开放检索问答的跨语言设置，使问题从一种语言回答通过回答内容从另一种语言。我们构建了一个大规模的数据集，该数据集基于缺乏相同语言答案的TyDi QA问题。我们的任务制定，称为跨语言开放检索问答（XOR QA），包括来自7种不同的非英语语言的40k信息搜索问题。基于这个数据集，我们介绍了三个新的任务，涉及跨语言的文档检索使用多语言和英语资源。我们使用最先进的机器翻译系统和跨语言预训练模型建立基线。实验结果表明，异或问答是一个具有挑战性的任务，将促进新技术的发展，多语言问答。我们的数据和代码可在https://nlp.cs.washington.edu/xorqa上获得。
2021-04-13 cs.CL
Multi-Module System for Open Domain Chinese Question Answering over Knowledge Base
Ping An Life Insurance of China（中国平安人寿保险股份有限公司）；Fudan University（复旦大学）
针对CCKS2019开放领域基于知识的问答任务，提出了一种结合信息检索和语义解析的方法。这个多模块系统从一个问题中提取主题实体和最相关的关系谓词，并将其转换为一个Sparql查询语句。我们的方法在测试数据上获得了70.45%的F1分数。
2019-10-28 cs.CL
Technical report on Conversational Question Answering
ZhuiYi Technology（追一科技）
会话问答是一项具有挑战性的任务，因为它需要了解会话历史。在这个项目中，我们提出了一个新的系统RoBERTa + AT +KD，它涉及理性标记多任务，对抗训练，知识蒸馏和语言后处理策略。在没有数据增强的情况下，我们的单一模型在CoQA测试集上达到90.4（F1），比当前最先进的单一模型高出2.6%F1。
2019-09-24 cs.CL
JDocQA: Japanese Document Question Answering Dataset for Generative Language Models
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）；ATR（ATR（先进电信研究所））
本文提出JDocQA，一个包含5,504份PDF文档和11,600个日语问答实例的大规模日语文档问答数据集，要求同时利用视觉与文本信息，并通过纳入不可回答问题来抑制大语言模型的幻觉生成。
2024-03-28 cs.CL
MCQA: Multimodal Co-attention Based Network for Question Answering
University of Maryland（马里兰大学）
我们提出了MCQA，一个基于学习的多模态问答算法。MCQA明确地融合和对齐多模态输入（即文本、音频和视频），这形成了查询（问题和答案）的上下文。我们的方法融合并在此背景下调整问题和答案。此外，我们使用的概念的共同注意力进行跨模态对齐和多模态上下文查询对齐。我们的上下文查询对齐模块将多模态上下文和查询的相关部分相互匹配，并将它们对齐，以提高整体性能。我们评估的性能MCQA社会智商，多模态问答的基准数据集。我们比较我们的算法与以前的方法的性能，并观察到4- 7%的准确性提高。
2020-04-25 cs.CL
AccurateRAG: A Framework for Building Accurate Retrieval-Augmented Question-Answering Applications
Qualcomm AI Research（高通人工智能研究）
AccurateRAG通过高效流程和本地构建能力，在问答任务中实现更高性能和新状态的SOTA表现。
2026-03-03 cs.CL
ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks
Sogou Inc.（搜狗公司）；Tsinghua University（清华大学）
随着深度学习技术和大规模数据集的发展，问答系统得到了快速的改进，能够提供更准确、更令人满意的答案。然而，当前的QA系统要么关注于测试级答案，即，答案选择或短语级答案，即，机器阅读理解。如何产生组合的答案还没有得到全面的研究。在组合式问答中，系统需要从文档中收集多个支持证据来生成最终答案，这比句子级或短语级QA更困难。在本文中，我们提出了一个大规模的组合问答数据集包含超过120k人类标记的问题。此数据集中的答案由相应文档中的不连续句子组成。为了解决ComQA问题，我们提出了一个分层的图神经网络，它表示从低级别的词到高级别的句子的文档。我们还设计了一个问题选择和节点选择任务的预训练。我们提出的模型实现了显着的改进，以前的机器阅读理解方法和预训练方法。代码和数据集见\url{https://github.com/benywon/ComQA}。
2021-01-16 cs.CL
