Semantic Parsing to Probabilistic Programs for Situated Question Answering
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
情境问答是回答有关环境（如图像或图表）的问题。这个问题需要使用背景知识来联合解释问题和环境以选择正确答案。我们提出了解析概率程序（P3），一种新的情景问答模型，可以使用背景知识和全球功能的问题/环境的解释，同时保留有效的近似推理。我们的主要见解是把语义解析作为概率程序，执行非确定性和其可能的执行代表环境的不确定性。我们在一个新的公开发布的5000个科学图表问题的数据集上评估了我们的方法，优于几个有竞争力的经典和神经基线。
2016-09-24 cs.CL
A Survey on non-English Question Answering Dataset
Jakarta Artificial Intelligence Research（雅加达人工智能研究院）
问答数据集和模型的研究在研究界得到了广泛的关注。他们中的许多人发布自己的问答数据集以及模型。我们在这一研究领域看到了巨大的进步。该调查的目的是识别、总结和分析许多研究人员发布的现有数据集，特别是非英语数据集以及研究代码和评估指标等资源。在本文中，我们回顾了问答数据集，可在常见的语言以外的英语，如法语，德语，日语，中文，阿拉伯语，俄语，以及多语种和跨语言的问答数据集。
2021-12-27 cs.CL
Open-Domain Conversational Question Answering with Historical Answers
National Taiwan University（国立台湾大学）
开放域会话式问答可以被看作两个任务：段落检索和会话式问答，其中前者依赖于从大型语料库中选择候选段落，后者需要更好地理解问题并结合上下文来预测答案。本文提出了ConvADR-QA，利用历史答案来提高检索性能，并进一步实现更好的回答性能。在我们提出的框架中，检索器使用师生框架，以减少噪音从以前的回合。我们在基准数据集OR-QuAC上的实验表明，我们的模型在提取式和生成式读者设置中的表现优于现有基线，很好地证明了开放域会话问答的历史答案的有效性。
2022-11-17 cs.CL
MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering
Apple Inc.（苹果公司）
跨语言建模的进展取决于具有挑战性的、现实的和多样化的评估集。我们引入多语言知识问答（MKQA），一个开放域的问答评估集，包括10k个问答对，在26种不同类型的语言（共260k个问答对）。答案基于精心策划的、独立于语言的数据表示，使结果在不同语言之间具有可比性，并且独立于特定语言的段落。该数据集拥有26种语言，为评估问答提供了迄今为止最广泛的语言。我们基准测试了各种最先进的方法和基线，用于生成和提取问答，在自然问题上进行训练，在zero shot和翻译设置中。结果表明，即使在英语中，该数据集也具有挑战性，尤其是在低资源语言中
2021-08-17 cs.CL
Project PIAF: Building a Native French Question-Answering Dataset
reciTAL；Etalab
由于缺乏非英语语言的数据，特别是下游任务，如问答的评估，我们提出了一个参与性的努力，收集一个本地法语问答数据集。此外，我们描述并公开发布了为我们的收集工作开发的注释工具，以及获得的数据和初步基线。
2020-07-02 cs.CL
DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering
University of Maryland（马里兰大学）
DiscoTrace通过分析问答策略揭示社区回答偏好差异，发现LLM在回答时缺乏修辞多样性且倾向于广泛覆盖问题解释。
2026-09-02 cs.CL
Exploring Question Understanding and Adaptation in Neural-Network-Based Question Answering
University of Science and Technology of China（中国科学技术大学）；National Research Council Canada（加拿大国家研究委员会）；iFLYTEK Research（科大讯飞研究院）；York University（约克大学）
在过去的几年里，人们对探索基于神经网络的机器理解（MC）和问答（QA）模型产生了浓厚的兴趣。在本文中，我们接近的问题密切建模问题的神经网络框架。我们首先引入句法信息来帮助编码问题。然后，我们将不同类型的问题和它们之间共享的信息视为一个适应任务，并为它们提出了适应模型。在斯坦福大学的问答数据集（SQuAD），我们表明，这些方法可以帮助获得更好的结果超过竞争基线。
2017-03-25 cs.CL
Question Answering in Natural Language: the Special Case of Temporal Expressions
LISN-CNRS, Université Paris-Saclay（法国巴黎萨克雷大学、法国国家科学研究中心（CNRS）所属的信息、信号与图像处理实验室（LISN））
针对时间问答关注不足的问题，本文提出受 SQuAD 启发的新数据集，并利用 WikiWars 语料库训练深度学习模型，验证了通用问答中的答案抽取与模式匹配方法可成功应用于时间问答。
2023-11-23 cs.CL
ControversialQA: Exploring Controversy in Question Answering
Tokyo Institute of Technology（东京工业大学）；Delft University of Technology（代尔夫特理工大学）
争议在网上很普遍。以前的研究主要是根据对争议与仇恨言论和冒犯性言论等情绪的关系的模糊假设来定义争议。本文介绍了第一个通过用户感知定义内容争议的问答数据集，即，来自大量用户的投票。它包含近10K个问题，每个问题都有一个最佳答案和一个最具争议的答案。实验结果表明，问答中的争议检测是必要的和具有挑战性的，争议和情感任务之间没有很强的相关性。
2023-02-10 cs.CL
Towards Domain Adaptation from Limited Data for Question Answering Using Deep Neural Networks
Microsoft Research Montreal（微软研究院蒙特利尔分部）
本文探讨了领域自适应，使问答（QA）系统，以回答对新的专业领域的文件提出的问题。使用深度神经网络（DNN）技术的当前QA系统已被证明对于回答通用类事实式问题是有效的。然而，目前的通用DNN模型在新的专门领域中使用时往往是无效的。本文探讨了迁移学习技术对这一问题的有效性。在汽车手册领域的问答实验中，我们证明了标准DNN迁移学习技术在使用新领域中有限数量的带注释的训练数据使DNN模型适应新领域方面工作得令人惊讶。
2019-11-06 cs.CL
Answering Complicated Question Intents Expressed in Decomposed Question Sequences
University of Maryland, College Park（马里兰大学大学公园分校）；Microsoft Research（微软研究院）
最近的问答语义解析工作集中在长而复杂的问题上，其中许多问题如果在两个人之间的正常对话中被问到，似乎是不自然的。在努力探索会话QA设置，我们提出了一个更现实的任务：回答简单但相互关联的问题序列。我们从维基百科收集了6，066个询问半结构化表格的问题序列的数据集，总共有17，553个问答对。在我们的数据集上进行评估时，现有的QA系统面临两个主要问题：（1）处理包含对先前问题或答案的共引用的问题，以及（2）将问题中的单词或短语与关联表中的相应条目进行匹配。最后，我们提出了处理这两个问题的战略。
2016-11-04 cs.CL
Mixing Context Granularities for Improved Entity Linking on Question Answering Data across Entity Categories
Ubiquitous Knowledge Processing Lab (UKP)（普适知识处理实验室（UKP））；Research Training Group AIPHES（AIPHES研究培训小组）；Department of Computer Science, Technische Universität Darmstadt（达姆施塔特工业大学计算机科学系）
每个知识库问答方法的第一阶段是链接输入问题中的实体。我们调查的背景下，一个问答任务的实体链接，并提出了一个联合优化的神经架构，实体提及检测和实体消歧模型周围的背景下，不同级别的粒度。我们使用维基数据知识库和可用的问答数据集来创建问答数据上实体链接的基准。我们的方法在此数据上优于以前的最先进系统，最终得分平均提高8%。我们进一步证明了我们的模型在不同的实体类别中提供了强大的性能。
2018-04-23 cs.CL
Towards Robust Numerical Question Answering: Diagnosing Numerical Capabilities of NLP Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Xi’an Jiaotong University（西安交通大学）
数字问答是回答需要数字能力的问题的任务。以前的作品介绍了一般的对抗攻击的数字问答，而不是系统地探讨特定的主题的数字能力。在本文中，我们提出了一系列的数值问答系统和数据集进行数值能力诊断。一系列的数值能力突出，并设计相应的数据集扰动。实证结果表明，现有的系统受到这些扰动的严重挑战。例如，在一个示例中，Graph 2 Tree在ASDiv-a上的“Extra”扰动下经历了53.83%的绝对准确度下降，BART在DROP的数值子集上经历了13.80%的准确度下降。作为一种抵消方法，我们还研究了应用扰动作为数据增强来缓解系统缺乏鲁棒数值能力的有效性。通过实验分析和实证研究，证明了具有鲁棒数值能力的数值问答在很大程度上仍然是一个悬而未决的问题。我们讨论了数值问答的未来发展方向，并总结了未来数据集收集和系统设计的指导方针。
2022-11-14 cs.CL
Question Analysis for Arabic Question Answering Systems
Kannur University（坎努尔大学）
在问答（QA）系统中处理问题的第一步是对问题进行详细分析，以确定问题的要求以及如何完美地回答它。我们的问题分析使用几种技术来分析任何以自然语言给出的问题：一个Stanford POS Tagger和阿拉伯语解析器，一个命名实体识别器，分词器，停止词删除，问题扩展，问题分类和问题焦点提取组件。我们采用了大量的检测规则和训练分类器，使用来自此分析的特征来检测问题的重要元素，包括：1）问题中涉及答案的部分（焦点）; 2）问题中的不同术语，用于确定所要求的实体类型（词汇答案类型）; 3）问题扩展; 4）将问题分类为若干不同类型中的一个或多个的过程;我们描述了如何识别这些元素，并使用平均倒数秩（MRR）准确度测量来评估准确检测对我们的问答系统的影响。
2017-01-11 cs.CL
A Vietnamese Question Answering System
问答系统的目标是对用户的问题产生准确的答案，而不是像当前搜索引擎所使用的相关文档的列表。在本文中，我们提出了一个基于本体的越南语问答系统，允许用户表达他们的问题在自然语言。据我们所知，这是第一次尝试，使用户能够使用越南自然语言查询本体知识库。我们的系统上的组织本体的实验显示出可喜的成果。
2019-11-26 cs.CL
Unifying Question Answering, Text Classification, and Regression via Span Extraction
Salesforce Research（赛富时研究院）
即使像BERT这样的预先训练的语言编码器在许多任务中共享，问答、文本分类和回归模型的输出层也有很大的不同。跨度解码器经常用于问答，固定类，分类层的文本分类，和相似性评分层的回归任务，我们表明，这种区别是没有必要的，所有三个可以统一为跨度提取。统一的跨度提取方法在几个问答、文本分类和回归基准的辅助监督预训练、低数据和多任务学习实验中具有优异或相当的性能。
2019-09-20 cs.CL
ISS-MULT: Intelligent Sample Selection for Multi-Task Learning in Question Answering
EMORY University（埃默里大学）
将知识从一个源域转移到另一个域是有用的，特别是当收集新数据非常昂贵和耗时时。近年来，深度网络在问答任务中得到了很好的研究;然而，在问答领域，通过深度神经网络进行迁移学习的研究并不突出。在本文中，两个主要的方法（INIT和MULT）在这一领域进行了检查。在此基础上，提出了一种新的智能样本选择方法（ISS-MULT）来改进面向问答任务的MULT方法。不同的数据集，特别是SQuAD，SelQA，WikiQA，NewWikiQA和InforBoxQA，用于评估。此外，两个不同的问答任务-答案选择和答案触发-进行评估，以检查迁移学习的有效性。结果表明，如果语料库是相关的，并且基于相同的策略，使用迁移学习通常可以提高性能。此外，使用ISS-MULT可以很好地改进问答任务的MULT方法，这些改进在答案触发任务中表现得更为显著。
2019-11-04 cs.CL
Modern Question Answering Datasets and Benchmarks: A Survey
Delft University of Technology（代尔夫特理工大学）
问答（QA）是自然语言处理（NLP）中最重要的任务之一。它的目的是利用自然语言处理技术，在海量非结构化语料库的基础上生成一个给定问题的相应答案。随着深度学习的发展，越来越多具有挑战性的质量保证数据集被提出，许多解决这些数据集的新方法也不断出现。在本文中，我们调查了在深度学习时代发布的有影响力的QA数据集。具体来说，我们首先介绍了两个最常见的问答任务-文本问答和视觉问答-分别覆盖最具代表性的数据集，然后给出了一些当前的QA研究的挑战。
2022-06-30 cs.CL
Integrating question answering and text-to-SQL in Portuguese
Universidade de São Paulo（圣保罗大学）；Center for Artificial Intelligence (C4AI)（人工智能中心（C4AI））
深度学习Transformers极大地改进了用自然语言自动回答问题的系统。然而，不同的问题需要不同的回答技术;在这里，我们提出，构建和验证一个架构，集成不同的模块来回答两种不同的查询。我们的架构采用自由形式的自然语言文本，并将其分类，将其发送到神经问答推理器或自然语言解析器到SQL。我们为葡萄牙语实现了一个完整的系统，使用了该语言的一些主要工具，并翻译了培训和测试数据集。实验结果表明，该系统能够以较高的准确率（99%以上）选择合适的回答方法，从而验证了模块化问答策略的有效性。
2022-09-21 cs.CL
Multi-Module System for Open Domain Chinese Question Answering over Knowledge Base
Ping An Life Insurance of China（中国平安人寿保险股份有限公司）；Fudan University（复旦大学）
针对CCKS2019开放领域基于知识的问答任务，提出了一种结合信息检索和语义解析的方法。这个多模块系统从一个问题中提取主题实体和最相关的关系谓词，并将其转换为一个Sparql查询语句。我们的方法在测试数据上获得了70.45%的F1分数。
2019-10-28 cs.CL
Chart Question Answering: State of the Art and Future Directions
York University（约克大学）
信息可视化（如条形图和折线图）在分析数据和发现关键见解方面非常常见。人们经常分析图表来回答他们心中的问题。回答这些问题可能具有挑战性，因为它们通常需要大量的感知和认知努力。图表问答（CQA）系统通常将图表和自然语言问题作为输入，并自动生成答案以促进可视化数据分析。在过去的几年里，关于CQA任务的文献越来越多。本文系统地回顾了当前关于图表问答问题的研究现状。我们提供了一个分类识别问题域的几个重要方面，包括可能的输入和输出的任务，并讨论了建议的解决方案的优点和局限性。然后，我们总结了各种评估技术中使用的调查文件。最后，我们概述了开放的挑战和未来的研究机会有关的图表问答。
2022-05-21 cs.CL
Representations for Question Answering from Documents with Tables and Text
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
Web文档中的表是普遍存在的，可以直接用于回答Web上搜索的许多查询，从而促进了它们在问答中的集成。表格中提供的信息通常很简洁，很难用标准语言表示来解释。另一方面，表格通常出现在文本上下文中，例如描述表格的文章。使用来自项目的信息作为附加上下文可以潜在地丰富表表示。在这项工作中，我们的目标是改善问答从表中提炼表表示从周围的文本信息的基础上。我们还提出了一种有效的方法来结合文本和基于表格的预测，从完整的文档中的问答，获得显着的改进自然问题数据集。
2021-01-26 cs.CL
One-shot Learning for Question-Answering in Gaokao History Challenge
Shanghai Jiao Tong University（上海交通大学）
从大学入学考试（中国高考）中提取问题是一项具有挑战性的人工智能任务，因为它需要有效的表示来捕捉问题和答案之间复杂的语义关系。在这项工作中，我们提出了一个混合神经网络模型，从历史考试的深度问答任务。我们的模型采用了一个合作门控神经网络检索答案的协助下，额外的标签由神经图灵机labeler。实验结果表明，该标注器在训练集较小的情况下工作良好，门控机制在获取冗长答案的语义表示方面表现良好。问答实验表明，该模型在多个评估指标方面获得了显著的性能增益。
2018-06-24 cs.CL
CS1QA: A Dataset for Assisting Code-based Question Answering in an Introductory Programming Course
KAIST（韩国科学技术院）
我们介绍了CS1QA，一个数据集的基于代码的问答在编程教育领域。CS1QA由9，237个问答对组成，这些问答对是从使用Python的入门编程课程中的聊天日志中收集的，还有17，698个带代码的未注释聊天数据。每个问题都附有学生的代码，以及与回答问题相关的代码部分。我们精心设计了CS1QA的标注过程，并对收集到的数据集进行了详细的分析。CS1QA的任务是预测问题类型，给出问题和代码的相关代码片段，并从带注释的语料库中检索答案。几个基线模型的实验结果进行了报告和深入分析。CS1QA的任务要求模型理解代码和自然语言。这个独特的数据集可以用作教育环境中源代码理解和问答的基准。
2022-10-26 cs.CL
Equivariant and Invariant Grounding for Video Question Answering
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
视频问答（VideoQA）是回答关于视频的自然语言问题的任务。产生答案需要理解视频中视觉场景和语言语义之间的相互作用。然而，大多数领先的VideoQA模型都是黑箱，这使得回答过程背后的视觉语言对齐变得模糊不清。这种黑盒子的性质要求视觉上的可解释性，它揭示了“模型应该看视频的哪一部分来回答这个问题？”''.只有少数作品提出的视觉解释，在事后的方式，模拟目标模型的回答过程中，通过一个额外的方法。尽管如此，仿真努力忠实地展示回答过程中的视觉语言对齐。而不是事后的可解释性，我们专注于内在的可解释性，使回答过程透明。它的核心是将关键问题线索作为因果场景来产生答案，同时将与问题无关的信息作为环境场景。以因果关系看视频问答，我们设计了一个自我解释的框架，等变和不变的接地可解释的视频问答（EIGV）。具体而言，等变的接地鼓励的答案是敏感的语义变化的因果场景和问题;相反，不变的接地强制的答案是不敏感的环境场景的变化。EIGV通过将它们施加到回答过程中，能够区分因果场景和环境信息，并显式地呈现视觉-语言对齐。在三个基准数据集上进行的大量实验证明了EIGV在准确性和视觉可解释性方面优于领先基线。
2022-07-26 cs.CL
Toward Deconfounding the Influence of Entity Demographics for Question Answering Accuracy
Google Research（谷歌研究院）；University of Maryland（马里兰大学）
问答（QA）的目标是回答任何问题。然而，主要的QA数据集在性别、职业和国籍方面存在偏态分布。尽管存在这种偏差，但模型准确性分析显示，几乎没有证据表明基于性别或国籍的人的准确性较低;相反，职业（问题主题）的差异更大。但QA缺乏代表性本身可能隐藏偏见的证据，需要更好地代表全球多样性的QA数据集。
2021-09-10 cs.CL
Medicines Question Answering System, MeQA
Agencia Española de Medicamentos y Productos Sanitarios (AEMPS)（西班牙药品和健康产品局）
在本文中，我们提出了第一个系统，在西班牙能够回答有关药物供人类使用的问题，称为MeQA（药品问答），由西班牙药品和健康产品局（AEMPS，其西班牙语的首字母缩写）创建的一个项目。提供医疗帮助的在线服务大幅增加，主要是由于COVID-19导致的当前疫情。例如，Doctoralia、Savia或SaludOnNet等网站提供Doctor Answers类型的咨询，患者或用户可以向医生和专家发送问题，并在24小时内收到答案。收到的许多问题都与人用药品有关，大多数问题都可以通过传单得到解答。因此，像MeQA这样能够自动回答这类问题的系统可以减轻这些网站的负担，对这些患者来说也很有用。
2021-11-04 cs.CL
Question Answering on Freebase via Relation Extraction and Textual Evidence
Peking University（北京大学）；University of Edinburgh（爱丁堡大学）；IBM China Research Lab（IBM中国研究实验室）
现有的基于知识的问答系统通常依赖于小的带注释的训练数据。虽然像关系抽取这样的浅层方法对数据稀缺性是鲁棒的，但它们的表达能力不如像语义解析这样的深层含义表示方法，因此无法回答涉及多个约束的问题。在这里，我们减轻这个问题，授权关系抽取方法与维基百科的额外证据。我们首先提出了一个基于神经网络的关系提取器从Freebase检索候选答案，然后推断维基百科来验证这些答案。在WebQuestions问答数据集上的实验表明，该方法的F1达到了53.3%，比现有方法有了很大的提高。
2016-06-09 cs.CL
JDocQA: Japanese Document Question Answering Dataset for Generative Language Models
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）；ATR（ATR（先进电信研究所））
本文提出JDocQA，一个包含5,504份PDF文档和11,600个日语问答实例的大规模日语文档问答数据集，要求同时利用视觉与文本信息，并通过纳入不可回答问题来抑制大语言模型的幻觉生成。
2024-03-28 cs.CL
Ensembling Strategies for Answering Natural Questions
IBM Research AI（IBM研究AI）
当今许多顶级问答系统都利用集成来提高其在斯坦福问答数据集（SQuAD）和自然问题（NQ）挑战等任务上的性能。不幸的是，这些系统中的大多数都没有公布他们在排行榜提交中使用的集成策略。在这项工作中，我们研究了一些集成技术，并展示了一种策略，该策略将NQ开发集上的简短答案的F1得分提高了2.3个F1点，超过了我们的单一模型（比以前的SOTA高出1.9个F1点）。
2019-11-06 cs.CL
Studio Ousia's Quiz Bowl Question Answering System
Studio Ousia（Studio Ousia公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Keio University（庆应义塾大学）
在本章中，我们描述了我们的问答系统，这是在第三十一届神经信息处理系统（NIPS）年会上的人机问答（HCQA）竞赛中获胜的系统。比赛要求参与者解决一个被称为问答碗的模拟问答任务。为了解决这个问题，我们使用两个新的神经网络模型，并结合这些模型与传统的信息检索模型，使用监督机器学习模型。我们的系统在竞赛中提交的系统中取得了最佳性能，并在与六位顶级人类测验专家的比赛中大获全胜。
2018-03-23 cs.CL
Question Answering on Knowledge Bases and Text using Universal Schema and Memory Networks
University of Edinburgh（爱丁堡大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
现有的问答方法从知识库或原始文本中推断答案。虽然知识库（KB）方法擅长回答组合问题，但它们的性能往往受到知识库不完整性的影响。相反，Web文本包含了数百万个KB中不存在的事实，但是以非结构化的形式存在。{ \it Universal schema}可以通过将结构化知识库和非结构化文本对齐到一个公共嵌入空间来支持对它们的联合进行推理。本文将通用模式扩展到自然语言问答系统中，采用\emph{memory networks}处理文本和知识库相结合的大量事实。我们的模型可以在问答对上以端到端的方式进行训练。在\spades填空问答数据集上的评价结果表明，利用通用模式进行问答比单独使用知识库或文本要好。该模型的性能也优于当前最先进的8.5 $F_1$点。\footnote{Code and data available in \url{https://rajarshd.github.io/TextKBQA}}
2017-04-27 cs.CL
SelQA: A New Benchmark for Selection-based Question Answering
Emory University（埃默里大学）
本文提出了一种新的基于选择的问答数据集SelQA。该数据集由众包生成的问题和句子长度答案组成，这些答案来自英文维基百科中最流行的十个主题。我们引入了一个语料库注释方案，该方案通过明确旨在减少问题和答案之间的单词共现来增强大型，多样化和具有挑战性的数据集的生成。我们的注释计划是由一系列的众包任务，以期更有效地利用众包在不同领域的问答数据集的创建。对几个系统在答案句子选择和答案触发任务方面进行了比较，为未来的工作提供了强有力的基线结果以供改进。
2016-10-28 cs.CL
Prompting-based Synthetic Data Generation for Few-Shot Question Answering
University of Stuttgart（斯图加特大学）；IBM Research Zurich（IBM苏黎世研究院）
针对少样本问答数据标注成本高、领域适配性差的问题，提出利用Prompting框架基于大语言模型生成合成数据，验证其任务无关知识可超越预训练/微调范式，在多数据集少样本问答上性能优于现有最优方法。
2024-05-15 cs.CL
Question-Aware Memory Network for Multi-hop Question Answering in Human-Robot Interaction
National University of Defense Technology（国防科技大学）；Charles Darwin University（查尔斯·达尔文大学）；Waseda University（早稻田大学）
知识图问答是智能人机交互中的一项重要技术，其目的是利用已知的知识图谱自动回答人类自然语言问题。对于复杂度和多样性较高的多关系问题，在推理步骤中，问题的表征对三元组的选择具有不同的优先级。针对现有模型将问题作为一个整体，忽略了问题中的优先级信息的问题，提出了一种面向多跳问答的问题感知记忆网络QA2MN，在推理过程中及时更新对问题的关注度。此外，我们将图的上下文信息加入到知识图谱嵌入模型中，以增加实体和关系的表示能力。我们使用它来初始化QA2MN模型，并在训练过程中对其进行微调。我们在PathQuestion和WorldCup 2014上评估了QA2MN，这是两个复杂多跳问答的代表性数据集。结果表明，QA2MN在两个数据集上都达到了最先进的Hits@1准确率，这验证了我们模型的有效性。
2021-04-27 cs.CL
RuBQ: A Russian Dataset for Question Answering over Wikidata
ITMO University（ITMO大学）；JetBrains Research（JetBrains研究院）；Ural Federal University（乌拉尔联邦大学）
介绍了第一个俄语知识库问答（KBQA）数据集RuBQ。高质量的数据集包括1，500个不同复杂度的俄语问题，它们的英语机器翻译，对维基数据的SPARQL查询，参考答案，以及包含俄语标签实体的三元组的维基数据样本。数据集的创建始于在线测验中的大量问答对。这些数据经过自动过滤、群体辅助实体链接、自动生成SPARQL查询以及随后的内部验证。
2020-05-21 cs.CL
What do Models Learn from Question Answering Datasets?
Amazon Alexa（亚马逊 Alexa）
虽然模型在SQuAD等流行的问答（QA）数据集上已经达到了超人的性能，但它们在问答本身的任务上还没有超过人类。在本文中，我们通过在五个数据集上评估基于BERT的模型来研究模型是否正在从QA数据集学习阅读理解。我们评估模型对域外示例的可推广性，对缺失或不正确数据的响应以及处理问题变化的能力。我们发现，没有一个单一的数据集是强大的，我们所有的实验，并确定在数据集和评估方法的缺点。根据我们的分析，我们提出了建议，以建立未来的QA数据集，更好地评估问答通过阅读理解的任务。我们还在https://github.com/amazon-research/qa-dataset-converter上发布了将QA数据集转换为共享格式的代码，以便更轻松地进行实验。
2020-10-13 cs.CL
Will this Question be Answered? Question Filtering via Answer Model Distillation for Efficient Question Answering
Amazon Alexa AI（亚马逊 Alexa 人工智能）
在本文中，我们提出了一种新的方法来提高效率的问答（QA）系统过滤掉的问题，将不会回答他们。这是基于一个有趣的新发现：最先进的QA系统的答案置信度分数可以通过仅使用输入问题文本的模型很好地近似。这使得能够抢先过滤由于其答案置信度分数低于系统阈值而未被系统回答的问题。具体来说，我们通过提取基于transformer的回答模型来学习基于transformer的问题模型。我们在三个流行的QA数据集和一个工业QA基准测试上的实验表明，我们的问题模型能够很好地近似目标QA系统的精度/召回曲线。这些问题模型在用作过滤器时，可以有效地权衡QA系统的较低计算成本以获得较低的召回率，例如，计算量减少约60%，而召回率仅损失约3-4%。
2021-09-14 cs.CL
Self-Teaching Machines to Read and Comprehend with Large-Scale Multi-Subject Question-Answering Data
Tencent AI Lab（腾讯AI实验室）；Cornell University（康奈尔大学）
尽管最近在该领域的研究很多，但仍然不清楚主题领域问答数据是否对机器阅读理解（MRC）任务有用。在本文中，我们调查这个问题。我们收集了一个大规模的多主题多项选择问答数据集ExamQA，并使用不完整和嘈杂的片段返回的Web搜索引擎作为相关的上下文为每个问答实例转换成一个弱标记的MRC实例。然后，我们提出了一个自我教学的范例，以更好地使用生成的弱标记的MRC实例，以改善目标MRC任务。实验结果表明，在最先进的MRC基线上，我们可以在多项选择MRC数据集C^3上获得+5.1%的准确率，在提取MRC数据集CMRC 2018上获得+3.8%的精确匹配，证明了我们框架的有效性以及大规模主题领域问答数据对不同类型的机器阅读理解任务的有用性。
2021-04-06 cs.CL
Answering Conversational Questions on Structured Data without Logical Forms
Google Research（谷歌研究院）
我们提出了一种新的方法来回答基于结构化对象（如知识库或表）的顺序问题，而不使用逻辑形式作为中间表示。我们使用基于Transformer架构的图神经网络模型将表编码为图。然后使用指针网络从编码图中选择答案。此模型适用于处理围绕结构化数据的会话，其中选择问题答案的注意力机制也可用于解析会话引用。我们证明了这种方法的有效性与竞争的结果顺序问答（SQA）任务（Iyyer等人，2017年）。
2019-08-30 cs.CL
Query Refinement Prompts for Closed-Book Long-Form Question Answering
Google Research（谷歌研究院）
大语言模型（LLM）已被证明在回答问题和生成长篇文本方面表现良好，无论是在Few-Shot封闭式设置中。虽然前者可以使用众所周知的评价指标进行验证，但后者很难评价。我们通过同时执行两个任务来解决评估长形式输出的困难--执行需要长形式答案的问答。这些问题往往是多方面的，即，它们可能具有模糊性和/或需要来自多个来源的信息。为此，我们定义了查询细化提示，鼓励LLM明确表达问题中的多面性，并生成涵盖问题多个方面的长格式答案。我们在两个长形式的问答数据集ASQA和AQuAMuSe上的实验表明，使用我们的提示可以让我们在封闭的书本设置中超越完全微调的模型，并实现与检索然后生成的开放书本模型相当的结果。
2022-10-31 cs.CL
Comprehension Based Question Answering using Bloom's Taxonomy
SRI International（斯坦福国际研究院）；Rutgers University（罗格斯大学）
当前预训练的语言模型具有大量知识，但是使用这些知识的能力更有限。Bloom's Taxonomy通过对理解技能进行分类，帮助教育工作者教会孩子如何使用知识，因此我们用它来分析和提高大型预训练语言模型的理解技能。我们的实验专注于zero-shot问答，使用分类法来提供邻近的上下文，帮助模型通过与这些问题相关来回答问题。我们表明，以这种方式定位上下文可以提高4个流行的常识问答数据集的性能。
2021-06-08 cs.CL
Question Answering with Subgraph Embeddings
Facebook（脸书）
本文提出了一个系统，学习回答问题的广泛的主题，从知识库使用一些手工制作的功能。我们的模型学习单词和知识库成分的低维嵌入;这些表示用于对候选答案的自然语言问题进行评分。训练我们的系统，使用对问题和结构化的表示，他们的答案，和对问题的释义，产生竞争力的结果在竞争力的基准文献。
2014-09-04 cs.CL
An Answer Verbalization Dataset for Conversational Question Answerings over Knowledge Graphs
University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；University of Siegen（锡根大学）
我们引入了一个新的数据集会话问答的知识图谱（KG）与口头回答。基于KGs的问答目前主要集中在单轮问题（KGQA）或多轮会话式问答（ConvQA）的答案生成上。然而，在现实世界的场景中（例如，语音助理，如Siri，Alexa和Google Assistant），用户更喜欢口头回答。本文通过扩展现有的ConvQA数据集，使用多个释义的口头回答，为最先进的技术做出了贡献。我们用五个序列到序列模型进行实验，在保持语法正确性的同时生成答案响应。我们还执行了一个错误分析，详细说明了模型在指定类别中的错误预测率。我们提出的数据集扩展与回答语言化是公开的，其使用更广泛的实用程序的详细文档。
2022-08-13 cs.CL
Technical report on Conversational Question Answering
ZhuiYi Technology（追一科技）
会话问答是一项具有挑战性的任务，因为它需要了解会话历史。在这个项目中，我们提出了一个新的系统RoBERTa + AT +KD，它涉及理性标记多任务，对抗训练，知识蒸馏和语言后处理策略。在没有数据增强的情况下，我们的单一模型在CoQA测试集上达到90.4（F1），比当前最先进的单一模型高出2.6%F1。
2019-09-24 cs.CL
Learning Question-Guided Video Representation for Multi-Turn Video Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Google AI（谷歌人工智能）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Alexa AI（亚马逊Alexa人工智能）
理解和对话动态场景是人工智能智能体的关键能力之一，它可以在环境中导航并向人类传达有用的信息。视频问答是这种人工智能与人类交互的特定场景，其中代理对关于动态场景的视频的问题生成自然语言响应。从通常提供补充信息的多个模态中提取特征是视频问答的挑战性方面之一。此外，问题通常只涉及视频的一小部分，因此使用递归神经网络对整个视频序列进行编码在计算上效率不高。我们提出的问题引导的视频表示模块有效地生成由问题中的每个单词引导的令牌级视频摘要。然后将学习到的表征与问题融合以生成答案。通过对视听场景感知对话（AVSD）数据集的实证评估，我们提出的模型在单轮和多轮问答中的几个自动自然语言生成评估指标上达到了最先进的性能。
2019-07-31 cs.CL
AccurateRAG: A Framework for Building Accurate Retrieval-Augmented Question-Answering Applications
Qualcomm AI Research（高通人工智能研究）
AccurateRAG通过高效流程和本地构建能力，在问答任务中实现更高性能和新状态的SOTA表现。
2026-03-03 cs.CL
Pregnant Questions: The Importance of Pragmatic Awareness in Maternal Health Question Answering
University of Maryland（马里兰大学）
针对母婴健康问答中隐含错误或有害假设的问题，本文构建含500个问题、2,727条语用推理的数据集，并证明将语用推理融入QA流程可提升回答完整性、减少有害观念传播。
2024-04-02 cs.CL
Looking Under the Hood : Tools for Diagnosing your Question Answering Engine
在本文中，我们分析了两个问答任务：TREC-8问答任务和一套阅读理解考试。首先，我们表明，Q/A系统的表现更好时，每个问题有多个答案的机会。接下来，我们分析了两个子问题的常见方法：用于答案句子识别的术语重叠和用于简短答案提取的答案类型。我们提出了一般的工具来分析这些子问题的技术的优势和局限性。我们的研究结果量化了术语重叠和答案类型的限制，以区分竞争的答案候选人。
2001-07-03 cs.CL
MCQA: Multimodal Co-attention Based Network for Question Answering
University of Maryland（马里兰大学）
我们提出了MCQA，一个基于学习的多模态问答算法。MCQA明确地融合和对齐多模态输入（即文本、音频和视频），这形成了查询（问题和答案）的上下文。我们的方法融合并在此背景下调整问题和答案。此外，我们使用的概念的共同注意力进行跨模态对齐和多模态上下文查询对齐。我们的上下文查询对齐模块将多模态上下文和查询的相关部分相互匹配，并将它们对齐，以提高整体性能。我们评估的性能MCQA社会智商，多模态问答的基准数据集。我们比较我们的算法与以前的方法的性能，并观察到4- 7%的准确性提高。
2020-04-25 cs.CL
Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of California San Diego（加州大学圣地亚哥分校）
虽然通过简单的事实问答在文本理解方面已经有了实质性的进展，但是对话语的更全面的理解仍然是一个主要的挑战（Dunietz等人，2020年）。有人在阅读文本时批判性地反思文本，会提出好奇心驱动的，通常是开放式的问题，这些问题反映了对内容的深刻理解，需要复杂的推理来回答（Ko等人，2020; Westera等人，2020年）。建立和评估这种类型的话语理解模型的一个关键挑战是缺乏注释数据，特别是因为收集这些问题的答案需要注释者的高认知负荷。本文提出了一种新的范式，使可扩展的数据汇集针对新闻文件的理解，通过话语的镜头看这些问题。由此产生的语料库，DCQA（话语理解的问答），捕捉话语和句子之间的语义联系的形式自由，开放式的问题。在我们对Ko等人（2020）的问题进行注释的评估集上，我们表明DCQA为回答开放式问题提供了有价值的监督。我们还设计了预训练方法，利用现有的问答资源，并使用合成数据，以适应无法回答的问题。
2022-10-17 cs.CL
Question answering using deep learning in low resource Indian language Marathi
Pillai College of Engineering（皮莱工程学院）
本文针对低资源马拉地语问答，比较并微调MuRIL、MahaBERT和IndicBERT等模型，发现MuRIL在阅读理解数据集上表现最佳，EM为0.64、F1为0.74。
2023-09-27 cs.CL
Secret-Keeping in Question Answering
University of Maryland（马里兰大学）
现有的问题回答研究集中在无法回答的问题，总是提供一个答案时，系统可以\dots，但如何的情况下，系统{ \bf不应该}回答一个问题。这可能是为了保护敏感用户或敏感信息。许多模型在敌对用户的询问下暴露敏感信息。我们试图确定是否有可能教一个问答系统保持一个特定的事实秘密。我们设计并实现了一个概念验证架构，并通过我们的评估确定，虽然可能，但未来的研究有许多方向，以减少系统偏执（误报），信息泄漏（漏报），并将工作的实施扩展到更复杂的问题，在信息聚合的情况下保持保密性。
2023-03-16 cs.CL
Question Answering in a Natural Language Understanding System Based on Object-Oriented Semantics
Institute of Cybernetics of NAS of Ukraine（乌克兰国家科学院控制论研究所）
提出了一种面向文本信息输入和逻辑处理的计算机系统中的问答算法。所考虑的知识域是人的社会行为。该系统的数据库包括自然语言句子的内部表示和补充信息。回答{ \it Yes}或{ \it No}是针对一般问题形成的。含有疑问词或疑问词组的特殊疑问句可以用来确定主语、宾语、地点、时间、原因、目的和行为或事件的方式。答案生成基于人、组织、机器、事物、地点和时间的识别算法。所提出的问答算法可以在与文本处理（犯罪学、商业操作、医学、文档系统）密切相关的信息系统中实现。
2011-11-18 cs.CL
