Domain-agnostic Question-Answering with Adversarial Training
Maru（42Maru）；Samsung Research（三星研究院）
在深度学习中，在不进行微调的情况下使模型适应新的领域是一个具有挑战性的问题。在本文中，我们利用对抗训练框架的领域泛化在问答（QA）任务。我们的模型包括一个传统的QA模型和一个QA模型。训练以对抗的方式进行，两个模型不断竞争，因此QA模型可以学习域不变特征。我们在MRQA共享任务2019中应用了这种方法，并显示出比基线模型更好的性能。
2019-10-22 cs.CL
Open-Domain Conversational Question Answering with Historical Answers
National Taiwan University（国立台湾大学）
开放域会话式问答可以被看作两个任务：段落检索和会话式问答，其中前者依赖于从大型语料库中选择候选段落，后者需要更好地理解问题并结合上下文来预测答案。本文提出了ConvADR-QA，利用历史答案来提高检索性能，并进一步实现更好的回答性能。在我们提出的框架中，检索器使用师生框架，以减少噪音从以前的回合。我们在基准数据集OR-QuAC上的实验表明，我们的模型在提取式和生成式读者设置中的表现优于现有基线，很好地证明了开放域会话问答的历史答案的有效性。
2022-11-17 cs.CL
AccurateRAG: A Framework for Building Accurate Retrieval-Augmented Question-Answering Applications
Qualcomm AI Research（高通人工智能研究）
AccurateRAG通过高效流程和本地构建能力，在问答任务中实现更高性能和新状态的SOTA表现。
2026-03-03 cs.CL
Semantic Parsing to Probabilistic Programs for Situated Question Answering
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
情境问答是回答有关环境（如图像或图表）的问题。这个问题需要使用背景知识来联合解释问题和环境以选择正确答案。我们提出了解析概率程序（P3），一种新的情景问答模型，可以使用背景知识和全球功能的问题/环境的解释，同时保留有效的近似推理。我们的主要见解是把语义解析作为概率程序，执行非确定性和其可能的执行代表环境的不确定性。我们在一个新的公开发布的5000个科学图表问题的数据集上评估了我们的方法，优于几个有竞争力的经典和神经基线。
2016-09-24 cs.CL
ParaShoot: A Hebrew Question Answering Dataset
The Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
希伯来语的NLP研究主要集中在形态学和语法上，在这些领域，有丰富的注释数据集，这些数据集都是以通用的解释为精神的。然而，语义数据集供不应求，阻碍了希伯来语NLP技术发展的关键进展。在这项工作中，我们提出了ParaShoot，第一个问答数据集在现代希伯来语。该数据集遵循SQuAD的格式和众包方法，包含大约3000个注释示例，与其他低资源语言的问答数据集类似。我们使用最近发布的BERT风格的希伯来语模型提供了第一个基线结果，表明这项任务还有很大的改进空间。
2021-09-23 cs.CL
Medical Question Understanding and Answering with Knowledge Grounding and Semantic Self-Supervision
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
当前的医疗问答系统难以处理由患者提交的长的、详细的和非正式措辞的问题，称为消费者健康问题（CHQ）。为了解决这个问题，我们介绍了一个医疗问题的理解和回答系统的知识基础和语义自我监督。我们的系统是一个管道，首先总结了一个很长的，医疗，用户写的问题，使用监督总结损失。然后，我们的系统执行两步检索以返回答案。该系统首先将总结的用户问题与来自可信医学知识库的FAQ进行匹配，然后从相应的答案文档中检索固定数量的相关句子。在没有问题匹配或答案相关性标签的情况下，我们设计了3个新颖的，自我监督和语义引导的损失。我们评估我们的模型对两个强大的检索为基础的问答基线。评估人员提出自己的问题，并根据相关性对我们的基线和自己的系统检索到的答案进行评分。他们发现，我们的系统检索更多相关的答案，同时实现速度快20倍。我们的自我监督损失也有助于总结器在ROUGE和人类评估指标中获得更高的分数。我们发布代码以鼓励进一步的研究。
2022-09-30 cs.CL
SCITAT: A Question Answering Benchmark for Scientific Tables and Text Covering Diverse Reasoning Types
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；National University of Singapore（新加坡国立大学）
针对现有科学问答数据集推理类型有限且忽视表格与文本关联的问题，提出SciTaT基准，并设计结合多种推理方法的CaR基线，在SciTaT上平均提升12.9%。
2024-12-16 cs.CL
MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answering
Apple Inc.（苹果公司）
跨语言建模的进展取决于具有挑战性的、现实的和多样化的评估集。我们引入多语言知识问答（MKQA），一个开放域的问答评估集，包括10k个问答对，在26种不同类型的语言（共260k个问答对）。答案基于精心策划的、独立于语言的数据表示，使结果在不同语言之间具有可比性，并且独立于特定语言的段落。该数据集拥有26种语言，为评估问答提供了迄今为止最广泛的语言。我们基准测试了各种最先进的方法和基线，用于生成和提取问答，在自然问题上进行训练，在zero shot和翻译设置中。结果表明，即使在英语中，该数据集也具有挑战性，尤其是在低资源语言中
2021-08-17 cs.CL
Exploring Question Understanding and Adaptation in Neural-Network-Based Question Answering
University of Science and Technology of China（中国科学技术大学）；National Research Council Canada（加拿大国家研究委员会）；iFLYTEK Research（科大讯飞研究院）；York University（约克大学）
在过去的几年里，人们对探索基于神经网络的机器理解（MC）和问答（QA）模型产生了浓厚的兴趣。在本文中，我们接近的问题密切建模问题的神经网络框架。我们首先引入句法信息来帮助编码问题。然后，我们将不同类型的问题和它们之间共享的信息视为一个适应任务，并为它们提出了适应模型。在斯坦福大学的问答数据集（SQuAD），我们表明，这些方法可以帮助获得更好的结果超过竞争基线。
2017-03-25 cs.CL
One-shot Learning for Question-Answering in Gaokao History Challenge
Shanghai Jiao Tong University（上海交通大学）
从大学入学考试（中国高考）中提取问题是一项具有挑战性的人工智能任务，因为它需要有效的表示来捕捉问题和答案之间复杂的语义关系。在这项工作中，我们提出了一个混合神经网络模型，从历史考试的深度问答任务。我们的模型采用了一个合作门控神经网络检索答案的协助下，额外的标签由神经图灵机labeler。实验结果表明，该标注器在训练集较小的情况下工作良好，门控机制在获取冗长答案的语义表示方面表现良好。问答实验表明，该模型在多个评估指标方面获得了显著的性能增益。
2018-06-24 cs.CL
SelQA: A New Benchmark for Selection-based Question Answering
Emory University（埃默里大学）
本文提出了一种新的基于选择的问答数据集SelQA。该数据集由众包生成的问题和句子长度答案组成，这些答案来自英文维基百科中最流行的十个主题。我们引入了一个语料库注释方案，该方案通过明确旨在减少问题和答案之间的单词共现来增强大型，多样化和具有挑战性的数据集的生成。我们的注释计划是由一系列的众包任务，以期更有效地利用众包在不同领域的问答数据集的创建。对几个系统在答案句子选择和答案触发任务方面进行了比较，为未来的工作提供了强有力的基线结果以供改进。
2016-10-28 cs.CL
Multi-Field Structural Decomposition for Question Answering
Emory University（埃默里大学）
本文提出了一种简单而新颖的方法，问答任务使用结构分解。我们的系统首先从文本中生成语法和语义树等语言结构，将其分解为多个字段，然后对每个字段中的术语进行索引。对于每个问题，它将问题分解为多个字段，测量每个字段与索引字段的相关性得分，然后根据与字段关联的相关性得分和权重对所有文档进行排名，其中权重通过统计建模来学习。我们的最终模型提供了超过40%的基线方法，使用简单的搜索检测包含答案的文件的绝对改善。
2016-04-04 cs.CL
CUS-QA: Local-Knowledge-Oriented Open-Ended Question Answering Dataset
Charles University（查尔斯大学）；University of Oslo（奥斯陆大学）
CUS-QA数据集旨在评估开放性区域问答性能，通过文本和视觉模态问题测试，揭示LLM在不同任务上的准确率差异及评估指标的有效性。
2026-02-02 cs.CL
Phrase-Indexed Question Answering: A New Challenge for Scalable Document Comprehension
我们正式目前的问答任务的一个新的模块化的变体，通过执行完全独立的文件编码器的问题编码器。这种提法解决了机器理解的一个关键挑战，需要一个独立的表示文件的话语。它还带来了显著的可扩展性优势，因为文档中的答案候选短语的编码可以预先计算并离线索引以进行高效检索。我们对新任务的基线模型进行了实验，这些模型达到了合理的准确性，但显着低于无约束的QA模型。我们邀请QA研究社区参与短语索引问答（PIQA，pika）以缩小差距。排行榜位于：nlp.cs.washington.edu/piqa
2018-09-26 cs.CL
HAS-QA: Hierarchical Answer Spans Model for Open-domain Question Answering
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文涉及开放域问答（即，OpenQA）。近年来，一些研究将这一问题看作是一个阅读理解任务，并将成功的阅读理解模型直接应用于这一任务，但这些模型在阅读理解任务中的表现并不如在阅读理解任务中的表现。我们认为，RC的观点忽略了OpenQA任务的三个特点：1）数据汇集中包含许多没有答案跨度的段落; 2）一个给定段落中可能存在多个答案跨度; 3）答案跨度的结束位置与开始位置相关。在本文中，我们首先提出了一个新的概率公式的OpenQA，基于一个三级层次结构，即~问题水平、段落水平和答案跨度水平。然后，层次答案跨度模型（HAS-QA）的设计，以捕捉每个概率。HAS-QA有能力解决上述三个问题，在公开的OpenQA数据集上的实验表明，它显著优于传统的RC基线和最近的OpenQA基线。
2019-01-12 cs.CL
CHIME: Cross-passage Hierarchical Memory Network for Generative Review Question Answering
Department of Computer Science, University of Warwick, UK（英国华威大学计算机科学系）
我们介绍了CHIME，一个跨通道层次记忆网络的问答（QA）通过文本生成。它扩展了XLNet，引入了一个由两个组件组成的辅助记忆模块：收集交叉证据的上下文记忆和作为缓冲区不断完善生成的答案的答案记忆。从经验上讲，我们展示了所提出的架构在多通道生成QA中的有效性，表现优于最先进的基线，具有更好的语法结构良好的答案，并在解决AmazonQA评论数据集的问题时提高了精度。一个额外的定性分析揭示了由内存模块引入的可解释性。
2020-11-01 cs.CL
Learning Evidence Sufficiency Boundaries for Selective Answering in Grounded Multi-Hop QA
该研究针对多跳问答的选择性回答问题，提出证据充分性边界训练框架，在Qwen2.5-3B-Instruct适配后，提升了边界定位与无依据答案率表现，同时保持问答效用。
2026-09-03 cs.CL
MULTITAT: Benchmarking Multilingual Table-and-Text Question Answering
Harbin Institute of Technology（哈尔滨工业大学）
针对现有TATQA数据集仅限英语的局限，提出首个多语言TATQA数据集MULTITAT，涵盖10种语言，并开发基线模型Ours，实验显示非英语性能平均下降19.4%，Ours平均领先其他基线3.3。
2025-02-24 cs.CL
A Generative Approach to Question Answering
Microsoft（微软）
问答经历了从回答句的选择、关系问答到阅读理解的漫长历程。我们将注意力转移到生成式问答（gQA），通过学习生成答案来帮助机器阅读段落并回答问题。我们将问题框架为生成任务，其中编码器是一个网络，该网络对问题和段落之间的关系进行建模，并将其编码为向量，从而便于解码器直接形成答案的抽象。不能记住事实和重复是影响答案整体易读性的常见错误。为了解决这些问题，我们分别采用复制机制和覆盖向量的维护在我们的模型。我们在MS-MARCO上的结果证明了它比基线的优越性，我们还展示了我们在正确性和可读性方面改进的定性示例
2018-07-07 cs.CL
Evaluating Semantic Parsing against a Simple Web-based Question Answering Model
Tel-Aviv University（特拉维夫大学）
语义解析擅长分析复杂的自然语言，其中涉及对多个证据的组合和计算。然而，用于语义解析的数据集包含许多可以从单个Web文档中回答的事实问题。在本文中，我们提出了评估语义解析为基础的问答模型进行比较，他们的问答基线查询网页，并提取答案只从网页片段，没有访问目标知识库。我们在COMPLEXQUESTIONS上研究了这种方法，COMPLEXQUESTIONS是一个旨在关注组合语言的数据集，发现我们的模型获得了合理的性能（35 F1与最先进的41 F1相比）。我们在分析中发现，我们的模型在涉及连词的复杂问题上表现良好，但在涉及关系组合和最高级的问题上表现不佳。
2017-07-14 cs.CL
Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering
Amazon Alexa AI（亚马逊Alexa人工智能部门）
我们介绍了Mintaka，一个复杂的，自然的，多语言的数据集，旨在试验端到端的问答模型。Mintaka由20，000个英语问答对组成，使用维基数据实体进行注释，并翻译成阿拉伯语，法语，德语，印地语，意大利语，日语，葡萄牙语和西班牙语，共180，000个样本。Mintaka包括8种复杂的问题，包括最高级，交叉和多跳问题，这些问题自然是从人群工作者中引出的。我们在Mintaka上运行了基线，其中最好的一个在英语中达到了38%的命中率，在多语言中达到了31%的命中率，这表明现有的模型还有改进的空间。我们在https://github.com/amazon-research/mintaka发布Mintaka。
2022-10-04 cs.CL
R2-D2: A Modular Baseline for Open-Domain Question Answering
Brno University of Technology（布尔诺理工大学）
本文提出了一种新的四阶段开放域QA流水线R2-D2（Rank两次，reaD两次）。该管道由检索器、通道重排序器、提取读取器、生成读取器和聚合来自所有系统组件的最终预测的机制组成。我们在三个开放领域的QA数据集上展示了它的实力：NaturalQuestions，TriviaQA和EfficientQA，在前两个数据集上超过了最先进的水平。我们的分析表明：（i）组合提取读取器和生成读取器产生高达5个精确匹配的绝对改进，并且它是具有不同参数的相同模型的后验平均集合的至少两倍有效，（ii）具有较少参数的提取读取器可以匹配生成读取器在提取QA数据集上的性能。
2021-09-08 cs.CL cs.IR cs.LG
CS1QA: A Dataset for Assisting Code-based Question Answering in an Introductory Programming Course
KAIST（韩国科学技术院）
我们介绍了CS1QA，一个数据集的基于代码的问答在编程教育领域。CS1QA由9，237个问答对组成，这些问答对是从使用Python的入门编程课程中的聊天日志中收集的，还有17，698个带代码的未注释聊天数据。每个问题都附有学生的代码，以及与回答问题相关的代码部分。我们精心设计了CS1QA的标注过程，并对收集到的数据集进行了详细的分析。CS1QA的任务是预测问题类型，给出问题和代码的相关代码片段，并从带注释的语料库中检索答案。几个基线模型的实验结果进行了报告和深入分析。CS1QA的任务要求模型理解代码和自然语言。这个独特的数据集可以用作教育环境中源代码理解和问答的基准。
2022-10-26 cs.CL
Lattice CNNs for Matching Based Chinese Question Answering
Peking University（北京大学）；Lancaster University（兰卡斯特大学）；Tencent AI Lab（腾讯人工智能实验室）
短文本匹配往往面临着两个文本之间存在大量的词不匹配和表达差异的挑战，而在汉语等没有自然空间显式分词的语言中，这一问题将进一步加剧。本文提出了一种新的基于格的CNN模型（LCN），它利用词格中固有的多粒度信息，同时保持较强的处理噪声信息的能力，用于中文基于匹配的问答。我们在基于文档的问答和基于知识的问答任务上进行了广泛的实验，实验结果表明，LCN模型可以显著优于最先进的匹配模型和强基线，利用更好的能力，从词格输入中提取丰富但有区别的信息。
2019-02-25 cs.CL
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China（中国人民大学）；Tencent AI Lab（腾讯人工智能实验室）
基于嵌入的方法在知识库问答（KBQA）中很受欢迎，但目前很少有模型具有数值推理能力，因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架，特别是考虑到数值推理。我们在NSM（一种最先进的基于嵌入的KBQA模型）之上提出NumericalTransformer，以创建NT-NSM。为了实现更好的训练，我们提出了两个预训练任务，在两个生成的训练数据集上使用显式的面向数值的损失函数，以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明，在我们的训练算法的帮助下，NT-NSM具有数值推理技能，并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
在知识库上回答自然语言问题时，不同的问题组件和知识库方面扮演着不同的角色。然而，大多数现有的用于知识库问答（KBQA）的基于嵌入的方法忽略了问题和KB之间的微妙的相互关系（例如，实体类型、关系路径和上下文）。在这项工作中，我们建议通过一种新的双向注意记忆网络（BAMnet）直接对问题和知识库之间的双向交互流进行建模。不需要外部资源，只有很少的手工制作的功能，在WebQuestions基准，我们的方法显着优于现有的信息检索为基础的方法，并保持竞争力（手工制作）语义解析为基础的方法。此外，由于我们使用注意力机制，我们的方法提供了更好的解释性相比，其他基线。
2019-05-28 cs.CL
Can Question Rewriting Help Conversational Question Answering?
The Hong Kong University of Science and Technology（香港科技大学）
问题重写（QR）是会话问答（CQA）的一个子任务，旨在通过将问题重新表述为一个独立的形式，来缓解理解对话历史之间依赖关系的挑战。尽管看似合理，但几乎没有证据证明QR是CQA的缓解方法。为了验证QR在CQA中的有效性，我们研究了一种强化学习方法，该方法集成了QR和CQA任务，并且不需要针对目标CQA的相应QR数据集。然而，我们发现RL方法与端到端基线相当。我们提供了一个失败的分析，并描述了利用QR CQA的困难。
2022-04-13 cs.CL
ConRAG: Consensus-Driven Evidence Flow for Multi-Hop Question Answering
School of Computer Science, Wuhan University（武汉大学计算机学院）
提出ConRAG框架，通过共识驱动的多视角检索（关系、实体、文本信号）优化查询和语料库，显著提升多跳问答性能，在MuSiQue上创下新纪录。
2026-10-15 cs.CL
Modeling Semantics with Gated Graph Neural Networks for Knowledge Base Question Answering
Technische Universität Darmstadt（达姆施塔特工业大学）
知识库问答的大多数方法都是基于语义解析的。在本文中，我们解决的问题，学习向量表示复杂的语义分析，包括多个实体和关系。以前的工作主要集中在选择一个问题的正确的语义关系，而忽略了语义解析的结构：实体之间的连接和关系的方向。我们建议使用门控图神经网络来编码语义解析的图结构。我们在两个数据集上显示，图网络优于所有没有明确建模结构的基线模型。错误分析证实，我们的方法可以成功地处理复杂的语义分析。
2018-08-13 cs.CL
Cross-Lingual Open-Domain Question Answering with Answer Sentence Generation
Inria（法国国家信息与自动化研究所）；Amazon Alexa AI（亚马逊Alexa AI）
开放域生成式问答通过将文档级检索与答案生成相结合，在英语中取得了令人印象深刻的性能。这些方法，我们称之为GenQA，可以生成完整的句子，有效地回答事实和非事实问题。在本文中，我们将GenQA扩展到多语言和跨语言设置。为此，我们首先介绍GenTyDiQA，这是TyDiQA数据集的扩展，具有阿拉伯语，孟加拉语，英语，日语和俄语的格式良好和完整的答案。基于GenTyDiQA，我们设计了一个跨语言生成模型，该模型通过利用多种语言（包括与问题不同的语言）编写的段落来生成整句答案。我们的跨语言生成系统优于所有5种语言的答案句子选择基线和五种语言中三种语言的单语生成管道。
2022-12-19 cs.CL
Self-Teaching Machines to Read and Comprehend with Large-Scale Multi-Subject Question-Answering Data
Tencent AI Lab（腾讯AI实验室）；Cornell University（康奈尔大学）
尽管最近在该领域的研究很多，但仍然不清楚主题领域问答数据是否对机器阅读理解（MRC）任务有用。在本文中，我们调查这个问题。我们收集了一个大规模的多主题多项选择问答数据集ExamQA，并使用不完整和嘈杂的片段返回的Web搜索引擎作为相关的上下文为每个问答实例转换成一个弱标记的MRC实例。然后，我们提出了一个自我教学的范例，以更好地使用生成的弱标记的MRC实例，以改善目标MRC任务。实验结果表明，在最先进的MRC基线上，我们可以在多项选择MRC数据集C^3上获得+5.1%的准确率，在提取MRC数据集CMRC 2018上获得+3.8%的精确匹配，证明了我们框架的有效性以及大规模主题领域问答数据对不同类型的机器阅读理解任务的有用性。
2021-04-06 cs.CL
Is Graph Structure Necessary for Multi-hop Question Answering?
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
近年来，试图将文本建模为图结构，并引入图神经网络来处理它已成为许多NLP研究领域的一个趋势。在本文中，我们调查图结构是否是必要的多跳问答。我们的分析集中在HotpotQA上。我们构建了一个强大的基线模型，通过正确使用预训练模型，图结构可能不是多跳问答所必需的。指出图的结构和邻接矩阵都是与任务相关的先验知识，图的注意可以看作是自注意的一种特殊情况。实验和可视化分析表明，图的注意力或整个图的结构可以被自注意力或Transformers所取代。
2020-10-29 cs.CL
Guiding Extractive Summarization with Question-Answering Rewards
University of Central Florida（中佛罗里达大学）
在阅读时突出显示是人们跟踪文档的显著内容的自然行为。希望教一个提取式摘要器做同样的事情。然而，一个主要的障碍，监督摘要的发展是缺乏地面真相。提取单元的手动注释成本高昂，而通过自动对齐人类摘要和源文档来获取标签可能会产生较差的结果。在本文中，我们描述了一个新颖的框架来指导具有问答奖励的监督式提取摘要系统。我们认为，高质量的摘要应作为一个文件的替代品，以回答重要的问题，这样的问答对可以方便地从人类摘要。该系统学习促进信息丰富，流畅，并在问答时表现出竞争力的摘要。我们的结果与自动指标和人类评估员评估的强汇总基线报告的结果相比毫不逊色。
2019-04-04 cs.CL
MoqaGPT : Zero-Shot Multi-modal Open-domain Question Answering with Large Language Model
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
提出MoqaGPT框架，通过分而治之策略让大型语言模型分别从各模态检索提取答案并融合，在零样本多模态开放域问答任务上显著超越基线。
2023-10-20 cs.CL
Full-Time Supervision based Bidirectional RNN for Factoid Question Answering
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Collaborative Innovation Center of Novel Software Technology and Industrialization（软件新技术与产业化协同创新中心）；Nanjing University（南京大学）
近年来，双向递归神经网络（BRNN）已被广泛应用于问答（QA）任务，具有良好的性能。然而，大多数现有的BRNN模型提取的问题和答案的信息，直接使用池操作，以产生表示损失或相似度计算。因此，这些现有的模型没有在每个时间步上进行监督（损失或相似性计算），这将丢失一些有用的信息。本文提出了一种新的基于全时监督的BRNN模型（FTS-BRNN），它可以在每个时间步进行监督。在事实问答任务上的实验表明，我们的FTS-BRNN可以优于其他基线，以达到最先进的准确性。
2016-06-21 cs.CL
Expanding End-to-End Question Answering on Differentiable Knowledge Graphs with Intersection
Amazon Alexa AI（亚马逊 Alexa AI）
使用可微分知识图谱的端到端问答是一种很有前途的技术，它只需要弱监督，产生可解释的结果，并且是完全可微分的。该技术的先前实现（Cohen等人，2020年）专注于使用关系跟踪操作的单实体问题。在本文中，我们提出了一个模型，显式地处理多实体的问题，通过实施一个新的交集操作，确定两组实体之间的共享元素。我们发现，在两个数据集上，引入交集可以提高基线模型的性能，即WebWebWebsSP（69.6%至73.3% Hits@1）和ComplexWebQuestions（39.8%至48.7% Hits@1），特别是在WebWebsSP上，多实体问题的性能提高了14%以上，在ComplexWebQuestions上提高了19%。
2021-09-13 cs.CL
MemSum-DQA: Adapting An Efficient Long Document Extractive Summarizer for Document Question Answering
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
MemSum-DQA利用MemSum抽取式摘要器，通过前缀问题与类型实现文档问答，精确匹配提升9%，擅长子关系理解。
2023-10-10 cs.CL
SentryLine: Evidence-Grounded Question Answering over Evolving Documents in Oncology Care
Arizona State University（亚利桑那州立大学）；Mayo Clinic（梅奥诊所）；Jawaharlal Nehru Medical College（贾瓦哈拉尔·尼赫鲁医学院）
针对肿瘤护理中动态指南更新带来的问答挑战，提出SENTRYLINE系统，采用无向量分层RAG管道检索指南并生成带引用的角色特定答案，构建ASCOBENCH基准验证，在推理和角色特定问题上显著优于基线。
2026-09-09 cs.CL
Multi-Instance Learning for End-to-End Knowledge Base Question Answering
Alibaba Group（阿里巴巴集团）
端到端培训是知识库问答（KBQA）的一种流行方法。然而，现实世界的应用程序通常包含针对用户问题的不同质量的答案。平等对待用户问题的所有可用答案是不合适的。本文提出了一种基于多实例学习的新方法，通过在训练端到端KBQA模型时探索同一问题的答案之间的共识来解决噪声答案的问题。特别地，QA对被组织成具有动态实例选择和不同实例权重选项的袋。在培训期间，利用课程学习来选择实例包。在公共CQA数据集上，新方法显着提高了实体准确性和Rouge-L得分，超过了最先进的端到端KBQA基线。
2019-03-06 cs.CL
TutorialVQA: Question Answering Dataset for Tutorial Videos
University of Florida（佛罗里达大学）；Adobe Research（奥多比研究院）
尽管当前关于视频问答的可用数据集的数量很多，但仍然需要涉及多步骤和非事实答案的数据集。此外，依赖视频记录仍然是一个未充分探讨的话题。为了充分解决这个问题，我们提出了一个新的问答任务的教学视频，因为他们的冗长和叙事的性质。虽然以前的视频问答的研究都集中在生成一个简短的文本作为答案，给定的问题和视频剪辑，我们的任务的目的是确定一个跨度的视频片段作为一个答案，其中包含各种粒度的教学细节。这项工作的重点是有关图像编辑程序的截屏教程视频。我们引入了一个数据集TutorialVQA，由大约6,000个手动收集的三元组（视频，问题，答案跨度）组成。我们还提供了实验结果与几个基线算法使用的视频成绩单。结果表明，这项任务是具有挑战性的，并呼吁调查新的算法。
2020-05-30 cs.CL
LiveQA: A Question Answering Dataset over Sports Live
Key Laboratory of Computational Linguistics, MOE, Peking University（北京大学计算语言学教育部重点实验室）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；University of Washington（华盛顿大学）
在本文中，我们介绍了LiveQA，一个新的问答数据集构建的逐场直播。它包含了117，000道由人类评论员为超过1，670场NBA比赛撰写的多项选择题，这些问题来自中国虎扑（https：//nba.hupu.com/games）网站。从体育比赛的特点出发，LiveQA可以测试基于时间轴的直播的推理能力，这与现有的数据集相比具有挑战性。在LiveQA中，这些问题需要理解时间轴，跟踪事件或进行数学计算。我们的初步实验表明，该数据集引入了一个具有挑战性的问题，问答模型，和一个强大的基线模型只能达到53.1%的准确率，不能击败主导选项规则。我们发布了本文的代码和数据，以供将来的研究。
2020-10-01 cs.CL
Question Answering for Privacy Policies: Combining Computational and Legal Perspectives
Carnegie Mellon University（卡内基梅隆大学）；Penn State University（宾夕法尼亚州立大学）；Fordham Law School（福特汉姆法学院）
隐私政策是冗长而复杂的文件，用户难以阅读和理解，但它们对如何收集、管理和使用用户数据具有法律效力。理想情况下，我们希望让用户能够了解对他们重要的问题，并使他们能够有选择地探索这些问题。我们目前的PrivacyQA，语料库包括1750个问题的隐私政策的移动应用程序，以及超过3500个专家注释的相关答案。我们观察到，一个强大的神经基线在PrivacyQA上的表现比人类差了近0.3 F1，这表明未来系统还有相当大的改进空间。此外，我们使用这个数据集来阐明问题可回答性的挑战，对任何问答系统都有普遍的影响。PrivacyQA语料库为问答提供了一个具有挑战性的语料库，具有真正的现实效用。
2019-11-03 cs.CL
emrQA: A Large Corpus for Question Answering on Electronic Medical Records
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carle Illinois College of Medicine（伊利诺伊大学卡勒医学院）
我们提出了一种新的方法来生成特定领域的大规模问答（QA）数据集，通过重新利用现有的其他NLP任务的注释。我们展示了这种方法的一个实例，通过利用社区共享的i2b2数据集的各种NLP任务的临床笔记上的现有专家注释，为电子病历生成大规模QA数据集。由此产生的语料库（emrQA）有100万个问题逻辑形式和40万多个问答证据对。我们通过训练问题到逻辑形式和问题到答案映射的基线模型来描述数据集并探索其学习潜力。
2018-09-03 cs.CL
AmbigQA: Answering Ambiguous Open-domain Questions
Facebook AI Research（脸书人工智能研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
开放域问答固有的模糊性;特别是在探索新主题时，很难提出只有一个明确答案的问题。在本文中，我们介绍了AmbigQA，一个新的开放领域的问答任务，它涉及到找到每一个合理的答案，然后重写的问题，为每一个解决歧义。为了研究这项任务，我们构建了AmbigNQ，这是一个涵盖现有开放领域QA基准NQ-open中14，042个问题的数据集。我们发现NQ-open中超过一半的问题是模糊的，具有不同的模糊性来源，如事件和实体引用。我们还为AmbigQA提供了强大的基线模型，我们从结合NQ-open的弱监督学习中受益，这强烈表明我们的新任务和数据将支持未来的重大研究工作。我们的数据和基准可在https://nlp.cs.washington.edu/ambigqa上获得。
2020-10-05 cs.AI cs.CL
Generative Context Pair Selection for Multi-hop Question Answering
University of California, Irvine（加利福尼亚大学尔湾分校）；Amazon Web Services（亚马逊云服务）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
组合推理任务，如多跳问答，需要做出潜在的决定，以获得最终的答案，给定的问题。然而，众包数据集通常只捕获底层任务分布的一部分，这可能会在执行组合推理的模型中引起意想不到的偏差。此外，区分训练的模型利用这些偏差来获得更好的表现，而不需要学习正确的推理方式，因为它们不需要关注整个问题表示（条件变量）来估计答案的可能性。在这项工作中，我们提出了一个生成的上下文选择模型的多跳问答的原因如何给定的问题可能已经产生了一个上下文对。虽然与最先进的回答性能相当，但我们提出的生成通道选择模型在对抗性保留集上具有更好的性能（比基线高4.9%），这测试了模型的多跳推理能力的鲁棒性。
2021-04-18 cs.CL
Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了一个新的问题集，文本语料库和基线组装，以鼓励在先进的问答人工智能研究。这些共同构成了AI 2推理挑战（ARC），它需要比SQuAD或SNLI等以前的挑战更强大的知识和推理。ARC问题集被划分为挑战集和简单集，其中挑战集仅包含由基于检索的算法和词共现算法错误回答的问题。该数据集只包含自然的、小学的科学问题（为人类测试而编写），是此类公共领域中最大的集合（7，787个问题）。我们在挑战集上测试了几个基线，包括SQuAD和SNLI任务中的领先神经模型，发现没有一个能够显著优于随机基线，反映了这项任务的困难性质。我们还发布了ARC语料库，这是一个与任务相关的1400万个科学句子的语料库，以及测试的三个神经基线模型的实现。你的模型能做得更好吗？我们将ARC视为对社区的挑战。
2018-03-14 cs.AI cs.CL cs.IR
ParaQA: A Question Answering Dataset with Paraphrase Responses for Single-Turn Conversation
University of Bonn（波恩大学）；Zerotha Research（Zerotha研究机构）；Cerence GmbH（Cerence GmbH公司）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
本文提出了ParaQA，一个问答（QA）数据集与多个释义的反应，单轮会话的知识图谱（KG）。该数据集是使用半自动化框架创建的，该框架使用反向翻译等技术生成答案的各种释义。现有的用于在KG上的会话式问答（单轮/多轮）的数据集集中于问题释义并且仅提供最多一个答案口头化。然而，ParaQA包含5000个问答对，每个问题最少有两个，最多有八个独特的释义回答。我们用基线模型补充了数据集，并通过常用的指标（如BLEU和METEOR）说明了具有多个释义答案的优势。ParaQA数据集在一个持久的URI上公开提供，以便在研究社区中更广泛地使用和适应。
2021-03-13 cs.CL
ELI5: Long Form Question Answering
Facebook AI Research（脸书人工智能研究院）；LORIA（洛林信息学及其应用研究实验室）；NYU（纽约大学）；Google AI（谷歌人工智能）
我们介绍了第一个大型语料库的长形式的问答，一个任务，需要详细和深入的答案，开放式的问题。该数据集包括来自Reddit论坛“像我五岁一样解释”（ELI5）的27万个线程，其中一个在线社区提供了五岁儿童可以理解的问题的答案。与现有的数据集相比，ELI5包含需要多句回答的各种问题。我们提供了大量的Web文档来帮助回答这个问题。自动和人工评估表明，使用多任务目标训练的抽象模型优于传统的Seq2Seq，语言建模以及强大的提取基线。然而，我们的最佳模型与人类的表现仍有很大差距，因为评分员在超过86%的情况下更喜欢黄金答案，这为未来的改进留下了充足的机会。
2019-07-22 cs.CL
Knowledge Dependency Estimation for Reliable Question Answering
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；China Industrial Control Systems Cyber Emergency Response Team（中国工业控制系统网络应急响应团队）
提出Knot方法，通过子集级反事实监督和潜在依赖因子覆盖建模，估计黑盒问答模型对不同知识单元的敏感性，以识别关键知识依赖。
2026-05-27 cs.CL
QED: A Framework and Dataset for Explanations in Question Answering
Department of Linguistics, Stanford University（斯坦福大学语言学系）；Google Research（谷歌研究院）；Department of Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）
除了提供答案之外还提供对导致该答案的推理的解释的问答系统在可调试性、可扩展性和信任方面具有潜在的优点。为此，我们提出了QED，一个语言上知情的，可扩展的框架解释问答。QED解释根据形式语义概念（如指称平等、可证性和蕴涵）指定问题和答案之间的关系。我们描述并公开发布了一个基于Google Natural Questions数据集子集的QED解释的专家注释数据集，并报告了两个任务的基线模型-给出答案的事后解释生成，以及联合问答和解释生成。在联合设置中，一个有希望的结果表明，在相对少量的QED数据上训练可以提高问答。除了描述QED方法的正式的语言理论动机外，我们还描述了一项大型用户研究，该研究表明，QED解释的存在显着提高了未经训练的评分员发现强大的神经QA基线所犯错误的能力。
2020-09-08 cs.AI cs.CL
Confidently Wrong: Detecting Hallucinations in Financial Question Answering from LLM Internal States
St. John Fisher University（圣约翰费舍尔大学）
研究金融应用中LLMs自信却错误答案（自信幻觉）的检测，通过在残差流训练线性探测器并在FinQA和TAT-QA基准评估，发现探测器检测幻觉优势明显，可作为经济高效分类机制用于高风险金融应用答案审查。
2026-10-15 cs.CL
BioTABQA: Instruction Learning for Biomedical Table Question Answering
Arizona State University（亚利桑那州立大学）
表格式问答是一项重要但尚未被充分研究的任务。大多数现有的QA数据集都是非结构化的文本格式，只有少数使用表格作为上下文。据我们所知，没有一个TQA数据集存在于生物医学领域，在生物医学领域中，表格经常用于呈现信息。在本文中，我们首先策划了一个表问答数据集，BioTABQA，使用22个模板和上下文从生物医学教科书上的鉴别诊断。BioTABQA不仅可以用来教模型如何回答表格中的问题，还可以评估模型如何推广到看不见的问题，这是生物医学应用的一个重要场景。为了实现泛化评估，我们将模板分为17个训练和5个跨任务评估。然后，我们在BioTABQA上使用单任务和多任务学习开发了两个基线。此外，我们探讨了教学学习，最近的技术表现出令人印象深刻的概括性能。实验结果表明，在各种评估设置中，我们的预防调整模型的平均性能优于单任务和多任务基线约23%和约6%，更重要的是，预防调整模型在跨任务上优于基线约5%。
2022-07-06 cs.AI cs.CL cs.LG
Improving Question Answering by Commonsense-Based Pre-Training
Microsoft Research Asia（微软亚洲研究院）；Sun Yat-Sen University（中山大学）
虽然神经网络方法在各种NLP任务上取得了显着的成功，但其中许多方法难以回答需要常识知识的问题。我们认为主要原因是概念之间缺乏常识性的\mbox{connections}。为了解决这个问题，我们提供了一个简单而有效的方法，利用外部常识知识库，如概念网。我们预先训练概念之间的直接和间接关系函数，并表明这些预先训练的函数可以很容易地添加到现有的神经网络模型。结果表明，将常识为基础的功能，提高了三个问答任务，需要常识推理的基线。进一步的分析表明，我们的系统\mbox{discovers}，并利用有用的证据，从外部常识知识库，这是在现有的神经网络模型，并帮助得出正确的答案。
2019-03-01 cs.CL
JEC-QA: A Legal-Domain Question Answering Dataset
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Powerlaw Intelligent Technology Co., Ltd.（北京幂律智能科技有限责任公司）
我们介绍了JEC-QA，这是法律领域最大的问答数据集，收集自中国国家司法考试。考试是对法律从业人员职业技能的综合评价。大学生必须通过考试才能获得律师或法官的资格。该数据集对现有的问答方法具有挑战性，因为检索相关材料和回答问题都需要逻辑推理能力。由于回答法律问题对多种推理能力的要求很高，最先进的模型在JEC-QA上只能达到约28%的准确率，而熟练的人类和不熟练的人类分别可以达到81%和64%的准确率，这表明人类和机器在这一任务上存在巨大的差距。我们将发布JEC-QA和我们的基线，以帮助提高机器理解模型的推理能力。您可以从http://jecqa.thunlp.org/访问数据集。
2019-11-27 cs.CL
