Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答（QA）是语音助理的重要用例。一种流行的问答方法是提取阅读理解（RC），它在文本段落中找到答案跨度。然而，提取的答案在会话上下文中通常是不自然的，这导致次优的用户体验。在这项工作中，我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型，它将多个段落的答案生成与段落排名和可回答性相结合。此外，在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结，以评估真实性。实验结果表明，与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比，EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
A Co-Matching Model for Multi-choice Reading Comprehension
Singapore Management University（新加坡管理大学）；IBM Research（IBM研究院）
多项选择阅读理解是一项具有挑战性的任务，它涉及到文章和问答对之间的匹配。本文提出了一种新的协同匹配方法来解决这个问题，它联合模型是否可以匹配的问题和候选答案的段落。RACE数据集上的实验结果表明，我们的方法达到了最先进的性能。
2018-06-11 cs.CL
Joint Training of Candidate Extraction and Answer Selection for Reading Comprehension
Baidu Inc.（百度公司）
虽然在阅读理解中已经开发出了复杂的基于神经的技术，但大多数方法都以独立的方式对答案进行建模，忽略了它与其他答案候选者的关系。这个问题在开放领域的情况下可能更糟，其中多个段落的候选人应该组合起来回答一个问题。在本文中，我们将阅读理解描述为一个提取然后选择的两阶段过程。我们首先从文章中提取答案候选，然后通过组合来自所有候选的信息来选择最终答案。此外，我们把候选人提取作为一个潜在的变量和训练的两个阶段的过程与强化学习。因此，我们的方法在两个具有挑战性的开放域阅读理解数据集上显着提高了最先进的性能。进一步的分析表明，我们的模型组件的有效性，特别是所有候选人的信息融合和提取，然后选择过程的联合训练。
2018-05-16 cs.CL
Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of California San Diego（加州大学圣地亚哥分校）
虽然通过简单的事实问答在文本理解方面已经有了实质性的进展，但是对话语的更全面的理解仍然是一个主要的挑战（Dunietz等人，2020年）。有人在阅读文本时批判性地反思文本，会提出好奇心驱动的，通常是开放式的问题，这些问题反映了对内容的深刻理解，需要复杂的推理来回答（Ko等人，2020; Westera等人，2020年）。建立和评估这种类型的话语理解模型的一个关键挑战是缺乏注释数据，特别是因为收集这些问题的答案需要注释者的高认知负荷。本文提出了一种新的范式，使可扩展的数据汇集针对新闻文件的理解，通过话语的镜头看这些问题。由此产生的语料库，DCQA（话语理解的问答），捕捉话语和句子之间的语义联系的形式自由，开放式的问题。在我们对Ko等人（2020）的问题进行注释的评估集上，我们表明DCQA为回答开放式问题提供了有价值的监督。我们还设计了预训练方法，利用现有的问答资源，并使用合成数据，以适应无法回答的问题。
2022-10-17 cs.CL
To Answer or Not to Answer? Improving Machine Reading Comprehension Model with Span-based Contrastive Learning
Beike Inc.（贝壳公司）
机器阅读理解是一个困难的NLP任务，它面临着不能从文章中得到答案的问题。据观察，微妙的文字变化往往使一个可回答的问题无法回答，然而，大多数MRC模型无法识别这样的变化。为了解决这个问题，在本文中，我们提出了一个基于跨度的对比学习（spanCL）的方法，明确对比可回答的问题，他们的回答和不可回答的答案跨度水平。使用spanCL，MRC模型被迫从轻微的文字差异中感知关键的语义变化。在SQuAD 2.0数据集上的实验表明，spanCL可以显着改善基线，产生0.86-2.14的绝对EM改善。实验还表明，spanCL是一种有效的方式来利用生成的问题。
2022-08-02 cs.CL
Automatically generating question-answer pairs for assessing basic reading comprehension in Swedish
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出了一个质量的自动生成的阅读理解问题，从瑞典语文本的评价，使用Quinductor方法。该方法是一种轻量级的、数据驱动的、非神经网络的问题自动生成方法。评估表明，Quinductor是一种可行的QG方法，可以为基于神经网络的QG方法提供强有力的基线。
2022-11-28 cs.CL
S-Net: From Answer Extraction to Answer Generation for Machine Reading Comprehension
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Microsoft Research（微软研究院）
在本文中，我们提出了一种新的方法来机器阅读理解的MS-MARCO数据集。与SQuAD数据集不同的是，MS-MARCO数据集将任务定义为回答多个段落中的问题，并且答案中的单词在段落中是不必要的。因此，我们开发了一个提取然后合成框架，从提取结果合成答案。具体而言，首先采用答案提取模型来预测文章中最重要的子跨度作为证据，然后答案合成模型将证据作为与问题和文章一起的附加特征来进一步阐述最终答案。我们使用最先进的神经网络建立了单篇文章阅读理解的答案抽取模型，并提出了一个额外的任务，即文章排序，以帮助多篇文章的答案抽取。答案合成模型是基于序列到序列的神经网络与提取的证据作为特征。实验表明，我们的提取，然后合成方法优于国家的最先进的方法。
2018-01-02 cs.CL
Weighted Global Normalization for Multiple Choice Reading Comprehension over Long Documents
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
最近的证据指出，高性能的跨度预测模型的脆弱性的动机，我们把我们的注意力多项选择阅读理解。特别是，这项工作介绍了一种新的方法，通过加权的全球规范化的预测部分的文件，以改善答案选择长文件。我们表明，将我们的方法应用于适用于答案选择的跨度预测模型有助于对NarrativeQA的长摘要进行建模，NarrativeQA是一个具有答案选择任务的具有挑战性的阅读理解数据集，并且我们通过+36.2平均倒数排名大大提高了任务基线性能。
2021-11-25 cs.CL
Question Answering from Unstructured Text by Retrieval and Comprehension
Sony Corporation（索尼公司）；Carnegie Mellon University（卡内基梅隆大学）
开放域问答（QA）系统必须与外部知识源（例如网页）交互以查找相关信息。然而，像维基百科这样的信息源与知识库（KBs）相比结构不好并且难以利用。在这项工作中，我们提出了一个两步的方法来从非结构化文本的问答，包括检索步骤和理解步骤。对于理解，我们提出了一个基于RNN的注意力模型，该模型具有一种新的混合机制，用于从检索到的文章或固定词汇中选择答案。为了检索，我们引入了一个手工制作的模型和一个神经模型来对相关文章进行排名。我们在W IKI M OVIES数据集上实现了最先进的性能，将误差降低了40%。我们的实验结果进一步证明了每个引入的组件的重要性。
2017-03-26 cs.CL
Medical Exam Question Answering with Large-scale Reading Comprehension
Tsinghua University（清华大学）；Tsinghua-iFlytek Joint Laboratory（清华-讯飞联合实验室）
文本的阅读和理解是临床医学计算机辅助诊断的重要组成部分，也是自然语言处理领域的一个主要研究问题。在这项工作中，我们引入了一个问答任务，称为MedQA研究回答问题，在临床医学中使用的知识，在一个大规模的文件收集。MedQA的目的是通过大规模阅读理解来回答现实世界的问题。我们提出了我们的解决方案SeaReader--一个基于LSTM网络和双路径注意力架构的模块化端到端阅读理解模型。这种新颖的双路径注意力从两个角度对信息流进行建模，并且能够同时阅读单个文档并整合多个文档中的信息。在实验中，我们的SeaReader在MedQA上的准确性比竞争模型有了很大的提高。此外，我们开发了一系列新的技术来演示解释的问答过程中的SeaReader。
2018-02-28 cs.CL
An Experimental Study of Deep Neural Network Models for Vietnamese Multiple-Choice Reading Comprehension
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
机器阅读理解（MRC）是自然语言处理中的一个具有挑战性的任务，它使计算机能够理解自然语言文本并回答基于这些文本的问题。解决这一问题的技术有很多，而单词表征是影响机器阅读理解准确性的一个重要技术，它直接影响到英语和汉语等流行语言的机器阅读理解问题。然而，很少有关于MRC的研究已经在低资源语言如越南语中进行。在本文中，我们进行了几个实验的神经网络为基础的模型，了解词的表征越南多项选择机器阅读理解的影响。我们的实验包括使用共匹配模型对六种不同的越南语词嵌入和BERT模型的多项选择阅读理解。在ViMMRC语料库上，BERT模型在测试集上的准确率为61.28%.
2021-02-18 cs.CL
NaijaRC: A Multi-choice Reading Comprehension Dataset for Nigerian Languages
Masakhane NLP；Saarland University（萨尔大学）；University of Lagos（拉各斯大学）；Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
该研究构建了涵盖三种尼日利亚本土语言的多项选择阅读理解数据集NaijaRC，基于预训练仅编码器模型开展跨语言迁移得到基线结果，还通过提示大语言模型给出对应结果，为低资源语言阅读理解研究提供数据支撑。
2024-05-19 cs.CL
End-to-End Answer Chunk Extraction and Ranking for Reading Comprehension
IBM Watson（IBM沃森）
本文提出了动态组块阅读器（DCR），一个端到端的神经阅读理解（RC）模型，能够从给定的文档中提取和排序一组答案候选回答问题。DCR能够预测不同长度的答案，而以前的神经RC模型主要集中在预测单个令牌或实体。DCR使用递归神经网络对文档和输入问题进行编码，然后应用逐词注意力机制来获取文档的问题感知表示，然后生成组块表示和排名模块以提出排名最高的组块作为答案。实验结果表明，DCR在SQuAD数据集上实现了最先进的精确匹配和F1得分。
2016-11-02 cs.CL
Phrase-Indexed Question Answering: A New Challenge for Scalable Document Comprehension
我们正式目前的问答任务的一个新的模块化的变体，通过执行完全独立的文件编码器的问题编码器。这种提法解决了机器理解的一个关键挑战，需要一个独立的表示文件的话语。它还带来了显著的可扩展性优势，因为文档中的答案候选短语的编码可以预先计算并离线索引以进行高效检索。我们对新任务的基线模型进行了实验，这些模型达到了合理的准确性，但显着低于无约束的QA模型。我们邀请QA研究社区参与短语索引问答（PIQA，pika）以缩小差距。排行榜位于：nlp.cs.washington.edu/piqa
2018-09-26 cs.CL
Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多项选择阅读理解是一项具有挑战性的任务，需要复杂的推理过程。给定段落和问题，需要从一组候选答案中选择正确答案。本文提出了\textbf{D}双\textbf{C} o- \textbf{M}匹配\textbf{N}网络（\textbf{DCMN}），它对段落、问题和答案之间的关系进行了双向建模.与现有方法只计算问题感知或选项感知的段落表征不同，我们同时计算问题感知的问题表征和选项感知的答案表征。为了证明我们的模型的有效性，我们评估我们的模型上的大规模多项选择机器阅读理解数据集（即RACE）。实验结果表明，我们提出的模型取得了新的国家的最先进的结果。
2019-08-20 cs.CL
Read + Verify: Machine Reading Comprehension with Unanswerable Questions
National University of Defense Technology（国防科技大学）；Microsoft Research Asia（微软亚洲研究院）
具有不可回答问题的机器阅读理解旨在当无法推断答案时避免回答。除了提取答案，以前的作品通常预测一个额外的“无答案”的概率来检测无法回答的情况。然而，他们无法通过验证预测答案的合法性来验证问题的可回答性。为了解决这个问题，我们提出了一种新的读取然后验证系统，它不仅利用神经阅读器来提取候选答案并产生无答案概率，而且还利用答案验证器来决定预测的答案是否包含输入片段。此外，我们引入了两个辅助损失，以帮助读者更好地处理答案提取以及无答案检测，并调查三种不同的架构的答案验证。我们在SQuAD 2.0数据集上的实验表明，我们的系统在测试集上获得了74.2 F1的分数，在提交时（2018年8月28日）达到了最先进的结果。
2018-11-15 cs.CL
Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification
Baidu Inc.（百度公司）；Peking University（北京大学）
基于真实网络数据的机器阅读理解（MRC）通常要求机器通过分析搜索引擎检索到的多个段落来回答问题。与单篇文章的MRC相比，多篇文章的MRC更具挑战性，因为我们很可能从不同的文章中得到多个令人困惑的答案候选者。为了解决这个问题，我们提出了一个端到端的神经模型，使这些答案候选人从不同的段落，以验证对方的基础上，他们的内容表示。具体来说，我们联合训练了三个模块，可以根据答案边界、答案内容和交叉通道答案验证三个因素来预测最终答案。实验结果表明，该方法在英文MS-MARCO数据集和中文DuReader数据集上的性能均优于基线，达到了最先进的性能，这两个数据集都是为真实环境中的MRC设计的。
2018-05-10 cs.CL
KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解（MRC）是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70，000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战，以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
Improving Machine Reading Comprehension with Single-choice Decision and Transfer Learning
Tencent Cloud Xiaowei（腾讯云小微）；Tencent Cloud TI-ONE（腾讯云TI-ONE）
多项选择机器阅读理解（MMRC）旨在根据给定的文章和问题从一组选项中选择正确的答案。由于MMRC的任务特定性，从其他MRC任务（如SQuAD，Dream）中转移知识是非常重要的。在本文中，我们简单地通过训练一个二元分类来区分某个答案是否正确，从而将多项选择重建为单项选择。然后选择置信度得分最高的选项。我们在ALBERT-xxlarge模型上构建模型，并在RACE数据集上进行估计。在训练过程中，我们采用AutoML策略来调整更好的参数。实验结果表明，单选比多选更好。此外，通过转移知识从其他类型的MRC任务，我们的模型实现了一个新的国家的最先进的结果在单一和集成设置。
2020-11-17 cs.CL
DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）；CloudWalk Technology（云从科技）
多项选择阅读理解是一项具有挑战性的任务，需要在给定段落和问题时从一组候选选项中选择答案。以往的方法在对篇章与问题之间的关系建模时，通常只计算问题感知的篇章表征，而忽略了问题感知的篇章表征，这显然不能充分利用篇章与问题之间的信息。在这项工作中，我们提出了双协同匹配网络（DCMN）模型之间的关系通道，问题和答案选项双向。此外，受人类解决多项选择题的启发，我们将两种阅读策略整合到我们的模型中：（i）段落句子选择，找到最突出的支持句子来回答问题，（ii）答案选项交互，编码答案选项之间的比较信息。DCMN结合两种策略（DCMN+）在来自不同领域的五个多项选择阅读理解数据集上获得了最先进的结果：RACE，SemEval-2018 Task 11，ROCStories，COIN，MCTest。
2020-01-16 cs.CL
Attention-Guided Answer Distillation for Machine Reading Comprehension
National University of Defense Technology（中国人民解放军国防科技大学）；Microsoft Research Asia（微软亚洲研究院）
尽管目前的阅读理解系统已经取得了显着的进步，他们有前途的表现往往是在获得的成本，使众多的模型的合奏。此外，现有的方法也容易受到对抗攻击。本文通过利用知识蒸馏来解决这些问题，知识蒸馏的目的是将知识从集成模型转移到单个模型。我们首先证明了香草知识蒸馏应用于答案跨度预测是有效的阅读理解系统。然后，我们提出了两种新的方法，不仅惩罚预测混乱的答案，但也指导训练与对齐信息从合奏。实验表明，与集成教师相比，我们最好的学生模型在SQuAD测试集上的F1只有0.4%的轻微下降，而在推理过程中运行速度快了12倍。它甚至在对抗性SQuAD数据集和NarrativeQA基准测试中优于教师。
2018-09-17 cs.CL
Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents
JD AI Research（京东AI研究院）
可解释多跳阅读理解是一个具有挑战性的问题，因为它需要对多个信息源进行推理，并通过提供支持证据来解释答案预测。在本文中，我们提出了一个有效的和可解释的选择，回答和解释（SAE）系统来解决多文档RC问题。我们的系统首先过滤掉与答案无关的文档，从而减少分散注意力的信息量。这是通过一个新的成对学习排名损失训练的文档分类器实现的。然后将所选择的答案相关文档输入到模型中，以联合预测答案和支持句子。该模型是优化的多任务学习目标上的令牌水平的答案预测和句子水平的支持句子预测，以及这两个任务之间的注意力为基础的互动。HotpotQA，一个具有挑战性的多跳RC数据集进行评估，建议SAE系统实现最高的竞争力的性能相比，其他现有的系统在排行榜上的分心设置。
2020-02-10 cs.CL
ViMultiChoice: Toward a Method That Gives Explanation for Multiple-Choice Reading Comprehension in Vietnamese
Faculty of Information Science and Engineering（信息科学与工程学院）；Faculty of Computer Science（计算机科学学院）；University of Information Technology, Vietnam National University（越南国家大学信息科技学院）；Vietnam National University（越南国家大学）
ViMultiChoice通过联合预测正确答案和生成解释，提升越南语多项选择阅读理解的准确性和解释能力。
2026-02-27 cs.CL
A Comparative Study of Word Embeddings for Reading Comprehension
Carnegie Mellon University（卡内基梅隆大学）
过去针对阅读理解任务的机器学习研究的重点主要是设计新颖的深度学习架构。在这里，我们表明，在（1）使用预先训练的词嵌入和（2）在测试时表示词汇表外的标记上所做的看似次要的选择，可能会对最终性能产生比架构选择更大的影响。我们系统地探讨了这些选择的几种选择，并为在这一领域工作的研究人员提供建议。
2017-03-02 cs.CL
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
Natural Questions是一个新的具有挑战性的机器阅读理解基准，具有两个粒度的答案，即长答案（通常是一个段落）和短答案（长答案中的一个或多个实体）。尽管现有的方法在这个基准上是有效的，但它们在训练过程中单独对待这两个子任务，而忽略了它们的依赖关系。为了解决这个问题，我们提出了一种新的多粒度机器阅读理解框架，重点是在其层次结构的性质，这是不同级别的粒度建模文档：文档，段落，句子和令牌。我们利用图形注意力网络来获得不同级别的表示，以便它们可以同时学习。长答案和短答案可以分别从段落级表示和标记级表示中提取。通过这种方式，我们可以对两个粒度答案之间的依赖关系进行建模，从而为彼此提供证据。我们联合训练这两个子任务，我们的实验表明，我们的方法显着优于以前的系统在长和短的答案标准。
2020-05-13 cs.CL
Convolutional Spatial Attention Model for Reading Comprehension with Multiple-Choice Questions
Joint Laboratory of HIT and iFLYTEK (HFL), iFLYTEK Research（哈工大讯飞联合实验室（HFL），讯飞研究院）
机器阅读理解（MRC）多项选择题要求机器阅读给定的文章，并在多个候选人中选择正确的答案。在本文中，我们提出了一种新的方法称为卷积空间注意力（CSA）模型，可以更好地处理多项选择题的MRC。该模型能够充分提取段落、问题和候选项之间的互信息，形成丰富的表征。此外，为了合并各种注意力结果，我们提出使用卷积操作来动态地汇总不同大小区域内的注意力值。实验结果表明，该模型可以在RACE和SemEval-2018 Task 11数据集上对各种最先进的系统进行实质性改进。
2018-11-21 cs.CL
A Survey on Machine Reading Comprehension Systems
University of Qom（库姆大学）
机器阅读理解是自然语言处理中一个具有挑战性的课题和研究热点。它的目标是开发系统来回答有关给定上下文的问题。本文对机器阅读理解系统的研究方法、结构、输入/输出和研究创新等方面进行了综述。我们根据2016年至2020年的241篇综述论文说明了该领域的最新趋势。我们的调查表明，近年来研究的重点已经从答案提取到答案生成，从单文档阅读理解到多文档阅读理解，从从头开始学习到使用预训练的嵌入。我们还讨论了流行的数据集和评价指标在这一领域。本文最后调查了被引用最多的论文及其贡献。
2020-10-20 cs.CL
How Many Answers Should I Give? An Empirical Study of Multi-Answer Reading Comprehension
Peking University（北京大学）；The Open University of China（中国开放大学）；State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
本文通过构建多答案 MRC 实例分类体系并分析三个数据集，揭示不同建模范式的互补优势，证明生成模型可有效融合这些范式。
2023-06-01 cs.CL
Bridging Information-Seeking Human Gaze and Machine Reading Comprehension
MIT BCS（麻省理工学院脑与认知科学系）
在这项工作中，我们分析如何在阅读理解过程中的人的目光是有条件的给定的阅读理解问题，以及这个信号是否可以有益于机器阅读理解。为此，我们收集了一个新的眼动跟踪数据集，其中有大量参与者参与多项选择阅读理解任务。我们对这些数据的分析显示，与回答问题最相关的文本部分的固定时间增加。基于这一发现，我们建议通过模仿人类在阅读理解过程中寻求信息的阅读行为，使自动阅读理解更像人类。我们证明，这种方法导致性能增益的多项选择问答在英语的国家的最先进的阅读理解模型。
2020-10-15 cs.CL
TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension
Paul G. Allen School of Computer Science & Engineering, Univ. of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了TriviaQA，一个具有挑战性的阅读理解数据集，包含超过650 K的问题-答案-证据三元组。TriviaQA包括由琐事爱好者撰写的95 K问答对和独立收集的证据文件，平均每个问题六个，为回答问题提供高质量的远程监督。我们发现，与最近引入的其他大规模数据集相比，TriviaQA（1）具有相对复杂的组成问题，（2）在问题和相应的答案证据句子之间具有相当大的句法和词汇变异性，（3）需要更多的跨句子推理来找到答案。我们还提出了两个基线算法：基于特征的分类器和最先进的神经网络，表现良好的SQuAD阅读理解。这两种方法都没有接近人类的表现（23%和40% vs. 80%），这表明TriviaQA是一个具有挑战性的测试平台，值得在未来进行大量研究。数据和代码可在--http://nlp.cs.washington.edu/triviaqa/获得
2017-05-13 cs.CL
Two-Turn Debate Doesn't Help Humans Answer Hard Reading Comprehension Questions
New York University（纽约大学）；Stony Brook University（石溪大学）
使用基于语言模型的问答系统来帮助人类完成困难的任务是有限的，部分原因是这些系统生成的文本不可靠。使用硬多项选择阅读理解问题作为测试平台，我们评估是否向人类提供两个竞争答案选项的论点，其中一个是正确的，另一个是不正确的，允许人类法官更准确地执行，即使其中一个论点是不可靠的和欺骗性的。如果这是有帮助的，我们可以通过要求基于语言模型的系统在需要的地方产生这些参数来增加我们对基于语言模型的系统的合理信任。先前的研究表明，这种形式的一轮争论对人类没有帮助。然而，由于辩论设置的特点是一个来回的对话，我们跟进以前的结果，以测试增加第二轮的反论点是否对人类有帮助。我们发现，无论他们是否能够获得论点，人类在我们的任务中表现相似。这些发现表明，在回答阅读理解问题的情况下，辩论不是一个有用的格式。
2022-10-19 cs.CL
Multi-granularity hierarchical attention fusion networks for reading comprehension and question answering
Alibaba Group（阿里巴巴集团）
本文描述了一种新的层次注意网络的阅读理解风格的问答，其目的是回答一个给定的叙述段落的问题。在该方法中，注意力和融合进行水平和垂直跨层的问题和段落之间的不同粒度的水平。具体来说，它首先编码的问题和段落与细粒度的语言嵌入，以更好地捕捉各自的表示在语义层面。然后提出了一种多粒度融合方法，充分融合来自全局和关注表示的信息。最后，引入层次注意网络，通过多层次软对齐逐步关注答案广度。在大规模SQuAD和TriviaQA数据集上的实验验证了该方法的有效性。在撰写本文时（2018年1月12日），我们的模型在SQuAD排行榜上获得了单个和集成模型的第一名。我们还在TriviaQA、AddSent和AddOne-Sent数据集上实现了最先进的结果。
2018-11-29 cs.CL
A Multi-Type Multi-Span Network for Reading Comprehension that Requires Discrete Reasoning
National University of Defense Technology（国防科技大学）
在阅读理解和问答领域取得了快速进展，其中几个系统在一些简化的设置中实现了人类平等。然而，当这些模型应用于更现实的场景时，例如答案涉及各种类型，多个文本串是正确答案，或者需要离散推理能力时，这些模型的性能显著下降。在本文中，我们介绍了多类型多跨度网络（MTMSN），这是一种神经阅读理解模型，它结合了一个多类型答案预测器，旨在支持各种答案类型（例如，跨度、计数、求反和算术表达式），其中多跨度提取方法用于动态地产生一个或多个文本跨度。此外，提出了一种算术表达式重排序机制来对候选表达式进行排序，以进一步确认预测。实验表明，我们的模型在DROP隐藏测试集上达到了79.9 F1，创造了新的最先进的结果。发布源代码\footnote{\url{https://github.com/huminghao16/MTMSN}}，以方便将来的工作。
2019-08-30 cs.CL
Bi-directional Cognitive Thinking Network for Machine Reading Comprehension
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Science（中国科学院大学网络空间安全学院）
本文从互补学习系统理论的角度提出了一个新的阅读理解双向认知知识框架。它旨在模拟大脑中的两种思维方式来回答问题，包括逆向思维和惯性思维。为了验证该框架的有效性，我们设计了一个双向认知思维网络（BCTN）对文章进行编码，并在给定答案（问题）的情况下生成问题（答案），实现双向知识的解耦。该模型具有逆向推理问题的能力，可以帮助惯性思维产生更准确的答案。在DuReader数据集中观察到竞争性改进，证实了我们的假设，即双向知识有助于QA任务。新的框架显示了一个有趣的视角机器阅读理解和认知科学。
2020-10-20 cs.CL
CodeQA: A Question Answering Dataset for Source Code Comprehension
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学教育部计算语言学重点实验室）
我们提出了CodeQA，一个自由形式的问答数据集的源代码理解的目的：给定一个代码片段和一个问题，需要生成一个文本答案。CodeQA包含一个包含119，778个问答对的Java数据集和一个包含70，085个问答对的Python数据集。为了获得自然和忠实的问题和答案，我们实现了语法规则和语义分析，将代码注释转换为问答对。我们介绍了构建过程，并对我们的数据集进行了系统的分析。我们的数据集上的几个神经基线实现的实验结果显示和讨论。在问答和机器阅读理解研究发展迅速的同时，很少有人关注代码问答。这个新的数据集可以作为源代码理解的有用研究基准。
2021-09-17 cs.CL cs.SE
STARC: Structured Annotations for Reading Comprehension
MIT（麻省理工学院）
我们提出了STARC（阅读理解结构化注释），一个新的注释框架，用于评估阅读理解与多项选择题。我们的框架引入了一个原则性的结构，答案的选择，并将它们绑定到文本跨度注释。该框架在OneStopQA中实现，OneStopQA是一种用于英语阅读理解评估和分析的新的高质量数据集。我们使用这个数据集来证明STARC可以用于开发SAT类阅读理解材料的关键新应用：通过跨度消融实验进行自动注释质量探测。我们进一步表明，它可以深入分析和比较机器和人类的阅读理解行为，包括错误分布和猜测能力。我们的实验还表明，NLP中的标准多项选择数据集RACE在测量阅读理解能力方面是有限的。47%的问题可以被机器猜到，而不需要访问文章，18%的问题被人类一致认为没有唯一的正确答案。OneStopQA为阅读理解提供了一个替代测试集，它弥补了这些缺点，并具有更高的人类上限性能。
2020-04-30 cs.CL
Enhancing Post-Hoc Attributions in Long Document Comprehension via Coarse Grained Answer Decomposition
Adobe Research（奥多比研究院）
本文针对长文档问答中的事后归因问题，提出基于模板上下文学习和负采样的粗粒度答案事实分解方法，并系统评估其对检索式和LLM归因方法的提升效果。
2024-11-23 cs.CL
Investigating LLM Capabilities on Long Context Comprehension for Medical Question Answering
Istanbul Aydın University（伊斯坦布尔阿迪兰大学）；Queen Mary University of London（伦敦女王学院）；The Alan Turing Institute（艾伦·图灵研究所）
本研究探讨大语言模型在医疗问答中处理长上下文任务的能力，分析了模型大小、记忆问题及RAG方法的效果，揭示了其在不同任务中的优势与限制。
2026-01-14 cs.CL
Summarize-then-Answer: Generating Concise Explanations for Multi-hop Reading Comprehension
Stony Brook University（石溪大学）；RIKEN（理化学研究所）；Tohoku University（东北大学）
我们如何为多跳阅读理解（RC）生成简洁的解释？目前的支持句识别策略可以看作是对输入文本的一种抽取式的以问题为中心的摘要。然而，这些抽象的解释不一定是简洁的，即不足以回答一个问题。相反，我们提倡一种抽象的方法，我们建议生成一个以问题为中心的，抽象的输入段落摘要，然后将其馈送到RC系统。给定有限数量的人类注释的抽象解释，我们以半监督的方式训练抽象解释器，其中我们从监督模型开始，然后训练它进一步通过试错最大化简洁性促进的奖励函数。我们的实验表明，建议的抽象解释器可以产生更紧凑的解释比一个提取的解释器有限的监督（只有2k个实例），同时保持足够的。
2021-09-14 cs.CL
Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension
Peking University（北京大学）；The Open University of China（中国国家开放大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
虽然许多大型知识库（KB）声称包含多语言信息，但它们对许多非英语语言的支持通常是不完整的。这种不完整性产生了跨语言的知识库问答（xKBQA），其目的是回答问题的语言不同的知识库。xKBQA面临的主要挑战之一是数据注释的高成本，导致可用于进一步探索的资源有限。另一个挑战是在跨语言设置下映射问题中的知识库模式和自然语言表达式。在本文中，我们提出了一种新的方法，xKBQA在阅读理解范式。我们将KB子图转换为段落，以缩小KB模式和问题之间的差距，这使我们的模型能够受益于多语言预训练语言模型（MPLM）和跨语言机器阅读理解（xMRC）的最新进展。具体来说，我们使用MPLM，跨语言映射的相当多的知识，跨语言阅读理解。现有的高质量xMRC数据集可以进一步用于微调我们的模型，大大缓解了xKBQA中的数据稀缺问题。在12种语言的两个xKBQA数据集上进行的大量实验表明，我们的方法优于各种基线，并实现了强大的Few-Shot和zero-shot性能。我们的数据集和代码被发布以供进一步研究。
2023-02-26 cs.CL
Assessing Distractors in Multiple-Choice Tests
ALTA Institute, Cambridge University（剑桥大学ALTA研究所）
针对多项选择题干扰项生成难的问题，提出从错误性、合理性、多样性三方面评估干扰项质量的自动化指标，并通过考生分布和ChatGPT解读验证了合理性指标的有效性。
2023-11-08 cs.CL
Machine Comprehension by Text-to-Text Neural Question Generation
Microsoft Maluuba（微软Maluuba）；Montreal Institute for Learning Algorithms, Université de Montréal（蒙特利尔大学蒙特利尔学习算法研究所）
我们提出了一个递归神经模型，它可以根据答案从文档中生成自然语言问题。我们展示了如何使用监督和强化学习的组合来训练模型。在教师强制进行标准最大似然训练后，我们使用策略梯度技术对模型进行微调，以最大化衡量问题质量的几个奖励。最值得注意的是，这些奖励之一是问答系统的性能。我们激励问题生成作为一种手段，以提高问答系统的性能。我们的模型是在最近的问答数据集SQuAD上训练和评估的。
2017-05-15 cs.CL
Domain-specific Language Pre-training for Dialogue Comprehension on Clinical Inquiry-Answering Conversations
Institute for Infocomm Research (I2R), A*STAR（新加坡科技研究局资讯通信研究院）
从临床对话中自动提取相关信息的兴趣越来越大。然而，很难收集和构建用于临床对话任务的大型注释资源。自然语言处理的最新发展表明，大规模的预先训练的语言骨干可以用于这样的机器理解和信息抽取任务。然而，由于预训练和下游临床领域之间的差距，利用通用主干用于特定领域的应用仍然具有挑战性。因此，在这项工作中，我们提出了一种特定领域的语言预训练，以提高对话理解等下游任务的性能。除了常用的标记级掩蔽预训练方法外，根据人类对话的本质和多主题问答对话的交互流程，进一步提出了说话人和话语操作的样本生成策略。会话预训练引导语言骨干基于剩余的上下文连贯地重建话语，从而弥合一般域和特定域之间的差距。在临床会话数据集上进行了实验，用于症状检查，其中护士询问并与患者讨论症状信息。我们的经验表明，我们提出的方法的神经模型带来了改善的对话理解任务，并可以在低资源的培训方案取得了良好的效果。
2022-06-06 cs.CL
Adaptations of ROUGE and BLEU to Better Evaluate Machine Reading Comprehension Task
Baidu Inc.（百度公司）；Peking University（北京大学）
目前，基于问答的机器阅读理解（MRC）系统的评价指标通常集中在候选答案和参考答案之间的词汇重叠，如ROUGE和BLEU。然而，当这些指标用于特定问题类型时，可能会出现偏差，特别是询问是非意见和实体列表的问题。在本文中，我们对指标进行了调整，以更好地将n-gram重叠与人类对这两种问题类型答案的判断相关联。统计分析证明了我们的方法的有效性。本文的研究成果对实际MRC系统的开发具有积极的指导意义。
2018-06-10 cs.CL
Attention-Based Convolutional Neural Network for Machine Comprehension
University of Munich（慕尼黑大学）
理解开放域文本是自然语言处理（NLP）面临的主要挑战之一。机器理解基准仅基于文本内容来评估系统理解文本的能力。在这项工作中，我们调查机器理解MCTest，一个问答（QA）基准。以前的工作主要是基于特征工程方法。我们提出了一个神经网络框架，命名为分层注意力为基础的卷积神经网络（HABCNN），以解决这个任务，没有任何手动设计的功能。具体来说，我们通过两条路线探索HABCNN，一条是通过传统的通道，问题和答案的联合建模，一条是通过文本蕴涵。HABCNN采用注意力机制来检测与回答问题相关的关键短语、关键句子和关键片段。实验表明，HABCNN的性能大大优于之前的深度学习方法。
2016-02-13 cs.CL
Learning with Instance Bundles for Reading Comprehension
University of California, Irvine（加利福尼亚大学尔湾分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在训练大多数现代阅读理解模型时，与上下文相关的所有问题都被视为彼此独立的。然而，密切相关的问题及其相应的答案并不是独立的，利用这些关系可以为模型提供强有力的监督信号。借鉴对比估计的思想，我们介绍了几种新的监督技术，比较多个相关实例的问答分数。具体来说，我们将这些分数在不同邻域的密切对比的问题和/或答案中进行归一化，添加除了传统的最大似然估计之外使用的另一个交叉熵损失项。我们的技术需要捆绑相关的问题-答案对，我们可以从现有数据中挖掘，也可以使用各种自动化算法创建。我们在两个数据集（HotpotQA和ROPES）上实证了使用实例包进行训练的有效性，显示出高达11%的准确率绝对增益。
2021-04-18 cs.CL
Multi-style Generative Reading Comprehension
NTT Media Intelligence Laboratory, NTT Corporation（日本电信电话株式会社媒体智能实验室）；The University of Tokyo（东京大学）
本研究探讨了生成性阅读理解（RC），它包括基于文本证据的回答问题和自然语言生成（NLG）。我们提出了一种多风格的抽象摘要模型的问答，称为面具。所提出的模型有两个关键特征。首先，与大多数关于RC的研究不同，这些研究专注于从提供的段落中提取答案范围，我们的模型专注于从问题和多个段落中生成摘要。这涵盖了现实世界应用程序所需的各种回答风格。其次，由于难以获得一个通用模型，因此以前的研究为每种回答风格建立了一个特定的模型，而我们的方法在一个模型中学习多风格的答案，以提高所有类型的NLG能力。这也使我们的模型能够以目标风格给出答案。实验结果表明，该模型在MS MARCO 2.1的Q&A任务和Q&A + NLG任务以及NarrativeQA的摘要任务上都达到了最好的性能。我们观察到，转移的风格独立的NLG能力的目标风格是其成功的关键。
2019-05-27 cs.CL
Retrieve, Read, Rerank: Towards End-to-End Multi-Document Reading Comprehension
National University of Defense Technology（国防科技大学）
本文研究了多个文本作为输入的阅读理解任务。先前的工作已经表明，检索器、读取器和重排序器的流水线可以提高整体性能。然而，流水线系统是低效的，因为输入在每个模块内被重新编码，并且不能利用上游组件来帮助下游训练。在这项工作中，我们提出了RE $^3$ QA，一个统一的问答模型，结合上下文检索，阅读理解和答案重新排序，以预测最终的答案。与以前的流水线方法不同，RE $^3$ QA在不同的组件之间共享上下文化的文本表示，并且被精心设计为使用高质量的上游输出（例如，检索的上下文或候选答案）用于直接监督下游模块（例如，读者或重新排序者）。因此，整个网络可以端到端地训练，以避免上下文不一致问题。实验表明，我们的模型优于流水线基线，并在两个版本的TriviaQA和SQuAD的两个变体上实现了最先进的结果。
2019-06-11 cs.CL
Multi-grained Evidence Inference for Multi-choice Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）；Key Laboratory of Shanghai Education Commission for Intelligent Interaction and Cognitive Engineering, Shanghai Jiao Tong University（上海交通大学智能交互与认知工程上海高校重点实验室）
针对多选阅读理解中关键证据粒度多样且难以提取的问题，本文提出多粒度证据推理器Mugen，通过整合粗、中、细三种粒度的证据来增强模型推理能力，并在四个基准上取得显著一致的性能提升。
2023-10-27 cs.CL
IDK-MRC: Unanswerable Questions for Indonesian Machine Reading Comprehension
KAIST（韩国科学技术院）
机器阅读理解（MRC）已经成为自然语言理解（NLU）中的基本任务之一，因为它经常被包括在几个NLU基准中（Liang等人，2020; Wilie等人，2020年）。然而，大多数MRC数据集只有可回答的问题类型，忽略了不可回答的问题的重要性。仅在可回答的问题上训练的MRC模型将选择最有可能是答案的跨度，即使答案实际上不存在于给定的段落中（Rajpurkar等人，2018年）。这个问题尤其存在于中低资源语言中，如印度尼西亚语。现有的印度尼西亚MRC数据集（Purwarianti等人，2007; Clark等人，2020年）仍然不够，因为规模小，问题类型有限，即，它们只涉及可回答的问题。为了填补这一空白，我们构建了一个新的印度尼西亚MRC数据集，称为I（n）不知道- MRC（IDK-MRC），通过结合自动和手动无法回答的问题生成，以最大限度地减少手动数据集构建的成本，同时保持数据集的质量。结合现有的可回答问题，IDK-MRC总共包含超过10 K个问题。我们的分析表明，我们的数据集显着提高了印度尼西亚MRC模型的性能，对于无法回答的问题显示出很大的改善。
2022-10-25 cs.CL
Separating Answers from Queries for Neural Reading Comprehension
Language Technology Lab, DFKI（DFKI 语言技术实验室）
我们提出了一种新的神经架构回答查询，旨在最佳地利用明确的支持形式的问答记忆。我们的模型能够细化和更新给定的查询，同时单独积累预测答案的证据。它的架构反映了这种分离，具有专用的嵌入矩阵和松散连接的信息路径（模块），用于更新查询和积累证据。这种职责的分离有效地简化了查询相关支持的搜索和答案的预测。在最近的阅读理解基准数据集上，我们的模型取得了最先进的结果。定性分析表明，该模型有效地积累了加权证据的查询和多个支持检索周期，从而导致一个强大的答案预测。
2016-09-27 cs.CL cs.NE
Machine Reading Comprehension for Answer Re-Ranking in Customer Support Chatbots
Sofia University（索非亚大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
深度神经网络、语言建模和语言生成的最新进展为会话代理领域引入了新的想法。因此，序列到序列、记忆网络和Transformer等深度神经模型已成为最先进对话系统的关键组成部分。虽然这些模型即使在看不见的情况下也能够生成有意义的响应，但它们需要大量的训练数据来构建可靠的模型。因此，大多数现实世界的系统坚持基于信息检索的传统方法，甚至是手工制作的规则，因为它们的鲁棒性和有效性，特别是对于狭窄的对话。在这里，我们提出了一种方法，该方法采用了来自机器阅读理解领域的深度神经架构，以使用问题作为上下文，对来自不同模型的建议答案进行重新排序。我们训练我们的模型使用负采样的基础上的问题，答案对从Twitter的客户支持数据集。实验结果表明，我们的重新排名框架可以提高性能方面的单词重叠和语义的单独模型以及模型组合。
2019-02-26 cs.CL
No Answer is Better Than Wrong Answer: A Reflection Model for Document Level Machine Reading Comprehension
Microsoft STCA NLP Group（微软STCA自然语言处理组）；Microsoft Research Asia（微软亚洲研究院）
自然问题（Natural Questions，NQ）基准测试集给机器阅读理解带来了新的挑战：答案不仅在不同的粒度级别（长和短），而且类型更加丰富（包括无答案、是/否、单跨度和多跨度）。在本文中，我们针对这一挑战，系统地处理所有的答案类型。特别是，我们提出了一种称为反射网的新方法，它利用两步训练过程来识别无答案和错误答案的情况。大量的实验进行了验证，我们的方法的有效性。本文写作时（5月）。20，~2020），我们的方法在长和短答案排行榜上都取得了前1名，F1得分分别为77.2和64.1。
2020-09-29 cs.CL cs.LG
Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension
The Asahi Shimbun Company（朝日新闻公司）；National Institute of Informatics（国立信息学研究所）
本文构建了一个包含3,003个子问题的数据集，用于评估语言模型对逻辑阅读理解中批判性推理理由的理解，实验发现现有大模型即使能答对主问题，也难以解释为何排除错误选项，从而揭示了其在批判性推理上的不足。
2023-11-30 cs.CL
