KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解（MRC）是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70，000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战，以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
Sogou Machine Reading Comprehension Toolkit
Sogou, Inc.（搜狗公司）
近年来，机器阅读理解得到了广泛的研究，基于神经网络的模型表现出了优越的性能。在本文中，我们提出了一个搜狗机器阅读理解（SMRC）工具包，可用于提供现代机器理解模型的快速，高效的开发，包括已发布的模型和原始原型。为了实现这一目标，该工具包提供了数据集读取器、灵活的预处理管道、必要的神经网络组件和内置模型，使数据准备、模型构建和训练的整个过程变得更加简单。
2019-04-01 cs.CL
NumNet: Machine Reading Comprehension with Numerical Reasoning
Tencent Inc（腾讯公司）；Tsinghua University（清华大学）
数字推理是人类阅读理解中的一项关键技能，而现有的机器阅读理解（MRC）系统并没有很好地考虑到这一点。为了解决这个问题，我们提出了一个数字MRC模型命名为NumNet，它利用一个数字感知的图神经网络考虑比较信息，并执行数字推理的问题和段落。我们的系统在DROP数据集上获得了64.56%的EM分数，通过考虑数字之间的数值关系，优于所有现有的机器阅读理解模型。
2019-10-15 cs.CL
ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension
University of California, Irvine（加州大学欧文分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
阅读理解是进一步研究自然语言理解的重要课题之一。最近引入了许多不同的阅读理解数据集来研究自然语言中的各种现象，从简单的释义匹配和实体类型到实体跟踪和理解上下文的含义。鉴于许多这样的数据集的可用性，全面和可靠的评估是繁琐和耗时的研究人员在这个问题上的工作。我们提出了一个评估服务器，ORB，报告性能的七个不同的阅读理解数据集，鼓励和促进测试一个单一的模型的能力，在理解各种各样的阅读现象。评估服务器对如何训练模型没有任何限制，因此它是探索训练范例和一般阅读设施的表示学习的合适测试平台。随着更多合适的数据集的发布，它们将被添加到评估服务器中。我们还收集并包含这些数据集的合成增强，测试模型处理域外问题的能力。
2019-12-29 cs.CL
A Span-Extraction Dataset for Chinese Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。本文介绍了一个用于中文机器阅读理解的跨度抽取数据集，以增加这方面的语言训练。该数据集由人类专家在维基百科段落上注释的近20，000个真实问题组成。我们还注释了一个挑战集，其中包含需要在整个上下文中进行全面理解和多句推理的问题。我们提出了几个基线系统，以及匿名提交证明在这个数据集的困难。随着数据集的发布，我们主办了第二届中国机器阅读理解评估研讨会（CMRC 2018）。我们希望该数据集的发布能够进一步加速中文机器阅读理解的研究。相关资源：https://github.com/ymcui/cmrc2018
2019-08-29 cs.CL
Machine Reading Comprehension: a Literature Review
Peking University（北京大学）
机器阅读理解旨在教机器像人一样理解文本，是人工智能的一个新的具有挑战性的方向。本文综述了MRC的最新进展，主要集中在两个方面（即，语料库和技术）。列举并比较了各种MRC语料库的具体特点。介绍了几种典型MRC技术的主要思想。
2019-06-30 cs.CL
Making Neural Machine Reading Comprehension Faster
本研究旨在解决机器阅读理解问题，其中问题必须在给定的上下文文章中回答。面临的挑战是开发一个计算速度更快的模型，这将改善推理时间。在许多自然语言理解任务中，BERT模型已经被使用，并且知识蒸馏方法已经被应用于训练两个较小的模型。所开发的模型进行了比较与其他模型已开发具有相同的意图。
2019-03-29 cs.CL
A Survey on Machine Reading Comprehension Systems
University of Qom（库姆大学）
机器阅读理解是自然语言处理中一个具有挑战性的课题和研究热点。它的目标是开发系统来回答有关给定上下文的问题。本文对机器阅读理解系统的研究方法、结构、输入/输出和研究创新等方面进行了综述。我们根据2016年至2020年的241篇综述论文说明了该领域的最新趋势。我们的调查表明，近年来研究的重点已经从答案提取到答案生成，从单文档阅读理解到多文档阅读理解，从从头开始学习到使用预训练的嵌入。我们还讨论了流行的数据集和评价指标在这一领域。本文最后调查了被引用最多的论文及其贡献。
2020-10-20 cs.CL
An Experimental Study of Deep Neural Network Models for Vietnamese Multiple-Choice Reading Comprehension
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
机器阅读理解（MRC）是自然语言处理中的一个具有挑战性的任务，它使计算机能够理解自然语言文本并回答基于这些文本的问题。解决这一问题的技术有很多，而单词表征是影响机器阅读理解准确性的一个重要技术，它直接影响到英语和汉语等流行语言的机器阅读理解问题。然而，很少有关于MRC的研究已经在低资源语言如越南语中进行。在本文中，我们进行了几个实验的神经网络为基础的模型，了解词的表征越南多项选择机器阅读理解的影响。我们的实验包括使用共匹配模型对六种不同的越南语词嵌入和BERT模型的多项选择阅读理解。在ViMMRC语料库上，BERT模型在测试集上的准确率为61.28%.
2021-02-18 cs.CL
Stochastic Answer Networks for Machine Reading Comprehension
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个简单而强大的随机回答网络（SAN），模拟机器阅读理解的多步推理。与以往的工作如ReasoNet使用强化学习来确定步骤数相比，其独特之处在于在训练过程中对神经网络的答案模块（最终层）使用了一种随机预测丢弃。我们证明了这个简单的技巧提高了鲁棒性，并在斯坦福问答数据集（SQuAD），对抗SQuAD和微软机器阅读理解数据集（MS MARCO）上取得了与最先进的结果相竞争的结果。
2018-05-15 cs.CL
Feature-augmented Machine Reading Comprehension with Auxiliary Tasks
School of Mathematics and Statistics（数学与统计学院）；Guangdong University of Technology（广东工业大学）
虽然大多数成功的机器阅读理解方法都依赖于单一的训练目标，但我们假设编码层可以通过我们在预测层中定义的损失函数（在大多数情况下是交叉熵）来学习大量的表示，我们首先使用神经网络对问题和段落进行编码，然后直接将两者的编码结果融合。然而，由于在阅读理解中的远距离反向传播损失，编码层不能有效地学习和直接监督。因此，编码器层在任何时候都不能很好地学习表示。在此基础上，我们提出了在编码层中注入多粒度信息的方法。实验表明，在编码层中加入多粒度信息可以提高机器阅读理解系统的性能。最后，实证研究表明，我们的方法可以适用于许多现有的MRC模型。
2022-11-17 cs.CL
Comparing Attention-based Convolutional and Recurrent Neural Networks: Success and Limitations in Machine Reading Comprehension
我们提出了一个基于两阶段注意力的比较-聚合框架的机器阅读理解模型，在MovieQA问答数据集上取得了最先进的结果。为了研究我们的模型的局限性以及卷积神经网络和递归神经网络之间的行为差异，我们生成了对抗性示例来混淆模型并与人类性能进行比较。此外，我们通过分析模型与人类推理的差异来评估模型的泛化能力，
2018-08-27 cs.CL
Benchmarking Machine Reading Comprehension: A Psychological Perspective
National Institute of Informatics（国立信息学研究所）；University College London（伦敦大学学院）
机器阅读理解（MRC）作为自然语言理解的基准已经受到相当大的关注。然而，MRC的传统任务设计缺乏超出模型解释的可解释性，即，阅读理解的模式不能用人类的语言来解释。为此，本文为基于心理学和心理测量学的MRC数据集的设计提供了理论基础，并总结了MRC基准测试的先决条件。我们的结论是，未来的数据集应该（i）评估模型的能力，以构建一个连贯和接地表示理解上下文相关的情况和（ii）确保通过捷径证明问题和解释作为任务设计的一部分，实质性的有效性。
2021-01-26 cs.CL
A Survey on Explainability in Machine Reading Comprehension
University of Manchester（曼彻斯特大学）
本文对机器阅读理解（MRC）中的可解释性基准和方法进行了系统的综述。我们提出了如何表示和推理的挑战演变和采取的步骤来解决这些挑战。我们还提出了评估方法来评估可解释系统的性能。此外，我们还确定了持续存在的开放研究问题，并强调了未来工作的关键方向。
2020-10-01 cs.AI cs.CL
Sentence Extraction-Based Machine Reading Comprehension for Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
自然语言处理的发展，特别是机器阅读理解的发展，引起了研究界的极大关注。近年来，越南语机器阅读理解任务有一些大规模的数据集，如NAP-ViQuAD和NAP-ViNewsQA。然而，这些数据集在为研究服务的答案上并不多样化。在本文中，我们介绍了第一个用于评估越南语中基于句子提取的机器阅读理解的数据集-ViWikiQA。ViWikiQA数据集是从ViWikiQA数据集转换而来的，由23.074个问题-答案组成，基于174篇维基百科越南语文章的5.109个段落。我们提出了一个转换算法来创建数据集的句子提取为基础的机器阅读理解和三种类型的方法，句子提取为基础的机器阅读理解在越南语。我们的实验表明，最好的机器模型是XLM-R_Large，它在我们的数据集上实现了85.97%的精确匹配（EM）和88.77%的F1分数。此外，我们分析了越南语的问题类型和上下文对MRC模型性能的影响方面的实验结果，从而显示了我们向语言处理社区提出的EST-ViWikiQA数据集的挑战。
2021-06-11 cs.CL
Multi Document Reading Comprehension
Indian Institute Of Technology (BHU) Varanasi（印度理工学院（巴纳拉斯印度教大学）瓦拉纳西分校）
阅读理解（RC）是从给定的文章或一组文章中回答问题的任务。在多个段落的情况下，任务是找到问题的最佳答案。最近在自然语言处理（NLP）领域的试验和实验已经证明，机器不仅可以处理文章中的文本并理解其含义以回答文章中的问题，而且还可以在许多数据集上超越人类表现，例如斯坦福的问答数据集（SQuAD）。本文介绍了近几十年来自然语言处理领域对阅读理解的研究及其进展。我们还将研究如何单文档阅读理解任务作为我们的多文档阅读理解系统的构建块。在本文的后半部分，我们将研究最近提出的多文档阅读理解模型-RE 3QA，该模型由阅读器，检索器和基于重新排序的网络组成，以从给定的段落集合中获取最佳答案。
2022-01-05 cs.AI cs.CL
Revealing Weaknesses of Vietnamese Language Models Through Unanswerable Questions in Machine Reading Comprehension
Denison University（丹尼森大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学）
虽然多语言的诅咒显著限制了多语言模型在单语环境中的语言能力，但研究人员现在仍然必须依赖多语言模型来开发越南语机器阅读理解的最先进系统。这一研究的困难是由于开发越南语语言模型的高质量作品数量有限。为了鼓励更多的工作在这一研究领域，我们提出了一个全面的分析语言的弱点和优势，目前越南单语模型使用的下游任务机器阅读理解。根据分析结果，我们提出了发展越南语语言模型的新方向。除了这一主要贡献，我们还成功地揭示了存在的文物越南机器阅读理解基准，并建议迫切需要新的高质量的基准来跟踪越南机器阅读理解的进展。此外，我们还介绍了一个小的，但有价值的修改的过程中注释无法回答的问题，机器阅读理解从以前的工作。我们提出的修改有助于提高质量的无法回答的问题，以更高的难度水平的机器阅读理解系统解决。
2023-03-16 cs.AI cs.CL
ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning
University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）；Amazon（亚马逊）；University of Pennsylvania（宾夕法尼亚大学）
理解事件在语义上是如何相互关联的是阅读理解的本质。最近的事件为中心的阅读理解数据集主要集中在事件参数或时间关系。虽然这些任务部分评估了机器的叙事理解能力，但类似人类的阅读理解需要处理基于事件的信息的能力，而不仅仅是论点和时间推理。例如，要理解事件之间的因果关系，我们需要推断动机或目的;要建立事件层次结构，我们需要理解事件的构成。为了促进这些任务，我们介绍了ESTER，一个全面的机器阅读理解（MRC）数据集的事件语义关系推理。该数据集利用自然语言查询来推理五种最常见的事件语义关系，提供超过6 K个问题并捕获10.1K个事件关系对。实验结果表明，目前的SOTA系统在基于标记的精确匹配，F1和基于事件的HIT@1得分方面分别达到了22.1%，63.3%和83.5%，这都明显低于人类的表现（分别为36.0%，79.6%，100%），突出了我们的数据集作为一个具有挑战性的基准。
2021-09-10 cs.CL
Medical Exam Question Answering with Large-scale Reading Comprehension
Tsinghua University（清华大学）；Tsinghua-iFlytek Joint Laboratory（清华-讯飞联合实验室）
文本的阅读和理解是临床医学计算机辅助诊断的重要组成部分，也是自然语言处理领域的一个主要研究问题。在这项工作中，我们引入了一个问答任务，称为MedQA研究回答问题，在临床医学中使用的知识，在一个大规模的文件收集。MedQA的目的是通过大规模阅读理解来回答现实世界的问题。我们提出了我们的解决方案SeaReader--一个基于LSTM网络和双路径注意力架构的模块化端到端阅读理解模型。这种新颖的双路径注意力从两个角度对信息流进行建模，并且能够同时阅读单个文档并整合多个文档中的信息。在实验中，我们的SeaReader在MedQA上的准确性比竞争模型有了很大的提高。此外，我们开发了一系列新的技术来演示解释的问答过程中的SeaReader。
2018-02-28 cs.CL
Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多项选择阅读理解是一项具有挑战性的任务，需要复杂的推理过程。给定段落和问题，需要从一组候选答案中选择正确答案。本文提出了\textbf{D}双\textbf{C} o- \textbf{M}匹配\textbf{N}网络（\textbf{DCMN}），它对段落、问题和答案之间的关系进行了双向建模.与现有方法只计算问题感知或选项感知的段落表征不同，我们同时计算问题感知的问题表征和选项感知的答案表征。为了证明我们的模型的有效性，我们评估我们的模型上的大规模多项选择机器阅读理解数据集（即RACE）。实验结果表明，我们提出的模型取得了新的国家的最先进的结果。
2019-08-20 cs.CL
Building Large Machine Reading-Comprehension Datasets using Paragraph Vectors
Google Inc.（谷歌公司）
我们提出了一个双重贡献的任务，机器阅读理解：一种技术，用于创建大型机器理解（MC）数据集使用段落向量模型;和一种新的，混合神经网络架构，结合了代表性的能力，递归神经网络的判别力的完全连接的多层网络。我们使用MC数据集生成技术构建了一个约200万个示例的数据集，我们根据经验确定了人类性能的上限（约91%的准确率）以及各种计算机模型的性能。在我们实验过的所有模型中，我们的混合神经网络架构实现了最高的性能（83.2%的准确率）。人类性能上限的剩余差距为未来的模型改进提供了足够的空间。
2016-12-13 cs.CL
Improved Synthetic Training for Reading Comprehension
Columbia University（哥伦比亚大学）；IBM Research AI, T.J. Watson Research Center（IBM研究人工智能，T.J.沃森研究中心）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
自动生成的合成训练样本已被证明可以提高机器阅读理解（MRC）的性能。与人工注释的金标准数据相比，合成训练数据具有独特的属性，例如以可能的质量为代价的高可用性。鉴于这种差异，在本文中，我们探索新的应用合成的例子MRC。我们提出的预训练和知识蒸馏策略比现有的方法有显着的改进。在一个特别令人惊讶的发现中，我们观察到合成蒸馏通常会产生比教师模型表现更好的学生。
2020-10-24 cs.CL
Visualizing attention zones in machine reading comprehension models
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）
本文提出一套流水线与配套协议代码，用于可视化基于预训练语言模型的 MRC 模型各层注意力区域，以分析模型可解释性，并可推广至其他预训练语言模型。
2024-10-28 cs.CL
Zero-Shot Estimation of Base Models' Weights in Ensemble of Machine Reading Comprehension Systems for Robust Generalization
University of Qom（库姆大学）
机器阅读理解（MRC）模型面临的主要挑战之一是其脆弱的领域外泛化领域泛化，这使得这些模型不能很好地应用于现实世界的通用问答问题。在本文中，我们利用一个zero-shot加权集成方法来提高MRC模型的领域泛化的鲁棒性。在该方法中，权重估计模块用于估计域外权重，集成模块基于权重聚合多个基础模型的预测。实验结果表明，该方法不仅提高了最终的精度，而且对域的变化具有鲁棒性。
2021-06-30 cs.CL
Conversational Machine Reading Comprehension for Vietnamese Healthcare Texts
University of Information Technology（信息技术大学）；Vietnam National University Ho Chi Minh City（胡志明市越南国家大学）
机器阅读理解（MRC）是自然语言处理的一个子领域，旨在帮助计算机理解非结构化文本，然后回答与之相关的问题。在实践中，会话是沟通和传递信息的重要方式。为了帮助机器理解会话文本，我们提出了一个新的语料库，用于越南语的会话机器阅读理解的VIP-ViCoQA。该语料库包含10，000个问题，回答了2，000多个关于健康新闻文章的对话。然后，我们评估了几种基本的方法，会话机器理解上的EST-ViCoQA语料库。最好的模型获得了45.27%的F1分数，比人类的表现（76.18%）落后30.91分，这表明有足够的改进空间。我们的数据集可在我们的网站上获得：http://nlp.uit.edu.vn/datasets/用于研究目的。
2021-09-30 cs.CL
Fast Reading Comprehension with ConvNets
Cornell University（康奈尔大学）；Google Inc.（谷歌公司）
最先进的深度阅读理解模型由递归神经网络主导。它们的顺序性质自然适合语言，但它也排除了实例内的并行化，并且经常成为将此类模型部署到延迟关键场景的瓶颈。这对于较长的文本来说尤其成问题。在这里，我们提出了一个卷积架构作为这些循环架构的替代方案。使用简单的扩张卷积单元代替经常性的卷积单元，我们在两个问答任务上实现了与最先进技术相当的结果，同时实现了问答的两个数量级的加速。
2017-11-12 cs.CL
Bi-directional Cognitive Thinking Network for Machine Reading Comprehension
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Science（中国科学院大学网络空间安全学院）
本文从互补学习系统理论的角度提出了一个新的阅读理解双向认知知识框架。它旨在模拟大脑中的两种思维方式来回答问题，包括逆向思维和惯性思维。为了验证该框架的有效性，我们设计了一个双向认知思维网络（BCTN）对文章进行编码，并在给定答案（问题）的情况下生成问题（答案），实现双向知识的解耦。该模型具有逆向推理问题的能力，可以帮助惯性思维产生更准确的答案。在DuReader数据集中观察到竞争性改进，证实了我们的假设，即双向知识有助于QA任务。新的框架显示了一个有趣的视角机器阅读理解和认知科学。
2020-10-20 cs.CL
English Machine Reading Comprehension Datasets: A Survey
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）；Trinity College Dublin（都柏林圣三一学院）；the University of Dublin（都柏林大学）；School of Computing（计算机学院）；Dublin, Ireland（爱尔兰都柏林）
本文调查了60个英语机器阅读理解数据集，以期为其他对此问题感兴趣的研究者提供一个方便的资源。我们根据问题和答案的形式对数据集进行分类，并在各个维度上进行比较，包括大小，词汇，数据源，创建方法，人类表现水平和第一个问题词。我们的分析表明，维基百科是迄今为止最常见的数据源，并且在数据集上相对缺乏为什么，何时和何地的问题。
2021-10-08 cs.CL
RoR: Read-over-Read for Long Document Machine Reading Comprehension
JD AI Research（京东人工智能研究院）；Harbin Institute of Technology（哈尔滨工业大学）
基于transformer的预训练模型，如BERT，在机器阅读理解上取得了显著的效果。然而，由于编码长度的约束（例如，512 WordPiece令牌），长文档通常被分成多个独立读取的块。这导致阅读域仅限于单个块，而没有长文档机器阅读理解的信息协作。为了解决这个问题，我们提出了RoR，一个读过读的方法，它扩展了阅读领域从块到文档。具体地，RoR包括块读取器和文档读取器。前者首先为每个块预测一组区域答案，然后将其压缩成原始文档的高度压缩版本，保证编码一次。后者进一步预测了这份浓缩文件的全球答案。最终，利用投票策略对区域和全球答案进行汇总和重新排名，以进行最终预测。在两个基准测试QuAC和TriviaQA上的大量实验证明了RoR在长文档阅读中的有效性。值得注意的是，RoR在提交时（2021年5月17日）在QuAC排行榜（https：//quac.ai/）上排名第一。
2021-09-14 cs.CL
Learning to Ask Unanswerable Questions for Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）；Peng Cheng Laboratory（鹏城实验室）
带无法回答问题的机器阅读理解是一项具有挑战性的任务。在这项工作中，我们提出了一个数据增强技术，自动生成相关的无法回答的问题，根据一个可回答的问题与其相应的段落，包含答案配对。我们引入了一个对序列模型无法回答的问题生成，有效地捕捉问题和段落之间的相互作用。我们还提出了一种方法来构建训练数据，我们的问题生成模型，利用现有的阅读理解数据集。实验结果表明，与序列到序列基线相比，配对到序列模型的性能始终更好。我们进一步使用自动生成的无法回答的问题作为SQuAD 2.0数据集上的数据增强的手段，使用BERT基础模型产生1.9的绝对F1改进，使用BERT大型模型产生1.7的绝对F1改进。
2019-06-14 cs.CL
Subword-augmented Embedding for Cloze Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
表示学习是机器阅读理解的基础。在最先进的模型中，深度学习方法广泛使用单词和字符级表示。然而，字并不是自然的最小语言单位。此外，通过简单的字符和词嵌入的串联，以前的模型实际上给出了次优的解决方案。在本文中，我们提出使用子字，而不是字符的词嵌入增强。我们还实证性地探讨了不同的子词增强嵌入策略对提高完形填空阅读理解能力的作用。详细地说，我们提出了一个阅读器，使用子词级表示，以增加词嵌入与一个简短的列表，以有效地处理罕见的话。通过全面的考试，评估了建议阅读器的综合性能和概括能力。实验结果表明，所提出的方法可以帮助读者显着优于各种公共数据集上的最先进的基线。
2018-06-24 cs.CL
Adaptations of ROUGE and BLEU to Better Evaluate Machine Reading Comprehension Task
Baidu Inc.（百度公司）；Peking University（北京大学）
目前，基于问答的机器阅读理解（MRC）系统的评价指标通常集中在候选答案和参考答案之间的词汇重叠，如ROUGE和BLEU。然而，当这些指标用于特定问题类型时，可能会出现偏差，特别是询问是非意见和实体列表的问题。在本文中，我们对指标进行了调整，以更好地将n-gram重叠与人类对这两种问题类型答案的判断相关联。统计分析证明了我们的方法的有效性。本文的研究成果对实际MRC系统的开发具有积极的指导意义。
2018-06-10 cs.CL
CJRC: A Reliable Human-Annotated Benchmark DataSet for Chinese Judicial Reading Comprehension
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；China Justice Big Data Institute（中国司法大数据研究院）；Tsinghua University（清华大学）
我们提出了一个中国司法阅读理解（CJRC）数据集，其中包含约10K的文件和近50K的问题与答案。这些文件来自裁判文书，问题由法律专家注释。CJRC数据集可以帮助研究人员通过阅读理解技术提取元素。要素提取是法律领域的一项重要工作。然而，由于文档类型和作用原因的多样性，很难完全描述元素类型。相比之下，机器阅读理解技术可以通过回答长文档中的各种问题来快速提取元素。我们建立了两个强基线模型的基础上BERT和Bioburden。实验结果表明，与人类注释器相比，有足够的改进空间。
2019-12-19 cs.CL cs.LG
Building Dynamic Knowledge Graphs from Text using Machine Reading Comprehension
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research Montréal（微软蒙特利尔研究院）
我们提出了一个神经机器阅读模型，从过程文本构建动态知识图谱。它为所描述的过程的每个步骤循环地构建这些图，并使用它们来跟踪参与实体的演变状态。我们利用和扩展最近提出的机器阅读理解（MRC）模型查询实体状态，因为这些状态通常是在文本的跨度和MRC模型进行通信，以及在提取以实体为中心的跨度。我们的模型构建的显式，结构化和不断发展的知识图谱表示可以用于下游问答任务，以提高机器对文本的理解，正如我们经验证明的那样。在最近提出的PROPARA数据集的两个理解任务中（Dalvi等人，2018年），我们的模型实现了最先进的结果。我们进一步表明，我们的模型在RECIPES数据集上具有竞争力（Kiddon等人，2015年），这可能是普遍适用的。我们提出了一些证据表明，该模型的知识图谱，帮助它施加常识的约束，其预测。
2018-10-12 cs.CL
Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
理解叙述需要阅读字里行间的内容，这反过来又需要解释事件的可能原因和影响，即使它们没有明确提到。在本文中，我们介绍了Cosmos QA，这是一个包含35，600个问题的大规模数据集，这些问题需要基于常识的阅读理解，并以多项选择题的形式表达。与大多数现有的阅读理解数据集形成鲜明对比的是，这些数据集的问题集中在对上下文段落的事实和字面理解上，我们的数据集集中在对人们日常叙述的各种收集的字里行间的阅读，提出诸如“可能的原因是什么...？或者“如果......“这需要推理超出确切的文本跨度在上下文中。为了建立Cosmos QA的基线性能，我们实验了几种用于阅读理解的最先进的神经架构，并提出了一种新的架构，该架构在竞争基线上有所改进。实验结果表明，机器（68.4%）和人类（94%）之间存在显着差距，为未来的常识机器理解研究指明了方向。数据集、代码和排行榜可在https://wilburone.github.io/cosmos上公开获取。
2019-09-06 cs.AI cs.CL
XCMRC: Evaluating Cross-lingual Machine Reading Comprehension
Beijing Language and Culture University（北京语言大学）；Tencent Cloud AI（腾讯云AI）
我们提出XCMRC，第一个公共跨语言语言理解（XLU）基准，旨在测试机器的跨语言阅读理解能力。具体来说，XCMRC是一个跨语言完形填空式的机器阅读理解任务，要求读者通过阅读源语言（中文/英文）中的给定段落来填充目标语言（英文/中文）中句子中的一个缺失单词（我们另外提供了十个名词候选）。汉语和英语是资源丰富的语言对，为了研究低资源跨语言机器阅读理解（XMRC），除了定义不限制使用外部语言资源的普通XCMRC任务外，还定义了限制使用语言资源的伪低资源XCMRC任务。此外，我们还分别为普通XCMRC任务和伪XCMRC任务提供了两个基线。我们还为这两项任务提供了一个上限基线。我们发现，对于常见的XCMRC任务，基于解释的方法和基于多语言句子编码器的方法可以获得合理的性能，但仍有很大的改进空间。对于伪低资源XCMRC任务，由于对语言资源的使用有严格的限制，我们的两种方法都远远低于上界，因此还有很多挑战。
2019-08-15 cs.CL
ReCO: A Large Scale Chinese Reading Comprehension Dataset on Opinion
Sogou Inc.（搜狗公司）
本文介绍了ReCO，一个人工策划的中文阅读理解数据集上的意见。ReCO中的问题是向商业搜索引擎发出的基于意见的查询。这些段落由众包工作者提供，他们从检索到的文档中提取支持片段。最后，众包工作者给出了一个抽象的是/否/不确定的答案。ReCO的发布包括30万个问题，据我们所知，这是中文阅读理解中最大的问题。ReCO的一个突出特点是，除了原始的上下文段落外，我们还提供了可以直接用于回答问题的支持证据。质量分析表明，ReCO的挑战需要各种类型的推理技能，如因果推理，逻辑推理等。目前的QA模型在许多问答问题上表现得非常好，如BERT，在这个数据集上只能达到77%的准确率，远远落后于人类近92%的性能，这表明ReCO对机器阅读理解提出了很好的挑战。代码和数据集可在https://github.com/benywon/ReCO上免费获得。
2020-06-22 cs.CL
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
使机器能够阅读和理解自然语言文档，以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来，深度学习的普及和大规模数据集的建立，都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器，并介绍了一些经典的模型，分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
Attention-Guided Answer Distillation for Machine Reading Comprehension
National University of Defense Technology（中国人民解放军国防科技大学）；Microsoft Research Asia（微软亚洲研究院）
尽管目前的阅读理解系统已经取得了显着的进步，他们有前途的表现往往是在获得的成本，使众多的模型的合奏。此外，现有的方法也容易受到对抗攻击。本文通过利用知识蒸馏来解决这些问题，知识蒸馏的目的是将知识从集成模型转移到单个模型。我们首先证明了香草知识蒸馏应用于答案跨度预测是有效的阅读理解系统。然后，我们提出了两种新的方法，不仅惩罚预测混乱的答案，但也指导训练与对齐信息从合奏。实验表明，与集成教师相比，我们最好的学生模型在SQuAD测试集上的F1只有0.4%的轻微下降，而在推理过程中运行速度快了12倍。它甚至在对抗性SQuAD数据集和NarrativeQA基准测试中优于教师。
2018-09-17 cs.CL
Effective Character-augmented Word Embedding for Machine Reading Comprehension
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
机器阅读理解是一个对篇章和查询之间的关系进行建模的任务。就深度学习框架而言，大多数最先进的模型只是简单地连接单词和字符级别的表示，这对于相关任务来说是次优的。在本文中，我们经验性地探讨了不同的整合策略的词和字符嵌入，并提出了一个字符增强阅读器，出席字符级的代表性，以增加词嵌入与一个简短的列表，以改善词的表示，特别是对罕见的话。实验结果表明，所提出的方法有助于基线模型显着优于国家的最先进的基线在各种公共基准。
2021-01-07 cs.CL
Towards Inference-Oriented Reading Comprehension: ParallelQA
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们研究了端到端神经机器阅读理解（MRC）模型匹配浅层模式的趋势，而不是在RC基准上执行面向推理的推理。我们的目标是测试这些系统的能力，回答问题的重点是参考推理。我们提出了一种使用平行通道来制定此类问题的策略。我们还证明了现有的神经模型无法很好地推广到这种设置。
2018-05-10 cs.AI cs.CL
DADgraph: A Discourse-aware Dialogue Graph Neural Network for Multiparty Dialogue Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；National University of Singapore（新加坡国立大学）
多方对话机器阅读理解（MRC）不同于传统的MRC，因为模型必须处理复杂的对话话语结构，这在传统的MRC中是没有考虑的。为了充分利用这种话语结构在多方对话，我们提出了一个话语感知的对话图神经网络，DADgraph，显式地构建对话图使用话语依赖链接和话语关系。为了验证我们的模型，我们在Molweni语料库上进行了实验，这是一个大规模的MRC数据集，建立在用话语结构注释的多方对话之上。在Molweni上的实验表明，与强神经网络MRC基线相比，我们的话语感知模型在统计上取得了显着的改进。
2021-04-26 cs.CL
Step out of KG: Knowledge Graph Completion via Knowledgeable Retrieval and Reading Comprehension
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；BNRist（北京国家信息科学与技术研究中心）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）
知识图谱作为许多人工智能应用的基石，通常面临着严重的不完备性问题。近年来，人们对自动知识图谱补全（KGC）进行了大量的研究，其中大部分都是利用已有知识来推断新知识。然而，在我们的实验中，我们发现并不是所有的关系都可以通过推理得到，这限制了现有模型的性能。为了解决这个问题，我们提出了一种基于信息检索和阅读理解的新模型，即IR4KGC。具体来说，我们预先训练了一个基于知识的信息检索模块，该模块可以检索与待完成的三元组相关的文档。然后，检索到的文档被移交给阅读理解模块以生成预测答案。在实验中，我们发现，我们的模型可以很好地解决关系，不能从现有的知识推断，并取得了良好的效果在KGC数据集。
2022-10-12 cs.CL
Probing and Fine-tuning Reading Comprehension Models for Few-shot Event Extraction
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）
我们研究从文本数据中提取事件的问题，这需要检测目标事件类型及其参数。通常，事件检测和参数检测子任务都被公式化为监督序列标记问题。我们认为，这样训练的事件提取模型本质上是标签饥饿，并可以推广到不同领域和文本体裁差。我们提出了一个阅读理解框架的事件提取。具体来说，我们制定了事件检测作为一个文本蕴涵预测问题，和参数检测作为一个问题回答问题。通过构造合适的查询模板，我们的方法可以有效地从预训练的阅读理解模型中提取丰富的任务和标签语义知识。此外，我们的模型可以用少量数据进行微调，以提高其性能。我们的实验结果表明，我们的方法表现强劲的zero-shot和Few-Shot事件提取，它达到了最先进的性能ACE 2005基准训练时，完全监督。
2020-10-21 cs.CL
New Vietnamese Corpus for Machine Reading Comprehension of Health News Articles
University of Information Technology, VNU-HCM（胡志明市国家大学信息技术大学）
大规模和高质量的语料库是必要的评估机器阅读理解模型的低资源的语言，如越南语。此外，健康领域的机器阅读理解（MRC）具有很大的实际应用潜力，但在这一领域的MRC研究仍然很少。本文介绍了ViNewsQA作为一个新的语料库的越南语，以评估医疗阅读理解模型。该语料库包含22，057个人类生成的问答对。人群工作者根据超过4，416篇在线越南医疗保健新闻文章的集合创建问题及其答案，其中答案包括从相应文章中提取的跨度。特别是，我们开发了一个过程中创建一个语料库的越南语机器阅读理解。综合评估表明，我们的语料库需要超越简单推理的能力，如词匹配和要求基于单句或多句信息的困难推理。我们使用不同类型的机器阅读理解方法进行实验，以达到第一个基线性能，并与进一步模型的性能进行比较。我们还在语料库上测量了人类的表现，并将其与几个强大的基于神经网络和基于迁移学习的模型进行了比较。我们的实验表明，最好的机器模型是ALBERT，它达到了65.26%的准确匹配分数和84.89%的F1分数在我们的语料库。在我们语料库的测试集上，人类和最佳性能模型之间的显着差异（EM的14.53%和F1分数的10.90%）表明ViNewsQA的改进可以在未来的研究中探索。我们的语料库在我们的网站上公开提供，以鼓励研究社区进行这些改进。
2021-02-11 cs.CL
Self- and Pseudo-self-supervised Prediction of Speaker and Key-utterance for Multi-party Dialogue Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多方对话机器阅读理解（MRC）带来了巨大的挑战，因为它涉及多个说话人在一个对话，导致复杂的说话人信息流和嘈杂的对话环境。为了缓解这些困难，以前的模型专注于如何使用复杂的基于图形的模块和额外的手动标记数据来整合这些信息，这在实际场景中通常很少见。在本文中，我们设计了两个劳动自由的自我和伪自我监督的预测任务的发言人和关键话语隐式建模的发言人的信息流，并捕捉显着的线索，在一个漫长的对话。在两个基准数据集上的实验结果证明了我们的方法在竞争基线和当前最先进模型上的有效性。
2021-09-16 cs.CL
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune（浦那陆军技术学院）
多项选择机器阅读理解是一项困难的任务，它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人（或机器）阅读给定的文章、问题对，并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案，或者通过消除最差匹配答案。在这里，我们提出了GenNet模型，一个基于神经网络的模型。在这个模型中，我们首先从文章中生成问题的答案，然后将生成的答案与给定的答案进行匹配，最佳匹配的选项将是我们的答案。对于答案生成，我们使用S-网（Tan等人，2017）在SQuAD上训练的模型，为了评估我们的模型，我们使用了大规模RACE（来自考试的阅读理解数据集）（Lai et al.，2017年）的报告。
2020-03-18 cs.AI cs.CL
Numerical reasoning in machine reading comprehension tasks: are we there yet?
Imperial College London（帝国理工学院）；City, University of London（伦敦城市大学）
基于数值推理的机器阅读理解是一项涉及阅读理解以及使用算术运算（如加法、减法、排序和计数）的任务。DROP基准（Dua等人，2019）是最近的一个数据集，它启发了旨在解决这一任务的NLP模型的设计。这些模型目前在DROP排行榜上的排名超过了标准指标，表明这些模型已经达到了接近人类的性能。然而，这是否意味着这些模型已经学会了推理？在本文中，我们提出了一个控制研究的一些最高性能的模型架构的任务的数值推理。我们的观察表明，标准指标无法衡量这些任务的进展情况。
2021-09-16 cs.AI cs.CL
SciMRC: Multi-perspective Scientific Machine Reading Comprehension
Beijing Institute of Technology（北京理工大学）；Southeast Academy of Information Technology, Beijing Institute of Technology（北京理工大学东南信息技术研究院）
针对现有科学机器阅读理解数据集仅含单一视角的局限，本文提出包含初学者、学生和专家视角的多视角数据集SciMRC，实验证明其有效且具挑战性。
2023-06-25 cs.CL
Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge
Cornell University（康奈尔大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们的目标是提取常识知识，以提高机器阅读理解。我们建议通过将结构化知识置于上下文中而不是依赖于预定义的一组关系来隐式地表示关系，我们称之为上下文化知识。每一条语境化知识都由一对相互关联的语言和非语言信息组成，这些信息是从剧本和场景中提取出来的，它们作为语境隐含地代表了语言和非语言信息之间的关系，这些信息最初是通过剧本中的不同模态来传达的。我们提出了一个两阶段的微调策略，使用大规模的弱标记数据的基础上的一种类型的上下文知识，并采用师生范式注入多种类型的上下文知识到学生机器阅读器。实验结果表明，我们的方法在机器阅读理解数据集C^3上的准确率提高了4.3%，其中大多数问题需要未陈述的先验知识。
2020-10-19 cs.CL
Reading the Manual: Event Extraction as Definition Comprehension
Johns Hopkins University（约翰霍普金斯大学）；University of Rochester（罗切斯特大学）
我们问文本的理解是否已经进展到我们可以通过从注释手册中提取事件信息的增量细化漂白语句。这样的能力将允许预期的最终用户通过诸如“某人在某个时间出生在某个地点”之类的声明来简单地构造和扩展提取框架。“我们介绍了一个使用这种语句的模型的例子，实验表明我们可以在封闭的本体下提取事件，并通过阅读新的定义来概括看不见的事件类型。
2020-10-23 cs.CL
A Multi-Type Multi-Span Network for Reading Comprehension that Requires Discrete Reasoning
National University of Defense Technology（国防科技大学）
在阅读理解和问答领域取得了快速进展，其中几个系统在一些简化的设置中实现了人类平等。然而，当这些模型应用于更现实的场景时，例如答案涉及各种类型，多个文本串是正确答案，或者需要离散推理能力时，这些模型的性能显著下降。在本文中，我们介绍了多类型多跨度网络（MTMSN），这是一种神经阅读理解模型，它结合了一个多类型答案预测器，旨在支持各种答案类型（例如，跨度、计数、求反和算术表达式），其中多跨度提取方法用于动态地产生一个或多个文本跨度。此外，提出了一种算术表达式重排序机制来对候选表达式进行排序，以进一步确认预测。实验表明，我们的模型在DROP隐藏测试集上达到了79.9 F1，创造了新的最先进的结果。发布源代码\footnote{\url{https://github.com/huminghao16/MTMSN}}，以方便将来的工作。
2019-08-30 cs.CL
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答（QA）是语音助理的重要用例。一种流行的问答方法是提取阅读理解（RC），它在文本段落中找到答案跨度。然而，提取的答案在会话上下文中通常是不自然的，这导致次优的用户体验。在这项工作中，我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型，它将多个段落的答案生成与段落排名和可回答性相结合。此外，在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结，以评估真实性。实验结果表明，与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比，EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
Unsupervised Explanation Generation for Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
随着各种预训练语言模型（Pre-trained Language Models，PLM）的不断涌现，机器阅读理解（Machine Reading Comprehension，MRC）在各种基准测试中取得了显著的进步，甚至超过了人类的表现。然而，现有的工作只针对最终预测的准确性，而忽略了对预测的解释的重要性，这是一个很大的障碍，利用这些模型在现实生活中的应用，以说服人类。在本文中，我们提出了一个自我解释的框架，机器阅读理解任务。其主要思想是，所提出的系统试图使用更少的通道信息，并实现类似的结果相比，使用整个通道的系统，而过滤的通道将被用作解释。我们在三个多项选择MRC数据集上进行了实验，发现所提出的系统可以在基线系统上实现一致的改进。为了评估可解释性，我们将我们的方法与人类评价中的传统注意力机制进行了比较，发现所提出的系统比后者具有显着的优势。
2020-11-13 cs.CL
