DRCD: a Chinese Machine Reading Comprehension Dataset
Delta Research Center（台达研究中心）；Delta Electronics, Inc.（台达电子工业股份有限公司）
本文介绍了一个开放领域的传统中文机器阅读理解数据集DRCD（Delta Reading Comprehension Dataset）。该数据集旨在成为一个标准的中文机器阅读理解数据集，可以作为迁移学习的源数据集。该数据集包含来自2，108篇维基百科文章的10，014个段落和注释者生成的30，000多个问题。我们建立了一个基线模型，其F1得分为89.59%。人因绩效F1评分为93.30%。
2019-05-29 cs.CL
Relation/Entity-Centric Reading Comprehension
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
构建一台能够理解人类语言的机器是人工智能中最难以捉摸和长期存在的挑战之一。本文通过对阅读理解的研究来解决这一挑战，重点是理解实体及其关系。更具体地说，我们专注于旨在衡量阅读理解的问答任务。我们关注实体和关系，因为它们通常用于表示自然语言的语义。
2020-08-27 cs.CL
STARC: Structured Annotations for Reading Comprehension
MIT（麻省理工学院）
我们提出了STARC（阅读理解结构化注释），一个新的注释框架，用于评估阅读理解与多项选择题。我们的框架引入了一个原则性的结构，答案的选择，并将它们绑定到文本跨度注释。该框架在OneStopQA中实现，OneStopQA是一种用于英语阅读理解评估和分析的新的高质量数据集。我们使用这个数据集来证明STARC可以用于开发SAT类阅读理解材料的关键新应用：通过跨度消融实验进行自动注释质量探测。我们进一步表明，它可以深入分析和比较机器和人类的阅读理解行为，包括错误分布和猜测能力。我们的实验还表明，NLP中的标准多项选择数据集RACE在测量阅读理解能力方面是有限的。47%的问题可以被机器猜到，而不需要访问文章，18%的问题被人类一致认为没有唯一的正确答案。OneStopQA为阅读理解提供了一个替代测试集，它弥补了这些缺点，并具有更高的人类上限性能。
2020-04-30 cs.CL
ReCoRD: Bridging the Gap between Human and Machine Commonsense Reading Comprehension
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
我们提出了一个大规模的数据集，ReCoRD，机器阅读理解需要常识推理。在这个数据集上的实验表明，最先进的MRC系统的性能远远落后于人类的性能。ReCoRD代表了未来研究的一个挑战，即弥合人类和机器常识阅读理解之间的差距。ReCoRD可在http://nlp.jhu.edu/record上获得。
2018-10-30 cs.CL
Automatic learner summary assessment for reading comprehension
Amazon Research（亚马逊研究院）；ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）
摘要的自动评估为评估学习者的阅读理解提供了一个有用的工具。我们提出了一个评估非母语阅读理解的摘要任务，并提出了三种新的方法来自动评估学习者的摘要。我们在我们创建的两个数据集上评估了我们的模型，并表明我们的模型优于传统的依赖于精确单词匹配的方法。我们最好的模式产生接近专业考官的质量评估。
2019-06-18 cs.CL
Integrating Semantic Information into Sketchy Reading Module of Retro-Reader for Vietnamese Machine Reading Comprehension
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
机器阅读理解是近年来自然语言处理领域最前沿、最热门的研究课题之一。可答性问题的分类是机器阅读理解中一个比较重要的子任务，但目前的研究并不多。Retro-Reader是有效解决这一问题的研究之一。然而，大多数传统的机器阅读理解模型的编码器，特别是Retro-Reader，都不能完全利用上下文的上下文语义信息。受SemBERT的启发，我们使用SRL任务中的语义角色标签来为预先训练好的语言模型（如mBERT、XLM-R、PhoBERT）添加语义。本实验旨在比较语义对越南语机器阅读理解可答性分类的影响。此外，我们希望这个实验将增强Retro-Reader模型的粗略阅读模块的编码器。将改进后的Retro-Reader模型的语义编码器首次应用于越南语机器阅读理解任务，取得了良好的效果。
2023-01-01 cs.CL
KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解（MRC）是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70，000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战，以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
Sogou Machine Reading Comprehension Toolkit
Sogou, Inc.（搜狗公司）
近年来，机器阅读理解得到了广泛的研究，基于神经网络的模型表现出了优越的性能。在本文中，我们提出了一个搜狗机器阅读理解（SMRC）工具包，可用于提供现代机器理解模型的快速，高效的开发，包括已发布的模型和原始原型。为了实现这一目标，该工具包提供了数据集读取器、灵活的预处理管道、必要的神经网络组件和内置模型，使数据准备、模型构建和训练的整个过程变得更加简单。
2019-04-01 cs.CL
NumNet: Machine Reading Comprehension with Numerical Reasoning
Tencent Inc（腾讯公司）；Tsinghua University（清华大学）
数字推理是人类阅读理解中的一项关键技能，而现有的机器阅读理解（MRC）系统并没有很好地考虑到这一点。为了解决这个问题，我们提出了一个数字MRC模型命名为NumNet，它利用一个数字感知的图神经网络考虑比较信息，并执行数字推理的问题和段落。我们的系统在DROP数据集上获得了64.56%的EM分数，通过考虑数字之间的数值关系，优于所有现有的机器阅读理解模型。
2019-10-15 cs.CL
Analyzing Multiple-Choice Reading and Listening Comprehension Tests
Cambridge University（剑桥大学）；ALTA Institute（ALTA研究所）；Cambridge Assessment（剑桥评估中心）
本文研究了多项选择阅读与听力理解测试中上下文段落的必要阅读量，发现自动系统在部分或无上下文时仍优于随机水平，为内容创作者自动权衡问题所需的理解能力与世界知识提供了方法。
2023-07-03 cs.CL
ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension
University of California, Irvine（加州大学欧文分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
阅读理解是进一步研究自然语言理解的重要课题之一。最近引入了许多不同的阅读理解数据集来研究自然语言中的各种现象，从简单的释义匹配和实体类型到实体跟踪和理解上下文的含义。鉴于许多这样的数据集的可用性，全面和可靠的评估是繁琐和耗时的研究人员在这个问题上的工作。我们提出了一个评估服务器，ORB，报告性能的七个不同的阅读理解数据集，鼓励和促进测试一个单一的模型的能力，在理解各种各样的阅读现象。评估服务器对如何训练模型没有任何限制，因此它是探索训练范例和一般阅读设施的表示学习的合适测试平台。随着更多合适的数据集的发布，它们将被添加到评估服务器中。我们还收集并包含这些数据集的合成增强，测试模型处理域外问题的能力。
2019-12-29 cs.CL
A Span-Extraction Dataset for Chinese Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。本文介绍了一个用于中文机器阅读理解的跨度抽取数据集，以增加这方面的语言训练。该数据集由人类专家在维基百科段落上注释的近20，000个真实问题组成。我们还注释了一个挑战集，其中包含需要在整个上下文中进行全面理解和多句推理的问题。我们提出了几个基线系统，以及匿名提交证明在这个数据集的困难。随着数据集的发布，我们主办了第二届中国机器阅读理解评估研讨会（CMRC 2018）。我们希望该数据集的发布能够进一步加速中文机器阅读理解的研究。相关资源：https://github.com/ymcui/cmrc2018
2019-08-29 cs.CL
Optimizing Odia Braille Literacy: The Influence of Speed on Error Reduction and Enhanced Comprehension
IIT Kharagpur（印度理工学院卡拉格普尔分校）；TCS Research（塔塔咨询服务公司研究院）
本研究通过分析六名视觉障碍学生的奥里亚语盲文阅读速度、手部运动与错误及理解力的关系，发现速度降低导致错误增多，而错误减少与理解力提升相关，为教学提供了重要启示。
2023-10-12 cs.CL
Improving Cross-Lingual Reading Comprehension with Self-Training
National Taiwan University（国立台湾大学）
机器阅读理解已经有了实质性的改进，机器根据给定的上下文回答问题。目前最先进的模型甚至在几个基准上超过了人类的表现。然而，他们在跨语言场景中的能力仍有待探索。先前的工作已经揭示了预训练的多语言模型的能力，zero-shot跨语言阅读理解。在本文中，我们进一步利用未标记的数据，以提高性能。该模型首先在源语言语料库上进行监督训练，然后用未标记的目标语言数据进行自训练。实验结果表明，所有语言的提高，我们还分析了自我训练如何有利于跨语言阅读理解的定性方面。
2021-05-08 cs.CL
Machine Reading Comprehension: a Literature Review
Peking University（北京大学）
机器阅读理解旨在教机器像人一样理解文本，是人工智能的一个新的具有挑战性的方向。本文综述了MRC的最新进展，主要集中在两个方面（即，语料库和技术）。列举并比较了各种MRC语料库的具体特点。介绍了几种典型MRC技术的主要思想。
2019-06-30 cs.CL
Automatically generating question-answer pairs for assessing basic reading comprehension in Swedish
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出了一个质量的自动生成的阅读理解问题，从瑞典语文本的评价，使用Quinductor方法。该方法是一种轻量级的、数据驱动的、非神经网络的问题自动生成方法。评估表明，Quinductor是一种可行的QG方法，可以为基于神经网络的QG方法提供强有力的基线。
2022-11-28 cs.CL
Making Neural Machine Reading Comprehension Faster
本研究旨在解决机器阅读理解问题，其中问题必须在给定的上下文文章中回答。面临的挑战是开发一个计算速度更快的模型，这将改善推理时间。在许多自然语言理解任务中，BERT模型已经被使用，并且知识蒸馏方法已经被应用于训练两个较小的模型。所开发的模型进行了比较与其他模型已开发具有相同的意图。
2019-03-29 cs.CL
A Survey on Machine Reading Comprehension Systems
University of Qom（库姆大学）
机器阅读理解是自然语言处理中一个具有挑战性的课题和研究热点。它的目标是开发系统来回答有关给定上下文的问题。本文对机器阅读理解系统的研究方法、结构、输入/输出和研究创新等方面进行了综述。我们根据2016年至2020年的241篇综述论文说明了该领域的最新趋势。我们的调查表明，近年来研究的重点已经从答案提取到答案生成，从单文档阅读理解到多文档阅读理解，从从头开始学习到使用预训练的嵌入。我们还讨论了流行的数据集和评价指标在这一领域。本文最后调查了被引用最多的论文及其贡献。
2020-10-20 cs.CL
A Co-Matching Model for Multi-choice Reading Comprehension
Singapore Management University（新加坡管理大学）；IBM Research（IBM研究院）
多项选择阅读理解是一项具有挑战性的任务，它涉及到文章和问答对之间的匹配。本文提出了一种新的协同匹配方法来解决这个问题，它联合模型是否可以匹配的问题和候选答案的段落。RACE数据集上的实验结果表明，我们的方法达到了最先进的性能。
2018-06-11 cs.CL
DREAM: A Challenge Dataset and Models for Dialogue-Based Reading Comprehension
Cornell University（康奈尔大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了梦想，第一个基于对话的多项选择阅读理解数据集。我们的数据集收集自人类专家设计的英语作为外语的考试，以评估中国英语学习者的理解水平，我们的数据集包含6，444个对话的10，197个多项选择题。与现有的阅读理解数据集相比，DREAM是第一个专注于深度多回合多方对话理解的数据集。DREAM可能会对现有的阅读理解系统提出重大挑战：84%的答案是非提取的，85%的问题需要推理超过一个句子，34%的问题还涉及常识知识。我们应用了几种流行的神经阅读理解模型，这些模型主要利用文本中的表面信息，并发现它们充其量只是勉强优于基于规则的方法。接下来，我们调查的效果，将对话结构和不同种类的一般世界知识，以基于规则和（神经和非神经）机器学习为基础的阅读理解模型。在DREAM数据集上的实验结果表明了对话结构和一般世界知识的有效性。梦想将在https://dataset.org/dream/上提供。
2019-02-01 cs.CL
Fine-Grained Prediction of Reading Comprehension from Eye Movements
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology（以色列理工学院数据与决策科学学院）；Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology（麻省理工学院脑与认知科学系）
本文提出在单问题层面依据眼动预测阅读理解，构建三个多模态语言模型并与既有模型比较，在两种阅读模式和多种泛化设置下验证眼动信号的有效性。
2024-10-06 cs.CL
Weighted Global Normalization for Multiple Choice Reading Comprehension over Long Documents
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
最近的证据指出，高性能的跨度预测模型的脆弱性的动机，我们把我们的注意力多项选择阅读理解。特别是，这项工作介绍了一种新的方法，通过加权的全球规范化的预测部分的文件，以改善答案选择长文件。我们表明，将我们的方法应用于适用于答案选择的跨度预测模型有助于对NarrativeQA的长摘要进行建模，NarrativeQA是一个具有答案选择任务的具有挑战性的阅读理解数据集，并且我们通过+36.2平均倒数排名大大提高了任务基线性能。
2021-11-25 cs.CL
SberQuAD -- Russian Reading Comprehension Dataset: Description and Analysis
JetBrains Research（JetBrains 研究院）
SberQuAD是斯坦福SQuAD在俄语中的大规模模拟，是一种宝贵的资源，尚未适当地呈现给科学界。我们通过提供描述、彻底的分析和基线实验结果来填补这一空白。
2020-05-02 cs.CL
Cross-Lingual Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
虽然在机器阅读理解（MRC）方面取得了很大的进展，但由于缺乏大规模的训练数据，以往的研究大多是针对英语的MRC问题，而针对其他语言的研究较少。在本文中，我们提出了跨语言的机器阅读理解（CLMRC）任务的语言以外的英语。首先，我们提出了几种CLMRC任务的回译方法，这是直接采用。然而，将答案准确地与另一种语言对齐是困难的，并且可能引入额外的噪声。在此背景下，我们提出了一种新的模型Dual BERT，该模型利用丰富资源语言（如英语）提供的大规模训练数据，在双语环境下学习文章和问句之间的语义关系，并利用学习到的知识来提高低资源语言的阅读理解能力。我们在两个中文机器阅读理解数据集CMRC 2018和DRCD上进行了实验。结果表明，在各种国家的最先进的系统的大幅度一致和显着的改善，这表明在CLMRC任务的潜力。可用资源：https://github.com/ymcui/Cross-Lingual-MRC
2019-09-01 cs.CL cs.LG cs.NE
An Experimental Study of Deep Neural Network Models for Vietnamese Multiple-Choice Reading Comprehension
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
机器阅读理解（MRC）是自然语言处理中的一个具有挑战性的任务，它使计算机能够理解自然语言文本并回答基于这些文本的问题。解决这一问题的技术有很多，而单词表征是影响机器阅读理解准确性的一个重要技术，它直接影响到英语和汉语等流行语言的机器阅读理解问题。然而，很少有关于MRC的研究已经在低资源语言如越南语中进行。在本文中，我们进行了几个实验的神经网络为基础的模型，了解词的表征越南多项选择机器阅读理解的影响。我们的实验包括使用共匹配模型对六种不同的越南语词嵌入和BERT模型的多项选择阅读理解。在ViMMRC语料库上，BERT模型在测试集上的准确率为61.28%.
2021-02-18 cs.CL
Implicit Argument Prediction as Reading Comprehension
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
隐式参数，不能通过语法线索单独检测，使其更难提取谓词-参数元组。我们提出了一个新的模型，利用阅读理解的隐式参数预测，铸造的谓词参数元组与失踪的参数作为一个查询。我们还借鉴了指针网络和多跳计算。我们的模型在论元完形填空任务和名词性隐式论元预测任务上表现出了良好的性能。
2018-11-08 cs.CL
Stochastic Answer Networks for Machine Reading Comprehension
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个简单而强大的随机回答网络（SAN），模拟机器阅读理解的多步推理。与以往的工作如ReasoNet使用强化学习来确定步骤数相比，其独特之处在于在训练过程中对神经网络的答案模块（最终层）使用了一种随机预测丢弃。我们证明了这个简单的技巧提高了鲁棒性，并在斯坦福问答数据集（SQuAD），对抗SQuAD和微软机器阅读理解数据集（MS MARCO）上取得了与最先进的结果相竞争的结果。
2018-05-15 cs.CL
Broad Context Language Modeling as Reading Comprehension
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；University of Chicago（芝加哥大学）
文本理解的进展是由测试特定能力的大型数据集驱动的，如最近的阅读理解数据集（Hermann et al.，2015年）。我们在这里关注LAMBADA数据集（Paperno等人，2016），一个单词预测任务需要比直接句子更广泛的上下文。我们认为LAMBADA作为一个阅读理解问题，并应用基于神经网络的理解模型。虽然这些模型被限制在从上下文中选择一个词，但它们将LAMBADA的最新技术水平从7.3%提高到了49%。我们分析了100个实例，发现神经网络阅读器在涉及基于对话或话语线索从上下文中选择名称的情况下表现良好，但在需要共指消解或外部知识时表现不佳。
2017-02-16 cs.CL
NaijaRC: A Multi-choice Reading Comprehension Dataset for Nigerian Languages
Masakhane NLP；Saarland University（萨尔大学）；University of Lagos（拉各斯大学）；Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
该研究构建了涵盖三种尼日利亚本土语言的多项选择阅读理解数据集NaijaRC，基于预训练仅编码器模型开展跨语言迁移得到基线结果，还通过提示大语言模型给出对应结果，为低资源语言阅读理解研究提供数据支撑。
2024-05-19 cs.CL
Feature-augmented Machine Reading Comprehension with Auxiliary Tasks
School of Mathematics and Statistics（数学与统计学院）；Guangdong University of Technology（广东工业大学）
虽然大多数成功的机器阅读理解方法都依赖于单一的训练目标，但我们假设编码层可以通过我们在预测层中定义的损失函数（在大多数情况下是交叉熵）来学习大量的表示，我们首先使用神经网络对问题和段落进行编码，然后直接将两者的编码结果融合。然而，由于在阅读理解中的远距离反向传播损失，编码层不能有效地学习和直接监督。因此，编码器层在任何时候都不能很好地学习表示。在此基础上，我们提出了在编码层中注入多粒度信息的方法。实验表明，在编码层中加入多粒度信息可以提高机器阅读理解系统的性能。最后，实证研究表明，我们的方法可以适用于许多现有的MRC模型。
2022-11-17 cs.CL
A Framework for Learning Assessment through Multimodal Analysis of Reading Behaviour and Language Comprehension
Indian Institute of Information Technology Allahabad（印度信息技术学院阿拉哈巴德分校）
阅读理解是一项重要的学术技能，它是通过将文字的字形转化为意义的过程来理解书面语篇的。其他语言学习技能--写作、口语和听力，都与阅读理解有关。研究人员提出了一些措施来自动评估第二语言（L2）学习者的理解技能，特别是英语作为第二语言（ESL）和英语作为外语（EFL）的学习者。然而，目前的方法测量特定的技能没有分析阅读频率对理解技能的影响。在这篇论文中，我们展示了如何不同的技能可以自动测量和评分。我们还展示了，使用多种形式的学习者的反应的例子实验，如何频繁的阅读实践可能会影响变量的多模态技能（阅读模式，写作和口语流利性）。本论文由五个部分组成。第一和第二项研究是基于在重复阅读（RR）会话中收集的EFL读者的眼动数据。研究三和研究四是对英语阅读者在重复阅读中撰写的自由文本摘要进行评价。第五个也是最后一个研究，在本论文的第六章中描述，是对EFL读者在重复阅读中背诵的口头摘要进行评估。简而言之，通过这篇论文，我们表明，学习者的多模态技能可以进行评估，以衡量他们的理解能力，以及衡量这些技能在时间的过程中重复阅读的效果，通过发现显着的功能，并通过应用机器学习技术与统计模型，如LMER的组合。
2021-10-22 cs.CL
Comparing Attention-based Convolutional and Recurrent Neural Networks: Success and Limitations in Machine Reading Comprehension
我们提出了一个基于两阶段注意力的比较-聚合框架的机器阅读理解模型，在MovieQA问答数据集上取得了最先进的结果。为了研究我们的模型的局限性以及卷积神经网络和递归神经网络之间的行为差异，我们生成了对抗性示例来混淆模型并与人类性能进行比较。此外，我们通过分析模型与人类推理的差异来评估模型的泛化能力，
2018-08-27 cs.CL
A Comparative Study of Word Embeddings for Reading Comprehension
Carnegie Mellon University（卡内基梅隆大学）
过去针对阅读理解任务的机器学习研究的重点主要是设计新颖的深度学习架构。在这里，我们表明，在（1）使用预先训练的词嵌入和（2）在测试时表示词汇表外的标记上所做的看似次要的选择，可能会对最终性能产生比架构选择更大的影响。我们系统地探讨了这些选择的几种选择，并为在这一领域工作的研究人员提供建议。
2017-03-02 cs.CL
Benchmarking Machine Reading Comprehension: A Psychological Perspective
National Institute of Informatics（国立信息学研究所）；University College London（伦敦大学学院）
机器阅读理解（MRC）作为自然语言理解的基准已经受到相当大的关注。然而，MRC的传统任务设计缺乏超出模型解释的可解释性，即，阅读理解的模式不能用人类的语言来解释。为此，本文为基于心理学和心理测量学的MRC数据集的设计提供了理论基础，并总结了MRC基准测试的先决条件。我们的结论是，未来的数据集应该（i）评估模型的能力，以构建一个连贯和接地表示理解上下文相关的情况和（ii）确保通过捷径证明问题和解释作为任务设计的一部分，实质性的有效性。
2021-01-26 cs.CL
DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs
University of California, Irvine（加州大学尔湾分校）；Peking University（北京大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
阅读理解最近取得了快速进展，系统在最流行的数据集上与人类相匹配。然而，大量的工作突出了这些系统的脆弱性，表明还有许多工作要做。我们介绍了一个新的英语阅读理解基准，DROP，它需要对段落的内容进行离散推理。在这个众包、对抗性创建的96k问题基准测试中，系统必须解析问题中的引用，可能是多个输入位置，并对它们执行离散操作（例如加法、计数或排序）。这些操作需要比以前的数据集更全面地了解段落的内容。我们在这个数据集上应用了阅读理解和语义解析文献中最先进的方法，并表明最好的系统在我们的广义准确性指标上仅达到32.7%的F1，而专家的人类表现为96.0%。我们还提出了一个新的模型，结合阅读理解方法与简单的数字推理，以达到47.0%F1。
2019-04-16 cs.CL
TORQUE: A Reading Comprehension Dataset of Temporal Ordering Questions
Allen Institute for AI（艾伦人工智能研究所）；Hooray Data Co., Ltd（好耶数据有限公司）；University of Southern California（南加利福尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）
阅读的一个关键部分是能够理解文本中描述的事件之间的时间关系，即使这些关系没有明确说明。然而，目前的机器阅读理解基准测试几乎没有测试时间现象的问题，因此在这些基准测试上训练的系统没有能力回答诸如“[某个事件]之前/之后发生了什么？“我们介绍了TORQUE，这是一个新的英语阅读理解基准，建立在3.2k新闻片段上，其中包含21 k人类生成的查询时间关系的问题。结果表明，RoBERTa-large在TORQUE测试集上获得了51%的精确匹配分数，比人类性能落后约30%。
2020-10-06 cs.CL
Joint Training of Candidate Extraction and Answer Selection for Reading Comprehension
Baidu Inc.（百度公司）
虽然在阅读理解中已经开发出了复杂的基于神经的技术，但大多数方法都以独立的方式对答案进行建模，忽略了它与其他答案候选者的关系。这个问题在开放领域的情况下可能更糟，其中多个段落的候选人应该组合起来回答一个问题。在本文中，我们将阅读理解描述为一个提取然后选择的两阶段过程。我们首先从文章中提取答案候选，然后通过组合来自所有候选的信息来选择最终答案。此外，我们把候选人提取作为一个潜在的变量和训练的两个阶段的过程与强化学习。因此，我们的方法在两个具有挑战性的开放域阅读理解数据集上显着提高了最先进的性能。进一步的分析表明，我们的模型组件的有效性，特别是所有候选人的信息融合和提取，然后选择过程的联合训练。
2018-05-16 cs.CL
A Survey on Explainability in Machine Reading Comprehension
University of Manchester（曼彻斯特大学）
本文对机器阅读理解（MRC）中的可解释性基准和方法进行了系统的综述。我们提出了如何表示和推理的挑战演变和采取的步骤来解决这些挑战。我们还提出了评估方法来评估可解释系统的性能。此外，我们还确定了持续存在的开放研究问题，并强调了未来工作的关键方向。
2020-10-01 cs.AI cs.CL
Sentence Extraction-Based Machine Reading Comprehension for Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
自然语言处理的发展，特别是机器阅读理解的发展，引起了研究界的极大关注。近年来，越南语机器阅读理解任务有一些大规模的数据集，如NAP-ViQuAD和NAP-ViNewsQA。然而，这些数据集在为研究服务的答案上并不多样化。在本文中，我们介绍了第一个用于评估越南语中基于句子提取的机器阅读理解的数据集-ViWikiQA。ViWikiQA数据集是从ViWikiQA数据集转换而来的，由23.074个问题-答案组成，基于174篇维基百科越南语文章的5.109个段落。我们提出了一个转换算法来创建数据集的句子提取为基础的机器阅读理解和三种类型的方法，句子提取为基础的机器阅读理解在越南语。我们的实验表明，最好的机器模型是XLM-R_Large，它在我们的数据集上实现了85.97%的精确匹配（EM）和88.77%的F1分数。此外，我们分析了越南语的问题类型和上下文对MRC模型性能的影响方面的实验结果，从而显示了我们向语言处理社区提出的EST-ViWikiQA数据集的挑战。
2021-06-11 cs.CL
The NarrativeQA Reading Comprehension Challenge
DeepMind；University of Oxford（牛津大学）
阅读理解（RC）--与信息检索相反--需要在整个文档中整合关于事件、实体及其关系的信息和推理。问答通常用于评估RC能力，在人工代理和儿童学习阅读。然而，现有的RC数据集和任务由可以通过使用表面信息（例如，局部上下文相似性或全局术语频率）;因此，它们未能测试RC的基本综合方面。为了鼓励更深入地理解语言，我们提出了一个新的数据集和一组任务，读者必须通过阅读整本书或电影剧本来回答有关故事的问题。这些任务的设计是为了成功地回答他们的问题需要理解潜在的叙述，而不是依赖于肤浅的模式匹配或显著性。我们表明，虽然人类很容易解决的任务，标准的RC模型的斗争在这里提出的任务。我们对数据集及其带来的挑战进行了分析。
2017-12-19 cs.AI cs.CL cs.NE
Complex Reading Comprehension Through Question Decomposition
Monash University（莫纳什大学）
多跳阅读理解不仅需要对原始文本进行推理的能力，还需要结合多种证据的能力。我们提出了一种新的学习方法，帮助语言模型更好地理解困难的多跳问题，并执行“复杂的，合成”的推理。我们的模型首先学习通过可训练的问题分解器将每个多跳问题分解为几个子问题。我们不回答这些子问题，而是直接将它们与原始问题和上下文连接起来，并利用阅读理解模型以序列对序列的方式预测答案。通过对这两个组件使用相同的语言模型，我们最好的分离/统一的t5-base变体在DROP数据集的硬子集上超过基线7.2/6.1个绝对F1点。
2022-11-07 cs.CL
Multi Document Reading Comprehension
Indian Institute Of Technology (BHU) Varanasi（印度理工学院（巴纳拉斯印度教大学）瓦拉纳西分校）
阅读理解（RC）是从给定的文章或一组文章中回答问题的任务。在多个段落的情况下，任务是找到问题的最佳答案。最近在自然语言处理（NLP）领域的试验和实验已经证明，机器不仅可以处理文章中的文本并理解其含义以回答文章中的问题，而且还可以在许多数据集上超越人类表现，例如斯坦福的问答数据集（SQuAD）。本文介绍了近几十年来自然语言处理领域对阅读理解的研究及其进展。我们还将研究如何单文档阅读理解任务作为我们的多文档阅读理解系统的构建块。在本文的后半部分，我们将研究最近提出的多文档阅读理解模型-RE 3QA，该模型由阅读器，检索器和基于重新排序的网络组成，以从给定的段落集合中获取最佳答案。
2022-01-05 cs.AI cs.CL
Reading Comprehension in Czech via Machine Translation and Cross-lingual Transfer
Charles University（查理大学）
阅读理解是一项研究得很好的任务，有大量的英语训练数据集。这项工作的重点是建立捷克语阅读理解系统，而不需要任何手动注释的捷克语训练数据。首先，我们自动将SQuAD 1.1和SQuAD 2.0数据集翻译成捷克语，以创建培训和开发数据，并在http://hdl.handle.net/11234/1-3249上发布。然后，我们训练和评估了几个BERT和XLM-RoBERTa基线模型。然而，我们的主要焦点在于跨语言迁移模型。我们报告说，在英语数据上训练并在捷克语上评估的XLM-RoBERTa模型实现了非常有竞争力的性能，仅比在翻译的捷克语数据上训练的模型差约2%。考虑到模型在训练期间没有看到任何捷克数据，这个结果非常好。跨语言迁移方法非常灵活，可以提供任何语言的阅读理解，我们有足够的单语原始文本。
2020-07-03 cs.CL
Giving BERT a Calculator: Finding Operations and Arguments with Reading Comprehension
Google Research（谷歌研究院）
阅读理解模型已经成功地应用于文本答案的提取，但目前还不清楚如何最好地将这些模型推广到抽象的数字答案。我们使基于BERT的阅读理解模型能够执行轻量级的数值推理。我们增加了一组预定义的可执行的“程序”，其中包括简单的算术以及提取模型。在最近的段落离散推理（DROP）数据集上，我们通过添加浅层程序显示出33%的绝对改进，该数据集旨在挑战阅读理解模型。该模型可以在数学应用题设置中学习预测新的操作（Roy和Roth，2015），只需很少的训练样本。
2019-09-12 cs.CL cs.LG
Words or Characters? Fine-grained Gating for Reading Comprehension
Carnegie Mellon University（卡内基梅隆大学）
以前的工作结合了单词级和字符级的表示使用串联或标量加权，这是次优的高层次的任务，如阅读理解。我们提出了一个细粒度的门控机制，动态结合字级和字符级表示的基础上的属性的话。我们还扩展了细粒度门控的想法，为阅读理解建模问题和段落之间的相互作用。实验表明，该方法可以提高阅读理解任务的性能，在儿童图书测试数据集上取得了新的最先进的结果。为了证明我们的门控机制的一般性，我们还展示了社交媒体标签预测任务的改进结果。
2017-09-11 cs.CL cs.LG
Revealing Weaknesses of Vietnamese Language Models Through Unanswerable Questions in Machine Reading Comprehension
Denison University（丹尼森大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学）
虽然多语言的诅咒显著限制了多语言模型在单语环境中的语言能力，但研究人员现在仍然必须依赖多语言模型来开发越南语机器阅读理解的最先进系统。这一研究的困难是由于开发越南语语言模型的高质量作品数量有限。为了鼓励更多的工作在这一研究领域，我们提出了一个全面的分析语言的弱点和优势，目前越南单语模型使用的下游任务机器阅读理解。根据分析结果，我们提出了发展越南语语言模型的新方向。除了这一主要贡献，我们还成功地揭示了存在的文物越南机器阅读理解基准，并建议迫切需要新的高质量的基准来跟踪越南机器阅读理解的进展。此外，我们还介绍了一个小的，但有价值的修改的过程中注释无法回答的问题，机器阅读理解从以前的工作。我们提出的修改有助于提高质量的无法回答的问题，以更高的难度水平的机器阅读理解系统解决。
2023-03-16 cs.AI cs.CL
MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics
UC Irvine（加州大学欧文分校）；The Hebrew University（希伯来大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；AI2 Irvine（艾伦人工智能研究所欧文分部）
把阅读理解作为一个生成问题提供了很大的灵活性，允许开放式的问题，对可能的答案几乎没有限制。然而，现有的生成指标阻碍了进展，这些指标依赖于标记重叠，并且对阅读理解的细微差别不可知。为了解决这个问题，我们引入了一个用于训练和评估生成式阅读理解指标的基准：使用人类注释建模正确性。MOCHA包含来自6个不同问答数据集的模型输出的40K人类判断分数和用于评估的额外一组最小对。使用MOCHA，我们训练阅读理解的学习评价指标LERC，以模仿人类的判断分数。LERC在保留注释上的绝对Pearson点超过基线指标10到36。当我们评估最小对的鲁棒性时，LERC达到了80%的准确率，比基线高出14到26个绝对百分点，同时留下了显著的改进空间。MOCHA提出了一个具有挑战性的问题，发展准确和强大的生成式阅读理解指标。
2020-10-15 cs.CL cs.LG
ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning
University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）；Amazon（亚马逊）；University of Pennsylvania（宾夕法尼亚大学）
理解事件在语义上是如何相互关联的是阅读理解的本质。最近的事件为中心的阅读理解数据集主要集中在事件参数或时间关系。虽然这些任务部分评估了机器的叙事理解能力，但类似人类的阅读理解需要处理基于事件的信息的能力，而不仅仅是论点和时间推理。例如，要理解事件之间的因果关系，我们需要推断动机或目的;要建立事件层次结构，我们需要理解事件的构成。为了促进这些任务，我们介绍了ESTER，一个全面的机器阅读理解（MRC）数据集的事件语义关系推理。该数据集利用自然语言查询来推理五种最常见的事件语义关系，提供超过6 K个问题并捕获10.1K个事件关系对。实验结果表明，目前的SOTA系统在基于标记的精确匹配，F1和基于事件的HIT@1得分方面分别达到了22.1%，63.3%和83.5%，这都明显低于人类的表现（分别为36.0%，79.6%，100%），突出了我们的数据集作为一个具有挑战性的基准。
2021-09-10 cs.CL
Medical Exam Question Answering with Large-scale Reading Comprehension
Tsinghua University（清华大学）；Tsinghua-iFlytek Joint Laboratory（清华-讯飞联合实验室）
文本的阅读和理解是临床医学计算机辅助诊断的重要组成部分，也是自然语言处理领域的一个主要研究问题。在这项工作中，我们引入了一个问答任务，称为MedQA研究回答问题，在临床医学中使用的知识，在一个大规模的文件收集。MedQA的目的是通过大规模阅读理解来回答现实世界的问题。我们提出了我们的解决方案SeaReader--一个基于LSTM网络和双路径注意力架构的模块化端到端阅读理解模型。这种新颖的双路径注意力从两个角度对信息流进行建模，并且能够同时阅读单个文档并整合多个文档中的信息。在实验中，我们的SeaReader在MedQA上的准确性比竞争模型有了很大的提高。此外，我们开发了一系列新的技术来演示解释的问答过程中的SeaReader。
2018-02-28 cs.CL
Generating Distractors for Reading Comprehension Questions from Real Examinations
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Alibaba DAMO Academy（阿里巴巴达摩院）
本文研究了多项选择题阅读理解题的干扰词生成任务。与以往的研究不同，我们的目标不是准备单词或短语干扰词，而是努力生成更长、语义更丰富的干扰词，这些干扰词更接近于考试中真实阅读理解中的干扰词。以一篇阅读理解文章、一对问题及其正确选项为输入，我们的目标是生成若干个与答案有某种联系、与问题的语义上下文一致、在文章中有一定痕迹的干扰词。我们提出了一个分层的编码器-解码器框架，静态和动态的注意力机制来解决这个问题。具体而言，动态注意力可以结合在每个循环时间步变化的句子级和单词级注意力，以生成更具可读性的序列。静态注意是调节动态注意，使其不关注与问题无关的句子或有助于正确选择的句子。我们提出的框架优于几个强大的基线上的第一个准备分心生成数据集的真正的阅读理解问题。对于人工评估，与基线生成的干扰项相比，我们生成的干扰项更容易混淆注释器。
2018-12-18 cs.CL
Commonsense Knowledge + BERT for Level 2 Reading Comprehension Ability Test
Nanyang Technological University（南洋理工大学）；Victoria University（维多利亚大学）
当我们阅读时，常识知识起着重要的作用。BERT在SQuAD数据集上的性能表明，BERT的准确性可以优于人类用户。然而，这并不意味着计算机在阅读理解方面可以超越人类。CommonsenseQA是基于常识知识设计的大规模数据集。BERT的准确率仅为55.9%，说明计算机不能像人类那样运用常识知识来回答问题。理解能力测试（CAT）将阅读理解能力分为四个层次。我们可以逐步达到人类的理解能力。BERT在不需要常识的1级中表现良好。在这项研究中，我们提出了一个系统，其目的是让计算机阅读文章，并回答相关的问题，像人类一样的常识知识CAT 2级。该系统由三部分组成。首先构建常识知识图谱，然后根据图谱自动构建常识知识试题集，最后将BERT与常识知识相结合，实现CAT 2级阅读理解能力测试。实验表明，只要在知识库中包含所需的公共知识，就可以通过CAT。
2019-09-08 cs.CL
Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多项选择阅读理解是一项具有挑战性的任务，需要复杂的推理过程。给定段落和问题，需要从一组候选答案中选择正确答案。本文提出了\textbf{D}双\textbf{C} o- \textbf{M}匹配\textbf{N}网络（\textbf{DCMN}），它对段落、问题和答案之间的关系进行了双向建模.与现有方法只计算问题感知或选项感知的段落表征不同，我们同时计算问题感知的问题表征和选项感知的答案表征。为了证明我们的模型的有效性，我们评估我们的模型上的大规模多项选择机器阅读理解数据集（即RACE）。实验结果表明，我们提出的模型取得了新的国家的最先进的结果。
2019-08-20 cs.CL
Quinductor: a multilingual data-driven method for generating reading-comprehension questions using Universal Dependencies
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出一种基于依存树的多语言数据驱动方法Quinductor，以低成本生成阅读理解问题，超越现有QG基线并获良好人工评估。
2023-05-12 cs.CL
Building Large Machine Reading-Comprehension Datasets using Paragraph Vectors
Google Inc.（谷歌公司）
我们提出了一个双重贡献的任务，机器阅读理解：一种技术，用于创建大型机器理解（MC）数据集使用段落向量模型;和一种新的，混合神经网络架构，结合了代表性的能力，递归神经网络的判别力的完全连接的多层网络。我们使用MC数据集生成技术构建了一个约200万个示例的数据集，我们根据经验确定了人类性能的上限（约91%的准确率）以及各种计算机模型的性能。在我们实验过的所有模型中，我们的混合神经网络架构实现了最高的性能（83.2%的准确率）。人类性能上限的剩余差距为未来的模型改进提供了足够的空间。
2016-12-13 cs.CL
