Revealing Weaknesses of Vietnamese Language Models Through Unanswerable Questions in Machine Reading Comprehension
Denison University（丹尼森大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学）
虽然多语言的诅咒显著限制了多语言模型在单语环境中的语言能力，但研究人员现在仍然必须依赖多语言模型来开发越南语机器阅读理解的最先进系统。这一研究的困难是由于开发越南语语言模型的高质量作品数量有限。为了鼓励更多的工作在这一研究领域，我们提出了一个全面的分析语言的弱点和优势，目前越南单语模型使用的下游任务机器阅读理解。根据分析结果，我们提出了发展越南语语言模型的新方向。除了这一主要贡献，我们还成功地揭示了存在的文物越南机器阅读理解基准，并建议迫切需要新的高质量的基准来跟踪越南机器阅读理解的进展。此外，我们还介绍了一个小的，但有价值的修改的过程中注释无法回答的问题，机器阅读理解从以前的工作。我们提出的修改有助于提高质量的无法回答的问题，以更高的难度水平的机器阅读理解系统解决。
2023-03-16 cs.AI cs.CL
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research（讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性，本文提出了一个新的中文阅读理解数据集，以促进社区的相关研究。该数据集包含两种不同的类型：完形填空式阅读理解和用户查询式阅读理解，与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起，我们还举办了第一届中文机器阅读理解评估（CMRC-2017），并成功吸引了数十名参与者，这表明了此数据集的潜在影响。
2018-03-15 cs.CL
CJRC: A Reliable Human-Annotated Benchmark DataSet for Chinese Judicial Reading Comprehension
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；China Justice Big Data Institute（中国司法大数据研究院）；Tsinghua University（清华大学）
我们提出了一个中国司法阅读理解（CJRC）数据集，其中包含约10K的文件和近50K的问题与答案。这些文件来自裁判文书，问题由法律专家注释。CJRC数据集可以帮助研究人员通过阅读理解技术提取元素。要素提取是法律领域的一项重要工作。然而，由于文档类型和作用原因的多样性，很难完全描述元素类型。相比之下，机器阅读理解技术可以通过回答长文档中的各种问题来快速提取元素。我们建立了两个强基线模型的基础上BERT和Bioburden。实验结果表明，与人类注释器相比，有足够的改进空间。
2019-12-19 cs.CL cs.LG
Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
理解叙述需要阅读字里行间的内容，这反过来又需要解释事件的可能原因和影响，即使它们没有明确提到。在本文中，我们介绍了Cosmos QA，这是一个包含35，600个问题的大规模数据集，这些问题需要基于常识的阅读理解，并以多项选择题的形式表达。与大多数现有的阅读理解数据集形成鲜明对比的是，这些数据集的问题集中在对上下文段落的事实和字面理解上，我们的数据集集中在对人们日常叙述的各种收集的字里行间的阅读，提出诸如“可能的原因是什么...？或者“如果......“这需要推理超出确切的文本跨度在上下文中。为了建立Cosmos QA的基线性能，我们实验了几种用于阅读理解的最先进的神经架构，并提出了一种新的架构，该架构在竞争基线上有所改进。实验结果表明，机器（68.4%）和人类（94%）之间存在显着差距，为未来的常识机器理解研究指明了方向。数据集、代码和排行榜可在https://wilburone.github.io/cosmos上公开获取。
2019-09-06 cs.AI cs.CL
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
使机器能够阅读和理解自然语言文档，以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来，深度学习的普及和大规模数据集的建立，都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器，并介绍了一些经典的模型，分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
Towards Inference-Oriented Reading Comprehension: ParallelQA
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们研究了端到端神经机器阅读理解（MRC）模型匹配浅层模式的趋势，而不是在RC基准上执行面向推理的推理。我们的目标是测试这些系统的能力，回答问题的重点是参考推理。我们提出了一种使用平行通道来制定此类问题的策略。我们还证明了现有的神经模型无法很好地推广到这种设置。
2018-05-10 cs.AI cs.CL
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune（浦那陆军技术学院）
多项选择机器阅读理解是一项困难的任务，它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人（或机器）阅读给定的文章、问题对，并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案，或者通过消除最差匹配答案。在这里，我们提出了GenNet模型，一个基于神经网络的模型。在这个模型中，我们首先从文章中生成问题的答案，然后将生成的答案与给定的答案进行匹配，最佳匹配的选项将是我们的答案。对于答案生成，我们使用S-网（Tan等人，2017）在SQuAD上训练的模型，为了评估我们的模型，我们使用了大规模RACE（来自考试的阅读理解数据集）（Lai et al.，2017年）的报告。
2020-03-18 cs.AI cs.CL
Numerical reasoning in machine reading comprehension tasks: are we there yet?
Imperial College London（帝国理工学院）；City, University of London（伦敦城市大学）
基于数值推理的机器阅读理解是一项涉及阅读理解以及使用算术运算（如加法、减法、排序和计数）的任务。DROP基准（Dua等人，2019）是最近的一个数据集，它启发了旨在解决这一任务的NLP模型的设计。这些模型目前在DROP排行榜上的排名超过了标准指标，表明这些模型已经达到了接近人类的性能。然而，这是否意味着这些模型已经学会了推理？在本文中，我们提出了一个控制研究的一些最高性能的模型架构的任务的数值推理。我们的观察表明，标准指标无法衡量这些任务的进展情况。
2021-09-16 cs.AI cs.CL
Self-Supervised Test-Time Learning for Reading Comprehension
Arizona State University（亚利桑那州立大学）
最近关于无监督问答的工作表明，模型可以用程序生成的问答对进行训练，并且可以实现与监督方法竞争的性能。在这项工作中，我们考虑了无监督阅读理解的任务，并提出了一种方法，执行“测试时学习”（TTL）在一个给定的上下文（文本通道），而不需要在大规模的人类创作的数据集包含\textit{context-question-answer}三元组的培训。该方法直接在单个测试上下文上操作，使用自我监督在综合生成的问题-答案对上训练模型，然后推断出针对该上下文的看不见的人类创作的问题的答案。我们的方法实现了具有竞争力的精度与完全监督的方法，并显着优于目前的无监督方法。具有较小模型的TTL方法在无监督阅读理解中与当前最先进的方法也具有竞争力。
2021-03-20 cs.CL cs.LG
DRCD: a Chinese Machine Reading Comprehension Dataset
Delta Research Center（台达研究中心）；Delta Electronics, Inc.（台达电子工业股份有限公司）
本文介绍了一个开放领域的传统中文机器阅读理解数据集DRCD（Delta Reading Comprehension Dataset）。该数据集旨在成为一个标准的中文机器阅读理解数据集，可以作为迁移学习的源数据集。该数据集包含来自2，108篇维基百科文章的10，014个段落和注释者生成的30，000多个问题。我们建立了一个基线模型，其F1得分为89.59%。人因绩效F1评分为93.30%。
2019-05-29 cs.CL
Relation/Entity-Centric Reading Comprehension
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
构建一台能够理解人类语言的机器是人工智能中最难以捉摸和长期存在的挑战之一。本文通过对阅读理解的研究来解决这一挑战，重点是理解实体及其关系。更具体地说，我们专注于旨在衡量阅读理解的问答任务。我们关注实体和关系，因为它们通常用于表示自然语言的语义。
2020-08-27 cs.CL
Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了一个混合的任务感知专家网络的机器阅读理解在一个相对较小的数据集。我们特别关注常识学习的问题，通过专门训练不同的专家网络来捕获每个段落，问题和选择三元组之间的不同关系，从而加强共同基础知识。此外，我们通过训练每个网络一个相关的重点任务，对多任务和迁移学习的最新进展进行了总结。通过强制执行任务和关系，使混合网络意识到特定目标，我们实现了最先进的结果并减少了过度拟合。
2022-10-04 cs.AI cs.CL
MMM: Multi-stage Multi-task Learning for Multi-choice Reading Comprehension
MIT（麻省理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
面向问答的机器阅读理解（MRC）是测试智能系统理解人类语言能力的一种重要方法，其目的是根据相关的上下文段落回答问题。多项选择问答（MCQA）是MRC中最困难的任务之一，因为它通常需要更高级的阅读理解技能，如逻辑推理，总结和算术运算，与答案通常是给定段落内文本的提取对应物相比。此外，大多数现有的MCQA数据集都很小，这使得学习任务更加困难。我们介绍了MMM，一个多阶段多任务多选择阅读理解学习框架。我们的方法包括两个连续的阶段：使用域外数据集的粗调阶段和使用更大的域内数据集的多任务学习阶段，以帮助模型在有限的数据下更好地泛化。此外，我们提出了一种新的多步注意力网络（MAN）作为这项任务的顶级分类器。我们证明了MMM在四个有代表性的MCQA数据集上显着提高了最先进的水平。
2019-11-19 cs.CL cs.LG
More Than Reading Comprehension: A Survey on Datasets and Metrics of Textual Question Answering
University of Florida（佛罗里达大学）
文本问答（QA）的目的是使用非结构化数据以自然语言的形式对用户的问题提供精确的答案。实现这一目标的最流行的方法之一是机器阅读理解（MRC）。近年来，许多新的数据集和评价指标的基础上，经典的MRC任务已经提出了更广泛的文本QA任务。在本文中，我们调查了47个最近的文本QA基准数据集，并从应用的角度提出了一个新的分类。此外，本文还总结了文本QA任务的8个评价指标。最后，我们讨论了当前的趋势，在构建文本QA基准，并建议未来的工作方向。
2022-02-04 cs.AI cs.CL
ReCoRD: Bridging the Gap between Human and Machine Commonsense Reading Comprehension
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
我们提出了一个大规模的数据集，ReCoRD，机器阅读理解需要常识推理。在这个数据集上的实验表明，最先进的MRC系统的性能远远落后于人类的性能。ReCoRD代表了未来研究的一个挑战，即弥合人类和机器常识阅读理解之间的差距。ReCoRD可在http://nlp.jhu.edu/record上获得。
2018-10-30 cs.CL
Integrating Semantic Information into Sketchy Reading Module of Retro-Reader for Vietnamese Machine Reading Comprehension
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
机器阅读理解是近年来自然语言处理领域最前沿、最热门的研究课题之一。可答性问题的分类是机器阅读理解中一个比较重要的子任务，但目前的研究并不多。Retro-Reader是有效解决这一问题的研究之一。然而，大多数传统的机器阅读理解模型的编码器，特别是Retro-Reader，都不能完全利用上下文的上下文语义信息。受SemBERT的启发，我们使用SRL任务中的语义角色标签来为预先训练好的语言模型（如mBERT、XLM-R、PhoBERT）添加语义。本实验旨在比较语义对越南语机器阅读理解可答性分类的影响。此外，我们希望这个实验将增强Retro-Reader模型的粗略阅读模块的编码器。将改进后的Retro-Reader模型的语义编码器首次应用于越南语机器阅读理解任务，取得了良好的效果。
2023-01-01 cs.CL
KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解（MRC）是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70，000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战，以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
Sogou Machine Reading Comprehension Toolkit
Sogou, Inc.（搜狗公司）
近年来，机器阅读理解得到了广泛的研究，基于神经网络的模型表现出了优越的性能。在本文中，我们提出了一个搜狗机器阅读理解（SMRC）工具包，可用于提供现代机器理解模型的快速，高效的开发，包括已发布的模型和原始原型。为了实现这一目标，该工具包提供了数据集读取器、灵活的预处理管道、必要的神经网络组件和内置模型，使数据准备、模型构建和训练的整个过程变得更加简单。
2019-04-01 cs.CL
NumNet: Machine Reading Comprehension with Numerical Reasoning
Tencent Inc（腾讯公司）；Tsinghua University（清华大学）
数字推理是人类阅读理解中的一项关键技能，而现有的机器阅读理解（MRC）系统并没有很好地考虑到这一点。为了解决这个问题，我们提出了一个数字MRC模型命名为NumNet，它利用一个数字感知的图神经网络考虑比较信息，并执行数字推理的问题和段落。我们的系统在DROP数据集上获得了64.56%的EM分数，通过考虑数字之间的数值关系，优于所有现有的机器阅读理解模型。
2019-10-15 cs.CL
MRCEval: A Comprehensive, Challenging and Accessible Machine Reading Comprehension Benchmark
Tsinghua University（清华大学）
针对现有MRC数据集缺乏全面评估的问题，本文提出新分类法并构建覆盖13种技能、含2.1K多选题的MRCEval基准，利用LLMs生成和筛选样本，对28个模型评估表明MRC在LLMs时代仍具挑战性。
2025-03-10 cs.AI cs.CL
ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension
University of California, Irvine（加州大学欧文分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
阅读理解是进一步研究自然语言理解的重要课题之一。最近引入了许多不同的阅读理解数据集来研究自然语言中的各种现象，从简单的释义匹配和实体类型到实体跟踪和理解上下文的含义。鉴于许多这样的数据集的可用性，全面和可靠的评估是繁琐和耗时的研究人员在这个问题上的工作。我们提出了一个评估服务器，ORB，报告性能的七个不同的阅读理解数据集，鼓励和促进测试一个单一的模型的能力，在理解各种各样的阅读现象。评估服务器对如何训练模型没有任何限制，因此它是探索训练范例和一般阅读设施的表示学习的合适测试平台。随着更多合适的数据集的发布，它们将被添加到评估服务器中。我们还收集并包含这些数据集的合成增强，测试模型处理域外问题的能力。
2019-12-29 cs.CL
Multi-task Learning with Sample Re-weighting for Machine Reading Comprehension
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们提出了一个多任务学习框架来学习一个联合的机器阅读理解（MRC）模型，该模型可以应用于不同领域的广泛的MRC任务。受最近机器翻译中数据选择思想的启发，我们开发了一种新的样本重新加权方案，为损失分配样本特定的权重。实证研究表明，我们的方法可以适用于许多现有的MRC模型。结合来自预训练的语言模型（如ELMo）的上下文表示，我们在一组MRC基准数据集上获得了新的最先进的结果。我们在www.example.com上发布代码。
2019-03-31 cs.CL cs.LG
Adversarial Examples for Evaluating Reading Comprehension Systems
Stanford University（斯坦福大学）
标准的准确性指标表明，阅读理解系统正在取得快速进展，但这些系统真正理解语言的程度仍不清楚。为了奖励具有真正语言理解能力的系统，我们提出了一种针对斯坦福问答数据集（SQuAD）的对抗性评估方案。我们的方法测试系统是否可以回答有关包含对立插入句子的段落的问题，这些句子是自动生成的，以分散计算机系统的注意力，而不会改变正确答案或误导人类。在这种对抗性设置中，16个已发布模型的准确度从平均$75\%$ F1分数下降到$36\%$ ;当允许对手添加不符合语法的单词序列时，4个模型的平均准确度进一步下降到$7\%$。我们希望我们的见解将推动开发更精确地理解语言的新模型。
2017-07-23 cs.CL cs.LG
A Span-Extraction Dataset for Chinese Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。本文介绍了一个用于中文机器阅读理解的跨度抽取数据集，以增加这方面的语言训练。该数据集由人类专家在维基百科段落上注释的近20，000个真实问题组成。我们还注释了一个挑战集，其中包含需要在整个上下文中进行全面理解和多句推理的问题。我们提出了几个基线系统，以及匿名提交证明在这个数据集的困难。随着数据集的发布，我们主办了第二届中国机器阅读理解评估研讨会（CMRC 2018）。我们希望该数据集的发布能够进一步加速中文机器阅读理解的研究。相关资源：https://github.com/ymcui/cmrc2018
2019-08-29 cs.CL
Generating Reading Comprehension Exercises with Large Language Models for Educational Applications
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai, China（光学电子与计算机工程学院，上海理工大学，上海，中国）；Chongqing Academy of Science and Technology, Chongqing, China（重庆市科学技术院，重庆，中国）
本文提出RCEG框架，利用大语言模型自动生成高质量、个性化的英语阅读理解练习，通过内容候选生成、判别器筛选和综合评估指标提升练习质量。
2025-11-24 cs.AI cs.CL
Machine Reading Comprehension: a Literature Review
Peking University（北京大学）
机器阅读理解旨在教机器像人一样理解文本，是人工智能的一个新的具有挑战性的方向。本文综述了MRC的最新进展，主要集中在两个方面（即，语料库和技术）。列举并比较了各种MRC语料库的具体特点。介绍了几种典型MRC技术的主要思想。
2019-06-30 cs.CL
Making Neural Machine Reading Comprehension Faster
本研究旨在解决机器阅读理解问题，其中问题必须在给定的上下文文章中回答。面临的挑战是开发一个计算速度更快的模型，这将改善推理时间。在许多自然语言理解任务中，BERT模型已经被使用，并且知识蒸馏方法已经被应用于训练两个较小的模型。所开发的模型进行了比较与其他模型已开发具有相同的意图。
2019-03-29 cs.CL
A Survey on Machine Reading Comprehension Systems
University of Qom（库姆大学）
机器阅读理解是自然语言处理中一个具有挑战性的课题和研究热点。它的目标是开发系统来回答有关给定上下文的问题。本文对机器阅读理解系统的研究方法、结构、输入/输出和研究创新等方面进行了综述。我们根据2016年至2020年的241篇综述论文说明了该领域的最新趋势。我们的调查表明，近年来研究的重点已经从答案提取到答案生成，从单文档阅读理解到多文档阅读理解，从从头开始学习到使用预训练的嵌入。我们还讨论了流行的数据集和评价指标在这一领域。本文最后调查了被引用最多的论文及其贡献。
2020-10-20 cs.CL
An Understanding-Oriented Robust Machine Reading Comprehension Model
Northeastern University（东北大学）
尽管现有的机器阅读理解模型在许多数据集上取得了快速进展，但它们远不健壮。本文提出了一种面向理解的机器阅读理解模型，以解决过敏感性、过稳定性和泛化性这三种鲁棒性问题。具体来说，我们首先使用一个自然语言推理模块来帮助模型理解输入问题的准确语义，以解决过度敏感和过度稳定的问题。在机器阅读理解模块中，我们提出了一种记忆引导的多头注意力方法，可以更好地理解输入问题和文章的语义。第三，我们提出了一种多语言学习机制来解决泛化问题。最后，将这些模块与基于多任务学习的方法相结合。我们在三个基准数据集上评估我们的模型，这些数据集旨在衡量模型的鲁棒性，包括DuReader（鲁棒）和两个SQuAD相关数据集。大量的实验表明，我们的模型可以很好地解决上述三种鲁棒性问题。在不同的评估指标下，即使在一些极端和不公平的评估下，它也比所有这些数据集上的最先进的模型取得了更好的结果。我们工作的源代码可以在https://github.com/neukg/RobustMRC上找到。
2022-07-01 cs.AI cs.CL
UQuAD1.0: Development of an Urdu Question Answering Training Data for Machine Reading Comprehension
近年来，低资源的机器阅读理解（MRC）取得了显著的进展，模型在各种语言数据集上都取得了显著的性能。然而，这些模型都没有为乌尔都语定制。这项工作探索了半自动创建乌尔都语问答数据集（UQuAD 1.0），将机器翻译的SQuAD与来自维基百科文章的人工生成样本和来自剑桥O级书籍的乌尔都语RC样本相结合。UQuAD 1.0是一个大规模的乌尔都语数据集，用于提取机器阅读理解任务，由49 k个问题答案对组成，包括问题，段落和答案格式。在UQuAD 1.0中，通过原始SQuAD 1.0的机器翻译生成了45000对QA，通过众包生成了大约4000对QA。在这项研究中，我们使用了两种类型的MRC模型：基于规则的基线和基于高级转换器的模型。然而，我们发现后者的性能优于其他架构;因此，我们决定只关注基于transformer的架构。使用XLMRoBERTa和多语言BERT，我们获得的F1得分分别为0.66和0.63。
2021-11-02 cs.AI cs.CL
NEUer at SemEval-2021 Task 4: Complete Summary Representation by Filling Answers into Question for Matching Reading Comprehension
Northeastern University（东北大学）；Westlake University（西湖大学）
SemEval任务4旨在从多个候选项中找到一个合适的选项来解决机器阅读理解任务。大多数现有的方法建议concat问题和选项一起，形成一个上下文感知模型。然而，我们认为，简单的串联只能提供一个粗粒度的上下文MRC任务，忽略了特定的位置的选项相对于问题。在本文中，我们提出了一种新的MRC模型，通过填充选项到问题，产生一个细粒度的上下文（定义为摘要），可以更好地揭示选项和问题之间的关系。我们在给定的数据集上进行了一系列的实验，结果表明，我们的方法在很大程度上优于其他同行。
2021-05-25 cs.AI cs.CL
Deep Understanding based Multi-Document Machine Reading Comprehension
Northeastern University（东北大学）
现有的多文档机器阅读理解模型主要侧重于理解输入问题与文档之间的交互，而忽略了以下两种理解。首先，从对方的角度理解输入问题和文档中单词的语义。第二，从文档内和文档间的角度理解正确答案的支持线索。忽略这两种重要的理解会使模型忽略一些可能有助于得出正确答案的重要信息。为了克服这一缺陷，我们提出了一个基于深度理解的多文档机器阅读理解模型。它有三个级联的深度理解模块，旨在理解单词的准确语义，输入问题和文档之间的交互以及正确答案的支持线索。我们在两个大规模的基准数据集上评估了我们的模型，即TriviaQA Web和DuReader。大量的实验表明，我们的模型在两个数据集上都取得了最先进的结果。
2022-02-25 cs.AI cs.CL
Cross-Lingual Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
虽然在机器阅读理解（MRC）方面取得了很大的进展，但由于缺乏大规模的训练数据，以往的研究大多是针对英语的MRC问题，而针对其他语言的研究较少。在本文中，我们提出了跨语言的机器阅读理解（CLMRC）任务的语言以外的英语。首先，我们提出了几种CLMRC任务的回译方法，这是直接采用。然而，将答案准确地与另一种语言对齐是困难的，并且可能引入额外的噪声。在此背景下，我们提出了一种新的模型Dual BERT，该模型利用丰富资源语言（如英语）提供的大规模训练数据，在双语环境下学习文章和问句之间的语义关系，并利用学习到的知识来提高低资源语言的阅读理解能力。我们在两个中文机器阅读理解数据集CMRC 2018和DRCD上进行了实验。结果表明，在各种国家的最先进的系统的大幅度一致和显着的改善，这表明在CLMRC任务的潜力。可用资源：https://github.com/ymcui/Cross-Lingual-MRC
2019-09-01 cs.CL cs.LG cs.NE
An Experimental Study of Deep Neural Network Models for Vietnamese Multiple-Choice Reading Comprehension
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
机器阅读理解（MRC）是自然语言处理中的一个具有挑战性的任务，它使计算机能够理解自然语言文本并回答基于这些文本的问题。解决这一问题的技术有很多，而单词表征是影响机器阅读理解准确性的一个重要技术，它直接影响到英语和汉语等流行语言的机器阅读理解问题。然而，很少有关于MRC的研究已经在低资源语言如越南语中进行。在本文中，我们进行了几个实验的神经网络为基础的模型，了解词的表征越南多项选择机器阅读理解的影响。我们的实验包括使用共匹配模型对六种不同的越南语词嵌入和BERT模型的多项选择阅读理解。在ViMMRC语料库上，BERT模型在测试集上的准确率为61.28%.
2021-02-18 cs.CL
Multi-task Learning with Multi-head Attention for Multi-choice Reading Comprehension
IBM Research AI（IBM研究人工智能部门（IBM Research AI））
多项选择机器阅读理解（MRC）是一项重要且具有挑战性的自然语言理解（NLU）任务，机器必须从一组选项中选择问题的答案，问题置于文本段落或对话的上下文中。在过去的几年里，随着基于Transformer架构的模型的出现，NLU领域发生了革命性的变化，这些模型在大量无监督数据上进行了预训练，然后针对各种监督学习NLU任务进行了微调。Transformer模型已经在NLU领域的各种排行榜中占据主导地位;在MRC领域，DREAM数据集上的当前最先进的模型（参见[Sunet al.，2019]）微调Albert，一个大型的基于transformer的预训练模型，并将其与上下文和问答之间的额外一层多头注意力结合起来[Zhuet al.，2020].本文的目的是记录一个新的国家的最先进的结果在梦想的任务，这是通过，此外，执行多任务学习的两个MRC多项选择阅读理解任务（种族和梦想）。
2020-02-26 cs.CL cs.LG
No Answer is Better Than Wrong Answer: A Reflection Model for Document Level Machine Reading Comprehension
Microsoft STCA NLP Group（微软STCA自然语言处理组）；Microsoft Research Asia（微软亚洲研究院）
自然问题（Natural Questions，NQ）基准测试集给机器阅读理解带来了新的挑战：答案不仅在不同的粒度级别（长和短），而且类型更加丰富（包括无答案、是/否、单跨度和多跨度）。在本文中，我们针对这一挑战，系统地处理所有的答案类型。特别是，我们提出了一种称为反射网的新方法，它利用两步训练过程来识别无答案和错误答案的情况。大量的实验进行了验证，我们的方法的有效性。本文写作时（5月）。20，~2020），我们的方法在长和短答案排行榜上都取得了前1名，F1得分分别为77.2和64.1。
2020-09-29 cs.CL cs.LG
Stochastic Answer Networks for Machine Reading Comprehension
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个简单而强大的随机回答网络（SAN），模拟机器阅读理解的多步推理。与以往的工作如ReasoNet使用强化学习来确定步骤数相比，其独特之处在于在训练过程中对神经网络的答案模块（最终层）使用了一种随机预测丢弃。我们证明了这个简单的技巧提高了鲁棒性，并在斯坦福问答数据集（SQuAD），对抗SQuAD和微软机器阅读理解数据集（MS MARCO）上取得了与最先进的结果相竞争的结果。
2018-05-15 cs.CL
Lightweight Convolutional Approaches to Reading Comprehension on SQuAD
Stanford University（斯坦福大学）
当前最先进的阅读理解模型严重依赖于递归神经网络。我们探索了一种完全不同的问答方法：卷积模型。就其本质而言，这些卷积模型能够快速训练并很好地捕获局部依赖关系，尽管它们可能会与较长范围的依赖关系作斗争，因此需要增强以实现与基于RNN的模型相当的性能。我们使用卷积模型和各种内核/注意力/正则化方案进行了二十多个受控实验，以确定每种策略的精确性能增益，同时保持对速度的关注。我们最终集成了三个模型：crossconv（0.5398 dev F1），attnconv（0.5665）和maybeconv（0.5285）。使用官方SQuAD评估脚本，集成模型能够获得0.6238 F1分数。我们的个人卷积模型crossconv能够超过RNN加注意力基线的性能25%，同时训练速度快6倍。
2018-10-19 cs.AI cs.CL
Beyond Facts: Benchmarking Distributional Reading Comprehension in Large Language Models
National Taiwan University（国立台湾大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Academia Sinica, Taiwan（台湾“中央研究院”）；NTU AI-CoRE（国立清华大学AI研究中心）
本文提出Text2DistBench基准测试，评估LLM从自然语言中推断分布知识的能力，通过真实YouTube评论数据，测试模型在估计评论比例和识别高频主题方面的表现，揭示LLM在分布式阅读理解中的能力和局限。
2026-04-18 cs.AI cs.CL
QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension
University of Copenhagen（哥本哈根大学）；RIKEN（理化学研究所）；Microsoft Semantic Machines（微软语义机器公司）
近年来，除了对NLP中深度学习模型的大量研究外，还对跟踪建模进度所需的基准数据集进行了大量研究。在这方面，问答和阅读理解特别多产，在过去两年中出现了80多个新的数据集。这项研究是迄今为止该领域最大的调查。我们提供了目前的资源的各种格式和领域的概述，突出了目前的空白，为未来的工作。我们进一步讨论了当前的分类“技能”，问答/阅读理解系统应该获得，并提出了一个新的分类。补充材料调查目前的多语种资源和单语资源的语言以外的英语，我们讨论了过度关注英语的影响。这项研究既针对寻找现有数据财富指针的从业者，也针对研究新资源的研究人员。
2022-09-19 cs.AI cs.CL
Reference Knowledgeable Network for Machine Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多项选择机器阅读理解（MRC）是一项挑战，它要求模型从一组候选答案中选择最合适的答案。现有的研究大多集中在对特定任务或复杂网络的建模上，没有明确地引用相关的、可信的外部知识源，这在很大程度上弥补了本文的不足。因此，我们提出了一种新的基于参考的知识增强模型称为参考知识网络（RekNet），它模拟人类的阅读策略，从文章中提炼关键信息，并在必要时引用明确的知识。具体来说，RekNet对关键信息进行细化，定义为参考广度，并通过参考广度和候选词的共现信息引用显式知识四元组。建议的RekNet在三个多选择MRC基准上进行评估：RACE，DREAM和Cosmos QA，获得一致和显着的性能改进，在强基线上具有可观察的统计显著性水平。我们的代码可在https://github.com/Yilin1111/RekNet上获得。
2022-03-26 cs.AI cs.CL
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
多语言预训练模型可以利用来自丰富源语言（如英语）的训练数据来提高低资源语言的性能。然而，多语言机器阅读理解（MRC）的迁移质量明显低于句子分类任务，这主要是由于MRC需要检测单词级别的答案边界。在本文中，我们提出了两个辅助任务，在微调阶段，以创建额外的短语边界监督：（1）混合MRC任务，将问题或段落翻译到其他语言，并建立跨语言的问题-段落对;（2）语言无关的知识掩蔽任务，利用知识挖掘的短语从Web。此外，在两个跨语言MRC数据集上的大量实验表明了该方法的有效性。
2020-05-08 cs.AI cs.CL
Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft STCA（微软亚洲研究院搜索技术中心）；Simon Fraser University（西蒙弗雷泽大学）
跨语言机器阅读理解（CLMRC）仍然是一个具有挑战性的问题，这是由于缺乏低源语言（如阿拉伯语、印地语和越南语）的大规模注释数据集。许多先前的方法通过从诸如英语的富源语言翻译到低级源语言来使用翻译数据作为辅助监督。然而，如何有效地利用翻译数据并减少翻译引入的噪音的影响仍然是一项艰巨的任务。在本文中，我们解决了这一挑战，并提高跨语言迁移性能的一种新的增强方法命名为语言分支机器阅读理解（LBMRC）。语言分支是一组单一语言的文章，配以所有目标语言的问题。基于LBMRC，我们训练了多个精通不同语言的机器阅读理解（MRC）模型。然后，我们设计了一种多语言蒸馏方法，将多语言分支模型中的知识合并到所有目标语言的单个模型中。将LBMRC和多语言提取相结合，可以提高模型对数据噪声的鲁棒性，从而提高模型的跨语言能力。同时，生成的单一多语种模型适用于所有目标语言，节省了多个模型的训练、推理和维护成本。两个CLMRC基准上的大量实验清楚地表明了我们所提出的方法的有效性。
2020-10-27 cs.AI cs.CL
A Vietnamese Dataset for Text Segmentation and Multiple Choices Reading Comprehension
Institute for Artificial Intelligence, VNU University of Engineering and Technology（人工智能研究所，越南工程大学）；Faculty of Information Technology, VNU University of Engineering and Technology（信息技术学院，越南工程大学）
针对越南语缺乏文本分割和阅读理解资源的问题，构建了VSMRC数据集，包含约1.6万文档和1.6万问答对，实验证明多语言模型mBERT优于单语模型，可用于其他低资源语言。
2025-06-19 cs.AI cs.CL
Feature-augmented Machine Reading Comprehension with Auxiliary Tasks
School of Mathematics and Statistics（数学与统计学院）；Guangdong University of Technology（广东工业大学）
虽然大多数成功的机器阅读理解方法都依赖于单一的训练目标，但我们假设编码层可以通过我们在预测层中定义的损失函数（在大多数情况下是交叉熵）来学习大量的表示，我们首先使用神经网络对问题和段落进行编码，然后直接将两者的编码结果融合。然而，由于在阅读理解中的远距离反向传播损失，编码层不能有效地学习和直接监督。因此，编码器层在任何时候都不能很好地学习表示。在此基础上，我们提出了在编码层中注入多粒度信息的方法。实验表明，在编码层中加入多粒度信息可以提高机器阅读理解系统的性能。最后，实证研究表明，我们的方法可以适用于许多现有的MRC模型。
2022-11-17 cs.CL
Comparing Attention-based Convolutional and Recurrent Neural Networks: Success and Limitations in Machine Reading Comprehension
我们提出了一个基于两阶段注意力的比较-聚合框架的机器阅读理解模型，在MovieQA问答数据集上取得了最先进的结果。为了研究我们的模型的局限性以及卷积神经网络和递归神经网络之间的行为差异，我们生成了对抗性示例来混淆模型并与人类性能进行比较。此外，我们通过分析模型与人类推理的差异来评估模型的泛化能力，
2018-08-27 cs.CL
Benchmarking Machine Reading Comprehension: A Psychological Perspective
National Institute of Informatics（国立信息学研究所）；University College London（伦敦大学学院）
机器阅读理解（MRC）作为自然语言理解的基准已经受到相当大的关注。然而，MRC的传统任务设计缺乏超出模型解释的可解释性，即，阅读理解的模式不能用人类的语言来解释。为此，本文为基于心理学和心理测量学的MRC数据集的设计提供了理论基础，并总结了MRC基准测试的先决条件。我们的结论是，未来的数据集应该（i）评估模型的能力，以构建一个连贯和接地表示理解上下文相关的情况和（ii）确保通过捷径证明问题和解释作为任务设计的一部分，实质性的有效性。
2021-01-26 cs.CL
A Study of the Tasks and Models in Machine Reading Comprehension
YORK UNIVERSITY（约克大学）
本文综述了机器阅读理解（MRC）中已有的任务和模型：1）简单推理和复杂推理MRC任务的数据集收集和性能评估; 2）基于神经网络的MRC模型的体系结构设计、注意力机制和性能提升方法; 3）最近提出的一些迁移学习方法，用于将外部语料库中包含的文本风格知识整合到MRC模型的神经网络中; 4）最近提出的一些知识库编码方法，将外部知识库中包含的风格知识转化为MRC模型的神经网络。此外，根据本研究所取得的成果和存在的不足，本文还提出了一些有待进一步研究的问题。
2020-01-23 cs.CL cs.IR cs.LG
Retrospective Reader for Machine Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）；SJTU-ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）
机器阅读理解（MRC）是一项人工智能挑战，要求机器根据给定的段落确定问题的正确答案。MRC系统不仅必须在必要时回答问题，还必须根据给定的段落区分何时没有答案，然后巧妙地放弃回答。当MRC任务中涉及无法回答的问题时，除了编码器之外，还特别需要一个称为验证器的基本验证模块，尽管MRC建模的最新实践仍然最受益于采用预先训练好的语言模型作为编码器块，只关注“阅读”。本文致力于探索更好的验证器设计的MRC任务与不可回答的问题。受人类如何解决阅读理解问题的启发，我们提出了一种回顾性阅读器（Retro-Reader），它集成了两个阶段的阅读和验证策略：1）粗略阅读，简要调查段落和问题的整体互动，并产生初步判断; 2）精读，验证答案并给出最终预测。在两个基准MRC挑战数据集SQuAD2.0和NewsQA上对所提出的阅读器进行了评估，获得了新的最先进的结果。显著性检验表明，我们的模型明显优于强ELECTRA和ALBERT基线。本文还对该阅读器的有效性进行了一系列的分析。
2020-12-11 cs.AI cs.CL cs.IR
Sentence Extraction-Based Machine Reading Comprehension for Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
自然语言处理的发展，特别是机器阅读理解的发展，引起了研究界的极大关注。近年来，越南语机器阅读理解任务有一些大规模的数据集，如NAP-ViQuAD和NAP-ViNewsQA。然而，这些数据集在为研究服务的答案上并不多样化。在本文中，我们介绍了第一个用于评估越南语中基于句子提取的机器阅读理解的数据集-ViWikiQA。ViWikiQA数据集是从ViWikiQA数据集转换而来的，由23.074个问题-答案组成，基于174篇维基百科越南语文章的5.109个段落。我们提出了一个转换算法来创建数据集的句子提取为基础的机器阅读理解和三种类型的方法，句子提取为基础的机器阅读理解在越南语。我们的实验表明，最好的机器模型是XLM-R_Large，它在我们的数据集上实现了85.97%的精确匹配（EM）和88.77%的F1分数。此外，我们分析了越南语的问题类型和上下文对MRC模型性能的影响方面的实验结果，从而显示了我们向语言处理社区提出的EST-ViWikiQA数据集的挑战。
2021-06-11 cs.CL
The NarrativeQA Reading Comprehension Challenge
DeepMind；University of Oxford（牛津大学）
阅读理解（RC）--与信息检索相反--需要在整个文档中整合关于事件、实体及其关系的信息和推理。问答通常用于评估RC能力，在人工代理和儿童学习阅读。然而，现有的RC数据集和任务由可以通过使用表面信息（例如，局部上下文相似性或全局术语频率）;因此，它们未能测试RC的基本综合方面。为了鼓励更深入地理解语言，我们提出了一个新的数据集和一组任务，读者必须通过阅读整本书或电影剧本来回答有关故事的问题。这些任务的设计是为了成功地回答他们的问题需要理解潜在的叙述，而不是依赖于肤浅的模式匹配或显著性。我们表明，虽然人类很容易解决的任务，标准的RC模型的斗争在这里提出的任务。我们对数据集及其带来的挑战进行了分析。
2017-12-19 cs.AI cs.CL cs.NE
ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning
University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）；Amazon（亚马逊）；University of Pennsylvania（宾夕法尼亚大学）
理解事件在语义上是如何相互关联的是阅读理解的本质。最近的事件为中心的阅读理解数据集主要集中在事件参数或时间关系。虽然这些任务部分评估了机器的叙事理解能力，但类似人类的阅读理解需要处理基于事件的信息的能力，而不仅仅是论点和时间推理。例如，要理解事件之间的因果关系，我们需要推断动机或目的;要建立事件层次结构，我们需要理解事件的构成。为了促进这些任务，我们介绍了ESTER，一个全面的机器阅读理解（MRC）数据集的事件语义关系推理。该数据集利用自然语言查询来推理五种最常见的事件语义关系，提供超过6 K个问题并捕获10.1K个事件关系对。实验结果表明，目前的SOTA系统在基于标记的精确匹配，F1和基于事件的HIT@1得分方面分别达到了22.1%，63.3%和83.5%，这都明显低于人类的表现（分别为36.0%，79.6%，100%），突出了我们的数据集作为一个具有挑战性的基准。
2021-09-10 cs.CL
Medical Exam Question Answering with Large-scale Reading Comprehension
Tsinghua University（清华大学）；Tsinghua-iFlytek Joint Laboratory（清华-讯飞联合实验室）
文本的阅读和理解是临床医学计算机辅助诊断的重要组成部分，也是自然语言处理领域的一个主要研究问题。在这项工作中，我们引入了一个问答任务，称为MedQA研究回答问题，在临床医学中使用的知识，在一个大规模的文件收集。MedQA的目的是通过大规模阅读理解来回答现实世界的问题。我们提出了我们的解决方案SeaReader--一个基于LSTM网络和双路径注意力架构的模块化端到端阅读理解模型。这种新颖的双路径注意力从两个角度对信息流进行建模，并且能够同时阅读单个文档并整合多个文档中的信息。在实验中，我们的SeaReader在MedQA上的准确性比竞争模型有了很大的提高。此外，我们开发了一系列新的技术来演示解释的问答过程中的SeaReader。
2018-02-28 cs.CL
Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多项选择阅读理解是一项具有挑战性的任务，需要复杂的推理过程。给定段落和问题，需要从一组候选答案中选择正确答案。本文提出了\textbf{D}双\textbf{C} o- \textbf{M}匹配\textbf{N}网络（\textbf{DCMN}），它对段落、问题和答案之间的关系进行了双向建模.与现有方法只计算问题感知或选项感知的段落表征不同，我们同时计算问题感知的问题表征和选项感知的答案表征。为了证明我们的模型的有效性，我们评估我们的模型上的大规模多项选择机器阅读理解数据集（即RACE）。实验结果表明，我们提出的模型取得了新的国家的最先进的结果。
2019-08-20 cs.CL
