Question Generation for Reading Comprehension Assessment by Modeling How and What to Ask
University of Alberta（阿尔伯塔大学）；EyeRead（EyeRead公司）
阅读是日常生活中不可或缺的一部分，但学习阅读对许多年轻学习者来说是一场斗争。在课堂上，教师可以使用理解问题来提高参与度，测试阅读技能，并提高记忆力。从历史上看，这些问题是由熟练的教师编写的，但最近语言模型已被用于生成理解问题。然而，许多现有的问题生成（QG）系统侧重于从文本中生成文字问题，并没有办法控制生成的问题的类型。在本文中，我们研究QG阅读理解推理问题是关键和提取技术不能使用。我们提出了一个两步模型（HTA-WTA），它利用了以前的数据集，并可以为特定的目标理解技能生成问题。我们提出了一个新的阅读理解数据集，其中包含与基于故事的阅读理解技能（SBRCS）注释的问题，允许更完整的读者评估。在几个实验中，我们的结果表明HTA-WTA在这个新数据集上的表现优于多个强基线。我们表明，HTA-WTA模型通过提出深度推理问题来测试强SCRS。
2022-04-06 cs.AI cs.CL cs.LG
Commonsense Evidence Generation and Injection in Reading Comprehension
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Tencent Hippocrates Research Lab（腾讯希波克拉底研究实验室）
人们在阅读理解时，不仅要依据语境本身，而且往往还要依赖于语境之外的常识。为了增强机器的常识推理能力，本文提出了一个阅读理解中的常识证据生成和注入框架CEGI。该框架为阅读理解注入了两种辅助常识证据，使机器具备了理性思维的能力。具体来说，我们建立了两个证据生成器：第一个生成器的目的是通过语言模型生成文本证据;另一个生成器的目的是在图形完成后从常识知识图谱中提取事实证据（自动对齐的文本三元组）。这些证据结合了上下文常识，并作为模型的额外输入。此后，我们提出了一个深上下文编码器提取段落，问题，选项和证据之间的语义关系。最后，我们采用一个胶囊网络提取不同的语言单位（词和短语）的关系，并动态预测的基础上提取的单位的最佳选择。在CosmosQA数据集上的实验表明，所提出的CEGI模型优于当前最先进的方法，并达到了排行榜上的准确率（83.6%）。
2020-05-11 cs.AI cs.CL
Reference Knowledgeable Network for Machine Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多项选择机器阅读理解（MRC）是一项挑战，它要求模型从一组候选答案中选择最合适的答案。现有的研究大多集中在对特定任务或复杂网络的建模上，没有明确地引用相关的、可信的外部知识源，这在很大程度上弥补了本文的不足。因此，我们提出了一种新的基于参考的知识增强模型称为参考知识网络（RekNet），它模拟人类的阅读策略，从文章中提炼关键信息，并在必要时引用明确的知识。具体来说，RekNet对关键信息进行细化，定义为参考广度，并通过参考广度和候选词的共现信息引用显式知识四元组。建议的RekNet在三个多选择MRC基准上进行评估：RACE，DREAM和Cosmos QA，获得一致和显着的性能改进，在强基线上具有可观察的统计显著性水平。我们的代码可在https://github.com/Yilin1111/RekNet上获得。
2022-03-26 cs.AI cs.CL
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
多语言预训练模型可以利用来自丰富源语言（如英语）的训练数据来提高低资源语言的性能。然而，多语言机器阅读理解（MRC）的迁移质量明显低于句子分类任务，这主要是由于MRC需要检测单词级别的答案边界。在本文中，我们提出了两个辅助任务，在微调阶段，以创建额外的短语边界监督：（1）混合MRC任务，将问题或段落翻译到其他语言，并建立跨语言的问题-段落对;（2）语言无关的知识掩蔽任务，利用知识挖掘的短语从Web。此外，在两个跨语言MRC数据集上的大量实验表明了该方法的有效性。
2020-05-08 cs.AI cs.CL
Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft STCA（微软亚洲研究院搜索技术中心）；Simon Fraser University（西蒙弗雷泽大学）
跨语言机器阅读理解（CLMRC）仍然是一个具有挑战性的问题，这是由于缺乏低源语言（如阿拉伯语、印地语和越南语）的大规模注释数据集。许多先前的方法通过从诸如英语的富源语言翻译到低级源语言来使用翻译数据作为辅助监督。然而，如何有效地利用翻译数据并减少翻译引入的噪音的影响仍然是一项艰巨的任务。在本文中，我们解决了这一挑战，并提高跨语言迁移性能的一种新的增强方法命名为语言分支机器阅读理解（LBMRC）。语言分支是一组单一语言的文章，配以所有目标语言的问题。基于LBMRC，我们训练了多个精通不同语言的机器阅读理解（MRC）模型。然后，我们设计了一种多语言蒸馏方法，将多语言分支模型中的知识合并到所有目标语言的单个模型中。将LBMRC和多语言提取相结合，可以提高模型对数据噪声的鲁棒性，从而提高模型的跨语言能力。同时，生成的单一多语种模型适用于所有目标语言，节省了多个模型的训练、推理和维护成本。两个CLMRC基准上的大量实验清楚地表明了我们所提出的方法的有效性。
2020-10-27 cs.AI cs.CL
Automatic learner summary assessment for reading comprehension
Amazon Research（亚马逊研究院）；ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）
摘要的自动评估为评估学习者的阅读理解提供了一个有用的工具。我们提出了一个评估非母语阅读理解的摘要任务，并提出了三种新的方法来自动评估学习者的摘要。我们在我们创建的两个数据集上评估了我们的模型，并表明我们的模型优于传统的依赖于精确单词匹配的方法。我们最好的模式产生接近专业考官的质量评估。
2019-06-18 cs.CL
A Vietnamese Dataset for Text Segmentation and Multiple Choices Reading Comprehension
Institute for Artificial Intelligence, VNU University of Engineering and Technology（人工智能研究所，越南工程大学）；Faculty of Information Technology, VNU University of Engineering and Technology（信息技术学院，越南工程大学）
针对越南语缺乏文本分割和阅读理解资源的问题，构建了VSMRC数据集，包含约1.6万文档和1.6万问答对，实验证明多语言模型mBERT优于单语模型，可用于其他低资源语言。
2025-06-19 cs.AI cs.CL
DREAM: A Challenge Dataset and Models for Dialogue-Based Reading Comprehension
Cornell University（康奈尔大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了梦想，第一个基于对话的多项选择阅读理解数据集。我们的数据集收集自人类专家设计的英语作为外语的考试，以评估中国英语学习者的理解水平，我们的数据集包含6，444个对话的10，197个多项选择题。与现有的阅读理解数据集相比，DREAM是第一个专注于深度多回合多方对话理解的数据集。DREAM可能会对现有的阅读理解系统提出重大挑战：84%的答案是非提取的，85%的问题需要推理超过一个句子，34%的问题还涉及常识知识。我们应用了几种流行的神经阅读理解模型，这些模型主要利用文本中的表面信息，并发现它们充其量只是勉强优于基于规则的方法。接下来，我们调查的效果，将对话结构和不同种类的一般世界知识，以基于规则和（神经和非神经）机器学习为基础的阅读理解模型。在DREAM数据集上的实验结果表明了对话结构和一般世界知识的有效性。梦想将在https://dataset.org/dream/上提供。
2019-02-01 cs.CL
Consensus Attention-based Neural Networks for Chinese Reading Comprehension
iFLYTEK Research（科大讯飞研究）；Research Center for Social Computing and Information Retrieval,Harbin Institute of Technology（哈尔滨工业大学社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
阅读理解是近年来自然语言处理研究的热点。一些研究机构已经发布了完形填空式阅读理解的数据，这些数据极大地促进了机器理解的研究。在这项工作中，我们首先提出了中文阅读理解数据集，其中包括人民日报新闻数据集和儿童童话（CFT）数据集。此外，我们提出了一个基于共识注意的神经网络架构来解决完形填空式的阅读理解问题，其目的是诱导对查询中的每个单词的共识注意。实验结果表明，所提出的神经网络显着优于国家的最先进的基线在几个公共数据集。此外，我们还建立了一个中文阅读理解任务的基线，希望这能加快未来研究的进程。
2018-03-15 cs.CL cs.NE
SberQuAD -- Russian Reading Comprehension Dataset: Description and Analysis
JetBrains Research（JetBrains 研究院）
SberQuAD是斯坦福SQuAD在俄语中的大规模模拟，是一种宝贵的资源，尚未适当地呈现给科学界。我们通过提供描述、彻底的分析和基线实验结果来填补这一空白。
2020-05-02 cs.CL
RACE: Large-scale ReAding Comprehension Dataset From Examinations
Carnegie Mellon University（卡内基梅隆大学）
我们提出了RACE，一个新的数据集的基准评估方法在阅读理解任务。RACE收集了中国12至18岁初中和高中学生的英语考试，由近28，000篇文章和近100，000个由人类专家（英语教师）生成的问题组成，涵盖了各种精心设计的主题，用于评估学生的理解和推理能力。特别是，RACE中需要推理的问题比例远远大于其他阅读理解基准数据集，并且最先进模型的性能（43%）与人类性能上限（95%）之间存在显着差距。我们希望这个新的数据集可以作为机器理解研究和评估的宝贵资源。数据集可在http://www.cs.cmu.edu/~glai1/data/race/上免费获得，代码可在https://github.com/qizhex/RACE_AR_baselines上获得。
2017-12-05 cs.AI cs.CL cs.LG
How Much Reading Does Reading Comprehension Require? A Critical Investigation of Popular Benchmarks
Carnegie Mellon University（卡内基梅隆大学）
最近的许多论文都涉及阅读理解，其中的例子由（问题，段落，答案）元组组成。据推测，模型必须结合问题和段落的信息来预测相应的答案。然而，尽管人们对这个话题有着浓厚的兴趣，数百篇已发表的论文都在争夺排行榜的主导地位，但关于许多流行基准的难度的基本问题仍然没有答案。在本文中，我们为bAbI，SQuAD，CBT，CNN和Who-did-What数据集建立了合理的基线，发现仅问题和问题模型通常表现得非常好。在$20$ bAbI任务之外的$14$上，仅限数据的模型实现的精度高于$50\%$，有时与完整模型匹配。有趣的是，虽然CBT提供了$20$ -句子故事，但只有最后一个句子故事才能进行非常准确的预测。相比之下，SQuAD和CNN的结构似乎更好。
2018-08-21 cs.AI cs.CL cs.LG
DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs
University of California, Irvine（加州大学尔湾分校）；Peking University（北京大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
阅读理解最近取得了快速进展，系统在最流行的数据集上与人类相匹配。然而，大量的工作突出了这些系统的脆弱性，表明还有许多工作要做。我们介绍了一个新的英语阅读理解基准，DROP，它需要对段落的内容进行离散推理。在这个众包、对抗性创建的96k问题基准测试中，系统必须解析问题中的引用，可能是多个输入位置，并对它们执行离散操作（例如加法、计数或排序）。这些操作需要比以前的数据集更全面地了解段落的内容。我们在这个数据集上应用了阅读理解和语义解析文献中最先进的方法，并表明最好的系统在我们的广义准确性指标上仅达到32.7%的F1，而专家的人类表现为96.0%。我们还提出了一个新的模型，结合阅读理解方法与简单的数字推理，以达到47.0%F1。
2019-04-16 cs.CL
TORQUE: A Reading Comprehension Dataset of Temporal Ordering Questions
Allen Institute for AI（艾伦人工智能研究所）；Hooray Data Co., Ltd（好耶数据有限公司）；University of Southern California（南加利福尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）
阅读的一个关键部分是能够理解文本中描述的事件之间的时间关系，即使这些关系没有明确说明。然而，目前的机器阅读理解基准测试几乎没有测试时间现象的问题，因此在这些基准测试上训练的系统没有能力回答诸如“[某个事件]之前/之后发生了什么？“我们介绍了TORQUE，这是一个新的英语阅读理解基准，建立在3.2k新闻片段上，其中包含21 k人类生成的查询时间关系的问题。结果表明，RoBERTa-large在TORQUE测试集上获得了51%的精确匹配分数，比人类性能落后约30%。
2020-10-06 cs.CL
Retrospective Reader for Machine Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）；SJTU-ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）
机器阅读理解（MRC）是一项人工智能挑战，要求机器根据给定的段落确定问题的正确答案。MRC系统不仅必须在必要时回答问题，还必须根据给定的段落区分何时没有答案，然后巧妙地放弃回答。当MRC任务中涉及无法回答的问题时，除了编码器之外，还特别需要一个称为验证器的基本验证模块，尽管MRC建模的最新实践仍然最受益于采用预先训练好的语言模型作为编码器块，只关注“阅读”。本文致力于探索更好的验证器设计的MRC任务与不可回答的问题。受人类如何解决阅读理解问题的启发，我们提出了一种回顾性阅读器（Retro-Reader），它集成了两个阶段的阅读和验证策略：1）粗略阅读，简要调查段落和问题的整体互动，并产生初步判断; 2）精读，验证答案并给出最终预测。在两个基准MRC挑战数据集SQuAD2.0和NewsQA上对所提出的阅读器进行了评估，获得了新的最先进的结果。显著性检验表明，我们的模型明显优于强ELECTRA和ALBERT基线。本文还对该阅读器的有效性进行了一系列的分析。
2020-12-11 cs.AI cs.CL cs.IR
The NarrativeQA Reading Comprehension Challenge
DeepMind；University of Oxford（牛津大学）
阅读理解（RC）--与信息检索相反--需要在整个文档中整合关于事件、实体及其关系的信息和推理。问答通常用于评估RC能力，在人工代理和儿童学习阅读。然而，现有的RC数据集和任务由可以通过使用表面信息（例如，局部上下文相似性或全局术语频率）;因此，它们未能测试RC的基本综合方面。为了鼓励更深入地理解语言，我们提出了一个新的数据集和一组任务，读者必须通过阅读整本书或电影剧本来回答有关故事的问题。这些任务的设计是为了成功地回答他们的问题需要理解潜在的叙述，而不是依赖于肤浅的模式匹配或显著性。我们表明，虽然人类很容易解决的任务，标准的RC模型的斗争在这里提出的任务。我们对数据集及其带来的挑战进行了分析。
2017-12-19 cs.AI cs.CL cs.NE
MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics
UC Irvine（加州大学欧文分校）；The Hebrew University（希伯来大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；AI2 Irvine（艾伦人工智能研究所欧文分部）
把阅读理解作为一个生成问题提供了很大的灵活性，允许开放式的问题，对可能的答案几乎没有限制。然而，现有的生成指标阻碍了进展，这些指标依赖于标记重叠，并且对阅读理解的细微差别不可知。为了解决这个问题，我们引入了一个用于训练和评估生成式阅读理解指标的基准：使用人类注释建模正确性。MOCHA包含来自6个不同问答数据集的模型输出的40K人类判断分数和用于评估的额外一组最小对。使用MOCHA，我们训练阅读理解的学习评价指标LERC，以模仿人类的判断分数。LERC在保留注释上的绝对Pearson点超过基线指标10到36。当我们评估最小对的鲁棒性时，LERC达到了80%的准确率，比基线高出14到26个绝对百分点，同时留下了显著的改进空间。MOCHA提出了一个具有挑战性的问题，发展准确和强大的生成式阅读理解指标。
2020-10-15 cs.CL cs.LG
ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning
National University of Singapore（新加坡国立大学）
最近的强大的预训练语言模型在大多数流行的阅读理解数据集上取得了显着的性能。现在是时候引入更具挑战性的数据集，推动该领域朝着更全面的文本推理方向发展了。在本文中，我们介绍了一个新的阅读理解数据集，需要逻辑推理（ReClor）从标准化的研究生入学考试中提取。正如早期的研究所表明的那样，人类注释的数据集通常包含偏见，这些偏见通常被模型利用来实现高准确性，而无需真正理解文本。为了综合评价ReClor上模型的逻辑推理能力，我们提出识别有偏差的数据点，并将其分离为EASY集，其余为HARD集。实证结果表明，国家的最先进的模型具有出色的能力，捕捉偏差包含在数据集上的EASY集的高精度。然而，它们在HARD集上的表现与随机猜测的表现相近，这表明需要更多的研究来从根本上提高当前模型的逻辑推理能力。
2020-08-22 cs.AI cs.CL cs.LG
Commonsense Knowledge + BERT for Level 2 Reading Comprehension Ability Test
Nanyang Technological University（南洋理工大学）；Victoria University（维多利亚大学）
当我们阅读时，常识知识起着重要的作用。BERT在SQuAD数据集上的性能表明，BERT的准确性可以优于人类用户。然而，这并不意味着计算机在阅读理解方面可以超越人类。CommonsenseQA是基于常识知识设计的大规模数据集。BERT的准确率仅为55.9%，说明计算机不能像人类那样运用常识知识来回答问题。理解能力测试（CAT）将阅读理解能力分为四个层次。我们可以逐步达到人类的理解能力。BERT在不需要常识的1级中表现良好。在这项研究中，我们提出了一个系统，其目的是让计算机阅读文章，并回答相关的问题，像人类一样的常识知识CAT 2级。该系统由三部分组成。首先构建常识知识图谱，然后根据图谱自动构建常识知识试题集，最后将BERT与常识知识相结合，实现CAT 2级阅读理解能力测试。实验表明，只要在知识库中包含所需的公共知识，就可以通过CAT。
2019-09-08 cs.CL
Review Conversational Reading Comprehension
Tsinghua University（清华大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
受对话式阅读理解（CRC）的启发，本文研究了一个新的任务，利用评论作为一个源，建立一个代理，可以回答多轮问题的潜在消费者的在线业务。我们首先建立一个回顾CRC数据集，然后提出一个新的任务感知预调步骤，在语言模型（例如，BERT）预训练和特定领域的微调。所提出的预调优不需要数据注释，但可以大大提高我们最终任务的性能。实验结果表明，该方法是非常有效的，具有竞争力的性能监督方法。数据集可在\url{https://github.com/howardhsu/RCRC}上获得
2019-11-06 cs.CL
Quoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
机器理解长于单个句子的文本通常需要共指消解。然而，目前大多数阅读理解基准不包含复杂的共指现象，因此无法评估模型解决共指的能力。我们提出了一个新的众包数据集，其中包含超过24 K的跨度选择问题，这些问题需要解决维基百科中超过4.7K英文段落中实体之间的共指。要想获得关注这些现象的问题是很有挑战性的，因为很难避免词汇线索，这些线索可以简化复杂的推理。我们通过使用强大的基线模型作为众包循环中的对手来处理这个问题，这有助于众包工作者避免使用可利用的表面线索编写问题。我们发现，在这个基准测试中，最先进的阅读理解模型的表现明显不如人类--最好的模型表现为70.5 F1，而人类的估计表现为93.4 F1。
2019-09-05 cs.CL
Extract, Integrate, Compete: Towards Verification Style Reading Comprehension
Peking University（北京大学）
本文提出了一种新的验证式阅读理解数据集VGaokao。与现有的努力不同，新的数据集最初是为母语者的评估而设计的，因此需要更高级的语言理解技能。为了解决VGaokao中的挑战，我们提出了一种新的Extract-Integrate-Compete方法，该方法通过一种新的查询更新机制迭代地选择互补证据，并自适应地提取支持证据，然后通过成对竞争来推动模型学习相似文本片段之间的细微差异。实验结果表明，我们的方法优于各种基线上的VGaokao检索的补充证据，同时具有效率和可解释性的优点。我们的数据集和代码被发布以供进一步研究。
2021-09-11 cs.CL
TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension
Paul G. Allen School of Computer Science & Engineering, Univ. of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了TriviaQA，一个具有挑战性的阅读理解数据集，包含超过650 K的问题-答案-证据三元组。TriviaQA包括由琐事爱好者撰写的95 K问答对和独立收集的证据文件，平均每个问题六个，为回答问题提供高质量的远程监督。我们发现，与最近引入的其他大规模数据集相比，TriviaQA（1）具有相对复杂的组成问题，（2）在问题和相应的答案证据句子之间具有相当大的句法和词汇变异性，（3）需要更多的跨句子推理来找到答案。我们还提出了两个基线算法：基于特征的分类器和最先进的神经网络，表现良好的SQuAD阅读理解。这两种方法都没有接近人类的表现（23%和40% vs. 80%），这表明TriviaQA是一个具有挑战性的测试平台，值得在未来进行大量研究。数据和代码可在--http://nlp.cs.washington.edu/triviaqa/获得
2017-05-13 cs.CL
MRQA 2019 Shared Task: Evaluating Generalization in Reading Comprehension
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；Tel Aviv University（特拉维夫大学）；University of Washington（华盛顿大学）；NAVER；Google AI（谷歌人工智能）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们介绍了机器阅读问答（MRQA）2019年评估阅读理解系统泛化能力的共享任务的结果。在这项任务中，我们将18个不同的问答数据集改编并统一为相同的格式。其中，六个数据集可用于训练，六个数据集可用于开发，最后六个数据集隐藏起来以进行最终评估。十个团队提交了系统，探索了各种想法，包括数据采样，多任务学习，对抗训练和集成。最好的系统在12个数据集上的平均F1得分为72.5，比我们基于BERT的初始基线高出10.7个绝对点。
2019-12-20 cs.CL
BERT-based distractor generation for Swedish reading comprehension questions using a small-scale dataset
KTH Royal Institute of Technology（KTH皇家理工学院）
在构建多项选择题（MCQ）进行阅读理解评估时，一个重要的部分是干扰项，即不正确但最好是合理的答案选项。在本文中，我们提出了一个新的BERT为基础的方法，自动生成干扰只使用一个小规模的数据集。我们还发布了一个新的瑞典MCQ数据集（用于训练模型），并提出了一种方法来评估生成的干扰。评估表明，从学生的角度来看，我们的方法产生了一个或多个合理的干扰超过50%的MCQ在我们的测试集。从老师的角度来看，大约50%的干扰项被认为是合适的。我们还对结果进行了全面的分析。
2021-08-09 cs.CL
ViMultiChoice: Toward a Method That Gives Explanation for Multiple-Choice Reading Comprehension in Vietnamese
Faculty of Information Science and Engineering（信息科学与工程学院）；Faculty of Computer Science（计算机科学学院）；University of Information Technology, Vietnam National University（越南国家大学信息科技学院）；Vietnam National University（越南国家大学）
ViMultiChoice通过联合预测正确答案和生成解释，提升越南语多项选择阅读理解的准确性和解释能力。
2026-02-27 cs.CL
Beyond English-Only Reading Comprehension: Experiments in Zero-Shot Multilingual Transfer for Bulgarian
Sofia University “St. Kliment Ohridski”（索非亚大学“圣克里门特·奥赫里德斯基”）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
最近，阅读理解模型在SQuAD，CoQA，MS Macro，RACE等大规模数据集上实现了接近人类的性能，这在很大程度上是由于发布了预先训练的上下文表示，如BERT和ELMo，可以针对目标任务进行微调。尽管取得了这些进展，并创建了更具挑战性的数据集，但大部分工作仍然是针对英语完成的。在这里，我们研究了多语言BERT在大规模英语阅读理解数据集上微调的有效性（例如，对于种族），我们将其应用于保加利亚多项选择阅读理解。我们提出了一个新的数据集，包含2,221个问题，从入学考试的12年级在各种科目-历史，生物，地理和哲学-和412个额外的问题，从在线测验的历史。虽然测试作者没有给出相关的上下文，但我们结合了维基百科的知识，检索匹配问题+每个答案选项组合的文档。此外，我们还尝试了不同的索引和预训练策略。评估结果显示准确率为42.23%，远高于基线24.89%。
2019-09-06 cs.CL cs.IR
Multi Document Reading Comprehension
Indian Institute Of Technology (BHU) Varanasi（印度理工学院（巴纳拉斯印度教大学）瓦拉纳西分校）
阅读理解（RC）是从给定的文章或一组文章中回答问题的任务。在多个段落的情况下，任务是找到问题的最佳答案。最近在自然语言处理（NLP）领域的试验和实验已经证明，机器不仅可以处理文章中的文本并理解其含义以回答文章中的问题，而且还可以在许多数据集上超越人类表现，例如斯坦福的问答数据集（SQuAD）。本文介绍了近几十年来自然语言处理领域对阅读理解的研究及其进展。我们还将研究如何单文档阅读理解任务作为我们的多文档阅读理解系统的构建块。在本文的后半部分，我们将研究最近提出的多文档阅读理解模型-RE 3QA，该模型由阅读器，检索器和基于重新排序的网络组成，以从给定的段落集合中获取最佳答案。
2022-01-05 cs.AI cs.CL
Revealing Weaknesses of Vietnamese Language Models Through Unanswerable Questions in Machine Reading Comprehension
Denison University（丹尼森大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学）
虽然多语言的诅咒显著限制了多语言模型在单语环境中的语言能力，但研究人员现在仍然必须依赖多语言模型来开发越南语机器阅读理解的最先进系统。这一研究的困难是由于开发越南语语言模型的高质量作品数量有限。为了鼓励更多的工作在这一研究领域，我们提出了一个全面的分析语言的弱点和优势，目前越南单语模型使用的下游任务机器阅读理解。根据分析结果，我们提出了发展越南语语言模型的新方向。除了这一主要贡献，我们还成功地揭示了存在的文物越南机器阅读理解基准，并建议迫切需要新的高质量的基准来跟踪越南机器阅读理解的进展。此外，我们还介绍了一个小的，但有价值的修改的过程中注释无法回答的问题，机器阅读理解从以前的工作。我们提出的修改有助于提高质量的无法回答的问题，以更高的难度水平的机器阅读理解系统解决。
2023-03-16 cs.AI cs.CL
Towards Inference-Oriented Reading Comprehension: ParallelQA
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们研究了端到端神经机器阅读理解（MRC）模型匹配浅层模式的趋势，而不是在RC基准上执行面向推理的推理。我们的目标是测试这些系统的能力，回答问题的重点是参考推理。我们提出了一种使用平行通道来制定此类问题的策略。我们还证明了现有的神经模型无法很好地推广到这种设置。
2018-05-10 cs.AI cs.CL
Question Generation for Assessing Early Literacy Reading Comprehension
本研究提出一种面向K-2英语学习者的阅读理解问题生成方法，可覆盖学习材料、适配学习者能力并生成多类型多难度问题，经FairytaleQA数据集验证，有望成为AI英语教学的重要工具。
2025-07-30 cs.AI cs.CL
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune（浦那陆军技术学院）
多项选择机器阅读理解是一项困难的任务，它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人（或机器）阅读给定的文章、问题对，并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案，或者通过消除最差匹配答案。在这里，我们提出了GenNet模型，一个基于神经网络的模型。在这个模型中，我们首先从文章中生成问题的答案，然后将生成的答案与给定的答案进行匹配，最佳匹配的选项将是我们的答案。对于答案生成，我们使用S-网（Tan等人，2017）在SQuAD上训练的模型，为了评估我们的模型，我们使用了大规模RACE（来自考试的阅读理解数据集）（Lai et al.，2017年）的报告。
2020-03-18 cs.AI cs.CL
Numerical reasoning in machine reading comprehension tasks: are we there yet?
Imperial College London（帝国理工学院）；City, University of London（伦敦城市大学）
基于数值推理的机器阅读理解是一项涉及阅读理解以及使用算术运算（如加法、减法、排序和计数）的任务。DROP基准（Dua等人，2019）是最近的一个数据集，它启发了旨在解决这一任务的NLP模型的设计。这些模型目前在DROP排行榜上的排名超过了标准指标，表明这些模型已经达到了接近人类的性能。然而，这是否意味着这些模型已经学会了推理？在本文中，我们提出了一个控制研究的一些最高性能的模型架构的任务的数值推理。我们的观察表明，标准指标无法衡量这些任务的进展情况。
2021-09-16 cs.AI cs.CL
Difficulty Controllable Generation of Reading Comprehension Questions
The Chinese University of Hong Kong（香港中文大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
我们调查了阅读理解数据集，如SQuAD的问题的难度水平，并提出了一个新的问题生成设置，命名为难度可控的问题生成（DQG）。将阅读理解段落中的句子及其一些文本片段（即，答案），DQG方法需要生成问题，每个问题都有一个给定的文本片段作为其答案，同时生成是在指定的难度标签的控制下-输出的问题应该尽可能满足指定的难度。为了解决这个任务，我们提出了一个端到端框架，通过探索一些重要的直觉来生成指定难度级别的问题。为了评估，我们准备了第一个带有难度标签的阅读理解问题数据集。实验结果表明，该框架生成的问题不仅在BLEU等指标下具有更好的质量，而且符合指定的难度标签。
2019-05-30 cs.AI cs.CL
Bridging Information-Seeking Human Gaze and Machine Reading Comprehension
MIT BCS（麻省理工学院脑与认知科学系）
在这项工作中，我们分析如何在阅读理解过程中的人的目光是有条件的给定的阅读理解问题，以及这个信号是否可以有益于机器阅读理解。为此，我们收集了一个新的眼动跟踪数据集，其中有大量参与者参与多项选择阅读理解任务。我们对这些数据的分析显示，与回答问题最相关的文本部分的固定时间增加。基于这一发现，我们建议通过模仿人类在阅读理解过程中寻求信息的阅读行为，使自动阅读理解更像人类。我们证明，这种方法导致性能增益的多项选择问答在英语的国家的最先进的阅读理解模型。
2020-10-15 cs.CL
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research（讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性，本文提出了一个新的中文阅读理解数据集，以促进社区的相关研究。该数据集包含两种不同的类型：完形填空式阅读理解和用户查询式阅读理解，与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起，我们还举办了第一届中文机器阅读理解评估（CMRC-2017），并成功吸引了数十名参与者，这表明了此数据集的潜在影响。
2018-03-15 cs.CL
Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了一个混合的任务感知专家网络的机器阅读理解在一个相对较小的数据集。我们特别关注常识学习的问题，通过专门训练不同的专家网络来捕获每个段落，问题和选择三元组之间的不同关系，从而加强共同基础知识。此外，我们通过训练每个网络一个相关的重点任务，对多任务和迁移学习的最新进展进行了总结。通过强制执行任务和关系，使混合网络意识到特定目标，我们实现了最先进的结果并减少了过度拟合。
2022-10-04 cs.AI cs.CL
Reading Comprehension Ability Test-A Turing Test for Reading Comprehension
Victoria University（维多利亚大学）；Nanyang Technological University（南洋理工大学）
阅读理解能力是人类智力的重要组成部分。识字和算术是人们在学习、工作和生活中取得成功的两个最重要的基础。阅读理解能力是读写能力的核心组成部分。在大多数教育系统中，培养阅读理解能力是一年级至十二年级课程的必修课。它是传播知识不可或缺的能力。随着人工智能的出现，计算机开始能够像人一样在某些上下文中阅读和理解。他们甚至可以在某些任务中比人类读得更好，但在其他任务中几乎没有线索。如果我们能够识别机器理解能力的水平，这将是非常有益的，这将指导我们进一步提高。图灵测试是一个著名的测试计算机智能和人类智能之间的差异。为了能够比较人类阅读和机器阅读之间的差异，我们提出了一个名为（阅读）理解能力测试（CAT）的测试。CAT类似于图灵测试，通过该测试意味着我们无法在理解能力方面区分人类和算法。CAT有多个层次，显示了阅读理解的不同能力，从识别基本事实，进行推理，到理解意图和情感。
2019-09-05 cs.CL
More Than Reading Comprehension: A Survey on Datasets and Metrics of Textual Question Answering
University of Florida（佛罗里达大学）
文本问答（QA）的目的是使用非结构化数据以自然语言的形式对用户的问题提供精确的答案。实现这一目标的最流行的方法之一是机器阅读理解（MRC）。近年来，许多新的数据集和评价指标的基础上，经典的MRC任务已经提出了更广泛的文本QA任务。在本文中，我们调查了47个最近的文本QA基准数据集，并从应用的角度提出了一个新的分类。此外，本文还总结了文本QA任务的8个评价指标。最后，我们讨论了当前的趋势，在构建文本QA基准，并建议未来的工作方向。
2022-02-04 cs.AI cs.CL
Generating Reading Comprehension Exercises with Large Language Models for Educational Applications
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai, China（光学电子与计算机工程学院，上海理工大学，上海，中国）；Chongqing Academy of Science and Technology, Chongqing, China（重庆市科学技术院，重庆，中国）
本文提出RCEG框架，利用大语言模型自动生成高质量、个性化的英语阅读理解练习，通过内容候选生成、判别器筛选和综合评估指标提升练习质量。
2025-11-24 cs.AI cs.CL
Learning to Ask: Neural Question Generation for Reading Comprehension
Cornell University（康奈尔大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究了阅读理解中从篇章中自动生成句子的问题。我们引入了一个基于注意力的序列学习模型的任务，并研究了编码句子与段落级信息的效果。与以前的所有工作相比，我们的模型不依赖于手工制作的规则或复杂的NLP管道;相反，它是通过序列到序列学习的端到端可训练的。自动评估结果表明，我们的系统显着优于国家的最先进的基于规则的系统。在人类评估中，我们的系统生成的问题也被评为更自然（即，语法性、流畅性）和更难回答（就句法和词汇与原文的分歧以及回答所需的推理而言）。
2017-04-29 cs.AI cs.CL
Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking
Tsinghua University（清华大学）；Beijing MoreHealth Technology Group Co. Ltd（北京妙健康科技集团有限公司）
摘要大规模、高质量的阅读理解训练数据的出现，使得提取式阅读理解（ERC）取得了巨大的进步。尽管取得了如此迅速的进展和广泛的应用，但除了英语等高资源语言之外，其他语言的数据集仍然很少。为了解决这个问题，我们提出了一个跨语言换位再思考（XLTT）模型建模现有的高质量的提取阅读理解数据集在多语言环境中。具体而言，我们提出了多语言自适应注意（MAA），结合内部注意和相互注意，从每对语言家族中学习更一般的可概括的语义和词汇知识。此外，为了充分利用现有数据集，我们采用了一种新的训练框架，通过计算每个现有数据集和目标数据集之间的任务级相似度来训练我们的模型。实验结果表明，我们的XLTT模型在两个多语言ERC基准测试中超过了六个基线，特别是对低资源语言更有效，F1和EM的平均改善分别为3.9和4.1。
2021-09-28 cs.AI cs.CL
An Understanding-Oriented Robust Machine Reading Comprehension Model
Northeastern University（东北大学）
尽管现有的机器阅读理解模型在许多数据集上取得了快速进展，但它们远不健壮。本文提出了一种面向理解的机器阅读理解模型，以解决过敏感性、过稳定性和泛化性这三种鲁棒性问题。具体来说，我们首先使用一个自然语言推理模块来帮助模型理解输入问题的准确语义，以解决过度敏感和过度稳定的问题。在机器阅读理解模块中，我们提出了一种记忆引导的多头注意力方法，可以更好地理解输入问题和文章的语义。第三，我们提出了一种多语言学习机制来解决泛化问题。最后，将这些模块与基于多任务学习的方法相结合。我们在三个基准数据集上评估我们的模型，这些数据集旨在衡量模型的鲁棒性，包括DuReader（鲁棒）和两个SQuAD相关数据集。大量的实验表明，我们的模型可以很好地解决上述三种鲁棒性问题。在不同的评估指标下，即使在一些极端和不公平的评估下，它也比所有这些数据集上的最先进的模型取得了更好的结果。我们工作的源代码可以在https://github.com/neukg/RobustMRC上找到。
2022-07-01 cs.AI cs.CL
UQuAD1.0: Development of an Urdu Question Answering Training Data for Machine Reading Comprehension
近年来，低资源的机器阅读理解（MRC）取得了显著的进展，模型在各种语言数据集上都取得了显著的性能。然而，这些模型都没有为乌尔都语定制。这项工作探索了半自动创建乌尔都语问答数据集（UQuAD 1.0），将机器翻译的SQuAD与来自维基百科文章的人工生成样本和来自剑桥O级书籍的乌尔都语RC样本相结合。UQuAD 1.0是一个大规模的乌尔都语数据集，用于提取机器阅读理解任务，由49 k个问题答案对组成，包括问题，段落和答案格式。在UQuAD 1.0中，通过原始SQuAD 1.0的机器翻译生成了45000对QA，通过众包生成了大约4000对QA。在这项研究中，我们使用了两种类型的MRC模型：基于规则的基线和基于高级转换器的模型。然而，我们发现后者的性能优于其他架构;因此，我们决定只关注基于transformer的架构。使用XLMRoBERTa和多语言BERT，我们获得的F1得分分别为0.66和0.63。
2021-11-02 cs.AI cs.CL
ChatPRCS: A Personalized Support System for English Reading Comprehension based on ChatGPT
本文提出基于ChatGPT和最近发展区理论的个性化阅读理解支持系统ChatPRCS，通过能力预测、提示模式和自动评估生成与专家水平一致的高质量问题。
2023-09-25 cs.CL
NEUer at SemEval-2021 Task 4: Complete Summary Representation by Filling Answers into Question for Matching Reading Comprehension
Northeastern University（东北大学）；Westlake University（西湖大学）
SemEval任务4旨在从多个候选项中找到一个合适的选项来解决机器阅读理解任务。大多数现有的方法建议concat问题和选项一起，形成一个上下文感知模型。然而，我们认为，简单的串联只能提供一个粗粒度的上下文MRC任务，忽略了特定的位置的选项相对于问题。在本文中，我们提出了一种新的MRC模型，通过填充选项到问题，产生一个细粒度的上下文（定义为摘要），可以更好地揭示选项和问题之间的关系。我们在给定的数据集上进行了一系列的实验，结果表明，我们的方法在很大程度上优于其他同行。
2021-05-25 cs.AI cs.CL
Deep Understanding based Multi-Document Machine Reading Comprehension
Northeastern University（东北大学）
现有的多文档机器阅读理解模型主要侧重于理解输入问题与文档之间的交互，而忽略了以下两种理解。首先，从对方的角度理解输入问题和文档中单词的语义。第二，从文档内和文档间的角度理解正确答案的支持线索。忽略这两种重要的理解会使模型忽略一些可能有助于得出正确答案的重要信息。为了克服这一缺陷，我们提出了一个基于深度理解的多文档机器阅读理解模型。它有三个级联的深度理解模块，旨在理解单词的准确语义，输入问题和文档之间的交互以及正确答案的支持线索。我们在两个大规模的基准数据集上评估了我们的模型，即TriviaQA Web和DuReader。大量的实验表明，我们的模型在两个数据集上都取得了最先进的结果。
2022-02-25 cs.AI cs.CL
DRCD: a Chinese Machine Reading Comprehension Dataset
Delta Research Center（台达研究中心）；Delta Electronics, Inc.（台达电子工业股份有限公司）
本文介绍了一个开放领域的传统中文机器阅读理解数据集DRCD（Delta Reading Comprehension Dataset）。该数据集旨在成为一个标准的中文机器阅读理解数据集，可以作为迁移学习的源数据集。该数据集包含来自2，108篇维基百科文章的10，014个段落和注释者生成的30，000多个问题。我们建立了一个基线模型，其F1得分为89.59%。人因绩效F1评分为93.30%。
2019-05-29 cs.CL
Relation/Entity-Centric Reading Comprehension
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
构建一台能够理解人类语言的机器是人工智能中最难以捉摸和长期存在的挑战之一。本文通过对阅读理解的研究来解决这一挑战，重点是理解实体及其关系。更具体地说，我们专注于旨在衡量阅读理解的问答任务。我们关注实体和关系，因为它们通常用于表示自然语言的语义。
2020-08-27 cs.CL
STARC: Structured Annotations for Reading Comprehension
MIT（麻省理工学院）
我们提出了STARC（阅读理解结构化注释），一个新的注释框架，用于评估阅读理解与多项选择题。我们的框架引入了一个原则性的结构，答案的选择，并将它们绑定到文本跨度注释。该框架在OneStopQA中实现，OneStopQA是一种用于英语阅读理解评估和分析的新的高质量数据集。我们使用这个数据集来证明STARC可以用于开发SAT类阅读理解材料的关键新应用：通过跨度消融实验进行自动注释质量探测。我们进一步表明，它可以深入分析和比较机器和人类的阅读理解行为，包括错误分布和猜测能力。我们的实验还表明，NLP中的标准多项选择数据集RACE在测量阅读理解能力方面是有限的。47%的问题可以被机器猜到，而不需要访问文章，18%的问题被人类一致认为没有唯一的正确答案。OneStopQA为阅读理解提供了一个替代测试集，它弥补了这些缺点，并具有更高的人类上限性能。
2020-04-30 cs.CL
Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
多跳阅读理解需要模型从多个句子/文档中探索和连接相关信息，以回答有关上下文的问题。为了实现这一点，我们提出了一个可解释的3-模块系统，称为探索-建议-组装阅读器（EPAr）。首先，文档浏览器迭代地选择相关文档，并以树结构表示发散的推理链，以便允许从所有链吸收信息。答案提议器然后从推理树中的每个根到叶路径提议答案。最后，证据汇编器从每条路径中提取包含建议答案的关键句，并将它们组合起来预测最终答案。直观地说，EPAr近似于人类读者在面对多个长文档时从粗到细的理解行为。我们共同优化我们的3个模块，最大限度地减少损失的总和，从每一个阶段的条件下，前一阶段的输出。在两个多跳阅读理解数据集WikiHop和MedHop上，与最先进的模型相比，我们的EPAr模型在基线和竞争结果上取得了显着的改进。我们还提出了多个推理链恢复测试和消融研究，以证明我们的系统的能力，执行可解释的和准确的推理。
2019-06-12 cs.AI cs.CL
Lightweight Convolutional Approaches to Reading Comprehension on SQuAD
Stanford University（斯坦福大学）
当前最先进的阅读理解模型严重依赖于递归神经网络。我们探索了一种完全不同的问答方法：卷积模型。就其本质而言，这些卷积模型能够快速训练并很好地捕获局部依赖关系，尽管它们可能会与较长范围的依赖关系作斗争，因此需要增强以实现与基于RNN的模型相当的性能。我们使用卷积模型和各种内核/注意力/正则化方案进行了二十多个受控实验，以确定每种策略的精确性能增益，同时保持对速度的关注。我们最终集成了三个模型：crossconv（0.5398 dev F1），attnconv（0.5665）和maybeconv（0.5285）。使用官方SQuAD评估脚本，集成模型能够获得0.6238 F1分数。我们的个人卷积模型crossconv能够超过RNN加注意力基线的性能25%，同时训练速度快6倍。
2018-10-19 cs.AI cs.CL
Beyond Facts: Benchmarking Distributional Reading Comprehension in Large Language Models
National Taiwan University（国立台湾大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Academia Sinica, Taiwan（台湾“中央研究院”）；NTU AI-CoRE（国立清华大学AI研究中心）
本文提出Text2DistBench基准测试，评估LLM从自然语言中推断分布知识的能力，通过真实YouTube评论数据，测试模型在估计评论比例和识别高频主题方面的表现，揭示LLM在分布式阅读理解中的能力和局限。
2026-04-18 cs.AI cs.CL
QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension
University of Copenhagen（哥本哈根大学）；RIKEN（理化学研究所）；Microsoft Semantic Machines（微软语义机器公司）
近年来，除了对NLP中深度学习模型的大量研究外，还对跟踪建模进度所需的基准数据集进行了大量研究。在这方面，问答和阅读理解特别多产，在过去两年中出现了80多个新的数据集。这项研究是迄今为止该领域最大的调查。我们提供了目前的资源的各种格式和领域的概述，突出了目前的空白，为未来的工作。我们进一步讨论了当前的分类“技能”，问答/阅读理解系统应该获得，并提出了一个新的分类。补充材料调查目前的多语种资源和单语资源的语言以外的英语，我们讨论了过度关注英语的影响。这项研究既针对寻找现有数据财富指针的从业者，也针对研究新资源的研究人员。
2022-09-19 cs.AI cs.CL
