NumNet: Machine Reading Comprehension with Numerical Reasoning
Tencent Inc（腾讯公司）；Tsinghua University（清华大学）
数字推理是人类阅读理解中的一项关键技能，而现有的机器阅读理解（MRC）系统并没有很好地考虑到这一点。为了解决这个问题，我们提出了一个数字MRC模型命名为NumNet，它利用一个数字感知的图神经网络考虑比较信息，并执行数字推理的问题和段落。我们的系统在DROP数据集上获得了64.56%的EM分数，通过考虑数字之间的数值关系，优于所有现有的机器阅读理解模型。
2019-10-15 cs.CL
Deep Manifold Learning for Reading Comprehension and Logical Reasoning Tasks with Polytuplet Loss
York Community High School（约克社区高中）；Brown University（布朗大学）
本文提出polytuplet损失函数及配套模型架构，通过强调相对准确率策略，在ReClor数据集上提升阅读理解与逻辑推理任务的性能，并优于基线模型。
2023-12-22 cs.AI cs.CL cs.LG
Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension
School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）
传统的机器阅读理解（MRC）已经通过模式匹配得到了很好的解决，但常识推理的能力仍然是人类和机器之间的差距。以前的方法通过预训练的知识图谱嵌入（KGE）丰富单词表示来解决这个问题。然而，它们对知识图谱（KG）中节点之间的大量连接的利用有限，这些连接可能是构建常识推理链的关键线索。在本文中，我们提出了一个即插即用的模块来存储连接信息的常识推理（PIECER）。除了用知识嵌入丰富单词表示外，PIECER还构建了一个联合查询-通道图，通过单词之间面向知识的连接来明确地指导常识推理。此外，PIECER具有很高的通用性，因为它可以插入到任何MRC模型的合适位置。实验结果ReCoRD，一个大规模的公共MRC数据集，需要常识推理，PIECER介绍了稳定的性能改善四个代表性的基础MRC模型，特别是在低资源设置。
2021-03-26 cs.AI cs.CL
Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
理解叙述需要阅读字里行间的内容，这反过来又需要解释事件的可能原因和影响，即使它们没有明确提到。在本文中，我们介绍了Cosmos QA，这是一个包含35，600个问题的大规模数据集，这些问题需要基于常识的阅读理解，并以多项选择题的形式表达。与大多数现有的阅读理解数据集形成鲜明对比的是，这些数据集的问题集中在对上下文段落的事实和字面理解上，我们的数据集集中在对人们日常叙述的各种收集的字里行间的阅读，提出诸如“可能的原因是什么...？或者“如果......“这需要推理超出确切的文本跨度在上下文中。为了建立Cosmos QA的基线性能，我们实验了几种用于阅读理解的最先进的神经架构，并提出了一种新的架构，该架构在竞争基线上有所改进。实验结果表明，机器（68.4%）和人类（94%）之间存在显着差距，为未来的常识机器理解研究指明了方向。数据集、代码和排行榜可在https://wilburone.github.io/cosmos上公开获取。
2019-09-06 cs.AI cs.CL
The Argument Reasoning Comprehension Task: Identification and Reconstruction of Implicit Warrants
Technische Universität Darmstadt（达姆施塔特工业大学）；Bauhaus-Universität Weimar（魏玛包豪斯大学）
推理是自然语言论证的重要组成部分。为了理解一个论证，我们必须分析它的根据，这解释了为什么它的主张是从它的前提得出的。由于论证是高度语境化的，因此论据通常是预先假定的，并且是隐含的。因此，理解不仅需要语言理解和逻辑技巧，而且还依赖于常识。在本文中，我们开发了一种方法来重建权证系统。我们在一个可扩展的众包过程中将其操作化，从而产生了一个免费许可的数据集，并从新闻评论中获得了2k个真实论点的保证。在此基础上，我们提出了一个新的具有挑战性的任务，论点推理理解任务。给定一个有一个主张和一个前提的论点，目标是从两个选项中选择正确的隐含保证。这两个理由都是合理的，词汇上也很接近，但却导致了相互矛盾的说法。这项任务的解决方案将为自动重建权证迈出实质性的一步。然而，几个神经注意和语言模型的实验表明，目前的方法是不够的。
2018-02-27 cs.AI cs.CL
ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning
National University of Singapore（新加坡国立大学）
最近的强大的预训练语言模型在大多数流行的阅读理解数据集上取得了显着的性能。现在是时候引入更具挑战性的数据集，推动该领域朝着更全面的文本推理方向发展了。在本文中，我们介绍了一个新的阅读理解数据集，需要逻辑推理（ReClor）从标准化的研究生入学考试中提取。正如早期的研究所表明的那样，人类注释的数据集通常包含偏见，这些偏见通常被模型利用来实现高准确性，而无需真正理解文本。为了综合评价ReClor上模型的逻辑推理能力，我们提出识别有偏差的数据点，并将其分离为EASY集，其余为HARD集。实证结果表明，国家的最先进的模型具有出色的能力，捕捉偏差包含在数据集上的EASY集的高精度。然而，它们在HARD集上的表现与随机猜测的表现相近，这表明需要更多的研究来从根本上提高当前模型的逻辑推理能力。
2020-08-22 cs.AI cs.CL cs.LG
To Test Machine Comprehension, Start by Defining Comprehension
Elemental Cognition（元素认知公司）
许多任务旨在测量机器阅读理解（MRC），通常侧重于被认为是困难的问题类型。然而，任务设计者很少从考虑系统实际上应该理解什么开始。在本文中，我们做了两个关键的贡献。首先，我们认为，现有的方法没有充分定义的理解，他们是太不系统的内容进行测试。其次，我们提出了一个详细的定义理解-“理解的模板”-广泛有用的一类文本，即短叙事。然后，我们进行了一个实验，强烈表明现有的系统不符合我们定义的叙事理解任务。
2020-05-11 cs.AI cs.CL
PRELUDE: A Benchmark Designed to Require Global Comprehension and Reasoning over Long Contexts
WeChat AI, Tencent（腾讯微信AI）
本文提出PRELUDE基准，通过判断前传故事与原书叙事是否一致来评估长上下文全局理解与深度推理能力，实验表明现有LLM、RAG及商业服务均显著落后于人类，且模型推理准确率差距更大。
2025-08-14 cs.AI cs.CL
An Empirical Analysis of Multiple-Turn Reasoning Strategies in Reading Comprehension Tasks
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
阅读理解（RC）是一项具有挑战性的任务，需要跨句子的信息合成和多轮推理。使用最先进的RC模型，我们实证研究了SQuAD和MS MARCO数据集上单轮和多轮推理的性能。RC模型是一个具有迭代注意力的端到端神经网络，并使用强化学习来动态控制圈数。我们发现，多轮推理优于单轮推理的所有问题和答案类型;此外，我们观察到，使一个灵活的回合数一般提高了固定的多轮策略。%，并且对于具有冗长描述性答案的问题特别有益。我们在这两个数据集上取得了与最先进技术相竞争的结果。
2017-11-09 cs.CL
DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs
University of California, Irvine（加州大学尔湾分校）；Peking University（北京大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
阅读理解最近取得了快速进展，系统在最流行的数据集上与人类相匹配。然而，大量的工作突出了这些系统的脆弱性，表明还有许多工作要做。我们介绍了一个新的英语阅读理解基准，DROP，它需要对段落的内容进行离散推理。在这个众包、对抗性创建的96k问题基准测试中，系统必须解析问题中的引用，可能是多个输入位置，并对它们执行离散操作（例如加法、计数或排序）。这些操作需要比以前的数据集更全面地了解段落的内容。我们在这个数据集上应用了阅读理解和语义解析文献中最先进的方法，并表明最好的系统在我们的广义准确性指标上仅达到32.7%的F1，而专家的人类表现为96.0%。我们还提出了一个新的模型，结合阅读理解方法与简单的数字推理，以达到47.0%F1。
2019-04-16 cs.CL
A Survey on Explainability in Machine Reading Comprehension
University of Manchester（曼彻斯特大学）
本文对机器阅读理解（MRC）中的可解释性基准和方法进行了系统的综述。我们提出了如何表示和推理的挑战演变和采取的步骤来解决这些挑战。我们还提出了评估方法来评估可解释系统的性能。此外，我们还确定了持续存在的开放研究问题，并强调了未来工作的关键方向。
2020-10-01 cs.AI cs.CL
EviDR: Evidence-Emphasized Discrete Reasoning for Reasoning Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；JD AI Research（京东人工智能研究院）
推理机器阅读理解（R-MRC）旨在回答需要基于文本进行离散推理的复杂问题。为了支持离散推理，证据，通常是描述问题相关事实的简洁文本片段，包括主题实体和属性值，是从问题到答案的关键线索。然而，以前的端到端的方法，实现最先进的性能很少解决问题，支付足够的重视证据的建模，错过了机会，进一步提高模型的推理能力，为R-MRC。为了缓解上述问题，在本文中，我们提出了一个证据强调离散推理方法（EviDR），其中句子和子句级别的证据是第一次检测的基础上，远程监督，然后用来驱动一个推理模块实现的关系异构图卷积网络，以获得答案。在DROP（discrete reasoning over paragraphs）数据集上进行了大量实验，实验结果表明了该方法的有效性。此外，定性分析验证了所提出的证据强调的离散推理R-MRC的能力。
2021-10-26 cs.CL
Fact-driven Logical Reasoning for Machine Reading Comprehension
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种事实驱动的层次化知识表示方法，通过提取句子主干构成事实单元并构建超图，同时建模句子级和实体级交互，在逻辑推理与对话建模任务上显著提升多种基线模型性能。
2023-05-26 cs.AI cs.CL
Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
多跳阅读理解需要模型从多个句子/文档中探索和连接相关信息，以回答有关上下文的问题。为了实现这一点，我们提出了一个可解释的3-模块系统，称为探索-建议-组装阅读器（EPAr）。首先，文档浏览器迭代地选择相关文档，并以树结构表示发散的推理链，以便允许从所有链吸收信息。答案提议器然后从推理树中的每个根到叶路径提议答案。最后，证据汇编器从每条路径中提取包含建议答案的关键句，并将它们组合起来预测最终答案。直观地说，EPAr近似于人类读者在面对多个长文档时从粗到细的理解行为。我们共同优化我们的3个模块，最大限度地减少损失的总和，从每一个阶段的条件下，前一阶段的输出。在两个多跳阅读理解数据集WikiHop和MedHop上，与最先进的模型相比，我们的EPAr模型在基线和竞争结果上取得了显着的改进。我们还提出了多个推理链恢复测试和消融研究，以证明我们的系统的能力，执行可解释的和准确的推理。
2019-06-12 cs.AI cs.CL
Describe-then-Reason: Improving Multimodal Mathematical Reasoning through Visual Comprehension Training
University of Notre Dame（圣母大学）；Tencent AI Seattle Lab（腾讯AI西雅图实验室）；Nanyang Technological University（南洋理工大学）
针对开源多模态大模型在复杂数学推理中视觉理解不足的问题，提出两步训练流程VCAR，通过先生成视觉描述再辅助生成推理步骤，显著提升了模型在高视觉需求数学问题上的表现。
2024-04-26 cs.CL
Revealing Weaknesses of Vietnamese Language Models Through Unanswerable Questions in Machine Reading Comprehension
Denison University（丹尼森大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学）
虽然多语言的诅咒显著限制了多语言模型在单语环境中的语言能力，但研究人员现在仍然必须依赖多语言模型来开发越南语机器阅读理解的最先进系统。这一研究的困难是由于开发越南语语言模型的高质量作品数量有限。为了鼓励更多的工作在这一研究领域，我们提出了一个全面的分析语言的弱点和优势，目前越南单语模型使用的下游任务机器阅读理解。根据分析结果，我们提出了发展越南语语言模型的新方向。除了这一主要贡献，我们还成功地揭示了存在的文物越南机器阅读理解基准，并建议迫切需要新的高质量的基准来跟踪越南机器阅读理解的进展。此外，我们还介绍了一个小的，但有价值的修改的过程中注释无法回答的问题，机器阅读理解从以前的工作。我们提出的修改有助于提高质量的无法回答的问题，以更高的难度水平的机器阅读理解系统解决。
2023-03-16 cs.AI cs.CL
SNU_IDS at SemEval-2018 Task 12: Sentence Encoder with Contextualized Vectors for Argument Reasoning Comprehension
Seoul National University（首尔大学）
我们为SemEval 2018的论点推理理解任务提出了一种新的神经架构。它是一个简单的神经网络，由三个部分组成，共同判断建立在一组给定句子（主张、理由和保证）上的逻辑是否合理。该模型利用在大型机器翻译（MT）数据集上预训练的上下文化词向量作为迁移学习的一种形式，这可以帮助减轻训练数据的缺乏。定量分析表明，简单地利用在MT数据集上训练的LSTM的性能优于几个基线和非转移模型，在开发集上实现了约70%的准确率，在测试集上实现了约60%的准确率。
2018-05-18 cs.CL
Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network
Zhejiang University（浙江大学）
跨多文档的多跳阅读理解近年来受到广泛关注。在本文中，我们提出了一种新的方法来解决这个多跳阅读理解问题。受人类推理过程的启发，我们从支持文档中构建了一个基于路径的推理图。该图结合了基于图和基于路径的方法的思想，更适合于多跳推理。同时，我们提出了Gated-RGCN的路径为基础的推理图，它包含了一个新的问题感知的门控机制，以调节跨文档传播的信息的有用性，并在推理过程中添加问题信息积累的证据。我们在WikiHop数据集上评估了我们的方法，我们的方法与以前发表的方法相比达到了最先进的准确性。特别是，我们的合奏模型超过人类的表现4.2%。
2020-06-12 cs.CL
SpatialMath: Spatial Comprehension-Infused Symbolic Reasoning for Mathematical Problem-Solving
Indian Institute of Technology Delhi（印度理工学院德里）；Indian Institute of Technology Abu Dhabi（印度理工学院阿布扎克）；Microsoft Research（微软研究院）
SpatialMath通过整合空间表示到结构化符号推理链中，提升多模态模型在视觉密集型数学问题中的推理能力。
2026-01-24 cs.CL cs.CV cs.LG
ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning
University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）；Amazon（亚马逊）；University of Pennsylvania（宾夕法尼亚大学）
理解事件在语义上是如何相互关联的是阅读理解的本质。最近的事件为中心的阅读理解数据集主要集中在事件参数或时间关系。虽然这些任务部分评估了机器的叙事理解能力，但类似人类的阅读理解需要处理基于事件的信息的能力，而不仅仅是论点和时间推理。例如，要理解事件之间的因果关系，我们需要推断动机或目的;要建立事件层次结构，我们需要理解事件的构成。为了促进这些任务，我们介绍了ESTER，一个全面的机器阅读理解（MRC）数据集的事件语义关系推理。该数据集利用自然语言查询来推理五种最常见的事件语义关系，提供超过6 K个问题并捕获10.1K个事件关系对。实验结果表明，目前的SOTA系统在基于标记的精确匹配，F1和基于事件的HIT@1得分方面分别达到了22.1%，63.3%和83.5%，这都明显低于人类的表现（分别为36.0%，79.6%，100%），突出了我们的数据集作为一个具有挑战性的基准。
2021-09-10 cs.CL
Quoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
机器理解长于单个句子的文本通常需要共指消解。然而，目前大多数阅读理解基准不包含复杂的共指现象，因此无法评估模型解决共指的能力。我们提出了一个新的众包数据集，其中包含超过24 K的跨度选择问题，这些问题需要解决维基百科中超过4.7K英文段落中实体之间的共指。要想获得关注这些现象的问题是很有挑战性的，因为很难避免词汇线索，这些线索可以简化复杂的推理。我们通过使用强大的基线模型作为众包循环中的对手来处理这个问题，这有助于众包工作者避免使用可利用的表面线索编写问题。我们发现，在这个基准测试中，最先进的阅读理解模型的表现明显不如人类--最好的模型表现为70.5 F1，而人类的估计表现为93.4 F1。
2019-09-05 cs.CL
MenatQA: A New Dataset for Testing the Temporal Comprehension and Reasoning Abilities of Large Language Models
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；Fuzhou University（福州大学）；Beijing Institute of Technology（北京理工大学）
针对大语言模型时间敏感性研究不足的问题，本文构建了含三类时间因素、2853个样本的MenatQA数据集，测试发现主流LLM时间推理表现弱于小型专用模型，并初步探索了提示工程与外部工具的改进方向。
2023-10-08 cs.AI cs.CL
CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about Negation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Semantic Machines（微软语义机器公司）；University of Utah（犹他大学）
如果没有否定，人类语言交流的全部力量就无法实现。所有人类语言都有某种形式的否定。尽管如此，否定仍然是当前自然语言理解系统的一个具有挑战性的现象。为了促进未来发展的模型，可以有效地处理否定，我们提出了CONDAQA，第一个英语阅读理解数据集，需要推理的否定语句的段落中的含义。我们收集具有不同否定线索的段落，然后让众工作者就段落中被否定陈述的含义提出问题。我们还让工作人员对文章进行了三种编辑--解释被否定的陈述，改变否定的范围，以及反转否定--导致了模型很难用虚假的快捷方式回答的问题-答案对集群。CONDAQA具有14，182个问题-答案对，超过200个独特的否定线索，对当前最先进的模型具有挑战性。在CONDAQA（UnifiedQA-v2-3b）上表现最好的模型在我们的一致性指标上仅达到42%，远低于人类的81%。我们发布了我们的数据集，以及完全微调，Few-Shot和zero-shot评估，以促进未来NLP方法的开发，这些方法适用于否定语言。
2022-11-01 cs.AI cs.CL
Coreference Reasoning in Machine Reading Comprehension
UPenn（宾夕法尼亚大学）
共指消解对于自然语言理解是必不可少的，并且在自然语言处理中已经研究了很长时间。近年来，随着问答（QA）的格式成为机器阅读理解（MRC）的标准，已经有了数据汇集的努力，例如，Dasigi等人（2019），试图评估MRC模型推理共指的能力。然而，正如我们所展示的，MRC中的共指推理是一个比以前认为的更大的挑战; MRC数据集不反映自然分布，因此，共指推理的挑战。具体来说，在这些数据集上的成功并不反映模型在共指推理方面的熟练程度。我们提出了一种方法来创建MRC数据集，更好地反映了共指推理的挑战，并使用它来创建一个样本评估集。我们数据集的结果表明，最先进的模型仍然在与这些现象作斗争。此外，我们开发了一种有效的方法来使用自然发生的共指现象，从现有的共指消解数据集时，训练MRC模型。这使我们能够展示最先进模型的共指推理能力的改进。代码和生成的数据集可在https://github.com/UKPLab/coref-reasoning-in-qa上获得。
2021-06-09 cs.CL
Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension
The Asahi Shimbun Company（朝日新闻公司）；National Institute of Informatics（国立信息学研究所）
本文构建了一个包含3,003个子问题的数据集，用于评估语言模型对逻辑阅读理解中批判性推理理由的理解，实验发现现有大模型即使能答对主问题，也难以解释为何排除错误选项，从而揭示了其在批判性推理上的不足。
2023-11-30 cs.CL
Exploiting Explicit Paths for Multi-hop Reading Comprehension
National University of Singapore（新加坡国立大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了一种新的，基于路径的推理方法的多跳阅读理解任务，系统需要结合多个段落的事实来回答一个问题。虽然灵感来自多跳推理知识图谱，我们提出的方法直接在非结构化文本。它通过段落生成潜在的路径，并在没有任何直接路径监督的情况下对其进行评分。PathNet模型通过实体对表示从文本中提取隐含关系，并将其组合编码为每一条路径;为了捕获额外的上下文，PathNet还将沿着每条路径的段落表示组合以计算基于上下文的表示。与以前的方法不同，我们的模型能够通过这些明确的通道来解释其推理。我们证明了我们的方法在多跳Wikihop数据集上的性能优于先前的模型，并且也可以推广到OpenBookQA数据集，匹配最先进的性能。
2019-07-08 cs.AI cs.CL
Cross Lingual Transfer in Tulu Legal Comprehension: Script-Dependent Improvement and RAG-Induced Knowledge Conflict
Stanford Legal Design Lab（斯坦福法律设计实验室）
本文针对低资源语言图卢语的法律理解任务，测试了Llama3等三种模型的跨语言迁移效果，发现其性能依赖文字脚本，RAG框架会引发知识冲突，相关评估技术可推广至低资源多语言RAG场景。
2026-09-01 cs.AI cs.CL
A Multi-Type Multi-Span Network for Reading Comprehension that Requires Discrete Reasoning
National University of Defense Technology（国防科技大学）
在阅读理解和问答领域取得了快速进展，其中几个系统在一些简化的设置中实现了人类平等。然而，当这些模型应用于更现实的场景时，例如答案涉及各种类型，多个文本串是正确答案，或者需要离散推理能力时，这些模型的性能显著下降。在本文中，我们介绍了多类型多跨度网络（MTMSN），这是一种神经阅读理解模型，它结合了一个多类型答案预测器，旨在支持各种答案类型（例如，跨度、计数、求反和算术表达式），其中多跨度提取方法用于动态地产生一个或多个文本跨度。此外，提出了一种算术表达式重排序机制来对候选表达式进行排序，以进一步确认预测。实验表明，我们的模型在DROP隐藏测试集上达到了79.9 F1，创造了新的最先进的结果。发布源代码\footnote{\url{https://github.com/huminghao16/MTMSN}}，以方便将来的工作。
2019-08-30 cs.CL
Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs
JD AI Research（京东人工智能研究院）
跨文档的多跳阅读理解（RC）对单文档RC提出了新的挑战，因为它需要对多个文档进行推理才能获得最终答案。在本文中，我们提出了一个新的模型来解决多跳RC问题。本文提出了一种具有不同类型结点和边的异构图，称为异构文档实体图。HDE图的优点在于它包含不同粒度级别的信息，包括特定文档上下文中的候选人、文档和实体。我们提出的模型可以做推理的HDE图与节点表示初始化的共同注意力和自注意力的上下文编码器。我们采用基于图神经网络（GNN）的消息传递算法来积累建议的HDE图的证据。在Qangaroo WikiHop数据集的盲测试集上进行评估，我们的基于HDE图的单一模型提供了有竞争力的结果，集成模型达到了最先进的性能。
2019-06-04 cs.CL
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research（讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性，本文提出了一个新的中文阅读理解数据集，以促进社区的相关研究。该数据集包含两种不同的类型：完形填空式阅读理解和用户查询式阅读理解，与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起，我们还举办了第一届中文机器阅读理解评估（CMRC-2017），并成功吸引了数十名参与者，这表明了此数据集的潜在影响。
2018-03-15 cs.CL
Machine Comprehension Based on Learning to Rank
Carnegie Mellon University（卡内基梅隆大学）
机器理解在NLP中起着至关重要的作用，并且已经被广泛地应用于像MCTest这样的数据集。然而，这个数据集太简单，太小，无法学习真正的推理能力。因此，\cite{hermann2015teaching}发布了一个大规模的新闻文章数据集，并提出了一个用于机器理解的深度LSTM阅读器系统。然而，培训过程是昂贵的。因此，我们尝试在新数据集上使用语义的特征工程方法，看看传统的机器学习技术和语义如何帮助机器理解。同时，我们提出的L2R阅读器系统取得了良好的性能与效率和较少的训练数据。
2016-05-13 cs.CL
Sogou Machine Reading Comprehension Toolkit
Sogou, Inc.（搜狗公司）
近年来，机器阅读理解得到了广泛的研究，基于神经网络的模型表现出了优越的性能。在本文中，我们提出了一个搜狗机器阅读理解（SMRC）工具包，可用于提供现代机器理解模型的快速，高效的开发，包括已发布的模型和原始原型。为了实现这一目标，该工具包提供了数据集读取器、灵活的预处理管道、必要的神经网络组件和内置模型，使数据准备、模型构建和训练的整个过程变得更加简单。
2019-04-01 cs.CL
Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了一个混合的任务感知专家网络的机器阅读理解在一个相对较小的数据集。我们特别关注常识学习的问题，通过专门训练不同的专家网络来捕获每个段落，问题和选择三元组之间的不同关系，从而加强共同基础知识。此外，我们通过训练每个网络一个相关的重点任务，对多任务和迁移学习的最新进展进行了总结。通过强制执行任务和关系，使混合网络意识到特定目标，我们实现了最先进的结果并减少了过度拟合。
2022-10-04 cs.AI cs.CL
Read Before You Think: Mitigating LLM Comprehension Failures with Step-by-Step Reading
本文针对大语言模型因问题理解缺陷导致的推理失败，提出逐步阅读提示家族SSR++，通过细粒度解析、注意力聚焦和迭代重语境化解决后向依赖，在多个推理基准上取得最优结果。
2025-09-18 cs.AI cs.CL
DRCD: a Chinese Machine Reading Comprehension Dataset
Delta Research Center（台达研究中心）；Delta Electronics, Inc.（台达电子工业股份有限公司）
本文介绍了一个开放领域的传统中文机器阅读理解数据集DRCD（Delta Reading Comprehension Dataset）。该数据集旨在成为一个标准的中文机器阅读理解数据集，可以作为迁移学习的源数据集。该数据集包含来自2，108篇维基百科文章的10，014个段落和注释者生成的30，000多个问题。我们建立了一个基线模型，其F1得分为89.59%。人因绩效F1评分为93.30%。
2019-05-29 cs.CL
Bridging Information-Seeking Human Gaze and Machine Reading Comprehension
MIT BCS（麻省理工学院脑与认知科学系）
在这项工作中，我们分析如何在阅读理解过程中的人的目光是有条件的给定的阅读理解问题，以及这个信号是否可以有益于机器阅读理解。为此，我们收集了一个新的眼动跟踪数据集，其中有大量参与者参与多项选择阅读理解任务。我们对这些数据的分析显示，与回答问题最相关的文本部分的固定时间增加。基于这一发现，我们建议通过模仿人类在阅读理解过程中寻求信息的阅读行为，使自动阅读理解更像人类。我们证明，这种方法导致性能增益的多项选择问答在英语的国家的最先进的阅读理解模型。
2020-10-15 cs.CL
Towards Machine Comprehension of Spoken Content: Initial TOEFL Listening Comprehension Test by Machine
National Taiwan University（国立台湾大学）
多媒体或语音内容比纯文本内容提供更有吸引力的信息，但更难以显示在屏幕上并被用户选择。因此，对于人类来说，访问前者的大量集合比后者更困难和耗时。开发一种能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这项工作中，我们提出了一个新的任务，机器理解的口语内容。我们将最初的目标定义为托福听力理解测试，这是一种针对母语不是英语的英语学习者的具有挑战性的学术英语考试。我们进一步提出了一个基于注意力的多跳递归神经网络（AMRNN）架构，在初始测试中取得了令人鼓舞的结果。初步结果也表明，单词水平的注意力可能是更强大的比这个任务与ASR错误的注意力。
2016-08-23 cs.CL
UQuAD1.0: Development of an Urdu Question Answering Training Data for Machine Reading Comprehension
近年来，低资源的机器阅读理解（MRC）取得了显著的进展，模型在各种语言数据集上都取得了显著的性能。然而，这些模型都没有为乌尔都语定制。这项工作探索了半自动创建乌尔都语问答数据集（UQuAD 1.0），将机器翻译的SQuAD与来自维基百科文章的人工生成样本和来自剑桥O级书籍的乌尔都语RC样本相结合。UQuAD 1.0是一个大规模的乌尔都语数据集，用于提取机器阅读理解任务，由49 k个问题答案对组成，包括问题，段落和答案格式。在UQuAD 1.0中，通过原始SQuAD 1.0的机器翻译生成了45000对QA，通过众包生成了大约4000对QA。在这项研究中，我们使用了两种类型的MRC模型：基于规则的基线和基于高级转换器的模型。然而，我们发现后者的性能优于其他架构;因此，我们决定只关注基于transformer的架构。使用XLMRoBERTa和多语言BERT，我们获得的F1得分分别为0.66和0.63。
2021-11-02 cs.AI cs.CL
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
California Institute of Technology（加州理工学院）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
会话机器理解需要理解会话历史，例如以前的问题/答案对，文档上下文和当前问题。为了使传统的，单轮模型编码的历史全面，我们引入流，一种机制，可以通过交替的并行处理结构，在回答以前的问题的过程中产生的中间表示。与连接先前的问题/答案作为输入的方法相比，Flow更深入地集成了会话历史的潜在语义。我们的模型FlowQA在最近提出的两个对话挑战上表现出了卓越的性能（CoQA上的F1为+7.2%，QuAC上为+4.0%）。Flow的有效性也体现在其他任务中。通过将顺序指令理解简化为对话式机器理解，FlowQA在SCONE的所有三个领域都优于最佳模型，准确率提高了+1.8%至+4.4%。
2019-04-16 cs.AI cs.CL
NewsQA: A Machine Comprehension Dataset
Maluuba Research（Maluuba研究院）
我们介绍了NewsQA，这是一个具有挑战性的机器理解数据集，包含超过100，000个人类生成的问答对。Crowdworker根据CNN的1万多篇新闻文章提供问题和答案，答案由相应文章的文本组成。我们通过一个四阶段的过程来收集这个数据集，该过程旨在征求需要推理的探索性问题。一个彻底的分析证实，NewsQA需要的能力不仅仅是简单的词匹配和识别文本蕴涵。我们在数据集上测量人类的表现，并将其与几个强大的神经模型进行比较。人类和机器之间的性能差距（F1为0.198）表明，通过未来的研究，NewsQA可以取得重大进展。该数据集可在https://datasets.maluuba.com/NewsQA上免费获得。
2017-02-07 cs.AI cs.CL
ReCoRD: Bridging the Gap between Human and Machine Commonsense Reading Comprehension
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
我们提出了一个大规模的数据集，ReCoRD，机器阅读理解需要常识推理。在这个数据集上的实验表明，最先进的MRC系统的性能远远落后于人类的性能。ReCoRD代表了未来研究的一个挑战，即弥合人类和机器常识阅读理解之间的差距。ReCoRD可在http://nlp.jhu.edu/record上获得。
2018-10-30 cs.CL
Machine Comprehension Using Match-LSTM and Answer Pointer
Singapore Management University（新加坡管理大学）
文本的机器理解是自然语言处理中的一个重要问题。最近发布的一个数据集，斯坦福问答数据集（SQuAD），提供了大量的真实问题和他们的答案，由人类通过众包创建。SQuAD为评估机器理解算法提供了一个具有挑战性的测试平台，部分原因是与以前的数据集相比，SQuAD中的答案不是来自一小部分候选答案，并且它们具有可变的长度。我们提出了一个端到端的神经架构的任务。该架构基于match-LSTM（我们之前提出的文本蕴涵模型）和指针网（Vinyals等人提出的序列到序列模型）。（2015）以将输出令牌约束为来自输入序列。我们提出了两种使用指针网的方法。我们的实验表明，我们的两个模型大大优于Rajpurkar等人获得的最佳结果。（2016）使用逻辑回归和手工制作的功能。
2016-11-07 cs.AI cs.CL
Large Language Models on the Chessboard: A Study on ChatGPT's Formal Language Comprehension and Complex Reasoning Skills
Chingshin Academy（静心学园）；Academia Sinica（中央研究院）；National Central University（国立中央大学）
本研究以国际象棋为案例，评估ChatGPT在形式语言理解与复杂推理任务中的表现，发现其注意力机制局限和自调节不足，但策略连贯且信息充分时决策更果断。
2023-08-29 cs.CL
KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解（MRC）是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70，000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战，以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
Machine Reading Comprehension: a Literature Review
Peking University（北京大学）
机器阅读理解旨在教机器像人一样理解文本，是人工智能的一个新的具有挑战性的方向。本文综述了MRC的最新进展，主要集中在两个方面（即，语料库和技术）。列举并比较了各种MRC语料库的具体特点。介绍了几种典型MRC技术的主要思想。
2019-06-30 cs.CL
Discrete Reasoning Templates for Natural Language Understanding
Imperial College London（帝国理工学院）
从文章的多个部分中推理信息以得出答案是对阅读理解模型的一个公开挑战。在本文中，我们提出了一种方法，原因复杂的问题，将其分解为更简单的子问题，可以利用单跨度提取阅读理解模型，并得出最终的答案，根据指令在一个预定义的推理模板。我们专注于基于减法的算术问题，并评估我们的方法的DROP数据集的一个子集。我们表明，我们的方法是有竞争力的国家的最先进的，而被解释，并要求很少的监督
2021-04-05 cs.AI cs.CL
A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies（综合研究大学院大学）；The University of Tokyo（东京大学）
本文综述了机器阅读理解中推理捷径的测量与缓解技术，指出缺乏公开挑战集及部分缓解技术是该领域的两大关键问题。
2023-09-06 cs.CL
Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
本文提出整体图网络（HGN），在话语和词级别建模层次关系，通过节点级和类型级交互机制提升机器阅读理解的逻辑推理能力，并在ReClor、LogiQA等数据集上验证了有效性。
2023-06-21 cs.CL cs.LG
LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Fudan University（复旦大学）
机器阅读是测试自然语言理解能力的基础性工作，它在许多方面与人类认知密切相关。随着深度学习技术的兴起，算法模型在简单的QA上可以与人类的表现相媲美，因此已经提出了越来越具有挑战性的机器阅读数据集。虽然已经整合了证据整合和常识知识等各种挑战，但人类阅读的基本能力之一，即逻辑推理，尚未得到充分研究。我们建立了一个全面的数据集，名为LogiQA，这是来自专家编写的问题，用于测试人类的逻辑推理。它由8，678个QA实例组成，涵盖多种类型的演绎推理。结果表明，最先进的神经模型的表现远远不如人类的天花板。我们的数据集也可以作为在深度学习NLP环境下重新研究逻辑AI的基准。该数据集可在https://github.com/lgw863/LogiQA-dataset上免费获取
2020-07-16 cs.CL
An Understanding-Oriented Robust Machine Reading Comprehension Model
Northeastern University（东北大学）
尽管现有的机器阅读理解模型在许多数据集上取得了快速进展，但它们远不健壮。本文提出了一种面向理解的机器阅读理解模型，以解决过敏感性、过稳定性和泛化性这三种鲁棒性问题。具体来说，我们首先使用一个自然语言推理模块来帮助模型理解输入问题的准确语义，以解决过度敏感和过度稳定的问题。在机器阅读理解模块中，我们提出了一种记忆引导的多头注意力方法，可以更好地理解输入问题和文章的语义。第三，我们提出了一种多语言学习机制来解决泛化问题。最后，将这些模块与基于多任务学习的方法相结合。我们在三个基准数据集上评估我们的模型，这些数据集旨在衡量模型的鲁棒性，包括DuReader（鲁棒）和两个SQuAD相关数据集。大量的实验表明，我们的模型可以很好地解决上述三种鲁棒性问题。在不同的评估指标下，即使在一些极端和不公平的评估下，它也比所有这些数据集上的最先进的模型取得了更好的结果。我们工作的源代码可以在https://github.com/neukg/RobustMRC上找到。
2022-07-01 cs.AI cs.CL
Making Neural Machine Reading Comprehension Faster
本研究旨在解决机器阅读理解问题，其中问题必须在给定的上下文文章中回答。面临的挑战是开发一个计算速度更快的模型，这将改善推理时间。在许多自然语言理解任务中，BERT模型已经被使用，并且知识蒸馏方法已经被应用于训练两个较小的模型。所开发的模型进行了比较与其他模型已开发具有相同的意图。
2019-03-29 cs.CL
Deep Understanding based Multi-Document Machine Reading Comprehension
Northeastern University（东北大学）
现有的多文档机器阅读理解模型主要侧重于理解输入问题与文档之间的交互，而忽略了以下两种理解。首先，从对方的角度理解输入问题和文档中单词的语义。第二，从文档内和文档间的角度理解正确答案的支持线索。忽略这两种重要的理解会使模型忽略一些可能有助于得出正确答案的重要信息。为了克服这一缺陷，我们提出了一个基于深度理解的多文档机器阅读理解模型。它有三个级联的深度理解模块，旨在理解单词的准确语义，输入问题和文档之间的交互以及正确答案的支持线索。我们在两个大规模的基准数据集上评估了我们的模型，即TriviaQA Web和DuReader。大量的实验表明，我们的模型在两个数据集上都取得了最先进的结果。
2022-02-25 cs.AI cs.CL
MRCEval: A Comprehensive, Challenging and Accessible Machine Reading Comprehension Benchmark
Tsinghua University（清华大学）
针对现有MRC数据集缺乏全面评估的问题，本文提出新分类法并构建覆盖13种技能、含2.1K多选题的MRCEval基准，利用LLMs生成和筛选样本，对28个模型评估表明MRC在LLMs时代仍具挑战性。
2025-03-10 cs.AI cs.CL
A Span-Extraction Dataset for Chinese Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。本文介绍了一个用于中文机器阅读理解的跨度抽取数据集，以增加这方面的语言训练。该数据集由人类专家在维基百科段落上注释的近20，000个真实问题组成。我们还注释了一个挑战集，其中包含需要在整个上下文中进行全面理解和多句推理的问题。我们提出了几个基线系统，以及匿名提交证明在这个数据集的困难。随着数据集的发布，我们主办了第二届中国机器阅读理解评估研讨会（CMRC 2018）。我们希望该数据集的发布能够进一步加速中文机器阅读理解的研究。相关资源：https://github.com/ymcui/cmrc2018
2019-08-29 cs.CL
