STARC: Structured Annotations for Reading Comprehension
MIT（麻省理工学院）
我们提出了STARC（阅读理解结构化注释），一个新的注释框架，用于评估阅读理解与多项选择题。我们的框架引入了一个原则性的结构，答案的选择，并将它们绑定到文本跨度注释。该框架在OneStopQA中实现，OneStopQA是一种用于英语阅读理解评估和分析的新的高质量数据集。我们使用这个数据集来证明STARC可以用于开发SAT类阅读理解材料的关键新应用：通过跨度消融实验进行自动注释质量探测。我们进一步表明，它可以深入分析和比较机器和人类的阅读理解行为，包括错误分布和猜测能力。我们的实验还表明，NLP中的标准多项选择数据集RACE在测量阅读理解能力方面是有限的。47%的问题可以被机器猜到，而不需要访问文章，18%的问题被人类一致认为没有唯一的正确答案。OneStopQA为阅读理解提供了一个替代测试集，它弥补了这些缺点，并具有更高的人类上限性能。
2020-04-30 cs.CL
Do Text Simplification Systems Preserve Meaning? A Human Evaluation via Reading Comprehension
Instituto de Telecomunicações（电信研究院）；University of Maryland（马里兰大学）
本文提出基于阅读理解问题的人工评估框架，考察文本简化系统是否保留原文意义，并评估九个自动系统及现有指标、问答系统与人类判断的一致性。
2024-02-28 cs.CL
Spoken SQuAD: A Study of Mitigating the Impact of Speech Recognition Errors on Listening Comprehension
National Taiwan University（台湾大学）
阅读理解已经得到了广泛的研究。斯坦福问答数据集（SQuAD）是最具代表性的阅读理解任务之一，机器在其上已经可以与人类相媲美。另一方面，对于人类来说，访问大量的多媒体或语音内容比纯文本内容更困难和耗时。因此，开发能够自动理解口语内容的机器是非常有吸引力的。在本文中，我们提出了一个新的听力理解任务-口语SQuAD。在新的任务中，我们发现语音识别错误对机器理解有灾难性的影响，并提出了几种方法来减轻这种影响。
2018-04-01 cs.CL
Interpreting Attention Models with Human Visual Attention in Machine Reading Comprehension
University of Stuttgart（斯图加特大学）；University of Konstanz（康斯坦茨大学）
虽然具有注意力机制的神经网络在许多自然语言处理任务上取得了优异的性能，但学习注意力在多大程度上类似于人类视觉注意力仍不清楚。在本文中，我们提出了一种新的方法，利用眼动数据来研究人类视觉注意和神经注意之间的关系，在机器阅读理解。为此，我们引入了一种新的23名参与者的眼动追踪数据集- MQA-RC，其中参与者阅读电影情节并回答预定义的问题。我们比较了基于长短期记忆（LSTM）、卷积神经模型（CNN）和XLNet Transformer架构的最新网络。我们发现，与人类注意力和表现的更高相似性与LSTM和CNN模型显著相关。然而，我们发现这种关系并不适用于XLNet模型-尽管事实上XLNet在这项具有挑战性的任务中表现最好。我们的研究结果表明，不同的架构似乎学习相当不同的神经注意力策略和相似性的神经到人类的注意力并不能保证最佳性能。
2020-10-27 cs.CL
Fast Prototyping a Dialogue Comprehension System for Nurse-Patient Conversations on Symptom Monitoring
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Changi General Hospital（樟宜综合医院）
用于研究和开发的人与人之间的口语对话数据目前在数量、种类和来源上都非常有限;在医疗保健领域，这种数据甚至更少。在这项工作中，我们调查的对话理解系统的快速原型利用最小的护士到病人的对话。我们提出了一个框架的灵感来自护士发起的临床症状监测对话，构建一个模拟的人与人的对话数据集，体现口语互动的语言特征，如大声思考，自相矛盾，和主题漂移。然后，我们在这个模拟数据集上采用了一个已建立的双向注意指针网络，在现实世界的护士与患者对话的测试集上获得了超过80%的F1分数。通过仅利用有限的数据来自动理解医疗保健领域中的对话的能力对于通过红旗症状检测和分类能力来改善临床工作流程具有意义。我们证明了高效和有效的提取，检索和理解的症状检查多轮人与人的口语对话中讨论的信息的可行性。
2019-04-05 cs.CL
Comparing Attention-based Convolutional and Recurrent Neural Networks: Success and Limitations in Machine Reading Comprehension
我们提出了一个基于两阶段注意力的比较-聚合框架的机器阅读理解模型，在MovieQA问答数据集上取得了最先进的结果。为了研究我们的模型的局限性以及卷积神经网络和递归神经网络之间的行为差异，我们生成了对抗性示例来混淆模型并与人类性能进行比较。此外，我们通过分析模型与人类推理的差异来评估模型的泛化能力，
2018-08-27 cs.CL
Attribution and Alignment: Effects of Local Context Repetition on Utterance Production and Comprehension in Dialogue
University of Aberdeen（阿伯丁大学）；University of Amsterdam（阿姆斯特丹大学）；Institute for Logic, Language and Computation（逻辑、语言与计算研究所）
本研究探讨了局部上下文重复在对话中的作用，评估了语言模型在话语生成中是否产生人类水平的重复，以及在理解时使用的词汇重用机制，为开发受认知启发的对话生成系统提供参考。
2023-11-21 cs.CL
A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models
Tohoku University（东大大学）；National Institute of Informatics（国家信息研究所）；The University of Tokyo（东京大学）
本文提出双任务范式，结合算术计算与句子理解任务，揭示语言模型在资源受限下更倾向于基于合理性推理，支持人类认知资源分配对句子理解的影响。
2026-04-29 cs.CL
Building Large Machine Reading-Comprehension Datasets using Paragraph Vectors
Google Inc.（谷歌公司）
我们提出了一个双重贡献的任务，机器阅读理解：一种技术，用于创建大型机器理解（MC）数据集使用段落向量模型;和一种新的，混合神经网络架构，结合了代表性的能力，递归神经网络的判别力的完全连接的多层网络。我们使用MC数据集生成技术构建了一个约200万个示例的数据集，我们根据经验确定了人类性能的上限（约91%的准确率）以及各种计算机模型的性能。在我们实验过的所有模型中，我们的混合神经网络架构实现了最高的性能（83.2%的准确率）。人类性能上限的剩余差距为未来的模型改进提供了足够的空间。
2016-12-13 cs.CL
Improving Human Text Comprehension through Semi-Markov CRF-based Neural Section Title Generation
Harvard SEAS（哈佛大学工程与应用科学学院）；Adobe Research（奥多比研究院）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
长文档中的短部分标题通过引导读者将注意力集中在相关段落并提供有助于理解文档进展的锚点来支持读者。当对阅读能力较低的读者进行测量时，章节标题的积极影响甚至更加明显，例如在标签文本资源有限的社区中。因此，我们的目标是开发技术，在低资源环境中生成章节标题。特别是，我们提出了一个提取管道的章节标题生成，首先选择最突出的句子，然后应用基于删除的压缩。我们的压缩方法是基于半马尔可夫条件随机场，利用无监督的字表示，如ELMo或BERT，消除了对复杂的编码器-解码器架构的需要。结果表明，这种方法导致竞争力的性能与序列到序列模型与高资源，而强烈优于它与低资源。在一项针对不同阅读能力的受试者的人类受试者研究中，我们发现，我们的章节标题提高了完成理解任务的速度，同时保持了类似的准确性。
2019-04-15 cs.CL
Relation/Entity-Centric Reading Comprehension
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
构建一台能够理解人类语言的机器是人工智能中最难以捉摸和长期存在的挑战之一。本文通过对阅读理解的研究来解决这一挑战，重点是理解实体及其关系。更具体地说，我们专注于旨在衡量阅读理解的问答任务。我们关注实体和关系，因为它们通常用于表示自然语言的语义。
2020-08-27 cs.CL
Unsupervised Explanation Generation for Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
随着各种预训练语言模型（Pre-trained Language Models，PLM）的不断涌现，机器阅读理解（Machine Reading Comprehension，MRC）在各种基准测试中取得了显著的进步，甚至超过了人类的表现。然而，现有的工作只针对最终预测的准确性，而忽略了对预测的解释的重要性，这是一个很大的障碍，利用这些模型在现实生活中的应用，以说服人类。在本文中，我们提出了一个自我解释的框架，机器阅读理解任务。其主要思想是，所提出的系统试图使用更少的通道信息，并实现类似的结果相比，使用整个通道的系统，而过滤的通道将被用作解释。我们在三个多项选择MRC数据集上进行了实验，发现所提出的系统可以在基线系统上实现一致的改进。为了评估可解释性，我们将我们的方法与人类评价中的传统注意力机制进行了比较，发现所提出的系统比后者具有显着的优势。
2020-11-13 cs.CL
TORQUE: A Reading Comprehension Dataset of Temporal Ordering Questions
Allen Institute for AI（艾伦人工智能研究所）；Hooray Data Co., Ltd（好耶数据有限公司）；University of Southern California（南加利福尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）
阅读的一个关键部分是能够理解文本中描述的事件之间的时间关系，即使这些关系没有明确说明。然而，目前的机器阅读理解基准测试几乎没有测试时间现象的问题，因此在这些基准测试上训练的系统没有能力回答诸如“[某个事件]之前/之后发生了什么？“我们介绍了TORQUE，这是一个新的英语阅读理解基准，建立在3.2k新闻片段上，其中包含21 k人类生成的查询时间关系的问题。结果表明，RoBERTa-large在TORQUE测试集上获得了51%的精确匹配分数，比人类性能落后约30%。
2020-10-06 cs.CL
Beat the AI: Investigating Adversarial Human Annotation for Reading Comprehension
University College London（伦敦大学学院）
注释方法的创新是阅读理解（RC）数据集和模型的催化剂。最近挑战当前RC模型的一个趋势是在注释过程中涉及模型：人类对抗性地创建问题，使得模型无法正确回答它们。在这项工作中，我们研究了这种注释方法，并将其应用于三种不同的设置中，共收集了36，000个样本，在注释循环中具有逐渐增强的模型。这使我们能够探索一些问题，例如对抗效应的可重复性，从不同模型在环强度收集的数据的转移，以及在没有模型的情况下收集的数据的泛化。我们发现，在对抗性收集的样本上进行训练会导致对非对抗性收集的数据集的强烈概括，但随着越来越强的模型在环，性能会逐渐恶化。此外，我们发现，更强大的模型仍然可以从使用弱得多的模型在环收集的数据集中学习。当在循环中使用Birobot模型收集的数据进行训练时，RoBERTa在SQuAD上训练时无法回答的问题上达到39.9F1-仅略低于使用RoBERTa本身收集的数据进行训练时的水平（41.0F1）。
2020-09-22 cs.CL
Using Adversarial Attacks to Reveal the Statistical Bias in Machine Reading Comprehension Models
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
预先训练的语言模型在许多机器阅读理解（MRC）任务中已经达到了人类水平的性能，但目前还不清楚这些模型是否真正理解语言或通过利用数据集中的统计偏差来回答问题。在这里，我们展示了一种简单而有效的方法来攻击MRC模型，并揭示这些模型中的统计偏差。我们将该方法应用于RACE数据集，其中每个MRC问题的答案从4个选项中选择。研究发现，包括BERT、ALBERT和RoBERTa在内的几种预训练语言模型对某些选项表现出一致的偏好，即使这些选项与问题无关。当受到这些无关选项的干扰时，MRC模型的性能会从人的水平降低到机会水平。然而，人类读者并不明显受到这些无关选项的影响。最后，我们提出了一种增强的训练方法，可以大大减少模型的统计偏差。
2021-05-25 cs.CL
LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Fudan University（复旦大学）
机器阅读是测试自然语言理解能力的基础性工作，它在许多方面与人类认知密切相关。随着深度学习技术的兴起，算法模型在简单的QA上可以与人类的表现相媲美，因此已经提出了越来越具有挑战性的机器阅读数据集。虽然已经整合了证据整合和常识知识等各种挑战，但人类阅读的基本能力之一，即逻辑推理，尚未得到充分研究。我们建立了一个全面的数据集，名为LogiQA，这是来自专家编写的问题，用于测试人类的逻辑推理。它由8，678个QA实例组成，涵盖多种类型的演绎推理。结果表明，最先进的神经模型的表现远远不如人类的天花板。我们的数据集也可以作为在深度学习NLP环境下重新研究逻辑AI的基准。该数据集可在https://github.com/lgw863/LogiQA-dataset上免费获取
2020-07-16 cs.CL
CJRC: A Reliable Human-Annotated Benchmark DataSet for Chinese Judicial Reading Comprehension
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；China Justice Big Data Institute（中国司法大数据研究院）；Tsinghua University（清华大学）
我们提出了一个中国司法阅读理解（CJRC）数据集，其中包含约10K的文件和近50K的问题与答案。这些文件来自裁判文书，问题由法律专家注释。CJRC数据集可以帮助研究人员通过阅读理解技术提取元素。要素提取是法律领域的一项重要工作。然而，由于文档类型和作用原因的多样性，很难完全描述元素类型。相比之下，机器阅读理解技术可以通过回答长文档中的各种问题来快速提取元素。我们建立了两个强基线模型的基础上BERT和Bioburden。实验结果表明，与人类注释器相比，有足够的改进空间。
2019-12-19 cs.CL cs.LG
Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network
Zhejiang University（浙江大学）
跨多文档的多跳阅读理解近年来受到广泛关注。在本文中，我们提出了一种新的方法来解决这个多跳阅读理解问题。受人类推理过程的启发，我们从支持文档中构建了一个基于路径的推理图。该图结合了基于图和基于路径的方法的思想，更适合于多跳推理。同时，我们提出了Gated-RGCN的路径为基础的推理图，它包含了一个新的问题感知的门控机制，以调节跨文档传播的信息的有用性，并在推理过程中添加问题信息积累的证据。我们在WikiHop数据集上评估了我们的方法，我们的方法与以前发表的方法相比达到了最先进的准确性。特别是，我们的合奏模型超过人类的表现4.2%。
2020-06-12 cs.CL
Single-Turn Debate Does Not Help Humans Answer Hard Reading-Comprehension Questions
New York University（纽约大学）；Stony Brook University（石溪大学）
目前的QA系统可以生成听起来合理但错误的答案，而无需对生成的答案进行解释或提供证据，当人类无法轻松检查模型的答案时，这尤其有问题。这对在机器学习系统中建立信任提出了挑战。我们从现实世界的情况中汲取灵感，在现实世界中，困难的问题是通过考虑对立的方面来回答的（见Irving等人，2018年）。对于多项选择的QA示例，我们在辩论式设置中为正确和不正确的答案选项构建了一个单一参数的数据集，作为训练模型的初始步骤，为两个候选答案提供解释。我们使用长的上下文--熟悉上下文的人为预先选择的正确和不正确的答案写下令人信服的解释，我们测试这些解释是否允许没有阅读完整上下文的人更准确地确定正确答案。我们没有发现我们设置中的解释可以提高人类的准确性，但基线条件表明，提供人类选择的文本片段确实可以提高准确性。我们使用这些发现来建议如何改进为未来数据汇集工作而设置的辩论。
2022-04-13 cs.CL
Machine Reading Comprehension: a Literature Review
Peking University（北京大学）
机器阅读理解旨在教机器像人一样理解文本，是人工智能的一个新的具有挑战性的方向。本文综述了MRC的最新进展，主要集中在两个方面（即，语料库和技术）。列举并比较了各种MRC语料库的具体特点。介绍了几种典型MRC技术的主要思想。
2019-06-30 cs.CL
DRCD: a Chinese Machine Reading Comprehension Dataset
Delta Research Center（台达研究中心）；Delta Electronics, Inc.（台达电子工业股份有限公司）
本文介绍了一个开放领域的传统中文机器阅读理解数据集DRCD（Delta Reading Comprehension Dataset）。该数据集旨在成为一个标准的中文机器阅读理解数据集，可以作为迁移学习的源数据集。该数据集包含来自2，108篇维基百科文章的10，014个段落和注释者生成的30，000多个问题。我们建立了一个基线模型，其F1得分为89.59%。人因绩效F1评分为93.30%。
2019-05-29 cs.CL
Deep Learning Models to Study Sentence Comprehension in the Human Brain
University of Oxford（牛津大学）；Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；Radboud University（拉德堡德大学）
最近处理自然语言的人工神经网络在需要高级理解的任务中实现了前所未有的性能。因此，它们可能是人类大脑中语言信息整合的有趣模型。我们回顾这些人工语言模型与人脑活动的比较工作，我们评估这种方法在多大程度上提高了我们对自然语言理解中所涉及的神经过程的理解。出现了两个主要结果。首先，词义的神经表示与人工神经网络使用的上下文相关的密集词向量一致。其次，人工神经网络中出现的处理层次与大脑大致匹配，但令人惊讶的是，不同研究之间并不一致。我们讨论了当前建立人工神经网络作为自然语言理解过程模型的挑战。我们建议在将表征映射到大脑数据时，利用人工神经网络的高度结构化的表征几何。
2023-02-16 cs.CL q-bio.NC
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research（讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性，本文提出了一个新的中文阅读理解数据集，以促进社区的相关研究。该数据集包含两种不同的类型：完形填空式阅读理解和用户查询式阅读理解，与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起，我们还举办了第一届中文机器阅读理解评估（CMRC-2017），并成功吸引了数十名参与者，这表明了此数据集的潜在影响。
2018-03-15 cs.CL
DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs
University of California, Irvine（加州大学尔湾分校）；Peking University（北京大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
阅读理解最近取得了快速进展，系统在最流行的数据集上与人类相匹配。然而，大量的工作突出了这些系统的脆弱性，表明还有许多工作要做。我们介绍了一个新的英语阅读理解基准，DROP，它需要对段落的内容进行离散推理。在这个众包、对抗性创建的96k问题基准测试中，系统必须解析问题中的引用，可能是多个输入位置，并对它们执行离散操作（例如加法、计数或排序）。这些操作需要比以前的数据集更全面地了解段落的内容。我们在这个数据集上应用了阅读理解和语义解析文献中最先进的方法，并表明最好的系统在我们的广义准确性指标上仅达到32.7%的F1，而专家的人类表现为96.0%。我们还提出了一个新的模型，结合阅读理解方法与简单的数字推理，以达到47.0%F1。
2019-04-16 cs.CL
Quoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
机器理解长于单个句子的文本通常需要共指消解。然而，目前大多数阅读理解基准不包含复杂的共指现象，因此无法评估模型解决共指的能力。我们提出了一个新的众包数据集，其中包含超过24 K的跨度选择问题，这些问题需要解决维基百科中超过4.7K英文段落中实体之间的共指。要想获得关注这些现象的问题是很有挑战性的，因为很难避免词汇线索，这些线索可以简化复杂的推理。我们通过使用强大的基线模型作为众包循环中的对手来处理这个问题，这有助于众包工作者避免使用可利用的表面线索编写问题。我们发现，在这个基准测试中，最先进的阅读理解模型的表现明显不如人类--最好的模型表现为70.5 F1，而人类的估计表现为93.4 F1。
2019-09-05 cs.CL
ReCO: A Large Scale Chinese Reading Comprehension Dataset on Opinion
Sogou Inc.（搜狗公司）
本文介绍了ReCO，一个人工策划的中文阅读理解数据集上的意见。ReCO中的问题是向商业搜索引擎发出的基于意见的查询。这些段落由众包工作者提供，他们从检索到的文档中提取支持片段。最后，众包工作者给出了一个抽象的是/否/不确定的答案。ReCO的发布包括30万个问题，据我们所知，这是中文阅读理解中最大的问题。ReCO的一个突出特点是，除了原始的上下文段落外，我们还提供了可以直接用于回答问题的支持证据。质量分析表明，ReCO的挑战需要各种类型的推理技能，如因果推理，逻辑推理等。目前的QA模型在许多问答问题上表现得非常好，如BERT，在这个数据集上只能达到77%的准确率，远远落后于人类近92%的性能，这表明ReCO对机器阅读理解提出了很好的挑战。代码和数据集可在https://github.com/benywon/ReCO上免费获得。
2020-06-22 cs.CL
When the LM misunderstood the human chuckled: Analyzing garden path effects in humans and language models
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；Department of Linguistics, Tel Aviv University（特拉维夫大学语言学系）；Sagol School of Neuroscience, Tel Aviv University（特拉维夫大学萨戈尔神经科学学院）
本文通过花园路径句理解任务比较人类与大型语言模型（LLMs）的语言处理，验证心理语言学假设，发现两者均受特定句法复杂性影响，部分模型与人类理解高度相关，并通过释义和图像生成任务进一步验证结果。
2025-02-13 cs.AI cs.CL
KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解（MRC）是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70，000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战，以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
New Vietnamese Corpus for Machine Reading Comprehension of Health News Articles
University of Information Technology, VNU-HCM（胡志明市国家大学信息技术大学）
大规模和高质量的语料库是必要的评估机器阅读理解模型的低资源的语言，如越南语。此外，健康领域的机器阅读理解（MRC）具有很大的实际应用潜力，但在这一领域的MRC研究仍然很少。本文介绍了ViNewsQA作为一个新的语料库的越南语，以评估医疗阅读理解模型。该语料库包含22，057个人类生成的问答对。人群工作者根据超过4，416篇在线越南医疗保健新闻文章的集合创建问题及其答案，其中答案包括从相应文章中提取的跨度。特别是，我们开发了一个过程中创建一个语料库的越南语机器阅读理解。综合评估表明，我们的语料库需要超越简单推理的能力，如词匹配和要求基于单句或多句信息的困难推理。我们使用不同类型的机器阅读理解方法进行实验，以达到第一个基线性能，并与进一步模型的性能进行比较。我们还在语料库上测量了人类的表现，并将其与几个强大的基于神经网络和基于迁移学习的模型进行了比较。我们的实验表明，最好的机器模型是ALBERT，它达到了65.26%的准确匹配分数和84.89%的F1分数在我们的语料库。在我们语料库的测试集上，人类和最佳性能模型之间的显着差异（EM的14.53%和F1分数的10.90%）表明ViNewsQA的改进可以在未来的研究中探索。我们的语料库在我们的网站上公开提供，以鼓励研究社区进行这些改进。
2021-02-11 cs.CL
Option Comparison Network for Multiple-choice Reading Comprehension
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI部模式识别中心）；Tencent Inc（腾讯公司）；WeChat AI（微信AI）；Pattern Recognition Center（模式识别中心）；China（中国）
多项选择阅读理解（MCRC）是从给定的问题和文章的多个选项中选择正确答案的任务。现有的MCRC模型通常要么独立读取每个选项，要么在比较它们之前为每个选项计算固定长度的表示。然而，人类通常在详细阅读文章之前在多粒度级别上比较选项，以使推理更有效。模仿人类，我们提出了一个选项比较网络（OCN）的MCRC比较选项在词级，以更好地确定它们的相关性，以帮助推理。特别地，每个选项都被编码成一个向量序列，使用一个skimmer，以保留尽可能细粒度的信息。利用注意力机制逐向量地比较这些序列，以识别选项之间更微妙的相关性，这对于推理可能是有价值的。在人类英语考试MCRC数据集RACE上的实验结果表明，我们的模型明显优于现有的方法。此外，它也是第一个在整个数据集上超越Amazon Mechanical Turker性能的模型。
2019-03-07 cs.CL
NumNet: Machine Reading Comprehension with Numerical Reasoning
Tencent Inc（腾讯公司）；Tsinghua University（清华大学）
数字推理是人类阅读理解中的一项关键技能，而现有的机器阅读理解（MRC）系统并没有很好地考虑到这一点。为了解决这个问题，我们提出了一个数字MRC模型命名为NumNet，它利用一个数字感知的图神经网络考虑比较信息，并执行数字推理的问题和段落。我们的系统在DROP数据集上获得了64.56%的EM分数，通过考虑数字之间的数值关系，优于所有现有的机器阅读理解模型。
2019-10-15 cs.CL
ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning
University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）；Amazon（亚马逊）；University of Pennsylvania（宾夕法尼亚大学）
理解事件在语义上是如何相互关联的是阅读理解的本质。最近的事件为中心的阅读理解数据集主要集中在事件参数或时间关系。虽然这些任务部分评估了机器的叙事理解能力，但类似人类的阅读理解需要处理基于事件的信息的能力，而不仅仅是论点和时间推理。例如，要理解事件之间的因果关系，我们需要推断动机或目的;要建立事件层次结构，我们需要理解事件的构成。为了促进这些任务，我们介绍了ESTER，一个全面的机器阅读理解（MRC）数据集的事件语义关系推理。该数据集利用自然语言查询来推理五种最常见的事件语义关系，提供超过6 K个问题并捕获10.1K个事件关系对。实验结果表明，目前的SOTA系统在基于标记的精确匹配，F1和基于事件的HIT@1得分方面分别达到了22.1%，63.3%和83.5%，这都明显低于人类的表现（分别为36.0%，79.6%，100%），突出了我们的数据集作为一个具有挑战性的基准。
2021-09-10 cs.CL
PALRACE: Reading Comprehension Dataset with Human Data and Labeled Rationales
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
预先训练的语言模型在机器阅读理解（MRC）任务上取得了很高的性能，但结果很难解释。使模型可解释的一个有吸引力的方法是为其决策提供依据。为了研究人类理性是否可以进一步改进当前模型，并促进人类理性的监督学习，在这里，我们提出了PALRACE（修剪和标记的RACE），一个新的MRC数据集，其中包含从RACE数据集中选择的800个通道的人类标记理性。我们进一步将每个段落的问题分为6类。每一段文章都由至少26名人类读者阅读，他们标记了自己的理由来回答这个问题。结果表明，像Roberta-large这样的模型在所有6种类型的问题（包括推理问题）中的表现都优于人类读者，但当能够访问人类理性时，其性能可以进一步提高。没有根据任务进行微调的更简单的模型和预训练的模型从人类理论中受益更多，并且它们的性能可以通过理论提高30%以上。在人类理性的基础上，基于GloVe词嵌入的简单模型可以达到BERT-base的性能。
2022-03-24 cs.AI cs.CL
Can Machines Resonate with Humans? Evaluating the Emotional and Empathic Comprehension of LMs
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Monash（莫纳什大学）
该研究针对语言模型共情理解建模难、现有微调方法效果有限的问题，提出对比学习、监督微调等策略，发现标注一致性低、共情解读具主观性且不受文化背景影响，为后续相关研究指明方向。
2024-10-31 cs.CL
Ensemble Kalman filter for uncertainty in human language comprehension
Institute of Mathematics, University of Potsdam（波茨坦大学数学研究所）；Institute of Psychology, University of Potsdam（波茨坦大学心理学研究所）
针对传统人工神经网络在句子理解中缺乏不确定性建模的问题，本文提出基于集合卡尔曼滤波扩展的贝叶斯框架，将语言理解构建为贝叶斯逆问题，以增强句子格式塔模型对人类认知加工中不确定性表示的能力。
2025-05-05 cs.CL stat.AP stat.ML
Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension
本研究通过系统变化GPT-2上下文窗口，发现扩展上下文提升心理语言学拟合，并证明追踪长距离指代关系是关键机制。
2026-10-09 cs.CL
Probing Neural Network Comprehension of Natural Language Arguments
National Cheng Kung University（国立成功大学）
我们惊讶地发现，BERT在论证推理理解任务中的峰值表现为77%，仅比未经训练的人类平均基线低3分。然而，我们表明，这一结果是完全占利用虚假的统计线索的数据集。我们分析了这些线索的性质，并证明了一系列的模型都利用它们。这种分析为构建对抗性数据集提供了信息，所有模型都可以在该数据集上实现随机精度。我们的对抗性数据集提供了一个更强大的参数理解评估，应该在未来的工作中作为标准。
2019-09-16 cs.CL
MS MARCO: A Human Generated MAchine Reading COmprehension Dataset
Microsoft AI & Research（微软人工智能与研究院）
本文介绍了一个大规模的机器阅读理解数据集，我们将其命名为MS MARCO。该数据集包括1，010，916个匿名问题-从Bing的搜索查询日志中采样-每个问题都有一个人工生成的答案和182，669个完全由人工重写的答案。此外，该数据集包含8，841，823个段落--从Bing检索的3，563，535个网络文档中提取--提供了策划自然语言答案所需的信息。MS MARCO数据集中的问题可能有多个答案或根本没有答案。使用这个数据集，我们提出了三个不同难度的任务：（i）在给定一组上下文段落的情况下预测问题是否是可回答的，并且提取和合成答案，就像人类将（ii）生成格式良好的答案（如果可能的话）基于可以用问题和段落上下文来理解的上下文段落，并且最后（iii）在给定问题的情况下对一组检索到的段落进行排名。数据集的大小和问题来源于真实用户搜索查询的事实将MS MARCO与其他众所周知的公开可用的机器阅读理解和问答数据集区分开来。我们相信，该数据集的规模和真实世界的性质使其对基准测试机器阅读理解和问答模型具有吸引力。
2018-10-31 cs.CL cs.IR
Complementary Advantages of ChatGPTs and Human Readers in Reasoning: Evidence from English Text Reading Comprehension
Southeast University（东南大学）；Qufu Normal University（曲阜师范大学）
本研究通过三个推理测试比较ChatGPT与高中生，发现两者在常识、情感和因果推理上各有优劣，形成互补关系。
2023-11-17 cs.CL
KaLM at SemEval-2020 Task 4: Knowledge-aware Language Models for Comprehension And Generation
Sun Yat-Sen University（中山大学）
本文介绍了我们在SemEval 2020任务4中的策略：常识验证和解释。我们提出了一种新的方法来搜索证据，并选择不同的大规模预训练模型作为三个子任务的骨干。结果表明，我们的证据搜索方法提高了模型在常识解释任务上的表现。我们的团队在子任务C中根据人类评估得分排名第二。
2020-07-24 cs.CL
Improving Cross-Lingual Reading Comprehension with Self-Training
National Taiwan University（国立台湾大学）
机器阅读理解已经有了实质性的改进，机器根据给定的上下文回答问题。目前最先进的模型甚至在几个基准上超过了人类的表现。然而，他们在跨语言场景中的能力仍有待探索。先前的工作已经揭示了预训练的多语言模型的能力，zero-shot跨语言阅读理解。在本文中，我们进一步利用未标记的数据，以提高性能。该模型首先在源语言语料库上进行监督训练，然后用未标记的目标语言数据进行自训练。实验结果表明，所有语言的提高，我们还分析了自我训练如何有利于跨语言阅读理解的定性方面。
2021-05-08 cs.CL
MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics
UC Irvine（加州大学欧文分校）；The Hebrew University（希伯来大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；AI2 Irvine（艾伦人工智能研究所欧文分部）
把阅读理解作为一个生成问题提供了很大的灵活性，允许开放式的问题，对可能的答案几乎没有限制。然而，现有的生成指标阻碍了进展，这些指标依赖于标记重叠，并且对阅读理解的细微差别不可知。为了解决这个问题，我们引入了一个用于训练和评估生成式阅读理解指标的基准：使用人类注释建模正确性。MOCHA包含来自6个不同问答数据集的模型输出的40K人类判断分数和用于评估的额外一组最小对。使用MOCHA，我们训练阅读理解的学习评价指标LERC，以模仿人类的判断分数。LERC在保留注释上的绝对Pearson点超过基线指标10到36。当我们评估最小对的鲁棒性时，LERC达到了80%的准确率，比基线高出14到26个绝对百分点，同时留下了显著的改进空间。MOCHA提出了一个具有挑战性的问题，发展准确和强大的生成式阅读理解指标。
2020-10-15 cs.CL cs.LG
Heterogeneous Neural Predictivity from Language Models During Naturalistic Comprehension
研究利用八种冻结语言模型和编码模型分析自然语言刺激的神经数据，发现语言模型特征在多数脑区具有预测性，但预测优势是局部的，不能直接推断共享神经组织或计算机制。
2026-06-26 cs.CL cs.LG
Think from Words(TFW): Initiating Human-Like Cognition in Large Language Models Through Think from Words for Japanese Text-level Classification
Yokohama National University（横滨国立大学）；Pusan National University（釜山国立大学）
本文提出TFW及其增强版TFW Extra，让LLM从词语级信息逐步理解整篇日语文本，并在六个日语数据集上验证其分类效果及词语级信息的影响。
2023-12-06 cs.CL
STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension
Yale University（耶鲁大学）；Meta AI
摘要对话摘要长期以来一直被视为自然语言处理中的一个重要的独立任务，但以前的工作还没有探讨是否抽象的对话摘要也可以被用来作为一种手段，以提高NLP系统的其他重要的对话理解任务的性能的可能性。在本文中，我们提出了一种新型的对话摘要任务--训练的DiaLoguE摘要--它可以帮助预先训练的语言模型更好地理解对话，并提高它们在重要对话理解任务中的表现。我们进一步收集人类注释的CFDEL摘要超过400个对话，并介绍了一个新的CFDEL对话理解建模框架，集成CFDEL到一个基于图神经网络的对话推理模块的Transformer编码器语言模型，以提高他们的对话理解能力。在我们的两个重要的下游对话理解任务-对话问答和对话响应预测-的实证实验中，我们表明，我们的EMDEL对话理解模型可以显着提高Transformer编码器语言模型的对话理解性能。
2022-12-24 cs.CL
Computational Sentence-level Metrics Predicting Human Sentence Comprehension
University of Tübingen（蒂宾根大学）；University of Stuttgart（斯图加特大学）
本文提出基于多语言LLM的句子惊异度与句子相关性指标，用于跨语言预测人类整体句子理解，在阅读速度预测上表现出高准确率与良好泛化性。
2024-04-15 cs.CL stat.ML
NewsQA: A Machine Comprehension Dataset
Maluuba Research（Maluuba研究院）
我们介绍了NewsQA，这是一个具有挑战性的机器理解数据集，包含超过100，000个人类生成的问答对。Crowdworker根据CNN的1万多篇新闻文章提供问题和答案，答案由相应文章的文本组成。我们通过一个四阶段的过程来收集这个数据集，该过程旨在征求需要推理的探索性问题。一个彻底的分析证实，NewsQA需要的能力不仅仅是简单的词匹配和识别文本蕴涵。我们在数据集上测量人类的表现，并将其与几个强大的神经模型进行比较。人类和机器之间的性能差距（F1为0.198）表明，通过未来的研究，NewsQA可以取得重大进展。该数据集可在https://datasets.maluuba.com/NewsQA上免费获得。
2017-02-07 cs.AI cs.CL
Benchmarking Machine Reading Comprehension: A Psychological Perspective
National Institute of Informatics（国立信息学研究所）；University College London（伦敦大学学院）
机器阅读理解（MRC）作为自然语言理解的基准已经受到相当大的关注。然而，MRC的传统任务设计缺乏超出模型解释的可解释性，即，阅读理解的模式不能用人类的语言来解释。为此，本文为基于心理学和心理测量学的MRC数据集的设计提供了理论基础，并总结了MRC基准测试的先决条件。我们的结论是，未来的数据集应该（i）评估模型的能力，以构建一个连贯和接地表示理解上下文相关的情况和（ii）确保通过捷径证明问题和解释作为任务设计的一部分，实质性的有效性。
2021-01-26 cs.CL
IIRC: A Dataset of Incomplete Information Reading Comprehension Questions
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
人类经常需要阅读多个文档来满足他们的信息需求。然而，大多数现有的阅读理解（RC）任务只关注的问题，上下文提供了所有需要回答他们的信息，从而没有评估系统的性能，在识别潜在的缺乏足够的信息和定位源的信息。为了填补这一空白，我们提出了一个数据集IIRC，其中包含来自英文维基百科的段落的超过13K个问题，这些问题只提供部分信息来回答它们，缺失的信息发生在一个或多个链接的文档中。这些问题是由无法访问任何链接文档的人群工作人员编写的，导致问题与答案出现的上下文几乎没有词汇重叠。这个过程也提出了许多没有答案的问题，以及那些需要离散推理的问题，增加了任务的难度。我们跟踪最近在各种阅读理解数据集上的建模工作，为该数据集构建了一个基线模型，发现它在这项任务上达到了31.1%的F1，而估计的人类表现为88.4%。数据集、基线系统的代码和排行榜可以在https://allennlp.org/iirc上找到。
2020-11-13 cs.CL
Quinductor: a multilingual data-driven method for generating reading-comprehension questions using Universal Dependencies
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出一种基于依存树的多语言数据驱动方法Quinductor，以低成本生成阅读理解问题，超越现有QG基线并获良好人工评估。
2023-05-12 cs.CL
Improved Synthetic Training for Reading Comprehension
Columbia University（哥伦比亚大学）；IBM Research AI, T.J. Watson Research Center（IBM研究人工智能，T.J.沃森研究中心）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
自动生成的合成训练样本已被证明可以提高机器阅读理解（MRC）的性能。与人工注释的金标准数据相比，合成训练数据具有独特的属性，例如以可能的质量为代价的高可用性。鉴于这种差异，在本文中，我们探索新的应用合成的例子MRC。我们提出的预训练和知识蒸馏策略比现有的方法有显着的改进。在一个特别令人惊讶的发现中，我们观察到合成蒸馏通常会产生比教师模型表现更好的学生。
2020-10-24 cs.CL
Text Production and Comprehension by Human and Artificial Intelligence: Interdisciplinary Workshop Report
Nottingham Trent University（诺丁汉特伦特大学）；Cornell University（康奈尔大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of the Saarland（萨尔大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Edinburgh（爱丁堡大学）；Tuebingen University（图宾根大学）；Montclair State University（蒙特克莱尔州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Iowa State University（爱荷华州立大学）；Embry-Riddle Aeronautical University（安柏瑞德航空航天大学）；Midland University（米德兰大学）；University of Chicago（芝加哥大学）；University of Iowa（爱荷华大学）
本报告总结了NSF资助的跨学科研讨会成果，探讨AI语言模型与人类认知在文本处理中的关系，指出LLMs通过人类反馈微调可更好地对齐人类行为，并强调了人机协作的机遇、挑战及伦理考量。
2025-07-01 cs.AI cs.CL
Automatic Generation and Evaluation of Reading Comprehension Test Items with Large Language Models
University of Zurich（苏黎世大学）
本研究构建德语阅读理解题目数据集，提出含文本信息性指标的评估方案，验证了大语言模型可零样本生成和评估阅读理解题，且GPT-4表现优于Llama 2，为低资源语言的试题生成提供了可行路径。
2024-05-20 cs.CL
IntentionQA: A Benchmark for Evaluating Purchase Intention Comprehension Abilities of Language Models in E-commerce
Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程学院）；Amazon.com Inc（亚马逊公司）
本文提出 IntentionQA 基准，通过双任务多选题评估语言模型在电商中推断购买意图并预测额外购买的能力，实验表明现有模型与人类表现仍有较大差距。
2024-09-30 cs.CL
