Beyond Facts: Benchmarking Distributional Reading Comprehension in Large Language Models
National Taiwan University(国立台湾大学);University of California, Los Angeles(加州大学洛杉矶分校);Academia Sinica, Taiwan(台湾“中央研究院”);NTU AI-CoRE(国立清华大学AI研究中心)
本文提出Text2DistBench基准测试,评估LLM从自然语言中推断分布知识的能力,通过真实YouTube评论数据,测试模型在估计评论比例和识别高频主题方面的表现,揭示LLM在分布式阅读理解中的能力和局限。
2026-04-18 cs.AI cs.CL
QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension
University of Copenhagen(哥本哈根大学);RIKEN(理化学研究所);Microsoft Semantic Machines(微软语义机器公司)
近年来,除了对NLP中深度学习模型的大量研究外,还对跟踪建模进度所需的基准数据集进行了大量研究。在这方面,问答和阅读理解特别多产,在过去两年中出现了80多个新的数据集。这项研究是迄今为止该领域最大的调查。我们提供了目前的资源的各种格式和领域的概述,突出了目前的空白,为未来的工作。我们进一步讨论了当前的分类“技能”,问答/阅读理解系统应该获得,并提出了一个新的分类。补充材料调查目前的多语种资源和单语资源的语言以外的英语,我们讨论了过度关注英语的影响。这项研究既针对寻找现有数据财富指针的从业者,也针对研究新资源的研究人员。
2022-09-19 cs.AI cs.CL
Read Before You Think: Mitigating LLM Comprehension Failures with Step-by-Step Reading
本文针对大语言模型因问题理解缺陷导致的推理失败,提出逐步阅读提示家族SSR++,通过细粒度解析、注意力聚焦和迭代重语境化解决后向依赖,在多个推理基准上取得最优结果。
2025-09-18 cs.AI cs.CL
NaijaRC: A Multi-choice Reading Comprehension Dataset for Nigerian Languages
Masakhane NLP;Saarland University(萨尔大学);University of Lagos(拉各斯大学);Imperial College London(伦敦帝国学院);University College London(伦敦大学学院)
该研究构建了涵盖三种尼日利亚本土语言的多项选择阅读理解数据集NaijaRC,基于预训练仅编码器模型开展跨语言迁移得到基线结果,还通过提示大语言模型给出对应结果,为低资源语言阅读理解研究提供数据支撑。
2024-05-19 cs.CL
ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning
National University of Singapore(新加坡国立大学)
最近的强大的预训练语言模型在大多数流行的阅读理解数据集上取得了显着的性能。现在是时候引入更具挑战性的数据集,推动该领域朝着更全面的文本推理方向发展了。在本文中,我们介绍了一个新的阅读理解数据集,需要逻辑推理(ReClor)从标准化的研究生入学考试中提取。正如早期的研究所表明的那样,人类注释的数据集通常包含偏见,这些偏见通常被模型利用来实现高准确性,而无需真正理解文本。为了综合评价ReClor上模型的逻辑推理能力,我们提出识别有偏差的数据点,并将其分离为EASY集,其余为HARD集。实证结果表明,国家的最先进的模型具有出色的能力,捕捉偏差包含在数据集上的EASY集的高精度。然而,它们在HARD集上的表现与随机猜测的表现相近,这表明需要更多的研究来从根本上提高当前模型的逻辑推理能力。
2020-08-22 cs.AI cs.CL cs.LG
Procedural Reading Comprehension with Attribute-Aware Context Flow
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
程序文本通常描述过程(例如,光合作用和烹饪)发生在实体上(例如,光、食物)。在本文中,我们介绍了一个算法的程序阅读理解翻译成一个一般的形式主义,表示过程作为一个序列的过渡实体属性(例如,位置、温度)。利用预先训练好的语言模型,我们的模型通过对实体属性及其转换的联合预测来获得文本的实体感知和属性感知表示。我们的模型动态地获得上下文编码的程序文本利用信息编码的以前和当前的状态,以预测过渡的某个属性,可以确定为一个跨度的文本或从一组预定义的类。此外,我们的模型在两个程序化阅读理解数据集上取得了最先进的结果,即ProPara和npn-cooking
2020-03-31 cs.CL
Adapting Large Language Models to Domains via Reading Comprehension
Microsoft Research(微软研究院);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
本文提出将原始领域语料库转换为阅读理解文本的预训练方法,在保留模型问答能力的同时注入领域知识,7B模型性能媲美BloombergGPT-50B等更大规模模型,并提升通用基准表现。
2024-07-25 cs.CL
Contextualized Word Representations for Reading Comprehension
Tel-Aviv University(特拉维夫大学)
最近,阅读文档并提取关于其内容的问题的答案引起了大量关注。虽然大多数工作都集中在问题和文件之间的相互作用,在这项工作中,我们评估的重要性时,独立处理的问题和文件的上下文。我们为此任务采用标准神经架构,并表明通过从大型预训练语言模型提供丰富的上下文化单词表示,以及允许模型在上下文相关和上下文无关的单词表示之间进行选择,我们可以获得显着的改进,并达到与竞争SQuAD数据集上最先进的性能相当的性能。
2018-09-04 cs.CL
Automatic Generation and Evaluation of Reading Comprehension Test Items with Large Language Models
University of Zurich(苏黎世大学)
本研究构建德语阅读理解题目数据集,提出含文本信息性指标的评估方案,验证了大语言模型可零样本生成和评估阅读理解题,且GPT-4表现优于Llama 2,为低资源语言的试题生成提供了可行路径。
2024-05-20 cs.CL
Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension
The Asahi Shimbun Company(朝日新闻公司);National Institute of Informatics(国立信息学研究所)
本文构建了一个包含3,003个子问题的数据集,用于评估语言模型对逻辑阅读理解中批判性推理理由的理解,实验发现现有大模型即使能答对主问题,也难以解释为何排除错误选项,从而揭示了其在批判性推理上的不足。
2023-11-30 cs.CL
SkillQG: Learning to Generate Question for Reading Comprehension Assessment
Zhejiang University(浙江大学);Université de Montréal(蒙特利尔大学);Mila(米拉研究所);Pinterest
SkillQG提出了一种基于技能条件的问题生成框架,通过分层技能模式界定理解类型并增强输入,实现可控生成,在质量、相关性和技能可控性上优于基线,并提升下游问答性能。
2023-05-08 cs.CL
Clinical Reading Comprehension with Encoder-Decoder Models Enhanced by Direct Preference Optimization
University of Kentucky(肯塔基大学)
本研究将编码器-解码器模型与直接偏好优化结合,在RadQA放射学问答任务上提升12-15个F1点,首次证明DPO方法无需人工输入即可适用于阅读理解。
2024-07-19 cs.CL cs.IR cs.LG
A Survey on Explainability in Machine Reading Comprehension
University of Manchester(曼彻斯特大学)
本文对机器阅读理解(MRC)中的可解释性基准和方法进行了系统的综述。我们提出了如何表示和推理的挑战演变和采取的步骤来解决这些挑战。我们还提出了评估方法来评估可解释系统的性能。此外,我们还确定了持续存在的开放研究问题,并强调了未来工作的关键方向。
2020-10-01 cs.AI cs.CL
Revealing Weaknesses of Vietnamese Language Models Through Unanswerable Questions in Machine Reading Comprehension
Denison University(丹尼森大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);University of Information Technology, Ho Chi Minh City(胡志明市信息技术大学)
虽然多语言的诅咒显著限制了多语言模型在单语环境中的语言能力,但研究人员现在仍然必须依赖多语言模型来开发越南语机器阅读理解的最先进系统。这一研究的困难是由于开发越南语语言模型的高质量作品数量有限。为了鼓励更多的工作在这一研究领域,我们提出了一个全面的分析语言的弱点和优势,目前越南单语模型使用的下游任务机器阅读理解。根据分析结果,我们提出了发展越南语语言模型的新方向。除了这一主要贡献,我们还成功地揭示了存在的文物越南机器阅读理解基准,并建议迫切需要新的高质量的基准来跟踪越南机器阅读理解的进展。此外,我们还介绍了一个小的,但有价值的修改的过程中注释无法回答的问题,机器阅读理解从以前的工作。我们提出的修改有助于提高质量的无法回答的问题,以更高的难度水平的机器阅读理解系统解决。
2023-03-16 cs.AI cs.CL
Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
理解叙述需要阅读字里行间的内容,这反过来又需要解释事件的可能原因和影响,即使它们没有明确提到。在本文中,我们介绍了Cosmos QA,这是一个包含35,600个问题的大规模数据集,这些问题需要基于常识的阅读理解,并以多项选择题的形式表达。与大多数现有的阅读理解数据集形成鲜明对比的是,这些数据集的问题集中在对上下文段落的事实和字面理解上,我们的数据集集中在对人们日常叙述的各种收集的字里行间的阅读,提出诸如“可能的原因是什么...?或者“如果......“这需要推理超出确切的文本跨度在上下文中。为了建立Cosmos QA的基线性能,我们实验了几种用于阅读理解的最先进的神经架构,并提出了一种新的架构,该架构在竞争基线上有所改进。实验结果表明,机器(68.4%)和人类(94%)之间存在显着差距,为未来的常识机器理解研究指明了方向。数据集、代码和排行榜可在https://wilburone.github.io/cosmos上公开获取。
2019-09-06 cs.AI cs.CL
Towards Inference-Oriented Reading Comprehension: ParallelQA
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们研究了端到端神经机器阅读理解(MRC)模型匹配浅层模式的趋势,而不是在RC基准上执行面向推理的推理。我们的目标是测试这些系统的能力,回答问题的重点是参考推理。我们提出了一种使用平行通道来制定此类问题的策略。我们还证明了现有的神经模型无法很好地推广到这种设置。
2018-05-10 cs.AI cs.CL
A Multilingual Modeling Method for Span-Extraction Reading Comprehension
Tsinghua University(清华大学);Beijing MoreHealth Technology Group Co. Ltd(北京妙健康科技集团有限公司)
跨度提取阅读理解模型已经取得了巨大的进步,这得益于大规模,高质量的训练数据集的可用性。尽管取得了如此迅速的进展和广泛的应用,但英语以外的其他语言的提取阅读理解数据集仍然很少,并且为每种语言创建如此大量的训练数据是昂贵的,甚至是不可能的。创建大规模高质量单语跨度提取训练数据集的替代方案是开发多语言建模方法和系统,其可以转换到目标语言而不需要该语言的训练数据。本文针对目标语言中提取阅读理解训练数据的稀缺性,提出了一种多语言提取阅读理解方法XLRC,该方法利用自适应注意和多语言注意同时对多语言环境中已有的提取阅读理解训练数据进行建模。具体而言,我们首先通过翻译现有的提取阅读理解数据集(即,CMRC 2018)从目标语言(即,中文)分为不同的语系(即,英文)。其次,为了提高最终的目标表示,我们采用自适应注意(SAA),结合自我注意和相互注意,提取每对目标和源语言的语义关系。此外,我们提出了多语言注意(MLA),学习丰富的知识,从各种语言的家庭。实验结果表明,我们的模型优于最先进的基线(即,RoBERTa_Large)在CMRC 2018任务上的应用,证明了我们提出的多语言建模方法的有效性,并显示了多语言NLP任务的潜力。
2021-05-31 cs.AI cs.CL
R3: A Reading Comprehension Benchmark Requiring Reasoning Processes
Nanjing University(南京大学)
现有的问答系统只能预测答案,没有明确的推理过程,这阻碍了它们的可解释性,使我们高估了它们对自然语言的理解和推理能力。在这项工作中,我们提出了一个新的阅读理解任务,其中需要一个模型来提供最终的答案和推理过程。为此,我们介绍了一种形式主义的推理非结构化文本,即文本推理的意义表示(TRMR)。TRMR由三个短语组成,这三个短语的表达能力足以表征回答阅读理解问题的推理过程。我们开发了一个注释平台,以方便TRMR的注释,并发布了R3数据集,一个\textbf{R}阅读理解基准\textbf{R},要求\textbf{R}推理过程。R3包含超过60 K对问题-答案对及其TRMR。我们的数据集可在:\url{http://anonymous} .
2020-04-02 cs.AI cs.CL
Question Generation for Assessing Early Literacy Reading Comprehension
本研究提出一种面向K-2英语学习者的阅读理解问题生成方法,可覆盖学习材料、适配学习者能力并生成多类型多难度问题,经FairytaleQA数据集验证,有望成为AI英语教学的重要工具。
2025-07-30 cs.AI cs.CL
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune(浦那陆军技术学院)
多项选择机器阅读理解是一项困难的任务,它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人(或机器)阅读给定的文章、问题对,并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案,或者通过消除最差匹配答案。在这里,我们提出了GenNet模型,一个基于神经网络的模型。在这个模型中,我们首先从文章中生成问题的答案,然后将生成的答案与给定的答案进行匹配,最佳匹配的选项将是我们的答案。对于答案生成,我们使用S-网(Tan等人,2017)在SQuAD上训练的模型,为了评估我们的模型,我们使用了大规模RACE(来自考试的阅读理解数据集)(Lai et al.,2017年)的报告。
2020-03-18 cs.AI cs.CL
Numerical reasoning in machine reading comprehension tasks: are we there yet?
Imperial College London(帝国理工学院);City, University of London(伦敦城市大学)
基于数值推理的机器阅读理解是一项涉及阅读理解以及使用算术运算(如加法、减法、排序和计数)的任务。DROP基准(Dua等人,2019)是最近的一个数据集,它启发了旨在解决这一任务的NLP模型的设计。这些模型目前在DROP排行榜上的排名超过了标准指标,表明这些模型已经达到了接近人类的性能。然而,这是否意味着这些模型已经学会了推理?在本文中,我们提出了一个控制研究的一些最高性能的模型架构的任务的数值推理。我们的观察表明,标准指标无法衡量这些任务的进展情况。
2021-09-16 cs.AI cs.CL
BiPaR: A Bilingual Parallel Dataset for Multilingual and Cross-lingual Reading Comprehension on Novels
Soochow University(苏州大学)
本文介绍了BiPaR,一个双语并行小说风格的机器阅读理解(MRC)数据集,开发支持多语言和跨语言的阅读理解。BiPaR与现有阅读理解数据集之间最大的区别在于,BiPaR中的每个三元组(Passage,Question,Answer)都是用两种语言编写的。我们从中英文小说中收集了3,667个双语平行段落,通过严格的质量控制程序,通过众包工作人员构建了14,668个平行问答对。我们深入分析了BiPaR,发现BiPaR在问题前缀、答案类型以及问题与段落之间的关系方面提供了良好的多样化。我们还观察到,回答问题的小说需要阅读理解技能的共指消解,多句推理,并理解隐含的因果关系等,与BiPaR,我们建立单语,多语种,跨语言MRC基线模型。即使对于该数据集上相对简单的单语MRC,实验表明,在EM和F1分数方面,强BERT基线落后于人类30分以上,这表明BiPaR为小说的单语,多语言和跨语言MRC提供了一个具有挑战性的测试平台。该数据集可在https://multinlp.github.io/BiPaR/上获得。
2019-10-11 cs.AI cs.CL
Difficulty Controllable Generation of Reading Comprehension Questions
The Chinese University of Hong Kong(香港中文大学);Alibaba DAMO Academy(阿里巴巴达摩院)
我们调查了阅读理解数据集,如SQuAD的问题的难度水平,并提出了一个新的问题生成设置,命名为难度可控的问题生成(DQG)。将阅读理解段落中的句子及其一些文本片段(即,答案),DQG方法需要生成问题,每个问题都有一个给定的文本片段作为其答案,同时生成是在指定的难度标签的控制下-输出的问题应该尽可能满足指定的难度。为了解决这个任务,我们提出了一个端到端框架,通过探索一些重要的直觉来生成指定难度级别的问题。为了评估,我们准备了第一个带有难度标签的阅读理解问题数据集。实验结果表明,该框架生成的问题不仅在BLEU等指标下具有更好的质量,而且符合指定的难度标签。
2019-05-30 cs.AI cs.CL
Bridging Information-Seeking Human Gaze and Machine Reading Comprehension
MIT BCS(麻省理工学院脑与认知科学系)
在这项工作中,我们分析如何在阅读理解过程中的人的目光是有条件的给定的阅读理解问题,以及这个信号是否可以有益于机器阅读理解。为此,我们收集了一个新的眼动跟踪数据集,其中有大量参与者参与多项选择阅读理解任务。我们对这些数据的分析显示,与回答问题最相关的文本部分的固定时间增加。基于这一发现,我们建议通过模仿人类在阅读理解过程中寻求信息的阅读行为,使自动阅读理解更像人类。我们证明,这种方法导致性能增益的多项选择问答在英语的国家的最先进的阅读理解模型。
2020-10-15 cs.CL
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research(讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学)
机器阅读理解(MRC)是近年来非常流行的一门学科,受到了广泛的关注。然而,现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性,本文提出了一个新的中文阅读理解数据集,以促进社区的相关研究。该数据集包含两种不同的类型:完形填空式阅读理解和用户查询式阅读理解,与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起,我们还举办了第一届中文机器阅读理解评估(CMRC-2017),并成功吸引了数十名参与者,这表明了此数据集的潜在影响。
2018-03-15 cs.CL
Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了一个混合的任务感知专家网络的机器阅读理解在一个相对较小的数据集。我们特别关注常识学习的问题,通过专门训练不同的专家网络来捕获每个段落,问题和选择三元组之间的不同关系,从而加强共同基础知识。此外,我们通过训练每个网络一个相关的重点任务,对多任务和迁移学习的最新进展进行了总结。通过强制执行任务和关系,使混合网络意识到特定目标,我们实现了最先进的结果并减少了过度拟合。
2022-10-04 cs.AI cs.CL
Reading Comprehension Ability Test-A Turing Test for Reading Comprehension
Victoria University(维多利亚大学);Nanyang Technological University(南洋理工大学)
阅读理解能力是人类智力的重要组成部分。识字和算术是人们在学习、工作和生活中取得成功的两个最重要的基础。阅读理解能力是读写能力的核心组成部分。在大多数教育系统中,培养阅读理解能力是一年级至十二年级课程的必修课。它是传播知识不可或缺的能力。随着人工智能的出现,计算机开始能够像人一样在某些上下文中阅读和理解。他们甚至可以在某些任务中比人类读得更好,但在其他任务中几乎没有线索。如果我们能够识别机器理解能力的水平,这将是非常有益的,这将指导我们进一步提高。图灵测试是一个著名的测试计算机智能和人类智能之间的差异。为了能够比较人类阅读和机器阅读之间的差异,我们提出了一个名为(阅读)理解能力测试(CAT)的测试。CAT类似于图灵测试,通过该测试意味着我们无法在理解能力方面区分人类和算法。CAT有多个层次,显示了阅读理解的不同能力,从识别基本事实,进行推理,到理解意图和情感。
2019-09-05 cs.CL
MRCEval: A Comprehensive, Challenging and Accessible Machine Reading Comprehension Benchmark
Tsinghua University(清华大学)
针对现有MRC数据集缺乏全面评估的问题,本文提出新分类法并构建覆盖13种技能、含2.1K多选题的MRCEval基准,利用LLMs生成和筛选样本,对28个模型评估表明MRC在LLMs时代仍具挑战性。
2025-03-10 cs.AI cs.CL
Question Generation for Reading Comprehension Assessment by Modeling How and What to Ask
University of Alberta(阿尔伯塔大学);EyeRead(EyeRead公司)
阅读是日常生活中不可或缺的一部分,但学习阅读对许多年轻学习者来说是一场斗争。在课堂上,教师可以使用理解问题来提高参与度,测试阅读技能,并提高记忆力。从历史上看,这些问题是由熟练的教师编写的,但最近语言模型已被用于生成理解问题。然而,许多现有的问题生成(QG)系统侧重于从文本中生成文字问题,并没有办法控制生成的问题的类型。在本文中,我们研究QG阅读理解推理问题是关键和提取技术不能使用。我们提出了一个两步模型(HTA-WTA),它利用了以前的数据集,并可以为特定的目标理解技能生成问题。我们提出了一个新的阅读理解数据集,其中包含与基于故事的阅读理解技能(SBRCS)注释的问题,允许更完整的读者评估。在几个实验中,我们的结果表明HTA-WTA在这个新数据集上的表现优于多个强基线。我们表明,HTA-WTA模型通过提出深度推理问题来测试强SCRS。
2022-04-06 cs.AI cs.CL cs.LG
Learning to Ask: Neural Question Generation for Reading Comprehension
Cornell University(康奈尔大学);Shanghai Jiao Tong University(上海交通大学)
本文研究了阅读理解中从篇章中自动生成句子的问题。我们引入了一个基于注意力的序列学习模型的任务,并研究了编码句子与段落级信息的效果。与以前的所有工作相比,我们的模型不依赖于手工制作的规则或复杂的NLP管道;相反,它是通过序列到序列学习的端到端可训练的。自动评估结果表明,我们的系统显着优于国家的最先进的基于规则的系统。在人类评估中,我们的系统生成的问题也被评为更自然(即,语法性、流畅性)和更难回答(就句法和词汇与原文的分歧以及回答所需的推理而言)。
2017-04-29 cs.AI cs.CL
Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking
Tsinghua University(清华大学);Beijing MoreHealth Technology Group Co. Ltd(北京妙健康科技集团有限公司)
摘要大规模、高质量的阅读理解训练数据的出现,使得提取式阅读理解(ERC)取得了巨大的进步。尽管取得了如此迅速的进展和广泛的应用,但除了英语等高资源语言之外,其他语言的数据集仍然很少。为了解决这个问题,我们提出了一个跨语言换位再思考(XLTT)模型建模现有的高质量的提取阅读理解数据集在多语言环境中。具体而言,我们提出了多语言自适应注意(MAA),结合内部注意和相互注意,从每对语言家族中学习更一般的可概括的语义和词汇知识。此外,为了充分利用现有数据集,我们采用了一种新的训练框架,通过计算每个现有数据集和目标数据集之间的任务级相似度来训练我们的模型。实验结果表明,我们的XLTT模型在两个多语言ERC基准测试中超过了六个基线,特别是对低资源语言更有效,F1和EM的平均改善分别为3.9和4.1。
2021-09-28 cs.AI cs.CL
An Understanding-Oriented Robust Machine Reading Comprehension Model
Northeastern University(东北大学)
尽管现有的机器阅读理解模型在许多数据集上取得了快速进展,但它们远不健壮。本文提出了一种面向理解的机器阅读理解模型,以解决过敏感性、过稳定性和泛化性这三种鲁棒性问题。具体来说,我们首先使用一个自然语言推理模块来帮助模型理解输入问题的准确语义,以解决过度敏感和过度稳定的问题。在机器阅读理解模块中,我们提出了一种记忆引导的多头注意力方法,可以更好地理解输入问题和文章的语义。第三,我们提出了一种多语言学习机制来解决泛化问题。最后,将这些模块与基于多任务学习的方法相结合。我们在三个基准数据集上评估我们的模型,这些数据集旨在衡量模型的鲁棒性,包括DuReader(鲁棒)和两个SQuAD相关数据集。大量的实验表明,我们的模型可以很好地解决上述三种鲁棒性问题。在不同的评估指标下,即使在一些极端和不公平的评估下,它也比所有这些数据集上的最先进的模型取得了更好的结果。我们工作的源代码可以在https://github.com/neukg/RobustMRC上找到。
2022-07-01 cs.AI cs.CL
NEUer at SemEval-2021 Task 4: Complete Summary Representation by Filling Answers into Question for Matching Reading Comprehension
Northeastern University(东北大学);Westlake University(西湖大学)
SemEval任务4旨在从多个候选项中找到一个合适的选项来解决机器阅读理解任务。大多数现有的方法建议concat问题和选项一起,形成一个上下文感知模型。然而,我们认为,简单的串联只能提供一个粗粒度的上下文MRC任务,忽略了特定的位置的选项相对于问题。在本文中,我们提出了一种新的MRC模型,通过填充选项到问题,产生一个细粒度的上下文(定义为摘要),可以更好地揭示选项和问题之间的关系。我们在给定的数据集上进行了一系列的实验,结果表明,我们的方法在很大程度上优于其他同行。
2021-05-25 cs.AI cs.CL
Deep Understanding based Multi-Document Machine Reading Comprehension
Northeastern University(东北大学)
现有的多文档机器阅读理解模型主要侧重于理解输入问题与文档之间的交互,而忽略了以下两种理解。首先,从对方的角度理解输入问题和文档中单词的语义。第二,从文档内和文档间的角度理解正确答案的支持线索。忽略这两种重要的理解会使模型忽略一些可能有助于得出正确答案的重要信息。为了克服这一缺陷,我们提出了一个基于深度理解的多文档机器阅读理解模型。它有三个级联的深度理解模块,旨在理解单词的准确语义,输入问题和文档之间的交互以及正确答案的支持线索。我们在两个大规模的基准数据集上评估了我们的模型,即TriviaQA Web和DuReader。大量的实验表明,我们的模型在两个数据集上都取得了最先进的结果。
2022-02-25 cs.AI cs.CL
DRCD: a Chinese Machine Reading Comprehension Dataset
Delta Research Center(台达研究中心);Delta Electronics, Inc.(台达电子工业股份有限公司)
本文介绍了一个开放领域的传统中文机器阅读理解数据集DRCD(Delta Reading Comprehension Dataset)。该数据集旨在成为一个标准的中文机器阅读理解数据集,可以作为迁移学习的源数据集。该数据集包含来自2,108篇维基百科文章的10,014个段落和注释者生成的30,000多个问题。我们建立了一个基线模型,其F1得分为89.59%。人因绩效F1评分为93.30%。
2019-05-29 cs.CL
Commonsense Evidence Generation and Injection in Reading Comprehension
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Tencent Hippocrates Research Lab(腾讯希波克拉底研究实验室)
人们在阅读理解时,不仅要依据语境本身,而且往往还要依赖于语境之外的常识。为了增强机器的常识推理能力,本文提出了一个阅读理解中的常识证据生成和注入框架CEGI。该框架为阅读理解注入了两种辅助常识证据,使机器具备了理性思维的能力。具体来说,我们建立了两个证据生成器:第一个生成器的目的是通过语言模型生成文本证据;另一个生成器的目的是在图形完成后从常识知识图谱中提取事实证据(自动对齐的文本三元组)。这些证据结合了上下文常识,并作为模型的额外输入。此后,我们提出了一个深上下文编码器提取段落,问题,选项和证据之间的语义关系。最后,我们采用一个胶囊网络提取不同的语言单位(词和短语)的关系,并动态预测的基础上提取的单位的最佳选择。在CosmosQA数据集上的实验表明,所提出的CEGI模型优于当前最先进的方法,并达到了排行榜上的准确率(83.6%)。
2020-05-11 cs.AI cs.CL
Relation/Entity-Centric Reading Comprehension
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田理工学院)
构建一台能够理解人类语言的机器是人工智能中最难以捉摸和长期存在的挑战之一。本文通过对阅读理解的研究来解决这一挑战,重点是理解实体及其关系。更具体地说,我们专注于旨在衡量阅读理解的问答任务。我们关注实体和关系,因为它们通常用于表示自然语言的语义。
2020-08-27 cs.CL
STARC: Structured Annotations for Reading Comprehension
MIT(麻省理工学院)
我们提出了STARC(阅读理解结构化注释),一个新的注释框架,用于评估阅读理解与多项选择题。我们的框架引入了一个原则性的结构,答案的选择,并将它们绑定到文本跨度注释。该框架在OneStopQA中实现,OneStopQA是一种用于英语阅读理解评估和分析的新的高质量数据集。我们使用这个数据集来证明STARC可以用于开发SAT类阅读理解材料的关键新应用:通过跨度消融实验进行自动注释质量探测。我们进一步表明,它可以深入分析和比较机器和人类的阅读理解行为,包括错误分布和猜测能力。我们的实验还表明,NLP中的标准多项选择数据集RACE在测量阅读理解能力方面是有限的。47%的问题可以被机器猜到,而不需要访问文章,18%的问题被人类一致认为没有唯一的正确答案。OneStopQA为阅读理解提供了一个替代测试集,它弥补了这些缺点,并具有更高的人类上限性能。
2020-04-30 cs.CL
Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
多跳阅读理解需要模型从多个句子/文档中探索和连接相关信息,以回答有关上下文的问题。为了实现这一点,我们提出了一个可解释的3-模块系统,称为探索-建议-组装阅读器(EPAr)。首先,文档浏览器迭代地选择相关文档,并以树结构表示发散的推理链,以便允许从所有链吸收信息。答案提议器然后从推理树中的每个根到叶路径提议答案。最后,证据汇编器从每条路径中提取包含建议答案的关键句,并将它们组合起来预测最终答案。直观地说,EPAr近似于人类读者在面对多个长文档时从粗到细的理解行为。我们共同优化我们的3个模块,最大限度地减少损失的总和,从每一个阶段的条件下,前一阶段的输出。在两个多跳阅读理解数据集WikiHop和MedHop上,与最先进的模型相比,我们的EPAr模型在基线和竞争结果上取得了显着的改进。我们还提出了多个推理链恢复测试和消融研究,以证明我们的系统的能力,执行可解释的和准确的推理。
2019-06-12 cs.AI cs.CL
Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Graph Neural Networks
University of Rochester(罗切斯特大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);Westlake University(西湖大学)
多跳阅读理解专注于一种类型的事实问题,其中系统需要适当地整合多个证据来正确回答问题。以前的工作近似全球的证据与当地的共指信息,编码共指链与DAG风格的GRU层内的门注意力读者。然而,共指在为丰富推理提供信息方面是有限的。我们介绍了一种新的方法,更好地连接全局证据,形成更复杂的图相比,DAG。为了在我们的图上进行证据集成,我们研究了两个最近的图神经网络,即图卷积网络(GCN)和图递归网络(GRN)。在两个标准数据集上的实验表明,更丰富的全局信息会导致更好的答案。我们的方法在这些数据集上的表现优于所有已发表的结果。
2018-09-06 cs.AI cs.CL
Reference Knowledgeable Network for Machine Reading Comprehension
Shanghai Jiao Tong University(上海交通大学)
多项选择机器阅读理解(MRC)是一项挑战,它要求模型从一组候选答案中选择最合适的答案。现有的研究大多集中在对特定任务或复杂网络的建模上,没有明确地引用相关的、可信的外部知识源,这在很大程度上弥补了本文的不足。因此,我们提出了一种新的基于参考的知识增强模型称为参考知识网络(RekNet),它模拟人类的阅读策略,从文章中提炼关键信息,并在必要时引用明确的知识。具体来说,RekNet对关键信息进行细化,定义为参考广度,并通过参考广度和候选词的共现信息引用显式知识四元组。建议的RekNet在三个多选择MRC基准上进行评估:RACE,DREAM和Cosmos QA,获得一致和显着的性能改进,在强基线上具有可观察的统计显著性水平。我们的代码可在https://github.com/Yilin1111/RekNet上获得。
2022-03-26 cs.AI cs.CL
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院)
多语言预训练模型可以利用来自丰富源语言(如英语)的训练数据来提高低资源语言的性能。然而,多语言机器阅读理解(MRC)的迁移质量明显低于句子分类任务,这主要是由于MRC需要检测单词级别的答案边界。在本文中,我们提出了两个辅助任务,在微调阶段,以创建额外的短语边界监督:(1)混合MRC任务,将问题或段落翻译到其他语言,并建立跨语言的问题-段落对;(2)语言无关的知识掩蔽任务,利用知识挖掘的短语从Web。此外,在两个跨语言MRC数据集上的大量实验表明了该方法的有效性。
2020-05-08 cs.AI cs.CL
ReCoRD: Bridging the Gap between Human and Machine Commonsense Reading Comprehension
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
我们提出了一个大规模的数据集,ReCoRD,机器阅读理解需要常识推理。在这个数据集上的实验表明,最先进的MRC系统的性能远远落后于人类的性能。ReCoRD代表了未来研究的一个挑战,即弥合人类和机器常识阅读理解之间的差距。ReCoRD可在http://nlp.jhu.edu/record上获得。
2018-10-30 cs.CL
Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Microsoft STCA(微软亚洲研究院搜索技术中心);Simon Fraser University(西蒙弗雷泽大学)
跨语言机器阅读理解(CLMRC)仍然是一个具有挑战性的问题,这是由于缺乏低源语言(如阿拉伯语、印地语和越南语)的大规模注释数据集。许多先前的方法通过从诸如英语的富源语言翻译到低级源语言来使用翻译数据作为辅助监督。然而,如何有效地利用翻译数据并减少翻译引入的噪音的影响仍然是一项艰巨的任务。在本文中,我们解决了这一挑战,并提高跨语言迁移性能的一种新的增强方法命名为语言分支机器阅读理解(LBMRC)。语言分支是一组单一语言的文章,配以所有目标语言的问题。基于LBMRC,我们训练了多个精通不同语言的机器阅读理解(MRC)模型。然后,我们设计了一种多语言蒸馏方法,将多语言分支模型中的知识合并到所有目标语言的单个模型中。将LBMRC和多语言提取相结合,可以提高模型对数据噪声的鲁棒性,从而提高模型的跨语言能力。同时,生成的单一多语种模型适用于所有目标语言,节省了多个模型的训练、推理和维护成本。两个CLMRC基准上的大量实验清楚地表明了我们所提出的方法的有效性。
2020-10-27 cs.AI cs.CL
Automatic learner summary assessment for reading comprehension
Amazon Research(亚马逊研究院);ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学)
摘要的自动评估为评估学习者的阅读理解提供了一个有用的工具。我们提出了一个评估非母语阅读理解的摘要任务,并提出了三种新的方法来自动评估学习者的摘要。我们在我们创建的两个数据集上评估了我们的模型,并表明我们的模型优于传统的依赖于精确单词匹配的方法。我们最好的模式产生接近专业考官的质量评估。
2019-06-18 cs.CL
A Vietnamese Dataset for Text Segmentation and Multiple Choices Reading Comprehension
Institute for Artificial Intelligence, VNU University of Engineering and Technology(人工智能研究所,越南工程大学);Faculty of Information Technology, VNU University of Engineering and Technology(信息技术学院,越南工程大学)
针对越南语缺乏文本分割和阅读理解资源的问题,构建了VSMRC数据集,包含约1.6万文档和1.6万问答对,实验证明多语言模型mBERT优于单语模型,可用于其他低资源语言。
2025-06-19 cs.AI cs.CL
Question Difficulty Ranking for Multiple-Choice Reading Comprehension
ALTA Institute, University of Cambridge(剑桥大学ALTA研究所)
针对多项选择阅读理解题人工难度排序成本高、可扩展性差且训练数据有限的问题,对比任务迁移与零样本难度排序方法,发现零样本相对评估效果最优,系统融合可进一步提升排序相关性。
2024-04-16 cs.AI cs.CL
Integrating Semantic Information into Sketchy Reading Module of Retro-Reader for Vietnamese Machine Reading Comprehension
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
机器阅读理解是近年来自然语言处理领域最前沿、最热门的研究课题之一。可答性问题的分类是机器阅读理解中一个比较重要的子任务,但目前的研究并不多。Retro-Reader是有效解决这一问题的研究之一。然而,大多数传统的机器阅读理解模型的编码器,特别是Retro-Reader,都不能完全利用上下文的上下文语义信息。受SemBERT的启发,我们使用SRL任务中的语义角色标签来为预先训练好的语言模型(如mBERT、XLM-R、PhoBERT)添加语义。本实验旨在比较语义对越南语机器阅读理解可答性分类的影响。此外,我们希望这个实验将增强Retro-Reader模型的粗略阅读模块的编码器。将改进后的Retro-Reader模型的语义编码器首次应用于越南语机器阅读理解任务,取得了良好的效果。
2023-01-01 cs.CL
KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解(MRC)是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70,000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战,以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
Sogou Machine Reading Comprehension Toolkit
Sogou, Inc.(搜狗公司)
近年来,机器阅读理解得到了广泛的研究,基于神经网络的模型表现出了优越的性能。在本文中,我们提出了一个搜狗机器阅读理解(SMRC)工具包,可用于提供现代机器理解模型的快速,高效的开发,包括已发布的模型和原始原型。为了实现这一目标,该工具包提供了数据集读取器、灵活的预处理管道、必要的神经网络组件和内置模型,使数据准备、模型构建和训练的整个过程变得更加简单。
2019-04-01 cs.CL
NumNet: Machine Reading Comprehension with Numerical Reasoning
Tencent Inc(腾讯公司);Tsinghua University(清华大学)
数字推理是人类阅读理解中的一项关键技能,而现有的机器阅读理解(MRC)系统并没有很好地考虑到这一点。为了解决这个问题,我们提出了一个数字MRC模型命名为NumNet,它利用一个数字感知的图神经网络考虑比较信息,并执行数字推理的问题和段落。我们的系统在DROP数据集上获得了64.56%的EM分数,通过考虑数字之间的数值关系,优于所有现有的机器阅读理解模型。
2019-10-15 cs.CL
Analyzing Multiple-Choice Reading and Listening Comprehension Tests
Cambridge University(剑桥大学);ALTA Institute(ALTA研究所);Cambridge Assessment(剑桥评估中心)
本文研究了多项选择阅读与听力理解测试中上下文段落的必要阅读量,发现自动系统在部分或无上下文时仍优于随机水平,为内容创作者自动权衡问题所需的理解能力与世界知识提供了方法。
2023-07-03 cs.CL
ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension
University of California, Irvine(加州大学欧文分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
阅读理解是进一步研究自然语言理解的重要课题之一。最近引入了许多不同的阅读理解数据集来研究自然语言中的各种现象,从简单的释义匹配和实体类型到实体跟踪和理解上下文的含义。鉴于许多这样的数据集的可用性,全面和可靠的评估是繁琐和耗时的研究人员在这个问题上的工作。我们提出了一个评估服务器,ORB,报告性能的七个不同的阅读理解数据集,鼓励和促进测试一个单一的模型的能力,在理解各种各样的阅读现象。评估服务器对如何训练模型没有任何限制,因此它是探索训练范例和一般阅读设施的表示学习的合适测试平台。随着更多合适的数据集的发布,它们将被添加到评估服务器中。我们还收集并包含这些数据集的合成增强,测试模型处理域外问题的能力。
2019-12-29 cs.CL
Deep Manifold Learning for Reading Comprehension and Logical Reasoning Tasks with Polytuplet Loss
York Community High School(约克社区高中);Brown University(布朗大学)
本文提出polytuplet损失函数及配套模型架构,通过强调相对准确率策略,在ReClor数据集上提升阅读理解与逻辑推理任务的性能,并优于基线模型。
2023-12-22 cs.AI cs.CL cs.LG