QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension
University of Copenhagen(哥本哈根大学);RIKEN(理化学研究所);Microsoft Semantic Machines(微软语义机器公司)
近年来,除了对NLP中深度学习模型的大量研究外,还对跟踪建模进度所需的基准数据集进行了大量研究。在这方面,问答和阅读理解特别多产,在过去两年中出现了80多个新的数据集。这项研究是迄今为止该领域最大的调查。我们提供了目前的资源的各种格式和领域的概述,突出了目前的空白,为未来的工作。我们进一步讨论了当前的分类“技能”,问答/阅读理解系统应该获得,并提出了一个新的分类。补充材料调查目前的多语种资源和单语资源的语言以外的英语,我们讨论了过度关注英语的影响。这项研究既针对寻找现有数据财富指针的从业者,也针对研究新资源的研究人员。
2022-09-19 cs.AI cs.CL
Broad Context Language Modeling as Reading Comprehension
Toyota Technological Institute at Chicago(芝加哥丰田工业大学);University of Chicago(芝加哥大学)
文本理解的进展是由测试特定能力的大型数据集驱动的,如最近的阅读理解数据集(Hermann et al.,2015年)。我们在这里关注LAMBADA数据集(Paperno等人,2016),一个单词预测任务需要比直接句子更广泛的上下文。我们认为LAMBADA作为一个阅读理解问题,并应用基于神经网络的理解模型。虽然这些模型被限制在从上下文中选择一个词,但它们将LAMBADA的最新技术水平从7.3%提高到了49%。我们分析了100个实例,发现神经网络阅读器在涉及基于对话或话语线索从上下文中选择名称的情况下表现良好,但在需要共指消解或外部知识时表现不佳。
2017-02-16 cs.CL
Read Before You Think: Mitigating LLM Comprehension Failures with Step-by-Step Reading
本文针对大语言模型因问题理解缺陷导致的推理失败,提出逐步阅读提示家族SSR++,通过细粒度解析、注意力聚焦和迭代重语境化解决后向依赖,在多个推理基准上取得最优结果。
2025-09-18 cs.AI cs.CL
Neural Skill Transfer from Supervised Language Tasks to Reading Comprehension
Institute for Computational Linguistics, Heidelberg University(海德堡大学计算语言学研究所);Research Training Group AIPHES(AIPHES研究训练小组);Amazon, AWS Deep Learning(亚马逊AWS深度学习)
阅读理解是自然语言处理中的一项具有挑战性的任务,需要一系列的技巧来解决。虽然目前的方法集中在解决作为一个整体的任务,在本文中,我们建议使用一个神经网络“技能”转移的方法。我们将知识从几个较低层次的语言任务(技能),包括文本蕴涵,命名实体识别,释义检测和问题类型分类到阅读理解模型。我们进行了实证评估,并表明,转移语言技能知识导致显着改善的任务相比,基线模型的步骤少得多。我们还表明,技能转移的方法是有效的,即使有少量的训练数据。这项工作的另一个发现是,使用token-wise深度标签监督进行文本分类,提高了迁移学习的性能。
2017-11-10 cs.CL
Question Generation for Reading Comprehension Assessment by Modeling How and What to Ask
University of Alberta(阿尔伯塔大学);EyeRead(EyeRead公司)
阅读是日常生活中不可或缺的一部分,但学习阅读对许多年轻学习者来说是一场斗争。在课堂上,教师可以使用理解问题来提高参与度,测试阅读技能,并提高记忆力。从历史上看,这些问题是由熟练的教师编写的,但最近语言模型已被用于生成理解问题。然而,许多现有的问题生成(QG)系统侧重于从文本中生成文字问题,并没有办法控制生成的问题的类型。在本文中,我们研究QG阅读理解推理问题是关键和提取技术不能使用。我们提出了一个两步模型(HTA-WTA),它利用了以前的数据集,并可以为特定的目标理解技能生成问题。我们提出了一个新的阅读理解数据集,其中包含与基于故事的阅读理解技能(SBRCS)注释的问题,允许更完整的读者评估。在几个实验中,我们的结果表明HTA-WTA在这个新数据集上的表现优于多个强基线。我们表明,HTA-WTA模型通过提出深度推理问题来测试强SCRS。
2022-04-06 cs.AI cs.CL cs.LG
Deep Manifold Learning for Reading Comprehension and Logical Reasoning Tasks with Polytuplet Loss
York Community High School(约克社区高中);Brown University(布朗大学)
本文提出polytuplet损失函数及配套模型架构,通过强调相对准确率策略,在ReClor数据集上提升阅读理解与逻辑推理任务的性能,并优于基线模型。
2023-12-22 cs.AI cs.CL cs.LG
Answer Span Correction in Machine Reading Comprehension
IBM Research AI(IBM研究院AI)
机器阅读理解(MRC)中的答案验证包括根据输入上下文和问题对提取的答案进行验证。以前的工作着眼于重新评估问题的“可回答性”,给出了提取的答案。在这里,我们解决一个不同的问题:现有的MRC系统的倾向,以产生部分正确的答案时,提出了可回答的问题。我们探讨了这种错误的性质,并提出了一种后处理校正方法,产生统计上显着的性能改进,在单语和多语言评估的最先进的MRC系统。
2020-11-06 cs.AI cs.CL cs.LG
Zero-Shot Relation Extraction via Reading Comprehension
Univ. of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
我们表明,关系抽取可以减少到回答简单的阅读理解问题,通过关联一个或多个自然语言的问题与每个关系插槽。这种简化有几个优点:我们可以(1)通过扩展最近的神经阅读理解技术来学习关系提取模型,(2)通过将关系特定的众包问题与远程监督相结合,为这些模型构建非常大的训练集,甚至(3)通过提取只在测试时指定的新关系类型来进行零样本学习,我们没有标记的训练样本。维基百科上的插槽填充任务的实验表明,该方法可以推广到新的问题,已知的关系类型具有高精度,和zero-shot推广看不见的关系类型是可能的,在较低的精度水平,设置酒吧为今后的工作在这项任务。
2017-06-13 cs.AI cs.CL cs.LG
Design and Challenges of Cloze-Style Reading Comprehension Tasks on Multiparty Dialogue
Emory University(埃默里大学)
本文分析了完形填空阅读理解在多方对话中面临的挑战,并提出了两个新的任务,以更全面地预测日常对话中的个人实体。我们首先证明,有大量的限制,以前的工作,即随机分配的样本的训练和测试数据的评估方法大大降低了完形填空式阅读理解的复杂性。根据我们的分析,用时间顺序数据分割代替随机数据分割将先前单变量通道完成任务的测试准确率从72%降低到34%,这留下了更多的改进空间。我们提出的任务扩展了以前的单变量通道完成任务,用变量替换更多的字符提及。开发了几个深度学习模型来验证这三个任务。一个彻底的错误分析提供了理解的挑战,并指导本研究的未来方向。
2021-07-12 cs.AI cs.CL cs.LG
RACE: Large-scale ReAding Comprehension Dataset From Examinations
Carnegie Mellon University(卡内基梅隆大学)
我们提出了RACE,一个新的数据集的基准评估方法在阅读理解任务。RACE收集了中国12至18岁初中和高中学生的英语考试,由近28,000篇文章和近100,000个由人类专家(英语教师)生成的问题组成,涵盖了各种精心设计的主题,用于评估学生的理解和推理能力。特别是,RACE中需要推理的问题比例远远大于其他阅读理解基准数据集,并且最先进模型的性能(43%)与人类性能上限(95%)之间存在显着差距。我们希望这个新的数据集可以作为机器理解研究和评估的宝贵资源。数据集可在http://www.cs.cmu.edu/~glai1/data/race/上免费获得,代码可在https://github.com/qizhex/RACE_AR_baselines上获得。
2017-12-05 cs.AI cs.CL cs.LG
From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap
Amazon Alexa AI(亚马逊Alexa AI);Computer Science & Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
对话状态跟踪(DST)是面向任务的对话系统的核心。然而,标记数据的稀缺性是构建跨各种领域工作的准确和强大的状态跟踪系统的障碍。现有的方法通常需要一些对话数据的状态信息和他们的能力推广到未知的领域是有限的。在本文中,我们提出使用机器阅读理解(RC)的状态跟踪从两个角度:模型架构和数据集。我们将对话状态中的槽类型分为类别槽和抽取槽,以借鉴多项选择和广度阅读理解模式的优点。我们的方法在MultiWOZ 2.1上实现了接近当前最先进的联合目标精度,给出了完整的训练数据。更重要的是,通过利用机器阅读理解数据集,当域内数据的可用性有限时,我们的方法在Few-Shot场景中比现有方法表现出更大的优势。最后,即使没有任何状态跟踪数据,即,在zero-shot场景中,我们提出的方法在MultiWOZ 2.1的30个插槽中的12个插槽中实现了大于90%的平均插槽精度。
2020-04-13 cs.AI cs.CL cs.LG
A Survey on Explainability in Machine Reading Comprehension
University of Manchester(曼彻斯特大学)
本文对机器阅读理解(MRC)中的可解释性基准和方法进行了系统的综述。我们提出了如何表示和推理的挑战演变和采取的步骤来解决这些挑战。我们还提出了评估方法来评估可解释系统的性能。此外,我们还确定了持续存在的开放研究问题,并强调了未来工作的关键方向。
2020-10-01 cs.AI cs.CL
Giving BERT a Calculator: Finding Operations and Arguments with Reading Comprehension
Google Research(谷歌研究院)
阅读理解模型已经成功地应用于文本答案的提取,但目前还不清楚如何最好地将这些模型推广到抽象的数字答案。我们使基于BERT的阅读理解模型能够执行轻量级的数值推理。我们增加了一组预定义的可执行的“程序”,其中包括简单的算术以及提取模型。在最近的段落离散推理(DROP)数据集上,我们通过添加浅层程序显示出33%的绝对改进,该数据集旨在挑战阅读理解模型。该模型可以在数学应用题设置中学习预测新的操作(Roy和Roth,2015),只需很少的训练样本。
2019-09-12 cs.CL cs.LG
Words or Characters? Fine-grained Gating for Reading Comprehension
Carnegie Mellon University(卡内基梅隆大学)
以前的工作结合了单词级和字符级的表示使用串联或标量加权,这是次优的高层次的任务,如阅读理解。我们提出了一个细粒度的门控机制,动态结合字级和字符级表示的基础上的属性的话。我们还扩展了细粒度门控的想法,为阅读理解建模问题和段落之间的相互作用。实验表明,该方法可以提高阅读理解任务的性能,在儿童图书测试数据集上取得了新的最先进的结果。为了证明我们的门控机制的一般性,我们还展示了社交媒体标签预测任务的改进结果。
2017-09-11 cs.CL cs.LG
Bridging Information-Seeking Human Gaze and Machine Reading Comprehension
MIT BCS(麻省理工学院脑与认知科学系)
在这项工作中,我们分析如何在阅读理解过程中的人的目光是有条件的给定的阅读理解问题,以及这个信号是否可以有益于机器阅读理解。为此,我们收集了一个新的眼动跟踪数据集,其中有大量参与者参与多项选择阅读理解任务。我们对这些数据的分析显示,与回答问题最相关的文本部分的固定时间增加。基于这一发现,我们建议通过模仿人类在阅读理解过程中寻求信息的阅读行为,使自动阅读理解更像人类。我们证明,这种方法导致性能增益的多项选择问答在英语的国家的最先进的阅读理解模型。
2020-10-15 cs.CL
Revealing Weaknesses of Vietnamese Language Models Through Unanswerable Questions in Machine Reading Comprehension
Denison University(丹尼森大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);University of Information Technology, Ho Chi Minh City(胡志明市信息技术大学)
虽然多语言的诅咒显著限制了多语言模型在单语环境中的语言能力,但研究人员现在仍然必须依赖多语言模型来开发越南语机器阅读理解的最先进系统。这一研究的困难是由于开发越南语语言模型的高质量作品数量有限。为了鼓励更多的工作在这一研究领域,我们提出了一个全面的分析语言的弱点和优势,目前越南单语模型使用的下游任务机器阅读理解。根据分析结果,我们提出了发展越南语语言模型的新方向。除了这一主要贡献,我们还成功地揭示了存在的文物越南机器阅读理解基准,并建议迫切需要新的高质量的基准来跟踪越南机器阅读理解的进展。此外,我们还介绍了一个小的,但有价值的修改的过程中注释无法回答的问题,机器阅读理解从以前的工作。我们提出的修改有助于提高质量的无法回答的问题,以更高的难度水平的机器阅读理解系统解决。
2023-03-16 cs.AI cs.CL
MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics
UC Irvine(加州大学欧文分校);The Hebrew University(希伯来大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);AI2 Irvine(艾伦人工智能研究所欧文分部)
把阅读理解作为一个生成问题提供了很大的灵活性,允许开放式的问题,对可能的答案几乎没有限制。然而,现有的生成指标阻碍了进展,这些指标依赖于标记重叠,并且对阅读理解的细微差别不可知。为了解决这个问题,我们引入了一个用于训练和评估生成式阅读理解指标的基准:使用人类注释建模正确性。MOCHA包含来自6个不同问答数据集的模型输出的40K人类判断分数和用于评估的额外一组最小对。使用MOCHA,我们训练阅读理解的学习评价指标LERC,以模仿人类的判断分数。LERC在保留注释上的绝对Pearson点超过基线指标10到36。当我们评估最小对的鲁棒性时,LERC达到了80%的准确率,比基线高出14到26个绝对百分点,同时留下了显著的改进空间。MOCHA提出了一个具有挑战性的问题,发展准确和强大的生成式阅读理解指标。
2020-10-15 cs.CL cs.LG
How Much Reading Does Reading Comprehension Require? A Critical Investigation of Popular Benchmarks
Carnegie Mellon University(卡内基梅隆大学)
最近的许多论文都涉及阅读理解,其中的例子由(问题,段落,答案)元组组成。据推测,模型必须结合问题和段落的信息来预测相应的答案。然而,尽管人们对这个话题有着浓厚的兴趣,数百篇已发表的论文都在争夺排行榜的主导地位,但关于许多流行基准的难度的基本问题仍然没有答案。在本文中,我们为bAbI,SQuAD,CBT,CNN和Who-did-What数据集建立了合理的基线,发现仅问题和问题模型通常表现得非常好。在$20$ bAbI任务之外的$14$上,仅限数据的模型实现的精度高于$50\%$,有时与完整模型匹配。有趣的是,虽然CBT提供了$20$ -句子故事,但只有最后一个句子故事才能进行非常准确的预测。相比之下,SQuAD和CNN的结构似乎更好。
2018-08-21 cs.AI cs.CL cs.LG
ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning
National University of Singapore(新加坡国立大学)
最近的强大的预训练语言模型在大多数流行的阅读理解数据集上取得了显着的性能。现在是时候引入更具挑战性的数据集,推动该领域朝着更全面的文本推理方向发展了。在本文中,我们介绍了一个新的阅读理解数据集,需要逻辑推理(ReClor)从标准化的研究生入学考试中提取。正如早期的研究所表明的那样,人类注释的数据集通常包含偏见,这些偏见通常被模型利用来实现高准确性,而无需真正理解文本。为了综合评价ReClor上模型的逻辑推理能力,我们提出识别有偏差的数据点,并将其分离为EASY集,其余为HARD集。实证结果表明,国家的最先进的模型具有出色的能力,捕捉偏差包含在数据集上的EASY集的高精度。然而,它们在HARD集上的表现与随机猜测的表现相近,这表明需要更多的研究来从根本上提高当前模型的逻辑推理能力。
2020-08-22 cs.AI cs.CL cs.LG
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research(讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学)
机器阅读理解(MRC)是近年来非常流行的一门学科,受到了广泛的关注。然而,现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性,本文提出了一个新的中文阅读理解数据集,以促进社区的相关研究。该数据集包含两种不同的类型:完形填空式阅读理解和用户查询式阅读理解,与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起,我们还举办了第一届中文机器阅读理解评估(CMRC-2017),并成功吸引了数十名参与者,这表明了此数据集的潜在影响。
2018-03-15 cs.CL
Reading Comprehension Ability Test-A Turing Test for Reading Comprehension
Victoria University(维多利亚大学);Nanyang Technological University(南洋理工大学)
阅读理解能力是人类智力的重要组成部分。识字和算术是人们在学习、工作和生活中取得成功的两个最重要的基础。阅读理解能力是读写能力的核心组成部分。在大多数教育系统中,培养阅读理解能力是一年级至十二年级课程的必修课。它是传播知识不可或缺的能力。随着人工智能的出现,计算机开始能够像人一样在某些上下文中阅读和理解。他们甚至可以在某些任务中比人类读得更好,但在其他任务中几乎没有线索。如果我们能够识别机器理解能力的水平,这将是非常有益的,这将指导我们进一步提高。图灵测试是一个著名的测试计算机智能和人类智能之间的差异。为了能够比较人类阅读和机器阅读之间的差异,我们提出了一个名为(阅读)理解能力测试(CAT)的测试。CAT类似于图灵测试,通过该测试意味着我们无法在理解能力方面区分人类和算法。CAT有多个层次,显示了阅读理解的不同能力,从识别基本事实,进行推理,到理解意图和情感。
2019-09-05 cs.CL
CJRC: A Reliable Human-Annotated Benchmark DataSet for Chinese Judicial Reading Comprehension
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);China Justice Big Data Institute(中国司法大数据研究院);Tsinghua University(清华大学)
我们提出了一个中国司法阅读理解(CJRC)数据集,其中包含约10K的文件和近50K的问题与答案。这些文件来自裁判文书,问题由法律专家注释。CJRC数据集可以帮助研究人员通过阅读理解技术提取元素。要素提取是法律领域的一项重要工作。然而,由于文档类型和作用原因的多样性,很难完全描述元素类型。相比之下,机器阅读理解技术可以通过回答长文档中的各种问题来快速提取元素。我们建立了两个强基线模型的基础上BERT和Bioburden。实验结果表明,与人类注释器相比,有足够的改进空间。
2019-12-19 cs.CL cs.LG
Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
理解叙述需要阅读字里行间的内容,这反过来又需要解释事件的可能原因和影响,即使它们没有明确提到。在本文中,我们介绍了Cosmos QA,这是一个包含35,600个问题的大规模数据集,这些问题需要基于常识的阅读理解,并以多项选择题的形式表达。与大多数现有的阅读理解数据集形成鲜明对比的是,这些数据集的问题集中在对上下文段落的事实和字面理解上,我们的数据集集中在对人们日常叙述的各种收集的字里行间的阅读,提出诸如“可能的原因是什么...?或者“如果......“这需要推理超出确切的文本跨度在上下文中。为了建立Cosmos QA的基线性能,我们实验了几种用于阅读理解的最先进的神经架构,并提出了一种新的架构,该架构在竞争基线上有所改进。实验结果表明,机器(68.4%)和人类(94%)之间存在显着差距,为未来的常识机器理解研究指明了方向。数据集、代码和排行榜可在https://wilburone.github.io/cosmos上公开获取。
2019-09-06 cs.AI cs.CL
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学)
使机器能够阅读和理解自然语言文档,以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来,深度学习的普及和大规模数据集的建立,都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器,并介绍了一些经典的模型,分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
Towards Inference-Oriented Reading Comprehension: ParallelQA
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们研究了端到端神经机器阅读理解(MRC)模型匹配浅层模式的趋势,而不是在RC基准上执行面向推理的推理。我们的目标是测试这些系统的能力,回答问题的重点是参考推理。我们提出了一种使用平行通道来制定此类问题的策略。我们还证明了现有的神经模型无法很好地推广到这种设置。
2018-05-10 cs.AI cs.CL
A Multilingual Modeling Method for Span-Extraction Reading Comprehension
Tsinghua University(清华大学);Beijing MoreHealth Technology Group Co. Ltd(北京妙健康科技集团有限公司)
跨度提取阅读理解模型已经取得了巨大的进步,这得益于大规模,高质量的训练数据集的可用性。尽管取得了如此迅速的进展和广泛的应用,但英语以外的其他语言的提取阅读理解数据集仍然很少,并且为每种语言创建如此大量的训练数据是昂贵的,甚至是不可能的。创建大规模高质量单语跨度提取训练数据集的替代方案是开发多语言建模方法和系统,其可以转换到目标语言而不需要该语言的训练数据。本文针对目标语言中提取阅读理解训练数据的稀缺性,提出了一种多语言提取阅读理解方法XLRC,该方法利用自适应注意和多语言注意同时对多语言环境中已有的提取阅读理解训练数据进行建模。具体而言,我们首先通过翻译现有的提取阅读理解数据集(即,CMRC 2018)从目标语言(即,中文)分为不同的语系(即,英文)。其次,为了提高最终的目标表示,我们采用自适应注意(SAA),结合自我注意和相互注意,提取每对目标和源语言的语义关系。此外,我们提出了多语言注意(MLA),学习丰富的知识,从各种语言的家庭。实验结果表明,我们的模型优于最先进的基线(即,RoBERTa_Large)在CMRC 2018任务上的应用,证明了我们提出的多语言建模方法的有效性,并显示了多语言NLP任务的潜力。
2021-05-31 cs.AI cs.CL
R3: A Reading Comprehension Benchmark Requiring Reasoning Processes
Nanjing University(南京大学)
现有的问答系统只能预测答案,没有明确的推理过程,这阻碍了它们的可解释性,使我们高估了它们对自然语言的理解和推理能力。在这项工作中,我们提出了一个新的阅读理解任务,其中需要一个模型来提供最终的答案和推理过程。为此,我们介绍了一种形式主义的推理非结构化文本,即文本推理的意义表示(TRMR)。TRMR由三个短语组成,这三个短语的表达能力足以表征回答阅读理解问题的推理过程。我们开发了一个注释平台,以方便TRMR的注释,并发布了R3数据集,一个\textbf{R}阅读理解基准\textbf{R},要求\textbf{R}推理过程。R3包含超过60 K对问题-答案对及其TRMR。我们的数据集可在:\url{http://anonymous} .
2020-04-02 cs.AI cs.CL
Question Generation for Assessing Early Literacy Reading Comprehension
本研究提出一种面向K-2英语学习者的阅读理解问题生成方法,可覆盖学习材料、适配学习者能力并生成多类型多难度问题,经FairytaleQA数据集验证,有望成为AI英语教学的重要工具。
2025-07-30 cs.AI cs.CL
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune(浦那陆军技术学院)
多项选择机器阅读理解是一项困难的任务,它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人(或机器)阅读给定的文章、问题对,并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案,或者通过消除最差匹配答案。在这里,我们提出了GenNet模型,一个基于神经网络的模型。在这个模型中,我们首先从文章中生成问题的答案,然后将生成的答案与给定的答案进行匹配,最佳匹配的选项将是我们的答案。对于答案生成,我们使用S-网(Tan等人,2017)在SQuAD上训练的模型,为了评估我们的模型,我们使用了大规模RACE(来自考试的阅读理解数据集)(Lai et al.,2017年)的报告。
2020-03-18 cs.AI cs.CL
Forget Me Not: Reducing Catastrophic Forgetting for Domain Adaptation in Reading Comprehension
IBM Research Australia(IBM澳大利亚研究院);University of Melbourne(墨尔本大学)
近年来,大规模开放域阅读理解数据集的创建使得端到端神经理解模型的开发具有良好的效果。为了将这些模型用于具有有限训练数据的领域,最有效的方法之一是首先在大的域外源数据上预训练它们,然后用有限的目标数据对它们进行微调。需要注意的是,经过微调后,理解模型在源域中的表现往往很差,这种现象被称为灾难性遗忘。在本文中,我们探讨的方法,克服灾难性遗忘在微调,而不假设访问数据的源域。我们引入了新的辅助惩罚项,并观察到最佳性能时,辅助惩罚项的组合被用来调整适应理解模型的微调过程。为了测试我们的方法,我们开发并发布了6个窄域数据集,这些数据集可能被用作阅读理解基准。
2020-11-20 cs.CL cs.LG
Numerical reasoning in machine reading comprehension tasks: are we there yet?
Imperial College London(帝国理工学院);City, University of London(伦敦城市大学)
基于数值推理的机器阅读理解是一项涉及阅读理解以及使用算术运算(如加法、减法、排序和计数)的任务。DROP基准(Dua等人,2019)是最近的一个数据集,它启发了旨在解决这一任务的NLP模型的设计。这些模型目前在DROP排行榜上的排名超过了标准指标,表明这些模型已经达到了接近人类的性能。然而,这是否意味着这些模型已经学会了推理?在本文中,我们提出了一个控制研究的一些最高性能的模型架构的任务的数值推理。我们的观察表明,标准指标无法衡量这些任务的进展情况。
2021-09-16 cs.AI cs.CL
Discourse-Aware Semantic Self-Attention for Narrative Reading Comprehension
Heidelberg University(海德堡大学)
在这项工作中,我们建议使用语言注释作为基础的\textit{Discourse-Aware Semantic Self-Attention}编码器,我们采用阅读理解长叙事文本。我们提取的话语单位,事件和他们的论点之间的关系,以及共指提及,使用现有的注释工具。我们的实证评估表明,调查结构提高了整体性能,特别是内部和跨部门的话语关系,内部语义角色关系,和长距离共指关系。我们发现,将自我注意力集中在内部关系和连接相邻句子的关系上,有利于在较长的上下文中找到问题的答案。我们的研究结果鼓励使用语篇语义标注来增强自我注意模型对阅读理解的泛化能力。
2019-08-28 cs.CL cs.LG
BiPaR: A Bilingual Parallel Dataset for Multilingual and Cross-lingual Reading Comprehension on Novels
Soochow University(苏州大学)
本文介绍了BiPaR,一个双语并行小说风格的机器阅读理解(MRC)数据集,开发支持多语言和跨语言的阅读理解。BiPaR与现有阅读理解数据集之间最大的区别在于,BiPaR中的每个三元组(Passage,Question,Answer)都是用两种语言编写的。我们从中英文小说中收集了3,667个双语平行段落,通过严格的质量控制程序,通过众包工作人员构建了14,668个平行问答对。我们深入分析了BiPaR,发现BiPaR在问题前缀、答案类型以及问题与段落之间的关系方面提供了良好的多样化。我们还观察到,回答问题的小说需要阅读理解技能的共指消解,多句推理,并理解隐含的因果关系等,与BiPaR,我们建立单语,多语种,跨语言MRC基线模型。即使对于该数据集上相对简单的单语MRC,实验表明,在EM和F1分数方面,强BERT基线落后于人类30分以上,这表明BiPaR为小说的单语,多语言和跨语言MRC提供了一个具有挑战性的测试平台。该数据集可在https://multinlp.github.io/BiPaR/上获得。
2019-10-11 cs.AI cs.CL
Difficulty Controllable Generation of Reading Comprehension Questions
The Chinese University of Hong Kong(香港中文大学);Alibaba DAMO Academy(阿里巴巴达摩院)
我们调查了阅读理解数据集,如SQuAD的问题的难度水平,并提出了一个新的问题生成设置,命名为难度可控的问题生成(DQG)。将阅读理解段落中的句子及其一些文本片段(即,答案),DQG方法需要生成问题,每个问题都有一个给定的文本片段作为其答案,同时生成是在指定的难度标签的控制下-输出的问题应该尽可能满足指定的难度。为了解决这个任务,我们提出了一个端到端框架,通过探索一些重要的直觉来生成指定难度级别的问题。为了评估,我们准备了第一个带有难度标签的阅读理解问题数据集。实验结果表明,该框架生成的问题不仅在BLEU等指标下具有更好的质量,而且符合指定的难度标签。
2019-05-30 cs.AI cs.CL
Self-Supervised Test-Time Learning for Reading Comprehension
Arizona State University(亚利桑那州立大学)
最近关于无监督问答的工作表明,模型可以用程序生成的问答对进行训练,并且可以实现与监督方法竞争的性能。在这项工作中,我们考虑了无监督阅读理解的任务,并提出了一种方法,执行“测试时学习”(TTL)在一个给定的上下文(文本通道),而不需要在大规模的人类创作的数据集包含\textit{context-question-answer}三元组的培训。该方法直接在单个测试上下文上操作,使用自我监督在综合生成的问题-答案对上训练模型,然后推断出针对该上下文的看不见的人类创作的问题的答案。我们的方法实现了具有竞争力的精度与完全监督的方法,并显着优于目前的无监督方法。具有较小模型的TTL方法在无监督阅读理解中与当前最先进的方法也具有竞争力。
2021-03-20 cs.CL cs.LG
ChatPRCS: A Personalized Support System for English Reading Comprehension based on ChatGPT
本文提出基于ChatGPT和最近发展区理论的个性化阅读理解支持系统ChatPRCS,通过能力预测、提示模式和自动评估生成与专家水平一致的高质量问题。
2023-09-25 cs.CL
DRCD: a Chinese Machine Reading Comprehension Dataset
Delta Research Center(台达研究中心);Delta Electronics, Inc.(台达电子工业股份有限公司)
本文介绍了一个开放领域的传统中文机器阅读理解数据集DRCD(Delta Reading Comprehension Dataset)。该数据集旨在成为一个标准的中文机器阅读理解数据集,可以作为迁移学习的源数据集。该数据集包含来自2,108篇维基百科文章的10,014个段落和注释者生成的30,000多个问题。我们建立了一个基线模型,其F1得分为89.59%。人因绩效F1评分为93.30%。
2019-05-29 cs.CL
Relation/Entity-Centric Reading Comprehension
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田理工学院)
构建一台能够理解人类语言的机器是人工智能中最难以捉摸和长期存在的挑战之一。本文通过对阅读理解的研究来解决这一挑战,重点是理解实体及其关系。更具体地说,我们专注于旨在衡量阅读理解的问答任务。我们关注实体和关系,因为它们通常用于表示自然语言的语义。
2020-08-27 cs.CL
STARC: Structured Annotations for Reading Comprehension
MIT(麻省理工学院)
我们提出了STARC(阅读理解结构化注释),一个新的注释框架,用于评估阅读理解与多项选择题。我们的框架引入了一个原则性的结构,答案的选择,并将它们绑定到文本跨度注释。该框架在OneStopQA中实现,OneStopQA是一种用于英语阅读理解评估和分析的新的高质量数据集。我们使用这个数据集来证明STARC可以用于开发SAT类阅读理解材料的关键新应用:通过跨度消融实验进行自动注释质量探测。我们进一步表明,它可以深入分析和比较机器和人类的阅读理解行为,包括错误分布和猜测能力。我们的实验还表明,NLP中的标准多项选择数据集RACE在测量阅读理解能力方面是有限的。47%的问题可以被机器猜到,而不需要访问文章,18%的问题被人类一致认为没有唯一的正确答案。OneStopQA为阅读理解提供了一个替代测试集,它弥补了这些缺点,并具有更高的人类上限性能。
2020-04-30 cs.CL
Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了一个混合的任务感知专家网络的机器阅读理解在一个相对较小的数据集。我们特别关注常识学习的问题,通过专门训练不同的专家网络来捕获每个段落,问题和选择三元组之间的不同关系,从而加强共同基础知识。此外,我们通过训练每个网络一个相关的重点任务,对多任务和迁移学习的最新进展进行了总结。通过强制执行任务和关系,使混合网络意识到特定目标,我们实现了最先进的结果并减少了过度拟合。
2022-10-04 cs.AI cs.CL
MMM: Multi-stage Multi-task Learning for Multi-choice Reading Comprehension
MIT(麻省理工学院);Amazon Alexa AI(亚马逊Alexa人工智能部门)
面向问答的机器阅读理解(MRC)是测试智能系统理解人类语言能力的一种重要方法,其目的是根据相关的上下文段落回答问题。多项选择问答(MCQA)是MRC中最困难的任务之一,因为它通常需要更高级的阅读理解技能,如逻辑推理,总结和算术运算,与答案通常是给定段落内文本的提取对应物相比。此外,大多数现有的MCQA数据集都很小,这使得学习任务更加困难。我们介绍了MMM,一个多阶段多任务多选择阅读理解学习框架。我们的方法包括两个连续的阶段:使用域外数据集的粗调阶段和使用更大的域内数据集的多任务学习阶段,以帮助模型在有限的数据下更好地泛化。此外,我们提出了一种新的多步注意力网络(MAN)作为这项任务的顶级分类器。我们证明了MMM在四个有代表性的MCQA数据集上显着提高了最先进的水平。
2019-11-19 cs.CL cs.LG
ReCoRD: Bridging the Gap between Human and Machine Commonsense Reading Comprehension
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
我们提出了一个大规模的数据集,ReCoRD,机器阅读理解需要常识推理。在这个数据集上的实验表明,最先进的MRC系统的性能远远落后于人类的性能。ReCoRD代表了未来研究的一个挑战,即弥合人类和机器常识阅读理解之间的差距。ReCoRD可在http://nlp.jhu.edu/record上获得。
2018-10-30 cs.CL
Automatic learner summary assessment for reading comprehension
Amazon Research(亚马逊研究院);ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学)
摘要的自动评估为评估学习者的阅读理解提供了一个有用的工具。我们提出了一个评估非母语阅读理解的摘要任务,并提出了三种新的方法来自动评估学习者的摘要。我们在我们创建的两个数据集上评估了我们的模型,并表明我们的模型优于传统的依赖于精确单词匹配的方法。我们最好的模式产生接近专业考官的质量评估。
2019-06-18 cs.CL
Integrating Semantic Information into Sketchy Reading Module of Retro-Reader for Vietnamese Machine Reading Comprehension
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
机器阅读理解是近年来自然语言处理领域最前沿、最热门的研究课题之一。可答性问题的分类是机器阅读理解中一个比较重要的子任务,但目前的研究并不多。Retro-Reader是有效解决这一问题的研究之一。然而,大多数传统的机器阅读理解模型的编码器,特别是Retro-Reader,都不能完全利用上下文的上下文语义信息。受SemBERT的启发,我们使用SRL任务中的语义角色标签来为预先训练好的语言模型(如mBERT、XLM-R、PhoBERT)添加语义。本实验旨在比较语义对越南语机器阅读理解可答性分类的影响。此外,我们希望这个实验将增强Retro-Reader模型的粗略阅读模块的编码器。将改进后的Retro-Reader模型的语义编码器首次应用于越南语机器阅读理解任务,取得了良好的效果。
2023-01-01 cs.CL
KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解(MRC)是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70,000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战,以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
Sogou Machine Reading Comprehension Toolkit
Sogou, Inc.(搜狗公司)
近年来,机器阅读理解得到了广泛的研究,基于神经网络的模型表现出了优越的性能。在本文中,我们提出了一个搜狗机器阅读理解(SMRC)工具包,可用于提供现代机器理解模型的快速,高效的开发,包括已发布的模型和原始原型。为了实现这一目标,该工具包提供了数据集读取器、灵活的预处理管道、必要的神经网络组件和内置模型,使数据准备、模型构建和训练的整个过程变得更加简单。
2019-04-01 cs.CL
NumNet: Machine Reading Comprehension with Numerical Reasoning
Tencent Inc(腾讯公司);Tsinghua University(清华大学)
数字推理是人类阅读理解中的一项关键技能,而现有的机器阅读理解(MRC)系统并没有很好地考虑到这一点。为了解决这个问题,我们提出了一个数字MRC模型命名为NumNet,它利用一个数字感知的图神经网络考虑比较信息,并执行数字推理的问题和段落。我们的系统在DROP数据集上获得了64.56%的EM分数,通过考虑数字之间的数值关系,优于所有现有的机器阅读理解模型。
2019-10-15 cs.CL
Analyzing Multiple-Choice Reading and Listening Comprehension Tests
Cambridge University(剑桥大学);ALTA Institute(ALTA研究所);Cambridge Assessment(剑桥评估中心)
本文研究了多项选择阅读与听力理解测试中上下文段落的必要阅读量,发现自动系统在部分或无上下文时仍优于随机水平,为内容创作者自动权衡问题所需的理解能力与世界知识提供了方法。
2023-07-03 cs.CL
Consensus Attention-based Neural Networks for Chinese Reading Comprehension
iFLYTEK Research(科大讯飞研究);Research Center for Social Computing and Information Retrieval,Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
阅读理解是近年来自然语言处理研究的热点。一些研究机构已经发布了完形填空式阅读理解的数据,这些数据极大地促进了机器理解的研究。在这项工作中,我们首先提出了中文阅读理解数据集,其中包括人民日报新闻数据集和儿童童话(CFT)数据集。此外,我们提出了一个基于共识注意的神经网络架构来解决完形填空式的阅读理解问题,其目的是诱导对查询中的每个单词的共识注意。实验结果表明,所提出的神经网络显着优于国家的最先进的基线在几个公共数据集。此外,我们还建立了一个中文阅读理解任务的基线,希望这能加快未来研究的进程。
2018-03-15 cs.CL cs.NE
MRCEval: A Comprehensive, Challenging and Accessible Machine Reading Comprehension Benchmark
Tsinghua University(清华大学)
针对现有MRC数据集缺乏全面评估的问题,本文提出新分类法并构建覆盖13种技能、含2.1K多选题的MRCEval基准,利用LLMs生成和筛选样本,对28个模型评估表明MRC在LLMs时代仍具挑战性。
2025-03-10 cs.AI cs.CL
ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension
University of California, Irvine(加州大学欧文分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
阅读理解是进一步研究自然语言理解的重要课题之一。最近引入了许多不同的阅读理解数据集来研究自然语言中的各种现象,从简单的释义匹配和实体类型到实体跟踪和理解上下文的含义。鉴于许多这样的数据集的可用性,全面和可靠的评估是繁琐和耗时的研究人员在这个问题上的工作。我们提出了一个评估服务器,ORB,报告性能的七个不同的阅读理解数据集,鼓励和促进测试一个单一的模型的能力,在理解各种各样的阅读现象。评估服务器对如何训练模型没有任何限制,因此它是探索训练范例和一般阅读设施的表示学习的合适测试平台。随着更多合适的数据集的发布,它们将被添加到评估服务器中。我们还收集并包含这些数据集的合成增强,测试模型处理域外问题的能力。
2019-12-29 cs.CL
Multi-task Learning with Sample Re-weighting for Machine Reading Comprehension
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们提出了一个多任务学习框架来学习一个联合的机器阅读理解(MRC)模型,该模型可以应用于不同领域的广泛的MRC任务。受最近机器翻译中数据选择思想的启发,我们开发了一种新的样本重新加权方案,为损失分配样本特定的权重。实证研究表明,我们的方法可以适用于许多现有的MRC模型。结合来自预训练的语言模型(如ELMo)的上下文表示,我们在一组MRC基准数据集上获得了新的最先进的结果。我们在www.example.com上发布代码。
2019-03-31 cs.CL cs.LG
Adversarial Examples for Evaluating Reading Comprehension Systems
Stanford University(斯坦福大学)
标准的准确性指标表明,阅读理解系统正在取得快速进展,但这些系统真正理解语言的程度仍不清楚。为了奖励具有真正语言理解能力的系统,我们提出了一种针对斯坦福问答数据集(SQuAD)的对抗性评估方案。我们的方法测试系统是否可以回答有关包含对立插入句子的段落的问题,这些句子是自动生成的,以分散计算机系统的注意力,而不会改变正确答案或误导人类。在这种对抗性设置中,16个已发布模型的准确度从平均$75\%$ F1分数下降到$36\%$ ;当允许对手添加不符合语法的单词序列时,4个模型的平均准确度进一步下降到$7\%$。我们希望我们的见解将推动开发更精确地理解语言的新模型。
2017-07-23 cs.CL cs.LG
A Span-Extraction Dataset for Chinese Machine Reading Comprehension
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(科大讯飞研究院);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
机器阅读理解(MRC)是近年来非常流行的一门学科,受到了广泛的关注。然而,现有的阅读理解数据集大多是英语的。本文介绍了一个用于中文机器阅读理解的跨度抽取数据集,以增加这方面的语言训练。该数据集由人类专家在维基百科段落上注释的近20,000个真实问题组成。我们还注释了一个挑战集,其中包含需要在整个上下文中进行全面理解和多句推理的问题。我们提出了几个基线系统,以及匿名提交证明在这个数据集的困难。随着数据集的发布,我们主办了第二届中国机器阅读理解评估研讨会(CMRC 2018)。我们希望该数据集的发布能够进一步加速中文机器阅读理解的研究。相关资源:https://github.com/ymcui/cmrc2018
2019-08-29 cs.CL