R3: A Reading Comprehension Benchmark Requiring Reasoning Processes
Nanjing University(南京大学)
现有的问答系统只能预测答案,没有明确的推理过程,这阻碍了它们的可解释性,使我们高估了它们对自然语言的理解和推理能力。在这项工作中,我们提出了一个新的阅读理解任务,其中需要一个模型来提供最终的答案和推理过程。为此,我们介绍了一种形式主义的推理非结构化文本,即文本推理的意义表示(TRMR)。TRMR由三个短语组成,这三个短语的表达能力足以表征回答阅读理解问题的推理过程。我们开发了一个注释平台,以方便TRMR的注释,并发布了R3数据集,一个\textbf{R}阅读理解基准\textbf{R},要求\textbf{R}推理过程。R3包含超过60 K对问题-答案对及其TRMR。我们的数据集可在:\url{http://anonymous} .
2020-04-02 cs.AI cs.CL
Question Generation for Assessing Early Literacy Reading Comprehension
本研究提出一种面向K-2英语学习者的阅读理解问题生成方法,可覆盖学习材料、适配学习者能力并生成多类型多难度问题,经FairytaleQA数据集验证,有望成为AI英语教学的重要工具。
2025-07-30 cs.AI cs.CL
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune(浦那陆军技术学院)
多项选择机器阅读理解是一项困难的任务,它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人(或机器)阅读给定的文章、问题对,并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案,或者通过消除最差匹配答案。在这里,我们提出了GenNet模型,一个基于神经网络的模型。在这个模型中,我们首先从文章中生成问题的答案,然后将生成的答案与给定的答案进行匹配,最佳匹配的选项将是我们的答案。对于答案生成,我们使用S-网(Tan等人,2017)在SQuAD上训练的模型,为了评估我们的模型,我们使用了大规模RACE(来自考试的阅读理解数据集)(Lai et al.,2017年)的报告。
2020-03-18 cs.AI cs.CL
Numerical reasoning in machine reading comprehension tasks: are we there yet?
Imperial College London(帝国理工学院);City, University of London(伦敦城市大学)
基于数值推理的机器阅读理解是一项涉及阅读理解以及使用算术运算(如加法、减法、排序和计数)的任务。DROP基准(Dua等人,2019)是最近的一个数据集,它启发了旨在解决这一任务的NLP模型的设计。这些模型目前在DROP排行榜上的排名超过了标准指标,表明这些模型已经达到了接近人类的性能。然而,这是否意味着这些模型已经学会了推理?在本文中,我们提出了一个控制研究的一些最高性能的模型架构的任务的数值推理。我们的观察表明,标准指标无法衡量这些任务的进展情况。
2021-09-16 cs.AI cs.CL
Question Generation for Reading Comprehension Assessment by Modeling How and What to Ask
University of Alberta(阿尔伯塔大学);EyeRead(EyeRead公司)
阅读是日常生活中不可或缺的一部分,但学习阅读对许多年轻学习者来说是一场斗争。在课堂上,教师可以使用理解问题来提高参与度,测试阅读技能,并提高记忆力。从历史上看,这些问题是由熟练的教师编写的,但最近语言模型已被用于生成理解问题。然而,许多现有的问题生成(QG)系统侧重于从文本中生成文字问题,并没有办法控制生成的问题的类型。在本文中,我们研究QG阅读理解推理问题是关键和提取技术不能使用。我们提出了一个两步模型(HTA-WTA),它利用了以前的数据集,并可以为特定的目标理解技能生成问题。我们提出了一个新的阅读理解数据集,其中包含与基于故事的阅读理解技能(SBRCS)注释的问题,允许更完整的读者评估。在几个实验中,我们的结果表明HTA-WTA在这个新数据集上的表现优于多个强基线。我们表明,HTA-WTA模型通过提出深度推理问题来测试强SCRS。
2022-04-06 cs.AI cs.CL cs.LG
BiPaR: A Bilingual Parallel Dataset for Multilingual and Cross-lingual Reading Comprehension on Novels
Soochow University(苏州大学)
本文介绍了BiPaR,一个双语并行小说风格的机器阅读理解(MRC)数据集,开发支持多语言和跨语言的阅读理解。BiPaR与现有阅读理解数据集之间最大的区别在于,BiPaR中的每个三元组(Passage,Question,Answer)都是用两种语言编写的。我们从中英文小说中收集了3,667个双语平行段落,通过严格的质量控制程序,通过众包工作人员构建了14,668个平行问答对。我们深入分析了BiPaR,发现BiPaR在问题前缀、答案类型以及问题与段落之间的关系方面提供了良好的多样化。我们还观察到,回答问题的小说需要阅读理解技能的共指消解,多句推理,并理解隐含的因果关系等,与BiPaR,我们建立单语,多语种,跨语言MRC基线模型。即使对于该数据集上相对简单的单语MRC,实验表明,在EM和F1分数方面,强BERT基线落后于人类30分以上,这表明BiPaR为小说的单语,多语言和跨语言MRC提供了一个具有挑战性的测试平台。该数据集可在https://multinlp.github.io/BiPaR/上获得。
2019-10-11 cs.AI cs.CL
Difficulty Controllable Generation of Reading Comprehension Questions
The Chinese University of Hong Kong(香港中文大学);Alibaba DAMO Academy(阿里巴巴达摩院)
我们调查了阅读理解数据集,如SQuAD的问题的难度水平,并提出了一个新的问题生成设置,命名为难度可控的问题生成(DQG)。将阅读理解段落中的句子及其一些文本片段(即,答案),DQG方法需要生成问题,每个问题都有一个给定的文本片段作为其答案,同时生成是在指定的难度标签的控制下-输出的问题应该尽可能满足指定的难度。为了解决这个任务,我们提出了一个端到端框架,通过探索一些重要的直觉来生成指定难度级别的问题。为了评估,我们准备了第一个带有难度标签的阅读理解问题数据集。实验结果表明,该框架生成的问题不仅在BLEU等指标下具有更好的质量,而且符合指定的难度标签。
2019-05-30 cs.AI cs.CL
CPST: Comprehension-Preserving Style Transfer for Multi-Modal Narratives
North Carolina State University(北卡罗来纳州立大学)
该研究针对多模态视觉叙事风格迁移需兼顾多模态特征与叙事理解的挑战,提出CPST概念,发布带标注漫画数据集,构建多模块独立风格迁移算法,并用视觉故事完形测试验证其叙事语义保留能力。
2023-12-14 cs.AI cs.CV cs.MM
Testing the Quantitative Spacetime Hypothesis using Artificial Narrative Comprehension (I) : Bootstrapping Meaning from Episodic Narrative viewed as a Feature Landscape
提取重要的和有意义的部分的感官数据流,没有事先训练的问题,研究了符号序列,通过使用文本叙事作为测试用例。这是一个更大的研究的一部分,涉及从时空过程中提取概念,以及它们在混合符号学习“人工智能”中的知识表示。大多数文本分析方法都广泛使用人类进化的语言和语义感。在这项工作中,流解析没有语义的知识,只使用可测量的模式(大小和时间)内不断变化的符号流-作为一个事件的“事件”。这是干涉测量的一种形式。使用轻量级的程序,可以在几秒钟内运行在一个单一的CPU上,这项工作研究的有效性的语义时空假设,提取的概念作为过程不变量。然后,这种“语义预处理器”可以充当更复杂的长期基于图的学习技术的前端。结果表明,我们认为重要和有趣的感官体验不仅仅是基于更高的推理,而是基于简单的时空过程线索,这可能是认知过程在开始时如何引导的。
2020-09-23 cs.AI cs.LG
Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了一个混合的任务感知专家网络的机器阅读理解在一个相对较小的数据集。我们特别关注常识学习的问题,通过专门训练不同的专家网络来捕获每个段落,问题和选择三元组之间的不同关系,从而加强共同基础知识。此外,我们通过训练每个网络一个相关的重点任务,对多任务和迁移学习的最新进展进行了总结。通过强制执行任务和关系,使混合网络意识到特定目标,我们实现了最先进的结果并减少了过度拟合。
2022-10-04 cs.AI cs.CL
Towards a Better Understanding Human Reading Comprehension with Brain Signals
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
阅读理解是一个复杂的认知过程,涉及到人脑的多种活动。大量的研究工作已经对信息检索相关场景下阅读理解的模式和注意分配进行了研究。然而,人们对阅读理解过程中大脑的活动以及这些认知活动如何影响信息检索过程知之甚少。此外,随着脑成像技术(如脑电图(EEG))的进步,可以几乎实时的收集脑信号,并探索是否可以将其用作反馈以促进信息获取性能。在本文中,我们精心设计了一个基于实验室的用户研究,调查大脑活动在阅读理解。我们的研究结果表明,不同类型的阅读内容,即,能满足用户信息需求的内容和不能满足用户信息需求的内容。我们认为,各种认知活动,例如,认知负荷、语义-主题理解和推理加工在阅读理解过程中的微时间尺度上支持这些神经反应。从这些发现中,我们说明了一些见解的信息检索任务,如排名模型的建设和接口设计。此外,我们建议的可能性,检测阅读理解状态的一个积极的现实世界的系统。为此,我们提出了一个统一的框架,基于EEG的阅读理解建模(UERCM)。为了验证其有效性,我们进行了大量的实验,基于脑电特征的两个阅读理解任务:答案句子分类和答案提取。实验结果表明,利用脑电信号提高两种任务的成绩是可行的。
2022-08-17 cs.AI cs.IR cs.IT
More Than Reading Comprehension: A Survey on Datasets and Metrics of Textual Question Answering
University of Florida(佛罗里达大学)
文本问答(QA)的目的是使用非结构化数据以自然语言的形式对用户的问题提供精确的答案。实现这一目标的最流行的方法之一是机器阅读理解(MRC)。近年来,许多新的数据集和评价指标的基础上,经典的MRC任务已经提出了更广泛的文本QA任务。在本文中,我们调查了47个最近的文本QA基准数据集,并从应用的角度提出了一个新的分类。此外,本文还总结了文本QA任务的8个评价指标。最后,我们讨论了当前的趋势,在构建文本QA基准,并建议未来的工作方向。
2022-02-04 cs.AI cs.CL
Testing the Quantitative Spacetime Hypothesis using Artificial Narrative Comprehension (II) : Establishing the Geometry of Invariant Concepts, Themes, and Namespaces
给定从传感器流中选择的观测池,输入数据可以通过多尺度过程在不变概念和主题方面鲁棒地表示。将其应用于情节自然语言数据,可以获得与分解相关联的图形几何,其是事件的时空关系的直接编码。这项研究有助于语义时空假设的持续应用,并展示了无监督的分析叙事文本使用廉价的计算方法,没有语言学知识。通过多尺度干涉测量,以生物信息学分析的方式,将数据流解析并分成小的成分。然后,片段可以重新组合,以构建原始的感觉情节-或者通过化学关联和模式重建形成新的叙事,只基于四个基本的时空关系。在生物信息学过程和这种自然语言的认知表征之间存在着直接的对应关系。可确定为“概念”和“叙述主题”的特征跨越三个主要尺度(微观、中观和宏观)。输入的片段充当字母层级中的符号,在每个尺度上定义新的有效语言。
2020-09-23 cs.AI cs.IR
Paranoid Transformer: Reading Narrative of Madness as Computational Approach to Creativity
Higher School of Economics(高等经济大学);Yandex(扬戴克斯)
本文在计算创造力的背景下重新审视接受理论。它提出了一个偏执的Transformer的案例研究-一个完全自主的文本生成引擎与原始输出,可以阅读作为一个疯狂的数字人物的叙述,没有任何额外的人后过滤。我们描述了生成系统的技术细节,提供输出的例子,并讨论了接受理论,机会发现和模拟边缘心理状态对计算创造力的理解的影响。
2020-07-13 cs.AI cs.CL cs.CY
MRCEval: A Comprehensive, Challenging and Accessible Machine Reading Comprehension Benchmark
Tsinghua University(清华大学)
针对现有MRC数据集缺乏全面评估的问题,本文提出新分类法并构建覆盖13种技能、含2.1K多选题的MRCEval基准,利用LLMs生成和筛选样本,对28个模型评估表明MRC在LLMs时代仍具挑战性。
2025-03-10 cs.AI cs.CL
Deep Manifold Learning for Reading Comprehension and Logical Reasoning Tasks with Polytuplet Loss
York Community High School(约克社区高中);Brown University(布朗大学)
本文提出polytuplet损失函数及配套模型架构,通过强调相对准确率策略,在ReClor数据集上提升阅读理解与逻辑推理任务的性能,并优于基线模型。
2023-12-22 cs.AI cs.CL cs.LG
Generating Reading Comprehension Exercises with Large Language Models for Educational Applications
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai, China(光学电子与计算机工程学院,上海理工大学,上海,中国);Chongqing Academy of Science and Technology, Chongqing, China(重庆市科学技术院,重庆,中国)
本文提出RCEG框架,利用大语言模型自动生成高质量、个性化的英语阅读理解练习,通过内容候选生成、判别器筛选和综合评估指标提升练习质量。
2025-11-24 cs.AI cs.CL
The NarrativeQA Reading Comprehension Challenge
DeepMind;University of Oxford(牛津大学)
阅读理解(RC)--与信息检索相反--需要在整个文档中整合关于事件、实体及其关系的信息和推理。问答通常用于评估RC能力,在人工代理和儿童学习阅读。然而,现有的RC数据集和任务由可以通过使用表面信息(例如,局部上下文相似性或全局术语频率);因此,它们未能测试RC的基本综合方面。为了鼓励更深入地理解语言,我们提出了一个新的数据集和一组任务,读者必须通过阅读整本书或电影剧本来回答有关故事的问题。这些任务的设计是为了成功地回答他们的问题需要理解潜在的叙述,而不是依赖于肤浅的模式匹配或显著性。我们表明,虽然人类很容易解决的任务,标准的RC模型的斗争在这里提出的任务。我们对数据集及其带来的挑战进行了分析。
2017-12-19 cs.AI cs.CL cs.NE
Learning to Ask: Neural Question Generation for Reading Comprehension
Cornell University(康奈尔大学);Shanghai Jiao Tong University(上海交通大学)
本文研究了阅读理解中从篇章中自动生成句子的问题。我们引入了一个基于注意力的序列学习模型的任务,并研究了编码句子与段落级信息的效果。与以前的所有工作相比,我们的模型不依赖于手工制作的规则或复杂的NLP管道;相反,它是通过序列到序列学习的端到端可训练的。自动评估结果表明,我们的系统显着优于国家的最先进的基于规则的系统。在人类评估中,我们的系统生成的问题也被评为更自然(即,语法性、流畅性)和更难回答(就句法和词汇与原文的分歧以及回答所需的推理而言)。
2017-04-29 cs.AI cs.CL
Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking
Tsinghua University(清华大学);Beijing MoreHealth Technology Group Co. Ltd(北京妙健康科技集团有限公司)
摘要大规模、高质量的阅读理解训练数据的出现,使得提取式阅读理解(ERC)取得了巨大的进步。尽管取得了如此迅速的进展和广泛的应用,但除了英语等高资源语言之外,其他语言的数据集仍然很少。为了解决这个问题,我们提出了一个跨语言换位再思考(XLTT)模型建模现有的高质量的提取阅读理解数据集在多语言环境中。具体而言,我们提出了多语言自适应注意(MAA),结合内部注意和相互注意,从每对语言家族中学习更一般的可概括的语义和词汇知识。此外,为了充分利用现有数据集,我们采用了一种新的训练框架,通过计算每个现有数据集和目标数据集之间的任务级相似度来训练我们的模型。实验结果表明,我们的XLTT模型在两个多语言ERC基准测试中超过了六个基线,特别是对低资源语言更有效,F1和EM的平均改善分别为3.9和4.1。
2021-09-28 cs.AI cs.CL
How Much Reading Does Reading Comprehension Require? A Critical Investigation of Popular Benchmarks
Carnegie Mellon University(卡内基梅隆大学)
最近的许多论文都涉及阅读理解,其中的例子由(问题,段落,答案)元组组成。据推测,模型必须结合问题和段落的信息来预测相应的答案。然而,尽管人们对这个话题有着浓厚的兴趣,数百篇已发表的论文都在争夺排行榜的主导地位,但关于许多流行基准的难度的基本问题仍然没有答案。在本文中,我们为bAbI,SQuAD,CBT,CNN和Who-did-What数据集建立了合理的基线,发现仅问题和问题模型通常表现得非常好。在$20$ bAbI任务之外的$14$上,仅限数据的模型实现的精度高于$50\%$,有时与完整模型匹配。有趣的是,虽然CBT提供了$20$ -句子故事,但只有最后一个句子故事才能进行非常准确的预测。相比之下,SQuAD和CNN的结构似乎更好。
2018-08-21 cs.AI cs.CL cs.LG
An Understanding-Oriented Robust Machine Reading Comprehension Model
Northeastern University(东北大学)
尽管现有的机器阅读理解模型在许多数据集上取得了快速进展,但它们远不健壮。本文提出了一种面向理解的机器阅读理解模型,以解决过敏感性、过稳定性和泛化性这三种鲁棒性问题。具体来说,我们首先使用一个自然语言推理模块来帮助模型理解输入问题的准确语义,以解决过度敏感和过度稳定的问题。在机器阅读理解模块中,我们提出了一种记忆引导的多头注意力方法,可以更好地理解输入问题和文章的语义。第三,我们提出了一种多语言学习机制来解决泛化问题。最后,将这些模块与基于多任务学习的方法相结合。我们在三个基准数据集上评估我们的模型,这些数据集旨在衡量模型的鲁棒性,包括DuReader(鲁棒)和两个SQuAD相关数据集。大量的实验表明,我们的模型可以很好地解决上述三种鲁棒性问题。在不同的评估指标下,即使在一些极端和不公平的评估下,它也比所有这些数据集上的最先进的模型取得了更好的结果。我们工作的源代码可以在https://github.com/neukg/RobustMRC上找到。
2022-07-01 cs.AI cs.CL
Simple and Effective Curriculum Pointer-Generator Networks for Reading Comprehension over Long Narratives
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Mila, Polytechnique Montréal(蒙特利尔大学理工学院 Mila);Microsoft Research, Montréal(微软研究院(蒙特利尔));Facebook(脸书);Amazon AI(亚马逊人工智能)
本文解决了阅读理解的问题,在长期的叙述文件很容易跨越数千个令牌。我们提出了一个基于课程学习(CL)的指针生成器框架,用于对大型文档进行阅读/采样,从而基于交替上下文难度的概念实现神经模型的多样化训练。这可以被解释为训练期间的域随机化和/或生成预训练的一种形式。为此,指针生成器的使用软化了在上下文中获得答案的要求,使我们能够构建用于学习的各种训练样本。此外,我们提出了一个新的内省对齐层(IAL),其中的原因分解对齐使用基于块的自我注意。我们在NarrativeQA阅读理解基准测试上评估了我们提出的方法,实现了最先进的性能,通过BLEU-4上的$51\%$相对改进和Rouge-L上的$17\%$相对改进来改进现有基线。广泛消融证实了我们提出的IAL和CL组件的有效性。
2019-05-26 cs.AI cs.CL cs.IR
UQuAD1.0: Development of an Urdu Question Answering Training Data for Machine Reading Comprehension
近年来,低资源的机器阅读理解(MRC)取得了显著的进展,模型在各种语言数据集上都取得了显著的性能。然而,这些模型都没有为乌尔都语定制。这项工作探索了半自动创建乌尔都语问答数据集(UQuAD 1.0),将机器翻译的SQuAD与来自维基百科文章的人工生成样本和来自剑桥O级书籍的乌尔都语RC样本相结合。UQuAD 1.0是一个大规模的乌尔都语数据集,用于提取机器阅读理解任务,由49 k个问题答案对组成,包括问题,段落和答案格式。在UQuAD 1.0中,通过原始SQuAD 1.0的机器翻译生成了45000对QA,通过众包生成了大约4000对QA。在这项研究中,我们使用了两种类型的MRC模型:基于规则的基线和基于高级转换器的模型。然而,我们发现后者的性能优于其他架构;因此,我们决定只关注基于transformer的架构。使用XLMRoBERTa和多语言BERT,我们获得的F1得分分别为0.66和0.63。
2021-11-02 cs.AI cs.CL
A Close Reading Approach to Gender Narrative Biases in AI-Generated Stories
Sapienza University of Rome(罗马萨皮恩扎大学);Link University of Rome(罗马链接大学)
本文采用细读方法,基于Propp角色分类和Freytag叙事结构设计提示词,分析ChatGPT、Gemini和Claude生成故事中的性别叙事偏见,揭示了隐性偏见的持续存在并强调多层面评估的重要性。
2025-08-13 cs.AI cs.CL cs.CY
Answer Span Correction in Machine Reading Comprehension
IBM Research AI(IBM研究院AI)
机器阅读理解(MRC)中的答案验证包括根据输入上下文和问题对提取的答案进行验证。以前的工作着眼于重新评估问题的“可回答性”,给出了提取的答案。在这里,我们解决一个不同的问题:现有的MRC系统的倾向,以产生部分正确的答案时,提出了可回答的问题。我们探讨了这种错误的性质,并提出了一种后处理校正方法,产生统计上显着的性能改进,在单语和多语言评估的最先进的MRC系统。
2020-11-06 cs.AI cs.CL cs.LG
NEUer at SemEval-2021 Task 4: Complete Summary Representation by Filling Answers into Question for Matching Reading Comprehension
Northeastern University(东北大学);Westlake University(西湖大学)
SemEval任务4旨在从多个候选项中找到一个合适的选项来解决机器阅读理解任务。大多数现有的方法建议concat问题和选项一起,形成一个上下文感知模型。然而,我们认为,简单的串联只能提供一个粗粒度的上下文MRC任务,忽略了特定的位置的选项相对于问题。在本文中,我们提出了一种新的MRC模型,通过填充选项到问题,产生一个细粒度的上下文(定义为摘要),可以更好地揭示选项和问题之间的关系。我们在给定的数据集上进行了一系列的实验,结果表明,我们的方法在很大程度上优于其他同行。
2021-05-25 cs.AI cs.CL
Deep Understanding based Multi-Document Machine Reading Comprehension
Northeastern University(东北大学)
现有的多文档机器阅读理解模型主要侧重于理解输入问题与文档之间的交互,而忽略了以下两种理解。首先,从对方的角度理解输入问题和文档中单词的语义。第二,从文档内和文档间的角度理解正确答案的支持线索。忽略这两种重要的理解会使模型忽略一些可能有助于得出正确答案的重要信息。为了克服这一缺陷,我们提出了一个基于深度理解的多文档机器阅读理解模型。它有三个级联的深度理解模块,旨在理解单词的准确语义,输入问题和文档之间的交互以及正确答案的支持线索。我们在两个大规模的基准数据集上评估了我们的模型,即TriviaQA Web和DuReader。大量的实验表明,我们的模型在两个数据集上都取得了最先进的结果。
2022-02-25 cs.AI cs.CL
Commonsense Evidence Generation and Injection in Reading Comprehension
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Tencent Hippocrates Research Lab(腾讯希波克拉底研究实验室)
人们在阅读理解时,不仅要依据语境本身,而且往往还要依赖于语境之外的常识。为了增强机器的常识推理能力,本文提出了一个阅读理解中的常识证据生成和注入框架CEGI。该框架为阅读理解注入了两种辅助常识证据,使机器具备了理性思维的能力。具体来说,我们建立了两个证据生成器:第一个生成器的目的是通过语言模型生成文本证据;另一个生成器的目的是在图形完成后从常识知识图谱中提取事实证据(自动对齐的文本三元组)。这些证据结合了上下文常识,并作为模型的额外输入。此后,我们提出了一个深上下文编码器提取段落,问题,选项和证据之间的语义关系。最后,我们采用一个胶囊网络提取不同的语言单位(词和短语)的关系,并动态预测的基础上提取的单位的最佳选择。在CosmosQA数据集上的实验表明,所提出的CEGI模型优于当前最先进的方法,并达到了排行榜上的准确率(83.6%)。
2020-05-11 cs.AI cs.CL
Zero-Shot Relation Extraction via Reading Comprehension
Univ. of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
我们表明,关系抽取可以减少到回答简单的阅读理解问题,通过关联一个或多个自然语言的问题与每个关系插槽。这种简化有几个优点:我们可以(1)通过扩展最近的神经阅读理解技术来学习关系提取模型,(2)通过将关系特定的众包问题与远程监督相结合,为这些模型构建非常大的训练集,甚至(3)通过提取只在测试时指定的新关系类型来进行零样本学习,我们没有标记的训练样本。维基百科上的插槽填充任务的实验表明,该方法可以推广到新的问题,已知的关系类型具有高精度,和zero-shot推广看不见的关系类型是可能的,在较低的精度水平,设置酒吧为今后的工作在这项任务。
2017-06-13 cs.AI cs.CL cs.LG
To Test Machine Comprehension, Start by Defining Comprehension
Elemental Cognition(元素认知公司)
许多任务旨在测量机器阅读理解(MRC),通常侧重于被认为是困难的问题类型。然而,任务设计者很少从考虑系统实际上应该理解什么开始。在本文中,我们做了两个关键的贡献。首先,我们认为,现有的方法没有充分定义的理解,他们是太不系统的内容进行测试。其次,我们提出了一个详细的定义理解-“理解的模板”-广泛有用的一类文本,即短叙事。然后,我们进行了一个实验,强烈表明现有的系统不符合我们定义的叙事理解任务。
2020-05-11 cs.AI cs.CL
Design and Challenges of Cloze-Style Reading Comprehension Tasks on Multiparty Dialogue
Emory University(埃默里大学)
本文分析了完形填空阅读理解在多方对话中面临的挑战,并提出了两个新的任务,以更全面地预测日常对话中的个人实体。我们首先证明,有大量的限制,以前的工作,即随机分配的样本的训练和测试数据的评估方法大大降低了完形填空式阅读理解的复杂性。根据我们的分析,用时间顺序数据分割代替随机数据分割将先前单变量通道完成任务的测试准确率从72%降低到34%,这留下了更多的改进空间。我们提出的任务扩展了以前的单变量通道完成任务,用变量替换更多的字符提及。开发了几个深度学习模型来验证这三个任务。一个彻底的错误分析提供了理解的挑战,并指导本研究的未来方向。
2021-07-12 cs.AI cs.CL cs.LG
Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
多跳阅读理解需要模型从多个句子/文档中探索和连接相关信息,以回答有关上下文的问题。为了实现这一点,我们提出了一个可解释的3-模块系统,称为探索-建议-组装阅读器(EPAr)。首先,文档浏览器迭代地选择相关文档,并以树结构表示发散的推理链,以便允许从所有链吸收信息。答案提议器然后从推理树中的每个根到叶路径提议答案。最后,证据汇编器从每条路径中提取包含建议答案的关键句,并将它们组合起来预测最终答案。直观地说,EPAr近似于人类读者在面对多个长文档时从粗到细的理解行为。我们共同优化我们的3个模块,最大限度地减少损失的总和,从每一个阶段的条件下,前一阶段的输出。在两个多跳阅读理解数据集WikiHop和MedHop上,与最先进的模型相比,我们的EPAr模型在基线和竞争结果上取得了显着的改进。我们还提出了多个推理链恢复测试和消融研究,以证明我们的系统的能力,执行可解释的和准确的推理。
2019-06-12 cs.AI cs.CL
RACE: Large-scale ReAding Comprehension Dataset From Examinations
Carnegie Mellon University(卡内基梅隆大学)
我们提出了RACE,一个新的数据集的基准评估方法在阅读理解任务。RACE收集了中国12至18岁初中和高中学生的英语考试,由近28,000篇文章和近100,000个由人类专家(英语教师)生成的问题组成,涵盖了各种精心设计的主题,用于评估学生的理解和推理能力。特别是,RACE中需要推理的问题比例远远大于其他阅读理解基准数据集,并且最先进模型的性能(43%)与人类性能上限(95%)之间存在显着差距。我们希望这个新的数据集可以作为机器理解研究和评估的宝贵资源。数据集可在http://www.cs.cmu.edu/~glai1/data/race/上免费获得,代码可在https://github.com/qizhex/RACE_AR_baselines上获得。
2017-12-05 cs.AI cs.CL cs.LG
Lightweight Convolutional Approaches to Reading Comprehension on SQuAD
Stanford University(斯坦福大学)
当前最先进的阅读理解模型严重依赖于递归神经网络。我们探索了一种完全不同的问答方法:卷积模型。就其本质而言,这些卷积模型能够快速训练并很好地捕获局部依赖关系,尽管它们可能会与较长范围的依赖关系作斗争,因此需要增强以实现与基于RNN的模型相当的性能。我们使用卷积模型和各种内核/注意力/正则化方案进行了二十多个受控实验,以确定每种策略的精确性能增益,同时保持对速度的关注。我们最终集成了三个模型:crossconv(0.5398 dev F1),attnconv(0.5665)和maybeconv(0.5285)。使用官方SQuAD评估脚本,集成模型能够获得0.6238 F1分数。我们的个人卷积模型crossconv能够超过RNN加注意力基线的性能25%,同时训练速度快6倍。
2018-10-19 cs.AI cs.CL
Beyond Facts: Benchmarking Distributional Reading Comprehension in Large Language Models
National Taiwan University(国立台湾大学);University of California, Los Angeles(加州大学洛杉矶分校);Academia Sinica, Taiwan(台湾“中央研究院”);NTU AI-CoRE(国立清华大学AI研究中心)
本文提出Text2DistBench基准测试,评估LLM从自然语言中推断分布知识的能力,通过真实YouTube评论数据,测试模型在估计评论比例和识别高频主题方面的表现,揭示LLM在分布式阅读理解中的能力和局限。
2026-04-18 cs.AI cs.CL
QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension
University of Copenhagen(哥本哈根大学);RIKEN(理化学研究所);Microsoft Semantic Machines(微软语义机器公司)
近年来,除了对NLP中深度学习模型的大量研究外,还对跟踪建模进度所需的基准数据集进行了大量研究。在这方面,问答和阅读理解特别多产,在过去两年中出现了80多个新的数据集。这项研究是迄今为止该领域最大的调查。我们提供了目前的资源的各种格式和领域的概述,突出了目前的空白,为未来的工作。我们进一步讨论了当前的分类“技能”,问答/阅读理解系统应该获得,并提出了一个新的分类。补充材料调查目前的多语种资源和单语资源的语言以外的英语,我们讨论了过度关注英语的影响。这项研究既针对寻找现有数据财富指针的从业者,也针对研究新资源的研究人员。
2022-09-19 cs.AI cs.CL
Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Graph Neural Networks
University of Rochester(罗切斯特大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);Westlake University(西湖大学)
多跳阅读理解专注于一种类型的事实问题,其中系统需要适当地整合多个证据来正确回答问题。以前的工作近似全球的证据与当地的共指信息,编码共指链与DAG风格的GRU层内的门注意力读者。然而,共指在为丰富推理提供信息方面是有限的。我们介绍了一种新的方法,更好地连接全局证据,形成更复杂的图相比,DAG。为了在我们的图上进行证据集成,我们研究了两个最近的图神经网络,即图卷积网络(GCN)和图递归网络(GRN)。在两个标准数据集上的实验表明,更丰富的全局信息会导致更好的答案。我们的方法在这些数据集上的表现优于所有已发表的结果。
2018-09-06 cs.AI cs.CL
Reference Knowledgeable Network for Machine Reading Comprehension
Shanghai Jiao Tong University(上海交通大学)
多项选择机器阅读理解(MRC)是一项挑战,它要求模型从一组候选答案中选择最合适的答案。现有的研究大多集中在对特定任务或复杂网络的建模上,没有明确地引用相关的、可信的外部知识源,这在很大程度上弥补了本文的不足。因此,我们提出了一种新的基于参考的知识增强模型称为参考知识网络(RekNet),它模拟人类的阅读策略,从文章中提炼关键信息,并在必要时引用明确的知识。具体来说,RekNet对关键信息进行细化,定义为参考广度,并通过参考广度和候选词的共现信息引用显式知识四元组。建议的RekNet在三个多选择MRC基准上进行评估:RACE,DREAM和Cosmos QA,获得一致和显着的性能改进,在强基线上具有可观察的统计显著性水平。我们的代码可在https://github.com/Yilin1111/RekNet上获得。
2022-03-26 cs.AI cs.CL
From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap
Amazon Alexa AI(亚马逊Alexa AI);Computer Science & Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
对话状态跟踪(DST)是面向任务的对话系统的核心。然而,标记数据的稀缺性是构建跨各种领域工作的准确和强大的状态跟踪系统的障碍。现有的方法通常需要一些对话数据的状态信息和他们的能力推广到未知的领域是有限的。在本文中,我们提出使用机器阅读理解(RC)的状态跟踪从两个角度:模型架构和数据集。我们将对话状态中的槽类型分为类别槽和抽取槽,以借鉴多项选择和广度阅读理解模式的优点。我们的方法在MultiWOZ 2.1上实现了接近当前最先进的联合目标精度,给出了完整的训练数据。更重要的是,通过利用机器阅读理解数据集,当域内数据的可用性有限时,我们的方法在Few-Shot场景中比现有方法表现出更大的优势。最后,即使没有任何状态跟踪数据,即,在zero-shot场景中,我们提出的方法在MultiWOZ 2.1的30个插槽中的12个插槽中实现了大于90%的平均插槽精度。
2020-04-13 cs.AI cs.CL cs.LG
Retrospective Reader for Machine Reading Comprehension
Shanghai Jiao Tong University(上海交通大学);SJTU-ParisTech Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院)
机器阅读理解(MRC)是一项人工智能挑战,要求机器根据给定的段落确定问题的正确答案。MRC系统不仅必须在必要时回答问题,还必须根据给定的段落区分何时没有答案,然后巧妙地放弃回答。当MRC任务中涉及无法回答的问题时,除了编码器之外,还特别需要一个称为验证器的基本验证模块,尽管MRC建模的最新实践仍然最受益于采用预先训练好的语言模型作为编码器块,只关注“阅读”。本文致力于探索更好的验证器设计的MRC任务与不可回答的问题。受人类如何解决阅读理解问题的启发,我们提出了一种回顾性阅读器(Retro-Reader),它集成了两个阶段的阅读和验证策略:1)粗略阅读,简要调查段落和问题的整体互动,并产生初步判断; 2)精读,验证答案并给出最终预测。在两个基准MRC挑战数据集SQuAD2.0和NewsQA上对所提出的阅读器进行了评估,获得了新的最先进的结果。显著性检验表明,我们的模型明显优于强ELECTRA和ALBERT基线。本文还对该阅读器的有效性进行了一系列的分析。
2020-12-11 cs.AI cs.CL cs.IR
ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning
National University of Singapore(新加坡国立大学)
最近的强大的预训练语言模型在大多数流行的阅读理解数据集上取得了显着的性能。现在是时候引入更具挑战性的数据集,推动该领域朝着更全面的文本推理方向发展了。在本文中,我们介绍了一个新的阅读理解数据集,需要逻辑推理(ReClor)从标准化的研究生入学考试中提取。正如早期的研究所表明的那样,人类注释的数据集通常包含偏见,这些偏见通常被模型利用来实现高准确性,而无需真正理解文本。为了综合评价ReClor上模型的逻辑推理能力,我们提出识别有偏差的数据点,并将其分离为EASY集,其余为HARD集。实证结果表明,国家的最先进的模型具有出色的能力,捕捉偏差包含在数据集上的EASY集的高精度。然而,它们在HARD集上的表现与随机猜测的表现相近,这表明需要更多的研究来从根本上提高当前模型的逻辑推理能力。
2020-08-22 cs.AI cs.CL cs.LG
Densely Connected Attention Propagation for Reading Comprehension
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research(信息通信研究院)
我们提出了DecaProp(Densely Connected Attention Propagation),这是一种用于阅读理解(RC)的新的密集连接神经架构。我们的模型有两个明显的特点。首先,我们的模型密集地连接网络的所有成对层,在所有层次上建模通道和查询之间的关系。其次,我们网络中的密集连接器是通过注意力而不是标准的剩余跳过连接器来学习的。为此,我们提出了新的双向注意力连接器(BAC),以有效地锻造整个网络的连接。我们在四个具有挑战性的RC基准上进行了广泛的实验。我们提出的方法在所有四个方面都取得了最先进的结果,在绝对F1分数上超过现有基线高达$2.6\%-14.2\%$。
2019-04-02 cs.AI cs.CL cs.IR
AdaLoGN: Adaptive Logic Graph Network for Reasoning-Based Machine Reading Comprehension
Nanjing University(南京大学)
最近的机器阅读理解数据集,如ReClor和LogiQA,需要对文本进行逻辑推理。传统的神经模型不足以进行逻辑推理,而符号推理不能直接应用于文本。为了应对这一挑战,我们提出了一种神经符号的方法,预测答案,通过一个图表示文本单元之间的逻辑关系的消息。它采用了自适应逻辑图网络(AdaLoGN),自适应地推断逻辑关系,以扩展图形,本质上,实现神经和符号推理之间的相互和迭代增强。我们还实现了一种新的子图到节点的消息传递机制,以增强上下文选项的交互回答多项选择题。我们的方法在ReClor和LogiQA上显示出有希望的结果。
2022-03-16 cs.AI cs.CL cs.NE