Knowledge-Empowered Representation Learning for Chinese Medical Reading Comprehension: Task, Model and Resources
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);DXY(丁香园)
机器阅读理解(MRC)的目的是从文章中抽取问题的答案。近年来,它得到了广泛的研究,特别是在开放域中。然而,很少有人在闭域MRC上做出努力,主要是由于缺乏大规模的训练数据。本文提出了一种面向医学领域的多目标MRC任务,其目标是同时从医学信息源中预测医学问题的答案和相应的支持语句,以保证医学知识服务的高可靠性。为此,人工构建了一个高质量的数据集,命名为多任务中国医学MRC数据集(CMedMRC),并进行了详细的分析。提出了中医BERT任务模型(CMed BERT),通过异构特征动态融合机制和多任务学习策略,将医学知识融合到预先训练好的语言模型中。实验表明,CMedBERT通过融合上下文感知和知识感知的令牌表示,始终优于强基线。
2021-08-20 cs.AI cs.CL cs.LG
IDK-MRC: Unanswerable Questions for Indonesian Machine Reading Comprehension
KAIST(韩国科学技术院)
机器阅读理解(MRC)已经成为自然语言理解(NLU)中的基本任务之一,因为它经常被包括在几个NLU基准中(Liang等人,2020; Wilie等人,2020年)。然而,大多数MRC数据集只有可回答的问题类型,忽略了不可回答的问题的重要性。仅在可回答的问题上训练的MRC模型将选择最有可能是答案的跨度,即使答案实际上不存在于给定的段落中(Rajpurkar等人,2018年)。这个问题尤其存在于中低资源语言中,如印度尼西亚语。现有的印度尼西亚MRC数据集(Purwarianti等人,2007; Clark等人,2020年)仍然不够,因为规模小,问题类型有限,即,它们只涉及可回答的问题。为了填补这一空白,我们构建了一个新的印度尼西亚MRC数据集,称为I(n)不知道- MRC(IDK-MRC),通过结合自动和手动无法回答的问题生成,以最大限度地减少手动数据集构建的成本,同时保持数据集的质量。结合现有的可回答问题,IDK-MRC总共包含超过10 K个问题。我们的分析表明,我们的数据集显着提高了印度尼西亚MRC模型的性能,对于无法回答的问题显示出很大的改善。
2022-10-25 cs.CL
Machine Reading Comprehension: a Literature Review
Peking University(北京大学)
机器阅读理解旨在教机器像人一样理解文本,是人工智能的一个新的具有挑战性的方向。本文综述了MRC的最新进展,主要集中在两个方面(即,语料库和技术)。列举并比较了各种MRC语料库的具体特点。介绍了几种典型MRC技术的主要思想。
2019-06-30 cs.CL
DADgraph: A Discourse-aware Dialogue Graph Neural Network for Multiparty Dialogue Machine Reading Comprehension
Harbin Institute of Technology(哈尔滨工业大学);National University of Singapore(新加坡国立大学)
多方对话机器阅读理解(MRC)不同于传统的MRC,因为模型必须处理复杂的对话话语结构,这在传统的MRC中是没有考虑的。为了充分利用这种话语结构在多方对话,我们提出了一个话语感知的对话图神经网络,DADgraph,显式地构建对话图使用话语依赖链接和话语关系。为了验证我们的模型,我们在Molweni语料库上进行了实验,这是一个大规模的MRC数据集,建立在用话语结构注释的多方对话之上。在Molweni上的实验表明,与强神经网络MRC基线相比,我们的话语感知模型在统计上取得了显着的改进。
2021-04-26 cs.CL
FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm
School of Management, University of Science and Technology of China(中国科学技术大学管理学院)
金融命名实体识别(FinNER)是金融文本信息抽取领域的一个具有挑战性的课题,其目的是从非结构化的金融文本中抽取大量的金融知识。使用序列标记框架来实现FinNER任务被广泛接受。然而,这样的序列标注模型不能充分利用文本中的语义信息。相反,我们制定了FinNER任务作为一个机器阅读理解(MRC)的问题,并提出了一个新的模型称为FinBERT-MRC。该算法利用精心设计的查询引入重要的先验信息,提取目标实体的起始索引和结束索引,无需条件随机场(CRF)等解码模块。我们在公开的中国金融数据集ChFinAnn和真实的商业数据集AdminPunish上进行了实验。FinBERT-MRC模型在两个数据集上的平均F1得分分别为92.78%和96.80%,与BiLSTM-CRF,BERT-Tagger和BERT-CRF等序列标记模型相比,平均F1增益分别为+3.94%和+0.89%。源代码可在www.example.com上获得。
2022-05-31 cs.CL
A Comprehensive Survey on Multi-hop Machine Reading Comprehension Approaches
University of Isfahan(伊斯法罕大学)
机器阅读理解(MRC)是自然语言处理(NLP)领域的一个长期研究课题。MRC任务旨在根据给定的上下文回答问题。最近的研究集中在多跳MRC,这是一个更具挑战性的扩展MRC,它回答一个问题,一些不相交的信息片段跨上下文需要。由于多跳MRC的复杂性和重要性,近年来有大量的研究集中在这一课题上,因此有必要对相关文献进行综述。本研究旨在基于2018年至2022年的31项研究,调查多跳MRC方法的最新进展。在这方面,首先,将介绍多跳MRC问题的定义,然后将详细审查31个模型,重点关注它们的多跳方面。他们也将根据他们的主要技术进行分类。最后,一个细粒度的全面比较的模型和技术。
2022-12-08 cs.CL
Benchmarking Machine Reading Comprehension: A Psychological Perspective
National Institute of Informatics(国立信息学研究所);University College London(伦敦大学学院)
机器阅读理解(MRC)作为自然语言理解的基准已经受到相当大的关注。然而,MRC的传统任务设计缺乏超出模型解释的可解释性,即,阅读理解的模式不能用人类的语言来解释。为此,本文为基于心理学和心理测量学的MRC数据集的设计提供了理论基础,并总结了MRC基准测试的先决条件。我们的结论是,未来的数据集应该(i)评估模型的能力,以构建一个连贯和接地表示理解上下文相关的情况和(ii)确保通过捷径证明问题和解释作为任务设计的一部分,实质性的有效性。
2021-01-26 cs.CL
A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction
Tsinghua University(清华大学);Shandong University(山东大学);Sogou Inc.(搜狗公司)
神经模型在机器阅读理解(MRC)中取得了巨大的成功,其中许多模型通常由两个部分组成:证据提取器和答案预测器。前者从参考文本中寻找最相关的信息,而后者则从提取的证据中定位或生成答案。尽管证据标签对于训练证据提取器很重要,但它们并不便宜,特别是在许多非提取MRC任务中,例如是/否问答和多选择MRC。为了解决这个问题,我们提出了一种自训练方法(STM),它在迭代过程中用自动生成的证据标签监督证据提取器。在每次迭代中,基本MRC模型都使用黄金答案和噪声证据标签进行训练。经过训练的模型将在下一次迭代中预测伪证据标签作为额外的监督。我们在三个MRC任务的七个数据集上评估STM。实验结果表明,改进现有的MRC模型,我们也分析了如何和为什么这样的自训练方法在MRC工程。源代码可从https://github.com/SparkJiao/Self-Training-MRC获取
2020-06-19 cs.CL
Continual Machine Reading Comprehension via Uncertainty-aware Fixed Memory and Adversarial Domain Adaptation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Hebei University of Science and Technology(河北科技大学)
连续机器阅读理解的目标是在不访问以前看到的数据的情况下,从一个连续的数据流中逐步学习,这对于开发真实世界的MRC系统至关重要。然而,在不灾难性地忘记先前知识的情况下渐进地学习新领域是一个巨大的挑战。本文提出了一种具有不确定性固定记忆和对抗性领域自适应的连续MRC模型MA-MRC。在MA-MRC中,一个固定大小的内存存储少量的样本在以前的域数据以及不确定性意识的更新策略,当新的域数据到达。对于增量学习,MA-MRC不仅通过同时学习记忆和新领域数据来保持稳定的理解,而且通过对抗学习策略充分利用了记忆和新领域数据之间的领域自适应关系。实验结果表明,MA-MRC是优于强基线,并具有实质性的增量学习能力,而不会发生灾难性遗忘在两个不同的连续MRC设置。
2022-08-10 cs.CL
NER-to-MRC: Named-Entity Recognition Completely Solving as Machine Reading Comprehension
Waseda University(早稻田大学);Tsinghua University(清华大学)
本文提出NER-to-MRC方法,将命名实体识别完全转化为机器阅读理解问题,通过任务转换和MRC推理策略,在不使用外部数据的情况下,在6个基准数据集上取得最先进性能,其中在WNUT-16上提升达11.24%。
2023-05-06 cs.CL
DuReader_robust: A Chinese Dataset Towards Evaluating Robustness and Generalization of Machine Reading Comprehension in Real-World Applications
Soochow University(苏州大学);Baidu Inc.(百度公司)
机器阅读理解(MRC)是自然语言处理中的一项重要任务,并取得了显著的进展。然而,大多数神经MRC模型仍然远远不够鲁棒,并且在现实世界的应用中无法很好地推广。为了全面验证MRC模型的鲁棒性和泛化能力,我们引入了一个真实的中文数据集-- DuReader_robust。该模型从超灵敏度、超稳定性和泛化能力三个方面对MRC模型进行了评价。与以前的工作相比,DuReader_robust中的实例是自然文本,而不是经过修改的非自然文本。它提出了将MRC模型应用于实际应用时的挑战。实验结果表明,MRC模型在挑战测试集上表现不佳。此外,我们分析了现有模型在挑战测试集上的行为,这可能会为未来的模型开发提供建议。数据集和代码可在https://github.com/baidu/DuReader上公开获得。
2021-07-21 cs.CL
REPT: Bridging Language Models and Machine Reading Comprehension via Retrieval-Based Pre-training
Shandong University(山东大学);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Damo Academy(达摩院)
在过去的几年里,预训练语言模型(PLM)在机器阅读理解(MRC)方面取得了巨大的成功。虽然从大规模语料库中学习到的一般语言表示确实有益于MRC,但需要跨多个句子进行推理的证据提取的支持不足阻碍了PLM进一步推进MRC。为了弥合通用PLM和MRC之间的差距,我们提出了REPT,一种基于REtrieval的预训练方法。特别是,我们引入了两个自监督任务来加强预训练期间的证据提取,这是进一步继承下游MRC任务通过一致的检索操作和模型架构。为了评估我们提出的方法,我们对五个MRC数据集进行了广泛的实验,这些数据集需要从多个句子中收集证据并进行推理。实验结果证明了我们的预训练方法的有效性。进一步的分析表明,该方法能够在没有明确监督的情况下提高证据提取能力。
2021-05-18 cs.CL
MRCEval: A Comprehensive, Challenging and Accessible Machine Reading Comprehension Benchmark
Tsinghua University(清华大学)
针对现有MRC数据集缺乏全面评估的问题,本文提出新分类法并构建覆盖13种技能、含2.1K多选题的MRCEval基准,利用LLMs生成和筛选样本,对28个模型评估表明MRC在LLMs时代仍具挑战性。
2025-03-10 cs.AI cs.CL
Neural Machine Reading Comprehension: Methods and Trends
Science and Technology on Information Systems Engineering Laboratory(信息系统工程重点实验室);National University of Defense Technology(国防科技大学)
机器阅读理解(MRC)需要机器根据给定的上下文回答问题,在过去几年中,随着各种深度学习技术的结合,它引起了越来越多的关注。虽然基于深度学习的MRC研究正在蓬勃发展,但仍然缺乏对现有方法和最新趋势的全面调查,这是本文所提出的工作的动机。具体来说,我们对这一研究领域进行了全面的回顾,涵盖了不同的方面,包括(1)典型的MRC任务:它们的定义,差异和代表性数据集;(2)神经MRC的一般架构:主要模块和流行的方法;以及(3)新趋势:神经MRC的一些新兴领域以及相应的挑战。最后,考虑到迄今为止所取得的成就,调查还通过讨论有待解决的未决问题,设想了未来的前景。
2019-10-30 cs.CL
Multi-tasking Dialogue Comprehension with Discourse Parsing
Shanghai Jiao Tong University(上海交通大学)
多方对话机器阅读理解(MRC)提出了一个更具挑战性的理解目标,即与两个以上的说话人对话,与传统的简单段落风格的MRC相比。为了准确地完成基于这种多方对话的问答任务,模型必须处理与普通非对话文本完全不同的话语关系,其中话语关系应该以语言学驱动的方式连接两个相距遥远的话语。我们提出了第一个多任务模型,用于在多方对话MRC任务上联合执行QA和话语解析(DP)。我们提出的模型在最新的基准测试Molweni上进行了评估,其结果表明,补充任务的训练不仅有利于QA任务,而且有利于DP任务本身。我们进一步发现,当处理较长的对话时,联合模型明显更强,这再次验证了DP在相关MRC中的必要性。
2021-10-07 cs.CL
Coreference Reasoning in Machine Reading Comprehension
UPenn(宾夕法尼亚大学)
共指消解对于自然语言理解是必不可少的,并且在自然语言处理中已经研究了很长时间。近年来,随着问答(QA)的格式成为机器阅读理解(MRC)的标准,已经有了数据汇集的努力,例如,Dasigi等人(2019),试图评估MRC模型推理共指的能力。然而,正如我们所展示的,MRC中的共指推理是一个比以前认为的更大的挑战; MRC数据集不反映自然分布,因此,共指推理的挑战。具体来说,在这些数据集上的成功并不反映模型在共指推理方面的熟练程度。我们提出了一种方法来创建MRC数据集,更好地反映了共指推理的挑战,并使用它来创建一个样本评估集。我们数据集的结果表明,最先进的模型仍然在与这些现象作斗争。此外,我们开发了一种有效的方法来使用自然发生的共指现象,从现有的共指消解数据集时,训练MRC模型。这使我们能够展示最先进模型的共指推理能力的改进。代码和生成的数据集可在https://github.com/UKPLab/coref-reasoning-in-qa上获得。
2021-06-09 cs.CL
Evidence Sentence Extraction for Machine Reading Comprehension
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Tencent AI Lab(腾讯人工智能实验室);Cornell(康奈尔大学);University of Pennsylvania(宾夕法尼亚大学)
在过去的几年里,在一些有限的机器阅读理解(MRC)任务上取得了显着的成功。然而,仍然很难解释现有MRC模型的预测。在本文中,我们专注于提取证据句子,可以解释或支持多项选择MRC任务的答案,其中大多数答案选项不能直接从参考文档中提取。由于在大多数情况下,缺乏地面真理证据句子标签,我们采用远程监督产生不完美的标签,然后使用它们来训练证据句子提取器。为了去除噪声标签,我们应用最近提出的深度概率逻辑学习框架,将句子级和跨句子语言指标用于间接监督。我们将提取的证据句子输入到现有的MRC模型中,并评估三个具有挑战性的多项选择MRC数据集(MultiRC、RACE和DREAM)的端到端性能,实现与将完整参考文档作为输入的相同模型相当或更好的性能。据我们所知,这是第一个工作提取证据句的多项选择MRC。
2019-09-24 cs.CL
Visualizing attention zones in machine reading comprehension models
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(科大讯飞研究院)
本文提出一套流水线与配套协议代码,用于可视化基于预训练语言模型的 MRC 模型各层注意力区域,以分析模型可解释性,并可推广至其他预训练语言模型。
2024-10-28 cs.CL
Learning Disentangled Semantic Representations for Zero-Shot Cross-Lingual Transfer in Multilingual Machine Reading Comprehension
Tianjin University(天津大学)
在机器阅读理解(MRC)中,多语言预训练模型能够将知识从资源丰富的语言zero-shot迁移到资源贫乏的语言。然而,不同语言之间固有的语言差异可能会使zero-shot迁移预测的答案跨度违反目标语言的句法约束。在本文中,我们提出了一种新的多语言MRC框架,该框架配备了Siamese Semantic Disentanglement Model(SSDM),可以将语义与多语言预训练模型学习的表示中的语法分离。为了明确地将语义知识转移到目标语言,我们提出了两组针对语义和句法编码和解纠缠的损失。在三个多语言MRC数据集上的实验结果(即,XQuAD,MLQA和TyDi QA)证明了我们提出的方法在基于mBERT和XLM-100的模型上的有效性。代码可从以下网址获得:https://github.com/wulinjuan/SSDM_MRC。
2023-01-14 cs.CL
Using Adversarial Attacks to Reveal the Statistical Bias in Machine Reading Comprehension Models
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
预先训练的语言模型在许多机器阅读理解(MRC)任务中已经达到了人类水平的性能,但目前还不清楚这些模型是否真正理解语言或通过利用数据集中的统计偏差来回答问题。在这里,我们展示了一种简单而有效的方法来攻击MRC模型,并揭示这些模型中的统计偏差。我们将该方法应用于RACE数据集,其中每个MRC问题的答案从4个选项中选择。研究发现,包括BERT、ALBERT和RoBERTa在内的几种预训练语言模型对某些选项表现出一致的偏好,即使这些选项与问题无关。当受到这些无关选项的干扰时,MRC模型的性能会从人的水平降低到机会水平。然而,人类读者并不明显受到这些无关选项的影响。最后,我们提出了一种增强的训练方法,可以大大减少模型的统计偏差。
2021-05-25 cs.CL
Multi-span Style Extraction for Generative Reading Comprehension
SJTU-ParisTech Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学密西根学院(SJTU-ParisTech Elite Institute of Technology));Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Key Laboratory of Shanghai Education Commission for Intelligent Interaction and Cognitive Engineering, Shanghai Jiao Tong University(上海交通大学上海教委智能交互与认知工程重点实验室);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院教育部人工智能重点实验室)
生成式机器阅读理解(MRC)需要一个模型来生成格式良好的答案。对于这种类型的MRC,答案生成方法是至关重要的模型性能。然而,被认为是任务的正确模型的生成模型通常表现不佳。与此同时,单跨度提取模型已被证明是有效的提取MRC,其中的答案被限制在一个单一的跨度在通道。然而,当应用于生成MRC时,它们通常会产生不完整的答案或引入冗余的单词。因此,我们将单跨度提取方法扩展到多跨度,提出了一个新的框架,使生成MRC顺利解决多跨度提取。实验结果表明,该方法能够有效地解决生成式模型和单跨度模型之间的矛盾,并能生成具有更好语法和语义的答案。
2020-12-28 cs.CL
Clinical Concept and Relation Extraction Using Prompt-based Machine Reading Comprehension
College of Medicine, University of Florida(佛罗里达大学医学院);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心)
本文提出统一的基于提示的机器阅读理解架构,同时解决临床概念抽取与关系抽取,在两个n2c2基准数据集上取得最优性能,并展现出良好的跨机构迁移能力。
2023-03-14 cs.CL
Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification
Baidu Inc.(百度公司);Peking University(北京大学)
基于真实网络数据的机器阅读理解(MRC)通常要求机器通过分析搜索引擎检索到的多个段落来回答问题。与单篇文章的MRC相比,多篇文章的MRC更具挑战性,因为我们很可能从不同的文章中得到多个令人困惑的答案候选者。为了解决这个问题,我们提出了一个端到端的神经模型,使这些答案候选人从不同的段落,以验证对方的基础上,他们的内容表示。具体来说,我们联合训练了三个模块,可以根据答案边界、答案内容和交叉通道答案验证三个因素来预测最终答案。实验结果表明,该方法在英文MS-MARCO数据集和中文DuReader数据集上的性能均优于基线,达到了最先进的性能,这两个数据集都是为真实环境中的MRC设计的。
2018-05-10 cs.CL
Bridging Information-Seeking Human Gaze and Machine Reading Comprehension
MIT BCS(麻省理工学院脑与认知科学系)
在这项工作中,我们分析如何在阅读理解过程中的人的目光是有条件的给定的阅读理解问题,以及这个信号是否可以有益于机器阅读理解。为此,我们收集了一个新的眼动跟踪数据集,其中有大量参与者参与多项选择阅读理解任务。我们对这些数据的分析显示,与回答问题最相关的文本部分的固定时间增加。基于这一发现,我们建议通过模仿人类在阅读理解过程中寻求信息的阅读行为,使自动阅读理解更像人类。我们证明,这种方法导致性能增益的多项选择问答在英语的国家的最先进的阅读理解模型。
2020-10-15 cs.CL
Lite Unified Modeling for Discriminative Reading Comprehension
Shanghai Jiao Tong University(上海交通大学);Leyan Tech(乐言科技)
作为机器阅读理解的一个主要范畴,判别式机器阅读理解的目标是从给定的材料中预测答案。然而,各种判别式MRC任务的重点可能是不同的:多选择MRC需要模型突出并整合所有潜在的关键证据全局;而提取MRC则侧重于更高的局部边界精确度以进行答案提取。在以往的工作中,缺乏一个统一的设计与针对性的整体判别MRC任务。为了填补上述空白,我们提出了一个轻量级的POS-Enhanced Iterative Co-Attention Network(POI-Net)作为统一建模的第一次尝试,有针对性地同步处理不同的歧视性MRC任务。几乎没有引入更多的参数,我们的精简统一设计带来了编码器和解码器组件的模型显着改善。四个判别MRC基准的评估结果一致表明我们的模型的一般有效性和适用性,代码可在https://github.com/Yilin1111/poi-net。
2022-03-26 cs.AI cs.CL
From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Carnegie Mellon University(卡内基梅隆大学)
提出PMR方法,利用维基百科超链接构建MRC风格训练数据,将预训练掩码语言模型改造为机器阅读理解模型,有效解决抽取与分类任务,提升低资源场景性能与可解释性。
2023-10-16 cs.CL
MRCBert: A Machine Reading ComprehensionApproach for Unsupervised Summarization
National University of Singapore(新加坡国立大学)
当进行在线购买,它成为重要的客户仔细阅读产品评论,并作出决定的基础上.然而,审查可能很长,可能包含重复的信息,有时甚至是对决策没有帮助的无关信息。在本文中,我们介绍了MRCBert,一种新的无监督的方法来生成摘要的产品评论。我们利用机器阅读理解,即MRC,方法来提取相关的意见,并从评论中生成评级和方面的摘要。通过MRCBert,我们表明,我们可以获得合理的性能,使用现有的模型和迁移学习,这可能是有用的学习资源有限或低的情况下。我们展示了亚马逊评论数据集中电子产品类别的评论结果。我们的方法是无监督的,因为它不需要任何特定领域的数据集,如产品评论数据集,用于训练或微调。相反,我们只使用SQuAD v1.1数据集来微调MRC任务的BERT。由于MRCBert不需要特定于任务的数据集,因此它可以很容易地适应和用于其他领域。
2021-05-01 cs.AI cs.CL
Knowledge Based Machine Reading Comprehension
Microsoft Research Asia(微软亚洲研究院);Harbin Institute of Technology(哈尔滨工业大学);Beihang University(北京航空航天大学)
机器阅读理解(MRC)需要对文档中涉及的知识和关于世界的知识进行推理。然而,现有的数据集通常由可以通过上下文匹配很好地解决的问题主导,这无法测试这种能力。为了促进MRC在基于知识的推理方面的进展,本文提出了基于知识的MRC,并建立了一个由40,047个问题-答案对组成的新数据集。此数据集的注释设计为成功回答问题需要理解文档中涉及的知识。我们实现了一个框架,包括一个问答模型和一个问题生成模型,这两个都需要从文档中提取的知识,以及从外部知识库,如Freebase/ProBase/Reverb/NELL的相关事实。结果表明,合并来自外部知识库的辅助信息可以提高基线问答系统的准确性。我们将其与标准的MRC模型Bioscience进行了比较,并提供了数据集的难度,并列出了剩余的挑战。
2018-09-12 cs.CL
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research(讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学)
机器阅读理解(MRC)是近年来非常流行的一门学科,受到了广泛的关注。然而,现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性,本文提出了一个新的中文阅读理解数据集,以促进社区的相关研究。该数据集包含两种不同的类型:完形填空式阅读理解和用户查询式阅读理解,与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起,我们还举办了第一届中文机器阅读理解评估(CMRC-2017),并成功吸引了数十名参与者,这表明了此数据集的潜在影响。
2018-03-15 cs.CL
NumNet: Machine Reading Comprehension with Numerical Reasoning
Tencent Inc(腾讯公司);Tsinghua University(清华大学)
数字推理是人类阅读理解中的一项关键技能,而现有的机器阅读理解(MRC)系统并没有很好地考虑到这一点。为了解决这个问题,我们提出了一个数字MRC模型命名为NumNet,它利用一个数字感知的图神经网络考虑比较信息,并执行数字推理的问题和段落。我们的系统在DROP数据集上获得了64.56%的EM分数,通过考虑数字之间的数值关系,优于所有现有的机器阅读理解模型。
2019-10-15 cs.CL
DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications
Baidu Inc.(百度公司)
本文介绍了DuReader,一个新的大规模,开放领域的中文机器阅读理解(MRC)数据集,旨在解决现实世界的MRC。DuReader相对于以往的MRC数据集有三个优势:(1)数据来源:问题和文档基于百度搜索和百度有道;答案是人工生成的。(2)问题类型:它为更多的问题类型提供了丰富的注释,特别是是非和意见问题,为研究界留下了更多的机会。(3)规模:包含20万个问题,42万个答案和100万个文档,是迄今为止最大的中文MRC数据集。实验表明,人类的表现远远高于当前最先进的基线系统,为社区留下了足够的改进空间。为了帮助社区做出这些改进,DuReader和基线系统都已在线发布。我们还组织了一个共享的比赛,以鼓励探索更多的模式。自任务发布以来,基线有了重大改进。
2018-06-11 cs.CL
Integrated Triaging for Fast Reading Comprehension
Cornell University(康奈尔大学);SayMosaic Inc.(赛摩赛克公司);Google Inc.(谷歌公司)
虽然根据几个基准测试,自动机器阅读理解(MRC)系统最近已经达到了超人的性能,但较少关注其计算效率。然而,效率对于在现实世界应用中的培训和部署至关重要。本文介绍了集成分类,这是一个框架,它几乎删除了网络早期层中的所有上下文,剩下的(深)层只扫描整个语料库的一小部分。这种修剪大大提高了MRC模型的效率,并进一步防止后面的层过度拟合训练集中的流行短段落。我们的框架非常灵活,自然适用于各种各样的模型。我们在doc-SQuAD和TriviaQA任务上的实验证明了它在持续提高几个不同MRC模型的速度和质量方面的有效性。
2019-09-28 cs.CL
Reading Comprehension Ability Test-A Turing Test for Reading Comprehension
Victoria University(维多利亚大学);Nanyang Technological University(南洋理工大学)
阅读理解能力是人类智力的重要组成部分。识字和算术是人们在学习、工作和生活中取得成功的两个最重要的基础。阅读理解能力是读写能力的核心组成部分。在大多数教育系统中,培养阅读理解能力是一年级至十二年级课程的必修课。它是传播知识不可或缺的能力。随着人工智能的出现,计算机开始能够像人一样在某些上下文中阅读和理解。他们甚至可以在某些任务中比人类读得更好,但在其他任务中几乎没有线索。如果我们能够识别机器理解能力的水平,这将是非常有益的,这将指导我们进一步提高。图灵测试是一个著名的测试计算机智能和人类智能之间的差异。为了能够比较人类阅读和机器阅读之间的差异,我们提出了一个名为(阅读)理解能力测试(CAT)的测试。CAT类似于图灵测试,通过该测试意味着我们无法在理解能力方面区分人类和算法。CAT有多个层次,显示了阅读理解的不同能力,从识别基本事实,进行推理,到理解意图和情感。
2019-09-05 cs.CL
Multi-task Learning with Sample Re-weighting for Machine Reading Comprehension
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们提出了一个多任务学习框架来学习一个联合的机器阅读理解(MRC)模型,该模型可以应用于不同领域的广泛的MRC任务。受最近机器翻译中数据选择思想的启发,我们开发了一种新的样本重新加权方案,为损失分配样本特定的权重。实证研究表明,我们的方法可以适用于许多现有的MRC模型。结合来自预训练的语言模型(如ELMo)的上下文表示,我们在一组MRC基准数据集上获得了新的最先进的结果。我们在www.example.com上发布代码。
2019-03-31 cs.CL cs.LG
A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets
Chengdu Institute of Computer Application, Chinese Academy of Sciences(中国科学院成都计算机应用研究所);University of Chinese Academy of Sciences(中国科学院大学);Guizhou University(贵州大学);GuiZhou University of Finance and Economics(贵州财经大学);University of South Carolina(南卡罗来纳大学);Chengdu Neusoft University(成都东软学院)
机器阅读理解(MRC)是自然语言处理(NLP)中一个具有挑战性的研究领域,具有广泛的实际应用。近年来该领域的巨大进步主要得益于大规模数据集和深度学习的出现。目前,许多MRC模型已经在各种基准数据集上超过了人类的表现,尽管现有的MRC模型与真正的人类水平的阅读理解之间存在明显的巨大差距。这表明需要改进现有的数据集,评估指标和模型,以使当前的MRC模型走向“真正的”理解。针对现有MRC任务、评价指标和数据集缺乏全面综述的现状,本文(1)分析了57个MRC任务和数据集,提出了4种不同属性的MRC任务的更精确分类方法;(2)总结了MRC任务的9个评价指标、MRC数据集的7个属性和10个特征;(3)讨论了MRC研究中存在的主要问题,并指出了今后的研究方向。此外,我们还在配套网站(https://mrc-martets.github.io/)上收集、组织和发布了我们的数据,MRC研究人员可以直接访问每个MRC数据集、论文、基线项目和排行榜。
2020-10-21 cs.AI cs.CL cs.LG
Named Entity Recognition via Machine Reading Comprehension: A Multi-Task Learning Approach
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Huazhong University of Science and Technology(华中科技大学)
本文针对基于机器阅读理解的命名实体识别忽略实体类型间标签依赖的问题,提出多任务学习框架Multi-NER,通过自注意力模块捕获标签依赖,在嵌套和平坦NER数据集上均取得更优性能。
2023-09-20 cs.CL
A Vietnamese Dataset for Evaluating Machine Reading Comprehension
University of Information Technology(信息大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
世界上有超过9700万人将越南语作为母语。然而,针对越南语机器阅读理解(MRC)的研究较少,由于缺乏越南语的基准数据集,本文提出了越南语问答数据集(ViQuAD),这是一个针对越南语这一低资源语言的新数据集,用于评估MRC模型。该数据集包含超过23,000个人工生成的问答对,基于维基百科174篇越南语文章的5,109段。特别是,我们提出了一个新的越南MRC数据集创建过程。我们的深入分析表明,我们的数据集需要超越单词匹配等简单推理的能力,并需要单句和多句推理。此外,我们进行了国家的最先进的MRC方法为英语和汉语作为第一个实验模型的EST-ViQuAD的实验。我们还估计了人类在数据集上的表现,并将其与强大的机器学习模型的实验结果进行了比较。因此,人类表现与数据集上最佳模型表现之间的实质性差异表明,在未来的研究中,可以对EST-ViQuAD进行改进。我们的数据集可在我们的网站上免费获得,以鼓励研究界克服越南MRC的挑战。
2020-11-07 cs.CL
Benchmarking Robustness of Machine Reading Comprehension Models
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK(科大讯飞);University of Maryland(马里兰大学)
机器阅读理解(MRC)是评估模型自然语言理解能力的重要测试平台。在这一领域取得了迅速进展,新型号在各种基准上取得了令人印象深刻的性能。然而,现有的基准测试仅在域内测试集上评估模型,而没有考虑其在测试时扰动或对抗攻击下的鲁棒性。为了填补这一重要空白,我们构建了AdvRACE(对抗性RACE),这是一个新的模型不可知的基准,用于评估MRC模型在四种不同类型的对抗攻击下的鲁棒性,包括我们新的分心物提取和生成攻击。我们表明,最先进的(SOTA)模型容易受到所有这些攻击。我们的结论是,有很大的空间,建立更强大的MRC模型和我们的基准可以帮助激励和衡量在这方面的进展。我们在https://github.com/NoviScl/AdvRACE上发布我们的数据和代码。
2021-05-26 cs.CL
Adversarial Domain Adaptation for Machine Reading Comprehension
University of Virginia(弗吉尼亚大学);Microsoft Dynamics 365 AI Research(微软 Dynamics 365 AI 研究院);Microsoft Research(微软研究院)
在本文中,我们专注于机器阅读理解(MRC)的无监督领域自适应,其中源域有大量的标记数据,而目标域中只有未标记的段落。为此,我们提出了一个对抗性的领域自适应框架(AdaMRC),其中($i$)伪问题首先在目标领域中的未标记的段落中生成,然后($ii$)领域分类器被纳入MRC模型,以预测给定的问题对来自哪个领域。使用对抗学习来联合训练分类器和问题编码器,以实施域不变表示学习。综合评估表明,我们的方法($i$)是可推广到不同的MRC模型和数据集,($ii$)可以与预训练的大规模语言模型(如ELMo和BERT)相结合,($iii$)可以扩展到半监督学习。
2019-08-24 cs.CL
Enhancing Pre-Trained Generative Language Models with Question Attended Span Extraction on Machine Reading Comprehension
Columbia University(哥伦比亚大学)
针对生成式模型在机器阅读理解中生成失控的问题,提出在预训练语言模型微调阶段集成QASE模块,在不增加计算开销下显著提升抽取性能,在少样本设置下超越GPT-4并达到SOTA。
2024-10-15 cs.CL
DRCD: a Chinese Machine Reading Comprehension Dataset
Delta Research Center(台达研究中心);Delta Electronics, Inc.(台达电子工业股份有限公司)
本文介绍了一个开放领域的传统中文机器阅读理解数据集DRCD(Delta Reading Comprehension Dataset)。该数据集旨在成为一个标准的中文机器阅读理解数据集,可以作为迁移学习的源数据集。该数据集包含来自2,108篇维基百科文章的10,014个段落和注释者生成的30,000多个问题。我们建立了一个基线模型,其F1得分为89.59%。人因绩效F1评分为93.30%。
2019-05-29 cs.CL
Evaluating the Robustness of Machine Reading Comprehension Models to Low Resource Entity Renaming
University of Amsterdam(阿姆斯特丹大学);Insight Centre for Data Analytics(洞察数据分析中心);University of Galway(戈尔韦大学)
针对机器阅读理解模型鲁棒性不足的问题,提出测试时扰动方法EntSwap,用非洲等低资源地区的实体重命名构建AfriSQuAD2测试集,评估发现大模型对新实体表现更优,人物类实体挑战最大。
2024-04-16 cs.CL
Improved Synthetic Training for Reading Comprehension
Columbia University(哥伦比亚大学);IBM Research AI, T.J. Watson Research Center(IBM研究人工智能,T.J.沃森研究中心);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
自动生成的合成训练样本已被证明可以提高机器阅读理解(MRC)的性能。与人工注释的金标准数据相比,合成训练数据具有独特的属性,例如以可能的质量为代价的高可用性。鉴于这种差异,在本文中,我们探索新的应用合成的例子MRC。我们提出的预训练和知识蒸馏策略比现有的方法有显着的改进。在一个特别令人惊讶的发现中,我们观察到合成蒸馏通常会产生比教师模型表现更好的学生。
2020-10-24 cs.CL
Relation/Entity-Centric Reading Comprehension
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田理工学院)
构建一台能够理解人类语言的机器是人工智能中最难以捉摸和长期存在的挑战之一。本文通过对阅读理解的研究来解决这一挑战,重点是理解实体及其关系。更具体地说,我们专注于旨在衡量阅读理解的问答任务。我们关注实体和关系,因为它们通常用于表示自然语言的语义。
2020-08-27 cs.CL
STARC: Structured Annotations for Reading Comprehension
MIT(麻省理工学院)
我们提出了STARC(阅读理解结构化注释),一个新的注释框架,用于评估阅读理解与多项选择题。我们的框架引入了一个原则性的结构,答案的选择,并将它们绑定到文本跨度注释。该框架在OneStopQA中实现,OneStopQA是一种用于英语阅读理解评估和分析的新的高质量数据集。我们使用这个数据集来证明STARC可以用于开发SAT类阅读理解材料的关键新应用:通过跨度消融实验进行自动注释质量探测。我们进一步表明,它可以深入分析和比较机器和人类的阅读理解行为,包括错误分布和猜测能力。我们的实验还表明,NLP中的标准多项选择数据集RACE在测量阅读理解能力方面是有限的。47%的问题可以被机器猜到,而不需要访问文章,18%的问题被人类一致认为没有唯一的正确答案。OneStopQA为阅读理解提供了一个替代测试集,它弥补了这些缺点,并具有更高的人类上限性能。
2020-04-30 cs.CL
Improving Machine Reading Comprehension with General Reading Strategies
Cornell University(康奈尔大学);Tencent AI Lab(腾讯人工智能实验室)
阅读策略已被证明可以提高理解水平,特别是对于缺乏足够先验知识的读者。正如知识积累的过程对于人类读者来说是耗时的一样,通过预训练将丰富的一般领域知识传授到深度语言模型中是需要资源的。受认知科学中识别的阅读策略的启发,并考虑到有限的计算资源-只有一个预先训练的模型和固定数量的训练实例-我们提出了三种旨在提高非提取机器阅读理解(MRC)的一般策略:(i)考虑输入序列的原始顺序和逆序的前后读取,(ii)高亮,其将可训练嵌入添加到与问题和候选答案相关的标记的文本嵌入,以及(iii)自我评估,其以无监督的方式直接从文本生成练习问题和候选答案。通过微调预训练的语言模型(Radford等人,2018)通过我们在最大的通用领域多项选择MRC数据集RACE上提出的策略,我们获得了5.8%的准确性绝对提高,而之前的最佳结果是在RACE上微调相同的预训练模型而不使用策略。我们进一步对目标MRC任务的结果模型进行了微调,导致在来自不同领域的六个代表性非提取MRC数据集上的平均准确度比以前的最先进方法绝对提高了6.2%(即,ARC、OpenBookQA、MCTest、SemEval-2018任务11、ROCStories和MultiRC)。这些结果证明了我们提出的策略的有效性和我们的微调模型,将这些策略的通用性和普遍适用性。核心代码可在https://github.com/nlpdata/strategy/上…
2019-03-22 cs.CL
Zero-Shot Estimation of Base Models' Weights in Ensemble of Machine Reading Comprehension Systems for Robust Generalization
University of Qom(库姆大学)
机器阅读理解(MRC)模型面临的主要挑战之一是其脆弱的领域外泛化领域泛化,这使得这些模型不能很好地应用于现实世界的通用问答问题。在本文中,我们利用一个zero-shot加权集成方法来提高MRC模型的领域泛化的鲁棒性。在该方法中,权重估计模块用于估计域外权重,集成模块基于权重聚合多个基础模型的预测。实验结果表明,该方法不仅提高了最终的精度,而且对域的变化具有鲁棒性。
2021-06-30 cs.CL
Self-Teaching Machines to Read and Comprehend with Large-Scale Multi-Subject Question-Answering Data
Tencent AI Lab(腾讯AI实验室);Cornell University(康奈尔大学)
尽管最近在该领域的研究很多,但仍然不清楚主题领域问答数据是否对机器阅读理解(MRC)任务有用。在本文中,我们调查这个问题。我们收集了一个大规模的多主题多项选择问答数据集ExamQA,并使用不完整和嘈杂的片段返回的Web搜索引擎作为相关的上下文为每个问答实例转换成一个弱标记的MRC实例。然后,我们提出了一个自我教学的范例,以更好地使用生成的弱标记的MRC实例,以改善目标MRC任务。实验结果表明,在最先进的MRC基线上,我们可以在多项选择MRC数据集C^3上获得+5.1%的准确率,在提取MRC数据集CMRC 2018上获得+3.8%的精确匹配,证明了我们框架的有效性以及大规模主题领域问答数据对不同类型的机器阅读理解任务的有用性。
2021-04-06 cs.CL
BioADAPT-MRC: Adversarial Learning-based Domain Adaptation Improves Biomedical Machine Reading Comprehension Task
University of Tennessee(田纳西大学);Oak Ridge National Laboratory(橡树岭国家实验室)
生物医学机器阅读理解(biomedical-MRC)旨在理解复杂的生物医学叙述,并帮助医疗保健专业人员从中检索信息。现代基于神经网络的MRC系统的高性能依赖于高质量、大规模、人工标注的训练数据集。在生物医学领域,创建这样的数据集的一个关键挑战是对领域知识的需求,导致标记数据的稀缺性以及从标记的通用(源)领域到生物医学(目标)领域的迁移学习的需求。然而,由于主题的差异,通用和生物医学领域之间的边缘分布存在差异。因此,将学习到的表示从通用领域训练的模型直接转移到生物医学领域可能会损害模型的性能。针对生物医学机器阅读理解任务(BioADAPT-MRC)提出了一种基于对抗学习的领域自适应框架,该框架是一种基于神经网络的方法,用于解决一般和生物医学领域数据集之间的边缘分布差异。BioADAPT-MRC放松了生成伪标签的需要,以训练性能良好的生物医学MRC模型。我们通过将其与三个广泛使用的基准生物医学MRC数据集(BioASQ-7b,BioASQ-8b和BioASQ-9b)上的最佳现有方法进行比较,广泛评估了BioADAPT-MRC的性能。我们的研究结果表明,在不使用任何来自生物医学领域的合成或人工注释数据的情况下,BioADAPT-MRC可以在这些数据集上实现最先进的性能。可用性:BioADAPT-MRC作为开源项目在\url{https://github.com/mmahbub/BioAD…
2022-07-26 cs.AI cs.CL cs.LG
Dynamic Fusion Networks for Machine Reading Comprehension
Carnegie Mellon University(卡内基梅隆大学);Microsoft AI&R(微软人工智能与研究事业部)
提出了一种新的用于机器阅读理解(MRC)的神经网络模型--动态融合网络(DFN)。DFN与大多数最先进的模型不同之处在于它们使用动态多策略注意过程,其中段落,问题和答案候选者共同融合为注意向量,以及用于生成答案的动态多步推理模块。通过使用强化学习,对于由问题、段落和候选答案列表组成的每个输入样本,可以通过确定要应用什么注意力策略以及要采取多少推理步骤来动态地构建具有样本特定网络架构的DFN实例。实验表明,DFN实现了RACE上报告的最佳结果,RACE是一个具有挑战性的MRC数据集,包含各种类型的真实人类阅读问题。一个详细的实证分析还表明,DFNs可以产生的注意向量,总结信息的问题,段落和答案的候选人比其他流行的MRC模型更有效。
2018-02-26 cs.CL
ReCoRD: Bridging the Gap between Human and Machine Commonsense Reading Comprehension
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
我们提出了一个大规模的数据集,ReCoRD,机器阅读理解需要常识推理。在这个数据集上的实验表明,最先进的MRC系统的性能远远落后于人类的性能。ReCoRD代表了未来研究的一个挑战,即弥合人类和机器常识阅读理解之间的差距。ReCoRD可在http://nlp.jhu.edu/record上获得。
2018-10-30 cs.CL
A Study of the Tasks and Models in Machine Reading Comprehension
YORK UNIVERSITY(约克大学)
本文综述了机器阅读理解(MRC)中已有的任务和模型:1)简单推理和复杂推理MRC任务的数据集收集和性能评估; 2)基于神经网络的MRC模型的体系结构设计、注意力机制和性能提升方法; 3)最近提出的一些迁移学习方法,用于将外部语料库中包含的文本风格知识整合到MRC模型的神经网络中; 4)最近提出的一些知识库编码方法,将外部知识库中包含的风格知识转化为MRC模型的神经网络。此外,根据本研究所取得的成果和存在的不足,本文还提出了一些有待进一步研究的问题。
2020-01-23 cs.CL cs.IR cs.LG
Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(信息通信研究机构)
机器阅读理解(MRC)旨在教机器阅读和理解人类语言,这是自然语言处理(NLP)的长期目标。随着深度神经网络的爆发和语境化语言模型(CLMs)的发展,MRC的研究经历了两次重大突破。MRC和CLM作为一种现象,对NLP社区产生了很大的影响。在本调查中,我们提供了一个全面的和比较审查的MRC涵盖整体的研究主题1)的起源和发展的MRC和CLM,特别是CLM的作用; 2)的影响MRC和CLM的自然语言处理社区; 3)的定义,数据集和评价MRC; 4)从人类认知过程的角度出发,提出了基于两阶段Encoder-Decoder求解体系结构的MRC通用体系结构和技术方法;(5)以往的研究热点、新出现的研究课题以及我们的实证分析,其中我们特别关注MRC研究在不同时期的有效性。我们提出了一个完整的视图分类和新的分类这些主题。我们得出的主要观点是:1)MRC促进了从语言处理到理解的进步; 2)MRC系统的快速改进极大地受益于CLMs的发展; 3)MRC的主题正逐渐从浅层文本匹配转向认知推理。
2020-05-13 cs.AI cs.CL cs.LG
Automatic learner summary assessment for reading comprehension
Amazon Research(亚马逊研究院);ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学)
摘要的自动评估为评估学习者的阅读理解提供了一个有用的工具。我们提出了一个评估非母语阅读理解的摘要任务,并提出了三种新的方法来自动评估学习者的摘要。我们在我们创建的两个数据集上评估了我们的模型,并表明我们的模型优于传统的依赖于精确单词匹配的方法。我们最好的模式产生接近专业考官的质量评估。
2019-06-18 cs.CL