Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft STCA（微软亚洲研究院搜索技术中心）；Simon Fraser University（西蒙弗雷泽大学）
跨语言机器阅读理解（CLMRC）仍然是一个具有挑战性的问题，这是由于缺乏低源语言（如阿拉伯语、印地语和越南语）的大规模注释数据集。许多先前的方法通过从诸如英语的富源语言翻译到低级源语言来使用翻译数据作为辅助监督。然而，如何有效地利用翻译数据并减少翻译引入的噪音的影响仍然是一项艰巨的任务。在本文中，我们解决了这一挑战，并提高跨语言迁移性能的一种新的增强方法命名为语言分支机器阅读理解（LBMRC）。语言分支是一组单一语言的文章，配以所有目标语言的问题。基于LBMRC，我们训练了多个精通不同语言的机器阅读理解（MRC）模型。然后，我们设计了一种多语言蒸馏方法，将多语言分支模型中的知识合并到所有目标语言的单个模型中。将LBMRC和多语言提取相结合，可以提高模型对数据噪声的鲁棒性，从而提高模型的跨语言能力。同时，生成的单一多语种模型适用于所有目标语言，节省了多个模型的训练、推理和维护成本。两个CLMRC基准上的大量实验清楚地表明了我们所提出的方法的有效性。
2020-10-27 cs.AI cs.CL
Reference Knowledgeable Network for Machine Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多项选择机器阅读理解（MRC）是一项挑战，它要求模型从一组候选答案中选择最合适的答案。现有的研究大多集中在对特定任务或复杂网络的建模上，没有明确地引用相关的、可信的外部知识源，这在很大程度上弥补了本文的不足。因此，我们提出了一种新的基于参考的知识增强模型称为参考知识网络（RekNet），它模拟人类的阅读策略，从文章中提炼关键信息，并在必要时引用明确的知识。具体来说，RekNet对关键信息进行细化，定义为参考广度，并通过参考广度和候选词的共现信息引用显式知识四元组。建议的RekNet在三个多选择MRC基准上进行评估：RACE，DREAM和Cosmos QA，获得一致和显着的性能改进，在强基线上具有可观察的统计显著性水平。我们的代码可在https://github.com/Yilin1111/RekNet上获得。
2022-03-26 cs.AI cs.CL
A Multi-turn Machine Reading Comprehension Framework with Rethink Mechanism for Emotion-Cause Pair Extraction
Southeast Academy of Information Technology（东南信息技术研究院）；Beijing Institute of Technology（北京理工大学）
情感-原因对提取（ECPE）是情感原因分析中的一个新兴任务，它从情感文档中提取潜在的情感-原因对。最近的研究使用端到端的方法来解决ECPE任务。然而，这些方法要么遭受标签稀疏性问题，要么无法对情绪和原因之间的复杂关系进行建模。此外，它们都没有考虑小句的显式语义信息。为此，我们将ECPE任务转化为文档级的机器阅读理解（MRC）任务，并提出了一个带有反思机制的多轮MRC框架（MM-R）。我们的框架可以模拟情感和原因之间的复杂关系，同时避免生成配对矩阵（标签稀疏性问题的主要原因）。此外，多话轮结构还可以融合情感和原因之间的显性语义信息流。在基准情感原因语料库上进行的大量实验证明了我们提出的框架的有效性，它优于现有的最先进的方法。
2022-09-16 cs.AI cs.CL
ExpMRC: Explainability Evaluation for Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
借助强大的预训练语言模型（PLM），在某些机器阅读理解（MRC）数据集上实现人类水平的性能不再具有挑战性。然而，它是必要的，以进一步提高MRC系统的可靠性，特别是在现实生活中的应用提供答案预测和解释。在本文中，我们提出了一个新的基准称为ExpMRC的MRC系统的可解释性进行评估。ExpMRC包含四个子集，包括SQuAD、CMRC 2018、RACE $^+$和C $^3$，以及答案证据的附加注释。MRC系统不仅需要给出正确的答案，还需要给出解释。我们使用最先进的预训练语言模型来构建基线系统，并采用各种无监督方法来提取证据，而无需人工注释的训练集。实验结果表明，这些模型与人类的表现仍有很大差距，这表明ExpMRC具有挑战性。资源将通过https://github.com/ymcui/expmrc提供
2021-05-10 cs.AI cs.CL
Two-Stage Synthesis Networks for Transfer Learning in Machine Comprehension
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Citadel Securities, LLC（城堡证券有限责任公司）
我们开发了一种技术，迁移学习在机器理解（MC）使用一种新的两阶段合成网络（SynNet）。给定一个域中的高性能MC模型，我们的技术旨在回答另一个域中有关文档的问题，其中我们不使用问答对的标记数据。在具有挑战性的NewsQA数据集上使用所提出的SynNet与来自SQuAD数据集的预训练模型，我们使用单个模型实现了44.3%的F1测量，使用集成实现了46.6%的F1测量，接近领域模型的性能（F1测量为50.0%），并且在不使用所提供的注释的情况下优于7.6%的域外基线。
2017-09-23 cs.CL
Using Natural Language Relations between Answer Choices for Machine Comprehension
Purdue University（普渡大学）
在评估阅读理解任务的答案选择时，该问题的其他答案选择以及同一段落相关问题的答案通常提供有价值的信息。在本文中，我们提出了一种方法来利用答案选择之间的自然语言关系，如蕴涵和矛盾，以提高机器理解的性能。我们使用一个独立的问答（QA）系统来执行QA任务和一个自然语言推理（NLI）系统来识别选择对之间的关系。然后，我们进行推理，使用一个基于线性规划（ILP）的关系框架，重新评估的独立QA系统的NLI系统确定的关系光的决定。我们还提出了一个多任务学习模型，学习这两个任务联合。
2020-12-31 cs.CL
A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets
Chengdu Institute of Computer Application, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Guizhou University（贵州大学）；GuiZhou University of Finance and Economics（贵州财经大学）；University of South Carolina（南卡罗来纳大学）；Chengdu Neusoft University（成都东软学院）
机器阅读理解（MRC）是自然语言处理（NLP）中一个具有挑战性的研究领域，具有广泛的实际应用。近年来该领域的巨大进步主要得益于大规模数据集和深度学习的出现。目前，许多MRC模型已经在各种基准数据集上超过了人类的表现，尽管现有的MRC模型与真正的人类水平的阅读理解之间存在明显的巨大差距。这表明需要改进现有的数据集，评估指标和模型，以使当前的MRC模型走向“真正的”理解。针对现有MRC任务、评价指标和数据集缺乏全面综述的现状，本文（1）分析了57个MRC任务和数据集，提出了4种不同属性的MRC任务的更精确分类方法;（2）总结了MRC任务的9个评价指标、MRC数据集的7个属性和10个特征;（3）讨论了MRC研究中存在的主要问题，并指出了今后的研究方向。此外，我们还在配套网站（https：//mrc-martets.github.io/）上收集、组织和发布了我们的数据，MRC研究人员可以直接访问每个MRC数据集、论文、基线项目和排行榜。
2020-10-21 cs.AI cs.CL cs.LG
Probing What Different NLP Tasks Teach Machines about Function Word Comprehension
New York University（纽约大学）；Google AI Language（谷歌人工智能语言团队）；Harvard University（哈佛大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Brown University（布朗大学）
我们介绍了一套九个挑战性的任务，测试功能词的理解。这些任务是通过从现有数据集中结构地突变句子来创建的，以针对特定类型的功能词的理解（例如，介词、wh词）。使用这些探测任务，我们探索了句子编码器的各种预训练目标的影响（例如，语言建模、CCG超标记和自然语言推理（NLI））。我们的研究结果表明，在我们的探测任务中，语言建模的预训练平均表现最好，支持其广泛用于预训练最先进的NLP模型，CCG超级标记和NLI预训练表现最好。总的来说，没有一个预训练目标是全面主导的，我们的功能词探测任务突出了预训练目标之间的几个直观差异，例如，NLI有助于理解否定。
2019-08-07 cs.CL
Interactive Machine Comprehension with Information Seeking Agents
Microsoft Research（微软研究院）；Nanyang Technological University（南洋理工大学）；Polytechnique Montréal（蒙特利尔理工学院）；Mila（米拉）
现有的机器阅读理解（MRC）模型不能有效地扩展到现实世界的应用，如网络级信息检索和问答（QA）。我们认为，这源于MRC数据集的性质：其中大多数是静态环境，其中支持文档和所有必要的信息都得到了充分的观察。在本文中，我们提出了一种简单的方法，重新构建现有的MRC数据集作为交互式的，部分可观察的环境。具体来说，我们“遮挡”了文档的大部分文本，并添加了上下文敏感的命令，以揭示模型中隐藏文本的“一瞥”。我们重新SQuAD和NewsQA作为一个初步的案例研究，然后展示如何互动语料库可以用来训练模型，寻求相关信息，通过顺序决策。我们相信，这种设置可以有助于将模型扩展到Web级QA场景。
2020-04-16 cs.CL cs.LG stat.ML
Undersensitivity in Neural Reading Comprehension
University College London（伦敦大学学院）；Facebook AI Research（脸书人工智能研究院）
目前的阅读理解模型一般化以及分布测试集，但表现不佳的对立选择的输入。大多数关于对抗性输入的先前工作都研究了过度敏感：语义不变的文本扰动，导致模型的预测在不应该发生变化时发生变化。在这项工作中，我们专注于互补的问题：过度的预测欠敏感，输入文本有意义地改变，但模型的预测没有，即使它应该。我们制定了一个嘈杂的对抗攻击，搜索模型错误地预测相同答案的问题的语义变化，甚至更高的概率。尽管包含无法回答的问题，SQuAD2.0和NewsQA模型都容易受到这种攻击。这表明，尽管模型是准确的，但往往依赖于虚假的模式，并且没有充分考虑问题中指定的信息。我们实验了数据增强和对抗性训练作为防御，发现两者都大大降低了对持有数据的攻击的脆弱性，以及持有的攻击空间。解决不敏感性也改善了AddSent和AddOneSent的结果，并且模型在面临训练/评估分布不匹配时更好地泛化：它们不太倾向于过度依赖仅存在于训练集中的预测线索，并且比传统模型的F1高出10.9%。
2020-02-15 cs.CL cs.LG stat.ML
Machine Reading Comprehension using Case-based Reasoning
基于案例推理的机器阅读理解方法在准确性和鲁棒性上优于基线模型，能有效识别正确答案及支持证据。
2023-12-05 cs.CL cs.IR
To Test Machine Comprehension, Start by Defining Comprehension
Elemental Cognition（元素认知公司）
许多任务旨在测量机器阅读理解（MRC），通常侧重于被认为是困难的问题类型。然而，任务设计者很少从考虑系统实际上应该理解什么开始。在本文中，我们做了两个关键的贡献。首先，我们认为，现有的方法没有充分定义的理解，他们是太不系统的内容进行测试。其次，我们提出了一个详细的定义理解-“理解的模板”-广泛有用的一类文本，即短叙事。然后，我们进行了一个实验，强烈表明现有的系统不符合我们定义的叙事理解任务。
2020-05-11 cs.AI cs.CL
Revealing Weaknesses of Vietnamese Language Models Through Unanswerable Questions in Machine Reading Comprehension
Denison University（丹尼森大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学）
虽然多语言的诅咒显著限制了多语言模型在单语环境中的语言能力，但研究人员现在仍然必须依赖多语言模型来开发越南语机器阅读理解的最先进系统。这一研究的困难是由于开发越南语语言模型的高质量作品数量有限。为了鼓励更多的工作在这一研究领域，我们提出了一个全面的分析语言的弱点和优势，目前越南单语模型使用的下游任务机器阅读理解。根据分析结果，我们提出了发展越南语语言模型的新方向。除了这一主要贡献，我们还成功地揭示了存在的文物越南机器阅读理解基准，并建议迫切需要新的高质量的基准来跟踪越南机器阅读理解的进展。此外，我们还介绍了一个小的，但有价值的修改的过程中注释无法回答的问题，机器阅读理解从以前的工作。我们提出的修改有助于提高质量的无法回答的问题，以更高的难度水平的机器阅读理解系统解决。
2023-03-16 cs.AI cs.CL
Numerical reasoning in machine reading comprehension tasks: are we there yet?
Imperial College London（帝国理工学院）；City, University of London（伦敦城市大学）
基于数值推理的机器阅读理解是一项涉及阅读理解以及使用算术运算（如加法、减法、排序和计数）的任务。DROP基准（Dua等人，2019）是最近的一个数据集，它启发了旨在解决这一任务的NLP模型的设计。这些模型目前在DROP排行榜上的排名超过了标准指标，表明这些模型已经达到了接近人类的性能。然而，这是否意味着这些模型已经学会了推理？在本文中，我们提出了一个控制研究的一些最高性能的模型架构的任务的数值推理。我们的观察表明，标准指标无法衡量这些任务的进展情况。
2021-09-16 cs.AI cs.CL
Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了一个混合的任务感知专家网络的机器阅读理解在一个相对较小的数据集。我们特别关注常识学习的问题，通过专门训练不同的专家网络来捕获每个段落，问题和选择三元组之间的不同关系，从而加强共同基础知识。此外，我们通过训练每个网络一个相关的重点任务，对多任务和迁移学习的最新进展进行了总结。通过强制执行任务和关系，使混合网络意识到特定目标，我们实现了最先进的结果并减少了过度拟合。
2022-10-04 cs.AI cs.CL
UQuAD1.0: Development of an Urdu Question Answering Training Data for Machine Reading Comprehension
近年来，低资源的机器阅读理解（MRC）取得了显著的进展，模型在各种语言数据集上都取得了显著的性能。然而，这些模型都没有为乌尔都语定制。这项工作探索了半自动创建乌尔都语问答数据集（UQuAD 1.0），将机器翻译的SQuAD与来自维基百科文章的人工生成样本和来自剑桥O级书籍的乌尔都语RC样本相结合。UQuAD 1.0是一个大规模的乌尔都语数据集，用于提取机器阅读理解任务，由49 k个问题答案对组成，包括问题，段落和答案格式。在UQuAD 1.0中，通过原始SQuAD 1.0的机器翻译生成了45000对QA，通过众包生成了大约4000对QA。在这项研究中，我们使用了两种类型的MRC模型：基于规则的基线和基于高级转换器的模型。然而，我们发现后者的性能优于其他架构;因此，我们决定只关注基于transformer的架构。使用XLMRoBERTa和多语言BERT，我们获得的F1得分分别为0.66和0.63。
2021-11-02 cs.AI cs.CL
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
California Institute of Technology（加州理工学院）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
会话机器理解需要理解会话历史，例如以前的问题/答案对，文档上下文和当前问题。为了使传统的，单轮模型编码的历史全面，我们引入流，一种机制，可以通过交替的并行处理结构，在回答以前的问题的过程中产生的中间表示。与连接先前的问题/答案作为输入的方法相比，Flow更深入地集成了会话历史的潜在语义。我们的模型FlowQA在最近提出的两个对话挑战上表现出了卓越的性能（CoQA上的F1为+7.2%，QuAC上为+4.0%）。Flow的有效性也体现在其他任务中。通过将顺序指令理解简化为对话式机器理解，FlowQA在SCONE的所有三个领域都优于最佳模型，准确率提高了+1.8%至+4.4%。
2019-04-16 cs.AI cs.CL
Machine Comprehension Using Match-LSTM and Answer Pointer
Singapore Management University（新加坡管理大学）
文本的机器理解是自然语言处理中的一个重要问题。最近发布的一个数据集，斯坦福问答数据集（SQuAD），提供了大量的真实问题和他们的答案，由人类通过众包创建。SQuAD为评估机器理解算法提供了一个具有挑战性的测试平台，部分原因是与以前的数据集相比，SQuAD中的答案不是来自一小部分候选答案，并且它们具有可变的长度。我们提出了一个端到端的神经架构的任务。该架构基于match-LSTM（我们之前提出的文本蕴涵模型）和指针网（Vinyals等人提出的序列到序列模型）。（2015）以将输出令牌约束为来自输入序列。我们提出了两种使用指针网的方法。我们的实验表明，我们的两个模型大大优于Rajpurkar等人获得的最佳结果。（2016）使用逻辑回归和手工制作的功能。
2016-11-07 cs.AI cs.CL
An Understanding-Oriented Robust Machine Reading Comprehension Model
Northeastern University（东北大学）
尽管现有的机器阅读理解模型在许多数据集上取得了快速进展，但它们远不健壮。本文提出了一种面向理解的机器阅读理解模型，以解决过敏感性、过稳定性和泛化性这三种鲁棒性问题。具体来说，我们首先使用一个自然语言推理模块来帮助模型理解输入问题的准确语义，以解决过度敏感和过度稳定的问题。在机器阅读理解模块中，我们提出了一种记忆引导的多头注意力方法，可以更好地理解输入问题和文章的语义。第三，我们提出了一种多语言学习机制来解决泛化问题。最后，将这些模块与基于多任务学习的方法相结合。我们在三个基准数据集上评估我们的模型，这些数据集旨在衡量模型的鲁棒性，包括DuReader（鲁棒）和两个SQuAD相关数据集。大量的实验表明，我们的模型可以很好地解决上述三种鲁棒性问题。在不同的评估指标下，即使在一些极端和不公平的评估下，它也比所有这些数据集上的最先进的模型取得了更好的结果。我们工作的源代码可以在https://github.com/neukg/RobustMRC上找到。
2022-07-01 cs.AI cs.CL
Deep Understanding based Multi-Document Machine Reading Comprehension
Northeastern University（东北大学）
现有的多文档机器阅读理解模型主要侧重于理解输入问题与文档之间的交互，而忽略了以下两种理解。首先，从对方的角度理解输入问题和文档中单词的语义。第二，从文档内和文档间的角度理解正确答案的支持线索。忽略这两种重要的理解会使模型忽略一些可能有助于得出正确答案的重要信息。为了克服这一缺陷，我们提出了一个基于深度理解的多文档机器阅读理解模型。它有三个级联的深度理解模块，旨在理解单词的准确语义，输入问题和文档之间的交互以及正确答案的支持线索。我们在两个大规模的基准数据集上评估了我们的模型，即TriviaQA Web和DuReader。大量的实验表明，我们的模型在两个数据集上都取得了最先进的结果。
2022-02-25 cs.AI cs.CL
Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension
School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）
传统的机器阅读理解（MRC）已经通过模式匹配得到了很好的解决，但常识推理的能力仍然是人类和机器之间的差距。以前的方法通过预训练的知识图谱嵌入（KGE）丰富单词表示来解决这个问题。然而，它们对知识图谱（KG）中节点之间的大量连接的利用有限，这些连接可能是构建常识推理链的关键线索。在本文中，我们提出了一个即插即用的模块来存储连接信息的常识推理（PIECER）。除了用知识嵌入丰富单词表示外，PIECER还构建了一个联合查询-通道图，通过单词之间面向知识的连接来明确地指导常识推理。此外，PIECER具有很高的通用性，因为它可以插入到任何MRC模型的合适位置。实验结果ReCoRD，一个大规模的公共MRC数据集，需要常识推理，PIECER介绍了稳定的性能改善四个代表性的基础MRC模型，特别是在低资源设置。
2021-03-26 cs.AI cs.CL
Explicit Utilization of General Knowledge in Machine Reading Comprehension
York University（约克大学）
为了弥补机器阅读理解（MRC）模型与人类之间的差距，主要体现在对数据的渴求和对噪声的鲁棒性上，本文探讨如何将MRC模型的神经网络与人类的一般知识相结合。一方面，我们提出了一种数据丰富的方法，它使用WordNet提取词间语义连接作为一般知识，从每个给定的问题对。另一方面，我们提出了一个端到端的MRC模型命名为知识辅助阅读器（KAR），它显式地使用上述提取的一般知识，以协助其注意力机制。基于数据富集方法，KAR在性能上与最先进的MRC模型相当，并且对噪声的鲁棒性明显优于它们。当只有一个子集（20%-80%）的训练样本是可用的，KAR优于国家的最先进的MRC模型的大幅度，仍然是合理的噪音鲁棒性。
2019-05-20 cs.AI cs.CL
U-Net: Machine Reading Comprehension with Unanswerable Questions
Fudan University（复旦大学）；Liulishuo Silicon Valley AI Lab（英语流利说硅谷人工智能实验室）
具有不可回答问题的机器阅读理解是自然语言处理面临的一个新的挑战。一个关键的子任务是可靠地预测问题是否无法回答。在本文中，我们提出了一个统一的模型，称为U-Net，有三个重要组成部分：答案指针，无答案指针和答案验证器。我们引入了一个通用节点，从而将问题及其上下文作为一个连续的令牌序列进行处理。通用节点对问题和文章的融合信息进行编码，在预测问题是否可回答方面发挥了重要作用，大大提高了U-Net的简洁性。与最先进的管道模型不同，U-Net可以以端到端的方式学习。在SQuAD 2.0数据集上的实验结果表明，U-Net可以有效地预测问题的不可回答性，并在SQuAD 2.0上获得了71.7的F1分数。
2018-10-12 cs.AI cs.CL
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune（浦那陆军技术学院）
多项选择机器阅读理解是一项困难的任务，它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人（或机器）阅读给定的文章、问题对，并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案，或者通过消除最差匹配答案。在这里，我们提出了GenNet模型，一个基于神经网络的模型。在这个模型中，我们首先从文章中生成问题的答案，然后将生成的答案与给定的答案进行匹配，最佳匹配的选项将是我们的答案。对于答案生成，我们使用S-网（Tan等人，2017）在SQuAD上训练的模型，为了评估我们的模型，我们使用了大规模RACE（来自考试的阅读理解数据集）（Lai et al.，2017年）的报告。
2020-03-18 cs.AI cs.CL
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research（讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性，本文提出了一个新的中文阅读理解数据集，以促进社区的相关研究。该数据集包含两种不同的类型：完形填空式阅读理解和用户查询式阅读理解，与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起，我们还举办了第一届中文机器阅读理解评估（CMRC-2017），并成功吸引了数十名参与者，这表明了此数据集的潜在影响。
2018-03-15 cs.CL
Machine Comprehension Based on Learning to Rank
Carnegie Mellon University（卡内基梅隆大学）
机器理解在NLP中起着至关重要的作用，并且已经被广泛地应用于像MCTest这样的数据集。然而，这个数据集太简单，太小，无法学习真正的推理能力。因此，\cite{hermann2015teaching}发布了一个大规模的新闻文章数据集，并提出了一个用于机器理解的深度LSTM阅读器系统。然而，培训过程是昂贵的。因此，我们尝试在新数据集上使用语义的特征工程方法，看看传统的机器学习技术和语义如何帮助机器理解。同时，我们提出的L2R阅读器系统取得了良好的性能与效率和较少的训练数据。
2016-05-13 cs.CL
Sogou Machine Reading Comprehension Toolkit
Sogou, Inc.（搜狗公司）
近年来，机器阅读理解得到了广泛的研究，基于神经网络的模型表现出了优越的性能。在本文中，我们提出了一个搜狗机器阅读理解（SMRC）工具包，可用于提供现代机器理解模型的快速，高效的开发，包括已发布的模型和原始原型。为了实现这一目标，该工具包提供了数据集读取器、灵活的预处理管道、必要的神经网络组件和内置模型，使数据准备、模型构建和训练的整个过程变得更加简单。
2019-04-01 cs.CL
DRCD: a Chinese Machine Reading Comprehension Dataset
Delta Research Center（台达研究中心）；Delta Electronics, Inc.（台达电子工业股份有限公司）
本文介绍了一个开放领域的传统中文机器阅读理解数据集DRCD（Delta Reading Comprehension Dataset）。该数据集旨在成为一个标准的中文机器阅读理解数据集，可以作为迁移学习的源数据集。该数据集包含来自2，108篇维基百科文章的10，014个段落和注释者生成的30，000多个问题。我们建立了一个基线模型，其F1得分为89.59%。人因绩效F1评分为93.30%。
2019-05-29 cs.CL
Bridging Information-Seeking Human Gaze and Machine Reading Comprehension
MIT BCS（麻省理工学院脑与认知科学系）
在这项工作中，我们分析如何在阅读理解过程中的人的目光是有条件的给定的阅读理解问题，以及这个信号是否可以有益于机器阅读理解。为此，我们收集了一个新的眼动跟踪数据集，其中有大量参与者参与多项选择阅读理解任务。我们对这些数据的分析显示，与回答问题最相关的文本部分的固定时间增加。基于这一发现，我们建议通过模仿人类在阅读理解过程中寻求信息的阅读行为，使自动阅读理解更像人类。我们证明，这种方法导致性能增益的多项选择问答在英语的国家的最先进的阅读理解模型。
2020-10-15 cs.CL
MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension
College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）；Eigen Technologies
机器理解式问答是自然语言处理中的一个典型问题。以往的方法很少花时间在编码层的改进上，尤其是句法信息和词的名称实体的嵌入，而这对编码的质量至关重要。此外，现有的注意力方法将每个查询词表示为一个向量，或者用单个向量来表示整个查询语句，都不能正确处理查询语句中关键词的权重。在本文中，我们介绍了一种新的神经网络架构称为多层嵌入与记忆网络（MEMEMEN）的机器阅读任务。在编码层，我们采用经典的skip-gram模型对词汇的句法和语义信息进行训练，形成一种新的嵌入层。我们还提出了一个记忆网络的全方位匹配的查询和通道，以捕捉更多的关键信息。实验结果表明，该模型在Stanford问答数据集（SQuAD）上的测试结果在精度和效率方面都具有竞争力，在TriviaQA数据集上的测试结果也达到了最先进水平。
2017-07-28 cs.AI cs.CL
Towards Machine Comprehension of Spoken Content: Initial TOEFL Listening Comprehension Test by Machine
National Taiwan University（国立台湾大学）
多媒体或语音内容比纯文本内容提供更有吸引力的信息，但更难以显示在屏幕上并被用户选择。因此，对于人类来说，访问前者的大量集合比后者更困难和耗时。开发一种能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这项工作中，我们提出了一个新的任务，机器理解的口语内容。我们将最初的目标定义为托福听力理解测试，这是一种针对母语不是英语的英语学习者的具有挑战性的学术英语考试。我们进一步提出了一个基于注意力的多跳递归神经网络（AMRNN）架构，在初始测试中取得了令人鼓舞的结果。初步结果也表明，单词水平的注意力可能是更强大的比这个任务与ASR错误的注意力。
2016-08-23 cs.CL
ReCoRD: Bridging the Gap between Human and Machine Commonsense Reading Comprehension
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
我们提出了一个大规模的数据集，ReCoRD，机器阅读理解需要常识推理。在这个数据集上的实验表明，最先进的MRC系统的性能远远落后于人类的性能。ReCoRD代表了未来研究的一个挑战，即弥合人类和机器常识阅读理解之间的差距。ReCoRD可在http://nlp.jhu.edu/record上获得。
2018-10-30 cs.CL
MRCBert: A Machine Reading ComprehensionApproach for Unsupervised Summarization
National University of Singapore（新加坡国立大学）
当进行在线购买，它成为重要的客户仔细阅读产品评论，并作出决定的基础上.然而，审查可能很长，可能包含重复的信息，有时甚至是对决策没有帮助的无关信息。在本文中，我们介绍了MRCBert，一种新的无监督的方法来生成摘要的产品评论。我们利用机器阅读理解，即MRC，方法来提取相关的意见，并从评论中生成评级和方面的摘要。通过MRCBert，我们表明，我们可以获得合理的性能，使用现有的模型和迁移学习，这可能是有用的学习资源有限或低的情况下。我们展示了亚马逊评论数据集中电子产品类别的评论结果。我们的方法是无监督的，因为它不需要任何特定领域的数据集，如产品评论数据集，用于训练或微调。相反，我们只使用SQuAD v1.1数据集来微调MRC任务的BERT。由于MRCBert不需要特定于任务的数据集，因此它可以很容易地适应和用于其他领域。
2021-05-01 cs.AI cs.CL
Semantics Altering Modifications for Evaluating Comprehension in Machine Reading
University of Manchester（曼彻斯特大学）
NLP的进步已经为机器阅读理解（MRC）任务带来了令人印象深刻的结果，据报道，这些方法可以实现与人类相当的性能。在本文中，我们研究了最先进的MRC模型是否能够正确处理语义改变修改（SAM）：语言动机的现象，改变句子的语义，同时保留大部分的词汇表面形式。我们提出了一种方法来自动生成和调整挑战集具有原始和修改的例子。我们进一步提出了一种新的评估方法，正确评估MRC系统处理这些例子的能力，独立于它们被优化的数据，通过对域转移引入的影响进行折扣。在一个大规模的实证研究中，我们应用的方法，以评估提取MRC模型的能力，正确处理SAM丰富的数据。我们全面涵盖了12种不同的最先进的神经架构配置和四个训练数据集，并发现-尽管它们具有众所周知的卓越性能-优化模型始终难以正确处理语义改变的数据。
2021-06-15 cs.AI cs.CL
KorQuAD1.0: Korean QA Dataset for Machine Reading Comprehension
LG CNS
机器阅读理解（MRC）是要求机器理解自然语言并通过阅读文档来回答问题的任务。它是聊天机器人和自动化客户支持系统等自动响应技术的核心。本文介绍了一个用于提取机器阅读理解任务的大规模韩语数据集KorQuAD。它由70，000多个关于韩语维基百科文章的人工生成的问答对组成。我们发布KorQuAD 1.0并在https://KorQuAD.github.io上发起挑战，以鼓励多语言自然语言处理研究的发展。
2019-09-17 cs.CL
Machine Reading Comprehension: a Literature Review
Peking University（北京大学）
机器阅读理解旨在教机器像人一样理解文本，是人工智能的一个新的具有挑战性的方向。本文综述了MRC的最新进展，主要集中在两个方面（即，语料库和技术）。列举并比较了各种MRC语料库的具体特点。介绍了几种典型MRC技术的主要思想。
2019-06-30 cs.CL
Automatic Task Requirements Writing Evaluation via Machine Reading Comprehension
TAL Education Group（好未来教育集团）
任务要求写作是英语四级考试和英语初试中的一个重要题型。TR写作问题可能包括多个要求，高质量的论文必须全面准确地回应每个要求。然而，有限的教师资源使学生无法立即获得详细的评分。针对现有作文自动评分系统大多注重整体评分而很少提供理由支持的问题，提出了一个基于机器阅读理解（MRC）的端到端框架。该框架不仅检测文章是否回答了需求问题，而且清楚地标记了文章回答问题的位置。该框架包括三个模块：问题规范化模块、基于ELECTRA的MRC模块和响应定位模块。我们广泛探索最先进的MRC方法。我们的方法在真实世界的教育数据集上实现了0.93的准确性得分和0.85的F1得分。为了鼓励可重复的结果，我们在\url{https://github.com/aied2021TRMRC/AIED_2021_TRMRC_code}上公开了我们的代码。
2021-07-15 cs.AI cs.CL
NumNet: Machine Reading Comprehension with Numerical Reasoning
Tencent Inc（腾讯公司）；Tsinghua University（清华大学）
数字推理是人类阅读理解中的一项关键技能，而现有的机器阅读理解（MRC）系统并没有很好地考虑到这一点。为了解决这个问题，我们提出了一个数字MRC模型命名为NumNet，它利用一个数字感知的图神经网络考虑比较信息，并执行数字推理的问题和段落。我们的系统在DROP数据集上获得了64.56%的EM分数，通过考虑数字之间的数值关系，优于所有现有的机器阅读理解模型。
2019-10-15 cs.CL
Answer Span Correction in Machine Reading Comprehension
IBM Research AI（IBM研究院AI）
机器阅读理解（MRC）中的答案验证包括根据输入上下文和问题对提取的答案进行验证。以前的工作着眼于重新评估问题的“可回答性”，给出了提取的答案。在这里，我们解决一个不同的问题：现有的MRC系统的倾向，以产生部分正确的答案时，提出了可回答的问题。我们探讨了这种错误的性质，并提出了一种后处理校正方法，产生统计上显着的性能改进，在单语和多语言评估的最先进的MRC系统。
2020-11-06 cs.AI cs.CL cs.LG
Guiding LLM to Fool Itself: Automatically Manipulating Machine Reading Comprehension Shortcut Triggers
Bar-Ilan University（巴伊兰大学）；Allen Institute for AI（艾伦人工智能研究所）
本文提出一个框架引导GPT4向机器阅读理解样本中注入捷径触发器，发现GPT4可被自身编辑欺骗（F1下降15%），并发布ShortcutQA数据集以揭示LLMs对捷径操纵的固有脆弱性。
2023-10-24 cs.AI cs.CL
Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；iFLYTEK AI Research (Central China)（讯飞人工智能研究院（华中））
本文通过跨多种PLM的多语言分析实验，研究多头自注意力与MRC性能的关系，发现文章到问题及文章理解注意力最关键，并借助可视化揭示模型解题机制。
2024-10-28 cs.AI cs.CL
Making Neural Machine Reading Comprehension Faster
本研究旨在解决机器阅读理解问题，其中问题必须在给定的上下文文章中回答。面临的挑战是开发一个计算速度更快的模型，这将改善推理时间。在许多自然语言理解任务中，BERT模型已经被使用，并且知识蒸馏方法已经被应用于训练两个较小的模型。所开发的模型进行了比较与其他模型已开发具有相同的意图。
2019-03-29 cs.CL
A Span-Extraction Dataset for Chinese Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。本文介绍了一个用于中文机器阅读理解的跨度抽取数据集，以增加这方面的语言训练。该数据集由人类专家在维基百科段落上注释的近20，000个真实问题组成。我们还注释了一个挑战集，其中包含需要在整个上下文中进行全面理解和多句推理的问题。我们提出了几个基线系统，以及匿名提交证明在这个数据集的困难。随着数据集的发布，我们主办了第二届中国机器阅读理解评估研讨会（CMRC 2018）。我们希望该数据集的发布能够进一步加速中文机器阅读理解的研究。相关资源：https://github.com/ymcui/cmrc2018
2019-08-29 cs.CL
An Annotation Scheme of A Large-scale Multi-party Dialogues Dataset for Discourse Parsing and Machine Comprehension
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们提出了大规模的多方聊天对话的话语分析和机器理解的注释方案。这个项目的主要目标是帮助理解多方对话。我们的数据集基于Ubuntu Chat语料库。对于每一个多方对话，我们注释了对话的话语结构和问答对。我们知道，这是第一个大规模的多方对话语篇分析语料库，我们首次提出了多方对话机器阅读理解的任务。
2019-11-08 cs.CL
A Survey on Machine Reading Comprehension Systems
University of Qom（库姆大学）
机器阅读理解是自然语言处理中一个具有挑战性的课题和研究热点。它的目标是开发系统来回答有关给定上下文的问题。本文对机器阅读理解系统的研究方法、结构、输入/输出和研究创新等方面进行了综述。我们根据2016年至2020年的241篇综述论文说明了该领域的最新趋势。我们的调查表明，近年来研究的重点已经从答案提取到答案生成，从单文档阅读理解到多文档阅读理解，从从头开始学习到使用预训练的嵌入。我们还讨论了流行的数据集和评价指标在这一领域。本文最后调查了被引用最多的论文及其贡献。
2020-10-20 cs.CL
Structural Embedding of Syntactic Trees for Machine Comprehension
Carnegie Mellon University（卡内基梅隆大学）
用于机器理解的深度神经网络通常仅利用单词或字符嵌入，而不显式地利用结构化的语言信息，例如选区树和依赖树。在本文中，我们提出了结构嵌入的语法树（SEST），算法框架，利用结构化的信息，并将其编码成向量表示，可以提高机器理解算法的性能。我们使用SQuAD数据集上最先进的神经注意力模型来评估我们的方法。实验结果表明，我们的模型可以准确地识别句子的语法边界，并提取出比基线方法在语法上连贯的答案。
2017-08-31 cs.CL
Interactive Machine Comprehension with Dynamic Knowledge Graphs
Microsoft Research, Montréal（微软研究院（蒙特利尔））
交互式机器阅读理解（iMRC）是知识源部分可观察的机器理解任务。一个智能体必须与环境交互，收集必要的知识，以回答一个问题。我们假设，图形表示是很好的归纳偏见，这可以作为一个代理的记忆机制，在iMRC任务。我们探索了四种不同类别的图，可以捕获不同层次的文本信息。我们描述了在信息收集过程中动态构建和更新这些图的方法，以及在RL代理中编码图表示的神经模型。在iSQuAD上进行的大量实验表明，图形表示可以显著提高RL代理的性能。
2021-08-31 cs.CL
Stochastic Answer Networks for Machine Reading Comprehension
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个简单而强大的随机回答网络（SAN），模拟机器阅读理解的多步推理。与以往的工作如ReasoNet使用强化学习来确定步骤数相比，其独特之处在于在训练过程中对神经网络的答案模块（最终层）使用了一种随机预测丢弃。我们证明了这个简单的技巧提高了鲁棒性，并在斯坦福问答数据集（SQuAD），对抗SQuAD和微软机器阅读理解数据集（MS MARCO）上取得了与最先进的结果相竞争的结果。
2018-05-15 cs.CL
OneStop QAMaker: Extract Question-Answer Pairs from Text in a One-Stop Approach
DAMO Academy, Alibaba Group（阿里巴巴集团达摩学院）；Shandong University（山东大学）
大规模问答（QA）对对于推进机器阅读理解和问答等研究领域至关重要。从文档中构建QA对需要确定如何提出问题以及相应的答案是什么。现有的QA对生成方法通常遵循流水线方法。也就是说，他们首先选择最有可能的候选答案范围，然后生成答案特定的问题。然而，这种管道方法在从文档中挖掘最合适的QA对时是不期望的，因为它忽略了问题生成和答案提取之间的联系，这可能导致不兼容的QA对生成，即，所选择的答案范围不适合问题生成。然而，对于人类注释者，我们考虑整个QA对，并考虑问题和答案之间的兼容性。受这种动机的启发，而不是传统的管道方法，我们提出了一个名为OneStop生成QA对从文档中的一站式方法的模型。具体地说，问题及其对应的答案跨度是同时提取的，问题生成和答案提取的过程相互影响。此外，OneStop在工业场景中的训练和部署效率要高得多，因为它只涉及一个模型来解决复杂的QA生成任务。我们在SQuAD、NewsQA和DuReader三个大规模机器阅读理解数据集上进行了综合实验。实验结果表明，我们的OneStop模型在生成问题的质量，生成的问答对的质量和模型效率方面显着优于基线。
2021-02-24 cs.CL
Integrating Semantic Information into Sketchy Reading Module of Retro-Reader for Vietnamese Machine Reading Comprehension
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
机器阅读理解是近年来自然语言处理领域最前沿、最热门的研究课题之一。可答性问题的分类是机器阅读理解中一个比较重要的子任务，但目前的研究并不多。Retro-Reader是有效解决这一问题的研究之一。然而，大多数传统的机器阅读理解模型的编码器，特别是Retro-Reader，都不能完全利用上下文的上下文语义信息。受SemBERT的启发，我们使用SRL任务中的语义角色标签来为预先训练好的语言模型（如mBERT、XLM-R、PhoBERT）添加语义。本实验旨在比较语义对越南语机器阅读理解可答性分类的影响。此外，我们希望这个实验将增强Retro-Reader模型的粗略阅读模块的编码器。将改进后的Retro-Reader模型的语义编码器首次应用于越南语机器阅读理解任务，取得了良好的效果。
2023-01-01 cs.CL
Audio-Oriented Multimodal Machine Comprehension: Task, Dataset and Model
Peking University（北京大学）；Tencent（腾讯）；Peng Cheng Laboratory（鹏城实验室）
近年来，机器阅读理解（Machine Comprehension，MC）引起了广泛的研究兴趣，但现有方法主要属于机器阅读理解任务范畴，即挖掘文本输入（段落和问题）来预测答案（选项或文本跨度）。然而，有很多MC任务除了接受文本输入之外还接受音频输入，例如英语听力理解测试。本文研究面向音频的多模态机器理解问题，其目标是根据给定的音频和文本信息回答问题。为了解决这个问题，我们提出了一个动态模态间和模态内注意力（DIIA）模型，以有效地融合两种模态（音频和文本）。DIIA可以作为一个独立的组件工作，因此可以很容易地集成到现有的MC模型。此外，我们进一步开发了一个多模态知识蒸馏（MKD）模块，使我们的多模态MC模型，以准确地预测答案的基础上，无论是文本或音频。因此，所提出的方法可以处理各种任务，包括：面向音频的多模态机器理解，机器阅读理解和机器听力理解，在一个单一的模型，使公平的比较我们的模型和现有的单峰MC模型。实验结果和分析证明了所提方法的有效性。首先，所提出的DIIA在准确性方面将基线模型提高了21.08%;其次，在单峰场景下，MKD模块允许我们的多模态MC模型显著优于单峰模型高达18.87%，这些模型仅使用音频或文本数据进行训练和测试。
2021-07-04 cs.CL
Comparing Attention-based Convolutional and Recurrent Neural Networks: Success and Limitations in Machine Reading Comprehension
我们提出了一个基于两阶段注意力的比较-聚合框架的机器阅读理解模型，在MovieQA问答数据集上取得了最先进的结果。为了研究我们的模型的局限性以及卷积神经网络和递归神经网络之间的行为差异，我们生成了对抗性示例来混淆模型并与人类性能进行比较。此外，我们通过分析模型与人类推理的差异来评估模型的泛化能力，
2018-08-27 cs.CL
From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap
Amazon Alexa AI（亚马逊Alexa AI）；Computer Science & Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）
对话状态跟踪（DST）是面向任务的对话系统的核心。然而，标记数据的稀缺性是构建跨各种领域工作的准确和强大的状态跟踪系统的障碍。现有的方法通常需要一些对话数据的状态信息和他们的能力推广到未知的领域是有限的。在本文中，我们提出使用机器阅读理解（RC）的状态跟踪从两个角度：模型架构和数据集。我们将对话状态中的槽类型分为类别槽和抽取槽，以借鉴多项选择和广度阅读理解模式的优点。我们的方法在MultiWOZ 2.1上实现了接近当前最先进的联合目标精度，给出了完整的训练数据。更重要的是，通过利用机器阅读理解数据集，当域内数据的可用性有限时，我们的方法在Few-Shot场景中比现有方法表现出更大的优势。最后，即使没有任何状态跟踪数据，即，在zero-shot场景中，我们提出的方法在MultiWOZ 2.1的30个插槽中的12个插槽中实现了大于90%的平均插槽精度。
2020-04-13 cs.AI cs.CL cs.LG
Evaluating Neural Machine Comprehension Model Robustness to Noisy Inputs and Adversarial Attacks
Johns Hopkins University（约翰斯·霍普金斯大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
我们评估机器理解模型的鲁棒性噪声和对抗攻击进行新的扰动，在字符，单词和句子的水平。我们使用不同的扰动量进行实验，以检查模型的置信度和误分类率，并在两个基准数据集上使用不同的嵌入类型对比对抗训练中的模型性能。我们证明了提高模型的性能与集成。最后，我们分析了对抗训练下影响模型行为的因素，并开发了一个模型来预测对抗攻击期间的模型错误。
2020-05-01 cs.CL
