Interpreting Attention Models with Human Visual Attention in Machine Reading Comprehension
University of Stuttgart（斯图加特大学）；University of Konstanz（康斯坦茨大学）
虽然具有注意力机制的神经网络在许多自然语言处理任务上取得了优异的性能，但学习注意力在多大程度上类似于人类视觉注意力仍不清楚。在本文中，我们提出了一种新的方法，利用眼动数据来研究人类视觉注意和神经注意之间的关系，在机器阅读理解。为此，我们引入了一种新的23名参与者的眼动追踪数据集- MQA-RC，其中参与者阅读电影情节并回答预定义的问题。我们比较了基于长短期记忆（LSTM）、卷积神经模型（CNN）和XLNet Transformer架构的最新网络。我们发现，与人类注意力和表现的更高相似性与LSTM和CNN模型显著相关。然而，我们发现这种关系并不适用于XLNet模型-尽管事实上XLNet在这项具有挑战性的任务中表现最好。我们的研究结果表明，不同的架构似乎学习相当不同的神经注意力策略和相似性的神经到人类的注意力并不能保证最佳性能。
2020-10-27 cs.CL
Multi-granularity hierarchical attention fusion networks for reading comprehension and question answering
Alibaba Group（阿里巴巴集团）
本文描述了一种新的层次注意网络的阅读理解风格的问答，其目的是回答一个给定的叙述段落的问题。在该方法中，注意力和融合进行水平和垂直跨层的问题和段落之间的不同粒度的水平。具体来说，它首先编码的问题和段落与细粒度的语言嵌入，以更好地捕捉各自的表示在语义层面。然后提出了一种多粒度融合方法，充分融合来自全局和关注表示的信息。最后，引入层次注意网络，通过多层次软对齐逐步关注答案广度。在大规模SQuAD和TriviaQA数据集上的实验验证了该方法的有效性。在撰写本文时（2018年1月12日），我们的模型在SQuAD排行榜上获得了单个和集成模型的第一名。我们还在TriviaQA、AddSent和AddOne-Sent数据集上实现了最先进的结果。
2018-11-29 cs.CL
Attention-Guided Answer Distillation for Machine Reading Comprehension
National University of Defense Technology（中国人民解放军国防科技大学）；Microsoft Research Asia（微软亚洲研究院）
尽管目前的阅读理解系统已经取得了显着的进步，他们有前途的表现往往是在获得的成本，使众多的模型的合奏。此外，现有的方法也容易受到对抗攻击。本文通过利用知识蒸馏来解决这些问题，知识蒸馏的目的是将知识从集成模型转移到单个模型。我们首先证明了香草知识蒸馏应用于答案跨度预测是有效的阅读理解系统。然后，我们提出了两种新的方法，不仅惩罚预测混乱的答案，但也指导训练与对齐信息从合奏。实验表明，与集成教师相比，我们最好的学生模型在SQuAD测试集上的F1只有0.4%的轻微下降，而在推理过程中运行速度快了12倍。它甚至在对抗性SQuAD数据集和NarrativeQA基准测试中优于教师。
2018-09-17 cs.CL
A3Net: Adversarial-and-Attention Network for Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
本文介绍了一种用于机器阅读理解的对抗注意力网络（A3 Net）。该模型从两个角度扩展了现有方法。首先，对抗性训练应用于模型中的几个目标变量，而不仅仅是输入或嵌入。我们根据原始目标变量的范数来控制对抗性扰动的范数，这样我们就可以在训练过程中对多个目标变量联合添加扰动。作为一种有效的正则化方法，对抗训练提高了模型的鲁棒性和泛化能力。其次，我们提出了一个多层注意力网络，利用三种高效的注意力机制。多层次注意在每一层中引导问题和篇章之间的互动，有助于对模型的合理表征和理解。结合这两个贡献，我们提高了数据集的多样性和模型的信息提取能力的同时。同时，我们为WebQA数据集构建了A3 Net。结果表明，我们的模型优于国家的最先进的模型（提高模糊得分从73.50%到77.0%）。
2018-09-03 cs.CL
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
Natural Questions是一个新的具有挑战性的机器阅读理解基准，具有两个粒度的答案，即长答案（通常是一个段落）和短答案（长答案中的一个或多个实体）。尽管现有的方法在这个基准上是有效的，但它们在训练过程中单独对待这两个子任务，而忽略了它们的依赖关系。为了解决这个问题，我们提出了一种新的多粒度机器阅读理解框架，重点是在其层次结构的性质，这是不同级别的粒度建模文档：文档，段落，句子和令牌。我们利用图形注意力网络来获得不同级别的表示，以便它们可以同时学习。长答案和短答案可以分别从段落级表示和标记级表示中提取。通过这种方式，我们可以对两个粒度答案之间的依赖关系进行建模，从而为彼此提供证据。我们联合训练这两个子任务，我们的实验表明，我们的方法显着优于以前的系统在长和短的答案标准。
2020-05-13 cs.CL
Reinforced Mnemonic Reader for Machine Reading Comprehension
National University of Defense Technology（国防科技大学）；Fudan University（复旦大学）；Microsoft Research（微软研究院）
在本文中，我们介绍了强化助记符阅读器的机器阅读理解任务，它提高了以前的注意读者在两个方面。首先，提出了一种重注意机制，通过直接访问多轮对齐结构中时间记忆的过去注意力来细化当前注意力，从而避免注意力冗余和注意力不足的问题。其次，一种新的优化方法，称为动态临界强化学习，被引入到扩展的标准监督方法。它总是鼓励预测一个更可接受的答案，以解决收敛抑制问题发生在传统的强化学习算法。在斯坦福大学问答数据集（SQuAD）上的大量实验表明，该模型取得了较好的效果。与此同时，我们的模型在两个对抗SQuAD数据集上的精确匹配和F1指标方面都比以前的系统高出6%以上。
2018-06-06 cs.CL
Dynamic Fusion Networks for Machine Reading Comprehension
Carnegie Mellon University（卡内基梅隆大学）；Microsoft AI&R（微软人工智能与研究事业部）
提出了一种新的用于机器阅读理解（MRC）的神经网络模型--动态融合网络（DFN）。DFN与大多数最先进的模型不同之处在于它们使用动态多策略注意过程，其中段落，问题和答案候选者共同融合为注意向量，以及用于生成答案的动态多步推理模块。通过使用强化学习，对于由问题、段落和候选答案列表组成的每个输入样本，可以通过确定要应用什么注意力策略以及要采取多少推理步骤来动态地构建具有样本特定网络架构的DFN实例。实验表明，DFN实现了RACE上报告的最佳结果，RACE是一个具有挑战性的MRC数据集，包含各种类型的真实人类阅读问题。一个详细的实证分析还表明，DFNs可以产生的注意向量，总结信息的问题，段落和答案的候选人比其他流行的MRC模型更有效。
2018-02-26 cs.CL
Medical Exam Question Answering with Large-scale Reading Comprehension
Tsinghua University（清华大学）；Tsinghua-iFlytek Joint Laboratory（清华-讯飞联合实验室）
文本的阅读和理解是临床医学计算机辅助诊断的重要组成部分，也是自然语言处理领域的一个主要研究问题。在这项工作中，我们引入了一个问答任务，称为MedQA研究回答问题，在临床医学中使用的知识，在一个大规模的文件收集。MedQA的目的是通过大规模阅读理解来回答现实世界的问题。我们提出了我们的解决方案SeaReader--一个基于LSTM网络和双路径注意力架构的模块化端到端阅读理解模型。这种新颖的双路径注意力从两个角度对信息流进行建模，并且能够同时阅读单个文档并整合多个文档中的信息。在实验中，我们的SeaReader在MedQA上的准确性比竞争模型有了很大的提高。此外，我们开发了一系列新的技术来演示解释的问答过程中的SeaReader。
2018-02-28 cs.CL
Dataset for the First Evaluation on Chinese Machine Reading Comprehension
iFLYTEK Research（讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。为了增加阅读理解数据集的多样性，本文提出了一个新的中文阅读理解数据集，以促进社区的相关研究。该数据集包含两种不同的类型：完形填空式阅读理解和用户查询式阅读理解，与大规模训练数据以及人工标注的验证和隐藏测试集相关联。与此数据集一起，我们还举办了第一届中文机器阅读理解评估（CMRC-2017），并成功吸引了数十名参与者，这表明了此数据集的潜在影响。
2018-03-15 cs.CL
SG-Net: Syntax-Guided Machine Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
对于机器阅读理解来说，有效地从细节丰富的冗长段落中建模语言知识并克服噪声的能力是提高其性能的关键。传统的注意模型没有明确的约束条件，只注意到所有的词，导致对某些不确定的词的注意不准确。在这项工作中，我们提出使用语法来指导文本建模，通过将显式的语法约束纳入注意力机制，以更好地语言动机的单词表示。具体地说，对于自注意网络（SAN）赞助的基于transformer的编码器，我们将语法兴趣依赖（SDOI）设计引入到SAN中，形成具有语法引导的自注意的SDOI-SAN。语法引导网络（SG-Net）然后通过双上下文架构由该额外的SDOI-SAN和来自原始Transformer编码器的SAN组成，以获得更好的语言学启发表示。为了验证其有效性，建议的SG-网络被应用到典型的预训练语言模型BERT，这是正确的基础上Transformer编码器。在包括SQuAD 2.0和RACE在内的流行基准上进行的大量实验表明，所提出的SG-Net设计有助于在强基线上实现实质性的性能改进。
2019-11-20 cs.CL
ClueReader: Heterogeneous Graph Attention Network for Multi-hop Machine Reading Comprehension
Qufu Normal University（曲阜师范大学）；East China Normal University（华东师范大学）；Shanghai Institute of AI for Education（上海人工智能教育研究院）；Harbin Institute of Technology（哈尔滨工业大学）；HUTECH University（胡志明市工业大学）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究院（DaSCI））；University of Granada（格拉纳达大学）；Iwate Prefectural University（岩手县立大学）
针对多跳机器阅读理解中现有模型推理逻辑与人类不一致的问题，提出模拟祖母细胞概念的异构图注意力网络ClueReader，实现推理可视化，在WikiHop、MedHop数据集上验证了有效性和跨领域应用可行性。
2023-07-21 cs.CL
Multi-task Learning with Multi-head Attention for Multi-choice Reading Comprehension
IBM Research AI（IBM研究人工智能部门（IBM Research AI））
多项选择机器阅读理解（MRC）是一项重要且具有挑战性的自然语言理解（NLU）任务，机器必须从一组选项中选择问题的答案，问题置于文本段落或对话的上下文中。在过去的几年里，随着基于Transformer架构的模型的出现，NLU领域发生了革命性的变化，这些模型在大量无监督数据上进行了预训练，然后针对各种监督学习NLU任务进行了微调。Transformer模型已经在NLU领域的各种排行榜中占据主导地位;在MRC领域，DREAM数据集上的当前最先进的模型（参见[Sunet al.，2019]）微调Albert，一个大型的基于transformer的预训练模型，并将其与上下文和问答之间的额外一层多头注意力结合起来[Zhuet al.，2020].本文的目的是记录一个新的国家的最先进的结果在梦想的任务，这是通过，此外，执行多任务学习的两个MRC多项选择阅读理解任务（种族和梦想）。
2020-02-26 cs.CL cs.LG
Hierarchical Attention: What Really Counts in Various NLP Tasks
Peking University（北京大学）
序列到序列模型中的注意力机制在各种自然语言处理任务中表现出了强大的能力和出色的性能，例如句子嵌入，文本生成，机器翻译，机器阅读理解等。不幸的是，现有的注意力机制只能学习高级或低级特征。本文认为层次机制的缺乏是注意力机制性能提高的瓶颈，提出了一种基于多层次注意力不同层次加权和的层次注意力机制（Ham）。Ham在中文诗歌生成任务上获得了最先进的BLEU得分0.26，与现有的机器阅读理解模型（如BIDAF和Match-LSTM）相比，平均提高了近6.5%。此外，我们的实验和定理表明，Ham比现有的注意力机制具有更好的泛化和表征能力。
2018-08-10 cs.CL
SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering
Microsoft Speech and Dialogue Research Group（微软语音与对话研究组）
会话式问答（CQA）是一种需要理解对话语境的新型问答任务。与传统的单轮机器阅读理解（MRC）任务不同，CQA包括篇章理解、共指消解和语境理解。在本文中，我们提出了一种创新的基于上下文的注意力深度神经网络SDNet，将上下文融合到传统的MRC模型中。我们的模型利用相互注意和自我注意来理解会话上下文并从段落中提取相关信息。此外，我们展示了一种新的方法来集成最新的BERT上下文模型。实证结果表明，我们的模型的有效性，它设置了新的国家的最先进的结果在CoQA排行榜，优于以前的最佳模型的1.6%F1。我们的集成模型进一步提高了2.7%F1的结果。
2019-01-02 cs.CL
Benchmarking Machine Reading Comprehension: A Psychological Perspective
National Institute of Informatics（国立信息学研究所）；University College London（伦敦大学学院）
机器阅读理解（MRC）作为自然语言理解的基准已经受到相当大的关注。然而，MRC的传统任务设计缺乏超出模型解释的可解释性，即，阅读理解的模式不能用人类的语言来解释。为此，本文为基于心理学和心理测量学的MRC数据集的设计提供了理论基础，并总结了MRC基准测试的先决条件。我们的结论是，未来的数据集应该（i）评估模型的能力，以构建一个连贯和接地表示理解上下文相关的情况和（ii）确保通过捷径证明问题和解释作为任务设计的一部分，实质性的有效性。
2021-01-26 cs.CL
Integrating a Heterogeneous Graph with Entity-aware Self-attention using Relative Position Labels for Reading Comprehension Model
Semnan University（塞姆南大学）
本文提出一种无需外部知识的注意力模式，将异构图推理知识与LUKE实体感知自注意力结合，并在ReCoRD和WikiHop上超越LUKE及LUKE-Graph模型。
2024-01-13 cs.CL cs.LG
A Span-Extraction Dataset for Chinese Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
机器阅读理解（MRC）是近年来非常流行的一门学科，受到了广泛的关注。然而，现有的阅读理解数据集大多是英语的。本文介绍了一个用于中文机器阅读理解的跨度抽取数据集，以增加这方面的语言训练。该数据集由人类专家在维基百科段落上注释的近20，000个真实问题组成。我们还注释了一个挑战集，其中包含需要在整个上下文中进行全面理解和多句推理的问题。我们提出了几个基线系统，以及匿名提交证明在这个数据集的困难。随着数据集的发布，我们主办了第二届中国机器阅读理解评估研讨会（CMRC 2018）。我们希望该数据集的发布能够进一步加速中文机器阅读理解的研究。相关资源：https://github.com/ymcui/cmrc2018
2019-08-29 cs.CL
Question Answering from Unstructured Text by Retrieval and Comprehension
Sony Corporation（索尼公司）；Carnegie Mellon University（卡内基梅隆大学）
开放域问答（QA）系统必须与外部知识源（例如网页）交互以查找相关信息。然而，像维基百科这样的信息源与知识库（KBs）相比结构不好并且难以利用。在这项工作中，我们提出了一个两步的方法来从非结构化文本的问答，包括检索步骤和理解步骤。对于理解，我们提出了一个基于RNN的注意力模型，该模型具有一种新的混合机制，用于从检索到的文章或固定词汇中选择答案。为了检索，我们引入了一个手工制作的模型和一个神经模型来对相关文章进行排名。我们在W IKI M OVIES数据集上实现了最先进的性能，将误差降低了40%。我们的实验结果进一步证明了每个引入的组件的重要性。
2017-03-26 cs.CL
Adaptive Bi-directional Attention: Exploring Multi-Granularity Representations for Machine Reading Comprehension
Peking University（北京大学）；Yale University（耶鲁大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，注意力增强的多层编码器，如Transformer，在机器阅读理解（MRC）中得到了广泛的研究。为了预测答案，通常的做法是采用预测器来仅从生成源序列的\textit{coarse-grained}表示的最终编码器层提取信息，即，通过和问题。已有的研究表明，随着编码层的增加，信源序列的表示从\textit{fine-grained}变为更多的\textit{coarse-grained}。通常认为，随着深度神经网络中层数的增加，编码过程将越来越多地收集每个位置的相关信息，从而产生更多的\textit{coarse-grained}表示，这增加了与其他位置相似的可能性（指同质性）。这种现象会误导模型做出错误的判断，从而降低性能。为此，我们提出了一种新的方法，称为自适应双向注意，自适应地利用不同级别的预测源表示。在标准数据集SQuAD 2.0上的实验结果表明了该方法的有效性，其结果比现有的最新模型好2.5 $\%$ EM和2.3 $\%$ F1.
2021-02-02 cs.AI cs.CL
FusionNet: Fusing via Fully-Aware Attention with Application to Machine Comprehension
Microsoft Business AI and Research（微软商业人工智能与研究院）；National Taiwan University（台湾大学）
本文介绍了一种称为FusionNet的新神经结构，它从三个角度扩展了现有的注意力方法。首先，提出了一个新的概念“词的历史”来描述从最低的词级嵌入到最高的语义级表示的注意信息。其次，它引入了一个改进的注意力评分功能，更好地利用了“词的历史”的概念。第三，提出了一种完全感知的多层次注意力机制，以捕获文本（如问题）中的完整信息，并在对应文本（如上下文或段落）中逐层利用它。我们将FusionNet应用于斯坦福问答数据集（SQuAD），在撰写本文时（2017年10月4日），它在官方SQuAD排行榜上获得了单个和集成模型的第一名。同时，我们用两个对抗SQuAD数据集验证了FusionNet的泛化能力，并在两个数据集上建立了新的最先进的技术：在AddSent上，FusionNet将最佳F1度量从46.6%提高到51.4%;在AddOneSent上，FusionNet将最佳F1度量从56.0%提高到60.7%。
2018-02-04 cs.AI cs.CL
Multi-turn Dialogue Comprehension from a Topic-aware Perspective
Shanghai Jiao Tong University（上海交通大学）
本文从主题感知视角建模多轮对话，提出无监督对话切分算法和主题感知双注意力匹配网络TADAM，在主题检测与回复选择任务上显著优于基线。
2023-09-18 cs.CL
EviDR: Evidence-Emphasized Discrete Reasoning for Reasoning Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；JD AI Research（京东人工智能研究院）
推理机器阅读理解（R-MRC）旨在回答需要基于文本进行离散推理的复杂问题。为了支持离散推理，证据，通常是描述问题相关事实的简洁文本片段，包括主题实体和属性值，是从问题到答案的关键线索。然而，以前的端到端的方法，实现最先进的性能很少解决问题，支付足够的重视证据的建模，错过了机会，进一步提高模型的推理能力，为R-MRC。为了缓解上述问题，在本文中，我们提出了一个证据强调离散推理方法（EviDR），其中句子和子句级别的证据是第一次检测的基础上，远程监督，然后用来驱动一个推理模块实现的关系异构图卷积网络，以获得答案。在DROP（discrete reasoning over paragraphs）数据集上进行了大量实验，实验结果表明了该方法的有效性。此外，定性分析验证了所提出的证据强调的离散推理R-MRC的能力。
2021-10-26 cs.CL
Tracing Origins: Coreference-aware Machine Reading Comprehension
Shanghai International Studies University（上海外国语大学）；Shanghai Jiao Tong University（上海交通大学）
机器阅读理解是用于评估新的预训练语言模型（PrLM）和微调策略的大量研究和测试领域，并且最近的研究已经用句法、语义和其他语言信息来丰富预训练语言模型以提高模型的性能。在本文中，我们模仿人类在连接回指表达时的阅读过程，并显式地利用实体的共指信息来增强来自预训练语言模型的词嵌入，以突出必须在QUOREF中识别的实体的共指提及，以进行共指密集型问答，一个相对较新的数据集，专门用于评估模型的相关性能。我们使用两种策略来微调预训练的语言模型，即在预训练的语言模型之后放置额外的编码器层以专注于共指提及或构建关系图卷积网络以对共指关系进行建模。我们证明了在微调阶段显式纳入共指信息比在预训练语言模型中纳入共指信息表现得更好。
2022-03-16 cs.CL
Integrated Triaging for Fast Reading Comprehension
Cornell University（康奈尔大学）；SayMosaic Inc.（赛摩赛克公司）；Google Inc.（谷歌公司）
虽然根据几个基准测试，自动机器阅读理解（MRC）系统最近已经达到了超人的性能，但较少关注其计算效率。然而，效率对于在现实世界应用中的培训和部署至关重要。本文介绍了集成分类，这是一个框架，它几乎删除了网络早期层中的所有上下文，剩下的（深）层只扫描整个语料库的一小部分。这种修剪大大提高了MRC模型的效率，并进一步防止后面的层过度拟合训练集中的流行短段落。我们的框架非常灵活，自然适用于各种各样的模型。我们在doc-SQuAD和TriviaQA任务上的实验证明了它在持续提高几个不同MRC模型的速度和质量方面的有效性。
2019-09-28 cs.CL
Unsupervised Explanation Generation for Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
随着各种预训练语言模型（Pre-trained Language Models，PLM）的不断涌现，机器阅读理解（Machine Reading Comprehension，MRC）在各种基准测试中取得了显著的进步，甚至超过了人类的表现。然而，现有的工作只针对最终预测的准确性，而忽略了对预测的解释的重要性，这是一个很大的障碍，利用这些模型在现实生活中的应用，以说服人类。在本文中，我们提出了一个自我解释的框架，机器阅读理解任务。其主要思想是，所提出的系统试图使用更少的通道信息，并实现类似的结果相比，使用整个通道的系统，而过滤的通道将被用作解释。我们在三个多项选择MRC数据集上进行了实验，发现所提出的系统可以在基线系统上实现一致的改进。为了评估可解释性，我们将我们的方法与人类评价中的传统注意力机制进行了比较，发现所提出的系统比后者具有显着的优势。
2020-11-13 cs.CL
Sentence Extraction-Based Machine Reading Comprehension for Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
自然语言处理的发展，特别是机器阅读理解的发展，引起了研究界的极大关注。近年来，越南语机器阅读理解任务有一些大规模的数据集，如NAP-ViQuAD和NAP-ViNewsQA。然而，这些数据集在为研究服务的答案上并不多样化。在本文中，我们介绍了第一个用于评估越南语中基于句子提取的机器阅读理解的数据集-ViWikiQA。ViWikiQA数据集是从ViWikiQA数据集转换而来的，由23.074个问题-答案组成，基于174篇维基百科越南语文章的5.109个段落。我们提出了一个转换算法来创建数据集的句子提取为基础的机器阅读理解和三种类型的方法，句子提取为基础的机器阅读理解在越南语。我们的实验表明，最好的机器模型是XLM-R_Large，它在我们的数据集上实现了85.97%的精确匹配（EM）和88.77%的F1分数。此外，我们分析了越南语的问题类型和上下文对MRC模型性能的影响方面的实验结果，从而显示了我们向语言处理社区提出的EST-ViWikiQA数据集的挑战。
2021-06-11 cs.CL
Audio-Oriented Multimodal Machine Comprehension: Task, Dataset and Model
Peking University（北京大学）；Tencent（腾讯）；Peng Cheng Laboratory（鹏城实验室）
近年来，机器阅读理解（Machine Comprehension，MC）引起了广泛的研究兴趣，但现有方法主要属于机器阅读理解任务范畴，即挖掘文本输入（段落和问题）来预测答案（选项或文本跨度）。然而，有很多MC任务除了接受文本输入之外还接受音频输入，例如英语听力理解测试。本文研究面向音频的多模态机器理解问题，其目标是根据给定的音频和文本信息回答问题。为了解决这个问题，我们提出了一个动态模态间和模态内注意力（DIIA）模型，以有效地融合两种模态（音频和文本）。DIIA可以作为一个独立的组件工作，因此可以很容易地集成到现有的MC模型。此外，我们进一步开发了一个多模态知识蒸馏（MKD）模块，使我们的多模态MC模型，以准确地预测答案的基础上，无论是文本或音频。因此，所提出的方法可以处理各种任务，包括：面向音频的多模态机器理解，机器阅读理解和机器听力理解，在一个单一的模型，使公平的比较我们的模型和现有的单峰MC模型。实验结果和分析证明了所提方法的有效性。首先，所提出的DIIA在准确性方面将基线模型提高了21.08%;其次，在单峰场景下，MKD模块允许我们的多模态MC模型显著优于单峰模型高达18.87%，这些模型仅使用音频或文本数据进行训练和测试。
2021-07-04 cs.CL
Synonym Knowledge Enhanced Reader for Chinese Idiom Reading Comprehension
Nanjing University（南京大学）；Tencent Inc.（腾讯公司）
机器阅读理解（MRC）是要求机器基于给定的上下文回答问题的任务。对于汉语MRC，由于汉语成语的非字面和非组合语义特征，对机器的理解提出了独特的挑战。以往的研究倾向于将习语单独对待，而没有充分挖掘习语之间的关系。本文首先定义了字面意义覆盖率的概念，用来衡量汉语成语的语义与字面意义的一致性。通过定义，我们证明了许多习语的字面意义与其语义之间存在着较大的差异，同时也证明了同义关系可以缓解这种差异，从而有助于习语的理解。此外，为了充分利用同义关系，我们提出了同义知识增强型阅读器。具体来说，对于每个习语，我们首先根据高质量同义词词典的注释或预先训练的习语嵌入之间的余弦相似度构建同义词图，然后结合图注意网络“与”门机制对图进行编码。在大规模汉语成语阅读理解数据集ChID上的实验结果表明，该模型具有较好的性能。
2020-11-09 cs.CL
Neural Machine Reading Comprehension: Methods and Trends
Science and Technology on Information Systems Engineering Laboratory（信息系统工程重点实验室）；National University of Defense Technology（国防科技大学）
机器阅读理解（MRC）需要机器根据给定的上下文回答问题，在过去几年中，随着各种深度学习技术的结合，它引起了越来越多的关注。虽然基于深度学习的MRC研究正在蓬勃发展，但仍然缺乏对现有方法和最新趋势的全面调查，这是本文所提出的工作的动机。具体来说，我们对这一研究领域进行了全面的回顾，涵盖了不同的方面，包括（1）典型的MRC任务：它们的定义，差异和代表性数据集;（2）神经MRC的一般架构：主要模块和流行的方法;以及（3）新趋势：神经MRC的一些新兴领域以及相应的挑战。最后，考虑到迄今为止所取得的成就，调查还通过讨论有待解决的未决问题，设想了未来的前景。
2019-10-30 cs.CL
Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；iFLYTEK AI Research (Central China)（讯飞人工智能研究院（华中））
本文通过跨多种PLM的多语言分析实验，研究多头自注意力与MRC性能的关系，发现文章到问题及文章理解注意力最关键，并借助可视化揭示模型解题机制。
2024-10-28 cs.AI cs.CL
Pay Attention to Real World Perturbations! Natural Robustness Evaluation in Machine Reading Comprehension
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；Imperial College London, Imperial Global Singapore（伦敦帝国理工学院、帝国全球新加坡）
针对现有鲁棒性评估依赖合成扰动的问题，提出基于维基百科编辑历史的自然扰动框架，发现其导致预训练模型及Flan-T5、LLM性能下降，并证明通过扰动训练可部分缓解。
2025-09-10 cs.AI cs.CL
Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension
Seoul National University（首尔国立大学）；V.DO Inc.（V.DO公司）；Search&Clova, Naver Corp.（Naver公司Search&Clova部门）
在这项工作中，我们介绍了一种新的算法解决教科书问答（TQA）的任务，描述了更现实的QA问题相比，最近的其他任务。我们主要集中在两个相关的问题与TQA数据集的分析。首先，解决TQA问题需要理解复杂输入数据中的多模态上下文。为了解决从长文本课程中提取知识特征并将其与视觉特征融合的问题，我们从文本和图像中建立了上下文图，并提出了一种基于图卷积网络（GCN）的新模块f-GCN。其次，科学术语没有分布在章节中，主题在TQA数据集中被分开。为了克服这个所谓的“域外”问题，在学习QA问题之前，我们引入了一个新的无任何注释的自监督开集学习过程。实验结果表明，我们的模型显着优于现有的最先进的方法。此外，消融研究验证了这两种方法，将f-GCN提取知识的多模态上下文和我们新提出的自监督学习过程是有效的TQA问题。
2019-06-02 cs.CL
A New Entity Extraction Method Based on Machine Reading Comprehension
South China University of Technology（华南理工大学）
实体抽取是自然语言处理中从海量文本中获取信息的关键技术。它们之间的进一步交互不符合人类阅读理解的标准，从而限制了对模型的理解，也会因推理题而遗漏或误判答案（即目标实体）。提出了一种有效的基于MRC的实体抽取模型--MRC-I2 DP，它利用所提出的门控注意力吸引机制对文本对的各个部分进行调整还原，为多层次的交互式注意力计算创造问题和思维，以增加目标实体，并利用所提出的二维概率编码模块、TALU函数和掩码机制加强对目标所有可能目标的检测，从而提高预测的概率和准确性。实验证明，MRC-I2 DP代表了来自科学和公共领域的7个整体最先进的模型，与F1中的模型模型相比，实现了高达的性能提升。
2021-08-20 cs.CL eess.SP
VAULT: VAriable Unified Long Text Representation for Machine Reading Comprehension
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）
机器阅读理解（MRC）的现有模型需要复杂的模型架构来有效地对具有段落表示和分类的长文本进行建模，从而使得推理对于生产使用在计算上效率低下。在这项工作中，我们提出了VARENT：一种轻量级和并行高效的MRC段落表示，基于长文档输入的上下文表示，使用一种新的基于高斯分布的目标进行训练，该目标密切关注接近地面真实的部分正确实例。我们验证了我们的VANORTH架构显示实验结果的两个基准MRC数据集，需要长上下文建模，一个基于维基百科（自然问题（NQ））和其他技术说明（TechQA）。VASTOM可以在NQ上实现与最先进的（SOTA）复杂文档建模方法相当的性能，同时速度快16倍，证明了我们提出的模型的效率。我们还证明，我们的模型也可以有效地适应一个完全不同的域- TechQA -与以前发布的大型PLM模型微调有很大的改进。
2021-06-02 cs.CL
MMM: Multi-stage Multi-task Learning for Multi-choice Reading Comprehension
MIT（麻省理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
面向问答的机器阅读理解（MRC）是测试智能系统理解人类语言能力的一种重要方法，其目的是根据相关的上下文段落回答问题。多项选择问答（MCQA）是MRC中最困难的任务之一，因为它通常需要更高级的阅读理解技能，如逻辑推理，总结和算术运算，与答案通常是给定段落内文本的提取对应物相比。此外，大多数现有的MCQA数据集都很小，这使得学习任务更加困难。我们介绍了MMM，一个多阶段多任务多选择阅读理解学习框架。我们的方法包括两个连续的阶段：使用域外数据集的粗调阶段和使用更大的域内数据集的多任务学习阶段，以帮助模型在有限的数据下更好地泛化。此外，我们提出了一种新的多步注意力网络（MAN）作为这项任务的顶级分类器。我们证明了MMM在四个有代表性的MCQA数据集上显着提高了最先进的水平。
2019-11-19 cs.CL cs.LG
A Study of the Tasks and Models in Machine Reading Comprehension
YORK UNIVERSITY（约克大学）
本文综述了机器阅读理解（MRC）中已有的任务和模型：1）简单推理和复杂推理MRC任务的数据集收集和性能评估; 2）基于神经网络的MRC模型的体系结构设计、注意力机制和性能提升方法; 3）最近提出的一些迁移学习方法，用于将外部语料库中包含的文本风格知识整合到MRC模型的神经网络中; 4）最近提出的一些知识库编码方法，将外部知识库中包含的风格知识转化为MRC模型的神经网络。此外，根据本研究所取得的成果和存在的不足，本文还提出了一些有待进一步研究的问题。
2020-01-23 cs.CL cs.IR cs.LG
Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension
Peking University（北京大学）；Yale University（耶鲁大学）
近年来，注意力增强的多层编码器，如Transformer，在机器阅读理解（MRC）中得到了广泛的研究。为了预测答案，通常的做法是采用预测器来仅从生成源序列的粗粒度表示的最终编码器层提取信息，即，通过和问题。分析表明，随着编码层数的增加，信源序列的表示由细粒度向粗粒度发展。人们普遍认为，随着深度神经网络中层数的增加，编码过程将越来越多地收集每个位置的相关信息，从而产生更粗粒度的表示，这增加了与其他位置相似的可能性（指同质性）。这种现象会误导模型做出错误的判断，降低性能。在本文中，我们认为，这将是更好的，如果预测器可以利用不同粒度的编码器的表示，提供不同的意见的源序列，这样的表达能力的模型可以充分利用。为此，我们提出了一种新的方法，称为自适应双向注意胶囊网络（ABA-Net），它自适应地利用不同级别的源表示的预测。此外，由于更好的表示是提高MRC性能的核心，因此胶囊网络和自我注意模块被精心设计为我们编码器的构建模块，它们分别提供了探索局部和全局表示的能力。在三个基准数据集上的实验结果，SQuAD 1.0，SQuAD 2.0和COQA，证明了我们的方法的有效性。特别是，我们在SQuAD 1.0数据集上设置了新的最先进性能
2022-08-18 cs.AI cs.CL
Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network
Zhejiang University（浙江大学）
跨多文档的多跳阅读理解近年来受到广泛关注。在本文中，我们提出了一种新的方法来解决这个多跳阅读理解问题。受人类推理过程的启发，我们从支持文档中构建了一个基于路径的推理图。该图结合了基于图和基于路径的方法的思想，更适合于多跳推理。同时，我们提出了Gated-RGCN的路径为基础的推理图，它包含了一个新的问题感知的门控机制，以调节跨文档传播的信息的有用性，并在推理过程中添加问题信息积累的证据。我们在WikiHop数据集上评估了我们的方法，我们的方法与以前发表的方法相比达到了最先进的准确性。特别是，我们的合奏模型超过人类的表现4.2%。
2020-06-12 cs.CL
Explicit Utilization of General Knowledge in Machine Reading Comprehension
York University（约克大学）
为了弥补机器阅读理解（MRC）模型与人类之间的差距，主要体现在对数据的渴求和对噪声的鲁棒性上，本文探讨如何将MRC模型的神经网络与人类的一般知识相结合。一方面，我们提出了一种数据丰富的方法，它使用WordNet提取词间语义连接作为一般知识，从每个给定的问题对。另一方面，我们提出了一个端到端的MRC模型命名为知识辅助阅读器（KAR），它显式地使用上述提取的一般知识，以协助其注意力机制。基于数据富集方法，KAR在性能上与最先进的MRC模型相当，并且对噪声的鲁棒性明显优于它们。当只有一个子集（20%-80%）的训练样本是可用的，KAR优于国家的最先进的MRC模型的大幅度，仍然是合理的噪音鲁棒性。
2019-05-20 cs.AI cs.CL
BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering
The University of Sydney（悉尼大学）；Tencent Robotics X（腾讯机器人X实验室）
多跳推理问答需要深入理解各种文档和查询之间的关系。我们提出了一个双向注意实体图卷积网络（BAG），利用实体图中的节点之间的关系和查询和实体图之间的注意力信息，来解决这个问题。图卷积网络用于获得从具有多级特征的文档构建的实体图的节点的关系感知表示。然后，双向注意力应用于图和查询，以生成查询感知节点表示，这将用于最终的预测。实验评估表明，BAG在QAngaroo WIKIHOP数据集上实现了最先进的精度性能。
2019-04-10 cs.AI cs.CL cs.LG
Question Answering by Reasoning Across Documents with Graph Convolutional Networks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
大多数阅读理解的研究都集中在回答基于单个文档甚至单个段落的问题上。我们引入了一个神经模型，它集成和原因依赖于文档内和跨多个文档的信息传播。我们把它看作是一个图上的推理问题。实体的提及是该图的节点，而边编码不同提及之间的关系（例如，文档内和跨文档共同参考）。将图卷积网络（GCN）应用于这些图，并训练其执行多步推理。我们的快速GCN方法是可扩展的和紧凑的，并且它在多文档问答数据集WikiHop（Welbl等人，2018年）。
2022-09-27 cs.CL stat.ML
Lite Unified Modeling for Discriminative Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）；Leyan Tech（乐言科技）
作为机器阅读理解的一个主要范畴，判别式机器阅读理解的目标是从给定的材料中预测答案。然而，各种判别式MRC任务的重点可能是不同的：多选择MRC需要模型突出并整合所有潜在的关键证据全局;而提取MRC则侧重于更高的局部边界精确度以进行答案提取。在以往的工作中，缺乏一个统一的设计与针对性的整体判别MRC任务。为了填补上述空白，我们提出了一个轻量级的POS-Enhanced Iterative Co-Attention Network（POI-Net）作为统一建模的第一次尝试，有针对性地同步处理不同的歧视性MRC任务。几乎没有引入更多的参数，我们的精简统一设计带来了编码器和解码器组件的模型显着改善。四个判别MRC基准的评估结果一致表明我们的模型的一般有效性和适用性，代码可在https://github.com/Yilin1111/poi-net。
2022-03-26 cs.AI cs.CL
An Understanding-Oriented Robust Machine Reading Comprehension Model
Northeastern University（东北大学）
尽管现有的机器阅读理解模型在许多数据集上取得了快速进展，但它们远不健壮。本文提出了一种面向理解的机器阅读理解模型，以解决过敏感性、过稳定性和泛化性这三种鲁棒性问题。具体来说，我们首先使用一个自然语言推理模块来帮助模型理解输入问题的准确语义，以解决过度敏感和过度稳定的问题。在机器阅读理解模块中，我们提出了一种记忆引导的多头注意力方法，可以更好地理解输入问题和文章的语义。第三，我们提出了一种多语言学习机制来解决泛化问题。最后，将这些模块与基于多任务学习的方法相结合。我们在三个基准数据集上评估我们的模型，这些数据集旨在衡量模型的鲁棒性，包括DuReader（鲁棒）和两个SQuAD相关数据集。大量的实验表明，我们的模型可以很好地解决上述三种鲁棒性问题。在不同的评估指标下，即使在一些极端和不公平的评估下，它也比所有这些数据集上的最先进的模型取得了更好的结果。我们工作的源代码可以在https://github.com/neukg/RobustMRC上找到。
2022-07-01 cs.AI cs.CL
A Comprehensive Survey on Multi-hop Machine Reading Comprehension Datasets and Metrics
University of Isfahan（伊斯法罕大学）
多跳机器阅读理解是一个具有挑战性的任务，其目标是基于不同段落中不相交的信息片段来回答问题。评估指标和数据集是多跳MRC的重要组成部分，因为没有它们就不可能训练和评估模型，而且，数据集提出的挑战往往是改进现有模型的重要动机。由于人们对这一领域的关注日益增加，因此有必要对它们进行详细的审查。本研究旨在对多跳MRC评估指标和数据集的最新进展进行全面调查。在这方面，首先，多跳MRC问题的定义将被提出，然后基于他们的多跳方面的评估指标将被调查。此外，还详细审查了2017年至2022年的15个多跳数据集，并在最后准备了全面的分析。最后，讨论了这一领域的开放问题。
2022-12-08 cs.CL cs.LG
Phase Conductor on Multi-layered Attentions for Machine Comprehension
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Department of Computational & Systems Biology, University of Pittsburgh（匹兹堡大学计算与系统生物学系）
注意力模型已经被广泛地研究，以改善NLP任务，如机器理解，通过问题感知的通道注意力模型和自匹配的注意力模型。我们的研究以两种有意义的方式为注意力模型提出了相导体（PhaseCond）。首先，PhaseCond，多层注意力模型的架构，由多个阶段组成，每个阶段实现一堆产生通道表示的注意力层和一堆调节信息流的内部或外部融合层。其次，我们通过从不同角度同时编码多个问题和段落嵌入层来扩展和改进PhaseCond的点积注意力函数。我们在SQuAD数据集上证明了我们提出的模型PhaseCond的有效性，表明我们的模型显著优于最先进的单层和多层注意力模型。我们通过详细的定性分析和可视化的例子来深化我们的研究结果，通过多层注意力模型显示动态变化。
2017-11-01 cs.CL
Hierarchical Attention Model for Improved Machine Comprehension of Spoken Content
National Taiwan University（国立台湾大学）
多媒体或语音内容比纯文本内容呈现更有吸引力的信息，但是前者更难以在屏幕上显示并被用户选择。因此，对于人类来说，访问前者的大量集合比后者更困难和耗时。因此，开发能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这一努力中，最近提出了一个新的任务，机器理解的口语内容。最初的目标被定义为托福的听力理解测试，这是一项针对母语不是英语的英语学习者的具有挑战性的学术英语考试。提出了一种基于注意力的多跳递归神经网络（AMRNN）结构，该结构只考虑语音话语中的顺序关系。在本文中，我们提出了一个新的层次注意力模型（HAM），它构建了一个多跳的注意力机制的树结构，而不是顺序表示的话语。提高理解性能稳健的ASR错误。
2017-01-01 cs.CL
Yuanfudao at SemEval-2018 Task 11: Three-way Attention and Relational Knowledge for Commonsense Machine Comprehension
Yuanfudao Research（猿辅导研究部）
本文描述了我们的系统SemEval-2018任务11：使用常识知识的机器理解。我们使用三向注意网络（TriAN）来模拟文章、问题和答案之间的交互。为了结合常识知识，我们用来自一般知识ConceptNet的图的关系嵌入来增强输入（Speer等人，2017年）的报告。因此，我们的系统达到了最先进的性能与官方测试数据的准确率为83.95%。代码可在https://github.com/intfloat/commonsense-rc上公开获取
2018-05-15 cs.CL
Generating Distractors for Reading Comprehension Questions from Real Examinations
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Alibaba DAMO Academy（阿里巴巴达摩院）
本文研究了多项选择题阅读理解题的干扰词生成任务。与以往的研究不同，我们的目标不是准备单词或短语干扰词，而是努力生成更长、语义更丰富的干扰词，这些干扰词更接近于考试中真实阅读理解中的干扰词。以一篇阅读理解文章、一对问题及其正确选项为输入，我们的目标是生成若干个与答案有某种联系、与问题的语义上下文一致、在文章中有一定痕迹的干扰词。我们提出了一个分层的编码器-解码器框架，静态和动态的注意力机制来解决这个问题。具体而言，动态注意力可以结合在每个循环时间步变化的句子级和单词级注意力，以生成更具可读性的序列。静态注意是调节动态注意，使其不关注与问题无关的句子或有助于正确选择的句子。我们提出的框架优于几个强大的基线上的第一个准备分心生成数据集的真正的阅读理解问题。对于人工评估，与基线生成的干扰项相比，我们生成的干扰项更容易混淆注释器。
2018-12-18 cs.CL
Towards Machine Comprehension of Spoken Content: Initial TOEFL Listening Comprehension Test by Machine
National Taiwan University（国立台湾大学）
多媒体或语音内容比纯文本内容提供更有吸引力的信息，但更难以显示在屏幕上并被用户选择。因此，对于人类来说，访问前者的大量集合比后者更困难和耗时。开发一种能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这项工作中，我们提出了一个新的任务，机器理解的口语内容。我们将最初的目标定义为托福听力理解测试，这是一种针对母语不是英语的英语学习者的具有挑战性的学术英语考试。我们进一步提出了一个基于注意力的多跳递归神经网络（AMRNN）架构，在初始测试中取得了令人鼓舞的结果。初步结果也表明，单词水平的注意力可能是更强大的比这个任务与ASR错误的注意力。
2016-08-23 cs.CL
Consensus Attention-based Neural Networks for Chinese Reading Comprehension
iFLYTEK Research（科大讯飞研究）；Research Center for Social Computing and Information Retrieval,Harbin Institute of Technology（哈尔滨工业大学社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
阅读理解是近年来自然语言处理研究的热点。一些研究机构已经发布了完形填空式阅读理解的数据，这些数据极大地促进了机器理解的研究。在这项工作中，我们首先提出了中文阅读理解数据集，其中包括人民日报新闻数据集和儿童童话（CFT）数据集。此外，我们提出了一个基于共识注意的神经网络架构来解决完形填空式的阅读理解问题，其目的是诱导对查询中的每个单词的共识注意。实验结果表明，所提出的神经网络显着优于国家的最先进的基线在几个公共数据集。此外，我们还建立了一个中文阅读理解任务的基线，希望这能加快未来研究的进程。
2018-03-15 cs.CL cs.NE
Attention-over-Attention Neural Networks for Reading Comprehension
Joint Laboratory of HIT and iFLYTEK（哈尔滨工业大学与科大讯飞联合实验室）；iFLYTEK Research（科大讯飞研究院）
完形填空是阅读理解中的典型问题。在过去的几个月里，我们看到了利用神经网络方法解决完形填空题的进展。在本文中，我们提出了一个新的模型称为注意-过度注意读者完形填空式阅读理解任务。我们的模型旨在将另一个注意力机制置于文档级注意力之上，并诱导“关注注意力”进行最终预测。与以前的工作不同，我们的神经网络模型需要更少的预定义超参数，并使用一个优雅的架构建模。实验结果表明，在CNN和Children's Book Test等公开数据集上，该模型的性能明显优于现有的各种系统.
2017-06-06 cs.CL cs.NE
Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention
University of Michigan（密歇根大学）
我们提出了一种新的解释，基于相似性的干扰效应在主谓和反身代词一致性处理，接地在从预训练的大规模Transformer模型，GPT-2计算的crossal值。具体而言，我们表明，动词或反身代词的替代预测促进干扰效果在不合语法的句子，在那里一个干扰名词，在数量上与动词或代词匹配导致更快的阅读时间，尽管干扰不参与协议关系。我们回顾了人类的经验证据，包括最近的荟萃分析和大规模的研究。我们还表明，注意模式（索引熵和其他措施）在Transformer显示模式的分散注意力在存在类似的干扰，符合基于线索的检索模型的解析。但与这些模型相反，注意力线索和记忆表征完全是从预测下一个单词的简单自我监督任务中学习的。
2021-04-26 cs.CL
Discourse-Aware Semantic Self-Attention for Narrative Reading Comprehension
Heidelberg University（海德堡大学）
在这项工作中，我们建议使用语言注释作为基础的\textit{Discourse-Aware Semantic Self-Attention}编码器，我们采用阅读理解长叙事文本。我们提取的话语单位，事件和他们的论点之间的关系，以及共指提及，使用现有的注释工具。我们的实证评估表明，调查结构提高了整体性能，特别是内部和跨部门的话语关系，内部语义角色关系，和长距离共指关系。我们发现，将自我注意力集中在内部关系和连接相邻句子的关系上，有利于在较长的上下文中找到问题的答案。我们的研究结果鼓励使用语篇语义标注来增强自我注意模型对阅读理解的泛化能力。
2019-08-28 cs.CL cs.LG
Co-Attention Hierarchical Network: Generating Coherent Long Distractors for Reading Comprehension
Beijing Institute of Technology（北京理工大学）；Peking University（北京大学）
在阅读理解中，产生文章水平的干扰词是一项重要的任务，这需要对文章和问题有深入的理解。传统的以实体为中心的方法只能产生词级或短语级的干扰词。虽然最近提出的基于神经的方法，如序列到序列（Seq2Seq）模型在生成创意文本方面显示出巨大的潜力，但以前用于干扰词生成的神经方法忽略了两个重要方面。首先，他们没有对文章和问题之间的交互进行建模，使得生成的干扰项往往过于笼统或与问题上下文无关。其次，他们没有强调干扰词和文章之间的关系，使得生成的干扰词在语义上与文章无关，因此无法形成一组有意义的选项。为了解决第一个问题，我们提出了一个共同注意增强的层次结构，以更好地捕捉文章和问题之间的相互作用，从而引导解码器产生更多的连贯干扰。为了缓解第二个问题，我们增加了一个额外的语义相似性损失，以推动生成的干扰更相关的文章。实验结果表明，我们的模型在自动度量上优于几个强基线，实现了最先进的性能。进一步的人类评估表明，我们生成的干扰更连贯，更有教育意义的基线相比，这些干扰。
2019-11-20 cs.CL
