Integrating Semantic Information into Sketchy Reading Module of Retro-Reader for Vietnamese Machine Reading Comprehension
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
机器阅读理解是近年来自然语言处理领域最前沿、最热门的研究课题之一。可答性问题的分类是机器阅读理解中一个比较重要的子任务，但目前的研究并不多。Retro-Reader是有效解决这一问题的研究之一。然而，大多数传统的机器阅读理解模型的编码器，特别是Retro-Reader，都不能完全利用上下文的上下文语义信息。受SemBERT的启发，我们使用SRL任务中的语义角色标签来为预先训练好的语言模型（如mBERT、XLM-R、PhoBERT）添加语义。本实验旨在比较语义对越南语机器阅读理解可答性分类的影响。此外，我们希望这个实验将增强Retro-Reader模型的粗略阅读模块的编码器。将改进后的Retro-Reader模型的语义编码器首次应用于越南语机器阅读理解任务，取得了良好的效果。
2023-01-01 cs.CL
Multi-hop Reading Comprehension via Deep Reinforcement Learning based Document Traversal
University of New South Wales（新南威尔士大学）
近年来，随着高质量的问答（QA）数据集的出现，阅读理解受到了极大的关注。尽管最先进的方法实现了强大的整体准确性，但多跳（MH）推理仍然特别具有挑战性。为了具体解决MH-QA问题，我们提出了一种基于深度强化学习的方法，该方法能够在大量文档集合中学习顺序推理，以便将查询感知的固定大小上下文子集传递给现有模型进行答案提取。我们的方法由两个阶段组成：一个链接器，它将提供的支持文档分解成句子图，和一个提取器，它根据当前问题和已经访问过的句子学习在哪里查找。链接器的结果是在句子级别上形成了一种新颖的图形结构，它保留了逻辑流，同时仍然允许在文档之间快速移动。重要的是，我们证明了所得到的图的稀疏性是不变的上下文大小。这意味着Deep-RL训练的提取器所需的决策更少，从而使系统能够有效地扩展到大型文档集合。在文档遍历步骤中顺序决策的重要性是通过与标准IE方法的比较来证明的，并且我们还引入了一个基于BM 25的IR基线，该基线仅检索与查询相关的文档。我们在最近提出的QAngaroo基准上研究了我们的方法与现有模型的集成，并实现了全面准确性的一致提高，以及训练时间的2- 3倍减少。
2019-05-23 cs.AI cs.CL cs.NE
Identifying Supporting Facts for Multi-hop Question Answering with Document Graph Networks
University of Manchester（曼彻斯特大学）
阅读理解方面的最新进展已经产生了一些模型，当答案包含在一段连续的文本中时，这些模型的表现超过了人类的表现。然而，复杂的问答（QA）通常需要多跳推理-即，整合来自不同来源的支持事实，以推断正确答案。本文提出了文档图网络（DGN），一个消息传递体系结构，用于识别支持事实的图形结构表示的文本。对HotpotQA的评估表明，与在原始文本上操作的阅读理解基线相比，DGN获得了具有竞争力的结果，证实了结构化表示支持多跳推理的相关性。
2019-10-01 cs.AI cs.CL cs.IR
Why can't memory networks read effectively?
Computational Linguistics & Psycholinguistics Research Center（计算语言学与心理语言学研究中心）；University of Antwerp（安特卫普大学）
记忆网络已经成为机器阅读理解和问答的神经架构中的流行选择。虽然最近的工作表明，记忆网络不能真正执行多跳推理，我们在本文中表明，香草记忆网络是无效的，即使在单跳阅读理解。我们分析了两个完形填空风格的数据集，一个来自医学领域，另一个包括儿童小说的原因。我们发现，具有实体特定权重的输出分类层和具有相对平坦的注意力分布的通道信息的聚合是导致较差结果的最重要因素。我们提出了网络适应，可以作为简单的补救措施。我们还发现，在测试时看不见的答案的存在会显着影响报告的结果，所以我们建议在评估过程中控制这个因素。
2019-10-16 cs.CL
Investigating Prior Knowledge for Challenging Chinese Machine Reading Comprehension
Cornell University（康奈尔大学）；Tencent AI Lab（腾讯人工智能实验室）
机器阅读理解任务要求机器阅读者回答与给定文档相关的问题。在本文中，我们提出了第一个自由形式的多项选择中文机器阅读理解数据集（C^3），包含13，369个文件（对话或更正式的书面混合体裁的文本）和相关的19，577多项选择自由形式的问题，从汉语作为第二语言的考试收集。我们提出了一个全面的分析先验知识（即，语言、特定领域和一般世界知识）。我们实现了基于规则的和流行的神经方法，发现性能最好的模型（68.5%）和人类读者（96.0%）之间仍然存在显着的性能差距，特别是在需要先验知识的问题上。我们进一步研究了干扰项可扩展性和基于翻译的英语相关数据集的数据增强对模型性能的影响。我们预计C^3将对现有系统提出巨大挑战，因为回答86.8%的问题需要附带文档内外的知识，我们希望C^3可以作为一个平台，研究如何利用各种先验知识来更好地理解给定的书面或口头文本。C^3可在https://dataset.org/c3/上获得。
2019-12-17 cs.CL
Adversarial Examples for Evaluating Reading Comprehension Systems
Stanford University（斯坦福大学）
标准的准确性指标表明，阅读理解系统正在取得快速进展，但这些系统真正理解语言的程度仍不清楚。为了奖励具有真正语言理解能力的系统，我们提出了一种针对斯坦福问答数据集（SQuAD）的对抗性评估方案。我们的方法测试系统是否可以回答有关包含对立插入句子的段落的问题，这些句子是自动生成的，以分散计算机系统的注意力，而不会改变正确答案或误导人类。在这种对抗性设置中，16个已发布模型的准确度从平均$75\%$ F1分数下降到$36\%$ ;当允许对手添加不符合语法的单词序列时，4个模型的平均准确度进一步下降到$7\%$。我们希望我们的见解将推动开发更精确地理解语言的新模型。
2017-07-23 cs.CL cs.LG
Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-sentence Dependency Graph
Emory University（埃默里大学）；NEC Laboratories America（NEC美国实验室）
我们的目标是跨语言机器阅读理解（MRC）的任务，在直接zero-shot设置，通过合并的句法特征，从普遍的相似性（UD），我们使用的关键特征是每个句子内的句法关系。虽然以前的工作已经证明了有效的语法引导的MRC模型，我们建议采用句间的句法关系，除了基本的句内关系，进一步利用在多句输入的MRC任务的句法依赖。在我们的方法中，我们建立了句子间依赖图（ISDG）连接依赖树，以形成跨句子的全局句法关系。然后，我们提出了ISDG编码器，编码的全球依赖图，通过一跳和多跳依赖路径明确地解决句子间的关系。在三个多语言MRC数据集（XQuAD，MLQA，TyDiQA-GoldP）上的实验表明，我们的编码器只在英语上训练，能够提高所有14个测试集的zero-shot性能，覆盖8种语言，平均提高高达3.8 F1 / 5.2 EM，某些语言的5.2 F1 / 11.2 EM。进一步的分析表明，这种改进可以归因于对跨语言一致性句法路径的关注。
2022-03-15 cs.CL cs.LG
Towards Solving Multimodal Comprehension
SRI International（SRI国际）；Rutgers University（罗格斯大学）
本文主要研究过程式多模态机器理解问题。这项任务需要人工智能理解多模态指令的给定步骤，然后回答问题。与人工智能只需要理解文本输入的普通机器理解任务相比，程序M3 C更具挑战性，因为人工智能需要理解时间和因果因素以及多模态输入。最近，Yagcioglu等人[35]引入了RecipeQA数据集来评估M3 C。我们的第一个贡献是引入了两个新的M3 C数据集- WoodworkQA和DecorationQA，分别具有16 K和10 K的教学程序。然后，我们使用文本完形填空式问答任务评估M3 C，并强调[35]中问题答案生成方法的固有偏见，该方法使天真的基线能够通过仅从答案选择中学习来作弊。这种幼稚的基线表现类似于问答中使用的流行方法-不耐烦的读者[6]，它使用对上下文和查询的注意力。我们假设，数据集中自然存在的这种偏差甚至会影响性能最好的模型。我们验证了我们提出的假设，并提出了一个算法，能够修改给定的数据集，以消除偏见的元素。最后，我们报告了我们在具有几个强基线的去偏数据集上的性能。我们观察到，所有方法的性能下降了8% - 16%的利润率校正后的偏见。我们希望这些数据集和分析将提供有价值的基准，并鼓励在这一领域的进一步研究。
2021-04-20 cs.CL
Knowing-how & Knowing-that: A New Task for Machine Comprehension of User Manuals
Sichuan University（四川大学）；Ant Group（蚂蚁集团）
本文提出Knowing-how & Knowing-that任务，通过构建联合表示步骤与事实的TARA图实现统一推理，并构建标注数据集验证其在用户手册机器阅读理解中的有效性。
2023-08-09 cs.CL
What's Missing: A Knowledge Gap Guided Approach for Multi-hop Question Answering
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多跳文本问答需要组合来自多个句子的信息。我们关注的是一个自然的环境，与典型的阅读理解不同，每个问题只提供部分信息。模型必须检索并使用额外的知识来正确回答问题。为了应对这一挑战，我们开发了一种新的方法，明确识别所提供的知识和答案选择的关键跨度之间的知识差距。该模型GapQA通过确定跨度和答案选择之间的关系，基于检索到的针对此差距的知识来学习填补此差距。我们建议联合训练一个模型，同时填补这一知识缺口，并将其与提供的部分知识组合在一起。在OpenBookQA数据集上，给定部分知识，明确识别缺失的内容远远优于以前的方法。
2019-09-19 cs.CL
Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network
Zhejiang University（浙江大学）
跨多文档的多跳阅读理解近年来受到广泛关注。在本文中，我们提出了一种新的方法来解决这个多跳阅读理解问题。受人类推理过程的启发，我们从支持文档中构建了一个基于路径的推理图。该图结合了基于图和基于路径的方法的思想，更适合于多跳推理。同时，我们提出了Gated-RGCN的路径为基础的推理图，它包含了一个新的问题感知的门控机制，以调节跨文档传播的信息的有用性，并在推理过程中添加问题信息积累的证据。我们在WikiHop数据集上评估了我们的方法，我们的方法与以前发表的方法相比达到了最先进的准确性。特别是，我们的合奏模型超过人类的表现4.2%。
2020-06-12 cs.CL
ConditionalQA: A Complex Reading Comprehension Dataset with Conditional Answers
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）；Google Research（谷歌研究院）
我们描述了一个问答（QA）数据集，其中包含具有条件答案的复杂问题，即答案仅在某些条件适用时才适用。我们称这个数据集为ConditionalQA。除了条件答案外，该数据集还具有以下功能：（1）包含以逻辑复杂方式相关的信息的长上下文文档;（2）需要组合逻辑推理的多跳问题;（3）提取问题、是/否问题、具有多个答案的问题的组合答案，以及无法回答的问题;（4）在不知道答案的情况下提出的问题。我们发现，条件QA是具有挑战性的许多现有的QA模型，特别是在选择答案条件。我们相信，这个数据集将推动进一步的研究，以回答复杂的问题，在长文件。数据和排行榜可在\url{https://github.com/haitian-sun/ConditionalQA}上公开获取。
2021-10-13 cs.AI cs.CL
ViMMRC 2.0 -- Enhancing Machine Reading Comprehension on Vietnamese Literature Text
Faculty of Information Science and Engineering, University of Information Technology, Ho Chi Minh City, Vietnam（信息科学与工程学院，信息科技大学，胡志明市，越南）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南）
本文提出 ViMMRC 2.0 越南文学阅读理解数据集，包含 699 篇篇章和 5,273 个非固定选项问题，并结合多步注意力网络与自然语言推理的多阶段方法提升模型性能，同时揭示隐式上下文理解仍是主要挑战。
2025-07-18 cs.CL
Simple yet Effective Bridge Reasoning for Open-Domain Multi-Hop Question Answering
University of California, Santa Barbara（加州大学圣巴巴拉分校）；IBM Research（IBM研究院）
开放域环境下多跳问答（QA）的一个关键挑战是从大型语料库中准确地检索支持段落。关于开放域QA的现有工作通常依赖于现成的信息检索（IR）技术来检索\textbf{answer passages}，即，包含地面实况答案的段落。然而，基于IR的方法对于多跳问题是不够的，因为第二跳或进一步跳的主题没有被问题明确地覆盖。为了解决这个问题，我们引入了一个新的子问题的开放域多跳问答，其目的是识别桥梁（\emph{i.e.}，锚链接到答案通道）从上下文的一组开始段落的阅读理解模型。该模型\textbf{bridge reasoner}使用弱监督信号进行训练，并为\textbf{passage reader}生成候选答案通道以提取答案。在完整的wiki HotpotQA基准测试中，我们将基线方法显著改进了14点F1。在不使用任何内存效率低下的上下文嵌入，我们的结果也是具有竞争力的国家的最先进的应用BERT在多个模块。
2019-11-01 cs.CL
Rethinking Label Smoothing on Multi-hop Question Answering
Fudan University（复旦大学）；Huawei Poisson Lab（华为泊松实验室）
针对多跳问答的性能瓶颈与过拟合问题，提出适配MRC的F1 Smoothing标签平滑技术及结合课程学习的LDLA算法，在HotpotQA数据集上取得SOTA效果，提升了模型泛化能力。
2023-12-13 cs.CL
Quick and (not so) Dirty: Unsupervised Selection of Justification Sentences for Multi-hop Question Answering
University of Arizona（亚利桑那大学）
我们提出了一个无监督的策略，选择多跳问答（QA）的理由句子，（a）最大限度地提高所选句子的相关性，（b）最大限度地减少所选事实之间的重叠，（c）最大限度地提高问题和答案的覆盖范围。这种无监督的句子选择方法可以与任何有监督的QA方法相结合。我们表明，通过我们的方法选择的句子提高了两个多跳QA数据集上最先进的监督QA模型的性能：AI2的推理挑战（ARC）和多句阅读理解（MultiRC）。在不使用外部资源训练QA系统的方法中，我们在两个数据集上都获得了最新的性能：ARC上的F1为56.82%（Challenge为41.24%，Easy为64.49%），MultiRC上的EM0为26.1%。我们的理由句子比通过强信息检索基线选择的理由具有更高的质量，例如，5.4%的F1在MultiRC中。我们还表明，我们的无监督选择的理由句子是更稳定的跨域比一个国家的最先进的监督句子选择方法。
2020-05-03 cs.CL
Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社NTT媒体智能实验室）；NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
基于文本信息的问答在阅读理解中的应用已经引起了广泛的关注。本研究的重点是可解释的多跳问答任务，它要求系统通过推理和收集参考文本的不相交片段来返回带有证据句子的答案。它提出了用于证据提取的查询集中提取器（QFE）模型，并将多任务学习与QA模型结合使用。QFE受抽取式摘要模型的启发，与现有的独立抽取每个证据句的方法相比，该方法利用带有注意力机制的RNN对问题句进行顺序抽取。它使QFE能够考虑证据句之间的依赖关系，并覆盖问题句中的重要信息。实验结果表明，具有简单RC基线模型的QFE在HotpotQA上实现了最先进的证据提取分数。虽然是为RC设计的，但它也在FEVER上实现了最先进的证据提取分数，FEVER是一个大型文本数据库上的识别文本蕴涵任务。
2019-05-29 cs.CL
Coarse-grained decomposition and fine-grained interaction for multi-hop question answering
School of Electronic and Information, Beijing Jiaotong University（北京交通大学电子信息学院）；Key Laboratory of Communication and Information Systems, Beijing Municipal Commission of Education（北京市教育委员会通信与信息系统重点实验室）
关于问答和阅读理解的最新进展已经产生了超越人类表现的模型，当答案包含在单个连续的文本中时，只需要单跳推理。然而，在实际场景中，许多复杂的查询需要多跳推理。问答任务的关键是文档和问题之间的语义特征交互，双向注意流（Bi-Directional Attention Flow，Bi-Directional Attention Flow）广泛处理这一交互，但双向注意流通常只捕捉复杂问题中词语的表层语义，而无法捕捉中间答案的隐含语义特征。因此，Bi-texture部分忽略了与问题相关的部分上下文，无法提取多个文档中最重要的部分。在本文中，我们提出了一个新的模型架构多跳问答，通过应用两个完成策略：（1）引入粗粒度复杂问题分解（CGDe）策略，在不需要任何附加标注的情况下，将复杂问题分解为简单问题。（2）细粒度交互（FGIn）引入策略以更好地表示文档中的每个单词，并提取与推理路径相关的更全面、准确的句子。将上述两种策略结合起来并在SQuAD和HotpotQA数据集上进行测试，实验结果表明，我们的方法优于国家的最先进的基线。
2021-01-15 cs.CL
Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs
JD AI Research（京东人工智能研究院）
跨文档的多跳阅读理解（RC）对单文档RC提出了新的挑战，因为它需要对多个文档进行推理才能获得最终答案。在本文中，我们提出了一个新的模型来解决多跳RC问题。本文提出了一种具有不同类型结点和边的异构图，称为异构文档实体图。HDE图的优点在于它包含不同粒度级别的信息，包括特定文档上下文中的候选人、文档和实体。我们提出的模型可以做推理的HDE图与节点表示初始化的共同注意力和自注意力的上下文编码器。我们采用基于图神经网络（GNN）的消息传递算法来积累建议的HDE图的证据。在Qangaroo WikiHop数据集的盲测试集上进行评估，我们的基于HDE图的单一模型提供了有竞争力的结果，集成模型达到了最先进的性能。
2019-06-04 cs.CL
Graph-free Multi-hop Reading Comprehension: A Select-to-Guide Strategy
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多跳阅读理解（MHRC）不仅需要预测文章中的正确答案跨度，而且需要提供一系列支持推理可解释性的证据。通过将多跳推理理解为跳过实体节点，将这样的过程建模为图结构是很自然的，这使得图建模在这项任务中占主导地位。最近，由于图构建的不便，关于图建模是否是不可或缺的有不同的声音，然而现有的最先进的无图尝试与基于图的尝试相比存在巨大的性能差距。这项工作提出了一种新的无图的替代方案，首先优于所有的图模型MHRC。详细地说，我们利用一个选择到指导（S2G）的策略，准确地检索证据段落在一个由粗到细的方式，结合两个新的注意力机制，这令人惊讶地表明符合多跳推理的性质。我们的无图模型在所有已发表的作品中，在强大的基线和MHRC基准HotpotQA上的当前最新技术水平上实现了显著和一致的性能增益。
2021-07-25 cs.CL
Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents
JD AI Research（京东AI研究院）
可解释多跳阅读理解是一个具有挑战性的问题，因为它需要对多个信息源进行推理，并通过提供支持证据来解释答案预测。在本文中，我们提出了一个有效的和可解释的选择，回答和解释（SAE）系统来解决多文档RC问题。我们的系统首先过滤掉与答案无关的文档，从而减少分散注意力的信息量。这是通过一个新的成对学习排名损失训练的文档分类器实现的。然后将所选择的答案相关文档输入到模型中，以联合预测答案和支持句子。该模型是优化的多任务学习目标上的令牌水平的答案预测和句子水平的支持句子预测，以及这两个任务之间的注意力为基础的互动。HotpotQA，一个具有挑战性的多跳RC数据集进行评估，建议SAE系统实现最高的竞争力的性能相比，其他现有的系统在排行榜上的分心设置。
2020-02-10 cs.CL
Summarize-then-Answer: Generating Concise Explanations for Multi-hop Reading Comprehension
Stony Brook University（石溪大学）；RIKEN（理化学研究所）；Tohoku University（东北大学）
我们如何为多跳阅读理解（RC）生成简洁的解释？目前的支持句识别策略可以看作是对输入文本的一种抽取式的以问题为中心的摘要。然而，这些抽象的解释不一定是简洁的，即不足以回答一个问题。相反，我们提倡一种抽象的方法，我们建议生成一个以问题为中心的，抽象的输入段落摘要，然后将其馈送到RC系统。给定有限数量的人类注释的抽象解释，我们以半监督的方式训练抽象解释器，其中我们从监督模型开始，然后训练它进一步通过试错最大化简洁性促进的奖励函数。我们的实验表明，建议的抽象解释器可以产生更紧凑的解释比一个提取的解释器有限的监督（只有2k个实例），同时保持足够的。
2021-09-14 cs.CL
Complex Reading Comprehension Through Question Decomposition
Monash University（莫纳什大学）
多跳阅读理解不仅需要对原始文本进行推理的能力，还需要结合多种证据的能力。我们提出了一种新的学习方法，帮助语言模型更好地理解困难的多跳问题，并执行“复杂的，合成”的推理。我们的模型首先学习通过可训练的问题分解器将每个多跳问题分解为几个子问题。我们不回答这些子问题，而是直接将它们与原始问题和上下文连接起来，并利用阅读理解模型以序列对序列的方式预测答案。通过对这两个组件使用相同的语言模型，我们最好的分离/统一的t5-base变体在DROP数据集的硬子集上超过基线7.2/6.1个绝对F1点。
2022-11-07 cs.CL
Understanding Dataset Design Choices for Multi-hop Reasoning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习多跳推理一直是阅读理解模型的一个关键挑战，导致数据集的设计明确关注它。理想情况下，模型不应该能够在多跳问答任务上表现良好，而不进行多跳推理。在本文中，我们研究了两个最近提出的数据集，WikiHop和HotpotQA。首先，我们探索了这些任务的分解模型;通过设计，这些模型不能进行多跳推理，但它们仍然能够解决两个数据集中的大量示例。此外，我们发现虚假的相关性在未屏蔽版本的WikiHop，这使得它很容易实现高性能只考虑问题和答案。最后，我们研究了这些数据集之间的一个关键差异，即QA任务的基于跨度的公式与多项选择公式。这两个数据集的多项选择版本可以很容易地进行游戏，我们检查的两个模型在这种设置中仅略微超过基线。总的来说，虽然这些数据集是有用的测试平台，但高性能模型可能不会像以前认为的那样学习那么多的多跳推理。
2019-04-27 cs.AI cs.CL
Compositional Questions Do Not Necessitate Multi-hop Reasoning
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of California, Irvine（加州大学欧文分校）
多跳阅读理解（RC）问题具有挑战性，因为它们需要阅读和推理多个段落。我们认为，它可以是难以构建大型多跳RC数据集。例如，即使是高度组合的问题，如果它们针对特定的实体类型，或者回答它们所需的事实是多余的，也可以通过单跳来回答。我们的分析以HotpotQA为中心，在那里我们表明单跳推理可以解决比以前想象的更多的数据集。我们介绍了一个单跳的BERT为基础的RC模型，达到67 F1-国家的最先进的多跳模型相媲美。我们还设计了一个评估设置，其中人类没有显示所有必要的段落，用于预期的多跳推理，但仍然可以回答超过80%的问题。连同详细的错误分析，这些结果表明，应该有一个越来越多的关注证据在多跳推理的作用，甚至可能转向信息检索风格的评估与大型和多样化的证据收集。
2019-06-07 cs.AI cs.CL
BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering
The University of Sydney（悉尼大学）；Tencent Robotics X（腾讯机器人X实验室）
多跳推理问答需要深入理解各种文档和查询之间的关系。我们提出了一个双向注意实体图卷积网络（BAG），利用实体图中的节点之间的关系和查询和实体图之间的注意力信息，来解决这个问题。图卷积网络用于获得从具有多级特征的文档构建的实体图的节点的关系感知表示。然后，双向注意力应用于图和查询，以生成查询感知节点表示，这将用于最终的预测。实验评估表明，BAG在QAngaroo WIKIHOP数据集上实现了最先进的精度性能。
2019-04-10 cs.AI cs.CL cs.LG
ViQA-COVID: COVID-19 Machine Reading Comprehension Dataset for Vietnamese
Hanoi University of Science and Technology（河内科学技术大学）
该研究构建了首个面向越南语的COVID-19主题多跨度抽取式机器阅读理解数据集ViQA-COVID，可用于搭建相关防疫模型系统，助力推动越南语及多语种MRC研究发展。
2025-06-14 cs.CL cs.LG
Integrating a Heterogeneous Graph with Entity-aware Self-attention using Relative Position Labels for Reading Comprehension Model
Semnan University（塞姆南大学）
本文提出一种无需外部知识的注意力模式，将异构图推理知识与LUKE实体感知自注意力结合，并在ReCoRD和WikiHop上超越LUKE及LUKE-Graph模型。
2024-01-13 cs.CL cs.LG
PokeMQA: Programmable knowledge editing for Multi-hop Question Answering
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；North Carolina State University（北卡罗来纳州立大学）；Texas A&M University（德克萨斯农工大学）；University of Georgia（佐治亚大学）
本文提出PokeMQA框架，通过解耦问题分解与冲突检查任务，引入独立可训练的范围检测器来调节LLMs行为，显著提升了多跳问答中知识编辑的性能与推理可靠性。
2024-02-15 cs.CL
S$^3$HQA: A Three-Stage Approach for Multi-hop Text-Table Hybrid Question Answering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对文本-表格混合多跳问答，提出三阶段框架S3HQA，含检索器、选择器和生成式推理器，解决噪声标注与异构信息利用问题，在完整数据集上超越所有基线并位居HybridQA榜首。
2024-06-25 cs.CL
Graph Sequential Network for Reasoning over Sequences
JD AI Research（京东人工智能研究院）
最近，图神经网络（GNN）已成功地应用于各种需要推理的NLP任务，如多跳机器阅读理解。在本文中，我们考虑了一种新的情况下，推理是需要从序列，即序列数据的图形节点建立的图形。现有的GNN模型通过首先将节点序列总结为固定维向量，然后将GNN应用于这些向量来实现这一目标。为了避免早期摘要中固有的信息丢失，并使GNN输出上的顺序标记任务可行，我们提出了一种称为图顺序网络（GSN）的新型GNN，它具有一种新的消息传递算法，该算法基于节点与每个邻居之间的共同关注。我们验证了建议的GSN两个NLP任务：可解释的多跳阅读理解HotpotQA和基于图形的事实验证FEVER。这两项任务都需要对多个文档或句子进行推理。我们的实验结果表明，建议GSN达到更好的性能比标准的GNN为基础的方法。
2020-04-04 cs.AI cs.CL cs.LG
Commonsense for Generative Multi-Hop Question Answering Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
阅读理解问答任务最近越来越受欢迎，但大多数作品都集中在事实发现的提取问答上。相反，我们专注于更具挑战性的多跳生成任务（NarrativeQA），该任务要求模型在上下文中推理，收集和合成不相交的信息以生成答案。这种类型的多步推理通常还需要理解隐含的关系，人类通过外部背景常识知识来解决这些关系。我们首先提出了一个强大的生成基线，使用多注意力机制执行多跳推理和指针生成器解码器合成的答案。该模型比以前的生成模型表现得更好，并且与当前最先进的跨度预测模型具有竞争力。接下来，我们将介绍一种新的系统，用于通过逐点互信息和基于词频的评分函数从ConceptNet中选择接地多跳关系常识信息。最后，我们有效地使用这个提取的常识信息，以填补上下文跳之间的推理差距，使用选择性门控注意力机制。这显著提高了模型的性能（也通过人工评估进行了验证），为任务建立了新的最先进技术。我们还展示了有希望的初步结果，我们的背景知识增强的泛化能力，通过展示QAngaroo WikiHop，另一个多跳推理数据集的一些改进。
2019-06-01 cs.AI cs.CL
Exploiting Explicit Paths for Multi-hop Reading Comprehension
National University of Singapore（新加坡国立大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了一种新的，基于路径的推理方法的多跳阅读理解任务，系统需要结合多个段落的事实来回答一个问题。虽然灵感来自多跳推理知识图谱，我们提出的方法直接在非结构化文本。它通过段落生成潜在的路径，并在没有任何直接路径监督的情况下对其进行评分。PathNet模型通过实体对表示从文本中提取隐含关系，并将其组合编码为每一条路径;为了捕获额外的上下文，PathNet还将沿着每条路径的段落表示组合以计算基于上下文的表示。与以前的方法不同，我们的模型能够通过这些明确的通道来解释其推理。我们证明了我们的方法在多跳Wikihop数据集上的性能优于先前的模型，并且也可以推广到OpenBookQA数据集，匹配最先进的性能。
2019-07-08 cs.AI cs.CL
Multi-hop Reading Comprehension through Question Decomposition and Rescoring
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多跳阅读理解（RC）需要跨多个段落进行推理和聚合。我们提出了一个系统的多跳RC分解成更简单的子问题，可以回答现成的单跳RC模型的组成问题。由于这种分解的注释是昂贵的，我们将子问题生成重新定义为跨度预测问题，并表明我们的方法仅使用400个标记的示例进行训练，生成的子问题与人类创作的子问题一样有效。我们还引入了一种新的全局重新评分方法，该方法考虑每个分解（即子问题及其答案）以选择最佳最终答案，从而大大提高了整体性能。我们在HotpotQA上的实验表明，这种方法实现了最先进的结果，同时以子问题的形式为其决策提供了可解释的证据。
2019-06-30 cs.AI cs.CL
Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
多跳阅读理解需要模型从多个句子/文档中探索和连接相关信息，以回答有关上下文的问题。为了实现这一点，我们提出了一个可解释的3-模块系统，称为探索-建议-组装阅读器（EPAr）。首先，文档浏览器迭代地选择相关文档，并以树结构表示发散的推理链，以便允许从所有链吸收信息。答案提议器然后从推理树中的每个根到叶路径提议答案。最后，证据汇编器从每条路径中提取包含建议答案的关键句，并将它们组合起来预测最终答案。直观地说，EPAr近似于人类读者在面对多个长文档时从粗到细的理解行为。我们共同优化我们的3个模块，最大限度地减少损失的总和，从每一个阶段的条件下，前一阶段的输出。在两个多跳阅读理解数据集WikiHop和MedHop上，与最先进的模型相比，我们的EPAr模型在基线和竞争结果上取得了显着的改进。我们还提出了多个推理链恢复测试和消融研究，以证明我们的系统的能力，执行可解释的和准确的推理。
2019-06-12 cs.AI cs.CL
Exploring Graph-structured Passage Representation for Multi-hop Reading Comprehension with Graph Neural Networks
University of Rochester（罗切斯特大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Westlake University（西湖大学）
多跳阅读理解专注于一种类型的事实问题，其中系统需要适当地整合多个证据来正确回答问题。以前的工作近似全球的证据与当地的共指信息，编码共指链与DAG风格的GRU层内的门注意力读者。然而，共指在为丰富推理提供信息方面是有限的。我们介绍了一种新的方法，更好地连接全局证据，形成更复杂的图相比，DAG。为了在我们的图上进行证据集成，我们研究了两个最近的图神经网络，即图卷积网络（GCN）和图递归网络（GRN）。在两个标准数据集上的实验表明，更丰富的全局信息会导致更好的答案。我们的方法在这些数据集上的表现优于所有已发表的结果。
2018-09-06 cs.AI cs.CL
Implicit Argument Prediction as Reading Comprehension
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
隐式参数，不能通过语法线索单独检测，使其更难提取谓词-参数元组。我们提出了一个新的模型，利用阅读理解的隐式参数预测，铸造的谓词参数元组与失踪的参数作为一个查询。我们还借鉴了指针网络和多跳计算。我们的模型在论元完形填空任务和名词性隐式论元预测任务上表现出了良好的性能。
2018-11-08 cs.CL
Hierarchical Attention Model for Improved Machine Comprehension of Spoken Content
National Taiwan University（国立台湾大学）
多媒体或语音内容比纯文本内容呈现更有吸引力的信息，但是前者更难以在屏幕上显示并被用户选择。因此，对于人类来说，访问前者的大量集合比后者更困难和耗时。因此，开发能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这一努力中，最近提出了一个新的任务，机器理解的口语内容。最初的目标被定义为托福的听力理解测试，这是一项针对母语不是英语的英语学习者的具有挑战性的学术英语考试。提出了一种基于注意力的多跳递归神经网络（AMRNN）结构，该结构只考虑语音话语中的顺序关系。在本文中，我们提出了一个新的层次注意力模型（HAM），它构建了一个多跳的注意力机制的树结构，而不是顺序表示的话语。提高理解性能稳健的ASR错误。
2017-01-01 cs.CL
Constructing Datasets for Multi-hop Reading Comprehension Across Documents
University College London（伦敦大学学院）；Bloomsbury AI（布卢姆斯伯里人工智能）
大多数阅读理解方法局限于可以使用单个句子，段落或文档回答的问题。使模型能够组合不相交的文本证据片段将扩展机器理解方法的范围，但目前还没有资源来训练和测试这种能力。我们提出了一个新的任务，鼓励跨多个文件的文本理解模型的发展，并调查现有方法的局限性。在我们的任务中，模型学习寻找和组合证据-有效地执行多跳（别名多步）推理。我们设计了一种方法来产生数据集，为这项任务，给出了一个集合的查询答案对和主题链接的文件。两个数据集从不同的域诱导，我们确定潜在的陷阱，并制定规避策略。我们评估了两个先前提出的竞争模型，并发现可以跨文档集成信息。然而，这两种模型都很难选择相关信息，因为提供保证相关的文档会大大提高它们的性能。虽然这些模型的表现优于几个强基线，但它们的最佳准确率达到42.9%，而人类的准确率为74.0%，这留下了足够的改进空间。
2018-06-11 cs.AI cs.CL
Towards Interpretable and Reliable Reading Comprehension: A Pipeline Model with Unanswerability Prediction
NTT Media Intelligence Laboratories（NTT媒体情报实验室）；NTT Corporation（NTT公司）
带注释支持事实的多跳问答是考虑答案可解释性的阅读理解任务，已被广泛研究。在这项研究中，我们定义了一个可解释的阅读理解（IRC）模型作为一个管道模型的预测无法回答的查询的能力。IRC模型通过在预测的支持事实和可解释性的实际理由之间建立一致性来证明答案预测的合理性。IRC模型检测无法回答的问题，而不是根据信息不足强制输出答案，以确保答案的可靠性。我们还提出了一个端到端的训练方法的管道RC模型。为了评估的可解释性和可靠性，我们进行了实验，考虑到不可回答的多跳问题，为一个给定的通道。我们表明，我们的端到端可训练管道模型在修改后的HotpotQA数据集上的表现优于不可解释的模型。实验结果还表明，IRC模型实现了可比的结果，以前的不可解释的模型，尽管预测性能和可解释性之间的权衡。
2021-11-18 cs.CL
Towards Machine Comprehension of Spoken Content: Initial TOEFL Listening Comprehension Test by Machine
National Taiwan University（国立台湾大学）
多媒体或语音内容比纯文本内容提供更有吸引力的信息，但更难以显示在屏幕上并被用户选择。因此，对于人类来说，访问前者的大量集合比后者更困难和耗时。开发一种能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这项工作中，我们提出了一个新的任务，机器理解的口语内容。我们将最初的目标定义为托福听力理解测试，这是一种针对母语不是英语的英语学习者的具有挑战性的学术英语考试。我们进一步提出了一个基于注意力的多跳递归神经网络（AMRNN）架构，在初始测试中取得了令人鼓舞的结果。初步结果也表明，单词水平的注意力可能是更强大的比这个任务与ASR错误的注意力。
2016-08-23 cs.CL
Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected Reasoning
Stony Brook University（石溪大学）；Allen Institute for AI（艾伦人工智能研究所）
在多跳问答方面有真正的进展吗？模型通常利用数据集工件来产生正确的答案，而不将多个支持事实的信息连接起来。这限制了我们衡量真实进展的能力，并违背了构建多跳QA数据集的目的。我们为解决这一问题作出三项贡献。首先，我们将这种不受欢迎的行为形式化为跨支持事实子集的断开推理。这允许开发一个模型不可知的探针，用于测量任何模型可以通过断开推理欺骗多少。其次，使用\emph{contrastive support sufficiency}的概念，我们引入了现有数据集的自动转换，减少了断开推理的数量。第三，我们的实验表明，在阅读理解环境中，多跳问答并没有取得太大的进展。对于最近的一个大规模模型（XLNet），我们发现，在HotpotQA上的F1得分72中，只有18分是通过多事实推理获得的，与简单的RNN基线大致相同。我们的转换大大减少了断开推理（答案F1中的19分）。它是对抗性办法的补充，共同产生进一步的削减。
2020-11-17 cs.AI cs.CL cs.LG
Dynamic Chunking and Selection for Reading Comprehension of Ultra-Long Context in Large Language Models
East China Normal University（华东师范大学）
本文针对大语言模型处理超长上下文时的固定分块缺陷，提出基于相邻句语义相似度的自适应分块和问题感知敏感块选择方法，在单跳与多跳问答任务上稳定优于基线，并可处理长达256k token的序列。
2025-06-03 cs.CL
Consensus Attention-based Neural Networks for Chinese Reading Comprehension
iFLYTEK Research（科大讯飞研究）；Research Center for Social Computing and Information Retrieval,Harbin Institute of Technology（哈尔滨工业大学社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
阅读理解是近年来自然语言处理研究的热点。一些研究机构已经发布了完形填空式阅读理解的数据，这些数据极大地促进了机器理解的研究。在这项工作中，我们首先提出了中文阅读理解数据集，其中包括人民日报新闻数据集和儿童童话（CFT）数据集。此外，我们提出了一个基于共识注意的神经网络架构来解决完形填空式的阅读理解问题，其目的是诱导对查询中的每个单词的共识注意。实验结果表明，所提出的神经网络显着优于国家的最先进的基线在几个公共数据集。此外，我们还建立了一个中文阅读理解任务的基线，希望这能加快未来研究的进程。
2018-03-15 cs.CL cs.NE
Knowledge Aware Conversation Generation with Explainable Reasoning over Augmented Graphs
Baidu Inc.（百度公司）
研究了两类知识，即来自知识图谱的三元组和来自文档的文本，用于知识感知的开域会话生成，其中图谱路径可以为知识选择决策缩小顶点候选，文本可以为响应生成提供丰富的信息.知识图谱与文本的融合可能会产生相互增强的优势，但这方面的研究较少。为了解决这一挑战，我们提出了一个知识意识聊天机三个组件，一个增强的知识图谱与三元组和文本，知识选择器，知识意识的响应生成器。对于图上的知识选择，我们将其表述为多跳图推理问题，以有效地捕获会话流，与以前的工作相比，这是更可解释和灵活的。为了充分利用将我们的图与其他图区分开来的长文本信息，我们使用机器阅读理解技术改进了最先进的推理算法。我们证明了我们的系统在两个数据集上与最先进的模型相比的有效性。
2019-09-03 cs.AI cs.CL
Ruminating Reader: Reasoning with Gated Multi-Hop Attention
New York University（纽约大学）
在机器理解任务中，为了回答问题，模型需要建立问题与上下文之间的交互关系。为了解决单遍模型不能反映和纠正其答案的问题，我们提出了反刍阅读器。反刍阅读器在双向注意力流模型（Biodegradation）中增加了第二次注意力传递和一个新的信息融合组件。我们提出了新的层结构，构建了一个查询感知的上下文向量表示和融合的编码表示与中间表示的Bioblog模型的顶部。我们表明，多跳注意力机制可以应用于一个双向的注意力结构。在SQuAD上的实验中，我们发现Reader的性能大大优于Bioscience基线，并且匹配或超过所有其他已发布系统的性能。
2017-04-24 cs.CL
Weaving Multi-Source Evidence for Biomedical Reasoning: The BioMedHop Benchmark and BioWeave Framework
University of New South Wales（新南威尔士大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；University of Technology Sydney（悉尼科技大学）
提出BioMedHop基准和BioWeave框架，用于评估和实现生物医学多源证据推理，BioWeave在基准上优于基线方法10.5%，并提升小模型性能。
2026-06-16 cs.CL
RACE: Large-scale ReAding Comprehension Dataset From Examinations
Carnegie Mellon University（卡内基梅隆大学）
我们提出了RACE，一个新的数据集的基准评估方法在阅读理解任务。RACE收集了中国12至18岁初中和高中学生的英语考试，由近28，000篇文章和近100，000个由人类专家（英语教师）生成的问题组成，涵盖了各种精心设计的主题，用于评估学生的理解和推理能力。特别是，RACE中需要推理的问题比例远远大于其他阅读理解基准数据集，并且最先进模型的性能（43%）与人类性能上限（95%）之间存在显着差距。我们希望这个新的数据集可以作为机器理解研究和评估的宝贵资源。数据集可在http://www.cs.cmu.edu/~glai1/data/race/上免费获得，代码可在https://github.com/qizhex/RACE_AR_baselines上获得。
2017-12-05 cs.AI cs.CL cs.LG
FDARxBench: Benchmarking Regulatory and Clinical Reasoning on FDA Generic Drug Assessment
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；U.S. Food and Drug Administration（美国食品药品监督管理局）
本文提出FDARxBench基准测试，用于评估基于文档的问答任务，通过FDA药物标签文档生成高质量问答示例，揭示语言模型在事实基础、长上下文检索和安全拒绝行为方面的差距。
2026-09-03 cs.AI cs.CL
Gated-Attention Readers for Text Comprehension
Carnegie Mellon University（卡内基梅隆大学）
本文研究了基于文档的完形填空题的回答问题。我们的模型，门控注意力（GA）阅读器，集成了一个新的注意力机制，这是基于查询嵌入和递归神经网络文档阅读器的中间状态之间的乘法相互作用的多跳架构。这使读者能够在文档中构建特定于查询的标记表示，以实现准确的答案选择。GA阅读器在三个基准上获得了最先进的结果-CNN \& Daily Mail新闻故事和Who Did What数据集。通过消融研究证明了乘法交互的有效性，并通过与用于实施门控注意的替代组合算子进行比较。该代码可在https://github.com/bdhingra/ga-reader上获得。
2017-04-21 cs.CL cs.LG
Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs
Kyoto University（京都大学）
提出用提示工程和CoT在LLM内部模拟RAG，通过标记相关片段并逐步整合证据，提升长上下文多跳问答性能。
2025-02-18 cs.CL
Automatic Inter-document Multi-hop Scientific QA Generation
本文提出AIM-SciQA框架，通过大语言模型生成多文档多跳科学问答数据集，结合语义对齐和引用信息提升事实一致性，构建IM-SciQA数据集并验证其在检索增强推理中的有效性。
2026-03-15 cs.CL
NovelHopQA: Diagnosing Multi-Hop Reasoning Failures in Long Narrative Contexts
Algoverse AI Research（Algoverse AI研究机构）；University of California, Berkeley（加州大学伯克利分校）；Meta FAIR Lab（Meta FAIR实验室）
NovelHopQA通过83部小说的长文本构建1-4跳问答基准，揭示LLM在长上下文多跳推理中的准确率随跳数与长度增加而下降，并提供诊断工具。
2025-06-23 cs.CL
What Makes it Difficult to Understand a Scientific Literature?
University of Chinese Academy of Sciences（中国科学院大学）；Wuhan University（武汉大学）
在人工智能领域，最终目标之一是使计算机理解人类语言并提供帮助。为了实现这一理想，计算机科学的研究者们提出了许多模型和算法，试图使机器能够在不同的语义层次上分析和处理人类的自然语言。虽然最近在这一领域的进展提供了很大的希望，我们仍然要问，目前的研究是否可以提供帮助，人们真正希望在阅读和理解。为此，我们对两篇不同风格的科技论文进行了阅读理解测试。我们使用语义链接模型来分析人们在阅读科技文献的过程中会遇到的理解障碍，并找出导致人们难以理解科技文献的原因。通过分析，总结出不同知识水平的人在理解科技文献难点时所反映出的一些特点和问题，这些特点和问题可以用语义链接网络进行建模。我们相信这些特点和问题将有助于我们重新审视现有的机型，并有助于设计新的机型。
2015-12-04 cs.CL
