Interpretable AMR-Based Question Decomposition for Multi-hop Question Answering
University of Auckland(奥克兰大学)
有效的多跳问答(QA)需要对多个分散的段落进行推理,并为答案提供解释。大多数现有的方法不能提供一个可解释的推理过程来说明这些模型是如何得出答案的。本文提出了一种基于抽象意义表示的多跳QA问题分解方法(QDAMR),通过将多跳问题分解为简单的子问题并按顺序回答,实现了可解释的推理。由于注释分解是昂贵的,我们首先将理解多跳问题的复杂性委托给AMR解析器。然后,我们实现了多跳问题的分解,通过分割相应的AMR图的基础上所需的推理类型。最后,我们使用AMR到文本生成模型生成子问题,并使用现成的QA模型回答它们。HotpotQA上的实验结果表明,我们的方法是有竞争力的可解释的推理和QDAMR生成的子问题是良好的形式,优于现有的基于问题分解的多跳QA方法。
2022-06-16 cs.CL
Generative Context Pair Selection for Multi-hop Question Answering
University of California, Irvine(加利福尼亚大学尔湾分校);Amazon Web Services(亚马逊云服务);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
组合推理任务,如多跳问答,需要做出潜在的决定,以获得最终的答案,给定的问题。然而,众包数据集通常只捕获底层任务分布的一部分,这可能会在执行组合推理的模型中引起意想不到的偏差。此外,区分训练的模型利用这些偏差来获得更好的表现,而不需要学习正确的推理方式,因为它们不需要关注整个问题表示(条件变量)来估计答案的可能性。在这项工作中,我们提出了一个生成的上下文选择模型的多跳问答的原因如何给定的问题可能已经产生了一个上下文对。虽然与最先进的回答性能相当,但我们提出的生成通道选择模型在对抗性保留集上具有更好的性能(比基线高4.9%),这测试了模型的多跳推理能力的鲁棒性。
2021-04-18 cs.CL
Is Graph Structure Necessary for Multi-hop Question Answering?
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
近年来,试图将文本建模为图结构,并引入图神经网络来处理它已成为许多NLP研究领域的一个趋势。在本文中,我们调查图结构是否是必要的多跳问答。我们的分析集中在HotpotQA上。我们构建了一个强大的基线模型,通过正确使用预训练模型,图结构可能不是多跳问答所必需的。指出图的结构和邻接矩阵都是与任务相关的先验知识,图的注意可以看作是自注意的一种特殊情况。实验和可视化分析表明,图的注意力或整个图的结构可以被自注意力或Transformers所取代。
2020-10-29 cs.CL
Multi-step Entity-centric Information Retrieval for Multi-Hop Question Answering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院);Google Research(谷歌研究院)
多跳问答(QA)需要一个信息检索(IR)系统,该系统可以找到回答问题所需的支持证据\emph{multiple},这使得检索过程非常具有挑战性。本文介绍了一种IR技术,它使用的信息实体存在于最初检索的证据,学习“\emph{hop}”到其他相关的证据。在设置中,超过\textbf{5 million}维基百科的段落,我们的方法导致检索性能显着提高。检索到的证据还提高了现有QA模型(未经任何培训)在\textbf{10.59} F1的\hotpot基准测试中的性能。
2019-09-17 cs.CL
Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院);Amazon(亚马逊)
生成式问答(QA)模型生成问题的答案,或者仅仅基于模型的参数(闭卷设置),或者另外检索相关证据(开卷设置)。生成式QA模型可以回答一些相对复杂的问题,但它们这样做的机制仍然知之甚少。我们进行了几项研究,旨在更好地了解多跳推理能力的生成QA模型。首先,我们将多跳问题分解为多个相应的单跳问题,并发现QA模型在这些表面上相同的问题链上的答案明显不一致。其次,我们发现模型缺乏zero-shot多跳推理能力:当只在单跳问题上训练时,模型对多跳问题的泛化能力很差。最后,我们证明了通过两种方法来提高模型的zero-shot多跳推理能力是可能的,这两种方法通过对单跳问题的串联或逻辑形式(SPARQL)进行训练来近似真实的多跳自然语言(NL)问题。总之,这些结果表明,多跳推理不会在生成式QA模型中自然出现,但可以通过训练或建模技术的进步来鼓励。
2022-10-09 cs.CL
Answering Any-hop Open-domain Questions with Iterative Document Reranking
Peking University(北京大学);Georgia Institute of Technology(佐治亚理工学院);Siemens Corporate Technology(西门子企业技术部)
现有的开放域问答(QA)方法通常是针对需要单跳或多跳推理的问题而设计的,这些推理对要回答的问题的复杂性做出了很强的假设。此外,多步骤文档检索通常会导致更多相关但不支持的文档,这会抑制下游噪声敏感的阅读器模块进行答案提取。为了解决这些挑战,我们提出了一个统一的QA框架来回答任何跳开放域的问题,迭代检索,重新排序和过滤文件,并自适应地确定何时停止检索过程。为了提高检索精度,我们提出了一个基于图的重排序模型,执行多文档交互作为我们的迭代重排序框架的核心。我们的方法在单跳和多跳开放域QA数据集(包括Natural Questions Open,SQuAD Open和HotpotQA)上始终实现与最先进的性能相当或更好的性能。
2021-05-24 cs.CL
Exploiting Hybrid Semantics of Relation Paths for Multi-hop Question Answering Over Knowledge Graphs
Peking University(北京大学);Tencent(腾讯)
在知识图谱(KGQA)上表达自然语言问题对于通过多跳推理理解复杂问题仍然是一个巨大的挑战。以往的研究通常利用大规模的实体相关文本语料库或知识图谱(KG)作为辅助信息,以促进答案的选择。然而,丰富的语义隐含在现成的实体之间的关系路径远未得到很好的探索。本文提出利用关系路径的混合语义来改进多跳KGQA。具体来说,我们集成了显式的文本信息和隐含的KG结构特征的关系路径的基础上一个新的旋转和缩放实体链接预测框架。在现有的三个KGQA数据集上的大量实验证明了该方法的优越性,特别是在多跳场景中。进一步的研究证实了我们的方法的系统协调问题和关系路径识别答案实体。
2022-09-02 cs.CL
Prompt-based Conservation Learning for Multi-hop Question Answering
University of Auckland(奥克兰大学)
多跳问答(QA)需要对多个文档进行推理,以回答复杂的问题并提供可解释的支持证据。然而,提供支持证据不足以证明模型已经执行了所需的推理以获得正确的答案。大多数现有的多跳QA方法无法回答大部分的子问题,即使他们的父问题被正确回答。在本文中,我们提出了一种基于知识的保护学习(PCL)框架,用于多跳QA,它从多跳QA任务中获取新知识,同时保存在单跳QA任务中学习到的旧知识,从而减轻遗忘。具体来说,我们首先训练现有的单跳QA任务的模型,然后冻结这个模型,并通过分配额外的子网络的多跳QA任务扩展它。此外,为了调节预训练的语言模型以刺激特定多跳问题所需的推理,我们学习了新子网络的软提示以执行特定类型的推理。在HotpotQA基准测试上的实验结果表明,PCL对于多跳QA具有竞争力,并且在相应的单跳子问题上保持了良好的性能,证明了PCL在减轻遗忘引起的知识丢失方面的有效性。
2022-09-14 cs.CL
Multi-hop Commonsense Knowledge Injection Framework for Zero-Shot Commonsense Question Answering
Southeast University(东南大学)
针对零样本常识问答中忽略知识图谱多跳关系的问题,提出多跳常识知识注入框架,通过两种多跳问答生成方法和对比学习预训练,在五个基准上取得最优性能。
2023-05-10 cs.CL
UHop: An Unrestricted-Hop Relation Extraction Framework for Knowledge-Based Question Answering
Institute of Information Science Academia Sinica(中央研究院资讯科学研究所);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National Institute of Technology Rourkela(鲁尔克拉国家理工学院);Most Joint Research Center for AI Technology(Most人工智能技术联合研究中心);All Vista Healthcare(全景医疗保健)
在用于基于知识的问答的关系抽取中,经由单个关系从一个实体搜索到另一个实体被称为“单跳”。在相关工作中,从知识图谱中的所有单跳关系、两跳关系等到最大跳关系的穷举搜索是必要的,但代价很高。因此,跳数通常限制为两个或三个。在本文中,我们提出了UHop,一个不受限制的跳框架,放宽了这一限制,通过使用一个基于转换的搜索框架,以取代基于关系链的搜索。我们对传统的1-和2-hop问题以及冗长的问题进行实验,包括WebQSP,PathQuestion和Grid World等数据集。结果表明,所提出的框架能够停止的能力,以及与国家的最先进的模型,实现竞争力的性能,而无需穷举搜索,并打开长关系路径的性能差距。
2019-04-02 cs.CL
Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering
Fudan University(复旦大学)
多跳推理需要聚合多个文档来回答一个复杂的问题。现有的方法通常将多跳问题分解为简单的单跳问题来求解,以说明可解释的推理过程。然而,他们忽略了每个推理步骤的支持事实,这往往会产生不准确的分解。在本文中,我们提出了一个可解释的逐步推理框架,将单跳支持句子识别和单跳问题生成在每个中间步骤,并利用当前跳下一个推理,直到推理出最终结果。我们采用一个统一的阅读器模型的中间跳推理和最终跳推理,并采用联合优化更准确和强大的多跳推理。我们在两个基准数据集HotpotQA和2WikiMultiHopQA上进行实验。结果表明,我们的方法可以有效地提高性能,也产生了一个更好的解释推理过程中没有分解监督。
2022-08-22 cs.CL
Memory-Aware and Uncertainty-Guided Retrieval for Multi-Hop Question Answering
University of Pittsburgh(匹兹堡大学);Salesforce Research(Salesforce研究院)
提出MIND框架,通过实体提取、基于熵和注意力信号的动态检索触发及记忆感知过滤,解决多跳问答中检索步骤固定和已检索知识利用不足的问题。
2025-03-29 cs.CL
Question-Aware Memory Network for Multi-hop Question Answering in Human-Robot Interaction
National University of Defense Technology(国防科技大学);Charles Darwin University(查尔斯·达尔文大学);Waseda University(早稻田大学)
知识图问答是智能人机交互中的一项重要技术,其目的是利用已知的知识图谱自动回答人类自然语言问题。对于复杂度和多样性较高的多关系问题,在推理步骤中,问题的表征对三元组的选择具有不同的优先级。针对现有模型将问题作为一个整体,忽略了问题中的优先级信息的问题,提出了一种面向多跳问答的问题感知记忆网络QA2MN,在推理过程中及时更新对问题的关注度。此外,我们将图的上下文信息加入到知识图谱嵌入模型中,以增加实体和关系的表示能力。我们使用它来初始化QA2MN模型,并在训练过程中对其进行微调。我们在PathQuestion和WorldCup 2014上评估了QA2MN,这是两个复杂多跳问答的代表性数据集。结果表明,QA2MN在两个数据集上都达到了最先进的Hits@1准确率,这验证了我们模型的有效性。
2021-04-27 cs.CL
Calibrating Trust of Multi-Hop Question Answering Systems with Decompositional Probes
Georgia Institute of Technology(佐治亚理工学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多跳问答(QA)是一项具有挑战性的任务,因为它需要准确地聚合来自多个上下文段落的信息,并彻底理解底层的推理链。最近在多跳QA方面的工作表明,可以通过首先将问题分解为更简单的单跳问题来提高性能。在本文中,我们从可解释的NLP的角度探索了多跳分解的一个额外效用:通过探测神经QA模型来创建解释。我们假设这样做,用户将能够更好地预测底层QA系统何时给出正确答案。通过人类参与者的研究,我们验证了暴露的分解探针和答案的探针给用户可以提高他们的能力,预测系统性能的问题实例的基础上。我们发现,分解是一种有效的形式探测QA系统,以及一个有前途的方法来解释生成。深入的分析表明,需要改进的分解系统。
2022-11-01 cs.CL
Modeling Multi-hop Question Answering as Single Sequence Prediction
Salesforce Research(赛富时研究院)
解码器融合(Fid)(Izacard和Grave,2020)是一种生成式问答(QA)模型,它利用预先训练的Transformer进行段落检索,并将最先进的技术推向单跳QA。然而,多跳QA的复杂性阻碍了生成式QA方法的有效性。在这项工作中,我们提出了一个简单的生成方法(PathFid),通过明确建模的推理过程来解决多跳问题的答案,扩展任务不仅仅是答案生成。通过线性化支持段落、其关键句子以及最终事实答案的分层推理路径,我们将问题视为单个序列预测任务。为了方便复杂的推理与多个线索,我们进一步扩展了统一的平面表示的多个输入文档的编码交叉通道的相互作用。我们广泛的实验表明,PathFid导致两个多跳QA数据集:HotpotQA和IIRC强大的性能增益。除了性能的提高,PathFid更具有可解释性,这反过来又会产生与基线Fid模型相比更忠实地基于支持段落和事实的答案。
2022-05-18 cs.CL
Leveraging Structured Information for Explainable Multi-hop Question Answering and Reasoning
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对大语言模型多跳问答存在推理不准、幻觉及可解释性不足的问题,本研究构建并利用抽取的语义结构图开展推理,在两个基准上提升了问答性能,且生成的结构化解释更受人类青睐。
2023-11-07 cs.CL
Ask to Understand: Question Generation for Multi-hop Question Answering
Beijing Institute of Technology(北京理工大学)
多跳问答(QA)要求机器通过从多个文档中寻找分散的线索和推理来回答复杂的问题。图网络(GN)和问题分解(QD)是目前常用的两种方法。前者利用“黑盒”推理过程来捕捉实体和句子之间的潜在关系,从而取得了良好的性能。同时,后者通过将多跳问题分解为简单的单跳子问题,提供了清晰的推理逻辑路线。在本文中,我们提出了一种新的方法来完成多跳问答的问题生成(QG)的角度。具体来说,我们精心设计了一个端到端的QG模块的基础上,经典的QA模块,这可以帮助模型理解的背景下,问固有的逻辑子问题,从而继承了基于QD的方法的可解释性,并显示出优越的性能。在HotpotQA数据集上的实验表明,我们提出的QG模块的有效性,人工评估进一步阐明了其定量的可解释性,全面的分析表明,QG模块可以生成更好的子问题比QD方法在流畅性,一致性和多样性方面。
2022-03-17 cs.CL
Reasoning Chain Based Adversarial Attack for Multi-hop Question Answering
近年来,在具有挑战性的多跳QA任务方面取得了令人印象深刻的进展。然而,这些QA模型可能会失败时,面对一些干扰的输入文本和他们的可解释性进行多跳推理仍然不确定。以往的对抗攻击通常对整个问句进行编辑,这对于测试基于实体的多跳推理能力效果有限。提出了一种基于多跳推理链的对抗攻击方法。我们制定的多跳推理链从查询实体的答案实体在构造的图,这使我们能够对齐的问题,每个推理跳,从而攻击任何一跳。我们将问题分类为不同的推理类型,并对抗性地修改与所选推理跳相对应的问题的一部分,以生成分散注意力的句子。我们在HotpotQA数据集上的三个QA模型上测试了我们的对抗方案。实验结果表明,基于推理链的多跳推理模型攻击方法在回答和支持事实预测上都有明显的性能下降,验证了该方法对多跳推理模型攻击的有效性及其脆弱性.我们的对抗性重新训练进一步提高了这些模型的性能和鲁棒性。
2021-12-17 cs.CL
Coarse-grained decomposition and fine-grained interaction for multi-hop question answering
School of Electronic and Information, Beijing Jiaotong University(北京交通大学电子信息学院);Key Laboratory of Communication and Information Systems, Beijing Municipal Commission of Education(北京市教育委员会通信与信息系统重点实验室)
关于问答和阅读理解的最新进展已经产生了超越人类表现的模型,当答案包含在单个连续的文本中时,只需要单跳推理。然而,在实际场景中,许多复杂的查询需要多跳推理。问答任务的关键是文档和问题之间的语义特征交互,双向注意流(Bi-Directional Attention Flow,Bi-Directional Attention Flow)广泛处理这一交互,但双向注意流通常只捕捉复杂问题中词语的表层语义,而无法捕捉中间答案的隐含语义特征。因此,Bi-texture部分忽略了与问题相关的部分上下文,无法提取多个文档中最重要的部分。在本文中,我们提出了一个新的模型架构多跳问答,通过应用两个完成策略:(1)引入粗粒度复杂问题分解(CGDe)策略,在不需要任何附加标注的情况下,将复杂问题分解为简单问题。(2)细粒度交互(FGIn)引入策略以更好地表示文档中的每个单词,并提取与推理路径相关的更全面、准确的句子。将上述两种策略结合起来并在SQuAD和HotpotQA数据集上进行测试,实验结果表明,我们的方法优于国家的最先进的基线。
2021-01-15 cs.CL
Rethinking Label Smoothing on Multi-hop Question Answering
Fudan University(复旦大学);Huawei Poisson Lab(华为泊松实验室)
针对多跳问答的性能瓶颈与过拟合问题,提出适配MRC的F1 Smoothing标签平滑技术及结合课程学习的LDLA算法,在HotpotQA数据集上取得SOTA效果,提升了模型泛化能力。
2023-12-13 cs.CL
Exploiting Reasoning Chains for Multi-hop Science Question Answering
The Chinese University of Hong Kong(香港中文大学)
我们提出了一种新的链引导检索器-阅读器({ \tt CGR})框架来建模多跳科学问答的推理链。我们的框架能够执行可解释的推理,而不需要任何特定于语料库的注释,如地面实况推理链,或人类注释的实体提及。具体来说,我们首先从检索到的证据事实的抽象意义表示构造的语义图生成推理链。一个\textit{Chain-aware loss},涉及本地和全球链信息,也被设计成使生成的链作为远程监督信号,用于训练检索器,其中强化学习也被采用,以最大限度地提高推理链的效用。我们的框架允许检索器捕获一步一步的线索,整个推理过程中,这不仅是有效的两个具有挑战性的多跳科学QA任务,即OpenBookQA和ARC挑战,但也有利于解释。
2021-09-07 cs.CL
From Easy to Hard: Two-stage Selector and Reader for Multi-hop Question Answering
State Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
多跳问答(QA)是一项具有挑战性的任务,要求QA系统对多个文档执行复杂的推理,并提供支持事实以及确切的答案。现有的工作往往利用基于图的推理和问题分解来获得推理链,这不可避免地引入额外的复杂性和累积误差的系统。为了解决上述问题,我们提出了一个简单而有效的新框架,从容易到困难(FE2H),以消除分散注意力的信息,并获得更好的上下文表示的多跳QA任务。受迭代文档选择过程和人类渐进式学习习惯的启发,FE2H按照从易到难的方式将文档选择器和阅读器分为两个阶段。具体来说,我们首先选择与问题最相关的文档,然后利用问题和该文档来选择其他相关文档。至于QA阶段,我们的读者首先在单跳QA数据集上进行训练,然后转移到多跳QA任务中。我们在流行的多跳QA基准HotpotQA上全面评估了我们的模型。实验结果表明,我们的方法ourperforms所有其他方法在HotpotQA的排行榜(分心设置)。
2022-05-24 cs.CL
ConRAG: Consensus-Driven Evidence Flow for Multi-Hop Question Answering
School of Computer Science, Wuhan University(武汉大学计算机学院)
提出ConRAG框架,通过共识驱动的多视角检索(关系、实体、文本信号)优化查询和语料库,显著提升多跳问答性能,在MuSiQue上创下新纪录。
2026-10-15 cs.CL
Dynamic Semantic Graph Construction and Reasoning for Explainable Multi-hop Science Question Answering
The Chinese University of Hong Kong(香港中文大学)
知识检索和推理是网络环境下多跳问答的两个关键阶段。现有的方法在检索证据事实以填补知识空白时置信度低,并且缺乏透明的推理过程。在本文中,我们提出了一个新的框架,利用更多的有效事实,同时获得可解释性的多跳QA通过动态构建一个语义图和推理。我们采用抽象意义表示(AMR)的语义图表示。我们的框架包含三个新的想法:(a){ \tt AMR-SG},一个基于AMR的语义图,由候选事实AMR构建,以揭示问题,答案和多个事实之间的任何跳跃关系。(b)一种新的基于路径的事实分析方法,利用{ \tt AMR-SG}从大型事实池中提取活动事实以回答问题。(c)事实级关系建模利用图卷积网络(GCN)来指导推理过程。两个科学多跳QA数据集的结果表明,我们可以超越最近的方法,包括使用额外的知识图谱,同时保持OpenBookQA的高可解释性,并在计算上可行的设置实现ARC挑战的最先进的新结果。
2021-05-25 cs.CL
Learning to Recover Reasoning Chains for Multi-Hop Question Answering via Cooperative Games
Queen’s University(女王大学);IBM Research(IBM研究院);UC Santa Barbara(加州大学圣巴巴拉分校);Beihang University(北京航空航天大学)
我们提出了从弱监督信号中学习恢复推理链的新问题,即,问答对我们提出了一个合作博弈的方法来处理这个问题,在其中如何选择的证据通道,以及如何选定的通道连接处理的两个模型,合作选择最有信心的链从一个大的候选人(从远程监督)。为了进行评估,我们基于两个多跳QA数据集(HotpotQA和MedHop)创建了基准测试;并为后者创建了手动标记的推理链。实验结果证明了该方法的有效性。
2020-04-06 cs.CL
Memory Augmented Sequential Paragraph Retrieval for Multi-hop Question Answering
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
从相关段落或文档中检索信息来回答开放域多跳问题是非常具有挑战性的。为了应对这一挑战,大多数现有的作品认为段落作为节点的图,并提出基于图的方法来检索它们。然而,在本文中,我们指出了这种方法的内在缺陷。相反,我们提出了一个新的架构,模型段落作为顺序数据,并认为多跳信息检索作为一种序列标记任务。具体来说,我们设计了一个可扩展的外部存储器来模拟段落之间的依赖关系。此外,提出了一种阈值门机制,以消除噪音段落的分心。我们评估我们的方法上完整的维基和分心子任务的HotpotQA,一个公共的文本多跳QA数据集,需要多跳信息检索。实验表明,我们的方法取得了显着的改善,在检索和下游QA任务的性能比发表的最先进的方法。
2021-02-07 cs.CL
No Shortcuts to Culture: Indonesian Multi-hop Question Answering for Complex Cultural Understanding
School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院)
ID-MoCQA是一个基于印尼传统的多跳问答数据集,旨在评估大型语言模型的文化理解能力,揭示模型在文化推理方面的不足。
2026-02-03 cs.CL
Retrieval--Reasoning Processes for Multi-hop Question Answering: A Four-Axis Design Framework and Empirical Trends
School of Computing and Information, University of Pittsburgh(计算与信息学院,匹兹堡大学);Google Cloud AI Research(谷歌云人工智能研究)
本文提出四维设计框架,分析多跳问答系统中检索-推理过程的执行计划、索引结构、控制策略和停止标准,揭示有效性、效率与证据忠实度的权衡,并指出结构感知规划、可转移控制策略和鲁棒停止是未来挑战。
2026-01-02 cs.CL
Consistency-Aware Parameter-Preserving Knowledge Editing Framework for Multi-Hop Question Answering
Vanderbilt University(范德比大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院)
CAPE-KG通过确保知识图谱的一致性来提升多跳问答中参数保持知识编辑的性能。
2026-01-06 cs.CL
Simple yet Effective Bridge Reasoning for Open-Domain Multi-Hop Question Answering
University of California, Santa Barbara(加州大学圣巴巴拉分校);IBM Research(IBM研究院)
开放域环境下多跳问答(QA)的一个关键挑战是从大型语料库中准确地检索支持段落。关于开放域QA的现有工作通常依赖于现成的信息检索(IR)技术来检索\textbf{answer passages},即,包含地面实况答案的段落。然而,基于IR的方法对于多跳问题是不够的,因为第二跳或进一步跳的主题没有被问题明确地覆盖。为了解决这个问题,我们引入了一个新的子问题的开放域多跳问答,其目的是识别桥梁(\emph{i.e.},锚链接到答案通道)从上下文的一组开始段落的阅读理解模型。该模型\textbf{bridge reasoner}使用弱监督信号进行训练,并为\textbf{passage reader}生成候选答案通道以提取答案。在完整的wiki HotpotQA基准测试中,我们将基线方法显著改进了14点F1。在不使用任何内存效率低下的上下文嵌入,我们的结果也是具有竞争力的国家的最先进的应用BERT在多个模块。
2019-11-01 cs.CL
Do Multi-Hop Question Answering Systems Know How to Answer the Single-Hop Sub-Questions?
National University of Singapore(新加坡国立大学)
多跳问答(QA)需要一个模型来检索和整合来自长文本的不同部分的信息来回答问题。人类通过分而治之的方法来回答这种复杂的问题。在本文中,我们研究了多跳问题的最佳表现模型是否像人类一样理解底层子问题。我们采用神经分解模型来生成多跳复杂问题的子问题,然后提取相应的子答案。我们发现,多个国家的最先进的多跳QA模型未能正确回答大部分的子问题,虽然他们相应的多跳问题是正确的答案。这表明,这些模型设法回答多跳问题使用一些部分的线索,而不是真正理解的推理路径。我们还提出了一个新的模型,显着提高了回答子问题的性能。我们的工作朝着建立一个更可解释的多跳QA系统迈出了一步。
2021-01-27 cs.AI cs.CL
TransferNet: An Effective and Transparent Framework for Multi-hop Question Answering over Relation Graph
Department of Computer Science and Technology, BNRist, Tsinghua University(清华大学计算机科学与技术系、BNRist);Cloud BU, Huawei Technologies(华为技术有限公司云BU);Nanyang Technological University(南洋理工大学)
多跳问答(QA)是一个具有挑战性的任务,因为它需要在每一步的答案与实体关系的精确推理。关系可以根据知识图谱中的标签来表示(例如,\textit{spouse})或文本语料库中的文本(例如,\textit{they have been married for 26 years})。现有的模型通常通过预测序列关系路径或聚集隐藏图特征来推断答案。前者很难优化,后者缺乏可解释性。在本文中,我们提出了TransferNet,一个有效的和透明的多跳QA模型,它支持在一个统一的框架中的标签和文本关系。TransferNet以多个步骤跨越实体。在每一步中,它关注问题的不同部分,计算关系的激活分数,然后以可微的方式沿着激活的关系传递先前的实体分数。我们在三个数据集上进行了广泛的实验,并证明了TransferNet在很大程度上超越了最先进的模型。特别是在MetaQA上,它在2跳和3跳问题中达到了100%的准确率。通过定性分析,我们表明,TransferNet具有透明和可解释的中间结果。
2021-10-10 cs.CL
An Interpretable Reasoning Network for Multi-Relation Question Answering
State Key Lab. of Intelligent Technology and Systems(智能技术与系统国家重点实验室);National Lab. for Information Science and Technology(信息科学与技术国家实验室);Dept. of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
多关系问答是一个具有挑战性的任务,因为它需要对问题进行详细的分析,并对知识库中的多个事实三元组进行推理。在本文中,我们提出了一种新的模型,称为可解释的推理网络,采用了可解释的,逐跳推理过程的问答。该模型动态地决定输入问题的哪一部分应该在每一跳进行分析;预测与当前解析结果相对应的关系;利用预测的关系来更新问题表示和推理过程的状态;然后驱动下一跳推理。实验表明,我们的模型在两个数据集上产生了最先进的结果。更有趣的是,该模型可以为推理分析和故障诊断提供可跟踪和可观察的中间预测,从而允许手动操作预测最终答案。
2018-06-01 cs.CL
Improving Embedded Knowledge Graph Multi-hop Question Answering by introducing Relational Chain Reasoning
Shanghai University(上海大学);Beijing University of Technology(北京工业大学);Engineering Research Center of Intelligence Perception and Autonomous Control, Ministry of Education(教育部智能感知与自主控制工程研究中心)
知识图问答(Knowledge Graph知识图谱,KGQA)是通过识别主题实体与答案之间的推理关系,从知识图谱中回答用户提出的问题。作为KGQA的一个复杂分支任务,多跳KGQA需要在KG中保存的多跳关系链上进行推理以获得正确答案。尽管最近取得了成功,但现有的回答多跳复杂问题的工作仍然面临着以下挑战:i)缺乏反映在用户问题中的显式关系链顺序,这源于对用户意图的误解。ii)由于昂贵的标记成本,在数据集缺乏中间推理链注释的弱监督下不正确地捕获关系类型。(3)基于子图检索的算法由于邻域大小的限制,没有考虑结构化KG中隐含的主题实体和答案之间的隐含关系,针对多跳KGQA中的这些问题,本文提出了一种新的模型,即基于关系链的嵌入式KGQA(Rce-KGQA),该方法同时利用自然语言问题中揭示的显式关系链和结构化问题中存储的隐式关系链,KG.我们对三个开放域基准的广泛实证研究证明,我们的方法显着优于最先进的同行,如GraftNet,PullNet和EmbedKGQA。综合消融实验也验证了我们的方法在多跳KGQA任务的有效性。我们在github上提供了模型的源代码:https://github.com/albert-jin/Rce-KGQA。
2022-11-13 cs.CL
LLM-Based Multi-Hop Question Answering with Knowledge Graph Integration in Evolving Environments
Institute of High Performance Computing (IHPC)(高性能计算研究所);Nanyang Technological University(南洋理工大学);Centre for Frontier AI Research(前沿人工智能研究中心);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Texas A&M University(德克萨斯农工大学);University of Stuttgart(斯图加特大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
针对演化环境中多跳知识编辑难题,提出GMeLLo框架,结合KG显式表示与LLM语言能力,将自然语言转为结构化查询和三元组,在MQuAKE上显著超过SOTA方法。
2024-12-04 cs.CL
HyperProve: Answer-Guided Hypergraph Expansion for Multi-Hop Question Answering
Hanoi University of Science and Technology(河内科技大学);Monash University(莫纳什大学);University of Oregon(俄勒冈大学)
HyperProve通过将问题分解与答案引导的超图扩展相结合,实现状态化、以事实为中心的检索,在多跳问答基准上显著提升答案准确率和F1。
2026-09-15 cs.CL
Explore-over-Graph: Hybrid Embedding-LLM Reasoning for Knowledge Graph Question Answering under Incompleteness
New York University Abu Dhabi(纽约大学阿布扎比分校)
针对知识图谱不完整导致多跳问答推理路径断裂的问题,提出XoG框架,利用类型级统计和嵌入恢复缺失路径,LLM作语义选择器,在多个基准上优于可比方法并降低33%令牌消耗。
2026-10-06 cs.CL
PokeMQA: Programmable knowledge editing for Multi-hop Question Answering
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);North Carolina State University(北卡罗来纳州立大学);Texas A&M University(德克萨斯农工大学);University of Georgia(佐治亚大学)
本文提出PokeMQA框架,通过解耦问题分解与冲突检查任务,引入独立可训练的范围检测器来调节LLMs行为,显著提升了多跳问答中知识编辑的性能与推理可靠性。
2024-02-15 cs.CL
Review-Then-Refine: A Dynamic Framework for Multi-Hop Question Answering with Temporal Adaptability
Hong Kong University of Science and Technology(Guangzhou)(香港科技大学(广州))
本文提出名为review-then-refine的动态框架,通过动态重写子查询和自适应检索机制处理时间信息,显著提升了LLMs在多跳问答任务中的表现并减少幻觉。
2024-12-19 cs.CL
MINTQA: A Multi-Hop Question Answering Benchmark for Evaluating LLMs on New and Tail Knowledge
School of Informatics, University of Edinburgh, UK(爱丁堡大学信息学院);Southeast University, Nanjing, Jiangsu, China(东南大学);University of Manchester, UK(曼彻斯特大学)
本文提出 MINTQA 多跳问答基准,从四个维度评估大语言模型在新知识和长尾知识上的多跳推理能力,并通过22个模型的系统评估揭示了现有方法在处理复杂知识查询方面的显著不足。
2025-08-22 cs.CL
EfficientRAG: Efficient Retriever for Multi-Hop Question Answering
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Microsoft(微软公司)
本文提出EfficientRAG,一种用于多跳问答的高效检索器,无需在每次迭代时调用LLM即可生成新查询并过滤无关信息,在三个开放域多跳问答数据集上超越现有RAG方法。
2024-09-26 cs.AI cs.CL
TRACE: An Experiential Framework for Coherent Multi-hop Knowledge Graph Question Answering
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Hebei University of Technology(河北工业大学);City University of Hong Kong(香港城市大学)
TRACE框架通过整合语言模型驱动的上下文推理与探索先验,提升多跳知识图谱问答的连贯性和鲁棒性,实验表明其优于现有方法。
2026-04-13 cs.CL
ReSCORE: Label-free Iterative Retriever Training for Multi-hop Question Answering with Relevance-Consistency Supervision
Dept. of CSE, Korea University(韩国大学计算机科学与工程系);NAVER AI Lab(NAVER AI实验室);NAVER Cloud(NAVER云);University of Richmond(里奇蒙大学)
ReSCORE通过无标签数据训练密集检索器,提升多跳问答的检索与回答性能。
2025-05-27 cs.CL
Omne-R1: Learning to Reason with Memory for Multi-hop Question Answering
Tanka Inc.(Tanka公司)
本文提出Omne-R1方法,通过多阶段训练流程(含强化学习和监督微调)结合领域无关知识图谱构建与问答对自动生成,增强无模式知识图谱多跳问答能力,尤其提升3+跳复杂问题性能并实现跨领域泛化。
2025-08-24 cs.AI cs.CL
End-to-End Beam Retrieval for Multi-Hop Question Answering
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent Research(腾讯研究院)
本文提出端到端束检索框架 Beam Retrieval,通过跨跳联合优化编码器和分类头,并在每步保留多个段落假设以扩大搜索空间,显著提升多跳问答检索质量,进而改善有监督阅读器和 LLM 的问答性能。
2024-04-01 cs.CL
Multi-hop Inference for Sentence-level TextGraphs: How Challenging is Meaningfully Combining Information for Science Question Answering?
School of Information, University of Arizona(亚利桑那大学信息学院)
复杂问题的问答通常被建模为图构造或遍历任务,其中求解器必须构建或遍历回答和解释给定问题的事实的图。这种“多跳”推理已被证明是极具挑战性的,很少有模型能够在被“语义漂移”或长链事实迅速偏离主题的趋势所淹没之前聚合两个以上的事实。这是当前推理模型的一个主要障碍,因为即使是基本的科学问题也需要平均4到6个事实来回答和解释。在这项工作中,我们经验性地描述了构建或遍历由词汇重叠连接的句子图的难度,通过评估机会句子聚合质量,通过从三个自由文本语料库(包括学习指南和简单维基百科)构建的知识图谱中的9,784个手动注释的判断。我们证明语义漂移往往是高和聚合质量低,在0.04%和3%之间,并突出的情况下,最大限度地有意义地结合信息的可能性。
2018-05-29 cs.CL
SentGraph: Hierarchical Sentence Graph for Multi-hop Retrieval-Augmented Question Answering
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学)
提出SentGraph,一种句子级图RAG框架,通过构建层次化句子图并建模细粒度逻辑关系,解决多跳问答中证据链不完整的问题。
2026-05-23 cs.AI cs.CL
Fine-Tuning vs. RAG for Multi-Hop Question Answering with Novel Knowledge
本文比较了微调与RAG在多跳问答中处理新颖知识的效果,发现RAG在时间新颖信息问答中表现更优,而有监督微调整体准确率最高。
2026-01-11 cs.CL cs.LG
MQA-KEAL: Multi-hop Question Answering under Knowledge Editing for Arabic Language
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);King AbdulAziz University(阿卜杜勒阿齐兹国王大学);University of Science and Technology, China(中国科学技术大学);Shenzhen University(深圳大学)
针对阿拉伯语多跳问答下的知识编辑,提出MQA-KEAL方法,通过外部记忆存储知识并分解问题,显著优于基线模型。
2024-09-18 cs.CL
Quick and (not so) Dirty: Unsupervised Selection of Justification Sentences for Multi-hop Question Answering
University of Arizona(亚利桑那大学)
我们提出了一个无监督的策略,选择多跳问答(QA)的理由句子,(a)最大限度地提高所选句子的相关性,(b)最大限度地减少所选事实之间的重叠,(c)最大限度地提高问题和答案的覆盖范围。这种无监督的句子选择方法可以与任何有监督的QA方法相结合。我们表明,通过我们的方法选择的句子提高了两个多跳QA数据集上最先进的监督QA模型的性能:AI2的推理挑战(ARC)和多句阅读理解(MultiRC)。在不使用外部资源训练QA系统的方法中,我们在两个数据集上都获得了最新的性能:ARC上的F1为56.82%(Challenge为41.24%,Easy为64.49%),MultiRC上的EM0为26.1%。我们的理由句子比通过强信息检索基线选择的理由具有更高的质量,例如,5.4%的F1在MultiRC中。我们还表明,我们的无监督选择的理由句子是更稳定的跨域比一个国家的最先进的监督句子选择方法。
2020-05-03 cs.CL
Learning Evidence Sufficiency Boundaries for Selective Answering in Grounded Multi-Hop QA
该研究针对多跳问答的选择性回答问题,提出证据充分性边界训练框架,在Qwen2.5-3B-Instruct适配后,提升了边界定位与无依据答案率表现,同时保持问答效用。
2026-09-03 cs.CL
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
Purdue University(普渡大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
针对预训练语言模型难以组合事实进行多跳问答的问题,本文利用知识图谱随机游走并训练软提示,将多跳问题映射到答案路径,在两个 T5 模型上显著提升 2 跳推理性能。
2023-06-06 cs.AI cs.CL
Resource-Friendly Dynamic Enhancement Chain for Multi-Hop Question Answering
School of Computer Science and Engineering, Northeastern University(计算机科学与工程学院,东北大学)
本文提出DEC框架,通过分解问题、上下文重写和轻量级关键词提取,在资源受限环境下实现高效多跳问答,显著降低令牌消耗并达到最先进性能。
2025-06-21 cs.CL
Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction
NTT Media Intelligence Laboratories, NTT Corporation(日本电信电话株式会社NTT媒体智能实验室);NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室)
基于文本信息的问答在阅读理解中的应用已经引起了广泛的关注。本研究的重点是可解释的多跳问答任务,它要求系统通过推理和收集参考文本的不相交片段来返回带有证据句子的答案。它提出了用于证据提取的查询集中提取器(QFE)模型,并将多任务学习与QA模型结合使用。QFE受抽取式摘要模型的启发,与现有的独立抽取每个证据句的方法相比,该方法利用带有注意力机制的RNN对问题句进行顺序抽取。它使QFE能够考虑证据句之间的依赖关系,并覆盖问题句中的重要信息。实验结果表明,具有简单RC基线模型的QFE在HotpotQA上实现了最先进的证据提取分数。虽然是为RC设计的,但它也在FEVER上实现了最先进的证据提取分数,FEVER是一个大型文本数据库上的识别文本蕴涵任务。
2019-05-29 cs.CL