BRIDGE: Benchmark for multi-hop Reasoning In long multimodal Documents with Grounded Evidence
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
BRIDGE是一个针对长多模态文档的多跳推理基准测试，通过显式的多跳推理注释揭示证据聚合和 grounding 的系统性缺陷。
2026-03-09 cs.CL
Exploiting Reasoning Chains for Multi-hop Science Question Answering
The Chinese University of Hong Kong（香港中文大学）
我们提出了一种新的链引导检索器-阅读器（{ \tt CGR}）框架来建模多跳科学问答的推理链。我们的框架能够执行可解释的推理，而不需要任何特定于语料库的注释，如地面实况推理链，或人类注释的实体提及。具体来说，我们首先从检索到的证据事实的抽象意义表示构造的语义图生成推理链。一个\textit{Chain-aware loss}，涉及本地和全球链信息，也被设计成使生成的链作为远程监督信号，用于训练检索器，其中强化学习也被采用，以最大限度地提高推理链的效用。我们的框架允许检索器捕获一步一步的线索，整个推理过程中，这不仅是有效的两个具有挑战性的多跳科学QA任务，即OpenBookQA和ARC挑战，但也有利于解释。
2021-09-07 cs.CL
Do Multi-hop Readers Dream of Reasoning Chains?
IBM Research（IBM研究院）；Umass Amherst（马萨诸塞大学阿默斯特分校）；UC Santa Barbara（加州大学圣巴巴拉分校）
文本上的一般问答系统需要多跳推理能力，即利用从多个段落收集的信息进行推理以得出答案的能力。在本文中，我们进行了系统的分析，以评估这种能力的各种现有模型提出的多跳QA任务。具体来说，我们的分析调查，是否提供多个段落的完整推理链，而不是只有一个答案出现的最后一个段落，可以提高现有QA模型的性能。令人惊讶的是，当使用额外的证据通道时，所有现有的多跳读取方法的改进相当有限，在F1上的最高误差减少为5.8%（对应于BERT模型的1.3%的绝对改进）。为了更好地理解推理链是否真的可以帮助找到正确的答案，我们进一步开发了一种基于共匹配的方法，当应用于我们的两个基本读者（包括BERT）时，使用通道链可以减少13.1%的错误。我们的研究结果表明，使用显式多跳推理的潜在改进的存在和开发具有更好的推理能力的模型的必要性。
2019-10-31 cs.CL
Leveraging Structured Information for Explainable Multi-hop Question Answering and Reasoning
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对大语言模型多跳问答存在推理不准、幻觉及可解释性不足的问题，本研究构建并利用抽取的语义结构图开展推理，在两个基准上提升了问答性能，且生成的结构化解释更受人类青睐。
2023-11-07 cs.CL
Dynamic Semantic Graph Construction and Reasoning for Explainable Multi-hop Science Question Answering
The Chinese University of Hong Kong（香港中文大学）
知识检索和推理是网络环境下多跳问答的两个关键阶段。现有的方法在检索证据事实以填补知识空白时置信度低，并且缺乏透明的推理过程。在本文中，我们提出了一个新的框架，利用更多的有效事实，同时获得可解释性的多跳QA通过动态构建一个语义图和推理。我们采用抽象意义表示（AMR）的语义图表示。我们的框架包含三个新的想法：（a）{ \tt AMR-SG}，一个基于AMR的语义图，由候选事实AMR构建，以揭示问题，答案和多个事实之间的任何跳跃关系。(b)一种新的基于路径的事实分析方法，利用{ \tt AMR-SG}从大型事实池中提取活动事实以回答问题。(c)事实级关系建模利用图卷积网络（GCN）来指导推理过程。两个科学多跳QA数据集的结果表明，我们可以超越最近的方法，包括使用额外的知识图谱，同时保持OpenBookQA的高可解释性，并在计算上可行的设置实现ARC挑战的最先进的新结果。
2021-05-25 cs.CL
Self-Critique Guided Iterative Reasoning for Multi-hop Question Answering
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
提出SiGIR，通过自批评反馈引导迭代推理，结合问题分解与自我评估，在多跳问答数据集上超越SOTA 8.6%。
2025-05-25 cs.CL
GenDec: A robust generative Question-decomposition method for Multi-hop reasoning
Tokyo Institute of Technology（东京工业大学）；Westlake University（西湖大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文提出一种生成式问题分解方法GenDec，通过生成独立完整的子问题并结合额外证据，增强LLMs在RAG中的多跳推理能力，实验验证了其在多个数据集和模型上的有效性与鲁棒性。
2024-02-17 cs.CL
Learning to Recover Reasoning Chains for Multi-Hop Question Answering via Cooperative Games
Queen’s University（女王大学）；IBM Research（IBM研究院）；UC Santa Barbara（加州大学圣巴巴拉分校）；Beihang University（北京航空航天大学）
我们提出了从弱监督信号中学习恢复推理链的新问题，即，问答对我们提出了一个合作博弈的方法来处理这个问题，在其中如何选择的证据通道，以及如何选定的通道连接处理的两个模型，合作选择最有信心的链从一个大的候选人（从远程监督）。为了进行评估，我们基于两个多跳QA数据集（HotpotQA和MedHop）创建了基准测试;并为后者创建了手动标记的推理链。实验结果证明了该方法的有效性。
2020-04-06 cs.CL
Think Straight, Stop Smart: Structured Reasoning for Efficient Multi-Hop RAG
Qualcomm AI Research（高通人工智能研究院）
针对现有多跳RAG迭代提示方法token消耗高、终止不稳定的问题，提出结构化框架TSSS，通过模板化推理加检索器终止机制，在多个基准上实现RAG-CoT类方法的最优准确率与高效推理，适配端侧等效率受限场景。
2025-10-22 cs.CL
Dynamically Fused Graph Network for Multi-hop Reasoning
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）
基于文本的问答（TBQA）是近年来研究的热点。大多数现有的方法都集中在一个段落中找到问题的答案。然而，许多困难的问题需要来自两个或多个文档中分散的文本的多个支持证据。在本文中，我们提出了动态融合图网络（DFGN），一种新的方法来回答这些问题，需要多个分散的证据和推理。受人类逐步推理行为的启发，DFGN包括一个动态融合层，该融合层从给定查询中提到的实体开始，沿着从文本动态构建的实体图进行探索，并逐渐从给定文档中找到相关的支持实体。我们在HotpotQA上评估DFGN，HotpotQA是一个需要多跳推理的公共TBQA数据集。DFGN在公共董事会上取得了有竞争力的成绩。此外，我们的分析表明，DFGN产生可解释的推理链。
2019-06-06 cs.CL
Interpretable AMR-Based Question Decomposition for Multi-hop Question Answering
University of Auckland（奥克兰大学）
有效的多跳问答（QA）需要对多个分散的段落进行推理，并为答案提供解释。大多数现有的方法不能提供一个可解释的推理过程来说明这些模型是如何得出答案的。本文提出了一种基于抽象意义表示的多跳QA问题分解方法（QDAMR），通过将多跳问题分解为简单的子问题并按顺序回答，实现了可解释的推理。由于注释分解是昂贵的，我们首先将理解多跳问题的复杂性委托给AMR解析器。然后，我们实现了多跳问题的分解，通过分割相应的AMR图的基础上所需的推理类型。最后，我们使用AMR到文本生成模型生成子问题，并使用现成的QA模型回答它们。HotpotQA上的实验结果表明，我们的方法是有竞争力的可解释的推理和QDAMR生成的子问题是良好的形式，优于现有的基于问题分解的多跳QA方法。
2022-06-16 cs.CL
UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）
知识图谱上的多跳问答（KGQA）是指在大规模知识图谱（KG）上寻找与自然语言问题中的主题实体相距多跳的答案实体。为了应对巨大的搜索空间，现有的工作通常采用两阶段的方法：首先检索与问题相关的相对较小的子图，然后对子图进行推理，以准确地找到答案实体。虽然这两个阶段是高度相关的，以前的工作采用了非常不同的技术解决方案开发的检索和推理模型，忽略了他们的任务本质的相关性。在本文中，我们提出了UniKGQA，多跳KGQA任务的一种新方法，通过统一检索和推理的模型结构和参数学习。在模型结构上，UniKGQA由基于预训练的语言模型PLM的语义匹配模块和匹配信息传播模块组成，语义匹配模块用于问题-关系的语义匹配，匹配信息传播模块用于沿着KG上的有向边传播匹配信息。对于参数学习，我们设计了一个共享的预训练任务的基础上的问题-关系匹配检索和推理模型，然后提出检索和推理为导向的微调策略。与以往的研究相比，我们的方法是更统一的，紧密联系的检索和推理阶段。在三个基准数据集上的大量实验表明了该方法在多跳KGQA任务上的有效性。我们的代码和数据可在~ \url{https://github.com/RUCAIBox/UniKGQA}上公开获取。
2023-03-01 cs.CL
How Well Do Multi-hop Reading Comprehension Models Understand Date Information?
The Graduate University for Advanced Studies（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
已经提出了几个多跳阅读理解数据集来解决推理捷径的问题，通过这些推理捷径可以在不执行多跳推理的情况下回答问题。然而，多跳模型在找到比较问题的答案时执行逐步推理的能力仍然不清楚。目前还不清楚关于内部推理过程的问题如何有助于训练和评估问答（QA）系统。为了以分层的方式精确地评估模型，我们首先提出了一个数据集，\textit{HieraDate}，除了主要问题：提取，推理和鲁棒性之外还有三个探测任务。我们的数据集是通过增强以前的两个多跳数据集HotpotQA和2WikiMultiHopQA创建的，专注于涉及比较和数值推理的日期信息的多跳问题。然后，我们评估现有模型理解日期信息的能力。我们的实验结果表明，多跳模型没有能力减去两个日期，即使他们在日期比较和数字减法任务表现良好。其他结果表明，我们的探索性问题可以帮助提高模型的性能（例如，通过+10.3 F1），我们的数据集可用于数据增强，以提高模型的鲁棒性。
2022-10-11 cs.CL
Analyzing the Effectiveness of the Underlying Reasoning Tasks in Multi-hop Question Answering
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies（综合研究大学院大学）；The University of Tokyo（东京大学）
为了解释预测的答案和评估模型的推理能力，一些研究利用了多跳问答（QA）数据集中的底层推理（UR）任务。然而，当以端到端的方式对这两个任务进行训练模型时，UR任务对于QA任务的有效性如何仍然是一个悬而未决的问题。在这项研究中，我们解决这个问题，通过分析UR任务（包括企业级和实体级任务）的有效性在三个方面：（1）QA性能，（2）推理捷径，（3）鲁棒性。虽然以前的模型没有在实体级推理预测任务上进行显式训练，但我们构建了一个多任务模型，该模型可以同时执行三个任务：实体级支持事实预测，实体级推理预测和答案预测。在2 WikiMultiHopQA和HotpotQA-small数据集上的实验结果表明：（1）UR任务可以提高QA性能。使用新创建的四个去偏数据集，我们证明了（2）UR任务有助于防止多跳QA任务中的推理捷径。然而，我们发现（3）UR任务并没有有助于提高模型对对抗性问题的鲁棒性，例如子问题和反向问题。我们鼓励未来的研究以自然语言问题的形式调查实体级推理的有效性（例如，子问题形式）。
2023-02-12 cs.CL
An Interpretable Reasoning Network for Multi-Relation Question Answering
State Key Lab. of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；National Lab. for Information Science and Technology（信息科学与技术国家实验室）；Dept. of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
多关系问答是一个具有挑战性的任务，因为它需要对问题进行详细的分析，并对知识库中的多个事实三元组进行推理。在本文中，我们提出了一种新的模型，称为可解释的推理网络，采用了可解释的，逐跳推理过程的问答。该模型动态地决定输入问题的哪一部分应该在每一跳进行分析;预测与当前解析结果相对应的关系;利用预测的关系来更新问题表示和推理过程的状态;然后驱动下一跳推理。实验表明，我们的模型在两个数据集上产生了最先进的结果。更有趣的是，该模型可以为推理分析和故障诊断提供可跟踪和可观察的中间预测，从而允许手动操作预测最终答案。
2018-06-01 cs.CL
Retrieval--Reasoning Processes for Multi-hop Question Answering: A Four-Axis Design Framework and Empirical Trends
School of Computing and Information, University of Pittsburgh（计算与信息学院，匹兹堡大学）；Google Cloud AI Research（谷歌云人工智能研究）
本文提出四维设计框架，分析多跳问答系统中检索-推理过程的执行计划、索引结构、控制策略和停止标准，揭示有效性、效率与证据忠实度的权衡，并指出结构感知规划、可转移控制策略和鲁棒停止是未来挑战。
2026-01-02 cs.CL
Prompt-based Conservation Learning for Multi-hop Question Answering
University of Auckland（奥克兰大学）
多跳问答（QA）需要对多个文档进行推理，以回答复杂的问题并提供可解释的支持证据。然而，提供支持证据不足以证明模型已经执行了所需的推理以获得正确的答案。大多数现有的多跳QA方法无法回答大部分的子问题，即使他们的父问题被正确回答。在本文中，我们提出了一种基于知识的保护学习（PCL）框架，用于多跳QA，它从多跳QA任务中获取新知识，同时保存在单跳QA任务中学习到的旧知识，从而减轻遗忘。具体来说，我们首先训练现有的单跳QA任务的模型，然后冻结这个模型，并通过分配额外的子网络的多跳QA任务扩展它。此外，为了调节预训练的语言模型以刺激特定多跳问题所需的推理，我们学习了新子网络的软提示以执行特定类型的推理。在HotpotQA基准测试上的实验结果表明，PCL对于多跳QA具有竞争力，并且在相应的单跳子问题上保持了良好的性能，证明了PCL在减轻遗忘引起的知识丢失方面的有效性。
2022-09-14 cs.CL
Robustifying Multi-hop QA through Pseudo-Evidentiality Training
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
研究了多跳问答模型中的偏差问题，即正确回答而没有正确推理的问题。增强这些模型鲁棒性的一种方法是不仅要监督正确的答案，还要监督正确的推理链。现有的方向是注释推理链以训练模型，这需要昂贵的附加注释。相比之下，我们提出了一种新的方法来学习证据，决定答案的预测是否支持正确的证据，没有这样的注释。相反，我们比较反事实的变化，答案的信心和没有证据的句子，生成“伪证据”的注释。我们在HotpotQA中的原始集和挑战集上验证了我们提出的模型，表明我们的方法在多跳推理中是准确且鲁棒的。
2021-07-07 cs.CL
RISE: Reasoning Enhancement via Iterative Self-Exploration in Multi-hop Question Answering
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
针对多跳问答中复杂推理和检索增强生成的局限性，提出RISE框架，通过问题分解、检索后阅读和自我批评的迭代自探索提升模型推理准确性与任务表现。
2025-05-28 cs.CL
Improving Embedded Knowledge Graph Multi-hop Question Answering by introducing Relational Chain Reasoning
Shanghai University（上海大学）；Beijing University of Technology（北京工业大学）；Engineering Research Center of Intelligence Perception and Autonomous Control, Ministry of Education（教育部智能感知与自主控制工程研究中心）
知识图问答（Knowledge Graph知识图谱，KGQA）是通过识别主题实体与答案之间的推理关系，从知识图谱中回答用户提出的问题。作为KGQA的一个复杂分支任务，多跳KGQA需要在KG中保存的多跳关系链上进行推理以获得正确答案。尽管最近取得了成功，但现有的回答多跳复杂问题的工作仍然面临着以下挑战：i）缺乏反映在用户问题中的显式关系链顺序，这源于对用户意图的误解。ii）由于昂贵的标记成本，在数据集缺乏中间推理链注释的弱监督下不正确地捕获关系类型。（3）基于子图检索的算法由于邻域大小的限制，没有考虑结构化KG中隐含的主题实体和答案之间的隐含关系，针对多跳KGQA中的这些问题，本文提出了一种新的模型，即基于关系链的嵌入式KGQA（Rce-KGQA），该方法同时利用自然语言问题中揭示的显式关系链和结构化问题中存储的隐式关系链，KG.我们对三个开放域基准的广泛实证研究证明，我们的方法显着优于最先进的同行，如GraftNet，PullNet和EmbedKGQA。综合消融实验也验证了我们的方法在多跳KGQA任务的有效性。我们在github上提供了模型的源代码：https://github.com/albert-jin/Rce-KGQA。
2022-11-13 cs.CL
TRACE: An Experiential Framework for Coherent Multi-hop Knowledge Graph Question Answering
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Hebei University of Technology（河北工业大学）；City University of Hong Kong（香港城市大学）
TRACE框架通过整合语言模型驱动的上下文推理与探索先验，提升多跳知识图谱问答的连贯性和鲁棒性，实验表明其优于现有方法。
2026-04-13 cs.CL
Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering
University of Southern California（南加州大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的关于用外部知识（例如，知识图谱）要么难以有效地对多跳关系进行建模，要么对模型的预测原理缺乏透明度。在本文中，我们提出了一种新的知识感知的方法，装备预训练的语言模型（PTLM）与多跳关系推理模块，命名为多跳图关系网络（MHGRN）。它对从外部知识图谱中提取的子图执行多跳、多关系推理。所提出的推理模块结合了基于路径的推理方法和图神经网络，以实现更好的可解释性和可扩展性。我们还在CommonsenseQA和OpenbookQA数据集上实证展示了其有效性和可扩展性，并通过案例研究解释了其行为。
2020-09-18 cs.CL cs.LG
Avoiding Reasoning Shortcuts: Adversarial Evaluation, Training, and Model Development for Multi-Hop QA
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
多跳问答需要一个模型来连接分散在长上下文中的多个证据来回答问题。在本文中，我们表明，在多跳HotpotQA（杨等人，2018）数据集，这些示例通常包含推理快捷方式，通过这些快捷方式，模型可以通过将问题与上下文中的句子进行单词匹配来直接定位答案。我们通过构建对抗性文档来证明这个问题，这些文档创建了与捷径相矛盾的答案，但不影响原始答案的有效性。在我们的对抗性评估中，强基线模型的性能显著下降，这表明它们确实在利用捷径，而不是执行多跳推理。经过对抗性训练后，基线的性能有所提高，但在对抗性评估方面仍然受到限制。因此，我们使用一个控制单元，动态地出席在不同的推理跳的问题，以指导模型的多跳推理。我们表明，这种在常规数据上训练的2跳模型比基线模型对对手更鲁棒。经过对抗训练后，这个2跳模型不仅比在常规数据上训练的模型有所改进，而且比对抗训练的1跳基线更好。我们希望这些见解和初步的改进将促进新模型的开发，将显式组合推理与对抗训练相结合。
2019-06-17 cs.AI cs.CL
Compositional Questions Do Not Necessitate Multi-hop Reasoning
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of California, Irvine（加州大学欧文分校）
多跳阅读理解（RC）问题具有挑战性，因为它们需要阅读和推理多个段落。我们认为，它可以是难以构建大型多跳RC数据集。例如，即使是高度组合的问题，如果它们针对特定的实体类型，或者回答它们所需的事实是多余的，也可以通过单跳来回答。我们的分析以HotpotQA为中心，在那里我们表明单跳推理可以解决比以前想象的更多的数据集。我们介绍了一个单跳的BERT为基础的RC模型，达到67 F1-国家的最先进的多跳模型相媲美。我们还设计了一个评估设置，其中人类没有显示所有必要的段落，用于预期的多跳推理，但仍然可以回答超过80%的问题。连同详细的错误分析，这些结果表明，应该有一个越来越多的关注证据在多跳推理的作用，甚至可能转向信息检索风格的评估与大型和多样化的证据收集。
2019-06-07 cs.AI cs.CL
Baleen: Robust Multi-Hop Reasoning at Scale via Condensed Retrieval
Stanford University（斯坦福大学）
多跳推理（即，跨两个或多个文档的推理）是利用大型语料库展示广泛知识的NLP模型的关键要素。为了检索证据段落，多跳模型必须应对跨跳快速增长的搜索空间，表示结合多种信息需求的复杂查询，并解决关于在训练段落之间跳跃的最佳顺序的模糊性。我们通过Baleen来解决这些问题，Baleen是一个系统，它提高了多跳检索的准确性，同时在多跳设置中从弱训练信号中鲁棒地学习。为了驯服的搜索空间，我们提出了浓缩检索，管道，总结检索到的段落后，每一跳到一个单一的紧凑的上下文。为了模拟复杂的查询，我们引入了一个集中的后期交互检索，允许不同的部分相同的查询表示，以匹配不同的相关段落。最后，为了推断无序训练通道之间的跳跃依赖关系，我们设计了潜在的跳跃排序，一种弱监督策略，训练检索器本身选择的跳跃序列。我们评估Baleen检索两跳问答和多跳索赔验证，建立最先进的性能。
2022-07-10 cs.CL cs.IR
Understanding Dataset Design Choices for Multi-hop Reasoning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习多跳推理一直是阅读理解模型的一个关键挑战，导致数据集的设计明确关注它。理想情况下，模型不应该能够在多跳问答任务上表现良好，而不进行多跳推理。在本文中，我们研究了两个最近提出的数据集，WikiHop和HotpotQA。首先，我们探索了这些任务的分解模型;通过设计，这些模型不能进行多跳推理，但它们仍然能够解决两个数据集中的大量示例。此外，我们发现虚假的相关性在未屏蔽版本的WikiHop，这使得它很容易实现高性能只考虑问题和答案。最后，我们研究了这些数据集之间的一个关键差异，即QA任务的基于跨度的公式与多项选择公式。这两个数据集的多项选择版本可以很容易地进行游戏，我们检查的两个模型在这种设置中仅略微超过基线。总的来说，虽然这些数据集是有用的测试平台，但高性能模型可能不会像以前认为的那样学习那么多的多跳推理。
2019-04-27 cs.AI cs.CL
HopRAG: Multi-Hop Reasoning for Logic-Aware Retrieval-Augmented Generation
Peking University（北京大学）；Center for LLM, Institute for Advanced Algorithms Research（大模型中心，高级算法研究所）；Huazhong University of Science and Technology（华中科技大学）
HopRAG提出一种结合图结构逻辑推理的RAG框架，通过“检索-推理-剪枝”机制扩展检索范围，提升多跳问答质量。
2025-05-26 cs.CL cs.IR
HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision
Cornell University（康奈尔大学）
提出一种无需理由监督的概率方法，通过显式建模理由集合实现多跳推理，提升理由选择准确率并保持答案预测性能。
2023-05-23 cs.AI cs.CL
THOR: A Theta-Gamma Hierarchical Oscillatory Reasoning Framework for Multi-hop QA
Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）；School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学生命科学与医学部生物医学工程学院）
针对多跳问答中注意力衰减和错误积累问题，提出受大脑启发的θ-γ分层振荡推理框架THOR，经实验验证，该框架能提高答案准确性和鲁棒性，减轻相关限制。
2026-07-24 cs.AI cs.CL
IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering
Chung-Ang University（中央大学）
本文针对多跳问答中现有提示压缩方法无法捕捉多跳推理步骤的问题，提出无训练框架IterCOMP，经实验验证其可提升问答指标并减少token预算。
2026-08-17 cs.AI cs.CL
Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis
Microsoft（微软公司）；University of Massachusetts（马萨诸塞大学）；University of Maryland（马里兰大学）
本研究系统诊断推理模型在多跳问答中的失败，提出涵盖跳数、覆盖率与过度思考的错误分类框架，揭示被准确性评估掩盖的复杂错误模式，为提升推理可靠性提供指导。
2025-08-06 cs.AI cs.CL
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
Purdue University（普渡大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
针对预训练语言模型难以组合事实进行多跳问答的问题，本文利用知识图谱随机游走并训练软提示，将多跳问题映射到答案路径，在两个 T5 模型上显著提升 2 跳推理性能。
2023-06-06 cs.AI cs.CL
BeamAggR: Beam Aggregation Reasoning over Multi-source Knowledge for Multi-hop Question Answering
Harbin Institute of Technology（哈尔滨工业大学）；Zhejiang University（浙江大学）；Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
BeamAggR 通过将复杂问题解析为树结构并采用自底向上的束聚合推理，在多跳问答中有效整合多源知识，在四个开放域数据集上比 SOTA 方法提升 8.5%。
2024-06-28 cs.AI cs.CL
Semantic Sentence Composition Reasoning for Multi-Hop Question Answering
Zhejiang University（浙江大学）
现有的多跳开放域问答系统由于缺乏足够的数据，需要根据每个问题有效地找出相关的支持事实。针对语义事实句检索和多跳上下文扩展的难题，提出了一种面向多跳问答任务的语义句子组合推理方法，该方法包括两个关键模块：多阶段语义匹配模块（MSSM）和事实句子组合模块（FSC）.该方法将事实句和多阶段语义检索相结合，可以为模型训练和推理提供更全面的上下文信息。实验结果表明，我们的模型是能够纳入现有的预训练语言模型，并优于现有的SOTA方法的QASC任务的改进约9%。
2022-03-01 cs.AI cs.CL cs.IR
Reasoning in Trees: Improving Retrieval-Augmented Generation for Multi-Hop Question Answering
Shanghai Jiao Tong University（上海交通大学）；Shandong University（山东大学）；Carnegie Mellon University（卡内基梅隆大学）
RT-RAG通过构建推理树来提升多跳问题回答的准确性和一致性，实验结果显示其在F1和EM指标上均优于现有方法。
2026-01-16 cs.CL cs.LG
MuSiQue: Multihop Questions via Single-hop Question Composition
Stony Brook University（石溪大学）；Allen Institute for AI（艾伦人工智能研究所）
多跳推理仍然是一个难以捉摸的目标，因为现有的多跳基准被认为是在很大程度上可以通过捷径解决。我们能否创建一个问答（QA）数据集，通过构造，\emph{requires}适当的多跳推理？为此，我们引入了一种自下而上的方法，该方法系统地选择连接的单跳问题的可组合对，即，其中一个推理步骤严重依赖于来自另一个推理步骤的信息。这种自下而上的方法使我们能够探索广阔的问题空间，并添加严格的过滤器以及其他针对关联推理的机制。它提供了对构造过程和生成的$k$跳问题的属性的细粒度控制。我们使用这种方法来创建MuSiQue-Ans，这是一个新的多跳QA数据集，包含25 K 2-4跳问题。相对于现有的数据集，MuSiQue-Ans总体上更困难（人机差距增加了3倍），并且更难通过断开推理进行欺骗（例如，单跳模型在F1中具有30点下降）。我们进一步添加无法回答的对比问题，以产生更严格的数据集MuSiQue-Full。我们希望我们的数据集能够帮助NLP社区开发执行真正多跳推理的模型。
2022-05-05 cs.AI cs.CL
To Retrieve or To Think? Cross-Boundary Context Evolution for Multi-hop Complex Reasoning
Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学）
本文提出Agentic Context Evolution (ACE)方法，通过代理动态决策在检索与推理间切换，提升知识密集型任务的生成效率与准确性。
2026-09-01 cs.AI cs.CL
Multi-Hop Reasoning for Question Answering with Hyperbolic Representations
Bonn-Aachen International Center for Information Technology, University of Bonn（波恩-亚琛国际信息科技中心，波恩大学）；Lamarr Institute for ML and AI（拉马尔人工智能与机器学习研究所）
本文通过将双曲表示集成到编码器-解码器模型中，系统比较多跳推理中双曲空间与欧氏空间的表现，证明双曲表示在多个数据集上一致更优，且可学习曲率初始化和层次化数据结构能进一步提升其优势。
2025-07-04 cs.AI cs.CL
SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning
IBM Research（IBM研究院）；EPFL（洛桑联邦理工学院）
在知识图谱上进行推理和问答的现有方法通常随着边的数量而缩放，并且只能有效地应用于小的实例依赖子图。在本文中，我们解决这个问题，表明多跳和更复杂的逻辑推理可以单独完成，而不会失去表达能力。出于这种认识，我们提出了一种多跳推理的方法，该方法与图中的关系类型的数量呈线性关系，通常比边或节点的数量要小得多。这会产生一组候选解决方案，这些解决方案可以被证明是精炼的，以恢复原始问题的解决方案。我们对基于知识的问答的实验表明，我们的方法解决了多跳MetaQA数据集，实现了一个新的国家的最先进的更具挑战性的WebbrowsSP，是数量级的可扩展性比竞争对手的方法，并可以实现合成泛化的训练分布。
2021-10-27 cs.AI cs.CL cs.IR
GlobalRAG: Enhancing Global Reasoning in Multi-hop Question Answering via Reinforcement Learning
GlobalRAG通过强化学习框架提升多跳问答的全局推理能力，引入规划质量奖励和子目标完成奖励，结合渐进权重退火策略，有效解决多步推理中的全局规划和执行不一致问题。
2026-03-16 cs.AI cs.CL
Think Parallax: Solving Multi-Hop Problems via Multi-View Knowledge-Graph-Based Retrieval-Augmented Generation
Yangtze Delta Region Institute (Huzhou), University of Electronic Science and Technology of China（长江三角洲地区研究院（湖州），电子科学与技术大学）；School of Information and Software Engineering, University of Electronic Science and Technology of China（信息与软件工程学院，电子科学与技术大学）
本文提出ParallaxRAG框架，通过多视图知识图谱检索增强生成解决多跳推理问题，改进多跳推理的结构，提升检索和问答性能，减少幻觉并增强生物医学领域适应性。
2026-10-27 cs.AI cs.CL
VISPATH: Visual-Intent-Guided Path Reasoning for Multimodal Knowledge Graph Question Answering
VISPATH提出视觉意图引导的路径推理框架，通过多模态定位、意图引导路径发现和推理链剪枝，解决多模态知识图谱问答中多跳推理问题，在基准上超越强基线。
2026-09-21 cs.CL cs.LG
Single Sequence Prediction over Reasoning Graphs for Multi-hop QA
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出基于局部推理图的单序列预测方法，通过图神经网络编码实体与段落连接关系并融合至模型表示，显著提升了多跳问答的答案准确率和推理路径忠实度。
2023-07-01 cs.CL cs.LG
Repair Before Reinforce: Context-Augmented Knowledge Graph Reasoning for Multi-Hop Question Answering
Princeton University（普林斯顿大学）
提出上下文增强训练框架，通过附加支持三元组形成上下文图，结合自适应修复和强化学习，提升多跳问答性能。
2026-09-14 cs.AI cs.CL
IndexRAG: Index-Time Reasoning for Multi-Hop Retrieval-Augmented Generation
Continuum AI
IndexRAG通过在索引阶段进行跨文档推理，提升多跳问答的F1得分，无需额外训练，仅需单次检索和一次LLM调用。
2026-09-29 cs.AI cs.CL cs.IR
BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering
The University of Sydney（悉尼大学）；Tencent Robotics X（腾讯机器人X实验室）
多跳推理问答需要深入理解各种文档和查询之间的关系。我们提出了一个双向注意实体图卷积网络（BAG），利用实体图中的节点之间的关系和查询和实体图之间的注意力信息，来解决这个问题。图卷积网络用于获得从具有多级特征的文档构建的实体图的节点的关系感知表示。然后，双向注意力应用于图和查询，以生成查询感知节点表示，这将用于最终的预测。实验评估表明，BAG在QAngaroo WIKIHOP数据集上实现了最先进的精度性能。
2019-04-10 cs.AI cs.CL cs.LG
Large Language Models Still Face Challenges in Multi-Hop Reasoning with External Knowledge
The University of Manchester（曼彻斯特大学）
该研究从外部知识运用、非顺序推理、多跳泛化三方面测试大语言模型多跳推理能力，经在四个基准上用思维链提示测试GPT-3.5，发现其仍存明显缺陷，与人类水平有较大差距。
2024-12-11 cs.CL
BioHopR: A Benchmark for Multi-Hop, Multi-Answer Reasoning in Biomedical Domain
UCL（伦敦大学学院）；King’s College London（伦敦国王学院）；University of Glasgow（格拉斯哥大学）
提出基于 PrimeKG 的 BioHopR 基准，通过 1 跳和 2 跳多答案任务评估生物医学知识图谱推理，发现现有 LLM 尤其在多跳隐式推理上表现薄弱。
2025-06-09 cs.CL
Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们的目标是将符号逻辑推理丰富的多步推理与神经网络的泛化能力结合起来。我们对文本和大规模知识库（KBs）中的实体和关系的复杂推理特别感兴趣。Neelakantan et al.（2015）使用RNN来构建KB中多跳路径的分布式语义;然而，由于多种原因，该方法缺乏准确性和实用性。本文提出了三个重要的建模进展：（1）我们学会了联合推理关系，实体和实体类型;（2）我们使用神经注意力建模来整合多个路径;（3）我们学会了在一个单一的RNN中共享力量，该RNN代表所有关系的逻辑组成。在一个大规模的Freebase+ Cocktail Web预测任务，我们实现了25%的错误减少，和53%的错误减少稀疏的关系，由于共享的力量。在WordNet中的推理链上，我们将平均分位数的错误减少了84%，与以前的最先进技术相比。代码和数据可在https://rajarshd.github.io/ChainsofReasoning上获得
2017-05-01 cs.CL
DARER: Dual-task Temporal Relational Recurrent Reasoning Network for Joint Dialog Sentiment Classification and Act Recognition
University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；Centre for Frontier Artificial Intelligence Research（前沿人工智能研究中心）
联合对话情感分类（DSC）和行为识别（DAR）的任务旨在同时预测对话中每个话语的情感标签和行为标签。在本文中，我们提出了一个新的框架，通过集成\textit{prediction-level interactions}而不是语义级的相互作用，更符合人类的直觉模型的显式依赖。此外，我们提出了一个说话人感知时序图（SATG）和双任务关系时序图（DRTG），将\textit{temporal relations}引入对话理解和双任务推理。为了实现我们的框架，我们提出了一种新的模型称为DARER，它首先产生的上下文，扬声器和时间敏感的话语表示通过建模SATG，然后进行循环的双任务关系推理DRTG，在这个过程中，估计的标签分布作为关键线索，在预测级的互动。实验结果表明，DARER模型在计算资源和训练时间上都大大优于现有模型。值得注意的是，在Mastodon的DSC任务中，DARER在F1方面比以前的最佳模型相对提高了约25%，参数不到50%，仅需约60%的GPU内存。
2022-03-08 cs.CL
Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs
Emory University（埃默里大学）；IQuest Research（艾奎斯特研究院）
该研究提出 LRT 方法，通过冻结 LLM 结合循环优化的潜在表示进行推理，在多个推理任务上优于同类冻结解码器方法及思维链提示，且推理计算量更低。
2026-09-02 cs.AI cs.CL
Language models can learn implicit multi-hop reasoning, but only if they have lots of training data
Saarland University（萨尔兰大学）；Utrecht University（乌得勒支大学）
本文研究了语言模型通过大量训练数据学习隐式多跳推理的能力，并发现训练数据量随推理跳数呈指数增长，但通过课程学习可部分缓解这一需求。
2026-02-04 cs.CL
Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
尽管生成预训练的语言模型在一系列文本生成任务上取得了成功，但在生成过程中需要对底层常识知识进行推理的情况下，它们仍然会受到影响。将常识知识集成到生成式预训练语言模型中的现有方法简单地通过对个体知识三元组进行后训练来传递关系知识，而忽略了知识图谱内的丰富连接。我们认为，利用结构和语义信息的知识图谱有利于常识意识的文本生成。在本文中，我们提出了多跳推理流生成（GRF），它使预训练模型能够在从外部常识知识图谱中提取的多关系路径上进行动态多跳推理。我们的经验表明，我们的模型优于现有的基线上的三个文本生成任务，需要推理常识知识。我们还证明了动态多跳推理模块的有效性与推理路径推断的模型，提供合理的生成。
2020-09-24 cs.CL
Multi-granular Training Strategies for Robust Multi-hop Reasoning Over Noisy and Heterogeneous Knowledge Sources
Universidad Autónoma de Asunción（亚松森自治大学）
针对多源多跳问答的级联错误等问题，提出生成式框架AMKOR，结合LLMs动态融合知识、概率束推理探索轨迹及多粒度学习策略，在四个数据集上性能超基线，为该任务建立新基准。
2025-02-09 cs.CL
