Language models can learn implicit multi-hop reasoning, but only if they have lots of training data
Saarland University（萨尔兰大学）；Utrecht University（乌得勒支大学）
本文研究了语言模型通过大量训练数据学习隐式多跳推理的能力，并发现训练数据量随推理跳数呈指数增长，但通过课程学习可部分缓解这一需求。
2026-02-04 cs.CL
Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
尽管生成预训练的语言模型在一系列文本生成任务上取得了成功，但在生成过程中需要对底层常识知识进行推理的情况下，它们仍然会受到影响。将常识知识集成到生成式预训练语言模型中的现有方法简单地通过对个体知识三元组进行后训练来传递关系知识，而忽略了知识图谱内的丰富连接。我们认为，利用结构和语义信息的知识图谱有利于常识意识的文本生成。在本文中，我们提出了多跳推理流生成（GRF），它使预训练模型能够在从外部常识知识图谱中提取的多关系路径上进行动态多跳推理。我们的经验表明，我们的模型优于现有的基线上的三个文本生成任务，需要推理常识知识。我们还证明了动态多跳推理模块的有效性与推理路径推断的模型，提供合理的生成。
2020-09-24 cs.CL
Multi-granular Training Strategies for Robust Multi-hop Reasoning Over Noisy and Heterogeneous Knowledge Sources
Universidad Autónoma de Asunción（亚松森自治大学）
针对多源多跳问答的级联错误等问题，提出生成式框架AMKOR，结合LLMs动态融合知识、概率束推理探索轨迹及多粒度学习策略，在四个数据集上性能超基线，为该任务建立新基准。
2025-02-09 cs.CL
Towards Graph-hop Retrieval and Reasoning in Complex Question Answering over Textual Database
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出多链多跳检索推理新范式 Graph-Hop，构建了提供细粒度证据图的新基准 ReasonGraphQA，并提出双向图检索（BGR）基线方法，实验表明该方向有潜力但仍存局限。
2023-05-23 cs.CL
BRIDGE: Benchmark for multi-hop Reasoning In long multimodal Documents with Grounded Evidence
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
BRIDGE是一个针对长多模态文档的多跳推理基准测试，通过显式的多跳推理注释揭示证据聚合和 grounding 的系统性缺陷。
2026-03-09 cs.CL
Theseus in the Graph: Towards Traceable Multi-Hop Graph Navigation
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对多跳知识图谱问答中推理路径不可见的问题，提出THESEUS框架，将任务重构为图导航，并扩充数据集、设计评估协议、改造现有智能体，使答案伴随可验证的显式推理路径。
2026-09-15 cs.CL cs.LG
Do Large Language Models Latently Perform Multi-Hop Reasoning?
Google DeepMind（谷歌DeepMind）；UCL（伦敦大学学院）；Google Research（谷歌研究）；Tel Aviv University（特拉维夫大学）
研究探讨LLMs是否在复杂提示下潜在执行多跳推理，发现特定关系类型提示中存在该推理路径，且第一跳表现显著，但整体利用高度依赖上下文。
2025-05-31 cs.CL
NovelHopQA: Diagnosing Multi-Hop Reasoning Failures in Long Narrative Contexts
Algoverse AI Research（Algoverse AI研究机构）；University of California, Berkeley（加州大学伯克利分校）；Meta FAIR Lab（Meta FAIR实验室）
NovelHopQA通过83部小说的长文本构建1-4跳问答基准，揭示LLM在长上下文多跳推理中的准确率随跳数与长度增加而下降，并提供诊断工具。
2025-06-23 cs.CL
Exploiting Reasoning Chains for Multi-hop Science Question Answering
The Chinese University of Hong Kong（香港中文大学）
我们提出了一种新的链引导检索器-阅读器（{ \tt CGR}）框架来建模多跳科学问答的推理链。我们的框架能够执行可解释的推理，而不需要任何特定于语料库的注释，如地面实况推理链，或人类注释的实体提及。具体来说，我们首先从检索到的证据事实的抽象意义表示构造的语义图生成推理链。一个\textit{Chain-aware loss}，涉及本地和全球链信息，也被设计成使生成的链作为远程监督信号，用于训练检索器，其中强化学习也被采用，以最大限度地提高推理链的效用。我们的框架允许检索器捕获一步一步的线索，整个推理过程中，这不仅是有效的两个具有挑战性的多跳科学QA任务，即OpenBookQA和ARC挑战，但也有利于解释。
2021-09-07 cs.CL
Recurrent One-Hop Predictions for Reasoning over Knowledge Graphs
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）；LMU Munich（慕尼黑大学）
大规模知识图谱（KG），如Freebase，通常是不完整的。因此，多跳（mh）KG路径上的推理是问答或需要关于世界的知识的其他NLP任务所需的重要能力。mh-KG推理包括不同的场景，例如，给定一个头实体和一条关系路径，预测尾实体;或给定两个实体之间由一些关系路径连接，预测它们之间的未知关系。我们提出了ROP，循环一跳预测器，通过使用循环神经网络和实体和关系的向量表示来预测mh-KB路径的每一步的实体，具有两个好处：（i）在每一步通过训练信号更新实体和关系表示的同时对任意长度的mh路径进行建模;（ii）在统一的框架中处理不同类型的mh-KG推理。我们的模型显示了两个重要的多跳KG推理任务的最新技术：知识库完成和路径查询。
2018-06-12 cs.CL
Do Multi-hop Readers Dream of Reasoning Chains?
IBM Research（IBM研究院）；Umass Amherst（马萨诸塞大学阿默斯特分校）；UC Santa Barbara（加州大学圣巴巴拉分校）
文本上的一般问答系统需要多跳推理能力，即利用从多个段落收集的信息进行推理以得出答案的能力。在本文中，我们进行了系统的分析，以评估这种能力的各种现有模型提出的多跳QA任务。具体来说，我们的分析调查，是否提供多个段落的完整推理链，而不是只有一个答案出现的最后一个段落，可以提高现有QA模型的性能。令人惊讶的是，当使用额外的证据通道时，所有现有的多跳读取方法的改进相当有限，在F1上的最高误差减少为5.8%（对应于BERT模型的1.3%的绝对改进）。为了更好地理解推理链是否真的可以帮助找到正确的答案，我们进一步开发了一种基于共匹配的方法，当应用于我们的两个基本读者（包括BERT）时，使用通道链可以减少13.1%的错误。我们的研究结果表明，使用显式多跳推理的潜在改进的存在和开发具有更好的推理能力的模型的必要性。
2019-10-31 cs.CL
Leveraging Structured Information for Explainable Multi-hop Question Answering and Reasoning
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对大语言模型多跳问答存在推理不准、幻觉及可解释性不足的问题，本研究构建并利用抽取的语义结构图开展推理，在两个基准上提升了问答性能，且生成的结构化解释更受人类青睐。
2023-11-07 cs.CL
Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering
University of Southern California（南加州大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的关于用外部知识（例如，知识图谱）要么难以有效地对多跳关系进行建模，要么对模型的预测原理缺乏透明度。在本文中，我们提出了一种新的知识感知的方法，装备预训练的语言模型（PTLM）与多跳关系推理模块，命名为多跳图关系网络（MHGRN）。它对从外部知识图谱中提取的子图执行多跳、多关系推理。所提出的推理模块结合了基于路径的推理方法和图神经网络，以实现更好的可解释性和可扩展性。我们还在CommonsenseQA和OpenbookQA数据集上实证展示了其有效性和可扩展性，并通过案例研究解释了其行为。
2020-09-18 cs.CL cs.LG
Distributional reasoning in LLMs: Parallel reasoning processes in multi-hop reasoning
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Columbia University（哥伦比亚大学）
该研究提出一种可解释的分析方法，发现LLMs多跳推理的预测过程可通过语义空间线性变换建模，中间层存在代表潜在中间答案的嵌入与并行推理路径，为理解LLMs推理机制和认知建模提供新见解。
2024-06-19 cs.CL
Avoiding Reasoning Shortcuts: Adversarial Evaluation, Training, and Model Development for Multi-Hop QA
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
多跳问答需要一个模型来连接分散在长上下文中的多个证据来回答问题。在本文中，我们表明，在多跳HotpotQA（杨等人，2018）数据集，这些示例通常包含推理快捷方式，通过这些快捷方式，模型可以通过将问题与上下文中的句子进行单词匹配来直接定位答案。我们通过构建对抗性文档来证明这个问题，这些文档创建了与捷径相矛盾的答案，但不影响原始答案的有效性。在我们的对抗性评估中，强基线模型的性能显著下降，这表明它们确实在利用捷径，而不是执行多跳推理。经过对抗性训练后，基线的性能有所提高，但在对抗性评估方面仍然受到限制。因此，我们使用一个控制单元，动态地出席在不同的推理跳的问题，以指导模型的多跳推理。我们表明，这种在常规数据上训练的2跳模型比基线模型对对手更鲁棒。经过对抗训练后，这个2跳模型不仅比在常规数据上训练的模型有所改进，而且比对抗训练的1跳基线更好。我们希望这些见解和初步的改进将促进新模型的开发，将显式组合推理与对抗训练相结合。
2019-06-17 cs.AI cs.CL
Dynamic Semantic Graph Construction and Reasoning for Explainable Multi-hop Science Question Answering
The Chinese University of Hong Kong（香港中文大学）
知识检索和推理是网络环境下多跳问答的两个关键阶段。现有的方法在检索证据事实以填补知识空白时置信度低，并且缺乏透明的推理过程。在本文中，我们提出了一个新的框架，利用更多的有效事实，同时获得可解释性的多跳QA通过动态构建一个语义图和推理。我们采用抽象意义表示（AMR）的语义图表示。我们的框架包含三个新的想法：（a）{ \tt AMR-SG}，一个基于AMR的语义图，由候选事实AMR构建，以揭示问题，答案和多个事实之间的任何跳跃关系。(b)一种新的基于路径的事实分析方法，利用{ \tt AMR-SG}从大型事实池中提取活动事实以回答问题。(c)事实级关系建模利用图卷积网络（GCN）来指导推理过程。两个科学多跳QA数据集的结果表明，我们可以超越最近的方法，包括使用额外的知识图谱，同时保持OpenBookQA的高可解释性，并在计算上可行的设置实现ARC挑战的最先进的新结果。
2021-05-25 cs.CL
Compositional Questions Do Not Necessitate Multi-hop Reasoning
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of California, Irvine（加州大学欧文分校）
多跳阅读理解（RC）问题具有挑战性，因为它们需要阅读和推理多个段落。我们认为，它可以是难以构建大型多跳RC数据集。例如，即使是高度组合的问题，如果它们针对特定的实体类型，或者回答它们所需的事实是多余的，也可以通过单跳来回答。我们的分析以HotpotQA为中心，在那里我们表明单跳推理可以解决比以前想象的更多的数据集。我们介绍了一个单跳的BERT为基础的RC模型，达到67 F1-国家的最先进的多跳模型相媲美。我们还设计了一个评估设置，其中人类没有显示所有必要的段落，用于预期的多跳推理，但仍然可以回答超过80%的问题。连同详细的错误分析，这些结果表明，应该有一个越来越多的关注证据在多跳推理的作用，甚至可能转向信息检索风格的评估与大型和多样化的证据收集。
2019-06-07 cs.AI cs.CL
Graph-based Multi-hop Reasoning for Long Text Generation
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
长文本生成是一项重要而又具有挑战性的任务，其主要问题在于传统生成模型经常遇到的语义依赖问题。为了解决这个问题，我们提出了一个多跳推理生成（MRG）的方法，采用多跳推理的知识图谱学习句子之间的语义依赖关系。MRG由基于图的多跳推理模块和路径感知语句实现模块两部分组成。推理模块负责从知识图谱中寻找骨架路径，模仿人类书写中的想象过程，进行语义传递。基于所推断的路径，句子实现模块然后生成完整的句子。与以前的黑盒模型不同，MRG明确地推断骨架路径，这提供了解释性的视图来理解所提出的模型是如何工作的。我们在三个有代表性的任务上进行实验，包括故事生成，评论生成和产品描述生成。自动和手动评估表明，我们提出的方法可以生成比强基线（如预训练模型（如GPT-2）和知识增强模型）更具信息性和连贯性的长文本。
2020-09-28 cs.CL
D$^2$F-ReAG: Dynamic Decomposition and Filtering for Multi-Hop Reasoning-Augmented Generation
Northeastern University（东北大学）；Kunming University of Science and Technology（昆明理工大学）；NiuTrans Research（NiuTrans研究院）
针对现有检索增强生成（RAG）处理多跳问题时缺乏动态分解与有效过滤的缺陷，提出D²F-ReAG范式，通过判断根级推理可靠性自适应控制推理深度，经实验验证其处理复杂多跳问题的有效性。
2026-08-06 cs.AI cs.CL
Baleen: Robust Multi-Hop Reasoning at Scale via Condensed Retrieval
Stanford University（斯坦福大学）
多跳推理（即，跨两个或多个文档的推理）是利用大型语料库展示广泛知识的NLP模型的关键要素。为了检索证据段落，多跳模型必须应对跨跳快速增长的搜索空间，表示结合多种信息需求的复杂查询，并解决关于在训练段落之间跳跃的最佳顺序的模糊性。我们通过Baleen来解决这些问题，Baleen是一个系统，它提高了多跳检索的准确性，同时在多跳设置中从弱训练信号中鲁棒地学习。为了驯服的搜索空间，我们提出了浓缩检索，管道，总结检索到的段落后，每一跳到一个单一的紧凑的上下文。为了模拟复杂的查询，我们引入了一个集中的后期交互检索，允许不同的部分相同的查询表示，以匹配不同的相关段落。最后，为了推断无序训练通道之间的跳跃依赖关系，我们设计了潜在的跳跃排序，一种弱监督策略，训练检索器本身选择的跳跃序列。我们评估Baleen检索两跳问答和多跳索赔验证，建立最先进的性能。
2022-07-10 cs.CL cs.IR
Self-Critique Guided Iterative Reasoning for Multi-hop Question Answering
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
提出SiGIR，通过自批评反馈引导迭代推理，结合问题分解与自我评估，在多跳问答数据集上超越SOTA 8.6%。
2025-05-25 cs.CL
Lessons from Studying Two-Hop Latent Reasoning
Apollo Research（Apollo研究机构）；UK AI Security Institute（英国人工智能安全研究所）；UC Berkeley（加州大学伯克利分校）；TruthfulAI
研究通过双跳问答任务揭示LLM潜在推理能力，发现模型在合成事实组合上表现不足，但能处理混合事实场景，强调避免误判推理能力的必要性。
2025-11-23 cs.AI cs.CL
GenDec: A robust generative Question-decomposition method for Multi-hop reasoning
Tokyo Institute of Technology（东京工业大学）；Westlake University（西湖大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文提出一种生成式问题分解方法GenDec，通过生成独立完整的子问题并结合额外证据，增强LLMs在RAG中的多跳推理能力，实验验证了其在多个数据集和模型上的有效性与鲁棒性。
2024-02-17 cs.CL
Understanding Dataset Design Choices for Multi-hop Reasoning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习多跳推理一直是阅读理解模型的一个关键挑战，导致数据集的设计明确关注它。理想情况下，模型不应该能够在多跳问答任务上表现良好，而不进行多跳推理。在本文中，我们研究了两个最近提出的数据集，WikiHop和HotpotQA。首先，我们探索了这些任务的分解模型;通过设计，这些模型不能进行多跳推理，但它们仍然能够解决两个数据集中的大量示例。此外，我们发现虚假的相关性在未屏蔽版本的WikiHop，这使得它很容易实现高性能只考虑问题和答案。最后，我们研究了这些数据集之间的一个关键差异，即QA任务的基于跨度的公式与多项选择公式。这两个数据集的多项选择版本可以很容易地进行游戏，我们检查的两个模型在这种设置中仅略微超过基线。总的来说，虽然这些数据集是有用的测试平台，但高性能模型可能不会像以前认为的那样学习那么多的多跳推理。
2019-04-27 cs.AI cs.CL
DMRM: A Dual-channel Multi-hop Reasoning Model for Visual Dialog
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent Inc.（腾讯公司）；University of Chinese Academy of Sciences（中国科学院大学）
视觉对话是一项视觉语言任务，需要人工智能智能体与基于图像的人类进行对话。它仍然是一个具有挑战性的任务，因为它需要代理完全理解一个给定的问题，然后才能做出适当的反应，不仅从文本对话历史，而且从视觉接地信息。而以前的模型通常利用单跳推理或单通道推理来处理这种复杂的多模态推理任务，这在直观上是不够的。在本文中，我们因此提出了一个新的和更强大的双通道多跳推理模型的可视化对话，命名为DMRM。DMRM同步捕获对话历史和图像中的信息，通过利用双通道推理来丰富问题的语义表示。具体地，DMRM保持双通道以通过每个通道中的多跳推理过程来获得问题和历史感知图像特征以及问题和图像感知对话历史特征。此外，我们还设计了一个有效的多模态注意，以进一步增强解码器，以产生更准确的响应。在VisDial v0.9和v1.0数据集上的实验结果表明，该模型是有效的，并优于比较模型的显着保证金。
2019-12-18 cs.CL
II-MMR: Identifying and Improving Multi-modal Multi-hop Reasoning in Visual Question Answering
The Ohio State University（俄亥俄州立大学）；Amazon AGI（亚马逊AGI）；University of Minnesota（明尼苏达大学）
本文提出II-MMR方法，通过答案预测引导CoT提示和知识三元组引导提示识别并改进VQA中的多模态多跳推理，在GQA和A-OKVQA基准上验证了其在零样本和微调设置下的有效性。
2024-06-03 cs.CL cs.CV
Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs
Monash University（莫纳什大学）；VinAI Research（VinAI研究院）
该研究针对大语言模型评估仅关注答案准确率、忽略思维链正确性的问题，提出判别式与生成式结合的思维链评估范式，结合知识图谱探究多跳推理能力，发现模型常通过错误推理得到正确答案。
2024-06-19 cs.CL
Enhancing Multi-hop Reasoning through Knowledge Erasure in Large Language Model Editing
Shandong University（山东大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对知识编辑在多跳推理中的局限性，研究验证了残留单跳知识导致模型恢复旧答案的假设，并提出包含知识擦除与注入联合优化的KELE方法，显著提升了GPT-J和GPT-2 XL的多跳推理能力。
2024-08-22 cs.CL
Disentangling Extraction and Reasoning in Multi-hop Spatial Reasoning
Michigan State University（密歇根州立大学）
本文提出将多跳空间推理中的信息提取与推理过程解耦，设计了多种分离提取与推理的模型，实验证明该方法能有效提升模型在真实数据领域的泛化能力。
2023-10-25 cs.CL
Seemingly Plausible Distractors in Multi-Hop Reasoning: Are Large Language Models Attentive Readers?
ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））；National University of Singapore（新加坡国立大学）；University of Manchester（曼彻斯特大学）；Imperial Global Singapore（帝国理工学院新加坡分部）
该研究针对现有多跳推理基准存在简化线索的问题，发现大语言模型会以更隐蔽的方式绕开多跳推理，据此提出含看似合理的错误推理链的挑战性基准，测试显示模型F1分数最高相对下降45%，且误导性推理路径是主要挑战。
2024-10-31 cs.AI cs.CL
Learning to Recover Reasoning Chains for Multi-Hop Question Answering via Cooperative Games
Queen’s University（女王大学）；IBM Research（IBM研究院）；UC Santa Barbara（加州大学圣巴巴拉分校）；Beihang University（北京航空航天大学）
我们提出了从弱监督信号中学习恢复推理链的新问题，即，问答对我们提出了一个合作博弈的方法来处理这个问题，在其中如何选择的证据通道，以及如何选定的通道连接处理的两个模型，合作选择最有信心的链从一个大的候选人（从远程监督）。为了进行评估，我们基于两个多跳QA数据集（HotpotQA和MedHop）创建了基准测试;并为后者创建了手动标记的推理链。实验结果证明了该方法的有效性。
2020-04-06 cs.CL
KG-Hopper: Empowering Compact Open LLMs with Knowledge Graph Reasoning via Reinforcement Learning
Department of Computer Science（计算机科学系）；Engineering Chalmers University of Technology（工程学院查尔姆斯理工大学）
KG-Hopper通过强化学习框架，使紧凑型开放式大语言模型能够在一个推理回合内完成多跳知识图谱推理，优于更大系统并达到与专有模型相当的性能。
2026-04-14 cs.AI cs.CL
SAFE: An LLM-as-Verifier Framework for Evidence-Grounded Multi-Hop Reasoning
Seoul National University（首尔国立大学）
提出SAFE框架，通过将推理分解为知识图谱三元组，在生成过程中逐步验证中间步骤，以解决多跳问答中模型通过无效推理得到正确答案的问题，平均准确率提升8.8个百分点。
2026-10-30 cs.AI cs.CL
Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network
Zhejiang University（浙江大学）
跨多文档的多跳阅读理解近年来受到广泛关注。在本文中，我们提出了一种新的方法来解决这个多跳阅读理解问题。受人类推理过程的启发，我们从支持文档中构建了一个基于路径的推理图。该图结合了基于图和基于路径的方法的思想，更适合于多跳推理。同时，我们提出了Gated-RGCN的路径为基础的推理图，它包含了一个新的问题感知的门控机制，以调节跨文档传播的信息的有用性，并在推理过程中添加问题信息积累的证据。我们在WikiHop数据集上评估了我们的方法，我们的方法与以前发表的方法相比达到了最先进的准确性。特别是，我们的合奏模型超过人类的表现4.2%。
2020-06-12 cs.CL
Think Straight, Stop Smart: Structured Reasoning for Efficient Multi-Hop RAG
Qualcomm AI Research（高通人工智能研究院）
针对现有多跳RAG迭代提示方法token消耗高、终止不稳定的问题，提出结构化框架TSSS，通过模板化推理加检索器终止机制，在多个基准上实现RAG-CoT类方法的最优准确率与高效推理，适配端侧等效率受限场景。
2025-10-22 cs.CL
Dynamically Fused Graph Network for Multi-hop Reasoning
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）
基于文本的问答（TBQA）是近年来研究的热点。大多数现有的方法都集中在一个段落中找到问题的答案。然而，许多困难的问题需要来自两个或多个文档中分散的文本的多个支持证据。在本文中，我们提出了动态融合图网络（DFGN），一种新的方法来回答这些问题，需要多个分散的证据和推理。受人类逐步推理行为的启发，DFGN包括一个动态融合层，该融合层从给定查询中提到的实体开始，沿着从文本动态构建的实体图进行探索，并逐渐从给定文档中找到相关的支持实体。我们在HotpotQA上评估DFGN，HotpotQA是一个需要多跳推理的公共TBQA数据集。DFGN在公共董事会上取得了有竞争力的成绩。此外，我们的分析表明，DFGN产生可解释的推理链。
2019-06-06 cs.CL
HopChain: Multi-Hop Data Synthesis for Generalizable Vision-Language Reasoning
Qwen Team, Alibaba Inc.（通义实验室，阿里巴巴公司）；LeapLab, Tsinghua University（清华大学跃迁实验室）
本文提出HopChain框架，通过多跳视觉语言推理数据合成提升VLMs的通用推理能力，实验表明其在多个基准测试中显著提升性能。
2026-03-19 cs.AI cs.CL cs.CV
HopRAG: Multi-Hop Reasoning for Logic-Aware Retrieval-Augmented Generation
Peking University（北京大学）；Center for LLM, Institute for Advanced Algorithms Research（大模型中心，高级算法研究所）；Huazhong University of Science and Technology（华中科技大学）
HopRAG提出一种结合图结构逻辑推理的RAG框架，通过“检索-推理-剪枝”机制扩展检索范围，提升多跳问答质量。
2025-05-26 cs.CL cs.IR
Interpretable AMR-Based Question Decomposition for Multi-hop Question Answering
University of Auckland（奥克兰大学）
有效的多跳问答（QA）需要对多个分散的段落进行推理，并为答案提供解释。大多数现有的方法不能提供一个可解释的推理过程来说明这些模型是如何得出答案的。本文提出了一种基于抽象意义表示的多跳QA问题分解方法（QDAMR），通过将多跳问题分解为简单的子问题并按顺序回答，实现了可解释的推理。由于注释分解是昂贵的，我们首先将理解多跳问题的复杂性委托给AMR解析器。然后，我们实现了多跳问题的分解，通过分割相应的AMR图的基础上所需的推理类型。最后，我们使用AMR到文本生成模型生成子问题，并使用现成的QA模型回答它们。HotpotQA上的实验结果表明，我们的方法是有竞争力的可解释的推理和QDAMR生成的子问题是良好的形式，优于现有的基于问题分解的多跳QA方法。
2022-06-16 cs.CL
Scaling Reasoning Hop Exposes Weaknesses: Demystifying and Improving Hop Generalization in Large Language Models
University of Science and Technology of China（中国科学技术大学）；City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；City University of Hong Kong, Shenzhen Research Institute（香港城市大学深圳研究院）
本文通过多领域任务研究发现，推理错误集中在少数关键错误类型的位置，而非均匀分布。提出在推理过程中动态识别并禁用错误处理头，从而提升推理步泛化能力。
2026-05-01 cs.CL cs.LG
HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision
Cornell University（康奈尔大学）
提出一种无需理由监督的概率方法，通过显式建模理由集合实现多跳推理，提升理由选择准确率并保持答案预测性能。
2023-05-23 cs.AI cs.CL
OMHBench: Benchmarking Balanced and Grounded Omni-Modal Multi-Hop Reasoning
Hanyang University（翰阳大学）；NAVER Cloud（NAVER云）；Knowledge Work Inc.（知识工作公司）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Sony AI（索尼人工智能）
OMHBench通过平衡的多模态多跳推理评估框架，揭示了多模态大语言模型在多模态接地方面的不均衡性，发现专有模型与开源模型性能差距显著，且对推理路径变化敏感。
2026-04-28 cs.CL
Benchmarking Chinese Commonsense Reasoning with a Multi-hop Reasoning Perspective
Douyin Content Group, ByteDance（字节跳动内容部）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
提出中文常识多跳推理基准CCMOR，通过LLM流水线生成多跳问题并人工验证，评估发现大模型在长尾知识与知识密集型推理上存在局限，而检索增强生成可显著提升性能。
2025-10-09 cs.AI cs.CL
Self-Assembling Modular Networks for Interpretable Multi-Hop Reasoning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
多跳QA需要一个模型来连接分散在长上下文中的多个证据来回答问题。最近提出的HotpotQA（Yang等人，2018）数据集由体现四种不同的多跳推理范例（两个桥接实体设置、检查多个属性和比较两个实体）的问题组成，使得单个神经网络处理所有四个问题具有挑战性。在这项工作中，我们提出了一个可解释的，基于神经网络的自组装神经模块网络（Hu et al.，2017年，2018年）的多跳推理，在那里我们设计了四个新的模块（查找，重新定位，比较，NoOp）来执行独特类型的语言推理。基于一个问题，我们的布局控制器RNN动态地推断一系列推理模块来构建整个网络。从经验上讲，我们表明，我们的动态，多跳模块化网络实现了显着的改进，静态，单跳基线（定期和对抗性评估）。我们通过三个分析进一步证明了我们的模型的可解释性。首先，控制器可以将多跳问题软分解为多个单跳子问题，以促进主网络的组合推理行为。其次，控制器可以预测符合人类专家设计的布局的布局。最后，中间模块可以通过处理来自控制器的子问题来推断连接两个远距离定位的支持事实的实体。
2019-10-30 cs.AI cs.CL cs.LG
THOR: A Theta-Gamma Hierarchical Oscillatory Reasoning Framework for Multi-hop QA
Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）；School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学生命科学与医学部生物医学工程学院）
针对多跳问答中注意力衰减和错误积累问题，提出受大脑启发的θ-γ分层振荡推理框架THOR，经实验验证，该框架能提高答案准确性和鲁棒性，减轻相关限制。
2026-07-24 cs.AI cs.CL
Back Attention: Understanding and Enhancing Multi-Hop Reasoning in Large Language Models
University of Manchester（曼彻斯特大学）；Technion - IIT（以色列理工学院）
该研究提出 logit flow 分析 LLM 潜在多跳推理的阶段与失败原因，并设计 back attention 机制让低层利用高层隐藏状态，显著提升多个模型和数据集的推理准确率。
2025-02-15 cs.CL
MultiHoax: A Dataset of Multi-hop False-Premise Questions
University of Milan（米兰大学）；Politecnico di Milano（米兰理工学院）；University of Sheffield（谢菲尔德大学）
本文提出MultiHoax基准，覆盖七国十类知识，用于评估大语言模型在多跳推理中检测假前提的能力，并发现现有模型表现不足。
2025-06-04 cs.CL
IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering
Chung-Ang University（中央大学）
本文针对多跳问答中现有提示压缩方法无法捕捉多跳推理步骤的问题，提出无训练框架IterCOMP，经实验验证其可提升问答指标并减少token预算。
2026-08-17 cs.AI cs.CL
UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）
知识图谱上的多跳问答（KGQA）是指在大规模知识图谱（KG）上寻找与自然语言问题中的主题实体相距多跳的答案实体。为了应对巨大的搜索空间，现有的工作通常采用两阶段的方法：首先检索与问题相关的相对较小的子图，然后对子图进行推理，以准确地找到答案实体。虽然这两个阶段是高度相关的，以前的工作采用了非常不同的技术解决方案开发的检索和推理模型，忽略了他们的任务本质的相关性。在本文中，我们提出了UniKGQA，多跳KGQA任务的一种新方法，通过统一检索和推理的模型结构和参数学习。在模型结构上，UniKGQA由基于预训练的语言模型PLM的语义匹配模块和匹配信息传播模块组成，语义匹配模块用于问题-关系的语义匹配，匹配信息传播模块用于沿着KG上的有向边传播匹配信息。对于参数学习，我们设计了一个共享的预训练任务的基础上的问题-关系匹配检索和推理模型，然后提出检索和推理为导向的微调策略。与以往的研究相比，我们的方法是更统一的，紧密联系的检索和推理阶段。在三个基准数据集上的大量实验表明了该方法在多跳KGQA任务上的有效性。我们的代码和数据可在~ \url{https://github.com/RUCAIBox/UniKGQA}上公开获取。
2023-03-01 cs.CL
How Well Do Multi-hop Reading Comprehension Models Understand Date Information?
The Graduate University for Advanced Studies（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
已经提出了几个多跳阅读理解数据集来解决推理捷径的问题，通过这些推理捷径可以在不执行多跳推理的情况下回答问题。然而，多跳模型在找到比较问题的答案时执行逐步推理的能力仍然不清楚。目前还不清楚关于内部推理过程的问题如何有助于训练和评估问答（QA）系统。为了以分层的方式精确地评估模型，我们首先提出了一个数据集，\textit{HieraDate}，除了主要问题：提取，推理和鲁棒性之外还有三个探测任务。我们的数据集是通过增强以前的两个多跳数据集HotpotQA和2WikiMultiHopQA创建的，专注于涉及比较和数值推理的日期信息的多跳问题。然后，我们评估现有模型理解日期信息的能力。我们的实验结果表明，多跳模型没有能力减去两个日期，即使他们在日期比较和数字减法任务表现良好。其他结果表明，我们的探索性问题可以帮助提高模型的性能（例如，通过+10.3 F1），我们的数据集可用于数据增强，以提高模型的鲁棒性。
2022-10-11 cs.CL
GMH: A General Multi-hop Reasoning Model for KG Completion
Nankai University（南开大学）；Sichuan University（四川大学）；University of Innsbruck（因斯布鲁克大学）；National University of Singapore（新加坡国立大学）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
知识图谱对于许多下游自然语言处理应用是必不可少的，但通常是不完整的，缺少许多事实。这导致了对多跳推理任务的研究工作，其可以被公式化为搜索过程，并且当前模型通常执行短距离推理。然而，远距离推理对于连接表面上不相关的实体的能力也至关重要。据我们所知，缺乏一个通用的框架，在混合的长短距离推理场景中的方法多跳推理。我们认为，一般的多跳推理模型有两个关键问题：i）去哪里，和ii）何时停止。因此，我们提出了一个通用模型，它解决了三个模块的问题：1）局部-全局知识模块估计可能的路径，2）差分动作退出模块探索不同的路径集，和3）自适应停止搜索模块，以避免过度搜索。在三个数据集上的综合结果表明，我们的模型在短距离和长距离推理场景中相对于基线都有显着改进。
2021-09-02 cs.AI cs.CL
Auto-Patching: Enhancing Multi-Hop Reasoning in Language Models
Tel Aviv University（特拉维夫大学）
针对大型语言模型多跳推理困难的问题，提出Auto-Patch方法，在推理时动态修补隐藏状态，在MuSiQue数据集上将求解率提升至23.63%，缩小了与思维链提示的差距。
2025-05-31 cs.CL cs.LG
Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）
针对现有时序问答研究未关注多答案多跳推理的问题，本文构建了复杂时序推理数据集Complex-TR并提出新型数据增强策略，显著提升了大语言模型的时序推理性能与鲁棒性。
2024-07-12 cs.CL
Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis
Microsoft（微软公司）；University of Massachusetts（马萨诸塞大学）；University of Maryland（马里兰大学）
本研究系统诊断推理模型在多跳问答中的失败，提出涵盖跳数、覆盖率与过度思考的错误分类框架，揭示被准确性评估掩盖的复杂错误模式，为提升推理可靠性提供指导。
2025-08-06 cs.AI cs.CL
