Geometric Analysis of Reasoning Trajectories: A Phase Space Approach to Understanding Valid and Invalid Multi-Hop Reasoning in LLMs
本文提出用哈密顿力学将大语言模型多跳推理链映射为相空间系统，通过能量值区分有效与无效推理，为推理过程提供几何诊断工具和新视角。
2025-03-08 cs.AI cs.LG
Lessons from Studying Two-Hop Latent Reasoning
Apollo Research（Apollo研究机构）；UK AI Security Institute（英国人工智能安全研究所）；UC Berkeley（加州大学伯克利分校）；TruthfulAI
研究通过双跳问答任务揭示LLM潜在推理能力，发现模型在合成事实组合上表现不足，但能处理混合事实场景，强调避免误判推理能力的必要性。
2025-11-23 cs.AI cs.CL
Understanding Dataset Design Choices for Multi-hop Reasoning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习多跳推理一直是阅读理解模型的一个关键挑战，导致数据集的设计明确关注它。理想情况下，模型不应该能够在多跳问答任务上表现良好，而不进行多跳推理。在本文中，我们研究了两个最近提出的数据集，WikiHop和HotpotQA。首先，我们探索了这些任务的分解模型;通过设计，这些模型不能进行多跳推理，但它们仍然能够解决两个数据集中的大量示例。此外，我们发现虚假的相关性在未屏蔽版本的WikiHop，这使得它很容易实现高性能只考虑问题和答案。最后，我们研究了这些数据集之间的一个关键差异，即QA任务的基于跨度的公式与多项选择公式。这两个数据集的多项选择版本可以很容易地进行游戏，我们检查的两个模型在这种设置中仅略微超过基线。总的来说，虽然这些数据集是有用的测试平台，但高性能模型可能不会像以前认为的那样学习那么多的多跳推理。
2019-04-27 cs.AI cs.CL
Seemingly Plausible Distractors in Multi-Hop Reasoning: Are Large Language Models Attentive Readers?
ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））；National University of Singapore（新加坡国立大学）；University of Manchester（曼彻斯特大学）；Imperial Global Singapore（帝国理工学院新加坡分部）
该研究针对现有多跳推理基准存在简化线索的问题，发现大语言模型会以更隐蔽的方式绕开多跳推理，据此提出含看似合理的错误推理链的挑战性基准，测试显示模型F1分数最高相对下降45%，且误导性推理路径是主要挑战。
2024-10-31 cs.AI cs.CL
KG-Hopper: Empowering Compact Open LLMs with Knowledge Graph Reasoning via Reinforcement Learning
Department of Computer Science（计算机科学系）；Engineering Chalmers University of Technology（工程学院查尔姆斯理工大学）
KG-Hopper通过强化学习框架，使紧凑型开放式大语言模型能够在一个推理回合内完成多跳知识图谱推理，优于更大系统并达到与专有模型相当的性能。
2026-04-14 cs.AI cs.CL
SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning
IBM Research（IBM研究院）；EPFL（洛桑联邦理工学院）
在知识图谱上进行推理和问答的现有方法通常随着边的数量而缩放，并且只能有效地应用于小的实例依赖子图。在本文中，我们解决这个问题，表明多跳和更复杂的逻辑推理可以单独完成，而不会失去表达能力。出于这种认识，我们提出了一种多跳推理的方法，该方法与图中的关系类型的数量呈线性关系，通常比边或节点的数量要小得多。这会产生一组候选解决方案，这些解决方案可以被证明是精炼的，以恢复原始问题的解决方案。我们对基于知识的问答的实验表明，我们的方法解决了多跳MetaQA数据集，实现了一个新的国家的最先进的更具挑战性的WebbrowsSP，是数量级的可扩展性比竞争对手的方法，并可以实现合成泛化的训练分布。
2021-10-27 cs.AI cs.CL cs.IR
SAFE: An LLM-as-Verifier Framework for Evidence-Grounded Multi-Hop Reasoning
Seoul National University（首尔国立大学）
提出SAFE框架，通过将推理分解为知识图谱三元组，在生成过程中逐步验证中间步骤，以解决多跳问答中模型通过无效推理得到正确答案的问题，平均准确率提升8.8个百分点。
2026-10-30 cs.AI cs.CL
Scaling Reasoning Hop Exposes Weaknesses: Demystifying and Improving Hop Generalization in Large Language Models
University of Science and Technology of China（中国科学技术大学）；City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；City University of Hong Kong, Shenzhen Research Institute（香港城市大学深圳研究院）
本文通过多领域任务研究发现，推理错误集中在少数关键错误类型的位置，而非均匀分布。提出在推理过程中动态识别并禁用错误处理头，从而提升推理步泛化能力。
2026-05-01 cs.CL cs.LG
HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision
Cornell University（康奈尔大学）
提出一种无需理由监督的概率方法，通过显式建模理由集合实现多跳推理，提升理由选择准确率并保持答案预测性能。
2023-05-23 cs.AI cs.CL
Understanding Reasoning in Chain-of-Thought from the Hopfieldian View
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Soochow University（苏州大学）；University of Southampton（南安普顿大学）；Arizona State University（亚利桑那州立大学）
本文从霍普菲尔德认知观出发，将思维链推理建模为表征空间中的移动，并提出思维表征（RoT）框架，以提升推理的鲁棒性与可解释性。
2024-10-04 cs.AI cs.CL cs.LG
THOR: A Theta-Gamma Hierarchical Oscillatory Reasoning Framework for Multi-hop QA
Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）；School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学生命科学与医学部生物医学工程学院）
针对多跳问答中注意力衰减和错误积累问题，提出受大脑启发的θ-γ分层振荡推理框架THOR，经实验验证，该框架能提高答案准确性和鲁棒性，减轻相关限制。
2026-07-24 cs.AI cs.CL
SciNets: Graph-Constrained Multi-Hop Reasoning for Scientific Literature Synthesis
Jaypee Institute of Information Technology（杰伊佩 Institute 信息科技学院）
SciNets通过图约束多跳推理实现科学文献综合，通过多跳路径连接罕见共现的概念，提升机制解释的稳定性和多样性。
2025-12-28 cs.AI cs.CL cs.IR
Effect of Document Packing on the Latent Multi-Hop Reasoning Capabilities of Large Language Models
Chandar Research Lab（Chandar研究实验室）；Mila – Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Microsoft Research（微软研究院）；Polytechnique Montréal（蒙特利尔理工学院）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
本文研究了文档打包对大型语言模型多跳推理能力的影响，发现打包可提升性能但增加计算成本，并通过消融研究揭示了其关键因素。
2025-12-16 cs.AI cs.CL cs.LG
IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering
Chung-Ang University（中央大学）
本文针对多跳问答中现有提示压缩方法无法捕捉多跳推理步骤的问题，提出无训练框架IterCOMP，经实验验证其可提升问答指标并减少token预算。
2026-08-17 cs.AI cs.CL
Multi-Hop Knowledge Graph Reasoning with Reward Shaping
Salesforce Research（Salesforce研究院）
多跳推理是不完备知识图谱（KG）上的一种有效的查询回答（QA）方法。该问题可以用强化学习（RL）设置来表述，其中基于策略的代理顺序地扩展其推理路径，直到到达目标。然而，在一个不完整的KG环境中，代理收到低质量的奖励损坏的假阴性的训练数据，这损害了在测试时的泛化。此外，由于没有使用黄金动作序列进行训练，智能体可能会被虚假的搜索轨迹误导，从而偶然导致正确的答案。我们提出了两个建模改进来解决这两个问题：（1）我们通过采用预训练的一跳嵌入模型来估计未观察到的事实的奖励来减少假阴性监督的影响;（2）我们通过强制代理使用随机生成的边缘掩码探索不同的路径来对抗对策略RL的虚假路径的敏感性。我们的方法在几个基准数据集上显着改进了现有的基于路径的KGQA模型，并且与基于嵌入的模型相当或更好。
2018-09-11 cs.AI cs.CL cs.LG
Auto-Patching: Enhancing Multi-Hop Reasoning in Language Models
Tel Aviv University（特拉维夫大学）
针对大型语言模型多跳推理困难的问题，提出Auto-Patch方法，在推理时动态修补隐藏状态，在MuSiQue数据集上将求解率提升至23.63%，缩小了与思维链提示的差距。
2025-05-31 cs.CL cs.LG
Hypergraph Transformer: Weakly-supervised Multi-hop Reasoning for Knowledge-based Visual Question Answering
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；AI Institute (AIIS), Seoul National University（首尔国立大学人工智能研究院（AIIS））
基于知识的视觉问答（QA）的目的是回答一个问题，这需要视觉基础的外部知识超越图像内容本身。在弱监督下对需要多跳推理的复杂问题进行推理被认为是一个具有挑战性的问题，因为i）没有对推理过程进行监督，ii）需要捕获多跳知识事实的高阶语义。在本文中，我们引入超图的概念来编码问题和知识库的高级语义，并学习它们之间的高阶关联。提出的模型Hypergraph Transformer构造了一个问题超图和一个查询感知知识超图，并通过编码超图之间的关联和超图本身的关联来推断答案。在两个基于知识的视觉问答和两个基于知识的文本问答上的实验证明了该方法的有效性，特别是对于多跳推理问题。我们的源代码可以在https://github.com/yujungheo/kbvqa-public上找到。
2022-04-22 cs.AI cs.CL cs.CV
Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis
Microsoft（微软公司）；University of Massachusetts（马萨诸塞大学）；University of Maryland（马里兰大学）
本研究系统诊断推理模型在多跳问答中的失败，提出涵盖跳数、覆盖率与过度思考的错误分类框架，揭示被准确性评估掩盖的复杂错误模式，为提升推理可靠性提供指导。
2025-08-06 cs.AI cs.CL
Reasoning Court: Combining Reasoning, Action, and Judgment for Multi-Hop Reasoning
Cornell University（康奈尔大学）
针对LLMs在多跳推理中存在幻觉和错误传播问题，提出推理法庭框架，引入LLM裁判评估多智能体生成的候选答案及推理，在无任务微调下性能优于现有少样本方法。
2025-04-14 cs.AI cs.CL
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
Purdue University（普渡大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
针对预训练语言模型难以组合事实进行多跳问答的问题，本文利用知识图谱随机游走并训练软提示，将多跳问题映射到答案路径，在两个 T5 模型上显著提升 2 跳推理性能。
2023-06-06 cs.AI cs.CL
HopChain: Multi-Hop Data Synthesis for Generalizable Vision-Language Reasoning
Qwen Team, Alibaba Inc.（通义实验室，阿里巴巴公司）；LeapLab, Tsinghua University（清华大学跃迁实验室）
本文提出HopChain框架，通过多跳视觉语言推理数据合成提升VLMs的通用推理能力，实验表明其在多个基准测试中显著提升性能。
2026-03-19 cs.AI cs.CL cs.CV
Layer-Order Inversion: Rethinking Latent Multi-Hop Reasoning in Large Language Models
State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；University of Science and Technology of China（中国科学技术大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出"层序倒置"现象，通过概率性回忆与提取框架解释大语言模型中多跳推理的机制，揭示了层序倒置与总跳步数的关系，并提供了多跳失败的诊断方法。
2026-08-27 cs.AI cs.CL
BeamAggR: Beam Aggregation Reasoning over Multi-source Knowledge for Multi-hop Question Answering
Harbin Institute of Technology（哈尔滨工业大学）；Zhejiang University（浙江大学）；Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
BeamAggR 通过将复杂问题解析为树结构并采用自底向上的束聚合推理，在多跳问答中有效整合多源知识，在四个开放域数据集上比 SOTA 方法提升 8.5%。
2024-06-28 cs.AI cs.CL
Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data
McGill University（麦吉尔大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）
本研究探索基于图的合成数据作为训练信号，通过监督微调增强LLM在归纳与空间推理任务上的能力，且不影响其他基准表现。
2024-12-16 cs.CL cs.LG
Semantic Sentence Composition Reasoning for Multi-Hop Question Answering
Zhejiang University（浙江大学）
现有的多跳开放域问答系统由于缺乏足够的数据，需要根据每个问题有效地找出相关的支持事实。针对语义事实句检索和多跳上下文扩展的难题，提出了一种面向多跳问答任务的语义句子组合推理方法，该方法包括两个关键模块：多阶段语义匹配模块（MSSM）和事实句子组合模块（FSC）.该方法将事实句和多阶段语义检索相结合，可以为模型训练和推理提供更全面的上下文信息。实验结果表明，我们的模型是能够纳入现有的预训练语言模型，并优于现有的SOTA方法的QASC任务的改进约9%。
2022-03-01 cs.AI cs.CL cs.IR
MuSiQue: Multihop Questions via Single-hop Question Composition
Stony Brook University（石溪大学）；Allen Institute for AI（艾伦人工智能研究所）
多跳推理仍然是一个难以捉摸的目标，因为现有的多跳基准被认为是在很大程度上可以通过捷径解决。我们能否创建一个问答（QA）数据集，通过构造，\emph{requires}适当的多跳推理？为此，我们引入了一种自下而上的方法，该方法系统地选择连接的单跳问题的可组合对，即，其中一个推理步骤严重依赖于来自另一个推理步骤的信息。这种自下而上的方法使我们能够探索广阔的问题空间，并添加严格的过滤器以及其他针对关联推理的机制。它提供了对构造过程和生成的$k$跳问题的属性的细粒度控制。我们使用这种方法来创建MuSiQue-Ans，这是一个新的多跳QA数据集，包含25 K 2-4跳问题。相对于现有的数据集，MuSiQue-Ans总体上更困难（人机差距增加了3倍），并且更难通过断开推理进行欺骗（例如，单跳模型在F1中具有30点下降）。我们进一步添加无法回答的对比问题，以产生更严格的数据集MuSiQue-Full。我们希望我们的数据集能够帮助NLP社区开发执行真正多跳推理的模型。
2022-05-05 cs.AI cs.CL
Large Language Models Still Face Challenges in Multi-Hop Reasoning with External Knowledge
The University of Manchester（曼彻斯特大学）
该研究从外部知识运用、非顺序推理、多跳泛化三方面测试大语言模型多跳推理能力，经在四个基准上用思维链提示测试GPT-3.5，发现其仍存明显缺陷，与人类水平有较大差距。
2024-12-11 cs.CL
Shattering the Shortcut: A Topology-Regularized Benchmark for Multi-hop Medical Reasoning in LLMs
University of Technology Sydney（悉尼技术大学）
本文提出ShatterMed-QA基准，通过拓扑正则化知识图谱评估深度诊断推理能力，揭示LLMs在多跳医学推理中的缺陷，并验证RAG方法的有效性。
2026-03-12 cs.AI cs.CL
BioHopR: A Benchmark for Multi-Hop, Multi-Answer Reasoning in Biomedical Domain
UCL（伦敦大学学院）；King’s College London（伦敦国王学院）；University of Glasgow（格拉斯哥大学）
提出基于 PrimeKG 的 BioHopR 基准，通过 1 跳和 2 跳多答案任务评估生物医学知识图谱推理，发现现有 LLM 尤其在多跳隐式推理上表现薄弱。
2025-06-09 cs.CL
KG-Reasoner: A Reinforced Model for End-to-End Multi-Hop Knowledge Graph Reasoning
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出KG-Reasoner，通过强化学习整合多步推理至LLM的'思考'阶段，实现动态探索推理路径，实验表明其在多跳和知识密集型推理任务中表现优异。
2026-04-14 cs.AI cs.CL
Reinforcement Learning Enhanced Multi-hop Reasoning for Temporal Knowledge Question Answering
本研究提出MRE框架，通过增强正向和反向推理，提升时间知识问答中多跳推理的准确性和鲁棒性。
2026-01-03 cs.AI
Language models can learn implicit multi-hop reasoning, but only if they have lots of training data
Saarland University（萨尔兰大学）；Utrecht University（乌得勒支大学）
本文研究了语言模型通过大量训练数据学习隐式多跳推理的能力，并发现训练数据量随推理跳数呈指数增长，但通过课程学习可部分缓解这一需求。
2026-02-04 cs.CL
Multi-Hop Reasoning for Question Answering with Hyperbolic Representations
Bonn-Aachen International Center for Information Technology, University of Bonn（波恩-亚琛国际信息科技中心，波恩大学）；Lamarr Institute for ML and AI（拉马尔人工智能与机器学习研究所）
本文通过将双曲表示集成到编码器-解码器模型中，系统比较多跳推理中双曲空间与欧氏空间的表现，证明双曲表示在多个数据集上一致更优，且可学习曲率初始化和层次化数据结构能进一步提升其优势。
2025-07-04 cs.AI cs.CL
Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
尽管生成预训练的语言模型在一系列文本生成任务上取得了成功，但在生成过程中需要对底层常识知识进行推理的情况下，它们仍然会受到影响。将常识知识集成到生成式预训练语言模型中的现有方法简单地通过对个体知识三元组进行后训练来传递关系知识，而忽略了知识图谱内的丰富连接。我们认为，利用结构和语义信息的知识图谱有利于常识意识的文本生成。在本文中，我们提出了多跳推理流生成（GRF），它使预训练模型能够在从外部常识知识图谱中提取的多关系路径上进行动态多跳推理。我们的经验表明，我们的模型优于现有的基线上的三个文本生成任务，需要推理常识知识。我们还证明了动态多跳推理模块的有效性与推理路径推断的模型，提供合理的生成。
2020-09-24 cs.CL
Multi-granular Training Strategies for Robust Multi-hop Reasoning Over Noisy and Heterogeneous Knowledge Sources
Universidad Autónoma de Asunción（亚松森自治大学）
针对多源多跳问答的级联错误等问题，提出生成式框架AMKOR，结合LLMs动态融合知识、概率束推理探索轨迹及多粒度学习策略，在四个数据集上性能超基线，为该任务建立新基准。
2025-02-09 cs.CL
CoT-Self-Instruct: Building high-quality synthetic prompts for reasoning and non-reasoning tasks
FAIR at Meta（Meta的FAIR）
该研究提出CoT-Self-Instruct合成数据生成方法，通过思维链推理规划加自动指标过滤生成高质量数据，在可验证推理与不可验证指令遵循任务的多个基准上均优于现有方案。
2025-09-03 cs.AI cs.CL
Do Large Language Models Latently Perform Multi-Hop Reasoning?
Google DeepMind（谷歌DeepMind）；UCL（伦敦大学学院）；Google Research（谷歌研究）；Tel Aviv University（特拉维夫大学）
研究探讨LLMs是否在复杂提示下潜在执行多跳推理，发现特定关系类型提示中存在该推理路径，且第一跳表现显著，但整体利用高度依赖上下文。
2025-05-31 cs.CL
STOC-TOT: Stochastic Tree-of-Thought with Constrained Decoding for Complex Reasoning in Multi-Hop Question Answering
Virginia Tech（弗吉尼亚理工大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
本文提出STOC-TOT随机思维树推理提示方法，通过将多跳问答问题分解为子问题构建树状推理路径并进行概率估计，结合约束解码减少幻觉，在多个数据集和大语言模型上显著优于现有推理提示。
2024-07-04 cs.AI cs.CL
Unveiling the Mechanisms of Multi-Hop Reasoning in Transformers via Identity Bridge
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University（上海交通大学自然科学研究院）；Shanghai Seres Information Technology Co., Ltd, Shanghai 200040, China（上海塞瑞斯信息技术有限公司）
研究大型语言模型多跳推理中两跳推理诅咒现象，引入身份桥进行最小监督，使单层Transformer能实现分布外两跳泛化，通过理论和实证分析揭示其机制及效果，并扩展到主流LLMs的实际设置。
2026-07-14 cs.AI cs.LG
How Do LLMs Perform Two-Hop Reasoning in Context?
Department of Statistics, UC Berkeley（统计学系，伯克利大学）；Department of EECS, UC Berkeley（电子工程与计算机科学系，伯克利大学）
研究发现在存在干扰项时LLM两跳推理会失败，但少量微调即可实现近乎完美的准确率，作者通过逆向工程3层Transformer揭示了其从随机猜测到结构化顺序查询机制的相变，并用三参数纯注意力网络捕捉了该动态。
2025-05-28 cs.AI cs.CL
NovelHopQA: Diagnosing Multi-Hop Reasoning Failures in Long Narrative Contexts
Algoverse AI Research（Algoverse AI研究机构）；University of California, Berkeley（加州大学伯克利分校）；Meta FAIR Lab（Meta FAIR实验室）
NovelHopQA通过83部小说的长文本构建1-4跳问答基准，揭示LLM在长上下文多跳推理中的准确率随跳数与长度增加而下降，并提供诊断工具。
2025-06-23 cs.CL
Scoring Verifiers: Evaluating Synthetic Verification for Code and Reasoning
NVIDIA Santa Clara, CA 15213, USA（英伟达圣克拉拉分校）
本研究提出将现有编码基准转换为评分排序数据集的方法，配套多维度评估指标，发布四个新基准，实验证实推理可提升测试用例生成效果、增加测试用例数能提高合成验证准确率。
2025-07-30 cs.AI cs.CL cs.LG
GlobalRAG: Enhancing Global Reasoning in Multi-hop Question Answering via Reinforcement Learning
GlobalRAG通过强化学习框架提升多跳问答的全局推理能力，引入规划质量奖励和子目标完成奖励，结合渐进权重退火策略，有效解决多步推理中的全局规划和执行不一致问题。
2026-03-16 cs.AI cs.CL
Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning
SJTU-Paris Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学上海交大-巴黎精英工程师学院）；Shanghai Jiao Tong University（上海交通大学）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
本文提出自动化框架SP-CoT，通过构建高质量ODMR数据集、自适应采样器和自提示推理提升LLMs的多跳推理能力，在大规模模型上超越SOTA，并将小规模模型零样本性能近乎翻倍。
2023-10-23 cs.AI cs.CL
Interpretable Unsupervised Deformable Image Registration via Confidence-bound Multi-Hop Visual Reasoning
School of Engineering and Technology（工程与技术学院）
本文提出了一种基于多跳视觉推理的可解释无监督变形图像配准框架，通过局部空间细化和跨参考注意力机制，实现高精度且透明的医学图像配准。
2026-01-30 cs.AI cs.CV cs.LG
Repair Before Reinforce: Context-Augmented Knowledge Graph Reasoning for Multi-Hop Question Answering
Princeton University（普林斯顿大学）
提出上下文增强训练框架，通过附加支持三元组形成上下文图，结合自适应修复和强化学习，提升多跳问答性能。
2026-09-14 cs.AI cs.CL
Improving Multi-hop Logical Reasoning in Knowledge Graphs with Context-Aware Query Representation Learning
Sungkyunkwan University（成均馆大学）；Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）
针对知识图谱 FOL 查询推理中几何或概率参数建模忽视查询上下文的问题，本文提出模型无关的双上下文查询表示学习方法，持续增强三个基础模型，最高提升 19.5%。
2024-06-11 cs.AI cs.CL
Multimodal Cognitive Reframing Therapy via Multi-hop Psychotherapeutic Reasoning
Graduate School of Artificial Intelligence, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）
针对现有LLMs认知重构疗法忽视非语言证据的问题，该研究扩展至多模态，构建M2CoSC数据集并提出多跳心理治疗推理方法，提升VLMs治疗表现及建议的思考性与共情性。
2025-02-08 cs.AI cs.CL
Multi-hop Question Answering via Reasoning Chains
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
多跳问答需要模型从文本的不同部分收集信息来回答问题。大多数当前的方法都是通过神经网络以端到端的方式学习解决这个任务，而不需要维护推理过程的显式表示。我们提出了一种方法来提取一个离散的推理链的文本，其中包括一系列的句子导致的答案。然后，我们将提取的链馈送到基于BERT的QA模型，以进行最终答案预测。重要的是，我们不依赖于黄金注释链或“支持事实“：在训练时，我们使用基于命名实体识别和共指消解的逻辑学推导出伪黄金推理链。我们在测试时也不依赖这些注释，因为我们的模型学会了单独从原始文本中提取链。我们测试我们的方法上最近提出的两个大型多跳问答数据集：WikiHop和HotpotQA，并实现国家的最先进的性能WikiHop和HotpotQA的强大性能。我们的分析显示了链的属性，这些属性对高性能至关重要：特别是，建模提取顺序很重要，因为以上下文感知的方式处理每个候选句子。此外，人类评估表明，我们提取的链允许人类以高置信度给出答案，这表明这些是这项任务的强大中间抽象。
2021-06-06 cs.AI cs.CL
Integrating Logical Rules Into Neural Multi-Hop Reasoning for Drug Repurposing
Siemens AG（西门子股份公司）；Ludwig Maximilian University of Munich（慕尼黑大学）
生物医学数据的图结构与典型的知识图谱基准测试任务中的图结构不同。生物医学数据的一个特殊属性是存在长期依赖性，这可以通过描述为逻辑规则的模式来捕获。我们提出了一种新的方法，结合这些规则与神经多跳推理方法，使用强化学习。我们进行了实证研究的基础上，通过制定这个任务作为一个链接预测问题的药物再利用的现实世界的任务。我们将我们的方法应用于生物医学知识图谱Hetionet，并表明我们的方法优于几种基线方法。
2020-07-10 cs.AI cs.LG stat.ML
Distributional reasoning in LLMs: Parallel reasoning processes in multi-hop reasoning
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Columbia University（哥伦比亚大学）
该研究提出一种可解释的分析方法，发现LLMs多跳推理的预测过程可通过语义空间线性变换建模，中间层存在代表潜在中间答案的嵌入与并行推理路径，为理解LLMs推理机制和认知建模提供新见解。
2024-06-19 cs.CL
MARCH: Evaluating the Intersection of Ambiguity Interpretation and Multi-hop Inference
Chung-Ang University（Chung-Ang 大学）；Adobe Research（Adobe 研究）
本文提出MARCH基准，通过多LLM验证和人工标注，包含2209个多跳歧义问题，揭示了当前模型在结合歧义解决与多步推理上的挑战，并提出CLARION框架提升推理系统鲁棒性。
2026-04-15 cs.AI cs.CL
IndexRAG: Index-Time Reasoning for Multi-Hop Retrieval-Augmented Generation
Continuum AI
IndexRAG通过在索引阶段进行跨文档推理，提升多跳问答的F1得分，无需额外训练，仅需单次检索和一次LLM调用。
2026-09-29 cs.AI cs.CL cs.IR
From Query to Logic: Ontology-Driven Multi-Hop Reasoning in LLMs
提出无需训练的ORACLE框架，利用LLM动态构建本体并转化一阶逻辑链，分解查询为子问题，在MQA基准上媲美DeepSeek-R1，生成更逻辑可解释的推理链。
2025-09-24 cs.AI cs.CL
