UserToolBench: A User-Profile-Hidden Benchmark for Personalized Decision Making in Tool-Use LLMs
Sun Yat-Sen University（中山大学）；Nanyang Technological University（南洋理工大学）
UserToolBench是针对工具使用类大语言模型的基准测试集，可评估模型从交互历史推断用户偏好等个性化决策能力，实验发现当前模型在多工具协调等方面仍存瓶颈。
2026-08-12 cs.AI cs.LG
Beyond Solving Math Quiz: Evaluating the Ability of Large Reasoning Models to Ask for Information
Sichuan University, China（四川大学）；Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China（教育部机器学习与工业智能工程研究中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Data Science, National University of Singapore, Singapore（新加坡国立大学数据科学研究所）
本文针对现有基准仅评估大型推理模型解答完整数学问题的局限，构建了不完整问题数据集，系统评估并揭示了LRMs在主动询问信息方面的不足，同时分析了过度思考与幻觉行为，探讨了监督微调的潜力与挑战。
2025-08-15 cs.AI cs.CL cs.IR
MultiBooked: A Corpus of Basque and Catalan Hotel Reviews Annotated for Aspect-level Sentiment Classification
Pompeu Fabra University（庞培法布拉大学）
虽然情感分析已经成为NLP社区的一个既定领域，但对英语以外语言的研究却因缺乏资源而受到阻碍。尽管多语言和跨语言情感分析的研究主要集中在无监督或半监督方法上，但这些方法仍然需要大量的资源，并且没有达到监督方法的性能。考虑到这一点，我们引入了两个数据集，用于巴斯克语和加泰罗尼亚语的监督方面级情感分析，这两种语言都资源不足。我们提供了高质量的注释和基准，希望它们对越来越多的研究这些语言的研究人员有用。
2018-03-22 cs.CL
Ask to Understand: Question Generation for Multi-hop Question Answering
Beijing Institute of Technology（北京理工大学）
多跳问答（QA）要求机器通过从多个文档中寻找分散的线索和推理来回答复杂的问题。图网络（GN）和问题分解（QD）是目前常用的两种方法。前者利用“黑盒”推理过程来捕捉实体和句子之间的潜在关系，从而取得了良好的性能。同时，后者通过将多跳问题分解为简单的单跳子问题，提供了清晰的推理逻辑路线。在本文中，我们提出了一种新的方法来完成多跳问答的问题生成（QG）的角度。具体来说，我们精心设计了一个端到端的QG模块的基础上，经典的QA模块，这可以帮助模型理解的背景下，问固有的逻辑子问题，从而继承了基于QD的方法的可解释性，并显示出优越的性能。在HotpotQA数据集上的实验表明，我们提出的QG模块的有效性，人工评估进一步阐明了其定量的可解释性，全面的分析表明，QG模块可以生成更好的子问题比QD方法在流畅性，一致性和多样性方面。
2022-03-17 cs.CL
Socratic-MCTS: Test-Time Visual Reasoning by Asking the Right Questions
NVIDIA；University of Washington（华盛顿大学）；University of Toronto（多伦多大学）
本文提出受 MCTS 启发的 Socratic-MCTS，通过在输出流中注入子问题与子答案，使已部署的非推理 VLM 无需额外训练即可产生长视觉推理链，并在多个基准上取得稳定提升。
2025-06-10 cs.AI cs.CL cs.CV
AMIGO: Agentic Multi-Image Grounding Oracle Benchmark
Target Corporation（塔吉特公司）
AMIGO 评估基准通过长周期交互检测隐藏目标，要求模型在严格协议下通过属性问题逐步识别目标，强调不确定性下的问题选择、约束跟踪和细粒度区分能力。
2026-09-17 cs.AI cs.LG
Summarize-then-Answer: Generating Concise Explanations for Multi-hop Reading Comprehension
Stony Brook University（石溪大学）；RIKEN（理化学研究所）；Tohoku University（东北大学）
我们如何为多跳阅读理解（RC）生成简洁的解释？目前的支持句识别策略可以看作是对输入文本的一种抽取式的以问题为中心的摘要。然而，这些抽象的解释不一定是简洁的，即不足以回答一个问题。相反，我们提倡一种抽象的方法，我们建议生成一个以问题为中心的，抽象的输入段落摘要，然后将其馈送到RC系统。给定有限数量的人类注释的抽象解释，我们以半监督的方式训练抽象解释器，其中我们从监督模型开始，然后训练它进一步通过试错最大化简洁性促进的奖励函数。我们的实验表明，建议的抽象解释器可以产生更紧凑的解释比一个提取的解释器有限的监督（只有2k个实例），同时保持足够的。
2021-09-14 cs.CL
Asking for What Was Never Requested: Horizontal and Vertical Proactivity in Agents
IBM；Weizmann Institute of Science（魏茨曼科学研究所）
本文研究智能体主动性的内容维度，提出水平与垂直主动性，并设计Q&D方法训练提问者，在无需奖励模型下提升多跳问答中的信息获取，优于15倍大模型。
2026-09-30 cs.AI cs.CL
QACHECK: A Demonstration System for Question-Guided Multi-Hop Fact-Checking
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；National University of Singapore（新加坡国立大学）
QACHECK系统通过生成关键问题引导多跳推理，实现透明可解释的事实核查，包含五个模块，输出详细报告和证据来源。
2023-10-11 cs.CL
A Hopfieldian View-based Interpretation for Chain-of-Thought Reasoning
KAUST（阿卜杜拉国王科技大学）；Soochow University（苏州大学）；University of Southampton（南安普顿大学）；Tongji University（同济大学）；Universität Hamburg（汉堡大学）；Huazhong University of Science and Technology（华中科技大学）
本研究针对大语言模型中思维链（CoT）的生效机制尚不明确的问题，从Hopfield视角开展可解释分析，提出Read-and-Control方法，经多数据集多任务实验验证可解读CoT机制、定位错误并控制生成正确推理路径。
2024-06-18 cs.AI cs.CL cs.HC
Stronger Transformers for Neural Multi-Hop Question Generation
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）
以前的工作自动化问题生成几乎完全集中在生成简单的问题，其答案可以从一个单一的文档中提取。然而，人们越来越感兴趣的是开发系统，能够更复杂的多跳问题的生成，其中回答的问题需要推理多个文件。在这项工作中，我们介绍了一系列强Transformer模型的多跳问题生成，包括图形增强的Transformer，利用文本中的实体之间的关系。虽然以前的工作强调了基于图形的模型的重要性，我们表明，我们可以大大超过5个BLEU点使用标准的Transformer架构的最先进的。我们进一步证明，基于图的增强可以在此基础上提供免费的改进。有趣的是，我们发现几个重要的因素-例如包含辅助对比目标和数据过滤可能会对性能产生更大的影响。我们希望，我们更强有力的基线和分析为这一领域今后的工作提供建设性的基础。
2020-10-22 cs.CL cs.LG
A Comprehensive Survey on Multi-hop Machine Reading Comprehension Approaches
University of Isfahan（伊斯法罕大学）
机器阅读理解（MRC）是自然语言处理（NLP）领域的一个长期研究课题。MRC任务旨在根据给定的上下文回答问题。最近的研究集中在多跳MRC，这是一个更具挑战性的扩展MRC，它回答一个问题，一些不相交的信息片段跨上下文需要。由于多跳MRC的复杂性和重要性，近年来有大量的研究集中在这一课题上，因此有必要对相关文献进行综述。本研究旨在基于2018年至2022年的31项研究，调查多跳MRC方法的最新进展。在这方面，首先，将介绍多跳MRC问题的定义，然后将详细审查31个模型，重点关注它们的多跳方面。他们也将根据他们的主要技术进行分类。最后，一个细粒度的全面比较的模型和技术。
2022-12-08 cs.CL
A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test
Catalan Institute of Nanoscience and Nanotechnology（加泰罗尼亚纳米科学与纳米技术研究所）
针对多跳 RAG 系统评估中的统计偏差问题，提出一种固定预算、聚类感知的 LLM-as-a-Judge 比较标准，并通过遗传算法证据选择器 GADMEC 在 400 个多跳问题上进行压力测试，揭示聚类感知推断改变了实证结论。
2026-05-27 cs.AI cs.CL
Baleen: Robust Multi-Hop Reasoning at Scale via Condensed Retrieval
Stanford University（斯坦福大学）
多跳推理（即，跨两个或多个文档的推理）是利用大型语料库展示广泛知识的NLP模型的关键要素。为了检索证据段落，多跳模型必须应对跨跳快速增长的搜索空间，表示结合多种信息需求的复杂查询，并解决关于在训练段落之间跳跃的最佳顺序的模糊性。我们通过Baleen来解决这些问题，Baleen是一个系统，它提高了多跳检索的准确性，同时在多跳设置中从弱训练信号中鲁棒地学习。为了驯服的搜索空间，我们提出了浓缩检索，管道，总结检索到的段落后，每一跳到一个单一的紧凑的上下文。为了模拟复杂的查询，我们引入了一个集中的后期交互检索，允许不同的部分相同的查询表示，以匹配不同的相关段落。最后，为了推断无序训练通道之间的跳跃依赖关系，我们设计了潜在的跳跃排序，一种弱监督策略，训练检索器本身选择的跳跃序列。我们评估Baleen检索两跳问答和多跳索赔验证，建立最先进的性能。
2022-07-10 cs.CL cs.IR
No Shortcuts to Culture: Indonesian Multi-hop Question Answering for Complex Cultural Understanding
School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）
ID-MoCQA是一个基于印尼传统的多跳问答数据集，旨在评估大型语言模型的文化理解能力，揭示模型在文化推理方面的不足。
2026-02-03 cs.CL
QA4QG: Using Question Answering to Constrain Multi-Hop Question Generation
The Hong Kong University of Science and Technology（香港科技大学）
多跳问题生成（MQG）的目的是生成复杂的问题，需要推理的多条信息的输入通道。MQG的大多数现有工作都集中在探索基于图的网络，以使传统的序列到序列框架具有推理能力。然而，这些模型没有充分利用问题和答案之间的约束。此外，多跳问答（QA）的研究表明，Transformers可以取代多跳推理的图结构。因此，在这项工作中，我们提出了一个新的框架，QA 4 QG，一个QA增强的基于BART的MQG框架。它通过一个额外的多跳QA模块来增强标准BART模型，以进一步约束生成的问题。我们在HotpotQA数据集上的结果表明，QA 4 QG优于所有最先进的模型，与之前报道的最佳结果相比，增加了8个BLEU-4和8个ROUGE点。我们的工作表明了为MQG任务引入预训练的语言模型和QA模块的优势。
2022-02-14 cs.AI cs.CL
Probing the Multi-turn Planning Capabilities of LLMs via 20 Question Games
Apple（苹果公司）
本文提出以20个问题式的实体推断游戏作为评估框架，系统探究大语言模型的多轮对话推理与规划能力，发现GPT-4等强模型大幅超越人类，并通过行为克隆与强化学习显著提升了较弱模型的表现。
2024-02-20 cs.AI cs.CL cs.HC
Breaking Chains: Unraveling the Links in Multi-Hop Knowledge Unlearning
KAIST AI（韩国科学技术院人工智能学院）
本文针对现有多跳知识遗忘方法在中间跳被遗忘时无法彻底移除知识的问题，提出基于不确定性的MUNCH框架，通过分解多跳查询并利用模型不确定性来增强遗忘效果，且可与现有遗忘技术灵活集成。
2024-10-17 cs.CL
Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs
Monash University（莫纳什大学）；VinAI Research（VinAI研究院）
该研究针对大语言模型评估仅关注答案准确率、忽略思维链正确性的问题，提出判别式与生成式结合的思维链评估范式，结合知识图谱探究多跳推理能力，发现模型常通过错误推理得到正确答案。
2024-06-19 cs.CL
BioHopR: A Benchmark for Multi-Hop, Multi-Answer Reasoning in Biomedical Domain
UCL（伦敦大学学院）；King’s College London（伦敦国王学院）；University of Glasgow（格拉斯哥大学）
提出基于 PrimeKG 的 BioHopR 基准，通过 1 跳和 2 跳多答案任务评估生物医学知识图谱推理，发现现有 LLM 尤其在多跳隐式推理上表现薄弱。
2025-06-09 cs.CL
Commonsense for Generative Multi-Hop Question Answering Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
阅读理解问答任务最近越来越受欢迎，但大多数作品都集中在事实发现的提取问答上。相反，我们专注于更具挑战性的多跳生成任务（NarrativeQA），该任务要求模型在上下文中推理，收集和合成不相交的信息以生成答案。这种类型的多步推理通常还需要理解隐含的关系，人类通过外部背景常识知识来解决这些关系。我们首先提出了一个强大的生成基线，使用多注意力机制执行多跳推理和指针生成器解码器合成的答案。该模型比以前的生成模型表现得更好，并且与当前最先进的跨度预测模型具有竞争力。接下来，我们将介绍一种新的系统，用于通过逐点互信息和基于词频的评分函数从ConceptNet中选择接地多跳关系常识信息。最后，我们有效地使用这个提取的常识信息，以填补上下文跳之间的推理差距，使用选择性门控注意力机制。这显著提高了模型的性能（也通过人工评估进行了验证），为任务建立了新的最先进技术。我们还展示了有希望的初步结果，我们的背景知识增强的泛化能力，通过展示QAngaroo WikiHop，另一个多跳推理数据集的一些改进。
2019-06-01 cs.AI cs.CL
Measuring and Narrowing the Compositionality Gap in Language Models
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；MosaicML（MosaicML公司）；Meta AI Research（Meta人工智能研究院）；Allen Institute for AI（艾伦人工智能研究所）
研究测量了语言模型在组合推理中的组合性差距，发现模型规模增大并不能缩小该差距，并提出了self-ask方法结合搜索引擎显著提升多跳问答准确性。
2023-10-17 cs.CL
MARCH: Evaluating the Intersection of Ambiguity Interpretation and Multi-hop Inference
Chung-Ang University（Chung-Ang 大学）；Adobe Research（Adobe 研究）
本文提出MARCH基准，通过多LLM验证和人工标注，包含2209个多跳歧义问题，揭示了当前模型在结合歧义解决与多步推理上的挑战，并提出CLARION框架提升推理系统鲁棒性。
2026-04-15 cs.AI cs.CL
Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社NTT媒体智能实验室）；NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
基于文本信息的问答在阅读理解中的应用已经引起了广泛的关注。本研究的重点是可解释的多跳问答任务，它要求系统通过推理和收集参考文本的不相交片段来返回带有证据句子的答案。它提出了用于证据提取的查询集中提取器（QFE）模型，并将多任务学习与QA模型结合使用。QFE受抽取式摘要模型的启发，与现有的独立抽取每个证据句的方法相比，该方法利用带有注意力机制的RNN对问题句进行顺序抽取。它使QFE能够考虑证据句之间的依赖关系，并覆盖问题句中的重要信息。实验结果表明，具有简单RC基线模型的QFE在HotpotQA上实现了最先进的证据提取分数。虽然是为RC设计的，但它也在FEVER上实现了最先进的证据提取分数，FEVER是一个大型文本数据库上的识别文本蕴涵任务。
2019-05-29 cs.CL
KCS: Diversify Multi-hop Question Generation with Knowledge Composition Sampling
Harbin Institute of Technology（哈尔滨工业大学）；MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）科技有限公司）；National Key Laboratory of Smart Farm Technologies and Systems（智慧农场技术与系统全国重点实验室）
本文提出KCS框架，通过采样不同知识组合提升多跳问题生成的多样性，改进知识组合选择的准确率，并在HotpotQA和2WikiMultihopQA数据集上提升数据增强效果。
2026-04-11 cs.CL
MQA-KEAL: Multi-hop Question Answering under Knowledge Editing for Arabic Language
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；King AbdulAziz University（阿卜杜勒阿齐兹国王大学）；University of Science and Technology, China（中国科学技术大学）；Shenzhen University（深圳大学）
针对阿拉伯语多跳问答下的知识编辑，提出MQA-KEAL方法，通过外部记忆存储知识并分解问题，显著优于基线模型。
2024-09-18 cs.CL
ILDAE: Instance-Level Difficulty Analysis of Evaluation Data
Arizona State University（亚利桑那州立大学）
掌握试题的难易程度可以帮助教师通过精心选择的问题快速评估学生的潜力，通过修改琐碎和困难的问题来提高考试质量。我们能在NLP中提取实例难度的好处吗？为此，我们在23个数据集的大规模设置中进行了实例级难度评估数据分析（ILDAE），并展示了其五个新应用：1）以较少的实例进行高效而准确的评估，节省计算成本和时间，2）通过修复错误和琐碎的实例来提高现有评估数据集的质量，3）基于应用需求选择最佳模型，4）分析数据集特征以指导未来的数据创建，5）可靠地估计域外性能。这些应用程序的综合实验产生了几个有趣的发现，例如使用仅5%实例（通过ILDAE选择）的评估与使用完整数据集的评估的Kendall相关性高达0.93，并且使用难度分数计算加权准确性导致与域外性能的相关性提高了5.2%。我们发布了难度分数，并希望我们的分析和发现将更多地关注这个重要但尚未充分研究的领域，即在评估中利用实例难度。
2022-03-09 cs.AI cs.CL cs.LG
II-MMR: Identifying and Improving Multi-modal Multi-hop Reasoning in Visual Question Answering
The Ohio State University（俄亥俄州立大学）；Amazon AGI（亚马逊AGI）；University of Minnesota（明尼苏达大学）
本文提出II-MMR方法，通过答案预测引导CoT提示和知识三元组引导提示识别并改进VQA中的多模态多跳推理，在GQA和A-OKVQA基准上验证了其在零样本和微调设置下的有效性。
2024-06-03 cs.CL cs.CV
Exploring the Meta-level Reasoning of Large Language Models via a Tool-based Multi-hop Tabular Question Answering Task
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本文通过设计基于工具的多跳表格问答任务，探索大型语言模型的元级推理能力，发现其在任务分解和工具选择方面表现良好，但在数学运算和任务理解上存在不足。
2026-01-12 cs.CL
CraftAssist Instruction Parsing: Semantic Parsing for a Minecraft Assistant
Facebook AI Research（脸书人工智能研究院）
我们提出了一个大规模的语义解析数据集专注于与Minecraft中的代理进行预防驱动的通信。我们描述的数据汇集过程中，产生额外的35K人类生成的指令与他们的语义注释。我们报告了三个基准模型的性能，发现虽然这种大小的数据集可以帮助我们训练一个可用的指令解析器，但它仍然带来了有趣的泛化挑战，我们希望这将有助于开发更好，更强大的模型。
2019-04-17 cs.AI cs.CL
Query-Focused Retrieval Heads Improve Long-Context Reasoning and Re-ranking
Princeton Language and Intelligence, Princeton University（普林斯顿语言与智能研究所，普林斯顿大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出通过查询相关注意力识别 QRHead，并基于其累积注意力质量构建 QRRetriever，在长上下文多跳推理和 BEIR 零样本重排序中取得显著提升。
2025-09-28 cs.CL
iQUEST: An Iterative Question-Guided Framework for Knowledge Base Question Answering
Department of Computer Science and Engineering（计算机科学与工程系）
iQUEST通过迭代分解复杂查询和集成图神经网络，提升多跳知识库问答的推理准确性与连贯性。
2026-02-16 cs.AI cs.CL
When Iterative RAG Beats Ideal Evidence: A Diagnostic Study in Scientific Multi-hop Question Answering
Faculty of Engineering, McMaster University, Canada（麦斯特大学工程学院，加拿大）；BASF Canada Inc., Canada（巴斯夫加拿大公司，加拿大）
通过化学多跳问答数据集，诊断发现迭代检索-推理循环在科学领域显著优于静态RAG上限，揭示了阶段式检索的优势与失败模式。
2026-08-03 cs.AI cs.CL cs.IR
SYGMA: System for Generalizable Modular Question Answering OverKnowledge Bases
IBM Research（IBM研究院）
涉及复杂推理的知识库问答（KBQA）任务正在成为一个重要的研究方向。然而，大多数KBQA系统的斗争与概括性，特别是在两个方面：（a）跨多个推理类型，其中数据集和系统主要集中在多跳推理，（b）跨多个知识库，其中KBQA方法是专门调整到一个单一的知识库。在本文中，我们提出了SYGMA，一个模块化的方法，促进跨多个知识库和多个推理类型的泛化能力。具体来说，SYGMA包含三个高级模块：1）知识库不可知问题理解模块，它在知识库中是通用的; 2）规则支持额外的推理类型;我们证明了我们的系统的有效性，属于两个不同的知识库，DBpedia和Wikidata的数据集进行评估。此外，为了证明扩展到其他推理类型，我们评估了多跳推理数据集和一个新的时间KBQA基准数据集维基数据，命名为TempQA-WD 1，本文介绍。我们表明，我们的推广方法在DBpedia和Wikidata上的多个数据集上具有更好的竞争性能，这些数据集需要多跳和时间推理
2021-09-28 cs.AI cs.CL
Content associations with answer selection and engagement in supply chain community question answering
本研究以雅知惠物流相关社区问答语料为对象，探究名词及语义名词簇与最优答案选择、问题参与度的关联，发现两类名词分别对应不同结果，构建了该领域的相关描述性图谱。
2026-10-16 cs.CL cs.SI
OThink-SRR1: Search, Refine and Reasoning with Reinforced Learning for Large Language Models
Shenzhen University（深圳大学）；OPPO Research Institute（OPPO研究院）
OThink-SRR1通过强化学习训练的迭代搜索-细化-推理流程，有效解决复杂多跳问题中的检索噪声干扰和计算成本问题，实验表明其在多跳问答基准上准确率优于现有方法。
2026-03-27 cs.AI cs.CL
