S$^3$HQA: A Three-Stage Approach for Multi-hop Text-Table Hybrid Question Answering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对文本-表格混合多跳问答,提出三阶段框架S3HQA,含检索器、选择器和生成式推理器,解决噪声标注与异构信息利用问题,在完整数据集上超越所有基线并位居HybridQA榜首。
2024-06-25 cs.CL
JEPA-Reasoner: Decoupling Latent Reasoning from Token Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
JEPA-Reasoner通过解耦潜在推理与标记生成,提升模型在复杂推理任务中的准确率和鲁棒性。
2026-01-28 cs.CL
Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought
Center for Data Science, New York University(纽约大学数据科学中心)
大语言模型(LLM)在给出思维链提示(具有中间推理步骤的示例)的情况下显示出了卓越的推理能力。现有的基准通过评估数学推理等下游任务的准确性来间接测量推理能力。然而,目前还不清楚这些模型是如何获得答案的,以及它们是否依赖于简单的数学推理,而不是生成的思维链。为了系统地探索LLM的推理能力,我们提出了一个新的合成问答数据集称为PrOntoQA,其中每个例子都是从一阶逻辑表示的合成世界模型生成的。这使我们能够将生成思维链解析为符号证明以进行形式分析。我们对InstructGPT和GPT-3的分析表明,LLM非常有能力做出正确的个人演绎步骤,因此通常能够推理,即使在虚构的环境中。然而,他们在证明计划方面有困难:当有多个有效的演绎步骤可用时,他们无法系统地探索不同的选项。
2023-03-02 cs.CL
Neural-Symbolic Commonsense Reasoner with Relation Predictors
The University of Queensland(昆士兰大学);Monash University(莫纳什大学);The University of New South Wales(新南威尔士大学)
常识推理的目的是将从常识知识图谱(CKG)中检索到的常识事实集合合并,以得出关于普通情况的结论。常识知识的动态本质要求模型能够在新情况下执行多跳推理。该特征还导致具有大规模稀疏知识图谱,其中需要这样的推理过程来预测新事件之间的关系。然而,现有的方法在这方面是有限的,考虑CKG作为一个有限的事实集,从而使他们不适合推理新的看不见的情况和事件。在本文中,我们提出了一个神经符号推理机,这是能够推理的大规模动态CKG。CKG推理的逻辑规则是在模型训练过程中学习的。除了提供可解释的解释外,学习的逻辑规则有助于将预测推广到新引入的事件。在CKG上的链接预测任务的实验结果证明了我们的模型的有效性,优于国家的最先进的模型。
2021-05-14 cs.AI cs.CL
Making Large Language Models Better Reasoners with Step-Aware Verifier
Microsoft Research Asia(微软亚洲研究院);Microsoft Corporation(微软公司);Peking University(北京大学)
提出DIVERSE方法,通过生成多样化推理路径、加权投票过滤错误答案及逐步验证推理步骤,显著提升了大型语言模型在GSM8K等推理基准上的性能。
2023-05-24 cs.AI cs.CL
Are Language Models Consequentialist or Deontological Moral Reasoners?
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Washington(华盛顿大学);University of Zürich(苏黎世大学);University of Michigan(密歇根大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文针对LLMs的道德推理过程进行大规模分析,利用超600个电车难题探针,引入道德理由分类法区分后果主义与义务论,发现思维链偏向义务论而事后解释转向后果主义,为高风险环境的安全部署提供基础。
2025-10-12 cs.CL
Conversational Multi-Hop Reasoning with Neural Commonsense Knowledge and Symbolic Logic Rules
Facebook(脸书);EPFL(洛桑联邦理工学院);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
会话代理所面临的挑战之一是他们无法识别用户命令的未陈述假设,这对于人类来说是一项微不足道的任务,因为他们的常识。在本文中,我们提出了一个用于会话代理的零射击(zero-shot)常识推理系统,试图实现这一目标。我们的推理器揭示了用户命令中未声明的假设,这些用户命令满足一个通用模板,即if-(state),then-(action),because-(goal)。我们的推理机使用一个国家的最先进的基于转换器的生成常识知识库(KB)作为其背景知识的来源进行推理。我们提出了一种新的和迭代的知识查询机制,提取多跳推理链的神经知识库,使用符号逻辑规则,显着减少搜索空间。与迄今为止收集的任何知识库类似,我们的常识知识库容易丢失知识。因此,我们提出了对话式引出人类用户与我们的新的动态问题生成策略,生成和呈现上下文查询人类用户的缺失的知识。我们通过对人类用户的用户研究来评估该模型,与SOTA相比,该模型的成功率高出35%。
2021-09-17 cs.AI cs.CL cs.LG
Simple yet Effective Bridge Reasoning for Open-Domain Multi-Hop Question Answering
University of California, Santa Barbara(加州大学圣巴巴拉分校);IBM Research(IBM研究院)
开放域环境下多跳问答(QA)的一个关键挑战是从大型语料库中准确地检索支持段落。关于开放域QA的现有工作通常依赖于现成的信息检索(IR)技术来检索\textbf{answer passages},即,包含地面实况答案的段落。然而,基于IR的方法对于多跳问题是不够的,因为第二跳或进一步跳的主题没有被问题明确地覆盖。为了解决这个问题,我们引入了一个新的子问题的开放域多跳问答,其目的是识别桥梁(\emph{i.e.},锚链接到答案通道)从上下文的一组开始段落的阅读理解模型。该模型\textbf{bridge reasoner}使用弱监督信号进行训练,并为\textbf{passage reader}生成候选答案通道以提取答案。在完整的wiki HotpotQA基准测试中,我们将基线方法显著改进了14点F1。在不使用任何内存效率低下的上下文嵌入,我们的结果也是具有竞争力的国家的最先进的应用BERT在多个模块。
2019-11-01 cs.CL
Subgraph Retrieval Enhanced Model for Multi-hop Knowledge Base Question Answering
Renmin University of China(中国人民大学);Tsinghua University(清华大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
知识库问答(KBQA)检索子图更容易推理的最新作品。一个期望的子图是至关重要的,因为一个小的可能会排除答案,但一个大的可能会引入更多的噪音。然而,现有的检索要么是启发式的,要么与推理交织在一起,导致在部分子图上进行推理,这增加了中间监督缺失时的推理偏差。本文提出了一个可训练的子图检索器(SR)解耦的后续推理过程,这使得一个即插即用的框架,以增强任何面向子图的KBQA模型。大量的实验表明,SR实现了显着更好的检索和QA性能比现有的检索方法。通过弱监督的预训练以及端到端的微调,SRl在与NSM(一种面向子图的推理器)相结合时,实现了新的最先进的性能,用于基于嵌入的KBQA方法。
2022-07-27 cs.CL
D$^2$Plan: Dual-Agent Dynamic Global Planning for Complex Retrieval-Augmented Reasoning
Peking University(北京大学)
D$^2$Plan通过双智能体协作提升复杂检索增强推理的连贯性和抗干扰能力。
2026-01-13 cs.CL
TS-Reasoner: Aligning Time Series Foundation Models with LLM Reasoning
University of Maryland, College Park(马里兰大学学院公园分校)
TS-Reasoner通过两阶段训练将时间序列基础模型与大语言模型对齐,在多个基准上性能优于同类模型且数据效率更高,解决了时间序列模型推理能力不足的问题。
2026-08-21 cs.AI cs.CL
QACHECK: A Demonstration System for Question-Guided Multi-Hop Fact-Checking
MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);National University of Singapore(新加坡国立大学)
QACHECK系统通过生成关键问题引导多跳推理,实现透明可解释的事实核查,包含五个模块,输出详细报告和证据来源。
2023-10-11 cs.CL
Making Large Language Models Better Reasoners with Alignment
Peking University(北京大学);The University of Hong Kong(香港大学);Tencent Cloud AI(腾讯云人工智能)
针对微调LLM在推理中评估错位的问题,提出对齐微调范式,通过约束对齐损失校准正负COT分数,提升推理性能。
2023-09-05 cs.AI cs.CL cs.LG
Large Language Models Are Also Good Prototypical Commonsense Reasoners
Zhejiang University(浙江大学);Northeastern University(东北大学);Ant Group(蚂蚁集团)
本文通过半自动设计任务相关、支持性证据生成和多样化路径解码等提示策略,在无需微调的情况下使大型语言模型在ProtoQA等常识推理基准上取得新的最优结果,并提升了模型可解释性。
2023-09-22 cs.AI cs.CL
Large Language Models are Zero-Shot Reasoners
The University of Tokyo(东京大学);Google Research(谷歌研究院)
预训练的大语言模型(LLM)被广泛应用于自然语言处理(NLP)的许多子领域,并且通常被称为具有特定任务样本的优秀Few-Shot学习器。值得注意的是,思维链(CoT)提示,最近的技术,通过一步一步的答案的例子引出复杂的多步推理,实现了最先进的性能在算术和符号推理,困难的系统2的任务,不遵循标准的缩放定律的LLM。虽然这些成功通常归因于LLM的少样本学习能力,但我们通过在每个答案之前简单地添加“让我们一步一步思考”来证明LLM是体面的zero-shot推理机。实验结果表明,我们的零射击CoT,使用相同的单一提示模板,显着优于zero-shot LLM性能在不同的基准推理任务,包括算术(MultiArith,GSM 8 K,AQUA-RAT,SVAMP),符号推理(最后一封信,硬币翻转),以及其他逻辑推理任务(日期理解,跟踪洗牌对象),没有任何手工制作的Few-Shot的例子,例如,使用大型InstructGPT模型,将MultiArith的准确度从17.7%提高到78.7%,将GSM 8 K的准确度从10.4%提高到40.7%(text-davinci-002),以及另一个现成的大型模型540 B参数PaLM的类似改进幅度。这种单一提示在非常多样化的推理任务中的多功能性暗示了LLM的未开发和未充分研究的基本zero-shot能力,这表明可以通过简单的提示提取高水平的多任务广泛的认知能…
2023-01-29 cs.AI cs.CL cs.LG
Towards a Universal Causal Reasoner
The University of Chicago(芝加哥大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出UniCo数据生成框架,覆盖Pearl因果阶梯的18种查询类型,将符号示例转化为代码和自然语言,通过监督微调显著提升LLM的因果推理能力和推理忠实度。
2026-05-24 cs.AI cs.CL cs.LG
Mini-Omni-Reasoner: Token-Level Thinking-in-Speaking in Large Speech Models
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Tencent(腾讯)
针对大型语音模型顺序式推理导致响应延迟的问题,提出Mini-Omni-Reasoner框架,在词元级交错静默推理与语音响应,并构建Spoken-Math-Problems-3M数据集,在Spoken-MQA上实现算术推理+19.1%、上下文理解+6.4%的提升且零解码延迟。
2025-09-20 cs.AI cs.CL cs.LG
Breaking Chains: Unraveling the Links in Multi-Hop Knowledge Unlearning
KAIST AI(韩国科学技术院人工智能学院)
本文针对现有多跳知识遗忘方法在中间跳被遗忘时无法彻底移除知识的问题,提出基于不确定性的MUNCH框架,通过分解多跳查询并利用模型不确定性来增强遗忘效果,且可与现有遗忘技术灵活集成。
2024-10-17 cs.CL
Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Huawei Edinburgh Research Centre(华为爱丁堡研究中心);The Chinese University of Hong Kong(香港中文大学)
针对多跳KGQA的子图检索需求,提出将子图检索建模为小语言模型的条件生成任务,用关系序列特殊token表示子图,小模型即可取得媲美大模型的检索效果,3B模型搭配LLM读取器还刷新了两个基准的端到端SOTA性能。
2024-10-08 cs.CL
Multi-step Entity-centric Information Retrieval for Multi-Hop Question Answering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院);Google Research(谷歌研究院)
多跳问答(QA)需要一个信息检索(IR)系统,该系统可以找到回答问题所需的支持证据\emph{multiple},这使得检索过程非常具有挑战性。本文介绍了一种IR技术,它使用的信息实体存在于最初检索的证据,学习“\emph{hop}”到其他相关的证据。在设置中,超过\textbf{5 million}维基百科的段落,我们的方法导致检索性能显着提高。检索到的证据还提高了现有QA模型(未经任何培训)在\textbf{10.59} F1的\hotpot基准测试中的性能。
2019-09-17 cs.CL
Few-Shot Data Synthesis for Open Domain Multi-Hop Question Answering
Meta
提出一种仅需不到10对标注数据的少样本数据合成框架,通过合成数百万多跳问答微调小模型,使其在参数量仅约三分之一时即可媲美GPT-3.5的性能。
2024-02-12 cs.CL
Generative Context Pair Selection for Multi-hop Question Answering
University of California, Irvine(加利福尼亚大学尔湾分校);Amazon Web Services(亚马逊云服务);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
组合推理任务,如多跳问答,需要做出潜在的决定,以获得最终的答案,给定的问题。然而,众包数据集通常只捕获底层任务分布的一部分,这可能会在执行组合推理的模型中引起意想不到的偏差。此外,区分训练的模型利用这些偏差来获得更好的表现,而不需要学习正确的推理方式,因为它们不需要关注整个问题表示(条件变量)来估计答案的可能性。在这项工作中,我们提出了一个生成的上下文选择模型的多跳问答的原因如何给定的问题可能已经产生了一个上下文对。虽然与最先进的回答性能相当,但我们提出的生成通道选择模型在对抗性保留集上具有更好的性能(比基线高4.9%),这测试了模型的多跳推理能力的鲁棒性。
2021-04-18 cs.CL
Making Language Model a Hierarchical Classifier
Geely AI Lab(地平线AI实验室);Tsinghua University(清华大学)
本文提出 HdLM 分层解码器架构,通过将语言头复制并微调至中间层实现多层同时解码,在分类、生成和认知测试中取得最优表现。
2025-09-28 cs.AI cs.CL
Furthest Reasoning with Plan Assessment: Stable Reasoning Path with Retrieval-Augmented Large Language Models
Nanjing University(南京大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文针对多跳问答中检索与大语言模型迭代交互导致的误差累积问题,提出FuRePA流程,通过最远推理从零生成思维链并利用计划评估器筛选计划,在多个数据集上显著提升答案准确率。
2023-09-22 cs.CL
Empower Nested Boolean Logic via Self-Supervised Curriculum Learning
Shanghai Jiao Tong University(上海交通大学);Soochow University(苏州大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文针对语言模型在多重嵌套布尔逻辑上表现不佳的问题,提出了自监督学习方法CLR,通过逐步增加数据中的嵌套逻辑链难度进行课程式训练,显著提升了模型在长距离复杂逻辑上的泛化能力,并促进了一般逻辑任务的性能。
2023-12-31 cs.CL
RVISA: Reasoning and Verification for Implicit Sentiment Analysis
Hong Kong Polytechnic University(香港理工大学);University of Technology Sydney(悉尼科技大学);Lingnan University(岭南大学);Education University of Hong Kong(香港教育大学)
针对隐式情感缺乏显著提示词的问题,提出 RVISA 两阶段框架,结合 DO LLM 生成三跳推理理据、微调 ED LLM 并加入验证机制,在两个基准上达到 SOTA。
2024-07-02 cs.AI cs.CL
Optimism, Expectation, or Sarcasm? Multi-Class Hope Speech Detection in Spanish and English
The University of Punjab(旁遮普大学);Texas Tech University(德克萨斯理工大学)
本文提出多语言细粒度希望言论数据集PolyHope V2,区分四种希望子类型,并通过实验证明微调transformer在检测细微希望类别和讽刺方面优于GPT-4和Llama 3等大语言模型。
2025-05-05 cs.CL
Retrieval--Reasoning Processes for Multi-hop Question Answering: A Four-Axis Design Framework and Empirical Trends
School of Computing and Information, University of Pittsburgh(计算与信息学院,匹兹堡大学);Google Cloud AI Research(谷歌云人工智能研究)
本文提出四维设计框架,分析多跳问答系统中检索-推理过程的执行计划、索引结构、控制策略和停止标准,揭示有效性、效率与证据忠实度的权衡,并指出结构感知规划、可转移控制策略和鲁棒停止是未来挑战。
2026-01-02 cs.CL
Making Implicit Premises Explicit in Logical Understanding of Enthymemes
University College London(伦敦大学学院)
本文提出了一种整合大型语言模型和神经符号推理器的管道,用于将隐含前提显式化并解码逻辑蕴含。
2026-08-20 cs.AI cs.CL
HyperProve: Answer-Guided Hypergraph Expansion for Multi-Hop Question Answering
Hanoi University of Science and Technology(河内科技大学);Monash University(莫纳什大学);University of Oregon(俄勒冈大学)
HyperProve通过将问题分解与答案引导的超图扩展相结合,实现状态化、以事实为中心的检索,在多跳问答基准上显著提升答案准确率和F1。
2026-09-15 cs.CL
DMRM: A Dual-channel Multi-hop Reasoning Model for Visual Dialog
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tencent Inc.(腾讯公司);University of Chinese Academy of Sciences(中国科学院大学)
视觉对话是一项视觉语言任务,需要人工智能智能体与基于图像的人类进行对话。它仍然是一个具有挑战性的任务,因为它需要代理完全理解一个给定的问题,然后才能做出适当的反应,不仅从文本对话历史,而且从视觉接地信息。而以前的模型通常利用单跳推理或单通道推理来处理这种复杂的多模态推理任务,这在直观上是不够的。在本文中,我们因此提出了一个新的和更强大的双通道多跳推理模型的可视化对话,命名为DMRM。DMRM同步捕获对话历史和图像中的信息,通过利用双通道推理来丰富问题的语义表示。具体地,DMRM保持双通道以通过每个通道中的多跳推理过程来获得问题和历史感知图像特征以及问题和图像感知对话历史特征。此外,我们还设计了一个有效的多模态注意,以进一步增强解码器,以产生更准确的响应。在VisDial v0.9和v1.0数据集上的实验结果表明,该模型是有效的,并优于比较模型的显着保证金。
2019-12-18 cs.CL
HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning
Ant Group(蚂蚁集团);NLPR, MAIS, CASIA(中国科学院自动化研究所模式识别国家重点实验室、多模态人工智能系统实验室)
研究针对多跳搜索增强智能体的弃权问题,构建首个可控基准HopRefusalBench,经实验发现前沿模型弃权能力存在显著不足,为相关可靠性改进提供基础。
2026-08-04 cs.CL
Robust Knowledge Editing via Explicit Reasoning Chains for Distractor-Resilient Multi-Hop QA
Shanghai Jiao Tong University(上海交通大学);The University of Sydney(悉尼大学);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Nanyang Technological University(南洋理工大学)
针对现有大语言模型知识编辑方法在多跳噪声场景下失效的问题,提出基于推理链的端到端编辑框架Reason-KE,通过四阶段结构化推理过滤干扰项,在多跳问答任务上实现了鲁棒高效的知识更新效果。
2025-09-01 cs.CL
KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification and Reasoning Abilities of Language Models
Huawei Poisson Laboratory(华为泊松实验室);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Hong Kong University of Science and Technology(香港科技大学)
先前的工作显示了预训练的语言模型(PLM)存储大量事实知识的巨大潜力。然而,为了弄清楚PLM是否可以作为可靠的知识源并用作替代知识库(KB),我们需要进一步探索PLM的一些关键特性。首先,知识记忆和识别能力:传统知识库可以存储各种类型的实体和关系; PLM是否具有存储不同类型知识的高知识容量?第二,推理能力:一个合格的知识源不仅应该提供事实的集合,而且应该支持一个符号推理器。PLM能否根据事实之间的相关性获得新的知识?为了评估这些功能的PLM,我们提出了一个基准测试,命名为知识化,识别和推理测试(KMIR)。KMIR涵盖3种知识类型,包括一般知识,特定领域知识和常识,并提供184,348个精心设计的问题。在KMIR上对各种有代表性的预训练语言模型进行的初步实验揭示了许多有趣的现象:1)PLM的记忆能力更多地取决于参数的数量而不是训练方案。2)当前的PLM正在努力记住这些事实。3)模型压缩技术虽然很好地保留了知识量,但对模型的识别和推理能力有一定的影响。我们希望KMIR可以促进PLM的设计,作为更好的知识来源。
2022-02-28 cs.CL
Ethical Reasoning over Moral Alignment: A Case and Framework for In-Context Ethical Policies in LLMs
Microsoft Corporation(微软公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出用通用伦理推理能力替代道德对齐,开发整合道德困境与原则的框架,实验显示GPT-4近乎完美但仍有西方价值观偏见。
2023-10-11 cs.AI cs.CL
Reason Through the Latent! Making Latent Visual Reasoning Necessary
Korea University(高丽大学);AIGEN Sciences(AIGEN 科学公司)
本文提出因果视觉循环推理(CVRR),通过强制循环计算作为图像条件路径,确保潜在视觉推理真正依赖视觉信息,并在多个基准上验证其有效性。
2026-09-14 cs.AI cs.CL cs.CV
How Do LLMs Perform Two-Hop Reasoning in Context?
Department of Statistics, UC Berkeley(统计学系,伯克利大学);Department of EECS, UC Berkeley(电子工程与计算机科学系,伯克利大学)
研究发现在存在干扰项时LLM两跳推理会失败,但少量微调即可实现近乎完美的准确率,作者通过逆向工程3层Transformer揭示了其从随机猜测到结构化顺序查询机制的相变,并用三参数纯注意力网络捕捉了该动态。
2025-05-28 cs.AI cs.CL
Multi-hop Reading Comprehension through Question Decomposition and Rescoring
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多跳阅读理解(RC)需要跨多个段落进行推理和聚合。我们提出了一个系统的多跳RC分解成更简单的子问题,可以回答现成的单跳RC模型的组成问题。由于这种分解的注释是昂贵的,我们将子问题生成重新定义为跨度预测问题,并表明我们的方法仅使用400个标记的示例进行训练,生成的子问题与人类创作的子问题一样有效。我们还引入了一种新的全局重新评分方法,该方法考虑每个分解(即子问题及其答案)以选择最佳最终答案,从而大大提高了整体性能。我们在HotpotQA上的实验表明,这种方法实现了最先进的结果,同时以子问题的形式为其决策提供了可解释的证据。
2019-06-30 cs.AI cs.CL
A Graph-Retrieval-Augmented Generation Framework Enhances Decision-Making in the Circular Economy
Singapore Institute of Manufacturing Technology (SIMTech)(新加坡制造技术研究所);Agency for Science, Technology and Research (A*STAR)(科学、技术及研究局);The University of Sydney(悉尼大学);Nanyang Technological University(南洋理工大学);National University of Singapore(国立新加坡大学)
本文提出CircuGraphRAG框架,通过领域知识图谱增强LLM在循环经济中的推理能力,显著提升问答准确性与效率,为低碳资源决策提供可靠支持。
2025-06-01 cs.AI cs.CL cs.LG
Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments
University of Georgia(佐治亚大学);University of California, Merced(加州大学默塞德分校);Lehigh University(莱特大学);The University of Queensland(昆士兰大学);National University of Singapore(新加坡国立大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出基于UMLS的医学知识判断数据集MKJ,通过一跳二分类任务直接评估LLMs的医学事实记忆能力,并验证检索增强生成可提升事实准确性。
2025-08-19 cs.CL cs.LG
Rationale Distribution Distillation via Flow Matching for Distributional Continuous Latent Reasoning
Korea Advanced Institute of Science and Technology(韩国科学技术院)
该研究针对连续隐式推理的点值方法限制,提出理由分布蒸馏(RDD)方法,通过流匹配结合查询内混合提升答案覆盖,在高级数学任务上优于基线。
2026-10-15 cs.AI cs.CL
Leak-Resistant Unlearning: A New Benchmark for Evaluating Multi-Hop Reasoning Consistency and Recovery Robustness
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
本文提出新基准unlearning评估LLM遗忘的鲁棒性,实验发现现有遗忘方法易受多跳推理路径和恢复攻击影响,还探究了遗忘质量、鲁棒性与模型效用的权衡。
2026-08-06 cs.AI cs.CL
Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning
本文提出了一种基于端到端强化学习的框架,通过分块压缩和选择性记忆回溯实现高效长上下文推理,提升了多跳推理任务的准确性和效率。
2026-02-09 cs.AI cs.CL
Self-Assembling Modular Networks for Interpretable Multi-Hop Reasoning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
多跳QA需要一个模型来连接分散在长上下文中的多个证据来回答问题。最近提出的HotpotQA(Yang等人,2018)数据集由体现四种不同的多跳推理范例(两个桥接实体设置、检查多个属性和比较两个实体)的问题组成,使得单个神经网络处理所有四个问题具有挑战性。在这项工作中,我们提出了一个可解释的,基于神经网络的自组装神经模块网络(Hu et al.,2017年,2018年)的多跳推理,在那里我们设计了四个新的模块(查找,重新定位,比较,NoOp)来执行独特类型的语言推理。基于一个问题,我们的布局控制器RNN动态地推断一系列推理模块来构建整个网络。从经验上讲,我们表明,我们的动态,多跳模块化网络实现了显着的改进,静态,单跳基线(定期和对抗性评估)。我们通过三个分析进一步证明了我们的模型的可解释性。首先,控制器可以将多跳问题软分解为多个单跳子问题,以促进主网络的组合推理行为。其次,控制器可以预测符合人类专家设计的布局的布局。最后,中间模块可以通过处理来自控制器的子问题来推断连接两个远距离定位的支持事实的实体。
2019-10-30 cs.AI cs.CL cs.LG
TTQA-RS- A break-down prompting approach for Multi-hop Table-Text Question Answering with Reasoning and Summarization
University of Florida(佛罗里达大学)
本文提出TTQA-RS模型,通过分解提示、检索增强生成和表格-文本摘要,结合推理与子问题答案,在多跳表格-文本问答任务上以开源LLM取得最优性能。
2024-09-30 cs.CL cs.IR
Unveiling Causal Reasoning in Large Language Models: Reality or Mirage?
Intelligent Game and Decision Lab(智能游戏与决策实验室);National University of Defense Technology(国防科技大学);University of Melbourne(墨尔本大学);University of Sydney(悉尼大学);Hong Kong Baptist University(香港 Baptist 大学)
本文揭示LLMs仅能进行浅层一级因果推理而缺乏类人二级推理能力,提出结合通用知识与目标导向提示的G^2-Reasoner方法,显著提升了LLMs在新颖和反事实语境下的因果推理能力。
2025-06-26 cs.AI cs.CL cs.LG
Towards Rationality in Language and Multimodal Agents: A Survey
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学);Argonne National Laboratory(阿贡国家实验室)
本文综述语言与多模态智能体的理性研究,梳理多智能体、外部工具、符号推理及风险控制等增强方法,并指出挑战与未来方向。
2025-02-16 cs.AI cs.CL cs.CV
HOP: History-and-Order Aware Pre-training for Vision-and-Language Navigation
The University of Adelaide(阿德莱德大学);The Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学)
在视觉和语言导航(VLN)的一些最新研究中,已经采用了预训练。然而,以前的VLN预训练方法要么缺乏预测未来动作的能力,要么忽略了轨迹上下文,这对于贪婪的导航过程是必不可少的。在这项工作中,为了促进时空视觉-文本对应的学习以及智能体的决策能力,我们提出了一种新的历史和顺序感知的预训练范式(HOP),其具有VLN特定的目标,利用过去的观察结果并支持未来的动作预测。具体来说,除了常用的掩蔽语言建模(MLM)和轨迹指令匹配(TIM),我们设计了两个代理任务来建模时序信息:轨迹顺序建模(TOM)和组顺序建模(GOM)。此外,我们的导航动作预测也通过引入历史动作预测(APH)的任务,它考虑到历史视觉感知增强。四个下游VLN任务(R2 R,REVERIE,NDH,RXR)的广泛的实验结果表明,我们提出的方法相比,对几个国家的最先进的代理的有效性。
2022-03-22 cs.CL cs.CV
Theseus in the Graph: Towards Traceable Multi-Hop Graph Navigation
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对多跳知识图谱问答中推理路径不可见的问题,提出THESEUS框架,将任务重构为图导航,并扩充数据集、设计评估协议、改造现有智能体,使答案伴随可验证的显式推理路径。
2026-09-15 cs.CL cs.LG
Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning
Soochow University(苏州大学);Tencent Hunyuan Multimodal Department(腾讯混元多模态部)
研究长视频理解问题,提出荷马分层在线记忆探索与推理框架,其记忆反映视频多尺度结构,智能推理器按人类方式探索记忆,通过多轮检索组合答案,性能优于此前最佳方法。
2026-07-07 cs.AI cs.CL cs.CV