Exploiting Reasoning Chains for Multi-hop Science Question Answering
The Chinese University of Hong Kong(香港中文大学)
我们提出了一种新的链引导检索器-阅读器({ \tt CGR})框架来建模多跳科学问答的推理链。我们的框架能够执行可解释的推理,而不需要任何特定于语料库的注释,如地面实况推理链,或人类注释的实体提及。具体来说,我们首先从检索到的证据事实的抽象意义表示构造的语义图生成推理链。一个\textit{Chain-aware loss},涉及本地和全球链信息,也被设计成使生成的链作为远程监督信号,用于训练检索器,其中强化学习也被采用,以最大限度地提高推理链的效用。我们的框架允许检索器捕获一步一步的线索,整个推理过程中,这不仅是有效的两个具有挑战性的多跳科学QA任务,即OpenBookQA和ARC挑战,但也有利于解释。
2021-09-07 cs.CL
TreeRare: Syntax Tree-Guided Retrieval and Reasoning for Knowledge-Intensive Question Answering
University of Rochester(罗切斯特大学)
TreeRare通过语法树引导的检索与推理方法,提升知识密集型问答任务的性能。
2025-12-04 cs.CL
SCITAT: A Question Answering Benchmark for Scientific Tables and Text Covering Diverse Reasoning Types
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院);National University of Singapore(新加坡国立大学)
针对现有科学问答数据集推理类型有限且忽视表格与文本关联的问题,提出SciTaT基准,并设计结合多种推理方法的CaR基线,在SciTaT上平均提升12.9%。
2024-12-16 cs.CL
Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies
Tel Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所);University of Pennsylvania(宾夕法尼亚大学)
当前多跳推理数据集的一个关键限制是,其中明确提到了回答问题所需的步骤。在这项工作中,我们介绍StrategyQA,一个问答(QA)基准,其中所需的推理步骤是隐含在问题中,并应使用一种策略推断。这种设置的一个基本挑战是如何从众包工作者那里引出这样的创造性问题,同时涵盖广泛的潜在策略。我们提出了一个数据汇集程序,结合基于术语的启动,以激发注释,仔细控制注释人口,和对抗过滤,以消除推理捷径。此外,我们用(1)分解成回答它的推理步骤和(2)包含每个步骤答案的维基百科段落来注释每个问题。总体而言,StrategyQA包括2,780个示例,每个示例包括一个策略问题,其分解和证据段落。分析表明,StrategyQA中的问题简短,主题多样,涵盖广泛的策略。从经验上讲,我们表明人类在这项任务上表现良好(87%),而我们的最佳基线达到了$\sim$ 66%的准确率。
2021-01-06 cs.CL
CRAFT: A Unified Counterfactual Reasoning Framework for Tabular Question Answering and Fact Verification
Xingchen AGI Lab,China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd(兴晨AGI实验室,中国电信人工智能技术(北京)有限公司)
提出CRAFT统一反事实推理框架,将表格问答和事实验证转化为双向验证过程,通过构建声明及其反事实变体并加权整合证据,显著提升复杂表格推理性能。
2026-06-05 cs.CL
Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering
University of Washington(华盛顿大学);Salesforce Research(Salesforce研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
在网络规模上搜索需要多跳推理的问题需要检索多个证据文档,其中一个文档通常与问题几乎没有词汇或语义关系。本文介绍了一种新的基于图的循环检索方法,该方法学习检索维基百科图上的推理路径来回答多跳开放域问题。我们的检索器模型训练一个递归神经网络,该网络通过对先前检索到的文档进行调节来学习顺序检索推理路径中的证据段落。我们的读者模型对推理路径进行排序,并提取出最佳推理路径中包含的答案跨度。在三个开放域QA数据集上的实验结果显示了最先进的结果,展示了我们方法的有效性和鲁棒性。值得注意的是,我们的方法在HotpotQA中实现了显着的改进,比之前的最佳模型高出14个点以上。
2020-02-14 cs.CL
LLM-based Discriminative Reasoning for Knowledge Graph Question Answering
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
本文提出READS方法,将知识图谱问答重构为判别式子任务并设计相应推理策略,以缓解大语言模型的幻觉问题,在WebQSP和CWQ上取得最优性能。
2025-03-07 cs.CL
ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering
University of California, Santa Barbara(加州大学圣巴巴拉分校);J.P. Morgan(摩根大通)
随着大型预训练语言模型的最新进展,研究人员在主要关注语言模式匹配的NLP任务中取得了创纪录的成绩。社区正在经历从如何建模语言到模仿人类复杂推理能力的挑战。在这项工作中,我们调查的应用领域的金融,涉及现实世界中,复杂的数值推理。我们提出了一个新的大规模数据集,ConvFinQA,旨在研究会话问答中的数值推理链。我们的数据集在建模现实世界对话中的长距离,复杂的数值推理路径方面提出了巨大的挑战。我们对神经符号方法和基于推理的方法进行了全面的实验和分析,以深入了解这两种方法的推理机制。我们相信我们的新数据集应该作为一个宝贵的资源,推动对现实世界的探索,复杂的推理任务作为下一个研究重点。我们的数据集和代码可在https://github.com/czyssrs/ConvFinQA上公开获取。
2022-10-07 cs.CL
From Representation to Reasoning: Towards both Evidence and Commonsense Reasoning for Video Question-Answering
Shanghai Jiao Tong University(上海交通大学)
视频理解在表示学习方面取得了很大的成功,如视频字幕、视频对象背景、视频描述性问答等。然而,现有的视频推理方法在视频推理方面仍存在一些问题,包括证据推理和常识推理。为了促进对视频推理的更深入的视频理解,我们提出了Cause-VidQA的任务,其中包括四种类型的问题,从场景描述(描述)到证据推理(解释)和常识推理(预测和反事实)。对于常识推理,我们通过回答问题和提供适当的理由来建立两步解决方案。通过对现有视频质量评估方法的大量实验,我们发现现有的视频质量评估方法描述能力强,但推理能力弱。我们希望Cause-VidQA能够指导视频理解从表示学习向更深层次推理的研究。数据集和相关资源可在\url{https://github.com/bcmi/Causal-VidQA.git}上获得。
2022-05-30 cs.CL cs.CV cs.MM
Open-domain Question Answering via Chain of Reasoning over Heterogeneous Knowledge
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
我们提出了一种新的开放域问答(ODQA)框架,回答单/多跳的问题,跨异构的知识源。我们的方法的关键新颖之处在于将中间模块引入到当前的检索器-读取器管道中。与以前的方法不同,这些方法仅仅依赖于检索器来孤立地收集所有证据,我们的中介对检索到的集合执行一系列推理。具体来说,我们的方法链接检索到的证据与其相关的全球范围内的图形,并将它们组织成一个候选列表的证据链。基于预训练的语言模型,我们的系统在两个ODQA数据集OTT-QA和NQ上实现了与维基百科的表格和段落相比具有竞争力的性能。特别是,我们的模型在OTT-QA上的表现大大优于先前的最先进技术,精确匹配分数为47.3(45%相对增益)。
2022-10-22 cs.CL
Improving Numerical Reasoning Skills in the Modular Approach for Complex Question Answering on Text
Monash University(莫纳什大学)
数字推理技能对于文本上的复杂问答(CQA)是必不可少的。它需要包括计数、比较、加法和减法在内的操作。一种成功的文本CQA方法,神经模块网络(NMN),遵循程序员-解释器范式,并利用专门的模块来执行组合推理。然而,国家独立网络框架在问题和段落中都没有考虑数字和实体之间的关系。我们提出了有效的技术,以提高NMN的数值推理能力,使解释器的问题意识和捕捉实体和数字之间的关系。在用于文本CQA的DROP数据集的同一子集上,实验结果表明,我们的添加比原始NMN的整体F1得分高出3.0分。
2021-09-06 cs.AI cs.CL
Reasoning in Vector Space: An Exploratory Study of Question Answering
Cornell University(康奈尔大学);Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
问答任务在分布式向量表示方面取得了显著的进展。在本文中,我们研究了最近提出的Facebook bAbI任务,其中包括20个不同类别的问题,需要复杂的推理。因为之前关于bAbI的工作都是端到端的模型,错误可能来自对语义的不完全理解或推理的某些步骤。为了更清晰的分析,我们提出了两个向量空间模型的启发张量积表示(TPR)进行知识编码和基于常识推理的逻辑推理。它们在所有类别上都达到了近乎完美的准确性,包括位置推理和路径查找,这对于大多数以前的方法来说都是困难的。我们假设,在这些类别的困难是由于与其他类别的单关系特性相比,多关系。我们的探索揭示了设计更复杂的数据集,并朝着将TPR的透明和可解释的形式主义整合到现有的学习范式中迈出了一步。
2016-02-26 cs.CL
SpartQA: : A Textual Question Answering Benchmark for Spatial Reasoning
Michigan State University(密歇根州立大学);Amazon(亚马逊);Allen Institute for AI(艾伦人工智能研究所)
本文提出了一个问答(QA)基准空间推理的自然语言文本,其中包含更现实的空间现象没有被以前的工作,是具有挑战性的国家的最先进的语言模型(LM)。我们提出了一种远程监控的方法,以改善这项任务。具体来说,我们设计的语法和推理规则,自动生成的视觉场景和相应的QA对的空间描述。实验表明,在这些自动生成的数据上进一步预训练LM可以显着提高LM的空间理解能力,这反过来有助于更好地解决两个外部数据集bAbI和boolQ。我们希望这项工作可以促进调查更复杂的模型,空间推理的文本。
2021-04-12 cs.AI cs.CL
Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering
Microsoft Research(微软研究院);Singapore Management University(新加坡管理大学);University of Pennsylvania(宾夕法尼亚大学)
本研究评估LLMs在金融表格问答中的数学推理能力,提出一种针对半结构化文档的新型提示技术,匹配或超越基线性能。
2025-10-09 cs.CL
Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering
Fudan University(复旦大学)
多跳推理需要聚合多个文档来回答一个复杂的问题。现有的方法通常将多跳问题分解为简单的单跳问题来求解,以说明可解释的推理过程。然而,他们忽略了每个推理步骤的支持事实,这往往会产生不准确的分解。在本文中,我们提出了一个可解释的逐步推理框架,将单跳支持句子识别和单跳问题生成在每个中间步骤,并利用当前跳下一个推理,直到推理出最终结果。我们采用一个统一的阅读器模型的中间跳推理和最终跳推理,并采用联合优化更准确和强大的多跳推理。我们在两个基准数据集HotpotQA和2WikiMultiHopQA上进行实验。结果表明,我们的方法可以有效地提高性能,也产生了一个更好的解释推理过程中没有分解监督。
2022-08-22 cs.CL
ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning
York University(约克大学);Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
图表在分析数据方面非常受欢迎。在探索图表时,人们经常会问各种复杂的推理问题,涉及几个逻辑和算术运算。他们通常也会在问题中提到图表的视觉特征。然而,大多数现有的数据集并不关注这样复杂的推理问题,因为它们的问题是基于模板的,答案来自固定的词汇表。在这项工作中,我们提出了一个大规模的基准测试,涵盖了9.6K人类书写的问题以及从人类书写的图表摘要生成的23.1K问题。为了解决我们的基准测试中涉及图表的视觉和逻辑推理的独特挑战,我们提出了两个基于transformer的模型,它们以统一的方式将图表的视觉特征和数据表结合起来来回答问题。虽然我们的模型在以前的数据集以及我们的基准测试中获得了最先进的结果,但评估也揭示了在回答复杂推理问题时面临的几个挑战。
2022-03-19 cs.CL
Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering
University of Southern California(南加州大学);Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
现有的关于用外部知识(例如,知识图谱)要么难以有效地对多跳关系进行建模,要么对模型的预测原理缺乏透明度。在本文中,我们提出了一种新的知识感知的方法,装备预训练的语言模型(PTLM)与多跳关系推理模块,命名为多跳图关系网络(MHGRN)。它对从外部知识图谱中提取的子图执行多跳、多关系推理。所提出的推理模块结合了基于路径的推理方法和图神经网络,以实现更好的可解释性和可扩展性。我们还在CommonsenseQA和OpenbookQA数据集上实证展示了其有效性和可扩展性,并通过案例研究解释了其行为。
2020-09-18 cs.CL cs.LG
A Numerical Reasoning Question Answering System with Fine-grained Retriever and the Ensemble of Multiple Generators for FinQA
Nanjing University(南京大学)
财务领域的数值推理--进行定量分析和汇总财务报告中的信息--可以大大提高业务效率,减少数十亿美元的成本。在这里,我们提出了一个数值推理问答系统,回答金融文本和表格数据源之间的数值推理问题,包括检索器模块,生成器模块和集成模块。具体来说,在检索器模块中,除了检索整行数据,我们创新地设计了一个单元检索器,检索黄金细胞,以避免将不相关的和相似的细胞在同一行的发生器模块的输入。在生成器模块中,我们利用多个生成器生成程序,这些程序是回答问题的操作步骤。最后,在集成模块中,我们集成多个程序,选择最好的程序作为我们的系统的输出。在FinQA竞赛的最终私有测试集上,我们的系统获得了69.79的执行准确率。
2022-06-17 cs.CL
Learning to Recover Reasoning Chains for Multi-Hop Question Answering via Cooperative Games
Queen’s University(女王大学);IBM Research(IBM研究院);UC Santa Barbara(加州大学圣巴巴拉分校);Beihang University(北京航空航天大学)
我们提出了从弱监督信号中学习恢复推理链的新问题,即,问答对我们提出了一个合作博弈的方法来处理这个问题,在其中如何选择的证据通道,以及如何选定的通道连接处理的两个模型,合作选择最有信心的链从一个大的候选人(从远程监督)。为了进行评估,我们基于两个多跳QA数据集(HotpotQA和MedHop)创建了基准测试;并为后者创建了手动标记的推理链。实验结果证明了该方法的有效性。
2020-04-06 cs.CL
Semantic Sentence Composition Reasoning for Multi-Hop Question Answering
Zhejiang University(浙江大学)
现有的多跳开放域问答系统由于缺乏足够的数据,需要根据每个问题有效地找出相关的支持事实。针对语义事实句检索和多跳上下文扩展的难题,提出了一种面向多跳问答任务的语义句子组合推理方法,该方法包括两个关键模块:多阶段语义匹配模块(MSSM)和事实句子组合模块(FSC).该方法将事实句和多阶段语义检索相结合,可以为模型训练和推理提供更全面的上下文信息。实验结果表明,我们的模型是能够纳入现有的预训练语言模型,并优于现有的SOTA方法的QASC任务的改进约9%。
2022-03-01 cs.AI cs.CL cs.IR
RISE: Reasoning Enhancement via Iterative Self-Exploration in Multi-hop Question Answering
University of Science and Technology of China(中国科学技术大学);Baidu Inc.(百度公司)
针对多跳问答中复杂推理和检索增强生成的局限性,提出RISE框架,通过问题分解、检索后阅读和自我批评的迭代自探索提升模型推理准确性与任务表现。
2025-05-28 cs.CL
Knowledge-enhanced Iterative Instruction Generation and Reasoning for Knowledge Base Question Answering
Peking University(北京大学)
多跳知识库问答(KBQA)的目的是在知识库中找到答案实体,该答案实体与问题中提到的主题实体相距若干跳。现有的基于检索的方法首先从问题中生成指令,然后使用它们来指导知识图谱上的多跳推理。由于在整个推理过程中指令是固定的,并且指令生成过程中不考虑知识图谱,因此模型一旦预测出中间实体错误,就无法修正错误。为了解决这个问题,我们提出了KBIGER(知识库迭代指令生成和推理),一种新颖的和有效的方法来生成动态的帮助下,推理图的指令。在推理之前,我们不生成所有的指令,而是考虑第(k-1)个推理图来构建第k个指令。通过这种方式,模型可以检查图中的预测,并生成新的指令来修改中间实体的错误预测。我们在两个多跳KBQA基准测试上进行了实验,实验结果表明,该方法的性能优于现有方法,成为最新的KBQA方法。进一步的实验表明,该方法能够检测中间实体的错误预测,并具有修正错误的能力。
2022-09-07 cs.CL
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
Purdue University(普渡大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
针对预训练语言模型难以组合事实进行多跳问答的问题,本文利用知识图谱随机游走并训练软提示,将多跳问题映射到答案路径,在两个 T5 模型上显著提升 2 跳推理性能。
2023-06-06 cs.AI cs.CL
Compositional Attention Networks for Interpretability in Natural Language Question Answering
Saama AI Research(萨马人工智能研究院)
MAC网是一个为视觉问答设计的合成注意网络。我们提出了一种改进的MAC网络结构的自然语言问答。问答通常需要语言理解和多步推理。MAC网独特的体系结构-存储和控制分离,有利于数据驱动的迭代推理。这使得它成为解决涉及逻辑推理的任务的理想候选人。我们的实验与20 bAbI任务证明了MAC网的价值作为一个数据高效和可解释的架构自然语言问答。MAC网络的透明性提供了一个高度粒度的视图,网络在回答查询时所采取的推理步骤。
2018-10-30 cs.AI cs.CL cs.LG
Graph Reasoning for Question Answering with Triplet Retrieval
University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon Inc.(亚马逊公司);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于三元组检索与重排序的图推理问答方法,通过从知识图谱中检索最相关三元组并与问题拼接输入语言模型,在 CommonsenseQA 和 OpenbookQA 上最高提升 4.6% 绝对准确率。
2023-05-30 cs.CL
A Graph-Guided Reasoning Approach for Open-ended Commonsense Question Answering
Baidu Research(百度研究院)
最近,用于多项选择常识问答(QA)的端到端训练模型已经取得了可喜的成果。然而,这样的问答系统不能直接应用于不提供答案候选的真实世界场景中。因此,最近发布了一个新的开放式常识推理(OpenCSR)基准挑战集,其中包含没有任何预定义选择的自然科学问题。在OpenCSR挑战集中,许多问题需要隐式多跳推理,并且具有很大的决策空间,这反映了这项任务的困难性。OpenCSR的现有工作主要集中在改进检索过程,从文本知识库中提取相关的事实句子,将重要和重要的推理任务排除在外。在这项工作中,我们扩展的范围,包括一个推理机,构建一个依赖于问题的开放知识图谱检索支持的事实的基础上,并采用顺序子图推理过程来预测答案。子图可以被看作是对预测的一个简洁而紧凑的图形解释。在两个OpenCSR数据集上的实验表明,该模型在基准OpenCSR数据集上取得了良好的性能.
2023-03-18 cs.CL cs.LG
IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering
Chung-Ang University(中央大学)
本文针对多跳问答中现有提示压缩方法无法捕捉多跳推理步骤的问题,提出无训练框架IterCOMP,经实验验证其可提升问答指标并减少token预算。
2026-08-17 cs.AI cs.CL
TRACE: An Experiential Framework for Coherent Multi-hop Knowledge Graph Question Answering
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Hebei University of Technology(河北工业大学);City University of Hong Kong(香港城市大学)
TRACE框架通过整合语言模型驱动的上下文推理与探索先验,提升多跳知识图谱问答的连贯性和鲁棒性,实验表明其优于现有方法。
2026-04-13 cs.CL
ReaRev: Adaptive Reasoning for Question Answering over Knowledge Graphs
University of Minnesota(明尼苏达大学)
知识图谱问答(KGQA)涉及使用自然语言查询从知识图谱(KG)中检索实体作为答案。挑战是学习对与问题相关的KG事实进行推理,这些事实遍历KG实体并导致问题答案。为了便于推理,问题被解码成指令,这些指令是用于指导KG遍历的密集问题表示。然而,如果派生的指令不完全匹配的基础KG信息,他们可能会导致推理不相关的上下文中。我们的方法,称为ReaRev,介绍了一种新的方式KGQA推理方面的指令解码和执行。为了改善指令解码,我们执行推理的自适应方式,其中KG感知信息用于迭代更新初始指令。为了改善指令执行,我们模拟宽度优先搜索(BFS)与图神经网络(GNNs)。BFS策略将指令视为一个集合,并允许我们的方法动态地决定它们的执行顺序。在三个KGQA基准测试上的实验结果证明了ReaRev与以前的最先进技术相比的有效性,特别是当KG不完整或当我们处理复杂问题时。我们的代码可在https://github.com/cmavro/ReaRev_KGQA上公开获取。
2022-10-24 cs.CL
Reasoning over Hierarchical Question Decomposition Tree for Explainable Question Answering
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司)
本文提出两阶段可解释问答框架RoHT,通过构建层次化问题分解树(HQDT)将复杂问题拆解为子问题并选择异构知识源,递归进行概率推理聚合知识以寻找最佳答案,在KQA Pro和Musique数据集上显著优于SOTA方法。
2023-05-24 cs.CL
MediQAl: A French Medical Question Answering Dataset for Knowledge and Reasoning Evaluation
Data Clinic, University Hospital of Nantes, France(南特大学医院数据诊所,法国);Nantes Université, École Centrale Nantes, CNRS, LS2N, France(南特大学,中央理工学院南特分校,国家科学研究中心,LS2N,法国)
本文提出MediQAl数据集,用于评估语言模型在事实性医学记忆和现实临床场景推理方面的能力,包含32,603个法语医学问题,涵盖41个医学科目,包含三种任务,通过14个大型语言模型的评估发现事实记忆与推理任务之间存在显著性能差距。
2025-07-28 cs.AI cs.CL
Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院);Amazon(亚马逊)
生成式问答(QA)模型生成问题的答案,或者仅仅基于模型的参数(闭卷设置),或者另外检索相关证据(开卷设置)。生成式QA模型可以回答一些相对复杂的问题,但它们这样做的机制仍然知之甚少。我们进行了几项研究,旨在更好地了解多跳推理能力的生成QA模型。首先,我们将多跳问题分解为多个相应的单跳问题,并发现QA模型在这些表面上相同的问题链上的答案明显不一致。其次,我们发现模型缺乏zero-shot多跳推理能力:当只在单跳问题上训练时,模型对多跳问题的泛化能力很差。最后,我们证明了通过两种方法来提高模型的zero-shot多跳推理能力是可能的,这两种方法通过对单跳问题的串联或逻辑形式(SPARQL)进行训练来近似真实的多跳自然语言(NL)问题。总之,这些结果表明,多跳推理不会在生成式QA模型中自然出现,但可以通过训练或建模技术的进步来鼓励。
2022-10-09 cs.CL
MuGER$^2$: Multi-Granularity Evidence Retrieval and Reasoning for Hybrid Question Answering
Harbin Institute of Technology(哈尔滨工业大学);JD AI Research(京东人工智能研究院)
混合问答(HQA)旨在回答异构数据的问题,包括表格和链接到表格单元格的段落。异构数据可以为HQA模型提供不同粒度的证据,例如,列、行、单元格和链接。传统的HQA模型通常检索粗粒度或细粒度的证据来推理答案。通过比较,我们发现粗粒度的证据更容易检索,但对推理机的贡献较小,而细粒度的证据则相反。为了保留不同粒度证据的优点,消除其缺点,我们提出了MuGER $^2$,一种多粒度证据检索和推理方法。在证据检索中,设计了一个统一的检索器,用于从异构数据中学习多粒度证据。在答案推理中,提出了一种证据选择器,用于根据学习到的多粒度证据为答案阅读器导航细粒度证据。在HybridQA数据集上的实验结果表明,MuGER $^2$显著提高了HQA性能.进一步的消融分析验证了检索和推理设计的有效性。
2022-10-19 cs.CL
Reasoning Chain Based Adversarial Attack for Multi-hop Question Answering
近年来,在具有挑战性的多跳QA任务方面取得了令人印象深刻的进展。然而,这些QA模型可能会失败时,面对一些干扰的输入文本和他们的可解释性进行多跳推理仍然不确定。以往的对抗攻击通常对整个问句进行编辑,这对于测试基于实体的多跳推理能力效果有限。提出了一种基于多跳推理链的对抗攻击方法。我们制定的多跳推理链从查询实体的答案实体在构造的图,这使我们能够对齐的问题,每个推理跳,从而攻击任何一跳。我们将问题分类为不同的推理类型,并对抗性地修改与所选推理跳相对应的问题的一部分,以生成分散注意力的句子。我们在HotpotQA数据集上的三个QA模型上测试了我们的对抗方案。实验结果表明,基于推理链的多跳推理模型攻击方法在回答和支持事实预测上都有明显的性能下降,验证了该方法对多跳推理模型攻击的有效性及其脆弱性.我们的对抗性重新训练进一步提高了这些模型的性能和鲁棒性。
2021-12-17 cs.CL
Dynamic Semantic Graph Construction and Reasoning for Explainable Multi-hop Science Question Answering
The Chinese University of Hong Kong(香港中文大学)
知识检索和推理是网络环境下多跳问答的两个关键阶段。现有的方法在检索证据事实以填补知识空白时置信度低,并且缺乏透明的推理过程。在本文中,我们提出了一个新的框架,利用更多的有效事实,同时获得可解释性的多跳QA通过动态构建一个语义图和推理。我们采用抽象意义表示(AMR)的语义图表示。我们的框架包含三个新的想法:(a){ \tt AMR-SG},一个基于AMR的语义图,由候选事实AMR构建,以揭示问题,答案和多个事实之间的任何跳跃关系。(b)一种新的基于路径的事实分析方法,利用{ \tt AMR-SG}从大型事实池中提取活动事实以回答问题。(c)事实级关系建模利用图卷积网络(GCN)来指导推理过程。两个科学多跳QA数据集的结果表明,我们可以超越最近的方法,包括使用额外的知识图谱,同时保持OpenBookQA的高可解释性,并在计算上可行的设置实现ARC挑战的最先进的新结果。
2021-05-25 cs.CL
Practical Approach to Knowledge-based Question Answering with Natural Language Understanding and Advanced Reasoning
本研究假设,一种实用的方法,以一个解决方案框架的形式被称为自然语言理解和推理的智能(NaLURI),它结合了全话语自然语言理解,强大的表示形式主义,能够利用本体信息和推理方法与先进的功能,将解决以下问题,而不损害实用性因素:1)对问题和响应的性质的限制,以及2)对跨域扩展和对现实生活中的自然语言文本的限制。
2007-07-24 cs.AI cs.CL cs.HC
Dual Reasoning: A GNN-LLM Collaborative Framework for Knowledge Graph Question Answering
Tsinghua University(清华大学);HKUST (GZ)(香港科技大学(广州))
提出DualR框架,通过GNN显式推理提取高质量推理链,转化为多选提示引导冻结LLM进行隐式推理,在三个KGQA基准上实现SOTA性能且保持高效与可解释性。
2025-03-06 cs.CL
P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering
P2S通过概率过程监督提升通用领域推理问答性能,利用路径忠实度奖励解决奖励稀疏性问题。
2026-01-28 cs.CL
FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages
Indian Institute of Technology Patna(印度理工学院帕纳分校);Microsoft(微软)
本文提出FinVQA基准和FIND框架,针对多语言印度语言金融推理挑战,通过多模态和数值推理提升金融决策准确性。
2026-05-13 cs.CL
Question Answering by Reasoning Across Documents with Graph Convolutional Networks
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
大多数阅读理解的研究都集中在回答基于单个文档甚至单个段落的问题上。我们引入了一个神经模型,它集成和原因依赖于文档内和跨多个文档的信息传播。我们把它看作是一个图上的推理问题。实体的提及是该图的节点,而边编码不同提及之间的关系(例如,文档内和跨文档共同参考)。将图卷积网络(GCN)应用于这些图,并训练其执行多步推理。我们的快速GCN方法是可扩展的和紧凑的,并且它在多文档问答数据集WikiHop(Welbl等人,2018年)。
2022-09-27 cs.CL stat.ML
Enhancing Temporal Sensitivity and Reasoning for Time-Sensitive Question Answering
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
本文提出结合时间信息感知嵌入与粒度对比强化学习的新框架,以增强大模型的时间敏感性与推理能力,并在四个TSQA数据集上显著超越现有模型。
2024-09-29 cs.AI cs.CL
Analyzing the Effectiveness of the Underlying Reasoning Tasks in Multi-hop Question Answering
National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies(综合研究大学院大学);The University of Tokyo(东京大学)
为了解释预测的答案和评估模型的推理能力,一些研究利用了多跳问答(QA)数据集中的底层推理(UR)任务。然而,当以端到端的方式对这两个任务进行训练模型时,UR任务对于QA任务的有效性如何仍然是一个悬而未决的问题。在这项研究中,我们解决这个问题,通过分析UR任务(包括企业级和实体级任务)的有效性在三个方面:(1)QA性能,(2)推理捷径,(3)鲁棒性。虽然以前的模型没有在实体级推理预测任务上进行显式训练,但我们构建了一个多任务模型,该模型可以同时执行三个任务:实体级支持事实预测,实体级推理预测和答案预测。在2 WikiMultiHopQA和HotpotQA-small数据集上的实验结果表明:(1)UR任务可以提高QA性能。使用新创建的四个去偏数据集,我们证明了(2)UR任务有助于防止多跳QA任务中的推理捷径。然而,我们发现(3)UR任务并没有有助于提高模型对对抗性问题的鲁棒性,例如子问题和反向问题。我们鼓励未来的研究以自然语言问题的形式调查实体级推理的有效性(例如,子问题形式)。
2023-02-12 cs.CL
Answering Numerical Reasoning Questions in Table-Text Hybrid Contents with Graph-based Encoder and Tree-based Decoder
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
在现实世界的问答场景中,表格和文本相结合的混合形式越来越受到人们的关注,其中数值推理问题是最典型和最具挑战性的问题之一。现有的方法通常采用编码器-解码器框架来表示混合内容并生成答案。然而,它不能捕捉编码器端的数值、表模式和文本信息之间的丰富关系。解码器使用一个简单的预定义的操作分类器,这是不够灵活,以处理不同的表达式的数值推理过程。针对这些问题,本文提出了一种基于\textbf{T}语言的\textbf{G}增强型\textbf{H}混合表-文本\textbf{N}数值推理模型(\textbf{RegHNT}).它将表-文本混合内容上的数字问答建模为表达式树生成任务。此外,我们提出了一种新的关系图建模方法,模型之间的对齐问题,表格和段落。我们验证了我们的模型上公开的表-文本混合QA基准(TAT-QA)。建议的RegHNT显着优于基线模型,并实现国家的最先进的结果。我们在https://github.com/lfy79001/RegHNT公开发布了源代码和数据(2022-05-05)。
2022-10-20 cs.CL
Interpretable AMR-Based Question Decomposition for Multi-hop Question Answering
University of Auckland(奥克兰大学)
有效的多跳问答(QA)需要对多个分散的段落进行推理,并为答案提供解释。大多数现有的方法不能提供一个可解释的推理过程来说明这些模型是如何得出答案的。本文提出了一种基于抽象意义表示的多跳QA问题分解方法(QDAMR),通过将多跳问题分解为简单的子问题并按顺序回答,实现了可解释的推理。由于注释分解是昂贵的,我们首先将理解多跳问题的复杂性委托给AMR解析器。然后,我们实现了多跳问题的分解,通过分割相应的AMR图的基础上所需的推理类型。最后,我们使用AMR到文本生成模型生成子问题,并使用现成的QA模型回答它们。HotpotQA上的实验结果表明,我们的方法是有竞争力的可解释的推理和QDAMR生成的子问题是良好的形式,优于现有的基于问题分解的多跳QA方法。
2022-06-16 cs.CL
Self-Reflective Planning with Knowledge Graphs: Enhancing LLM Reasoning Reliability for Question Answering
State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);University of Science and Technology of China(中国科学技术大学)
针对大语言模型在知识图谱问答中易产生幻觉的问题,提出自我反思规划框架,通过参考引导的迭代规划与反思生成可靠推理路径,在三个公开数据集上超越强基线。
2025-05-26 cs.CL
JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
现有的知识图增强的常识问答模型主要集中在设计复杂的图神经网络(GNN)来建模知识图谱(KG)。然而,他们忽略了(i)在问题上下文表示和KG表示上的有效融合和推理,以及(ii)在推理期间从噪声KG中自动选择相关节点。在本文中,我们提出了一种新的模型,JointLK,它解决了上述限制,通过LM和GNN的联合推理和动态KG修剪机制。具体而言,JointLK通过一种新的密集双向注意模块实现LM和GNN之间的联合推理,其中每个问题标记参与KG节点,每个KG节点参与问题标记,两种模态表示通过多步交互相互融合和更新。然后,动态修剪模块使用由联合推理产生的注意力权重递归地修剪不相关的KG节点。我们在CommonsenseQA和OpenBookQA数据集上评估了JointLK,并展示了它对现有LM和LM+KG模型的改进,以及它执行可解释推理的能力。
2022-05-02 cs.AI cs.CL
Empowering Language Models with Knowledge Graph Reasoning for Question Answering
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Cognitive Services Research(微软认知服务研究院);University of Notre Dame(圣母大学)
回答开放域问题需要关于上下文实体的世界知识。由于预先训练的语言模型(LM)缺乏存储所有所需知识的能力,外部知识源(诸如知识图谱)通常用于增强LM。在这项工作中,我们提出了知识推理授权的语言模型(OREO LM),它包括一个新的知识交互层,可以灵活地插入到现有的基于转换器的LM与可区分的知识图谱推理模块协作。通过这种方式,LM引导KG走向期望的答案,而检索到的知识改善LM。通过将OREO-LM应用于RoBERTa和T5,我们显示出显著的性能提升,在闭卷设置中实现了最先进的结果。性能的提高主要来自KG推理的推理能力,推断丢失的关系事实。此外,OREO-LM提供了推理路径作为解释模型决策的依据。
2022-11-15 cs.AI cs.CL
CBR-iKB: A Case-Based Reasoning Approach for Question Answering over Incomplete Knowledge Bases
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
知识库(KBs)在实践中往往是不完整和不断变化的。然而,在许多与知识库相结合的问答应用中,知识库的稀疏性常常被忽视。为此,我们提出了一个基于案例的推理方法,CBR-iKB,知识库问答(KBQA)与不完全知识库作为我们的主要焦点。我们的方法集成决策从多个推理链与一种新的非参数推理算法。通过设计,CBR-iKB可以无缝地适应知识库的变化,而无需任何特定于任务的培训或微调。我们的方法在MetaQA上实现了100%的准确性,并在多个基准测试中建立了新的最先进水平。例如,CBR-iKB在不完整KB设置下在WebQSP上实现了70%的准确性,比现有的最先进的方法高出22.3%。
2022-04-18 cs.AI cs.CL cs.IR
NOAHQA: Numerical Reasoning with Interpretable Graph Question Answering Dataset
University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学);Verily Life Sciences(Verily生命科学公司)
虽然已经提出了各种各样的问答(QA)数据集,并为QA任务的深度学习模型的开发做出了重大贡献,但现有的数据集在两个方面存在不足。首先,我们缺乏涵盖复杂问题的QA数据集,这些问题涉及答案以及获得答案的推理过程。因此,目前关于数值推理的问答研究仍然集中在简单的计算上,没有提供证明答案正确性的数学表达式或证据。第二,QA社区为提高QA模型的可解释性做出了很大的努力。然而,这些模型未能明确地显示推理过程,如推理的证据顺序和不同证据之间的相互作用。为了解决上述缺点,我们引入NOAHQA,一个对话和双语QA数据集,其中的问题需要用复合数学表达式进行数值推理。与NOAHQA,我们开发了一个可解释的推理图,以及适当的评价指标来衡量答案的质量。我们评估了使用NOAHQA上现有QA数据集训练的最先进的QA模型,并表明其中最好的模型只能达到55.5的精确匹配分数,而人类的性能为89.7。我们还提出了一个新的QA模型,用于生成推理图,其中推理图度量与人类相比仍然有很大的差距,例如,28分。
2021-10-14 cs.CL
SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning
IBM Research(IBM研究院);EPFL(洛桑联邦理工学院)
在知识图谱上进行推理和问答的现有方法通常随着边的数量而缩放,并且只能有效地应用于小的实例依赖子图。在本文中,我们解决这个问题,表明多跳和更复杂的逻辑推理可以单独完成,而不会失去表达能力。出于这种认识,我们提出了一种多跳推理的方法,该方法与图中的关系类型的数量呈线性关系,通常比边或节点的数量要小得多。这会产生一组候选解决方案,这些解决方案可以被证明是精炼的,以恢复原始问题的解决方案。我们对基于知识的问答的实验表明,我们的方法解决了多跳MetaQA数据集,实现了一个新的国家的最先进的更具挑战性的WebbrowsSP,是数量级的可扩展性比竞争对手的方法,并可以实现合成泛化的训练分布。
2021-10-27 cs.AI cs.CL cs.IR
ReTraceQA: Evaluating Reasoning Traces of Small Language Models in Commonsense Question Answering
Sapienza NLP Group(萨皮恩扎大学自然语言处理小组);Sapienza University of Rome(罗马萨皮恩扎大学)
ReTraceQA通过引入过程级评估,揭示小语言模型在常识推理中存在大量推理过程错误,但最终答案正确的情况,表明现有评价方法高估了模型能力。
2026-04-20 cs.CL
Self-Critique Guided Iterative Reasoning for Multi-hop Question Answering
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
提出SiGIR,通过自批评反馈引导迭代推理,结合问题分解与自我评估,在多跳问答数据集上超越SOTA 8.6%。
2025-05-25 cs.CL
OmniRAG-Agent: Agentic Omnimodal Reasoning for Low-Resource Long Audio-Video Question Answering
本文提出OmniRAG-Agent,通过构建图像音频检索增强生成模块和代理循环,解决低资源长音频视频问答中的高成本编码、弱细粒度检索等问题,实验表明其在低资源环境下表现优异。
2026-03-30 cs.CL
Open-WikiTable: Dataset for Open Domain Question Answering with Complex Reasoning over Table
KAIST(韩国科学技术院);Amazon(亚马逊)
针对现有表格开放域问答数据集忽视表格结构、仅处理单单元格答案的问题,提出Open-WikiTable数据集,基于WikiSQL和WikiTableQuestions构建,要求复杂推理,同时提供文本答案和SQL查询,支持阅读器与解析器方法。
2023-05-12 cs.CL