Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering
University of Southern California（南加州大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的关于用外部知识（例如，知识图谱）要么难以有效地对多跳关系进行建模，要么对模型的预测原理缺乏透明度。在本文中，我们提出了一种新的知识感知的方法，装备预训练的语言模型（PTLM）与多跳关系推理模块，命名为多跳图关系网络（MHGRN）。它对从外部知识图谱中提取的子图执行多跳、多关系推理。所提出的推理模块结合了基于路径的推理方法和图神经网络，以实现更好的可解释性和可扩展性。我们还在CommonsenseQA和OpenbookQA数据集上实证展示了其有效性和可扩展性，并通过案例研究解释了其行为。
2020-09-18 cs.CL cs.LG
Leveraging LLM-GNN Integration for Open-World Question Answering over Knowledge Graphs
Concordia University（康科迪亚大学）；IBM；KAUST（科威特大学）
本文提出GLOW系统，结合预训练GNN和LLM进行开放世界知识图谱问答，通过结构化提示引导LLM推理，提升多跳推理和缺失链接处理能力，在GLOW-BENCH基准上取得显著提升。
2026-04-15 cs.AI cs.CL cs.DB
A Graph-Guided Reasoning Approach for Open-ended Commonsense Question Answering
Baidu Research（百度研究院）
最近，用于多项选择常识问答（QA）的端到端训练模型已经取得了可喜的成果。然而，这样的问答系统不能直接应用于不提供答案候选的真实世界场景中。因此，最近发布了一个新的开放式常识推理（OpenCSR）基准挑战集，其中包含没有任何预定义选择的自然科学问题。在OpenCSR挑战集中，许多问题需要隐式多跳推理，并且具有很大的决策空间，这反映了这项任务的困难性。OpenCSR的现有工作主要集中在改进检索过程，从文本知识库中提取相关的事实句子，将重要和重要的推理任务排除在外。在这项工作中，我们扩展的范围，包括一个推理机，构建一个依赖于问题的开放知识图谱检索支持的事实的基础上，并采用顺序子图推理过程来预测答案。子图可以被看作是对预测的一个简洁而紧凑的图形解释。在两个OpenCSR数据集上的实验表明，该模型在基准OpenCSR数据集上取得了良好的性能.
2023-03-18 cs.CL cs.LG
GreaseLM: Graph REASoning Enhanced Language Models for Question Answering
Stanford University（斯坦福大学）
对文本叙述的复杂问题进行推理需要对所陈述的上下文和作为其基础的世界知识进行推理，然而，作为大多数现代问答系统的基础的预训练语言模型（LM）不能鲁棒地表示概念之间的潜在关系，而这是推理所必需的。虽然知识图谱（KG）经常被用来增强LM与世界知识的结构化表示，它仍然是一个悬而未决的问题，如何有效地融合和推理的KG表示和语言的背景下，提供了情景约束和细微差别。在这项工作中，我们提出了GreaseLM，一个新的模型，融合编码表示从预先训练的LM和图神经网络在多个层次的模态交互操作。来自两种模态的信息传播到另一种模态，允许语言上下文表示以结构化的世界知识为基础，并允许语言的细微差别（例如，否定，模糊）的上下文中通知知识的图形表示。我们在常识推理的三个基准上的结果（即，CommonsenseQA、OpenbookQA）和医学问答（即，MedQA-USMLE）领域证明，GreaseLM可以更可靠地回答需要在情境约束和结构化知识上进行推理的问题，甚至优于8倍大的模型。
2022-01-21 cs.CL cs.LG
Graph Neural Reasoning for 2-Quantified Boolean Formula Solvers
Purdue University（普渡大学）；Sun Yat-Sen University（中山大学）
在本文中，我们研究了学习GNN（图神经网络）为基础的解决方案和基于GNN的算法为指定的QBF（量化布尔公式）问题的可行性。我们设计并评估了几种2 QBF公式的GNN结构，并推测GNN在学习2 QBF求解器方面存在局限性。然后，我们展示了如何学习启发式CEGAR 2 QBF求解器。我们进一步探索将基于GNN的算法推广到更大的不可见实例，并发现一些有趣的挑战。总之，本文提供了将GNN嵌入应用于指定QBF求解器的全面调查视图，旨在为将ML应用于更复杂的符号推理问题提供指导。
2019-04-27 cs.AI cs.LG cs.LO
Algorithmic Concept-based Explainable Reasoning
University of Cambridge（剑桥大学）；DeepMind（深度思维）
最近的研究图神经网络（GNN）模型成功地应用GNNs的经典图算法和组合优化问题。这样做有很多好处，比如在不满足先决条件时允许应用算法，或者在没有足够的训练数据或无法生成时重用学习模型。不幸的是，这些方法的一个关键障碍是它们缺乏可解释性，因为GNN是无法直接解释的黑箱模型。在这项工作中，我们通过将现有的基于概念的解释应用于GNN模型来解决这一限制。我们引入了概念瓶颈GNN，它依赖于GNN读出机制的修改。使用三个案例研究，我们证明了：（i）我们提出的模型能够准确地学习概念，并根据每个目标类的学习概念提取命题公式;（ii）我们基于概念的GNN模型与最先进的模型实现了比较性能;（iii）我们可以导出全局图概念，而无需显式地提供对图级概念的任何监督。
2021-07-15 cs.LG
Temporal Reasoning via Audio Question Answering
Facebook Reality Labs（Facebook现实实验室）；Facebook AI Research（Facebook人工智能研究院）
多模态问答任务可以作为代理任务来研究能够感知和推理世界的系统。关于不同类型的输入方式的问题强调了推理的不同方面，如视觉推理，阅读理解，故事理解或导航。本文以音频问答（AQA）为例，研究了机器学习模型的时态推理能力。为此，我们介绍了诊断音频问答（DAQA）数据集，包括自然声音事件的音频序列和编程生成的问题和答案，探测时间推理的各个方面。我们适应最近的几个国家的最先进的视觉问答的AQA任务的方法，并使用DAQA证明，他们表现不佳的问题，需要深入的时间推理。最后，我们提出了一个新的模型，多个辅助控制器的线性调制（MALiMo），扩展了最近的智能线性调制（FILM）模型，并显着提高其时间推理能力。我们设想DAQA促进AQA和时间推理的研究和MALiMo的AQA模型的一步。
2019-11-21 cs.CL cs.LG cs.SD
Revealing Combinatorial Reasoning of GNNs via Graph Concept Bottleneck Layer
Tongji University, Shanghai, China（同济大学）；City University of Macau, Macau, China（澳门城市大学）
本文提出图概念瓶颈层，通过将概念视为图词并利用语言模型学习嵌入，提升GNNs的组合推理可解释性与性能。
2026-03-02 cs.AI cs.LG
Graph Neural Reasoning May Fail in Certifying Boolean Unsatisfiability
Sun Yat-sen University（中山大学）；Purdue University（普渡大学）
将图神经网络的特点与逻辑推理的特点相结合是可行的，具有一定的实用价值。尽管在解决布尔可满足性（SAT）方面做出了相当大的努力和成功，但对于更复杂的谓词逻辑公式，基于GNN的求解器仍然是一个谜。在这项工作中，我们用一些证据证明，一般定义的GNN在证明布尔公式中的不可满足性（UNSAT）方面存在一些限制。这意味着，GNN可能会失败，在学习的逻辑推理任务，如果他们包含证明UNSAT的子问题，包括大多数谓词逻辑公式。
2019-09-27 cs.LG cs.LO cs.SC
Graph Neural Networks with Generated Parameters for Relation Extraction
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；Université de Montréal（蒙特利尔大学）
近年来，在机器学习领域中，关系推理的改进已经取得了进展。在现有的模型中，图神经网络（GNNs）是多跳关系推理最有效的方法之一。事实上，多跳关系推理在诸如关系抽取等许多自然语言处理任务中是必不可少的。本文提出根据自然语言句子生成图神经网络（GP-GNNs）的参数，使GNNs能够对非结构化文本输入进行关系推理。我们在文本的关系抽取中验证了GP-GNNs。在人类注释数据集和两个远程监督数据集上的实验结果表明，与基线相比，我们的模型实现了显着的改进。我们还进行了定性分析，以证明我们的模型可以发现更准确的多跳关系推理的关系。
2019-02-02 cs.CL
JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
现有的知识图增强的常识问答模型主要集中在设计复杂的图神经网络（GNN）来建模知识图谱（KG）。然而，他们忽略了（i）在问题上下文表示和KG表示上的有效融合和推理，以及（ii）在推理期间从噪声KG中自动选择相关节点。在本文中，我们提出了一种新的模型，JointLK，它解决了上述限制，通过LM和GNN的联合推理和动态KG修剪机制。具体而言，JointLK通过一种新的密集双向注意模块实现LM和GNN之间的联合推理，其中每个问题标记参与KG节点，每个KG节点参与问题标记，两种模态表示通过多步交互相互融合和更新。然后，动态修剪模块使用由联合推理产生的注意力权重递归地修剪不相关的KG节点。我们在CommonsenseQA和OpenBookQA数据集上评估了JointLK，并展示了它对现有LM和LM+KG模型的改进，以及它执行可解释推理的能力。
2022-05-02 cs.AI cs.CL
A Logic for Reasoning About Aggregate-Combine Graph Neural Networks
University of Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；University of Kassel（卡塞尔大学）；Gran Sasso Science Institute（格兰萨索科学研究所）
提出一种计数模态线性不等式的模态逻辑，证明其公式与GNN可互相高效转化，且可满足性为PSPACE完全，支持用逻辑方法推理GNN属性。
2025-03-27 cs.AI cs.LG cs.LO
An Interpretable Reasoning Network for Multi-Relation Question Answering
State Key Lab. of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；National Lab. for Information Science and Technology（信息科学与技术国家实验室）；Dept. of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
多关系问答是一个具有挑战性的任务，因为它需要对问题进行详细的分析，并对知识库中的多个事实三元组进行推理。在本文中，我们提出了一种新的模型，称为可解释的推理网络，采用了可解释的，逐跳推理过程的问答。该模型动态地决定输入问题的哪一部分应该在每一跳进行分析;预测与当前解析结果相对应的关系;利用预测的关系来更新问题表示和推理过程的状态;然后驱动下一跳推理。实验表明，我们的模型在两个数据集上产生了最先进的结果。更有趣的是，该模型可以为推理分析和故障诊断提供可跟踪和可观察的中间预测，从而允许手动操作预测最终答案。
2018-06-01 cs.CL
Towards Graph-hop Retrieval and Reasoning in Complex Question Answering over Textual Database
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出多链多跳检索推理新范式 Graph-Hop，构建了提供细粒度证据图的新基准 ReasonGraphQA，并提出双向图检索（BGR）基线方法，实验表明该方向有潜力但仍存局限。
2023-05-23 cs.CL
Compositional Attention Networks for Interpretability in Natural Language Question Answering
Saama AI Research（萨马人工智能研究院）
MAC网是一个为视觉问答设计的合成注意网络。我们提出了一种改进的MAC网络结构的自然语言问答。问答通常需要语言理解和多步推理。MAC网独特的体系结构-存储和控制分离，有利于数据驱动的迭代推理。这使得它成为解决涉及逻辑推理的任务的理想候选人。我们的实验与20 bAbI任务证明了MAC网的价值作为一个数据高效和可解释的架构自然语言问答。MAC网络的透明性提供了一个高度粒度的视图，网络在回答查询时所采取的推理步骤。
2018-10-30 cs.AI cs.CL cs.LG
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China（中国人民大学）；Tencent AI Lab（腾讯人工智能实验室）
基于嵌入的方法在知识库问答（KBQA）中很受欢迎，但目前很少有模型具有数值推理能力，因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架，特别是考虑到数值推理。我们在NSM（一种最先进的基于嵌入的KBQA模型）之上提出NumericalTransformer，以创建NT-NSM。为了实现更好的训练，我们提出了两个预训练任务，在两个生成的训练数据集上使用显式的面向数值的损失函数，以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明，在我们的训练算法的帮助下，NT-NSM具有数值推理技能，并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering
The University of Sydney（悉尼大学）；Tencent Robotics X（腾讯机器人X实验室）
多跳推理问答需要深入理解各种文档和查询之间的关系。我们提出了一个双向注意实体图卷积网络（BAG），利用实体图中的节点之间的关系和查询和实体图之间的注意力信息，来解决这个问题。图卷积网络用于获得从具有多级特征的文档构建的实体图的节点的关系感知表示。然后，双向注意力应用于图和查询，以生成查询感知节点表示，这将用于最终的预测。实验评估表明，BAG在QAngaroo WIKIHOP数据集上实现了最先进的精度性能。
2019-04-10 cs.AI cs.CL cs.LG
GRS-QA -- Graph Reasoning-Structured Question Answering Dataset
Adobe Research（奥多比研究院）；Cisco Outshift（思科Outshift）；University of Oregon（俄勒冈大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）
针对多跳问答中推理结构影响不明的问题，提出GRS-QA数据集，通过推理图显式建模推理路径，实现细粒度评估，发现LLM在不同推理结构下表现各异。
2024-11-08 cs.CL
CBR-iKB: A Case-Based Reasoning Approach for Question Answering over Incomplete Knowledge Bases
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
知识库（KBs）在实践中往往是不完整和不断变化的。然而，在许多与知识库相结合的问答应用中，知识库的稀疏性常常被忽视。为此，我们提出了一个基于案例的推理方法，CBR-iKB，知识库问答（KBQA）与不完全知识库作为我们的主要焦点。我们的方法集成决策从多个推理链与一种新的非参数推理算法。通过设计，CBR-iKB可以无缝地适应知识库的变化，而无需任何特定于任务的培训或微调。我们的方法在MetaQA上实现了100%的准确性，并在多个基准测试中建立了新的最先进水平。例如，CBR-iKB在不完整KB设置下在WebQSP上实现了70%的准确性，比现有的最先进的方法高出22.3%。
2022-04-18 cs.AI cs.CL cs.IR
Leveraging Structured Information for Explainable Multi-hop Question Answering and Reasoning
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对大语言模型多跳问答存在推理不准、幻觉及可解释性不足的问题，本研究构建并利用抽取的语义结构图开展推理，在两个基准上提升了问答性能，且生成的结构化解释更受人类青睐。
2023-11-07 cs.CL
Exploiting Reasoning Chains for Multi-hop Science Question Answering
The Chinese University of Hong Kong（香港中文大学）
我们提出了一种新的链引导检索器-阅读器（{ \tt CGR}）框架来建模多跳科学问答的推理链。我们的框架能够执行可解释的推理，而不需要任何特定于语料库的注释，如地面实况推理链，或人类注释的实体提及。具体来说，我们首先从检索到的证据事实的抽象意义表示构造的语义图生成推理链。一个\textit{Chain-aware loss}，涉及本地和全球链信息，也被设计成使生成的链作为远程监督信号，用于训练检索器，其中强化学习也被采用，以最大限度地提高推理链的效用。我们的框架允许检索器捕获一步一步的线索，整个推理过程中，这不仅是有效的两个具有挑战性的多跳科学QA任务，即OpenBookQA和ARC挑战，但也有利于解释。
2021-09-07 cs.CL
SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning
IBM Research（IBM研究院）；EPFL（洛桑联邦理工学院）
在知识图谱上进行推理和问答的现有方法通常随着边的数量而缩放，并且只能有效地应用于小的实例依赖子图。在本文中，我们解决这个问题，表明多跳和更复杂的逻辑推理可以单独完成，而不会失去表达能力。出于这种认识，我们提出了一种多跳推理的方法，该方法与图中的关系类型的数量呈线性关系，通常比边或节点的数量要小得多。这会产生一组候选解决方案，这些解决方案可以被证明是精炼的，以恢复原始问题的解决方案。我们对基于知识的问答的实验表明，我们的方法解决了多跳MetaQA数据集，实现了一个新的国家的最先进的更具挑战性的WebbrowsSP，是数量级的可扩展性比竞争对手的方法，并可以实现合成泛化的训练分布。
2021-10-27 cs.AI cs.CL cs.IR
TreeRare: Syntax Tree-Guided Retrieval and Reasoning for Knowledge-Intensive Question Answering
University of Rochester（罗切斯特大学）
TreeRare通过语法树引导的检索与推理方法，提升知识密集型问答任务的性能。
2025-12-04 cs.CL
SCITAT: A Question Answering Benchmark for Scientific Tables and Text Covering Diverse Reasoning Types
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）；National University of Singapore（新加坡国立大学）
针对现有科学问答数据集推理类型有限且忽视表格与文本关联的问题，提出SciTaT基准，并设计结合多种推理方法的CaR基线，在SciTaT上平均提升12.9%。
2024-12-16 cs.CL
Learning and Evaluating Graph Neural Network Explanations based on Counterfactual and Factual Reasoning
Rutgers University（罗格斯大学）
结构化数据广泛存在于Web应用中，例如社会媒体中的社交网络、学术网站中的引文网络以及在线论坛中的线程数据。由于复杂的拓扑结构，很难处理和利用这些数据中的丰富信息。图神经网络（GNNs）在学习结构化数据表示方面显示出巨大的优势。然而，深度学习模型的非透明性使得解释和解释GNN做出的预测变得非常重要。同时，评估GNN解释也是一个很大的挑战，因为在许多情况下，地面实况解释是不可用的。在本文中，我们从因果推理理论中获得了反事实和事实（CF^2）推理的见解，以解决可解释GNN中的学习和评估问题。对于生成的解释，我们提出了一个模型不可知的框架，制定一个优化问题的基础上，两个休闲的角度。这将CF^2与以前只考虑其中一个的可解释GNN区分开来。这项工作的另一个贡献是对GNN解释的评估。为了在不需要地面事实的情况下对生成的解释进行定量评估，我们设计了基于反事实和事实推理的度量标准来评估解释的必要性和充分性。实验表明，无论地面真相解释是否可用，CF^2都能在真实世界数据集上生成比以前最先进的方法更好的解释。此外，统计分析证明地面实况评估的性能和我们提出的指标之间的相关性。源代码可在https://github.com/chrisjtan/gnn_cff上获得。
2022-05-10 cs.IR cs.LG
Efficient Probabilistic Logic Reasoning with Graph Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；Siemens Corporate Technology（西门子企业技术部）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Ant Financial（蚂蚁金服）
马尔可夫逻辑网络（MLN）巧妙地结合了逻辑规则和概率图模型，可以用来解决许多知识图谱问题。然而，MLN中的推理是计算密集型的，使得MLN的工业规模应用非常困难。近年来，图神经网络（GNNs）已经成为解决大规模图问题的有效工具。尽管如此，GNN并没有明确地将先验逻辑规则纳入模型中，并且可能需要许多标记的示例用于目标任务。在本文中，我们探索了MLN和GNN的结合，并使用图神经网络的变分推理MLN。我们提出了一个GNN变体，名为GNGNGNN，它在表示能力和模型的简单性之间取得了很好的平衡。我们在几个基准数据集上的大量实验表明，BEGGNN导致有效和高效的概率逻辑推理。
2020-02-04 cs.AI cs.LG
TopBench: A Benchmark for Implicit Predictive Reasoning in Tabular Question Answering
School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）；National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）
提出TopBench基准，包含779个样本和四个子任务，评估大语言模型在表格问答中识别隐式预测意图并进行可靠推理的能力，发现当前模型在意图识别上存在困难。
2026-06-18 cs.AI cs.CL cs.LG
ASTRA: Adaptive Semantic Tree Reasoning Architecture for Complex Table Question Answering
Zhejiang University（浙江大学）
提出ASTRA架构，通过AdaSTR将表格重构为逻辑语义树，并利用DuTR双模式推理框架结合树搜索文本导航与符号代码执行，在复杂表格问答中达到最优性能。
2026-05-26 cs.AI cs.CL cs.LG
Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies
Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Pennsylvania（宾夕法尼亚大学）
当前多跳推理数据集的一个关键限制是，其中明确提到了回答问题所需的步骤。在这项工作中，我们介绍StrategyQA，一个问答（QA）基准，其中所需的推理步骤是隐含在问题中，并应使用一种策略推断。这种设置的一个基本挑战是如何从众包工作者那里引出这样的创造性问题，同时涵盖广泛的潜在策略。我们提出了一个数据汇集程序，结合基于术语的启动，以激发注释，仔细控制注释人口，和对抗过滤，以消除推理捷径。此外，我们用（1）分解成回答它的推理步骤和（2）包含每个步骤答案的维基百科段落来注释每个问题。总体而言，StrategyQA包括2，780个示例，每个示例包括一个策略问题，其分解和证据段落。分析表明，StrategyQA中的问题简短，主题多样，涵盖广泛的策略。从经验上讲，我们表明人类在这项任务上表现良好（87%），而我们的最佳基线达到了$\sim$ 66%的准确率。
2021-01-06 cs.CL
CRAFT: A Unified Counterfactual Reasoning Framework for Tabular Question Answering and Fact Verification
Xingchen AGI Lab,China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（兴晨AGI实验室，中国电信人工智能技术（北京）有限公司）
提出CRAFT统一反事实推理框架，将表格问答和事实验证转化为双向验证过程，通过构建声明及其反事实变体并加权整合证据，显著提升复杂表格推理性能。
2026-06-05 cs.CL
Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering
University of Washington（华盛顿大学）；Salesforce Research（Salesforce研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
在网络规模上搜索需要多跳推理的问题需要检索多个证据文档，其中一个文档通常与问题几乎没有词汇或语义关系。本文介绍了一种新的基于图的循环检索方法，该方法学习检索维基百科图上的推理路径来回答多跳开放域问题。我们的检索器模型训练一个递归神经网络，该网络通过对先前检索到的文档进行调节来学习顺序检索推理路径中的证据段落。我们的读者模型对推理路径进行排序，并提取出最佳推理路径中包含的答案跨度。在三个开放域QA数据集上的实验结果显示了最先进的结果，展示了我们方法的有效性和鲁棒性。值得注意的是，我们的方法在HotpotQA中实现了显着的改进，比之前的最佳模型高出14个点以上。
2020-02-14 cs.CL
Systematic Relational Reasoning With Epistemic Graph Neural Networks
Cardiff University（卡迪夫大学）
针对图神经网络系统性推理能力不足的问题，提出认知图神经网络（EpiGNN），以认知状态作为节点嵌入并相应实现消息传递，在需要系统性推理的链接预测任务上达到最先进性能，并能在多路径聚合的新基准上准确推理。
2025-02-27 cs.AI cs.LG
NGQA: A Nutritional Graph Question Answering Benchmark for Personalized Health-aware Nutritional Reasoning
University of Notre Dame（圣母大学）；Brandeis University（布兰迪斯大学）；IBM Research（IBM研究院）；University of Connecticut（康涅狄格大学）
针对个性化饮食推理缺乏用户医疗数据及现有大语言模型在领域复杂性上的不足，本文提出了首个个性化营养健康推理图谱问答基准NGQA，利用NHANES和FNDDS数据评估食物对特定用户的健康影响，有效挑战了现有模型。
2024-12-20 cs.AI cs.CL cs.LG
LLM-based Discriminative Reasoning for Knowledge Graph Question Answering
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文提出READS方法，将知识图谱问答重构为判别式子任务并设计相应推理策略，以缓解大语言模型的幻觉问题，在WebQSP和CWQ上取得最优性能。
2025-03-07 cs.CL
Variational Reasoning for Question Answering with Knowledge Graph
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；Amazon Web Services（亚马逊云科技）
已知知识图谱（KG）有助于问答（QA）任务，因为它提供实体之间的结构良好的关系信息，并且允许进一步推断间接事实。然而，这是具有挑战性的QA系统，可以学习的原因，知识图谱的基础上的问题-答案对单独的。首先，当人们提出问题时，他们的表达是嘈杂的（例如，文本中的错别字或发音的变化），这对于QA系统将那些提到的实体与知识图谱进行匹配是不平凡的。其次，许多问题需要在知识图谱上进行多跳逻辑推理以检索答案。为了解决这些挑战，我们提出了一种新的统一的深度学习架构，以及一种端到端的变分学习算法，它可以处理问题中的噪声，同时学习多跳推理。我们的方法在文献中最近的基准数据集上实现了最先进的性能。我们还衍生了一系列新的基准数据集，包括多跳推理的问题，神经翻译模型解释的问题，以及人类语音中的问题。我们的方法在所有这些具有挑战性的数据集上都产生了非常有希望的结果。
2017-11-27 cs.AI cs.CL cs.LG
ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering
University of California, Santa Barbara（加州大学圣巴巴拉分校）；J.P. Morgan（摩根大通）
随着大型预训练语言模型的最新进展，研究人员在主要关注语言模式匹配的NLP任务中取得了创纪录的成绩。社区正在经历从如何建模语言到模仿人类复杂推理能力的挑战。在这项工作中，我们调查的应用领域的金融，涉及现实世界中，复杂的数值推理。我们提出了一个新的大规模数据集，ConvFinQA，旨在研究会话问答中的数值推理链。我们的数据集在建模现实世界对话中的长距离，复杂的数值推理路径方面提出了巨大的挑战。我们对神经符号方法和基于推理的方法进行了全面的实验和分析，以深入了解这两种方法的推理机制。我们相信我们的新数据集应该作为一个宝贵的资源，推动对现实世界的探索，复杂的推理任务作为下一个研究重点。我们的数据集和代码可在https://github.com/czyssrs/ConvFinQA上公开获取。
2022-10-07 cs.CL
Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks
Google（谷歌公司）
图神经网络（GNN）已经成为学习软件工程任务的强大工具，包括代码完成，错误发现和程序修复。它们受益于利用程序结构，如控制流图，但它们不适合程序执行等任务，这些任务需要比GNN传播步骤数量更多的顺序推理步骤。另一方面，递归神经网络（RNN）非常适合长的顺序推理链，但它们不自然地结合程序结构，并且通常在上述任务中表现较差。我们的目标是实现两全其美，我们这样做，通过引入一种新的GNN架构，指令指针注意力图神经网络（IPA-GNN），它实现了改进的系统泛化学习使用控制流图执行程序的任务。该模型是通过考虑RNN对程序轨迹进行操作而产生的，其中分支决策是潜在变量。IPA-GNN可以被视为RNN模型的连续松弛，也可以被视为更适合执行的GNN变体。为了测试模型，我们提出评估系统的泛化学习执行使用控制流图，测试顺序推理和使用的程序结构。更实际的是，我们评估这些模型的学习执行部分程序的任务，可能会出现，如果使用该模型作为一个启发式功能，在程序合成。结果表明，IPA-GNN在这两项任务上的表现优于各种RNN和GNN基线。
2020-10-23 cs.LG
Neural-Symbolic Models for Logical Queries on Knowledge Graphs
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；HEC Montréal（蒙特利尔高等商学院）；CIFAR AI Chair（加拿大高等研究院人工智能讲席）
在知识图谱上表示复杂的一阶逻辑查询是多跳推理的基本任务。传统的符号方法遍历一个完整的知识图谱来抽取答案，为每一步提供了很好的解释。最近的神经方法学习复杂查询的几何嵌入。这些方法可以推广到不完备的知识图谱，但其推理过程难以解释。在本文中，我们提出了图神经网络查询执行器（GNN-QE），一个神经符号模型，享有两个世界的优势。GNN-QE将复杂的FOL查询分解为模糊集上的关系投影和逻辑运算，这为中间变量提供了可解释性。GNN-QE采用知识图谱完备化的图神经网络进行关系映射，并利用乘积模糊逻辑对逻辑运算进行建模，从而对缺失的链接进行推理。在3个数据集上的实验表明，GNN-QE在回答FOL查询方面比以前最先进的模型有显着改进。同时，GNN-QE可以在没有显式监督的情况下预测答案的数量，并提供中间变量的可视化。
2022-09-06 cs.AI cs.LG
Coupling Perception and Reasoning in Federated Multimodal Graph Foundation Models
Beijing Institute of Technology（北京理工大学）；Shandong University（山东大学）；Institute of Information Engineering（信息工程研究所）；University of Science and Technology Beijing（北京科技大学）
针对联邦多模态图基础模型中编码器与GNN适配不兼容的问题，提出FedCORE框架，通过共享低维潜在状态联合优化感知与推理，将配对差距从30.6降至5.9，降幅80.7%。
2026-10-02 cs.LG
Open-domain Question Answering via Chain of Reasoning over Heterogeneous Knowledge
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们提出了一种新的开放域问答（ODQA）框架，回答单/多跳的问题，跨异构的知识源。我们的方法的关键新颖之处在于将中间模块引入到当前的检索器-读取器管道中。与以前的方法不同，这些方法仅仅依赖于检索器来孤立地收集所有证据，我们的中介对检索到的集合执行一系列推理。具体来说，我们的方法链接检索到的证据与其相关的全球范围内的图形，并将它们组织成一个候选列表的证据链。基于预训练的语言模型，我们的系统在两个ODQA数据集OTT-QA和NQ上实现了与维基百科的表格和段落相比具有竞争力的性能。特别是，我们的模型在OTT-QA上的表现大大优于先前的最先进技术，精确匹配分数为47.3（45%相对增益）。
2022-10-22 cs.CL
Reasoning in Vector Space: An Exploratory Study of Question Answering
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
问答任务在分布式向量表示方面取得了显著的进展。在本文中，我们研究了最近提出的Facebook bAbI任务，其中包括20个不同类别的问题，需要复杂的推理。因为之前关于bAbI的工作都是端到端的模型，错误可能来自对语义的不完全理解或推理的某些步骤。为了更清晰的分析，我们提出了两个向量空间模型的启发张量积表示（TPR）进行知识编码和基于常识推理的逻辑推理。它们在所有类别上都达到了近乎完美的准确性，包括位置推理和路径查找，这对于大多数以前的方法来说都是困难的。我们假设，在这些类别的困难是由于与其他类别的单关系特性相比，多关系。我们的探索揭示了设计更复杂的数据集，并朝着将TPR的透明和可解释的形式主义整合到现有的学习范式中迈出了一步。
2016-02-26 cs.CL
Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering
Microsoft Research（微软研究院）；Singapore Management University（新加坡管理大学）；University of Pennsylvania（宾夕法尼亚大学）
本研究评估LLMs在金融表格问答中的数学推理能力，提出一种针对半结构化文档的新型提示技术，匹配或超越基线性能。
2025-10-09 cs.CL
From Representation to Reasoning: Towards both Evidence and Commonsense Reasoning for Video Question-Answering
Shanghai Jiao Tong University（上海交通大学）
视频理解在表示学习方面取得了很大的成功，如视频字幕、视频对象背景、视频描述性问答等。然而，现有的视频推理方法在视频推理方面仍存在一些问题，包括证据推理和常识推理。为了促进对视频推理的更深入的视频理解，我们提出了Cause-VidQA的任务，其中包括四种类型的问题，从场景描述（描述）到证据推理（解释）和常识推理（预测和反事实）。对于常识推理，我们通过回答问题和提供适当的理由来建立两步解决方案。通过对现有视频质量评估方法的大量实验，我们发现现有的视频质量评估方法描述能力强，但推理能力弱。我们希望Cause-VidQA能够指导视频理解从表示学习向更深层次推理的研究。数据集和相关资源可在\url{https://github.com/bcmi/Causal-VidQA.git}上获得。
2022-05-30 cs.CL cs.CV cs.MM
GrapeQA: GRaph Augmentation and Pruning to Enhance Question-Answering
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
提出GrapeQA方法，通过显著实体图增强和上下文感知节点剪枝改进工作图，解决常识问答中信息捕获不全和无关节点问题，在多个基准上超越前代LM+KG方法。
2023-04-18 cs.CL
Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering
Fudan University（复旦大学）
多跳推理需要聚合多个文档来回答一个复杂的问题。现有的方法通常将多跳问题分解为简单的单跳问题来求解，以说明可解释的推理过程。然而，他们忽略了每个推理步骤的支持事实，这往往会产生不准确的分解。在本文中，我们提出了一个可解释的逐步推理框架，将单跳支持句子识别和单跳问题生成在每个中间步骤，并利用当前跳下一个推理，直到推理出最终结果。我们采用一个统一的阅读器模型的中间跳推理和最终跳推理，并采用联合优化更准确和强大的多跳推理。我们在两个基准数据集HotpotQA和2WikiMultiHopQA上进行实验。结果表明，我们的方法可以有效地提高性能，也产生了一个更好的解释推理过程中没有分解监督。
2022-08-22 cs.CL
ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning
York University（约克大学）；Nanyang Technological University（南洋理工大学）；Salesforce Research（赛富时研究院）
图表在分析数据方面非常受欢迎。在探索图表时，人们经常会问各种复杂的推理问题，涉及几个逻辑和算术运算。他们通常也会在问题中提到图表的视觉特征。然而，大多数现有的数据集并不关注这样复杂的推理问题，因为它们的问题是基于模板的，答案来自固定的词汇表。在这项工作中，我们提出了一个大规模的基准测试，涵盖了9.6K人类书写的问题以及从人类书写的图表摘要生成的23.1K问题。为了解决我们的基准测试中涉及图表的视觉和逻辑推理的独特挑战，我们提出了两个基于transformer的模型，它们以统一的方式将图表的视觉特征和数据表结合起来来回答问题。虽然我们的模型在以前的数据集以及我们的基准测试中获得了最先进的结果，但评估也揭示了在回答复杂推理问题时面临的几个挑战。
2022-03-19 cs.CL
Improving Numerical Reasoning Skills in the Modular Approach for Complex Question Answering on Text
Monash University（莫纳什大学）
数字推理技能对于文本上的复杂问答（CQA）是必不可少的。它需要包括计数、比较、加法和减法在内的操作。一种成功的文本CQA方法，神经模块网络（NMN），遵循程序员-解释器范式，并利用专门的模块来执行组合推理。然而，国家独立网络框架在问题和段落中都没有考虑数字和实体之间的关系。我们提出了有效的技术，以提高NMN的数值推理能力，使解释器的问题意识和捕捉实体和数字之间的关系。在用于文本CQA的DROP数据集的同一子集上，实验结果表明，我们的添加比原始NMN的整体F1得分高出3.0分。
2021-09-06 cs.AI cs.CL
Understanding Expressivity of GNN in Rule Learning
Tsinghua University（清华大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文将尾实体评分 GNN 统一为通用框架，刻画其可学习的规则结构并证明表达优势，进而提出新标注策略以学习更多 KG 推理规则。
2024-04-10 cs.AI cs.LG
Global Counterfactual Explainer for Graph Neural Networks
University of California（加利福尼亚大学）；University of Illinois（伊利诺伊大学）；Indian Institute of Technology（印度理工学院）
图神经网络（GNN）在诸如计算生物学、自然语言处理和计算机安全的各种领域中找到应用。由于它们的流行，越来越需要解释GNN预测，因为GNN是黑箱机器学习模型。解决这个问题的一种方法是反事实推理，其目标是通过输入图中的最小变化来改变GNN预测。现有的GNN反事实解释方法仅限于实例特定的局部推理。这种方法有两个主要的局限性，不能提供全球追索权政策和超载人类认知能力与太多的信息。在这项工作中，我们通过全局反事实推理来研究GNNs的全局可解释性。具体来说，我们想找到一小部分有代表性的反事实图来解释所有输入图。为了实现这一目标，我们提出了GCFExplainer，这是一种新的算法，由顶点增强的随机游走在具有贪婪摘要的图的编辑地图上提供动力。在真实图数据集上进行的大量实验表明，GCFExplainer的全局解释提供了对模型行为的重要高层见解，与最先进的本地反事实解释器相比，资源覆盖率提高了46.9%，资源成本降低了9.5%。
2022-11-11 cs.LG
SpartQA: : A Textual Question Answering Benchmark for Spatial Reasoning
Michigan State University（密歇根州立大学）；Amazon（亚马逊）；Allen Institute for AI（艾伦人工智能研究所）
本文提出了一个问答（QA）基准空间推理的自然语言文本，其中包含更现实的空间现象没有被以前的工作，是具有挑战性的国家的最先进的语言模型（LM）。我们提出了一种远程监控的方法，以改善这项任务。具体来说，我们设计的语法和推理规则，自动生成的视觉场景和相应的QA对的空间描述。实验表明，在这些自动生成的数据上进一步预训练LM可以显着提高LM的空间理解能力，这反过来有助于更好地解决两个外部数据集bAbI和boolQ。我们希望这项工作可以促进调查更复杂的模型，空间推理的文本。
2021-04-12 cs.AI cs.CL
A Numerical Reasoning Question Answering System with Fine-grained Retriever and the Ensemble of Multiple Generators for FinQA
Nanjing University（南京大学）
财务领域的数值推理--进行定量分析和汇总财务报告中的信息--可以大大提高业务效率，减少数十亿美元的成本。在这里，我们提出了一个数值推理问答系统，回答金融文本和表格数据源之间的数值推理问题，包括检索器模块，生成器模块和集成模块。具体来说，在检索器模块中，除了检索整行数据，我们创新地设计了一个单元检索器，检索黄金细胞，以避免将不相关的和相似的细胞在同一行的发生器模块的输入。在生成器模块中，我们利用多个生成器生成程序，这些程序是回答问题的操作步骤。最后，在集成模块中，我们集成多个程序，选择最好的程序作为我们的系统的输出。在FinQA竞赛的最终私有测试集上，我们的系统获得了69.79的执行准确率。
2022-06-17 cs.CL
Learning to Recover Reasoning Chains for Multi-Hop Question Answering via Cooperative Games
Queen’s University（女王大学）；IBM Research（IBM研究院）；UC Santa Barbara（加州大学圣巴巴拉分校）；Beihang University（北京航空航天大学）
我们提出了从弱监督信号中学习恢复推理链的新问题，即，问答对我们提出了一个合作博弈的方法来处理这个问题，在其中如何选择的证据通道，以及如何选定的通道连接处理的两个模型，合作选择最有信心的链从一个大的候选人（从远程监督）。为了进行评估，我们基于两个多跳QA数据集（HotpotQA和MedHop）创建了基准测试;并为后者创建了手动标记的推理链。实验结果证明了该方法的有效性。
2020-04-06 cs.CL
RISE: Reasoning Enhancement via Iterative Self-Exploration in Multi-hop Question Answering
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
针对多跳问答中复杂推理和检索增强生成的局限性，提出RISE框架，通过问题分解、检索后阅读和自我批评的迭代自探索提升模型推理准确性与任务表现。
2025-05-28 cs.CL
Knowledge-enhanced Iterative Instruction Generation and Reasoning for Knowledge Base Question Answering
Peking University（北京大学）
多跳知识库问答（KBQA）的目的是在知识库中找到答案实体，该答案实体与问题中提到的主题实体相距若干跳。现有的基于检索的方法首先从问题中生成指令，然后使用它们来指导知识图谱上的多跳推理。由于在整个推理过程中指令是固定的，并且指令生成过程中不考虑知识图谱，因此模型一旦预测出中间实体错误，就无法修正错误。为了解决这个问题，我们提出了KBIGER（知识库迭代指令生成和推理），一种新颖的和有效的方法来生成动态的帮助下，推理图的指令。在推理之前，我们不生成所有的指令，而是考虑第（k-1）个推理图来构建第k个指令。通过这种方式，模型可以检查图中的预测，并生成新的指令来修改中间实体的错误预测。我们在两个多跳KBQA基准测试上进行了实验，实验结果表明，该方法的性能优于现有方法，成为最新的KBQA方法。进一步的实验表明，该方法能够检测中间实体的错误预测，并具有修正错误的能力。
2022-09-07 cs.CL
