ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering
University of Modena and Reggio Emilia（摩德纳大学和雷焦艾米利亚大学）；University of Pisa（比萨大学）
ReAG通过结合粗粒度和细粒度检索及批评模型过滤无关信息，提升知识密集型视觉问答的准确性和可解释性。
2026-03-31 cs.AI cs.CL cs.CV
Answering Image Riddles using Vision and Reasoning through Probabilistic Soft Logic
Arizona State University（亚利桑那州立大学）；University of Maryland, College Park（马里兰大学学院市分校）
在这项工作中，我们探讨了一种类型的难题（“图像谜语”），其中涉及一组图像和一个问题。解决这些难题需要视觉检测（包括物体、活动识别）和基于知识或常识推理的能力。我们编译了一个超过3k个谜语的数据集，每个谜语由4个图像和一个地面真相答案组成。使用众包评价验证注释。我们还定义了一个自动评估指标来跟踪未来的进展。我们的任务与通常用于测试智力的常见智商任务，如类比解决，序列填充具有相似性。我们开发了一种基于概率推理的方法，利用概率常识知识来回答这些谜语具有合理的准确性。我们展示了我们的方法使用自动和人工评估的结果。我们的方法取得了一些有希望的结果，这些谜语，并为未来的尝试提供了一个强有力的基线。我们在ImageRiddle网站（http：//bit.ly/22f9Ala）上向社区公开了整个数据集和相关材料。
2016-11-17 cs.AI cs.CV
Semantic-aware Dynamic Retrospective-Prospective Reasoning for Event-level Video Question Answering
Dublin City University（都柏林城市大学）；Nantong University（南通大学）；Trinity College Dublin（都柏林圣三一学院）
提出语义感知的动态回顾-前瞻推理方法，利用问题的SRL结构指导跨帧推理，在TrafficQA数据集上超越现有最先进模型。
2023-05-14 cs.AI cs.CL cs.CV
Thought-For-Food: Reasoning Chain Induced Food Visual Question Answering
TCS-Research（TCS研究）
针对现有VQA系统偏向西方食物的问题，本文提出在印度食物VQA中采用多步推理链，通过微调小模型并利用强化学习训练，使基线准确率平均提升10个百分点。
2025-11-03 cs.AI cs.CV
Cross-Modal Causal Relational Reasoning for Event-Level Visual Question Answering
Sun Yat-sen University（中山大学）
针对事件级视频问答中的跨模态虚假相关与因果动态建模不足，本文提出 CMCIR 框架，通过因果干预、时空交互和自适应特征融合提升鲁棒推理性能。
2023-06-07 cs.AI cs.CV
Conversational AI : Open Domain Question Answering and Commonsense Reasoning
Erik Jonsson School of Engineering and Computer Science（埃里克·琼森工程与计算机科学学院）；The University of Texas at Dallas（得克萨斯大学达拉斯分校）
我们的研究重点是建立一个类人的问答系统，可以合理地回答。我们的方法的显着特点是，它将使用自动化的常识推理来真正“理解”对话，使其能够像人类一样交谈。人们在交谈中经常会做出很多假设。我们用我们的常识来推断没有明确告诉我们的事实。在问答系统中简化常识知识只会使它更健壮。
2019-09-18 cs.AI cs.HC cs.LO
Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh（爱丁堡大学）；Aveni（阿维尼公司）
针对LLM在复杂多步推理QA任务中的挑战，本文区分元级（高级策略规划）与对象级（低级任务执行）推理，提出Franklin数据集并结合其他数据集评估4个LLM，揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL
UpstreamQA: A Modular Framework for Explicit Reasoning on Video Question Answering Tasks
Lincoln North Star High School（林肯北星高中）；The Charter School of Wilmington（威尔明顿 charter 学校）；Greenwich High School（格林威治高中）；Santa Susana High School（圣塔苏娜高中）；UC Berkeley（伯克利大学）
本文提出UpstreamQA框架，通过显式推理模块分离和评估视频推理核心组件，提升视频问答任务的性能和可解释性，但可能在基线性能高时导致性能下降。
2026-04-25 cs.AI cs.CV
SciEGQA: A Dataset for Scientific Evidence-Grounded Question Answering and Reasoning
Beihang University（北京航空航天大学）；Peking University（北京大学）；The University of Hong Kong（香港大学）；Baidu Inc.（百度公司）
SciEGQA数据集通过精细标注和大规模自动构建，提升视觉语言模型在科学文档中的证据定位与推理能力。
2026-03-30 cs.AI cs.CV cs.DB
CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
CoGR-MoE通过整合答案选项的语义信息指导专家选择，利用选项特征重新加权专家，生成判别性表示，用于选项比较和对比学习优化，提升视觉问答性能。
2026-04-18 cs.AI cs.CV
Improving Numerical Reasoning Skills in the Modular Approach for Complex Question Answering on Text
Monash University（莫纳什大学）
数字推理技能对于文本上的复杂问答（CQA）是必不可少的。它需要包括计数、比较、加法和减法在内的操作。一种成功的文本CQA方法，神经模块网络（NMN），遵循程序员-解释器范式，并利用专门的模块来执行组合推理。然而，国家独立网络框架在问题和段落中都没有考虑数字和实体之间的关系。我们提出了有效的技术，以提高NMN的数值推理能力，使解释器的问题意识和捕捉实体和数字之间的关系。在用于文本CQA的DROP数据集的同一子集上，实验结果表明，我们的添加比原始NMN的整体F1得分高出3.0分。
2021-09-06 cs.AI cs.CL
Hypergraph Transformer: Weakly-supervised Multi-hop Reasoning for Knowledge-based Visual Question Answering
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；AI Institute (AIIS), Seoul National University（首尔国立大学人工智能研究院（AIIS））
基于知识的视觉问答（QA）的目的是回答一个问题，这需要视觉基础的外部知识超越图像内容本身。在弱监督下对需要多跳推理的复杂问题进行推理被认为是一个具有挑战性的问题，因为i）没有对推理过程进行监督，ii）需要捕获多跳知识事实的高阶语义。在本文中，我们引入超图的概念来编码问题和知识库的高级语义，并学习它们之间的高阶关联。提出的模型Hypergraph Transformer构造了一个问题超图和一个查询感知知识超图，并通过编码超图之间的关联和超图本身的关联来推断答案。在两个基于知识的视觉问答和两个基于知识的文本问答上的实验证明了该方法的有效性，特别是对于多跳推理问题。我们的源代码可以在https://github.com/yujungheo/kbvqa-public上找到。
2022-04-22 cs.AI cs.CL cs.CV
SpartQA: : A Textual Question Answering Benchmark for Spatial Reasoning
Michigan State University（密歇根州立大学）；Amazon（亚马逊）；Allen Institute for AI（艾伦人工智能研究所）
本文提出了一个问答（QA）基准空间推理的自然语言文本，其中包含更现实的空间现象没有被以前的工作，是具有挑战性的国家的最先进的语言模型（LM）。我们提出了一种远程监控的方法，以改善这项任务。具体来说，我们设计的语法和推理规则，自动生成的视觉场景和相应的QA对的空间描述。实验表明，在这些自动生成的数据上进一步预训练LM可以显着提高LM的空间理解能力，这反过来有助于更好地解决两个外部数据集bAbI和boolQ。我们希望这项工作可以促进调查更复杂的模型，空间推理的文本。
2021-04-12 cs.AI cs.CL
Compositional Attention Networks for Interpretability in Natural Language Question Answering
Saama AI Research（萨马人工智能研究院）
MAC网是一个为视觉问答设计的合成注意网络。我们提出了一种改进的MAC网络结构的自然语言问答。问答通常需要语言理解和多步推理。MAC网独特的体系结构-存储和控制分离，有利于数据驱动的迭代推理。这使得它成为解决涉及逻辑推理的任务的理想候选人。我们的实验与20 bAbI任务证明了MAC网的价值作为一个数据高效和可解释的架构自然语言问答。MAC网络的透明性提供了一个高度粒度的视图，网络在回答查询时所采取的推理步骤。
2018-10-30 cs.AI cs.CL cs.LG
Semantic Sentence Composition Reasoning for Multi-Hop Question Answering
Zhejiang University（浙江大学）
现有的多跳开放域问答系统由于缺乏足够的数据，需要根据每个问题有效地找出相关的支持事实。针对语义事实句检索和多跳上下文扩展的难题，提出了一种面向多跳问答任务的语义句子组合推理方法，该方法包括两个关键模块：多阶段语义匹配模块（MSSM）和事实句子组合模块（FSC）.该方法将事实句和多阶段语义检索相结合，可以为模型训练和推理提供更全面的上下文信息。实验结果表明，我们的模型是能够纳入现有的预训练语言模型，并优于现有的SOTA方法的QASC任务的改进约9%。
2022-03-01 cs.AI cs.CL cs.IR
Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks
Purdue University（普渡大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
针对预训练语言模型难以组合事实进行多跳问答的问题，本文利用知识图谱随机游走并训练软提示，将多跳问题映射到答案路径，在两个 T5 模型上显著提升 2 跳推理性能。
2023-06-06 cs.AI cs.CL
Practical Approach to Knowledge-based Question Answering with Natural Language Understanding and Advanced Reasoning
本研究假设，一种实用的方法，以一个解决方案框架的形式被称为自然语言理解和推理的智能（NaLURI），它结合了全话语自然语言理解，强大的表示形式主义，能够利用本体信息和推理方法与先进的功能，将解决以下问题，而不损害实用性因素：1）对问题和响应的性质的限制，以及2）对跨域扩展和对现实生活中的自然语言文本的限制。
2007-07-24 cs.AI cs.CL cs.HC
Deep Algorithmic Question Answering: Towards a Compositionally Hybrid AI for Algorithmic Reasoning
University of Edinburgh（爱丁堡大学）
人工智能（AI）的一个重要方面是能够以一步一步的“算法”方式进行推理，可以检查和验证其正确性。这在问答（QA）领域中尤其重要。我们认为，QA算法推理的挑战，可以有效地解决与“系统”的方法，人工智能，其特点是混合使用的符号和子符号的方法，包括深神经网络。此外，我们认为，虽然具有端到端训练管道的神经网络模型在诸如图像分类和语言建模等狭窄应用中表现良好，但它们本身不能成功地执行算法推理，特别是如果任务跨越多个领域。我们讨论了一些值得注意的例外，并指出他们仍然是有限的，当QA问题扩大到包括其他情报需要的任务。然而，深度学习和一般的机器学习在推理过程中确实扮演着重要的角色。我们提出了一种算法推理的QA，深度问答问答（DAQA），基于三个理想的属性：可解释性，可推广性和鲁棒性，这样的AI系统应该拥有的，并得出结论，他们最好的混合和组合AI的组合实现。
2021-11-05 cs.AI
Neural Reasoning, Fast and Slow, for Video Question Answering
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
设计一台机器来学习回答关于视频的自然问题需要什么？视频QA系统必须同时理解语言，表示时空上的视觉内容，并迭代地转换这些表示以响应查询中的语言内容，并最终得到合理的答案。虽然语言和视觉问答的最新进展已经实现了复杂的表示和神经推理机制，但视频QA的主要挑战仍然是支持推理过程的概念，关系和动作的动态基础。受人类推理的双进程帐户的启发，我们设计了一个双进程神经架构，它由一个问题引导的视频处理模块（系统1，快速和反应），其次是一个通用的推理模块（系统2，缓慢和审议）。系统1是一个分层模型，它根据问题中的文本线索，对关于物体、动作和时空关系的视觉模式进行编码。编码表示是一组高级视觉特征，然后将其传递给系统2。在这里，多步推理按照文本元素的指示迭代地链接视觉元素。在SVQA（合成）和TGIF-QA数据集（真实）上对该系统进行了评估，证明了竞争结果，在多步推理的情况下具有很大的优势。
2020-04-11 cs.AI cs.CV cs.LG
IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering
Chung-Ang University（中央大学）
本文针对多跳问答中现有提示压缩方法无法捕捉多跳推理步骤的问题，提出无训练框架IterCOMP，经实验验证其可提升问答指标并减少token预算。
2026-08-17 cs.AI cs.CL
MediQAl: A French Medical Question Answering Dataset for Knowledge and Reasoning Evaluation
Data Clinic, University Hospital of Nantes, France（南特大学医院数据诊所，法国）；Nantes Université, École Centrale Nantes, CNRS, LS2N, France（南特大学，中央理工学院南特分校，国家科学研究中心，LS2N，法国）
本文提出MediQAl数据集，用于评估语言模型在事实性医学记忆和现实临床场景推理方面的能力，包含32,603个法语医学问题，涵盖41个医学科目，包含三种任务，通过14个大型语言模型的评估发现事实记忆与推理任务之间存在显著性能差距。
2025-07-28 cs.AI cs.CL
Dynamic Key-value Memory Enhanced Multi-step Graph Reasoning for Knowledge-based Visual Question Answering
KU Leuven（鲁汶大学）
基于知识的视觉问答（VQA）是一种视觉语言任务，它要求智能体使用给定图像中没有的知识正确回答与图像相关的问题。这不仅是一项比常规VQA更具挑战性的任务，也是建立通用VQA系统的重要一步。大多数现有的基于知识的VQA系统类似地处理知识和图像信息，并且忽略了知识库（KB）包含关于三元组的完整信息的事实，而提取的图像信息可能是不完整的，因为两个对象之间的关系丢失或错误检测。在本文中，我们提出了一种新的模型命名为动态知识记忆增强的多步图推理（DMMGR），它执行显式和隐式推理的键值知识记忆模块和空间感知的图像图，分别。具体地，存储器模块在每个推理步骤学习动态知识表示并生成知识感知问题表示。然后，该表示被用来引导图形注意力算子在空间感知图像图形上。我们的模型在KRVQR和FVQA数据集上实现了新的最先进的精度。我们还进行了烧蚀实验，以证明所提出的模型的每个组件的有效性。
2022-03-06 cs.AI cs.CL cs.CV
SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models
Intel Labs（英特尔实验室）
针对大型语言模型推理能力未被充分利用的问题，提出新型提示技术SQuARE，通过自我询问生成并解决辅助问题分解主查询，在多个数据集上显著优于传统思维链提示，提升推理任务性能。
2025-02-13 cs.AI cs.CL cs.LG
Zero-Shot Time-Series Question Answering via Decoupled Perception and Reasoning
Shanghai Jiao Tong University（上海交通大学）
针对时间序列问答中现有方法过拟合特定数据集、难以泛化的问题，提出TSHarness智能体框架，通过解耦数值感知与上下文推理，实现跨数据集零样本问答。
2026-10-06 cs.AI
CBR-iKB: A Case-Based Reasoning Approach for Question Answering over Incomplete Knowledge Bases
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
知识库（KBs）在实践中往往是不完整和不断变化的。然而，在许多与知识库相结合的问答应用中，知识库的稀疏性常常被忽视。为此，我们提出了一个基于案例的推理方法，CBR-iKB，知识库问答（KBQA）与不完全知识库作为我们的主要焦点。我们的方法集成决策从多个推理链与一种新的非参数推理算法。通过设计，CBR-iKB可以无缝地适应知识库的变化，而无需任何特定于任务的培训或微调。我们的方法在MetaQA上实现了100%的准确性，并在多个基准测试中建立了新的最先进水平。例如，CBR-iKB在不完整KB设置下在WebQSP上实现了70%的准确性，比现有的最先进的方法高出22.3%。
2022-04-18 cs.AI cs.CL cs.IR
VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering
KDDI Research（KDDI研究所）；Stanford University（斯坦福大学）
提出VQA-GNN模型，通过超级节点连接场景图与概念图并利用多模态GNN进行双向融合与跨模态消息传递，在VCR和GQA任务上显著提升了视觉问答的概念级推理性能。
2023-09-15 cs.AI cs.CL cs.CV
Enhancing Temporal Sensitivity and Reasoning for Time-Sensitive Question Answering
University of Technology Sydney（悉尼科技大学）；University of Liverpool（利物浦大学）
本文提出结合时间信息感知嵌入与粒度对比强化学习的新框架，以增强大模型的时间敏感性与推理能力，并在四个TSQA数据集上显著超越现有模型。
2024-09-29 cs.AI cs.CL
Answering the Wrong Question: Reasoning Trace Inversion for Abstention in LLMs
MIT（麻省理工学院）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文提出轨迹逆向方法，通过分析模型推理轨迹来改进LLMs的退避能力，实验表明其在多个数据集上显著提升退避性能。
2026-04-02 cs.AI
SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning
IBM Research（IBM研究院）；EPFL（洛桑联邦理工学院）
在知识图谱上进行推理和问答的现有方法通常随着边的数量而缩放，并且只能有效地应用于小的实例依赖子图。在本文中，我们解决这个问题，表明多跳和更复杂的逻辑推理可以单独完成，而不会失去表达能力。出于这种认识，我们提出了一种多跳推理的方法，该方法与图中的关系类型的数量呈线性关系，通常比边或节点的数量要小得多。这会产生一组候选解决方案，这些解决方案可以被证明是精炼的，以恢复原始问题的解决方案。我们对基于知识的问答的实验表明，我们的方法解决了多跳MetaQA数据集，实现了一个新的国家的最先进的更具挑战性的WebbrowsSP，是数量级的可扩展性比竞争对手的方法，并可以实现合成泛化的训练分布。
2021-10-27 cs.AI cs.CL cs.IR
Causal Reasoning through Two Layers of Cognition for Improving Generalization in Visual Question Answering
Tokyo Institute of Technology（东京工业大学）
针对视觉问答泛化能力不足的问题，提出两层认知架构的CopVQA模型，通过多通路因果推理与专家模块协作提升性能，在多数据集上取得优异表现且模型规模更小。
2023-10-09 cs.AI
REAL: Resolving Knowledge Conflicts in Knowledge-Intensive Visual Question Answering via Reasoning-Pivot Alignment
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
提出REAL框架，通过推理枢轴对齐和引导解码，解决知识密集型视觉问答中因开放域检索引起的知识冲突问题。
2026-05-30 cs.AI
Step-CoT: Stepwise Visual Chain-of-Thought for Medical Visual Question Answering
本文提出Step-CoT，通过结构化多步推理提升医学视觉问答的准确性和可解释性，引入专家 curated 的医疗诊断流程对齐的推理数据集和动态图结构聚焦机制。
2026-03-14 cs.AI cs.CL cs.CV
ATM: Action Temporality Modeling for Video Question Answering
Michigan State University（密歇根州立大学）
针对视频问答中时间推理不足的问题，提出ATM方法，通过光流、动作中心对比学习及防打乱视频训练三重机制提升时间性推理，并在多个基准上超越现有方法。
2023-09-05 cs.CV
JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
现有的知识图增强的常识问答模型主要集中在设计复杂的图神经网络（GNN）来建模知识图谱（KG）。然而，他们忽略了（i）在问题上下文表示和KG表示上的有效融合和推理，以及（ii）在推理期间从噪声KG中自动选择相关节点。在本文中，我们提出了一种新的模型，JointLK，它解决了上述限制，通过LM和GNN的联合推理和动态KG修剪机制。具体而言，JointLK通过一种新的密集双向注意模块实现LM和GNN之间的联合推理，其中每个问题标记参与KG节点，每个KG节点参与问题标记，两种模态表示通过多步交互相互融合和更新。然后，动态修剪模块使用由联合推理产生的注意力权重递归地修剪不相关的KG节点。我们在CommonsenseQA和OpenBookQA数据集上评估了JointLK，并展示了它对现有LM和LM+KG模型的改进，以及它执行可解释推理的能力。
2022-05-02 cs.AI cs.CL
PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering
Oracle AI（甲骨文人工智能）
PAR$^2$-RAG通过分阶段的覆盖与承诺分离，结合广度优先锚定和深度优先细化，提升多跳问答的准确率和检索效果。
2026-03-30 cs.AI
Empowering Language Models with Knowledge Graph Reasoning for Question Answering
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Cognitive Services Research（微软认知服务研究院）；University of Notre Dame（圣母大学）
回答开放域问题需要关于上下文实体的世界知识。由于预先训练的语言模型（LM）缺乏存储所有所需知识的能力，外部知识源（诸如知识图谱）通常用于增强LM。在这项工作中，我们提出了知识推理授权的语言模型（OREO LM），它包括一个新的知识交互层，可以灵活地插入到现有的基于转换器的LM与可区分的知识图谱推理模块协作。通过这种方式，LM引导KG走向期望的答案，而检索到的知识改善LM。通过将OREO-LM应用于RoBERTa和T5，我们显示出显著的性能提升，在闭卷设置中实现了最先进的结果。性能的提高主要来自KG推理的推理能力，推断丢失的关系事实。此外，OREO-LM提供了推理路径作为解释模型决策的依据。
2022-11-15 cs.AI cs.CL
DCQA: Document-Level Chart Question Answering towards Complex Reasoning and Common-Sense Understanding
East China Normal University（华东师范大学）；Fudan University（复旦大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出文档级图表问答任务DCQA，构建含50,010个文档和699,051个问题的基准数据集，并设计无需OCR的transformer方法，以支持文档版面分析及图表上的复杂推理与常识问答。
2023-10-29 cs.AI
Neural-Symbolic VideoQA: Learning Compositional Spatio-Temporal Reasoning for Real-world Video Question Answering
Harbin University of Science and Technology（哈尔滨理工大学）
本文提出神经符号框架 NS-VideoQA，通过 SPN 将视频结构化为符号表示，并用 SRM 与多态执行器完成组合式时空推理，在 AGQA Decomp 上验证了有效性。
2024-04-05 cs.CV
ExplanationLP: Abductive Reasoning for Explainable Science Question Answering
University of Manchester（曼彻斯特大学）；Department of Computer Science（计算机科学系）
我们提出了一种新的方法来回答和解释多项选择科学问题的推理接地和抽象推理链。本文将问答问题归结为一个溯因推理问题，为每个选择构建合理的解释，然后选择具有最佳解释的候选者作为最终答案。我们的系统，elementation LP，elementary解释，通过构建一个加权图的相关事实为每个候选答案，并提取满足一定的结构和语义约束的事实。为了提取解释，我们采用了线性规划形式主义，旨在选择最佳的子图。图的加权函数由一组参数组成，我们可以微调这些参数以优化答案选择性能。我们在WorldTree和ARC-Challenge语料库上进行实验，以实证证明以下结论：（1）接地抽象推理链提供语义控制，以执行可解释的溯因推理（2）通过在类似设置中优于当代可解释和基于变换器的方法，以较少数量的参数进行学习的效率和鲁棒性（3）通过在一般科学问题集上优于SOTA可解释方法来实现普遍性。
2020-10-25 cs.AI cs.CL cs.IR
GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
Stanford University（斯坦福大学）
我们介绍了GQA，一个新的数据集，用于现实世界的视觉推理和组合问答，寻求解决以前的VQA数据集的关键缺点。我们已经开发了一个强大而强大的问题引擎，利用场景图结构创建22M不同的推理问题，所有这些问题都带有表示其语义的功能程序。我们使用的程序来获得严格的控制答案分布，并提出了一个新的可调平滑技术，以减轻问题的偏见。该数据集附带了一套新的指标，用于评估一致性、基础和合理性等基本质量。对基线以及最先进的模型进行了广泛的分析，为不同的问题类型和拓扑提供了细粒度的结果。虽然盲LSTM仅获得42.1%，强大的VQA模型获得54.1%，但人类性能最高可达89.3%，为新研究提供了充分的探索机会。我们强烈希望GQA能够为下一代模型提供一个支持资源，增强鲁棒性，提高一致性，并对图像和语言进行更深入的语义理解。
2019-05-10 cs.AI cs.CL cs.CV
PATRA: Pattern-Aware Alignment and Balanced Reasoning for Time Series Question Answering
East China Normal University, Shanghai, China（华东师范大学）；Aalborg University, Aalborg, Denmark（奥胡斯大学）
针对现有LLM方法在时间序列推理中忽略模式提取和简单任务主导学习的问题，提出模式感知对齐与平衡推理模型PATRA，通过提取趋势和季节模式实现深度对齐，并设计任务感知平衡奖励以协调不同难度任务的学习，在多种时间序列问答任务中优于强基线。
2026-06-01 cs.AI
BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering
The University of Sydney（悉尼大学）；Tencent Robotics X（腾讯机器人X实验室）
多跳推理问答需要深入理解各种文档和查询之间的关系。我们提出了一个双向注意实体图卷积网络（BAG），利用实体图中的节点之间的关系和查询和实体图之间的注意力信息，来解决这个问题。图卷积网络用于获得从具有多级特征的文档构建的实体图的节点的关系感知表示。然后，双向注意力应用于图和查询，以生成查询感知节点表示，这将用于最终的预测。实验评估表明，BAG在QAngaroo WIKIHOP数据集上实现了最先进的精度性能。
2019-04-10 cs.AI cs.CL cs.LG
Condition-Gated Reasoning for Context-Dependent Biomedical Question Answering
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Institutes of Health（美国国立卫生研究院）
本文提出CondMedQA基准和Condition-Gated Reasoning框架，通过构建条件感知知识图谱，提升生物医学问答中条件依赖的推理能力。
2026-06-06 cs.AI cs.CL
STAIR: Spatial-Temporal Reasoning with Auditable Intermediate Results for Video Question Answering
Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
针对视频问答模型在长视频时序推理上性能下降的问题，提出神经模块网络STAIR，通过分层子任务分解与可审计中间输出提升性能与可解释性。
2024-01-08 cs.CL cs.CV
A Multi-Agent System for Complex Reasoning in Radiology Visual Question Answering
University of North Texas（北卡罗来纳州立大学）
本文提出一个多智能体系统，通过上下文理解、多模态推理和答案验证三个专门智能体，解决放射学视觉问答中事实准确性和幻觉问题，实验证明其优于强MLLM基线，支持可解释的临床AI应用。
2025-08-04 cs.AI cs.IR
Reinforcement Learning Enhanced Multi-hop Reasoning for Temporal Knowledge Question Answering
本研究提出MRE框架，通过增强正向和反向推理，提升时间知识问答中多跳推理的准确性和鲁棒性。
2026-01-03 cs.AI
CRIPP-VQA: Counterfactual Reasoning about Implicit Physical Properties via Video Question Answering
Arizona State University（亚利桑那州立大学）
视频通常捕捉对象、它们的可见属性、它们的运动以及不同对象之间的交互。物体还具有诸如质量之类的物理属性，这是成像管道无法直接捕获的。然而，这些属性可以通过利用来自相对对象运动和由碰撞引入的动态的线索来估计。在本文中，我们介绍CRIPP-VQA，一个新的视频问答数据集的推理场景中的对象的隐式物理属性。CRIPP-VQA包含运动中的物体的视频，注释有涉及行动效果的反事实推理的问题，关于达到目标的规划问题，以及关于物体可见属性的描述性问题。CRIPP-VQA测试集可以在几种分布外设置下进行评估-具有质量，摩擦系数和初始速度的对象的视频在训练分布中没有观察到。我们的实验揭示了一个令人惊讶的和显着的性能差距，在回答问题的隐式属性（本文的重点）和显式属性的对象（以前的工作的重点）。
2022-11-07 cs.CL cs.CV
Confidence-guided Refinement Reasoning for Zero-shot Question Answering
Seoul National University（首尔大学）
提出免训练的C2R框架，通过构建和细化子问答对并比较置信度分数，提升文本、图像和视频零样本问答的可靠性与性能。
2025-09-25 cs.AI cs.CL
GHR-VQA: Graph-guided Hierarchical Relational Reasoning for Video Question Answering
School of ECE National Technical University of Athens（国家技术大学雅典电子工程学院）；Robotics Institute Athena Research Center（雅典研究中心机器人研究所）；University of Luxembourg（卢森堡大学）
GHR-VQA通过图引导的层次关系推理框架，利用场景图捕捉视频中的人-物交互，提升视频问答任务的性能。
2025-11-25 cs.CV
ReasonChainQA: Text-based Complex Question Answering with Explainable Evidence Chains
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
证据推理能力在问答中受到越来越多的关注。近年来，自然语言数据库（NLDB）利用文本证据而不是结构化的知识表示进行复杂的问答，由于文本证据的灵活性和丰富性，这项任务引起了人们的广泛关注。然而，现有的基于文本的复杂问答数据集无法提供显式的推理过程，而这对检索的有效性和推理的可解释性至关重要。因此，我们提出了一个基准\textbf{ReasonChainQA}的解释性和明确的证据链。ReasonChainQA包括两个子任务：答案生成和证据链提取，它还包含了不同深度的多跳问题的多样性，12种推理类型和78种关系。为回答复杂问题提供高质量的文本证据。在有监督和无监督检索上的实验充分说明了ReasonChainQA的重要性。数据集和代码将在接受后公开提供。
2022-10-17 cs.AI cs.CL
LiVLR: A Lightweight Visual-Linguistic Reasoning Framework for Video Question Answering
Xi’an Jiaotong University（西安交通大学）
视频问答（VideoQA）是在理解多模态视频内容的基础上正确回答给定问题的一种方法。从视频理解的角度来看，一个好的VideoQA框架需要在不同的语义层次上理解视频内容，并灵活地整合多样化的视频内容，以提取与问题相关的内容。为此，我们提出了一个轻量级的视觉语言推理框架LiVLR。具体来说，LiVLR首先利用基于图的视觉和语言编码器来获得多粒度的视觉和语言表示。随后，所获得的表示与设计的多样性感知视觉语言推理模块（DaVL）集成。DaVL在生成问题相关联合表征时考虑了不同表征类型之间的差异，可以灵活调整不同表征类型的重要性，是一种有效且通用的表征整合方法。建议的LiVLR是轻量级的，并显示其性能优势的两个VideoQA基准测试，MRSVTT-QA和KnowIT VQA。广泛的消融研究证明了LiVLR关键组件的有效性。
2021-11-30 cs.CV
STOC-TOT: Stochastic Tree-of-Thought with Constrained Decoding for Complex Reasoning in Multi-Hop Question Answering
Virginia Tech（弗吉尼亚理工大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
本文提出STOC-TOT随机思维树推理提示方法，通过将多跳问答问题分解为子问题构建树状推理路径并进行概率估计，结合约束解码减少幻觉，在多个数据集和大语言模型上显著优于现有推理提示。
2024-07-04 cs.AI cs.CL
EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering and Reasoning
Emory University（埃默里大学）；University of Illinois Chicago（伊利诺伊大学香槟分校）；Microsoft（微软公司）
提出EpiQAL基准，通过三个子集（事实回忆、多步推理、不完整信息下结论重建）评估LLM在流行病学推理中的表现，发现当前模型在多步推理上表现有限。
2026-09-01 cs.AI cs.CL
VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice
Meta AI；King Abdullah University of Science and Technology (KAUST)（卡布斯大学）；Princeton University（普林斯顿大学）
本文提出VideoAuto-R1框架，通过一次推理两次回答策略提升视频理解效率，实现准确率和效率的双重提升。
2026-03-21 cs.CV
