Open3D-VQA: A Benchmark for Comprehensive Spatial Reasoning with Multimodal Large Language Model in Open Space
Tsinghua University（清华大学）；Pengcheng Laboratory（鹏城实验室）；Sun Yat-sen University（中山大学）
本研究提出用于评估多模态大语言模型空中视角空间推理能力的基准Open3D-VQA，含7.3万跨模态问答对，覆盖7类任务，实验揭示了现有模型的能力特点与微调效果，并开源相关工具。
2025-10-30 cs.CV
Coarse-to-Fine Reasoning for Visual Question Answering
AIOZ；University of Liverpool（利物浦大学）
在视觉问答（VQA）任务中，弥合图像和问题之间的语义鸿沟是提高其准确性的重要环节。然而，现有的VQA方法大多集中于注意力机制或视觉关系来推理答案，而没有充分利用不同语义层次的特征。在本文中，我们提出了一个新的推理框架，以填补视觉特征和语义线索的VQA任务之间的差距。我们的方法首先从图像和问题中提取特征和谓词。然后，我们提出了一个新的推理框架，有效地共同学习这些功能和谓词在一个由粗到细的方式。在三个大规模VQA数据集上的实验结果表明，该方法与其他最先进的方法相比，具有更高的准确性。此外，我们的推理框架还提供了一种可解释的方式来理解深层神经网络在预测答案时的决策。
2022-04-19 cs.CV
Geospatial Chain of Thought Reasoning for Enhanced Visual Question Answering on Satellite Imagery
Indian Institute of Technology Bombay（印度理工学院班加罗尔）；IBM Research India（IBM印度研究）
针对卫星图像VQA缺乏复杂地理空间查询所需的结构化推理问题，提出结合地理空间CoT推理与DPO的框架，提升可解释性、鲁棒性和准确性，CoT监督使准确率提升34.9%，DPO带来额外增益，推进多光谱地球观测VQA技术。
2025-11-14 cs.CV
Retrieval-Augmented Natural Language Reasoning for Explainable Visual Question Answering
Kyung Hee University（庆熙大学）
本文提出ReRe模型，通过检索增强自然语言推理，在不依赖复杂网络和额外数据集的情况下提升视觉问答准确率与解释质量。
2024-08-30 cs.CV
Knowledge Condensation and Reasoning for Knowledge-based VQA
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Kuaishou（快手）
针对基于知识的视觉问答中检索知识含噪问题，提出知识凝聚与推理协同模型，提炼简洁概念与知识精髓，实现最先进性能（OK-VQA 65.1%，A-OKVQA 60.1%）。
2024-03-15 cs.CV
VQA and Visual Reasoning: An Overview of Recent Datasets, Methods and Challenges
University of Electronic Science and Technology of China（电子科技大学）；Universiti Brunei Darussalam（文莱达鲁萨兰大学）
近年来，人工智能（AI）及其应用引起了人们的极大兴趣。这一成就可以部分归功于人工智能子领域的进步，包括机器学习（ML），计算机视觉（CV）和自然语言处理（NLP）。深度学习是采用人工神经网络概念的机器学习的一个子领域，它使这些领域的增长最为迅速。视觉和语言的融合也因此引发了很多关注。这些任务的创建方式使它们正确地融合了深度学习的概念。在这篇综述论文中，我们提供了一个全面和广泛的审查的最先进的方法，关键模型的设计原则，并讨论现有的数据集，方法，他们的问题制定和评估措施的VQA和视觉推理任务，以了解视觉和语言表示学习。我们还提出了一些潜在的未来路径在这一领域的研究，希望我们的研究可能会产生新的想法和新的方法来处理现有的困难和开发新的应用。
2022-12-26 cs.CV
Visual Query Answering by Entity-Attribute Graph Matching and Reasoning
Northwestern University（西北大学）；Southwest Jiaotong University（西南交通大学）
可视化查询查询（VQA）在为人们提供便利方面具有重要意义：人们可以对图像提出关于对象细节或对场景的高级理解的问题。本文提出了一种新的方法来解决VQA问题。与以前的作品相比，我们的方法，目标是单场景VQA，基于图的技术，并涉及推理的答复。简而言之，我们的方法集中在三个图上。第一个图，称为推理图GI，是通过对标记数据的学习来构建的。另外两个图，称为查询图Q和实体-属性图GEA，分别从用户发出的自然语言查询Qnl和图像Img生成。由于GEA往往不采取足够的信息来回答Q，我们开发的技术来推断GEA与GI的缺失信息。在GEA和Q的基础上，我们提供了在GEA中寻找Q的匹配的技术，作为Img中Qnl的答案。与通常使用的基于端到端神经网络的VQA方法不同，我们基于图的方法显示了精心设计的推理能力，因此具有高度的可解释性。我们还创建了一个具有丰富注释的足球比赛数据集（Soccer-VQA）。实验结果表明，我们的方法优于国家的最先进的方法，并有很高的潜力，为未来的调查。
2019-03-16 cs.CV
SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
现有的VQA数据集包含不同复杂程度的问题。虽然这些数据集中的大多数问题都需要感知来识别实体的存在，属性和空间关系，但相当一部分问题提出了与推理任务相对应的挑战-这些任务只能通过对世界，逻辑和/或推理的感知和知识的综合来回答。通过这种区别分析性能，我们可以注意到现有的VQA模型何时存在一致性问题;它们正确地回答了推理问题，但在相关的低级感知问题上失败了。例如，在图1中，模型回答了复杂的推理问题“香蕉熟到可以吃了吗？”正确，但在相关的感知问题“香蕉主要是绿色还是黄色？”上失败了。这表明该模型可能正确地回答了推理问题，但原因是错误的。我们通过创建VQA数据集的新推理分割并收集VQA-introspect来量化这种现象发生的程度，VQA-introspect是一个新的数据集1，由238 K个新的感知问题组成，这些问题作为与有效回答推理分割中复杂推理问题所需的感知任务集相对应的子问题。我们的评估表明，最先进的VQA模型在回答感知和推理问题方面具有可比的性能，但存在一致性问题。为了解决这个缺点，我们提出了一种称为子问题重要性感知网络调整（SQuINT）的方法，该方法鼓励模型在回答推理问题和感知子问题时关注图像的相同部分。我们发现SQuINT将模型一致性提高了约5%，也略微提高了VQA中推理问题的性能，同时还显示了更好的注意力地图。
2020-06-16 cs.AI cs.CL cs.CV
Supervising the Transfer of Reasoning Patterns in VQA
Orange Innovation（奥兰治创新实验室）；INSA Lyon（里昂国立应用科学学院）；LIRIS（图像与信息系统实验室）；Univ. Claude Bernard（克劳德·贝尔纳大学）；LAGEPP（自动化与过程工程实验室）
视觉问题回答方法（VQA）因利用数据集偏差而不是执行推理而臭名昭著，阻碍了泛化。最近的研究表明，在最先进的VQA模型的注意力层中，当它们在完美的（Oracle）视觉输入上进行训练时，会出现更好的推理模式。这提供了证据，证明当训练条件足够有利时，深度神经网络可以学习推理。然而，将这些学到的知识转移到可部署的模型是一个挑战，因为在转移过程中会丢失很多知识。我们提出了一种基于规则化项的知识转移方法，在我们的损失函数中，监督所需的推理操作的顺序。我们提供了一个基于PAC学习的理论分析，表明这样的程序预测可以在温和的假设下降低样本复杂度。我们还在GQA数据集上通过实验证明了这种方法的有效性，并显示了它对BERT类自监督预训练的互补性。
2021-06-10 cs.CV cs.LG
Modularized Zero-shot VQA with Pre-trained Models
Singapore Management University（新加坡管理大学）
针对零样本 VQA 的多步推理难题，提出将问题显式分解并分配合适 PTM 的模块化网络，在两个基准上提升了效果与可解释性。
2024-01-24 cs.CV cs.MM
CRIC: A VQA Dataset for Compositional Reasoning on Vision and Commonsense
Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
或者，对视觉事实和常识进行推断是高级VQA系统的基础。这种能力要求模型超越对常识的字面理解。系统不应该仅仅将对象作为查询背景知识的入口，而是将常识充分扎根于视觉世界，想象对象之间可能的关系，例如，“叉，可以举起，食物”。为了全面评估这些能力，我们提出了一个VQA基准，CRIC，它引入了新类型的问题，关于组合推理的vIsion和常识，和一个评估指标集成的答案和常识接地的正确性。为了收集这些问题和丰富的附加注释来支持度量，我们还提出了一种自动算法来从与图像和相关知识图谱相关联的场景图中生成问题样本。我们进一步分析了CRIC数据集上几种代表性的VQA模型。实验结果表明，将常识知识与图像区域相结合，以及基于视觉和常识知识的联合推理对于现有方法来说仍然是一个挑战。该数据集可在https://cricvqa.github.io上获得。
2021-10-27 cs.AI cs.CV
An experimental study of the vision-bottleneck in VQA
Orange Innovation（奥兰治创新）；LIRIS, INSA Lyon（里昂国立应用科学学院LIRIS实验室）
在许多结合视觉和语言的任务中，视觉问答（VQA）中视觉和语言都起着至关重要的作用。为了正确地解决这个问题，一个给定的模型应该理解所提出的图像的内容和问题的本质。虽然模态之间的融合，这是问题的另一个明显重要的部分，已经得到了高度的研究，视觉部分在最近的工作中得到的关注较少。当前用于VQA的最先进的方法主要依赖于现成的对象检测器提供一组对象边界框和嵌入，然后通过推理模块将其与问题词嵌入相结合。在本文中，我们提出了一个深入的研究VQA中的视觉瓶颈，实验从图像中提取的视觉对象的数量和质量。我们还研究了两种方法的影响，将回答一个问题所需的对象的信息，在推理模块直接，并在对象选择阶段的早期。这项工作突出了视觉的VQA的背景下，和定制的视觉方法在VQA手头的任务的重要性。
2022-02-14 cs.CV
SpatialPIN: Enhancing Spatial Reasoning Capabilities of Vision-Language Models through Prompting and Interacting 3D Priors
University of Oxford（牛津大学）
本研究提出无需训练的零样本框架SpatialPIN，通过提示并交互多3D基础模型先验增强VLM空间推理，在多类空间VQA及下游机器人任务中表现优异。
2024-10-30 cs.CV
M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
M$^3$-VQA引入了多实体问题，要求模型在多个文档间进行顺序和并行多跳推理，揭示了多模态大语言模型在知识获取和推理方面的挑战。
2026-04-28 cs.AI cs.CV
Tri-VQA: Triangular Reasoning Medical Visual Question Answering for Multi-Attribute Analysis
School of Computing；Artificial Intelligence Southwest Jiaotong University Chengdu, China；Artificial Intelligence Southwest Jiaotong University Chengdu, China z\ c\；Institute of Innovative Research Tokyo Institute of Technology Yokohama, Japan
针对现有医学视觉问答方法结果可信度不足的问题，提出基于因果效应的Tri-VQA三角推理框架，通过构建反向因果问题优化推理过程，在多中心内镜超声等医学VQA数据集上表现优于现有方法。
2024-06-21 cs.AI cs.CL cs.CV
MedXplain-VQA: Multi-Component Explainable Medical Visual Question Answering
Faculty Of Information Technology VNU University of Engineering（信息科技学院越南工程大学）；IT-BT Convergence Technology Division Vietnam-Korea Institute of Science（IT-BT融合技术部门越南-韩国科学技术院）；TADI Global Lab TADI Global Company Limited（TADI全球实验室TADI全球有限公司）；Faculty of Finance Banking Academy of Vietnam（金融学院越南银行学院）
MedXplain-VQA提出整合五个可解释AI组件的医学视觉问答框架，在PathVQA上综合得分从0.378提升至0.683，实现透明诊断推理。
2025-10-26 cs.CV
II-MMR: Identifying and Improving Multi-modal Multi-hop Reasoning in Visual Question Answering
The Ohio State University（俄亥俄州立大学）；Amazon AGI（亚马逊AGI）；University of Minnesota（明尼苏达大学）
本文提出II-MMR方法，通过答案预测引导CoT提示和知识三元组引导提示识别并改进VQA中的多模态多跳推理，在GQA和A-OKVQA基准上验证了其在零样本和微调设置下的有效性。
2024-06-03 cs.CL cs.CV
Multi-Task Learning for Visually Grounded Reasoning in Gastrointestinal VQA
School of Mathematics and Computer Science, Institute of Business Administration (IBA), Karachi, Pakistan（数学与计算机科学学院，商学院（IBA），巴基斯坦卡里奇）
本文提出一个面向胃肠医学VQA的多任务框架，通过LoRA微调Florence-2并联合学习问答、解释生成与视觉grounding，在答案准确性和视觉定位上显著优于单任务基线。
2025-11-06 cs.CV cs.LG
Towards Top-Down Reasoning: An Explainable Multi-Agent Approach for Visual Question Answering
School of computer science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；South China Normal University（华南师范大学）；Northeastern University（东北大学）；Anhui University（安徽大学）
针对现有VQA方法忽略图像常识知识的局限，受人类自上而下推理启发，提出含Responder、Seeker、Integrator三智能体的可解释协作框架，零样本下性能与可解释性优于基线。
2025-02-14 cs.CV
VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering
KDDI Research（KDDI研究所）；Stanford University（斯坦福大学）
提出VQA-GNN模型，通过超级节点连接场景图与概念图并利用多模态GNN进行双向融合与跨模态消息传递，在VCR和GQA任务上显著提升了视觉问答的概念级推理性能。
2023-09-15 cs.AI cs.CL cs.CV
SVQA-R1: Reinforcing Spatial Reasoning in MLLMs via View-Consistent Reward Optimization
Department of Computer Science, Stony Brook University（计算机科学系，石板溪大学）
本文提出SVQA-R1框架，首次将R1式强化学习扩展到空间视觉问答，通过Spatial-GRPO策略构建视图一致性奖励，在不使用监督微调数据的情况下显著提升空间推理准确率并产生可解释推理路径。
2025-06-02 cs.CV
ReasonVQA: A Multi-hop Reasoning Benchmark with Structural Knowledge for Visual Question Answering
Bosch Center for AI（博世人工智能中心）；Technical University of Berlin（柏林技术大学）；Fraunhofer FOKUS（弗劳恩霍夫研究所）
ReasonVQA是一个结合结构知识的多跳推理问答基准数据集，通过生成复杂问题挑战现有VQA模型，推动领域发展。
2026-02-01 cs.CV
MedFrameQA: A Multi-Image Medical VQA Benchmark for Clinical Reasoning
University of Pennsylvania（宾夕法尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC Santa Cruz（加州大学圣克鲁兹分校）；Harvard University（哈佛大学）；UC Berkeley（加州大学伯克利分校）；Emory University（埃默里大学）；UC San Francisco（旧金山加州大学）
MedFrameQA是一个多图像医学视觉问答基准，旨在评估多图像医学推理能力，揭示现有模型在处理复杂医学叙述时的不足。
2026-02-03 cs.CL cs.CV
KRETA: A Benchmark for Korean Reading and Reasoning in Text-Rich VQA Attuned to Diverse Visual Contexts
Waddle；Seoul National University（首尔国立大学）；Krafton；UNIST（全南大学）；SK Telecom（SK电信）
针对韩语等低资源语言缺乏富文本VQA基准的问题，研究提出适配多样视觉上下文的韩语基准KRETA及半自动化生成流水线，可多维度评估模型能力并助力多语种VLM研究。
2025-08-31 cs.CL cs.CV
On the Role of Visual Grounding in VQA
University of Bremen（不来梅大学）
本研究提出VGR理论框架，形式化视觉定位在VQA中的作用，揭示OOD测试中捷径学习问题，并提出强调VG需求的OOD测试构建方法以提升性能。
2024-06-26 cs.CV
Adaptive Reinforcement for Open-ended Medical Reasoning via Semantic-Guided Reward Collapse Mitigation
College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院）；Fysics Intelligence Technologies Co., Ltd. (Fysics AI)（菲斯克智能科技有限公司（菲斯克AI））；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出ARMed框架，通过监督微调和强化优化提升开放性医疗VQA的推理一致性和事实准确性，实验表明其在六个医疗VQA基准上显著提升准确性和泛化能力。
2026-04-02 cs.CV
See the Forest and the Trees: A Synergistic Reasoning Framework for Knowledge-Based Visual Question Answering
针对多模态大模型在知识驱动视觉问答中依赖单一维度证据的瓶颈，提出协同推理框架Synergos-VQA，在推理时融合整体、结构和因果证据，在多个基准上取得新SOTA并具备即插即用能力。
2025-08-13 cs.CV
UniReason-Med: A Shared Grounded Reasoning Interface for 2D-to-3D Transfer in Medical VQA
IQuest Research
提出UniReason-Med框架，通过共享基础推理接口从2D医学图像向3D医学VQA迁移推理能力，结合监督微调和强化学习，显著提升3D推理性能。
2026-06-11 cs.CL cs.CV
MGA-VQA: Secure and Interpretable Graph-Augmented Visual Question Answering with Memory-Guided Protection Against Unauthorized Knowledge Use
Ohio State University（俄亥俄州立大学）；Flairsoft（Flairsoft公司）
MGA-VQA通过整合图增强推理和记忆引导机制，实现了更安全且可解释的文档视觉问答系统，提升了准确性和效率。
2025-11-22 cs.AI cs.CV
VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning
VQAThinker通过强化学习方法，结合大模型和规则引导算法，提升视频质量评估的泛化能力和可解释性。
2026-02-02 cs.CV
Plug-and-Play VQA: Zero-shot VQA by Conjoining Large Pretrained Models with Zero Training
Salesforce Research（Salesforce研究院）；Nanyang Technological University（南洋理工大学）
视觉问答是视觉和语言推理的一个重要标志，也是zero-shot情境下的一项具有挑战性的任务。我们提出了即插即用VQA（PNP-VQA），一个模块化的框架zero-shot VQA。与大多数现有的工程，这需要大量的适应预训练的语言模型（PLM）的视觉模态，PNP-VQA不需要额外的培训的PLM。相反，我们建议使用自然语言和网络解释作为中间表示，将预训练的模型粘合在一起。我们首先生成问题引导的信息图像标题，并将标题传递给PLM作为问答的上下文。PNP-VQA超越了端到端的训练基线，在zero-shot VQAv 2和GQA上实现了最先进的结果。使用11 B参数，它在VQAv 2上的性能比80 B参数Flamingo模型高出8.5%。在738 M PLM参数下，PNP-VQA比FewVLM在740 M PLM参数下的GQA提高了9.1%。代码发布于https://github.com/salesforce/LAVIS/tree/main/projects/pnp-vqa
2023-03-20 cs.CV
Beyond Accuracy: Evaluating Visual Grounding In Multimodal Medical Reasoning
The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心）；Cohere Labs（Cohere实验室）；Eisai Inc.（艾伯维公司）；Indian Institute of Science, Bangalore（班加罗尔印度科学研究院）
该研究提出反事实评估框架，通过测量视觉依赖性得分和幻觉视觉推理率，揭示仅文本强化学习在多模态医学推理中降低视觉依赖性的问题。
2026-03-03 cs.CV
HCNQA: Enhancing 3D VQA with Hierarchical Concentration Narrowing Supervision
Southern University of Science and Technology, Shenzhen, China（南方科技大学，深圳，中国）；College of William and Mary, Williamsburg, VA 23185, USA（威廉玛丽学院，威廉斯堡，VA 23185，美国）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国）
HCNQA提出分层集中收窄监督方法，通过在通用推理路径的关键检查点上施加监督，引导3D VQA模型逐步聚焦，从而避免捷径并缓解思考不足问题，提升推理合理性与性能。
2025-07-02 cs.CV cs.MM
MC-CoT: A Modular Collaborative CoT Framework for Zero-shot Medical-VQA with LLM and MLLM Integration
Huazhong University of Science and Technology（华中科技大学）；Eastern Institute of Technology（宁波工程学院）；Purple Mountain Laboratories（紫金山实验室）；Alibaba Inc.（阿里巴巴集团）；Fudan University（复旦大学）
针对现有医学视觉问答依赖任务特定微调、零样本能力受限的问题，提出模块化跨模态协同思维链框架MC-CoT，通过整合LLM的医学推理链与MLLM的图像观察提升零样本性能，在多个基准数据集上准确率和召回率优于现有方法。
2024-10-06 cs.CV
On the Flip Side: Identifying Counterexamples in Visual Question Answering
Harvard University（哈佛大学）
视觉问答（VQA）模型响应关于图像的开放式自然语言问题。虽然VQA是一个越来越受欢迎的研究领域，但目前还不清楚当前的VQA架构在多大程度上学习了视觉相似图像之间的关键语义差异。为了研究这个问题，我们探索了VQA任务的重新表述，该任务挑战模型以识别反例：导致原始问题不同答案的图像。我们介绍了两种方法来评估现有的VQA模型对监督反例预测任务，VQA-CX。虽然我们的模型超过了VQA-CX上现有的基准，但我们发现，现有的最先进的VQA模型所学习的多模态表示并没有对这项任务的性能做出有意义的贡献。这些结果对VQA基准测试的成功表现表明一般视觉语义推理能力的假设提出了质疑。
2018-07-24 cs.CV
MV-CoRe: Multimodal Visual-Conceptual Reasoning for Complex Visual Question Answering
Shaanxi University of Technology（陕西理工大学）；Technological University of Peru（秘鲁技术大学）
针对复杂视觉问答任务中现有大型视觉-语言模型过度依赖全局特征的局限，提出MV-CoRe模型，通过Multimodal Fusion Transformer深度融合VLMs与LLMs全局嵌入及细粒度视觉特征，在多个基准上取得优异性能。
2025-08-09 cs.CV
Thought-For-Food: Reasoning Chain Induced Food Visual Question Answering
TCS-Research（TCS研究）
针对现有VQA系统偏向西方食物的问题，本文提出在印度食物VQA中采用多步推理链，通过微调小模型并利用强化学习训练，使基线准确率平均提升10个百分点。
2025-11-03 cs.AI cs.CV
Kvasir-VQA-x1: A Multimodal Dataset for Medical Reasoning and Robust MedVQA in Gastrointestinal Endoscopy
Simula Metropolitan Center for Digital Engineering (SimulaMet)（Simula Metropolitan Center for Digital Engineering）；Oslo Metropolitan University (OsloMet)（Oslo Metropolitan University）；Simula Research Laboratory
针对现有MedVQA数据集临床复杂性与视觉多样性不足的问题，研究团队推出大规模胃肠道内镜数据集Kvasir-VQA-x1，新增15万余分层问答对与视觉增强，设两个评估赛道，以推动临床多模态AI系统研发。
2025-06-11 cs.CV cs.LG
Synthesize Step-by-Step: Tools, Templates and LLMs as Data Generators for Reasoning-Based Chart VQA
Johns Hopkins University（约翰斯·霍普金斯大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出逐步合成策略，利用LLM将复杂图表问题分解为子问题并结合Python工具生成增强数据，显著提升ChartQA和PlotQA上的推理问答准确率。
2024-03-28 cs.CL cs.CV
3D-Aware Visual Question Answering about Parts, Poses and Occlusions
Johns Hopkins University（约翰斯·霍普金斯大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Freiburg（弗莱堡大学）
本文提出3D感知VQA任务，并构建Super-CLEVR-3D数据集与PO3D-VQA模型，结合概率神经符号推理和3D生成式表示，在部件、姿态与遮挡推理上显著超越现有方法，但仍与2D VQA存在明显性能差距。
2023-10-27 cs.CL cs.CV
UltraVR: A Diagnostic Ultra-Resolution Image-VQA Benchmark for Evidence-Grounded Reasoning
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；BC Cancer Agency（不列颠哥伦比亚癌症中心）；The Hong Kong Polytechnic University（香港理工大学）
提出UltraVR基准，通过结构化思维链标注诊断视觉语言模型在超分辨率图像上的证据推理能力，发现模型在证据定位和局部感知环节错误集中。
2026-06-04 cs.CV
The Quest for Visual Understanding: A Journey Through the Evolution of Visual Question Answering
IIT Patna（印度理工学院巴特那分校）；IIT Jodhpur（印度理工学院焦特布尔分校）
本文是一篇VQA领域综述，梳理了该领域自2015年诞生以来的发展历程、关键技术突破与应用场景，分析了当前挑战并展望了未来发展方向。
2025-01-13 cs.CV
Answer Them All! Toward Universal Visual Question Answering Models
Rochester Institute of Technology（罗切斯特理工学院）；PAIGE；Cornell Tech（康奈尔科技学院 (Cornell Tech)）
视觉问答（VQA）研究分为两个阵营：第一个集中在需要自然图像理解的VQA数据集上，第二个集中在测试推理的合成数据集上。一个好的VQA算法应该能够做到这两点，但只有少数VQA算法以这种方式进行测试。我们比较了五个国家的最先进的VQA算法在八个VQA数据集涵盖这两个领域。为了使比较公平，所有模型都尽可能标准化，例如，它们使用相同的视觉特征、答案词汇表等。我们发现，方法不会在这两个域中泛化。为了解决这个问题，我们提出了一个新的VQA算法，竞争对手或超过国家的最先进的这两个领域。
2019-04-05 cs.CV
How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA
Singapore Institute of Technology（新加坡科技学院）；NVIDIA（英伟达）
研究组合式视觉问答中视觉语言模型失败的机制，引入以操作为中心的框架分解失败模式，揭示四种失败模式及传播路径，表明不同失败类型需不同纠正策略，为提升模型可靠性提供基础。
2026-08-20 cs.CV
Semantic and Visual Evidence for Efficient Long-Video Reasoning: A Solution for the HD-EPIC VQA Challenge
Lenovo, China（联想（中国））
提出一种统一框架，通过解耦长视频推理为语义证据（粗到细提取全局过程结构）和视觉证据（基于目标的细粒度定位），并采用查询条件证据检索与整合，在HD-EPIC VQA挑战赛中取得竞争性能。
2026-05-28 cs.AI cs.CV
Multi-Clue Reasoning with Memory Augmentation for Knowledge-based Visual Question Answering
Syracuse University（雪城大学）；Midea Group（美的集团）
提出MCR-MemNN框架，通过多线索生成与记忆增强，有效利用外部知识库解决知识型视觉问答，并在基准上取得优越性能。
2023-12-20 cs.CV
KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）；Georgia Tech（佐治亚理工学院）
VQA中最具挑战性的问题类型之一是回答问题需要图像中不存在的外部知识。在这项工作中，我们研究开放域知识，当回答问题所需的知识没有给出/注释时，无论是在训练还是测试时。我们利用两种类型的知识表示和推理。第一，隐式知识，可以有效地学习无监督的语言预训练和监督训练数据与基于transformer的模型。第二，在知识库中编码的明确的、符号化的知识。我们的方法结合了两者-利用Transformer模型的强大隐式推理进行答案预测，并从知识图谱中集成符号表示，同时不会将其显式语义丢失到隐式嵌入。我们结合不同的知识来源，以涵盖解决基于知识的问题所需的各种知识。我们展示了我们的方法，KRISP（知识推理与隐式和符号再现），显着优于最先进的OK-VQA，最大的可用数据集的开放域知识为基础的VQA。我们展示了广泛的消融，而我们的模型成功地利用了隐含的知识推理，明确连接的知识图谱的答案词汇的符号答案模块是至关重要的性能，我们的方法和推广到罕见的答案。
2020-12-20 cs.CL cs.CV
Neuro-Symbolic Visual Reasoning: Disentangling "Visual" from "Reasoning"
Microsoft Applied Sciences Group (ASG)（微软应用科学集团）；Microsoft Research AI（微软人工智能研究院）
视觉推理任务，如视觉问答（VQA）需要一个相互作用的视觉感知与推理的问题语义的基础上的看法。然而，这一领域的最新进展仍然主要由感知改进（例如场景图生成）而不是推理驱动。神经模块网络等神经符号模型为VQA带来了组合推理的好处，但它们仍然与视觉表示学习纠缠在一起，因此神经推理很难自行改进和评估。为了解决这个问题，我们提出了（1）一个框架，以隔离和评估VQA的推理方面独立于其感知，（2）一种新的自上而下的校准技术，允许模型回答推理问题，即使有不完美的感知。为此，我们引入了一个可微的一阶逻辑形式主义的VQA，明确地从视觉感知的问答。在具有挑战性的GQA数据集上，该框架用于在知名的VQA模型之间进行深入的、分解的比较，从而获得有关参与模型和任务的信息性见解。
2020-08-25 cs.AI cs.CV cs.LG
Improving VQA and its Explanations \\ by Comparing Competing Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
最新的最先进的视觉问答（VQA）系统是不透明的黑盒，其仅被训练以适应给定问题和视觉内容的答案分布。因此，这些系统经常走捷径，专注于简单的视觉概念或问题先验。随着问题变得复杂，需要更多的推理和常识知识，这种现象变得更加成问题。为了解决这个问题，我们提出了一个新的框架，使用竞争的答案，以帮助VQA系统选择正确的答案的解释。通过对人类文本解释进行训练，我们的框架为问题和视觉内容构建了更好的表示，然后使用从训练集中生成或检索的解释重新加权答案候选者的置信度。我们在VQA-X数据集上评估了我们的框架，该数据集具有更困难的问题，需要人工解释，在VQA及其解释方面都取得了新的最先进的结果。
2020-06-28 cs.CV
LongChart VQA: A Comprehensive Benchmark for MLLMs with Complex Multi-Chart Reasoning
The University of Hong Kong（香港大学）
LongChart VQA是面向具备复杂多图表推理能力的MLLMs的综合基准，该基准含平均6.5张图像与31.2个问题，评估10个SOTA MLLMs发现其准确率随计算复杂性提升下降，为多图表推理研究指明方向。
2026-08-04 cs.AI cs.CL cs.CV
LoMeVQA: A Comprehensive Benchmark for Longitudinal Medical VQA
Tongji University（同济大学）；East China Normal University（华东师范大学）
该研究提出纵向医学视觉问答基准LoMeVQA，发现现有多模态大语言模型在该任务上时间推理能力不足，推出MedLong-8B实现最优性能，并开展相关分析。
2026-07-31 cs.CV
R^3-VQA: "Read the Room" by Video Social Reasoning
School of Intelligence Science and Technology, Peking University（北京理工大学智能科学与技术学院）；College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院）；State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence（一般人工智能国家重点实验室）；Yuanpei College, Peking University（北京大学元培学院）；Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文提出视频社会推理数据集与基准 R^3-VQA，涵盖社会事件理解、心理状态估计和社会因果推理，并系统评估现有大型视觉语言模型，发现其与人类水平仍有显著差距，同时验证心智理论提示的有效性。
2025-05-07 cs.AI cs.CV
A Comprehensive Survey on Visual Question Answering Datasets and Algorithms
本文综合综述了视觉问答（VQA）领域的现有数据集与模型，将数据集划分为可用、合成、诊断和基于知识四类，并探讨了融合、注意力、外部知识库、推理、解释和图模型六种主要模型范式。
2024-11-17 cs.CV
Dual Attention Networks for Multimodal Reasoning and Matching
Search Solutions Inc.（Search Solutions公司）；NAVER Corp.（NAVER公司）；NAVER LABS Corp.（NAVER LABS公司）
我们提出了双注意力网络（DAN），它联合利用视觉和文本注意力机制来捕捉视觉和语言之间的细粒度相互作用。DAN通过多个步骤关注图像中的特定区域和文本中的文字，并从这两种模式中收集必要的信息。基于这个框架，我们介绍了两种类型的DAN的多模态推理和匹配，分别。该推理模型允许视觉和文本注意力在协作推理过程中相互引导，这对于诸如视觉问答（VQA）之类的任务是有用的。此外，匹配模型利用这两种注意力机制，通过关注图像和句子之间的共享语义来估计它们之间的相似性。我们广泛的实验验证了DAN在结合视觉和语言方面的有效性，在VQA和图像-文本匹配的公共基准测试中实现了最先进的性能。
2017-03-21 cs.CV
