Multi-Agent VQA: Exploring Multi-Agent Foundation Models in Zero-Shot Visual Question Answering
University of Pennsylvania（宾夕法尼亚大学）
本文提出自适应多智能体系统 Multi-Agent VQA，通过将专门化智能体作为工具克服基础模型在目标检测与计数上的局限，探索其在零样本视觉问答任务中的性能表现，并展示初步实验结果与失败案例以指明未来研究方向。
2024-03-21 cs.AI cs.CL cs.CV
Few-Shot VQA with Frozen LLMs: A Tale of Two Approaches
University of Cambridge（剑桥大学）
本文通过受控实验比较了将图像输入LLM的两种方法（图像字幕与视觉嵌入映射），发现零样本下字幕更优，少样本下取决于上下文示例选择。
2024-03-17 cs.CL cs.CV
Modularized Zero-shot VQA with Pre-trained Models
Singapore Management University（新加坡管理大学）
针对零样本 VQA 的多步推理难题，提出将问题显式分解并分配合适 PTM 的模块化网络，在两个基准上提升了效果与可解释性。
2024-01-24 cs.CV cs.MM
OAD-Promoter: Enhancing Zero-shot VQA using Large Language Models with Object Attribute Description
针对大语言模型在零样本VQA中存在语言偏差、分布外泛化能力弱的问题，提出OAD-Promoter方法，通过三个模块协同增强视觉输入、补充域外知识，取得了新的SOTA结果。
2025-11-15 cs.AI cs.CV
From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models
The University of Sydney（悉尼大学）；Salesforce Research（赛富时研究院）；Nanyang Technological University（南洋理工大学）
提出Img2Prompt即插即用模块，通过生成图像内容提示和问答对弥合模态与任务断连，使冻结LLM无需端到端训练即可实现零样本VQA，性能超越端到端方法。
2023-05-08 cs.CV cs.MM
Exploring Question Decomposition for Zero-Shot VQA
Northeastern University（东北大学）；NEC Laboratories America（NEC美国实验室）；UC San Diego（加州大学圣迭戈分校）
本文提出模型驱动的选择性问题分解方法，通过二次判断和纠错提升零样本VQA性能，在多个任务上取得显著准确率提升。
2023-10-25 cs.CV
VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering
KDDI Research（KDDI研究所）；Stanford University（斯坦福大学）
提出VQA-GNN模型，通过超级节点连接场景图与概念图并利用多模态GNN进行双向融合与跨模态消息传递，在VCR和GQA任务上显著提升了视觉问答的概念级推理性能。
2023-09-15 cs.AI cs.CL cs.CV
Reducing Hallucinations: Enhancing VQA for Flood Disaster Damage Assessment with Visual Contexts
Shanghai University（上海大学）
针对洪水灾害损失评估中零样本VQA因思维链幻觉导致答案错误的问题，提出两阶段提示方法VQA-TSP，在第二阶段引入视觉上下文缓解幻觉，总体性能超越现有最先进模型。
2023-12-21 cs.CV
FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
FilterRAG通过结合BLIP-VQA与检索增强生成，利用外部知识源减少视觉问答中的幻觉问题，提升模型在知识驱动和分布外场景的鲁棒性。
2026-01-24 cs.CL cs.CV cs.IR
MUST-VQA: MUltilingual Scene-text VQA
University of Florence（佛罗伦萨大学）；Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）
在本文中，我们提出了一个框架，多语言场景文本视觉问答，处理新的语言在一个zero-shot的时尚。具体来说，我们认为场景文本视觉问答（STVQA）的任务，其中的问题可以问在不同的语言，它不一定是对齐的场景文本语言。因此，我们首先介绍一个自然的步骤，更广义的版本STVQA：MUST-VQA。考虑到这一点，我们讨论了两个评估方案的约束设置，即IID和zero-shot，我们证明了该模型可以执行在一个标准杆上的zero-shot设置。我们进一步提供了广泛的实验，并显示适应多语言语言模型到STVQA任务的有效性。
2022-09-14 cs.CV
Investigating Prompting Techniques for Zero- and Few-Shot Visual Question Answering
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文研究视觉语言模型在零样本与少样本视觉问答中的提示策略，发现问题模板选择、图像描述增强、自一致性推理及LLM引导预处理能有效提升模型性能。
2025-02-09 cs.CL cs.CV
MC-CoT: A Modular Collaborative CoT Framework for Zero-shot Medical-VQA with LLM and MLLM Integration
Huazhong University of Science and Technology（华中科技大学）；Eastern Institute of Technology（宁波工程学院）；Purple Mountain Laboratories（紫金山实验室）；Alibaba Inc.（阿里巴巴集团）；Fudan University（复旦大学）
针对现有医学视觉问答依赖任务特定微调、零样本能力受限的问题，提出模块化跨模态协同思维链框架MC-CoT，通过整合LLM的医学推理链与MLLM的图像观察提升零样本性能，在多个基准数据集上准确率和召回率优于现有方法。
2024-10-06 cs.CV
An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA
Microsoft Corporation（微软公司）
基于知识的视觉问答（VQA）涉及回答需要图像中不存在的外部知识的问题。现有的方法首先从外部资源中检索知识，然后对所选择的知识、输入图像和问题进行推理以预测答案。然而，这种两步方法可能会导致失配，从而可能限制VQA性能。例如，检索到的知识可能是嘈杂的和无关的问题，在推理过程中重新嵌入的知识特征可能会偏离其在知识库（KB）中的原始含义。为了解决这一挑战，我们提出了PICa，一个简单而有效的方法，通过使用图像标题，基于知识的VQA，验证GPT 3。受GPT-3在知识检索和问答中的强大功能的启发，我们将GPT-3视为一个隐式和非结构化的知识库，而不是像以前的工作那样使用结构化知识库，可以联合获取和处理相关知识。具体来说，我们首先将图像转换为GPT-3可以理解的标题（或标签），然后通过仅提供一些上下文VQA示例，以Few-Shot的方式调整GPT-3以解决VQA任务。我们通过仔细研究来进一步提高性能：（i）什么文本格式最好地描述图像内容，以及（ii）如何更好地选择和使用上下文示例。PICa开启了GPT-3在多模式任务中的首次使用。通过仅使用16个示例，PICa在OK-VQA数据集上的绝对值为+8.6点，超过了最先进的监督水平。我们还在VQAv 2上对PICa进行了基准测试，其中PICa也显示出不错的Few-Shot性能。
2022-09-14 cs.CV
OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
视觉问答（VQA）在其理想的形式，让我们研究在视觉和语言的联合空间的推理，并作为一个代理的人工智能任务的场景理解。然而，到目前为止，大多数VQA基准测试都集中在简单计数、视觉属性和目标检测等问题上，这些问题不需要超出图像内容的推理或知识。在本文中，我们解决了基于知识的视觉问答的任务，并提供了一个基准，称为OK-VQA，其中的图像内容是不足以回答的问题，鼓励依赖于外部知识资源的方法。我们的新数据集包括超过14，000个需要外部知识才能回答的问题。我们表明，在这种新的设置中，最先进的VQA模型的性能急剧下降。我们的分析表明，我们的基于知识的VQA任务是多样的，困难的，和以前的基于知识的VQA数据集相比大。我们希望这个数据集能够使研究人员在这一领域的研究开辟新的途径。请访问http://okvqa.allenai.org下载并浏览数据集。
2019-09-04 cs.CL cs.CV
Caption First, VQA Second: Knowledge Density, Not Task Format, Drives Multimodal Scaling
vivo AI Lab（vivo人工智能实验室）；Wuhan University（武汉大学）
研究发现，多模态模型扩展的关键瓶颈在于训练数据的知识密度而非任务格式，通过结构化caption增强和跨模态知识注入可提升模型性能，表明当前多模态模型因训练数据知识覆盖不足而难以扩展。
2026-03-17 cs.AI cs.CL cs.CV
KnowIT VQA: Answering Knowledge-Based Questions about Videos
Osaka University（大阪大学）；CyberAgent, Inc.（CyberAgent公司）
提出了一种新的视频理解任务，通过融合基于知识和视频问答。首先，我们介绍了KnowIT VQA，这是一个视频数据集，包含24，282个关于流行情景喜剧的人工问答对。该数据集结合了视觉，文本和时间的连贯性推理与基于知识的问题，这需要从观看系列获得的经验来回答。其次，我们提出了一个视频理解模型，结合视觉和文本的视频内容与特定的知识显示。我们的主要发现是：（i）知识的结合为视频中的VQA带来了显著的改进，以及（ii）KnowIT VQA的性能仍然远远落后于人类的准确性，这表明其对研究当前视频建模限制的有用性。
2019-12-24 cs.CL cs.CV
Zero-shot Visual Question Answering using Knowledge Graph
Hangzhou Innovation Center, Zhejiang University（浙江大学杭州创新中心）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）；School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）；NAIE CTO Office, Huawei Technologies Co., Ltd.（华为技术有限公司NAIE首席技术官办公室）
将外部知识转化为可视化问答（VQA）已成为一种重要的实际需求。现有的方法大多采用不同组件的流水线方法进行知识匹配和提取、特征学习等，但当某些组件性能不佳时，这种流水线方法会受到影响，导致错误传播和整体性能不佳。此外，大多数现有方法忽略了答案偏差问题-许多答案可能在训练期间从未出现过（即，在实际应用中，看不见的答案。为了弥补这些差距，在本文中，我们提出了一个Zero-shot VQA算法使用知识图谱和基于掩码的学习机制，以更好地结合外部知识，并提出了新的答案为基础的Zero-shot VQA分裂的F-VQA数据集。实验表明，我们的方法可以实现最先进的性能在Zero-shot VQA与看不见的答案，同时显着增加现有的端到端模型上的正常F-VQA任务。
2021-10-18 cs.AI
MaS-VQA: A Mask-and-Select Framework for Knowledge-Based Visual Question Answering
Zhejiang University, Hangzhou, China（浙江大学, 杭州, 中国）；Alibaba Group, Hangzhou, China（阿里巴巴集团, 杭州, 中国）
MaS-VQA通过结合显式知识过滤与隐式知识推理，提升基于知识的视觉问答任务的准确性和鲁棒性。
2026-02-17 cs.AI cs.CV
ZeShot-VQA: Zero-Shot Visual Question Answering Framework with Answer Mapping for Natural Disaster Damage Assessment
本文提出基于零样本学习的ZeShot-VQA框架，用于自然灾害损害评估，无需微调即可处理新数据集并生成未见过的答案。
2025-05-30 cs.CL cs.CV cs.IR
KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）；Georgia Tech（佐治亚理工学院）
VQA中最具挑战性的问题类型之一是回答问题需要图像中不存在的外部知识。在这项工作中，我们研究开放域知识，当回答问题所需的知识没有给出/注释时，无论是在训练还是测试时。我们利用两种类型的知识表示和推理。第一，隐式知识，可以有效地学习无监督的语言预训练和监督训练数据与基于transformer的模型。第二，在知识库中编码的明确的、符号化的知识。我们的方法结合了两者-利用Transformer模型的强大隐式推理进行答案预测，并从知识图谱中集成符号表示，同时不会将其显式语义丢失到隐式嵌入。我们结合不同的知识来源，以涵盖解决基于知识的问题所需的各种知识。我们展示了我们的方法，KRISP（知识推理与隐式和符号再现），显着优于最先进的OK-VQA，最大的可用数据集的开放域知识为基础的VQA。我们展示了广泛的消融，而我们的模型成功地利用了隐含的知识推理，明确连接的知识图谱的答案词汇的符号答案模块是至关重要的性能，我们的方法和推广到罕见的答案。
2020-12-20 cs.CL cs.CV
mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA
The Hong Kong Polytechnic University（香港理工大学）
本文提出mKG-RAG框架，通过整合多模态知识图谱提升检索增强生成在知识密集型视觉问答中的性能，采用双阶段检索策略和图提取方法构建高质量知识图谱，实验表明优于现有方法。
2026-04-27 cs.AI cs.CV
SLAKE: A Semantically-Labeled Knowledge-Enhanced Dataset for Medical Visual Question Answering
The Hong Kong Polytechnic University（香港理工大学）；West China Hospital of Sichuan University（四川大学华西医院）；Sichuan Academy of Medical Sciences（四川省医学科学院）；Sichuan Provincial People's Hospital（四川省人民医院）
医学视觉问答（Med-VQA）在医疗保健领域具有巨大的潜力。然而，该技术的发展受到缺乏公开可用和高质量的标记数据集用于训练和评估的阻碍。在本文中，我们提出了一个大型的双语数据集，SLAKE，全面的语义标签注释经验丰富的医生和一个新的结构医学知识库Med-VQA。此外，SLAKE包括更丰富的模态，比目前可用的数据集覆盖更多的人体部位。我们表明，SLAKE可用于促进Med-VQA系统的开发和评估。数据集可以从http://www.med-vqa.com/slake下载。
2021-02-18 cs.AI cs.CL cs.CV
Improving Zero-shot Visual Question Answering via Large Language Models with Reasoning Question Prompts
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Hefei University of Technology（合肥工业大学）
提出推理问题提示方法，通过生成自包含问题激活大语言模型在零样本视觉问答中的潜力，在多个数据集上显著提升性能。
2023-11-15 cs.AI cs.CV
REVIVE: Regional Visual Representation Matters in Knowledge-Based Visual Question Answering
University of Washington（华盛顿大学）；Microsoft（微软）
本文回顾了基于知识的视觉问答（VQA）中的视觉表示，并证明了更好地利用区域信息可以显着提高性能。虽然视觉表示在传统的VQA中得到了广泛的研究，但在基于知识的VQA中，尽管这两个任务具有共同的精神，即，依靠视觉输入来回答问题。具体而言，我们观察到大多数基于知识的VQA方法都存在以下问题：1）从整幅图像或以滑动窗口方式提取视觉特征来获取知识，而忽略了对象区域内部/之间的重要关系; 2）视觉特征在最终的回答模型中没有得到很好的利用，这在一定程度上是违反直觉的。基于这些观察，我们提出了一个新的基于知识的VQA方法REVIVE，它试图利用对象区域的显式信息，不仅在知识检索阶段，而且在回答模型。其主要动机是对象区域和内在关系对于基于知识的VQA非常重要。我们在标准OK-VQA数据集上进行了广泛的实验，并实现了新的最先进的性能，即，准确率为58.0%，大大超过了之前最先进的方法（+3.6%）。我们还进行了详细的分析，并显示区域信息的必要性，在不同的框架组件基于知识的VQA。代码可在www.example.com上公开获取。
2022-10-10 cs.CL cs.CV
Multi-Modal Answer Validation for Knowledge-Based VQA
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Allen Institute for AI（艾伦人工智能研究所）
基于知识的视觉问答的问题涉及回答除了图像的内容之外还需要外部知识的问题。这种知识通常以各种形式出现，包括视觉，文本和常识知识。使用更多的知识源增加了检索更多不相关或嘈杂事实的机会，使理解事实和找到答案变得具有挑战性。为了应对这一挑战，我们提出了使用外部知识的多模态答案验证（MAVEx），其想法是基于答案特定的知识检索来验证一组有希望的答案候选者。与大多数现有方法在大量通常不相关的事实中搜索答案不同，MAVEx旨在学习如何从噪声源中提取相关知识，每个答案候选者信任哪个知识源，以及如何使用该源验证候选者。我们的多模态设置是第一个利用外部视觉知识（使用Google搜索的图像），以及以维基百科句子和ConceptNet概念形式的文本知识。我们使用OK-VQA（一个具有挑战性的基于知识的VQA数据集）进行的实验表明，MAVEx实现了新的最先进的结果。我们的代码可在https://github.com/jialinwu17/MAVEX上获得
2021-12-14 cs.CL cs.CV
Entity-Focused Dense Passage Retrieval for Outside-Knowledge Visual Question Answering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
大多数外部知识视觉问答（OK-VQA）系统采用两阶段框架，首先检索给定视觉问题的外部知识，然后基于检索到的内容预测答案。然而，检索到的知识往往是不够的。检索往往过于笼统，无法涵盖回答问题所需的特定知识。此外，自然可用的监督（文章是否包含正确答案）很弱，不能保证问题的相关性。为了解决这些问题，我们提出了一个以知识为中心的检索（EnFoRe）模型，该模型在训练过程中提供更强的监督，并识别与问题相关的实体，以帮助检索更具体的知识。实验表明，我们的EnFoRe模型在目前最大的外部知识VQA数据集OK-VQA上取得了优异的检索性能。我们还将检索到的知识与最先进的VQA模型相结合，并在OK-VQA上实现了新的最先进的性能。
2022-10-20 cs.CL cs.CV
Dynamic Key-value Memory Enhanced Multi-step Graph Reasoning for Knowledge-based Visual Question Answering
KU Leuven（鲁汶大学）
基于知识的视觉问答（VQA）是一种视觉语言任务，它要求智能体使用给定图像中没有的知识正确回答与图像相关的问题。这不仅是一项比常规VQA更具挑战性的任务，也是建立通用VQA系统的重要一步。大多数现有的基于知识的VQA系统类似地处理知识和图像信息，并且忽略了知识库（KB）包含关于三元组的完整信息的事实，而提取的图像信息可能是不完整的，因为两个对象之间的关系丢失或错误检测。在本文中，我们提出了一种新的模型命名为动态知识记忆增强的多步图推理（DMMGR），它执行显式和隐式推理的键值知识记忆模块和空间感知的图像图，分别。具体地，存储器模块在每个推理步骤学习动态知识表示并生成知识感知问题表示。然后，该表示被用来引导图形注意力算子在空间感知图像图形上。我们的模型在KRVQR和FVQA数据集上实现了新的最先进的精度。我们还进行了烧蚀实验，以证明所提出的模型的每个组件的有效性。
2022-03-06 cs.AI cs.CL cs.CV
Towards Perceiving Small Visual Details in Zero-shot Visual Question Answering with Multimodal LLMs
University of Southern California（南加州大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文探讨了多模态大语言模型在零样本视觉问答中对微小视觉细节感知的局限性，发现其准确率随视觉主体尺寸下降高达46%，并提出五种自动视觉裁剪方法显著提升了模型零样本性能。
2024-02-12 cs.CL cs.CV
SK-VQA: Synthetic Knowledge Generation at Scale for Training Context-Augmented Multimodal LLMs
Intel Labs（英特尔实验室）；Amazon（亚马逊）
本文提出含 200 多万带上下文文档问答对的大规模合成多模态数据集 SK-VQA，用于训练和评测上下文增强型 MLLM，并验证其可提升上下文感知 VQA 与多模态 RAG 泛化能力。
2025-06-09 cs.CL cs.CV
Advancing Surgical VQA with Scene Graph Knowledge
University of Strasbourg（斯特拉斯堡大学）；Technische Universität München（慕尼黑工业大学）；IHU Strasbourg（斯特拉斯堡大学医院中心）；CNRS（法国国家科学研究中心）
该研究针对手术VQA系统的数据集偏差与场景推理不足问题，构建了基于手术场景图的无偏数据集SSG-QA，并提出融入场景嵌入交互模块的SSG-QA-Net模型，显著提升了手术VQA性能。
2024-06-24 cs.AI cs.CV
Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
National Yang Ming Chiao Tung University（阳明大学）
本文针对VQA-NLE系统提出图像扰动与问题扰动两种对抗攻击以暴露解释不一致性，并引入外部知识缓解方法提升模型鲁棒性，在标准基准上验证了攻击有效性与防御潜力。
2025-08-17 cs.AI cs.CL cs.CV
CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA
New York University（纽约大学）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；MIT（麻省理工学院）
研究知识密集型视觉问答流程，引入CRAG-MM-Diagnostics诊断基准，通过逐阶段数据注释分离子问题，评估VLM并进行细粒度分析，指出知识检索和推理是主要瓶颈，还提出改进流程提升准确率。
2026-07-24 cs.AI cs.CV
MGA-VQA: Secure and Interpretable Graph-Augmented Visual Question Answering with Memory-Guided Protection Against Unauthorized Knowledge Use
Ohio State University（俄亥俄州立大学）；Flairsoft（Flairsoft公司）
MGA-VQA通过整合图增强推理和记忆引导机制，实现了更安全且可解释的文档视觉问答系统，提升了准确性和效率。
2025-11-22 cs.AI cs.CV
BOK-VQA: Bilingual outside Knowledge-Based Visual Question Answering via Graph Representation Pretraining
Hanbat National University（韩巴大学）；Kakao Brain；Seoul National University of Science and Technology（首尔科学技术大学）
本文提出双语外部知识VQA数据集BOK-VQA，并通过图嵌入预训练框架将知识信息注入VQA系统，验证了知识信息对视觉问答的实际提升效果。
2024-03-15 cs.CL
All You May Need for VQA are Image Captions
Google Research（谷歌研究院）
可视化问答（VQA）受益于日益复杂的模型，但在数据创建方面却没有享受到同样的参与度。在本文中，我们提出了一种方法，自动推导VQA的例子在卷，利用丰富的现有的图像标题注释结合神经模型生成文本问题。我们表明，由此产生的数据是高质量的。在我们的数据上训练的VQA模型将最先进的zero-shot精度提高了两位数，并实现了在人类注释的VQA数据上训练的相同模型所缺乏的鲁棒性。
2022-05-04 cs.CL cs.CV
MAGIC-VQA: Multimodal And Grounded Inference with Commonsense Knowledge for Visual Question Answering
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
针对大视觉语言模型缺乏整合常识知识、真实场景VQA鲁棒性不足的问题，提出三阶段MAGIC-VQA框架，融合显隐式常识知识与GNN结构化推理，无需大量预训练或复杂提示调优，在基准数据集上达SOTA，提升VQA常识推理能力。
2025-06-11 cs.CL
GPT-4V-AD: Exploring Grounding Potential of VQA-oriented GPT-4V for Zero-shot Anomaly Detection
Tencent（腾讯）；Zhejiang University（浙江大学）
本文提出 GPT-4V-AD 框架，通过区域划分、提示设计和文本转分割评估 GPT-4V 以 VQA 范式执行零样本异常检测的能力，并在 MVTec AD 与 VisA 上验证其潜力与差距。
2024-04-16 cs.CV
HAC: Parameter-Efficient Hyperbolic Adaptation of CLIP for Zero-Shot VQA
Department of Computer Science, University of Verona（威尼斯大学计算机科学系）；EVS - Embedded Vision Systems Srl（嵌入式视觉系统公司）；AI for Good (AIGO), Istituto Italiano di Tecnologia（AI for Good（AIGO），意大利技术研究院）
HAC通过轻量级微调使预训练CLIP模型迁移到超几何空间，用于视觉问答任务，展现出任务无关的适应能力，在多个基准上超越欧几里得基线和先前超几何方法。
2026-04-26 cs.CV
Med-GRIM: Enhanced Zero-Shot Medical VQA using prompt-embedded Multimodal Graph RAG
Shiv Nadar University Chennai（施瓦斯纳大学钦奈）
针对医疗VQA精度不足问题，提出Med-GRIM模型，通过BIND密集编码优化联合嵌入空间，结合图检索与提示工程动态注入知识，采用模块化小模型工作流，以极低计算成本实现大模型性能，并发布DermaGraph数据集支持零样本研究。
2025-07-20 cs.CV cs.MA
CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering
School of Artificial Intelligence, UCAS（中国科学技术大学人工智能学院）；MAIS, Institute of Automation（自动化研究所MAIS）；Alibaba Cloud Computing（阿里云计算）
CC-VQA提出了一种无训练、考虑冲突和相关性的方法，通过视觉中心的上下文冲突推理和相关性引导的编码解码，提升基于知识的视觉问答的准确率。
2026-02-27 cs.CV
Diversify, Rationalize, and Combine: Ensembling Multiple QA Strategies for Zero-shot Knowledge-based VQA
Nanyang Technological University（南洋理工大学）
针对单一知识生成策略难以应对所有K-VQA问题的局限，提出三阶段集成框架DietCoke，通过多策略生成候选答案、生成两类理据，再由LLM基于理据选答，在两个基准上显著优于现有基线。
2024-10-09 cs.CL
Med-Flamingo: a Multimodal Medical Few-shot Learner
Stanford University（斯坦福大学）；Stanford Medicine（斯坦福医学院）；Hospital Israelita Albert Einstein（以色列爱因斯坦医院）；Harvard Medical School（哈佛医学院）
提出 Med-Flamingo，基于 OpenFlamingo-9B 在医学图文数据上预训练，解锁少样本生成式医学 VQA 能力，在临床医生评分上提升 20%，并首次实现多模态医学少样本适应。
2023-07-27 cs.AI cs.CV
Enhancing Visual Question Answering through Question-Driven Image Captions as Prompts
Middle East Technical University（中东技术大学）
针对零样本视觉问答的挑战，提出将问题驱动的图像描述作为提示融入大语言模型的方法，通过提取问题关键词生成定制描述，在GQA基准零样本设置下取得有竞争力的性能。
2024-04-12 cs.AI cs.CV
Understanding Knowledge Gaps in Visual Question Answering: Implications for Gap Identification and Testing
The Ohio State University（俄亥俄州立大学）；Wright State University（莱特州立大学）；AFRL（美国空军研究实验室）
视觉问答（VQA）系统的任务是回答与所呈现的图像相对应的自然语言问题。传统的VQA数据集通常包含与对象的空间信息、对象属性或一般场景问题相关的问题。最近，研究人员已经认识到需要改善这些数据集的平衡，以减少系统对记忆语言特征和统计偏差的依赖，同时旨在增强视觉理解。然而，目前还不清楚是否存在任何潜在的模式来量化和解释这些失败。作为更好地量化我们对VQA模型性能的理解的第一步，我们使用知识缺口（KG）的分类来标记具有一种或多种类型KG的问题。每一个知识缺口（KG）都描述了达成解决方案所需的推理能力。在确定每个问题的KG之后，我们检查每个KG的问题分布的偏斜。然后，我们引入了一个有针对性的问题生成模型来减少这种偏差，这使我们能够为图像生成新类型的问题。这些新问题可以添加到现有的VQA数据集中，以增加问题的多样性并减少偏差。
2020-06-03 cs.AI cs.CL cs.CV
R-VQA: Learning Visual Relation Facts with Semantic Attention for Visual Question Answering
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；East China Normal University（华东师范大学）；Microsoft Corporation（微软公司）
近年来，视觉问答（VQA）已经成为多模态学习中最重要的任务之一，因为它需要理解视觉和文本模态。现有的方法主要依靠提取图像和问题特征，通过多模态融合或注意力机制学习它们的联合特征嵌入。最近的一些研究利用外部VQA独立的模型来检测图像中的候选实体或属性，作为VQA任务的语义知识的补充。然而，这些候选实体或属性可能与VQA任务无关，并且具有有限的语义能力。为了更好地利用图像中的语义知识，我们提出了一个新的框架来学习视觉关系事实的VQA。具体地说，我们建立了一个基于视觉基因组数据集通过一个语义相似性模块，其中每个数据由一个图像，一个相应的问题，一个正确的答案和一个支持关系事实的R-VQA（R-VQA）数据集。一个定义良好的关系检测器，然后采用预测视觉问题相关的关系事实。我们进一步提出了一个由视觉注意和语义注意组成的多步注意模型，用于提取相关的视觉知识和语义知识。我们在两个基准数据集上进行了全面的实验，证明了我们的模型达到了最先进的性能，并验证了考虑视觉关系事实的好处。
2018-07-20 cs.AI cs.CL cs.CV
SCRA-VQA: Summarized Caption-Rerank for Augmented Large Language Models in Visual Question Answering
School of Computer Science, Hubei University, Wuhan, China（湖北大学计算机学院）；Hubei Key Laboratory of Big Data Intelligent Analysis and Application (Hubei University)（湖北大数据智能分析与应用重点实验室）；Key Laboratory of Intelligent Sensing System and Security (Hubei University)（智能传感系统与安全重点实验室）；Institute of Vocational Education, Guangdong Industry Polytechnic University（广东行业职业大学职业教育学院）；Shandong Police College（山东警察学院）
针对KB-VQA中图像标题噪声大且LLM不熟悉任务的问题，提出SCRA-VQA，通过预训练视觉语言模型生成标题并摘要重排，增强LLM推理，在OK-VQA和A-OKVQA上取得38.8%和34.6%的准确率。
2025-09-25 cs.AI cs.CV
A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA
National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））
基于知识的可视化问答（VQA）期望模型依赖于外部知识来进行鲁棒的答案预测。虽然这是有意义的，本文发现了几个主要因素阻碍了目前的国家的最先进的方法的进步。一方面，利用显式知识的方法将知识作为粗训练VQA模型的补充。尽管它们的有效性，这些方法往往遭受噪声合并和错误传播。另一方面，关于内隐知识，多模态内隐知识的知识为基础的VQA仍然是在很大程度上未被探索。这项工作提出了一个统一的端到端的检索器-读者框架，以知识为基础的VQA。特别是，我们揭示了视觉语言预训练模型中的多模态隐式知识，以挖掘其在知识推理中的潜力。针对显式知识检索过程中的噪声问题，设计了一种新的伪标签生成方案，以实现有效的知识监督。该方案不仅能够为知识检索提供指导，而且能够丢弃这些可能容易出错的问答实例。为了验证所提出的方法的有效性，我们进行了广泛的实验上的基准数据集。实验结果表明，我们的方法明显优于现有的基线。除了报告的数字，本文还提出了一些关于知识利用的见解，为未来的研究提供了一些实证研究结果。
2022-06-30 cs.CV
KNVQA: A Benchmark for evaluation knowledge-based VQA
针对LVLMs的对象幻觉、事实准确性及多模态交互评估不足问题，本文提出KNVQA-Eval与人工标注的KNVQA数据集，用于基于知识的VQA事实性评估并分析模型细粒度能力。
2024-06-13 cs.AI cs.CV
UniFine: A Unified and Fine-grained Approach for Zero-shot Vision-Language Understanding
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
提出UniFine框架，通过利用句子关键词和图像对象等细粒度信息进行图像-文本匹配，在零样本设置下统一处理VQA、SNLI-VE和VCR等视觉-语言任务，并在多个数据集上取得显著改进。
2026-06-03 cs.CL cs.CV
M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
M$^3$-VQA引入了多实体问题，要求模型在多个文档间进行顺序和并行多跳推理，揭示了多模态大语言模型在知识获取和推理方面的挑战。
2026-04-28 cs.AI cs.CV
Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering
University of Cambridge（剑桥大学）
本文提出细粒度晚期交互多模态检索FLMR，通过视觉模型对齐和多维嵌入改进RA-VQA的知识检索，将PRRecall@5提升约8%，并在OK-VQA上取得约61%的VQA分数。
2023-10-28 cs.CL cs.CV
Discovering the Unknown Knowns: Turning Implicit Knowledge in the Dataset into Explicit Training Examples for Visual Question Answering
The Ohio State University（俄亥俄州立大学）
视觉问答（VQA）具有挑战性，不仅因为模型必须处理多模态信息，还因为很难收集足够的训练样本-人们可以问太多关于图像的问题。因此，仅在人工注释的示例上训练的VQA模型很容易过度拟合特定的问题风格或被问到的图像内容，从而使模型在很大程度上忽略了问题的多样性。现有的方法主要通过引入辅助任务来解决这个问题，例如视觉接地，循环一致性或去偏置。在本文中，我们采取了一种完全不同的方法。我们发现，学习VQA模型的许多“未知数”在数据集中确实是隐式“已知”的。例如，询问不同图像中的相同对象的问题可能是释义;图像中检测到或注释的对象的数量已经提供了“多少”问题的答案，即使该问题尚未针对该图像进行注释。基于这些见解，我们提出了一个简单的数据增强管道SimpleAug，将这种“已知”的知识转化为VQA的训练样本。我们表明，这些增强的例子可以显着提高学习的VQA模型的性能，不仅在VQA-CP数据集与语言先验移位，而且在VQA v2数据集没有这样的移位。我们的方法进一步打开了一扇大门，以原则性的方式利用弱标记或未标记的图像来增强VQA模型。我们的代码和数据可在https://github.com/heendung/simpleAUG上公开获取。
2022-11-08 cs.CL cs.CV
Tackling VQA with Pretrained Foundation Models without Further Training
Nanyang Technological University（南洋理工大学）；DSO National Laboratories（DSO国家实验室）
针对 VQA 中图文对齐训练成本高的问题，本文提出组合预训练 LLM 与其他基础模型，以自然语言表示图像并比较不同解码策略，在 VQAv2 上评估免训练方案。
2023-09-27 cs.CV
Image Captioning for Effective Use of Language Models in Knowledge-Based Visual Question Answering
HiTZ Basque Center for Language Technologies（HiTZ巴斯克语言技术中心）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
在视觉问答（VQA）等非语言任务中，整合外部知识进行推理是一个开放性问题。鉴于预训练的语言模型已被证明包括世界知识，我们建议使用一个单模态（纯文本）训练和推理过程的基础上，自动现成的标题的图像和预训练的语言模型。我们的结果在一个视觉问答任务，需要外部知识（OK-VQA）表明，我们的纯文本模型优于预训练的多模态（图像-文本）模型的参数数量相当。相比之下，我们的模型在标准VQA任务（VQA 2.0）中的效果较差，这证实了我们的纯文本方法对于需要外部知识的任务特别有效。此外，我们表明，增加语言模型的大小显着提高其性能，产生的结果与我们最大的模型的最先进的，显着优于当前的多模态系统，即使与外部知识增强。我们对OK-VQA的定性分析表明，自动字幕往往无法捕获图像中的相关信息，这似乎是由纯文本语言模型的更好的推理能力平衡。我们的工作为进一步改进非语言任务中的推理提供了可能性
2022-03-25 cs.AI cs.CV
