Multi-Image Visual Question Answering
Indian Institute Of Technology Dharwad（印度理工学院达瓦德分校）
虽然已经做了大量的工作来开发模型来解决视觉问答的问题，这些模型的能力，将问题与图像特征仍然很少探索。我们提出了一个不同的特征提取方法与不同的损失函数的实证研究。我们提出了新的数据集的任务，视觉问答与多个图像输入只有一个地面真理，并基准我们的结果。我们的最终模型利用Resnet + RCNN图像特征和BERT嵌入，灵感来自堆栈注意力网络，在CLEVER+TinyImagenet数据集上提供了39%的单词准确率和99%的图像准确率。
2022-02-06 cs.AI cs.CV cs.LG
The meaning of "most" for visual question answering models
University of Cambridge（剑桥大学）
在视觉场景的上下文中正确解释量词语句需要非平凡的推理机制。以“大多数”为例，我们讨论了两种依赖于根本不同的认知概念的策略。我们的目标是确定视觉问答的深度学习模型在训练这些问题时学习什么策略。为此，我们仔细设计数据，以复制心理语言学的实验，其中对人类进行了同样的研究。针对电影视觉问答模型，我们的实验表明，出现了一种形式的近似数系统，其性能下降与韦伯定律预测的更困难的场景。此外，我们确定混杂因素，如空间布置的场景，这阻碍了该系统的有效性。
2019-06-04 cs.AI cs.CL cs.CV
Inverse Visual Question Answering with Multi-Level Attentions
Carleton University（卡尔顿大学）
在本文中，我们提出了一种新的深度多层次的注意力模型，以解决逆向视觉问答。该模型在对象层次上生成区域视觉和语义特征，然后利用注意力机制利用答案线索增强这些特征。该模型采用两个层次的多重注意，包括部分问句编码阶段的双重注意和下一个问句生成阶段的动态注意。我们在VQA V1数据集上评估了所提出的模型。它在多个常用指标方面展示了最先进的性能。
2020-12-03 cs.AI cs.CL cs.CV
BERT-VQA: Visual Question Answering on Plots
Stanford University（斯坦福大学）
本文提出基于 VisualBERT 和 ResNet 101 的 BERT-VQA 模型用于图表视觉问答，实验表明跨模态模块并非对齐图表与问题的关键，揭示了该任务的难度与架构适用性。
2025-08-14 cs.CV cs.LG
Uncertainty based Class Activation Maps for Visual Question Answering
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
理解和解释深度学习模型是一项势在必行的任务。为此，我们提出了一种方法，获得基于梯度的确定性估计，也提供视觉注意力地图。特别地，我们解决了视觉问答任务。我们结合了现代概率深度学习方法，通过使用这些估计的梯度来进一步改进。这有两方面的好处：a）在获得与误分类样本更好相关的确定性估计方面的改进，以及b）在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此，所提出的技术可以被认为是为深度学习模型获得改进的确定性估计和解释的处方。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2020-01-23 cs.CL cs.CV cs.LG
Building a Large-scale Multimodal Knowledge Base System for Answering Visual Queries
Stanford University（斯坦福大学）
视觉世界的复杂性为全面的视觉理解带来了重大挑战。尽管最近在视觉识别方面取得了成功，但今天的视觉系统仍然难以处理需要更深层次推理的视觉查询。我们提出了一个知识库（KB）的框架来处理各种各样的视觉查询，而不需要训练新的分类新的任务。构建这样一个大规模的多模式知识库提出了一个重大的挑战，可扩展性。我们将一个大规模的MRF转换为KB表示，将视觉，文本和结构化数据，以及它们之间的各种关系。我们介绍了一个可扩展的知识库建设系统，是能够建立一个知识库的五亿变量和数百万的参数在几个小时内。与标准识别和检索任务的专用模型相比，我们的系统实现了具有竞争力的结果，同时在回答更丰富的视觉查询方面表现出更大的灵活性。
2015-11-09 cs.CV cs.LG
Multimodal Inverse Cloze Task for Knowledge-based Visual Question Answering
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）
本文提出了一种新的基于知识的命名实体可视化问答（KVQAE）预训练方法--多模态逆完形填空任务。KVQAE是最近推出的任务，包括在回答问题的命名实体接地在视觉环境中使用知识库。因此，模态之间的相互作用对于检索信息至关重要，并且必须用复杂的融合模型来捕获。由于这些模型需要大量的训练数据，我们从现有的文本问答工作中设计了这个预训练任务。它包括在考虑一个句子作为一个伪问题和它的上下文作为一个伪相关的通道，并通过考虑图像附近的文本在多模态文档中扩展。我们的方法适用于不同的神经网络架构，并导致9%的相对MRR和15%的相对F1增益检索和阅读理解，分别超过了无预训练基线。
2023-01-11 cs.CL cs.IR cs.LG
Towards Transparent AI Systems: Interpreting Visual Question Answering Models
Virginia Tech（弗吉尼亚理工大学）
近年来，深度神经网络在人工智能的许多研究领域取得了令人瞩目的进展，取得了令人瞩目的成果。然而，不知道他们为什么预测他们做什么通常是不令人满意的。在本文中，我们解决的问题，解释视觉问答（VQA）模型。具体来说，我们感兴趣的是找到VQA模型在回答问题时关注的输入部分（图像中的像素或问题中的单词）。为了解决这个问题，我们使用了两种可视化技术--引导反向传播和遮挡--来找到问题中的重要单词和图像中的重要区域。然后，我们提出这些重要性地图的定性和定量分析。我们发现，即使没有明确的注意力机制，VQA模型有时可能会隐含地关注图像中的相关区域，并且经常关注问题中的适当词语。
2016-09-09 cs.AI cs.CL cs.CV
FashionVQA: A Domain-Specific Visual Question Answering System
Target Corporation（塔吉特公司）
人类通过各种感官形式来理解世界，但语言是他们最主要的沟通渠道。机器学习系统需要利用相同的多模态丰富性，以自然语言与人类进行信息交流;这对于专门处理视觉密集信息的系统尤其如此，例如对话、推荐和服装搜索引擎。为此，我们训练视觉问答（VQA）系统回答复杂的自然语言问题的服装在时尚的照片拍摄图像。我们的VQA模型成功训练的关键是使用不同的模板自动创建一个视觉问答数据集，其中包含来自20.7万张图像的项目属性的1.68亿个样本。样本生成采用了一种策略，认为问题的难度，答案对强调具有挑战性的概念。与最近使用多个数据集来预训练视觉问答模型的趋势相反，我们专注于保持数据集固定，同时从头开始训练各种模型，以将改进与模型架构变化隔离开来。我们看到，使用相同的Transformer来编码问题和解码答案，就像在语言模型中一样，实现了最大的准确性，这表明视觉语言模型（VLM）是我们数据集的最佳视觉问答系统。最佳模型的准确性超过了人类专家的水平，即使在回答不限于模板格式的人类生成的问题时也是如此。我们的方法，用于生成一个大规模的多模态领域特定的数据集提供了一个路径，训练能够在自然语言通信的专门模型。这种领域专家模型的训练，例如，我们的时尚VLM模型，不能仅仅依赖于从网络上收集的大规模通用数据集。
2022-08-24 cs.AI cs.CL cs.CV
Fusion of Detected Objects in Text for Visual Question Answering
Google Research（谷歌研究院）
为了推进多模态上下文模型，我们引入了一个简单而强大的神经架构，用于结合视觉和自然语言的数据。“文本中的边界框Transformer”（B2 T2）还利用引用信息将单词绑定到单个统一架构中的图像部分。B2 T2在视觉常识推理基准测试（https：//www.example.com）上非常有效，与发布的基线相比，出错率相对降低了25%，达到了最先进的水平，并在公共排行榜上获得了迄今为止的最佳性能（截至2019年5月22日）。visualcommonsense.com一个详细的消融分析表明，早期的视觉功能集成到文本分析是新架构的有效性的关键。我们提供了模型的参考实现（https：//github.com/google-research/language/tree/master/language/question_answering/b2t2）。
2019-11-03 cs.CL cs.CV cs.LG
Interpretable Visual Question Answering by Visual Grounding from Attention Supervision Mining
Stanford University（斯坦福大学）；Universidad Catolica de Chile（智利天主教大学）
可解释的VQA模型的一个关键方面是它们能够将答案与图像中的相关区域联系起来。具有这种能力的当前方法依赖于监督学习和人类注释的基础来在VQA架构内训练训练注意力机制。不幸的是，获得特定于视觉基础的人类注释是困难和昂贵的。在这项工作中，我们证明，我们可以有效地训练一个VQA架构与接地监督，可以自动获得可用的区域描述和对象注释。我们还表明，使用这种挖掘监督训练的模型生成的视觉接地与手动注释的接地具有更高的相关性，同时实现了最先进的VQA准确性。
2018-08-01 cs.AI cs.CL cs.CV
High-Order Attention Models for Visual Question Answering
Technion（以色列理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对实现认知能力的算法的探索是机器学习的重要组成部分。最近研究的许多认知类任务的一个共同特点是，它们考虑到不同的数据形式，如视觉和文本输入。在本文中，我们提出了一种新的和普遍适用的形式的注意力机制，学习各种数据模态之间的高阶相关性。我们表明，高阶相关性有效地将适当的注意力引导到解决联合任务所需的不同数据模式中的相关元素。我们证明了我们的高阶注意力机制对视觉问答（VQA）任务的有效性，在标准VQA数据集上，我们实现了最先进的性能。
2017-11-12 cs.AI cs.CV cs.LG
Uncertainty-based Visual Question Answering: Estimating Semantic Inconsistency between Image and Knowledge Base
OKESTRO Co., Ltd（OKESTRO有限公司）；Dongguk University（东国大学）
基于知识的视觉问答（KVQA）任务旨在回答需要额外的外部知识以及对图像和问题的理解的问题。最近关于KVQA的研究以多模态形式注入外部知识，并且随着使用更多的知识，可能会添加不相关的信息，并且可能混淆问答。为了更好地利用这些知识，本研究提出了以下几点：1）引入了一种新的语义不一致性度量，该度量是由字幕不确定性和语义相似度计算得到的; 2）提出了一种新的基于语义不一致性度量的外部知识同化方法，并将其应用于KVQA的显性知识和隐性知识的整合; 3）在OK-VQA数据集上对所提出的方法进行了测试，取得了较好的性能。
2022-07-27 cs.AI cs.CL cs.CV
FlowVQA: Mapping Multimodal Logic in Visual Question Answering with Flowcharts
Mercer Mettl（默瑟梅特尔）；IGDTUW（英迪拉·甘地德里技术大学（女子））；Google Research（谷歌研究院）；Indian Institute of Technology Guwahati（古瓦哈蒂印度理工学院）；University of Pennsylvania（宾夕法尼亚大学）
FlowVQA提出一个包含2,272张流程图和22,413个问答对的视觉问答基准，用于评估多模态语言模型在信息定位、决策和逻辑推理上的能力，并通过基线实验验证其价值。
2024-06-28 cs.CL cs.CV cs.IR
Understanding the Role of Scene Graphs in Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Osaka University（大阪大学）；Kyoto University（京都大学）
视觉问答（VQA）是巨大的兴趣，研究社区的重要应用，如帮助视障用户和基于图像的搜索。在这项工作中，我们将探索使用场景图解决VQA任务。我们在GQA数据集上进行实验，该数据集提出了一组具有挑战性的问题，需要计数，组合性和高级推理能力，并为大量图像提供场景图。我们采用图像+问题架构与场景图一起使用，评估各种场景图生成技术，为看不见的图像，提出了一个培训课程，以利用人类注释和自动生成的场景图，并建立后期融合架构，从多种图像表示中学习。我们提出了一个多方面的研究到使用场景图VQA，使这项工作的第一种。
2021-01-17 cs.CV cs.LG
FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）
FAU提交的多模态推理系统，未做任务特定模型训练，在2026年ImageCLEF竞赛中，获Visual MCQ第三名、Visual OpenQA第一名，凸显推理工程的实用价值。
2026-08-04 cs.CV cs.LG
Answering Questions about Data Visualizations using Efficient Bimodal Fusion
Rochester Institute of Technology（罗切斯特理工学院）；Adobe Research（Adobe 研究院）；Paige；Cornell Tech（康奈尔科技校区）
图表问答（CQA）是一种新提出的可视化问答（VQA）任务，其中算法必须回答有关数据可视化的问题，例如条形图，饼图和线图。CQA需要自然图像VQA算法所缺乏的功能：细粒度测量、光学字符识别以及处理问题和答案中的词汇表外单词。在没有修改的情况下，最先进的VQA算法在这项任务上表现不佳。在这里，我们提出了一种新的CQA算法称为并行递归图像和语言的融合（PReFIL）。PReFIL首先通过融合问题和图像特征来学习双峰嵌入，然后智能地聚合这些学习的嵌入来回答给定的问题。尽管简单，但PReFIL在FigureQA和DVQA数据集上大大超过了最先进的系统和人类基线。此外，我们证明，PReFIL可以用来重建表，问一系列的问题，一个图表。
2020-07-22 cs.AI cs.CL cs.CV
Visual Question Answering with Prior Class Semantics
The University of Adelaide（阿德莱德大学）
我们提出了一种新的机制，嵌入先验知识的视觉问答模型。任务的开集性质与训练固定分类器的普遍方法不一致。我们将展示如何利用有关候选答案的语义的额外信息。我们扩展的答案预测过程中的一个回归目标的语义空间，在其中，我们项目的候选人的答案使用先验知识来自词嵌入。我们对GQA数据集的学习表示进行了广泛的研究，揭示了答案空间中嵌入之间的关系中捕获了重要的语义信息。我们的方法在一系列问题类型上提高了一致性和准确性。在训练过程中看不到的新答案的实验表明，该方法具有开集预测的潜力。
2020-05-04 cs.CV cs.LG
Hypergraph Transformer: Weakly-supervised Multi-hop Reasoning for Knowledge-based Visual Question Answering
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；AI Institute (AIIS), Seoul National University（首尔国立大学人工智能研究院（AIIS））
基于知识的视觉问答（QA）的目的是回答一个问题，这需要视觉基础的外部知识超越图像内容本身。在弱监督下对需要多跳推理的复杂问题进行推理被认为是一个具有挑战性的问题，因为i）没有对推理过程进行监督，ii）需要捕获多跳知识事实的高阶语义。在本文中，我们引入超图的概念来编码问题和知识库的高级语义，并学习它们之间的高阶关联。提出的模型Hypergraph Transformer构造了一个问题超图和一个查询感知知识超图，并通过编码超图之间的关联和超图本身的关联来推断答案。在两个基于知识的视觉问答和两个基于知识的文本问答上的实验证明了该方法的有效性，特别是对于多跳推理问题。我们的源代码可以在https://github.com/yujungheo/kbvqa-public上找到。
2022-04-22 cs.AI cs.CL cs.CV
Surgical-VQA: Visual Question Answering in Surgical Scenes using Transformer
National University of Singapore（新加坡国立大学）；Imperial College London（帝国理工学院）；National Institute of Technology, Tiruchirappalli（蒂鲁吉拉伯利国家理工学院）；Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
手术中的视觉问答（VQA）在很大程度上尚未开发。专业的外科医生很少，而且经常被临床和学术工作负担过重。这种超负荷的工作往往限制了他们回答病人、医学生或初级住院医生关于外科手术的问卷调查的时间。有时，学生和初级居民也避免在课堂上问太多问题，以减少干扰。虽然计算机辅助模拟器和过去的外科手术记录已经为他们提供了观察和提高他们的技能，但他们仍然非常依赖医学专家来回答他们的问题。拥有一个外科VQA系统作为可靠的“第二意见”可以作为一个备份，减轻医疗专家在回答这些问题时的负担。缺乏注释的医学数据和特定领域术语的存在限制了外科手术VQA的探索。在这项工作中，我们设计了一个手术VQA任务，回答问卷调查的基础上手术现场的手术程序。进一步扩展MICCAI内窥镜视觉挑战2018数据集和工作流程识别数据集，我们引入了两个Surgical-VQA数据集，其中包含分类和基于检查的答案。为了执行Surgical-VQA，我们采用视觉-文本Transformers模型。我们进一步引入了一个基于残差MLP的VisualBert编码器模型，该模型加强了视觉和文本标记之间的交互，提高了基于分类的回答的性能。此外，我们研究了输入图像块的数量和时间视觉特征对模型性能的影响，在分类和基于问答的回答。
2022-06-26 cs.AI cs.CV cs.LG
C-VQA: A Compositional Split of the Visual Question Answering (VQA) v1.0 Dataset
Virginia Tech（弗吉尼亚理工大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Georgia Institute of Technology（佐治亚理工学院）
可视化问答（VQA）在过去的几年里受到了广泛的关注。已经为这个任务提出了许多深度学习模型。然而，事实证明，这些模型在很大程度上是由训练数据中的表面相关性驱动的，并且缺乏组合性--即回答关于可见概念的不可见组合的问题的能力。这种组合性是可取的，也是智能的核心。在本文中，我们提出了一个新的设置视觉问答的测试问题，答案对是组成新颖的训练问题，答案对。为了便于在此设置下开发模型，我们提出了VQA v1.0数据集的新组合分割，我们称之为组合VQA（C-VQA）。我们分析了问题和答案在C-VQA分裂中的分布。最后，我们评估了几个现有的VQA模型在这个新的设置，并表明这些模型的性能下降了显着的量相比，原来的VQA设置。
2017-04-26 cs.AI cs.CL cs.CV
Single-Modal Entropy based Active Learning for Visual Question Answering
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
在现实世界中构建大规模标记数据集，特别是对于高级任务（例如，可视化问答），可能是昂贵且耗时的。此外，随着数据量的不断增加和体系结构的日益复杂，主动学习已经成为计算机视觉研究的一个重要方面。在这项工作中，我们解决主动学习的视觉问答（VQA）的多模态设置。针对多模态输入、图像和问题，提出了一种新的有效样本获取方法，通过对每个输入使用特定的单模态分支来充分利用其信息。我们的互信息为基础的样本采集策略单模熵测量（SMEM）除了我们的自蒸馏技术，使样本采集器，以利用所有现有的模式，并找到最具信息量的样本。我们的新想法是简单的实现，成本效益，并随时适应其他多模式的任务。我们通过与现有的主动学习基线进行比较，通过最先进的性能确认了我们在各种VQA数据集上的发现。
2021-11-18 cs.AI cs.CL cs.CV
