Recent, rapid advancement in visual question answering architecture: a review
University of Arkansas at Little Rock（阿肯色大学小石城分校）
理解视觉问答对许多人类活动至关重要。然而，它在人工智能努力的核心提出了重大挑战。本文介绍了在视觉问答的快速进步，在过去的几年中发生的图像的更新。近年来，关于改进可视问答系统体系结构的研究取得了巨大的增长，这表明了多通道体系结构的重要性。关于视觉问答的好处，Manmadhan等人（2020）的综述论文中提到了几点，本文以其为基础，包括该领域的后续更新。
2022-07-09 cs.AI cs.CL cs.CV
Uncertainty-based Visual Question Answering: Estimating Semantic Inconsistency between Image and Knowledge Base
OKESTRO Co., Ltd（OKESTRO有限公司）；Dongguk University（东国大学）
基于知识的视觉问答（KVQA）任务旨在回答需要额外的外部知识以及对图像和问题的理解的问题。最近关于KVQA的研究以多模态形式注入外部知识，并且随着使用更多的知识，可能会添加不相关的信息，并且可能混淆问答。为了更好地利用这些知识，本研究提出了以下几点：1）引入了一种新的语义不一致性度量，该度量是由字幕不确定性和语义相似度计算得到的; 2）提出了一种新的基于语义不一致性度量的外部知识同化方法，并将其应用于KVQA的显性知识和隐性知识的整合; 3）在OK-VQA数据集上对所提出的方法进行了测试，取得了较好的性能。
2022-07-27 cs.AI cs.CL cs.CV
Multi-Image Visual Question Answering
Indian Institute Of Technology Dharwad（印度理工学院达瓦德分校）
虽然已经做了大量的工作来开发模型来解决视觉问答的问题，这些模型的能力，将问题与图像特征仍然很少探索。我们提出了一个不同的特征提取方法与不同的损失函数的实证研究。我们提出了新的数据集的任务，视觉问答与多个图像输入只有一个地面真理，并基准我们的结果。我们的最终模型利用Resnet + RCNN图像特征和BERT嵌入，灵感来自堆栈注意力网络，在CLEVER+TinyImagenet数据集上提供了39%的单词准确率和99%的图像准确率。
2022-02-06 cs.AI cs.CV cs.LG
Answering Questions about Data Visualizations using Efficient Bimodal Fusion
Rochester Institute of Technology（罗切斯特理工学院）；Adobe Research（Adobe 研究院）；Paige；Cornell Tech（康奈尔科技校区）
图表问答（CQA）是一种新提出的可视化问答（VQA）任务，其中算法必须回答有关数据可视化的问题，例如条形图，饼图和线图。CQA需要自然图像VQA算法所缺乏的功能：细粒度测量、光学字符识别以及处理问题和答案中的词汇表外单词。在没有修改的情况下，最先进的VQA算法在这项任务上表现不佳。在这里，我们提出了一种新的CQA算法称为并行递归图像和语言的融合（PReFIL）。PReFIL首先通过融合问题和图像特征来学习双峰嵌入，然后智能地聚合这些学习的嵌入来回答给定的问题。尽管简单，但PReFIL在FigureQA和DVQA数据集上大大超过了最先进的系统和人类基线。此外，我们证明，PReFIL可以用来重建表，问一系列的问题，一个图表。
2020-07-22 cs.AI cs.CL cs.CV
Visual Question Answering as a Multi-Task Problem
University of Manchester（曼彻斯特大学）
可视化问答（VQA）是一个高度复杂的问题集，依赖于许多子问题来产生合理的答案。在本文中，我们提出了假设，视觉问答应被视为一个多任务的问题，并提供证据来支持这一假设。我们证明了这一点，重新格式化两个常用的可视化问答数据集，COCO-QA和DAQUAR，到一个多任务格式和训练这些重新格式化的数据集在两个基线网络，一个专门设计，以消除其他可能的原因，性能变化的结果，重新格式化。虽然本文中展示的网络没有实现强有力的竞争结果，我们发现，多任务的方法来视觉问答结果在性能上的增加5-9%，对单任务格式化，网络达到收敛速度比单任务的情况下。最后，我们讨论了观察到的性能差异的可能原因，并进行了额外的实验，排除了与作为多任务问题的数据集学习无关的原因。
2020-07-03 cs.AI cs.CL cs.CV
Hypergraph Transformer: Weakly-supervised Multi-hop Reasoning for Knowledge-based Visual Question Answering
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；AI Institute (AIIS), Seoul National University（首尔国立大学人工智能研究院（AIIS））
基于知识的视觉问答（QA）的目的是回答一个问题，这需要视觉基础的外部知识超越图像内容本身。在弱监督下对需要多跳推理的复杂问题进行推理被认为是一个具有挑战性的问题，因为i）没有对推理过程进行监督，ii）需要捕获多跳知识事实的高阶语义。在本文中，我们引入超图的概念来编码问题和知识库的高级语义，并学习它们之间的高阶关联。提出的模型Hypergraph Transformer构造了一个问题超图和一个查询感知知识超图，并通过编码超图之间的关联和超图本身的关联来推断答案。在两个基于知识的视觉问答和两个基于知识的文本问答上的实验证明了该方法的有效性，特别是对于多跳推理问题。我们的源代码可以在https://github.com/yujungheo/kbvqa-public上找到。
2022-04-22 cs.AI cs.CL cs.CV
C-VQA: A Compositional Split of the Visual Question Answering (VQA) v1.0 Dataset
Virginia Tech（弗吉尼亚理工大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Georgia Institute of Technology（佐治亚理工学院）
可视化问答（VQA）在过去的几年里受到了广泛的关注。已经为这个任务提出了许多深度学习模型。然而，事实证明，这些模型在很大程度上是由训练数据中的表面相关性驱动的，并且缺乏组合性--即回答关于可见概念的不可见组合的问题的能力。这种组合性是可取的，也是智能的核心。在本文中，我们提出了一个新的设置视觉问答的测试问题，答案对是组成新颖的训练问题，答案对。为了便于在此设置下开发模型，我们提出了VQA v1.0数据集的新组合分割，我们称之为组合VQA（C-VQA）。我们分析了问题和答案在C-VQA分裂中的分布。最后，我们评估了几个现有的VQA模型在这个新的设置，并表明这些模型的性能下降了显着的量相比，原来的VQA设置。
2017-04-26 cs.AI cs.CL cs.CV
Can Open Domain Question Answering Systems Answer Visual Knowledge Questions?
Apple（苹果公司）
外部知识视觉问答（OKVQA）的任务要求自动系统使用外部知识来回答关于图片和图像的自然语言问题。我们观察到，许多视觉问题，其中包含指示参考短语，指的是在图像中的实体，可以被重写为“非接地”的问题，并可以回答现有的基于文本的问答系统。这允许将现有的基于文本的开放域问答（QA）系统重新用于可视问答。在这项工作中，我们提出了一个潜在的数据效率的方法，重用现有的系统（a）图像分析，（b）问题重写，（c）基于文本的问答回答这样的视觉问题。给定一个图像和与该图像有关的问题（视觉问题），我们首先使用预先训练的对象和场景分类器提取图像中存在的实体。使用这些检测到的实体，视觉问题可以被重写，以便由开放域QA系统回答。我们探索了两种重写策略：（1）使用BERT进行掩蔽和重写的无监督方法，以及（2）结合自适应重写和强化学习技术以使用来自QA系统的隐式反馈的弱监督方法。我们在公开的OKVQA数据集上测试了我们的策略，并在仅使用10%的训练数据的情况下获得了具有竞争力的性能。
2022-02-09 cs.AI cs.CL cs.CV
Attention on Attention: Architectures for Visual Question Answering (VQA)
Stanford University（斯坦福大学）
视觉问答（VQA）是深度学习研究中越来越热门的话题，需要将自然语言处理和计算机视觉模块协调到单一架构中。我们建立在该模型，在第一次在VQA的挑战，开发了13个新的注意力机制，并引入了一个简化的分类。我们执行了300 GPU小时的广泛超参数和架构搜索，并能够获得64.78%的评估分数，优于现有最先进的单一模型的验证分数63.15%。
2018-03-21 cs.AI cs.CL cs.CV
Uncertainty based Class Activation Maps for Visual Question Answering
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
理解和解释深度学习模型是一项势在必行的任务。为此，我们提出了一种方法，获得基于梯度的确定性估计，也提供视觉注意力地图。特别地，我们解决了视觉问答任务。我们结合了现代概率深度学习方法，通过使用这些估计的梯度来进一步改进。这有两方面的好处：a）在获得与误分类样本更好相关的确定性估计方面的改进，以及b）在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此，所提出的技术可以被认为是为深度学习模型获得改进的确定性估计和解释的处方。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2020-01-23 cs.CL cs.CV cs.LG
Single-Modal Entropy based Active Learning for Visual Question Answering
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊登伯勒大学）
在现实世界中构建大规模标记数据集，特别是对于高级任务（例如，可视化问答），可能是昂贵且耗时的。此外，随着数据量的不断增加和体系结构的日益复杂，主动学习已经成为计算机视觉研究的一个重要方面。在这项工作中，我们解决主动学习的视觉问答（VQA）的多模态设置。针对多模态输入、图像和问题，提出了一种新的有效样本获取方法，通过对每个输入使用特定的单模态分支来充分利用其信息。我们的互信息为基础的样本采集策略单模熵测量（SMEM）除了我们的自蒸馏技术，使样本采集器，以利用所有现有的模式，并找到最具信息量的样本。我们的新想法是简单的实现，成本效益，并随时适应其他多模式的任务。我们通过与现有的主动学习基线进行比较，通过最先进的性能确认了我们在各种VQA数据集上的发现。
2021-11-18 cs.AI cs.CL cs.CV
Measuring Machine Intelligence Through Visual Question Answering
Facebook AI Research（Facebook人工智能研究院）；Virginia Tech（弗吉尼亚理工大学）；Microsoft Research（微软研究院）
随着机器变得越来越智能，人们对测量其智能的方法重新产生了兴趣。一种常见的方法是提出人类擅长的任务，但机器发现困难。然而，一个理想的任务也应该容易评估，而不是容易游戏。我们开始一个案例研究，探讨最近流行的任务图像描述和它的局限性作为一个任务，测量机器智能。另一个更有前途的任务是视觉问答，它测试机器对语言和视觉的推理能力。我们描述了一个为该任务创建的规模空前的数据集，其中包含超过760，000个人类生成的关于图像的问题。使用大约1000万个人类生成的答案，可以很容易地评估机器。
2016-08-31 cs.AI cs.CL cs.CV
Think Visually: Question Answering through Virtual Imagery
在本文中，我们研究了问答环境下的几何推理问题。我们介绍了动态空间记忆网络（DSMN），这是一种新的深度网络架构，旨在回答承认潜在视觉表征的问题。DSMN学习生成和推理这些表示。此外，我们提出了两个综合基准，FloorPlanQA和ShapeIntersection，以评估QA系统的几何推理能力。实验结果验证了我们提出的DSMN视觉思维任务的有效性。
2018-05-25 cs.AI cs.CL
Latent Variable Models for Visual Question Answering
Imperial College London（帝国理工学院）；University of Sheffield（谢菲尔德大学）；Department of Computing, Imperial College London（帝国理工学院计算机系）；Department of Computer Science, University of Sheffield（谢菲尔德大学计算机科学系）
视觉问答（VQA）目前的工作探索确定性的方法，各种类型的图像和问题的功能。我们认为，除了图像和问题对，其他形式是有用的教学机器进行问答。因此，在本文中，我们提出了VQA的潜变量模型，其中额外的信息（例如标题和答案类别）被合并为潜变量，这些信息在训练过程中被观察到，但反过来又有利于测试时的问答性能。在VQA v2.0基准测试数据集上的实验证明了我们提出的模型的有效性：它们在强基线上有所改进，特别是那些不依赖于广泛的语言视觉预训练的模型。
2021-09-26 cs.AI cs.CL cs.CV
Reproducibility Report for "Learning To Count Objects In Natural Images For Visual Question Answering"
MILA（蒙特利尔学习算法研究所）；Département d’informatique et de recherche opérationnelle（计算机与运筹学系）；Université de Montréal（蒙特利尔大学）
这是论文“学习在自然图像中计算对象以进行视觉识别”的再现性报告。
2018-05-21 cs.CL cs.CV
Proposing Plausible Answers for Open-ended Visual Question Answering
University of Rochester（罗切斯特大学）；Adobe Research（Adobe研究院）
回答开放式问题是任何智能代理的基本能力。最近最有趣的开放式问答挑战之一是视觉问答（VQA），它试图通过回答关于图像的自然语言问题来评估系统的视觉理解。存在许多VQA方法，其中大多数没有表现出对它们产生的候选答案的更深层次的语义理解。我们研究的重要性，生成合理的答案，一个给定的问题，通过引入新的任务“回答建议”：对于一个给定的开放式问题，系统应该生成一个排名列表的候选答案通知的语义问题。我们尝试了各种模型，包括神经生成模型以及语义图匹配模型。我们提供了内在的和外在的评价的任务的答案建议，表明我们最好的模型学习提出合理的答案，具有较高的召回率，并执行竞争力与其他一些解决方案的VQA。
2016-10-24 cs.AI cs.CL cs.CV
Speech-Based Visual Question Answering
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
本文介绍了基于语音的视觉问答（VQA），生成一个给定的图像和一个口头问题的答案的任务。研究了两种方法：一种直接使用音频波形作为输入的端到端深度神经网络，而不是对问题执行ASR（自动语音识别）的流水线方法，然后是基于文本的视觉问答。此外，我们调查了这两种方法的鲁棒性，通过注入不同程度的噪声到口语问题，并发现这两种方法是容忍噪声在类似的水平。
2017-09-16 cs.CL cs.CV
Fusion of Detected Objects in Text for Visual Question Answering
Google Research（谷歌研究院）
为了推进多模态上下文模型，我们引入了一个简单而强大的神经架构，用于结合视觉和自然语言的数据。“文本中的边界框Transformer”（B2 T2）还利用引用信息将单词绑定到单个统一架构中的图像部分。B2 T2在视觉常识推理基准测试（https：//www.example.com）上非常有效，与发布的基线相比，出错率相对降低了25%，达到了最先进的水平，并在公共排行榜上获得了迄今为止的最佳性能（截至2019年5月22日）。visualcommonsense.com一个详细的消融分析表明，早期的视觉功能集成到文本分析是新架构的有效性的关键。我们提供了模型的参考实现（https：//github.com/google-research/language/tree/master/language/question_answering/b2t2）。
2019-11-03 cs.CL cs.CV cs.LG
Vision And Text Transformer For Predicting Answerability On Visual Question Answering
Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）；University of Science, Ho Chi Minh City（胡志明市理科大学）；Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校）；Zalo Research Center（Zalo研究中心）
针对视觉问答中的可回答性预测，提出VT-Transformer模型，利用Transformer架构融合视觉与文本特征，在VizWiz 2020数据集上验证了其有效性与鲁棒性。
2026-09-16 cs.AI cs.CV
Visual Question Answering Using Semantic Information from Image Descriptions
University of Kentucky（肯塔基大学）
在这项工作中，我们提出了一个深度神经架构，它使用一个注意力机制，利用基于区域的图像特征，自然语言的问题，并从图像的区域提取的语义知识，以产生开放式的答案，在视觉问答（VQA）任务中提出的问题。基于区域的特征和关于图像的基于区域的文本信息两者的组合支持模型更准确地响应问题，并且可能用较少的所需训练数据来这样做。我们评估我们提出的架构VQA任务对一个强大的基线，并表明我们的方法在这项任务上取得了优异的成绩。
2021-04-03 cs.AI cs.CL cs.CV
High-Order Attention Models for Visual Question Answering
Technion（以色列理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对实现认知能力的算法的探索是机器学习的重要组成部分。最近研究的许多认知类任务的一个共同特点是，它们考虑到不同的数据形式，如视觉和文本输入。在本文中，我们提出了一种新的和普遍适用的形式的注意力机制，学习各种数据模态之间的高阶相关性。我们表明，高阶相关性有效地将适当的注意力引导到解决联合任务所需的不同数据模式中的相关元素。我们证明了我们的高阶注意力机制对视觉问答（VQA）任务的有效性，在标准VQA数据集上，我们实现了最先进的性能。
2017-11-12 cs.AI cs.CV cs.LG
Learning Sparse Mixture of Experts for Visual Question Answering
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
随着模型结构的改进，可视化问答的任务取得了快速的进展。不幸的是，这些模型通常是计算密集型的，由于其庞大的规模，这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答（VQA）的具体任务。卷积神经网络（CNN）是VQA模型的视觉处理管道的组成部分（假设CNN与整个VQA模型一起训练）。在这个项目中，我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明，一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
Hallucination Benchmark in Medical Visual Question Answering
University College London（伦敦大学学院）
针对Med-VQA中LLVM幻觉缺乏临床评测的问题，本文构建医学图像问答幻觉基准，评估前沿模型并分析提示策略的效果。
2024-04-03 cs.AI cs.CL cs.CV
Explicit Knowledge-based Reasoning for Visual Question Answering
The University of Adelaide（阿德莱德大学）
我们描述了一种用于视觉问答的方法，该方法能够根据从大规模知识库中提取的信息来推理图像的内容。该方法不仅使用图像中不包含的概念来回答自然语言问题，而且可以提供对推理的解释，通过该推理来开发其答案。该方法能够回答比主流的基于长短期记忆的方法复杂得多的问题，并且在测试中显著优于它。我们还提供了一个数据集和一个协议，通过它来评估这些方法，从而解决了一般的视觉问题的回答的关键问题之一。
2015-11-12 cs.CL cs.CV
Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention
Samsung Research（三星研究院）；SRI International（斯坦福国际研究院）
在本文中，我们提出了一种新的方法，可解释的问答（XQA）的任务，即，生成针对所述视觉问答（VQA）问题的自然语言（NL）解释。我们使用两个信息源生成NL解释，该解释包括支持对图像提出的问题的答案的证据：（a）图像中实体的注释（例如，对象标签、区域描述、关系短语），以及（b）由VQA模型在回答问题时生成的注意力图。我们展示了如何结合视觉注意力地图与NL表示的相关场景图实体，仔细选择使用语言模型，可以给出合理的文字解释，而不需要任何额外的收集数据（解释说明等）。我们在Visual Genome（VG）数据集上运行我们的算法，并进行内部用户研究，以证明我们的方法在强大的基线上的有效性。我们还发布了一个实时Web演示，展示了我们的VQA和使用场景图和视觉注意力的文本解释生成。
2019-02-15 cs.AI cs.CL
Survey of Visual Question Answering: Datasets and Techniques
Indian Institute of Technology Delhi（德里印度理工学院）
视觉问答是结合自然语言处理和计算机视觉技术的一个新的、令人兴奋的问题。我们提出了一个调查的各种数据集和模型，已用于解决这一任务。调查的第一部分详细介绍了VQA的各种数据集，并将它们与一些常见因素进行比较。本调查的第二部分详细介绍了VQA的不同方法，分为四种类型：非深度学习模型，无注意力的深度学习模型，有注意力的深度学习模型，以及不适合前三种模型的其他模型。最后，我们比较了这些方法的性能，并为未来的工作提供了一些方向。
2017-05-11 cs.AI cs.CL cs.CV
Textually Enriched Neural Module Networks for Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）
随着计算机视觉研究超越传统的识别任务，语言和视觉交叉点的问题，如视觉问答，最近在多模态机器学习领域获得了大量关注。最近在使用深度神经网络模型的视觉问答中取得了成功，深度神经网络模型使用问题的语言结构来动态地实例化网络布局。在将问题转换为网络布局的过程中，问题被简化，这导致模型中的信息丢失。在本文中，我们丰富的图像信息与文本数据，使用图像标题和外部知识库，以生成更连贯的答案。我们实现了57.1%的整体准确率的测试开发开放式问题的视觉问答（VQA 1.0）的真实图像数据集。
2018-09-23 cs.CL cs.CV
Language bias in Visual Question Answering: A Survey and Taxonomy
University of Electronic Science and Technology of China（电子科技大学）
视觉问答（VQA）是一项具有挑战性的任务，在计算机视觉和自然语言处理领域引起了越来越多的关注。但是，目前的视觉问答存在语言偏向的问题，降低了模型的鲁棒性，对视觉问答的实际应用产生了不利影响。本文首次对这一领域进行了全面的回顾和分析，并将现有的方法按照增强视觉信息、弱化语言先验、数据增强和训练策略三大类进行了分类。同时，对相关的代表性方法依次进行了介绍、总结和分析。揭示了语言偏见产生的原因并进行了分类。其次，本文介绍了主要用于测试的数据集，并报告了各种现有方法的实验结果。最后，我们讨论了该领域未来可能的研究方向。
2021-11-16 cs.AI cs.CV
Interpretable Counting for Visual Question Answering
Salesforce Research（Salesforce 研究院）
在视觉问答（VQA）中，需要对图像中的各种对象进行计数的问题仍然是一个主要的挑战。最常见的VQA方法涉及基于图像和问题的固定长度表示对答案进行分类，或者对从图像的每个部分估计的分数计数进行求和。相比之下，我们将计数视为一个连续的决策过程，并迫使我们的模型对要计数的内容做出离散的选择。具体来说，模型从检测到的对象中依次进行选择，并学习影响后续选择的对象之间的交互。我们的方法的一个区别是它的直观和可解释的输出，因为离散计数是自动接地的图像。此外，我们的方法在评估计数的多个指标上优于VQA的最新架构。
2018-03-02 cs.AI cs.CL cs.CV
VIBIKNet: Visual Bidirectional Kernelized Network for Visual Question Answering
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
在本文中，我们提出了一种新的模型，称为VIBIKNet解决问题的视觉问答。我们的模型是基于集成核卷积神经网络和长短期记忆单元，以生成一个关于图像的问题的答案。我们证明了VIBIKNet是准确性和计算负载之间的最佳权衡，在内存和时间消耗方面。我们在VQA挑战数据集上验证了我们的方法，并将其与性能最好的方法进行了比较，以说明其性能和速度。
2016-12-12 cs.CL cs.CV
Multimodal Inverse Cloze Task for Knowledge-based Visual Question Answering
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）
本文提出了一种新的基于知识的命名实体可视化问答（KVQAE）预训练方法--多模态逆完形填空任务。KVQAE是最近推出的任务，包括在回答问题的命名实体接地在视觉环境中使用知识库。因此，模态之间的相互作用对于检索信息至关重要，并且必须用复杂的融合模型来捕获。由于这些模型需要大量的训练数据，我们从现有的文本问答工作中设计了这个预训练任务。它包括在考虑一个句子作为一个伪问题和它的上下文作为一个伪相关的通道，并通过考虑图像附近的文本在多模态文档中扩展。我们的方法适用于不同的神经网络架构，并导致9%的相对MRR和15%的相对F1增益检索和阅读理解，分别超过了无预训练基线。
2023-01-11 cs.CL cs.IR cs.LG
Visual Question Answering: Datasets, Algorithms, and Future Challenges
Rochester Institute of Technology（罗切斯特理工学院）
视觉问答（VQA）是计算机视觉和自然语言处理中的一个新问题，已经引起了深度学习，计算机视觉和自然语言处理社区的大量兴趣。在VQA中，算法需要回答关于图像的基于文本的问题。自2014年发布第一个VQA数据集以来，已经发布了更多数据集并提出了许多算法。在这篇综述中，我们批判性地研究了VQA在问题制定、现有数据集、评估指标和算法方面的现状。特别是，我们讨论了目前的数据集的局限性，他们的能力，正确的训练和评估VQA算法。然后，我们详尽审查现有的算法VQA。最后，我们讨论了VQA和图像理解研究未来可能的方向。
2017-06-15 cs.AI cs.CL cs.CV
Co-attending Free-form Regions and Detections with Multi-modal Multiplicative Feature Embedding for Visual Question Answering
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；East China Normal University（华东师范大学）
近年来，视觉问答（VQA）任务在人工智能中受到越来越多的关注。现有的VQA方法主要采用视觉注意力机制将输入问题与相应的图像区域相关联，以实现有效的问答。主要研究了基于自由形状区域和基于检测的视觉注意力机制，前者关注自由形状图像区域，后者关注预先指定的检测框区域。我们认为，这两种注意力机制能够提供互补的信息，并应有效地整合，以更好地解决VQA问题。在本文中，我们提出了一种新的深度神经网络VQA，它集成了两种注意力机制。我们提出的框架有效地融合功能，从自由形式的图像区域，检测框，并通过多模态乘法特征嵌入方案的问题表示，共同出席问题相关的自由形式的图像区域和检测框更准确的问答。该方法在两个公开的数据集COCO-QA和VQA上进行了广泛的评估，并优于最先进的方法。源代码可在https://github.com/lupantech/dual-mfa-vqa上获得。
2017-12-12 cs.AI cs.CL cs.CV
What's Different between Visual Question Answering for Machine "Understanding" Versus for Accessibility?
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
在视觉问答（VQA）中，机器必须回答给定的相关图像的问题。最近，可访问性研究人员探索了VQA是否可以部署在现实世界中，视觉障碍用户通过捕捉他们的视觉环境并提出问题来了解他们的环境。然而，大多数现有的VQA基准测试数据集都集中在机器“理解”上，目前还不清楚这些数据集的进展如何对应于这个真实用例的改进。我们的目标是通过评估各种VQA模型来评估机器“理解”数据集（VQA-v2）和可访问性数据集（VizWiz）之间的差异来回答这个问题。根据我们的研究结果，我们讨论了VQA的可访问性的机遇和挑战，并为未来的工作提出了建议。
2022-10-26 cs.AI cs.CL cs.CV
Two can play this Game: Visual Dialog with Discriminative Question Generation and Answering
UIUC（伊利诺伊大学厄巴纳-香槟分校）
人类的对话是一种复杂的机制，有着微妙的细微差别。因此，开发能够流利地参与对话的人工智能代理是一个雄心勃勃的目标。虽然我们离实现这一目标还很远，但最近在视觉问答、图像描述和视觉问题生成方面的进展表明，对话系统可能在不久的将来实现。为此，最近引入了一个新的数据集，并展示了令人鼓舞的结果，特别是对于问答。在本文中，我们展示了一个简单的对称判别基线，可以应用于预测答案以及预测问题。我们表明，这种方法的表现与最先进的，甚至内存网络为基础的方法。此外，第一次在视觉对话数据集上，我们评估了系统提问的性能，并演示了如何从判别式问题生成和问答中生成视觉对话。
2018-03-29 cs.CL cs.CV
Task-driven Visual Saliency and Attention-based Visual Question Answering
Zhejiang University（浙江大学）
自2015年5月以来，可视化问答（VQA）作为将视觉和文本数据统一到一个系统中的经典问题，已经取得了很大的进展。许多富有启发性的VQA作品对图像和问题的编码和融合方法进行了深入的探索，其中注意力是最有效和最具感染力的机制。目前的基于注意力的方法集中在视觉和文本特征的充分融合，但缺乏对人们关注的地方提出问题的图像。传统的基于注意力的方法在每个空间位置对特征赋予单一的值，从而丢失了许多有用的信息。为了解决这些问题，我们提出了一种通用方法，通过双向LSTM（BiLSTM）的相互关系对重叠区域特征进行类似显着性的预选，并使用一种新的基于元素乘法的注意力方法来捕获视觉和文本特征之间更有竞争力的相关信息。我们在大规模COCO-VQA数据集上进行了实验，并通过强有力的实证结果分析了我们的模型的有效性。
2017-02-22 cs.AI cs.CL cs.CV
Dynamic Memory Networks for Visual and Textual Question Answering
MetaMind（MetaMind公司）
具有记忆和注意力机制的神经网络架构表现出问答所需的某些推理能力。动态记忆网络（DMN）就是这样一种架构，它在各种语言任务中获得了很高的准确性。然而，没有显示当在训练期间没有标记支持事实时，该架构是否实现了问答的强结果，或者它是否可以应用于其他模态，如图像。在对DMN进行分析的基础上，我们对其存储和输入模块提出了几点改进。与这些变化一起，我们引入了一个新的图像输入模块，以便能够回答视觉问题。我们的新DMN+模型改进了Visual问答数据集和\babi-10k文本问答数据集的最新技术，而不支持事实监督。
2016-03-04 cs.CL cs.CV cs.NE
A Dataset and Baselines for Visual Question Answering on Art
Osaka University（大阪大学）；Carnegie Mellon University（卡内基梅隆大学）；CyberAgent, Inc.（CyberAgent 公司）
与艺术作品（绘画）相关的问答是一项艰巨的任务，因为它不仅意味着对图片中显示的视觉信息的理解，而且还意味着对通过研究艺术史获得的背景知识的理解。在这项工作中，我们介绍了我们首次尝试构建一个新的数据集，即AQUA（艺术问答）。问答（QA）对是使用基于现有艺术理解数据集中提供的绘画和评论的最先进的问题生成方法自动生成的。QA对由众包工作人员根据语法正确性、可回答性和答案的正确性进行清理。我们的数据集本质上由视觉（基于绘画）和知识（基于评论）问题组成。我们还提出了一个两个分支的模型作为基线，视觉和知识的问题是独立处理的。我们广泛比较我们的基线模型对国家的最先进的问答模型，我们提供了一个全面的研究视觉问答艺术的挑战和潜在的未来方向。
2020-08-28 cs.CL cs.CV
SLAKE: A Semantically-Labeled Knowledge-Enhanced Dataset for Medical Visual Question Answering
The Hong Kong Polytechnic University（香港理工大学）；West China Hospital of Sichuan University（四川大学华西医院）；Sichuan Academy of Medical Sciences（四川省医学科学院）；Sichuan Provincial People's Hospital（四川省人民医院）
医学视觉问答（Med-VQA）在医疗保健领域具有巨大的潜力。然而，该技术的发展受到缺乏公开可用和高质量的标记数据集用于训练和评估的阻碍。在本文中，我们提出了一个大型的双语数据集，SLAKE，全面的语义标签注释经验丰富的医生和一个新的结构医学知识库Med-VQA。此外，SLAKE包括更丰富的模态，比目前可用的数据集覆盖更多的人体部位。我们表明，SLAKE可用于促进Med-VQA系统的开发和评估。数据集可以从http://www.med-vqa.com/slake下载。
2021-02-18 cs.AI cs.CL cs.CV
FVQA 2.0: Introducing Adversarial Samples into Fact-based Visual Question Answering
University of Cambridge（剑桥大学）；University of Washington（华盛顿大学）
广泛使用的基于事实的视觉问答（FVQA）数据集包含视觉上接地的问题，这些问题需要使用常识知识图谱进行信息检索来回答。已经观察到，原始数据集是高度不平衡的，并且集中在其相关联的知识图谱的一小部分上。我们引入了FVQA 2.0，其中包含测试问题的对抗变体，以解决这种不平衡。我们表明，与原始FVQA训练集训练的系统可能容易受到对抗性样本，我们展示了一个增强方案，以减少这种脆弱性，没有人的注释。
2023-03-19 cs.CL cs.CV
Reciprocal Attention Fusion for Visual Question Answering
Australian National University（澳大利亚国立大学）；Data61 - CSIRO（澳大利亚联邦科学与工业研究组织数据61部）；Inception Institute of AI（人工智能初創研究所）
现有的视觉问答（VQA）注意力机制要么关注局部图像网格，要么关注对象级特征。出于观察，问题可以涉及到两个对象实例和它们的部分，我们提出了一种新的注意力机制，共同考虑两个层次的视觉细节之间的相互关系。由此产生的自下而上的注意力与自上而下的信息进一步结合，只关注与给定问题最相关的场景元素。我们的设计分层融合多模态信息，即，语言，对象和网格级别的功能，通过一个有效的张量分解方案。所提出的模型将最先进的单一模型性能从VQAv1的67.9%提高到68.2%，在VQAv2上从65.7%提高到67.4%，表现出显着的提升。
2018-07-22 cs.AI cs.CL cs.CV
ProtoVQA: An Adaptable Prototypical Framework for Explainable Fine-Grained Visual Question Answering
Dartmouth College（达特茅斯学院）；Shandong University（山东大学）；Harvard University（哈佛大学）
ProtoVQA提出统一原型框架，通过学习问题感知原型和空间约束匹配，同时支持VQA回答与证据定位，并引入VLAS评估解释质量，在Visual7W上实现可解释性与准确率的兼顾。
2025-09-20 cs.AI cs.CV cs.LG
BERT-VQA: Visual Question Answering on Plots
Stanford University（斯坦福大学）
本文提出基于 VisualBERT 和 ResNet 101 的 BERT-VQA 模型用于图表视觉问答，实验表明跨模态模块并非对齐图表与问题的关键，揭示了该任务的难度与架构适用性。
2025-08-14 cs.CV cs.LG
PiggyBack: Pretrained Visual Question Answering Environment for Backing up Non-deep Learning Professionals
The University of Sydney（悉尼大学）；The University of Western Australia（西澳大学）；FortifyEdge
我们提出了一个PiggyBack，一个视觉问答平台，允许用户轻松应用最先进的视觉语言预训练模型。PiggyBack支持完整的可视化问答任务，特别是数据处理、模型微调和结果可视化。我们集成了由HuggingFace预训练的视觉语言模型，HuggingFace是深度学习技术的开源API平台;然而，如果没有编程技能或深度学习理解，它就无法运行。因此，我们的PiggyBack支持一个易于使用的基于浏览器的用户界面，其中包含几个面向普通用户和领域专家的深度学习视觉语言预训练模型。PiggyBack包括以下优点：在MIT许可证下免费提供，基于Web的可移植性，因此几乎可以在任何平台上运行，全面的数据创建和处理技术，以及基于深度学习的视觉语言预训练模型的易用性。演示视频可以在YouTube上找到，也可以在https://youtu.be/iz44RZ1lF4s上找到。
2022-12-01 cs.AI cs.CV
Generating Question Relevant Captions to Aid Visual Question Answering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉问答（VQA）和图像描述需要连接语言和视觉的通用知识的共享主体。我们提出了一种新的方法来提高VQA的性能，利用这种连接，共同生成的标题，有针对性地帮助回答一个特定的视觉问题。该模型使用现有的字幕数据集进行训练，通过使用基于在线梯度的方法自动确定问题相关的字幕。VQA v2挑战的实验结果表明，我们的方法通过同时生成与问题相关的标题，获得了最先进的VQA性能（例如，使用单个模型在测试标准集上达到68.4%）。
2020-01-03 cs.CL cs.CV
Faithful Multimodal Explanation for Visual Question Answering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
人工智能系统解释其推理的能力对其实用性和可信度至关重要。深度神经网络在许多具有挑战性的问题上取得了重大进展，例如视觉问答（VQA）。然而，其中大多数是不透明的黑匣子，解释能力有限。本文提出了一种新的方法来开发一个高性能的VQA系统，可以阐明它的答案与集成的文本和视觉解释，忠实地反映其基本推理的重要方面，同时捕捉可理解的人类解释的风格。广泛的实验评估表明，这种方法的优势相比，竞争的方法与自动评估指标和人类的评估指标。
2019-06-03 cs.CL cs.CV
Question Relevance in Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）
自由形式和开放式的可视问答系统解决了为与图像有关的问题提供准确的自然语言答案的问题。当前的VQA系统不评估提出的问题是否与输入图像相关，因此当提出与图像无关的问题时提供无意义的答案。在本文中，我们解决了识别所提出的问题的图像的相关性的问题。我们把这个问题分解为两个子问题。我们首先确定问题是否是视觉的。如果问题是视觉的，我们就确定它是否与图像相关。对于第二个问题，我们从现有的视觉问答数据集生成一个大的数据集，以便能够训练复杂的体系结构，并对视觉问题与图像的相关性进行建模。我们还比较了我们的长短期记忆基于递归神经网络的模型的结果，逻辑回归，XGBoost和多层感知器为基础的方法的问题。
2018-07-23 cs.CL cs.CV
The Color of the Cat is Gray: 1 Million Full-Sentences Visual Question Answering (FSVQA)
The University of Tokyo（东京大学）
视觉问答任务是人工智能中最重要的两个组成部分，它将语言和视觉的交互作用推向了一个新的阶段。然而，它主要集中在生成简短和重复的答案，主要是单个单词，这与人类丰富的语言能力不符。我们介绍了全句子视觉问答（FSVQA）数据集，包括近100万对图像的问题和全句子答案，通过将一些基于规则的自然语言处理技术应用于MS COCO数据集中的原始VQA数据集和标题。这给传统的VQA任务带来了许多额外的复杂性，我们为接近和评估任务提供了一个基线，在此基础上，我们邀请研究界进一步改进。
2016-09-21 cs.CL cs.CV
Is GPT-3 all you need for Visual Question Answering in Cultural Heritage?
University of Florence（佛罗伦萨大学）
本文提出一种基于GPT-3的视觉问答方法，通过运行时生成艺术品描述单，完全避免图像和专家标注过程，并评估了描述生成质量及视觉问答性能。
2023-05-19 cs.CL cs.CV
Simple Baseline for Visual Question Answering
Massachusetts Institute of Technology（麻省理工学院）；Facebook AI Research（脸书人工智能研究院）
我们描述了一个非常简单的词袋基线视觉问答。该基线将来自问题的单词特征和来自图像的CNN特征连接起来以预测答案。当在具有挑战性的VQA数据集[2]上进行评估时，它显示出与许多最近使用递归神经网络的方法相当的性能。为了探索训练模型的优点和缺点，我们还提供了一个交互式Web演示和开源代码。.
2015-12-15 cs.CL cs.CV
Where To Look: Focus Regions for Visual Question Answering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一种方法，学习回答视觉问题，通过选择相关的图像区域的基于文本的查询。我们的方法表现出显着的改进，在回答问题，如“什么颜色”，它是必要的，以评估一个特定的位置，和“什么房间”，它选择性地识别信息图像区域。我们的模型在VQA数据集上进行了测试，VQA数据集是我们所知的最大的人类注释视觉问答数据集。
2016-01-10 cs.CV
FlowVQA: Mapping Multimodal Logic in Visual Question Answering with Flowcharts
Mercer Mettl（默瑟梅特尔）；IGDTUW（英迪拉·甘地德里技术大学（女子））；Google Research（谷歌研究院）；Indian Institute of Technology Guwahati（古瓦哈蒂印度理工学院）；University of Pennsylvania（宾夕法尼亚大学）
FlowVQA提出一个包含2,272张流程图和22,413个问答对的视觉问答基准，用于评估多模态语言模型在信息定位、决策和逻辑推理上的能力，并通过基线实验验证其价值。
2024-06-28 cs.CL cs.CV cs.IR
Self-Critical Reasoning for Robust Visual Question Answering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉问答（VQA）深度学习系统由于强语言先验而倾向于捕获训练数据中的表面统计相关性，并且无法推广到具有显著不同的问答（QA）分布的测试数据。为了解决这个问题，我们引入了一个自我批判的训练目标，确保正确答案的视觉解释比其他竞争性答案候选人更匹配最有影响力的图像区域。有影响力的区域要么是从人类视觉/文本解释中确定的，要么是从问题和答案中的重要单词中自动确定的。我们使用VQA-CP数据集评估我们在VQA泛化任务上的方法，实现了一个新的最先进的方法，即，49.5%使用文本解释，48.5%使用自动注释区域。
2019-12-30 cs.CL cs.CV
VQA-Aid: Visual Question Answering for Post-Disaster Damage Assessment and Analysis
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
与无人机相结合的可视化问答系统对提高灾后损失评估的目的具有很大的潜力。向受影响地区提供援助在很大程度上取决于实时数据评估和分析。可视化问答的范围是了解场景，并提供与查询相关的答案，这肯定会加快灾难后的恢复过程。在这项工作中，我们解决的重要性，\textit{visual question answering (VQA)}任务的灾后损失评估，提出我们最近开发的VQA数据集称为\textit{HurMic-VQA}收集在飓风迈克尔，并比较基准VQA模型的性能。
2021-06-19 cs.CV
