Generating Question Relevant Captions to Aid Visual Question Answering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉问答（VQA）和图像描述需要连接语言和视觉的通用知识的共享主体。我们提出了一种新的方法来提高VQA的性能，利用这种连接，共同生成的标题，有针对性地帮助回答一个特定的视觉问题。该模型使用现有的字幕数据集进行训练，通过使用基于在线梯度的方法自动确定问题相关的字幕。VQA v2挑战的实验结果表明，我们的方法通过同时生成与问题相关的标题，获得了最先进的VQA性能（例如，使用单个模型在测试标准集上达到68.4%）。
2020-01-03 cs.CL cs.CV
Attention on Attention: Architectures for Visual Question Answering (VQA)
Stanford University（斯坦福大学）
视觉问答（VQA）是深度学习研究中越来越热门的话题，需要将自然语言处理和计算机视觉模块协调到单一架构中。我们建立在该模型，在第一次在VQA的挑战，开发了13个新的注意力机制，并引入了一个简化的分类。我们执行了300 GPU小时的广泛超参数和架构搜索，并能够获得64.78%的评估分数，优于现有最先进的单一模型的验证分数63.15%。
2018-03-21 cs.AI cs.CL cs.CV
REVIVE: Regional Visual Representation Matters in Knowledge-Based Visual Question Answering
University of Washington（华盛顿大学）；Microsoft（微软）
本文回顾了基于知识的视觉问答（VQA）中的视觉表示，并证明了更好地利用区域信息可以显着提高性能。虽然视觉表示在传统的VQA中得到了广泛的研究，但在基于知识的VQA中，尽管这两个任务具有共同的精神，即，依靠视觉输入来回答问题。具体而言，我们观察到大多数基于知识的VQA方法都存在以下问题：1）从整幅图像或以滑动窗口方式提取视觉特征来获取知识，而忽略了对象区域内部/之间的重要关系; 2）视觉特征在最终的回答模型中没有得到很好的利用，这在一定程度上是违反直觉的。基于这些观察，我们提出了一个新的基于知识的VQA方法REVIVE，它试图利用对象区域的显式信息，不仅在知识检索阶段，而且在回答模型。其主要动机是对象区域和内在关系对于基于知识的VQA非常重要。我们在标准OK-VQA数据集上进行了广泛的实验，并实现了新的最先进的性能，即，准确率为58.0%，大大超过了之前最先进的方法（+3.6%）。我们还进行了详细的分析，并显示区域信息的必要性，在不同的框架组件基于知识的VQA。代码可在www.example.com上公开获取。
2022-10-10 cs.CL cs.CV
VQA-Aid: Visual Question Answering for Post-Disaster Damage Assessment and Analysis
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
与无人机相结合的可视化问答系统对提高灾后损失评估的目的具有很大的潜力。向受影响地区提供援助在很大程度上取决于实时数据评估和分析。可视化问答的范围是了解场景，并提供与查询相关的答案，这肯定会加快灾难后的恢复过程。在这项工作中，我们解决的重要性，\textit{visual question answering (VQA)}任务的灾后损失评估，提出我们最近开发的VQA数据集称为\textit{HurMic-VQA}收集在飓风迈克尔，并比较基准VQA模型的性能。
2021-06-19 cs.CV
Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering
University of Cambridge（剑桥大学）
本文提出细粒度晚期交互多模态检索FLMR，通过视觉模型对齐和多维嵌入改进RA-VQA的知识检索，将PRRecall@5提升约8%，并在OK-VQA上取得约61%的VQA分数。
2023-10-28 cs.CL cs.CV
RAMM: Retrieval-augmented Biomedical Visual Question Answering with Multi-modal Pre-training
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
视觉-语言多模态预训练和微调在视觉问答（VQA）中取得了巨大的成功。与一般领域的VQA相比，生物医学VQA的性能受到数据的限制。在本文中，我们提出了一个检索增强预训练和微调范式命名为RAMM生物医学VQA，以克服数据限制的问题。具体来说，我们收集了一个新的生物医学数据集PMCPM，它提供了基于患者的图像-文本对，包含来自PubMed的不同患者情况。然后，我们对生物医学多模态模型进行预训练，以学习图像-文本对的视觉和文本表示，并将这些表示与图像-文本对比目标（ITC）对齐。最后，我们提出了一个检索增强的方法，以更好地利用有限的数据。我们提出从预训练数据集中检索基于ITC的相似图像-文本对，并引入一种新的检索注意力模块来融合图像和问题的表示与检索到的图像和文本。实验表明，我们的检索增强预训练和微调范式在Med-VQA 2019，Med-VQA 2021，VQARAD和SLAKE数据集上获得了最先进的性能。进一步的分析表明，所提出的RAMM和PMCPM可以提高生物医学VQA性能相比，以前的资源和方法。我们将开源我们的数据集，代码和预训练模型。
2023-03-01 cs.CL cs.CV
C-VQA: A Compositional Split of the Visual Question Answering (VQA) v1.0 Dataset
Virginia Tech（弗吉尼亚理工大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Georgia Institute of Technology（佐治亚理工学院）
可视化问答（VQA）在过去的几年里受到了广泛的关注。已经为这个任务提出了许多深度学习模型。然而，事实证明，这些模型在很大程度上是由训练数据中的表面相关性驱动的，并且缺乏组合性--即回答关于可见概念的不可见组合的问题的能力。这种组合性是可取的，也是智能的核心。在本文中，我们提出了一个新的设置视觉问答的测试问题，答案对是组成新颖的训练问题，答案对。为了便于在此设置下开发模型，我们提出了VQA v1.0数据集的新组合分割，我们称之为组合VQA（C-VQA）。我们分析了问题和答案在C-VQA分裂中的分布。最后，我们评估了几个现有的VQA模型在这个新的设置，并表明这些模型的性能下降了显着的量相比，原来的VQA设置。
2017-04-26 cs.AI cs.CL cs.CV
Estimating semantic structure for the VQA answer space
Orange Labs（Orange实验室）；Université de Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；LIRIS（里昂信息与图像研究实验室）；UMR CNRS 5205（法国国家科研中心联合研究单位5205）
自视觉问答（VQA，即回答在图像上提出的问题）出现以来，一直被视为一组预定义答案的分类问题。尽管它很方便，但这种分类方法很难反映问题的语义，将回答限制在独立建议之间的选择，而不考虑它们之间的相似性（例如，同样惩罚回答猫或德国牧羊犬而不是狗）。我们解决这个问题，提出（1）两个措施之间的接近VQA类，和（2）相应的损失，考虑到估计的接近。这通过减少语言偏差显著提高了VQA模型的泛化能力。特别是，我们表明，我们的方法是完全模型不可知的，因为它允许与三个不同的VQA模型一致的改进。最后，通过将我们的方法与语言偏差减少方法相结合，我们在具有挑战性的VQAv 2-CP数据集上报告了SOTA级别的性能。
2021-04-08 cs.CL cs.CV
Entity-Focused Dense Passage Retrieval for Outside-Knowledge Visual Question Answering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
大多数外部知识视觉问答（OK-VQA）系统采用两阶段框架，首先检索给定视觉问题的外部知识，然后基于检索到的内容预测答案。然而，检索到的知识往往是不够的。检索往往过于笼统，无法涵盖回答问题所需的特定知识。此外，自然可用的监督（文章是否包含正确答案）很弱，不能保证问题的相关性。为了解决这些问题，我们提出了一个以知识为中心的检索（EnFoRe）模型，该模型在训练过程中提供更强的监督，并识别与问题相关的实体，以帮助检索更具体的知识。实验表明，我们的EnFoRe模型在目前最大的外部知识VQA数据集OK-VQA上取得了优异的检索性能。我们还将检索到的知识与最先进的VQA模型相结合，并在OK-VQA上实现了新的最先进的性能。
2022-10-20 cs.CL cs.CV
Context-VQA: Towards Context-Aware and Purposeful Visual Question Answering
Stanford University（斯坦福大学）
本研究提出Context-VQA数据集，将图像与网站类型配对，证明上下文显著影响问题类型，强调VQA模型需上下文感知以满足用户需求。
2023-08-30 cs.CL cs.CV
Visual Question Answering: Datasets, Algorithms, and Future Challenges
Rochester Institute of Technology（罗切斯特理工学院）
视觉问答（VQA）是计算机视觉和自然语言处理中的一个新问题，已经引起了深度学习，计算机视觉和自然语言处理社区的大量兴趣。在VQA中，算法需要回答关于图像的基于文本的问题。自2014年发布第一个VQA数据集以来，已经发布了更多数据集并提出了许多算法。在这篇综述中，我们批判性地研究了VQA在问题制定、现有数据集、评估指标和算法方面的现状。特别是，我们讨论了目前的数据集的局限性，他们的能力，正确的训练和评估VQA算法。然后，我们详尽审查现有的算法VQA。最后，我们讨论了VQA和图像理解研究未来可能的方向。
2017-06-15 cs.AI cs.CL cs.CV
Human-Adversarial Visual Question Answering
Facebook AI Research（脸书人工智能研究院）；Tecnológico de Monterrey（蒙特雷理工学院）
最常用的可视化问答数据集（VQA v2）的性能开始接近人类的准确性。然而，在与最先进的VQA模型交互时，很明显问题远未得到解决。为了对VQA模型进行压力测试，我们将其与人类对抗性示例进行基准测试。人类受试者与最先进的VQA模型进行交互，并针对数据集中的每个图像，尝试找到模型预测答案不正确的问题。我们发现，广泛的国家的最先进的模型在这些例子进行评估时表现不佳。我们对收集到的对抗性例子进行了广泛的分析，并为未来的研究方向提供了指导。我们希望这个对抗性VQA（AdVQA）基准测试可以帮助推动该领域的进步，并推动最新技术的发展。
2021-06-04 cs.CL cs.CV
3D-Aware Visual Question Answering about Parts, Poses and Occlusions
Johns Hopkins University（约翰斯·霍普金斯大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Freiburg（弗莱堡大学）
本文提出3D感知VQA任务，并构建Super-CLEVR-3D数据集与PO3D-VQA模型，结合概率神经符号推理和3D生成式表示，在部件、姿态与遮挡推理上显著超越现有方法，但仍与2D VQA存在明显性能差距。
2023-10-27 cs.CL cs.CV
Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions?
Virginia Tech（弗吉尼亚理工大学）；Facebook AI Research（脸书人工智能研究院）
我们对视觉问答（VQA）中的“人类注意力”进行了大规模研究，以了解人类在回答有关图像的问题时会选择哪里。我们设计并测试了多个游戏启发的新颖注意力注释界面，这些界面要求受试者锐化模糊图像的区域以回答问题。因此，我们引入VQA-HAT（人类注意力）数据集。我们评估了由最先进的VQA模型生成的注意力地图对人类注意力的定性（通过可视化）和定量（通过排序相关性）。总的来说，我们的实验表明，目前VQA中的注意力模型似乎并不像人类那样关注相同的区域。
2016-06-17 cs.CL cs.CV
Reducing Language Biases in Visual Question Answering with Visually-Grounded Question Encoder
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最近的研究表明，目前的VQA模型严重偏向于训练集中的语言先验来回答问题，而与图像无关。例如，在一个示例中，绝大多数人把“什么运动”回答为“网球”或把“香蕉什么颜色”回答为“黄色”。“这种行为限制了他们在现实世界的应用场景中的应用。在这项工作中，我们提出了一种新的模型无关的问题编码器，视觉接地问题编码器（VGQE），VQA，减少这种影响。VGQE在编码问题时平等地利用视觉和语言模态。因此，问题表示本身得到了充分的视觉基础，从而减少了模型对语言先验的依赖。我们证明了VGQE对三个最近的VQA模型的影响，并在VQAv 2数据集的偏差敏感分裂上取得了最先进的结果; VQA-CPv 2。此外，与现有的偏差减少技术不同，在标准VQAv 2基准测试中，我们的方法不会降低准确性;相反，它提高了性能。
2020-07-18 cs.CL cs.CV
SlideVQA: A Dataset for Document Visual Question Answering on Multiple Images
NTT Human Informatics Laboratories, NTT Corporation（日本电信电话株式会社人类信息学实验室）
包含文本、视觉和布局信息的文档图像上的视觉问答，称为文档VQA，近来受到了广泛的关注。尽管已经提出了许多数据集用于开发文档VQA系统，但大多数现有数据集都专注于理解单个图像内的内容关系，而不是多个图像之间的内容关系。在这项研究中，我们提出了一个新的多图像文档VQA数据集，SlideVQA，包含2.6k+幻灯片甲板组成的52k+幻灯片图像和14.5k问题的幻灯片甲板。SlideVQA需要复杂的推理，包括单跳、多跳和数值推理，并提供数值答案的注释算术表达式，以增强数值推理能力。此外，我们开发了一个新的端到端的文档VQA模型，将证据选择和问答在一个统一的序列到序列的格式。在SlideVQA上的实验表明，我们的模型优于现有的最先进的QA模型，但它仍然与人类的表现有很大的差距。我们相信，我们的数据集将促进对文件VQA的研究。
2023-01-12 cs.CL cs.CV
WeaQA: Weak Supervision via Captions for Visual Question Answering
Arizona State University（亚利桑那州立大学）
用于训练视觉问答（VQA）模型的方法假设具有人类注释的\textit{Image-Question-Answer}（I-Q-A）三元组的数据集的可用性。这导致了对数据集的严重依赖，并且缺乏对新类型问题和场景的概括。语言先验知识以及注释者主观性导致的偏见和错误已被证明会渗透到根据此类样本训练的VQA模型中。我们研究了模型是否可以在没有任何人类注释的Q-A对的情况下进行训练，而只能使用图像及其相关的文本描述或标题。我们提出了一种方法来训练模型与合成Q-A对产生的字幕程序。此外，我们证明了空间金字塔图像补丁作为一个简单而有效的替代密集和昂贵的对象限界框注释在现有的VQA模型的功效。我们在三个VQA基准上的实验证明了这种弱监督方法的有效性，特别是在VQA-CP挑战中，该挑战测试了在不断变化的语言先验下的性能。
2021-05-28 cs.CL cs.CV
Good, Better, Best: Textual Distractors Generation for Multiple-Choice Visual Question Answering via Reinforcement Learning
Arizona State University（亚利桑那州立大学）；Emory University（埃默里大学）
近年来，多项选择问题越来越受到研究者和用户的关注。随着自动构建大规模多项选择VQA数据的需求不断增长，我们引入了一种新的任务，称为文本干扰生成VQA（DG-VQA），专注于生成具有挑战性但有意义的干扰，给出上下文图像，问题和正确答案。DG-VQA任务的目的是在没有地面实况训练样本的情况下生成干扰项，因为这些资源很少可用。为了解决DG-VQA无监督，我们提出了Gobbet，一个基于强化学习（RL）的框架，利用预先训练的VQA模型作为替代知识库，以指导分心物生成过程。在Gobbet中，预先训练的VQA模型作为RL设置中的环境，为输入的多模态查询提供反馈，而神经干扰素生成器作为代理采取相应的行动。我们建议使用现有的VQA模型的性能下降的指标的质量产生的干扰。另一方面，我们通过数据增强实验展示了生成的干扰项的实用性，因为当AI模型应用于不可预测的开放域场景或安全敏感的应用程序时，鲁棒性越来越重要。我们进一步进行手动案例研究的因素，为什么分心产生的Gobbet可以愚弄现有的模型。
2022-04-18 cs.CL cs.CV
LPF: A Language-Prior Feedback Objective Function for De-biased Visual Question Answering
Sun Yat-sen University（中山大学）
现有的视觉问答（VQA）系统往往过于依赖语言偏见，因此无法从视觉线索进行推理。为了解决这个问题，我们提出了一种新的前置反馈（LPF）目标函数，重新平衡每个答案的损失值在总VQA损失的比例。LPF首先使用仅问题分支计算调制因子以确定语言偏差。然后，LPF在训练过程中为每个训练样本分配自适应权重。通过这种重新加权机制，LPF确保总VQA损耗可以重新整形为更平衡的形式。通过这种方式，需要某些视觉信息来预测的样本将在训练期间被有效地使用。我们的方法易于实现，与模型无关，并且端到端可训练。我们进行了大量的实验，结果表明，LPF（1）带来了显着的改善，各种VQA模型，（2）实现有竞争力的性能偏置敏感的VQA-CP v2基准。
2021-06-23 cs.CL cs.CV
Natural Language Understanding and Inference with MLLM in Visual Question Answering: A Survey
Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）；Worcester Polytechnic Institute（伍斯特理工学院）
该综述概述视觉问答（VQA）发展历程，详述多模态大语言模型（MLLMs）在VQA的自然语言理解、模态信息处理、知识推理方面的最新进展，还介绍数据集、评估指标及未来方向。
2024-11-26 cs.CL cs.CV
CQ-VQA: Visual Question Answering on Categorized Questions
IITG（印度理工学院古瓦哈提分校）
本文提出了一种新的两级层次化的端到端的视觉问答（VQA）模型CQ-VQA。CQ-VQA的第一级，称为问题分类器（QC），对问题进行分类，以减少潜在的答案搜索空间。QC使用输入问题和图像的关注和融合特征。第二级，称为答案预测器（AP），包括对应于每个问题类别的一组不同的分类器。根据QC预测的问题类别，AP的分类器中只有一个保持活动。将QC和AP的损失函数聚合在一起，使其成为端到端模型。所提出的模型（CQ-VQA）的TDIUC数据集上进行评估，并对国家的最先进的方法进行基准测试。结果表明CQ-VQA具有竞争力或更好的性能。
2020-02-17 cs.CV
Zero-Shot Visual Question Answering
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）
视觉问答（VQA）的部分吸引力在于它承诺回答关于以前看不见的图像的新问题。大多数当前的方法需要说明每一个可能概念的训练问题，并且因此永远不会实现这种能力，因为所需的训练数据的量将是令人望而却步的。解决关于图像的一般问题需要能够进行Zero-Shot VQA的方法，即能够回答超出训练问题范围的问题的方法。我们提出了一个新的VQA方法的评估协议，衡量他们的能力，执行Zero-Shot VQA，并在这样做突出了显着的实际缺陷，目前的方法，其中一些是掩盖在当前数据集的偏见。我们提出并评估了几种实现Zero-Shot VQA的策略，包括基于预训练词嵌入的方法，具有语义嵌入的对象分类器，以及示例图像的测试时检索。我们广泛的实验旨在作为Zero-Shot VQA的基线，并且它们还在标准VQA评估设置中实现了最先进的性能。
2016-11-20 cs.AI cs.CL cs.CV
Fully Authentic Visual Question Answering Dataset from Online Communities
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft（微软公司）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出首个完全来自在线社区真实问答的VQA数据集VQAonline，评估六个先进模型，发现长答案挑战，并分析最佳评估指标。
2024-07-17 cs.CV
Assessing the Robustness of Visual Question Answering Models
Universiteit van Amsterdam（阿姆斯特丹大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
深度神经网络在视觉问答（VQA）任务中发挥着重要作用。直到最近，它们的准确性一直是研究的主要焦点。现在有一种趋势，即通过评估这些模型在VQA模型输入噪声水平增加的情况下的准确性，来评估这些模型对对抗攻击的鲁棒性。在VQA中，攻击可以针对图像和/或所提出的查询问题（称为主问题），但缺乏对VQA这方面的适当分析。在这项工作中，我们提出了一种新的方法，使用语义相关的问题，被称为基本问题，作为噪声来评估VQA模型的鲁棒性。我们假设，随着基本问题与主要问题的相似性降低，噪音水平增加。为了为给定的主要问题生成合理的噪音水平，我们根据基本问题与该主要问题的相似性对基本问题池进行排名。我们把这个排名问题作为一个LASSO优化问题。我们还提出了一个新的鲁棒性度量Rscore和两个大规模的基本问题数据集，以规范VQA模型的鲁棒性分析。实验结果表明，该方法能够有效地分析VQA模型的鲁棒性。为了促进VQA研究，我们将公布我们提出的数据集。
2022-03-03 cs.CL cs.CV
Generalizing Visual Question Answering from Synthetic to Human-Written Questions via a Chain of QA with a Large Language Model
Radisen Co. Ltd.（瑞迪森公司）；Seoul National University（首尔大学）
针对VQA模型在人工编写复杂问题上表现不佳的问题，提出CoQAH方法，通过大语言模型与合成数据训练的VQA模型间的QA交互链进行推理，在3D渲染和胸部X光数据集上达到SOTA且无需微调。
2024-08-22 cs.CL cs.CV
On the Flip Side: Identifying Counterexamples in Visual Question Answering
Harvard University（哈佛大学）
视觉问答（VQA）模型响应关于图像的开放式自然语言问题。虽然VQA是一个越来越受欢迎的研究领域，但目前还不清楚当前的VQA架构在多大程度上学习了视觉相似图像之间的关键语义差异。为了研究这个问题，我们探索了VQA任务的重新表述，该任务挑战模型以识别反例：导致原始问题不同答案的图像。我们介绍了两种方法来评估现有的VQA模型对监督反例预测任务，VQA-CX。虽然我们的模型超过了VQA-CX上现有的基准，但我们发现，现有的最先进的VQA模型所学习的多模态表示并没有对这项任务的性能做出有意义的贡献。这些结果对VQA基准测试的成功表现表明一般视觉语义推理能力的假设提出了质疑。
2018-07-24 cs.CV
Joint Image Captioning and Question Answering
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；cs.utexas.edu（德克萨斯大学奥斯汀分校计算机科学系（注：此处原文本中cs.utexas.edu为邮箱域名，按规则不应提取为机构，正确应为The University of Texas at Austin））
提出视觉问题需要获取日常常识，并对图像中不同部分之间的语义联系进行建模，这对于VQA系统来说太难了，只能从答案中学习。同时，使用束搜索策略的图像描述系统倾向于生成相似的字幕并且不能区分描述图像。为了解决上述问题，我们提出了一个系统，使这两个任务相互补偿，这是能够联合产生图像字幕和回答视觉问题。特别是，我们利用问题和图像的功能来生成问题相关的字幕，并使用生成的字幕作为额外的功能，提供新的知识的VQA系统。对于图像描述，我们的系统在VQA任务的相对改进以及使用自动化度量的竞争结果方面获得了更多信息的结果。将我们的系统应用于VQA任务，我们在VQA v2数据集上的结果使用生成的标题达到65.8%，在验证集中使用注释标题达到69.1%，在测试标准集中达到68.4%。此外，10个模型的集合导致69.7%的测试标准分裂。
2018-05-22 cs.CL cs.CV
Hierarchical Question-Image Co-Attention for Visual Question Answering
Virginia Tech（弗吉尼亚理工大学）；Georgia Institute of Technology（佐治亚理工学院）
许多最近的工作已经提出了视觉问答（VQA）的注意力模型，产生的空间地图突出图像区域相关的回答问题。在本文中，我们认为，除了建模“在哪里看”或视觉注意，它是同样重要的建模“什么话听”或问题的注意。我们提出了一种新的共同注意模型的VQA，共同的原因图像和问题的注意。此外，我们的模型通过新颖的一维卷积神经网络（CNN）以分层方式对问题（以及因此通过共同注意力机制对图像）进行推理。我们的模型将VQA数据集的最新技术水平从60.3%提高到60.5%，将COCO-QA数据集的最新技术水平从61.6%提高到63.3%。通过使用ResNet，VQA的性能进一步提高到62.1%，COCO-QA的性能进一步提高到65.4%。
2017-01-19 cs.CL cs.CV
Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
National Yang Ming Chiao Tung University（阳明大学）
本文针对VQA-NLE系统提出图像扰动与问题扰动两种对抗攻击以暴露解释不一致性，并引入外部知识缓解方法提升模型鲁棒性，在标准基准上验证了攻击有效性与防御潜力。
2025-08-17 cs.AI cs.CL cs.CV
Multimodal Integration of Human-Like Attention in Visual Question Answering
University of Stuttgart（斯图加特大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
MULAN通过整合文本和图像显著性模型的注意预测，提升了VQA模型的性能，同时减少参数数量，达到新的准确率水平。
2021-09-27 cs.CL cs.CV
Achieving Human Parity on Visual Question Answering
Alibaba Group（阿里巴巴集团）
视觉问答（VQA）任务利用视觉图像和语言分析来回答关于图像的文本问题。在过去的十年里，它一直是一个热门的研究课题，越来越多的实际应用。本文描述了我们最近对AliceMind-MMU（达摩院机器智能实验室的ALIbaba's Collection of Encoder-decoders from Machine IntelligenceLab of Damo Academy - MultiMedia Understanding）的研究，它在VQA上获得了与人类相似甚至略好的结果。这是通过系统地改进VQA管道来实现的，包括：（1）使用全面的视觉和文本特征表示进行预训练;（2）有效的跨模态交互与学习参与;以及（3）具有用于复杂VQA任务的专业专家模块的新型知识挖掘框架。用相应的专业知识来处理不同类型的视觉问题，在将我们的VQA架构的性能提升到人类水平方面起着重要的作用。一组广泛的实验和分析进行了证明新的研究工作的有效性。
2021-11-19 cs.CL cs.CV
Discovering the Unknown Knowns: Turning Implicit Knowledge in the Dataset into Explicit Training Examples for Visual Question Answering
The Ohio State University（俄亥俄州立大学）
视觉问答（VQA）具有挑战性，不仅因为模型必须处理多模态信息，还因为很难收集足够的训练样本-人们可以问太多关于图像的问题。因此，仅在人工注释的示例上训练的VQA模型很容易过度拟合特定的问题风格或被问到的图像内容，从而使模型在很大程度上忽略了问题的多样性。现有的方法主要通过引入辅助任务来解决这个问题，例如视觉接地，循环一致性或去偏置。在本文中，我们采取了一种完全不同的方法。我们发现，学习VQA模型的许多“未知数”在数据集中确实是隐式“已知”的。例如，询问不同图像中的相同对象的问题可能是释义;图像中检测到或注释的对象的数量已经提供了“多少”问题的答案，即使该问题尚未针对该图像进行注释。基于这些见解，我们提出了一个简单的数据增强管道SimpleAug，将这种“已知”的知识转化为VQA的训练样本。我们表明，这些增强的例子可以显着提高学习的VQA模型的性能，不仅在VQA-CP数据集与语言先验移位，而且在VQA v2数据集没有这样的移位。我们的方法进一步打开了一扇大门，以原则性的方式利用弱标记或未标记的图像来增强VQA模型。我们的代码和数据可在https://github.com/heendung/simpleAUG上公开获取。
2022-11-08 cs.CL cs.CV
The Color of the Cat is Gray: 1 Million Full-Sentences Visual Question Answering (FSVQA)
The University of Tokyo（东京大学）
视觉问答任务是人工智能中最重要的两个组成部分，它将语言和视觉的交互作用推向了一个新的阶段。然而，它主要集中在生成简短和重复的答案，主要是单个单词，这与人类丰富的语言能力不符。我们介绍了全句子视觉问答（FSVQA）数据集，包括近100万对图像的问题和全句子答案，通过将一些基于规则的自然语言处理技术应用于MS COCO数据集中的原始VQA数据集和标题。这给传统的VQA任务带来了许多额外的复杂性，我们为接近和评估任务提供了一个基线，在此基础上，我们邀请研究界进一步改进。
2016-09-21 cs.CL cs.CV
Co-VQA : Answering by Interactive Sub Question Sequence
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan-Dianping Group（美团点评集团）
现有的可视化问答（VQA）方法大多是直接回答问题，但人们通常将复杂问题分解为一系列简单的子问题，然后通过回答子问题序列（SQS）来获得原问题的答案。通过模拟这一过程，本文提出了一个基于会话的VQA（Co-VQA）框架，该框架由三个组件组成：提问者、Oracle和回答者。Questioner使用扩展的HRED模型提出子问题，Oracle逐一回答。提出了一种自适应链式视觉推理模型（ACVRM），该模型利用问答对来更新视觉表征。为了对每个模型进行监督学习，我们引入了一种精心设计的方法，在VQA 2.0和VQA-CP v2数据集上为每个问题构建SQS。实验结果表明，该方法在VQA-CP v2上达到了最佳效果。进一步的分析表明，SQS有助于在问题和图像之间建立直接的语义联系，提供问题自适应的变长推理链，并具有明确的可解释性和错误可追溯性。
2022-04-02 cs.CL
Answer Them All! Toward Universal Visual Question Answering Models
Rochester Institute of Technology（罗切斯特理工学院）；PAIGE；Cornell Tech（康奈尔科技学院 (Cornell Tech)）
视觉问答（VQA）研究分为两个阵营：第一个集中在需要自然图像理解的VQA数据集上，第二个集中在测试推理的合成数据集上。一个好的VQA算法应该能够做到这两点，但只有少数VQA算法以这种方式进行测试。我们比较了五个国家的最先进的VQA算法在八个VQA数据集涵盖这两个领域。为了使比较公平，所有模型都尽可能标准化，例如，它们使用相同的视觉特征、答案词汇表等。我们发现，方法不会在这两个域中泛化。为了解决这个问题，我们提出了一个新的VQA算法，竞争对手或超过国家的最先进的这两个领域。
2019-04-05 cs.CV
MaXM: Towards Multilingual Visual Question Answering
Google Research（谷歌研究院）
本文针对多语言视觉问答资源消耗大的问题，提出基于翻译的数据生成框架，构建了涵盖7种语言的MaXM基准，并开发了轻量有效的方法对现有VQA模型进行基准测试。
2023-10-24 cs.CL cs.CV
CS-VQA: Visual Question Answering with Compressively Sensed Images
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
视觉问答是一个复杂的语义任务，需要自然语言处理和视觉识别。在本文中，我们探讨VQA是否是可解的图像时，被捕获在一个子奈奎斯特压缩范例。我们开发了一系列深度网络架构，利用可用的压缩数据来提高准确度，并表明VQA确实在压缩域中是可解的。我们的研究结果表明，使用压缩测量时，VQA性能有标称退化，但当VQA管道与最先进的深神经网络用于CS重建时，可以恢复精度。提出的结果产生重要的影响资源受限的VQA应用程序。
2018-06-08 cs.AI cs.CV
Don't Just Assume; Look and Answer: Overcoming Priors for Visual Question Answering
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（脸书人工智能研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
许多研究发现，今天的视觉问答（VQA）模型在很大程度上是由训练数据中的表面相关性驱动的，并且缺乏足够的图像基础。为了鼓励面向后者的模型的发展，我们提出了一个新的设置VQA的每一个问题类型，训练和测试集有不同的先验分布的答案。具体来说，我们提出了VQA v1和VQA v2数据集的新分割，我们称之为改变先验条件下的可视化问答（分别为VQA-CP v1和VQA-CP v2）。首先，我们评估了几个现有的VQA模型在这个新的设置，并表明其性能显着下降相比，原来的VQA设置。其次，我们提出了一种新的接地视觉问答模型（GVQA），其中包含归纳偏见和限制的架构专门设计，以防止该模型的“作弊”，主要依靠先验的训练数据。具体来说，GVQA明确地将图像中存在的视觉概念的识别与给定问题的合理答案空间的识别分开，使模型能够更稳健地概括不同的答案分布。GVQA是建立在现有的VQA模型之上的--堆叠注意力网络（SAN）。我们的实验表明，GVQA在VQA-CP v1和VQA-CP v2数据集上的性能明显优于SAN。有趣的是，它在几种情况下也优于更强大的VQA模型，如多模态紧凑双线性池（MCB）。在原始VQA v1和VQA v2数据集上进行培训和评估后，GVQA提供了与SAN互补的优势。最后，GVQA比现有的VQA模型更加透明和可解释。
2018-06-03 cs.AI cs.CL cs.CV
Learning Sparse Mixture of Experts for Visual Question Answering
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
随着模型结构的改进，可视化问答的任务取得了快速的进展。不幸的是，这些模型通常是计算密集型的，由于其庞大的规模，这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答（VQA）的具体任务。卷积神经网络（CNN）是VQA模型的视觉处理管道的组成部分（假设CNN与整个VQA模型一起训练）。在这个项目中，我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明，一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
Self-Critical Reasoning for Robust Visual Question Answering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉问答（VQA）深度学习系统由于强语言先验而倾向于捕获训练数据中的表面统计相关性，并且无法推广到具有显著不同的问答（QA）分布的测试数据。为了解决这个问题，我们引入了一个自我批判的训练目标，确保正确答案的视觉解释比其他竞争性答案候选人更匹配最有影响力的图像区域。有影响力的区域要么是从人类视觉/文本解释中确定的，要么是从问题和答案中的重要单词中自动确定的。我们使用VQA-CP数据集评估我们在VQA泛化任务上的方法，实现了一个新的最先进的方法，即，49.5%使用文本解释，48.5%使用自动注释区域。
2019-12-30 cs.CL cs.CV
What's Different between Visual Question Answering for Machine "Understanding" Versus for Accessibility?
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
在视觉问答（VQA）中，机器必须回答给定的相关图像的问题。最近，可访问性研究人员探索了VQA是否可以部署在现实世界中，视觉障碍用户通过捕捉他们的视觉环境并提出问题来了解他们的环境。然而，大多数现有的VQA基准测试数据集都集中在机器“理解”上，目前还不清楚这些数据集的进展如何对应于这个真实用例的改进。我们的目标是通过评估各种VQA模型来评估机器“理解”数据集（VQA-v2）和可访问性数据集（VizWiz）之间的差异来回答这个问题。根据我们的研究结果，我们讨论了VQA的可访问性的机遇和挑战，并为未来的工作提出了建议。
2022-10-26 cs.AI cs.CL cs.CV
Knowledge-Based Visual Question Answering in Videos
Osaka University（大阪大学）；CyberAgent, Inc.（CyberAgent公司）
提出了一种新的视频理解任务，通过融合基于知识和视频问答。首先，我们介绍了KnowIT VQA，这是一个视频数据集，包含24，282个关于流行情景喜剧的人工问答对。该数据集结合了视觉，文本和时间的连贯性推理与基于知识的问题，这需要从观看系列获得的经验来回答。其次，我们提出了一个视频理解模型，结合视觉和文本的视频内容与特定的知识显示。我们的主要发现是：（i）知识的结合为视频中的VQA带来了显著的改进，以及（ii）KnowIT VQA的性能仍然远远落后于人类的准确性，这表明其对研究当前视频建模限制的有用性。
2020-04-17 cs.CL cs.CV
Cycle-Consistency for Robust Visual Question Answering
Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
尽管这些年来在视觉问答方面取得了显著的进步，但今天的VQA模型的鲁棒性还有很多需要改进的地方。我们介绍了一个新的评估协议和相关的数据集（VQA-Rephrasings），并表明，最先进的VQA模型是出了名的脆弱的语言变化的问题。VQA-Rephrasings包含3个人工提供的Rephrasings，涉及VQA v2.0验证数据集的40 k个图像的40 k个问题。作为提高VQA模型鲁棒性的一步，我们提出了一个利用周期一致性的模型不可知框架。具体来说，我们训练模型，使其不仅回答问题，而且还生成以答案为条件的问题，使得针对所生成的问题预测的答案与原始问题的基本事实答案相同。在不使用额外注释的情况下，我们表明，当在VQA-Rephrasings数据集上进行评估时，我们的方法对语言变化的鲁棒性比最先进的VQA模型要高得多。此外，在具有挑战性的VQA v2.0数据集上，我们的方法在标准VQA和可视化问题生成任务上的表现优于最先进的方法。
2019-02-15 cs.CV
MAGIC-VQA: Multimodal And Grounded Inference with Commonsense Knowledge for Visual Question Answering
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
针对大视觉语言模型缺乏整合常识知识、真实场景VQA鲁棒性不足的问题，提出三阶段MAGIC-VQA框架，融合显隐式常识知识与GNN结构化推理，无需大量预训练或复杂提示调优，在基准数据集上达SOTA，提升VQA常识推理能力。
2025-06-11 cs.CL
BOK-VQA: Bilingual outside Knowledge-Based Visual Question Answering via Graph Representation Pretraining
Hanbat National University（韩巴大学）；Kakao Brain；Seoul National University of Science and Technology（首尔科学技术大学）
本文提出双语外部知识VQA数据集BOK-VQA，并通过图嵌入预训练框架将知识信息注入VQA系统，验证了知识信息对视觉问答的实际提升效果。
2024-03-15 cs.CL
Overcoming Language Priors in Visual Question Answering via Distinguishing Superficially Similar Instances
Nankai University（南开大学）；Mashang Consumer Finance Co, Ltd（马上消费金融股份有限公司）
尽管视觉问答（VQA）取得了很大的进步，但当前的VQA模型严重依赖于问题类型及其对应的频繁答案之间的表面相关性（即，语言先验）进行预测，而无需真正理解输入。在这项工作中，我们定义的训练实例具有相同的问题类型，但不同的答案为\textit{superficially similar instances}，并归因于语言先验的VQA模型对这样的实例的混乱。为了解决这个问题，我们提出了一个新的训练框架，明确鼓励VQA模型区分表面上相似的实例。具体来说，对于每个训练实例，我们首先构建一个包含其表面相似的对应物的集合。然后，我们利用提出的区分模块，以增加之间的距离的实例和它的答案空间中的同行。通过这种方式，VQA模型被迫进一步关注输入中除问题类型之外的其他部分，这有助于克服语言先验。实验结果表明，该方法在VQA-CP v2上达到了最先进的性能。代码可从\href{https://github.com/wyk-nku/Distinguishing-VQA.git}{Distinguishing-VQA}获得。
2022-09-18 cs.CL cs.CV cs.MM
RadImageNet-VQA: A Large-Scale CT and MRI Dataset for Radiologic Visual Question Answering
Raidium；Université de Paris Cité, Hôpital Européen Georges Pompidou, AP-HP（巴黎西岱大学，乔治·蓬皮杜欧洲医院，AP-HP）；Department of Vascular and Oncological Interventional Radiology, INSERM（血管与肿瘤介入放射学系，法国国家健康与医学研究院）
本文提出RadImageNet-VQA数据集，包含750万张图像和750万个问题-答案对，涵盖异常检测、解剖识别和病理识别三大任务，验证了视觉语言模型在细粒度病理识别上的局限性。
2026-03-30 cs.AI cs.CL cs.CV
Co-attending Free-form Regions and Detections with Multi-modal Multiplicative Feature Embedding for Visual Question Answering
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；East China Normal University（华东师范大学）
近年来，视觉问答（VQA）任务在人工智能中受到越来越多的关注。现有的VQA方法主要采用视觉注意力机制将输入问题与相应的图像区域相关联，以实现有效的问答。主要研究了基于自由形状区域和基于检测的视觉注意力机制，前者关注自由形状图像区域，后者关注预先指定的检测框区域。我们认为，这两种注意力机制能够提供互补的信息，并应有效地整合，以更好地解决VQA问题。在本文中，我们提出了一种新的深度神经网络VQA，它集成了两种注意力机制。我们提出的框架有效地融合功能，从自由形式的图像区域，检测框，并通过多模态乘法特征嵌入方案的问题表示，共同出席问题相关的自由形式的图像区域和检测框更准确的问答。该方法在两个公开的数据集COCO-QA和VQA上进行了广泛的评估，并优于最先进的方法。源代码可在https://github.com/lupantech/dual-mfa-vqa上获得。
2017-12-12 cs.AI cs.CL cs.CV
VQA-GEN: A Visual Question Answering Benchmark for Domain Generalization
Arizona State University（亚利桑那州立大学）
针对现有VQA域泛化基准仅关注文本偏移的问题，提出首个多模态分布偏移基准VQA-GEN，揭示模型在联合视觉-文本偏移下的脆弱性并提升跨域与域内性能。
2023-11-01 cs.CV cs.LG
Polar-VQA: Visual Question Answering on Remote Sensed Ice sheet Imagery from Polar Region
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Lehigh University（利哈伊大学）
对于冰川学家来说，研究极地地区的冰盖至关重要。随着深度学习技术的进步，我们现在可以从冰盖数据中提取高级信息（例如，估计冰层厚度、预测未来几年的冰积累等）。然而，基于视觉的对话式深度学习方法尚未被探索，科学家可以通过询问有关图像的问题来获得信息。介绍了冰盖遥感图像可视化问答（VQA）的任务。为了研究，我们在这项研究中提出了一个独特的VQA数据集Polar-VQA。该数据集中的所有图像都是使用四种机载雷达收集的。本研究的主要目标是突出VQA在冰盖研究中的重要性，并对Polar-VQA数据集上现有的VQA方法进行基线研究。
2023-03-13 cs.AI cs.CV
Visual Question Generation as Dual Task of Visual Question Answering
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）；Massachusetts Institute of Technology（麻省理工学院）；University of Sydney（悉尼大学）
视觉问答和视觉问题生成是计算机视觉领域的两个研究热点。在这项工作中，我们提出了一个端到端的统一框架，可逆的问答网络（iQAN），利用图像中的问题和答案之间的互补关系，通过联合训练VQA和VQG任务的模型。提出了相应的参数共享方案和规则项作为约束，以显式地利用Q，A的依赖性来指导训练过程。经过训练后，iQAN可以将问题或答案作为输入，然后输出对应的内容。在大规模视觉问答数据集CLEVR和VQA 2上进行评估，我们的iQAN在基线上提高了VQA的准确性。我们还表明，iQAN的双重学习框架可以推广到其他VQA架构，并在VQA和VQG任务上持续改进结果。
2017-09-21 cs.CV
Tri-VQA: Triangular Reasoning Medical Visual Question Answering for Multi-Attribute Analysis
School of Computing；Artificial Intelligence Southwest Jiaotong University Chengdu, China；Artificial Intelligence Southwest Jiaotong University Chengdu, China z\ c\；Institute of Innovative Research Tokyo Institute of Technology Yokohama, Japan
针对现有医学视觉问答方法结果可信度不足的问题，提出基于因果效应的Tri-VQA三角推理框架，通过构建反向因果问题优化推理过程，在多中心内镜超声等医学VQA数据集上表现优于现有方法。
2024-06-21 cs.AI cs.CL cs.CV
Visual Robustness Benchmark for Visual Question Answering (VQA)
Islamic University of Technology（伊斯兰科技大学）
针对VQA模型视觉鲁棒性研究不足的问题，提出首个含21.3万张增强图像的大规模视觉鲁棒性基准及可聚合的评估指标，实验揭示了模型规模、性能与鲁棒性的关联，指明模型开发需平衡性能与鲁棒性。
2024-10-29 cs.CV
Learning from Lexical Perturbations for Consistent Visual Question Answering
UIUC（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Boston University（波士顿大学）
现有的视觉问答（VQA）模型往往是脆弱的和敏感的输入变化。在本文中，我们提出了一种基于模块化网络的新方法来解决这个问题，该方法创建了两个由语言扰动相关的问题，并将它们之间的视觉推理过程规则化，使其在训练过程中保持一致。我们表明，我们的框架显着提高了一致性和泛化能力，证明了受控语言扰动作为VQA模型的有用且目前未充分利用的训练和正则化工具的价值。我们还提出了VQA扰动配对（VQA P2），一个新的，低成本的基准和增强管道，以创建可控的语言变化的VQA问题。我们的基准独特地从大规模的语言资源中提取，与生成方法相比，避免了人工注释工作，同时保持了数据质量。我们使用VQA P2对现有的VQA模型进行基准测试，并对每种类型的语言变化进行鲁棒性分析。
2020-12-23 cs.CV
