Visual Question Generation as Dual Task of Visual Question Answering
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）；Massachusetts Institute of Technology（麻省理工学院）；University of Sydney（悉尼大学）
视觉问答和视觉问题生成是计算机视觉领域的两个研究热点。在这项工作中，我们提出了一个端到端的统一框架，可逆的问答网络（iQAN），利用图像中的问题和答案之间的互补关系，通过联合训练VQA和VQG任务的模型。提出了相应的参数共享方案和规则项作为约束，以显式地利用Q，A的依赖性来指导训练过程。经过训练后，iQAN可以将问题或答案作为输入，然后输出对应的内容。在大规模视觉问答数据集CLEVR和VQA 2上进行评估，我们的iQAN在基线上提高了VQA的准确性。我们还表明，iQAN的双重学习框架可以推广到其他VQA架构，并在VQA和VQG任务上持续改进结果。
2017-09-21 cs.CV
Visual Robustness Benchmark for Visual Question Answering (VQA)
Islamic University of Technology（伊斯兰科技大学）
针对VQA模型视觉鲁棒性研究不足的问题，提出首个含21.3万张增强图像的大规模视觉鲁棒性基准及可聚合的评估指标，实验揭示了模型规模、性能与鲁棒性的关联，指明模型开发需平衡性能与鲁棒性。
2024-10-29 cs.CV
Learning from Lexical Perturbations for Consistent Visual Question Answering
UIUC（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Boston University（波士顿大学）
现有的视觉问答（VQA）模型往往是脆弱的和敏感的输入变化。在本文中，我们提出了一种基于模块化网络的新方法来解决这个问题，该方法创建了两个由语言扰动相关的问题，并将它们之间的视觉推理过程规则化，使其在训练过程中保持一致。我们表明，我们的框架显着提高了一致性和泛化能力，证明了受控语言扰动作为VQA模型的有用且目前未充分利用的训练和正则化工具的价值。我们还提出了VQA扰动配对（VQA P2），一个新的，低成本的基准和增强管道，以创建可控的语言变化的VQA问题。我们的基准独特地从大规模的语言资源中提取，与生成方法相比，避免了人工注释工作，同时保持了数据质量。我们使用VQA P2对现有的VQA模型进行基准测试，并对每种类型的语言变化进行鲁棒性分析。
2020-12-23 cs.CV
Inverse Visual Question Answering: A New Benchmark and VQA Diagnosis Tool
Southeast University（东南大学）；Queen Mary University of London（伦敦玛丽女王大学）；University of Edinburgh（爱丁堡大学）
近年来，视觉问答（VQA）已成为热门话题。VQA作为AI基准的重要性的前提是，图像和文本问题都需要很好地理解并相互联系，以便推断出正确的答案。然而，目前的VQA模型可能“理解”比最初希望的要少，而是掌握了更容易的任务，即利用问题中给出的线索和答案分布中的偏见。在本文中，我们提出了VQA（iVQA）的逆问题。iVQA任务是生成与给定图像和答案对相对应的问题。我们提出了一个变分的iVQA模型，可以生成不同的，语法正确的和内容相关的问题，匹配给定的答案。基于这个模型，我们表明，iVQA是一个有趣的基准视觉语言理解，和一个更具挑战性的替代VQA，因为iVQA模型需要更好地理解图像是成功的。作为第二个贡献，我们展示了如何在一个新的强化学习框架中使用iVQA，通过暴露其信念集来诊断任何现有的VQA模型：VQA模型对给定图像预测为真的问答对集。这提供了一个全新的窗口，让我们了解VQA模型对图像的“信念”。我们发现，现有的VQA模型有更多的错误信念比以前认为，揭示其内在的弱点。然后就如何解决这些弱点提出了建议。
2018-03-16 cs.CV
Learning content and context with language bias for Visual Question Answering
Hunan University（湖南大学）；Microsoft Research Asia（微软亚洲研究院）
视觉问答（VQA）是一个具有挑战性的多模态任务，回答有关图像的问题。许多研究集中在如何减少语言偏见，这使得模型回答问题时忽略了视觉内容和语言上下文。然而，减少语言偏见也削弱了VQA模型事先学习上下文的能力。为了解决这个问题，我们提出了一种新的学习策略，名为CCB，它迫使VQA模型回答问题依赖于内容和上下文与语言偏见。具体而言，CCB在VQA基础模型之上建立内容和上下文分支，并迫使它们分别关注本地关键内容和全球有效上下文。此外，联合损失函数，提出了减少有偏样本的重要性，并保留其有益的影响回答问题。实验表明，CCB优于国家的最先进的方法在VQA-CP v2的准确性方面。
2020-12-21 cs.CV
TGIF-QA: Toward Spatio-Temporal Reasoning in Visual Question Answering
Seoul National University（首尔大学）；Yahoo Research（雅虎研究院）
视觉和语言理解已经成为人工智能中正在进行深入研究的主题。在这一研究领域的许多任务中，视觉问答（VQA）是最成功的任务之一，其目标是学习一个模型，该模型能够理解区域级细节的视觉内容，并找到它们与自然语言形式的成对问题和答案的关联。尽管在过去的几年中取得了快速的进展，但VQA中的大多数现有工作主要集中在图像上。在本文中，我们专注于将VQA扩展到视频域，并在三个重要方面为文献做出贡献。首先，我们提出了三个专门为视频VQA设计的新任务，这些任务需要从视频中进行时空推理来正确回答问题。接下来，我们将介绍一个名为TGIF-QA的新的大规模视频VQA数据集，它通过我们的新任务扩展了现有的VQA工作。最后，我们提出了一个基于双LSTM的方法，同时具有空间和时间注意力，并通过实证评估显示其有效性超过传统的VQA技术。
2017-12-03 cs.CV
Inter-3D VQA: A Roadside Multimodal Benchmark for 3D Spatiotemporally Grounded Visual Question Answering
The Polytechnic School, Arizona State University（亚利桑那州立大学理工学院）
本文提出用于交叉口3D时空视觉问答的路侧多模态基准Inter-3D VQA，构建含40.7万问答对的数据集，提出基线模型Inter-Geo与评估框架Inter-Metrics，实验显示Inter-Geo在接地时空推理任务上优于基于图像的VLM。
2026-09-01 cs.CV
Visual Question Answering as Reading Comprehension
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）
视觉问答（VQA）要求同时理解图像视觉内容和自然语言问题。在某些情况下，推理需要借助通常以文本形式出现的常识或一般知识。目前的方法将视觉信息和文本特征联合嵌入到同一空间中。然而，如何模拟这两种不同模式之间的复杂相互作用并不是一件容易的事情。与多模态特征融合的研究不同，本文提出用自然语言统一所有的输入信息，将VQA问题转化为机器阅读理解问题。通过这种转换，我们的方法不仅可以处理专注于基于观察的问题的VQA数据集，而且还可以自然地扩展到处理需要探索大规模外部知识库的基于知识的VQA。这是朝着能够利用大量文本和自然语言处理技术来解决VQA问题迈出的一步。提出了两类模型，分别处理开放式和多项选择式VQA问题。我们在三个VQA基准上评估我们的模型。与最先进的性能相当的性能证明了所提出的方法的有效性。
2018-11-29 cs.CV
Exploring Human-like Attention Supervision in Visual Question Answering
Zhejiang University（浙江大学）
注意力机制在视觉问答（VQA）任务中得到了广泛的应用，因为它们有助于关注视觉和文本信息的感兴趣区域。为了正确回答这些问题，模型需要选择性地针对图像的不同区域，这表明基于注意力的模型可能会受益于明确的注意力监督。在这项工作中，我们的目标是解决问题的注意力监督VQA模型。由于缺乏人类注意力数据，我们首先提出了一个人类注意力网络（HAN）来生成类似人类的注意力地图，并在最近发布的人类注意力数据集（VQA-HAT）上进行训练。然后，我们在VQA v2.0数据集上应用预训练的HAN，为所有图像-问题对自动生成类似人类的注意力图。为VQA v2.0数据集生成的类人注意力地图数据集被命名为类人注意力（HLAT）数据集。最后，我们将类似人类的注意力监督应用于基于注意力的VQA模型。实验结果表明，加入类人监督可以获得更准确的注意力和更好的性能，显示了类人注意力监督在VQA中的广阔前景。
2017-09-19 cs.CV
Visual Question Answering in the Medical Domain
University of New South Wales（新南威尔士大学）
本文针对医学视觉问答中小数据集问题，提出领域特定预训练策略和新颖对比学习预训练方法，在VQA-Med 2019测试集上取得60%准确率，达到与最先进模型相当的性能。
2023-09-20 cs.CV
Multiple Meta-model Quantifying for Medical Visual Question Answering
AIOZ（AIOZ公司）；University of Liverpool（利物浦大学）
迁移学习是医学视觉问答（VQA）任务中提取有意义特征和克服数据限制的重要步骤。然而，大多数现有的医学VQA方法依赖于外部数据进行迁移学习，而数据集中的元数据没有得到充分利用。在本文中，我们提出了一种新的多元模型量化方法，有效地学习元注释，并利用有意义的功能，医疗VQA任务。我们提出的方法旨在通过自动注释增加元数据，处理嘈杂的标签，并输出元模型，为医疗VQA任务提供强大的功能。在两个公共医学VQA数据集上的实验结果表明，该方法与其他方法相比具有更高的准确性，同时不需要外部数据来训练元模型.
2021-06-26 cs.CV
Logical Implications for Visual Question Answering Consistency
University of Bern（伯尔尼大学）
尽管视觉问答（VQA）模型最近取得了相当大的进展，但不一致或矛盾的答案继续对其真正的推理能力产生怀疑。然而，大多数提出的方法使用间接策略或强假设对问题和答案，以加强模型的一致性。相反，我们提出了一种新的策略，旨在通过直接减少逻辑不一致来提高模型性能。为此，我们引入了一个新的一致性损失术语，该术语可以被广泛的VQA模型使用，并且依赖于知道问题和答案对之间的逻辑关系。虽然这样的信息通常是不可用的VQA数据集，我们建议推断这些逻辑关系，使用一个专用的语言模型，并使用这些在我们提出的一致性损失函数。我们在VQA Introspect和DME数据集上进行了广泛的实验，并表明我们的方法为最先进的VQA模型带来了改进，同时在不同的架构和设置中具有鲁棒性。
2023-03-16 cs.CV
Multiple interaction learning with question-type prior knowledge for constraining answer search space in visual question answering
AIOZ；University of Liverpool（利物浦大学）
视觉问答（VQA）已经提出了不同的方法。然而，很少有作品意识到的行为，不同的联合模态方法的问题类型先验知识提取的数据在约束的答案搜索空间，其中的信息给出了一个可靠的线索，原因在输入图像中提出的问题的答案。在本文中，我们提出了一种新的VQA模型，利用问题类型的先验信息，以提高VQA利用不同的联合模态方法之间的多个相互作用的基础上，他们的行为回答来自不同类型的问题。在两个基准数据集上的实验，即，VQA 2.0和TDIUC，表明所提出的方法产生最好的性能与最有竞争力的方法。
2020-09-23 cs.CV
Learning Rich Image Region Representation for Visual Question Answering
Microsoft Research Asia（微软亚洲研究院）
我们建议通过利用更强大的特征提取器来提高VQA，方法是提高视觉和文本特征的表示能力以及模型的集成。对于视觉特征，本文采用了一些检测技术来改进检测器。对于文本特征，我们采用BERT作为语言模型，并发现它可以显着提高VQA性能。我们的解决方案在2019年VQA挑战赛中获得第二名。
2019-10-29 cs.CV
Enhanced Textual Feature Extraction for Visual Question Answering: A Simple Convolutional Approach
该研究针对视觉问答中文本编码器有效性研究不足的问题，对比不同复杂度文本编码器后提出轻量模型ConvGRU，通过卷积层增强文本特征，在VQA-v2数据集的计数类问题上取得稳定提升，为资源受限场景提供了可行方案。
2025-05-21 cs.CV
Reliable Visual Question Answering: Abstain Rather Than Answer Incorrectly
Meta AI；UC Berkeley（加州大学伯克利分校）
机器学习已经取得了巨大的进步，缩小了在视觉问答（VQA）等多模态任务中与人类的准确性差距。然而，虽然人类可以在不确定的时候说“我不知道”（即，避免回答问题），这种能力在多模态研究中被很大程度上忽视了，尽管这个问题对VQA在实际环境中的使用很重要。在这项工作中，我们促进了可靠的VQA的问题制定，我们更喜欢避免提供一个不正确的答案。我们首先为几个VQA模型启用了自动化功能，并分析了它们的覆盖率（回答问题的部分）和风险（该部分的错误）。为此，我们探索了几种预防方法。我们发现，尽管表现最好的模型在VQA v2数据集上达到了70%以上的准确率，但通过直接使用模型的softmax分数来引入弃权选项，限制了它们回答不到7.5%的问题，以实现低错误风险（即，1%）。这促使我们利用多模态选择函数来直接估计预测答案的正确性，我们表明这可以将覆盖率提高2.3倍，例如在1%的风险下从6.8%提高到15.6%。虽然分析覆盖率和风险很重要，但这些指标有一个权衡，这使得比较VQA模型具有挑战性。为了解决这个问题，我们还提出了一个有效的可靠性度量VQA，把一个更大的成本不正确的答案相比，弃权。这种新的问题公式化，度量和VQA分析为构建有效和可靠的VQA模型提供了基础，这些模型具有自我意识，当且仅当他们不知道答案时才弃权。
2022-10-20 cs.CV
Knowing Where to Look? Analysis on Attention of Visual Question Answering System
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）
注意力机制由于其能够建模深度跨域交互的能力而被广泛用于视觉问答（VQA）解决方案中。分析注意力地图为我们提供了一个视角，以找出当前VQA系统的局限性，并有机会进一步改进它们。在本文中，我们选择了两个国家的最先进的VQA方法与注意力机制，研究他们的鲁棒性和缺点，通过可视化和分析他们的估计注意力地图。我们发现，这两种方法都是敏感的功能，同时，他们执行计数和多对象相关的问题。我们相信，研究结果和分析方法将有助于研究人员确定在改进自己的VQA系统的道路上面临的关键挑战。
2018-10-09 cs.CV
Overcoming Language Priors in Visual Question Answering with Adversarial Regularization
Georgia Institute of Technology（佐治亚理工学院）
现代视觉问答（VQA）模型已经被证明严重依赖于在训练过程中学习的问题和答案之间的表面相关性，例如压倒性地报告房间类型为厨房或正在进行的运动为网球，而不管图像如何。最令人担忧的是，这一缺点在评估过程中往往没有得到很好的反映，因为测试分布中存在相同的强先验;然而，未能将图像内容中的问题作为基础的VQA系统可能在现实世界中表现不佳。在这项工作中，我们提出了一种新的正则化方案VQA，减少这种影响。我们引入了一个只问问题的模型，该模型将VQA模型中的问题编码作为输入，并且必须利用语言偏见才能成功。然后，我们将训练视为VQA模型和这个只问问题的对手之间的对抗游戏-阻止VQA模型在其问题编码中捕获语言偏见。此外，我们利用这个仅限问题的模型来估计考虑图像后模型置信度的增加，我们明确地最大化以鼓励视觉基础。我们的方法是一个与模型无关的训练过程，并且易于实现。我们的经验表明，它可以显着提高VQA数据集的偏置敏感分裂多个基础模型的性能-实现最先进的这项任务。此外，在标准VQA任务中，与现有的偏差减少VQA模型相比，我们的方法显示出更少的准确性下降。
2018-11-08 cs.CV
Structured Triplet Learning with POS-tag Guided Attention for Visual Question Answering
UC Irvine（加州大学欧文分校）；Microsoft（微软）；ETH Zurich（苏黎世联邦理工学院）；SIAT, CAS（中国科学院深圳先进技术研究院）
视觉问答（VQA）是一个重要的兴趣，因为它的潜力是一个强大的测试图像理解系统，并探讨语言和视觉之间的联系。尽管最近取得了许多进展，但一般VQA远未解决问题。在本文中，我们专注于VQA多项选择任务，并提供了一些很好的做法，设计一个有效的VQA模型，可以捕捉语言视觉交互和执行联合推理。我们探索了将词性（POS）标签引导的注意力，卷积n-gram，图像，问题和候选答案之间的三重注意力交互，以及基于图像-问题对的三重注意力结构化学习的机制。我们在两个流行的数据集上评估我们的模型：Visual 7 W和VQA Real Multiple Choice。我们的最终模型在Visual 7 W上达到了68.2%的最先进性能，在VQA Real Multiple Choice的测试标准分割上达到了69.6%的非常有竞争力的性能。
2018-01-24 cs.CV
VinDr-CXR-VQA: A Visual Question Answering Dataset for Explainable Chest X-Ray Analysis with Multi-Task Learning
College of Engineering and Computer Science（工程与计算机科学学院）；VinUniversity（Vin大学）；VinUni-Illinois Smart Health Center（VinUni-伊利诺伊智能健康中心）；Vietnam National Cancer Hospital（越南国家癌症医院）；The Computer Vision and Medical AI Lab（计算机视觉与医学人工智能实验室）
本文提出VinDr-CXR-VQA数据集，包含17,597个带空间定位和临床推理标注的胸部X光问答对，并通过平衡正负样本和MedGemma-4B-it基准测试，推动可解释医学视觉问答研究。
2025-11-09 cs.CV
VQA4CIR: Boosting Composed Image Retrieval with Visual Question Answering
IHPC, A*STAR（新加坡科技研究局高性能计算研究院）；CUHK（香港中文大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；ANU（澳大利亚国立大学）；HIT（哈尔滨工业大学）
针对组合图像检索中部分结果与相对描述不一致的问题，提出基于VQA的后处理方法VQA4CIR，通过问答生成与自验证调整排序，在两个基准数据集上超越现有最优方法。
2023-12-19 cs.CV
Localized Questions in Medical Visual Question Answering
University of Bern（伯尔尼大学）
本文提出一种新的医学VQA方法，通过开发结合上下文回答图像局部区域问题的模型，提升了模型的可解释性与区域探究能力，并在三个数据集上优于现有方法。
2023-07-03 cs.CV
On the Cognition of Visual Question Answering Models and Human Intelligence: A Comparative Study
New York University（纽约大学）
本文通过调查记录人类思维过程，并比较VQA模型与人类的输出和注意力图，揭示模型虽在架构和识别层面接近人类，却仍缺乏认知推理能力。
2023-10-04 cs.CV
CS-VQA: Visual Question Answering with Compressively Sensed Images
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
视觉问答是一个复杂的语义任务，需要自然语言处理和视觉识别。在本文中，我们探讨VQA是否是可解的图像时，被捕获在一个子奈奎斯特压缩范例。我们开发了一系列深度网络架构，利用可用的压缩数据来提高准确度，并表明VQA确实在压缩域中是可解的。我们的研究结果表明，使用压缩测量时，VQA性能有标称退化，但当VQA管道与最先进的深神经网络用于CS重建时，可以恢复精度。提出的结果产生重要的影响资源受限的VQA应用程序。
2018-06-08 cs.AI cs.CV
PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文构建含227k问答对的大规模医学VQA数据集PMC-VQA，并提出视觉编码器与大语言模型对齐的生成式模型MedVInT，在多个基准上显著优于现有方法。
2024-09-08 cs.CV
RoboSurg-VQA: A Multimodal Benchmark for Surgical Segmentation-Aware Visual Question Answering
Swansea University, UK（威尔士大学）；Maynooth University, Ireland（迈诺特大学）；Aston University, UK（阿斯顿大学）
提出RoboSurg-VQA基准，通过重新利用公共手术分割数据集，构建分割感知的视觉问答任务，以评估在机器人辅助和微创手术中恶劣视觉条件下的语言化临床问题理解能力。
2026-05-21 cs.CV
CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering
School of Artificial Intelligence, UCAS（中国科学技术大学人工智能学院）；MAIS, Institute of Automation（自动化研究所MAIS）；Alibaba Cloud Computing（阿里云计算）
CC-VQA提出了一种无训练、考虑冲突和相关性的方法，通过视觉中心的上下文冲突推理和相关性引导的编码解码，提升基于知识的视觉问答的准确率。
2026-02-27 cs.CV
VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models
The Pennsylvania State University（宾夕法尼亚州立大学）；Dalian University of Technology（大连理工大学）；Stony Brook University（石溪大学）
本文提出VQAttack模型，利用预训练多模态源模型迭代生成图像和文本对抗扰动，通过LLM增强图像攻击与跨模态联合攻击模块，实现对目标VQA模型的高效可迁移攻击，揭示了预训练与微调范式的鲁棒性盲点。
2024-02-16 cs.CV
The Quest for Visual Understanding: A Journey Through the Evolution of Visual Question Answering
IIT Patna（印度理工学院巴特那分校）；IIT Jodhpur（印度理工学院焦特布尔分校）
本文是一篇VQA领域综述，梳理了该领域自2015年诞生以来的发展历程、关键技术突破与应用场景，分析了当前挑战并展望了未来发展方向。
2025-01-13 cs.CV
Revisiting Visual Question Answering Baselines
Facebook AI Research（Facebook人工智能研究院）
视觉问答（VQA）是一种有趣的学习环境，用于评估当前图像理解系统的能力和缺点。许多最近提出的VQA系统包括旨在支持“推理”的注意力或记忆机制。对于多选择VQA，几乎所有这些系统训练图像和问题特征的多类分类器来预测答案。本文质疑这些常见做法的价值，并开发了一个简单的替代模型的基础上二进制分类。我们的模型不是将答案视为竞争选择，而是将答案作为输入，并预测图像-问题-答案三元组是否正确。我们在Visual 7 W Telling和VQA Real Multiple Choice任务上评估了我们的模型，发现即使是我们模型的简单版本也具有竞争力。我们最好的模型在Visual 7 W Telling任务上实现了最先进的性能，并且与为VQA Real Multiple Choice任务提出的最复杂的系统相比令人惊讶。我们探索模型的变体，并研究其在两个数据集之间的可转移性。我们还提出了一个错误分析，我们的模型表明，目前的VQA系统的一个关键问题在于缺乏视觉接地的概念，发生在问题和答案。总的来说，我们的研究结果表明，目前的VQA系统的性能并没有显着优于设计用于利用数据集偏差的系统。
2016-11-22 cs.CV
Leveraging Visual Question Answering to Improve Text-to-Image Synthesis
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
从文本描述生成图像最近吸引了很多兴趣。虽然目前的模型可以生成单个物体（如鸟类和人脸）的照片级逼真图像，但合成多个物体的图像仍然非常困难。在本文中，我们提出了一种有效的方法，结合文本到图像（T2 I）合成与视觉问答（VQA），以提高图像质量和图文对齐生成的图像，利用VQA 2.0数据集。我们通过连接问题和答案（QA）对来创建额外的训练样本，并采用标准VQA模型为T2 I模型提供辅助学习信号。我们鼓励从QA对生成的图像看起来逼真，并最大限度地减少外部VQA损失。与基线相比，我们的方法将FID从27.84降低到25.38，并将R-prec从83.82%增加到84.79%，这表明使用标准VQA模型可以成功地改进T2 I合成。
2020-10-28 cs.CV
SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering
Northwestern University（西北大学）；Microsoft Research（微软研究院）
可视化问答（Visual Question Questioning，VQA）是一个备受业界和学术界关注的问题。作为一个多模态任务，它是具有挑战性的，因为它不仅需要视觉和文本的理解，但也有能力调整跨模态表示。以前的方法广泛采用实体级的对齐，如视觉区域和它们的语义标签之间的相关性，或跨问题词和对象特征的相互作用。这些尝试旨在改善跨通道表征，而忽略了它们之间的内在联系。相反，我们建议应用结构化对齐，它与视觉和文本内容的图形表示一起工作，旨在捕捉视觉和文本模态之间的深层联系。然而，它是不平凡的表示和整合结构化的比对图。在这项工作中，我们试图解决这个问题，首先将不同的模态实体转换成连续的节点和邻接图，然后将它们结构化对齐。正如我们的实验结果所示，这样的结构化对齐提高了推理性能。此外，我们的模型还表现出更好的可解释性为每个生成的答案。该模型在没有任何预训练的情况下，在GQA数据集上的性能优于最先进的方法，并在VQA-v2数据集上击败了非预训练的最先进的方法。
2022-01-25 cs.CV
Overcoming Data Limitation in Medical Visual Question Answering
AIOZ Pte Ltd（AIOZ私人有限公司）；University of Liverpool（利物浦大学）
传统的视觉问答（VQA）方法需要大量的标注数据进行训练。不幸的是，这种大规模的数据通常是不可用的医学领域。在本文中，我们提出了一种新的医疗VQA框架，克服了标记数据的限制。该框架探讨了无监督去噪自动编码器（DAE）和有监督元学习的使用。DAE的优点是利用大量未标记的图像，而元学习的优点是学习元权重，快速适应有限标记数据的VQA问题。通过利用这些技术的优点，它允许使用小的标记训练集来有效地训练所提出的框架。实验结果表明，我们提出的方法显着优于国家的最先进的医疗VQA。
2019-09-26 cs.CV
VQA-GEN: A Visual Question Answering Benchmark for Domain Generalization
Arizona State University（亚利桑那州立大学）
针对现有VQA域泛化基准仅关注文本偏移的问题，提出首个多模态分布偏移基准VQA-GEN，揭示模型在联合视觉-文本偏移下的脆弱性并提升跨域与域内性能。
2023-11-01 cs.CV cs.LG
Alignment, Mining and Fusion: Representation Alignment with Hard Negative Mining and Selective Knowledge Fusion for Medical Visual Question Answering
University of Michigan（密歇根大学）；Stony Brook University（石溪大学）
提出统一对齐、困难负样本挖掘与门控交叉注意力融合的医学视觉问答框架，在多个基准数据集上超越现有最优方法。
2025-10-09 cs.CV
Polar-VQA: Visual Question Answering on Remote Sensed Ice sheet Imagery from Polar Region
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Lehigh University（利哈伊大学）
对于冰川学家来说，研究极地地区的冰盖至关重要。随着深度学习技术的进步，我们现在可以从冰盖数据中提取高级信息（例如，估计冰层厚度、预测未来几年的冰积累等）。然而，基于视觉的对话式深度学习方法尚未被探索，科学家可以通过询问有关图像的问题来获得信息。介绍了冰盖遥感图像可视化问答（VQA）的任务。为了研究，我们在这项研究中提出了一个独特的VQA数据集Polar-VQA。该数据集中的所有图像都是使用四种机载雷达收集的。本研究的主要目标是突出VQA在冰盖研究中的重要性，并对Polar-VQA数据集上现有的VQA方法进行基线研究。
2023-03-13 cs.AI cs.CV
Leveraging Visual Question Answering for Image-Caption Ranking
Virginia Tech（弗吉尼亚理工大学）
视觉问答（VQA）的任务是将图像和关于图像的自由形式的自然语言问题作为输入，并产生准确的答案。在这项工作中，我们认为VQA作为一个"特征提取"模块来提取图像和字幕表示。我们采用这些表示的图像标题排名的任务。每个特征维度捕捉（想象）一个事实（问题-答案对）对于图像和标题是否可能是真实的。这允许模型从各种各样的角度解释图像和标题。我们提出了分数级和代表级融合模型，将VQA知识在现有的国家的最先进的VQA不可知的图像字幕排名模型。我们发现，结合和推理图像和字幕之间的一致性显着提高性能。具体来说，我们的模型在MSCOCO数据集上的标题检索和图像检索方面分别提高了7.1%和4.4%。
2016-08-31 cs.CV
Towards Explainable 3D Grounded Visual Question Answering: A New Benchmark and Strong Baseline
Beihang University（北京航空航天大学）；University of Sydney（悉尼大学）
最近，3D视觉和语言任务引起了越来越多的研究兴趣。与其他视觉和语言任务相比，3D视觉问答（VQA）任务较少被利用，并且更容易受到语言先验和共指歧义的影响。同时，最近提出的几个三维VQA数据集不支持三维VQA任务，由于其有限的规模和注释方法。在这项工作中，我们正式定义和解决一个3D接地VQA任务，通过收集一个新的3D VQA数据集，简称为FE-3DGQA，与不同的和相对自由的形式的问答对，以及密集和完全接地限界框注释。为了实现更可解释的答案，我们标记的对象出现在复杂的问答对不同的语义类型，包括答案接地对象（出现和未出现在问题中），和上下文对象的答案接地对象。我们还提出了一个新的3D VQA框架，以有效地预测完全视觉接地和可解释的答案。大量的实验验证了我们新收集的基准数据集可以有效地用于从不同方面评估各种3D VQA方法，我们新提出的框架也在新的基准数据集上实现了最先进的性能。新收集的数据集和我们的代码都将在http://github.com/zlccccc/3DGQA上公开。
2022-09-24 cs.CV
Continual VQA for Disaster Response Systems
Pune Institute of Computer Technology（浦那计算机技术学院）；Manipal Institute of Technology（马尼帕尔理工学院）
视觉问答（VQA）是一种多模态任务，它涉及从输入图像中回答问题，从语义上理解图像的内容，并用自然语言回答。使用VQA进行灾难管理是一个重要的研究路线，由于VQA系统所回答的问题的范围。然而，主要的挑战是受影响地区评估中标签的生成造成的延误。为了解决这个问题，我们部署了预训练的CLIP模型，该模型是在视觉图像对上训练的。然而，我们凭经验看到该模型具有较差的zero-shot性能。因此，我们使用来自该模型的文本和图像的预训练嵌入进行监督训练，并超越了FloodNet数据集上以前的最先进结果。我们将其扩展到一个持续的设置，这是一个更真实的场景。我们使用各种经验回放方法来解决灾难性遗忘的问题。我们的培训运行可在：https://wandb.ai/compyle/continual_vqa_final.我们的代码可在https://github.com/AdityaKane2001/continual_vqa上获得。
2022-11-10 cs.CV
MGA-VQA: Multi-Granularity Alignment for Visual Question Answering
Northwestern University（西北大学）；Samsung Research America（三星美国研究院）
学习回答视觉问题是一项具有挑战性的任务，因为多模态输入在两个特征空间内。此外，视觉问答中的推理要求模型理解图像和问题，并将它们排列在同一空间中，而不是简单地记住关于问答对的统计数据。因此，必须找到不同模态之间以及每种模态内部的成分联系，以实现更好的注意力。以前的作品直接在特征上学习注意力权重。然而，由于这两个模态特征在两个域中，因此改进是有限的：图像特征高度多样，缺乏语言的结构和语法规则，并且自然语言特征具有较高的概率丢失详细信息。为了更好地学习视觉和文本之间的注意力，我们专注于如何构建输入分层和嵌入结构信息，以提高不同级别组件之间的对齐。本文提出了多粒度对齐的视觉问答任务（MGA-VQA）结构，通过多粒度对齐学习模态内和模态间的相关性，并通过决策融合模块输出最终结果。与以前的工作相比，我们的模型将对齐分为不同的级别，以实现更好的相关性，而无需额外的数据和注释。在VQA-v2和GQA数据集上的实验表明，我们的模型在这两个数据集上的性能明显优于非预训练的最先进方法，而无需额外的预训练数据和注释。此外，它甚至比GQA上的预训练方法取得了更好的结果。
2022-01-25 cs.CV
KnowIT VQA: Answering Knowledge-Based Questions about Videos
Osaka University（大阪大学）；CyberAgent, Inc.（CyberAgent公司）
提出了一种新的视频理解任务，通过融合基于知识和视频问答。首先，我们介绍了KnowIT VQA，这是一个视频数据集，包含24，282个关于流行情景喜剧的人工问答对。该数据集结合了视觉，文本和时间的连贯性推理与基于知识的问题，这需要从观看系列获得的经验来回答。其次，我们提出了一个视频理解模型，结合视觉和文本的视频内容与特定的知识显示。我们的主要发现是：（i）知识的结合为视频中的VQA带来了显著的改进，以及（ii）KnowIT VQA的性能仍然远远落后于人类的准确性，这表明其对研究当前视频建模限制的有用性。
2019-12-24 cs.CL cs.CV
MUST-VQA: MUltilingual Scene-text VQA
University of Florence（佛罗伦萨大学）；Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）
在本文中，我们提出了一个框架，多语言场景文本视觉问答，处理新的语言在一个zero-shot的时尚。具体来说，我们认为场景文本视觉问答（STVQA）的任务，其中的问题可以问在不同的语言，它不一定是对齐的场景文本语言。因此，我们首先介绍一个自然的步骤，更广义的版本STVQA：MUST-VQA。考虑到这一点，我们讨论了两个评估方案的约束设置，即IID和zero-shot，我们证明了该模型可以执行在一个标准杆上的zero-shot设置。我们进一步提供了广泛的实验，并显示适应多语言语言模型到STVQA任务的有效性。
2022-09-14 cs.CV
In Defense of Grid Features for Visual Question Answering
UMass Amherst（马萨诸塞大学阿默斯特分校）；Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））
作为“自下而上”的注意力，基于限界框（或区域）的视觉特征最近已经超过了基于普通网格的卷积特征，成为视觉和语言任务（如视觉问答（VQA））的事实标准。然而，尚不清楚区域的优势（例如更好的本地化）是否是自下而上的关注取得成功的关键原因。在本文中，我们重新审视了VQA的网格特征，并发现它们可以令人惊讶地工作得很好-在相同的精度下运行速度快了一个数量级以上（例如，如果以类似的方式进行预训练）。通过大量的实验，我们验证了这一观察结果在不同的VQA模型（在VQA 2.0测试标准，72.71上报告了最先进的准确性），数据集上都是正确的，并且很好地推广到其他任务，如图像描述。由于网格特性使模型设计和训练过程变得更加简单，这使我们能够对它们进行端到端的训练，并使用更灵活的网络设计。我们端到端地学习VQA模型，从像素直接到答案，并表明在预训练中不使用任何区域注释即可实现强大的性能。我们希望我们的研究结果有助于进一步提高对VQA的科学理解和实际应用。代码和功能将提供。
2020-04-02 cs.CV
Visual Question Answering: which investigated applications?
University of Naples Federico II（那不勒斯费德里科二世大学）；University of Salerno（萨勒诺大学）；Sapienza University of Rome（罗马第一大学）；University of Molise（莫利塞大学）
视觉问答（VQA）是计算机视觉（CV）和自然语言处理（NLP）最近相遇的一个非常刺激和具有挑战性的研究领域。在图像描述和视频摘要中，语义信息完全包含在静态图像或视频动态中，并且仅需要以与人类一致的方式来挖掘和表达。因此，在VQA中，必须将相同媒体中的语义信息与用自然语言表达的问题所隐含的语义进行比较，从而使人工智能相关的工作量加倍。最近的一些关于VQA方法的调查集中在图像相关处理或言语相关处理的基础上，或者集中在一致地融合所传达信息的方法上。可能的应用只是建议，事实上，大多数引用的作品依赖于通用数据集，用于评估VQA系统的构建模块。本文考虑的建议，而专注于现实世界的应用程序，可能使用的基准适合的数据绑定到应用程序域。本文还报告了VQA研究中的一些最新挑战。
2021-03-04 cs.CV
Plug-and-Play VQA: Zero-shot VQA by Conjoining Large Pretrained Models with Zero Training
Salesforce Research（Salesforce研究院）；Nanyang Technological University（南洋理工大学）
视觉问答是视觉和语言推理的一个重要标志，也是zero-shot情境下的一项具有挑战性的任务。我们提出了即插即用VQA（PNP-VQA），一个模块化的框架zero-shot VQA。与大多数现有的工程，这需要大量的适应预训练的语言模型（PLM）的视觉模态，PNP-VQA不需要额外的培训的PLM。相反，我们建议使用自然语言和网络解释作为中间表示，将预训练的模型粘合在一起。我们首先生成问题引导的信息图像标题，并将标题传递给PLM作为问答的上下文。PNP-VQA超越了端到端的训练基线，在zero-shot VQAv 2和GQA上实现了最先进的结果。使用11 B参数，它在VQAv 2上的性能比80 B参数Flamingo模型高出8.5%。在738 M PLM参数下，PNP-VQA比FewVLM在740 M PLM参数下的GQA提高了9.1%。代码发布于https://github.com/salesforce/LAVIS/tree/main/projects/pnp-vqa
2023-03-20 cs.CV
OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
视觉问答（VQA）在其理想的形式，让我们研究在视觉和语言的联合空间的推理，并作为一个代理的人工智能任务的场景理解。然而，到目前为止，大多数VQA基准测试都集中在简单计数、视觉属性和目标检测等问题上，这些问题不需要超出图像内容的推理或知识。在本文中，我们解决了基于知识的视觉问答的任务，并提供了一个基准，称为OK-VQA，其中的图像内容是不足以回答的问题，鼓励依赖于外部知识资源的方法。我们的新数据集包括超过14，000个需要外部知识才能回答的问题。我们表明，在这种新的设置中，最先进的VQA模型的性能急剧下降。我们的分析表明，我们的基于知识的VQA任务是多样的，困难的，和以前的基于知识的VQA数据集相比大。我们希望这个数据集能够使研究人员在这一领域的研究开辟新的途径。请访问http://okvqa.allenai.org下载并浏览数据集。
2019-09-04 cs.CL cs.CV
Question-Agnostic Attention for Visual Question Answering
Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Inception Institute of AI（Inception人工智能研究院）
视觉问答（VQA）模型采用注意力机制来发现与回答特定问题最相关的图像位置。为此目的，已经提出了几种多模态融合策略，范围从相对简单的操作（例如，线性和）到更复杂的（例如，Block）。由此产生的多模态表示定义了一个中间特征空间，用于捕获视觉和语义特征之间的相互作用，这有助于选择性地关注图像内容。在本文中，我们提出了一个问题不可知的注意机制，是现有的问题依赖的注意力机制的补充。我们提出的模型解析对象实例，以获得一个“对象地图”，并将此地图上的视觉功能，以产生的不可知注意力（QAA）功能。与端到端学习的问题相关注意力方法相比，所提出的QAA不涉及特定于问题的训练，并且可以很容易地包含在几乎任何现有的VQA模型中作为通用的轻量级预处理步骤，从而为训练增加最小的计算开销。此外，当与问题相关的注意补充使用时，QAA允许模型专注于包含可能被学习的注意表示忽略的对象的区域。通过对VQAv1，VQAv2和TDIUC数据集的广泛评估，我们表明，结合互补的QAA可以使最先进的VQA模型表现得更好，并为简单的VQA模型提供显着的提升，使它们的性能与高度复杂的融合策略相当。
2020-09-06 cs.CV
Semantic Equivalent Adversarial Data Augmentation for Visual Question Answering
Shanghai Jiao Tong University（上海交通大学）；University of Adelaide（阿德莱德大学）
随着深度神经网络（DNN）的快速发展，可视化问答（VQA）取得了巨大的成功。另一方面，数据增强作为DNN的主要技术之一，已经被广泛应用于许多计算机视觉任务中。然而，很少有研究VQA的数据增强问题的工作，现有的基于图像的增强方案（如旋转和翻转）可以直接应用于VQA，由于其语义结构-一个$\langle image, question, answer\rangle$三元组需要正确维护。例如，如果相关联的图像被旋转或翻转，则方向相关的搜索-应答（QA）对可能不为真。在本文中，我们没有直接操作图像和问题，而是使用生成的图像和问题的对抗性示例作为增强数据。增强的示例不改变图像中呈现的视觉属性以及问题的\textbf{semantic}含义，因此仍然保持了$\langle image, question, answer\rangle$的正确性。然后，我们使用对抗学习来训练一个经典的VQA模型（BUTD）与我们的增强数据。我们发现，我们不仅提高了VQAv 2的整体性能，而且可以抵御对抗攻击有效，相比基线模型。源代码可在https://github.com/zaynmi/seada-vqa上获得。
2020-07-19 cs.CV
Coarse-to-Fine Reasoning for Visual Question Answering
AIOZ；University of Liverpool（利物浦大学）
在视觉问答（VQA）任务中，弥合图像和问题之间的语义鸿沟是提高其准确性的重要环节。然而，现有的VQA方法大多集中于注意力机制或视觉关系来推理答案，而没有充分利用不同语义层次的特征。在本文中，我们提出了一个新的推理框架，以填补视觉特征和语义线索的VQA任务之间的差距。我们的方法首先从图像和问题中提取特征和谓词。然后，我们提出了一个新的推理框架，有效地共同学习这些功能和谓词在一个由粗到细的方式。在三个大规模VQA数据集上的实验结果表明，该方法与其他最先进的方法相比，具有更高的准确性。此外，我们的推理框架还提供了一种可解释的方式来理解深层神经网络在预测答案时的决策。
2022-04-19 cs.CV
Survey of Recent Advances in Visual Question Answering
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Adobe Systems（Adobe 系统公司）
视觉问答（VQA）提出了一个独特的挑战，因为它需要理解和编码的多模态输入的能力-在图像处理和自然语言处理方面。该算法还需要学习如何在这种多模态表示上执行推理，以便正确回答问题。本文介绍了一个调查的不同方法，提出了解决问题的视觉问答。我们还描述了目前的艺术模型在后面的一部分文件。特别是，本文描述了各种算法提取图像特征，文本特征和这些被用来预测答案的方式所采取的方法。我们还简要讨论了评估VQA模型的实验，并报告了它们在不同数据集上的性能，包括新发布的VQA 2.0 [8]。
2017-09-24 cs.CV
C-VQA: A Compositional Split of the Visual Question Answering (VQA) v1.0 Dataset
Virginia Tech（弗吉尼亚理工大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Georgia Institute of Technology（佐治亚理工学院）
可视化问答（VQA）在过去的几年里受到了广泛的关注。已经为这个任务提出了许多深度学习模型。然而，事实证明，这些模型在很大程度上是由训练数据中的表面相关性驱动的，并且缺乏组合性--即回答关于可见概念的不可见组合的问题的能力。这种组合性是可取的，也是智能的核心。在本文中，我们提出了一个新的设置视觉问答的测试问题，答案对是组成新颖的训练问题，答案对。为了便于在此设置下开发模型，我们提出了VQA v1.0数据集的新组合分割，我们称之为组合VQA（C-VQA）。我们分析了问题和答案在C-VQA分裂中的分布。最后，我们评估了几个现有的VQA模型在这个新的设置，并表明这些模型的性能下降了显着的量相比，原来的VQA设置。
2017-04-26 cs.AI cs.CL cs.CV
VQA-LOL: Visual Question Answering under the Lens of Logic
Arizona State University（亚利桑那州立大学）
逻辑连接词及其对自然语言句子意义的影响是理解的一个基本方面。在本文中，我们调查是否视觉问答（VQA）系统训练回答一个问题的图像，能够回答多个这样的问题的逻辑组成。当置于此\textit{Lens of Logic}下时，最先进的VQA模型难以正确回答这些逻辑组成的问题。我们构建了一个增强的VQA数据集作为基准，问题包含逻辑成分和语言转换（否定，析取，连词和反义词）。我们提出了我们的{逻辑透镜（LOL）}模型，该模型使用问题注意和逻辑注意来理解问题中的逻辑连接词，并提出了一种新的Fréchet相容性损失，它确保了组成问题和组合问题的答案与推断的逻辑操作一致。我们的模型在学习逻辑成分的同时保持VQA的性能有了很大的提高。我们建议这项工作是通过在视觉理解中嵌入逻辑连接词来实现鲁棒性。
2020-07-15 cs.CL cs.CV
Attention on Attention: Architectures for Visual Question Answering (VQA)
Stanford University（斯坦福大学）
视觉问答（VQA）是深度学习研究中越来越热门的话题，需要将自然语言处理和计算机视觉模块协调到单一架构中。我们建立在该模型，在第一次在VQA的挑战，开发了13个新的注意力机制，并引入了一个简化的分类。我们执行了300 GPU小时的广泛超参数和架构搜索，并能够获得64.78%的评估分数，优于现有最先进的单一模型的验证分数63.15%。
2018-03-21 cs.AI cs.CL cs.CV
How to find a good image-text embedding for remote sensing visual question answering?
Environmental Computational Science and Earth Observation Laboratory (ECEO), EPFL（环境计算科学与地球观测实验室（ECEO），洛桑联邦理工学院（EPFL））；Laboratoire d’Informatique Paris Descartes (LIPADE), Université de Paris（巴黎笛卡尔大学信息实验室（LIPADE），巴黎大学）
视觉问答（VQA）最近被引入到遥感，使信息抽取从架空图像更容易为每个人。VQA考虑了一个关于图像的问题（自然语言，因此很容易制定），并旨在通过基于计算机视觉和自然语言处理方法的模型提供答案。因此，VQA模型需要联合考虑视觉和文本特征，这通常通过融合步骤来完成。在这项工作中，我们研究了三种不同的融合方法的背景下，遥感VQA和分析增益的精度相对于模型的复杂性。我们的研究结果表明，更复杂的融合机制产生更好的性能，但寻求模型的复杂性和性能之间的贸易是值得在实践中。
2021-09-24 cs.CV
