VQA-MHUG: A Gaze Dataset to Study Multimodal Neural Attention in Visual Question Answering
University of Stuttgart(斯图加特大学);University of Groningen(格罗宁根大学)
VQA-MHUG数据集用于研究视觉问答中多模态神经注意机制,发现文本注意与模型性能的相关性是提升VQA性能的关键因素。
2021-09-27 cs.CL cs.CV
Grounding Answers for Visual Questions Asked by Visually Impaired People
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
视觉问答是回答关于图像的问题的任务。我们介绍了VizWiz-VQA-Grounding数据集,这是第一个在视觉上为视觉障碍人士提出的视觉问题提供答案的数据集。我们分析了我们的数据集,并将其与五个VQA接地数据集进行了比较,以证明是什么使它相似和不同。然后,我们评估的SOTA VQA和VQA接地模型,并证明,目前的SOTA算法往往无法识别正确的视觉证据的答案位于。当视觉证据占据图像的一小部分时,这些模型经常会遇到困难,例如图像质量更高,以及需要文本识别技能的视觉问题。数据集、评估服务器和排行榜都可以在以下链接中找到:https://vizwiz.org/tasks-and-datasets/answer-grounding-for-vqa/。
2022-04-08 cs.CL cs.CV
Question-Conditioned Counterfactual Image Generation for VQA
Carnegie Mellon University(卡内基梅隆大学);Georgia Tech(佐治亚理工学院)
虽然可视化问答(VQA)模型继续推动最先进的技术向前发展,但它们在很大程度上仍然是黑箱-无法提供对如何或为什么生成答案的洞察。在这项正在进行的工作中,我们建议通过学习为VQA模型生成反事实图像来解决这个缺点-即给定一个问题图像对,我们希望生成一个新图像,以便i)VQA模型输出不同的答案,ii)新图像与原始图像的差异最小,iii)新图像是真实的。我们希望通过提供这样的反事实示例,用户能够调查和理解VQA模型的内部机制。
2019-11-14 cs.CL cs.CV
C-VQA: A Compositional Split of the Visual Question Answering (VQA) v1.0 Dataset
Virginia Tech(弗吉尼亚理工大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Georgia Institute of Technology(佐治亚理工学院)
可视化问答(VQA)在过去的几年里受到了广泛的关注。已经为这个任务提出了许多深度学习模型。然而,事实证明,这些模型在很大程度上是由训练数据中的表面相关性驱动的,并且缺乏组合性--即回答关于可见概念的不可见组合的问题的能力。这种组合性是可取的,也是智能的核心。在本文中,我们提出了一个新的设置视觉问答的测试问题,答案对是组成新颖的训练问题,答案对。为了便于在此设置下开发模型,我们提出了VQA v1.0数据集的新组合分割,我们称之为组合VQA(C-VQA)。我们分析了问题和答案在C-VQA分裂中的分布。最后,我们评估了几个现有的VQA模型在这个新的设置,并表明这些模型的性能下降了显着的量相比,原来的VQA设置。
2017-04-26 cs.AI cs.CL cs.CV
Multi-Modal Answer Validation for Knowledge-Based VQA
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Allen Institute for AI(艾伦人工智能研究所)
基于知识的视觉问答的问题涉及回答除了图像的内容之外还需要外部知识的问题。这种知识通常以各种形式出现,包括视觉,文本和常识知识。使用更多的知识源增加了检索更多不相关或嘈杂事实的机会,使理解事实和找到答案变得具有挑战性。为了应对这一挑战,我们提出了使用外部知识的多模态答案验证(MAVEx),其想法是基于答案特定的知识检索来验证一组有希望的答案候选者。与大多数现有方法在大量通常不相关的事实中搜索答案不同,MAVEx旨在学习如何从噪声源中提取相关知识,每个答案候选者信任哪个知识源,以及如何使用该源验证候选者。我们的多模态设置是第一个利用外部视觉知识(使用Google搜索的图像),以及以维基百科句子和ConceptNet概念形式的文本知识。我们使用OK-VQA(一个具有挑战性的基于知识的VQA数据集)进行的实验表明,MAVEx实现了新的最先进的结果。我们的代码可在https://github.com/jialinwu17/MAVEX上获得
2021-12-14 cs.CL cs.CV
Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering
University of Cambridge(剑桥大学)
本文提出细粒度晚期交互多模态检索FLMR,通过视觉模型对齐和多维嵌入改进RA-VQA的知识检索,将PRRecall@5提升约8%,并在OK-VQA上取得约61%的VQA分数。
2023-10-28 cs.CL cs.CV
Entity-Focused Dense Passage Retrieval for Outside-Knowledge Visual Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
大多数外部知识视觉问答(OK-VQA)系统采用两阶段框架,首先检索给定视觉问题的外部知识,然后基于检索到的内容预测答案。然而,检索到的知识往往是不够的。检索往往过于笼统,无法涵盖回答问题所需的特定知识。此外,自然可用的监督(文章是否包含正确答案)很弱,不能保证问题的相关性。为了解决这些问题,我们提出了一个以知识为中心的检索(EnFoRe)模型,该模型在训练过程中提供更强的监督,并识别与问题相关的实体,以帮助检索更具体的知识。实验表明,我们的EnFoRe模型在目前最大的外部知识VQA数据集OK-VQA上取得了优异的检索性能。我们还将检索到的知识与最先进的VQA模型相结合,并在OK-VQA上实现了新的最先进的性能。
2022-10-20 cs.CL cs.CV
Reducing Language Biases in Visual Question Answering with Visually-Grounded Question Encoder
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最近的研究表明,目前的VQA模型严重偏向于训练集中的语言先验来回答问题,而与图像无关。例如,在一个示例中,绝大多数人把“什么运动”回答为“网球”或把“香蕉什么颜色”回答为“黄色”。“这种行为限制了他们在现实世界的应用场景中的应用。在这项工作中,我们提出了一种新的模型无关的问题编码器,视觉接地问题编码器(VGQE),VQA,减少这种影响。VGQE在编码问题时平等地利用视觉和语言模态。因此,问题表示本身得到了充分的视觉基础,从而减少了模型对语言先验的依赖。我们证明了VGQE对三个最近的VQA模型的影响,并在VQAv 2数据集的偏差敏感分裂上取得了最先进的结果; VQA-CPv 2。此外,与现有的偏差减少技术不同,在标准VQAv 2基准测试中,我们的方法不会降低准确性;相反,它提高了性能。
2020-07-18 cs.CL cs.CV
REVIVE: Regional Visual Representation Matters in Knowledge-Based Visual Question Answering
University of Washington(华盛顿大学);Microsoft(微软)
本文回顾了基于知识的视觉问答(VQA)中的视觉表示,并证明了更好地利用区域信息可以显着提高性能。虽然视觉表示在传统的VQA中得到了广泛的研究,但在基于知识的VQA中,尽管这两个任务具有共同的精神,即,依靠视觉输入来回答问题。具体而言,我们观察到大多数基于知识的VQA方法都存在以下问题:1)从整幅图像或以滑动窗口方式提取视觉特征来获取知识,而忽略了对象区域内部/之间的重要关系; 2)视觉特征在最终的回答模型中没有得到很好的利用,这在一定程度上是违反直觉的。基于这些观察,我们提出了一个新的基于知识的VQA方法REVIVE,它试图利用对象区域的显式信息,不仅在知识检索阶段,而且在回答模型。其主要动机是对象区域和内在关系对于基于知识的VQA非常重要。我们在标准OK-VQA数据集上进行了广泛的实验,并实现了新的最先进的性能,即,准确率为58.0%,大大超过了之前最先进的方法(+3.6%)。我们还进行了详细的分析,并显示区域信息的必要性,在不同的框架组件基于知识的VQA。代码可在www.example.com上公开获取。
2022-10-10 cs.CL cs.CV
Generating Question Relevant Captions to Aid Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)和图像描述需要连接语言和视觉的通用知识的共享主体。我们提出了一种新的方法来提高VQA的性能,利用这种连接,共同生成的标题,有针对性地帮助回答一个特定的视觉问题。该模型使用现有的字幕数据集进行训练,通过使用基于在线梯度的方法自动确定问题相关的字幕。VQA v2挑战的实验结果表明,我们的方法通过同时生成与问题相关的标题,获得了最先进的VQA性能(例如,使用单个模型在测试标准集上达到68.4%)。
2020-01-03 cs.CL cs.CV
VQA-Aid: Visual Question Answering for Post-Disaster Damage Assessment and Analysis
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
与无人机相结合的可视化问答系统对提高灾后损失评估的目的具有很大的潜力。向受影响地区提供援助在很大程度上取决于实时数据评估和分析。可视化问答的范围是了解场景,并提供与查询相关的答案,这肯定会加快灾难后的恢复过程。在这项工作中,我们解决的重要性,\textit{visual question answering (VQA)}任务的灾后损失评估,提出我们最近开发的VQA数据集称为\textit{HurMic-VQA}收集在飓风迈克尔,并比较基准VQA模型的性能。
2021-06-19 cs.CV
Attention on Attention: Architectures for Visual Question Answering (VQA)
Stanford University(斯坦福大学)
视觉问答(VQA)是深度学习研究中越来越热门的话题,需要将自然语言处理和计算机视觉模块协调到单一架构中。我们建立在该模型,在第一次在VQA的挑战,开发了13个新的注意力机制,并引入了一个简化的分类。我们执行了300 GPU小时的广泛超参数和架构搜索,并能够获得64.78%的评估分数,优于现有最先进的单一模型的验证分数63.15%。
2018-03-21 cs.AI cs.CL cs.CV
Unsupervised Keyword Extraction for Full-sentence VQA
The University of Tokyo(东京大学);RIKEN(理化学研究所)
在大多数现有的可视化问答(VQA)研究中,答案由简短的,通常是单个单词组成,根据在数据集构建期间给注释者的指示。这项研究设想了一个VQA任务的自然情况下,答案更有可能是句子,而不是单个单词。为了弥补这种自然VQA和现有VQA方法之间的差距,提出了一种新的无监督关键字提取方法。该方法基于这样的原理:整句回答可以被分解为两个部分:一个部分包含回答问题的新信息(即,关键字),以及一个包含问题中已经包含的信息。判别解码器的设计,以实现这种分解,并在VQA数据集上包含整句答案的方法进行了实验。实验结果表明,该模型可以准确地提取关键词,而不需要给出明确的注释来描述它们。
2020-10-12 cs.CL cs.CV cs.LG
Good, Better, Best: Textual Distractors Generation for Multiple-Choice Visual Question Answering via Reinforcement Learning
Arizona State University(亚利桑那州立大学);Emory University(埃默里大学)
近年来,多项选择问题越来越受到研究者和用户的关注。随着自动构建大规模多项选择VQA数据的需求不断增长,我们引入了一种新的任务,称为文本干扰生成VQA(DG-VQA),专注于生成具有挑战性但有意义的干扰,给出上下文图像,问题和正确答案。DG-VQA任务的目的是在没有地面实况训练样本的情况下生成干扰项,因为这些资源很少可用。为了解决DG-VQA无监督,我们提出了Gobbet,一个基于强化学习(RL)的框架,利用预先训练的VQA模型作为替代知识库,以指导分心物生成过程。在Gobbet中,预先训练的VQA模型作为RL设置中的环境,为输入的多模态查询提供反馈,而神经干扰素生成器作为代理采取相应的行动。我们建议使用现有的VQA模型的性能下降的指标的质量产生的干扰。另一方面,我们通过数据增强实验展示了生成的干扰项的实用性,因为当AI模型应用于不可预测的开放域场景或安全敏感的应用程序时,鲁棒性越来越重要。我们进一步进行手动案例研究的因素,为什么分心产生的Gobbet可以愚弄现有的模型。
2022-04-18 cs.CL cs.CV
VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学);NVIDIA AI Technology Center(英伟达人工智能技术中心);University of Rochester(罗切斯特大学)
现有的视觉问答(VQA)研究大多致力于提高预测答案的准确性,而忽略了对答案的解释。我们认为,答案的解释是相同的,甚至更重要的答案本身相比,因为它使问答过程更容易理解和可追溯。为此,我们提出了一个新的任务VQA-E(VQA与解释),其中的计算模型需要产生一个解释与预测的答案。我们首先构建一个新的数据集,然后在多任务学习架构中构建VQA-E问题。我们的VQA-E数据集是通过智能地利用可用的字幕自动从VQA v2数据集派生出来的。我们已经进行了用户研究,以验证我们的方法合成的解释的质量。我们定量地表明,额外的监督,从解释不仅可以产生有见地的文本句子,以证明答案,但也提高了答案预测的性能。我们的模型在VQA v2数据集上明显优于最先进的方法。
2018-08-25 cs.CV
Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions?
Virginia Tech(弗吉尼亚理工大学);Facebook AI Research(脸书人工智能研究院)
我们对视觉问答(VQA)中的“人类注意力”进行了大规模研究,以了解人类在回答有关图像的问题时会选择哪里。我们设计并测试了多个游戏启发的新颖注意力注释界面,这些界面要求受试者锐化模糊图像的区域以回答问题。因此,我们引入VQA-HAT(人类注意力)数据集。我们评估了由最先进的VQA模型生成的注意力地图对人类注意力的定性(通过可视化)和定量(通过排序相关性)。总的来说,我们的实验表明,目前VQA中的注意力模型似乎并不像人类那样关注相同的区域。
2016-06-17 cs.CL cs.CV
Visual Question Answering: Datasets, Algorithms, and Future Challenges
Rochester Institute of Technology(罗切斯特理工学院)
视觉问答(VQA)是计算机视觉和自然语言处理中的一个新问题,已经引起了深度学习,计算机视觉和自然语言处理社区的大量兴趣。在VQA中,算法需要回答关于图像的基于文本的问题。自2014年发布第一个VQA数据集以来,已经发布了更多数据集并提出了许多算法。在这篇综述中,我们批判性地研究了VQA在问题制定、现有数据集、评估指标和算法方面的现状。特别是,我们讨论了目前的数据集的局限性,他们的能力,正确的训练和评估VQA算法。然后,我们详尽审查现有的算法VQA。最后,我们讨论了VQA和图像理解研究未来可能的方向。
2017-06-15 cs.AI cs.CL cs.CV
Don't Just Assume; Look and Answer: Overcoming Priors for Visual Question Answering
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(脸书人工智能研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
许多研究发现,今天的视觉问答(VQA)模型在很大程度上是由训练数据中的表面相关性驱动的,并且缺乏足够的图像基础。为了鼓励面向后者的模型的发展,我们提出了一个新的设置VQA的每一个问题类型,训练和测试集有不同的先验分布的答案。具体来说,我们提出了VQA v1和VQA v2数据集的新分割,我们称之为改变先验条件下的可视化问答(分别为VQA-CP v1和VQA-CP v2)。首先,我们评估了几个现有的VQA模型在这个新的设置,并表明其性能显着下降相比,原来的VQA设置。其次,我们提出了一种新的接地视觉问答模型(GVQA),其中包含归纳偏见和限制的架构专门设计,以防止该模型的“作弊”,主要依靠先验的训练数据。具体来说,GVQA明确地将图像中存在的视觉概念的识别与给定问题的合理答案空间的识别分开,使模型能够更稳健地概括不同的答案分布。GVQA是建立在现有的VQA模型之上的--堆叠注意力网络(SAN)。我们的实验表明,GVQA在VQA-CP v1和VQA-CP v2数据集上的性能明显优于SAN。有趣的是,它在几种情况下也优于更强大的VQA模型,如多模态紧凑双线性池(MCB)。在原始VQA v1和VQA v2数据集上进行培训和评估后,GVQA提供了与SAN互补的优势。最后,GVQA比现有的VQA模型更加透明和可解释。
2018-06-03 cs.AI cs.CL cs.CV
Context-VQA: Towards Context-Aware and Purposeful Visual Question Answering
Stanford University(斯坦福大学)
本研究提出Context-VQA数据集,将图像与网站类型配对,证明上下文显著影响问题类型,强调VQA模型需上下文感知以满足用户需求。
2023-08-30 cs.CL cs.CV
SK-VQA: Synthetic Knowledge Generation at Scale for Training Context-Augmented Multimodal LLMs
Intel Labs(英特尔实验室);Amazon(亚马逊)
本文提出含 200 多万带上下文文档问答对的大规模合成多模态数据集 SK-VQA,用于训练和评测上下文增强型 MLLM,并验证其可提升上下文感知 VQA 与多模态 RAG 泛化能力。
2025-06-09 cs.CL cs.CV
Co-VQA : Answering by Interactive Sub Question Sequence
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan-Dianping Group(美团点评集团)
现有的可视化问答(VQA)方法大多是直接回答问题,但人们通常将复杂问题分解为一系列简单的子问题,然后通过回答子问题序列(SQS)来获得原问题的答案。通过模拟这一过程,本文提出了一个基于会话的VQA(Co-VQA)框架,该框架由三个组件组成:提问者、Oracle和回答者。Questioner使用扩展的HRED模型提出子问题,Oracle逐一回答。提出了一种自适应链式视觉推理模型(ACVRM),该模型利用问答对来更新视觉表征。为了对每个模型进行监督学习,我们引入了一种精心设计的方法,在VQA 2.0和VQA-CP v2数据集上为每个问题构建SQS。实验结果表明,该方法在VQA-CP v2上达到了最佳效果。进一步的分析表明,SQS有助于在问题和图像之间建立直接的语义联系,提供问题自适应的变长推理链,并具有明确的可解释性和错误可追溯性。
2022-04-02 cs.CL
Human-Adversarial Visual Question Answering
Facebook AI Research(脸书人工智能研究院);Tecnológico de Monterrey(蒙特雷理工学院)
最常用的可视化问答数据集(VQA v2)的性能开始接近人类的准确性。然而,在与最先进的VQA模型交互时,很明显问题远未得到解决。为了对VQA模型进行压力测试,我们将其与人类对抗性示例进行基准测试。人类受试者与最先进的VQA模型进行交互,并针对数据集中的每个图像,尝试找到模型预测答案不正确的问题。我们发现,广泛的国家的最先进的模型在这些例子进行评估时表现不佳。我们对收集到的对抗性例子进行了广泛的分析,并为未来的研究方向提供了指导。我们希望这个对抗性VQA(AdVQA)基准测试可以帮助推动该领域的进步,并推动最新技术的发展。
2021-06-04 cs.CL cs.CV
RAMM: Retrieval-augmented Biomedical Visual Question Answering with Multi-modal Pre-training
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
视觉-语言多模态预训练和微调在视觉问答(VQA)中取得了巨大的成功。与一般领域的VQA相比,生物医学VQA的性能受到数据的限制。在本文中,我们提出了一个检索增强预训练和微调范式命名为RAMM生物医学VQA,以克服数据限制的问题。具体来说,我们收集了一个新的生物医学数据集PMCPM,它提供了基于患者的图像-文本对,包含来自PubMed的不同患者情况。然后,我们对生物医学多模态模型进行预训练,以学习图像-文本对的视觉和文本表示,并将这些表示与图像-文本对比目标(ITC)对齐。最后,我们提出了一个检索增强的方法,以更好地利用有限的数据。我们提出从预训练数据集中检索基于ITC的相似图像-文本对,并引入一种新的检索注意力模块来融合图像和问题的表示与检索到的图像和文本。实验表明,我们的检索增强预训练和微调范式在Med-VQA 2019,Med-VQA 2021,VQARAD和SLAKE数据集上获得了最先进的性能。进一步的分析表明,所提出的RAMM和PMCPM可以提高生物医学VQA性能相比,以前的资源和方法。我们将开源我们的数据集,代码和预训练模型。
2023-03-01 cs.CL cs.CV
Localize, Group, and Select: Boosting Text-VQA by Scene Text Modeling
Carnegie Mellon University(卡内基梅隆大学)
文本-VQA(Visual问答)是多模态语境理解中的一项重要任务,其目的是通过阅读图像中的文本信息来实现问答。它不同于原始的VQA任务,因为文本VQA除了跨模态基础能力之外,还需要大量的场景-文本关系理解。在本文中,我们提出了本地化,分组和选择(LOGOS),一个新的模型,试图从多个方面来解决这个问题。LOGOS利用两个基础任务来更好地本地化图像的关键信息,利用场景文本聚类来对各个OCR标记进行分组,并学习从不同的OCR(光学字符识别)文本源中选择最佳答案。实验表明,LOGOS优于以前的国家的最先进的方法在两个文本VQA基准测试,而无需使用额外的OCR注释数据。消融研究和分析证明LOGOS能够桥接不同的模态并更好地理解场景文本。
2021-08-20 cs.CL cs.CV
KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院);Georgia Tech(佐治亚理工学院)
VQA中最具挑战性的问题类型之一是回答问题需要图像中不存在的外部知识。在这项工作中,我们研究开放域知识,当回答问题所需的知识没有给出/注释时,无论是在训练还是测试时。我们利用两种类型的知识表示和推理。第一,隐式知识,可以有效地学习无监督的语言预训练和监督训练数据与基于transformer的模型。第二,在知识库中编码的明确的、符号化的知识。我们的方法结合了两者-利用Transformer模型的强大隐式推理进行答案预测,并从知识图谱中集成符号表示,同时不会将其显式语义丢失到隐式嵌入。我们结合不同的知识来源,以涵盖解决基于知识的问题所需的各种知识。我们展示了我们的方法,KRISP(知识推理与隐式和符号再现),显着优于最先进的OK-VQA,最大的可用数据集的开放域知识为基础的VQA。我们展示了广泛的消融,而我们的模型成功地利用了隐含的知识推理,明确连接的知识图谱的答案词汇的符号答案模块是至关重要的性能,我们的方法和推广到罕见的答案。
2020-12-20 cs.CL cs.CV
Multiple-Question Multiple-Answer Text-VQA
AWS AI Labs(亚马逊云科技人工智能实验室)
提出MQMA方法,在编码器-解码器变换器中同时处理多个文本视觉问答,通过架构改进和去噪预训练,在多个数据集上取得最先进性能。
2023-11-15 cs.CL cs.CV cs.LG
CQ-VQA: Visual Question Answering on Categorized Questions
IITG(印度理工学院古瓦哈提分校)
本文提出了一种新的两级层次化的端到端的视觉问答(VQA)模型CQ-VQA。CQ-VQA的第一级,称为问题分类器(QC),对问题进行分类,以减少潜在的答案搜索空间。QC使用输入问题和图像的关注和融合特征。第二级,称为答案预测器(AP),包括对应于每个问题类别的一组不同的分类器。根据QC预测的问题类别,AP的分类器中只有一个保持活动。将QC和AP的损失函数聚合在一起,使其成为端到端模型。所提出的模型(CQ-VQA)的TDIUC数据集上进行评估,并对国家的最先进的方法进行基准测试。结果表明CQ-VQA具有竞争力或更好的性能。
2020-02-17 cs.CV
3D-Aware Visual Question Answering about Parts, Poses and Occlusions
Johns Hopkins University(约翰斯·霍普金斯大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Freiburg(弗莱堡大学)
本文提出3D感知VQA任务,并构建Super-CLEVR-3D数据集与PO3D-VQA模型,结合概率神经符号推理和3D生成式表示,在部件、姿态与遮挡推理上显著超越现有方法,但仍与2D VQA存在明显性能差距。
2023-10-27 cs.CL cs.CV
Answer Them All! Toward Universal Visual Question Answering Models
Rochester Institute of Technology(罗切斯特理工学院);PAIGE;Cornell Tech(康奈尔科技学院 (Cornell Tech))
视觉问答(VQA)研究分为两个阵营:第一个集中在需要自然图像理解的VQA数据集上,第二个集中在测试推理的合成数据集上。一个好的VQA算法应该能够做到这两点,但只有少数VQA算法以这种方式进行测试。我们比较了五个国家的最先进的VQA算法在八个VQA数据集涵盖这两个领域。为了使比较公平,所有模型都尽可能标准化,例如,它们使用相同的视觉特征、答案词汇表等。我们发现,方法不会在这两个域中泛化。为了解决这个问题,我们提出了一个新的VQA算法,竞争对手或超过国家的最先进的这两个领域。
2019-04-05 cs.CV
WeaQA: Weak Supervision via Captions for Visual Question Answering
Arizona State University(亚利桑那州立大学)
用于训练视觉问答(VQA)模型的方法假设具有人类注释的\textit{Image-Question-Answer}(I-Q-A)三元组的数据集的可用性。这导致了对数据集的严重依赖,并且缺乏对新类型问题和场景的概括。语言先验知识以及注释者主观性导致的偏见和错误已被证明会渗透到根据此类样本训练的VQA模型中。我们研究了模型是否可以在没有任何人类注释的Q-A对的情况下进行训练,而只能使用图像及其相关的文本描述或标题。我们提出了一种方法来训练模型与合成Q-A对产生的字幕程序。此外,我们证明了空间金字塔图像补丁作为一个简单而有效的替代密集和昂贵的对象限界框注释在现有的VQA模型的功效。我们在三个VQA基准上的实验证明了这种弱监督方法的有效性,特别是在VQA-CP挑战中,该挑战测试了在不断变化的语言先验下的性能。
2021-05-28 cs.CL cs.CV
SlideVQA: A Dataset for Document Visual Question Answering on Multiple Images
NTT Human Informatics Laboratories, NTT Corporation(日本电信电话株式会社人类信息学实验室)
包含文本、视觉和布局信息的文档图像上的视觉问答,称为文档VQA,近来受到了广泛的关注。尽管已经提出了许多数据集用于开发文档VQA系统,但大多数现有数据集都专注于理解单个图像内的内容关系,而不是多个图像之间的内容关系。在这项研究中,我们提出了一个新的多图像文档VQA数据集,SlideVQA,包含2.6k+幻灯片甲板组成的52k+幻灯片图像和14.5k问题的幻灯片甲板。SlideVQA需要复杂的推理,包括单跳、多跳和数值推理,并提供数值答案的注释算术表达式,以增强数值推理能力。此外,我们开发了一个新的端到端的文档VQA模型,将证据选择和问答在一个统一的序列到序列的格式。在SlideVQA上的实验表明,我们的模型优于现有的最先进的QA模型,但它仍然与人类的表现有很大的差距。我们相信,我们的数据集将促进对文件VQA的研究。
2023-01-12 cs.CL cs.CV
Cycle-Consistency for Robust Visual Question Answering
Facebook AI Research(脸书人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
尽管这些年来在视觉问答方面取得了显著的进步,但今天的VQA模型的鲁棒性还有很多需要改进的地方。我们介绍了一个新的评估协议和相关的数据集(VQA-Rephrasings),并表明,最先进的VQA模型是出了名的脆弱的语言变化的问题。VQA-Rephrasings包含3个人工提供的Rephrasings,涉及VQA v2.0验证数据集的40 k个图像的40 k个问题。作为提高VQA模型鲁棒性的一步,我们提出了一个利用周期一致性的模型不可知框架。具体来说,我们训练模型,使其不仅回答问题,而且还生成以答案为条件的问题,使得针对所生成的问题预测的答案与原始问题的基本事实答案相同。在不使用额外注释的情况下,我们表明,当在VQA-Rephrasings数据集上进行评估时,我们的方法对语言变化的鲁棒性比最先进的VQA模型要高得多。此外,在具有挑战性的VQA v2.0数据集上,我们的方法在标准VQA和可视化问题生成任务上的表现优于最先进的方法。
2019-02-15 cs.CV
Zero-Shot Visual Question Answering
Australian Centre for Visual Technologies(澳大利亚视觉技术中心);The University of Adelaide(阿德莱德大学)
视觉问答(VQA)的部分吸引力在于它承诺回答关于以前看不见的图像的新问题。大多数当前的方法需要说明每一个可能概念的训练问题,并且因此永远不会实现这种能力,因为所需的训练数据的量将是令人望而却步的。解决关于图像的一般问题需要能够进行Zero-Shot VQA的方法,即能够回答超出训练问题范围的问题的方法。我们提出了一个新的VQA方法的评估协议,衡量他们的能力,执行Zero-Shot VQA,并在这样做突出了显着的实际缺陷,目前的方法,其中一些是掩盖在当前数据集的偏见。我们提出并评估了几种实现Zero-Shot VQA的策略,包括基于预训练词嵌入的方法,具有语义嵌入的对象分类器,以及示例图像的测试时检索。我们广泛的实验旨在作为Zero-Shot VQA的基线,并且它们还在标准VQA评估设置中实现了最先进的性能。
2016-11-20 cs.AI cs.CL cs.CV
LPF: A Language-Prior Feedback Objective Function for De-biased Visual Question Answering
Sun Yat-sen University(中山大学)
现有的视觉问答(VQA)系统往往过于依赖语言偏见,因此无法从视觉线索进行推理。为了解决这个问题,我们提出了一种新的前置反馈(LPF)目标函数,重新平衡每个答案的损失值在总VQA损失的比例。LPF首先使用仅问题分支计算调制因子以确定语言偏差。然后,LPF在训练过程中为每个训练样本分配自适应权重。通过这种重新加权机制,LPF确保总VQA损耗可以重新整形为更平衡的形式。通过这种方式,需要某些视觉信息来预测的样本将在训练期间被有效地使用。我们的方法易于实现,与模型无关,并且端到端可训练。我们进行了大量的实验,结果表明,LPF(1)带来了显着的改善,各种VQA模型,(2)实现有竞争力的性能偏置敏感的VQA-CP v2基准。
2021-06-23 cs.CL cs.CV
Tri-VQA: Triangular Reasoning Medical Visual Question Answering for Multi-Attribute Analysis
School of Computing;Artificial Intelligence Southwest Jiaotong University Chengdu, China;Artificial Intelligence Southwest Jiaotong University Chengdu, China z\ c\;Institute of Innovative Research Tokyo Institute of Technology Yokohama, Japan
针对现有医学视觉问答方法结果可信度不足的问题,提出基于因果效应的Tri-VQA三角推理框架,通过构建反向因果问题优化推理过程,在多中心内镜超声等医学VQA数据集上表现优于现有方法。
2024-06-21 cs.AI cs.CL cs.CV
Generalizing Visual Question Answering from Synthetic to Human-Written Questions via a Chain of QA with a Large Language Model
Radisen Co. Ltd.(瑞迪森公司);Seoul National University(首尔大学)
针对VQA模型在人工编写复杂问题上表现不佳的问题,提出CoQAH方法,通过大语言模型与合成数据训练的VQA模型间的QA交互链进行推理,在3D渲染和胸部X光数据集上达到SOTA且无需微调。
2024-08-22 cs.CL cs.CV
Discovering the Unknown Knowns: Turning Implicit Knowledge in the Dataset into Explicit Training Examples for Visual Question Answering
The Ohio State University(俄亥俄州立大学)
视觉问答(VQA)具有挑战性,不仅因为模型必须处理多模态信息,还因为很难收集足够的训练样本-人们可以问太多关于图像的问题。因此,仅在人工注释的示例上训练的VQA模型很容易过度拟合特定的问题风格或被问到的图像内容,从而使模型在很大程度上忽略了问题的多样性。现有的方法主要通过引入辅助任务来解决这个问题,例如视觉接地,循环一致性或去偏置。在本文中,我们采取了一种完全不同的方法。我们发现,学习VQA模型的许多“未知数”在数据集中确实是隐式“已知”的。例如,询问不同图像中的相同对象的问题可能是释义;图像中检测到或注释的对象的数量已经提供了“多少”问题的答案,即使该问题尚未针对该图像进行注释。基于这些见解,我们提出了一个简单的数据增强管道SimpleAug,将这种“已知”的知识转化为VQA的训练样本。我们表明,这些增强的例子可以显着提高学习的VQA模型的性能,不仅在VQA-CP数据集与语言先验移位,而且在VQA v2数据集没有这样的移位。我们的方法进一步打开了一扇大门,以原则性的方式利用弱标记或未标记的图像来增强VQA模型。我们的代码和数据可在https://github.com/heendung/simpleAUG上公开获取。
2022-11-08 cs.CL cs.CV
Inverse Visual Question Answering: A New Benchmark and VQA Diagnosis Tool
Southeast University(东南大学);Queen Mary University of London(伦敦玛丽女王大学);University of Edinburgh(爱丁堡大学)
近年来,视觉问答(VQA)已成为热门话题。VQA作为AI基准的重要性的前提是,图像和文本问题都需要很好地理解并相互联系,以便推断出正确的答案。然而,目前的VQA模型可能“理解”比最初希望的要少,而是掌握了更容易的任务,即利用问题中给出的线索和答案分布中的偏见。在本文中,我们提出了VQA(iVQA)的逆问题。iVQA任务是生成与给定图像和答案对相对应的问题。我们提出了一个变分的iVQA模型,可以生成不同的,语法正确的和内容相关的问题,匹配给定的答案。基于这个模型,我们表明,iVQA是一个有趣的基准视觉语言理解,和一个更具挑战性的替代VQA,因为iVQA模型需要更好地理解图像是成功的。作为第二个贡献,我们展示了如何在一个新的强化学习框架中使用iVQA,通过暴露其信念集来诊断任何现有的VQA模型:VQA模型对给定图像预测为真的问答对集。这提供了一个全新的窗口,让我们了解VQA模型对图像的“信念”。我们发现,现有的VQA模型有更多的错误信念比以前认为,揭示其内在的弱点。然后就如何解决这些弱点提出了建议。
2018-03-16 cs.CV
On the Flip Side: Identifying Counterexamples in Visual Question Answering
Harvard University(哈佛大学)
视觉问答(VQA)模型响应关于图像的开放式自然语言问题。虽然VQA是一个越来越受欢迎的研究领域,但目前还不清楚当前的VQA架构在多大程度上学习了视觉相似图像之间的关键语义差异。为了研究这个问题,我们探索了VQA任务的重新表述,该任务挑战模型以识别反例:导致原始问题不同答案的图像。我们介绍了两种方法来评估现有的VQA模型对监督反例预测任务,VQA-CX。虽然我们的模型超过了VQA-CX上现有的基准,但我们发现,现有的最先进的VQA模型所学习的多模态表示并没有对这项任务的性能做出有意义的贡献。这些结果对VQA基准测试的成功表现表明一般视觉语义推理能力的假设提出了质疑。
2018-07-24 cs.CV
BOK-VQA: Bilingual outside Knowledge-Based Visual Question Answering via Graph Representation Pretraining
Hanbat National University(韩巴大学);Kakao Brain;Seoul National University of Science and Technology(首尔科学技术大学)
本文提出双语外部知识VQA数据集BOK-VQA,并通过图嵌入预训练框架将知识信息注入VQA系统,验证了知识信息对视觉问答的实际提升效果。
2024-03-15 cs.CL
II-MMR: Identifying and Improving Multi-modal Multi-hop Reasoning in Visual Question Answering
The Ohio State University(俄亥俄州立大学);Amazon AGI(亚马逊AGI);University of Minnesota(明尼苏达大学)
本文提出II-MMR方法,通过答案预测引导CoT提示和知识三元组引导提示识别并改进VQA中的多模态多跳推理,在GQA和A-OKVQA基准上验证了其在零样本和微调设置下的有效性。
2024-06-03 cs.CL cs.CV
Overcoming Language Priors in Visual Question Answering via Distinguishing Superficially Similar Instances
Nankai University(南开大学);Mashang Consumer Finance Co, Ltd(马上消费金融股份有限公司)
尽管视觉问答(VQA)取得了很大的进步,但当前的VQA模型严重依赖于问题类型及其对应的频繁答案之间的表面相关性(即,语言先验)进行预测,而无需真正理解输入。在这项工作中,我们定义的训练实例具有相同的问题类型,但不同的答案为\textit{superficially similar instances},并归因于语言先验的VQA模型对这样的实例的混乱。为了解决这个问题,我们提出了一个新的训练框架,明确鼓励VQA模型区分表面上相似的实例。具体来说,对于每个训练实例,我们首先构建一个包含其表面相似的对应物的集合。然后,我们利用提出的区分模块,以增加之间的距离的实例和它的答案空间中的同行。通过这种方式,VQA模型被迫进一步关注输入中除问题类型之外的其他部分,这有助于克服语言先验。实验结果表明,该方法在VQA-CP v2上达到了最先进的性能。代码可从\href{https://github.com/wyk-nku/Distinguishing-VQA.git}{Distinguishing-VQA}获得。
2022-09-18 cs.CL cs.CV cs.MM
Fully Authentic Visual Question Answering Dataset from Online Communities
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft(微软公司);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出首个完全来自在线社区真实问答的VQA数据集VQAonline,评估六个先进模型,发现长答案挑战,并分析最佳评估指标。
2024-07-17 cs.CV
VQA Therapy: Exploring Answer Differences by Visually Grounding Answers
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
该研究针对视觉问答中答案存在差异的问题,推出首个提供答案视觉grounding的数据集VQAAnswerTherapy,提出两个相关新任务并基准测试现有算法,为理解答案差异成因提供数据与任务支撑。
2023-08-24 cs.CV
Self-Critical Reasoning for Robust Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)深度学习系统由于强语言先验而倾向于捕获训练数据中的表面统计相关性,并且无法推广到具有显著不同的问答(QA)分布的测试数据。为了解决这个问题,我们引入了一个自我批判的训练目标,确保正确答案的视觉解释比其他竞争性答案候选人更匹配最有影响力的图像区域。有影响力的区域要么是从人类视觉/文本解释中确定的,要么是从问题和答案中的重要单词中自动确定的。我们使用VQA-CP数据集评估我们在VQA泛化任务上的方法,实现了一个新的最先进的方法,即,49.5%使用文本解释,48.5%使用自动注释区域。
2019-12-30 cs.CL cs.CV
Assessing the Robustness of Visual Question Answering Models
Universiteit van Amsterdam(阿姆斯特丹大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
深度神经网络在视觉问答(VQA)任务中发挥着重要作用。直到最近,它们的准确性一直是研究的主要焦点。现在有一种趋势,即通过评估这些模型在VQA模型输入噪声水平增加的情况下的准确性,来评估这些模型对对抗攻击的鲁棒性。在VQA中,攻击可以针对图像和/或所提出的查询问题(称为主问题),但缺乏对VQA这方面的适当分析。在这项工作中,我们提出了一种新的方法,使用语义相关的问题,被称为基本问题,作为噪声来评估VQA模型的鲁棒性。我们假设,随着基本问题与主要问题的相似性降低,噪音水平增加。为了为给定的主要问题生成合理的噪音水平,我们根据基本问题与该主要问题的相似性对基本问题池进行排名。我们把这个排名问题作为一个LASSO优化问题。我们还提出了一个新的鲁棒性度量Rscore和两个大规模的基本问题数据集,以规范VQA模型的鲁棒性分析。实验结果表明,该方法能够有效地分析VQA模型的鲁棒性。为了促进VQA研究,我们将公布我们提出的数据集。
2022-03-03 cs.CL cs.CV
Natural Language Understanding and Inference with MLLM in Visual Question Answering: A Survey
Sun Yat-sen University(中山大学);Tsinghua University(清华大学);Worcester Polytechnic Institute(伍斯特理工学院)
该综述概述视觉问答(VQA)发展历程,详述多模态大语言模型(MLLMs)在VQA的自然语言理解、模态信息处理、知识推理方面的最新进展,还介绍数据集、评估指标及未来方向。
2024-11-26 cs.CL cs.CV
What's Different between Visual Question Answering for Machine "Understanding" Versus for Accessibility?
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
在视觉问答(VQA)中,机器必须回答给定的相关图像的问题。最近,可访问性研究人员探索了VQA是否可以部署在现实世界中,视觉障碍用户通过捕捉他们的视觉环境并提出问题来了解他们的环境。然而,大多数现有的VQA基准测试数据集都集中在机器“理解”上,目前还不清楚这些数据集的进展如何对应于这个真实用例的改进。我们的目标是通过评估各种VQA模型来评估机器“理解”数据集(VQA-v2)和可访问性数据集(VizWiz)之间的差异来回答这个问题。根据我们的研究结果,我们讨论了VQA的可访问性的机遇和挑战,并为未来的工作提出了建议。
2022-10-26 cs.AI cs.CL cs.CV
Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
National Yang Ming Chiao Tung University(阳明大学)
本文针对VQA-NLE系统提出图像扰动与问题扰动两种对抗攻击以暴露解释不一致性,并引入外部知识缓解方法提升模型鲁棒性,在标准基准上验证了攻击有效性与防御潜力。
2025-08-17 cs.AI cs.CL cs.CV
RadImageNet-VQA: A Large-Scale CT and MRI Dataset for Radiologic Visual Question Answering
Raidium;Université de Paris Cité, Hôpital Européen Georges Pompidou, AP-HP(巴黎西岱大学,乔治·蓬皮杜欧洲医院,AP-HP);Department of Vascular and Oncological Interventional Radiology, INSERM(血管与肿瘤介入放射学系,法国国家健康与医学研究院)
本文提出RadImageNet-VQA数据集,包含750万张图像和750万个问题-答案对,涵盖异常检测、解剖识别和病理识别三大任务,验证了视觉语言模型在细粒度病理识别上的局限性。
2026-03-30 cs.AI cs.CL cs.CV
'Just because you are right, doesn't mean I am wrong': Overcoming a Bottleneck in the Development and Evaluation of Open-Ended Visual Question Answering (VQA) Tasks
Arizona State University(亚利桑那州立大学)
GQA~ \citep{hudson2019gqa}是一个用于真实世界视觉推理和组合问答的数据集。我们发现,GQA数据集上最好的视觉语言模型预测的许多答案与地面实况答案不匹配,但在给定的上下文中仍然具有语义意义和正确性。事实上,大多数现有的视觉问答(VQA)数据集都是这种情况,它们假设每个问题只有一个真实答案。我们提出了替代答案集(AAS)的地面真理答案来解决这个限制,这是使用现成的NLP工具自动创建的。我们引入了基于AAS的语义度量,并修改了顶级VQA求解器,以支持问题的多个合理答案。我们在GQA数据集上实现了这种方法,并显示了性能的改进。代码和数据可在此链接\url{https://github.com/luomancs/alternative_answer_set.git}中获得。
2022-05-31 cs.CL
CS-VQA: Visual Question Answering with Compressively Sensed Images
Arizona State University(亚利桑那州立大学);Carnegie Mellon University(卡内基梅隆大学)
视觉问答是一个复杂的语义任务,需要自然语言处理和视觉识别。在本文中,我们探讨VQA是否是可解的图像时,被捕获在一个子奈奎斯特压缩范例。我们开发了一系列深度网络架构,利用可用的压缩数据来提高准确度,并表明VQA确实在压缩域中是可解的。我们的研究结果表明,使用压缩测量时,VQA性能有标称退化,但当VQA管道与最先进的深神经网络用于CS重建时,可以恢复精度。提出的结果产生重要的影响资源受限的VQA应用程序。
2018-06-08 cs.AI cs.CV
Improving VQA and its Explanations \\ by Comparing Competing Explanations
University of Texas at Austin(德克萨斯大学奥斯汀分校)
最新的最先进的视觉问答(VQA)系统是不透明的黑盒,其仅被训练以适应给定问题和视觉内容的答案分布。因此,这些系统经常走捷径,专注于简单的视觉概念或问题先验。随着问题变得复杂,需要更多的推理和常识知识,这种现象变得更加成问题。为了解决这个问题,我们提出了一个新的框架,使用竞争的答案,以帮助VQA系统选择正确的答案的解释。通过对人类文本解释进行训练,我们的框架为问题和视觉内容构建了更好的表示,然后使用从训练集中生成或检索的解释重新加权答案候选者的置信度。我们在VQA-X数据集上评估了我们的框架,该数据集具有更困难的问题,需要人工解释,在VQA及其解释方面都取得了新的最先进的结果。
2020-06-28 cs.CV
Reliable Visual Question Answering: Abstain Rather Than Answer Incorrectly
Meta AI;UC Berkeley(加州大学伯克利分校)
机器学习已经取得了巨大的进步,缩小了在视觉问答(VQA)等多模态任务中与人类的准确性差距。然而,虽然人类可以在不确定的时候说“我不知道”(即,避免回答问题),这种能力在多模态研究中被很大程度上忽视了,尽管这个问题对VQA在实际环境中的使用很重要。在这项工作中,我们促进了可靠的VQA的问题制定,我们更喜欢避免提供一个不正确的答案。我们首先为几个VQA模型启用了自动化功能,并分析了它们的覆盖率(回答问题的部分)和风险(该部分的错误)。为此,我们探索了几种预防方法。我们发现,尽管表现最好的模型在VQA v2数据集上达到了70%以上的准确率,但通过直接使用模型的softmax分数来引入弃权选项,限制了它们回答不到7.5%的问题,以实现低错误风险(即,1%)。这促使我们利用多模态选择函数来直接估计预测答案的正确性,我们表明这可以将覆盖率提高2.3倍,例如在1%的风险下从6.8%提高到15.6%。虽然分析覆盖率和风险很重要,但这些指标有一个权衡,这使得比较VQA模型具有挑战性。为了解决这个问题,我们还提出了一个有效的可靠性度量VQA,把一个更大的成本不正确的答案相比,弃权。这种新的问题公式化,度量和VQA分析为构建有效和可靠的VQA模型提供了基础,这些模型具有自我意识,当且仅当他们不知道答案时才弃权。
2022-10-20 cs.CV