OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
视觉问答(VQA)在其理想的形式,让我们研究在视觉和语言的联合空间的推理,并作为一个代理的人工智能任务的场景理解。然而,到目前为止,大多数VQA基准测试都集中在简单计数、视觉属性和目标检测等问题上,这些问题不需要超出图像内容的推理或知识。在本文中,我们解决了基于知识的视觉问答的任务,并提供了一个基准,称为OK-VQA,其中的图像内容是不足以回答的问题,鼓励依赖于外部知识资源的方法。我们的新数据集包括超过14,000个需要外部知识才能回答的问题。我们表明,在这种新的设置中,最先进的VQA模型的性能急剧下降。我们的分析表明,我们的基于知识的VQA任务是多样的,困难的,和以前的基于知识的VQA数据集相比大。我们希望这个数据集能够使研究人员在这一领域的研究开辟新的途径。请访问http://okvqa.allenai.org下载并浏览数据集。
2019-09-04 cs.CL cs.CV
C-VQA: A Compositional Split of the Visual Question Answering (VQA) v1.0 Dataset
Virginia Tech(弗吉尼亚理工大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Georgia Institute of Technology(佐治亚理工学院)
可视化问答(VQA)在过去的几年里受到了广泛的关注。已经为这个任务提出了许多深度学习模型。然而,事实证明,这些模型在很大程度上是由训练数据中的表面相关性驱动的,并且缺乏组合性--即回答关于可见概念的不可见组合的问题的能力。这种组合性是可取的,也是智能的核心。在本文中,我们提出了一个新的设置视觉问答的测试问题,答案对是组成新颖的训练问题,答案对。为了便于在此设置下开发模型,我们提出了VQA v1.0数据集的新组合分割,我们称之为组合VQA(C-VQA)。我们分析了问题和答案在C-VQA分裂中的分布。最后,我们评估了几个现有的VQA模型在这个新的设置,并表明这些模型的性能下降了显着的量相比,原来的VQA设置。
2017-04-26 cs.AI cs.CL cs.CV
VQA-LOL: Visual Question Answering under the Lens of Logic
Arizona State University(亚利桑那州立大学)
逻辑连接词及其对自然语言句子意义的影响是理解的一个基本方面。在本文中,我们调查是否视觉问答(VQA)系统训练回答一个问题的图像,能够回答多个这样的问题的逻辑组成。当置于此\textit{Lens of Logic}下时,最先进的VQA模型难以正确回答这些逻辑组成的问题。我们构建了一个增强的VQA数据集作为基准,问题包含逻辑成分和语言转换(否定,析取,连词和反义词)。我们提出了我们的{逻辑透镜(LOL)}模型,该模型使用问题注意和逻辑注意来理解问题中的逻辑连接词,并提出了一种新的Fréchet相容性损失,它确保了组成问题和组合问题的答案与推断的逻辑操作一致。我们的模型在学习逻辑成分的同时保持VQA的性能有了很大的提高。我们建议这项工作是通过在视觉理解中嵌入逻辑连接词来实现鲁棒性。
2020-07-15 cs.CL cs.CV
Attention on Attention: Architectures for Visual Question Answering (VQA)
Stanford University(斯坦福大学)
视觉问答(VQA)是深度学习研究中越来越热门的话题,需要将自然语言处理和计算机视觉模块协调到单一架构中。我们建立在该模型,在第一次在VQA的挑战,开发了13个新的注意力机制,并引入了一个简化的分类。我们执行了300 GPU小时的广泛超参数和架构搜索,并能够获得64.78%的评估分数,优于现有最先进的单一模型的验证分数63.15%。
2018-03-21 cs.AI cs.CL cs.CV
VQA-MHUG: A Gaze Dataset to Study Multimodal Neural Attention in Visual Question Answering
University of Stuttgart(斯图加特大学);University of Groningen(格罗宁根大学)
VQA-MHUG数据集用于研究视觉问答中多模态神经注意机制,发现文本注意与模型性能的相关性是提升VQA性能的关键因素。
2021-09-27 cs.CL cs.CV
IQ-VQA: Intelligent Visual Question Answering
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
尽管在可视化问答领域已经取得了巨大的进步,但今天的模型仍然倾向于不一致和脆弱。为此,我们提出了一个模型独立的循环框架,增加了一致性和鲁棒性的任何VQA架构。我们训练我们的模型来回答原始问题,基于答案生成一个含义,然后还学习正确地回答生成的含义。作为循环框架的一部分,我们提出了一种新的隐含生成器,它可以从任何问答对中生成隐含问题。作为未来一致性工作的基线,我们提供了一个新的人类注释VQA-影响数据集。该数据集由约30 k个问题组成,包含3种类型的含义-逻辑等价、必要条件和互斥-由VQA v2.0验证数据集生成。我们表明,我们的框架在基于规则的数据集上将VQA模型的一致性提高了约15%,在VQA-Implications数据集上提高了约7%,鲁棒性提高了约2%,而不会降低其性能。此外,我们还定量地显示了注意力地图的改善,这突出了对视觉和语言的更好的多模态理解。
2020-07-08 cs.CL cs.CV
VQA: Visual Question Answering
Virginia Tech(弗吉尼亚理工大学);Microsoft Research(微软研究院);Facebook AI Research(Facebook人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了自由形式和开放式可视问答(VQA)的任务。给定图像和关于图像的自然语言问题,任务是提供准确的自然语言答案。在真实世界的场景中,比如帮助视障人士,问题和答案都是开放式的。视觉问题选择性地针对图像的不同区域,包括背景细节和潜在上下文。因此,在VQA方面取得成功的系统通常需要比生成通用图像标题的系统更详细地理解图像和复杂的推理。此外,VQA是服从自动评估,因为许多开放式的答案只包含几个字或一个封闭的答案,可以提供一个多项选择的格式。我们提供了一个包含约0.25M图像,约0.76M问题和约10M答案的数据集(www.visualqa.org),并讨论了它提供的信息。提供了许多VQA的基线和方法,并与人的表现进行了比较。我们的VQA演示可在CloudCV(http://cloudcv.org/vqa)上获得。
2016-10-27 cs.CL cs.CV
Visual Question Answering: Datasets, Algorithms, and Future Challenges
Rochester Institute of Technology(罗切斯特理工学院)
视觉问答(VQA)是计算机视觉和自然语言处理中的一个新问题,已经引起了深度学习,计算机视觉和自然语言处理社区的大量兴趣。在VQA中,算法需要回答关于图像的基于文本的问题。自2014年发布第一个VQA数据集以来,已经发布了更多数据集并提出了许多算法。在这篇综述中,我们批判性地研究了VQA在问题制定、现有数据集、评估指标和算法方面的现状。特别是,我们讨论了目前的数据集的局限性,他们的能力,正确的训练和评估VQA算法。然后,我们详尽审查现有的算法VQA。最后,我们讨论了VQA和图像理解研究未来可能的方向。
2017-06-15 cs.AI cs.CL cs.CV
VQABQ: Visual Question Answering by Basic Questions
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
该方法以图像和问题作为输入,输出与图像相关的基于文本的查询答案,即可视化问答(VQA)。在我们的算法中有两个主要模块。给定一个关于图像的自然语言问题,第一模块将该问题作为输入,然后输出主给定问题的基本问题。第二模块以主问题、图像和这些基本问题作为输入,然后输出主问题的基于文本的答案。我们将基本问题生成问题表示为一个LASSO优化问题,并提出了一个如何利用这些基本问题来帮助回答主问题的准则。我们的方法在具有挑战性的VQA数据集上进行了评估,并在开放式任务中获得了最先进的准确率,为60.34%。
2017-08-28 cs.CL cs.CV
Generating Question Relevant Captions to Aid Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)和图像描述需要连接语言和视觉的通用知识的共享主体。我们提出了一种新的方法来提高VQA的性能,利用这种连接,共同生成的标题,有针对性地帮助回答一个特定的视觉问题。该模型使用现有的字幕数据集进行训练,通过使用基于在线梯度的方法自动确定问题相关的字幕。VQA v2挑战的实验结果表明,我们的方法通过同时生成与问题相关的标题,获得了最先进的VQA性能(例如,使用单个模型在测试标准集上达到68.4%)。
2020-01-03 cs.CL cs.CV
REVIVE: Regional Visual Representation Matters in Knowledge-Based Visual Question Answering
University of Washington(华盛顿大学);Microsoft(微软)
本文回顾了基于知识的视觉问答(VQA)中的视觉表示,并证明了更好地利用区域信息可以显着提高性能。虽然视觉表示在传统的VQA中得到了广泛的研究,但在基于知识的VQA中,尽管这两个任务具有共同的精神,即,依靠视觉输入来回答问题。具体而言,我们观察到大多数基于知识的VQA方法都存在以下问题:1)从整幅图像或以滑动窗口方式提取视觉特征来获取知识,而忽略了对象区域内部/之间的重要关系; 2)视觉特征在最终的回答模型中没有得到很好的利用,这在一定程度上是违反直觉的。基于这些观察,我们提出了一个新的基于知识的VQA方法REVIVE,它试图利用对象区域的显式信息,不仅在知识检索阶段,而且在回答模型。其主要动机是对象区域和内在关系对于基于知识的VQA非常重要。我们在标准OK-VQA数据集上进行了广泛的实验,并实现了新的最先进的性能,即,准确率为58.0%,大大超过了之前最先进的方法(+3.6%)。我们还进行了详细的分析,并显示区域信息的必要性,在不同的框架组件基于知识的VQA。代码可在www.example.com上公开获取。
2022-10-10 cs.CL cs.CV
Zero-Shot Visual Question Answering
Australian Centre for Visual Technologies(澳大利亚视觉技术中心);The University of Adelaide(阿德莱德大学)
视觉问答(VQA)的部分吸引力在于它承诺回答关于以前看不见的图像的新问题。大多数当前的方法需要说明每一个可能概念的训练问题,并且因此永远不会实现这种能力,因为所需的训练数据的量将是令人望而却步的。解决关于图像的一般问题需要能够进行Zero-Shot VQA的方法,即能够回答超出训练问题范围的问题的方法。我们提出了一个新的VQA方法的评估协议,衡量他们的能力,执行Zero-Shot VQA,并在这样做突出了显着的实际缺陷,目前的方法,其中一些是掩盖在当前数据集的偏见。我们提出并评估了几种实现Zero-Shot VQA的策略,包括基于预训练词嵌入的方法,具有语义嵌入的对象分类器,以及示例图像的测试时检索。我们广泛的实验旨在作为Zero-Shot VQA的基线,并且它们还在标准VQA评估设置中实现了最先进的性能。
2016-11-20 cs.AI cs.CL cs.CV
Don't Just Assume; Look and Answer: Overcoming Priors for Visual Question Answering
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(脸书人工智能研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
许多研究发现,今天的视觉问答(VQA)模型在很大程度上是由训练数据中的表面相关性驱动的,并且缺乏足够的图像基础。为了鼓励面向后者的模型的发展,我们提出了一个新的设置VQA的每一个问题类型,训练和测试集有不同的先验分布的答案。具体来说,我们提出了VQA v1和VQA v2数据集的新分割,我们称之为改变先验条件下的可视化问答(分别为VQA-CP v1和VQA-CP v2)。首先,我们评估了几个现有的VQA模型在这个新的设置,并表明其性能显着下降相比,原来的VQA设置。其次,我们提出了一种新的接地视觉问答模型(GVQA),其中包含归纳偏见和限制的架构专门设计,以防止该模型的“作弊”,主要依靠先验的训练数据。具体来说,GVQA明确地将图像中存在的视觉概念的识别与给定问题的合理答案空间的识别分开,使模型能够更稳健地概括不同的答案分布。GVQA是建立在现有的VQA模型之上的--堆叠注意力网络(SAN)。我们的实验表明,GVQA在VQA-CP v1和VQA-CP v2数据集上的性能明显优于SAN。有趣的是,它在几种情况下也优于更强大的VQA模型,如多模态紧凑双线性池(MCB)。在原始VQA v1和VQA v2数据集上进行培训和评估后,GVQA提供了与SAN互补的优势。最后,GVQA比现有的VQA模型更加透明和可解释。
2018-06-03 cs.AI cs.CL cs.CV
Learning Sparse Mixture of Experts for Visual Question Answering
Mila(米拉);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔高等理工学院)
随着模型结构的改进,可视化问答的任务取得了快速的进展。不幸的是,这些模型通常是计算密集型的,由于其庞大的规模,这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答(VQA)的具体任务。卷积神经网络(CNN)是VQA模型的视觉处理管道的组成部分(假设CNN与整个VQA模型一起训练)。在这个项目中,我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明,一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
RAMM: Retrieval-augmented Biomedical Visual Question Answering with Multi-modal Pre-training
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
视觉-语言多模态预训练和微调在视觉问答(VQA)中取得了巨大的成功。与一般领域的VQA相比,生物医学VQA的性能受到数据的限制。在本文中,我们提出了一个检索增强预训练和微调范式命名为RAMM生物医学VQA,以克服数据限制的问题。具体来说,我们收集了一个新的生物医学数据集PMCPM,它提供了基于患者的图像-文本对,包含来自PubMed的不同患者情况。然后,我们对生物医学多模态模型进行预训练,以学习图像-文本对的视觉和文本表示,并将这些表示与图像-文本对比目标(ITC)对齐。最后,我们提出了一个检索增强的方法,以更好地利用有限的数据。我们提出从预训练数据集中检索基于ITC的相似图像-文本对,并引入一种新的检索注意力模块来融合图像和问题的表示与检索到的图像和文本。实验表明,我们的检索增强预训练和微调范式在Med-VQA 2019,Med-VQA 2021,VQARAD和SLAKE数据集上获得了最先进的性能。进一步的分析表明,所提出的RAMM和PMCPM可以提高生物医学VQA性能相比,以前的资源和方法。我们将开源我们的数据集,代码和预训练模型。
2023-03-01 cs.CL cs.CV
Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
National Yang Ming Chiao Tung University(阳明大学)
本文针对VQA-NLE系统提出图像扰动与问题扰动两种对抗攻击以暴露解释不一致性,并引入外部知识缓解方法提升模型鲁棒性,在标准基准上验证了攻击有效性与防御潜力。
2025-08-17 cs.AI cs.CL cs.CV
Estimating semantic structure for the VQA answer space
Orange Labs(Orange实验室);Université de Lyon(里昂大学);INSA-Lyon(里昂国立应用科学学院);LIRIS(里昂信息与图像研究实验室);UMR CNRS 5205(法国国家科研中心联合研究单位5205)
自视觉问答(VQA,即回答在图像上提出的问题)出现以来,一直被视为一组预定义答案的分类问题。尽管它很方便,但这种分类方法很难反映问题的语义,将回答限制在独立建议之间的选择,而不考虑它们之间的相似性(例如,同样惩罚回答猫或德国牧羊犬而不是狗)。我们解决这个问题,提出(1)两个措施之间的接近VQA类,和(2)相应的损失,考虑到估计的接近。这通过减少语言偏差显著提高了VQA模型的泛化能力。特别是,我们表明,我们的方法是完全模型不可知的,因为它允许与三个不同的VQA模型一致的改进。最后,通过将我们的方法与语言偏差减少方法相结合,我们在具有挑战性的VQAv 2-CP数据集上报告了SOTA级别的性能。
2021-04-08 cs.CL cs.CV
Context-VQA: Towards Context-Aware and Purposeful Visual Question Answering
Stanford University(斯坦福大学)
本研究提出Context-VQA数据集,将图像与网站类型配对,证明上下文显著影响问题类型,强调VQA模型需上下文感知以满足用户需求。
2023-08-30 cs.CL cs.CV
Human-Adversarial Visual Question Answering
Facebook AI Research(脸书人工智能研究院);Tecnológico de Monterrey(蒙特雷理工学院)
最常用的可视化问答数据集(VQA v2)的性能开始接近人类的准确性。然而,在与最先进的VQA模型交互时,很明显问题远未得到解决。为了对VQA模型进行压力测试,我们将其与人类对抗性示例进行基准测试。人类受试者与最先进的VQA模型进行交互,并针对数据集中的每个图像,尝试找到模型预测答案不正确的问题。我们发现,广泛的国家的最先进的模型在这些例子进行评估时表现不佳。我们对收集到的对抗性例子进行了广泛的分析,并为未来的研究方向提供了指导。我们希望这个对抗性VQA(AdVQA)基准测试可以帮助推动该领域的进步,并推动最新技术的发展。
2021-06-04 cs.CL cs.CV
3D-Aware Visual Question Answering about Parts, Poses and Occlusions
Johns Hopkins University(约翰斯·霍普金斯大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Freiburg(弗莱堡大学)
本文提出3D感知VQA任务,并构建Super-CLEVR-3D数据集与PO3D-VQA模型,结合概率神经符号推理和3D生成式表示,在部件、姿态与遮挡推理上显著超越现有方法,但仍与2D VQA存在明显性能差距。
2023-10-27 cs.CL cs.CV
Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions?
Virginia Tech(弗吉尼亚理工大学);Facebook AI Research(脸书人工智能研究院)
我们对视觉问答(VQA)中的“人类注意力”进行了大规模研究,以了解人类在回答有关图像的问题时会选择哪里。我们设计并测试了多个游戏启发的新颖注意力注释界面,这些界面要求受试者锐化模糊图像的区域以回答问题。因此,我们引入VQA-HAT(人类注意力)数据集。我们评估了由最先进的VQA模型生成的注意力地图对人类注意力的定性(通过可视化)和定量(通过排序相关性)。总的来说,我们的实验表明,目前VQA中的注意力模型似乎并不像人类那样关注相同的区域。
2016-06-17 cs.CL cs.CV
Reducing Language Biases in Visual Question Answering with Visually-Grounded Question Encoder
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最近的研究表明,目前的VQA模型严重偏向于训练集中的语言先验来回答问题,而与图像无关。例如,在一个示例中,绝大多数人把“什么运动”回答为“网球”或把“香蕉什么颜色”回答为“黄色”。“这种行为限制了他们在现实世界的应用场景中的应用。在这项工作中,我们提出了一种新的模型无关的问题编码器,视觉接地问题编码器(VGQE),VQA,减少这种影响。VGQE在编码问题时平等地利用视觉和语言模态。因此,问题表示本身得到了充分的视觉基础,从而减少了模型对语言先验的依赖。我们证明了VGQE对三个最近的VQA模型的影响,并在VQAv 2数据集的偏差敏感分裂上取得了最先进的结果; VQA-CPv 2。此外,与现有的偏差减少技术不同,在标准VQAv 2基准测试中,我们的方法不会降低准确性;相反,它提高了性能。
2020-07-18 cs.CL cs.CV
SlideVQA: A Dataset for Document Visual Question Answering on Multiple Images
NTT Human Informatics Laboratories, NTT Corporation(日本电信电话株式会社人类信息学实验室)
包含文本、视觉和布局信息的文档图像上的视觉问答,称为文档VQA,近来受到了广泛的关注。尽管已经提出了许多数据集用于开发文档VQA系统,但大多数现有数据集都专注于理解单个图像内的内容关系,而不是多个图像之间的内容关系。在这项研究中,我们提出了一个新的多图像文档VQA数据集,SlideVQA,包含2.6k+幻灯片甲板组成的52k+幻灯片图像和14.5k问题的幻灯片甲板。SlideVQA需要复杂的推理,包括单跳、多跳和数值推理,并提供数值答案的注释算术表达式,以增强数值推理能力。此外,我们开发了一个新的端到端的文档VQA模型,将证据选择和问答在一个统一的序列到序列的格式。在SlideVQA上的实验表明,我们的模型优于现有的最先进的QA模型,但它仍然与人类的表现有很大的差距。我们相信,我们的数据集将促进对文件VQA的研究。
2023-01-12 cs.CL cs.CV
What's Different between Visual Question Answering for Machine "Understanding" Versus for Accessibility?
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
在视觉问答(VQA)中,机器必须回答给定的相关图像的问题。最近,可访问性研究人员探索了VQA是否可以部署在现实世界中,视觉障碍用户通过捕捉他们的视觉环境并提出问题来了解他们的环境。然而,大多数现有的VQA基准测试数据集都集中在机器“理解”上,目前还不清楚这些数据集的进展如何对应于这个真实用例的改进。我们的目标是通过评估各种VQA模型来评估机器“理解”数据集(VQA-v2)和可访问性数据集(VizWiz)之间的差异来回答这个问题。根据我们的研究结果,我们讨论了VQA的可访问性的机遇和挑战,并为未来的工作提出了建议。
2022-10-26 cs.AI cs.CL cs.CV
WeaQA: Weak Supervision via Captions for Visual Question Answering
Arizona State University(亚利桑那州立大学)
用于训练视觉问答(VQA)模型的方法假设具有人类注释的\textit{Image-Question-Answer}(I-Q-A)三元组的数据集的可用性。这导致了对数据集的严重依赖,并且缺乏对新类型问题和场景的概括。语言先验知识以及注释者主观性导致的偏见和错误已被证明会渗透到根据此类样本训练的VQA模型中。我们研究了模型是否可以在没有任何人类注释的Q-A对的情况下进行训练,而只能使用图像及其相关的文本描述或标题。我们提出了一种方法来训练模型与合成Q-A对产生的字幕程序。此外,我们证明了空间金字塔图像补丁作为一个简单而有效的替代密集和昂贵的对象限界框注释在现有的VQA模型的功效。我们在三个VQA基准上的实验证明了这种弱监督方法的有效性,特别是在VQA-CP挑战中,该挑战测试了在不断变化的语言先验下的性能。
2021-05-28 cs.CL cs.CV
Tri-VQA: Triangular Reasoning Medical Visual Question Answering for Multi-Attribute Analysis
School of Computing;Artificial Intelligence Southwest Jiaotong University Chengdu, China;Artificial Intelligence Southwest Jiaotong University Chengdu, China z\ c\;Institute of Innovative Research Tokyo Institute of Technology Yokohama, Japan
针对现有医学视觉问答方法结果可信度不足的问题,提出基于因果效应的Tri-VQA三角推理框架,通过构建反向因果问题优化推理过程,在多中心内镜超声等医学VQA数据集上表现优于现有方法。
2024-06-21 cs.AI cs.CL cs.CV
Good, Better, Best: Textual Distractors Generation for Multiple-Choice Visual Question Answering via Reinforcement Learning
Arizona State University(亚利桑那州立大学);Emory University(埃默里大学)
近年来,多项选择问题越来越受到研究者和用户的关注。随着自动构建大规模多项选择VQA数据的需求不断增长,我们引入了一种新的任务,称为文本干扰生成VQA(DG-VQA),专注于生成具有挑战性但有意义的干扰,给出上下文图像,问题和正确答案。DG-VQA任务的目的是在没有地面实况训练样本的情况下生成干扰项,因为这些资源很少可用。为了解决DG-VQA无监督,我们提出了Gobbet,一个基于强化学习(RL)的框架,利用预先训练的VQA模型作为替代知识库,以指导分心物生成过程。在Gobbet中,预先训练的VQA模型作为RL设置中的环境,为输入的多模态查询提供反馈,而神经干扰素生成器作为代理采取相应的行动。我们建议使用现有的VQA模型的性能下降的指标的质量产生的干扰。另一方面,我们通过数据增强实验展示了生成的干扰项的实用性,因为当AI模型应用于不可预测的开放域场景或安全敏感的应用程序时,鲁棒性越来越重要。我们进一步进行手动案例研究的因素,为什么分心产生的Gobbet可以愚弄现有的模型。
2022-04-18 cs.CL cs.CV
Multi-Agent VQA: Exploring Multi-Agent Foundation Models in Zero-Shot Visual Question Answering
University of Pennsylvania(宾夕法尼亚大学)
本文提出自适应多智能体系统 Multi-Agent VQA,通过将专门化智能体作为工具克服基础模型在目标检测与计数上的局限,探索其在零样本视觉问答任务中的性能表现,并展示初步实验结果与失败案例以指明未来研究方向。
2024-03-21 cs.AI cs.CL cs.CV
LPF: A Language-Prior Feedback Objective Function for De-biased Visual Question Answering
Sun Yat-sen University(中山大学)
现有的视觉问答(VQA)系统往往过于依赖语言偏见,因此无法从视觉线索进行推理。为了解决这个问题,我们提出了一种新的前置反馈(LPF)目标函数,重新平衡每个答案的损失值在总VQA损失的比例。LPF首先使用仅问题分支计算调制因子以确定语言偏差。然后,LPF在训练过程中为每个训练样本分配自适应权重。通过这种重新加权机制,LPF确保总VQA损耗可以重新整形为更平衡的形式。通过这种方式,需要某些视觉信息来预测的样本将在训练期间被有效地使用。我们的方法易于实现,与模型无关,并且端到端可训练。我们进行了大量的实验,结果表明,LPF(1)带来了显着的改善,各种VQA模型,(2)实现有竞争力的性能偏置敏感的VQA-CP v2基准。
2021-06-23 cs.CL cs.CV
Natural Language Understanding and Inference with MLLM in Visual Question Answering: A Survey
Sun Yat-sen University(中山大学);Tsinghua University(清华大学);Worcester Polytechnic Institute(伍斯特理工学院)
该综述概述视觉问答(VQA)发展历程,详述多模态大语言模型(MLLMs)在VQA的自然语言理解、模态信息处理、知识推理方面的最新进展,还介绍数据集、评估指标及未来方向。
2024-11-26 cs.CL cs.CV
Overcoming Language Priors in Visual Question Answering via Distinguishing Superficially Similar Instances
Nankai University(南开大学);Mashang Consumer Finance Co, Ltd(马上消费金融股份有限公司)
尽管视觉问答(VQA)取得了很大的进步,但当前的VQA模型严重依赖于问题类型及其对应的频繁答案之间的表面相关性(即,语言先验)进行预测,而无需真正理解输入。在这项工作中,我们定义的训练实例具有相同的问题类型,但不同的答案为\textit{superficially similar instances},并归因于语言先验的VQA模型对这样的实例的混乱。为了解决这个问题,我们提出了一个新的训练框架,明确鼓励VQA模型区分表面上相似的实例。具体来说,对于每个训练实例,我们首先构建一个包含其表面相似的对应物的集合。然后,我们利用提出的区分模块,以增加之间的距离的实例和它的答案空间中的同行。通过这种方式,VQA模型被迫进一步关注输入中除问题类型之外的其他部分,这有助于克服语言先验。实验结果表明,该方法在VQA-CP v2上达到了最先进的性能。代码可从\href{https://github.com/wyk-nku/Distinguishing-VQA.git}{Distinguishing-VQA}获得。
2022-09-18 cs.CL cs.CV cs.MM
Generative Bias for Robust Visual Question Answering
KAIST(韩国科学技术院);Hanyang University(汉阳大学)
视觉问答(VQA)的任务是众所周知的困扰的问题,VQA模型利用数据集内的偏见,使其最终的预测。已经提出了各种先前的基于系综的去偏置方法,其中附加模型被有目的地训练为偏置,以便训练鲁棒目标模型。然而,这些方法仅从训练数据的标签统计或从单个模态分支计算模型的偏差。在这项工作中,为了更好地学习目标VQA模型所遭受的偏差,我们提出了一种生成方法来直接从目标模型训练偏差模型,称为GenB。具体而言,GenB采用生成网络来通过对抗性目标和知识蒸馏的组合来学习目标模型中的偏差。然后,我们使用GenB作为偏差模型对我们的目标模型进行去偏差,并通过广泛的实验展示了我们的方法对各种VQA偏差数据集的影响,包括VQA-CP 2,VQA-CP 1,GQA-OOD和VQA-CE,并在VQA-CP 2上显示了LXMERT架构的最新结果。
2023-03-22 cs.AI cs.CL cs.CV
RadImageNet-VQA: A Large-Scale CT and MRI Dataset for Radiologic Visual Question Answering
Raidium;Université de Paris Cité, Hôpital Européen Georges Pompidou, AP-HP(巴黎西岱大学,乔治·蓬皮杜欧洲医院,AP-HP);Department of Vascular and Oncological Interventional Radiology, INSERM(血管与肿瘤介入放射学系,法国国家健康与医学研究院)
本文提出RadImageNet-VQA数据集,包含750万张图像和750万个问题-答案对,涵盖异常检测、解剖识别和病理识别三大任务,验证了视觉语言模型在细粒度病理识别上的局限性。
2026-03-30 cs.AI cs.CL cs.CV
Co-attending Free-form Regions and Detections with Multi-modal Multiplicative Feature Embedding for Visual Question Answering
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);East China Normal University(华东师范大学)
近年来,视觉问答(VQA)任务在人工智能中受到越来越多的关注。现有的VQA方法主要采用视觉注意力机制将输入问题与相应的图像区域相关联,以实现有效的问答。主要研究了基于自由形状区域和基于检测的视觉注意力机制,前者关注自由形状图像区域,后者关注预先指定的检测框区域。我们认为,这两种注意力机制能够提供互补的信息,并应有效地整合,以更好地解决VQA问题。在本文中,我们提出了一种新的深度神经网络VQA,它集成了两种注意力机制。我们提出的框架有效地融合功能,从自由形式的图像区域,检测框,并通过多模态乘法特征嵌入方案的问题表示,共同出席问题相关的自由形式的图像区域和检测框更准确的问答。该方法在两个公开的数据集COCO-QA和VQA上进行了广泛的评估,并优于最先进的方法。源代码可在https://github.com/lupantech/dual-mfa-vqa上获得。
2017-12-12 cs.AI cs.CL cs.CV
Assessing the Robustness of Visual Question Answering Models
Universiteit van Amsterdam(阿姆斯特丹大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
深度神经网络在视觉问答(VQA)任务中发挥着重要作用。直到最近,它们的准确性一直是研究的主要焦点。现在有一种趋势,即通过评估这些模型在VQA模型输入噪声水平增加的情况下的准确性,来评估这些模型对对抗攻击的鲁棒性。在VQA中,攻击可以针对图像和/或所提出的查询问题(称为主问题),但缺乏对VQA这方面的适当分析。在这项工作中,我们提出了一种新的方法,使用语义相关的问题,被称为基本问题,作为噪声来评估VQA模型的鲁棒性。我们假设,随着基本问题与主要问题的相似性降低,噪音水平增加。为了为给定的主要问题生成合理的噪音水平,我们根据基本问题与该主要问题的相似性对基本问题池进行排名。我们把这个排名问题作为一个LASSO优化问题。我们还提出了一个新的鲁棒性度量Rscore和两个大规模的基本问题数据集,以规范VQA模型的鲁棒性分析。实验结果表明,该方法能够有效地分析VQA模型的鲁棒性。为了促进VQA研究,我们将公布我们提出的数据集。
2022-03-03 cs.CL cs.CV
FRAMES-VQA: Benchmarking Fine-Tuning Robustness across Multi-Modal Shifts in Visual Question Answering
Georgia Institute of Technology(佐治亚理工学院)
提出FRAMES-VQA基准,整合十个VQA数据集,分类ID与近/远OOD,评估鲁棒微调方法,量化多模态偏移,指导开发更鲁棒的微调策略。
2025-06-20 cs.AI cs.CL cs.CV
Generalizing Visual Question Answering from Synthetic to Human-Written Questions via a Chain of QA with a Large Language Model
Radisen Co. Ltd.(瑞迪森公司);Seoul National University(首尔大学)
针对VQA模型在人工编写复杂问题上表现不佳的问题,提出CoQAH方法,通过大语言模型与合成数据训练的VQA模型间的QA交互链进行推理,在3D渲染和胸部X光数据集上达到SOTA且无需微调。
2024-08-22 cs.CL cs.CV
Joint Image Captioning and Question Answering
Department of Computer Science(计算机科学系);The University of Texas at Austin(德克萨斯大学奥斯汀分校);cs.utexas.edu(德克萨斯大学奥斯汀分校计算机科学系(注:此处原文本中cs.utexas.edu为邮箱域名,按规则不应提取为机构,正确应为The University of Texas at Austin))
提出视觉问题需要获取日常常识,并对图像中不同部分之间的语义联系进行建模,这对于VQA系统来说太难了,只能从答案中学习。同时,使用束搜索策略的图像描述系统倾向于生成相似的字幕并且不能区分描述图像。为了解决上述问题,我们提出了一个系统,使这两个任务相互补偿,这是能够联合产生图像字幕和回答视觉问题。特别是,我们利用问题和图像的功能来生成问题相关的字幕,并使用生成的字幕作为额外的功能,提供新的知识的VQA系统。对于图像描述,我们的系统在VQA任务的相对改进以及使用自动化度量的竞争结果方面获得了更多信息的结果。将我们的系统应用于VQA任务,我们在VQA v2数据集上的结果使用生成的标题达到65.8%,在验证集中使用注释标题达到69.1%,在测试标准集中达到68.4%。此外,10个模型的集合导致69.7%的测试标准分裂。
2018-05-22 cs.CL cs.CV
Hierarchical Question-Image Co-Attention for Visual Question Answering
Virginia Tech(弗吉尼亚理工大学);Georgia Institute of Technology(佐治亚理工学院)
许多最近的工作已经提出了视觉问答(VQA)的注意力模型,产生的空间地图突出图像区域相关的回答问题。在本文中,我们认为,除了建模“在哪里看”或视觉注意,它是同样重要的建模“什么话听”或问题的注意。我们提出了一种新的共同注意模型的VQA,共同的原因图像和问题的注意。此外,我们的模型通过新颖的一维卷积神经网络(CNN)以分层方式对问题(以及因此通过共同注意力机制对图像)进行推理。我们的模型将VQA数据集的最新技术水平从60.3%提高到60.5%,将COCO-QA数据集的最新技术水平从61.6%提高到63.3%。通过使用ResNet,VQA的性能进一步提高到62.1%,COCO-QA的性能进一步提高到65.4%。
2017-01-19 cs.CL cs.CV
Multimodal Integration of Human-Like Attention in Visual Question Answering
University of Stuttgart(斯图加特大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
MULAN通过整合文本和图像显著性模型的注意预测,提升了VQA模型的性能,同时减少参数数量,达到新的准确率水平。
2021-09-27 cs.CL cs.CV
Achieving Human Parity on Visual Question Answering
Alibaba Group(阿里巴巴集团)
视觉问答(VQA)任务利用视觉图像和语言分析来回答关于图像的文本问题。在过去的十年里,它一直是一个热门的研究课题,越来越多的实际应用。本文描述了我们最近对AliceMind-MMU(达摩院机器智能实验室的ALIbaba's Collection of Encoder-decoders from Machine IntelligenceLab of Damo Academy - MultiMedia Understanding)的研究,它在VQA上获得了与人类相似甚至略好的结果。这是通过系统地改进VQA管道来实现的,包括:(1)使用全面的视觉和文本特征表示进行预训练;(2)有效的跨模态交互与学习参与;以及(3)具有用于复杂VQA任务的专业专家模块的新型知识挖掘框架。用相应的专业知识来处理不同类型的视觉问题,在将我们的VQA架构的性能提升到人类水平方面起着重要的作用。一组广泛的实验和分析进行了证明新的研究工作的有效性。
2021-11-19 cs.CL cs.CV
Discovering the Unknown Knowns: Turning Implicit Knowledge in the Dataset into Explicit Training Examples for Visual Question Answering
The Ohio State University(俄亥俄州立大学)
视觉问答(VQA)具有挑战性,不仅因为模型必须处理多模态信息,还因为很难收集足够的训练样本-人们可以问太多关于图像的问题。因此,仅在人工注释的示例上训练的VQA模型很容易过度拟合特定的问题风格或被问到的图像内容,从而使模型在很大程度上忽略了问题的多样性。现有的方法主要通过引入辅助任务来解决这个问题,例如视觉接地,循环一致性或去偏置。在本文中,我们采取了一种完全不同的方法。我们发现,学习VQA模型的许多“未知数”在数据集中确实是隐式“已知”的。例如,询问不同图像中的相同对象的问题可能是释义;图像中检测到或注释的对象的数量已经提供了“多少”问题的答案,即使该问题尚未针对该图像进行注释。基于这些见解,我们提出了一个简单的数据增强管道SimpleAug,将这种“已知”的知识转化为VQA的训练样本。我们表明,这些增强的例子可以显着提高学习的VQA模型的性能,不仅在VQA-CP数据集与语言先验移位,而且在VQA v2数据集没有这样的移位。我们的方法进一步打开了一扇大门,以原则性的方式利用弱标记或未标记的图像来增强VQA模型。我们的代码和数据可在https://github.com/heendung/simpleAUG上公开获取。
2022-11-08 cs.CL cs.CV
Visual Question Answering using Deep Learning: A Survey and Performance Analysis
Indian Institute of Information Technology(印度信息技术学院)
视觉问答(VQA)任务将处理数据的挑战与视觉和语言处理相结合,以回答有关给定图像的基本“常识”问题。给定图像和自然语言中的问题,VQA系统尝试使用图像的视觉元素和从文本问题收集的推断来找到其正确答案。在本次调查中,我们涵盖并讨论了VQA领域最近发布的数据集,这些数据集涉及各种类型的问题格式和机器学习模型的鲁棒性。接下来,我们将讨论新的深度学习模型,这些模型在VQA数据集上显示出有希望的结果。最后,我们给出并讨论了我们在vanilla VQA模型,Stacked Attention Network和VQA Challenge 2017获奖模型上计算的一些结果。我们还提供了详细的分析以及面临的挑战和未来的研究方向。
2020-12-23 cs.AI cs.CL cs.CV
The Color of the Cat is Gray: 1 Million Full-Sentences Visual Question Answering (FSVQA)
The University of Tokyo(东京大学)
视觉问答任务是人工智能中最重要的两个组成部分,它将语言和视觉的交互作用推向了一个新的阶段。然而,它主要集中在生成简短和重复的答案,主要是单个单词,这与人类丰富的语言能力不符。我们介绍了全句子视觉问答(FSVQA)数据集,包括近100万对图像的问题和全句子答案,通过将一些基于规则的自然语言处理技术应用于MS COCO数据集中的原始VQA数据集和标题。这给传统的VQA任务带来了许多额外的复杂性,我们为接近和评估任务提供了一个基线,在此基础上,我们邀请研究界进一步改进。
2016-09-21 cs.CL cs.CV
VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering
KDDI Research(KDDI研究所);Stanford University(斯坦福大学)
提出VQA-GNN模型,通过超级节点连接场景图与概念图并利用多模态GNN进行双向融合与跨模态消息传递,在VCR和GQA任务上显著提升了视觉问答的概念级推理性能。
2023-09-15 cs.AI cs.CL cs.CV
A Symmetric Dual Encoding Dense Retrieval Framework for Knowledge-Intensive Visual Question Answering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文面向KI-VQA提出由DEDR检索器与MM-FiD阅读器组成的流程,通过双编码共享嵌入、迭代知识蒸馏和多模态解码器内融合,显著提升OK-VQA与FVQA性能。
2023-04-26 cs.CL cs.CV cs.IR
Dual Recurrent Attention Units for Visual Question Answering
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
视觉问答(VQA)要求AI模型理解视觉和文本两个领域的数据。当前最先进的模型使用学习的注意力机制从输入域提取相关信息来回答某个问题。因此,强大的注意力机制是强大的VQA模型必不可少的。在本文中,我们提出了一个循环的注意力机制,并显示其优势相比,传统的卷积方法。我们进行了两项消融研究,以评估复发性注意。首先,我们引入了一个具有视觉注意力的基线VQA模型,并在VQA 2.0数据集上测试了卷积注意力和递归注意力之间的性能差异。其次,我们设计了一个架构VQA,它利用双重(文本和视觉)循环注意单元(RAU)。使用这个模型,我们展示了所有可能的递归和卷积双重注意组合的效果。我们的单一模型在VQA 2016挑战赛中的表现优于第一名,据我们所知,它是VQA 1.0数据集上表现第二好的单一模型。此外,我们的模型在VQA 2017挑战赛的获胜者身上有明显的改进。此外,我们实验用我们的RAU替换最先进模型中的注意力机制,并显示出更高的性能。
2019-03-26 cs.AI cs.CL cs.CV
MaXM: Towards Multilingual Visual Question Answering
Google Research(谷歌研究院)
本文针对多语言视觉问答资源消耗大的问题,提出基于翻译的数据生成框架,构建了涵盖7种语言的MaXM基准,并开发了轻量有效的方法对现有VQA模型进行基准测试。
2023-10-24 cs.CL cs.CV
Incorporating Probing Signals into Multimodal Machine Translation via Visual Question-Answering Pairs
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);NiuTrans Research(NiuTrans研究院);School of Software, Northeastern University(东北大学软件学院)
本文针对多模态机器翻译中视觉信息利用不足的问题,提出通过大语言模型生成VQA风格探测信号并构建Multi30K-VQA数据集,结合MMT-VQA多任务学习框架增强跨模态交互,在两个基准上验证了有效性。
2023-10-26 cs.AI cs.CL
VizWiz Grand Challenge: Answering Visual Questions from Blind People
University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Science and Technology of China(中国科学技术大学);University of Colorado Boulder(科罗拉多大学博尔德分校);Carnegie Mellon University(卡内基梅隆大学);University of Rochester(罗切斯特大学)
目前,自动回答视觉问题的算法的研究是由人工视觉问答(VQA)设置中构建的数据集激发的。我们提出了VizWiz,第一个目标导向的VQA数据集产生的自然VQA设置。VizWiz由31,000多个视觉问题组成,这些问题来自盲人,每个人都用手机拍照并记录了一个关于它的口头问题,每个视觉问题有10个众包答案。VizWiz与许多现有的VQA数据集不同,因为(1)图像是由盲人摄影师拍摄的,因此质量通常很差,(2)问题是口头的,因此更具对话性,(3)通常无法回答视觉问题。对回答视觉问题和决定视觉问题是否可回答的现代算法的评估表明,VizWiz是一个具有挑战性的数据集。我们引入这个数据集是为了鼓励更大的社区开发更通用的算法来帮助盲人。
2018-05-09 cs.CL cs.CV cs.HC
Self-Critical Reasoning for Robust Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)深度学习系统由于强语言先验而倾向于捕获训练数据中的表面统计相关性,并且无法推广到具有显著不同的问答(QA)分布的测试数据。为了解决这个问题,我们引入了一个自我批判的训练目标,确保正确答案的视觉解释比其他竞争性答案候选人更匹配最有影响力的图像区域。有影响力的区域要么是从人类视觉/文本解释中确定的,要么是从问题和答案中的重要单词中自动确定的。我们使用VQA-CP数据集评估我们在VQA泛化任务上的方法,实现了一个新的最先进的方法,即,49.5%使用文本解释,48.5%使用自动注释区域。
2019-12-30 cs.CL cs.CV
R-VQA: Learning Visual Relation Facts with Semantic Attention for Visual Question Answering
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Institute of Computing Technology, CAS(中国科学院计算技术研究所);East China Normal University(华东师范大学);Microsoft Corporation(微软公司)
近年来,视觉问答(VQA)已经成为多模态学习中最重要的任务之一,因为它需要理解视觉和文本模态。现有的方法主要依靠提取图像和问题特征,通过多模态融合或注意力机制学习它们的联合特征嵌入。最近的一些研究利用外部VQA独立的模型来检测图像中的候选实体或属性,作为VQA任务的语义知识的补充。然而,这些候选实体或属性可能与VQA任务无关,并且具有有限的语义能力。为了更好地利用图像中的语义知识,我们提出了一个新的框架来学习视觉关系事实的VQA。具体地说,我们建立了一个基于视觉基因组数据集通过一个语义相似性模块,其中每个数据由一个图像,一个相应的问题,一个正确的答案和一个支持关系事实的R-VQA(R-VQA)数据集。一个定义良好的关系检测器,然后采用预测视觉问题相关的关系事实。我们进一步提出了一个由视觉注意和语义注意组成的多步注意模型,用于提取相关的视觉知识和语义知识。我们在两个基准数据集上进行了全面的实验,证明了我们的模型达到了最先进的性能,并验证了考虑视觉关系事实的好处。
2018-07-20 cs.AI cs.CL cs.CV
SLAKE: A Semantically-Labeled Knowledge-Enhanced Dataset for Medical Visual Question Answering
The Hong Kong Polytechnic University(香港理工大学);West China Hospital of Sichuan University(四川大学华西医院);Sichuan Academy of Medical Sciences(四川省医学科学院);Sichuan Provincial People's Hospital(四川省人民医院)
医学视觉问答(Med-VQA)在医疗保健领域具有巨大的潜力。然而,该技术的发展受到缺乏公开可用和高质量的标记数据集用于训练和评估的阻碍。在本文中,我们提出了一个大型的双语数据集,SLAKE,全面的语义标签注释经验丰富的医生和一个新的结构医学知识库Med-VQA。此外,SLAKE包括更丰富的模态,比目前可用的数据集覆盖更多的人体部位。我们表明,SLAKE可用于促进Med-VQA系统的开发和评估。数据集可以从http://www.med-vqa.com/slake下载。
2021-02-18 cs.AI cs.CL cs.CV
An Analysis of Visual Question Answering Algorithms
Rochester Institute of Technology(罗切斯特理工学院)
在视觉问答(VQA)中,算法必须回答关于图像的基于文本的问题。虽然自2014年底以来已经为VQA创建了多个数据集,但它们在内容和算法评估方式上都存在缺陷。因此,评价分数被夸大,主要是通过回答较简单的问题来确定,因此难以比较不同的方法。在本文中,我们分析现有的VQA算法使用一个新的数据集。它包含160多万个问题,分为12个不同的类别。我们还引入了对于给定图像毫无意义的问题,以迫使VQA系统对图像内容进行推理。我们提出了新的评估方案,以弥补过度代表的问题类型,使其更容易研究算法的优点和缺点。我们分析了基线和最先进的VQA模型的性能,包括多模态紧凑双线性池(MCB),神经模块网络和循环应答单元。我们的实验确定了注意力如何帮助某些类别比其他类别更好,确定哪些模型比其他模型更好,并解释了简单的模型(例如MLP)如何通过简单地学习回答大而简单的问题类别来超越更复杂的模型(MCB)。
2017-09-13 cs.AI cs.CL cs.CV