Explicit Knowledge-based Reasoning for Visual Question Answering
The University of Adelaide(阿德莱德大学)
我们描述了一种用于视觉问答的方法,该方法能够根据从大规模知识库中提取的信息来推理图像的内容。该方法不仅使用图像中不包含的概念来回答自然语言问题,而且可以提供对推理的解释,通过该推理来开发其答案。该方法能够回答比主流的基于长短期记忆的方法复杂得多的问题,并且在测试中显著优于它。我们还提供了一个数据集和一个协议,通过它来评估这些方法,从而解决了一般的视觉问题的回答的关键问题之一。
2015-11-12 cs.CL cs.CV
Learning Sparse Mixture of Experts for Visual Question Answering
Mila(米拉);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔高等理工学院)
随着模型结构的改进,可视化问答的任务取得了快速的进展。不幸的是,这些模型通常是计算密集型的,由于其庞大的规模,这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答(VQA)的具体任务。卷积神经网络(CNN)是VQA模型的视觉处理管道的组成部分(假设CNN与整个VQA模型一起训练)。在这个项目中,我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明,一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
Textually Enriched Neural Module Networks for Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学)
随着计算机视觉研究超越传统的识别任务,语言和视觉交叉点的问题,如视觉问答,最近在多模态机器学习领域获得了大量关注。最近在使用深度神经网络模型的视觉问答中取得了成功,深度神经网络模型使用问题的语言结构来动态地实例化网络布局。在将问题转换为网络布局的过程中,问题被简化,这导致模型中的信息丢失。在本文中,我们丰富的图像信息与文本数据,使用图像标题和外部知识库,以生成更连贯的答案。我们实现了57.1%的整体准确率的测试开发开放式问题的视觉问答(VQA 1.0)的真实图像数据集。
2018-09-23 cs.CL cs.CV
VIBIKNet: Visual Bidirectional Kernelized Network for Visual Question Answering
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);PRHLT Research Center(PRHLT研究中心);Universitat Politècnica de València(瓦伦西亚理工大学)
在本文中,我们提出了一种新的模型,称为VIBIKNet解决问题的视觉问答。我们的模型是基于集成核卷积神经网络和长短期记忆单元,以生成一个关于图像的问题的答案。我们证明了VIBIKNet是准确性和计算负载之间的最佳权衡,在内存和时间消耗方面。我们在VQA挑战数据集上验证了我们的方法,并将其与性能最好的方法进行了比较,以说明其性能和速度。
2016-12-12 cs.CL cs.CV
Two can play this Game: Visual Dialog with Discriminative Question Generation and Answering
UIUC(伊利诺伊大学厄巴纳-香槟分校)
人类的对话是一种复杂的机制,有着微妙的细微差别。因此,开发能够流利地参与对话的人工智能代理是一个雄心勃勃的目标。虽然我们离实现这一目标还很远,但最近在视觉问答、图像描述和视觉问题生成方面的进展表明,对话系统可能在不久的将来实现。为此,最近引入了一个新的数据集,并展示了令人鼓舞的结果,特别是对于问答。在本文中,我们展示了一个简单的对称判别基线,可以应用于预测答案以及预测问题。我们表明,这种方法的表现与最先进的,甚至内存网络为基础的方法。此外,第一次在视觉对话数据集上,我们评估了系统提问的性能,并演示了如何从判别式问题生成和问答中生成视觉对话。
2018-03-29 cs.CL cs.CV
A Dataset and Baselines for Visual Question Answering on Art
Osaka University(大阪大学);Carnegie Mellon University(卡内基梅隆大学);CyberAgent, Inc.(CyberAgent 公司)
与艺术作品(绘画)相关的问答是一项艰巨的任务,因为它不仅意味着对图片中显示的视觉信息的理解,而且还意味着对通过研究艺术史获得的背景知识的理解。在这项工作中,我们介绍了我们首次尝试构建一个新的数据集,即AQUA(艺术问答)。问答(QA)对是使用基于现有艺术理解数据集中提供的绘画和评论的最先进的问题生成方法自动生成的。QA对由众包工作人员根据语法正确性、可回答性和答案的正确性进行清理。我们的数据集本质上由视觉(基于绘画)和知识(基于评论)问题组成。我们还提出了一个两个分支的模型作为基线,视觉和知识的问题是独立处理的。我们广泛比较我们的基线模型对国家的最先进的问答模型,我们提供了一个全面的研究视觉问答艺术的挑战和潜在的未来方向。
2020-08-28 cs.CL cs.CV
Towards Transparent AI Systems: Interpreting Visual Question Answering Models
Virginia Tech(弗吉尼亚理工大学)
近年来,深度神经网络在人工智能的许多研究领域取得了令人瞩目的进展,取得了令人瞩目的成果。然而,不知道他们为什么预测他们做什么通常是不令人满意的。在本文中,我们解决的问题,解释视觉问答(VQA)模型。具体来说,我们感兴趣的是找到VQA模型在回答问题时关注的输入部分(图像中的像素或问题中的单词)。为了解决这个问题,我们使用了两种可视化技术--引导反向传播和遮挡--来找到问题中的重要单词和图像中的重要区域。然后,我们提出这些重要性地图的定性和定量分析。我们发现,即使没有明确的注意力机制,VQA模型有时可能会隐含地关注图像中的相关区域,并且经常关注问题中的适当词语。
2016-09-09 cs.AI cs.CL cs.CV
FVQA 2.0: Introducing Adversarial Samples into Fact-based Visual Question Answering
University of Cambridge(剑桥大学);University of Washington(华盛顿大学)
广泛使用的基于事实的视觉问答(FVQA)数据集包含视觉上接地的问题,这些问题需要使用常识知识图谱进行信息检索来回答。已经观察到,原始数据集是高度不平衡的,并且集中在其相关联的知识图谱的一小部分上。我们引入了FVQA 2.0,其中包含测试问题的对抗变体,以解决这种不平衡。我们表明,与原始FVQA训练集训练的系统可能容易受到对抗性样本,我们展示了一个增强方案,以减少这种脆弱性,没有人的注释。
2023-03-19 cs.CL cs.CV
FashionVQA: A Domain-Specific Visual Question Answering System
Target Corporation(塔吉特公司)
人类通过各种感官形式来理解世界,但语言是他们最主要的沟通渠道。机器学习系统需要利用相同的多模态丰富性,以自然语言与人类进行信息交流;这对于专门处理视觉密集信息的系统尤其如此,例如对话、推荐和服装搜索引擎。为此,我们训练视觉问答(VQA)系统回答复杂的自然语言问题的服装在时尚的照片拍摄图像。我们的VQA模型成功训练的关键是使用不同的模板自动创建一个视觉问答数据集,其中包含来自20.7万张图像的项目属性的1.68亿个样本。样本生成采用了一种策略,认为问题的难度,答案对强调具有挑战性的概念。与最近使用多个数据集来预训练视觉问答模型的趋势相反,我们专注于保持数据集固定,同时从头开始训练各种模型,以将改进与模型架构变化隔离开来。我们看到,使用相同的Transformer来编码问题和解码答案,就像在语言模型中一样,实现了最大的准确性,这表明视觉语言模型(VLM)是我们数据集的最佳视觉问答系统。最佳模型的准确性超过了人类专家的水平,即使在回答不限于模板格式的人类生成的问题时也是如此。我们的方法,用于生成一个大规模的多模态领域特定的数据集提供了一个路径,训练能够在自然语言通信的专门模型。这种领域专家模型的训练,例如,我们的时尚VLM模型,不能仅仅依赖于从网络上收集的大规模通用数据集。
2022-08-24 cs.AI cs.CL cs.CV
Recent, rapid advancement in visual question answering architecture: a review
University of Arkansas at Little Rock(阿肯色大学小石城分校)
理解视觉问答对许多人类活动至关重要。然而,它在人工智能努力的核心提出了重大挑战。本文介绍了在视觉问答的快速进步,在过去的几年中发生的图像的更新。近年来,关于改进可视问答系统体系结构的研究取得了巨大的增长,这表明了多通道体系结构的重要性。关于视觉问答的好处,Manmadhan等人(2020)的综述论文中提到了几点,本文以其为基础,包括该领域的后续更新。
2022-07-09 cs.AI cs.CL cs.CV
BERT-VQA: Visual Question Answering on Plots
Stanford University(斯坦福大学)
本文提出基于 VisualBERT 和 ResNet 101 的 BERT-VQA 模型用于图表视觉问答,实验表明跨模态模块并非对齐图表与问题的关键,揭示了该任务的难度与架构适用性。
2025-08-14 cs.CV cs.LG
Generating Question Relevant Captions to Aid Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)和图像描述需要连接语言和视觉的通用知识的共享主体。我们提出了一种新的方法来提高VQA的性能,利用这种连接,共同生成的标题,有针对性地帮助回答一个特定的视觉问题。该模型使用现有的字幕数据集进行训练,通过使用基于在线梯度的方法自动确定问题相关的字幕。VQA v2挑战的实验结果表明,我们的方法通过同时生成与问题相关的标题,获得了最先进的VQA性能(例如,使用单个模型在测试标准集上达到68.4%)。
2020-01-03 cs.CL cs.CV
Faithful Multimodal Explanation for Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
人工智能系统解释其推理的能力对其实用性和可信度至关重要。深度神经网络在许多具有挑战性的问题上取得了重大进展,例如视觉问答(VQA)。然而,其中大多数是不透明的黑匣子,解释能力有限。本文提出了一种新的方法来开发一个高性能的VQA系统,可以阐明它的答案与集成的文本和视觉解释,忠实地反映其基本推理的重要方面,同时捕捉可理解的人类解释的风格。广泛的实验评估表明,这种方法的优势相比,竞争的方法与自动评估指标和人类的评估指标。
2019-06-03 cs.CL cs.CV
Question Relevance in Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学)
自由形式和开放式的可视问答系统解决了为与图像有关的问题提供准确的自然语言答案的问题。当前的VQA系统不评估提出的问题是否与输入图像相关,因此当提出与图像无关的问题时提供无意义的答案。在本文中,我们解决了识别所提出的问题的图像的相关性的问题。我们把这个问题分解为两个子问题。我们首先确定问题是否是视觉的。如果问题是视觉的,我们就确定它是否与图像相关。对于第二个问题,我们从现有的视觉问答数据集生成一个大的数据集,以便能够训练复杂的体系结构,并对视觉问题与图像的相关性进行建模。我们还比较了我们的长短期记忆基于递归神经网络的模型的结果,逻辑回归,XGBoost和多层感知器为基础的方法的问题。
2018-07-23 cs.CL cs.CV
The Color of the Cat is Gray: 1 Million Full-Sentences Visual Question Answering (FSVQA)
The University of Tokyo(东京大学)
视觉问答任务是人工智能中最重要的两个组成部分,它将语言和视觉的交互作用推向了一个新的阶段。然而,它主要集中在生成简短和重复的答案,主要是单个单词,这与人类丰富的语言能力不符。我们介绍了全句子视觉问答(FSVQA)数据集,包括近100万对图像的问题和全句子答案,通过将一些基于规则的自然语言处理技术应用于MS COCO数据集中的原始VQA数据集和标题。这给传统的VQA任务带来了许多额外的复杂性,我们为接近和评估任务提供了一个基线,在此基础上,我们邀请研究界进一步改进。
2016-09-21 cs.CL cs.CV
Is GPT-3 all you need for Visual Question Answering in Cultural Heritage?
University of Florence(佛罗伦萨大学)
本文提出一种基于GPT-3的视觉问答方法,通过运行时生成艺术品描述单,完全避免图像和专家标注过程,并评估了描述生成质量及视觉问答性能。
2023-05-19 cs.CL cs.CV
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
UC Berkeley EECS(加州大学伯克利分校电子工程与计算机科学系);Sony Corp.(索尼公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
近年来,使用从大型语言或视觉数据集训练的向量表示对文本或视觉信息进行建模已被成功探索。然而,诸如视觉问答之类的任务需要将这些向量表示彼此组合。多模态池化的方法包括元素乘积或和,以及视觉和文本表示的连接。我们假设这些方法不像视觉和文本载体的外产品那样富有表现力。由于外积通常是不可行的,由于其高维度,我们建议利用多模态紧凑双线性池(MCB),有效地和表达地结合多模态功能。我们在视觉问答和接地任务上广泛评估MCB。我们一致显示MCB优于无MCB消融。对于视觉问答,我们提出了一个架构,它使用MCB两次,一次用于预测注意空间特征,并再次结合出席表示与问题表示。该模型在Visual7W数据集和VQA挑战上的性能优于最先进的模型。
2016-09-24 cs.AI cs.CL cs.CV
Simple Baseline for Visual Question Answering
Massachusetts Institute of Technology(麻省理工学院);Facebook AI Research(脸书人工智能研究院)
我们描述了一个非常简单的词袋基线视觉问答。该基线将来自问题的单词特征和来自图像的CNN特征连接起来以预测答案。当在具有挑战性的VQA数据集[2]上进行评估时,它显示出与许多最近使用递归神经网络的方法相当的性能。为了探索训练模型的优点和缺点,我们还提供了一个交互式Web演示和开源代码。.
2015-12-15 cs.CL cs.CV
Dynamic Memory Networks for Visual and Textual Question Answering
MetaMind(MetaMind公司)
具有记忆和注意力机制的神经网络架构表现出问答所需的某些推理能力。动态记忆网络(DMN)就是这样一种架构,它在各种语言任务中获得了很高的准确性。然而,没有显示当在训练期间没有标记支持事实时,该架构是否实现了问答的强结果,或者它是否可以应用于其他模态,如图像。在对DMN进行分析的基础上,我们对其存储和输入模块提出了几点改进。与这些变化一起,我们引入了一个新的图像输入模块,以便能够回答视觉问题。我们的新DMN+模型改进了Visual问答数据集和\babi-10k文本问答数据集的最新技术,而不支持事实监督。
2016-03-04 cs.CL cs.CV cs.NE
Self-Critical Reasoning for Robust Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)深度学习系统由于强语言先验而倾向于捕获训练数据中的表面统计相关性,并且无法推广到具有显著不同的问答(QA)分布的测试数据。为了解决这个问题,我们引入了一个自我批判的训练目标,确保正确答案的视觉解释比其他竞争性答案候选人更匹配最有影响力的图像区域。有影响力的区域要么是从人类视觉/文本解释中确定的,要么是从问题和答案中的重要单词中自动确定的。我们使用VQA-CP数据集评估我们在VQA泛化任务上的方法,实现了一个新的最先进的方法,即,49.5%使用文本解释,48.5%使用自动注释区域。
2019-12-30 cs.CL cs.CV
Multi-Image Visual Question Answering
Indian Institute Of Technology Dharwad(印度理工学院达瓦德分校)
虽然已经做了大量的工作来开发模型来解决视觉问答的问题,这些模型的能力,将问题与图像特征仍然很少探索。我们提出了一个不同的特征提取方法与不同的损失函数的实证研究。我们提出了新的数据集的任务,视觉问答与多个图像输入只有一个地面真理,并基准我们的结果。我们的最终模型利用Resnet + RCNN图像特征和BERT嵌入,灵感来自堆栈注意力网络,在CLEVER+TinyImagenet数据集上提供了39%的单词准确率和99%的图像准确率。
2022-02-06 cs.AI cs.CV cs.LG
REVIVE: Regional Visual Representation Matters in Knowledge-Based Visual Question Answering
University of Washington(华盛顿大学);Microsoft(微软)
本文回顾了基于知识的视觉问答(VQA)中的视觉表示,并证明了更好地利用区域信息可以显着提高性能。虽然视觉表示在传统的VQA中得到了广泛的研究,但在基于知识的VQA中,尽管这两个任务具有共同的精神,即,依靠视觉输入来回答问题。具体而言,我们观察到大多数基于知识的VQA方法都存在以下问题:1)从整幅图像或以滑动窗口方式提取视觉特征来获取知识,而忽略了对象区域内部/之间的重要关系; 2)视觉特征在最终的回答模型中没有得到很好的利用,这在一定程度上是违反直觉的。基于这些观察,我们提出了一个新的基于知识的VQA方法REVIVE,它试图利用对象区域的显式信息,不仅在知识检索阶段,而且在回答模型。其主要动机是对象区域和内在关系对于基于知识的VQA非常重要。我们在标准OK-VQA数据集上进行了广泛的实验,并实现了新的最先进的性能,即,准确率为58.0%,大大超过了之前最先进的方法(+3.6%)。我们还进行了详细的分析,并显示区域信息的必要性,在不同的框架组件基于知识的VQA。代码可在www.example.com上公开获取。
2022-10-10 cs.CL cs.CV
Decoupled Box Proposal and Featurization with Ultrafine-Grained Semantic Labels Improve Image Captioning and Visual Question Answering
Google AI(谷歌AI)
目标检测在当前的视觉和语言任务(如图像描述和视觉问答)的解决方案中起着重要作用。然而,像Faster R-CNN这样的流行模型依赖于为边界框及其相应的语义标签注释地面事实的昂贵过程,这使得它不太适合作为迁移学习的原始任务。在本文中,我们研究的效果去耦盒建议和特征化的下游任务。关键的见解是,这使我们能够利用大量的标记注释,这些注释以前无法用于标准目标检测基准。从经验上讲,我们证明了这会导致有效的迁移学习和改进的图像描述和视觉问答模型,如在公开的基准测试中所测量的。
2019-09-04 cs.CL cs.CV
Visual Question Answering as a Multi-Task Problem
University of Manchester(曼彻斯特大学)
可视化问答(VQA)是一个高度复杂的问题集,依赖于许多子问题来产生合理的答案。在本文中,我们提出了假设,视觉问答应被视为一个多任务的问题,并提供证据来支持这一假设。我们证明了这一点,重新格式化两个常用的可视化问答数据集,COCO-QA和DAQUAR,到一个多任务格式和训练这些重新格式化的数据集在两个基线网络,一个专门设计,以消除其他可能的原因,性能变化的结果,重新格式化。虽然本文中展示的网络没有实现强有力的竞争结果,我们发现,多任务的方法来视觉问答结果在性能上的增加5-9%,对单任务格式化,网络达到收敛速度比单任务的情况下。最后,我们讨论了观察到的性能差异的可能原因,并进行了额外的实验,排除了与作为多任务问题的数据集学习无关的原因。
2020-07-03 cs.AI cs.CL cs.CV
Where To Look: Focus Regions for Visual Question Answering
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一种方法,学习回答视觉问题,通过选择相关的图像区域的基于文本的查询。我们的方法表现出显着的改进,在回答问题,如“什么颜色”,它是必要的,以评估一个特定的位置,和“什么房间”,它选择性地识别信息图像区域。我们的模型在VQA数据集上进行了测试,VQA数据集是我们所知的最大的人类注释视觉问答数据集。
2016-01-10 cs.CV
Can Open Domain Question Answering Systems Answer Visual Knowledge Questions?
Apple(苹果公司)
外部知识视觉问答(OKVQA)的任务要求自动系统使用外部知识来回答关于图片和图像的自然语言问题。我们观察到,许多视觉问题,其中包含指示参考短语,指的是在图像中的实体,可以被重写为“非接地”的问题,并可以回答现有的基于文本的问答系统。这允许将现有的基于文本的开放域问答(QA)系统重新用于可视问答。在这项工作中,我们提出了一个潜在的数据效率的方法,重用现有的系统(a)图像分析,(b)问题重写,(c)基于文本的问答回答这样的视觉问题。给定一个图像和与该图像有关的问题(视觉问题),我们首先使用预先训练的对象和场景分类器提取图像中存在的实体。使用这些检测到的实体,视觉问题可以被重写,以便由开放域QA系统回答。我们探索了两种重写策略:(1)使用BERT进行掩蔽和重写的无监督方法,以及(2)结合自适应重写和强化学习技术以使用来自QA系统的隐式反馈的弱监督方法。我们在公开的OKVQA数据集上测试了我们的策略,并在仅使用10%的训练数据的情况下获得了具有竞争力的性能。
2022-02-09 cs.AI cs.CL cs.CV
VQA-Aid: Visual Question Answering for Post-Disaster Damage Assessment and Analysis
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
与无人机相结合的可视化问答系统对提高灾后损失评估的目的具有很大的潜力。向受影响地区提供援助在很大程度上取决于实时数据评估和分析。可视化问答的范围是了解场景,并提供与查询相关的答案,这肯定会加快灾难后的恢复过程。在这项工作中,我们解决的重要性,\textit{visual question answering (VQA)}任务的灾后损失评估,提出我们最近开发的VQA数据集称为\textit{HurMic-VQA}收集在飓风迈克尔,并比较基准VQA模型的性能。
2021-06-19 cs.CV
Attention on Attention: Architectures for Visual Question Answering (VQA)
Stanford University(斯坦福大学)
视觉问答(VQA)是深度学习研究中越来越热门的话题,需要将自然语言处理和计算机视觉模块协调到单一架构中。我们建立在该模型,在第一次在VQA的挑战,开发了13个新的注意力机制,并引入了一个简化的分类。我们执行了300 GPU小时的广泛超参数和架构搜索,并能够获得64.78%的评估分数,优于现有最先进的单一模型的验证分数63.15%。
2018-03-21 cs.AI cs.CL cs.CV
Learning Convolutional Text Representations for Visual Question Answering
Washington State University(华盛顿州立大学)
视觉问答是最近提出的一项人工智能任务,需要对图像和文本都有深入的理解。在深度学习中,图像通常通过卷积神经网络建模,文本通常通过递归神经网络建模。虽然对图像建模的要求类似于传统的计算机视觉任务,例如对象识别和图像分类,但与其他自然语言处理任务相比,视觉问答对文本表示提出了不同的需求。本文对视觉问答中的自然语言问句进行了详细的分析。基于分析,我们建议依靠卷积神经网络学习文本表示。通过探索专门用于文本数据的卷积神经网络的各种属性,例如宽度和深度,我们提出了我们的“CNN Inception + Gate”模型。我们表明,我们的模型提高了问题的表示,从而提高了视觉问答模型的整体准确性。我们还表明,在视觉问答的文本表示的要求是更复杂和全面的比传统的自然语言处理任务,使它成为一个更好的任务,以评估文本表示方法。像fastText这样的浅层模型可以在文本分类等任务中获得与深度学习模型相当的结果,但不适合视觉问答。
2018-04-18 cs.CL cs.LG cs.NE
VizWiz Grand Challenge: Answering Visual Questions from Blind People
University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Science and Technology of China(中国科学技术大学);University of Colorado Boulder(科罗拉多大学博尔德分校);Carnegie Mellon University(卡内基梅隆大学);University of Rochester(罗切斯特大学)
目前,自动回答视觉问题的算法的研究是由人工视觉问答(VQA)设置中构建的数据集激发的。我们提出了VizWiz,第一个目标导向的VQA数据集产生的自然VQA设置。VizWiz由31,000多个视觉问题组成,这些问题来自盲人,每个人都用手机拍照并记录了一个关于它的口头问题,每个视觉问题有10个众包答案。VizWiz与许多现有的VQA数据集不同,因为(1)图像是由盲人摄影师拍摄的,因此质量通常很差,(2)问题是口头的,因此更具对话性,(3)通常无法回答视觉问题。对回答视觉问题和决定视觉问题是否可回答的现代算法的评估表明,VizWiz是一个具有挑战性的数据集。我们引入这个数据集是为了鼓励更大的社区开发更通用的算法来帮助盲人。
2018-05-09 cs.CL cs.CV cs.HC
Neural Self Talk: Image Understanding via Continuous Questioning and Answering
University of Maryland(马里兰大学);Toyota Research Institute of North America(丰田北美研究院)
在本文中,我们考虑的问题,不断发现图像内容,积极提出基于图像的问题,并随后回答被问到的问题。关键组件包括视觉问题生成(VQG)模块和视觉问答模块,其中使用了递归神经网络(RNN)和卷积神经网络(CNN)。给定一个包含图像、问题及其答案的数据集,两个模块同时进行训练,不同之处在于VQG使用图像作为输入,相应的问题作为输出,而VQA使用图像和问题作为输入,相应的答案作为输出。我们使用Amazon Mechanical Turk主观评估了自我对话过程,表明了所提出方法的有效性。
2015-12-10 cs.CL cs.CV cs.RO
Latent Variable Models for Visual Question Answering
Imperial College London(帝国理工学院);University of Sheffield(谢菲尔德大学);Department of Computing, Imperial College London(帝国理工学院计算机系);Department of Computer Science, University of Sheffield(谢菲尔德大学计算机科学系)
视觉问答(VQA)目前的工作探索确定性的方法,各种类型的图像和问题的功能。我们认为,除了图像和问题对,其他形式是有用的教学机器进行问答。因此,在本文中,我们提出了VQA的潜变量模型,其中额外的信息(例如标题和答案类别)被合并为潜变量,这些信息在训练过程中被观察到,但反过来又有利于测试时的问答性能。在VQA v2.0基准测试数据集上的实验证明了我们提出的模型的有效性:它们在强基线上有所改进,特别是那些不依赖于广泛的语言视觉预训练的模型。
2021-09-26 cs.AI cs.CL cs.CV
Focal Visual-Text Attention for Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司);HelloVera AI(HelloVera人工智能)
最近的见解语言和视觉与神经网络已成功地应用于简单的单图像视觉问答。然而,要解决现实生活中的问答问题的多媒体集合,如个人照片,我们必须看看整个集合的照片或视频序列。当回答来自大量集合的问题时,一个自然的问题是识别支持答案的片段。在本文中,我们描述了一种新的神经网络称为焦点视觉-文本注意力网络(FVTA)的集体推理的视觉问答,其中既有视觉和文本序列信息,如图像和文本元数据。FVTA引入了一种端到端的方法,该方法利用分层过程来动态确定在顺序数据中关注什么媒体和什么时间来回答问题。FVTA不仅能很好地回答问题,而且还能为系统结果提供依据以获得答案。FVTA在MemexQA数据集上实现了最先进的性能,并在MovieQA数据集上取得了有竞争力的结果。
2019-05-31 cs.CV
Visual Question Generation as Dual Task of Visual Question Answering
The Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院);Massachusetts Institute of Technology(麻省理工学院);University of Sydney(悉尼大学)
视觉问答和视觉问题生成是计算机视觉领域的两个研究热点。在这项工作中,我们提出了一个端到端的统一框架,可逆的问答网络(iQAN),利用图像中的问题和答案之间的互补关系,通过联合训练VQA和VQG任务的模型。提出了相应的参数共享方案和规则项作为约束,以显式地利用Q,A的依赖性来指导训练过程。经过训练后,iQAN可以将问题或答案作为输入,然后输出对应的内容。在大规模视觉问答数据集CLEVR和VQA 2上进行评估,我们的iQAN在基线上提高了VQA的准确性。我们还表明,iQAN的双重学习框架可以推广到其他VQA架构,并在VQA和VQG任务上持续改进结果。
2017-09-21 cs.CV
Self-Segregating and Coordinated-Segregating Transformer for Focused Deep Multi-Modular Network for Visual Question Answering
University of Florida(佛罗里达大学)
注意力机制由于其在不同领域实现高准确性的有效性而获得了巨大的普及。但是注意力是机会主义的,并不是由内容或内容的可用性来证明的。Transformer类结构创建所有/任何可能的注意力。我们定义的隔离策略,可以优先考虑的内容,为应用程序的性能增强。我们定义了两个策略:自隔离Transformer(SST)和协调隔离Transformer(CST),并使用它来解决视觉问答应用。注意的自我隔离策略有助于更好地理解和过滤最有助于回答问题的信息,并创造注意的视觉推理的多样性。这项工作可以很容易地用于许多其他应用程序,涉及重复和多帧的功能,并会减少在很大程度上的关注的共性。视觉问答(VQA)需要理解和协调图像和文本的解释。实验结果表明,级联多头Transformer注意力的分离策略优于许多以前的工作,并在VQA-v2数据集基准测试中取得了相当大的改进。
2020-06-25 cs.CL cs.CV cs.NE
Open-Ended Visual Question-Answering
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学)
本论文报告研究了使用深度学习框架解决视觉问答(VQA)任务的方法。作为第一步,我们探索了用于自然语言处理(NLP)的长短期记忆(LSTM)网络,以解决问答(基于文本)。然后,我们修改以前的模型,除了问题之外,还接受图像作为输入。为此,我们探索VGG-16和K-CNN卷积神经网络从图像中提取视觉特征。这些与词嵌入或问题的句子嵌入合并以预测答案。这项工作已成功提交给2016年视觉问答挑战赛,在测试数据集中达到了53,62%的准确率。开发的软件遵循了最佳编程实践和Python代码风格,为不同的配置提供了Keras一致的基线。
2016-10-09 cs.CL cs.CV cs.MM
Proposing Plausible Answers for Open-ended Visual Question Answering
University of Rochester(罗切斯特大学);Adobe Research(Adobe研究院)
回答开放式问题是任何智能代理的基本能力。最近最有趣的开放式问答挑战之一是视觉问答(VQA),它试图通过回答关于图像的自然语言问题来评估系统的视觉理解。存在许多VQA方法,其中大多数没有表现出对它们产生的候选答案的更深层次的语义理解。我们研究的重要性,生成合理的答案,一个给定的问题,通过引入新的任务“回答建议”:对于一个给定的开放式问题,系统应该生成一个排名列表的候选答案通知的语义问题。我们尝试了各种模型,包括神经生成模型以及语义图匹配模型。我们提供了内在的和外在的评价的任务的答案建议,表明我们最好的模型学习提出合理的答案,具有较高的召回率,并执行竞争力与其他一些解决方案的VQA。
2016-10-24 cs.AI cs.CL cs.CV
Vision And Text Transformer For Predicting Answerability On Visual Question Answering
Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学);University of Science, Ho Chi Minh City(胡志明市理科大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Zalo Research Center(Zalo研究中心)
针对视觉问答中的可回答性预测,提出VT-Transformer模型,利用Transformer架构融合视觉与文本特征,在VizWiz 2020数据集上验证了其有效性与鲁棒性。
2026-09-16 cs.AI cs.CV
Multimodal Inverse Cloze Task for Knowledge-based Visual Question Answering
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会)
本文提出了一种新的基于知识的命名实体可视化问答(KVQAE)预训练方法--多模态逆完形填空任务。KVQAE是最近推出的任务,包括在回答问题的命名实体接地在视觉环境中使用知识库。因此,模态之间的相互作用对于检索信息至关重要,并且必须用复杂的融合模型来捕获。由于这些模型需要大量的训练数据,我们从现有的文本问答工作中设计了这个预训练任务。它包括在考虑一个句子作为一个伪问题和它的上下文作为一个伪相关的通道,并通过考虑图像附近的文本在多模态文档中扩展。我们的方法适用于不同的神经网络架构,并导致9%的相对MRR和15%的相对F1增益检索和阅读理解,分别超过了无预训练基线。
2023-01-11 cs.CL cs.IR cs.LG
Visual Question Answering Instruction: Unlocking Multimodal Large Language Model To Domain-Specific Visual Multitasks
NC Research
本文提出VQA-IN方法,将特定领域视觉数据集转换为统一问答格式,训练多模态大语言模型,在保持视觉-语言任务性能的同时提升特定领域视觉任务表现。
2024-02-13 cs.CV
Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention
Samsung Research(三星研究院);SRI International(斯坦福国际研究院)
在本文中,我们提出了一种新的方法,可解释的问答(XQA)的任务,即,生成针对所述视觉问答(VQA)问题的自然语言(NL)解释。我们使用两个信息源生成NL解释,该解释包括支持对图像提出的问题的答案的证据:(a)图像中实体的注释(例如,对象标签、区域描述、关系短语),以及(b)由VQA模型在回答问题时生成的注意力图。我们展示了如何结合视觉注意力地图与NL表示的相关场景图实体,仔细选择使用语言模型,可以给出合理的文字解释,而不需要任何额外的收集数据(解释说明等)。我们在Visual Genome(VG)数据集上运行我们的算法,并进行内部用户研究,以证明我们的方法在强大的基线上的有效性。我们还发布了一个实时Web演示,展示了我们的VQA和使用场景图和视觉注意力的文本解释生成。
2019-02-15 cs.AI cs.CL
Learning Rich Image Region Representation for Visual Question Answering
Microsoft Research Asia(微软亚洲研究院)
我们建议通过利用更强大的特征提取器来提高VQA,方法是提高视觉和文本特征的表示能力以及模型的集成。对于视觉特征,本文采用了一些检测技术来改进检测器。对于文本特征,我们采用BERT作为语言模型,并发现它可以显着提高VQA性能。我们的解决方案在2019年VQA挑战赛中获得第二名。
2019-10-29 cs.CV
Language bias in Visual Question Answering: A Survey and Taxonomy
University of Electronic Science and Technology of China(电子科技大学)
视觉问答(VQA)是一项具有挑战性的任务,在计算机视觉和自然语言处理领域引起了越来越多的关注。但是,目前的视觉问答存在语言偏向的问题,降低了模型的鲁棒性,对视觉问答的实际应用产生了不利影响。本文首次对这一领域进行了全面的回顾和分析,并将现有的方法按照增强视觉信息、弱化语言先验、数据增强和训练策略三大类进行了分类。同时,对相关的代表性方法依次进行了介绍、总结和分析。揭示了语言偏见产生的原因并进行了分类。其次,本文介绍了主要用于测试的数据集,并报告了各种现有方法的实验结果。最后,我们讨论了该领域未来可能的研究方向。
2021-11-16 cs.AI cs.CV
Task-driven Visual Saliency and Attention-based Visual Question Answering
Zhejiang University(浙江大学)
自2015年5月以来,可视化问答(VQA)作为将视觉和文本数据统一到一个系统中的经典问题,已经取得了很大的进展。许多富有启发性的VQA作品对图像和问题的编码和融合方法进行了深入的探索,其中注意力是最有效和最具感染力的机制。目前的基于注意力的方法集中在视觉和文本特征的充分融合,但缺乏对人们关注的地方提出问题的图像。传统的基于注意力的方法在每个空间位置对特征赋予单一的值,从而丢失了许多有用的信息。为了解决这些问题,我们提出了一种通用方法,通过双向LSTM(BiLSTM)的相互关系对重叠区域特征进行类似显着性的预选,并使用一种新的基于元素乘法的注意力方法来捕获视觉和文本特征之间更有竞争力的相关信息。我们在大规模COCO-VQA数据集上进行了实验,并通过强有力的实证结果分析了我们的模型的有效性。
2017-02-22 cs.AI cs.CL cs.CV
Interpretable Visual Question Answering via Reasoning Supervision
DeepLab(深度实验室)
针对VQA模型缺乏视觉基础的问题,提出利用常识推理作为监督信号的新架构,通过相似性损失对齐注意力分布引导视觉关注,无需显式基础标注即可提升视觉感知能力与性能。
2023-09-07 cs.CV
Privacy Preserving Visual Question Answering
Amazon(亚马逊)
我们引入了一种新的隐私保护方法,用于在边缘执行视觉问答。我们的方法构建了一个符号表示的视觉场景,使用低复杂度的计算机视觉模型,共同预测类,属性和谓词。这种符号表示是不可微的,这意味着它不能用于恢复原始图像,从而保持原始图像的私密性。我们提出的混合解决方案使用的视觉模型比当前最先进的(SOTA)视觉模型小25倍以上,比端到端SOTA VQA模型小100倍。我们报告详细的错误分析,并讨论了使用蒸馏视觉模型和视觉场景的符号表示的权衡。
2022-02-15 cs.CV
Image Captioning and Visual Question Answering Based on Attributes and External Knowledge
Australian Centre for Visual Technologies(澳大利亚视觉技术中心);The University of Adelaide(阿德莱德大学)
视觉到语言问题的最新进展是通过卷积神经网络(CNN)和递归神经网络(RNN)的组合实现的。这种方法并不显式地表示高级语义概念,而是寻求直接从图像特征到文本的进展。在本文中,我们首先提出了一种方法,将高层次的概念成功的CNN-RNN方法,并表明它实现了显着的改进,在最先进的图像描述和视觉问答。我们进一步表明,相同的机制可以用来将外部知识,这是至关重要的回答高层次的视觉问题。具体来说,我们设计了一个视觉问答模型,结合了图像内容的内部表示与从一般知识库中提取的信息,以回答广泛的基于图像的问题。它特别允许对图像的内容提出问题,即使图像本身不包含完整的答案。我们的最终模型在几个基准数据集上的图像描述和视觉问答上都取得了最好的报告结果。
2016-12-16 cs.CV
Multiple interaction learning with question-type prior knowledge for constraining answer search space in visual question answering
AIOZ;University of Liverpool(利物浦大学)
视觉问答(VQA)已经提出了不同的方法。然而,很少有作品意识到的行为,不同的联合模态方法的问题类型先验知识提取的数据在约束的答案搜索空间,其中的信息给出了一个可靠的线索,原因在输入图像中提出的问题的答案。在本文中,我们提出了一种新的VQA模型,利用问题类型的先验信息,以提高VQA利用不同的联合模态方法之间的多个相互作用的基础上,他们的行为回答来自不同类型的问题。在两个基准数据集上的实验,即,VQA 2.0和TDIUC,表明所提出的方法产生最好的性能与最有竞争力的方法。
2020-09-23 cs.CV
HaVQA: A Dataset for Visual Question Answering and Multimodal Research in Hausa Language
Silo AI;Ahmadu Bello University(艾哈迈德·贝罗大学);Bayero University Kano(卡诺贝罗大学);Microsoft(微软);Charles University(查理大学);Thapar University(塔帕尔大学);Idiap Research Institute(Idiap研究所);ETH Zurich(苏黎世联邦理工学院)
本文构建了首个豪萨语视觉问答多模态数据集HaVQA,通过人工翻译6,022对英语问答对并与1,555张图像关联,形成12,044条英豪平行句对,并在视觉问答、问题生成及多模态翻译等任务上验证了其有效性。
2023-05-28 cs.CL
Survey of Recent Advances in Visual Question Answering
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);Adobe Systems(Adobe 系统公司)
视觉问答(VQA)提出了一个独特的挑战,因为它需要理解和编码的多模态输入的能力-在图像处理和自然语言处理方面。该算法还需要学习如何在这种多模态表示上执行推理,以便正确回答问题。本文介绍了一个调查的不同方法,提出了解决问题的视觉问答。我们还描述了目前的艺术模型在后面的一部分文件。特别是,本文描述了各种算法提取图像特征,文本特征和这些被用来预测答案的方式所采取的方法。我们还简要讨论了评估VQA模型的实验,并报告了它们在不同数据集上的性能,包括新发布的VQA 2.0 [8]。
2017-09-24 cs.CV
Enhancing Scientific Visual Question Answering through Multimodal Reasoning and Ensemble Modeling
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Southern California(南加州大学)
本研究针对科学图表视觉问答的精度问题,提出结合提示优化、思维链推理和集成建模的方法,在SciVQA 2025任务中,最强单模型InternVL3取得ROUGE-L F1 0.740,集成模型进一步提升性能。
2025-07-08 cs.CV
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University(东北大学);RIKEN Center for AIP(理化学研究所人工智能研究中心)
视觉问答(VQA)的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现,一个注意力机制,使两种模式之间的密集,双向的相互作用,有助于提高准确性的预测答案。具体来说,我们提出了一个简单的架构,是完全对称的视觉和语言表示,其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构,用于图像-问题对之间的多步交互。我们通过实验表明,所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0,尽管它的小尺寸。我们还提出了定性评估,演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题,从而导致正确的答案预测。
2018-12-01 cs.CV
Cross-Dataset Adaptation for Visual Question Answering
U. of Southern California(南加州大学)
研究了面向视觉问答的跨数据集自适应问题。我们的目标是在源数据集上训练一个可视化QA模型,但将其应用于另一个目标数据集。类似于用于视觉识别的领域自适应,当目标数据集没有足够量的标记数据来学习“域内”模型时,该设置是有吸引力的。关键的挑战是两个数据集的构造不同,导致图像,问题或答案的交叉数据集不匹配。我们克服了这个困难,提出了一种新的领域自适应算法。我们的方法通过变换目标数据集中数据的特征表示来减少统计分布的差异。此外,它使用在源数据集上训练的Visual QA模型来最大限度地正确回答问题(在目标数据集中)的可能性。我们实证研究了所提出的方法在几个流行的Visual QA数据集之间的适应的有效性。我们表明,该方法提高了基线,没有适应和其他几种适应方法。我们从定量和定性两个方面分析了适应在什么时候最有效。
2018-06-10 cs.CV
SaSR-Net: Source-Aware Semantic Representation Network for Enhancing Audio-Visual Question Answering
University of Notre Dame(圣母大学);Brown University(布朗大学);Columbia University(哥伦比亚大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对视听问答中复杂多模态场景理解与对齐的挑战,本文提出SaSR-Net模型,利用源级可学习标记捕获对齐视听元素,并结合时空注意力机制融合信息,在Music-AVQA和AVQA-Yang数据集上优于现有方法。
2024-11-11 cs.CV