Uncertainty-based Visual Question Answering: Estimating Semantic Inconsistency between Image and Knowledge Base
OKESTRO Co., Ltd（OKESTRO有限公司）；Dongguk University（东国大学）
基于知识的视觉问答（KVQA）任务旨在回答需要额外的外部知识以及对图像和问题的理解的问题。最近关于KVQA的研究以多模态形式注入外部知识，并且随着使用更多的知识，可能会添加不相关的信息，并且可能混淆问答。为了更好地利用这些知识，本研究提出了以下几点：1）引入了一种新的语义不一致性度量，该度量是由字幕不确定性和语义相似度计算得到的; 2）提出了一种新的基于语义不一致性度量的外部知识同化方法，并将其应用于KVQA的显性知识和隐性知识的整合; 3）在OK-VQA数据集上对所提出的方法进行了测试，取得了较好的性能。
2022-07-27 cs.AI cs.CL cs.CV
Focal Visual-Text Attention for Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Google Inc.（谷歌公司）；HelloVera AI（HelloVera人工智能）
最近的见解语言和视觉与神经网络已成功地应用于简单的单图像视觉问答。然而，要解决现实生活中的问答问题的多媒体集合，如个人照片，我们必须看看整个集合的照片或视频序列。当回答来自大量集合的问题时，一个自然的问题是识别支持答案的片段。在本文中，我们描述了一种新的神经网络称为焦点视觉-文本注意力网络（FVTA）的集体推理的视觉问答，其中既有视觉和文本序列信息，如图像和文本元数据。FVTA引入了一种端到端的方法，该方法利用分层过程来动态确定在顺序数据中关注什么媒体和什么时间来回答问题。FVTA不仅能很好地回答问题，而且还能为系统结果提供依据以获得答案。FVTA在MemexQA数据集上实现了最先进的性能，并在MovieQA数据集上取得了有竞争力的结果。
2019-05-31 cs.CV
Visual Question Generation as Dual Task of Visual Question Answering
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）；Massachusetts Institute of Technology（麻省理工学院）；University of Sydney（悉尼大学）
视觉问答和视觉问题生成是计算机视觉领域的两个研究热点。在这项工作中，我们提出了一个端到端的统一框架，可逆的问答网络（iQAN），利用图像中的问题和答案之间的互补关系，通过联合训练VQA和VQG任务的模型。提出了相应的参数共享方案和规则项作为约束，以显式地利用Q，A的依赖性来指导训练过程。经过训练后，iQAN可以将问题或答案作为输入，然后输出对应的内容。在大规模视觉问答数据集CLEVR和VQA 2上进行评估，我们的iQAN在基线上提高了VQA的准确性。我们还表明，iQAN的双重学习框架可以推广到其他VQA架构，并在VQA和VQG任务上持续改进结果。
2017-09-21 cs.CV
The meaning of "most" for visual question answering models
University of Cambridge（剑桥大学）
在视觉场景的上下文中正确解释量词语句需要非平凡的推理机制。以“大多数”为例，我们讨论了两种依赖于根本不同的认知概念的策略。我们的目标是确定视觉问答的深度学习模型在训练这些问题时学习什么策略。为此，我们仔细设计数据，以复制心理语言学的实验，其中对人类进行了同样的研究。针对电影视觉问答模型，我们的实验表明，出现了一种形式的近似数系统，其性能下降与韦伯定律预测的更困难的场景。此外，我们确定混杂因素，如空间布置的场景，这阻碍了该系统的有效性。
2019-06-04 cs.AI cs.CL cs.CV
Fusion of Detected Objects in Text for Visual Question Answering
Google Research（谷歌研究院）
为了推进多模态上下文模型，我们引入了一个简单而强大的神经架构，用于结合视觉和自然语言的数据。“文本中的边界框Transformer”（B2 T2）还利用引用信息将单词绑定到单个统一架构中的图像部分。B2 T2在视觉常识推理基准测试（https：//www.example.com）上非常有效，与发布的基线相比，出错率相对降低了25%，达到了最先进的水平，并在公共排行榜上获得了迄今为止的最佳性能（截至2019年5月22日）。visualcommonsense.com一个详细的消融分析表明，早期的视觉功能集成到文本分析是新架构的有效性的关键。我们提供了模型的参考实现（https：//github.com/google-research/language/tree/master/language/question_answering/b2t2）。
2019-11-03 cs.CL cs.CV cs.LG
Inverse Visual Question Answering with Multi-Level Attentions
Carleton University（卡尔顿大学）
在本文中，我们提出了一种新的深度多层次的注意力模型，以解决逆向视觉问答。该模型在对象层次上生成区域视觉和语义特征，然后利用注意力机制利用答案线索增强这些特征。该模型采用两个层次的多重注意，包括部分问句编码阶段的双重注意和下一个问句生成阶段的动态注意。我们在VQA V1数据集上评估了所提出的模型。它在多个常用指标方面展示了最先进的性能。
2020-12-03 cs.AI cs.CL cs.CV
Visual Question Answering Instruction: Unlocking Multimodal Large Language Model To Domain-Specific Visual Multitasks
NC Research
本文提出VQA-IN方法，将特定领域视觉数据集转换为统一问答格式，训练多模态大语言模型，在保持视觉-语言任务性能的同时提升特定领域视觉任务表现。
2024-02-13 cs.CV
High-Order Attention Models for Visual Question Answering
Technion（以色列理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对实现认知能力的算法的探索是机器学习的重要组成部分。最近研究的许多认知类任务的一个共同特点是，它们考虑到不同的数据形式，如视觉和文本输入。在本文中，我们提出了一种新的和普遍适用的形式的注意力机制，学习各种数据模态之间的高阶相关性。我们表明，高阶相关性有效地将适当的注意力引导到解决联合任务所需的不同数据模式中的相关元素。我们证明了我们的高阶注意力机制对视觉问答（VQA）任务的有效性，在标准VQA数据集上，我们实现了最先进的性能。
2017-11-12 cs.AI cs.CV cs.LG
Reproducibility Report for "Learning To Count Objects In Natural Images For Visual Question Answering"
MILA（蒙特利尔学习算法研究所）；Département d’informatique et de recherche opérationnelle（计算机与运筹学系）；Université de Montréal（蒙特利尔大学）
这是论文“学习在自然图像中计算对象以进行视觉识别”的再现性报告。
2018-05-21 cs.CL cs.CV
Learning Sparse Mixture of Experts for Visual Question Answering
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
随着模型结构的改进，可视化问答的任务取得了快速的进展。不幸的是，这些模型通常是计算密集型的，由于其庞大的规模，这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答（VQA）的具体任务。卷积神经网络（CNN）是VQA模型的视觉处理管道的组成部分（假设CNN与整个VQA模型一起训练）。在这个项目中，我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明，一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
Learning Rich Image Region Representation for Visual Question Answering
Microsoft Research Asia（微软亚洲研究院）
我们建议通过利用更强大的特征提取器来提高VQA，方法是提高视觉和文本特征的表示能力以及模型的集成。对于视觉特征，本文采用了一些检测技术来改进检测器。对于文本特征，我们采用BERT作为语言模型，并发现它可以显着提高VQA性能。我们的解决方案在2019年VQA挑战赛中获得第二名。
2019-10-29 cs.CV
Augmenting Visual Question Answering with Semantic Frame Information in a Multitask Learning Approach
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
视觉问答（VQA）涉及提供关于图像的自然语言问题的答案。已经提出了几种深度神经网络方法来以端到端的方式对任务进行建模。鉴于任务是建立在视觉处理的基础上，如果问题集中在动词描述的事件上，语言理解部分就变得至关重要。我们的假设是，模型应该知道动词语义，通过语义角色标签，参数类型和/或框架元素表示。不幸的是，不存在包含动词语义信息的VQA数据集。我们的第一个贡献是一个新的VQA数据集（imSituVQA），我们利用imSitu注释构建。imSitu数据集由使用语义框架元素手动标记的图像组成，主要来自FrameNet。其次，我们提出了一个多任务CNN-LSTM VQA模型，该模型学习对答案和语义框架元素进行分类。我们的实验表明，语义框架元素分类有助于VQA系统避免不一致的反应，提高了性能。
2020-01-31 cs.AI cs.CL cs.CV
Speech-Based Visual Question Answering
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
本文介绍了基于语音的视觉问答（VQA），生成一个给定的图像和一个口头问题的答案的任务。研究了两种方法：一种直接使用音频波形作为输入的端到端深度神经网络，而不是对问题执行ASR（自动语音识别）的流水线方法，然后是基于文本的视觉问答。此外，我们调查了这两种方法的鲁棒性，通过注入不同程度的噪声到口语问题，并发现这两种方法是容忍噪声在类似的水平。
2017-09-16 cs.CL cs.CV
Interpretable Visual Question Answering via Reasoning Supervision
DeepLab（深度实验室）
针对VQA模型缺乏视觉基础的问题，提出利用常识推理作为监督信号的新架构，通过相似性损失对齐注意力分布引导视觉关注，无需显式基础标注即可提升视觉感知能力与性能。
2023-09-07 cs.CV
Privacy Preserving Visual Question Answering
Amazon（亚马逊）
我们引入了一种新的隐私保护方法，用于在边缘执行视觉问答。我们的方法构建了一个符号表示的视觉场景，使用低复杂度的计算机视觉模型，共同预测类，属性和谓词。这种符号表示是不可微的，这意味着它不能用于恢复原始图像，从而保持原始图像的私密性。我们提出的混合解决方案使用的视觉模型比当前最先进的（SOTA）视觉模型小25倍以上，比端到端SOTA VQA模型小100倍。我们报告详细的错误分析，并讨论了使用蒸馏视觉模型和视觉场景的符号表示的权衡。
2022-02-15 cs.CV
Recent, rapid advancement in visual question answering architecture: a review
University of Arkansas at Little Rock（阿肯色大学小石城分校）
理解视觉问答对许多人类活动至关重要。然而，它在人工智能努力的核心提出了重大挑战。本文介绍了在视觉问答的快速进步，在过去的几年中发生的图像的更新。近年来，关于改进可视问答系统体系结构的研究取得了巨大的增长，这表明了多通道体系结构的重要性。关于视觉问答的好处，Manmadhan等人（2020）的综述论文中提到了几点，本文以其为基础，包括该领域的后续更新。
2022-07-09 cs.AI cs.CL cs.CV
Vision And Text Transformer For Predicting Answerability On Visual Question Answering
Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）；University of Science, Ho Chi Minh City（胡志明市理科大学）；Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校）；Zalo Research Center（Zalo研究中心）
针对视觉问答中的可回答性预测，提出VT-Transformer模型，利用Transformer架构融合视觉与文本特征，在VizWiz 2020数据集上验证了其有效性与鲁棒性。
2026-09-16 cs.AI cs.CV
Image Captioning and Visual Question Answering Based on Attributes and External Knowledge
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）
视觉到语言问题的最新进展是通过卷积神经网络（CNN）和递归神经网络（RNN）的组合实现的。这种方法并不显式地表示高级语义概念，而是寻求直接从图像特征到文本的进展。在本文中，我们首先提出了一种方法，将高层次的概念成功的CNN-RNN方法，并表明它实现了显着的改进，在最先进的图像描述和视觉问答。我们进一步表明，相同的机制可以用来将外部知识，这是至关重要的回答高层次的视觉问题。具体来说，我们设计了一个视觉问答模型，结合了图像内容的内部表示与从一般知识库中提取的信息，以回答广泛的基于图像的问题。它特别允许对图像的内容提出问题，即使图像本身不包含完整的答案。我们的最终模型在几个基准数据集上的图像描述和视觉问答上都取得了最好的报告结果。
2016-12-16 cs.CV
Explicit Knowledge-based Reasoning for Visual Question Answering
The University of Adelaide（阿德莱德大学）
我们描述了一种用于视觉问答的方法，该方法能够根据从大规模知识库中提取的信息来推理图像的内容。该方法不仅使用图像中不包含的概念来回答自然语言问题，而且可以提供对推理的解释，通过该推理来开发其答案。该方法能够回答比主流的基于长短期记忆的方法复杂得多的问题，并且在测试中显著优于它。我们还提供了一个数据集和一个协议，通过它来评估这些方法，从而解决了一般的视觉问题的回答的关键问题之一。
2015-11-12 cs.CL cs.CV
Survey of Recent Advances in Visual Question Answering
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Adobe Systems（Adobe 系统公司）
视觉问答（VQA）提出了一个独特的挑战，因为它需要理解和编码的多模态输入的能力-在图像处理和自然语言处理方面。该算法还需要学习如何在这种多模态表示上执行推理，以便正确回答问题。本文介绍了一个调查的不同方法，提出了解决问题的视觉问答。我们还描述了目前的艺术模型在后面的一部分文件。特别是，本文描述了各种算法提取图像特征，文本特征和这些被用来预测答案的方式所采取的方法。我们还简要讨论了评估VQA模型的实验，并报告了它们在不同数据集上的性能，包括新发布的VQA 2.0 [8]。
2017-09-24 cs.CV
Enhancing Scientific Visual Question Answering through Multimodal Reasoning and Ensemble Modeling
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Southern California（南加州大学）
本研究针对科学图表视觉问答的精度问题，提出结合提示优化、思维链推理和集成建模的方法，在SciVQA 2025任务中，最强单模型InternVL3取得ROUGE-L F1 0.740，集成模型进一步提升性能。
2025-07-08 cs.CV
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
视觉问答（VQA）的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现，一个注意力机制，使两种模式之间的密集，双向的相互作用，有助于提高准确性的预测答案。具体来说，我们提出了一个简单的架构，是完全对称的视觉和语言表示，其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构，用于图像-问题对之间的多步交互。我们通过实验表明，所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0，尽管它的小尺寸。我们还提出了定性评估，演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题，从而导致正确的答案预测。
2018-12-01 cs.CV
Towards Transparent AI Systems: Interpreting Visual Question Answering Models
Virginia Tech（弗吉尼亚理工大学）
近年来，深度神经网络在人工智能的许多研究领域取得了令人瞩目的进展，取得了令人瞩目的成果。然而，不知道他们为什么预测他们做什么通常是不令人满意的。在本文中，我们解决的问题，解释视觉问答（VQA）模型。具体来说，我们感兴趣的是找到VQA模型在回答问题时关注的输入部分（图像中的像素或问题中的单词）。为了解决这个问题，我们使用了两种可视化技术--引导反向传播和遮挡--来找到问题中的重要单词和图像中的重要区域。然后，我们提出这些重要性地图的定性和定量分析。我们发现，即使没有明确的注意力机制，VQA模型有时可能会隐含地关注图像中的相关区域，并且经常关注问题中的适当词语。
2016-09-09 cs.AI cs.CL cs.CV
Cross-Dataset Adaptation for Visual Question Answering
U. of Southern California（南加州大学）
研究了面向视觉问答的跨数据集自适应问题。我们的目标是在源数据集上训练一个可视化QA模型，但将其应用于另一个目标数据集。类似于用于视觉识别的领域自适应，当目标数据集没有足够量的标记数据来学习“域内”模型时，该设置是有吸引力的。关键的挑战是两个数据集的构造不同，导致图像，问题或答案的交叉数据集不匹配。我们克服了这个困难，提出了一种新的领域自适应算法。我们的方法通过变换目标数据集中数据的特征表示来减少统计分布的差异。此外，它使用在源数据集上训练的Visual QA模型来最大限度地正确回答问题（在目标数据集中）的可能性。我们实证研究了所提出的方法在几个流行的Visual QA数据集之间的适应的有效性。我们表明，该方法提高了基线，没有适应和其他几种适应方法。我们从定量和定性两个方面分析了适应在什么时候最有效。
2018-06-10 cs.CV
SaSR-Net: Source-Aware Semantic Representation Network for Enhancing Audio-Visual Question Answering
University of Notre Dame（圣母大学）；Brown University（布朗大学）；Columbia University（哥伦比亚大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对视听问答中复杂多模态场景理解与对齐的挑战，本文提出SaSR-Net模型，利用源级可学习标记捕获对齐视听元素，并结合时空注意力机制融合信息，在Music-AVQA和AVQA-Yang数据集上优于现有方法。
2024-11-11 cs.CV
MUTAN: Multimodal Tucker Fusion for Visual Question Answering
Sorbonne Universités, UPMC Univ Paris 06, CNRS, LIP6 UMR 7606（索邦大学，巴黎第六大学，法国国家科学研究中心，LIP6）；Heuritech；Conservatoire National des Arts et Métiers（法国国立工艺学院）
双线性模型为可视化问答（VQA）任务中混合和合并信息提供了一个有吸引力的框架。它们有助于学习问题意义和图像中视觉概念之间的高级关联，但它们存在巨大的维度问题。我们引入了MUTAN，一种基于多模态张量的Tucker分解，可以有效地参数化视觉和文本表示之间的双线性交互。除了塔克框架，我们设计了一个低秩矩阵为基础的分解，明确约束的相互作用排名。使用MUTAN，我们控制合并方案的复杂性，同时保持良好的可解释的融合关系。我们展示了我们的MUTAN模型如何推广一些最新的VQA架构，提供最先进的结果。
2017-05-18 cs.CV
Textually Enriched Neural Module Networks for Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）
随着计算机视觉研究超越传统的识别任务，语言和视觉交叉点的问题，如视觉问答，最近在多模态机器学习领域获得了大量关注。最近在使用深度神经网络模型的视觉问答中取得了成功，深度神经网络模型使用问题的语言结构来动态地实例化网络布局。在将问题转换为网络布局的过程中，问题被简化，这导致模型中的信息丢失。在本文中，我们丰富的图像信息与文本数据，使用图像标题和外部知识库，以生成更连贯的答案。我们实现了57.1%的整体准确率的测试开发开放式问题的视觉问答（VQA 1.0）的真实图像数据集。
2018-09-23 cs.CL cs.CV
Language bias in Visual Question Answering: A Survey and Taxonomy
University of Electronic Science and Technology of China（电子科技大学）
视觉问答（VQA）是一项具有挑战性的任务，在计算机视觉和自然语言处理领域引起了越来越多的关注。但是，目前的视觉问答存在语言偏向的问题，降低了模型的鲁棒性，对视觉问答的实际应用产生了不利影响。本文首次对这一领域进行了全面的回顾和分析，并将现有的方法按照增强视觉信息、弱化语言先验、数据增强和训练策略三大类进行了分类。同时，对相关的代表性方法依次进行了介绍、总结和分析。揭示了语言偏见产生的原因并进行了分类。其次，本文介绍了主要用于测试的数据集，并报告了各种现有方法的实验结果。最后，我们讨论了该领域未来可能的研究方向。
2021-11-16 cs.AI cs.CV
FashionVQA: A Domain-Specific Visual Question Answering System
Target Corporation（塔吉特公司）
人类通过各种感官形式来理解世界，但语言是他们最主要的沟通渠道。机器学习系统需要利用相同的多模态丰富性，以自然语言与人类进行信息交流;这对于专门处理视觉密集信息的系统尤其如此，例如对话、推荐和服装搜索引擎。为此，我们训练视觉问答（VQA）系统回答复杂的自然语言问题的服装在时尚的照片拍摄图像。我们的VQA模型成功训练的关键是使用不同的模板自动创建一个视觉问答数据集，其中包含来自20.7万张图像的项目属性的1.68亿个样本。样本生成采用了一种策略，认为问题的难度，答案对强调具有挑战性的概念。与最近使用多个数据集来预训练视觉问答模型的趋势相反，我们专注于保持数据集固定，同时从头开始训练各种模型，以将改进与模型架构变化隔离开来。我们看到，使用相同的Transformer来编码问题和解码答案，就像在语言模型中一样，实现了最大的准确性，这表明视觉语言模型（VLM）是我们数据集的最佳视觉问答系统。最佳模型的准确性超过了人类专家的水平，即使在回答不限于模板格式的人类生成的问题时也是如此。我们的方法，用于生成一个大规模的多模态领域特定的数据集提供了一个路径，训练能够在自然语言通信的专门模型。这种领域专家模型的训练，例如，我们的时尚VLM模型，不能仅仅依赖于从网络上收集的大规模通用数据集。
2022-08-24 cs.AI cs.CL cs.CV
VIBIKNet: Visual Bidirectional Kernelized Network for Visual Question Answering
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
在本文中，我们提出了一种新的模型，称为VIBIKNet解决问题的视觉问答。我们的模型是基于集成核卷积神经网络和长短期记忆单元，以生成一个关于图像的问题的答案。我们证明了VIBIKNet是准确性和计算负载之间的最佳权衡，在内存和时间消耗方面。我们在VQA挑战数据集上验证了我们的方法，并将其与性能最好的方法进行了比较，以说明其性能和速度。
2016-12-12 cs.CL cs.CV
Interpretable Visual Question Answering by Visual Grounding from Attention Supervision Mining
Stanford University（斯坦福大学）；Universidad Catolica de Chile（智利天主教大学）
可解释的VQA模型的一个关键方面是它们能够将答案与图像中的相关区域联系起来。具有这种能力的当前方法依赖于监督学习和人类注释的基础来在VQA架构内训练训练注意力机制。不幸的是，获得特定于视觉基础的人类注释是困难和昂贵的。在这项工作中，我们证明，我们可以有效地训练一个VQA架构与接地监督，可以自动获得可用的区域描述和对象注释。我们还表明，使用这种挖掘监督训练的模型生成的视觉接地与手动注释的接地具有更高的相关性，同时实现了最先进的VQA准确性。
2018-08-01 cs.AI cs.CL cs.CV
CLEVR_HYP: A Challenge Dataset and Baselines for Visual Question Answering with Hypothetical Actions over Images
现有的大多数视觉问答（VQA）研究仅限于图像或视频中明确呈现的信息。在本文中，我们将视觉理解提升到一个更高的层次，在这个层次上，系统面临着回答问题的挑战，这些问题涉及在给定的场景中模拟执行特定动作的假设后果。为此，我们制定了一个视觉语言的问答任务的基础上CLEVR（约翰逊等。例如，2017）dataset.然后，我们修改现有的最好的VQA方法，并提出了这项任务的基线求解器。最后，我们激励更好的视觉语言模型的发展，提供不同的架构，以执行联合推理的图像-文本模态的能力的见解。我们的数据集设置脚本和代码将在https://github.com/shailaja183/clevr_hyp上公开提供。
2021-04-13 cs.CV
Targeted Visual Prompting for Medical Visual Question Answering
University of Bern（伯尔尼大学）
本文提出定向视觉提示方法，通过向多模态大语言模型同时展示孤立区域及其上下文，赋予其基于区域的医学视觉问答能力，并在多个数据集上验证了有效性。
2024-08-06 cs.CV
An Empirical Evaluation of Visual Question Answering for Novel Objects
IIT Kanpur（印度理工学院坎普尔分校）；IIIT Delhi（印度德里信息技术学院）；IIT Madras（印度理工学院马德拉斯分校）
我们研究的问题，回答问题的图像在较难的设置，其中的测试问题和相应的图像包含新的对象，这是没有查询的训练数据。这样的设置在现实世界中是不可避免的--由于视觉类别的重尾分布，在训练集中会有一些对象不会被标注。我们表明，两个流行的现有方法的性能显着下降（高达28%）时，评价新的对象比照。已知物体我们提出的方法，使用大型现有的外部语料库（一）未标记的文本，即书籍，和（ii）标记类的图像，以实现新的基于对象的视觉问答。我们做系统的实证研究，无论是甲骨文的情况下，小说的对象是已知的文本，以及一个完全自动的情况下，没有任何明确的知识的小说的对象，但与最小的假设，即小说的对象是语义相关的现有对象的培训。所提出的方法为新颖的基于对象的视觉问答是模块化的，可以潜在地用于许多视觉问答架构。我们表现出一致的改进与两个流行的架构，并给出定性分析的情况下，模型做得很好，那些它未能带来改善。
2017-04-08 cs.CV
Answer-Me: Multi-Task Open-Vocabulary Visual Question Answering
Google Research（谷歌研究院）
我们提出了一个任务感知的多任务框架，它统一了各种问答任务，如视觉问答，视觉蕴涵，视觉推理。与以前使用对比或生成式字幕训练的作品相比，我们提出了一种新颖而简单的方法来预训练视觉-语言联合模型，该模型也是多任务的。预训练仅使用有噪声的图像描述数据，并且被制定为使用具有强语言编码器和解码器的端到端的整个架构。我们的研究结果显示了最先进的性能，zero-shot泛化，对遗忘的鲁棒性，以及在各种问答任务中具有竞争力的单任务结果。我们的多任务混合训练从各种问题意图的任务中学习，从而更好地泛化，包括zero-shot视觉语言任务。我们在具有挑战性的多任务和开放词汇设置中进行实验，并跨越各种数据集和任务，如VQA 2.0，SNLI-VE，NLVR 2，GQA。我们观察到，所提出的方法是能够推广到看不见的任务，更多样化的混合物导致更高的准确性，在已知的和新的任务。
2022-11-30 cs.CV
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
UC Berkeley EECS（加州大学伯克利分校电子工程与计算机科学系）；Sony Corp.（索尼公司）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
近年来，使用从大型语言或视觉数据集训练的向量表示对文本或视觉信息进行建模已被成功探索。然而，诸如视觉问答之类的任务需要将这些向量表示彼此组合。多模态池化的方法包括元素乘积或和，以及视觉和文本表示的连接。我们假设这些方法不像视觉和文本载体的外产品那样富有表现力。由于外积通常是不可行的，由于其高维度，我们建议利用多模态紧凑双线性池（MCB），有效地和表达地结合多模态功能。我们在视觉问答和接地任务上广泛评估MCB。我们一致显示MCB优于无MCB消融。对于视觉问答，我们提出了一个架构，它使用MCB两次，一次用于预测注意空间特征，并再次结合出席表示与问题表示。该模型在Visual7W数据集和VQA挑战上的性能优于最先进的模型。
2016-09-24 cs.AI cs.CL cs.CV
Knowing Where to Look? Analysis on Attention of Visual Question Answering System
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）
注意力机制由于其能够建模深度跨域交互的能力而被广泛用于视觉问答（VQA）解决方案中。分析注意力地图为我们提供了一个视角，以找出当前VQA系统的局限性，并有机会进一步改进它们。在本文中，我们选择了两个国家的最先进的VQA方法与注意力机制，研究他们的鲁棒性和缺点，通过可视化和分析他们的估计注意力地图。我们发现，这两种方法都是敏感的功能，同时，他们执行计数和多对象相关的问题。我们相信，研究结果和分析方法将有助于研究人员确定在改进自己的VQA系统的道路上面临的关键挑战。
2018-10-09 cs.CV
Learning content and context with language bias for Visual Question Answering
Hunan University（湖南大学）；Microsoft Research Asia（微软亚洲研究院）
视觉问答（VQA）是一个具有挑战性的多模态任务，回答有关图像的问题。许多研究集中在如何减少语言偏见，这使得模型回答问题时忽略了视觉内容和语言上下文。然而，减少语言偏见也削弱了VQA模型事先学习上下文的能力。为了解决这个问题，我们提出了一种新的学习策略，名为CCB，它迫使VQA模型回答问题依赖于内容和上下文与语言偏见。具体而言，CCB在VQA基础模型之上建立内容和上下文分支，并迫使它们分别关注本地关键内容和全球有效上下文。此外，联合损失函数，提出了减少有偏样本的重要性，并保留其有益的影响回答问题。实验表明，CCB优于国家的最先进的方法在VQA-CP v2的准确性方面。
2020-12-21 cs.CV
Check It Again: Progressive Visual Question Answering via Visual Entailment
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
虽然复杂的视觉问答模型已经取得了显著的成功，但它们往往只根据问题和答案之间的表面相关性来回答问题。最近已经开发了几种方法来解决这种语言先验问题。然而，他们中的大多数人预测正确的答案根据一个最佳的输出，而不检查答案的真实性。此外，他们只探讨图像和问题之间的相互作用，忽略了候选答案的语义。在本文中，我们提出了一个选择和重新排名（SAR）渐进框架的基础上视觉蕴涵。具体来说，我们首先选择与问题或图像相关的候选答案，然后通过视觉蕴涵任务对候选答案进行重新排序，该视觉蕴涵任务验证图像是否语义蕴涵问题和每个候选答案的合成陈述。实验结果表明，我们提出的框架的有效性，建立了一个新的国家的最先进的VQA-CP v2的准确性与7.55%的改善。
2021-06-08 cs.CV
Two can play this Game: Visual Dialog with Discriminative Question Generation and Answering
UIUC（伊利诺伊大学厄巴纳-香槟分校）
人类的对话是一种复杂的机制，有着微妙的细微差别。因此，开发能够流利地参与对话的人工智能代理是一个雄心勃勃的目标。虽然我们离实现这一目标还很远，但最近在视觉问答、图像描述和视觉问题生成方面的进展表明，对话系统可能在不久的将来实现。为此，最近引入了一个新的数据集，并展示了令人鼓舞的结果，特别是对于问答。在本文中，我们展示了一个简单的对称判别基线，可以应用于预测答案以及预测问题。我们表明，这种方法的表现与最先进的，甚至内存网络为基础的方法。此外，第一次在视觉对话数据集上，我们评估了系统提问的性能，并演示了如何从判别式问题生成和问答中生成视觉对话。
2018-03-29 cs.CL cs.CV
Show, Ask, Attend, and Answer: A Strong Baseline For Visual Question Answering
Google Research（谷歌研究院）
本文提出了一种新的视觉问答任务的基线。给定图像和自然语言中的问题，我们的模型根据图像的内容产生准确的答案。我们的模型，虽然在架构上是简单的，相对较小的可训练参数，设置了一个新的艺术状态的不平衡和平衡的VQA基准。在VQA 1.0开放式挑战中，我们的模型在测试标准集上实现了64.6%的准确率，而无需使用额外的数据，比最先进的水平提高了0.4%，在新发布的VQA 2.0上，我们的模型在验证集上的得分为59.7%，比之前报道的最佳结果高出0.5%。本文中提出的结果特别有趣，因为之前已经尝试过非常相似的模型，但报告的性能明显较低。根据这些新的研究结果，我们希望在未来看到更多有意义的视觉问答研究。
2017-04-12 cs.CV
Dynamic Memory Networks for Visual and Textual Question Answering
MetaMind（MetaMind公司）
具有记忆和注意力机制的神经网络架构表现出问答所需的某些推理能力。动态记忆网络（DMN）就是这样一种架构，它在各种语言任务中获得了很高的准确性。然而，没有显示当在训练期间没有标记支持事实时，该架构是否实现了问答的强结果，或者它是否可以应用于其他模态，如图像。在对DMN进行分析的基础上，我们对其存储和输入模块提出了几点改进。与这些变化一起，我们引入了一个新的图像输入模块，以便能够回答视觉问题。我们的新DMN+模型改进了Visual问答数据集和\babi-10k文本问答数据集的最新技术，而不支持事实监督。
2016-03-04 cs.CL cs.CV cs.NE
Learning Conditioned Graph Structures for Interpretable Visual Question Answering
AimBrain Ltd.（AimBrain有限公司）
视觉问答是一个具有挑战性的问题，需要结合计算机视觉和自然语言处理的概念。大多数现有的方法使用两个流策略，计算图像和问题的功能，因此合并使用各种技术。尽管如此，很少有依赖于更高层次的图像表示，它可以捕捉语义和空间关系。在本文中，我们提出了一种新的基于图的方法，用于可视化问答。我们的方法结合了一个图形学习器模块，它学习输入图像的问题特定的图形表示，与最近的概念图卷积，旨在学习图像表示，捕捉问题特定的交互。我们使用一个简单的基线架构，通过拟议的图学习器模块增强VQA v2数据集上测试我们的方法。我们得到了有希望的结果与66.18%的准确性，并证明所提出的方法的可解释性。代码可以在github.com/aimbrain/vqa-project上找到。
2018-11-01 cs.CV
On the Cognition of Visual Question Answering Models and Human Intelligence: A Comparative Study
New York University（纽约大学）
本文通过调查记录人类思维过程，并比较VQA模型与人类的输出和注意力图，揭示模型虽在架构和识别层面接近人类，却仍缺乏认知推理能力。
2023-10-04 cs.CV
Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering
Korea University（韩国大学）；KAIST（韩国科学技术院）；Amazon（亚马逊）
本研究通过RETINA基准和MIMIR方法，打破多模态知识驱动视觉问答中的视觉捷径问题，验证现有模型对捷径的依赖并展示改进效果。
2026-02-25 cs.CV
On the Flip Side: Identifying Counterexamples in Visual Question Answering
Harvard University（哈佛大学）
视觉问答（VQA）模型响应关于图像的开放式自然语言问题。虽然VQA是一个越来越受欢迎的研究领域，但目前还不清楚当前的VQA架构在多大程度上学习了视觉相似图像之间的关键语义差异。为了研究这个问题，我们探索了VQA任务的重新表述，该任务挑战模型以识别反例：导致原始问题不同答案的图像。我们介绍了两种方法来评估现有的VQA模型对监督反例预测任务，VQA-CX。虽然我们的模型超过了VQA-CX上现有的基准，但我们发现，现有的最先进的VQA模型所学习的多模态表示并没有对这项任务的性能做出有意义的贡献。这些结果对VQA基准测试的成功表现表明一般视觉语义推理能力的假设提出了质疑。
2018-07-24 cs.CV
Answer Them All! Toward Universal Visual Question Answering Models
Rochester Institute of Technology（罗切斯特理工学院）；PAIGE；Cornell Tech（康奈尔科技学院 (Cornell Tech)）
视觉问答（VQA）研究分为两个阵营：第一个集中在需要自然图像理解的VQA数据集上，第二个集中在测试推理的合成数据集上。一个好的VQA算法应该能够做到这两点，但只有少数VQA算法以这种方式进行测试。我们比较了五个国家的最先进的VQA算法在八个VQA数据集涵盖这两个领域。为了使比较公平，所有模型都尽可能标准化，例如，它们使用相同的视觉特征、答案词汇表等。我们发现，方法不会在这两个域中泛化。为了解决这个问题，我们提出了一个新的VQA算法，竞争对手或超过国家的最先进的这两个领域。
2019-04-05 cs.CV
Multiple interaction learning with question-type prior knowledge for constraining answer search space in visual question answering
AIOZ；University of Liverpool（利物浦大学）
视觉问答（VQA）已经提出了不同的方法。然而，很少有作品意识到的行为，不同的联合模态方法的问题类型先验知识提取的数据在约束的答案搜索空间，其中的信息给出了一个可靠的线索，原因在输入图像中提出的问题的答案。在本文中，我们提出了一种新的VQA模型，利用问题类型的先验信息，以提高VQA利用不同的联合模态方法之间的多个相互作用的基础上，他们的行为回答来自不同类型的问题。在两个基准数据集上的实验，即，VQA 2.0和TDIUC，表明所提出的方法产生最好的性能与最有竞争力的方法。
2020-09-23 cs.CV
A Dataset and Baselines for Visual Question Answering on Art
Osaka University（大阪大学）；Carnegie Mellon University（卡内基梅隆大学）；CyberAgent, Inc.（CyberAgent 公司）
与艺术作品（绘画）相关的问答是一项艰巨的任务，因为它不仅意味着对图片中显示的视觉信息的理解，而且还意味着对通过研究艺术史获得的背景知识的理解。在这项工作中，我们介绍了我们首次尝试构建一个新的数据集，即AQUA（艺术问答）。问答（QA）对是使用基于现有艺术理解数据集中提供的绘画和评论的最先进的问题生成方法自动生成的。QA对由众包工作人员根据语法正确性、可回答性和答案的正确性进行清理。我们的数据集本质上由视觉（基于绘画）和知识（基于评论）问题组成。我们还提出了一个两个分支的模型作为基线，视觉和知识的问题是独立处理的。我们广泛比较我们的基线模型对国家的最先进的问答模型，我们提供了一个全面的研究视觉问答艺术的挑战和潜在的未来方向。
2020-08-28 cs.CL cs.CV
Segmentation-guided Attention for Visual Question Answering from Remote Sensing Images
针对遥感视觉问答任务，提出分割引导的注意力机制以优化视觉特征提取，并构建含16类分割标注的超高分辨率RGB正射影像VQA数据集，准确率较经典方法提升近10%。
2024-07-11 cs.CV
Fully Authentic Visual Question Answering Dataset from Online Communities
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft（微软公司）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出首个完全来自在线社区真实问答的VQA数据集VQAonline，评估六个先进模型，发现长答案挑战，并分析最佳评估指标。
2024-07-17 cs.CV
FlowVQA: Mapping Multimodal Logic in Visual Question Answering with Flowcharts
Mercer Mettl（默瑟梅特尔）；IGDTUW（英迪拉·甘地德里技术大学（女子））；Google Research（谷歌研究院）；Indian Institute of Technology Guwahati（古瓦哈蒂印度理工学院）；University of Pennsylvania（宾夕法尼亚大学）
FlowVQA提出一个包含2,272张流程图和22,413个问答对的视觉问答基准，用于评估多模态语言模型在信息定位、决策和逻辑推理上的能力，并通过基线实验验证其价值。
2024-06-28 cs.CL cs.CV cs.IR
Compact Trilinear Interaction for Visual Question Answering
AIOZ Pte Ltd（AIOZ私人有限公司）；Singapore University of Liverpool（新加坡利物浦大学）
在视觉问答中，答案与问题的意义和视觉内容有很大的相关性。因此，有选择地利用图像，问题和答案的信息，我们提出了一种新的三线性互动模型，同时学习这三个输入之间的高层次的关联。此外，为了克服相互作用的复杂性，我们引入了一个多模态张量为基础的PARALIND分解，有效地参数化三个输入之间的三线性相互作用。此外，知识蒸馏首次应用于自由形式的开放式VQA。这不仅是为了减少计算量和所需的内存，而且还可以将知识从三线性相互作用模型转移到双线性相互作用模型。在基准数据集TDIUC、VQA-2.0和Visual 7 W上的大量实验表明，当在所有三个数据集上使用单个模型时，所提出的紧凑三线性交互模型实现了最先进的结果。
2019-09-26 cs.CV
Visual Robustness Benchmark for Visual Question Answering (VQA)
Islamic University of Technology（伊斯兰科技大学）
针对VQA模型视觉鲁棒性研究不足的问题，提出首个含21.3万张增强图像的大规模视觉鲁棒性基准及可聚合的评估指标，实验揭示了模型规模、性能与鲁棒性的关联，指明模型开发需平衡性能与鲁棒性。
2024-10-29 cs.CV
