Interpretable Visual Question Answering via Reasoning Supervision
DeepLab（深度实验室）
针对VQA模型缺乏视觉基础的问题，提出利用常识推理作为监督信号的新架构，通过相似性损失对齐注意力分布引导视觉关注，无需显式基础标注即可提升视觉感知能力与性能。
2023-09-07 cs.CV
Privacy Preserving Visual Question Answering
Amazon（亚马逊）
我们引入了一种新的隐私保护方法，用于在边缘执行视觉问答。我们的方法构建了一个符号表示的视觉场景，使用低复杂度的计算机视觉模型，共同预测类，属性和谓词。这种符号表示是不可微的，这意味着它不能用于恢复原始图像，从而保持原始图像的私密性。我们提出的混合解决方案使用的视觉模型比当前最先进的（SOTA）视觉模型小25倍以上，比端到端SOTA VQA模型小100倍。我们报告详细的错误分析，并讨论了使用蒸馏视觉模型和视觉场景的符号表示的权衡。
2022-02-15 cs.CV
Image Captioning and Visual Question Answering Based on Attributes and External Knowledge
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）
视觉到语言问题的最新进展是通过卷积神经网络（CNN）和递归神经网络（RNN）的组合实现的。这种方法并不显式地表示高级语义概念，而是寻求直接从图像特征到文本的进展。在本文中，我们首先提出了一种方法，将高层次的概念成功的CNN-RNN方法，并表明它实现了显着的改进，在最先进的图像描述和视觉问答。我们进一步表明，相同的机制可以用来将外部知识，这是至关重要的回答高层次的视觉问题。具体来说，我们设计了一个视觉问答模型，结合了图像内容的内部表示与从一般知识库中提取的信息，以回答广泛的基于图像的问题。它特别允许对图像的内容提出问题，即使图像本身不包含完整的答案。我们的最终模型在几个基准数据集上的图像描述和视觉问答上都取得了最好的报告结果。
2016-12-16 cs.CV
Survey of Recent Advances in Visual Question Answering
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Adobe Systems（Adobe 系统公司）
视觉问答（VQA）提出了一个独特的挑战，因为它需要理解和编码的多模态输入的能力-在图像处理和自然语言处理方面。该算法还需要学习如何在这种多模态表示上执行推理，以便正确回答问题。本文介绍了一个调查的不同方法，提出了解决问题的视觉问答。我们还描述了目前的艺术模型在后面的一部分文件。特别是，本文描述了各种算法提取图像特征，文本特征和这些被用来预测答案的方式所采取的方法。我们还简要讨论了评估VQA模型的实验，并报告了它们在不同数据集上的性能，包括新发布的VQA 2.0 [8]。
2017-09-24 cs.CV
Enhancing Scientific Visual Question Answering through Multimodal Reasoning and Ensemble Modeling
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Southern California（南加州大学）
本研究针对科学图表视觉问答的精度问题，提出结合提示优化、思维链推理和集成建模的方法，在SciVQA 2025任务中，最强单模型InternVL3取得ROUGE-L F1 0.740，集成模型进一步提升性能。
2025-07-08 cs.CV
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
视觉问答（VQA）的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现，一个注意力机制，使两种模式之间的密集，双向的相互作用，有助于提高准确性的预测答案。具体来说，我们提出了一个简单的架构，是完全对称的视觉和语言表示，其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构，用于图像-问题对之间的多步交互。我们通过实验表明，所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0，尽管它的小尺寸。我们还提出了定性评估，演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题，从而导致正确的答案预测。
2018-12-01 cs.CV
Cross-Dataset Adaptation for Visual Question Answering
U. of Southern California（南加州大学）
研究了面向视觉问答的跨数据集自适应问题。我们的目标是在源数据集上训练一个可视化QA模型，但将其应用于另一个目标数据集。类似于用于视觉识别的领域自适应，当目标数据集没有足够量的标记数据来学习“域内”模型时，该设置是有吸引力的。关键的挑战是两个数据集的构造不同，导致图像，问题或答案的交叉数据集不匹配。我们克服了这个困难，提出了一种新的领域自适应算法。我们的方法通过变换目标数据集中数据的特征表示来减少统计分布的差异。此外，它使用在源数据集上训练的Visual QA模型来最大限度地正确回答问题（在目标数据集中）的可能性。我们实证研究了所提出的方法在几个流行的Visual QA数据集之间的适应的有效性。我们表明，该方法提高了基线，没有适应和其他几种适应方法。我们从定量和定性两个方面分析了适应在什么时候最有效。
2018-06-10 cs.CV
SaSR-Net: Source-Aware Semantic Representation Network for Enhancing Audio-Visual Question Answering
University of Notre Dame（圣母大学）；Brown University（布朗大学）；Columbia University（哥伦比亚大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对视听问答中复杂多模态场景理解与对齐的挑战，本文提出SaSR-Net模型，利用源级可学习标记捕获对齐视听元素，并结合时空注意力机制融合信息，在Music-AVQA和AVQA-Yang数据集上优于现有方法。
2024-11-11 cs.CV
MUTAN: Multimodal Tucker Fusion for Visual Question Answering
Sorbonne Universités, UPMC Univ Paris 06, CNRS, LIP6 UMR 7606（索邦大学，巴黎第六大学，法国国家科学研究中心，LIP6）；Heuritech；Conservatoire National des Arts et Métiers（法国国立工艺学院）
双线性模型为可视化问答（VQA）任务中混合和合并信息提供了一个有吸引力的框架。它们有助于学习问题意义和图像中视觉概念之间的高级关联，但它们存在巨大的维度问题。我们引入了MUTAN，一种基于多模态张量的Tucker分解，可以有效地参数化视觉和文本表示之间的双线性交互。除了塔克框架，我们设计了一个低秩矩阵为基础的分解，明确约束的相互作用排名。使用MUTAN，我们控制合并方案的复杂性，同时保持良好的可解释的融合关系。我们展示了我们的MUTAN模型如何推广一些最新的VQA架构，提供最先进的结果。
2017-05-18 cs.CV
CLEVR_HYP: A Challenge Dataset and Baselines for Visual Question Answering with Hypothetical Actions over Images
现有的大多数视觉问答（VQA）研究仅限于图像或视频中明确呈现的信息。在本文中，我们将视觉理解提升到一个更高的层次，在这个层次上，系统面临着回答问题的挑战，这些问题涉及在给定的场景中模拟执行特定动作的假设后果。为此，我们制定了一个视觉语言的问答任务的基础上CLEVR（约翰逊等。例如，2017）dataset.然后，我们修改现有的最好的VQA方法，并提出了这项任务的基线求解器。最后，我们激励更好的视觉语言模型的发展，提供不同的架构，以执行联合推理的图像-文本模态的能力的见解。我们的数据集设置脚本和代码将在https://github.com/shailaja183/clevr_hyp上公开提供。
2021-04-13 cs.CV
Targeted Visual Prompting for Medical Visual Question Answering
University of Bern（伯尔尼大学）
本文提出定向视觉提示方法，通过向多模态大语言模型同时展示孤立区域及其上下文，赋予其基于区域的医学视觉问答能力，并在多个数据集上验证了有效性。
2024-08-06 cs.CV
An Empirical Evaluation of Visual Question Answering for Novel Objects
IIT Kanpur（印度理工学院坎普尔分校）；IIIT Delhi（印度德里信息技术学院）；IIT Madras（印度理工学院马德拉斯分校）
我们研究的问题，回答问题的图像在较难的设置，其中的测试问题和相应的图像包含新的对象，这是没有查询的训练数据。这样的设置在现实世界中是不可避免的--由于视觉类别的重尾分布，在训练集中会有一些对象不会被标注。我们表明，两个流行的现有方法的性能显着下降（高达28%）时，评价新的对象比照。已知物体我们提出的方法，使用大型现有的外部语料库（一）未标记的文本，即书籍，和（ii）标记类的图像，以实现新的基于对象的视觉问答。我们做系统的实证研究，无论是甲骨文的情况下，小说的对象是已知的文本，以及一个完全自动的情况下，没有任何明确的知识的小说的对象，但与最小的假设，即小说的对象是语义相关的现有对象的培训。所提出的方法为新颖的基于对象的视觉问答是模块化的，可以潜在地用于许多视觉问答架构。我们表现出一致的改进与两个流行的架构，并给出定性分析的情况下，模型做得很好，那些它未能带来改善。
2017-04-08 cs.CV
Answer-Me: Multi-Task Open-Vocabulary Visual Question Answering
Google Research（谷歌研究院）
我们提出了一个任务感知的多任务框架，它统一了各种问答任务，如视觉问答，视觉蕴涵，视觉推理。与以前使用对比或生成式字幕训练的作品相比，我们提出了一种新颖而简单的方法来预训练视觉-语言联合模型，该模型也是多任务的。预训练仅使用有噪声的图像描述数据，并且被制定为使用具有强语言编码器和解码器的端到端的整个架构。我们的研究结果显示了最先进的性能，zero-shot泛化，对遗忘的鲁棒性，以及在各种问答任务中具有竞争力的单任务结果。我们的多任务混合训练从各种问题意图的任务中学习，从而更好地泛化，包括zero-shot视觉语言任务。我们在具有挑战性的多任务和开放词汇设置中进行实验，并跨越各种数据集和任务，如VQA 2.0，SNLI-VE，NLVR 2，GQA。我们观察到，所提出的方法是能够推广到看不见的任务，更多样化的混合物导致更高的准确性，在已知的和新的任务。
2022-11-30 cs.CV
Knowing Where to Look? Analysis on Attention of Visual Question Answering System
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）
注意力机制由于其能够建模深度跨域交互的能力而被广泛用于视觉问答（VQA）解决方案中。分析注意力地图为我们提供了一个视角，以找出当前VQA系统的局限性，并有机会进一步改进它们。在本文中，我们选择了两个国家的最先进的VQA方法与注意力机制，研究他们的鲁棒性和缺点，通过可视化和分析他们的估计注意力地图。我们发现，这两种方法都是敏感的功能，同时，他们执行计数和多对象相关的问题。我们相信，研究结果和分析方法将有助于研究人员确定在改进自己的VQA系统的道路上面临的关键挑战。
2018-10-09 cs.CV
Learning content and context with language bias for Visual Question Answering
Hunan University（湖南大学）；Microsoft Research Asia（微软亚洲研究院）
视觉问答（VQA）是一个具有挑战性的多模态任务，回答有关图像的问题。许多研究集中在如何减少语言偏见，这使得模型回答问题时忽略了视觉内容和语言上下文。然而，减少语言偏见也削弱了VQA模型事先学习上下文的能力。为了解决这个问题，我们提出了一种新的学习策略，名为CCB，它迫使VQA模型回答问题依赖于内容和上下文与语言偏见。具体而言，CCB在VQA基础模型之上建立内容和上下文分支，并迫使它们分别关注本地关键内容和全球有效上下文。此外，联合损失函数，提出了减少有偏样本的重要性，并保留其有益的影响回答问题。实验表明，CCB优于国家的最先进的方法在VQA-CP v2的准确性方面。
2020-12-21 cs.CV
Check It Again: Progressive Visual Question Answering via Visual Entailment
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
虽然复杂的视觉问答模型已经取得了显著的成功，但它们往往只根据问题和答案之间的表面相关性来回答问题。最近已经开发了几种方法来解决这种语言先验问题。然而，他们中的大多数人预测正确的答案根据一个最佳的输出，而不检查答案的真实性。此外，他们只探讨图像和问题之间的相互作用，忽略了候选答案的语义。在本文中，我们提出了一个选择和重新排名（SAR）渐进框架的基础上视觉蕴涵。具体来说，我们首先选择与问题或图像相关的候选答案，然后通过视觉蕴涵任务对候选答案进行重新排序，该视觉蕴涵任务验证图像是否语义蕴涵问题和每个候选答案的合成陈述。实验结果表明，我们提出的框架的有效性，建立了一个新的国家的最先进的VQA-CP v2的准确性与7.55%的改善。
2021-06-08 cs.CV
Show, Ask, Attend, and Answer: A Strong Baseline For Visual Question Answering
Google Research（谷歌研究院）
本文提出了一种新的视觉问答任务的基线。给定图像和自然语言中的问题，我们的模型根据图像的内容产生准确的答案。我们的模型，虽然在架构上是简单的，相对较小的可训练参数，设置了一个新的艺术状态的不平衡和平衡的VQA基准。在VQA 1.0开放式挑战中，我们的模型在测试标准集上实现了64.6%的准确率，而无需使用额外的数据，比最先进的水平提高了0.4%，在新发布的VQA 2.0上，我们的模型在验证集上的得分为59.7%，比之前报道的最佳结果高出0.5%。本文中提出的结果特别有趣，因为之前已经尝试过非常相似的模型，但报告的性能明显较低。根据这些新的研究结果，我们希望在未来看到更多有意义的视觉问答研究。
2017-04-12 cs.CV
Learning Conditioned Graph Structures for Interpretable Visual Question Answering
AimBrain Ltd.（AimBrain有限公司）
视觉问答是一个具有挑战性的问题，需要结合计算机视觉和自然语言处理的概念。大多数现有的方法使用两个流策略，计算图像和问题的功能，因此合并使用各种技术。尽管如此，很少有依赖于更高层次的图像表示，它可以捕捉语义和空间关系。在本文中，我们提出了一种新的基于图的方法，用于可视化问答。我们的方法结合了一个图形学习器模块，它学习输入图像的问题特定的图形表示，与最近的概念图卷积，旨在学习图像表示，捕捉问题特定的交互。我们使用一个简单的基线架构，通过拟议的图学习器模块增强VQA v2数据集上测试我们的方法。我们得到了有希望的结果与66.18%的准确性，并证明所提出的方法的可解释性。代码可以在github.com/aimbrain/vqa-project上找到。
2018-11-01 cs.CV
On the Cognition of Visual Question Answering Models and Human Intelligence: A Comparative Study
New York University（纽约大学）
本文通过调查记录人类思维过程，并比较VQA模型与人类的输出和注意力图，揭示模型虽在架构和识别层面接近人类，却仍缺乏认知推理能力。
2023-10-04 cs.CV
Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering
Korea University（韩国大学）；KAIST（韩国科学技术院）；Amazon（亚马逊）
本研究通过RETINA基准和MIMIR方法，打破多模态知识驱动视觉问答中的视觉捷径问题，验证现有模型对捷径的依赖并展示改进效果。
2026-02-25 cs.CV
On the Flip Side: Identifying Counterexamples in Visual Question Answering
Harvard University（哈佛大学）
视觉问答（VQA）模型响应关于图像的开放式自然语言问题。虽然VQA是一个越来越受欢迎的研究领域，但目前还不清楚当前的VQA架构在多大程度上学习了视觉相似图像之间的关键语义差异。为了研究这个问题，我们探索了VQA任务的重新表述，该任务挑战模型以识别反例：导致原始问题不同答案的图像。我们介绍了两种方法来评估现有的VQA模型对监督反例预测任务，VQA-CX。虽然我们的模型超过了VQA-CX上现有的基准，但我们发现，现有的最先进的VQA模型所学习的多模态表示并没有对这项任务的性能做出有意义的贡献。这些结果对VQA基准测试的成功表现表明一般视觉语义推理能力的假设提出了质疑。
2018-07-24 cs.CV
Answer Them All! Toward Universal Visual Question Answering Models
Rochester Institute of Technology（罗切斯特理工学院）；PAIGE；Cornell Tech（康奈尔科技学院 (Cornell Tech)）
视觉问答（VQA）研究分为两个阵营：第一个集中在需要自然图像理解的VQA数据集上，第二个集中在测试推理的合成数据集上。一个好的VQA算法应该能够做到这两点，但只有少数VQA算法以这种方式进行测试。我们比较了五个国家的最先进的VQA算法在八个VQA数据集涵盖这两个领域。为了使比较公平，所有模型都尽可能标准化，例如，它们使用相同的视觉特征、答案词汇表等。我们发现，方法不会在这两个域中泛化。为了解决这个问题，我们提出了一个新的VQA算法，竞争对手或超过国家的最先进的这两个领域。
2019-04-05 cs.CV
Multiple interaction learning with question-type prior knowledge for constraining answer search space in visual question answering
AIOZ；University of Liverpool（利物浦大学）
视觉问答（VQA）已经提出了不同的方法。然而，很少有作品意识到的行为，不同的联合模态方法的问题类型先验知识提取的数据在约束的答案搜索空间，其中的信息给出了一个可靠的线索，原因在输入图像中提出的问题的答案。在本文中，我们提出了一种新的VQA模型，利用问题类型的先验信息，以提高VQA利用不同的联合模态方法之间的多个相互作用的基础上，他们的行为回答来自不同类型的问题。在两个基准数据集上的实验，即，VQA 2.0和TDIUC，表明所提出的方法产生最好的性能与最有竞争力的方法。
2020-09-23 cs.CV
Segmentation-guided Attention for Visual Question Answering from Remote Sensing Images
针对遥感视觉问答任务，提出分割引导的注意力机制以优化视觉特征提取，并构建含16类分割标注的超高分辨率RGB正射影像VQA数据集，准确率较经典方法提升近10%。
2024-07-11 cs.CV
Fully Authentic Visual Question Answering Dataset from Online Communities
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft（微软公司）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出首个完全来自在线社区真实问答的VQA数据集VQAonline，评估六个先进模型，发现长答案挑战，并分析最佳评估指标。
2024-07-17 cs.CV
Compact Trilinear Interaction for Visual Question Answering
AIOZ Pte Ltd（AIOZ私人有限公司）；Singapore University of Liverpool（新加坡利物浦大学）
在视觉问答中，答案与问题的意义和视觉内容有很大的相关性。因此，有选择地利用图像，问题和答案的信息，我们提出了一种新的三线性互动模型，同时学习这三个输入之间的高层次的关联。此外，为了克服相互作用的复杂性，我们引入了一个多模态张量为基础的PARALIND分解，有效地参数化三个输入之间的三线性相互作用。此外，知识蒸馏首次应用于自由形式的开放式VQA。这不仅是为了减少计算量和所需的内存，而且还可以将知识从三线性相互作用模型转移到双线性相互作用模型。在基准数据集TDIUC、VQA-2.0和Visual 7 W上的大量实验表明，当在所有三个数据集上使用单个模型时，所提出的紧凑三线性交互模型实现了最先进的结果。
2019-09-26 cs.CV
Visual Robustness Benchmark for Visual Question Answering (VQA)
Islamic University of Technology（伊斯兰科技大学）
针对VQA模型视觉鲁棒性研究不足的问题，提出首个含21.3万张增强图像的大规模视觉鲁棒性基准及可聚合的评估指标，实验揭示了模型规模、性能与鲁棒性的关联，指明模型开发需平衡性能与鲁棒性。
2024-10-29 cs.CV
MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering
University of Central Florida（中佛罗里达大学）
我们提出了MMFT-BERT（多模态融合Transformer with BERT encodings），以解决视觉问答（Visual Question Questioning，VQA）问题，确保对多个输入模态的单独和组合处理。我们的方法受益于处理多模态数据（视频和文本），分别采用BERT编码，并使用一种新的基于变换的融合方法将它们融合在一起。我们的方法分解不同来源的模态，到不同的BERT实例具有相似的架构，但可变的权重。这在TVQA数据集上实现了SOTA结果。此外，我们提供TVQA视觉，TVQA的一个孤立的诊断子集，它严格要求基于人类注释者的判断的视觉（V）模态的知识。这组问题有助于我们研究模型的行为以及TVQA为防止实现超人类性能而提出的挑战。大量的实验表明了该方法的有效性和优越性。
2020-10-27 cs.CV
DDVT: Dynamic Dual-level Vision Transformer Fusion Network for Answer Grounding in Visual Question Answering
National and Local Joint Engineering Laboratory of Computer Aided Design, School of Software Engineering, Dalian University（大连大学软件工程学院计算机辅助设计国家地方联合工程实验室）；School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）
研究视觉问答中答案定位问题，提出动态双级视觉Transformer融合网络DDVT，含问题引导的动态区域级模块和跨模态多尺度聚合模块，能精确定位相关视觉内容并融合文本特征，实验证明其性能优于现有方法。
2026-07-28 cs.CV
Pano-AVQA: Grounded Audio-Visual Question Answering on 360$^\circ$ Videos
Seoul National University（首尔大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Oxford（牛津大学）；Hyundai Motor Company（现代汽车公司）
360度$^\circ$视频传达场景周围环境的整体视图。它提供了超出预先确定的正常视野的视听线索，并在球体上显示出独特的空间关系。然而，以往的全景视频的基准任务仍然局限于评估视听关系或周围的球形空间属性的语义理解。我们提出了一个新的基准称为Pano-AVQA作为一个大规模的接地视听问答数据集的全景视频。使用5.4K 360 $^\circ$视频剪辑在线收获，我们收集了两种类型的新颖的问题-答案对边界框接地：球形空间关系问答和视听关系问答。我们从Pano-AVQA中训练了几个基于transformer的模型，结果表明，我们提出的球形空间嵌入和多模态训练目标有助于更好地理解数据集上的全景环境。
2021-10-11 cs.CV
Visually Interpretable Subtask Reasoning for Visual Question Answering
University of Edinburgh（爱丁堡大学）；NVIDIA（英伟达）
本文提出子任务驱动框架 VISTAR，通过微调 MLLM 生成文本与视觉的 Subtask-of-Thought 推理序列，在两个基准上兼顾并提升视觉问答的可解释性与准确率。
2025-05-12 cs.CV
Explicit Bias Discovery in Visual Question Answering Models
University of Maryland, College Park（马里兰大学帕克分校）
研究人员观察到，视觉问答（VQA）模型倾向于通过学习数据中的统计偏差来回答问题。例如，他们对“草的颜色是什么？”“通常是“绿色的”，而像“这本书的书名是什么？“不能通过推断统计偏差来回答。明确地发现这种偏差对社区来说是很有意义的，这既有利于理解这种模型的行为，也有利于调试它们。我们的工作解决这个问题。在一个数据库中，我们存储的问题，答案和视觉词对应的关注地图的兴趣区域的话。通过在这个数据库上运行简单的规则挖掘算法，我们发现了人类可解释的规则，这些规则使我们对这些模型的行为有了独特的见解。我们的研究结果还显示了模型在尝试VQA任务时学习到的不寻常行为的例子。
2018-11-19 cs.CV
Compositional Memory for Visual Question Answering
Jiangxi Normal University（江西师范大学）；NICTA（国家信息与通信技术研究院）；ANU（澳大利亚国立大学）；Toyota Research Institute North America（丰田北美研究院）
视觉问答（VQA）是近年来计算机视觉研究的热点之一。许多最先进的方法天真地将整体视觉特征与语言特征一起使用到长短期记忆（LSTM）模块中，忽略了它们之间复杂的交互。这种粗糙的建模也阻碍了探索更细粒度的局部特征的可能性，这些特征有助于随着时间动态地回答问答。本文通过直接建模语言和所有可能的局部图像补丁之间的时间动态来解决这个基本问题。当按顺序遍历问题词时，我们的端到端方法显式地融合了与词相关的特征和注意力机制中多个局部补丁处可用的特征，并进一步组合融合的信息以生成动态消息，我们称之为事件。然后，我们将这些片段连同上下文视觉信息和语言信息一起馈送到标准的问答模块。受最近深度学习实践的启发，我们在训练过程中使用辅助损失函数来提高性能。我们在两个最新的公共数据集上的实验表明，我们的方法具有优越的性能。值得注意的是，在DARQUAR数据集上，我们将最先进的技术水平提高了6个$\%$，我们还在最新的MSCOCO-VQA数据集上评估了我们的方法。
2015-11-18 cs.CV
MacVQA: Adaptive Memory Allocation and Global Noise Filtering for Continual Visual Question Answering
MacVQA通过适应性内存分配和全局噪声过滤提升持续视觉问答的性能，实现更高的准确率和更低的遗忘率。
2026-01-05 cs.CV
SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering
Northwestern University（西北大学）；Microsoft Research（微软研究院）
可视化问答（Visual Question Questioning，VQA）是一个备受业界和学术界关注的问题。作为一个多模态任务，它是具有挑战性的，因为它不仅需要视觉和文本的理解，但也有能力调整跨模态表示。以前的方法广泛采用实体级的对齐，如视觉区域和它们的语义标签之间的相关性，或跨问题词和对象特征的相互作用。这些尝试旨在改善跨通道表征，而忽略了它们之间的内在联系。相反，我们建议应用结构化对齐，它与视觉和文本内容的图形表示一起工作，旨在捕捉视觉和文本模态之间的深层联系。然而，它是不平凡的表示和整合结构化的比对图。在这项工作中，我们试图解决这个问题，首先将不同的模态实体转换成连续的节点和邻接图，然后将它们结构化对齐。正如我们的实验结果所示，这样的结构化对齐提高了推理性能。此外，我们的模型还表现出更好的可解释性为每个生成的答案。该模型在没有任何预训练的情况下，在GQA数据集上的性能优于最先进的方法，并在VQA-v2数据集上击败了非预训练的最先进的方法。
2022-01-25 cs.CV
From Pixels to Objects: Cubic Visual Attention for Visual Question Answering
Center for Future Media（未来媒体中心）；School of Computer Science and Engineering（计算机科学与工程学院）；University of Electronic Science and Technology of China（电子科技大学）
近年来，基于注意力的视觉问答（VQA）通过利用问题选择性地针对与答案相关的不同视觉区域，取得了巨大的成功。现有的视觉注意力模型通常是平面的，即，图像的最后一个Conv层特征图的不同通道共享相同的权重。这与注意力机制相冲突，因为CNN特征自然是空间和通道方面的。另外，视觉注意模型通常是在像素级上进行的，这可能会导致区域不连续的问题。在本文中，我们提出了一个立方体视觉注意（CVA）模型，成功地应用一种新的通道和空间注意的对象区域，以改善VQA任务。具体来说，我们首先利用对象建议网络来生成一组候选对象并提取其相关的conv特征，而不是关注像素。然后，我们利用该问题来指导渠道的注意力和空间的注意力计算的基础上，共层的特征地图。最后，将关注的视觉特征与问题相结合来推断答案。我们评估了我们提出的CVA的性能在三个公共图像QA数据集，包括COCO-QA，VQA和Visual 7 W。实验结果表明，我们提出的方法显着优于国家的最先进的。
2022-06-04 cs.CV
Structured Attentions for Visual Question Answering
ShanghaiTech University（上海科技大学）
视觉注意力是根据图像区域与问题的相关性对图像区域进行权重分配的过程，是大多数视觉问答模型中不可缺少的一部分。虽然问题可能涉及多个区域之间的复杂关系，但很少有注意力模型可以有效地编码这种跨区域关系。在本文中，我们通过在两个数据集上显示ResNet有限的有效感受野来证明编码这种关系的重要性，并提出将视觉注意力建模为图像区域上网格结构条件随机场的多元分布。我们演示了如何转换的迭代推理算法，平均场和循环的信念传播，作为一个端到端的神经网络的递归层。我们在3个数据集上对我们的模型进行了经验评估，其中它超过了新发布的CLEVR数据集的最佳基线模型9.5%，以及VQA数据集上最好的已发布模型1.25%。源代码可在https：//github.com/zhuchen03/vqa-sva上获得。
2017-08-07 cs.CV
Point and Ask: Incorporating Pointing into Visual Question Answering
Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）；Robust Intelligence
视觉问答（VQA）已经成为视觉识别进步的关键基准之一。已经探索了多个VQA扩展，以更好地模拟真实世界的设置：不同的问题公式，不断变化的训练和测试分布，对话中的会话一致性，以及基于解释的回答。在这项工作中，我们进一步扩大了这个空间，考虑视觉问题，包括一个空间的参考点。指向是人类中几乎普遍的手势，并且现实世界的VQA可能涉及朝向目标区域的手势。具体来说，我们（1）引入并激励点输入问题作为VQA的扩展，（2）在这个空间内定义三种新的问题类别，（3）对于每一类，引入基准数据集和一系列基线模型来处理其独特的挑战。与以前的工作有两个关键区别。首先，我们显式地设计基准以要求点输入，即，我们确保在没有空间参考的情况下不能准确地回答视觉问题。其次，我们显式探索更真实的点空间输入，而不是标准但不自然的限界框输入。通过我们的探索，我们发现并解决了几个视觉识别挑战，包括推断人类意图的能力，对图像进行局部和全局推理，以及有效地结合视觉，语言和空间输入。代码可在：https://github.com/princetonvisualai/pointingqa.
2022-02-18 cs.CV
Optimizing Visual Question Answering Models for Driving: Bridging the Gap Between Human and Machine Attention Patterns
University of Limerick（利默里克大学）
本文研究自动驾驶场景下人类与VQA模型注意力差异，提出集成滤波器优化LXMERT注意力机制，并在NuImages数据集上验证其提升模型性能。
2024-06-13 cs.CV
KG-ViP: Bridging Knowledge Grounding and Visual Perception in Multi-modal LLMs for Visual Question Answering
University of Science and Technology of China（中国科学技术大学）；Data Darkness Lab, MIRACLE Center, USTC（数据黑暗实验室，MIRACLE中心，中国科学技术大学）；School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）
提出KG-ViP框架，通过检索与融合场景图和常识图，统一外部知识与细粒度视觉细节，缓解多模态大语言模型在视觉问答中的知识幻觉和视觉感知不足问题。
2026-05-27 cs.CV
Scene Text Visual Question Answering
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；IIIT Hyderabad（海得拉巴国际信息技术学院）
当前的视觉问答数据集没有考虑图像中的文本所传达的丰富语义信息。在这项工作中，我们提出了一个新的数据集，ST-VQA，旨在突出利用高层次的语义信息存在于图像中的文本线索在VQA过程中的重要性。我们使用这个数据集来定义一系列难度越来越大的任务，对于这些任务，阅读视觉信息提供的上下文中的场景文本是必要的，以便推理并生成适当的答案。我们提出了一个新的评价指标，这些任务的推理错误，以及文本识别模块的缺点。此外，我们提出了一系列基线方法，为新发布的数据集提供了进一步的见解，并为进一步的研究奠定了基础。
2019-10-16 cs.CV
CQ-VQA: Visual Question Answering on Categorized Questions
IITG（印度理工学院古瓦哈提分校）
本文提出了一种新的两级层次化的端到端的视觉问答（VQA）模型CQ-VQA。CQ-VQA的第一级，称为问题分类器（QC），对问题进行分类，以减少潜在的答案搜索空间。QC使用输入问题和图像的关注和融合特征。第二级，称为答案预测器（AP），包括对应于每个问题类别的一组不同的分类器。根据QC预测的问题类别，AP的分类器中只有一个保持活动。将QC和AP的损失函数聚合在一起，使其成为端到端模型。所提出的模型（CQ-VQA）的TDIUC数据集上进行评估，并对国家的最先进的方法进行基准测试。结果表明CQ-VQA具有竞争力或更好的性能。
2020-02-17 cs.CV
Coarse-to-Fine Reasoning for Visual Question Answering
AIOZ；University of Liverpool（利物浦大学）
在视觉问答（VQA）任务中，弥合图像和问题之间的语义鸿沟是提高其准确性的重要环节。然而，现有的VQA方法大多集中于注意力机制或视觉关系来推理答案，而没有充分利用不同语义层次的特征。在本文中，我们提出了一个新的推理框架，以填补视觉特征和语义线索的VQA任务之间的差距。我们的方法首先从图像和问题中提取特征和谓词。然后，我们提出了一个新的推理框架，有效地共同学习这些功能和谓词在一个由粗到细的方式。在三个大规模VQA数据集上的实验结果表明，该方法与其他最先进的方法相比，具有更高的准确性。此外，我们的推理框架还提供了一种可解释的方式来理解深层神经网络在预测答案时的决策。
2022-04-19 cs.CV
Interpretable Neural Computation for Real-World Compositional Visual Question Answering
Shanghai Jiao Tong University（上海交通大学）
视觉问答的研究主要有两条主线：基于多跳推理的组合模型和基于隐特征空间的单块网络。前者在可解释性和组合性方面表现出色，但在真实世界的图像上失败，而后者通常由于模型灵活性和参数效率而获得更好的性能。我们的目标是将两者结合起来，为现实世界的组合VQA构建一个可解释的框架。在我们的框架中，图像和问题被分解为场景图和程序，符号程序执行器以完全透明的方式运行它们以选择注意区域，然后将其迭代传递给视觉语言预训练编码器以预测答案。在GQA基准测试上进行的实验表明，我们的框架优于现有的合成技术，并实现了单片之间的竞争力的准确性。在有效性、可扩展性和分布度量方面，我们的框架远远超过其他框架。
2020-10-10 cs.CV
A Picture May Be Worth a Hundred Words for Visual Question Answering
Osaka University（大阪大学）；CyberAgent, Inc.（赛博代理公司）；Kyoto University（京都大学）
用文本表征来理解图片，我们能走多远？在图像理解中，使用简洁但详细的图像表示是必不可少的。由视觉模型（例如Faster R-CNN）提取的深度视觉特征在多个任务中普遍使用，特别是在视觉问答（VQA）中。然而，传统的深度视觉特征可能难以像我们人类一样传达图像中的所有细节。同时，随着近年来语言模型的发展，描述性文本可能成为解决这一问题的一种方法。本文深入研究了文本表示的有效性，图像理解的特定背景下的VQA。我们建议将提示问题对作为输入，而不是深度视觉特征，并将其输入到仅语言的Transformer模型中，从而简化了过程和计算成本。我们还试验了数据增强技术，以增加训练集的多样性，避免学习统计偏差。广泛的评估表明，文本表示只需要大约100个单词就可以与VQA 2.0和VQA-CP v2上的深度视觉功能竞争。
2021-06-25 cs.CV
Elevating Visual Question Answering through Implicitly Learned Reasoning Pathways in LVLMs
University of Malaya（马来亚大学）
针对大视觉语言模型多步复杂视觉推理能力不足的问题，提出MF-SQ-LLaVA方法，通过带推理链的数据增强和多任务损失实现隐式自我提问，在多个数据集上取得优于现有SOTA模型的效果。
2025-03-18 cs.CV
FVQA: Fact-based Visual Question Answering
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）
视觉问答（VQA）在计算机视觉和自然语言处理社区都引起了广泛的关注，尤其是因为它提供了对两个重要信息源之间关系的洞察。目前的数据集和基于它们建立的模型都集中在那些可以通过直接分析问题和图像来回答的问题上。这些不需要外部信息来回答的问题很有趣，但非常有限。例如，它排除了需要常识或基本事实知识来回答的问题。在这里，我们介绍FVQA，一个VQA数据集，它需要并支持更深层次的推理。FVQA仅包含需要外部信息才能回答的问题。因此，我们扩展了传统的视觉问答数据集，其中包含图像问答三元组，通过额外的图像问答支持事实元组。支持事实表示为结构三元组，例如<Cat，CapableOf，ClimbingTrees>。我们在FVQA数据集上评估了几个基线模型，并描述了一个新的模型，该模型能够在支持事实的基础上对图像进行推理。
2017-08-08 cs.CV
Multimodal grid features and cell pointers for Scene Text Visual Question Answering
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出了一种新的场景文本视觉问答模型，该模型基于一种注意力机制，该机制关注与问题相关的多模态特征，允许它对场景中的文本和视觉模态进行联合推理。该注意力模块在多模态空间特征网格上的输出权重被解释为图像的某个空间位置包含给定问题的答案文本的概率。我们的实验证明了在两个标准数据集的竞争力。此外，本文提供了一种新的分析的ST-VQA数据集的基础上，人类的表现研究。
2020-06-25 cs.CV
Reproducibility Report for "Learning To Count Objects In Natural Images For Visual Question Answering"
MILA（蒙特利尔学习算法研究所）；Département d’informatique et de recherche opérationnelle（计算机与运筹学系）；Université de Montréal（蒙特利尔大学）
这是论文“学习在自然图像中计算对象以进行视觉识别”的再现性报告。
2018-05-21 cs.CL cs.CV
Speech-Based Visual Question Answering
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
本文介绍了基于语音的视觉问答（VQA），生成一个给定的图像和一个口头问题的答案的任务。研究了两种方法：一种直接使用音频波形作为输入的端到端深度神经网络，而不是对问题执行ASR（自动语音识别）的流水线方法，然后是基于文本的视觉问答。此外，我们调查了这两种方法的鲁棒性，通过注入不同程度的噪声到口语问题，并发现这两种方法是容忍噪声在类似的水平。
2017-09-16 cs.CL cs.CV
Vision And Text Transformer For Predicting Answerability On Visual Question Answering
Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）；University of Science, Ho Chi Minh City（胡志明市理科大学）；Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校）；Zalo Research Center（Zalo研究中心）
针对视觉问答中的可回答性预测，提出VT-Transformer模型，利用Transformer架构融合视觉与文本特征，在VizWiz 2020数据集上验证了其有效性与鲁棒性。
2026-09-16 cs.AI cs.CV
Explicit Knowledge-based Reasoning for Visual Question Answering
The University of Adelaide（阿德莱德大学）
我们描述了一种用于视觉问答的方法，该方法能够根据从大规模知识库中提取的信息来推理图像的内容。该方法不仅使用图像中不包含的概念来回答自然语言问题，而且可以提供对推理的解释，通过该推理来开发其答案。该方法能够回答比主流的基于长短期记忆的方法复杂得多的问题，并且在测试中显著优于它。我们还提供了一个数据集和一个协议，通过它来评估这些方法，从而解决了一般的视觉问题的回答的关键问题之一。
2015-11-12 cs.CL cs.CV
Transfer Learning via Unsupervised Task Discovery for Visual Question Answering
POSTECH（浦项科技大学）；OpenAI；Seoul National University（首尔国立大学）
本文研究了在视觉问答任务中，如何利用现成的视觉和语言数据来处理词汇外答案。现有的大规模视觉数据集与注释，如图像类标签，边界框和区域描述是学习丰富多样的视觉概念的良好来源。然而，由于问题相关回答模型和没有问题的视觉数据之间的链接缺失，如何捕获视觉概念并将其转移到视觉问答模型并不简单。我们通过两个步骤来解决这个问题：1）学习任务条件视觉分类器，它能够解决各种特定于问题的视觉识别任务，基于无监督任务发现和2）将任务条件视觉分类器转移到视觉问答模型。具体来说，我们采用语言知识源，如结构化的词汇数据库（如WordNet）和视觉描述的无监督任务发现，并转移学习任务条件视觉分类器作为一个回答单元的视觉问答模型。我们的经验表明，该算法推广到词汇表外的答案成功地使用从视觉数据集转移的知识。
2019-04-07 cs.CL cs.CV cs.LG
Textually Enriched Neural Module Networks for Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）
随着计算机视觉研究超越传统的识别任务，语言和视觉交叉点的问题，如视觉问答，最近在多模态机器学习领域获得了大量关注。最近在使用深度神经网络模型的视觉问答中取得了成功，深度神经网络模型使用问题的语言结构来动态地实例化网络布局。在将问题转换为网络布局的过程中，问题被简化，这导致模型中的信息丢失。在本文中，我们丰富的图像信息与文本数据，使用图像标题和外部知识库，以生成更连贯的答案。我们实现了57.1%的整体准确率的测试开发开放式问题的视觉问答（VQA 1.0）的真实图像数据集。
2018-09-23 cs.CL cs.CV
