Elevating Visual Question Answering through Implicitly Learned Reasoning Pathways in LVLMs
University of Malaya(马来亚大学)
针对大视觉语言模型多步复杂视觉推理能力不足的问题,提出MF-SQ-LLaVA方法,通过带推理链的数据增强和多任务损失实现隐式自我提问,在多个数据集上取得优于现有SOTA模型的效果。
2025-03-18 cs.CV
Understanding the Role of Scene Graphs in Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学);Osaka University(大阪大学);Kyoto University(京都大学)
视觉问答(VQA)是巨大的兴趣,研究社区的重要应用,如帮助视障用户和基于图像的搜索。在这项工作中,我们将探索使用场景图解决VQA任务。我们在GQA数据集上进行实验,该数据集提出了一组具有挑战性的问题,需要计数,组合性和高级推理能力,并为大量图像提供场景图。我们采用图像+问题架构与场景图一起使用,评估各种场景图生成技术,为看不见的图像,提出了一个培训课程,以利用人类注释和自动生成的场景图,并建立后期融合架构,从多种图像表示中学习。我们提出了一个多方面的研究到使用场景图VQA,使这项工作的第一种。
2021-01-17 cs.CV cs.LG
FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
FAU提交的多模态推理系统,未做任务特定模型训练,在2026年ImageCLEF竞赛中,获Visual MCQ第三名、Visual OpenQA第一名,凸显推理工程的实用价值。
2026-08-04 cs.CV cs.LG
Visual Question Answering with Prior Class Semantics
The University of Adelaide(阿德莱德大学)
我们提出了一种新的机制,嵌入先验知识的视觉问答模型。任务的开集性质与训练固定分类器的普遍方法不一致。我们将展示如何利用有关候选答案的语义的额外信息。我们扩展的答案预测过程中的一个回归目标的语义空间,在其中,我们项目的候选人的答案使用先验知识来自词嵌入。我们对GQA数据集的学习表示进行了广泛的研究,揭示了答案空间中嵌入之间的关系中捕获了重要的语义信息。我们的方法在一系列问题类型上提高了一致性和准确性。在训练过程中看不到的新答案的实验表明,该方法具有开集预测的潜力。
2020-05-04 cs.CV cs.LG
LOVA3: Learning to Visual Question Answering, Asking and Assessment
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
提出 LOVA3 框架,通过 GenQA 与 EvalQA 任务及 EvalQABench 基准,让多模态大语言模型同时学习视觉问答、提问与评估,从而提升多模态理解和整体性能。
2025-02-19 cs.AI cs.CL cs.CV
Transfer Learning via Unsupervised Task Discovery for Visual Question Answering
POSTECH(浦项科技大学);OpenAI;Seoul National University(首尔国立大学)
本文研究了在视觉问答任务中,如何利用现成的视觉和语言数据来处理词汇外答案。现有的大规模视觉数据集与注释,如图像类标签,边界框和区域描述是学习丰富多样的视觉概念的良好来源。然而,由于问题相关回答模型和没有问题的视觉数据之间的链接缺失,如何捕获视觉概念并将其转移到视觉问答模型并不简单。我们通过两个步骤来解决这个问题:1)学习任务条件视觉分类器,它能够解决各种特定于问题的视觉识别任务,基于无监督任务发现和2)将任务条件视觉分类器转移到视觉问答模型。具体来说,我们采用语言知识源,如结构化的词汇数据库(如WordNet)和视觉描述的无监督任务发现,并转移学习任务条件视觉分类器作为一个回答单元的视觉问答模型。我们的经验表明,该算法推广到词汇表外的答案成功地使用从视觉数据集转移的知识。
2019-04-07 cs.CL cs.CV cs.LG
Multi-Image Visual Question Answering
Indian Institute Of Technology Dharwad(印度理工学院达瓦德分校)
虽然已经做了大量的工作来开发模型来解决视觉问答的问题,这些模型的能力,将问题与图像特征仍然很少探索。我们提出了一个不同的特征提取方法与不同的损失函数的实证研究。我们提出了新的数据集的任务,视觉问答与多个图像输入只有一个地面真理,并基准我们的结果。我们的最终模型利用Resnet + RCNN图像特征和BERT嵌入,灵感来自堆栈注意力网络,在CLEVER+TinyImagenet数据集上提供了39%的单词准确率和99%的图像准确率。
2022-02-06 cs.AI cs.CV cs.LG
Targeted Visual Prompting for Medical Visual Question Answering
University of Bern(伯尔尼大学)
本文提出定向视觉提示方法,通过向多模态大语言模型同时展示孤立区域及其上下文,赋予其基于区域的医学视觉问答能力,并在多个数据集上验证了有效性。
2024-08-06 cs.CV
Uncertainty based Class Activation Maps for Visual Question Answering
Indian Institute of Technology, Kanpur(坎普尔印度理工学院)
理解和解释深度学习模型是一项势在必行的任务。为此,我们提出了一种方法,获得基于梯度的确定性估计,也提供视觉注意力地图。特别地,我们解决了视觉问答任务。我们结合了现代概率深度学习方法,通过使用这些估计的梯度来进一步改进。这有两方面的好处:a)在获得与误分类样本更好相关的确定性估计方面的改进,以及b)在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此,所提出的技术可以被认为是为深度学习模型获得改进的确定性估计和解释的处方。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2020-01-23 cs.CL cs.CV cs.LG
Where To Look: Focus Regions for Visual Question Answering
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一种方法,学习回答视觉问题,通过选择相关的图像区域的基于文本的查询。我们的方法表现出显着的改进,在回答问题,如“什么颜色”,它是必要的,以评估一个特定的位置,和“什么房间”,它选择性地识别信息图像区域。我们的模型在VQA数据集上进行了测试,VQA数据集是我们所知的最大的人类注释视觉问答数据集。
2016-01-10 cs.CV
VQA-Aid: Visual Question Answering for Post-Disaster Damage Assessment and Analysis
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
与无人机相结合的可视化问答系统对提高灾后损失评估的目的具有很大的潜力。向受影响地区提供援助在很大程度上取决于实时数据评估和分析。可视化问答的范围是了解场景,并提供与查询相关的答案,这肯定会加快灾难后的恢复过程。在这项工作中,我们解决的重要性,\textit{visual question answering (VQA)}任务的灾后损失评估,提出我们最近开发的VQA数据集称为\textit{HurMic-VQA}收集在飓风迈克尔,并比较基准VQA模型的性能。
2021-06-19 cs.CV
Fusion of Detected Objects in Text for Visual Question Answering
Google Research(谷歌研究院)
为了推进多模态上下文模型,我们引入了一个简单而强大的神经架构,用于结合视觉和自然语言的数据。“文本中的边界框Transformer”(B2 T2)还利用引用信息将单词绑定到单个统一架构中的图像部分。B2 T2在视觉常识推理基准测试(https://www.example.com)上非常有效,与发布的基线相比,出错率相对降低了25%,达到了最先进的水平,并在公共排行榜上获得了迄今为止的最佳性能(截至2019年5月22日)。visualcommonsense.com一个详细的消融分析表明,早期的视觉功能集成到文本分析是新架构的有效性的关键。我们提供了模型的参考实现(https://github.com/google-research/language/tree/master/language/question_answering/b2t2)。
2019-11-03 cs.CL cs.CV cs.LG
Focal Visual-Text Attention for Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司);HelloVera AI(HelloVera人工智能)
最近的见解语言和视觉与神经网络已成功地应用于简单的单图像视觉问答。然而,要解决现实生活中的问答问题的多媒体集合,如个人照片,我们必须看看整个集合的照片或视频序列。当回答来自大量集合的问题时,一个自然的问题是识别支持答案的片段。在本文中,我们描述了一种新的神经网络称为焦点视觉-文本注意力网络(FVTA)的集体推理的视觉问答,其中既有视觉和文本序列信息,如图像和文本元数据。FVTA引入了一种端到端的方法,该方法利用分层过程来动态确定在顺序数据中关注什么媒体和什么时间来回答问题。FVTA不仅能很好地回答问题,而且还能为系统结果提供依据以获得答案。FVTA在MemexQA数据集上实现了最先进的性能,并在MovieQA数据集上取得了有竞争力的结果。
2019-05-31 cs.CV
Visual Question Generation as Dual Task of Visual Question Answering
The Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院);Massachusetts Institute of Technology(麻省理工学院);University of Sydney(悉尼大学)
视觉问答和视觉问题生成是计算机视觉领域的两个研究热点。在这项工作中,我们提出了一个端到端的统一框架,可逆的问答网络(iQAN),利用图像中的问题和答案之间的互补关系,通过联合训练VQA和VQG任务的模型。提出了相应的参数共享方案和规则项作为约束,以显式地利用Q,A的依赖性来指导训练过程。经过训练后,iQAN可以将问题或答案作为输入,然后输出对应的内容。在大规模视觉问答数据集CLEVR和VQA 2上进行评估,我们的iQAN在基线上提高了VQA的准确性。我们还表明,iQAN的双重学习框架可以推广到其他VQA架构,并在VQA和VQG任务上持续改进结果。
2017-09-21 cs.CV
High-Order Attention Models for Visual Question Answering
Technion(以色列理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
对实现认知能力的算法的探索是机器学习的重要组成部分。最近研究的许多认知类任务的一个共同特点是,它们考虑到不同的数据形式,如视觉和文本输入。在本文中,我们提出了一种新的和普遍适用的形式的注意力机制,学习各种数据模态之间的高阶相关性。我们表明,高阶相关性有效地将适当的注意力引导到解决联合任务所需的不同数据模式中的相关元素。我们证明了我们的高阶注意力机制对视觉问答(VQA)任务的有效性,在标准VQA数据集上,我们实现了最先进的性能。
2017-11-12 cs.AI cs.CV cs.LG
The meaning of "most" for visual question answering models
University of Cambridge(剑桥大学)
在视觉场景的上下文中正确解释量词语句需要非平凡的推理机制。以“大多数”为例,我们讨论了两种依赖于根本不同的认知概念的策略。我们的目标是确定视觉问答的深度学习模型在训练这些问题时学习什么策略。为此,我们仔细设计数据,以复制心理语言学的实验,其中对人类进行了同样的研究。针对电影视觉问答模型,我们的实验表明,出现了一种形式的近似数系统,其性能下降与韦伯定律预测的更困难的场景。此外,我们确定混杂因素,如空间布置的场景,这阻碍了该系统的有效性。
2019-06-04 cs.AI cs.CL cs.CV
Inverse Visual Question Answering with Multi-Level Attentions
Carleton University(卡尔顿大学)
在本文中,我们提出了一种新的深度多层次的注意力模型,以解决逆向视觉问答。该模型在对象层次上生成区域视觉和语义特征,然后利用注意力机制利用答案线索增强这些特征。该模型采用两个层次的多重注意,包括部分问句编码阶段的双重注意和下一个问句生成阶段的动态注意。我们在VQA V1数据集上评估了所提出的模型。它在多个常用指标方面展示了最先进的性能。
2020-12-03 cs.AI cs.CL cs.CV
Visual Question Answering Instruction: Unlocking Multimodal Large Language Model To Domain-Specific Visual Multitasks
NC Research
本文提出VQA-IN方法,将特定领域视觉数据集转换为统一问答格式,训练多模态大语言模型,在保持视觉-语言任务性能的同时提升特定领域视觉任务表现。
2024-02-13 cs.CV
Learning Sparse Mixture of Experts for Visual Question Answering
Mila(米拉);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔高等理工学院)
随着模型结构的改进,可视化问答的任务取得了快速的进展。不幸的是,这些模型通常是计算密集型的,由于其庞大的规模,这对部署构成了严重的挑战。我们的目标是解决这个问题的视觉问答(VQA)的具体任务。卷积神经网络(CNN)是VQA模型的视觉处理管道的组成部分(假设CNN与整个VQA模型一起训练)。在这个项目中,我们提出了一个有效的和模块化的神经架构的VQA任务的重点是CNN模块。我们的实验表明,一个稀疏激活的CNN为基础的VQA模型实现了相当的性能标准的CNN为基础的VQA模型架构。
2019-09-19 cs.CL cs.CV cs.LG
Learning Rich Image Region Representation for Visual Question Answering
Microsoft Research Asia(微软亚洲研究院)
我们建议通过利用更强大的特征提取器来提高VQA,方法是提高视觉和文本特征的表示能力以及模型的集成。对于视觉特征,本文采用了一些检测技术来改进检测器。对于文本特征,我们采用BERT作为语言模型,并发现它可以显着提高VQA性能。我们的解决方案在2019年VQA挑战赛中获得第二名。
2019-10-29 cs.CV
Interpretable Visual Question Answering via Reasoning Supervision
DeepLab(深度实验室)
针对VQA模型缺乏视觉基础的问题,提出利用常识推理作为监督信号的新架构,通过相似性损失对齐注意力分布引导视觉关注,无需显式基础标注即可提升视觉感知能力与性能。
2023-09-07 cs.CV
Privacy Preserving Visual Question Answering
Amazon(亚马逊)
我们引入了一种新的隐私保护方法,用于在边缘执行视觉问答。我们的方法构建了一个符号表示的视觉场景,使用低复杂度的计算机视觉模型,共同预测类,属性和谓词。这种符号表示是不可微的,这意味着它不能用于恢复原始图像,从而保持原始图像的私密性。我们提出的混合解决方案使用的视觉模型比当前最先进的(SOTA)视觉模型小25倍以上,比端到端SOTA VQA模型小100倍。我们报告详细的错误分析,并讨论了使用蒸馏视觉模型和视觉场景的符号表示的权衡。
2022-02-15 cs.CV
Image Captioning and Visual Question Answering Based on Attributes and External Knowledge
Australian Centre for Visual Technologies(澳大利亚视觉技术中心);The University of Adelaide(阿德莱德大学)
视觉到语言问题的最新进展是通过卷积神经网络(CNN)和递归神经网络(RNN)的组合实现的。这种方法并不显式地表示高级语义概念,而是寻求直接从图像特征到文本的进展。在本文中,我们首先提出了一种方法,将高层次的概念成功的CNN-RNN方法,并表明它实现了显着的改进,在最先进的图像描述和视觉问答。我们进一步表明,相同的机制可以用来将外部知识,这是至关重要的回答高层次的视觉问题。具体来说,我们设计了一个视觉问答模型,结合了图像内容的内部表示与从一般知识库中提取的信息,以回答广泛的基于图像的问题。它特别允许对图像的内容提出问题,即使图像本身不包含完整的答案。我们的最终模型在几个基准数据集上的图像描述和视觉问答上都取得了最好的报告结果。
2016-12-16 cs.CV
Reproducibility Report for "Learning To Count Objects In Natural Images For Visual Question Answering"
MILA(蒙特利尔学习算法研究所);Département d’informatique et de recherche opérationnelle(计算机与运筹学系);Université de Montréal(蒙特利尔大学)
这是论文“学习在自然图像中计算对象以进行视觉识别”的再现性报告。
2018-05-21 cs.CL cs.CV
Survey of Recent Advances in Visual Question Answering
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);Adobe Systems(Adobe 系统公司)
视觉问答(VQA)提出了一个独特的挑战,因为它需要理解和编码的多模态输入的能力-在图像处理和自然语言处理方面。该算法还需要学习如何在这种多模态表示上执行推理,以便正确回答问题。本文介绍了一个调查的不同方法,提出了解决问题的视觉问答。我们还描述了目前的艺术模型在后面的一部分文件。特别是,本文描述了各种算法提取图像特征,文本特征和这些被用来预测答案的方式所采取的方法。我们还简要讨论了评估VQA模型的实验,并报告了它们在不同数据集上的性能,包括新发布的VQA 2.0 [8]。
2017-09-24 cs.CV
Enhancing Scientific Visual Question Answering through Multimodal Reasoning and Ensemble Modeling
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Southern California(南加州大学)
本研究针对科学图表视觉问答的精度问题,提出结合提示优化、思维链推理和集成建模的方法,在SciVQA 2025任务中,最强单模型InternVL3取得ROUGE-L F1 0.740,集成模型进一步提升性能。
2025-07-08 cs.CV
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University(东北大学);RIKEN Center for AIP(理化学研究所人工智能研究中心)
视觉问答(VQA)的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现,一个注意力机制,使两种模式之间的密集,双向的相互作用,有助于提高准确性的预测答案。具体来说,我们提出了一个简单的架构,是完全对称的视觉和语言表示,其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构,用于图像-问题对之间的多步交互。我们通过实验表明,所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0,尽管它的小尺寸。我们还提出了定性评估,演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题,从而导致正确的答案预测。
2018-12-01 cs.CV
Towards Transparent AI Systems: Interpreting Visual Question Answering Models
Virginia Tech(弗吉尼亚理工大学)
近年来,深度神经网络在人工智能的许多研究领域取得了令人瞩目的进展,取得了令人瞩目的成果。然而,不知道他们为什么预测他们做什么通常是不令人满意的。在本文中,我们解决的问题,解释视觉问答(VQA)模型。具体来说,我们感兴趣的是找到VQA模型在回答问题时关注的输入部分(图像中的像素或问题中的单词)。为了解决这个问题,我们使用了两种可视化技术--引导反向传播和遮挡--来找到问题中的重要单词和图像中的重要区域。然后,我们提出这些重要性地图的定性和定量分析。我们发现,即使没有明确的注意力机制,VQA模型有时可能会隐含地关注图像中的相关区域,并且经常关注问题中的适当词语。
2016-09-09 cs.AI cs.CL cs.CV
Cross-Dataset Adaptation for Visual Question Answering
U. of Southern California(南加州大学)
研究了面向视觉问答的跨数据集自适应问题。我们的目标是在源数据集上训练一个可视化QA模型,但将其应用于另一个目标数据集。类似于用于视觉识别的领域自适应,当目标数据集没有足够量的标记数据来学习“域内”模型时,该设置是有吸引力的。关键的挑战是两个数据集的构造不同,导致图像,问题或答案的交叉数据集不匹配。我们克服了这个困难,提出了一种新的领域自适应算法。我们的方法通过变换目标数据集中数据的特征表示来减少统计分布的差异。此外,它使用在源数据集上训练的Visual QA模型来最大限度地正确回答问题(在目标数据集中)的可能性。我们实证研究了所提出的方法在几个流行的Visual QA数据集之间的适应的有效性。我们表明,该方法提高了基线,没有适应和其他几种适应方法。我们从定量和定性两个方面分析了适应在什么时候最有效。
2018-06-10 cs.CV
SaSR-Net: Source-Aware Semantic Representation Network for Enhancing Audio-Visual Question Answering
University of Notre Dame(圣母大学);Brown University(布朗大学);Columbia University(哥伦比亚大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对视听问答中复杂多模态场景理解与对齐的挑战,本文提出SaSR-Net模型,利用源级可学习标记捕获对齐视听元素,并结合时空注意力机制融合信息,在Music-AVQA和AVQA-Yang数据集上优于现有方法。
2024-11-11 cs.CV
MUTAN: Multimodal Tucker Fusion for Visual Question Answering
Sorbonne Universités, UPMC Univ Paris 06, CNRS, LIP6 UMR 7606(索邦大学,巴黎第六大学,法国国家科学研究中心,LIP6);Heuritech;Conservatoire National des Arts et Métiers(法国国立工艺学院)
双线性模型为可视化问答(VQA)任务中混合和合并信息提供了一个有吸引力的框架。它们有助于学习问题意义和图像中视觉概念之间的高级关联,但它们存在巨大的维度问题。我们引入了MUTAN,一种基于多模态张量的Tucker分解,可以有效地参数化视觉和文本表示之间的双线性交互。除了塔克框架,我们设计了一个低秩矩阵为基础的分解,明确约束的相互作用排名。使用MUTAN,我们控制合并方案的复杂性,同时保持良好的可解释的融合关系。我们展示了我们的MUTAN模型如何推广一些最新的VQA架构,提供最先进的结果。
2017-05-18 cs.CV
FashionVQA: A Domain-Specific Visual Question Answering System
Target Corporation(塔吉特公司)
人类通过各种感官形式来理解世界,但语言是他们最主要的沟通渠道。机器学习系统需要利用相同的多模态丰富性,以自然语言与人类进行信息交流;这对于专门处理视觉密集信息的系统尤其如此,例如对话、推荐和服装搜索引擎。为此,我们训练视觉问答(VQA)系统回答复杂的自然语言问题的服装在时尚的照片拍摄图像。我们的VQA模型成功训练的关键是使用不同的模板自动创建一个视觉问答数据集,其中包含来自20.7万张图像的项目属性的1.68亿个样本。样本生成采用了一种策略,认为问题的难度,答案对强调具有挑战性的概念。与最近使用多个数据集来预训练视觉问答模型的趋势相反,我们专注于保持数据集固定,同时从头开始训练各种模型,以将改进与模型架构变化隔离开来。我们看到,使用相同的Transformer来编码问题和解码答案,就像在语言模型中一样,实现了最大的准确性,这表明视觉语言模型(VLM)是我们数据集的最佳视觉问答系统。最佳模型的准确性超过了人类专家的水平,即使在回答不限于模板格式的人类生成的问题时也是如此。我们的方法,用于生成一个大规模的多模态领域特定的数据集提供了一个路径,训练能够在自然语言通信的专门模型。这种领域专家模型的训练,例如,我们的时尚VLM模型,不能仅仅依赖于从网络上收集的大规模通用数据集。
2022-08-24 cs.AI cs.CL cs.CV
Speech-Based Visual Question Answering
KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院)
本文介绍了基于语音的视觉问答(VQA),生成一个给定的图像和一个口头问题的答案的任务。研究了两种方法:一种直接使用音频波形作为输入的端到端深度神经网络,而不是对问题执行ASR(自动语音识别)的流水线方法,然后是基于文本的视觉问答。此外,我们调查了这两种方法的鲁棒性,通过注入不同程度的噪声到口语问题,并发现这两种方法是容忍噪声在类似的水平。
2017-09-16 cs.CL cs.CV
Interpretable Visual Question Answering by Visual Grounding from Attention Supervision Mining
Stanford University(斯坦福大学);Universidad Catolica de Chile(智利天主教大学)
可解释的VQA模型的一个关键方面是它们能够将答案与图像中的相关区域联系起来。具有这种能力的当前方法依赖于监督学习和人类注释的基础来在VQA架构内训练训练注意力机制。不幸的是,获得特定于视觉基础的人类注释是困难和昂贵的。在这项工作中,我们证明,我们可以有效地训练一个VQA架构与接地监督,可以自动获得可用的区域描述和对象注释。我们还表明,使用这种挖掘监督训练的模型生成的视觉接地与手动注释的接地具有更高的相关性,同时实现了最先进的VQA准确性。
2018-08-01 cs.AI cs.CL cs.CV
CLEVR_HYP: A Challenge Dataset and Baselines for Visual Question Answering with Hypothetical Actions over Images
现有的大多数视觉问答(VQA)研究仅限于图像或视频中明确呈现的信息。在本文中,我们将视觉理解提升到一个更高的层次,在这个层次上,系统面临着回答问题的挑战,这些问题涉及在给定的场景中模拟执行特定动作的假设后果。为此,我们制定了一个视觉语言的问答任务的基础上CLEVR(约翰逊等。例如,2017)dataset.然后,我们修改现有的最好的VQA方法,并提出了这项任务的基线求解器。最后,我们激励更好的视觉语言模型的发展,提供不同的架构,以执行联合推理的图像-文本模态的能力的见解。我们的数据集设置脚本和代码将在https://github.com/shailaja183/clevr_hyp上公开提供。
2021-04-13 cs.CV
Vision And Text Transformer For Predicting Answerability On Visual Question Answering
Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学);University of Science, Ho Chi Minh City(胡志明市理科大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Zalo Research Center(Zalo研究中心)
针对视觉问答中的可回答性预测,提出VT-Transformer模型,利用Transformer架构融合视觉与文本特征,在VizWiz 2020数据集上验证了其有效性与鲁棒性。
2026-09-16 cs.AI cs.CV
An Empirical Evaluation of Visual Question Answering for Novel Objects
IIT Kanpur(印度理工学院坎普尔分校);IIIT Delhi(印度德里信息技术学院);IIT Madras(印度理工学院马德拉斯分校)
我们研究的问题,回答问题的图像在较难的设置,其中的测试问题和相应的图像包含新的对象,这是没有查询的训练数据。这样的设置在现实世界中是不可避免的--由于视觉类别的重尾分布,在训练集中会有一些对象不会被标注。我们表明,两个流行的现有方法的性能显着下降(高达28%)时,评价新的对象比照。已知物体我们提出的方法,使用大型现有的外部语料库(一)未标记的文本,即书籍,和(ii)标记类的图像,以实现新的基于对象的视觉问答。我们做系统的实证研究,无论是甲骨文的情况下,小说的对象是已知的文本,以及一个完全自动的情况下,没有任何明确的知识的小说的对象,但与最小的假设,即小说的对象是语义相关的现有对象的培训。所提出的方法为新颖的基于对象的视觉问答是模块化的,可以潜在地用于许多视觉问答架构。我们表现出一致的改进与两个流行的架构,并给出定性分析的情况下,模型做得很好,那些它未能带来改善。
2017-04-08 cs.CV
Answer-Me: Multi-Task Open-Vocabulary Visual Question Answering
Google Research(谷歌研究院)
我们提出了一个任务感知的多任务框架,它统一了各种问答任务,如视觉问答,视觉蕴涵,视觉推理。与以前使用对比或生成式字幕训练的作品相比,我们提出了一种新颖而简单的方法来预训练视觉-语言联合模型,该模型也是多任务的。预训练仅使用有噪声的图像描述数据,并且被制定为使用具有强语言编码器和解码器的端到端的整个架构。我们的研究结果显示了最先进的性能,zero-shot泛化,对遗忘的鲁棒性,以及在各种问答任务中具有竞争力的单任务结果。我们的多任务混合训练从各种问题意图的任务中学习,从而更好地泛化,包括zero-shot视觉语言任务。我们在具有挑战性的多任务和开放词汇设置中进行实验,并跨越各种数据集和任务,如VQA 2.0,SNLI-VE,NLVR 2,GQA。我们观察到,所提出的方法是能够推广到看不见的任务,更多样化的混合物导致更高的准确性,在已知的和新的任务。
2022-11-30 cs.CV
Knowing Where to Look? Analysis on Attention of Visual Question Answering System
Shanghai Jiao Tong University(上海交通大学);ByteDance AI Lab(字节跳动人工智能实验室)
注意力机制由于其能够建模深度跨域交互的能力而被广泛用于视觉问答(VQA)解决方案中。分析注意力地图为我们提供了一个视角,以找出当前VQA系统的局限性,并有机会进一步改进它们。在本文中,我们选择了两个国家的最先进的VQA方法与注意力机制,研究他们的鲁棒性和缺点,通过可视化和分析他们的估计注意力地图。我们发现,这两种方法都是敏感的功能,同时,他们执行计数和多对象相关的问题。我们相信,研究结果和分析方法将有助于研究人员确定在改进自己的VQA系统的道路上面临的关键挑战。
2018-10-09 cs.CV
Learning content and context with language bias for Visual Question Answering
Hunan University(湖南大学);Microsoft Research Asia(微软亚洲研究院)
视觉问答(VQA)是一个具有挑战性的多模态任务,回答有关图像的问题。许多研究集中在如何减少语言偏见,这使得模型回答问题时忽略了视觉内容和语言上下文。然而,减少语言偏见也削弱了VQA模型事先学习上下文的能力。为了解决这个问题,我们提出了一种新的学习策略,名为CCB,它迫使VQA模型回答问题依赖于内容和上下文与语言偏见。具体而言,CCB在VQA基础模型之上建立内容和上下文分支,并迫使它们分别关注本地关键内容和全球有效上下文。此外,联合损失函数,提出了减少有偏样本的重要性,并保留其有益的影响回答问题。实验表明,CCB优于国家的最先进的方法在VQA-CP v2的准确性方面。
2020-12-21 cs.CV
Check It Again: Progressive Visual Question Answering via Visual Entailment
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
虽然复杂的视觉问答模型已经取得了显著的成功,但它们往往只根据问题和答案之间的表面相关性来回答问题。最近已经开发了几种方法来解决这种语言先验问题。然而,他们中的大多数人预测正确的答案根据一个最佳的输出,而不检查答案的真实性。此外,他们只探讨图像和问题之间的相互作用,忽略了候选答案的语义。在本文中,我们提出了一个选择和重新排名(SAR)渐进框架的基础上视觉蕴涵。具体来说,我们首先选择与问题或图像相关的候选答案,然后通过视觉蕴涵任务对候选答案进行重新排序,该视觉蕴涵任务验证图像是否语义蕴涵问题和每个候选答案的合成陈述。实验结果表明,我们提出的框架的有效性,建立了一个新的国家的最先进的VQA-CP v2的准确性与7.55%的改善。
2021-06-08 cs.CV
Show, Ask, Attend, and Answer: A Strong Baseline For Visual Question Answering
Google Research(谷歌研究院)
本文提出了一种新的视觉问答任务的基线。给定图像和自然语言中的问题,我们的模型根据图像的内容产生准确的答案。我们的模型,虽然在架构上是简单的,相对较小的可训练参数,设置了一个新的艺术状态的不平衡和平衡的VQA基准。在VQA 1.0开放式挑战中,我们的模型在测试标准集上实现了64.6%的准确率,而无需使用额外的数据,比最先进的水平提高了0.4%,在新发布的VQA 2.0上,我们的模型在验证集上的得分为59.7%,比之前报道的最佳结果高出0.5%。本文中提出的结果特别有趣,因为之前已经尝试过非常相似的模型,但报告的性能明显较低。根据这些新的研究结果,我们希望在未来看到更多有意义的视觉问答研究。
2017-04-12 cs.CV
Explicit Knowledge-based Reasoning for Visual Question Answering
The University of Adelaide(阿德莱德大学)
我们描述了一种用于视觉问答的方法,该方法能够根据从大规模知识库中提取的信息来推理图像的内容。该方法不仅使用图像中不包含的概念来回答自然语言问题,而且可以提供对推理的解释,通过该推理来开发其答案。该方法能够回答比主流的基于长短期记忆的方法复杂得多的问题,并且在测试中显著优于它。我们还提供了一个数据集和一个协议,通过它来评估这些方法,从而解决了一般的视觉问题的回答的关键问题之一。
2015-11-12 cs.CL cs.CV
Learning Conditioned Graph Structures for Interpretable Visual Question Answering
AimBrain Ltd.(AimBrain有限公司)
视觉问答是一个具有挑战性的问题,需要结合计算机视觉和自然语言处理的概念。大多数现有的方法使用两个流策略,计算图像和问题的功能,因此合并使用各种技术。尽管如此,很少有依赖于更高层次的图像表示,它可以捕捉语义和空间关系。在本文中,我们提出了一种新的基于图的方法,用于可视化问答。我们的方法结合了一个图形学习器模块,它学习输入图像的问题特定的图形表示,与最近的概念图卷积,旨在学习图像表示,捕捉问题特定的交互。我们使用一个简单的基线架构,通过拟议的图学习器模块增强VQA v2数据集上测试我们的方法。我们得到了有希望的结果与66.18%的准确性,并证明所提出的方法的可解释性。代码可以在github.com/aimbrain/vqa-project上找到。
2018-11-01 cs.CV
On the Cognition of Visual Question Answering Models and Human Intelligence: A Comparative Study
New York University(纽约大学)
本文通过调查记录人类思维过程,并比较VQA模型与人类的输出和注意力图,揭示模型虽在架构和识别层面接近人类,却仍缺乏认知推理能力。
2023-10-04 cs.CV
Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering
Korea University(韩国大学);KAIST(韩国科学技术院);Amazon(亚马逊)
本研究通过RETINA基准和MIMIR方法,打破多模态知识驱动视觉问答中的视觉捷径问题,验证现有模型对捷径的依赖并展示改进效果。
2026-11-17 cs.CV
On the Flip Side: Identifying Counterexamples in Visual Question Answering
Harvard University(哈佛大学)
视觉问答(VQA)模型响应关于图像的开放式自然语言问题。虽然VQA是一个越来越受欢迎的研究领域,但目前还不清楚当前的VQA架构在多大程度上学习了视觉相似图像之间的关键语义差异。为了研究这个问题,我们探索了VQA任务的重新表述,该任务挑战模型以识别反例:导致原始问题不同答案的图像。我们介绍了两种方法来评估现有的VQA模型对监督反例预测任务,VQA-CX。虽然我们的模型超过了VQA-CX上现有的基准,但我们发现,现有的最先进的VQA模型所学习的多模态表示并没有对这项任务的性能做出有意义的贡献。这些结果对VQA基准测试的成功表现表明一般视觉语义推理能力的假设提出了质疑。
2018-07-24 cs.CV
Answer Them All! Toward Universal Visual Question Answering Models
Rochester Institute of Technology(罗切斯特理工学院);PAIGE;Cornell Tech(康奈尔科技学院 (Cornell Tech))
视觉问答(VQA)研究分为两个阵营:第一个集中在需要自然图像理解的VQA数据集上,第二个集中在测试推理的合成数据集上。一个好的VQA算法应该能够做到这两点,但只有少数VQA算法以这种方式进行测试。我们比较了五个国家的最先进的VQA算法在八个VQA数据集涵盖这两个领域。为了使比较公平,所有模型都尽可能标准化,例如,它们使用相同的视觉特征、答案词汇表等。我们发现,方法不会在这两个域中泛化。为了解决这个问题,我们提出了一个新的VQA算法,竞争对手或超过国家的最先进的这两个领域。
2019-04-05 cs.CV
Multiple interaction learning with question-type prior knowledge for constraining answer search space in visual question answering
AIOZ;University of Liverpool(利物浦大学)
视觉问答(VQA)已经提出了不同的方法。然而,很少有作品意识到的行为,不同的联合模态方法的问题类型先验知识提取的数据在约束的答案搜索空间,其中的信息给出了一个可靠的线索,原因在输入图像中提出的问题的答案。在本文中,我们提出了一种新的VQA模型,利用问题类型的先验信息,以提高VQA利用不同的联合模态方法之间的多个相互作用的基础上,他们的行为回答来自不同类型的问题。在两个基准数据集上的实验,即,VQA 2.0和TDIUC,表明所提出的方法产生最好的性能与最有竞争力的方法。
2020-09-23 cs.CV
Segmentation-guided Attention for Visual Question Answering from Remote Sensing Images
针对遥感视觉问答任务,提出分割引导的注意力机制以优化视觉特征提取,并构建含16类分割标注的超高分辨率RGB正射影像VQA数据集,准确率较经典方法提升近10%。
2024-07-11 cs.CV
Uncertainty-based Visual Question Answering: Estimating Semantic Inconsistency between Image and Knowledge Base
OKESTRO Co., Ltd(OKESTRO有限公司);Dongguk University(东国大学)
基于知识的视觉问答(KVQA)任务旨在回答需要额外的外部知识以及对图像和问题的理解的问题。最近关于KVQA的研究以多模态形式注入外部知识,并且随着使用更多的知识,可能会添加不相关的信息,并且可能混淆问答。为了更好地利用这些知识,本研究提出了以下几点:1)引入了一种新的语义不一致性度量,该度量是由字幕不确定性和语义相似度计算得到的; 2)提出了一种新的基于语义不一致性度量的外部知识同化方法,并将其应用于KVQA的显性知识和隐性知识的整合; 3)在OK-VQA数据集上对所提出的方法进行了测试,取得了较好的性能。
2022-07-27 cs.AI cs.CL cs.CV
Fully Authentic Visual Question Answering Dataset from Online Communities
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft(微软公司);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出首个完全来自在线社区真实问答的VQA数据集VQAonline,评估六个先进模型,发现长答案挑战,并分析最佳评估指标。
2024-07-17 cs.CV
Textually Enriched Neural Module Networks for Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学)
随着计算机视觉研究超越传统的识别任务,语言和视觉交叉点的问题,如视觉问答,最近在多模态机器学习领域获得了大量关注。最近在使用深度神经网络模型的视觉问答中取得了成功,深度神经网络模型使用问题的语言结构来动态地实例化网络布局。在将问题转换为网络布局的过程中,问题被简化,这导致模型中的信息丢失。在本文中,我们丰富的图像信息与文本数据,使用图像标题和外部知识库,以生成更连贯的答案。我们实现了57.1%的整体准确率的测试开发开放式问题的视觉问答(VQA 1.0)的真实图像数据集。
2018-09-23 cs.CL cs.CV
FlowVQA: Mapping Multimodal Logic in Visual Question Answering with Flowcharts
Mercer Mettl(默瑟梅特尔);IGDTUW(英迪拉·甘地德里技术大学(女子));Google Research(谷歌研究院);Indian Institute of Technology Guwahati(古瓦哈蒂印度理工学院);University of Pennsylvania(宾夕法尼亚大学)
FlowVQA提出一个包含2,272张流程图和22,413个问答对的视觉问答基准,用于评估多模态语言模型在信息定位、决策和逻辑推理上的能力,并通过基线实验验证其价值。
2024-06-28 cs.CL cs.CV cs.IR