VQA with Cascade of Self- and Co-Attention Blocks
复杂注意模块的使用提高了视觉问答(VQA)任务的性能。这项工作的目的是通过视觉和文本模态的密集互动来学习改进的多模态表示。该模型具有一个包含图像和文本的自我注意和共同注意的注意块。自我注意模块提供对象(对于图像)和单词(对于问题)的上下文信息,这些信息对于推断答案至关重要。另一方面,共同注意有助于图像和文本的互动。此外,细粒度的信息是通过使用级联的自我和共同注意力块(CSCA)从两个模态。该建议以广泛使用的VQA 2.0和TDIUC数据集为基准。涉及消融分析的实验证明了模型的关键组成部分和级联的注意力模块的有效性。
2023-02-28 cs.AI cs.CV
What Does Chain-of-Thought Contribute at Probe Time? Evidence for Local Co-Occurrence Activation
Huazhong University of Science and Technology(华中科技大学)
研究链式思维提示在探测时提升语言模型准确率的原因,发现增益主要来自词汇激活和短距离标记共现,而非句子级逻辑推导。
2026-07-28 cs.AI
A Picture May Be Worth a Hundred Words for Visual Question Answering
Osaka University(大阪大学);CyberAgent, Inc.(赛博代理公司);Kyoto University(京都大学)
用文本表征来理解图片,我们能走多远?在图像理解中,使用简洁但详细的图像表示是必不可少的。由视觉模型(例如Faster R-CNN)提取的深度视觉特征在多个任务中普遍使用,特别是在视觉问答(VQA)中。然而,传统的深度视觉特征可能难以像我们人类一样传达图像中的所有细节。同时,随着近年来语言模型的发展,描述性文本可能成为解决这一问题的一种方法。本文深入研究了文本表示的有效性,图像理解的特定背景下的VQA。我们建议将提示问题对作为输入,而不是深度视觉特征,并将其输入到仅语言的Transformer模型中,从而简化了过程和计算成本。我们还试验了数据增强技术,以增加训练集的多样性,避免学习统计偏差。广泛的评估表明,文本表示只需要大约100个单词就可以与VQA 2.0和VQA-CP v2上的深度视觉功能竞争。
2021-06-25 cs.CV
MedCoT: Medical Chain of Thought via Hierarchical Expert
ZJU-Angelalign R&D Center for Intelligence Healthcare, Zhejiang University(浙江大学ZJU-Angelalign智能医疗研发中心);Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局前沿人工智能研究中心);Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究所)
本文提出 MedCoT,一种分层专家验证推理链方法,通过初始专家提出诊断依据、后续专家验证及稀疏混合专家投票达成共识,提升了医学视觉问答的准确性与可解释性。
2024-12-18 cs.CV
Unsupervised Keyword Extraction for Full-sentence VQA
The University of Tokyo(东京大学);RIKEN(理化学研究所)
在大多数现有的可视化问答(VQA)研究中,答案由简短的,通常是单个单词组成,根据在数据集构建期间给注释者的指示。这项研究设想了一个VQA任务的自然情况下,答案更有可能是句子,而不是单个单词。为了弥补这种自然VQA和现有VQA方法之间的差距,提出了一种新的无监督关键字提取方法。该方法基于这样的原理:整句回答可以被分解为两个部分:一个部分包含回答问题的新信息(即,关键字),以及一个包含问题中已经包含的信息。判别解码器的设计,以实现这种分解,并在VQA数据集上包含整句答案的方法进行了实验。实验结果表明,该模型可以准确地提取关键词,而不需要给出明确的注释来描述它们。
2020-10-12 cs.CL cs.CV cs.LG
Game of Sketches: Deep Recurrent Models of Pictionary-style Word Guessing
智能代理以类似人类的方式玩游戏的能力通常被认为是人工智能进步的基准。类似地,多学科任务(如视觉问答(VQA))的表现被认为是衡量计算机视觉进展的标志。在我们的工作中,我们将游戏和VQA结合在一起。具体来说,我们介绍了第一个计算模型,针对Pictionary,流行的社会游戏猜词。我们首先介绍了Sketch-QA,一个初级版本的视觉问答任务。在Pictionary之后,Sketch-QA使用增量累积的草图笔划序列作为视觉数据。值得注意的是,Sketch-QA涉及问一个固定的问题(“正在绘制什么对象?)和从人类猜测者那里收集开放式的猜测词。我们分析了由此产生的数据集,并提出了许多有趣的发现。为了模仿图画式的猜测,我们随后提出了一个深度神经模型,该模型可以生成猜测词,以响应时间上不断变化的人类绘制的草图。我们的模型甚至会在猜测时犯类似人类的错误,从而放大了人类的模仿因素。我们通过Sketch-QA任务生成的大规模猜测词数据集来评估我们的模型,并与各种基线进行比较。我们还进行了视觉图灵测试,以获得人类和我们的模型产生的猜测词的人类印象。实验结果表明,我们的方法的承诺Pictionary和类似的主题游戏。
2018-01-29 cs.AI cs.CV
OpenView: Empowering MLLMs with Out-of-view VQA
Monash University(墨尔本大学);The Chinese University of Hong Kong(香港中文大学)
OpenView通过全景图像生成多选VQA,提升大规模语言模型在视图外视觉问答任务中的性能。
2026-11-09 cs.CV
BIRD: Distilling Decision Boundaries into Rationales for MLLM Adaptation
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
BIRD提出一种自我改进的边界感知推理依据蒸馏框架,利用模型自身混淆定位决策边界,蒸馏有效证据以增强MLLM在专业领域的适配,在医学和图表VQA上超越现有方法。
2026-09-29 cs.AI
A Video Is Not Worth a Thousand Words
University of Bristol(布里斯托大学)
针对视频问答中文本主导性问题,提出基于Shapley值的特征归因与模态得分方法,比较6个VLM模型,发现任务退化为忽略干扰项,代码已开源。
2025-10-27 cs.CV
Zero-Shot Transfer VQA Dataset
Baidu Research(百度研究院);Horizon Robotics Research(地平线机器人研究院)
掌握大量词汇是人类智力的一个重要方面。人类扩充词汇的一种常见方法是在听或读的过程中学习词汇,然后在写作或口语中使用它们。这种从输入到输出的转换能力对人类来说是自然的,但对机器来说是困难的,人类在复杂的多模态任务中自发地进行这种知识转换,如视觉问答(VQA)。为了接近人类水平的人工智能,我们希望让机器具备这样的能力。因此,为了加速这项研究,我们提出了一个新的零镜头传输VQA(ZST-VQA)数据集,通过重新组织现有的VQA v1.0数据集,在训练过程中,一些单词只出现在一个模块(即问题)中,而不是在其他模块(即答案)中。在这种情况下,智能模型应该理解和学习来自一个模块(即问题)的概念,并在测试时将其转移到另一个模块(即预测概念作为答案)。我们使用三种现有的最先进的VQA神经模型对这个新数据集进行评估。实验结果表明,在这个数据集上的性能显着下降,表明现有的方法没有解决zero-shot传输问题。此外,我们的分析发现,这可能是由于在培训过程中学习的内隐偏见。
2018-11-02 cs.AI cs.CL
Towards Transparent AI Systems: Interpreting Visual Question Answering Models
Virginia Tech(弗吉尼亚理工大学)
近年来,深度神经网络在人工智能的许多研究领域取得了令人瞩目的进展,取得了令人瞩目的成果。然而,不知道他们为什么预测他们做什么通常是不令人满意的。在本文中,我们解决的问题,解释视觉问答(VQA)模型。具体来说,我们感兴趣的是找到VQA模型在回答问题时关注的输入部分(图像中的像素或问题中的单词)。为了解决这个问题,我们使用了两种可视化技术--引导反向传播和遮挡--来找到问题中的重要单词和图像中的重要区域。然后,我们提出这些重要性地图的定性和定量分析。我们发现,即使没有明确的注意力机制,VQA模型有时可能会隐含地关注图像中的相关区域,并且经常关注问题中的适当词语。
2016-09-09 cs.AI cs.CL cs.CV
WSI-VQA: Interpreting Whole Slide Images by Generative Visual Question Answering
Zhejiang University(浙江大学);Research Center for Industries of the Future, Westlake University(西湖大学未来产业研究中心);School of Engineering, Westlake University(西湖大学工程学院)
提出WSI-VQA生成式视觉问答框架与W2T模型,将多种WSI切片级任务统一为问答,并构建数据集,实现优于判别模型的医学诊断与可解释预测。
2024-07-08 cs.AI cs.CV
VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models
The Pennsylvania State University(宾夕法尼亚州立大学);Dalian University of Technology(大连理工大学);Stony Brook University(石溪大学)
本文提出VQAttack模型,利用预训练多模态源模型迭代生成图像和文本对抗扰动,通过LLM增强图像攻击与跨模态联合攻击模块,实现对目标VQA模型的高效可迁移攻击,揭示了预训练与微调范式的鲁棒性盲点。
2024-02-16 cs.CV
Language Guided Visual Question Answering: Elevate Your Multimodal Language Model Using Knowledge-Enriched Prompts
Singapore University of Technology and Design(新加坡科技设计大学);University of Michigan(密歇根大学)
本文提出 LG-VQA 多模态框架,通过理由、图像描述、场景图等语言引导增强 CLIP 和 BLIP 模型,在 A-OKVQA、Science-QA、VSR 和 IconQA 上显著提升视觉问答准确率。
2023-10-31 cs.AI cs.CV
Geospatial Chain of Thought Reasoning for Enhanced Visual Question Answering on Satellite Imagery
Indian Institute of Technology Bombay(印度理工学院班加罗尔);IBM Research India(IBM印度研究)
针对卫星图像VQA缺乏复杂地理空间查询所需的结构化推理问题,提出结合地理空间CoT推理与DPO的框架,提升可解释性、鲁棒性和准确性,CoT监督使准确率提升34.9%,DPO带来额外增益,推进多光谱地球观测VQA技术。
2025-11-14 cs.CV
Zero-Shot Visual Question Answering
Australian Centre for Visual Technologies(澳大利亚视觉技术中心);The University of Adelaide(阿德莱德大学)
视觉问答(VQA)的部分吸引力在于它承诺回答关于以前看不见的图像的新问题。大多数当前的方法需要说明每一个可能概念的训练问题,并且因此永远不会实现这种能力,因为所需的训练数据的量将是令人望而却步的。解决关于图像的一般问题需要能够进行Zero-Shot VQA的方法,即能够回答超出训练问题范围的问题的方法。我们提出了一个新的VQA方法的评估协议,衡量他们的能力,执行Zero-Shot VQA,并在这样做突出了显着的实际缺陷,目前的方法,其中一些是掩盖在当前数据集的偏见。我们提出并评估了几种实现Zero-Shot VQA的策略,包括基于预训练词嵌入的方法,具有语义嵌入的对象分类器,以及示例图像的测试时检索。我们广泛的实验旨在作为Zero-Shot VQA的基线,并且它们还在标准VQA评估设置中实现了最先进的性能。
2016-11-20 cs.AI cs.CL cs.CV
Enforcing Reasoning in Visual Commonsense Reasoning
UC San Diego(加州大学圣迭戈分校)
视觉常识推理的任务是非常具有挑战性的,因为模型不仅要能够回答给定图像的问题,还要能够学习推理。本任务中引入的基线非常有限,因为两个网络分别用于预测答案和理由。以问题和图像作为训练答案预测网络的输入,以问题、图像和正确答案作为推理预测网络的输入。由于基本原理是以正确答案为条件的,它是基于这样一个假设,即我们可以毫无错误地解决视觉问答任务-这是过于雄心勃勃的。此外,这种方法使答案和推理预测成为两个完全独立的VQA任务,使认知任务变得毫无意义。在本文中,我们试图通过提出一个端到端的可训练模型来解决这些问题,该模型同时考虑答案及其原因。具体来说,我们首先预测问题的答案,然后使用选择的答案来预测理由。然而,这样的模型的一个平凡的设计变得不可微,这使得它难以训练。我们通过提出四种方法来解决这个问题- softmax,gumbel-softmax,基于强化学习的采样和直接交叉熵对所有对的答案和理由。我们通过实验证明,我们的模型执行竞争力对当前国家的最先进的。我们的结论与分析所提出的方法,并讨论进一步工作的途径。
2019-12-27 cs.AI cs.CL cs.CV
MedThink: Explaining Medical Visual Question Answering via Multimodal Decision-Making Rationale
Zhejiang University(浙江大学);Angelalign Tech(时代天使科技)
针对现有医学视觉问答模型可解释性不足的问题,研究提出半自动化标注流程构建带决策推理的基准数据集,设计MedThink框架微调轻量生成模型,在三个数据集上准确率均优于同参数规模的SOTA模型。
2024-10-07 cs.CV
Fully Authentic Visual Question Answering Dataset from Online Communities
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft(微软公司);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出首个完全来自在线社区真实问答的VQA数据集VQAonline,评估六个先进模型,发现长答案挑战,并分析最佳评估指标。
2024-07-17 cs.CV
Med-Flamingo: a Multimodal Medical Few-shot Learner
Stanford University(斯坦福大学);Stanford Medicine(斯坦福医学院);Hospital Israelita Albert Einstein(以色列爱因斯坦医院);Harvard Medical School(哈佛医学院)
提出 Med-Flamingo,基于 OpenFlamingo-9B 在医学图文数据上预训练,解锁少样本生成式医学 VQA 能力,在临床医生评分上提升 20%,并首次实现多模态医学少样本适应。
2023-07-27 cs.AI cs.CV
Beyond Question-Based Biases: Assessing Multimodal Shortcut Learning in Visual Question Answering
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所);Idiap Research Institute(伊迪亚普研究所);Australian Institute for Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所)
我们介绍了一种评价方法,视觉问答(VQA),以更好地诊断案例的捷径学习。这些情况发生在模型利用虚假的统计数据来产生正确的答案,但实际上并没有部署所需的行为。在现实世界中部署模型之前,需要确定数据集中可能的快捷方式并评估其使用情况。VQA的研究社区专注于基于问题的快捷方式,例如,模型可能主要依靠问题条件训练先验来回答“天空的颜色是什么”和“蓝色”,而对视觉证据的权重很小。我们更进一步,考虑涉及问题和图像的多模态快捷方式。我们首先通过挖掘诸如单词和视觉元素的共现等琐碎的预测规则来识别流行的VQA v2训练集中的潜在快捷方式。然后,我们引入VQA-反例(VQA-CE),这是一种基于反例子集的评估协议,即图像-问题-答案三元组,其中我们的规则会导致不正确的答案。我们使用这种新的评价在现有的VQA方法的大规模研究。我们证明,即使是最先进的模型表现不佳,现有的技术,以减少偏见在这种情况下,在很大程度上是无效的。我们的研究结果表明,过去的工作基于问题的偏见VQA只解决了一个复杂的问题的一个方面。我们方法的代码可以在https://github.com/cdancette/detect-shortcuts上找到。
2021-09-01 cs.AI cs.CV
Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering
University of Pennsylvania(宾夕法尼亚大学)
针对多模态大模型视觉问答可解释性不足的问题,提出设计即可解释的动态线索瓶颈模型DCLUB,通过先输出视觉线索再生成答案实现决策可追溯,在推理类问题上优于同类黑盒模型,同时保持主流基准性能。
2024-04-13 cs.AI cs.CL cs.CV
Joint Answering and Explanation for Visual Commonsense Reasoning
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对视觉常识推理现有方法拆分问答与依据推理过程、切断二者关联的问题,提出即插即用的知识蒸馏增强耦合框架,通过新分支连接两过程,在主流基线上实现显著性能提升。
2023-01-12 cs.CV
An experimental study of the vision-bottleneck in VQA
Orange Innovation(奥兰治创新);LIRIS, INSA Lyon(里昂国立应用科学学院LIRIS实验室)
在许多结合视觉和语言的任务中,视觉问答(VQA)中视觉和语言都起着至关重要的作用。为了正确地解决这个问题,一个给定的模型应该理解所提出的图像的内容和问题的本质。虽然模态之间的融合,这是问题的另一个明显重要的部分,已经得到了高度的研究,视觉部分在最近的工作中得到的关注较少。当前用于VQA的最先进的方法主要依赖于现成的对象检测器提供一组对象边界框和嵌入,然后通过推理模块将其与问题词嵌入相结合。在本文中,我们提出了一个深入的研究VQA中的视觉瓶颈,实验从图像中提取的视觉对象的数量和质量。我们还研究了两种方法的影响,将回答一个问题所需的对象的信息,在推理模块直接,并在对象选择阶段的早期。这项工作突出了视觉的VQA的背景下,和定制的视觉方法在VQA手头的任务的重要性。
2022-02-14 cs.CV
Locate Then Generate: Bridging Vision and Language with Bounding Box for Scene-Text VQA
School of Data Science, University of Science and Technology of China(中国科学技术大学数据科学学院);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Tencent YouTu Lab(腾讯优图实验室)
本文提出“定位然后生成”(LTG)多模态框架,通过空间边界框作为桥梁显式统一视觉与语言语义,在无预训练任务下显著提升STVQA准确率。
2023-04-04 cs.AI cs.CV
A Framework for Rationale Extraction for Deep QA models
Robert Bosch Centre for Data Science and AI (RBC-DSAI)(罗伯特·博世数据科学与人工智能中心(RBC-DSAI));Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Google Research(谷歌研究院)
随着基于神经网络的QA模型变得更深入、更复杂,人们需要一个强大的框架来访问模型的预测原理。目前提供模型工作洞察的技术要么依赖于对抗性数据集,要么提出具有显式解释生成组件的模型。这些技术是耗时和具有挑战性的扩展到现有的模型和新的数据集。在这项工作中,我们使用“集成的先决条件”,以提取现有的国家的最先进的模式在阅读理解为基础的问答(RCQA)的任务的基本原理。在详细的分析和与收集的人类理性的比较,我们发现,虽然约40-80%的词提取的理性与人类的理性(精度)相吻合,只有6-19%的人类理性是存在于提取的理性(召回)。
2021-10-09 cs.AI cs.CL
Aligned Image-Word Representations Improve Inductive Transfer Across Vision-Language Tasks
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Inc.(谷歌公司)
计算机视觉的一个重要目标是构建能够随着时间的推移学习视觉表示的系统,这些系统可以应用于许多任务。在本文中,我们研究了视觉语言嵌入作为核心表示,并表明它比标准的多任务学习更好地实现了跨任务迁移。特别是,视觉识别的任务与视觉问答的任务是一致的,通过强制每个任务使用相同的词区域嵌入。我们表明,这导致更大的感应传输识别VQA比标准的多任务学习。视觉识别也得到了改善,特别是对于识别训练标签相对较少但经常出现在VQA设置中的类别。因此,我们的论文通过展示可解释、灵活和可训练的核心表示的好处,朝着创建更通用的视觉系统迈出了一小步。
2017-10-16 cs.AI cs.CV cs.LG
Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for Visual Question Answering
Tohoku University(东北大学);RIKEN Center for AIP(理化学研究所人工智能研究中心)
视觉问答(VQA)的一个关键解决方案是如何融合从输入图像和问题中提取的视觉和语言特征。我们发现,一个注意力机制,使两种模式之间的密集,双向的相互作用,有助于提高准确性的预测答案。具体来说,我们提出了一个简单的架构,是完全对称的视觉和语言表示,其中每个问题的话出席图像区域和每个图像区域出席问题的话。它可以堆叠起来形成一个层次结构,用于图像-问题对之间的多步交互。我们通过实验表明,所提出的架构实现了一个新的国家的最先进的VQA和VQA 2.0,尽管它的小尺寸。我们还提出了定性评估,演示了如何提出的注意力机制可以产生合理的注意力地图的图像和问题,从而导致正确的答案预测。
2018-12-01 cs.CV
Syntax Tree Constrained Graph Network for Visual Question Answering
Beijing Institute of Technology(北京理工大学);Tongji University(同济大学);DeepBlue Academy of Sciences(深兰科学院)
本文提出句法树约束图网络STCGN,通过从问题中提取句法树并结合实体消息传递机制,增强视觉问答中的语言理解与视觉特征细化,在VQA2.0上验证了其有效性。
2023-09-17 cs.AI cs.CV
A Dual-Attention Learning Network with Word and Sentence Embedding for Medical Visual Question Answering
school of Mathematics and Statistics, Changsha University of Science and Technology(长沙理工大学数学与统计学院)
本文提出了一种基于词和句子嵌入的双注意力学习网络(WSDAN),通过TSE模块提取包含关键词和医学信息的双重嵌入表示,并利用多个DAL模块建模模态内和模态间交互以增强视觉推理,在VQA-MED 2019和VQA-RAD数据集上优于现有方法。
2022-11-12 cs.CV
VQA-Levels: A Hierarchical Approach for Classifying Questions in VQA
University of Hyderabad(海得拉巴大学)
本文提出VQA-Levels基准数据集,将VQA问题按所需视觉与知识抽象程度分为7个层级,并初步测试现有VQA系统在不同层级上的表现,以支持对VQA系统的系统性分析。
2025-02-05 cs.AI cs.CV cs.LG
VietMEAgent: Culturally-Aware Few-Shot Multimodal Explanation for Vietnamese Visual Question Answering
Faculty Of Information Technology, VNU University of Engineering and Technology(信息科技学院,越南工程与技术大学);IT-BT Convergence Technology Division, Vietnam-Korea Institute of Science and Technology(IT-BT融合技术部,越南-韩国科学技术院);TADI Global Lab, TADI Global Company Limited(TADI全球实验室,TADI全球公司);Faculty of Finance, Banking Academy of Vietnam(金融学院,越南银行学院)
针对当代VQA系统在越南文化特定内容上的限制,本文提出VietMEAgent多模态可解释框架,通过集成文化对象检测、结构化程序生成层及双模态解释模块,结合越南文化实体知识库,提升文化理解能力并提供透明解释。
2025-11-12 cs.CV
Graph-Structured Representations for Visual Question Answering
Australian Centre for Visual Technologies(澳大利亚视觉技术中心);The University of Adelaide(阿德莱德大学)
本文提出了一种改进的视觉问答(VQA)与场景内容和问题的结构化表示。VQA中的一个关键挑战是需要在视觉和文本域上进行联合推理。主流的基于CNN/LSTM的VQA方法受到单一向量表示的限制,这些向量表示在很大程度上忽略了场景中的结构和问题的形式。CNN特征向量无法有效地捕捉多个对象实例这样简单的情况,LSTM将问题处理为一系列单词,这并不能反映语言结构的真实复杂性。相反,我们建议在场景对象和问题词上构建图,我们描述了一个深度神经网络,它利用了这些表示中的结构。这显示出比LSTM的顺序处理显著的益处。我们的方法的整体功效是由显着的改进,证明了国家的最先进的,从71.2%到74.4%的准确性的“抽象场景”多项选择基准,从34.7%到39.1%的准确性对“平衡”的场景,即图像与细粒度的差异和相反的是/否回答同一个问题。
2017-03-30 cs.AI cs.CL cs.CV
VQA: Visual Question Answering
Virginia Tech(弗吉尼亚理工大学);Microsoft Research(微软研究院);Facebook AI Research(Facebook人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了自由形式和开放式可视问答(VQA)的任务。给定图像和关于图像的自然语言问题,任务是提供准确的自然语言答案。在真实世界的场景中,比如帮助视障人士,问题和答案都是开放式的。视觉问题选择性地针对图像的不同区域,包括背景细节和潜在上下文。因此,在VQA方面取得成功的系统通常需要比生成通用图像标题的系统更详细地理解图像和复杂的推理。此外,VQA是服从自动评估,因为许多开放式的答案只包含几个字或一个封闭的答案,可以提供一个多项选择的格式。我们提供了一个包含约0.25M图像,约0.76M问题和约10M答案的数据集(www.visualqa.org),并讨论了它提供的信息。提供了许多VQA的基线和方法,并与人的表现进行了比较。我们的VQA演示可在CloudCV(http://cloudcv.org/vqa)上获得。
2016-10-27 cs.CL cs.CV
Counterfactual Samples Synthesizing for Robust Visual Question Answering
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Hikvision Research Institute(海康威视研究院)
尽管在过去的几年中,视觉问答(VQA)已经取得了令人印象深刻的进展,今天的VQA模型往往捕捉表面的语言相关性的训练集,并未能推广到测试集与不同的QA分布。为了减少语言偏差,最近的一些工作引入了一个辅助的问题模型来正则化目标VQA模型的训练,并在VQA-CP上取得了优异的性能。然而,由于设计的复杂性,目前的方法无法使基于集合的模型具有理想VQA模型的两个不可或缺的特征:1)视觉可解释性:模型在做出决策时应该依赖于正确的视觉区域。2)对问题敏感:模型应该对所讨论的语言变化敏感。为此,我们提出了一个与模型无关的反事实样本合成(CSS)训练方案。CSS通过屏蔽图像中的关键对象或问题中的单词,并分配不同的地面事实答案,生成大量的反事实训练样本。在使用补充样本(即原始和生成的样本)进行训练后,VQA模型被迫专注于所有关键对象和单词,这显着提高了视觉解释和问题敏感的能力。作为回报,这些模型的性能得到进一步提升。广泛消融显示了CSS的有效性。特别是,通过建立在模型LMH之上,我们在VQA-CP v2上实现了破纪录的58.95%的性能,并获得了6.5%的收益。
2020-03-14 cs.CL cs.CV cs.MM
Step-CoT: Stepwise Visual Chain-of-Thought for Medical Visual Question Answering
本文提出Step-CoT,通过结构化多步推理提升医学视觉问答的准确性和可解释性,引入专家 curated 的医疗诊断流程对齐的推理数据集和动态图结构聚焦机制。
2026-03-14 cs.AI cs.CL cs.CV
Overcoming Language Priors in Visual Question Answering with Adversarial Regularization
Georgia Institute of Technology(佐治亚理工学院)
现代视觉问答(VQA)模型已经被证明严重依赖于在训练过程中学习的问题和答案之间的表面相关性,例如压倒性地报告房间类型为厨房或正在进行的运动为网球,而不管图像如何。最令人担忧的是,这一缺点在评估过程中往往没有得到很好的反映,因为测试分布中存在相同的强先验;然而,未能将图像内容中的问题作为基础的VQA系统可能在现实世界中表现不佳。在这项工作中,我们提出了一种新的正则化方案VQA,减少这种影响。我们引入了一个只问问题的模型,该模型将VQA模型中的问题编码作为输入,并且必须利用语言偏见才能成功。然后,我们将训练视为VQA模型和这个只问问题的对手之间的对抗游戏-阻止VQA模型在其问题编码中捕获语言偏见。此外,我们利用这个仅限问题的模型来估计考虑图像后模型置信度的增加,我们明确地最大化以鼓励视觉基础。我们的方法是一个与模型无关的训练过程,并且易于实现。我们的经验表明,它可以显着提高VQA数据集的偏置敏感分裂多个基础模型的性能-实现最先进的这项任务。此外,在标准VQA任务中,与现有的偏差减少VQA模型相比,我们的方法显示出更少的准确性下降。
2018-11-08 cs.CV
Multi-modality Latent Interaction Network for Visual Question Answering
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);Tsinghua University(清华大学)
视觉问答(Visual Question Questioning,VQA)多通道特征的学习,利用视觉区域和问句之间的关系取得了很大的成功。然而,我们认为,现有的方法主要是模型之间的关系,个别视觉区域和单词,这是不够的,以正确地回答这个问题。从人类的角度来看,回答视觉问题需要理解视觉和语言信息的摘要。在本文中,我们提出了多模态潜在交互模块(MLI)来解决这个问题。该模块学习潜在视觉和语言摘要之间的跨模态关系,将视觉区域和问题总结为少量的潜在表示,以避免建模无信息的单个区域-单词关系。潜在摘要之间的跨模态信息被传播以融合来自两种模态的有价值的信息,并用于更新视觉和单词特征。这种MLI模块可以堆叠几个阶段,以模拟两种模式之间的复杂和潜在关系,并在公共VQA基准测试,VQA v2.0和TDIUC上实现极具竞争力的性能。此外,我们表明,我们的方法的性能可以显着提高与预训练的语言模型BERT相结合。
2019-08-10 cs.CV cs.SD eess.AS
MuVAM: A Multi-View Attention-based Model for Medical Visual Question Answering
Harbin Engineering University(哈尔滨工程大学);Harbin Medical University(哈尔滨医科大学)
医学视觉问答(VQA)是计算机视觉和自然语言处理研究领域广泛关注的一个多模态挑战性课题。针对目前医学视觉问答模型大多关注视觉内容,忽视文本的重要性,提出一种基于多视图注意力的医学视觉问答模型(MuVAM),该模型在文本描述的基础上集成了医学图像的高层语义。首先,针对视觉和文本两种模态,采用不同的方法提取图像和问题的特征。其次,本文提出了一种多视角注意力机制,包括图像到问题(I2 Q)注意力和词到文本(W2 T)注意力。多视角注意可以将问题与图像和文字联系起来,以便更好地分析问题并得到准确的答案。第三,提出了一种复合损失率的概念,以提高多模态特征融合后的答案预测精度,提高视觉和文本跨模态特征之间的相似度。它包括分类损失和图像-问题互补(IQC)损失。最后,对于VQA-RAD数据集中的数据错误和标签缺失,我们与医学专家合作,纠正和完善了这个数据集,然后构建了一个增强的数据集,VQA-RADPh。在这两个数据集上的实验表明,MuVAM的有效性超过了现有的方法。
2021-07-07 cs.CV
Synthesize Step-by-Step: Tools, Templates and LLMs as Data Generators for Reasoning-Based Chart VQA
Johns Hopkins University(约翰斯·霍普金斯大学);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出逐步合成策略,利用LLM将复杂图表问题分解为子问题并结合Python工具生成增强数据,显著提升ChartQA和PlotQA上的推理问答准确率。
2024-03-28 cs.CL cs.CV
Zero-shot Visual Question Answering using Knowledge Graph
Hangzhou Innovation Center, Zhejiang University(浙江大学杭州创新中心);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Department of Computer Science, University of Oxford(牛津大学计算机科学系);School of Informatics, The University of Edinburgh(爱丁堡大学信息学院);NAIE CTO Office, Huawei Technologies Co., Ltd.(华为技术有限公司NAIE首席技术官办公室)
将外部知识转化为可视化问答(VQA)已成为一种重要的实际需求。现有的方法大多采用不同组件的流水线方法进行知识匹配和提取、特征学习等,但当某些组件性能不佳时,这种流水线方法会受到影响,导致错误传播和整体性能不佳。此外,大多数现有方法忽略了答案偏差问题-许多答案可能在训练期间从未出现过(即,在实际应用中,看不见的答案。为了弥补这些差距,在本文中,我们提出了一个Zero-shot VQA算法使用知识图谱和基于掩码的学习机制,以更好地结合外部知识,并提出了新的答案为基础的Zero-shot VQA分裂的F-VQA数据集。实验表明,我们的方法可以实现最先进的性能在Zero-shot VQA与看不见的答案,同时显着增加现有的端到端模型上的正常F-VQA任务。
2021-10-18 cs.AI
Counterfactual Samples Synthesizing and Training for Robust Visual Question Answering
The Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学);Columbia University(哥伦比亚大学);Nanyang Technological University(南洋理工大学)
针对VQA模型易受语言偏差影响的问题,提出模型无关的反事实样本合成与训练(CSST)策略,通过掩蔽关键对象和单词生成反事实样本并结合监督对比损失进行训练,显著提升了模型的视觉可解释性和问题敏感性,在多个OOD基准上取得破纪录性能。
2023-06-25 cs.AI cs.CL cs.CV
SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering
Northwestern University(西北大学);Microsoft Research(微软研究院)
可视化问答(Visual Question Questioning,VQA)是一个备受业界和学术界关注的问题。作为一个多模态任务,它是具有挑战性的,因为它不仅需要视觉和文本的理解,但也有能力调整跨模态表示。以前的方法广泛采用实体级的对齐,如视觉区域和它们的语义标签之间的相关性,或跨问题词和对象特征的相互作用。这些尝试旨在改善跨通道表征,而忽略了它们之间的内在联系。相反,我们建议应用结构化对齐,它与视觉和文本内容的图形表示一起工作,旨在捕捉视觉和文本模态之间的深层联系。然而,它是不平凡的表示和整合结构化的比对图。在这项工作中,我们试图解决这个问题,首先将不同的模态实体转换成连续的节点和邻接图,然后将它们结构化对齐。正如我们的实验结果所示,这样的结构化对齐提高了推理性能。此外,我们的模型还表现出更好的可解释性为每个生成的答案。该模型在没有任何预训练的情况下,在GQA数据集上的性能优于最先进的方法,并在VQA-v2数据集上击败了非预训练的最先进的方法。
2022-01-25 cs.CV
REXUP: I REason, I EXtract, I UPdate with Structured Compositional Reasoning for Visual Question Answering
The University of Sydney(悉尼大学)
视觉问答(VQA)是一项具有挑战性的多模态任务,它不仅需要对图像和问题的语义理解,还需要对一个逐步推理过程的正确感知。到目前为止,VQA中大多数成功的尝试都集中在一个方面,要么是图像的视觉像素特征与问题的文字特征的交互,要么是在图像中用简单对象回答问题的推理过程。在本文中,我们提出了一个深度推理VQA模型与明确的视觉结构感知的文本信息,它可以很好地捕捉一步一步的推理过程,并检测一个复杂的对象关系,在照片级真实感图像。REXUP网络由面向图像对象和面向场景图两个分支组成,与超对角融合合成注意力网络协同工作。我们在GQA数据集上对REXUP进行了定量和定性评估,并进行了广泛的消融研究,以探索REXUP有效性背后的原因。我们最好的模型明显优于最先进的模型,后者在验证集上的表现为92.7%,在测试开发集上的表现为73.1%。
2020-09-14 cs.AI cs.CV
Weak Supervision helps Emergence of Word-Object Alignment and improves Vision-Language Tasks
Université de Lyon(里昂大学);INSA-Lyon(里昂国立应用科学学院);Orange Labs(Orange实验室)
自注意(即Transformer模型)和BERT类训练原则的大量采用最近导致了大量视觉和语言问题(例如视觉问答(VQA),图像检索等)的高性能模型。在本文中,我们声称,这些国家的最先进的(SOTA)的方法执行合理的结构信息内的一个单一的模态,但尽管他们令人印象深刻的表现,他们往往难以识别细粒度的模态间的关系。事实上,这种关系经常被认为是在训练过程中从特定于应用的损失中隐式学习的,主要是分类的交叉熵。虽然最近的工作通过交叉注意模块为模态间关系提供了归纳偏差,但在这项工作中,我们证明了(1)后一个假设不成立,即模态对齐不一定会自动出现,以及(2)对视觉对象和单词之间的对齐添加弱监督可以提高学习模型在需要推理的任务上的质量。特别是,我们集成了SOTA视觉语言推理模型的对象词对齐损失,并评估它的两个任务VQA和图像驱动的比较。我们表明,建议细粒度的跨模态监督显着提高性能的两项任务。特别是,这个新的学习信号允许在GQA数据集(VQA任务)上获得SOTA级别的性能,而无需对任务进行微调,以及在NLVR 2数据集上获得新的SOTA(图像驱动的图像比较)。最后,我们还通过可视化注意力分布来说明贡献对模型推理的影响。
2019-12-06 cs.CL cs.CV cs.LG
An Empirical Study on the Language Modal in Visual Question Answering
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学);Ping An Property & Casualty Insurance Company of China, Ltd(中国平安财产保险股份有限公司)
本文通过实证研究揭示语言模态中的后缀偏差影响VQA泛化,提出简单去偏建议,在VQA-CPv2上提升性能,LXMERT获10分增益。
2023-09-05 cs.AI cs.CV
Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs
Huazhong University of Science and Technology(华中科技大学);Alibaba Cloud(阿里云)
通过视觉对比提升VLMs的推理能力,提出VC-STaR框架,有效减少推理幻觉并提升多种VLMs的视觉推理性能。
2026-03-03 cs.AI cs.CL cs.CV
Explicit Bias Discovery in Visual Question Answering Models
University of Maryland, College Park(马里兰大学帕克分校)
研究人员观察到,视觉问答(VQA)模型倾向于通过学习数据中的统计偏差来回答问题。例如,他们对“草的颜色是什么?”“通常是“绿色的”,而像“这本书的书名是什么?“不能通过推断统计偏差来回答。明确地发现这种偏差对社区来说是很有意义的,这既有利于理解这种模型的行为,也有利于调试它们。我们的工作解决这个问题。在一个数据库中,我们存储的问题,答案和视觉词对应的关注地图的兴趣区域的话。通过在这个数据库上运行简单的规则挖掘算法,我们发现了人类可解释的规则,这些规则使我们对这些模型的行为有了独特的见解。我们的研究结果还显示了模型在尝试VQA任务时学习到的不寻常行为的例子。
2018-11-19 cs.CV
Beyond OCR Accuracy: Text-Centric VQA Under Image Degradation with Modular and End-to-End
Indian Institute of Technology Mandi(印度理工学院曼迪分校);DIT University(DIT大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本研究比较模块化OCR流程与端到端模型在退化图像上的文本VQA性能,发现模块化方法准确率更高,且传统OCR指标无法可靠预测下游VQA表现,强调任务感知评估的重要性。
2026-09-15 cs.CV
TAP: Text-Aware Pre-training for Text-VQA and Text-Caption
University of Rochester(罗切斯特大学);Microsoft Corporation(微软公司)
在本文中,我们提出了文本感知预训练(TAP)的文本VQA和文本标题任务。这两个任务分别针对问答和图像字幕生成,旨在阅读和理解图像中的场景文本。传统的视觉语言预训练无法捕捉场景文本及其与视觉和文本模态的关系,而TAP在预训练中明确地包含了场景文本(从OCR引擎生成)。通过三个预训练任务,包括掩码语言建模(MLM),图像-文本(对比)匹配(ITM)和相对(空间)位置预测(RPP),TAP有效地帮助模型在三种模态(文本词,视觉对象和场景文本)之间学习更好的对齐表示。由于这种对齐的表示学习,即使在相同的下游任务数据集上进行了预训练,与非TAP基线相比,TAP已经将TextVQA数据集的绝对准确率提高了+5.4%。为了进一步提高性能,我们基于概念字幕数据集构建了一个大规模的数据集,名为OCR-CC,其中包含140万个场景文本相关的图像-文本对。在这个OCR-CC数据集上进行了预训练,我们的方法在多个任务上的表现远远优于现有技术,即,TextVQA的准确率为+8.3%,ST-VQA的准确率为+8.6%,TextCaps的CIDER评分为+10.2。
2020-12-08 cs.CV
MedXplain-VQA: Multi-Component Explainable Medical Visual Question Answering
Faculty Of Information Technology VNU University of Engineering(信息科技学院越南工程大学);IT-BT Convergence Technology Division Vietnam-Korea Institute of Science(IT-BT融合技术部门越南-韩国科学技术院);TADI Global Lab TADI Global Company Limited(TADI全球实验室TADI全球有限公司);Faculty of Finance Banking Academy of Vietnam(金融学院越南银行学院)
MedXplain-VQA提出整合五个可解释AI组件的医学视觉问答框架,在PathVQA上综合得分从0.378提升至0.683,实现透明诊断推理。
2025-10-26 cs.CV
A Thousand Words Are Worth More Than a Picture: Natural Language-Centric Outside-Knowledge Visual Question Answering
University of California, Los Angeles(加州大学洛杉矶分校);Amazon(亚马逊)
外部知识可视化问答(OK-VQA)要求智能体理解图像,利用整个网络的相关知识,并消化所有信息来回答问题。大多数以前的作品解决这个问题,首先融合图像和问题的多模态空间,这是不灵活的进一步融合大量的外部知识。在本文中,我们呼吁一个范式转变的OK-VQA任务,它将图像转换成纯文本,使我们能够在自然语言空间的知识通道检索,并生成问答。这种模式利用了庞大的知识库和丰富的预训练语言模型。提出了一种转换-生成-生成框架(TRiG),该框架可以与替代的图像到文本模型和文本知识库即插即用。实验结果表明,我们的TRiG框架优于所有国家的最先进的监督方法至少11.1%的绝对利润率。
2022-01-14 cs.CL cs.CV cs.IR
MedCLM: Learning to Localize and Reason via a CoT-Curriculum in Medical Vision-Language Models
A.I.MATICS Inc(A.I.MATICS公司);Boston University(波士顿大学);University of Southern California(南加州大学);Heuron(Heuron公司);MODULABS, Open Neural Networks Research Lab(MODULABS,开放神经网络研究实验室)
针对医学成像中AI结合临床诊断推理的难题,提出MedCLM流水线生成带思维链的医学VQA数据,并设计三阶段集成式CoT课程策略,在多个基准上达SOTA,提供可扩展的临床对齐医学视觉语言模型开发框架。
2025-10-06 cs.AI cs.CL cs.CV
Self-Critical Reasoning for Robust Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)深度学习系统由于强语言先验而倾向于捕获训练数据中的表面统计相关性,并且无法推广到具有显著不同的问答(QA)分布的测试数据。为了解决这个问题,我们引入了一个自我批判的训练目标,确保正确答案的视觉解释比其他竞争性答案候选人更匹配最有影响力的图像区域。有影响力的区域要么是从人类视觉/文本解释中确定的,要么是从问题和答案中的重要单词中自动确定的。我们使用VQA-CP数据集评估我们在VQA泛化任务上的方法,实现了一个新的最先进的方法,即,49.5%使用文本解释,48.5%使用自动注释区域。
2019-12-30 cs.CL cs.CV