Multiple-Question Multiple-Answer Text-VQA
AWS AI Labs(亚马逊云科技人工智能实验室)
提出MQMA方法,在编码器-解码器变换器中同时处理多个文本视觉问答,通过架构改进和去噪预训练,在多个数据集上取得最先进性能。
2023-11-15 cs.CL cs.CV cs.LG
Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering
Virginia Tech(弗吉尼亚理工大学);Army Research Laboratory(陆军研究实验室);Georgia Institute of Technology(佐治亚理工学院)
视觉和语言的交叉问题是具有挑战性的研究问题和丰富的应用程序集,他们使显着的重要性。然而,我们世界的固有结构和我们语言中的偏见往往是比视觉形式更简单的学习信号,导致模型忽略视觉信息,从而导致对其能力的夸大感。我们建议在视觉问答(VQA)的任务中对抗这些语言先验,并使视觉(VQA中的V)变得重要!具体来说,我们通过收集互补图像来平衡流行的VQA数据集,这样我们平衡数据集中的每个问题不仅与单个图像相关联,而且与导致问题的两个不同答案的一对相似图像相关联。我们的数据集比原始VQA数据集更平衡,并且图像-问题对的数量大约是原始VQA数据集的两倍。我们完整的平衡数据集可在www.visualqa.org上公开获得,作为Visual问答数据集和挑战(VQA v2.0)的第二次迭代的一部分。我们进一步在我们的平衡数据集上对一些最先进的VQA模型进行了基准测试。所有模型在我们的平衡数据集上的表现都要差得多,这表明这些模型确实学会了利用语言先验。这一发现提供了第一个具体的经验证据,似乎是一个定性的意义上的从业者。最后,我们的数据汇集协议,用于识别互补的图像,使我们能够开发一种新的可解释的模型,除了提供一个答案,给定的(图像,问题)对,还提供了一个反例为基础的解释。具体来说,它识别一个与原始图像相似的图像,但它认为对同一个问题有不同的答案。这有助于在用户之间建立对机器的信任。
2017-05-15 cs.AI cs.CL cs.CV
Zero-shot Translation of Attention Patterns in VQA Models to Natural Language
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
本研究提出免训练的零样本框架ZS-A2T,利用VQA模型的图文匹配能力引导LLM,将模型注意力翻译为自然语言解释,在相关数据集零样本任务上达SOTA。
2023-11-08 cs.AI cs.CL cs.CV
RAMM: Retrieval-augmented Biomedical Visual Question Answering with Multi-modal Pre-training
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
视觉-语言多模态预训练和微调在视觉问答(VQA)中取得了巨大的成功。与一般领域的VQA相比,生物医学VQA的性能受到数据的限制。在本文中,我们提出了一个检索增强预训练和微调范式命名为RAMM生物医学VQA,以克服数据限制的问题。具体来说,我们收集了一个新的生物医学数据集PMCPM,它提供了基于患者的图像-文本对,包含来自PubMed的不同患者情况。然后,我们对生物医学多模态模型进行预训练,以学习图像-文本对的视觉和文本表示,并将这些表示与图像-文本对比目标(ITC)对齐。最后,我们提出了一个检索增强的方法,以更好地利用有限的数据。我们提出从预训练数据集中检索基于ITC的相似图像-文本对,并引入一种新的检索注意力模块来融合图像和问题的表示与检索到的图像和文本。实验表明,我们的检索增强预训练和微调范式在Med-VQA 2019,Med-VQA 2021,VQARAD和SLAKE数据集上获得了最先进的性能。进一步的分析表明,所提出的RAMM和PMCPM可以提高生物医学VQA性能相比,以前的资源和方法。我们将开源我们的数据集,代码和预训练模型。
2023-03-01 cs.CL cs.CV
Good, Better, Best: Textual Distractors Generation for Multiple-Choice Visual Question Answering via Reinforcement Learning
Arizona State University(亚利桑那州立大学);Emory University(埃默里大学)
近年来,多项选择问题越来越受到研究者和用户的关注。随着自动构建大规模多项选择VQA数据的需求不断增长,我们引入了一种新的任务,称为文本干扰生成VQA(DG-VQA),专注于生成具有挑战性但有意义的干扰,给出上下文图像,问题和正确答案。DG-VQA任务的目的是在没有地面实况训练样本的情况下生成干扰项,因为这些资源很少可用。为了解决DG-VQA无监督,我们提出了Gobbet,一个基于强化学习(RL)的框架,利用预先训练的VQA模型作为替代知识库,以指导分心物生成过程。在Gobbet中,预先训练的VQA模型作为RL设置中的环境,为输入的多模态查询提供反馈,而神经干扰素生成器作为代理采取相应的行动。我们建议使用现有的VQA模型的性能下降的指标的质量产生的干扰。另一方面,我们通过数据增强实验展示了生成的干扰项的实用性,因为当AI模型应用于不可预测的开放域场景或安全敏感的应用程序时,鲁棒性越来越重要。我们进一步进行手动案例研究的因素,为什么分心产生的Gobbet可以愚弄现有的模型。
2022-04-18 cs.CL cs.CV
Towards More Faithful Natural Language Explanation Using Multi-Level Contrastive Learning in VQA
Xidian University(西安电子科技大学)
针对VQA中自然语言解释不忠实的问题,提出多层级对比学习模型MCLE,通过语义、图像和实例级事实与反事实样本对齐特征,提升解释与答案及图像的一致性。
2023-12-21 cs.AI cs.CL cs.CV
Kvasir-VQA: A Text-Image Pair GI Tract Dataset
SimulaMet(西穆拉梅特);Oslo Metropolitan University(奥斯陆都市大学)
本研究推出包含6500张标注图像的Kvasir-VQA胃肠道文本-图像对数据集,支持多类问答与多种医学影像任务,实验验证其有效性并提供评估指标,具备高易用性与多功能性。
2024-09-02 cs.AI cs.CV
KRETA: A Benchmark for Korean Reading and Reasoning in Text-Rich VQA Attuned to Diverse Visual Contexts
Waddle;Seoul National University(首尔国立大学);Krafton;UNIST(全南大学);SK Telecom(SK电信)
针对韩语等低资源语言缺乏富文本VQA基准的问题,研究提出适配多样视觉上下文的韩语基准KRETA及半自动化生成流水线,可多维度评估模型能力并助力多语种VLM研究。
2025-08-31 cs.CL cs.CV
RadImageNet-VQA: A Large-Scale CT and MRI Dataset for Radiologic Visual Question Answering
Raidium;Université de Paris Cité, Hôpital Européen Georges Pompidou, AP-HP(巴黎西岱大学,乔治·蓬皮杜欧洲医院,AP-HP);Department of Vascular and Oncological Interventional Radiology, INSERM(血管与肿瘤介入放射学系,法国国家健康与医学研究院)
本文提出RadImageNet-VQA数据集,包含750万张图像和750万个问题-答案对,涵盖异常检测、解剖识别和病理识别三大任务,验证了视觉语言模型在细粒度病理识别上的局限性。
2026-03-30 cs.AI cs.CL cs.CV
VQA with Cascade of Self- and Co-Attention Blocks
复杂注意模块的使用提高了视觉问答(VQA)任务的性能。这项工作的目的是通过视觉和文本模态的密集互动来学习改进的多模态表示。该模型具有一个包含图像和文本的自我注意和共同注意的注意块。自我注意模块提供对象(对于图像)和单词(对于问题)的上下文信息,这些信息对于推断答案至关重要。另一方面,共同注意有助于图像和文本的互动。此外,细粒度的信息是通过使用级联的自我和共同注意力块(CSCA)从两个模态。该建议以广泛使用的VQA 2.0和TDIUC数据集为基准。涉及消融分析的实验证明了模型的关键组成部分和级联的注意力模块的有效性。
2023-02-28 cs.AI cs.CV
An Efficient Modern Baseline for FloodNet VQA
Pune Institute of Computer Technology(浦那计算机技术学院);Manipal Institute of Technology(马尼帕尔理工学院)
设计高效可靠的VQA系统仍然是一个具有挑战性的问题,在灾害管理和响应系统中更是如此。在这项工作中,我们重新审视基本的组合方法,如连接,加法和元素乘法与现代图像和文本特征抽象模型。我们设计了一个简单而高效的系统,它在FloodNet数据集上的性能优于现有的方法,并达到了最先进的性能。这个简化的系统需要比现代VQA架构少得多的训练和推理时间。我们还研究了各种骨干的表现,并报告了它们的综合结果。代码可在https://github.com/sahilkhose/floodnet_vqa上获得。
2022-05-30 cs.AI cs.CL cs.CV
KnowIT VQA: Answering Knowledge-Based Questions about Videos
Osaka University(大阪大学);CyberAgent, Inc.(CyberAgent公司)
提出了一种新的视频理解任务,通过融合基于知识和视频问答。首先,我们介绍了KnowIT VQA,这是一个视频数据集,包含24,282个关于流行情景喜剧的人工问答对。该数据集结合了视觉,文本和时间的连贯性推理与基于知识的问题,这需要从观看系列获得的经验来回答。其次,我们提出了一个视频理解模型,结合视觉和文本的视频内容与特定的知识显示。我们的主要发现是:(i)知识的结合为视频中的VQA带来了显著的改进,以及(ii)KnowIT VQA的性能仍然远远落后于人类的准确性,这表明其对研究当前视频建模限制的有用性。
2019-12-24 cs.CL cs.CV
GLIMPSE : Real-Time Text Recognition and Contextual Understanding for VQA in Wearables
Meta Reality Labs(Meta现实实验室)
GLIMPSE通过混合架构在可穿戴设备上实现低功耗的实时文本识别与上下文理解,提升视频大语言模型在资源受限设备上的VQA性能。
2026-02-13 cs.CV cs.HC
Adversarial Attacks on VQA-NLE: Exposing and Alleviating Inconsistencies in Visual Question Answering Explanations
National Yang Ming Chiao Tung University(阳明大学)
本文针对VQA-NLE系统提出图像扰动与问题扰动两种对抗攻击以暴露解释不一致性,并引入外部知识缓解方法提升模型鲁棒性,在标准基准上验证了攻击有效性与防御潜力。
2025-08-17 cs.AI cs.CL cs.CV
TM-PATHVQA:90000+ Textless Multilingual Questions for Medical Visual Question Answering
Indian Institute of Technology, Dharwad(印度达尔瓦德理工学院)
本研究提出TMPathVQA数据集,扩展PathVQA,包含98,397个多语言语音问答及70小时音频,并基准测试多种声学与视觉特征组合的语音VQA系统,以支持免提医疗诊断交互。
2024-07-16 cs.AI cs.CV
Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Peking University(北京大学);Tencent Inc(腾讯公司)
用于视觉问答(VQA)的模型通常依赖于虚假相关性,即,语言先验知识存在于训练集的有偏样本中,这使得训练集对分布外(out-of-distribution,OOD)测试数据的敏感性降低。最近的方法已经取得了可喜的进展,克服了这个问题,减少了偏见的样本对模型训练的影响。然而,这些模型揭示了一个权衡,即OOD数据的改进严重牺牲了分布(ID)数据(由有偏样本主导)的性能。因此,我们提出了一种新的对比学习方法,MMBS,建立强大的VQA模型,使最有偏见的样本。具体来说,我们通过消除原始训练样本中与伪相关性相关的信息来构造用于对比学习的正样本,并探索了使用构造的正样本进行训练的几种策略。我们的方法不是削弱有偏样本在模型训练中的重要性,而是精确地利用有偏样本来获得有助于推理的无偏信息。所提出的方法是兼容各种VQA骨干。我们通过在OOD数据集VQA-CP v2上实现具有竞争力的性能,同时在ID数据集VQA v2上保持稳健的性能来验证我们的贡献。
2022-10-10 cs.AI cs.CV
Visual Question Answering: Datasets, Algorithms, and Future Challenges
Rochester Institute of Technology(罗切斯特理工学院)
视觉问答(VQA)是计算机视觉和自然语言处理中的一个新问题,已经引起了深度学习,计算机视觉和自然语言处理社区的大量兴趣。在VQA中,算法需要回答关于图像的基于文本的问题。自2014年发布第一个VQA数据集以来,已经发布了更多数据集并提出了许多算法。在这篇综述中,我们批判性地研究了VQA在问题制定、现有数据集、评估指标和算法方面的现状。特别是,我们讨论了目前的数据集的局限性,他们的能力,正确的训练和评估VQA算法。然后,我们详尽审查现有的算法VQA。最后,我们讨论了VQA和图像理解研究未来可能的方向。
2017-06-15 cs.AI cs.CL cs.CV
PalmLeaf-VQA: A Multi-Script Visual Question Answering Benchmark for Historical Palm-Leaf Manuscript Understanding Across Diverse Regions
PalmLeaf-VQA构建了一个包含923幅图像和7,384个问答对的多脚本棕榈叶手稿视觉问答基准,评估多模态大模型在跨区域历史文档理解上的表现,发现最强模型仅达58%准确率,揭示了现有模型在稀有脚本和退化布局理解上的重大局限。
2026-09-29 cs.AI cs.CL cs.CV
VQA-MHUG: A Gaze Dataset to Study Multimodal Neural Attention in Visual Question Answering
University of Stuttgart(斯图加特大学);University of Groningen(格罗宁根大学)
VQA-MHUG数据集用于研究视觉问答中多模态神经注意机制,发现文本注意与模型性能的相关性是提升VQA性能的关键因素。
2021-09-27 cs.CL cs.CV
Knowledge Generation for Zero-shot Knowledge-based VQA
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本文提出一种基于LLM生成知识的零样本K-VQA方法,先由LLM生成知识再整合用于问答,在两个基准上优于现有零样本方法,且生成知识相关有用。
2024-02-04 cs.AI cs.CL cs.CV
Enhanced Textual Feature Extraction for Visual Question Answering: A Simple Convolutional Approach
该研究针对视觉问答中文本编码器有效性研究不足的问题,对比不同复杂度文本编码器后提出轻量模型ConvGRU,通过卷积层增强文本特征,在VQA-v2数据集的计数类问题上取得稳定提升,为资源受限场景提供了可行方案。
2025-05-21 cs.CV
VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning
VQAThinker通过强化学习方法,结合大模型和规则引导算法,提升视频质量评估的泛化能力和可解释性。
2026-02-02 cs.CV
Where is this coming from? Making groundedness count in the evaluation of Document VQA models
Carnegie Mellon University(卡内基梅隆大学);J.P. Morgan(摩根大通)
针对文档VQA评估忽视语义与多模态有据可依性的问题,提出可配置的评分方法,经人类验证及分析表明其更能反映模型鲁棒性并奖励校准良好的答案。
2025-03-24 cs.AI cs.CL
TAP: Text-Aware Pre-training for Text-VQA and Text-Caption
University of Rochester(罗切斯特大学);Microsoft Corporation(微软公司)
在本文中,我们提出了文本感知预训练(TAP)的文本VQA和文本标题任务。这两个任务分别针对问答和图像字幕生成,旨在阅读和理解图像中的场景文本。传统的视觉语言预训练无法捕捉场景文本及其与视觉和文本模态的关系,而TAP在预训练中明确地包含了场景文本(从OCR引擎生成)。通过三个预训练任务,包括掩码语言建模(MLM),图像-文本(对比)匹配(ITM)和相对(空间)位置预测(RPP),TAP有效地帮助模型在三种模态(文本词,视觉对象和场景文本)之间学习更好的对齐表示。由于这种对齐的表示学习,即使在相同的下游任务数据集上进行了预训练,与非TAP基线相比,TAP已经将TextVQA数据集的绝对准确率提高了+5.4%。为了进一步提高性能,我们基于概念字幕数据集构建了一个大规模的数据集,名为OCR-CC,其中包含140万个场景文本相关的图像-文本对。在这个OCR-CC数据集上进行了预训练,我们的方法在多个任务上的表现远远优于现有技术,即,TextVQA的准确率为+8.3%,ST-VQA的准确率为+8.6%,TextCaps的CIDER评分为+10.2。
2020-12-08 cs.CV
RUArt: A Novel Text-Centered Solution for Text-Based Visual Question Answering
University of Science and Technology Beijing(北京科技大学);Tencent Technology (Shenzhen) Company Limited(腾讯科技(深圳)有限公司);USTB-EEasyTech Joint Laboratory of Artificial Intelligence(北京科技大学-EEasyTech人工智能联合实验室);School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院);Department of Computer Science and Technology, School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院计算机科学与技术系);Department of Industrial Design, School of Mechanical Engineering, University of Science and Technology Beijing(北京科技大学机械工程学院工业设计系);Institute of Artificial Intelligence, University of Science and Technology Beijing(北京科技大学人工智能研究院)
基于文本的视觉问答(VQA)需要阅读和理解图像中的文本,以正确回答给定的问题。然而,目前的方法大多只是简单地将从图像中提取的光学字符识别(OCR)标记加入到VQA模型中,而没有考虑OCR标记的上下文信息,也没有挖掘OCR标记与场景对象之间的关系。在本文中,我们提出了一种新的文本为中心的方法称为RUArt(阅读,理解和翻译相关文本),基于文本的VQA。以图像和问题作为输入,RUArt首先读取图像并获得文本和场景对象。然后,在场景的背景下理解问题、OCRed文本和对象,并进一步挖掘它们之间的关系。最后,通过文本语义匹配和推理,回答与给定问题相关的文本。我们在两个基于文本的VQA基准(ST-VQA和TextVQA)上评估我们的RUArt,并进行广泛的消融研究,以探索RUArt有效性背后的原因。实验结果表明,该方法能有效地挖掘文本的上下文信息,挖掘文本与对象之间稳定的关系。
2020-10-24 cs.AI cs.CV
What Large Language Models Bring to Text-rich VQA?
SenseTime Research(商汤科技研究院);Nanjing University of Science and Technology(南京理工大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);ByteDance Inc.(字节跳动有限公司)
本研究分离视觉与语言模块,利用外部OCR和LLM构建无需训练的框架,在文本丰富VQA任务上超越多数MLLM,发现LLM增强理解但瓶颈在视觉部分,且OCR与MLLM结合有效。
2023-11-13 cs.CV
VQA-GEN: A Visual Question Answering Benchmark for Domain Generalization
Arizona State University(亚利桑那州立大学)
针对现有VQA域泛化基准仅关注文本偏移的问题,提出首个多模态分布偏移基准VQA-GEN,揭示模型在联合视觉-文本偏移下的脆弱性并提升跨域与域内性能。
2023-11-01 cs.CV cs.LG
CARE: Confidence-Aware Reasoning for Reliable Medical VQA
Ant Group(蚂蚁集团);University of Michigan(密歇根大学);City University of Hong Kong(香港城市大学)
该研究针对医学多模态大语言模型的置信度校准问题,提出CARE框架,通过双阶段流程优化准确率与校准度,在三个医学VQA基准上取得最优性能,为临床决策支持提供可信基础。
2026-08-12 cs.AI cs.CV
From Reasoning to Pixels: Grounded Medical Multimodal LLMs for VQA and Segmentation
Nanjing University of Science and Technology(南京理工大学);Sungkyunkwan University(成均馆大学)
针对现有医学多模态大语言模型缺乏像素级接地的问题,提出MedREAL框架,引入SARP与R2V机制,构建MedRAVS-13K数据集,在Med-VQA和分割任务上性能优于现有方法,为医学图像分析提供可解释框架。
2026-08-28 cs.AI cs.CV
Making Video Quality Assessment Models Sensitive to Frame Rate Distortions
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Inc.(谷歌公司)
我们认为捕捉的问题所产生的帧速率的变化作为视频质量评估(VQA)的一部分失真。可变帧速率(VFR)视频已经变得更加常见,并且流式视频的范围通常从每秒30帧(fps)到高达120 fps。VFR-VQA在失真类型方面以及在对具有不同帧速率的参考和失真视频进行非均匀比较方面提供了独特的挑战。目前大多数VQA模型要求比较的视频具有相同的帧速率,但无法充分考虑帧速率伪影。最近提出的广义熵差(GREED)VQA模型成功地完成了这一任务,使用自然的视频统计模型的时间带通系数的熵差,预测视频质量的变化所产生的帧速率失真提供卓越的性能。在这里,我们提出了一个简单的融合框架,从而从GREED的时间特征与现有的VQA模型相结合,提高模型对帧速率失真的敏感性。我们通过大量的实验发现,这种特征融合显着提高了HFR/VFR数据集以及固定帧速率(FFR)VQA数据库上的模型性能。我们的研究结果表明,采用有效的时间表示可以导致更强大和更准确的VQA模型时,帧速率的变化可能会发生。
2022-05-21 cs.CV cs.MM eess.IV
VQA-Aid: Visual Question Answering for Post-Disaster Damage Assessment and Analysis
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
与无人机相结合的可视化问答系统对提高灾后损失评估的目的具有很大的潜力。向受影响地区提供援助在很大程度上取决于实时数据评估和分析。可视化问答的范围是了解场景,并提供与查询相关的答案,这肯定会加快灾难后的恢复过程。在这项工作中,我们解决的重要性,\textit{visual question answering (VQA)}任务的灾后损失评估,提出我们最近开发的VQA数据集称为\textit{HurMic-VQA}收集在飓风迈克尔,并比较基准VQA模型的性能。
2021-06-19 cs.CV
Text-Aware Dual Routing Network for Visual Question Answering
South China University of Technology(华南理工大学)
视觉问答(VQA)是一项具有挑战性的任务,即在给定图像和关于图像的自然语言问题的情况下提供准确的自然语言答案。它涉及多模式学习,即,计算机视觉(CV)和自然语言处理(NLP),以及针对自由形式和开放式答案的灵活答案预测。现有的方法在需要阅读和理解图像中的文本来回答问题的情况下通常会失败。在实践中,他们不能有效地处理来自文本令牌的答案序列,因为视觉特征不是面向文本的。为了解决上述问题,我们提出了一个文本感知的双路由网络(TDR),同时处理VQA的情况下,不理解输入图像中的文本信息。具体来说,我们建立了一个两个分支的答案预测网络,其中包含一个特定的分支,为每种情况下,并进一步开发了一个双路由方案,以动态地确定哪个分支应该被选择。在涉及文本理解的分支中,我们将光学字符识别(OCR)功能合并到模型中,以帮助理解图像中的文本。在VQA v2.0数据集上的大量实验表明,我们提出的TDR优于现有的方法,特别是在与“数”相关的VQA问题上。
2022-11-17 cs.AI cs.CV
EKTVQA: Generalized use of External Knowledge to empower Scene Text in Text-VQA
Computer Vision Center, Universitat Aut\` o noma de Barcelona, Bellaterra (Barcelona)
Text-VQA的开放式问答任务通常需要阅读和推理图像中很少看到或完全看不到的场景文本内容。我们解决这个zero-shot性质的问题,提出了广泛使用的外部知识,以增加我们的理解场景文本。我们设计了一个框架来提取,验证和推理知识,使用标准的多模态Transformer的视觉语言理解任务。通过实证证据和定性结果,我们展示了外部知识如何突出实例提示,从而帮助处理训练数据偏差,提高答案实体类型的正确性,并检测多词命名实体。我们生成的结果相当于国家的最先进的三个公开可用的数据集,类似的上游OCR系统和训练数据的约束下。
2022-07-15 cs.CV cs.MM
BioD2C: A Dual-level Semantic Consistency Constraint Framework for Biomedical VQA
Shandong University(山东大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Institute of Deep Perception Technology, JITRI(JITRI深度感知技术研究院)
针对生物医学VQA多模态语义对齐欠佳问题,提出双层语义一致性约束框架BioD2C,通过图像-文本融合与跨模态软语义损失实现特征与模型双重对齐,并构建新数据集BioVGQ,在多个下游数据集上达到SOTA。
2025-03-04 cs.AI cs.CV
MISS: A Generative Pretraining and Finetuning Approach for Med-VQA
Academy for Engineering and Technology, Fudan University(复旦大学工程技术研究院);Cognition and Intelligent Technology Laboratory (CIT Lab)(认知与智能技术实验室);Engineering Research Center of AI and Robotics(人工智能与机器人工程研究中心);Jilin Provincial Key Laboratory of Intelligence Science and Engineering(吉林省智能科学与工程重点实验室)
针对医学VQA现有分类范式难落地、预训练多模态数据不足的问题,提出生成式多任务自监督框架MISS,统一编码器并对齐特征,还提出Transfer-and-Caption方法借助LLMs复用单模态医学数据,在少多模态数据下取得优异效果。
2024-06-19 cs.AI cs.CV
Finding the Evidence: Localization-aware Answer Prediction for Text Visual Question Answering
MediaTek(联发科技)
图像文本承载着理解场景和执行推理的基本信息。基于文本的视觉问答(文本VQA)任务侧重于需要阅读图像中的文本的视觉问题。现有的文本VQA系统通过从光学字符识别(OCR)文本或固定词汇表中进行选择来生成答案。文本的位置信息未得到充分利用,并且生成的答案缺乏证据。因此,本文提出了一种定位感知答案预测网络(LaAP-Net)来解决这一挑战。我们的LaAP-Net不仅生成问题的答案,而且还预测一个限界框作为生成的答案的证据。此外,上下文丰富的OCR表示(COR)的多模态融合提出了促进本地化任务。我们提出的LaAP-Net在文本VQA任务的三个基准数据集上的性能明显优于现有方法。
2020-10-06 cs.CL cs.CV
Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering
University of Cambridge(剑桥大学)
本文提出细粒度晚期交互多模态检索FLMR,通过视觉模型对齐和多维嵌入改进RA-VQA的知识检索,将PRRecall@5提升约8%,并在OK-VQA上取得约61%的VQA分数。
2023-10-28 cs.CL cs.CV
MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery(高端工程机械智能制造国家重点实验室);Department of Electrical and Computer Engineering, Sungkyunkwan University(成均馆大学电气与计算机工程系);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
MedFG-VQA是轻量级医学VQA框架,通过FMF和GACA实现高效视觉-文本对齐,构建含200万对问答的SynMed-VQA数据集,性能优于大模型且计算成本低,适用于临床部署。
2026-08-28 cs.AI cs.CV
High-Fidelity Video Quality Assessment with VQA-Specific Saliency
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
提出HFVQA框架,利用固定大小时空补丁与VQA特定显著性,在保留高保真线索的同时仅处理12%补丁,实现无参考视频质量评估的最先进性能。
2026-09-17 cs.CV
VQABQ: Visual Question Answering by Basic Questions
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
该方法以图像和问题作为输入,输出与图像相关的基于文本的查询答案,即可视化问答(VQA)。在我们的算法中有两个主要模块。给定一个关于图像的自然语言问题,第一模块将该问题作为输入,然后输出主给定问题的基本问题。第二模块以主问题、图像和这些基本问题作为输入,然后输出主问题的基于文本的答案。我们将基本问题生成问题表示为一个LASSO优化问题,并提出了一个如何利用这些基本问题来帮助回答主问题的准则。我们的方法在具有挑战性的VQA数据集上进行了评估,并在开放式任务中获得了最先进的准确率,为60.34%。
2017-08-28 cs.CL cs.CV
Medical visual question answering using joint self-supervised learning
IBM Research China(IBM中国研究院);IBM Research, Almaden Research Center(IBM研究院阿尔马登研究中心)
视觉问答(VQA)是医学影像领域最活跃的研究课题之一。一个众所周知的VQA挑战是图像和文本模态之间的内在多样性,在医疗VQA任务中,还有另一个关键问题依赖于有限大小的标记图像-问题-答案数据。在这项研究中,我们提出了一个编码器-解码器框架,利用从大规模医学图像字幕数据中学习的图像-文本联合表示,并适应于小型医疗VQA任务。该编码器通过自注意力机制嵌入图像-文本双模态,并通过多个自监督学习任务在大规模医学图像-字幕数据集上独立地进行预训练。然后将解码器连接到编码器的顶部,并使用小型医疗VQA数据集进行微调。实验结果表明,我们提出的方法取得了更好的性能相比,基线和SOTA方法。
2023-02-25 cs.AI cs.CV
A survey on VQA_Datasets and Approaches
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Iowa(爱荷华大学)
视觉问答是计算机视觉和自然语言处理技术相结合的一项任务。它要求模型根据视觉中包含的信息回答基于文本的问题。近年来,VQA的研究领域不断扩大。研究的重点是VQA,检查推理能力和VQA的科学图表,也已经探索了更多。与此同时,更多的多模态特征融合机制也被提出。本文将审查和分析现有的数据集,指标和模型提出的VQA任务。
2021-05-02 cs.AI cs.CV cs.LG
All You May Need for VQA are Image Captions
Google Research(谷歌研究院)
可视化问答(VQA)受益于日益复杂的模型,但在数据创建方面却没有享受到同样的参与度。在本文中,我们提出了一种方法,自动推导VQA的例子在卷,利用丰富的现有的图像标题注释结合神经模型生成文本问题。我们表明,由此产生的数据是高质量的。在我们的数据上训练的VQA模型将最先进的zero-shot精度提高了两位数,并实现了在人类注释的VQA数据上训练的相同模型所缺乏的鲁棒性。
2022-05-04 cs.CL cs.CV
ROSA: Addressing text understanding challenges in photographs via ROtated SAmpling
FAMAF, Universidad Nacional de Córdoba(科迪贝拉大学法玛大学分校);CONICET(阿根廷国家科研 council);Fundación Vía Libre(自由之路基金会);Mercado Libre Inc.(Mercado Libre公司)
针对视障人士拍摄照片中文本方向错位导致VQA性能下降的问题,本文提出旋转采样解码策略ROSA,在最佳模型上比贪心解码绝对得分提升11.7个百分点。
2025-06-04 cs.CL cs.CV
LaTr: Layout-Aware Transformer for Scene-Text VQA
Computer Vision Center, UAB(巴塞罗那自治大学计算机视觉中心);Amazon Web Services(亚马逊云科技)
我们提出了一种新的多模态架构的场景文本视觉问题问答(STVQA),命名为布局感知Transformer(LaTr)。STVQA的任务要求模型对不同的模态进行推理。因此,我们首先调查每种模态的影响,并揭示语言模块的重要性,特别是当丰富的布局信息。考虑到这一点,我们提出了一个单一的目标预训练计划,只需要文本和空间线索。我们表明,在扫描文档上应用这种预训练方案比使用自然图像具有一定的优势,尽管存在领域差距。扫描文档易于获取,文本密集,并具有各种布局,帮助模型学习各种空间线索(例如左,下等)。通过将语言和布局信息结合在一起。与现有的方法相比,我们的方法执行无词汇解码,如图所示,推广远远超出了训练词汇。我们进一步证明了LaTr提高了对OCR错误的鲁棒性,这是STVQA失败案例的常见原因。此外,通过利用视觉Transformer,我们消除了对外部物体检测器的需要。LaTr在多个数据集上优于最先进的STVQA方法。特别是,TextVQA为+7.6%,ST-VQA为+10.8%,OCR-VQA为+4.0%(均为绝对准确度)。
2021-12-24 cs.CV
TALENT: Table VQA via Augmented Language-Enhanced Natural-text Transcription
Johns Hopkins University(约翰霍普金斯大学);Purdue University(普渡大学);University at Albany(阿尔巴尼大学)
针对表格视觉问答中大型VLM计算成本高、小型VLM精度不足的问题,提出TALENT框架,利用小型VLM生成OCR文本与自然语言叙述,结合LLM推理,并构建ReTabVQA数据集,以更低成本达到或超越大型VLM的性能。
2025-10-08 cs.CL
LaKo: Knowledge-driven Visual Question Answering via Late Knowledge-to-Text Injection
Zhejiang University(浙江大学);University of Oxford(牛津大学);The University of Edinburgh(爱丁堡大学)
视觉问答(VQA)通常需要理解视觉概念和语言语义,这依赖于外部知识。大多数现有的方法利用预先训练的语言模型或/和非结构化文本,但这些资源中的知识往往是不完整的和嘈杂的。其他一些方法更倾向于使用知识图谱(KG),通常具有密集的结构化知识,但研究仍然是相当初步的。在本文中,我们提出了LaKo,知识驱动的VQA方法,通过后期知识到文本注入。为了有效地将外部KG,我们将三元组转换为文本格式,并提出了一个知识融合的后期注入机制。最后,我们将VQA作为一个具有有效编码器-解码器范式的文本生成任务来解决,该范式在OKVQA数据集上实现了最先进的结果。
2022-11-28 cs.AI cs.CV
Leveraging Visual Question Answering to Improve Text-to-Image Synthesis
Technical University of Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
从文本描述生成图像最近吸引了很多兴趣。虽然目前的模型可以生成单个物体(如鸟类和人脸)的照片级逼真图像,但合成多个物体的图像仍然非常困难。在本文中,我们提出了一种有效的方法,结合文本到图像(T2 I)合成与视觉问答(VQA),以提高图像质量和图文对齐生成的图像,利用VQA 2.0数据集。我们通过连接问题和答案(QA)对来创建额外的训练样本,并采用标准VQA模型为T2 I模型提供辅助学习信号。我们鼓励从QA对生成的图像看起来逼真,并最大限度地减少外部VQA损失。与基线相比,我们的方法将FID从27.84降低到25.38,并将R-prec从83.82%增加到84.79%,这表明使用标准VQA模型可以成功地改进T2 I合成。
2020-10-28 cs.CV
Towards Efficient and Robust VQA-NLE Data Generation with Large Vision-Language Models
Institut Teknologi Bandung(万隆理工学院);Capital One(第一资本金融公司);The Hong Kong University of Science and Technology(香港科技大学)
针对现有VQA-NLE数据集构建依赖高成本人工标注的问题,本研究提出利用大视觉语言模型结合先进提示技术生成合成数据的方法,速度最高快20倍且质量接近人工标注,还验证了视觉提示的提升作用,为多模态NLE数据自动生成提供了高效鲁棒的方案。
2024-12-09 cs.CL cs.CV
Dual Recurrent Attention Units for Visual Question Answering
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
视觉问答(VQA)要求AI模型理解视觉和文本两个领域的数据。当前最先进的模型使用学习的注意力机制从输入域提取相关信息来回答某个问题。因此,强大的注意力机制是强大的VQA模型必不可少的。在本文中,我们提出了一个循环的注意力机制,并显示其优势相比,传统的卷积方法。我们进行了两项消融研究,以评估复发性注意。首先,我们引入了一个具有视觉注意力的基线VQA模型,并在VQA 2.0数据集上测试了卷积注意力和递归注意力之间的性能差异。其次,我们设计了一个架构VQA,它利用双重(文本和视觉)循环注意单元(RAU)。使用这个模型,我们展示了所有可能的递归和卷积双重注意组合的效果。我们的单一模型在VQA 2016挑战赛中的表现优于第一名,据我们所知,它是VQA 1.0数据集上表现第二好的单一模型。此外,我们的模型在VQA 2017挑战赛的获胜者身上有明显的改进。此外,我们实验用我们的RAU替换最先进模型中的注意力机制,并显示出更高的性能。
2019-03-26 cs.AI cs.CL cs.CV
TokenFocus-VQA: Enhancing Text-to-Image Alignment with Position-Aware Focus and Multi-Perspective Aggregations on LVLMs
Meituan Inc(美团公司);Nanjing University(南京大学);Xi’an Jiaotong University(西安交通大学)
TokenFocus-VQA提出一种基于token感知损失函数与多视角集成学习的VQA评估框架,通过位置特定概率优化精确测量细粒度文本-图像对齐,在NTIRE 2025 T2I质量评估挑战赛中取得第二名。
2025-04-10 cs.CV
ViConsFormer: Constituting Meaningful Phrases of Scene Texts using Transformer-based Method in Vietnamese Text-based Visual Question Answering
Ho Chi Minh city University of Technology(胡志明市理工大学);Vietnam National University, Ho Chi Minh city(越南国家大学胡志明市分校);University of Information Technology(信息技术大学)
针对越南语 Text-based VQA,本文提出 ViConsFormer,依据语言学含义定义构建场景文本短语并有效挖掘其信息,在两个大规模数据集上达到最先进水平。
2024-10-24 cs.CL cs.CV
Beyond OCR Accuracy: Text-Centric VQA Under Image Degradation with Modular and End-to-End
Indian Institute of Technology Mandi(印度理工学院曼迪分校);DIT University(DIT大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本研究比较模块化OCR流程与端到端模型在退化图像上的文本VQA性能,发现模块化方法准确率更高,且传统OCR指标无法可靠预测下游VQA表现,强调任务感知评估的重要性。
2026-09-15 cs.CV
Image Captioning for Effective Use of Language Models in Knowledge-Based Visual Question Answering
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
在视觉问答(VQA)等非语言任务中,整合外部知识进行推理是一个开放性问题。鉴于预训练的语言模型已被证明包括世界知识,我们建议使用一个单模态(纯文本)训练和推理过程的基础上,自动现成的标题的图像和预训练的语言模型。我们的结果在一个视觉问答任务,需要外部知识(OK-VQA)表明,我们的纯文本模型优于预训练的多模态(图像-文本)模型的参数数量相当。相比之下,我们的模型在标准VQA任务(VQA 2.0)中的效果较差,这证实了我们的纯文本方法对于需要外部知识的任务特别有效。此外,我们表明,增加语言模型的大小显着提高其性能,产生的结果与我们最大的模型的最先进的,显着优于当前的多模态系统,即使与外部知识增强。我们对OK-VQA的定性分析表明,自动字幕往往无法捕获图像中的相关信息,这似乎是由纯文本语言模型的更好的推理能力平衡。我们的工作为进一步改进非语言任务中的推理提供了可能性
2022-03-25 cs.AI cs.CV