Can you even tell left from right? Presenting a new challenge for VQA
Sri Sathya Sai Institute of Higher Learning（斯里萨提亚赛高等教育学院）；Samsung Research（三星研究院）
可视化问答（VQA）需要一种评估模型优缺点的方法。这种评估的一个方面是对合成概括的评估，或者模型在场景设置与训练集不同的场景上回答得很好的能力。因此，为此目的，我们需要其训练集和测试集在组成上显着不同的数据集。在这项工作中，我们提出了几个定量的组成分离的措施，并发现流行的数据集VQA是不是很好的评价。为了解决这个问题，我们提出了一个用于VQA的合成数据集Unseen Object（UOUC）。UOUC是相当复杂的，同时也是很好的分离，组成。UOUC的对象类由来自《龙与地下城》游戏的528个角色的380个类组成。UOUC的训练集由200，000个场景组成;而测试集由30，000个场景组成。为了学习组合概括，简单推理和记忆，UOUC的每个场景都有多达10个新颖的问题。这些涉及空间关系，场景的假设变化，计数，比较，记忆和基于记忆的推理。UOUC总共提出了200多万个问题。UOUC也发现自己是对VQA的良好表现模型的一个强大挑战。我们最近的模型VQA的评价显示不良的成分概括，相对较低的能力，对简单的推理。这些结果表明，UOUC可以通过成为VQA的强有力基准来推动研究进展。
2022-03-15 cs.AI cs.CV
Dataset and Benchmark for Urdu Natural Scenes Text Detection, Recognition and Visual Question Answering
Huazhong University of Science and Technology（华中科技大学）
本研究构建了包含超1000张图像、带细粒度标注的乌尔都语自然场景多任务数据集，覆盖文本检测、识别与VQA任务，填补了该领域数据集与基准的空白。
2024-05-21 cs.CV
LaTr: Layout-Aware Transformer for Scene-Text VQA
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；Amazon Web Services（亚马逊云科技）
我们提出了一种新的多模态架构的场景文本视觉问题问答（STVQA），命名为布局感知Transformer（LaTr）。STVQA的任务要求模型对不同的模态进行推理。因此，我们首先调查每种模态的影响，并揭示语言模块的重要性，特别是当丰富的布局信息。考虑到这一点，我们提出了一个单一的目标预训练计划，只需要文本和空间线索。我们表明，在扫描文档上应用这种预训练方案比使用自然图像具有一定的优势，尽管存在领域差距。扫描文档易于获取，文本密集，并具有各种布局，帮助模型学习各种空间线索（例如左，下等）。通过将语言和布局信息结合在一起。与现有的方法相比，我们的方法执行无词汇解码，如图所示，推广远远超出了训练词汇。我们进一步证明了LaTr提高了对OCR错误的鲁棒性，这是STVQA失败案例的常见原因。此外，通过利用视觉Transformer，我们消除了对外部物体检测器的需要。LaTr在多个数据集上优于最先进的STVQA方法。特别是，TextVQA为+7.6%，ST-VQA为+10.8%，OCR-VQA为+4.0%（均为绝对准确度）。
2021-12-24 cs.CV
SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering
University of Campinas（坎皮纳斯大学）；University of Oslo（奥斯陆大学）
针对现有基于标注场景图的VQA方法泛化性差的问题，提出SelfGraphVQA自监督框架，通过语义保持增强与非归一化对比学习优化图表示，结合三种最大化策略提升性能，提供了更实用的场景图VQA解决方案。
2023-10-03 cs.CV
TAP: Text-Aware Pre-training for Text-VQA and Text-Caption
University of Rochester（罗切斯特大学）；Microsoft Corporation（微软公司）
在本文中，我们提出了文本感知预训练（TAP）的文本VQA和文本标题任务。这两个任务分别针对问答和图像字幕生成，旨在阅读和理解图像中的场景文本。传统的视觉语言预训练无法捕捉场景文本及其与视觉和文本模态的关系，而TAP在预训练中明确地包含了场景文本（从OCR引擎生成）。通过三个预训练任务，包括掩码语言建模（MLM），图像-文本（对比）匹配（ITM）和相对（空间）位置预测（RPP），TAP有效地帮助模型在三种模态（文本词，视觉对象和场景文本）之间学习更好的对齐表示。由于这种对齐的表示学习，即使在相同的下游任务数据集上进行了预训练，与非TAP基线相比，TAP已经将TextVQA数据集的绝对准确率提高了+5.4%。为了进一步提高性能，我们基于概念字幕数据集构建了一个大规模的数据集，名为OCR-CC，其中包含140万个场景文本相关的图像-文本对。在这个OCR-CC数据集上进行了预训练，我们的方法在多个任务上的表现远远优于现有技术，即，TextVQA的准确率为+8.3%，ST-VQA的准确率为+8.6%，TextCaps的CIDER评分为+10.2。
2020-12-08 cs.CV
Adventurer's Treasure Hunt: A Transparent System for Visually Grounded Compositional Visual Question Answering based on Scene Graphs
University of Bremen（不来梅大学）
为了提高VQA推理过程的透明性和可视性，提出了一个基于场景图的组合式VQA任务模块化系统。我们的系统被称为“冒险家的寻宝”（或ATH），以我们在模型的答案搜索过程和冒险家的宝藏搜索之间的类比命名。我们开发ATH时考虑了三个特征：1.通过设计，ATH允许我们明确量化每个子组件对整体VQA性能的影响，以及它们对各自子任务的性能。2.通过对寻宝之后的搜索任务进行建模，ATH本质上为处理的问题产生了一个明确的、基于视觉的推理路径。3. ATH是第一个GQA训练的VQA系统，它通过直接查询视觉知识库来动态提取答案，而不是从预先固定的答案词汇表上专门学习的分类器的输出分布中选择一个。我们报告了所有组件的详细结果及其对GQA数据集整体VQA性能的贡献，并表明ATH在所有检查系统中获得了最高的视觉基础分数。
2021-06-28 cs.CV
Understanding the Role of Scene Graphs in Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Osaka University（大阪大学）；Kyoto University（京都大学）
视觉问答（VQA）是巨大的兴趣，研究社区的重要应用，如帮助视障用户和基于图像的搜索。在这项工作中，我们将探索使用场景图解决VQA任务。我们在GQA数据集上进行实验，该数据集提出了一组具有挑战性的问题，需要计数，组合性和高级推理能力，并为大量图像提供场景图。我们采用图像+问题架构与场景图一起使用，评估各种场景图生成技术，为看不见的图像，提出了一个培训课程，以利用人类注释和自动生成的场景图，并建立后期融合架构，从多种图像表示中学习。我们提出了一个多方面的研究到使用场景图VQA，使这项工作的第一种。
2021-01-17 cs.CV cs.LG
STSG-VQA: Evidence-Grounded Temporal Question Answering from Surgical Spatio-Temporal Scene Graphs
School of Computer Science, University of Leeds（利兹大学计算机学院）
提出多层级结构化时间监督方法构建手术时空场景图，生成带证据的STSG-VQA基准（18,458个问答对），微调手术VLM在时间推理上较基线显著提升。
2026-09-09 cs.CV
Surgical-VQA: Visual Question Answering in Surgical Scenes using Transformer
National University of Singapore（新加坡国立大学）；Imperial College London（帝国理工学院）；National Institute of Technology, Tiruchirappalli（蒂鲁吉拉伯利国家理工学院）；Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
手术中的视觉问答（VQA）在很大程度上尚未开发。专业的外科医生很少，而且经常被临床和学术工作负担过重。这种超负荷的工作往往限制了他们回答病人、医学生或初级住院医生关于外科手术的问卷调查的时间。有时，学生和初级居民也避免在课堂上问太多问题，以减少干扰。虽然计算机辅助模拟器和过去的外科手术记录已经为他们提供了观察和提高他们的技能，但他们仍然非常依赖医学专家来回答他们的问题。拥有一个外科VQA系统作为可靠的“第二意见”可以作为一个备份，减轻医疗专家在回答这些问题时的负担。缺乏注释的医学数据和特定领域术语的存在限制了外科手术VQA的探索。在这项工作中，我们设计了一个手术VQA任务，回答问卷调查的基础上手术现场的手术程序。进一步扩展MICCAI内窥镜视觉挑战2018数据集和工作流程识别数据集，我们引入了两个Surgical-VQA数据集，其中包含分类和基于检查的答案。为了执行Surgical-VQA，我们采用视觉-文本Transformers模型。我们进一步引入了一个基于残差MLP的VisualBert编码器模型，该模型加强了视觉和文本标记之间的交互，提高了基于分类的回答的性能。此外，我们研究了输入图像块的数量和时间视觉特征对模型性能的影响，在分类和基于问答的回答。
2022-06-26 cs.AI cs.CV cs.LG
Comprehensive Visual Question Answering on Point Clouds through Compositional Scene Manipulation
The Future Network of Intelligence Institute, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）未来智能网络研究院）；School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）
该研究提出了大规模VQA-3D数据集CLEVR3D，通过组合场景操作策略生成多样化问题，显著提升了3D场景理解任务的性能。
2023-05-22 cs.CV
Towards Signboard-Oriented Visual Question Answering: ViSignVQA Dataset, Method and Benchmark
University of Information Technology, Ho Chi Minh City, Vietnam（胡志明市信息技术大学）；Vietnam National University（越南国家大学）
ViSignVQA首次提出大规模越南语路牌多模态数据集，结合OCR与预训练语言模型，提升低资源语言VQA性能。
2025-12-22 cs.CV cs.MM
VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering
KDDI Research（KDDI研究所）；Stanford University（斯坦福大学）
提出VQA-GNN模型，通过超级节点连接场景图与概念图并利用多模态GNN进行双向融合与跨模态消息传递，在VCR和GQA任务上显著提升了视觉问答的概念级推理性能。
2023-09-15 cs.AI cs.CL cs.CV
Inter-3D VQA: A Roadside Multimodal Benchmark for 3D Spatiotemporally Grounded Visual Question Answering
The Polytechnic School, Arizona State University（亚利桑那州立大学理工学院）
本文提出用于交叉口3D时空视觉问答的路侧多模态基准Inter-3D VQA，构建含40.7万问答对的数据集，提出基线模型Inter-Geo与评估框架Inter-Metrics，实验显示Inter-Geo在接地时空推理任务上优于基于图像的VLM。
2026-09-01 cs.CV
VQA-Aid: Visual Question Answering for Post-Disaster Damage Assessment and Analysis
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
与无人机相结合的可视化问答系统对提高灾后损失评估的目的具有很大的潜力。向受影响地区提供援助在很大程度上取决于实时数据评估和分析。可视化问答的范围是了解场景，并提供与查询相关的答案，这肯定会加快灾难后的恢复过程。在这项工作中，我们解决的重要性，\textit{visual question answering (VQA)}任务的灾后损失评估，提出我们最近开发的VQA数据集称为\textit{HurMic-VQA}收集在飓风迈克尔，并比较基准VQA模型的性能。
2021-06-19 cs.CV
ViConsFormer: Constituting Meaningful Phrases of Scene Texts using Transformer-based Method in Vietnamese Text-based Visual Question Answering
Ho Chi Minh city University of Technology（胡志明市理工大学）；Vietnam National University, Ho Chi Minh city（越南国家大学胡志明市分校）；University of Information Technology（信息技术大学）
针对越南语 Text-based VQA，本文提出 ViConsFormer，依据语言学含义定义构建场景文本短语并有效挖掘其信息，在两个大规模数据集上达到最先进水平。
2024-10-24 cs.CL cs.CV
Text-VQA Aug: Pipelined Harnessing of Large Multimodal Models for Automated Synthesis
International Institute of Information Technology Bangalore（国际信息科技学院班加罗尔）
提出一种自动化合成text-VQA数据集的端到端流水线，结合OCR、ROI检测、字幕与问题生成等组件，首次自动合成并验证了基于约44K张图像的约72K个QA对。
2025-11-03 cs.AI cs.CV
ICDAR 2019 Competition on Scene Text Visual Question Answering
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；CVIT, IIIT Hyderabad（海得拉巴国际信息技术研究所计算机视觉与智能技术中心）
本文介绍了ICDAR 2019场景文本视觉问答竞赛（ST-VQA）的最终结果。ST-VQA引入了一个重要的方面，这是没有解决的任何视觉问答系统到目前为止，即结合场景文本回答问题的图像。竞赛引入了一个新的数据集，包括23，038张图像，其中标注了31，791个问题/答案对，其中答案始终基于图像中存在的文本实例。这些图像取自7个不同的公共计算机视觉数据集，涵盖了广泛的场景。比赛分为三个难度越来越大的任务，要求在场景中阅读文本并在场景的背景下理解文本，以正确回答给定的问题。提出了一种新的评价指标，它优雅地评估了预期从最佳模型的两个关键能力：文本识别和图像理解。展示了对来自不同参与者的结果的详细分析，这提供了对可以读取的VQA系统的当前功能的深入了解。我们坚信，在这项挑战中提出的数据集将是一个重要的里程碑，可以考虑建立更强大和更通用的模型，这些模型可以利用场景文本来实现整体图像理解。
2019-06-30 cs.CV
Memory-Augmented Multimodal LLMs for Surgical VQA via Self-Contained Inquiry
The Hong Kong Polytechnic University（香港理工大学）；Southern University of Science and Technology（南方科技大学）；University of Nottingham Ningbo China（宁波诺丁汉大学）
提出记忆增强框架SCAN，通过多模态LLMs生成直接和间接记忆以增强手术场景理解，在三个Surgical VQA数据集上达到最先进性能。
2024-11-17 cs.CL cs.CV
How to Design Sample and Computationally Efficient VQA Models
Georgia Tech（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
在多模态推理任务中，例如视觉问答（VQA），已经有许多建模和训练范例进行了测试。以前的模型为视觉和语言任务提出了不同的方法，但是哪些方法在样本和计算效率方面表现最好？基于我们的实验，我们发现，表示的文本作为概率程序和图像的对象级场景图最好满足这些desiderata。我们扩展现有的模型，利用这些软程序和场景图训练的问题答案对端到端的方式。实证结果表明，这种可区分的端到端程序执行器能够保持最先进的准确性，同时具有样本和计算效率。
2021-03-22 cs.CV cs.LG
EgoAdapt: A Multi-Scene Egocentric Adaptation Method for CVPR 2026 HD-EPIC VQA Challenge
Shandong University（山东大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
提出EgoAdapt方法，通过类别条件路由、校准选项评分和测试时一致性适应，解决自我中心视频问答中通用推理与异构时空语义结构不匹配的问题。
2026-06-04 cs.CV
NuScenes-QA: A Multi-modal Visual Question Answering Benchmark for Autonomous Driving Scenario
Fudan University（复旦大学）
本文提出首个自动驾驶场景VQA基准NuScenes-QA，包含34K场景和460K问答对，通过3D检测标注生成场景图并程序化构建问答，并开发基线模型验证任务挑战。
2024-02-20 cs.CV
Scene Graph Reasoning with Prior Visual Relationship for Visual Question Answering
Beihang University（北京航空航天大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
可视化问答的关键问题之一是在问题的引导下对可视化内容中的语义线索进行推理，如何对关系语义进行建模仍然是一个巨大的挑战。为了充分捕捉视觉语义，我们提出了一个结构化的视觉表示-场景图，嵌入对象和对象间的关系。这显示出比vanilla向量表示和隐式视觉关系学习更大的好处。基于现有的视觉关系模型，我们提出了一个视觉关系编码器，该编码器将视觉关系投射到受视觉上下文和语言先验约束的学习深度语义空间中。在此基础上，提出了一种场景图卷积网络（SceneGCN），用于对对象属性和关系语义进行联合推理，以获得正确答案。我们在具有挑战性的GQA数据集和经典的VQA 2.0数据集上证明了该模型的有效性和可解释性，与现有的最佳模型相比，GQA的准确率达到了54.56%。
2019-08-21 cs.AI cs.CV cs.MM
Locate Then Generate: Bridging Vision and Language with Bounding Box for Scene-Text VQA
School of Data Science, University of Science and Technology of China（中国科学技术大学数据科学学院）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；Tencent YouTu Lab（腾讯优图实验室）
本文提出“定位然后生成”（LTG）多模态框架，通过空间边界框作为桥梁显式统一视觉与语言语义，在无预训练任务下显著提升STVQA准确率。
2023-04-04 cs.AI cs.CV
Efficient Visual Question Answering Pipeline for Autonomous Driving via Scene Region Compression
University of Southern California（南加州大学）；XPeng（小鹏）
本文提出SRC-Pipeline框架，通过场景区域压缩技术，在保持性能的同时显著降低计算成本，提升自动驾驶中的实时视觉问答效率。
2026-01-11 cs.CV
SplatTalk: 3D VQA with Gaussian Splatting
Georgia Institute of Technology（佐治亚理工学院）；Google DeepMind（谷歌DeepMind）
SplatTalk利用可泛化3D高斯泼溅生成3D标记，输入预训练LLM，实现仅凭带姿态图像的零样本3D视觉问答，性能优于专门训练的3D模型和2D-LMM基线，与最先进3D LMM相当。
2025-08-01 cs.CV
Scene Text Visual Question Answering
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；IIIT Hyderabad（海得拉巴国际信息技术学院）
当前的视觉问答数据集没有考虑图像中的文本所传达的丰富语义信息。在这项工作中，我们提出了一个新的数据集，ST-VQA，旨在突出利用高层次的语义信息存在于图像中的文本线索在VQA过程中的重要性。我们使用这个数据集来定义一系列难度越来越大的任务，对于这些任务，阅读视觉信息提供的上下文中的场景文本是必要的，以便推理并生成适当的答案。我们提出了一个新的评价指标，这些任务的推理错误，以及文本识别模块的缺点。此外，我们提出了一系列基线方法，为新发布的数据集提供了进一步的见解，并为进一步的研究奠定了基础。
2019-10-16 cs.CV
IRIS: An Intelligent Vision-Language System for Ocular Surface Diseases via Topic Tree and Scene-Driven VQA Generation
The Chinese University of Hong Kong（香港中文大学）；Westlake University（西湖大学）
针对眼表疾病领域缺乏多模态数据问题，引入IRIS系统。构建IRIS-120K数据集，提出协同数据生成范式，含主题发现树和场景驱动策略，使4B参数VLM性能达最优。
2026-07-07 cs.AI cs.CV
Visually Grounded VQA by Lattice-based Retrieval
University of Bremen（不来梅大学）
视觉问答（VQA）系统中的视觉基础（VG）描述了系统如何将问题及其答案与相关图像区域联系起来。具有强VG的系统被认为是直观可解释的，并且建议改进的场景理解。虽然VQA精度性能在过去几年中取得了令人印象深刻的进步，但VG性能及其评估的显式改进往往在整体精度改进的道路上退居次要地位。其原因源于VQA系统的学习范式的主要选择，其包括在预定的一组答案选项上训练判别分类器。在这项工作中，我们打破了占主导地位的VQA建模范式的分类和调查VQA的立场上的信息检索任务。因此，开发的系统直接将VG与其核心搜索程序联系起来。我们的系统运行在一个加权的，有向的，无环图，又名。“格子”，它是从给定图像的场景图中结合从问题中提取的区域引用表达式导出的。我们给出了详细的分析，我们的方法，并讨论其独特的属性和局限性。我们的方法实现了最强的VG性能检查系统中，并表现出特殊的泛化能力，在一些情况下。
2022-11-15 cs.AI cs.CL cs.CV
Bridging the Gap between 2D and 3D Visual Question Answering: A Fusion Approach for 3D VQA
Peking University（北京大学）
本文提出BridgeQA，通过问题条件化2D视图选择与双分支Twin-Transformer结构融合2D和3D信息，以解决3D VQA数据稀缺和视觉多样性不足问题，并在多个数据集上取得最先进性能。
2024-02-24 cs.AI cs.CL cs.CV
3D-Aware Visual Question Answering about Parts, Poses and Occlusions
Johns Hopkins University（约翰斯·霍普金斯大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Freiburg（弗莱堡大学）
本文提出3D感知VQA任务，并构建Super-CLEVR-3D数据集与PO3D-VQA模型，结合概率神经符号推理和3D生成式表示，在部件、姿态与遮挡推理上显著超越现有方法，但仍与2D VQA存在明显性能差距。
2023-10-27 cs.CL cs.CV
rPPG-VQA: A Video Quality Assessment Framework for Unsupervised rPPG Training
University of Science and Technology of China（中国科学技术大学）
本文提出rPPG-VQA框架，通过信号级和场景级分析评估视频对rPPG模型训练的适用性，结合双分支架构和两阶段自适应采样策略提升模型性能。
2026-04-13 cs.CV
ChatBEV: Empowering Traffic Scene Understanding and Simulation via Vision-Language Model
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tongji University（同济大学）
本文提出ChatBEV及其基准ChatBEV-QA，通过微调视觉-语言模型实现鸟瞰图场景理解，并集成到语言引导的交通仿真中，显著降低轨迹误差和碰撞率。
2026-09-09 cs.AI cs.CV
A Visual Question Answering Method for SAR Ship: Breaking the Requirement for Multimodal Dataset Construction and Model Fine-Tuning
Shanghai Maritime University（上海海事大学）
本研究针对VQA需构建多模态数据集和微调模型的痛点，提出结合YOLOv8n与Qwen2-VL的SAR船舶VQA方法，无需额外数据和微调即可实现多轮场景问答与分析。
2024-11-03 cs.CV
Graph-Structured Representations for Visual Question Answering
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）
本文提出了一种改进的视觉问答（VQA）与场景内容和问题的结构化表示。VQA中的一个关键挑战是需要在视觉和文本域上进行联合推理。主流的基于CNN/LSTM的VQA方法受到单一向量表示的限制，这些向量表示在很大程度上忽略了场景中的结构和问题的形式。CNN特征向量无法有效地捕捉多个对象实例这样简单的情况，LSTM将问题处理为一系列单词，这并不能反映语言结构的真实复杂性。相反，我们建议在场景对象和问题词上构建图，我们描述了一个深度神经网络，它利用了这些表示中的结构。这显示出比LSTM的顺序处理显著的益处。我们的方法的整体功效是由显着的改进，证明了国家的最先进的，从71.2%到74.4%的准确性的“抽象场景”多项选择基准，从34.7%到39.1%的准确性对“平衡”的场景，即图像与细粒度的差异和相反的是/否回答同一个问题。
2017-03-30 cs.AI cs.CL cs.CV
Visual Query Answering by Entity-Attribute Graph Matching and Reasoning
Northwestern University（西北大学）；Southwest Jiaotong University（西南交通大学）
可视化查询查询（VQA）在为人们提供便利方面具有重要意义：人们可以对图像提出关于对象细节或对场景的高级理解的问题。本文提出了一种新的方法来解决VQA问题。与以前的作品相比，我们的方法，目标是单场景VQA，基于图的技术，并涉及推理的答复。简而言之，我们的方法集中在三个图上。第一个图，称为推理图GI，是通过对标记数据的学习来构建的。另外两个图，称为查询图Q和实体-属性图GEA，分别从用户发出的自然语言查询Qnl和图像Img生成。由于GEA往往不采取足够的信息来回答Q，我们开发的技术来推断GEA与GI的缺失信息。在GEA和Q的基础上，我们提供了在GEA中寻找Q的匹配的技术，作为Img中Qnl的答案。与通常使用的基于端到端神经网络的VQA方法不同，我们基于图的方法显示了精心设计的推理能力，因此具有高度的可解释性。我们还创建了一个具有丰富注释的足球比赛数据集（Soccer-VQA）。实验结果表明，我们的方法优于国家的最先进的方法，并有很高的潜力，为未来的调查。
2019-03-16 cs.CV
AUTOPILOT VQA: Benchmarking Vision-Language Models for Incident-Centric Dashcam Understanding
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；University of Michigan（密歇根大学）；University of Notre Dame（圣母大学）
针对评估视觉语言模型对安全关键事件推理能力的挑战，提出AUTOPILOT-VQA基准，通过围绕真实驾驶事件的结构化问题评估系统，涵盖多安全相关类别，推动向安全意识推理发展，为自动驾驶系统评估提供标准，助力相关视觉语言系统开发。
2026-07-10 cs.AI cs.CV
VQA-Levels: A Hierarchical Approach for Classifying Questions in VQA
University of Hyderabad（海得拉巴大学）
本文提出VQA-Levels基准数据集，将VQA问题按所需视觉与知识抽象程度分为7个层级，并初步测试现有VQA系统在不同层级上的表现，以支持对VQA系统的系统性分析。
2025-02-05 cs.AI cs.CV cs.LG
On the General Value of Evidence, and Bilingual Scene-Text Visual Question Answering
University of Adelaide（阿德莱德大学）；South China University of Technology（华南理工大学）；University of Malaya（马来亚大学）；Huawei（华为）
可视化问答（VQA）方法已经取得了令人难以置信的进展，但遭受失败的泛化。这是显而易见的事实，他们很容易学习数据中的巧合相关性，而不是图像内容和语言表达的想法之间的更深层次的关系。我们提出了一个数据集，采取了一个步骤来解决这个问题，因为它包含了两种语言表达的问题，和一个评估过程，选择一个很好理解的基于图像的度量，以反映该方法的推理能力。通过惩罚那些碰巧正确的答案，直接测量推理鼓励了泛化。数据集反映了VQA问题的场景-文本版本，推理评估可以被视为基于文本版本的引用表达式挑战。实验和分析表明，数据集的价值。
2020-02-26 cs.CV
Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text
University of Chinese Academy of Sciences（中国科学院大学）
对于当前的模型来说，解决需要阅读图像中文本的问题是一个挑战。这项任务的一个关键困难是，罕见的，多义的，模糊的词经常出现在图像中，例如，地名、产品和运动队的名称。为了克服这个困难，仅仅依靠预先训练好的词嵌入模型是远远不够的。期望的模型应该利用图像的多种模态中的丰富信息来帮助理解场景文本的含义，例如，瓶子上突出的文字最有可能是品牌。根据这一思想，我们提出了一种新的VQA方法，多模态图神经网络（MM-GNN）。它首先将图像表示为由三个子图组成的图，分别描绘视觉、语义和数字模态。然后，我们引入了三个聚合器，引导消息从一个图传递到另一个图，以利用各种形式的上下文，从而细化节点的特征。更新后的节点对下游的问答模块具有更好的功能。实验结果表明，我们的MM-GNN表示场景文本更好，显然有利于两个VQA任务，需要阅读场景文本的性能。
2020-03-31 cs.CV
Object Attribute Matters in Visual Question Answering
Jilin University（吉林大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对视觉问答中视觉与文本语义对齐不足的问题，提出利用物体属性的属性融合与对比知识蒸馏模块，以增强物体级对齐和场景理解，并在六个数据集上验证优越性。
2023-12-20 cs.AI cs.CV
VoQA: Visual-only Question Answering
SKLCCSE, School of Artificial Intelligence, Beihang University, Beijing, China（北京航空航天大学人工智能学院）；Hangzhou International Innovation Institute, Beihang University, Hangzhou, China（北京航空航天大学杭州国际创新研究院）
VoQA通过仅依赖视觉信息回答问题，改进了传统VQA的局限性，通过问题对齐微调策略提升纯视觉推理能力。
2025-11-30 cs.AI cs.CV
SceneGATE: Scene-Graph based co-Attention networks for TExt visual question answering
University of Sydney（悉尼大学）；University of Western Australia（西澳大学）
本文提出SceneGATE方法，通过场景图揭示物体、OCR标记与问题词间的语义关系，并结合语义关系感知和位置关系感知注意力模块，在Text-VQA和ST-VQA上取得优于现有方法的效果。
2023-08-07 cs.CL cs.CV
RUArt: A Novel Text-Centered Solution for Text-Based Visual Question Answering
University of Science and Technology Beijing（北京科技大学）；Tencent Technology (Shenzhen) Company Limited（腾讯科技（深圳）有限公司）；USTB-EEasyTech Joint Laboratory of Artificial Intelligence（北京科技大学-EEasyTech人工智能联合实验室）；School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院）；Department of Computer Science and Technology, School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院计算机科学与技术系）；Department of Industrial Design, School of Mechanical Engineering, University of Science and Technology Beijing（北京科技大学机械工程学院工业设计系）；Institute of Artificial Intelligence, University of Science and Technology Beijing（北京科技大学人工智能研究院）
基于文本的视觉问答（VQA）需要阅读和理解图像中的文本，以正确回答给定的问题。然而，目前的方法大多只是简单地将从图像中提取的光学字符识别（OCR）标记加入到VQA模型中，而没有考虑OCR标记的上下文信息，也没有挖掘OCR标记与场景对象之间的关系。在本文中，我们提出了一种新的文本为中心的方法称为RUArt（阅读，理解和翻译相关文本），基于文本的VQA。以图像和问题作为输入，RUArt首先读取图像并获得文本和场景对象。然后，在场景的背景下理解问题、OCRed文本和对象，并进一步挖掘它们之间的关系。最后，通过文本语义匹配和推理，回答与给定问题相关的文本。我们在两个基于文本的VQA基准（ST-VQA和TextVQA）上评估我们的RUArt，并进行广泛的消融研究，以探索RUArt有效性背后的原因。实验结果表明，该方法能有效地挖掘文本的上下文信息，挖掘文本与对象之间稳定的关系。
2020-10-24 cs.AI cs.CV
OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
视觉问答（VQA）在其理想的形式，让我们研究在视觉和语言的联合空间的推理，并作为一个代理的人工智能任务的场景理解。然而，到目前为止，大多数VQA基准测试都集中在简单计数、视觉属性和目标检测等问题上，这些问题不需要超出图像内容的推理或知识。在本文中，我们解决了基于知识的视觉问答的任务，并提供了一个基准，称为OK-VQA，其中的图像内容是不足以回答的问题，鼓励依赖于外部知识资源的方法。我们的新数据集包括超过14，000个需要外部知识才能回答的问题。我们表明，在这种新的设置中，最先进的VQA模型的性能急剧下降。我们的分析表明，我们的基于知识的VQA任务是多样的，困难的，和以前的基于知识的VQA数据集相比大。我们希望这个数据集能够使研究人员在这一领域的研究开辟新的途径。请访问http://okvqa.allenai.org下载并浏览数据集。
2019-09-04 cs.CL cs.CV
SurgMLLMBench: A Multimodal Large Language Model Benchmark Dataset for Surgical Scene Understanding
Samsung Research（三星研究所）；Center for Humanoid Research, Korea Institute of Science and Technology（人类研究学院，韩国科学技术院）；Department of plastic surgery, College of medicine, Korea University（医学院整形外科部，韩国大学）；Department of orthopedic surgery, College of medicine, Korea University（医学院骨科部，韩国大学）
SurgMLLMBench是一个用于手术场景理解的多模态大语言模型基准数据集，整合了像素级分割和结构化VQA注释，支持跨领域的全面评估和更丰富的视觉-对话交互。
2025-11-26 cs.AI cs.CV
Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding
Harvard University（哈佛大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；DeepMind（深度思维）
我们结合了两个强大的想法：用于视觉识别和语言理解的深度表示学习，以及用于推理的符号程序执行。我们的神经符号视觉问答（NS-VQA）系统首先从图像中恢复一个结构化的场景表示，并从问题中恢复一个程序跟踪。然后，它在场景表示上执行程序以获得答案。将符号结构作为先验知识提供了三个独特的优势。首先，在符号空间上执行程序对长程序跟踪更鲁棒;我们的模型可以更好地解决复杂的推理任务，在CLEVR数据集上实现了99.8%的准确率。第二，该模型具有更高的数据和内存效率：它在少量训练数据上学习后表现良好;它还可以将图像编码为紧凑的表示，比现有的离线问答方法需要更少的存储空间。第三，符号程序的执行为推理过程提供了完全的透明性;因此我们能够解释和诊断每个执行步骤。
2019-01-14 cs.AI cs.CL cs.CV
Urban Risk-Aware Navigation via VQA-Based Event Maps for People with Low Vision
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与信息技术研究所，CSIC-UPC）
本文提出基于视觉问答的事件地图框架，利用视觉语言模型进行行人场景描述和危险识别，通过三级查询结构实现细粒度场景理解，生成风险感知导航地图，验证多模态大语言模型在助视导航中的有效性。
2026-05-12 cs.CV
Sim-to-Real Traffic Scene Understanding by Decoupling Semantics from Caption Generation with V-JEPA
Ho Chi Minh City University of Technology and Engineering (HCMUTE)（胡志明市技术工程大学）
针对仿真到真实域迁移下的交通场景理解，提出解耦语义与字幕生成的框架，利用V-JEPA和结构化细化提升VQA与描述生成，在2026挑战赛Track 2中获第一。
2026-09-17 cs.CV
Towards Models that Can See and Read
Technion（以色列理工学院）；AWS AI Labs（AWS人工智能实验室）
视觉问答（VQA）和图像描述（CAP）是最流行的视觉语言任务之一，它们具有类似的场景文本版本，需要从图像中的文本进行推理。尽管它们有明显的相似之处，但两者被独立对待，正如我们所展示的，产生特定于任务的方法，可以看到或阅读，但不能两者兼而有之。在这项工作中，我们对这种现象进行了深入分析，并提出了UniTNT，一种统一的文本-非文本方法，它赋予现有的多模态架构场景-文本理解能力。具体来说，我们将场景文本信息视为一种额外的模态，通过指定的模块将其与任何预训练的基于编码器-解码器的架构融合。彻底的实验表明，UniTNT导致第一个单一的模型，成功地处理两种任务类型。此外，我们表明，场景文本理解能力可以提高视觉语言模型的性能一般VQA和CAP分别高达2.69%和0.6 CIDER。
2023-03-21 cs.CV cs.LG
Measuring Faithful and Plausible Visual Grounding in VQA
University of Bremen（不来梅大学）
本文提出FPVG指标，用于定量衡量VQA模型是否识别并真正依赖与问题相关的图像对象，从而评估其视觉定位的忠实性与合理性，并在多种VQA架构上进行了验证。
2023-10-14 cs.CV
Visual Question Answering on Multiple Remote Sensing Image Modalities
LIPADE, Université Paris Cité, France（巴黎cité大学LIPADE研究所）；ONERA, France（法国ONERA研究所）
本研究面向遥感场景提出多模态影像视觉问答新任务，构建含三类影像模态的TAMMI数据集，提出基于VisualBERT的MM-RSVQA多模态融合模型，在该任务上取得65.56%的准确率，为相关领域研究提供新方向。
2025-05-21 cs.CV
CRIC: A VQA Dataset for Compositional Reasoning on Vision and Commonsense
Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
或者，对视觉事实和常识进行推断是高级VQA系统的基础。这种能力要求模型超越对常识的字面理解。系统不应该仅仅将对象作为查询背景知识的入口，而是将常识充分扎根于视觉世界，想象对象之间可能的关系，例如，“叉，可以举起，食物”。为了全面评估这些能力，我们提出了一个VQA基准，CRIC，它引入了新类型的问题，关于组合推理的vIsion和常识，和一个评估指标集成的答案和常识接地的正确性。为了收集这些问题和丰富的附加注释来支持度量，我们还提出了一种自动算法来从与图像和相关知识图谱相关联的场景图中生成问题样本。我们进一步分析了CRIC数据集上几种代表性的VQA模型。实验结果表明，将常识知识与图像区域相结合，以及基于视觉和常识知识的联合推理对于现有方法来说仍然是一个挑战。该数据集可在https://cricvqa.github.io上获得。
2021-10-27 cs.AI cs.CV
GroundSight at GroundLM 2026 Shared Tasks: GoldenViewVQA
School of Software, Shandong University（山东大学软件学院）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）
GroundSight团队针对GoldenViewVQA任务提出无训练多阶段验证修正框架CoVeR-VQA，在官方测试集上取得84.75%联合准确率，经修正后达88.14%，凸显多视图推理中显式证据验证的重要性。
2026-10-09 cs.CV
CAST: Cross-modal Alignment Similarity Test for Vision Language Models
University of Edinburgh（爱丁堡大学）；University of Trento（特伦托大学）
针对视觉问答无法全面评估视觉语言模型模态偏差与幻觉的问题，提出跨模态对齐相似性测试CAST，通过多模态场景相似性识别任务检验模型输出的内部自洽性，指出能力合格的视觉语言模型必须具备自洽性。
2024-09-17 cs.CL cs.CV
