KRETA: A Benchmark for Korean Reading and Reasoning in Text-Rich VQA Attuned to Diverse Visual Contexts
Waddle；Seoul National University（首尔国立大学）；Krafton；UNIST（全南大学）；SK Telecom（SK电信）
针对韩语等低资源语言缺乏富文本VQA基准的问题，研究提出适配多样视觉上下文的韩语基准KRETA及半自动化生成流水线，可多维度评估模型能力并助力多语种VLM研究。
2025-08-31 cs.CL cs.CV
SLAKE: A Semantically-Labeled Knowledge-Enhanced Dataset for Medical Visual Question Answering
The Hong Kong Polytechnic University（香港理工大学）；West China Hospital of Sichuan University（四川大学华西医院）；Sichuan Academy of Medical Sciences（四川省医学科学院）；Sichuan Provincial People's Hospital（四川省人民医院）
医学视觉问答（Med-VQA）在医疗保健领域具有巨大的潜力。然而，该技术的发展受到缺乏公开可用和高质量的标记数据集用于训练和评估的阻碍。在本文中，我们提出了一个大型的双语数据集，SLAKE，全面的语义标签注释经验丰富的医生和一个新的结构医学知识库Med-VQA。此外，SLAKE包括更丰富的模态，比目前可用的数据集覆盖更多的人体部位。我们表明，SLAKE可用于促进Med-VQA系统的开发和评估。数据集可以从http://www.med-vqa.com/slake下载。
2021-02-18 cs.AI cs.CL cs.CV
MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本文针对UGC直播视频质量评估问题，构建了首个主观UGC直播VQA数据库，并提出多维VQA评估器MD-VQA，从语义、失真和运动三方面衡量视觉质量，在多个数据库上取得最先进性能。
2023-04-19 cs.CV
CoTBox-TTT: Grounding Medical VQA with Visual Chain-of-Thought Boxes During Test-time Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港大学深圳研究院数据科学学院）
针对医疗视觉问答系统在领域转移下失效、答案与图像证据关联弱的问题，提出CoTBox-TTT方法，通过测试时训练更新软提示，利用视觉思维链信号识别相关区域并确保答案一致性，提升模型可靠性与准确率。
2025-11-16 cs.CV
Continual VQA for Disaster Response Systems
Pune Institute of Computer Technology（浦那计算机技术学院）；Manipal Institute of Technology（马尼帕尔理工学院）
视觉问答（VQA）是一种多模态任务，它涉及从输入图像中回答问题，从语义上理解图像的内容，并用自然语言回答。使用VQA进行灾难管理是一个重要的研究路线，由于VQA系统所回答的问题的范围。然而，主要的挑战是受影响地区评估中标签的生成造成的延误。为了解决这个问题，我们部署了预训练的CLIP模型，该模型是在视觉图像对上训练的。然而，我们凭经验看到该模型具有较差的zero-shot性能。因此，我们使用来自该模型的文本和图像的预训练嵌入进行监督训练，并超越了FloodNet数据集上以前的最先进结果。我们将其扩展到一个持续的设置，这是一个更真实的场景。我们使用各种经验回放方法来解决灾难性遗忘的问题。我们的培训运行可在：https://wandb.ai/compyle/continual_vqa_final.我们的代码可在https://github.com/AdityaKane2001/continual_vqa上获得。
2022-11-10 cs.CV
Pythia v0.1: the Winning Entry to the VQA Challenge 2018
Facebook AI Research（脸书人工智能研究院）
本文档描述了Pythia v0.1，这是Facebook AI Research（FAIR）的A-STAR团队参加2018年VQA挑战赛的获奖作品。我们的出发点是自底向上自顶向下（up-down）模型的模块化重新实现。我们证明，通过对模型架构和学习率调度进行细微但重要的更改，微调图像特征，并添加数据增强，我们可以显着提高VQA v2.0数据集上的上下模型的性能-从65.67%提高到70.22%。此外，通过使用使用不同特征和不同数据集训练的模型的多样化集成，我们能够比“标准”集成方式（即具有不同随机种子的相同模型）显着提高1.31%。总体而言，我们在VQA v2.0数据集的测试-标准分割上实现了72.27%。我们的完整代码（训练、评估、数据增强、集成）和预训练模型可在以下网站公开获取：https://github.com/facebookresearch/pythia
2018-07-27 cs.CV
Inverse Visual Question Answering: A New Benchmark and VQA Diagnosis Tool
Southeast University（东南大学）；Queen Mary University of London（伦敦玛丽女王大学）；University of Edinburgh（爱丁堡大学）
近年来，视觉问答（VQA）已成为热门话题。VQA作为AI基准的重要性的前提是，图像和文本问题都需要很好地理解并相互联系，以便推断出正确的答案。然而，目前的VQA模型可能“理解”比最初希望的要少，而是掌握了更容易的任务，即利用问题中给出的线索和答案分布中的偏见。在本文中，我们提出了VQA（iVQA）的逆问题。iVQA任务是生成与给定图像和答案对相对应的问题。我们提出了一个变分的iVQA模型，可以生成不同的，语法正确的和内容相关的问题，匹配给定的答案。基于这个模型，我们表明，iVQA是一个有趣的基准视觉语言理解，和一个更具挑战性的替代VQA，因为iVQA模型需要更好地理解图像是成功的。作为第二个贡献，我们展示了如何在一个新的强化学习框架中使用iVQA，通过暴露其信念集来诊断任何现有的VQA模型：VQA模型对给定图像预测为真的问答对集。这提供了一个全新的窗口，让我们了解VQA模型对图像的“信念”。我们发现，现有的VQA模型有更多的错误信念比以前认为，揭示其内在的弱点。然后就如何解决这些弱点提出了建议。
2018-03-16 cs.CV
PalmLeaf-VQA: A Multi-Script Visual Question Answering Benchmark for Historical Palm-Leaf Manuscript Understanding Across Diverse Regions
PalmLeaf-VQA构建了一个包含923幅图像和7,384个问答对的多脚本棕榈叶手稿视觉问答基准，评估多模态大模型在跨区域历史文档理解上的表现，发现最强模型仅达58%准确率，揭示了现有模型在稀有脚本和退化布局理解上的重大局限。
2026-09-29 cs.AI cs.CL cs.CV
Learn 3D VQA Better with Active Selection and Reannotation
Southern University of Science and Technology（南方科技大学）；Wangxuan Institute of Computer Technology, Peking University（北京大学王瑄计算机技术研究所）
本文针对3D视觉问答中误导性标注问题，提出一种多轮交互式主动学习策略，通过语义不确定性选择数据并请求重新标注，在提升模型性能的同时将训练成本减半。
2025-08-18 cs.CV
Multiple Meta-model Quantifying for Medical Visual Question Answering
AIOZ（AIOZ公司）；University of Liverpool（利物浦大学）
迁移学习是医学视觉问答（VQA）任务中提取有意义特征和克服数据限制的重要步骤。然而，大多数现有的医学VQA方法依赖于外部数据进行迁移学习，而数据集中的元数据没有得到充分利用。在本文中，我们提出了一种新的多元模型量化方法，有效地学习元注释，并利用有意义的功能，医疗VQA任务。我们提出的方法旨在通过自动注释增加元数据，处理嘈杂的标签，并输出元模型，为医疗VQA任务提供强大的功能。在两个公共医学VQA数据集上的实验结果表明，该方法与其他方法相比具有更高的准确性，同时不需要外部数据来训练元模型.
2021-06-26 cs.CV
Towards Grounded GI Endoscopy VQA via Multi-Task Learning on Small VLMs
Institute of Business and Administration（商业管理学院）
该研究针对胃肠道内窥镜视觉问答任务，提出多任务微调方案，利用现有数据集构建辅助任务，微调小型视觉语言模型，实现了准确率提升与答案-图像区域对齐优化。
2026-07-30 cs.CV
Generalizable Video Quality Assessment via Weak-to-Strong Learning
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出弱到强学习框架，结合同质/异质监督信号和迭代训练，无需人工标注即可提升视频质量评估的泛化能力。
2026-05-24 cs.CV
Learning Perceptual Representations for Gaming NR-VQA with Multi-Task FR Signals
National Yang Ming Chiao Tung University；The University of Texas at Austin；Netflix Inc.
本文提出MTL-VQA，通过多任务学习框架利用全参考信号学习感知特征，有效提升游戏视频无参考质量评估的性能。
2026-08-17 cs.CV cs.MM eess.IV
LEAML: Label-Efficient Adaptation to Out-of-Distribution Visual Tasks for Multimodal Large Language Models
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所）；NVIDIA
本文提出 LEAML 框架，通过字幕蒸馏正则化的伪 QA 生成和神经元选择性更新，让 MLLM 利用少量标注 VQA 与大量未标注图像适应 OOD 专业视觉任务。
2025-10-03 cs.CV
VinDr-CXR-VQA: A Visual Question Answering Dataset for Explainable Chest X-Ray Analysis with Multi-Task Learning
College of Engineering and Computer Science（工程与计算机科学学院）；VinUniversity（Vin大学）；VinUni-Illinois Smart Health Center（VinUni-伊利诺伊智能健康中心）；Vietnam National Cancer Hospital（越南国家癌症医院）；The Computer Vision and Medical AI Lab（计算机视觉与医学人工智能实验室）
本文提出VinDr-CXR-VQA数据集，包含17,597个带空间定位和临床推理标注的胸部X光问答对，并通过平衡正负样本和MedGemma-4B-it基准测试，推动可解释医学视觉问答研究。
2025-11-09 cs.CV
Urban Risk-Aware Navigation via VQA-Based Event Maps for People with Low Vision
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与信息技术研究所，CSIC-UPC）
本文提出基于视觉问答的事件地图框架，利用视觉语言模型进行行人场景描述和危险识别，通过三级查询结构实现细粒度场景理解，生成风险感知导航地图，验证多模态大语言模型在助视导航中的有效性。
2026-05-12 cs.CV
RoboSurg-VQA: A Multimodal Benchmark for Surgical Segmentation-Aware Visual Question Answering
Swansea University, UK（威尔士大学）；Maynooth University, Ireland（迈诺特大学）；Aston University, UK（阿斯顿大学）
提出RoboSurg-VQA基准，通过重新利用公共手术分割数据集，构建分割感知的视觉问答任务，以评估在机器人辅助和微创手术中恶劣视觉条件下的语言化临床问题理解能力。
2026-05-21 cs.CV
Better Supervised Fine-tuning for VQA: Integer-Only Loss
ByteDance（字节跳动）
本文提出IOVQA微调方法，通过将VQA标签限制为[10,50]整数并仅对标签前两位整数计算损失，显著提升Qwen2.5-VL在视频质量评估中的准确性与一致性，并在VQualA 2025赛道I中获第3名。
2025-08-15 cs.AI cs.CV
HakushoBench: A Japanese Chart and Table VQA Benchmark from Governmental White Papers
Institute of Science Tokyo（东京科学研究所）；NII（日本学术振兴会）；NII LLMC（日本学术振兴会LLMC）
利用政府白皮书构建日语图表VQA基准HakushoBench，包含2053张图像和人工标注问答对，评估视觉语言模型对图表的深度理解。
2026-10-05 cs.CV
HDRSDR-VQA: A Subjective Video Quality Dataset for HDR and SDR Comparative Evaluation
本文提出HDRSDR-VQA数据集，通过960个视频和145名参与者的主观实验，支持HDR与SDR格式的直接内容级对比分析，为视频质量评估与感知模型研究提供开源资源。
2025-05-27 cs.CV
SA-VQA: Structured Alignment of Visual and Semantic Representations for Visual Question Answering
Northwestern University（西北大学）；Microsoft Research（微软研究院）
可视化问答（Visual Question Questioning，VQA）是一个备受业界和学术界关注的问题。作为一个多模态任务，它是具有挑战性的，因为它不仅需要视觉和文本的理解，但也有能力调整跨模态表示。以前的方法广泛采用实体级的对齐，如视觉区域和它们的语义标签之间的相关性，或跨问题词和对象特征的相互作用。这些尝试旨在改善跨通道表征，而忽略了它们之间的内在联系。相反，我们建议应用结构化对齐，它与视觉和文本内容的图形表示一起工作，旨在捕捉视觉和文本模态之间的深层联系。然而，它是不平凡的表示和整合结构化的比对图。在这项工作中，我们试图解决这个问题，首先将不同的模态实体转换成连续的节点和邻接图，然后将它们结构化对齐。正如我们的实验结果所示，这样的结构化对齐提高了推理性能。此外，我们的模型还表现出更好的可解释性为每个生成的答案。该模型在没有任何预训练的情况下，在GQA数据集上的性能优于最先进的方法，并在VQA-v2数据集上击败了非预训练的最先进的方法。
2022-01-25 cs.CV
Advancing Surgical VQA with Scene Graph Knowledge
University of Strasbourg（斯特拉斯堡大学）；Technische Universität München（慕尼黑工业大学）；IHU Strasbourg（斯特拉斯堡大学医院中心）；CNRS（法国国家科学研究中心）
该研究针对手术VQA系统的数据集偏差与场景推理不足问题，构建了基于手术场景图的无偏数据集SSG-QA，并提出融入场景嵌入交互模块的SSG-QA-Net模型，显著提升了手术VQA性能。
2024-06-24 cs.AI cs.CV
A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA
National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））
基于知识的可视化问答（VQA）期望模型依赖于外部知识来进行鲁棒的答案预测。虽然这是有意义的，本文发现了几个主要因素阻碍了目前的国家的最先进的方法的进步。一方面，利用显式知识的方法将知识作为粗训练VQA模型的补充。尽管它们的有效性，这些方法往往遭受噪声合并和错误传播。另一方面，关于内隐知识，多模态内隐知识的知识为基础的VQA仍然是在很大程度上未被探索。这项工作提出了一个统一的端到端的检索器-读者框架，以知识为基础的VQA。特别是，我们揭示了视觉语言预训练模型中的多模态隐式知识，以挖掘其在知识推理中的潜力。针对显式知识检索过程中的噪声问题，设计了一种新的伪标签生成方案，以实现有效的知识监督。该方案不仅能够为知识检索提供指导，而且能够丢弃这些可能容易出错的问答实例。为了验证所提出的方法的有效性，我们进行了广泛的实验上的基准数据集。实验结果表明，我们的方法明显优于现有的基线。除了报告的数字，本文还提出了一些关于知识利用的见解，为未来的研究提供了一些实证研究结果。
2022-06-30 cs.CV
Alignment, Mining and Fusion: Representation Alignment with Hard Negative Mining and Selective Knowledge Fusion for Medical Visual Question Answering
University of Michigan（密歇根大学）；Stony Brook University（石溪大学）
提出统一对齐、困难负样本挖掘与门控交叉注意力融合的医学视觉问答框架，在多个基准数据集上超越现有最优方法。
2025-10-09 cs.CV
RGC-VQA: An Exploration Database for Robotic-Generated Video Quality Assessment
Shanghai Jiaotong University（上海交通大学）
本文提出机器人生成内容（RGC）概念，构建首个含2100个视频的RGCD数据库，并通过主观实验与11个VQA模型基准测试，揭示现有模型在RGC视频质量评估上的不足。
2025-07-03 cs.CV
Towards Explainable 3D Grounded Visual Question Answering: A New Benchmark and Strong Baseline
Beihang University（北京航空航天大学）；University of Sydney（悉尼大学）
最近，3D视觉和语言任务引起了越来越多的研究兴趣。与其他视觉和语言任务相比，3D视觉问答（VQA）任务较少被利用，并且更容易受到语言先验和共指歧义的影响。同时，最近提出的几个三维VQA数据集不支持三维VQA任务，由于其有限的规模和注释方法。在这项工作中，我们正式定义和解决一个3D接地VQA任务，通过收集一个新的3D VQA数据集，简称为FE-3DGQA，与不同的和相对自由的形式的问答对，以及密集和完全接地限界框注释。为了实现更可解释的答案，我们标记的对象出现在复杂的问答对不同的语义类型，包括答案接地对象（出现和未出现在问题中），和上下文对象的答案接地对象。我们还提出了一个新的3D VQA框架，以有效地预测完全视觉接地和可解释的答案。大量的实验验证了我们新收集的基准数据集可以有效地用于从不同方面评估各种3D VQA方法，我们新提出的框架也在新的基准数据集上实现了最先进的性能。新收集的数据集和我们的代码都将在http://github.com/zlccccc/3DGQA上公开。
2022-09-24 cs.CV
OpenView: Empowering MLLMs with Out-of-view VQA
Monash University（墨尔本大学）；The Chinese University of Hong Kong（香港中文大学）
OpenView通过全景图像生成多选VQA，提升大规模语言模型在视图外视觉问答任务中的性能。
2025-12-21 cs.CV
Look Where It Matters: Training-Free Ultra-HR Remote Sensing VQA via Adaptive Zoom Search
Central University of Finance and Economics（中央财经大学）；Tsinghua University（清华大学）；East China Normal University（华东师范大学）
ZoomSearch通过自适应缩放搜索实现无需训练的超高清遥感视觉问答，提升准确性和效率。
2025-11-28 cs.CV
Q: How to Specialize Large Vision-Language Models to Data-Scarce VQA Tasks? A: Self-Train on Unlabeled Images!
Northeastern University（东北大学）；NEC Labs America（NEC美国实验室）；Amazon（亚马逊）；UC San Diego（加州大学圣地亚哥分校）
本文提出 SelTDA，利用目标数据集构建教师模型为无标签图像生成问答伪标签，并据此微调 VLM，在数据稀缺的专门 VQA 任务上提升鲁棒性、泛化性与数值推理能力。
2023-06-06 cs.CV
BLaVe-CoT: Consistency-Aware Visual Question Answering for Blind and Low Vision Users
School of Cyber Science and Engineering, Qufu Normal University（网络科学与工程学院，曲阜师范大学）；Department of Computer Science, University of Verona（计算机科学系，威尼斯大学）
提出BLaVe-CoT框架，通过LoRA微调BLIP-2生成候选答案、PolyFormer空间定位及链式思维推理，解决BLV用户视觉问答中的模糊性和多答案一致性问题，在VQA-AnswerTherapy基准上表现更优。
2025-09-07 cs.CV
Towards Causal VQA: Revealing and Reducing Spurious Correlations by Invariant and Covariant Semantic Editing
TomTom（TomTom公司）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Saarland Informatics Campus（萨尔信息学园区）
尽管在视觉问答（VQA）中取得了巨大的成功，但VQA模型已经被证明对问题中的语言变化非常脆弱。由于模型和数据集的缺陷，今天的模型往往依赖于相关性，而不是预测的因果w.r.t.数据在本文中，我们提出了一种新的方法来分析和测量最先进的模型的鲁棒性w.r.t语义视觉变化，以及提出的方法，使模型更强大的虚假相关。我们的方法执行自动语义图像操作和测试模型预测的一致性，以量化模型的鲁棒性，以及生成合成数据来解决这些问题。我们对三种不同的、最先进的VQA模型和不同的问题类型进行了分析，特别关注具有挑战性的计数问题。此外，我们还表明，使用我们编辑的数据，可以使模型对不一致的预测更加鲁棒。最后，我们表明，结果也转化为现实世界的错误情况下，最先进的模型，从而提高整体性能。
2020-05-29 cs.CL cs.CV cs.LG
Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition
本文提出SSL-V3方法，通过结合对比学习和无参考视频质量评估，提升视频分类的准确性和鲁棒性。
2026-03-11 cs.CV
Beyond Bilinear: Generalized Multimodal Factorized High-order Pooling for Visual Question Answering
Hangzhou Dianzi University（杭州电子科技大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；University of Sydney（悉尼大学）
视觉问答（VQA）是具有挑战性的，因为它需要同时理解图像的视觉内容和问题的文本内容。为了支持VQA任务，我们需要找到以下三个问题的良好解决方案：1）图像和问题的细粒度特征表示; 2）多模态特征融合，能够捕获多模态特征之间的复杂交互; 3）自动答案预测，能够考虑同一问题的多个不同答案之间的复杂相关性。对于细粒度的图像和问题表示，通过使用深度神经网络架构来共同学习图像和问题的注意力，从而开发了“共同注意力”机制，这可以使我们能够有效地减少不相关的特征，并获得图像和问题表示的更具区分力的特征。对于多模态特征融合，本文提出了一种广义多模态分解高阶池化方法（MFH），充分利用多模态特征之间的相关性，实现多模态特征的有效融合，从而进一步提高VQA性能。对于答案预测，KL（Kullback-Leibler）分歧被用作损失函数，以实现具有相同或相似含义的多个不同答案之间的复杂相关性的精确表征，这可以使我们实现更快的收敛速度，并获得略好的答案预测精度。设计了一种深度神经网络架构，将上述所有模块集成到一个统一的模型中，以实现卓越的VQA性能。凭借MFH模型的集成，我们在大规模VQA数据集上实现了最先进的性能，并在2017年VQA挑战赛中获得亚军。
2019-05-16 cs.CV
Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models
Kyoto University（京都大学）；NII LLMC（国立信息学研究所LLMC）；Waseda University（早稻田大学）；Institute of Science Tokyo（东京科学大学）；NII（国立信息学研究所）；Aichi Institute of Technology（爱知工业大学）；Institute of Physical and Chemical Research（理化学研究所）
本文提出Jagle，一个包含920万实例的日语多模态预训练数据集，通过多种策略生成VQA对，实验表明其在日语任务中表现优异，且与FineVision结合能提升英文性能。
2026-08-11 cs.CV
TokenFocus-VQA: Enhancing Text-to-Image Alignment with Position-Aware Focus and Multi-Perspective Aggregations on LVLMs
Meituan Inc（美团公司）；Nanjing University（南京大学）；Xi’an Jiaotong University（西安交通大学）
TokenFocus-VQA提出一种基于token感知损失函数与多视角集成学习的VQA评估框架，通过位置特定概率优化精确测量细粒度文本-图像对齐，在NTIRE 2025 T2I质量评估挑战赛中取得第二名。
2025-04-10 cs.CV
OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
视觉问答（VQA）在其理想的形式，让我们研究在视觉和语言的联合空间的推理，并作为一个代理的人工智能任务的场景理解。然而，到目前为止，大多数VQA基准测试都集中在简单计数、视觉属性和目标检测等问题上，这些问题不需要超出图像内容的推理或知识。在本文中，我们解决了基于知识的视觉问答的任务，并提供了一个基准，称为OK-VQA，其中的图像内容是不足以回答的问题，鼓励依赖于外部知识资源的方法。我们的新数据集包括超过14，000个需要外部知识才能回答的问题。我们表明，在这种新的设置中，最先进的VQA模型的性能急剧下降。我们的分析表明，我们的基于知识的VQA任务是多样的，困难的，和以前的基于知识的VQA数据集相比大。我们希望这个数据集能够使研究人员在这一领域的研究开辟新的途径。请访问http://okvqa.allenai.org下载并浏览数据集。
2019-09-04 cs.CL cs.CV
Ask4VG: Risk-Aware Question Selection for Reducing Prior-Driven Answers in Medical VQA
School of Microelectronics, Tianjin University, Tianjin 300072, China（天津大学电子工程学院，天津 300072，中国）；DISI, University of Trento, Trento, Italy（特伦托大学DISI研究所，意大利特伦托）；School of Electrical and Information Engineering, Tianjin University, Tianjin 300072, China（天津大学电气与信息工程学院，天津 300072，中国）
提出Ask4VG框架，通过反事实视觉探测估计问题引发的幻觉风险，并重排问题改写以选择更依赖图像证据的问题，从而减少医学VQA中的先验驱动答案。
2026-05-31 cs.CV
Multimodal Prompt Retrieval for Generative Visual Question Answering
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
针对现有判别式VQA方法在低资源领域易过拟合及跨域泛化差的问题，提出多模态提示检索增强的生成模型，通过整合检索提示与多模态特征生成自由文本答案，实现零样本跨域适应，在医学VQA少样本设置下准确率提升达30%。
2023-06-30 cs.AI cs.CV
REKEY: Metadata-Grounded Visual-Key Regeneration for Contamination-Resilient VQA Evaluation
Zhejiang University（浙江大学）；ETH Zürich（苏黎世联邦理工学院）；Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；University of Waterloo（滑铁卢大学）；Binjiang Institute of Zhejiang University（浙江大学滨江研究院）
提出ReKey协议，通过随机再生图像中的视觉键来防止VQA基准测试泄露，实验显示原始项目得分比再生变体高9.5-18.8个百分点。
2026-06-23 cs.CV
MGA-VQA: Multi-Granularity Alignment for Visual Question Answering
Northwestern University（西北大学）；Samsung Research America（三星美国研究院）
学习回答视觉问题是一项具有挑战性的任务，因为多模态输入在两个特征空间内。此外，视觉问答中的推理要求模型理解图像和问题，并将它们排列在同一空间中，而不是简单地记住关于问答对的统计数据。因此，必须找到不同模态之间以及每种模态内部的成分联系，以实现更好的注意力。以前的作品直接在特征上学习注意力权重。然而，由于这两个模态特征在两个域中，因此改进是有限的：图像特征高度多样，缺乏语言的结构和语法规则，并且自然语言特征具有较高的概率丢失详细信息。为了更好地学习视觉和文本之间的注意力，我们专注于如何构建输入分层和嵌入结构信息，以提高不同级别组件之间的对齐。本文提出了多粒度对齐的视觉问答任务（MGA-VQA）结构，通过多粒度对齐学习模态内和模态间的相关性，并通过决策融合模块输出最终结果。与以前的工作相比，我们的模型将对齐分为不同的级别，以实现更好的相关性，而无需额外的数据和注释。在VQA-v2和GQA数据集上的实验表明，我们的模型在这两个数据集上的性能明显优于非预训练的最先进方法，而无需额外的预训练数据和注释。此外，它甚至比GQA上的预训练方法取得了更好的结果。
2022-01-25 cs.CV
How to Configure Good In-Context Sequence for Visual Question Answering
Southeast University（东南大学）；Northwestern University（西北大学）
本文以视觉问答为案例，通过设计多种检索方法与演示操纵策略探索上下文配置，在三个VQA数据集上揭示了LVLM的内部特性并找到能持续提升ICL性能的策略。
2023-12-04 cs.AI cs.CV
Pathological Visual Question Answering
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Tsinghua University（清华大学）；Wuhan University（武汉大学）；Beijing University of Technology（北京工业大学）；Carnegie Mellon University（卡内基梅隆大学）
有没有可能培养出“AI病理学家”，通过美国病理学委员会（ABP）的委员会认证考试？要建立这样一个系统，需要解决三个挑战。首先，我们需要创建一个可视化的问答（VQA）数据集，其中向人工智能智能体提供病理图像和一个问题，并要求它给出正确的答案。由于隐私问题，病理图像通常不公开。此外，只有训练有素的病理学家才能理解病理图像，但他们几乎没有时间帮助创建用于人工智能研究的数据集。第二个挑战是：由于很难雇用经验丰富的病理学家来创建病理学可视问题和答案，因此所得到的病理学VQA数据集可能包含错误。使用这些噪声甚至错误的数据训练病理学VQA模型将导致有问题的模型，这些模型不能很好地概括看不见的图像。第三个挑战是：病理学问题-答案（QA）对中所涵盖的医学概念和知识非常多样化，而可用于建模训练的QA对的数量是有限的。如何在有限的数据基础上学习不同医学概念的有效表示在技术上是苛刻的。在本文中，我们的目标是解决这三个挑战。据我们所知，我们的工作代表了第一个解决病理VQA问题。为了解决缺乏公开可用的病理学VQA数据集的问题，我们创建了PathVQA数据集。为了解决第二个挑战，我们提出了一个学习忽略的方法。为了解决第三个挑战，我们建议使用跨模态自监督学习。我们在我们创建的PathVQA数据集上进行了实验，结果证明了我们提出的忽略学习方法和跨模态自监督学习方法的有效性。
2020-10-06 cs.CV
Survey of Recent Advances in Visual Question Answering
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Adobe Systems（Adobe 系统公司）
视觉问答（VQA）提出了一个独特的挑战，因为它需要理解和编码的多模态输入的能力-在图像处理和自然语言处理方面。该算法还需要学习如何在这种多模态表示上执行推理，以便正确回答问题。本文介绍了一个调查的不同方法，提出了解决问题的视觉问答。我们还描述了目前的艺术模型在后面的一部分文件。特别是，本文描述了各种算法提取图像特征，文本特征和这些被用来预测答案的方式所采取的方法。我们还简要讨论了评估VQA模型的实验，并报告了它们在不同数据集上的性能，包括新发布的VQA 2.0 [8]。
2017-09-24 cs.CV
HAC: Parameter-Efficient Hyperbolic Adaptation of CLIP for Zero-Shot VQA
Department of Computer Science, University of Verona（威尼斯大学计算机科学系）；EVS - Embedded Vision Systems Srl（嵌入式视觉系统公司）；AI for Good (AIGO), Istituto Italiano di Tecnologia（AI for Good（AIGO），意大利技术研究院）
HAC通过轻量级微调使预训练CLIP模型迁移到超几何空间，用于视觉问答任务，展现出任务无关的适应能力，在多个基准上超越欧几里得基线和先前超几何方法。
2026-04-26 cs.CV
Towards Unified Video Quality Assessment
本文提出统一VQA框架，通过诊断混合专家问题实现通用视频质量评估，提供可解释的质量评分和缺陷向量，优于多种基准方法。
2025-12-01 cs.CV
NuScenes-QA: A Multi-modal Visual Question Answering Benchmark for Autonomous Driving Scenario
Fudan University（复旦大学）
本文提出首个自动驾驶场景VQA基准NuScenes-QA，包含34K场景和460K问答对，通过3D检测标注生成场景图并程序化构建问答，并开发基线模型验证任务挑战。
2024-02-20 cs.CV
SimVQA: Exploring Simulated Environments for Visual Question Answering
Rice University（莱斯大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of Virginia（弗吉尼亚大学）
VQA的现有工作探索数据增强，以实现更好的泛化，通过扰动数据集中的图像或修改现有的问题和答案。虽然这些方法表现出良好的性能，但问题和答案的多样性受到可用图像集的限制。在这项工作中，我们探索使用合成计算机生成的数据来完全控制视觉和语言空间，使我们能够提供更多样化的场景。我们量化的效果合成数据在现实世界的VQA基准，并在何种程度上产生的结果，推广到真实的数据。通过利用3D和物理仿真平台，我们提供了一个管道来生成合成数据，以扩展和替换特定类型的问题和答案，而不会有暴露真实图像中可能存在的敏感或个人数据的风险。我们提供全面的分析，同时扩展现有的超现实数据集用于VQA。我们还提出了特征交换（F-SWAP）-在训练过程中随机切换对象级特征，使VQA模型更具域不变性。我们表明，F-SWAP是有效的，以提高目前现有的VQA数据集的真实图像，而不损害的准确性，以回答现有的问题，在数据集中。
2022-03-31 cs.CV
Visual Query Answering by Entity-Attribute Graph Matching and Reasoning
Northwestern University（西北大学）；Southwest Jiaotong University（西南交通大学）
可视化查询查询（VQA）在为人们提供便利方面具有重要意义：人们可以对图像提出关于对象细节或对场景的高级理解的问题。本文提出了一种新的方法来解决VQA问题。与以前的作品相比，我们的方法，目标是单场景VQA，基于图的技术，并涉及推理的答复。简而言之，我们的方法集中在三个图上。第一个图，称为推理图GI，是通过对标记数据的学习来构建的。另外两个图，称为查询图Q和实体-属性图GEA，分别从用户发出的自然语言查询Qnl和图像Img生成。由于GEA往往不采取足够的信息来回答Q，我们开发的技术来推断GEA与GI的缺失信息。在GEA和Q的基础上，我们提供了在GEA中寻找Q的匹配的技术，作为Img中Qnl的答案。与通常使用的基于端到端神经网络的VQA方法不同，我们基于图的方法显示了精心设计的推理能力，因此具有高度的可解释性。我们还创建了一个具有丰富注释的足球比赛数据集（Soccer-VQA）。实验结果表明，我们的方法优于国家的最先进的方法，并有很高的潜力，为未来的调查。
2019-03-16 cs.CV
Q-Router: Agentic Video Quality Assessment with Expert Model Routing and Artifact Localization
Department of Computer Science（计算机科学系）；Cranberry-Lemon University（Cranberry-Lemon 大学）；Texas A&M University（德克萨斯A&M大学）；eBay Inc.（eBay公司）
针对现有视频质量评估模型泛化差、可解释性弱等问题，提出智能体框架Q-Router，通过VLM实时路由集成专家模型并定位时空伪影，显著提升了性能、泛化性与可解释性。
2025-10-13 cs.CV
Augmenting Visual Question Answering with Semantic Frame Information in a Multitask Learning Approach
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
视觉问答（VQA）涉及提供关于图像的自然语言问题的答案。已经提出了几种深度神经网络方法来以端到端的方式对任务进行建模。鉴于任务是建立在视觉处理的基础上，如果问题集中在动词描述的事件上，语言理解部分就变得至关重要。我们的假设是，模型应该知道动词语义，通过语义角色标签，参数类型和/或框架元素表示。不幸的是，不存在包含动词语义信息的VQA数据集。我们的第一个贡献是一个新的VQA数据集（imSituVQA），我们利用imSitu注释构建。imSitu数据集由使用语义框架元素手动标记的图像组成，主要来自FrameNet。其次，我们提出了一个多任务CNN-LSTM VQA模型，该模型学习对答案和语义框架元素进行分类。我们的实验表明，语义框架元素分类有助于VQA系统避免不一致的反应，提高了性能。
2020-01-31 cs.AI cs.CL cs.CV
Dataset and Benchmark for Urdu Natural Scenes Text Detection, Recognition and Visual Question Answering
Huazhong University of Science and Technology（华中科技大学）
本研究构建了包含超1000张图像、带细粒度标注的乌尔都语自然场景多任务数据集，覆盖文本检测、识别与VQA任务，填补了该领域数据集与基准的空白。
2024-05-21 cs.CV
Q&A Prompts: Discovering Rich Visual Clues through Mining Question-Answer Prompts for VQA requiring Diverse World Knowledge
School of Computer Science, Fudan University（复旦大学计算机科学学院）
本文提出Q&A Prompts方法，通过训练视觉问题生成模型挖掘图像中的问答对作为丰富视觉线索，并将其作为提示输入多模态大语言模型，在OK-VQA和A-OKVQA等需要世界知识的视觉问答数据集上取得显著提升。
2024-10-12 cs.AI cs.CL cs.CV
DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment
Shanghai Jiao Tong University（上海交通大学）；Baidu Inc.（百度公司）；Xinjiang University（新疆大学）
提出DPC-VQA框架，通过冻结多模态大模型提供感知先验，轻量校准分支预测残差修正，实现低训练成本下视频质量评估，在UGC和AIGC基准上取得竞争性能。
2026-06-16 cs.CV cs.MM
Accuracy vs. Complexity: A Trade-off in Visual Question Answering Models
Australian National University (ANU)（澳大利亚国立大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初始研究院）
视觉问答（VQA）是一种验证人工智能智能体推理能力的视觉图灵测试。现有VQA模型的核心是联合嵌入，它是通过结合图像的视觉特征和给定问题的语义特征来学习的。因此，大量的文献都集中在开发复杂的联合嵌入策略加上视觉注意力机制，以有效地捕捉这两种方式之间的相互作用。然而，在高维（联合嵌入）空间中对视觉和语义特征进行建模在计算上是昂贵的，并且更复杂的模型通常会导致VQA准确性的微不足道的改进。在这项工作中，我们系统地研究了模型的复杂性和VQA任务的性能之间的权衡。VQA模型具有不同的架构，包括预处理、特征提取、多模态融合、注意和最终分类阶段。我们特别关注VQA模型中“多模态融合”的效果，这通常是VQA管道中最昂贵的步骤。我们彻底的实验评估导致我们两个建议，一个优化最小的复杂性，另一个优化最先进的VQA性能。
2020-01-20 cs.CC cs.CV
