Accuracy vs. Complexity: A Trade-off in Visual Question Answering Models
Australian National University (ANU)（澳大利亚国立大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初始研究院）
视觉问答（VQA）是一种验证人工智能智能体推理能力的视觉图灵测试。现有VQA模型的核心是联合嵌入，它是通过结合图像的视觉特征和给定问题的语义特征来学习的。因此，大量的文献都集中在开发复杂的联合嵌入策略加上视觉注意力机制，以有效地捕捉这两种方式之间的相互作用。然而，在高维（联合嵌入）空间中对视觉和语义特征进行建模在计算上是昂贵的，并且更复杂的模型通常会导致VQA准确性的微不足道的改进。在这项工作中，我们系统地研究了模型的复杂性和VQA任务的性能之间的权衡。VQA模型具有不同的架构，包括预处理、特征提取、多模态融合、注意和最终分类阶段。我们特别关注VQA模型中“多模态融合”的效果，这通常是VQA管道中最昂贵的步骤。我们彻底的实验评估导致我们两个建议，一个优化最小的复杂性，另一个优化最先进的VQA性能。
2020-01-20 cs.CC cs.CV
Counterfactual Samples Synthesizing for Robust Visual Question Answering
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Hikvision Research Institute（海康威视研究院）
尽管在过去的几年中，视觉问答（VQA）已经取得了令人印象深刻的进展，今天的VQA模型往往捕捉表面的语言相关性的训练集，并未能推广到测试集与不同的QA分布。为了减少语言偏差，最近的一些工作引入了一个辅助的问题模型来正则化目标VQA模型的训练，并在VQA-CP上取得了优异的性能。然而，由于设计的复杂性，目前的方法无法使基于集合的模型具有理想VQA模型的两个不可或缺的特征：1）视觉可解释性：模型在做出决策时应该依赖于正确的视觉区域。2)对问题敏感：模型应该对所讨论的语言变化敏感。为此，我们提出了一个与模型无关的反事实样本合成（CSS）训练方案。CSS通过屏蔽图像中的关键对象或问题中的单词，并分配不同的地面事实答案，生成大量的反事实训练样本。在使用补充样本（即原始和生成的样本）进行训练后，VQA模型被迫专注于所有关键对象和单词，这显着提高了视觉解释和问题敏感的能力。作为回报，这些模型的性能得到进一步提升。广泛消融显示了CSS的有效性。特别是，通过建立在模型LMH之上，我们在VQA-CP v2上实现了破纪录的58.95%的性能，并获得了6.5%的收益。
2020-03-14 cs.CL cs.CV cs.MM
Improving Data Augmentation for Robust Visual Question Answering with Effective Curriculum Learning
Zhejiang University（浙江大学）；HKUST（香港科技大学）
针对视觉问答数据增强后训练集冗余导致训练效率低、性能受损的问题，提出有效课程学习策略ECL，按难度递进训练并动态移除低价值样本，以更少样本提升模型性能，经消融实验验证有效。
2024-01-28 cs.CV
Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Peking University（北京大学）；Tencent Inc（腾讯公司）
用于视觉问答（VQA）的模型通常依赖于虚假相关性，即，语言先验知识存在于训练集的有偏样本中，这使得训练集对分布外（out-of-distribution，OOD）测试数据的敏感性降低。最近的方法已经取得了可喜的进展，克服了这个问题，减少了偏见的样本对模型训练的影响。然而，这些模型揭示了一个权衡，即OOD数据的改进严重牺牲了分布（ID）数据（由有偏样本主导）的性能。因此，我们提出了一种新的对比学习方法，MMBS，建立强大的VQA模型，使最有偏见的样本。具体来说，我们通过消除原始训练样本中与伪相关性相关的信息来构造用于对比学习的正样本，并探索了使用构造的正样本进行训练的几种策略。我们的方法不是削弱有偏样本在模型训练中的重要性，而是精确地利用有偏样本来获得有助于推理的无偏信息。所提出的方法是兼容各种VQA骨干。我们通过在OOD数据集VQA-CP v2上实现具有竞争力的性能，同时在ID数据集VQA v2上保持稳健的性能来验证我们的贡献。
2022-10-10 cs.AI cs.CV
High-Fidelity Video Quality Assessment with VQA-Specific Saliency
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
提出HFVQA框架，利用固定大小时空补丁与VQA特定显著性，在保留高保真线索的同时仅处理12%补丁，实现无参考视频质量评估的最先进性能。
2026-09-17 cs.CV
USPLIT-VQA: U-Shaped Split Learning for Visual Question Answering with Contribution-Aware Weighted Aggregation
Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）
提出USPLIT-VQA，一种U形分割学习框架，结合贡献感知加权聚合（CAWA）实现隐私保护VQA，在多个数据集上降低内存和通信开销，并有效抑制恶意客户端影响。
2026-09-14 cs.AI cs.CV
From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models
The University of Sydney（悉尼大学）；Salesforce Research（赛富时研究院）；Nanyang Technological University（南洋理工大学）
提出Img2Prompt即插即用模块，通过生成图像内容提示和问答对弥合模态与任务断连，使冻结LLM无需端到端训练即可实现零样本VQA，性能超越端到端方法。
2023-05-08 cs.CV cs.MM
FAST-VQA: Efficient End-to-end Video Quality Assessment with Fragment Sampling
Nanyang Technological University（南洋理工大学）；Sensetime Research（商汤科技研究院）；Tetras AI（Tetras人工智能公司）
目前的深度视频质量评估（VQA）方法在评估高分辨率视频时通常具有较高的计算成本。这种成本阻碍了他们通过端到端培训学习更好的视频质量相关表示。现有的方法通常考虑朴素采样以减少计算成本，例如，裁剪和裁剪。然而，它们显然破坏了视频中与质量相关的信息，因此对于学习VQA的良好表示不是最佳的。因此，迫切需要为VQA设计一种新的质量保持抽样方案。在本文中，我们提出了网格小补丁采样（GMS），它允许考虑本地质量的采样补丁在其原始分辨率和覆盖全局质量的上下文关系，通过均匀网格中采样的小补丁。这些小补丁拼接和对齐的时间，命名为片段。我们进一步构建了片段注意力网络（FANet），专门设计用于容纳片段作为输入。由片段和FANet组成，所提出的用于VQA的片段样本Transformer（FAST-VQA）能够实现高效的端到端深度VQA，并学习有效的视频质量相关表示。它将最先进的精度提高了约10%，同时在1080 P高分辨率视频上减少了99.5%的FLOP。新学习的视频质量相关表示也可以转移到较小的VQA数据集中，从而提高这些场景中的性能。大量的实验表明，FAST-VQA在保持高效率的同时，对各种分辨率的输入都有良好的性能。我们在https://github.com/timothyhtimothy/FAST-VQA上发布代码。
2022-07-06 cs.CV cs.MM
Counterfactual Samples Synthesizing and Training for Robust Visual Question Answering
The Hong Kong University of Science and Technology（香港科技大学）；Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；Nanyang Technological University（南洋理工大学）
针对VQA模型易受语言偏差影响的问题，提出模型无关的反事实样本合成与训练（CSST）策略，通过掩蔽关键对象和单词生成反事实样本并结合监督对比损失进行训练，显著提升了模型的视觉可解释性和问题敏感性，在多个OOD基准上取得破纪录性能。
2023-06-25 cs.AI cs.CL cs.CV
MDS-VQA: Model-Informed Data Selection for Video Quality Assessment
MDS-VQA通过结合模型性能与内容多样性，有效筛选出具有挑战性的视频样本，提升视频质量评估模型的微调效果和泛化能力。
2026-03-12 cs.CV
HAC: Parameter-Efficient Hyperbolic Adaptation of CLIP for Zero-Shot VQA
Department of Computer Science, University of Verona（威尼斯大学计算机科学系）；EVS - Embedded Vision Systems Srl（嵌入式视觉系统公司）；AI for Good (AIGO), Istituto Italiano di Tecnologia（AI for Good（AIGO），意大利技术研究院）
HAC通过轻量级微调使预训练CLIP模型迁移到超几何空间，用于视觉问答任务，展现出任务无关的适应能力，在多个基准上超越欧几里得基线和先前超几何方法。
2026-04-26 cs.CV
FRAMES-VQA: Benchmarking Fine-Tuning Robustness across Multi-Modal Shifts in Visual Question Answering
Georgia Institute of Technology（佐治亚理工学院）
提出FRAMES-VQA基准，整合十个VQA数据集，分类ID与近/远OOD，评估鲁棒微调方法，量化多模态偏移，指导开发更鲁棒的微调策略。
2025-06-20 cs.AI cs.CL cs.CV
Extracting Training Data from Document-Based VQA Models
University of Oxford（牛津大学）；Google（谷歌公司）；ETH Zurich（苏黎世联邦理工学院）
本研究揭示基于文档的VQA模型存在记忆训练数据的隐私风险，定量区分了记忆与泛化的差异，探究了影响记忆的因素并提出可阻止PII提取的启发式防御策略。
2024-07-11 cs.CV cs.LG
PTM-VQA: Efficient Video Quality Assessment Leveraging Diverse PreTrained Models from the Wild
Kuaishou Technology（快手科技）；School of AI, BUPT（北京邮电大学人工智能学院）；CASIA（中国科学院自动化研究所）；Tsinghua University（清华大学）
提出PTM-VQA方法，利用多种预训练模型提取视频特征并整合，通过ICID损失约束特征空间，并高效选择候选模型，以提升视频质量评估性能。
2024-05-28 cs.CV
X-GGM: Graph Generative Modeling for Out-of-Distribution Generalization in Visual Question Answering
Xi’an Jiaotong University（西安交通大学）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）
近年来，可视化问答（VQA）取得了令人鼓舞的进展，但使VQA模型能够自适应地泛化到分布外（OOD）样本仍然具有挑战性。直观地，现有的视觉概念（\ie，属性和对象）的重组可以在训练集中生成看不见的组合，这将促进VQA模型推广到OOD样本。在本文中，我们制定了OOD泛化VQA作为一个组成的泛化问题，并提出了一个图生成建模为基础的训练计划（X-GGM）隐式建模的问题。X-GGM利用图生成建模来迭代地生成关系矩阵和用于利用属性-对象对作为节点的预定义图的节点表示。此外，为了缓解图生成建模中的不稳定训练问题，我们提出了梯度分布一致性损失来约束具有对抗性扰动的数据分布和生成的分布。使用X-GGM方案训练的基线VQA模型（LXMERT）在两个标准VQA OOD基准测试\ie、VQA-CP v2和GQA-OOD上实现了最先进的OOD性能。广泛的消融研究证明了X-GGM组件的有效性。代码可在\url{https://github.com/jingjing12110/x-ggm}上获得。
2021-10-04 cs.CV cs.MM
TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation
Salesforce Research（赛富时研究院）
Text-VQA旨在回答需要理解图像中的文本线索的问题。尽管现有的文本VQA方法取得了很大的进步，但它们的性能受到人类标记的问题-答案（QA）对不足的影响。然而，我们观察到，一般来说，场景文本在现有数据集中没有得到充分利用-每个图像中只有一小部分文本参与注释的QA活动。这导致了大量有用信息的浪费。为了解决这一不足，我们开发了一种新的方法来生成高质量和多样化的QA对明确利用现有的富文本可在场景中的每幅图像。具体来说，我们提出，标签，一个文本感知的视觉问答生成架构，学习产生有意义的，准确的QA样本使用多模态Transformer。该架构利用未充分探索的场景文本信息，并通过将生成的QA对与初始训练数据相结合来增强Text-VQA模型的场景理解。在两个著名的Text-VQA基准测试（TextVQA和ST-VQA）上的大量实验结果表明，我们提出的TAG有效地扩大了训练数据，有助于提高Text-VQA性能，而无需额外的标记工作。此外，我们的模型优于使用超大规模数据进行预训练的最先进方法。代码可在https://github.com/HenryJunW/TAG上获得。
2022-10-08 cs.CV
TPCL: Task Progressive Curriculum Learning for Robust Visual Question Answering
School of Information and Communication Technology（信息与通信技术学院）；Data61, CSIRO Australia（Data61，澳大利亚联邦科学与工业研究组织）；School of Information Systems（信息系统学院）
本文提出TPCL框架，通过渐进式课程学习提升视觉问答在分布偏移、低数据等场景下的鲁棒性，取得SOTA性能。
2026-03-23 cs.CV cs.LG
S3C: Semi-Supervised VQA Natural Language Explanation via Self-Critical Learning
Northwestern Polytechnical University（西北工业大学）；University of Adelaide（阿德莱德大学）
提出S3C半监督框架，通过自批判学习与回答奖励提升VQA自然语言解释的逻辑一致性，无需人工标注，在两个数据集上达到最先进性能。
2023-09-05 cs.CV
MedXplain-VQA: Multi-Component Explainable Medical Visual Question Answering
Faculty Of Information Technology VNU University of Engineering（信息科技学院越南工程大学）；IT-BT Convergence Technology Division Vietnam-Korea Institute of Science（IT-BT融合技术部门越南-韩国科学技术院）；TADI Global Lab TADI Global Company Limited（TADI全球实验室TADI全球有限公司）；Faculty of Finance Banking Academy of Vietnam（金融学院越南银行学院）
MedXplain-VQA提出整合五个可解释AI组件的医学视觉问答框架，在PathVQA上综合得分从0.378提升至0.683，实现透明诊断推理。
2025-10-26 cs.CV
LPF: A Language-Prior Feedback Objective Function for De-biased Visual Question Answering
Sun Yat-sen University（中山大学）
现有的视觉问答（VQA）系统往往过于依赖语言偏见，因此无法从视觉线索进行推理。为了解决这个问题，我们提出了一种新的前置反馈（LPF）目标函数，重新平衡每个答案的损失值在总VQA损失的比例。LPF首先使用仅问题分支计算调制因子以确定语言偏差。然后，LPF在训练过程中为每个训练样本分配自适应权重。通过这种重新加权机制，LPF确保总VQA损耗可以重新整形为更平衡的形式。通过这种方式，需要某些视觉信息来预测的样本将在训练期间被有效地使用。我们的方法易于实现，与模型无关，并且端到端可训练。我们进行了大量的实验，结果表明，LPF（1）带来了显着的改善，各种VQA模型，（2）实现有竞争力的性能偏置敏感的VQA-CP v2基准。
2021-06-23 cs.CL cs.CV
Cross-Modal Contrastive Learning for Robust Reasoning in VQA
University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）；DATA61, CSIRO（联邦科学与工业研究组织数据61研究所）
视觉问答（VQA）中的多模态推理近年来取得了快速的发展。然而，大多数推理模型严重依赖于从训练数据中学习的捷径，这阻止了它们在具有挑战性的现实世界场景中的使用。本文提出了一种简单有效的跨模态对比学习策略，以消除不平衡注释导致的捷径推理，提高整体性能。不同于现有的对比学习与复杂的负面类别的粗（图像，问题，答案）三元组水平，我们利用语言和图像模态之间的对应关系，执行更细粒度的跨模态对比学习。我们将每一个QA对作为一个整体来对待，并区分符合它的图像和不符合它的图像。为了减轻采样偏差的问题，我们进一步构建图像之间的连接图。对于每一个正对，我们把来自不同图的图像作为负样本，并推导出多正对比学习的版本。据我们所知，这是第一篇论文，揭示了一个通用的对比学习策略，没有微妙的手工规则，可以有助于强大的VQA推理。在几个主流VQA数据集上的实验证明了我们的优越性。代码可在\url{https://github.com/qizhust/cmcl_vqa_pl}上获得。
2022-11-21 cs.CV
MoVie: Revisiting Modulated Convolutions for Visual Counting and Beyond
Facebook AI Research (FAIR)（Facebook人工智能研究（FAIR））
本文主要研究视觉计数，其目的是预测给定自然图像和查询（例如问题或类别）的出现次数。与大多数使用显式符号模型的现有作品不同，这些模型在计算上是昂贵的，并且在泛化上是有限的，我们提出了一种简单有效的替代方案，通过重新访问调制卷积，将查询和图像局部融合。在剩余瓶颈的设计之后，我们称我们的方法为MoVie，调制卷积瓶颈的缩写。值得注意的是，Movie的推理是隐式和整体的，在推理过程中只需要一次向前传递。尽管如此，MoVie展示了强大的计数性能：1）在更高效的同时推进了特定于计数的VQA任务的最新技术; 2）在COCO等常见对象计数的困难基准上优于现有技术; 3）当作为通用VQA模型中的“数字”相关问题的模块集成时，帮助我们获得了2020年VQA挑战赛的第一名。最后，我们证明了调制卷积，如Movie可以作为一个通用的推理机制，超越计数的任务。
2020-10-07 cs.CV
VinDr-CXR-VQA: A Visual Question Answering Dataset for Explainable Chest X-Ray Analysis with Multi-Task Learning
College of Engineering and Computer Science（工程与计算机科学学院）；VinUniversity（Vin大学）；VinUni-Illinois Smart Health Center（VinUni-伊利诺伊智能健康中心）；Vietnam National Cancer Hospital（越南国家癌症医院）；The Computer Vision and Medical AI Lab（计算机视觉与医学人工智能实验室）
本文提出VinDr-CXR-VQA数据集，包含17,597个带空间定位和临床推理标注的胸部X光问答对，并通过平衡正负样本和MedGemma-4B-it基准测试，推动可解释医学视觉问答研究。
2025-11-09 cs.CV
Learning content and context with language bias for Visual Question Answering
Hunan University（湖南大学）；Microsoft Research Asia（微软亚洲研究院）
视觉问答（VQA）是一个具有挑战性的多模态任务，回答有关图像的问题。许多研究集中在如何减少语言偏见，这使得模型回答问题时忽略了视觉内容和语言上下文。然而，减少语言偏见也削弱了VQA模型事先学习上下文的能力。为了解决这个问题，我们提出了一种新的学习策略，名为CCB，它迫使VQA模型回答问题依赖于内容和上下文与语言偏见。具体而言，CCB在VQA基础模型之上建立内容和上下文分支，并迫使它们分别关注本地关键内容和全球有效上下文。此外，联合损失函数，提出了减少有偏样本的重要性，并保留其有益的影响回答问题。实验表明，CCB优于国家的最先进的方法在VQA-CP v2的准确性方面。
2020-12-21 cs.CV
Do Pathology Vision-Language Models Truly See Pathology?
研究病理学视觉语言模型评估中被忽视的问题，提出含多类型样本的PathBind基准，通过对多个VLMs评估发现，当前病理学VLMs在答案性能与视觉语义绑定间有显著差距。
2026-07-24 cs.CV
Learning by Asking Questions
Facebook AI Research（Facebook 人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了一个交互式学习框架的智能视觉系统的开发和测试，称为学习的要求（LBA）。我们探讨视觉问答（VQA）任务的背景下，LBA。LBA与标准VQA培训的不同之处在于，大多数问题在培训期间不会被观察到，学习者必须提出它想要答案的问题。因此，LBA更接近地模仿自然学习，并且有可能比传统的VQA设置更有效地利用数据。我们提出了一个模型，执行LBA的CLEVR数据集，并表明，它自动发现一个简单的硬课程时，从一个甲骨文交互式学习。我们的LBA生成的数据始终匹配或优于CLEVR训练数据，并且更高效。我们还表明，我们的模型提出的问题，推广到国家的最先进的VQA模型和新的测试时间分布。
2017-12-04 cs.CL cs.CV cs.LG
Encyclopedic VQA: Visual questions about detailed properties of fine-grained categories
Google Research（谷歌研究院）；Google（谷歌）
本研究提出大规模百科式视觉问答数据集Encyclopedic-VQA，包含百万级样本与配套知识库证据，实验显示现有视觉语言模型表现不佳，验证了检索增强机制可有效提升答题准确率，为相关研究提供支撑。
2023-07-24 cs.CV
Skeleton-and-Strategy Prompting: Training-Free Negation Understanding for Vision-Language Models
University of Southern California（南加州大学）；Amazon Inc.（亚马逊公司）
针对视觉语言模型难以理解否定语义的问题，提出免训练的骨架与策略提示方法，通过抽象问题结构、检索同骨架示例并生成回答策略，在多个否定VQA基准上取得最先进性能且无需参数更新。
2026-10-02 cs.CV
GRAM: Global Reasoning for Multi-Page VQA
Technion, Israel（以色列理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
GRAM通过扩展单页模型至多页DocVQA，利用文档级层与可学习令牌实现全局推理，并引入压缩阶段平衡质量与延迟，达到最先进性能。
2024-03-18 cs.CL cs.CV
CRIC: A VQA Dataset for Compositional Reasoning on Vision and Commonsense
Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
或者，对视觉事实和常识进行推断是高级VQA系统的基础。这种能力要求模型超越对常识的字面理解。系统不应该仅仅将对象作为查询背景知识的入口，而是将常识充分扎根于视觉世界，想象对象之间可能的关系，例如，“叉，可以举起，食物”。为了全面评估这些能力，我们提出了一个VQA基准，CRIC，它引入了新类型的问题，关于组合推理的vIsion和常识，和一个评估指标集成的答案和常识接地的正确性。为了收集这些问题和丰富的附加注释来支持度量，我们还提出了一种自动算法来从与图像和相关知识图谱相关联的场景图中生成问题样本。我们进一步分析了CRIC数据集上几种代表性的VQA模型。实验结果表明，将常识知识与图像区域相结合，以及基于视觉和常识知识的联合推理对于现有方法来说仍然是一个挑战。该数据集可在https://cricvqa.github.io上获得。
2021-10-27 cs.AI cs.CV
GLIMPSE : Real-Time Text Recognition and Contextual Understanding for VQA in Wearables
Meta Reality Labs（Meta现实实验室）
GLIMPSE通过混合架构在可穿戴设备上实现低功耗的实时文本识别与上下文理解，提升视频大语言模型在资源受限设备上的VQA性能。
2026-02-13 cs.CV cs.HC
Good, Better, Best: Textual Distractors Generation for Multiple-Choice Visual Question Answering via Reinforcement Learning
Arizona State University（亚利桑那州立大学）；Emory University（埃默里大学）
近年来，多项选择问题越来越受到研究者和用户的关注。随着自动构建大规模多项选择VQA数据的需求不断增长，我们引入了一种新的任务，称为文本干扰生成VQA（DG-VQA），专注于生成具有挑战性但有意义的干扰，给出上下文图像，问题和正确答案。DG-VQA任务的目的是在没有地面实况训练样本的情况下生成干扰项，因为这些资源很少可用。为了解决DG-VQA无监督，我们提出了Gobbet，一个基于强化学习（RL）的框架，利用预先训练的VQA模型作为替代知识库，以指导分心物生成过程。在Gobbet中，预先训练的VQA模型作为RL设置中的环境，为输入的多模态查询提供反馈，而神经干扰素生成器作为代理采取相应的行动。我们建议使用现有的VQA模型的性能下降的指标的质量产生的干扰。另一方面，我们通过数据增强实验展示了生成的干扰项的实用性，因为当AI模型应用于不可预测的开放域场景或安全敏感的应用程序时，鲁棒性越来越重要。我们进一步进行手动案例研究的因素，为什么分心产生的Gobbet可以愚弄现有的模型。
2022-04-18 cs.CL cs.CV
Gender and Racial Bias in Visual Question Answering Datasets
Osaka University（大阪大学）
视觉和语言任务作为评估机器学习模型中类人推理的一种手段越来越受到关注。该领域的一个流行任务是视觉问答（VQA），其目的是回答有关图像的问题。然而，VQA模型已经被证明可以通过学习问题和答案之间的统计相关性来利用语言偏见，而无需查看图像内容：例如，关于香蕉颜色的问题用黄色来回答，即使图像中的香蕉是绿色的。如果社会偏见（例如，性别歧视、种族主义、残疾歧视等）存在于训练数据中，这个问题可能会导致VQA模型学习有害的定型。出于这个原因，我们调查了五个VQA数据集的性别和种族偏见。在我们的分析中，我们发现，答案的分布是非常不同的问题之间的妇女和男子，以及存在有害的性别陈规定型观念的样本。同样，我们发现特定的种族相关属性代表性不足，而潜在的歧视性样本出现在分析的数据集中。我们的研究结果表明，使用VQA数据集而不考虑和处理潜在有害的刻板印象是有危险的。我们通过提出解决方案来缓解数据集收集过程之前，期间和之后的问题来结束本文。
2022-06-03 cs.CV cs.CY
OAD-Promoter: Enhancing Zero-shot VQA using Large Language Models with Object Attribute Description
针对大语言模型在零样本VQA中存在语言偏差、分布外泛化能力弱的问题，提出OAD-Promoter方法，通过三个模块协同增强视觉输入、补充域外知识，取得了新的SOTA结果。
2025-11-15 cs.AI cs.CV
RadImageNet-VQA: A Large-Scale CT and MRI Dataset for Radiologic Visual Question Answering
Raidium；Université de Paris Cité, Hôpital Européen Georges Pompidou, AP-HP（巴黎西岱大学，乔治·蓬皮杜欧洲医院，AP-HP）；Department of Vascular and Oncological Interventional Radiology, INSERM（血管与肿瘤介入放射学系，法国国家健康与医学研究院）
本文提出RadImageNet-VQA数据集，包含750万张图像和750万个问题-答案对，涵盖异常检测、解剖识别和病理识别三大任务，验证了视觉语言模型在细粒度病理识别上的局限性。
2026-03-30 cs.AI cs.CL cs.CV
Leveraging Visual Question Answering to Improve Text-to-Image Synthesis
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
从文本描述生成图像最近吸引了很多兴趣。虽然目前的模型可以生成单个物体（如鸟类和人脸）的照片级逼真图像，但合成多个物体的图像仍然非常困难。在本文中，我们提出了一种有效的方法，结合文本到图像（T2 I）合成与视觉问答（VQA），以提高图像质量和图文对齐生成的图像，利用VQA 2.0数据集。我们通过连接问题和答案（QA）对来创建额外的训练样本，并采用标准VQA模型为T2 I模型提供辅助学习信号。我们鼓励从QA对生成的图像看起来逼真，并最大限度地减少外部VQA损失。与基线相比，我们的方法将FID从27.84降低到25.38，并将R-prec从83.82%增加到84.79%，这表明使用标准VQA模型可以成功地改进T2 I合成。
2020-10-28 cs.CV
ReLaX-VQA: Residual Fragment and Layer Stack Extraction for Enhancing Video Quality Assessment
School of Computer Science, University of Bristol（布里斯托大学计算机科学学院）
本文提出无参考视频质量评估模型ReLaX-VQA，通过帧差选择时空片段并结合残差网络与视觉Transformer的层级堆叠特征，在四个UGC数据集上取得领先性能。
2025-03-12 cs.CV cs.MM eess.IV
Question Generation for Evaluating Cross-Dataset Shifts in Multi-modal Grounding
University of California, Los Angeles（加州大学洛杉矶分校）
视觉问答（VQA）是回答关于输入图像的自然语言问题的多模态任务。通过跨数据集自适应方法，可以将知识从具有较大训练样本的源数据集转移到训练集有限的目标数据集。假设在一个数据集训练集上训练的VQA模型无法适应另一个数据集，则很难识别域不匹配的根本原因，因为可能存在多种原因，例如图像分布不匹配和问题分布不匹配。在加州大学洛杉矶分校，我们正在开发一个VQG模块，该模块有助于自动生成OOD偏移，从而有助于系统地评估VQA模型的跨数据集适应能力。
2022-01-24 cs.CV
Neighbourhood Representative Sampling for Efficient End-to-end Video Quality Assessment
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；SenseTime Research（商汤科技研究院）
现实世界视频分辨率的提高给深度视频质量评估（VQA）带来了效率和准确性之间的两难境地。一方面，保持原始分辨率将导致不可接受的计算成本。另一方面，现有的做法，如裁剪和剪切，将改变原始视频的质量，由于细节和内容的损失，因此是有害的质量评估。从人类视觉系统和视觉编码理论的时空冗余的研究中获得的洞察力，我们观察到周围的邻域的质量信息通常是相似的，激励我们调查一个有效的质量敏感的邻域代表计划VQA。在这项工作中，我们提出了一个统一的计划，时空网格小立方体采样（St-GMS），以获得一种新的类型的样本，命名为碎片。首先将全分辨率视频划分为具有预设时空网格的迷你立方体，然后对时间对齐的质量代表进行采样以组成作为VQA输入的片段。此外，我们还设计了片段注意力网络（FANet），这是一种专门为片段量身定制的网络架构。利用片段和FANet，所提出的高效端到端FAST-VQA和FasterVQA在所有VQA基准测试中实现了比现有方法更好的性能，同时与当前最先进的技术相比仅需要1/1612 FLOP。代码，模型和演示可在https://github.com/timothyhtimothy/FAST-VQA-and-FasterVQA上获得。
2022-10-11 cs.AI cs.CV cs.MM
Ask4VG: Risk-Aware Question Selection for Reducing Prior-Driven Answers in Medical VQA
School of Microelectronics, Tianjin University, Tianjin 300072, China（天津大学电子工程学院，天津 300072，中国）；DISI, University of Trento, Trento, Italy（特伦托大学DISI研究所，意大利特伦托）；School of Electrical and Information Engineering, Tianjin University, Tianjin 300072, China（天津大学电气与信息工程学院，天津 300072，中国）
提出Ask4VG框架，通过反事实视觉探测估计问题引发的幻觉风险，并重排问题改写以选择更依赖图像证据的问题，从而减少医学VQA中的先验驱动答案。
2026-05-31 cs.CV
WeaQA: Weak Supervision via Captions for Visual Question Answering
Arizona State University（亚利桑那州立大学）
用于训练视觉问答（VQA）模型的方法假设具有人类注释的\textit{Image-Question-Answer}（I-Q-A）三元组的数据集的可用性。这导致了对数据集的严重依赖，并且缺乏对新类型问题和场景的概括。语言先验知识以及注释者主观性导致的偏见和错误已被证明会渗透到根据此类样本训练的VQA模型中。我们研究了模型是否可以在没有任何人类注释的Q-A对的情况下进行训练，而只能使用图像及其相关的文本描述或标题。我们提出了一种方法来训练模型与合成Q-A对产生的字幕程序。此外，我们证明了空间金字塔图像补丁作为一个简单而有效的替代密集和昂贵的对象限界框注释在现有的VQA模型的功效。我们在三个VQA基准上的实验证明了这种弱监督方法的有效性，特别是在VQA-CP挑战中，该挑战测试了在不断变化的语言先验下的性能。
2021-05-28 cs.CL cs.CV
MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource Visual Question Answering
Xi’an Jiaotong University（西安交通大学）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）
本文提出冗余感知参数高效微调方法 MixPHM，通过 PHM 混合专家、低秩重参数化、权重共享与冗余正则化，在低资源 VQA 上持续超过全量微调和现有 PEFT 方法。
2023-06-07 cs.CV
Open-Ended Medical Visual Question Answering Through Prefix Tuning of Language Models
University of Amsterdam（阿姆斯特丹大学）
针对现有医学VQA多为封闭集分类的局限，提出将开放式医学VQA作为生成任务，通过视觉特征转可学习token结合前缀调优的参数高效方法，在多个基准上取得更优性能且计算高效。
2023-07-21 cs.CV
3D-RAD: A Comprehensive 3D Radiology Med-VQA Dataset with Multi-Temporal Analysis and Diverse Diagnostic Tasks
ZJU-Angelalign R&D Center for Intelligence Healthcare（浙江大学智能医疗研发中心）；Zhejiang University（浙江大学）；Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence（浙江省医学影像人工智能重点实验室）；Guangdong Institute of Intelligence Science and Technology（广东省智能科学与技术研究院）
本文提出3D-RAD，一个基于CT扫描的大规模3D医学视觉问答数据集，涵盖六种任务并引入多时间分析，评估显示现有模型泛化能力有限，微调可显著提升性能。
2025-10-27 cs.CV
The Wisdom of MaSSeS: Majority, Subjectivity, and Semantic Similarity in the Evaluation of VQA
SAP SE（SAP公司）；TU Kaiserslautern（凯泽斯劳滕工业大学）；CIMeC - University of Trento（特伦托大学认知与脑科学中心）；DFKI（德国人工智能研究中心）
我们介绍质量，一个简单的评价指标的任务的视觉问答（VQA）。在其标准形式中，VQA任务的操作如下：给定图像和自然语言的开放式问题，系统需要提供合适的答案。目前，模型性能是通过某种简单的度量来评估的：如果预测的答案是由10个注释者中的至少3个选择的，那么它是100%正确的。虽然直观上很有价值，但这个指标有一些重要的局限性。首先，它忽略了预测的答案是否是大多数（MA）注释者选择的答案。其次，它没有考虑样本（和数据集）中答案的定量主观性（S）。第三，关于响应的语义相似度（SES）的信息被完全忽略。基于这样的限制，我们提出了一个多分量的度量，占所有这些问题。我们表明，我们的度量是有效的，在定量和定性层面上提供更细粒度的评价。
2018-09-12 cs.AI cs.CL cs.CV
RS-OPSD: Reliable Privileged On-Policy-Self-Distillation for Ultra-High-Resolution Remote Sensing VQA
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Central University of Finance and Economics（中央财经大学）；East China Normal University（华东师范大学）；Key Laboratory of Geographic Information Science（地理信息科学重点实验室）
针对超高分辨率遥感VQA中微小证据解析难题，提出RS-OPSD框架，通过特权在线自蒸馏将视觉特权内化，无需推理时额外搜索，构建GeoEvidence-6K数据集并引入CPVP与CAD，在多个基准上平均提升4.0个百分点，2B变体超越多数8B模型。
2026-10-01 cs.CV
Uni-NLX: Unifying Textual Explanations for Vision and Vision-Language Tasks
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（比利时微电子研究中心）
Uni-NLX提出一个统一的多任务框架，将七类视觉及视觉-语言NLE任务整合到单一模型中，并引入ImageNetX和VQA-ParaX两个新数据集，以7倍更少参数实现与独立模型相当甚至更优的性能。
2023-09-19 cs.CV
REKEY: Metadata-Grounded Visual-Key Regeneration for Contamination-Resilient VQA Evaluation
Zhejiang University（浙江大学）；ETH Zürich（苏黎世联邦理工学院）；Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；University of Waterloo（滑铁卢大学）；Binjiang Institute of Zhejiang University（浙江大学滨江研究院）
提出ReKey协议，通过随机再生图像中的视觉键来防止VQA基准测试泄露，实验显示原始项目得分比再生变体高9.5-18.8个百分点。
2026-06-23 cs.CV
QIRL: Optimized Question-Image Relation Learning for Bias-Robust Visual Question Answering
School of Computer Science and Engineering, Macau University of Science and Technology（澳门科技大学计算机科学与工程学院）；Hubei Key Laboratory of Transportation Internet of Things, School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；State Key Laboratory of Maritime Technology and Safety, Wuhan University of Technology（武汉理工大学）；School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院）；Macau University of Science and Technology Zhuhai MUST Science and Technology Research Institute（澳门科技大学珠海澳科大科技研究院）
该研究针对现有VQA偏差缓解方法的两大局限，提出QIRL框架，通过NIG与ISI模块结合生成驱动自监督学习，在VQA-CPv2和VQA-v2数据集上取得最优性能，可适配各类VQA架构。
2026-08-25 cs.CV
Explanation vs Attention: A Two-Player Game to Obtain Attention for VQA
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
在本文中，我们的目标是获得视觉问答（VQA）任务的改善注意。为注意力提供监督是具有挑战性的。我们的观察是，通过类激活映射（特别是Grad-CAM）获得的视觉解释，旨在解释各种网络的性能，可以形成一种监督手段。然而，由于注意力地图和Grad-CAM的分布不同，直接使用它们作为监督形式是不合适的。相反，我们建议使用一种旨在区分视觉解释和注意力地图样本的方法。使用注意力区域的对抗性训练作为注意力和解释之间的两人游戏，可以使注意力地图和视觉解释的分布更接近。值得注意的是，我们观察到，提供这样一种监督手段也会导致注意力地图与人类注意力更密切相关，从而比基线堆叠注意力网络（SAN）模型有实质性的改进。它也导致在VQA任务的秩相关度量的一个很好的改善。该方法也可以与最近的基于MCB的方法相结合，并得到一致的改进。我们还提供了与其他学习分布的方法的比较，例如基于相关对齐（Coral），最大平均离散（MMD）和均方误差（MSE）损失，并观察到对抗性损失优于其他形式的学习注意力地图。结果的可视化也证实了我们的假设，即注意力地图使用这种形式的监督改善。
2019-11-19 cs.CV cs.LG cs.MM
Rethinking Data Augmentation for Robust Visual Question Answering
Columbia University（哥伦比亚大学）；Zhejiang University（浙江大学）
数据增强（DA）--在原始训练集之外生成额外的训练样本--已被广泛用于当今无偏的VQA模型中，以减轻语言偏见。目前主流的DA策略是基于合成的方法，通过编辑一些视觉区域/单词或从头开始重新生成新的样本来合成新的样本。然而，这些合成的样本总是不自然的并且容易出错。为了避免这个问题，最近的DA工作通过随机配对原始图像和其他人类书写的问题来组成新的增强样本。不幸的是，为了保证增强样本具有合理的地面真理答案，他们手动设计了一套启发式规则，这极大地限制了其泛化能力。为此，我们提出了一个新的知识蒸馏为VQA的数据增强，被称为KDDAug。具体来说，我们首先放宽了合理的图像问题对的要求，这可以很容易地应用于任何问题类型。然后，我们设计了一个基于知识蒸馏（KD）的答案分配，以产生伪答案的所有组成的图像问题对，这是鲁棒的域内和外的分布设置。由于KDDAug是一种与模型无关的DA策略，因此它可以无缝地集成到任何VQA架构中。对多个主干和基准的广泛消融研究已经证明了KDDAug的有效性和推广能力。
2022-09-15 cs.AI cs.CL cs.CV
Mind the Uncertainty in Human Disagreement: Evaluating Discrepancies between Model Predictions and Human Responses in VQA
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究聚焦VQA任务，基于人类分歧不确定性水平分类样本，采用新指标评估SOTA模型与人类回答分布的关联，发现普通校准会拉大差距，而人类校准可提升对齐效果，指出该对齐问题应成为未来研究重点。
2024-09-17 cs.AI cs.CL cs.CV
Towards More Faithful Natural Language Explanation Using Multi-Level Contrastive Learning in VQA
Xidian University（西安电子科技大学）
针对VQA中自然语言解释不忠实的问题，提出多层级对比学习模型MCLE，通过语义、图像和实例级事实与反事实样本对齐特征，提升解释与答案及图像的一致性。
2023-12-21 cs.AI cs.CL cs.CV
Barlow constrained optimization for Visual Question Answering
KU Leuven（鲁汶大学）；ETH Zürich（苏黎世联邦理工学院）
视觉问答是一种视觉和语言的多模态任务，其目的是从问题和图像模态中预测给定样本的答案。大多数最近的方法专注于学习图像和问题的良好联合嵌入空间，通过改善这两种模式之间的相互作用，或者通过使其成为更具判别性的空间。然而，这个关节空间的信息量如何，还没有得到很好的探索。在本文中，我们提出了一种新的正则化VQA模型，约束优化使用巴洛理论（COB），提高了联合空间的信息含量，通过最小化冗余。它减少了学习的特征组件之间的相关性，从而解开语义概念。我们的模型还将联合空间与答案嵌入空间对齐，在那里我们将答案和图像+问题视为本质上是相同语义信息的两个不同的“视图”。我们提出了一个约束优化策略来平衡分类和冗余最小化的力量。当建立在最先进的GGE模型上时，所产生的模型在VQA-CP v2和VQA v2数据集上分别将VQA准确性提高了1.4%和4%。该模型还具有更好的可解释性。
2022-03-07 cs.CV
