The Impact of Explanations on AI Competency Prediction in VQA
UC San Diego(加州大学圣地亚哥分校);SRI International(SRI国际研究院)
可解释性是在AI系统中建立信任的关键要素之一。在众多使人工智能可解释的尝试中,量化解释的效果仍然是进行人类-人工智能协作任务的挑战。除了预测人工智能整体行为的能力之外,在许多应用中,用户还需要了解人工智能智能体在任务域不同方面的能力。在本文中,我们评估的影响解释用户的心理模型的人工智能智能体能力内的任务视觉问答(VQA)。我们量化用户的理解能力,基于实际系统性能和用户排名之间的相关性。我们介绍了一个可解释的VQA系统,使用空间和对象的功能,并提供动力的BERT语言模型。每组用户只看到一种解释来对VQA模型的能力进行排名。该模型通过被试间实验进行评估,以探讨解释对用户能力感知的影响。两个VQA模型之间的比较表明,基于BERT的解释和使用对象的功能,提高了用户的预测模型的能力。
2020-07-02 cs.AI cs.CV cs.HC
Found a Reason for me? Weakly-supervised Grounded Visual Question Answering using Capsules
CRCV University of Central Florida(中佛罗里达大学计算机视觉研究中心);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
VQA任务的基础问题最近在研究界引起了越来越多的关注,大多数尝试通常集中在使用预先训练的对象检测器来解决这个任务。然而,预先训练的对象检测器需要限界框注释来检测词汇表中的相关对象,这对于现实生活中的大规模应用可能并不总是可行的。在本文中,我们专注于一个更轻松的设置:通过单独训练VQA任务,以弱监督的方式对相关视觉实体进行接地。为了解决这个问题,我们提出了一个视觉胶囊模块与基于查询的选择机制的胶囊功能,允许模型专注于相关区域的基础上的文本线索的视觉信息的问题。我们表明,在现有的VQA系统中集成建议的胶囊模块显着提高了他们的弱监督接地任务的性能。总的来说,我们在两个最先进的VQA系统上证明了我们的方法的有效性,堆叠的NMN和MAC,在CLEVR-Answers基准测试上,我们的新评估集基于CLEVR场景,具有与正确答案相关的对象的真实边界框,以及GQA,一个真实世界的VQA数据集,具有组成问题。我们表明,与建议的胶囊模块的系统始终优于各自的基线系统在回答接地,同时实现VQA任务的性能相当。
2021-05-11 cs.CV
Towards More Faithful Natural Language Explanation Using Multi-Level Contrastive Learning in VQA
Xidian University(西安电子科技大学)
针对VQA中自然语言解释不忠实的问题,提出多层级对比学习模型MCLE,通过语义、图像和实例级事实与反事实样本对齐特征,提升解释与答案及图像的一致性。
2023-12-21 cs.AI cs.CL cs.CV
Retrieval-Augmented Natural Language Reasoning for Explainable Visual Question Answering
Kyung Hee University(庆熙大学)
本文提出ReRe模型,通过检索增强自然语言推理,在不依赖复杂网络和额外数据集的情况下提升视觉问答准确率与解释质量。
2024-08-30 cs.CV
Tell-and-Answer: Towards Explainable Visual Question Answering using Attributes and Captions
University of Science and Technology of China(中国科学技术大学);Microsoft Research, Beijing, China(微软研究院(北京,中国));University of Rochester, Rochester, NY(罗切斯特大学(罗切斯特,纽约州))
视觉问答(VQA)已经引起了计算机视觉和自然语言处理社区的关注。大多数现有的方法采用通过预训练的CNN表示图像的管道,然后使用不可解释的CNN特征结合问题来预测答案。尽管这样的端到端模型可能会报告有希望的性能,但除了答案之外,它们很少提供对VQA过程的任何见解。在这项工作中,我们建议将端到端VQA分解为两个步骤:解释和推理,试图通过揭示这两个步骤之间的中间结果来实现更可解释的VQA。为此,我们首先提取属性和生成描述作为图像的解释,分别使用预先训练的属性检测器和图像描述模型。接下来,推理模块利用这些解释代替图像来推断问题的答案。这种分解的优点包括:(1)属性和标题可以反映系统从图像中提取的内容,从而可以为预测的答案提供一些解释;(2)这些中间结果可以帮助我们识别图像理解部分和答案推理部分在预测答案错误时的无能。我们进行了广泛的实验,一个流行的VQA数据集和解剖所有的结果,根据几个测量的解释质量。我们的系统实现了与最先进的性能相当的性能,但具有可解释性的额外好处和通过更高质量的解释进一步改进的内在能力。
2018-01-27 cs.CV
Generating and Evaluating Explanations of Attended and Error-Inducing Input Regions for VQA Models
SRI International(SRI国际);University of California, San Diego(加州大学圣地亚哥分校)
注意力地图是一种流行的基于热图的视觉问答(VQA)解释方法,旨在通过突出显示模型用于推断答案的图像/问题的部分来帮助用户理解模型。然而,我们看到用户经常被当前的注意力地图可视化误导,尽管模型产生了错误的答案,但这些可视化指向相关区域。因此,我们提出了错误映射,通过突出显示模型容易出错的图像区域来澄清错误。错误映射可以指示何时正确关注的区域可能被不正确地处理,从而导致不正确的答案,并且因此提高用户对这些情况的理解。为了评估我们的新解释,我们进一步引入了一个度量,模拟用户的解释,以评估其潜在的帮助理解模型的正确性。最后,我们进行用户研究,看看我们的新的解释,帮助用户理解模型的正确性比基线预期的30%,我们的代理有用性指标密切相关($ρ>0.97$),以及用户可以预测模型的正确性。
2021-10-25 cs.AI cs.CV cs.CY
Medical visual question answering using joint self-supervised learning
IBM Research China(IBM中国研究院);IBM Research, Almaden Research Center(IBM研究院阿尔马登研究中心)
视觉问答(VQA)是医学影像领域最活跃的研究课题之一。一个众所周知的VQA挑战是图像和文本模态之间的内在多样性,在医疗VQA任务中,还有另一个关键问题依赖于有限大小的标记图像-问题-答案数据。在这项研究中,我们提出了一个编码器-解码器框架,利用从大规模医学图像字幕数据中学习的图像-文本联合表示,并适应于小型医疗VQA任务。该编码器通过自注意力机制嵌入图像-文本双模态,并通过多个自监督学习任务在大规模医学图像-字幕数据集上独立地进行预训练。然后将解码器连接到编码器的顶部,并使用小型医疗VQA数据集进行微调。实验结果表明,我们提出的方法取得了更好的性能相比,基线和SOTA方法。
2023-02-25 cs.AI cs.CV
Uni-NLX: Unifying Textual Explanations for Vision and Vision-Language Tasks
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
Uni-NLX提出一个统一的多任务框架,将七类视觉及视觉-语言NLE任务整合到单一模型中,并引入ImageNetX和VQA-ParaX两个新数据集,以7倍更少参数实现与独立模型相当甚至更优的性能。
2023-09-19 cs.CV
SelfGraphVQA: A Self-Supervised Graph Neural Network for Scene-based Question Answering
University of Campinas(坎皮纳斯大学);University of Oslo(奥斯陆大学)
针对现有基于标注场景图的VQA方法泛化性差的问题,提出SelfGraphVQA自监督框架,通过语义保持增强与非归一化对比学习优化图表示,结合三种最大化策略提升性能,提供了更实用的场景图VQA解决方案。
2023-10-03 cs.CV
Self-supervised vision-language pretraining for Medical visual question answering
Harbin Engineering University(哈尔滨工程大学);Monash University(莫纳什大学)
医学图像视觉问答(VQA)是在给定的射线图像下回答临床问题的任务,这是一个具有挑战性的问题,需要一个模型来集成视觉和语言信息。为了解决训练数据数量有限的医学VQA问题,预训练-微调范式被广泛用于提高模型的泛化能力。在本文中,我们提出了一种自监督的方法,应用掩码图像建模,屏蔽语言建模,图像文本匹配和图文对齐通过对比学习(M2 I2)的预训练的医学图像字幕数据集,并微调到下游的医学VQA任务。所提出的方法在所有三个公共医疗VQA数据集上实现了最先进的性能。我们的代码和型号可在https://github.com/pengfeiliHEU/M2I2上获得。
2022-11-24 cs.AI cs.CV
On the Flip Side: Identifying Counterexamples in Visual Question Answering
Harvard University(哈佛大学)
视觉问答(VQA)模型响应关于图像的开放式自然语言问题。虽然VQA是一个越来越受欢迎的研究领域,但目前还不清楚当前的VQA架构在多大程度上学习了视觉相似图像之间的关键语义差异。为了研究这个问题,我们探索了VQA任务的重新表述,该任务挑战模型以识别反例:导致原始问题不同答案的图像。我们介绍了两种方法来评估现有的VQA模型对监督反例预测任务,VQA-CX。虽然我们的模型超过了VQA-CX上现有的基准,但我们发现,现有的最先进的VQA模型所学习的多模态表示并没有对这项任务的性能做出有意义的贡献。这些结果对VQA基准测试的成功表现表明一般视觉语义推理能力的假设提出了质疑。
2018-07-24 cs.CV
Towards Efficient and Robust VQA-NLE Data Generation with Large Vision-Language Models
Institut Teknologi Bandung(万隆理工学院);Capital One(第一资本金融公司);The Hong Kong University of Science and Technology(香港科技大学)
针对现有VQA-NLE数据集构建依赖高成本人工标注的问题,本研究提出利用大视觉语言模型结合先进提示技术生成合成数据的方法,速度最高快20倍且质量接近人工标注,还验证了视觉提示的提升作用,为多模态NLE数据自动生成提供了高效鲁棒的方案。
2024-12-09 cs.CL cs.CV
VQA with no questions-answers training
Weizmann Institute of Science(魏茨曼科学研究所)
近年来,教机器回答视觉问题的方法取得了重大进展,但目前的方法仍然缺乏重要的人类能力,包括以模块化方式集成新的视觉类和概念,为答案提供解释,以及在没有明确示例的情况下处理新领域。我们提出了一种新的方法,包括两个主要部分:生成一个问题图表示,和回答过程,引导的抽象结构的问题图调用一组可扩展的视觉估计。训练是针对语言部分和视觉部分本身进行的,但与现有方案不同,该方法不需要使用具有相关问题和答案的图像进行任何训练。这种方法是能够处理新的域(扩展的问题类型和新的对象类,属性和关系),只要相应的视觉估计。此外,它还可以为答案提供解释,并在问题不以图像为基础时提出替代方案。我们证明,这种方法实现了高性能和域的可扩展性,没有任何问答训练。
2020-05-26 cs.CV
Explanation vs Attention: A Two-Player Game to Obtain Attention for VQA
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
在本文中,我们的目标是获得视觉问答(VQA)任务的改善注意。为注意力提供监督是具有挑战性的。我们的观察是,通过类激活映射(特别是Grad-CAM)获得的视觉解释,旨在解释各种网络的性能,可以形成一种监督手段。然而,由于注意力地图和Grad-CAM的分布不同,直接使用它们作为监督形式是不合适的。相反,我们建议使用一种旨在区分视觉解释和注意力地图样本的方法。使用注意力区域的对抗性训练作为注意力和解释之间的两人游戏,可以使注意力地图和视觉解释的分布更接近。值得注意的是,我们观察到,提供这样一种监督手段也会导致注意力地图与人类注意力更密切相关,从而比基线堆叠注意力网络(SAN)模型有实质性的改进。它也导致在VQA任务的秩相关度量的一个很好的改善。该方法也可以与最近的基于MCB的方法相结合,并得到一致的改进。我们还提供了与其他学习分布的方法的比较,例如基于相关对齐(Coral),最大平均离散(MMD)和均方误差(MSE)损失,并观察到对抗性损失优于其他形式的学习注意力地图。结果的可视化也证实了我们的假设,即注意力地图使用这种形式的监督改善。
2019-11-19 cs.CV cs.LG cs.MM
CLEVR-X: A Visual Reasoning Dataset for Natural Language Explanations
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
在视觉问答(VQA)的背景下提供解释是机器学习中的一个基本问题。为了详细了解为VQA生成自然语言解释的过程,我们引入了大规模CLEVR-X数据集,该数据集扩展了CLEVR数据集,并提供了自然语言解释。对于CLEVR数据集中的每个图像-问题对,CLEVR-X包含多个结构化的文本解释,这些解释来自原始场景图。通过构造,CLEVR-X解释是正确的,并描述了回答给定问题所需的推理和视觉信息。我们进行了一项用户研究,以确认我们提出的数据集中的地面实况解释确实是完整和相关的。我们目前的基准结果生成自然语言解释的背景下,VQA使用两个国家的最先进的框架上的CLEVR-X数据集。此外,我们提供了一个详细的分析不同的问题和答案类型的解释生成质量。此外,我们研究了使用不同数量的地面实况解释对自然语言生成(NLG)度量收敛的影响。CLEVR-X数据集可在\url{https://explainableml.github.io/CLEVR-X/}上公开获取。
2022-04-05 cs.CL cs.CV
Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition
本文提出SSL-V3方法,通过结合对比学习和无参考视频质量评估,提升视频分类的准确性和鲁棒性。
2026-03-11 cs.CV
Faithful Multimodal Explanation for Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
人工智能系统解释其推理的能力对其实用性和可信度至关重要。深度神经网络在许多具有挑战性的问题上取得了重大进展,例如视觉问答(VQA)。然而,其中大多数是不透明的黑匣子,解释能力有限。本文提出了一种新的方法来开发一个高性能的VQA系统,可以阐明它的答案与集成的文本和视觉解释,忠实地反映其基本推理的重要方面,同时捕捉可理解的人类解释的风格。广泛的实验评估表明,这种方法的优势相比,竞争的方法与自动评估指标和人类的评估指标。
2019-06-03 cs.CL cs.CV
Self-Critical Reasoning for Robust Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)深度学习系统由于强语言先验而倾向于捕获训练数据中的表面统计相关性,并且无法推广到具有显著不同的问答(QA)分布的测试数据。为了解决这个问题,我们引入了一个自我批判的训练目标,确保正确答案的视觉解释比其他竞争性答案候选人更匹配最有影响力的图像区域。有影响力的区域要么是从人类视觉/文本解释中确定的,要么是从问题和答案中的重要单词中自动确定的。我们使用VQA-CP数据集评估我们在VQA泛化任务上的方法,实现了一个新的最先进的方法,即,49.5%使用文本解释,48.5%使用自动注释区域。
2019-12-30 cs.CL cs.CV
Continual VQA for Disaster Response Systems
Pune Institute of Computer Technology(浦那计算机技术学院);Manipal Institute of Technology(马尼帕尔理工学院)
视觉问答(VQA)是一种多模态任务,它涉及从输入图像中回答问题,从语义上理解图像的内容,并用自然语言回答。使用VQA进行灾难管理是一个重要的研究路线,由于VQA系统所回答的问题的范围。然而,主要的挑战是受影响地区评估中标签的生成造成的延误。为了解决这个问题,我们部署了预训练的CLIP模型,该模型是在视觉图像对上训练的。然而,我们凭经验看到该模型具有较差的zero-shot性能。因此,我们使用来自该模型的文本和图像的预训练嵌入进行监督训练,并超越了FloodNet数据集上以前的最先进结果。我们将其扩展到一个持续的设置,这是一个更真实的场景。我们使用各种经验回放方法来解决灾难性遗忘的问题。我们的培训运行可在:https://wandb.ai/compyle/continual_vqa_final.我们的代码可在https://github.com/AdityaKane2001/continual_vqa上获得。
2022-11-10 cs.CV
Knowledge Guided Semi-Supervised Learning for Quality Assessment of User Generated Videos
Indian Institute of Science(印度科学理工学院)
针对UGC视频质量评估依赖大量标注的问题,提出自监督ST-VQRL特征学习与双模型半监督SSL-VQA方法,通过知识迁移在有限标注下提升性能约10%,结合未标注数据提升约15%。
2023-12-24 cs.CV cs.LG
HIDRO-VQA: High Dynamic Range Oracle for Video Quality Assessment
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出HIDRO-VQA,一种基于自监督对比微调的无参考视频质量评估模型,将SDR特征迁移至HDR域,在LIVE-HDR数据库上达到最先进性能,并支持全参考扩展。
2023-12-20 cs.CV cs.MM eess.IV
Multi-Task Learning for Visually Grounded Reasoning in Gastrointestinal VQA
School of Mathematics and Computer Science, Institute of Business Administration (IBA), Karachi, Pakistan(数学与计算机科学学院,商学院(IBA),巴基斯坦卡里奇)
本文提出一个面向胃肠医学VQA的多任务框架,通过LoRA微调Florence-2并联合学习问答、解释生成与视觉grounding,在答案准确性和视觉定位上显著优于单任务基线。
2025-11-06 cs.CV cs.LG
SparrowVQE: Visual Question Explanation for Course Content Understanding
Yeshiva University(叶史瓦大学);Artificial Intelligence Graduate(人工智能研究生院)
本文提出视觉问题解释(VQE)任务及30亿参数多模态模型SparrowVQE,通过三阶段训练机制结合视觉与文本信息,在自建MLVQE数据集及五个基准VQA数据集上均优于现有方法。
2024-11-12 cs.CL cs.CV
VinDr-CXR-VQA: A Visual Question Answering Dataset for Explainable Chest X-Ray Analysis with Multi-Task Learning
College of Engineering and Computer Science(工程与计算机科学学院);VinUniversity(Vin大学);VinUni-Illinois Smart Health Center(VinUni-伊利诺伊智能健康中心);Vietnam National Cancer Hospital(越南国家癌症医院);The Computer Vision and Medical AI Lab(计算机视觉与医学人工智能实验室)
本文提出VinDr-CXR-VQA数据集,包含17,597个带空间定位和临床推理标注的胸部X光问答对,并通过平衡正负样本和MedGemma-4B-it基准测试,推动可解释医学视觉问答研究。
2025-11-09 cs.CV
Overcoming Language Priors with Self-supervised Learning for Visual Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);University of Science and Technology of China(中国科学技术大学)
大多数视觉问答(VQA)模型存在语言先验问题,这是由固有的数据偏差引起的。具体来说,VQA模型倾向于回答问题(例如,香蕉是什么颜色的?基于高频答案(例如,黄色)忽略图像内容。现有的方法通过创建精细的模型或引入额外的视觉注释来解决这个问题,以减少问题依赖性,同时加强图像依赖性。然而,他们仍然受到语言先验问题,因为数据偏差甚至没有得到缓解。在本文中,我们引入了一个自监督学习框架来解决这个问题。具体地说,我们首先自动生成标记数据来平衡有偏数据,并提出一个自监督的辅助任务,利用平衡的数据来帮助基础VQA模型克服语言先验。我们的方法可以通过生成平衡的数据来补偿数据偏差,而无需引入外部注释。实验结果表明,我们的方法可以显着优于国家的最先进的,提高整体准确率从49.50%到57.59%,最常用的基准VQA-CP v2。换句话说,我们可以将基于注释的方法的性能提高16%,而无需使用外部注释。
2020-12-17 cs.CV cs.MM
VietMEAgent: Culturally-Aware Few-Shot Multimodal Explanation for Vietnamese Visual Question Answering
Faculty Of Information Technology, VNU University of Engineering and Technology(信息科技学院,越南工程与技术大学);IT-BT Convergence Technology Division, Vietnam-Korea Institute of Science and Technology(IT-BT融合技术部,越南-韩国科学技术院);TADI Global Lab, TADI Global Company Limited(TADI全球实验室,TADI全球公司);Faculty of Finance, Banking Academy of Vietnam(金融学院,越南银行学院)
针对当代VQA系统在越南文化特定内容上的限制,本文提出VietMEAgent多模态可解释框架,通过集成文化对象检测、结构化程序生成层及双模态解释模块,结合越南文化实体知识库,提升文化理解能力并提供透明解释。
2025-11-12 cs.CV
An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA
Microsoft Corporation(微软公司)
基于知识的视觉问答(VQA)涉及回答需要图像中不存在的外部知识的问题。现有的方法首先从外部资源中检索知识,然后对所选择的知识、输入图像和问题进行推理以预测答案。然而,这种两步方法可能会导致失配,从而可能限制VQA性能。例如,检索到的知识可能是嘈杂的和无关的问题,在推理过程中重新嵌入的知识特征可能会偏离其在知识库(KB)中的原始含义。为了解决这一挑战,我们提出了PICa,一个简单而有效的方法,通过使用图像标题,基于知识的VQA,验证GPT 3。受GPT-3在知识检索和问答中的强大功能的启发,我们将GPT-3视为一个隐式和非结构化的知识库,而不是像以前的工作那样使用结构化知识库,可以联合获取和处理相关知识。具体来说,我们首先将图像转换为GPT-3可以理解的标题(或标签),然后通过仅提供一些上下文VQA示例,以Few-Shot的方式调整GPT-3以解决VQA任务。我们通过仔细研究来进一步提高性能:(i)什么文本格式最好地描述图像内容,以及(ii)如何更好地选择和使用上下文示例。PICa开启了GPT-3在多模式任务中的首次使用。通过仅使用16个示例,PICa在OK-VQA数据集上的绝对值为+8.6点,超过了最先进的监督水平。我们还在VQAv 2上对PICa进行了基准测试,其中PICa也显示出不错的Few-Shot性能。
2022-09-14 cs.CV
Learning Perceptual Representations for Gaming NR-VQA with Multi-Task FR Signals
National Yang Ming Chiao Tung University;The University of Texas at Austin;Netflix Inc.
本文提出MTL-VQA,通过多任务学习框架利用全参考信号学习感知特征,有效提升游戏视频无参考质量评估的性能。
2026-08-17 cs.CV cs.MM eess.IV
Robust Explanations for Visual Question Answering
Indian Institute of Technology, Kanpur(坎普尔印度理工学院)
在本文中,我们提出了一种方法来获得强大的解释视觉问答(VQA)的答案相关性很好。我们的模型通过提供视觉和文本解释来解释通过VQA模型获得的答案。我们解决的主要挑战是:i)通过当前方法获得的答案和文本解释没有很好的相关性; ii)当前的视觉解释方法没有关注解释答案的正确位置。我们通过使用协作相关模块来解决这两个挑战,该模块确保即使我们不针对基于噪声的攻击进行训练,增强的相关性也确保可以生成正确的解释和答案。我们进一步表明,这也有助于改善生成的视觉和文本解释。相关模块的使用可以被认为是一种验证答案和解释是否一致的鲁棒方法。我们使用VQA-X数据集评估该模型。我们观察到,所提出的方法产生更好的文本和视觉的理由,支持的决定。我们展示了该模型对基于噪声的扰动攻击的鲁棒性,使用相应的视觉和文本解释。详细的实证分析显示。这里我们提供了模型\url{https://github.com/DelTA-Lab-IITK/CCM-WACV}的源代码链接。
2020-01-23 cs.AI cs.CL cs.CV
Better Supervised Fine-tuning for VQA: Integer-Only Loss
ByteDance(字节跳动)
本文提出IOVQA微调方法,通过将VQA标签限制为[10,50]整数并仅对标签前两位整数计算损失,显著提升Qwen2.5-VL在视频质量评估中的准确性与一致性,并在VQualA 2025赛道I中获第3名。
2025-08-15 cs.AI cs.CV
Overcoming Data Limitation in Medical Visual Question Answering
AIOZ Pte Ltd(AIOZ私人有限公司);University of Liverpool(利物浦大学)
传统的视觉问答(VQA)方法需要大量的标注数据进行训练。不幸的是,这种大规模的数据通常是不可用的医学领域。在本文中,我们提出了一种新的医疗VQA框架,克服了标记数据的限制。该框架探讨了无监督去噪自动编码器(DAE)和有监督元学习的使用。DAE的优点是利用大量未标记的图像,而元学习的优点是学习元权重,快速适应有限标记数据的VQA问题。通过利用这些技术的优点,它允许使用小的标记训练集来有效地训练所提出的框架。实验结果表明,我们提出的方法显着优于国家的最先进的医疗VQA。
2019-09-26 cs.CV
Beyond the Leaderboard: Design Lessons for Trustworthy Multimodal VQA
以MediaEval Medico 2025为案例,分析九个多模态问答系统,发现预训练主干的参数高效适应虽有挑战性能,但答案提升未转化为完整临床推理,结构化推理等方法更可靠,结果促使多方面改进,支持可信多模态医疗保健人工智能。
2026-07-17 cs.CL cs.CV
SC-ML: Self-supervised Counterfactual Metric Learning for Debiased Visual Question Answering
Nanjing University of Information Science and Technology(南京信息工程大学);Inria(法国国家信息与自动化研究所);Universite Paris-Saclay(巴黎萨克雷大学);Southeast University(东南大学)
针对VQA中的语言偏置问题,提出自监督反事实度量学习方法SC-ML,通过自适应选择问题相关视觉特征并融入反事实训练方案,在VQA-CP数据集上有效提升了模型去偏性能与鲁棒性。
2023-04-04 cs.AI cs.CV
GEMeX: A Large-Scale, Groundable, and Explainable Medical VQA Benchmark for Chest X-ray Diagnosis
The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学);Sichuan University(四川大学);West China Hospital of Sichuan University(四川大学华西医院);Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所)
针对现有医学视觉问答数据集缺乏解释、问题形式单一的问题,提出大规模可解释胸部X线诊断基准GEMeX,评估显示现有大视觉语言模型性能欠佳,微调后模型性能提升验证了数据集有效性。
2025-03-23 cs.AI cs.CV
OpenView: Empowering MLLMs with Out-of-view VQA
Monash University(墨尔本大学);The Chinese University of Hong Kong(香港中文大学)
OpenView通过全景图像生成多选VQA,提升大规模语言模型在视图外视觉问答任务中的性能。
2026-11-09 cs.CV
MedXplain-VQA: Multi-Component Explainable Medical Visual Question Answering
Faculty Of Information Technology VNU University of Engineering(信息科技学院越南工程大学);IT-BT Convergence Technology Division Vietnam-Korea Institute of Science(IT-BT融合技术部门越南-韩国科学技术院);TADI Global Lab TADI Global Company Limited(TADI全球实验室TADI全球有限公司);Faculty of Finance Banking Academy of Vietnam(金融学院越南银行学院)
MedXplain-VQA提出整合五个可解释AI组件的医学视觉问答框架,在PathVQA上综合得分从0.378提升至0.683,实现透明诊断推理。
2025-10-26 cs.CV
EBMs vs. CL: Exploring Self-Supervised Visual Pretraining for Visual Question Answering
University of Adelaide(阿德莱德大学);Amazon(亚马逊);Idiap Research Institute(Idiap研究所)
干净和多样的标记数据的可用性是训练模型进行复杂任务(如视觉问答(VQA))的主要障碍。对大型视觉和语言模型的大量研究表明,自监督学习对于预训练多模态交互是有效的。在这份技术报告中,我们专注于视觉表现。我们审查和评估自我监督方法,以利用未标记的图像并预训练模型,然后在自定义VQA任务上进行微调,以允许受控的评估和诊断。我们比较了基于能量的模型(EBM)和对比学习(CL)。虽然循证医学越来越受欢迎,但它们缺乏对下游任务的评估。我们发现EBM和CL都可以从未标记的图像中学习表示,从而能够在很少的注释数据上训练VQA模型。在一个类似于CLEVR的简单设置中,我们发现CL表示也提高了系统的泛化能力,甚至可以与来自更大的、有监督的、ImageNet预训练模型的表示的性能相匹配。然而,我们发现循证医学是难以训练,因为不稳定性和高变异性,在他们的结果。虽然EBM被证明对OOD检测有用,但基于监督的能量训练和不确定性校准的其他结果在很大程度上是负面的。总的来说,合作法目前似乎比循证医学更可取。
2022-06-29 cs.CL cs.CV cs.LG
Pathological Visual Question Answering
University of California San Diego(加利福尼亚大学圣地亚哥分校);Tsinghua University(清华大学);Wuhan University(武汉大学);Beijing University of Technology(北京工业大学);Carnegie Mellon University(卡内基梅隆大学)
有没有可能培养出“AI病理学家”,通过美国病理学委员会(ABP)的委员会认证考试?要建立这样一个系统,需要解决三个挑战。首先,我们需要创建一个可视化的问答(VQA)数据集,其中向人工智能智能体提供病理图像和一个问题,并要求它给出正确的答案。由于隐私问题,病理图像通常不公开。此外,只有训练有素的病理学家才能理解病理图像,但他们几乎没有时间帮助创建用于人工智能研究的数据集。第二个挑战是:由于很难雇用经验丰富的病理学家来创建病理学可视问题和答案,因此所得到的病理学VQA数据集可能包含错误。使用这些噪声甚至错误的数据训练病理学VQA模型将导致有问题的模型,这些模型不能很好地概括看不见的图像。第三个挑战是:病理学问题-答案(QA)对中所涵盖的医学概念和知识非常多样化,而可用于建模训练的QA对的数量是有限的。如何在有限的数据基础上学习不同医学概念的有效表示在技术上是苛刻的。在本文中,我们的目标是解决这三个挑战。据我们所知,我们的工作代表了第一个解决病理VQA问题。为了解决缺乏公开可用的病理学VQA数据集的问题,我们创建了PathVQA数据集。为了解决第二个挑战,我们提出了一个学习忽略的方法。为了解决第三个挑战,我们建议使用跨模态自监督学习。我们在我们创建的PathVQA数据集上进行了实验,结果证明了我们提出的忽略学习方法和跨模态自监督学习方法的有效性。
2020-10-06 cs.CV
MMBERT: Multimodal BERT Pretraining for Improved Medical VQA
IIIT Hyderabad(海得拉巴国际信息技术学院)
医学领域的图像与一般领域的图像有着本质的不同。因此,它是不可行的,直接采用一般领域的视觉问答(VQA)模型的医疗领域。此外,医学图像注释是一个昂贵且耗时的过程。为了克服这些限制,我们提出了一个解决方案,灵感来自于对NLP,Vision和语言任务的Transformer风格架构的自我监督预训练。我们的方法涉及学习更丰富的医学图像和文本的语义表示使用掩码语言建模(MLM)与图像特征作为借口任务的大型医学图像+字幕数据集。该解决方案在两个放射学图像VQA数据集(VQA-Med 2019和VQA-RAD)上实现了新的最先进性能,甚至优于以前最佳解决方案的集成模型。此外,我们的解决方案提供了注意力地图,有助于模型的可解释性。代码可在https://github.com/VirajBagal/MMBERT上获得
2021-04-03 cs.CL cs.CV cs.LG
Towards Unified Video Quality Assessment
本文提出统一VQA框架,通过诊断混合专家问题实现通用视频质量评估,提供可解释的质量评分和缺陷向量,优于多种基准方法。
2025-12-01 cs.CV
Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering
University of Pennsylvania(宾夕法尼亚大学)
针对多模态大模型视觉问答可解释性不足的问题,提出设计即可解释的动态线索瓶颈模型DCLUB,通过先输出视觉线索再生成答案实现决策可追溯,在推理类问题上优于同类黑盒模型,同时保持主流基准性能。
2024-04-13 cs.AI cs.CL cs.CV
From Wrong To Right: A Recursive Approach Towards Vision-Language Explanation
UC Berkeley(加州大学伯克利分校);Peking University(北京大学)
提出递归视觉解释算法ReVisE,通过迭代计算视觉特征、答案与解释逐步提升解释质量并纠正答案,在仅用5%人工标注下于VCR和VQA-X数据集上超越先前方法。
2023-11-21 cs.CV
Knowledge Generation for Zero-shot Knowledge-based VQA
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本文提出一种基于LLM生成知识的零样本K-VQA方法,先由LLM生成知识再整合用于问答,在两个基准上优于现有零样本方法,且生成知识相关有用。
2024-02-04 cs.AI cs.CL cs.CV
Joint Answering and Explanation for Visual Commonsense Reasoning
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对视觉常识推理现有方法拆分问答与依据推理过程、切断二者关联的问题,提出即插即用的知识蒸馏增强耦合框架,通过新分支连接两过程,在主流基线上实现显著性能提升。
2023-01-12 cs.CV
Attentive Explanations: Justifying Decisions and Pointing to the Evidence (Extended Abstract)
EECS, UC Berkeley(加州大学伯克利分校电气工程与计算机科学系);University of Amsterdam(阿姆斯特丹大学);MPI for Informatics(马克斯·普朗克信息学研究所);Facebook AI Research(Facebook人工智能研究院)
深度模型是视觉决策问题的事实标准,因为它们在各种视觉任务上的表现令人印象深刻。另一方面,它们的不透明性导致了对可解释系统的兴趣激增。在这项工作中,我们强调模型解释的重要性,在各种形式,如视觉指向和文本的理由。缺乏具有调整注释的数据是生成多模态解释的瓶颈之一。因此,我们提出了两个带有注释的大规模数据集,可以从视觉和文本上证明各种活动(即ACT-X)和问答(即VQA-X)的分类决策的合理性。我们还介绍了一种多模态方法,用于同时生成视觉和文本解释。我们定量地表明,使用文本解释进行训练不仅会产生更好的文本合理性模型,而且还会产生更好地本地化支持其决策的证据的模型。
2017-11-17 cs.CV
Context-VQA: Towards Context-Aware and Purposeful Visual Question Answering
Stanford University(斯坦福大学)
本研究提出Context-VQA数据集,将图像与网站类型配对,证明上下文显著影响问题类型,强调VQA模型需上下文感知以满足用户需求。
2023-08-30 cs.CL cs.CV
Supervising the Transfer of Reasoning Patterns in VQA
Orange Innovation(奥兰治创新实验室);INSA Lyon(里昂国立应用科学学院);LIRIS(图像与信息系统实验室);Univ. Claude Bernard(克劳德·贝尔纳大学);LAGEPP(自动化与过程工程实验室)
视觉问题回答方法(VQA)因利用数据集偏差而不是执行推理而臭名昭著,阻碍了泛化。最近的研究表明,在最先进的VQA模型的注意力层中,当它们在完美的(Oracle)视觉输入上进行训练时,会出现更好的推理模式。这提供了证据,证明当训练条件足够有利时,深度神经网络可以学习推理。然而,将这些学到的知识转移到可部署的模型是一个挑战,因为在转移过程中会丢失很多知识。我们提出了一种基于规则化项的知识转移方法,在我们的损失函数中,监督所需的推理操作的顺序。我们提供了一个基于PAC学习的理论分析,表明这样的程序预测可以在温和的假设下降低样本复杂度。我们还在GQA数据集上通过实验证明了这种方法的有效性,并显示了它对BERT类自监督预训练的互补性。
2021-06-10 cs.CV cs.LG
VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
许多过去的作品旨在通过监督特征重要性(由模型解释技术估计)与人类注释(如重要图像区域的突出显示)来改善模型中的视觉推理。然而,最近的工作表明,从视觉问答(VQA)任务的特征重要性(FI)监督的性能增益持续甚至与随机监督,这表明这些方法没有有意义地对齐模型FI与人类FI。在本文中,我们证明了模型FI监督可以通过优化四个关键模型目标来有意义地提高VQA模型的准确性以及几个正确原因(RRR)指标的性能:(1)在有限但足够的信息下准确预测(充分性);(2)没有重要信息的最大熵预测(不确定性);(3)预测对不重要特征变化的不变性(不变性);以及(4)模型FI解释和人类FI解释之间的一致性(合理性)。我们表现最好的方法,视觉特征重要性监督(VisFIS),在分布内和分布外准确性方面优于基准VQA数据集的强基线。虽然过去的工作表明,提高准确性的机制是通过提高解释的可解释性,我们表明,这种关系取决于解释的忠实性(解释是否真正代表模型的内部推理)。当解释可信且可信时,预测会更准确,而当解释可信但不可信时,预测就不会更准确。最后,我们发现,令人惊讶的是,RRR指标是不预测的分布模型的准确性时,控制模型的分布精度,这就要求质疑这些指标的价值评估模型推理。所有支持代码可在https://github.com/zfying/visfis上获得
2022-10-25 cs.AI cs.CL cs.CV
Generalizable Video Quality Assessment via Weak-to-Strong Learning
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出弱到强学习框架,结合同质/异质监督信号和迭代训练,无需人工标注即可提升视频质量评估的泛化能力。
2026-05-24 cs.CV
Point and Ask: Incorporating Pointing into Visual Question Answering
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学);Robust Intelligence
视觉问答(VQA)已经成为视觉识别进步的关键基准之一。已经探索了多个VQA扩展,以更好地模拟真实世界的设置:不同的问题公式,不断变化的训练和测试分布,对话中的会话一致性,以及基于解释的回答。在这项工作中,我们进一步扩大了这个空间,考虑视觉问题,包括一个空间的参考点。指向是人类中几乎普遍的手势,并且现实世界的VQA可能涉及朝向目标区域的手势。具体来说,我们(1)引入并激励点输入问题作为VQA的扩展,(2)在这个空间内定义三种新的问题类别,(3)对于每一类,引入基准数据集和一系列基线模型来处理其独特的挑战。与以前的工作有两个关键区别。首先,我们显式地设计基准以要求点输入,即,我们确保在没有空间参考的情况下不能准确地回答视觉问题。其次,我们显式探索更真实的点空间输入,而不是标准但不自然的限界框输入。通过我们的探索,我们发现并解决了几个视觉识别挑战,包括推断人类意图的能力,对图像进行局部和全局推理,以及有效地结合视觉,语言和空间输入。代码可在:https://github.com/princetonvisualai/pointingqa.
2022-02-18 cs.CV
WSI-VQA: Interpreting Whole Slide Images by Generative Visual Question Answering
Zhejiang University(浙江大学);Research Center for Industries of the Future, Westlake University(西湖大学未来产业研究中心);School of Engineering, Westlake University(西湖大学工程学院)
提出WSI-VQA生成式视觉问答框架与W2T模型,将多种WSI切片级任务统一为问答,并构建数据集,实现优于判别模型的医学诊断与可解释预测。
2024-07-08 cs.AI cs.CV
A Comprehensive Survey on Visual Question Answering Datasets and Algorithms
本文综合综述了视觉问答(VQA)领域的现有数据集与模型,将数据集划分为可用、合成、诊断和基于知识四类,并探讨了融合、注意力、外部知识库、推理、解释和图模型六种主要模型范式。
2024-11-17 cs.CV
WeaQA: Weak Supervision via Captions for Visual Question Answering
Arizona State University(亚利桑那州立大学)
用于训练视觉问答(VQA)模型的方法假设具有人类注释的\textit{Image-Question-Answer}(I-Q-A)三元组的数据集的可用性。这导致了对数据集的严重依赖,并且缺乏对新类型问题和场景的概括。语言先验知识以及注释者主观性导致的偏见和错误已被证明会渗透到根据此类样本训练的VQA模型中。我们研究了模型是否可以在没有任何人类注释的Q-A对的情况下进行训练,而只能使用图像及其相关的文本描述或标题。我们提出了一种方法来训练模型与合成Q-A对产生的字幕程序。此外,我们证明了空间金字塔图像补丁作为一个简单而有效的替代密集和昂贵的对象限界框注释在现有的VQA模型的功效。我们在三个VQA基准上的实验证明了这种弱监督方法的有效性,特别是在VQA-CP挑战中,该挑战测试了在不断变化的语言先验下的性能。
2021-05-28 cs.CL cs.CV
Objective-Aligned Direct Answer SFT for Robust Multi-Frame Medical VQA
Yale University(耶鲁大学)
该研究针对MedFrameQA数据集,提出目标对齐的直接答案SFT是最强稳健适配系列,其在保留报告准确率上优于冻结基线且稳定性好,还可迁移至其他骨干网络,旨在引导研究聚焦稳健优化而非架构复杂度。
2026-07-31 cs.CV