S3C: Semi-Supervised VQA Natural Language Explanation via Self-Critical Learning
Northwestern Polytechnical University(西北工业大学);University of Adelaide(阿德莱德大学)
提出S3C半监督框架,通过自批判学习与回答奖励提升VQA自然语言解释的逻辑一致性,无需人工标注,在两个数据集上达到最先进性能。
2023-09-05 cs.CV
VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学);NVIDIA AI Technology Center(英伟达人工智能技术中心);University of Rochester(罗切斯特大学)
现有的视觉问答(VQA)研究大多致力于提高预测答案的准确性,而忽略了对答案的解释。我们认为,答案的解释是相同的,甚至更重要的答案本身相比,因为它使问答过程更容易理解和可追溯。为此,我们提出了一个新的任务VQA-E(VQA与解释),其中的计算模型需要产生一个解释与预测的答案。我们首先构建一个新的数据集,然后在多任务学习架构中构建VQA-E问题。我们的VQA-E数据集是通过智能地利用可用的字幕自动从VQA v2数据集派生出来的。我们已经进行了用户研究,以验证我们的方法合成的解释的质量。我们定量地表明,额外的监督,从解释不仅可以产生有见地的文本句子,以证明答案,但也提高了答案预测的性能。我们的模型在VQA v2数据集上明显优于最先进的方法。
2018-08-25 cs.CV
Explanation vs Attention: A Two-Player Game to Obtain Attention for VQA
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
在本文中,我们的目标是获得视觉问答(VQA)任务的改善注意。为注意力提供监督是具有挑战性的。我们的观察是,通过类激活映射(特别是Grad-CAM)获得的视觉解释,旨在解释各种网络的性能,可以形成一种监督手段。然而,由于注意力地图和Grad-CAM的分布不同,直接使用它们作为监督形式是不合适的。相反,我们建议使用一种旨在区分视觉解释和注意力地图样本的方法。使用注意力区域的对抗性训练作为注意力和解释之间的两人游戏,可以使注意力地图和视觉解释的分布更接近。值得注意的是,我们观察到,提供这样一种监督手段也会导致注意力地图与人类注意力更密切相关,从而比基线堆叠注意力网络(SAN)模型有实质性的改进。它也导致在VQA任务的秩相关度量的一个很好的改善。该方法也可以与最近的基于MCB的方法相结合,并得到一致的改进。我们还提供了与其他学习分布的方法的比较,例如基于相关对齐(Coral),最大平均离散(MMD)和均方误差(MSE)损失,并观察到对抗性损失优于其他形式的学习注意力地图。结果的可视化也证实了我们的假设,即注意力地图使用这种形式的监督改善。
2019-11-19 cs.CV cs.LG cs.MM
Towards Efficient and Robust VQA-NLE Data Generation with Large Vision-Language Models
Institut Teknologi Bandung(万隆理工学院);Capital One(第一资本金融公司);The Hong Kong University of Science and Technology(香港科技大学)
针对现有VQA-NLE数据集构建依赖高成本人工标注的问题,本研究提出利用大视觉语言模型结合先进提示技术生成合成数据的方法,速度最高快20倍且质量接近人工标注,还验证了视觉提示的提升作用,为多模态NLE数据自动生成提供了高效鲁棒的方案。
2024-12-09 cs.CL cs.CV
Robust Explanations for Visual Question Answering
Indian Institute of Technology, Kanpur(坎普尔印度理工学院)
在本文中,我们提出了一种方法来获得强大的解释视觉问答(VQA)的答案相关性很好。我们的模型通过提供视觉和文本解释来解释通过VQA模型获得的答案。我们解决的主要挑战是:i)通过当前方法获得的答案和文本解释没有很好的相关性; ii)当前的视觉解释方法没有关注解释答案的正确位置。我们通过使用协作相关模块来解决这两个挑战,该模块确保即使我们不针对基于噪声的攻击进行训练,增强的相关性也确保可以生成正确的解释和答案。我们进一步表明,这也有助于改善生成的视觉和文本解释。相关模块的使用可以被认为是一种验证答案和解释是否一致的鲁棒方法。我们使用VQA-X数据集评估该模型。我们观察到,所提出的方法产生更好的文本和视觉的理由,支持的决定。我们展示了该模型对基于噪声的扰动攻击的鲁棒性,使用相应的视觉和文本解释。详细的实证分析显示。这里我们提供了模型\url{https://github.com/DelTA-Lab-IITK/CCM-WACV}的源代码链接。
2020-01-23 cs.AI cs.CL cs.CV
Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention
Samsung Research(三星研究院);SRI International(斯坦福国际研究院)
在本文中,我们提出了一种新的方法,可解释的问答(XQA)的任务,即,生成针对所述视觉问答(VQA)问题的自然语言(NL)解释。我们使用两个信息源生成NL解释,该解释包括支持对图像提出的问题的答案的证据:(a)图像中实体的注释(例如,对象标签、区域描述、关系短语),以及(b)由VQA模型在回答问题时生成的注意力图。我们展示了如何结合视觉注意力地图与NL表示的相关场景图实体,仔细选择使用语言模型,可以给出合理的文字解释,而不需要任何额外的收集数据(解释说明等)。我们在Visual Genome(VG)数据集上运行我们的算法,并进行内部用户研究,以证明我们的方法在强大的基线上的有效性。我们还发布了一个实时Web演示,展示了我们的VQA和使用场景图和视觉注意力的文本解释生成。
2019-02-15 cs.AI cs.CL
A Study on Multimodal and Interactive Explanations for Visual Question Answering
UC San Diego(加利福尼亚大学圣地亚哥分校);SRI International(斯坦福国际研究院)
AI模型的可解释性和可解释性是影响AI安全性的重要因素。虽然各种可解释人工智能(XAI)方法旨在缓解深度网络中缺乏透明度的问题,但这些方法在提高人工智能系统的可用性、信任和理解方面的有效性的证据仍然缺失。我们评估多模态的解释设置的视觉问答(VQA)任务,要求用户预测的响应准确性的VQA代理和没有解释。我们使用科目间和科目内的实验,以探讨解释的有效性,提高用户预测的准确性,信心和可靠性,以及其他因素。结果表明,这些解释有助于提高人类预测的准确性,特别是在VQA系统的答案不准确的试验中。此外,我们还介绍了主动注意,一种通过编辑注意力地图进行干预来评估因果注意力效应的新方法。用户解释评级与人类预测准确性密切相关,并表明这些解释在人机AI协作任务中的有效性。
2020-03-01 cs.AI
CLEVR-X: A Visual Reasoning Dataset for Natural Language Explanations
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
在视觉问答(VQA)的背景下提供解释是机器学习中的一个基本问题。为了详细了解为VQA生成自然语言解释的过程,我们引入了大规模CLEVR-X数据集,该数据集扩展了CLEVR数据集,并提供了自然语言解释。对于CLEVR数据集中的每个图像-问题对,CLEVR-X包含多个结构化的文本解释,这些解释来自原始场景图。通过构造,CLEVR-X解释是正确的,并描述了回答给定问题所需的推理和视觉信息。我们进行了一项用户研究,以确认我们提出的数据集中的地面实况解释确实是完整和相关的。我们目前的基准结果生成自然语言解释的背景下,VQA使用两个国家的最先进的框架上的CLEVR-X数据集。此外,我们提供了一个详细的分析不同的问题和答案类型的解释生成质量。此外,我们研究了使用不同数量的地面实况解释对自然语言生成(NLG)度量收敛的影响。CLEVR-X数据集可在\url{https://explainableml.github.io/CLEVR-X/}上公开获取。
2022-04-05 cs.CL cs.CV
GEMeX: A Large-Scale, Groundable, and Explainable Medical VQA Benchmark for Chest X-ray Diagnosis
The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学);Sichuan University(四川大学);West China Hospital of Sichuan University(四川大学华西医院);Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所)
针对现有医学视觉问答数据集缺乏解释、问题形式单一的问题,提出大规模可解释胸部X线诊断基准GEMeX,评估显示现有大视觉语言模型性能欠佳,微调后模型性能提升验证了数据集有效性。
2025-03-23 cs.AI cs.CV
Faithful Multimodal Explanation for Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
人工智能系统解释其推理的能力对其实用性和可信度至关重要。深度神经网络在许多具有挑战性的问题上取得了重大进展,例如视觉问答(VQA)。然而,其中大多数是不透明的黑匣子,解释能力有限。本文提出了一种新的方法来开发一个高性能的VQA系统,可以阐明它的答案与集成的文本和视觉解释,忠实地反映其基本推理的重要方面,同时捕捉可理解的人类解释的风格。广泛的实验评估表明,这种方法的优势相比,竞争的方法与自动评估指标和人类的评估指标。
2019-06-03 cs.CL cs.CV
Retrieval-Augmented Natural Language Reasoning for Explainable Visual Question Answering
Kyung Hee University(庆熙大学)
本文提出ReRe模型,通过检索增强自然语言推理,在不依赖复杂网络和额外数据集的情况下提升视觉问答准确率与解释质量。
2024-08-30 cs.CV
Tell-and-Answer: Towards Explainable Visual Question Answering using Attributes and Captions
University of Science and Technology of China(中国科学技术大学);Microsoft Research, Beijing, China(微软研究院(北京,中国));University of Rochester, Rochester, NY(罗切斯特大学(罗切斯特,纽约州))
视觉问答(VQA)已经引起了计算机视觉和自然语言处理社区的关注。大多数现有的方法采用通过预训练的CNN表示图像的管道,然后使用不可解释的CNN特征结合问题来预测答案。尽管这样的端到端模型可能会报告有希望的性能,但除了答案之外,它们很少提供对VQA过程的任何见解。在这项工作中,我们建议将端到端VQA分解为两个步骤:解释和推理,试图通过揭示这两个步骤之间的中间结果来实现更可解释的VQA。为此,我们首先提取属性和生成描述作为图像的解释,分别使用预先训练的属性检测器和图像描述模型。接下来,推理模块利用这些解释代替图像来推断问题的答案。这种分解的优点包括:(1)属性和标题可以反映系统从图像中提取的内容,从而可以为预测的答案提供一些解释;(2)这些中间结果可以帮助我们识别图像理解部分和答案推理部分在预测答案错误时的无能。我们进行了广泛的实验,一个流行的VQA数据集和解剖所有的结果,根据几个测量的解释质量。我们的系统实现了与最先进的性能相当的性能,但具有可解释性的额外好处和通过更高质量的解释进一步改进的内在能力。
2018-01-27 cs.CV
Self-Critical Reasoning for Robust Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)深度学习系统由于强语言先验而倾向于捕获训练数据中的表面统计相关性,并且无法推广到具有显著不同的问答(QA)分布的测试数据。为了解决这个问题,我们引入了一个自我批判的训练目标,确保正确答案的视觉解释比其他竞争性答案候选人更匹配最有影响力的图像区域。有影响力的区域要么是从人类视觉/文本解释中确定的,要么是从问题和答案中的重要单词中自动确定的。我们使用VQA-CP数据集评估我们在VQA泛化任务上的方法,实现了一个新的最先进的方法,即,49.5%使用文本解释,48.5%使用自动注释区域。
2019-12-30 cs.CL cs.CV
Multi-Task Learning for Visually Grounded Reasoning in Gastrointestinal VQA
School of Mathematics and Computer Science, Institute of Business Administration (IBA), Karachi, Pakistan(数学与计算机科学学院,商学院(IBA),巴基斯坦卡里奇)
本文提出一个面向胃肠医学VQA的多任务框架,通过LoRA微调Florence-2并联合学习问答、解释生成与视觉grounding,在答案准确性和视觉定位上显著优于单任务基线。
2025-11-06 cs.CV cs.LG
Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering
University of Pennsylvania(宾夕法尼亚大学)
针对多模态大模型视觉问答可解释性不足的问题,提出设计即可解释的动态线索瓶颈模型DCLUB,通过先输出视觉线索再生成答案实现决策可追溯,在推理类问题上优于同类黑盒模型,同时保持主流基准性能。
2024-04-13 cs.AI cs.CL cs.CV
SparrowVQE: Visual Question Explanation for Course Content Understanding
Yeshiva University(叶史瓦大学);Artificial Intelligence Graduate(人工智能研究生院)
本文提出视觉问题解释(VQE)任务及30亿参数多模态模型SparrowVQE,通过三阶段训练机制结合视觉与文本信息,在自建MLVQE数据集及五个基准VQA数据集上均优于现有方法。
2024-11-12 cs.CL cs.CV
Uni-NLX: Unifying Textual Explanations for Vision and Vision-Language Tasks
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
Uni-NLX提出一个统一的多任务框架,将七类视觉及视觉-语言NLE任务整合到单一模型中,并引入ImageNetX和VQA-ParaX两个新数据集,以7倍更少参数实现与独立模型相当甚至更优的性能。
2023-09-19 cs.CV
VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
许多过去的作品旨在通过监督特征重要性(由模型解释技术估计)与人类注释(如重要图像区域的突出显示)来改善模型中的视觉推理。然而,最近的工作表明,从视觉问答(VQA)任务的特征重要性(FI)监督的性能增益持续甚至与随机监督,这表明这些方法没有有意义地对齐模型FI与人类FI。在本文中,我们证明了模型FI监督可以通过优化四个关键模型目标来有意义地提高VQA模型的准确性以及几个正确原因(RRR)指标的性能:(1)在有限但足够的信息下准确预测(充分性);(2)没有重要信息的最大熵预测(不确定性);(3)预测对不重要特征变化的不变性(不变性);以及(4)模型FI解释和人类FI解释之间的一致性(合理性)。我们表现最好的方法,视觉特征重要性监督(VisFIS),在分布内和分布外准确性方面优于基准VQA数据集的强基线。虽然过去的工作表明,提高准确性的机制是通过提高解释的可解释性,我们表明,这种关系取决于解释的忠实性(解释是否真正代表模型的内部推理)。当解释可信且可信时,预测会更准确,而当解释可信但不可信时,预测就不会更准确。最后,我们发现,令人惊讶的是,RRR指标是不预测的分布模型的准确性时,控制模型的分布精度,这就要求质疑这些指标的价值评估模型推理。所有支持代码可在https://github.com/zfying/visfis上获得
2022-10-25 cs.AI cs.CL cs.CV
VQA with no questions-answers training
Weizmann Institute of Science(魏茨曼科学研究所)
近年来,教机器回答视觉问题的方法取得了重大进展,但目前的方法仍然缺乏重要的人类能力,包括以模块化方式集成新的视觉类和概念,为答案提供解释,以及在没有明确示例的情况下处理新领域。我们提出了一种新的方法,包括两个主要部分:生成一个问题图表示,和回答过程,引导的抽象结构的问题图调用一组可扩展的视觉估计。训练是针对语言部分和视觉部分本身进行的,但与现有方案不同,该方法不需要使用具有相关问题和答案的图像进行任何训练。这种方法是能够处理新的域(扩展的问题类型和新的对象类,属性和关系),只要相应的视觉估计。此外,它还可以为答案提供解释,并在问题不以图像为基础时提出替代方案。我们证明,这种方法实现了高性能和域的可扩展性,没有任何问答训练。
2020-05-26 cs.CV
WSI-VQA: Interpreting Whole Slide Images by Generative Visual Question Answering
Zhejiang University(浙江大学);Research Center for Industries of the Future, Westlake University(西湖大学未来产业研究中心);School of Engineering, Westlake University(西湖大学工程学院)
提出WSI-VQA生成式视觉问答框架与W2T模型,将多种WSI切片级任务统一为问答,并构建数据集,实现优于判别模型的医学诊断与可解释预测。
2024-07-08 cs.AI cs.CV
Beyond the Leaderboard: Design Lessons for Trustworthy Multimodal VQA
以MediaEval Medico 2025为案例,分析九个多模态问答系统,发现预训练主干的参数高效适应虽有挑战性能,但答案提升未转化为完整临床推理,结构化推理等方法更可靠,结果促使多方面改进,支持可信多模态医疗保健人工智能。
2026-07-17 cs.CL cs.CV
Zero-shot Translation of Attention Patterns in VQA Models to Natural Language
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
本研究提出免训练的零样本框架ZS-A2T,利用VQA模型的图文匹配能力引导LLM,将模型注意力翻译为自然语言解释,在相关数据集零样本任务上达SOTA。
2023-11-08 cs.AI cs.CL cs.CV
Improving Users' Mental Model with Attention-directed Counterfactual Edits
University of California, San Diego(加利福尼亚大学圣迭戈分校);SRI International(SRI国际公司)
在视觉问答(VQA)领域,研究表明,当用户接触到这些系统如何回答某些图像-问题(IQ)对的示例时,VQA系统的用户心理模型会有所改善。在这项工作中,我们表明,显示控制反事实图像问题的例子是更有效地改善用户的心理模型相比,简单地显示随机的例子。我们比较生成的方法和检索为基础的方法来显示反事实的例子。我们使用生成对抗网络(GANs)的最新进展,通过删除和修复图像中的某些感兴趣区域来生成反事实图像。然后,我们向用户展示VQA系统对这些更改图像的答案的更改。为了选择感兴趣的区域进行修复,我们实验使用人类注释的注意力地图和使用VQA系统的注意力值的全自动方法。最后,我们通过要求用户预测模型在测试反事实图像上的表现来测试用户的心理模型。我们注意到,当显示反事实解释时,用户预测答案变化的准确性总体上有所提高。虽然现实检索反事实显然是最有效的改善心理模型,我们表明,生成的方法也可以同样有效。
2021-10-15 cs.AI cs.CV cs.HC
ProtoVQA: An Adaptable Prototypical Framework for Explainable Fine-Grained Visual Question Answering
Dartmouth College(达特茅斯学院);Shandong University(山东大学);Harvard University(哈佛大学)
ProtoVQA提出统一原型框架,通过学习问题感知原型和空间约束匹配,同时支持VQA回答与证据定位,并引入VLAS评估解释质量,在Visual7W上实现可解释性与准确率的兼顾。
2025-09-20 cs.AI cs.CV cs.LG
Semantic Modeling for Food Recommendation Explanations
Rensselaer Polytechnic Institute(伦斯勒理工学院)
随着越来越多地使用人工智能方法来提供健康方面的建议,特别是在食物饮食建议领域,也越来越需要这些建议的可解释性。这种解释将使推荐系统的用户受益,使他们有理由遵循系统的建议。我们提出的食品解释本体(FEO),提供了一个形式主义的建模解释给用户的食品相关的建议。FEO对食物推荐进行建模,使用来自解释域的概念来创建对用户从AI系统(如个性化知识库问答系统)收到的关于食物推荐的问题的回答。FEO使用模块化、可扩展的结构,可用于各种解释,同时仍保留重要的语义细节,以准确地表示食物推荐的解释。为了评估这个系统,我们使用了一组能力问题,来自文献中的解释类型,是相关的食品建议。我们使用FEO的动机是让用户能够做出关于他们健康的决定,充分了解AI推荐系统,因为它们与用户问题有关,通过解释的形式提供建议背后的推理。
2021-05-04 cs.AI
VinDr-CXR-VQA: A Visual Question Answering Dataset for Explainable Chest X-Ray Analysis with Multi-Task Learning
College of Engineering and Computer Science(工程与计算机科学学院);VinUniversity(Vin大学);VinUni-Illinois Smart Health Center(VinUni-伊利诺伊智能健康中心);Vietnam National Cancer Hospital(越南国家癌症医院);The Computer Vision and Medical AI Lab(计算机视觉与医学人工智能实验室)
本文提出VinDr-CXR-VQA数据集,包含17,597个带空间定位和临床推理标注的胸部X光问答对,并通过平衡正负样本和MedGemma-4B-it基准测试,推动可解释医学视觉问答研究。
2025-11-09 cs.CV
Thought-For-Food: Reasoning Chain Induced Food Visual Question Answering
TCS-Research(TCS研究)
针对现有VQA系统偏向西方食物的问题,本文提出在印度食物VQA中采用多步推理链,通过微调小模型并利用强化学习训练,使基线准确率平均提升10个百分点。
2025-11-03 cs.AI cs.CV
VietMEAgent: Culturally-Aware Few-Shot Multimodal Explanation for Vietnamese Visual Question Answering
Faculty Of Information Technology, VNU University of Engineering and Technology(信息科技学院,越南工程与技术大学);IT-BT Convergence Technology Division, Vietnam-Korea Institute of Science and Technology(IT-BT融合技术部,越南-韩国科学技术院);TADI Global Lab, TADI Global Company Limited(TADI全球实验室,TADI全球公司);Faculty of Finance, Banking Academy of Vietnam(金融学院,越南银行学院)
针对当代VQA系统在越南文化特定内容上的限制,本文提出VietMEAgent多模态可解释框架,通过集成文化对象检测、结构化程序生成层及双模态解释模块,结合越南文化实体知识库,提升文化理解能力并提供透明解释。
2025-11-12 cs.CV
Uncovering Faithfulness Gaps in VLMs via Explanation-Driven Counterfactual Testing
Mercedes-Benz Research & Development North America(梅赛德斯-奔驰北美研发中心)
提出EDCT协议与EDCT-Bench基准,通过反事实测试揭示VLM解释与视觉证据的忠实性差距,并证明其生成数据对微调有高价值。
2026-11-18 cs.AI cs.CV
Context-VQA: Towards Context-Aware and Purposeful Visual Question Answering
Stanford University(斯坦福大学)
本研究提出Context-VQA数据集,将图像与网站类型配对,证明上下文显著影响问题类型,强调VQA模型需上下文感知以满足用户需求。
2023-08-30 cs.CL cs.CV
Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering
Virginia Tech(弗吉尼亚理工大学);Army Research Laboratory(陆军研究实验室);Georgia Institute of Technology(佐治亚理工学院)
视觉和语言的交叉问题是具有挑战性的研究问题和丰富的应用程序集,他们使显着的重要性。然而,我们世界的固有结构和我们语言中的偏见往往是比视觉形式更简单的学习信号,导致模型忽略视觉信息,从而导致对其能力的夸大感。我们建议在视觉问答(VQA)的任务中对抗这些语言先验,并使视觉(VQA中的V)变得重要!具体来说,我们通过收集互补图像来平衡流行的VQA数据集,这样我们平衡数据集中的每个问题不仅与单个图像相关联,而且与导致问题的两个不同答案的一对相似图像相关联。我们的数据集比原始VQA数据集更平衡,并且图像-问题对的数量大约是原始VQA数据集的两倍。我们完整的平衡数据集可在www.visualqa.org上公开获得,作为Visual问答数据集和挑战(VQA v2.0)的第二次迭代的一部分。我们进一步在我们的平衡数据集上对一些最先进的VQA模型进行了基准测试。所有模型在我们的平衡数据集上的表现都要差得多,这表明这些模型确实学会了利用语言先验。这一发现提供了第一个具体的经验证据,似乎是一个定性的意义上的从业者。最后,我们的数据汇集协议,用于识别互补的图像,使我们能够开发一种新的可解释的模型,除了提供一个答案,给定的(图像,问题)对,还提供了一个反例为基础的解释。具体来说,它识别一个与原始图像相似的图像,但它认为对同一个问题有不同的答案。这有助于在用户之间建立对机器的信任。
2017-05-15 cs.AI cs.CL cs.CV
Explanation-Driven Counterfactual Testing for Faithfulness in Vision-Language Model Explanations
Mercedes-Benz Research & Development North America(梅赛德斯-奔驰研究与开发北美)
针对视觉-语言模型自然语言解释合理性与忠实性不匹配的问题,提出全自动化的解释驱动反事实测试方法,通过解析解释、生成反事实编辑、计算反事实一致性得分,验证解释的因果忠实性并提供合规审计依据。
2025-09-27 cs.AI cs.CV
MedXplain-VQA: Multi-Component Explainable Medical Visual Question Answering
Faculty Of Information Technology VNU University of Engineering(信息科技学院越南工程大学);IT-BT Convergence Technology Division Vietnam-Korea Institute of Science(IT-BT融合技术部门越南-韩国科学技术院);TADI Global Lab TADI Global Company Limited(TADI全球实验室TADI全球有限公司);Faculty of Finance Banking Academy of Vietnam(金融学院越南银行学院)
MedXplain-VQA提出整合五个可解释AI组件的医学视觉问答框架,在PathVQA上综合得分从0.378提升至0.683,实现透明诊断推理。
2025-10-26 cs.CV
Multimodal Explanations: Justifying Decisions and Pointing to the Evidence
UC Berkeley(加州大学伯克利分校);University of Amsterdam(阿姆斯特丹大学);MPI for Informatics(马克斯·普朗克信息学研究所);Facebook AI Research(脸书人工智能研究院)
在许多情况下,既有效又可解释的深度模型是可取的;以前的可解释模型是单峰的,提供基于图像的注意力权重可视化或基于文本的事后理由生成。我们提出了一个多模态的解释方法,并认为这两种模式提供互补的解释优势。我们收集了两个新的数据集来定义和评估这个任务,并提出了一个新的模型,可以提供联合文本的理由生成和注意力可视化。我们的数据集定义了活动识别任务(ACT-X)和视觉问答任务(VQA-X)的分类决策的视觉和文本理由。我们定量地表明,使用文本解释进行训练不仅可以产生更好的文本证明模型,而且可以更好地定位支持决策的证据。我们还定性地展示了视觉解释比文本解释更有洞察力的情况,反之亦然,支持我们的论点,即多模态解释模型提供了显着的好处比单峰方法。
2018-02-15 cs.AI cs.CL cs.CV
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
我们提出了一种技术,用于从一大类基于CNN的模型中为决策生成“视觉解释”,使其更加透明。我们的方法-加权类激活映射(Grad-CAM),使用任何目标概念的梯度,流入最终的卷积层,以产生一个粗略的定位图,突出图像中的重要区域,用于预测概念。Grad-CAM适用于各种各样的CNN模型家族:(1)具有全连接层的CNN,(2)用于结构化输出的CNN,(3)用于具有多模态输入或强化学习的任务的CNN,而无需任何架构更改或重新训练。我们将Grad-CAM与细粒度可视化相结合,以创建高分辨率的类区分可视化,并将其应用于现成的图像分类,字幕和视觉问答(VQA)模型,包括基于ResNet的架构。在图像分类模型的背景下,我们的可视化(a)可以深入了解它们的故障模式,(b)对对抗图像具有鲁棒性,(c)在定位方面优于以前的方法,(d)更忠实于底层模型,(e)通过识别数据集偏差来帮助实现泛化。对于字幕和VQA,我们表明,即使是非注意力为基础的模型可以本地化的输入。我们设计了一种通过Grad-CAM识别重要神经元的方法,并将其与神经元名称相结合,为模型决策提供文本解释。最后,我们设计并进行人体研究来衡量Grad-CAM是否可以帮助用户建立对模型预测的适当信任,并表明Grad-CAM可以帮助未经训练的用户成功地从“较弱”的节点中辨别出“较强”的节点,即使两者都做出相同的预测。我们的代码可以在https://gi…
2019-12-03 cs.AI cs.CV cs.LG
NLKI: A lightweight Natural Language Knowledge Integration Framework for Improving Small VLMs in Commonsense VQA Tasks
IIT Kharagpur(印度理工学院Kharagpur分校);Ashoka University(阿什oka大学)
提出 NLKI 轻量框架,通过 ColBERTv2 事实检索、LLM 解释生成与噪声鲁棒微调增强小型 VLM,在常识 VQA 等任务上最高提升 7% 准确率。
2025-08-28 cs.AI cs.CL
From Wrong To Right: A Recursive Approach Towards Vision-Language Explanation
UC Berkeley(加州大学伯克利分校);Peking University(北京大学)
提出递归视觉解释算法ReVisE,通过迭代计算视觉特征、答案与解释逐步提升解释质量并纠正答案,在仅用5%人工标注下于VCR和VQA-X数据集上超越先前方法。
2023-11-21 cs.CV
Medico 2025: Visual Question Answering for Gastrointestinal Imaging
SimulaMet - Simula Metropolitan Center for Digital Engineering, Oslo, Norway(SimulaMet - Simula Metropolitan Center for Digital Engineering,挪威奥斯陆);Simula Research Laboratory, Oslo, Norway(Simula研究实验室,挪威奥斯陆);OsloMet - Oslo Metropolitan University, Oslo, Norway(OsloMet - 奥斯陆 Metropolitan 大学,挪威奥斯陆)
Medico 2025挑战赛聚焦胃肠道成像的视觉问答,提出开发可解释AI模型,基于Kvasir-VQA-x1数据集回答临床问题并生成多模态解释,以推进医学图像分析中可信赖的AI。
2025-08-14 cs.AI cs.CV
Realizing Visual Question Answering for Education: GPT-4V as a Multimodal AI
AI4STEM Education Center(AI4STEM教育中心);University of Georgia(佐治亚大学)
该立场论文提出GPT-4V可推动教育领域视觉问答(VQA)的落地,梳理VQA技术发展与教育领域图像分析应用,演示GPT-4V的教育研究用法并探讨未来启示,为教育研究方法提供新参考。
2024-05-12 cs.AI physics.ed-ph
Greedy Gradient Ensemble for Robust Visual Question Answering
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Kingsoft Cloud(金山云);Peng Cheng Laboratory(鹏城实验室);Huawei Technologies(华为技术有限公司)
语言偏见是视觉问答(VQA)中的一个关键问题,其中模型通常利用数据集偏见进行最终决策,而不考虑图像信息。因此,它们会因分发外数据和不充分的视觉解释而遭受性能下降的困扰。在对现有鲁棒VQA方法进行实验分析的基础上,着重指出了VQA中存在的语言偏见,分布偏差和捷径偏差。我们进一步提出了一个新的去偏框架,贪婪梯度Ensemble(GGE),它结合了多个有偏模型进行无偏基础模型学习。通过贪婪策略,GGE迫使有偏模型优先过拟合有偏数据分布,从而使基础模型更加关注有偏模型难以解决的问题。实验表明,我们的方法更好地利用了视觉信息,并在诊断数据集VQA-CP上实现了最先进的性能,而无需使用额外的注释。
2021-08-23 cs.CL cs.CV cs.LG
Joint Answering and Explanation for Visual Commonsense Reasoning
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对视觉常识推理现有方法拆分问答与依据推理过程、切断二者关联的问题,提出即插即用的知识蒸馏增强耦合框架,通过新分支连接两过程,在主流基线上实现显著性能提升。
2023-01-12 cs.CV
Attentive Explanations: Justifying Decisions and Pointing to the Evidence (Extended Abstract)
EECS, UC Berkeley(加州大学伯克利分校电气工程与计算机科学系);University of Amsterdam(阿姆斯特丹大学);MPI for Informatics(马克斯·普朗克信息学研究所);Facebook AI Research(Facebook人工智能研究院)
深度模型是视觉决策问题的事实标准,因为它们在各种视觉任务上的表现令人印象深刻。另一方面,它们的不透明性导致了对可解释系统的兴趣激增。在这项工作中,我们强调模型解释的重要性,在各种形式,如视觉指向和文本的理由。缺乏具有调整注释的数据是生成多模态解释的瓶颈之一。因此,我们提出了两个带有注释的大规模数据集,可以从视觉和文本上证明各种活动(即ACT-X)和问答(即VQA-X)的分类决策的合理性。我们还介绍了一种多模态方法,用于同时生成视觉和文本解释。我们定量地表明,使用文本解释进行训练不仅会产生更好的文本合理性模型,而且还会产生更好地本地化支持其决策的证据的模型。
2017-11-17 cs.CV
Point and Ask: Incorporating Pointing into Visual Question Answering
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学);Robust Intelligence
视觉问答(VQA)已经成为视觉识别进步的关键基准之一。已经探索了多个VQA扩展,以更好地模拟真实世界的设置:不同的问题公式,不断变化的训练和测试分布,对话中的会话一致性,以及基于解释的回答。在这项工作中,我们进一步扩大了这个空间,考虑视觉问题,包括一个空间的参考点。指向是人类中几乎普遍的手势,并且现实世界的VQA可能涉及朝向目标区域的手势。具体来说,我们(1)引入并激励点输入问题作为VQA的扩展,(2)在这个空间内定义三种新的问题类别,(3)对于每一类,引入基准数据集和一系列基线模型来处理其独特的挑战。与以前的工作有两个关键区别。首先,我们显式地设计基准以要求点输入,即,我们确保在没有空间参考的情况下不能准确地回答视觉问题。其次,我们显式探索更真实的点空间输入,而不是标准但不自然的限界框输入。通过我们的探索,我们发现并解决了几个视觉识别挑战,包括推断人类意图的能力,对图像进行局部和全局推理,以及有效地结合视觉,语言和空间输入。代码可在:https://github.com/princetonvisualai/pointingqa.
2022-02-18 cs.CV
The Promise of Premise: Harnessing Question Premises in Visual Question Answering
Virginia Tech(弗吉尼亚理工大学);Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们做了一个简单的观察,关于图像的问题往往包含前提-对象和问题所暗示的关系-和推理的前提可以帮助视觉问答(VQA)模型更智能地响应无关或以前看不见的问题。当提出与图像无关的问题时,最先进的VQA模型仍然会纯粹基于学习的语言偏见来回答,导致无意义甚至误导性的答案。我们注意到,如果一个视觉问题的前提中至少有一个是假的(即没有在图像中描述),那么它与图像无关。我们利用这一观察,通过搜索错误的前提来构建问题相关性预测和解释(QRPE)的数据集。我们训练新的问题相关性检测模型,并表明,模型的原因前提始终优于模型,不。我们还发现,在训练过程中强制标准VQA模型对前提进行推理,可以改善需要组合推理的任务。
2017-08-17 cs.CL cs.CV
A Comprehensive Survey on Visual Question Answering Datasets and Algorithms
本文综合综述了视觉问答(VQA)领域的现有数据集与模型,将数据集划分为可用、合成、诊断和基于知识四类,并探讨了融合、注意力、外部知识库、推理、解释和图模型六种主要模型范式。
2024-11-17 cs.CV
Interpretable Visual Question Answering Referring to Outside Knowledge
Hokkaido University(北海道大学)
我们提出了一种新的多模态可解释的VQA模型,可以更准确地回答这个问题,并产生不同的解释。虽然研究人员已经提出了几种方法,可以生成人类可读和细粒度的自然语言句子来解释模型的决定,但这些方法只关注图像中的信息。理想情况下,模型应该参考图像内部和外部的各种信息来正确地生成解释,就像我们日常使用背景知识一样。该方法结合了来自外部知识和多个图像标题的信息,以增加模型可用信息的多样性。本文的贡献是构建一个可解释的视觉问答模型,使用多模态输入,以提高生成结果的合理性。实验结果表明,我们的模型可以优于国家的最先进的方法,答案的准确性和解释的合理性。
2023-03-08 cs.CV
KG-First, LLM-Fallback: A Hybrid Microservice for Grounded Skill Search and Explanation
UTC(UTC大学);LPNHE(LPNHE研究所)
本文提出 SkillGraph-Service 微服务,通过统一权威能力框架资源构建知识图谱,结合符号严谨与子符号灵活,实现教育者查询中的词汇不匹配处理,并利用大语言模型进行约束排序和受众感知解释,实验证明其在多语言数据集上具有高检索效果和低延迟。
2026-05-02 cs.AI cs.IR
AffectSeek: Agentic Affective Understanding in Long Videos under Vague User Queries
Gansu Provincial Key Laboratory of Wearable Computing, School of Information Science and Engineering, Lanzhou University(甘肃省可穿戴计算重点实验室,兰州大学信息科学与工程学院);Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing, Shenzhen MSU-BIT University(粤港澳大湾区情感智能与泛在计算联合实验室,深圳MSU-BIT大学);Department of Computer and Information Engineering, Khalifa University(计算机与信息工程系,哈利法大学);Artificial Intelligence Research Institute, Shenzhen MSU-BIT University(人工智能研究院,深圳MSU-BIT大学);Department of Electrical and Computer Engineering, The University of Hong Kong(电子与计算机工程系,香港大学)
本文提出VQAU任务,要求模型在长视频中定位情感时刻、预测情绪类别并生成证据支持的解释。构建VQAU-Bench基准,并提出AffectSeek框架,通过分步推理实现模糊查询驱动的情感理解。
2026-05-07 cs.CV
How to Determine the Preferred Image Distribution of a Black-Box Vision-Language Model?
Autodesk AI Research(欧特克AI研究院)
提出通过测量输出一致性来识别黑盒视觉语言模型偏好图像分布的方法,引入CAD-VQA数据集,并利用人类反馈优化模型输出,确立复杂视觉推理任务的基线。
2024-10-15 cs.CV
Taking a HINT: Leveraging Explanations to Make Vision and Language Models More Grounded
Georgia Institute of Technology(佐治亚理工学院);Oregon State University(俄勒冈州立大学);Samsung Research(三星研究院);Facebook AI Research(Facebook人工智能研究院)
许多视觉和语言模型都有着糟糕的视觉基础--通常依赖于容易学习的语言先验知识,而不是基于图像中的视觉概念做出决定。在这项工作中,我们提出了一种通用的方法,称为人类重要性感知网络调整(HINT),有效地利用人类的演示,以提高视觉接地。HINT鼓励深度网络对与人类相同的输入区域敏感。我们的方法优化了人类注意力地图和基于梯度的网络重要性之间的一致性-确保模型学习不仅仅是看,而是依赖于人类在进行预测时发现与任务相关的视觉概念。我们将HINT应用于视觉问答和图像描述任务,在使用人类注意力演示仅6%的训练数据的情况下,在惩罚过度依赖语言先验(VQA-CP和鲁棒字幕)的分裂上优于顶级方法。
2019-10-28 cs.CV
NLX-GPT: A Model for Natural Language Explanations in Vision and Vision-Language Tasks
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(微电子研究中心)
自然语言解释(NLE)模型旨在通过生成对人类友好的、高层次的、细粒度的自然语言语句来解释黑箱系统的决策过程。当前的NLE模型解释了视觉或视觉语言模型(也称为,任务模型),例如,VQA模型,经由语言模型(也称为,解释模型),例如,谷丙转氨酶除了任务模型所需的额外记忆资源和推理时间外,任务模型和解释模型是完全独立的,这使得解释与预测答案的推理过程分离。我们引入了NLX-GPT,这是一种通用的、紧凑的、忠实的语言模型,可以同时预测答案和解释答案。我们首先对图像-标题对的大规模数据进行预训练,以便对图像进行一般性理解,然后将答案与解释一起制定为文本预测任务。没有区域建议,也没有任务模型,我们得到的整体框架获得更好的评价分数,包含更少的参数,是15 $\times$比目前的SoA模型快。然后,我们解决了评估解释的问题,这些解释在很多时候可能是通用的,有数据偏见的,可以有几种形式。因此,我们设计了两个新的评估措施:(1)解释预测和(2)检索为基础的攻击,一个自我评估框架,不需要标签。代码在:https://github.com/fawazsammani/nlxgpt。
2022-03-09 cs.CL cs.CV
Towards Explainable In-the-Wild Video Quality Assessment: A Database and a Language-Prompted Approach
Nanyang Technological University(南洋理工大学);SenseTime Group Limited(商汤集团有限公司);Sensetime Research(商汤科技研究院)
针对自然场景视频质量评估难以解释具体质量因素的问题,构建了包含4543个视频、13个维度的Maxwell数据库,并提出基于CLIP的语言提示方法MaxVQA,实现了多维质量因素联合评估与最优泛化。
2023-08-03 cs.CL cs.CV cs.MM
Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models
Department of Computer and Information Sciences, Temple University, Philadelphia, USA(计算机与信息科学系,特兰普大学,费城,美国)
为解决视觉语言模型中图像与文本 tokens 信息扩散问题,提出 Logit Lens Loss(LLL)以保留图像 tokens 的局部化语义,提升模型可解释性和分割任务性能。
2026-08-12 cs.CV
Can You Explain That? Lucid Explanations Help Human-AI Collaborative Image Retrieval
SRI International(SRI国际)
虽然有许多关于使人工智能算法可解释的建议,但很少有人试图评估人工智能生成的解释对人类执行人类-人工智能协作任务的影响。为了弥补这一差距,我们提出了一个20个问题风格的协作图像检索游戏,推理辅助猜测(ExAG),作为一种方法的解释(视觉证据或文本理由)的视觉问答(VQA)的背景下,评估的有效性。在我们提出的ExAG中,人类用户需要通过向VQA代理提出自然语言问题来猜测VQA代理选择的秘密图像。我们表明,总体而言,当AI解释其答案时,用户更容易正确猜测秘密图像。值得注意的是,与无解释游戏相比,当VQA答案大多不正确时,一些正确的解释可以很容易地提高人类的表现。此外,我们还表明,虽然被评为“有帮助”的解释显着提高人类的表现,“不正确”和“无益”的解释可以降低性能相比,没有解释的游戏。因此,我们的实验表明,ExAG是评估人工智能生成的解释对人类-人工智能协作任务的有效性的有效手段。
2019-09-21 cs.CV cs.CY cs.HC