Spatially Grounded Explanations in Vision Language Models for Document Visual Question Answering
Computer Vision Center, Universitat Autònoma de Barcelona(计算机视觉中心,巴塞罗那自治大学);Gradiant
本文提出无需训练的模型无关流程EaGERS,通过生成推理依据、空间定位相关区域并限制响应生成,在DocVQA上提升准确率与可解释性。
2025-07-15 cs.AI cs.CL cs.CV
Locate-Then-Examine: Grounded Region Reasoning Improves Detection of AI-Generated Images
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
本文提出LTE框架,通过定位可疑区域并重新检查以提升AI生成图像检测的准确性和鲁棒性,提供可理解的区域级解释。
2026-04-21 cs.AI cs.CL cs.CV
Enhancing Alignment for Unified Multimodal Models via Semantically-Grounded Supervision
Ewha Womans University(成均馆大学);Soongsil University(顺天大学)
本文提出Semantically-Grounded Supervision方法,通过构建视觉接地图和语义引导的破坏输入,解决统一多模态模型中的粒度不匹配和监督冗余问题,提升生成质量和跨模态对齐。
2026-03-20 cs.AI cs.CV
Attribute-Grounded Selective Reasoning for Artwork Emotion Understanding with Multimodal Large Language Models
Department of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Department of Computer Science, National Taiwan University(国立台湾大学计算机科学系)
本文提出基于属性的选型推理方法,通过多模态大语言模型实现艺术品情感理解,通过引入属性瓶颈引导框架提升情感预测精度和解释简洁性。
2026-05-15 cs.CV
AgriChain Visually Grounded Expert Verified Reasoning for Interpretable Agricultural Vision Language Models
本文提出AgriChain数据集,通过专家验证的推理链提升农业视觉语言模型的准确性和可解释性,实验表明其在植物病害诊断中优于多个基线模型。
2026-04-09 cs.CV
FORGE: Forensic Reasoning with Grounded Evidence
FORGE通过引入基于密集补丁预测的视觉专用模型第二视觉流,解决多模态大语言模型在法医深度伪造分析中忽略局部线索的归纳偏置问题,实现区域级可验证解释并显著提升跨域性能。
2026-09-18 cs.AI cs.CV
Multi-Task Learning for Visually Grounded Reasoning in Gastrointestinal VQA
School of Mathematics and Computer Science, Institute of Business Administration (IBA), Karachi, Pakistan(数学与计算机科学学院,商学院(IBA),巴基斯坦卡里奇)
本文提出一个面向胃肠医学VQA的多任务框架,通过LoRA微调Florence-2并联合学习问答、解释生成与视觉grounding,在答案准确性和视觉定位上显著优于单任务基线。
2025-11-06 cs.CV cs.LG
Evidence-Grounded Forensic Reasoning for Detecting and Grounding Multi-Modal Media Manipulation
本文针对多模态媒体篡改检测与定位问题,提出基于证据的取证推理框架,结合锚定-验证推理链、可验证奖励系统与模态解耦优势路由机制,实现最优性能与可解释性的统一。
2026-08-11 cs.AI cs.CV
Interpretable and Reliable Detection of AI-Generated Images via Grounded Reasoning in MLLMs
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对 AI 生成图像检测缺乏可解释性的问题,本文构建带边界框与伪影描述的数据集,并通过多阶段微调 MLLMs,实现准确检测、视觉定位与文本解释的协同提升。
2025-06-08 cs.AI cs.CL cs.CV
TRACE: Temporal Radiology with Anatomical Change Explanation for Grounded X-ray Report Generation
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
TRACE 是首个结合时序比较、变化分类和空间定位的模型,通过边界框坐标实现对胸片变化的自然语言描述,提升放射学报告生成的准确性与可靠性。
2026-02-03 cs.CV
MSU Team at the Explainable Deepfake Detection Challenge 2026: Grounded Artifact Evidence for Deepfake Detection
Lomonosov Moscow State University(莫斯科国立大学);MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所)
针对可解释深度伪造检测挑战,提出多骨干检测器结合伪影证据图与对比学习,并利用类条件语言模型生成解释,在 XPlainVerse 上取得高检测与解释分数。
2026-10-08 cs.CV
Explainable Deepfake Detection with Feature-robust Augmentation and Evidence-grounded Explanation Optimization
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
该研究针对深度伪造检测的鲁棒性与可解释性缺陷,提出含特征鲁棒增强、证据支撑偏好优化的框架,在ACM Multimedia 2026相关任务中获第一名。
2026-08-24 cs.AI cs.CV
Grounding Visual Explanations
UC Berkeley(加州大学伯克利分校);University of Amsterdam(阿姆斯特丹大学)
现有的视觉解释生成代理学习流利地证明类预测。然而,他们可能会提到反映强烈类别先验的视觉属性,尽管证据可能实际上并不存在于图像中。这是特别令人担忧的,因为最终这些代理无法与人类用户建立信任。为了克服这一限制,我们提出了一个短语评论模型来改进生成的候选解释,这些解释用翻转的短语来增强,我们在训练时将其用作负面示例。在推理时,我们的短语评论模型将图像和候选解释作为输入,并输出一个分数,指示候选解释在图像中的基础。我们可解释的人工智能智能体能够为另一种预测提供反论据,即反事实,以及证明正确分类决策的解释。我们的模型通过提及图像中的短语来提高CUB数据集上细粒度分类决策的文本解释质量。此外,在FOIL任务中,我们的智能体检测句子中的错误,为不正确的短语提供理由,并比其他模型更好地纠正它。
2018-08-02 cs.CV
Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning
Department of Automation, Tsinghua University(清华大学自动化系)
本文提出 Skyra,一种专门用于识别 AI 生成视频中人类可感知的视觉瑕疵的多模态大语言模型,通过这些瑕疵作为基础证据进行检测和解释,同时构建了首个大规模 AI 生成视频瑕疵数据集并提出两阶段训练策略。
2026-05-15 cs.CV
VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations
University of Waterloo(滑铁卢大学);NVIDIA(英伟达);National Taiwan University(国立台湾大学);Nanyang Technological University(南洋理工大学)
VIEScore2通过网格表示联合预测图像质量分数和缺陷位置,利用GRPO优化定位,在评估任务上超越通用视觉语言模型,实现可解释的空间化图像评估。
2026-10-02 cs.CV
CXR-LanIC: Language-Grounded Interpretable Classifier for Chest X-Ray Diagnosis
National University of Singapore(新加坡国立大学)
本文提出CXR-LanIC,一种基于语言的可解释分类器,通过任务对齐的模式发现解决胸部X光诊断的可解释性挑战,通过训练稀疏自编码器提取可解释的视觉模式,实现高准确率的诊断并支持自然语言解释。
2026-05-19 cs.CV
Hint-AD: Holistically Aligned Interpretability in End-to-End Autonomous Driving
Institute for AI Industry Research (AIR)(人工智能产业研究院(AIR));Xingjian College, Tsinghua University(清华大学行健书院);OpenDriveLab, Shanghai AI Lab(上海人工智能实验室OpenDriveLab);Mercedes-Benz Group China Ltd.(梅赛德斯-奔驰集团中国有限公司)
针对端到端自动驾驶自然语言解释未锚定中间输出的问题,提出Hint-AD集成系统,通过整体token mixer对齐感知-预测-规划结果,并发布Nu-X数据集。
2024-09-10 cs.AI cs.CV
XPlainVerse: A Million-Scale Benchmark for Explainable Deepfake Detection
Monash University(墨尔本大学);MBZUAI(穆斯林人工智能研究所);The University of Queensland(昆士兰大学)
针对深度伪造检测模型解释缺乏视觉依据的问题,引入XPlainVerse基准测试,含百万图像及多阶段验证流程,提出新评估指标,能支持可信赖、可解释模型的研究。
2026-07-07 cs.CV
Grounding Visual Explanations (Extended Abstract)
EECS, University of California Berkeley(加州大学伯克利分校电气工程与计算机科学系);Amsterdam Machine Learning Lab, University of Amsterdam(阿姆斯特丹大学机器学习实验室)
生成文本解释的现有模型通过判别项损失函数来执行任务相关性,但是这样的机制仅弱地约束所提到的对象部分实际上存在于图像中。在本文中,提出了一种新的模型,用于生成解释,利用本地化接地的组成短语在生成的解释,以确保图像的相关性。具体来说,我们引入了一个短语评论模型来细化(重新评分/重新排名)生成的候选解释,并采用相对属性启发的排名损失使用“翻转”短语作为负面的例子进行训练。在测试时,我们的短语评论模型将图像和候选解释作为输入,并输出一个分数,表明候选解释在图像中的基础有多好。
2017-11-17 cs.CV
When Do Language-Grounded Explanations Help? A Graph-Bottleneck for Farm Monitoring Interpretable Sheep Facial Pain
CISTER Research Center(CISTER研究中心);Pontificia Universidad Católica de Chile(智利天主教大学)
本研究通过概念瓶颈架构,证明语言接地解释在绵羊面部疼痛识别中不可靠,提出仅用SPFES概念分数的方法,牺牲少量一致性换取可学习概念,并揭示架构必要性不等于语义有效性。
2026-09-18 cs.AI cs.CV
LLM-Based Visual Explanation Evaluation Framework for Assessing the Explainability of Facial Skin Disease Classification Models
AI and Business Analytics, Ewha Womans University(人工智能与商业分析,成均馆大学)
提出基于LLM的视觉解释评估框架,通过渐进式提示工程评估Grad-CAM在面部皮肤病诊断模型中的解释质量,聚焦病变定位和可信度。
2026-07-27 cs.CV
VIGIL: Part-Grounded Structured Reasoning for Generalizable Deepfake Detection
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究所);Shanghai Key Laboratory of Multimodal Embodied AI(上海市多模态具身人工智能重点实验室)
VIGIL通过计划-检验流程,结合部分级证据和结构化推理,提升深度伪造检测的可解释性和泛化能力。
2026-06-28 cs.CV
Textual Explanations for Self-Driving Vehicles
University of California, Berkeley(加州大学伯克利分校);MPI for Informatics(马克斯·普朗克信息学研究所);University of Amsterdam(阿姆斯特丹大学)
深度神经感知和控制网络已成为自动驾驶汽车的关键组成部分。用户接受可能受益于易于解释的文本解释,这些解释允许最终用户理解触发特定行为的原因。解释可以由神经控制器触发,即内省解释,或者由神经控制器的输出通知,即合理化。我们提出了一个新的方法,内省的解释,其中包括两个部分。首先,我们使用视觉(空间)注意力模型来训练从图像到车辆控制命令的端到端卷积网络,即,加速和改变路线。控制器的注意力识别可能影响网络输出的图像区域。其次,我们使用基于注意力的视频到文本模型来产生模型动作的文本解释。控制器和解释模型的注意力地图是对齐的,这样解释就扎根于场景中对控制器重要的部分。我们探讨两种方法来注意力对齐,强和弱对齐。最后,我们探索了一个版本的模型,产生合理化,并与内省的解释相同的视频片段进行比较。我们在一个新的驾驶数据集上评估这些模型,该数据集具有地面真实的人类解释,即伯克利DeepDrive eXplanation(BDD-X)数据集。代码可在https://github.com/JinkyuKimUCB/explainable-deep-driving上获得。
2018-07-30 cs.CV
Towards Visual Discrimination and Reasoning of Real-World Physical Dynamics: Physics-Grounded Anomaly Detection
ShanghaiTech University(上海科技大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Monash University(莫纳什大学)
针对现有工业异常检测缺乏物理推理的问题,提出物理接地异常检测数据集Phys-AD及PAEval指标,以推动真实世界动态场景下的异常检测与解释。
2025-03-26 cs.AI cs.CV
DocShield: Towards AI Document Safety via Evidence-Grounded Agentic Reasoning
Ant Group(蚂蚁集团);Nanyang Technological University(南洋理工大学);CFAR and IHPC, Agency for Science, Technology and Research (A*STAR), Singapore(新加坡科技研究局(A*STAR)计算与先进机器人中心及高性能计算研究所)
本文提出DocShield框架,通过视觉-逻辑联合推理解决文档伪造检测问题,采用CCT机制和多任务奖励优化,提升检测准确性和解释性,实验显示其在多个基准测试中表现优异。
2026-07-23 cs.AI cs.CV
BanglaMemeX: Advancing Cultural Metaphoric Image Interpretation in Bangla with a Multimodal Explainable Dataset
University of Dhaka(达卡大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出BanglaMemeX,一个含3000个孟加拉语模因的文化多模态基准,标注多维标签和人工解释,评估现代视觉语言模型,发现其难以解读隐性文化线索,强调需文化感知系统。
2026-09-09 cs.CL cs.CV
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University(奥尔堡大学);Yodaway
近年来,可解释人工智能(XAI)已成为一个非常适合的框架,以生成人类可理解的解释“黑盒”模型。在本文中,一种新的XAI视觉解释算法被称为相似性差异和uniform(SIDU)的方法,可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析,通过各种计算和人体实验。特别是,SIDU算法使用三种不同类型的评估(应用程序,人类和功能接地)进行评估,以证明其优越的性能。为了更好地理解SIDU算法的性能,进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC