On the explainable properties of 1-Lipschitz Neural Networks: An Optimal Transport Perspective
Université Paul-Sabatier(保罗萨巴蒂尔大学);Institut de Recherche Technologique Saint-Exupéry(圣埃克苏佩里技术研究院);Carney Institute for Brain Science,Brown University(布朗大学卡尼脑科学研究所);Innovation & Research Division, SNCF(法国国家铁路公司创新与研究部)
该研究从最优传输视角出发,发现经对偶损失训练的1-Lipschitz神经网络的显著性图噪声低、聚焦关键区域、与人类解释高度吻合,同时兼具可认证鲁棒性与良好可扩展性,为可解释AI提供了新方案。
2024-02-02 cs.AI cs.CR cs.CV
Explainable AI in Time-Sensitive Scenarios: Prefetched Offline Explanation Model
IMT School for Advanced Studies Lucca(卢cca高等研究院);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);University of Pisa(比萨大学)
提出Poem,一种与模型无关的图像局部可解释性算法,通过预取离线生成样例、反样例和显著性图,在时间敏感场景中提供快速有效解释,并在速度与解释质量上超越Abele。
2025-03-06 cs.AI cs.LG
SketchXplain: Intuitive Visual Explanations of Image Classifiers with Sketches
National University of Singapore(新加坡国立大学)
提出SketchXplain方法,结合显著性图、概念瓶颈模型和草图优化,生成基于草图的直观视觉解释,以提升图像分类器的可解释性。
2026-06-17 cs.AI cs.HC
Towards Trustworthy and Explainable AI for Perception Models: From Concept to Prototype Vehicle Deployment
Institute for Automotive Engineering, RWTH Aachen University(汽车工程研究所,亚琛工业大学)
本文提出一个结合鲁棒性、可解释性和不确定性校准的Transformer感知模块,并部署于原型车辆,通过实时可视化验证可信AI的可行性。
2026-05-22 cs.AI cs.RO
Improving Deep Neural Network Classification Confidence using Heatmap-based eXplainable AI
Nanyang Technological University(南洋理工大学)
针对图像分类问题,对基于热图的可解释人工智能(XAI)方法的质量进行了量化。在这里,如果热图提高了预测正确类别的概率,则热图被认为是可取的。根据经验,不同的基于XAI热图的方法可以在不同程度上提高分类置信度,具体取决于数据集,例如,显着性在ImageNet上效果最好,去卷积在胸部X射线肺炎数据集上效果最好。新颖性包括一个新的差距分布,显示了正确和错误的预测之间的明显差异。最后,介绍了生成增强解释,这是一种生成热图的方法,能够将预测置信度提高到一个高水平。
2023-01-21 cs.AI cs.LG
What Do You See? Evaluation of Explainable Artificial Intelligence (XAI) Interpretability through Neural Backdoors
Purdue University(普渡大学)
可解释人工智能(XAI)方法已经被提出来解释深度神经网络如何通过模型显着性解释来预测输入,这些解释突出了被认为对在特定目标上做出决策很重要的输入部分。然而,它仍然具有挑战性,以量化其可解释性的正确性,因为目前的评估方法要么需要从人类的主观输入或自动评估招致高计算成本。在本文中,我们提出了后门触发模式-隐藏的恶意功能,导致错误分类-自动评估显着性的解释。我们的主要观察是,触发器为输入提供了基础事实,以评估XAI方法识别的区域是否与其输出真正相关。由于后门触发器是导致故意错误分类的最重要特征,因此强大的XAI方法应该在推理时显示它们的存在。我们介绍了三个补充指标,用于系统评估XAI方法生成和评估七个最先进的无模型和模型特定的posthoc方法的解释,通过36个模型特洛伊木马专门制作的触发器使用颜色,形状,纹理,位置和大小。我们发现六种使用局部解释和特征相关性的方法都不能完全突出触发区域,只有无模型方法才能揭示整个触发区域。
2020-09-22 cs.AI cs.CV cs.LG
More Questions than Answers? Lessons from Integrating Explainable AI into a Cyber-AI Tool
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文通过网络安全源代码分类案例研究,评估XAI在分析师工作流中的可用性,指出SHAP、LIME等事后局部解释难以被非专家理解,并探讨LLMs提供高层解释的潜力。
2024-08-08 cs.AI cs.HC
SIDU: Similarity Difference and Uniqueness Method for Explainable AI
Aalborg University(奥尔堡大学)
一个新品牌的技术人工智能(可解释的人工智能)研究集中在试图打开“黑匣子”,并提供一些可解释性。本文提出了一种新的深度学习网络的视觉解释方法,其形式为显着图,可以有效地定位整个对象区域。与目前最先进的方法相比,所提出的方法显示出非常有前途的视觉解释,可以获得人类专家的更大信任。对一般和临床数据集进行定量和定性评价,以确认所提出的方法的有效性。
2020-06-04 cs.AI cs.CV cs.LG
Beyond saliency: enhancing explanation of speech emotion recognition with expert-referenced acoustic cues
Center for Cognitive Interaction Technology (CITEC), Bielefeld University, Germany(认知交互技术中心(CITEC),比勒菲尔德大学,德国);Cognitive Systems Lab, University of Bremen, Germany(认知系统实验室,不莱梅大学,德国)
针对现有SER显著性解释方法无法关联有效情感声学标记的问题,本文提出结合专家参考声学线索的解释框架,可量化显著性区域线索幅值,提升SER模型解释的可理解性与合理性。
2025-11-12 cs.AI cs.LG cs.SD
LAYER: A Quantitative Explainable AI Framework for Decoding Tissue-Layer Drivers of Myofascial Low Back Pain
University of Pittsburgh(匹兹堡大学)
LAYER框架通过分析多层组织在3D超声中的贡献,揭示非肌肉组织对肌筋膜疼痛预测的重要性,挑战传统肌肉中心范式。
2025-11-25 cs.AI cs.CV eess.IV
Is Task-Agnostic Explainable AI a Myth?
Stanford University(斯坦福大学)
本文通过梳理图像、文本和图数据上的显著性、注意力及图解释器研究,指出任务无关XAI普遍存在方法自身黑箱化及与任务不兼容的根本局限。
2023-07-13 cs.AI cs.LG
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble(宝洁公司);Singapore Management University(新加坡管理大学)
随着自然语言处理(NLP)在政治分析、教育论文审查等敏感领域的应用激增,迫切需要提高NLP模型的透明度,以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法,让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型(如神经网络)中提取出来,转化为可消费的解释,但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解,也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验,以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明,人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
Mitigating belief projection in explainable artificial intelligence via Bayesian Teaching
Rutgers University(罗格斯大学);New York University(纽约大学);Stanford University(斯坦福大学)
最先进的深度学习系统使用的决策规则对人类来说是一个挑战。可解释人工智能(XAI)试图提高人类的理解能力,但很少解释人们通常如何对不熟悉的代理进行推理。我们提出明确建模的人类解释通过贝叶斯教学,评估解释有多少他们转移解释的推理朝着一个期望的目标。我们评估贝叶斯教学中的二进制图像分类任务在各种情况下。在没有干预的情况下,参与者预测人工智能的分类将与他们自己的分类相匹配,但贝叶斯教学产生的解释通过使他们远离这种先前的信念来提高他们预测人工智能判断的能力。贝叶斯教学进一步允许每个案例被分解为子示例(这里是显着图)。这些子示例通过改进熟悉类别的错误检测来补充整个示例,而整个示例有助于预测不熟悉情况的正确AI判断。
2021-04-26 cs.AI
Enhancing Tree Species Classification: Insights from YOLOv8 and Explainable AI Applied to TLS Point Cloud Projections
本文通过YOLOv8和可解释AI分析TLS点云投影,提升树种分类的可解释性与判别性能。
2026-03-11 cs.AI cs.CV
Quantitative Evaluations on Saliency Methods: An Experimental Study
Huawei Technologies(华为技术有限公司);Hong Kong University of Science and Technology(香港科技大学)
长期以来,可解释AI(XAI)一直是一个重要的话题,但它缺乏严格的定义和公平的衡量标准。在本文中,我们简要地总结了现状的指标,以及详尽的实验研究的基础上,他们,包括忠实性,本地化,假阳性,灵敏度检查,和稳定性。实验结果表明,在我们比较的所有方法中,没有一种解释方法在所有指标上都优于其他方法。尽管如此,加权类激活映射(Grad-CAM)和随机输入解释采样(RISE)在大多数指标中表现相当不错。利用一组过滤的指标,我们进一步提出了一个案例研究,诊断模型的分类基础。在提供一个全面的度量实验研究的同时,我们还研究了当前度量中遗漏的测量因素,并希望这项有价值的工作可以作为未来研究的指导。
2020-12-31 cs.AI cs.LG
Evaluating the Utility of Model Explanations for Model Development
UW-Madison(威斯康星大学麦迪逊分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文通过图像数据的混合方法用户研究,评估 SmoothGrad、GradCAM 与 oracle 显著性图在模型选择和反事实模拟中的作用,发现其未显著提升决策,但有助于更准确描述模型。
2023-12-10 cs.AI cs.HC
Active Globally Explainable Learning for Medical Images via Class Association Embedding and Cyclic Adversarial Generation
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
针对可解释AI存在的显著性不精确、缺上下文感知等问题,提出类别关联嵌入与主动XAI框架,在医学图像分类中实现更优可解释性与病理可视化。
2023-06-12 cs.AI cs.CV
Human Interpretation of Saliency-based Explanation Over Text
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
虽然可解释人工智能的许多研究都集中在产生有效的解释上,但很少有人致力于人们如何理解和解释解释的问题。在这项工作中,我们专注于这个问题,通过研究的显着性为基础的解释文本数据。文本模型的属性解释旨在传达输入文本的哪些部分比其他部分对模型决策更有影响力。许多当前的解释方法,例如基于梯度或基于Shapley值的方法,提供了数学上很好理解的重要性度量。一个人怎样才能明白自己的道理呢?他们的理解是否与解释试图传达的内容相匹配?我们实证调查的各种因素的输入,特征归因的解释,可视化程序,外行的解释解释的效果。我们询问众包工作者对英语和德语任务的解释,并考虑兴趣因素,将GAMM模型拟合到他们的回答。我们发现,人们经常误解的解释:表面和无关的因素,如字长,影响被解释者的重要性分配,尽管解释直接传达的重要性。然后,我们表明,这种失真可以被削弱:我们提出了一种方法来调整显着性的基础上的模型估计的过度和不足的感知,并探索条形图作为替代热图显着性可视化。我们发现,这两种方法可以削弱特定因素的扭曲效应,从而更好地校准的解释的理解。
2022-06-17 cs.AI cs.CL cs.HC
RIACT: A Responsible AI System for Personalized Study Habit Tracking and Early Burnout Signal Detection in University Students
本研究提出负责任AI系统RIACT,结合结构化学习记录与混合AI架构,为大学生检测早期倦怠信号并生成个性化学习建议,嵌入可审计规则等负责任AI原则,还提出了倦怠信号评估框架。
2026-08-25 cs.AI cs.HC
From Predictions to Explanations: Explainable AI for Autism Diagnosis and Identification of Critical Brain Regions
University of Plymouth, Plymouth, UK(普利茅斯大学)
提出结合深度学习与可解释AI的双模块计算机辅助诊断框架,利用跨域迁移学习进行自闭症分类,并通过三种XAI技术揭示诊断决策机制与关键脑区,验证了方法的临床相关性。
2025-09-04 cs.AI cs.LG
A Fresh Look at Sanity Checks for Saliency Maps
TU Berlin(柏林工业大学);Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);Leibniz Institute of Agricultural Engineering and Bioeconomy e.V. (ATB)(莱布尼茨农业工程与生物经济研究所);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);University of Potsdam(波茨坦大学)
本文针对显著性图评估中 MPRT 的方法论缺陷,提出平滑 MPRT 和高效 MPRT 两种改进,以降低噪声影响并避免有偏相似性度量,从而提升解释方法评估的可靠性。
2024-05-03 cs.AI cs.CV cs.LG
SurroCBM: Concept Bottleneck Surrogate Models for Generative Post-hoc Explanation
Emory University(埃默里大学)
本文提出SurroCBM框架,利用自动发现的概念通过代理模型对黑盒进行事后解释,并采用自生成数据训练策略提升解释质量,实验验证其有效性。
2023-10-11 cs.AI cs.LG
Explainable embeddings with Distance Explainer
Netherlands eScience Center(荷兰eScience中心);Center for Information Technology(信息科技中心);University of Groningen(格罗宁根大学)
本文提出Distance Explainer,通过选择性遮蔽和距离排序的遮蔽过滤生成嵌入空间的局部后验解释,验证了其在跨模态嵌入中的有效性,提升了深度学习应用的透明度和可信度。
2026-07-08 cs.AI cs.CL cs.CV
Embedding Explainable AI in NHS Clinical Safety: The Explainability-Enabled Clinical Safety Framework (ECSF)
针对NHS现有临床安全标准难以适配AI概率性特性的问题,提出可解释性赋能临床安全框架ECSF,将可解释性融入现有合规全流程,为AI临床应用提供结构化安全证据支撑。
2025-11-18 cs.AI cs.CY cs.HC
A Temporal Type-2 Fuzzy System for Time-dependent Explainable Artificial Intelligence
University of Essex(埃塞克斯大学)
可解释的人工智能(XAI)是一种提供透明模型和决策的范式,这些模型和决策很容易被非技术受众理解、分析和增强。基于XAI的模糊逻辑系统(FLS)可以提供一个可解释的框架,同时还可以对现实环境中存在的不确定性进行建模,这使得它适用于需要可解释性的应用。然而,大多数现实生活中的过程的特征不仅仅是高水平的不确定性;它们本质上也是依赖于时间的,即,过程随时间而变化。在这项工作中,我们提出了一种新的时间依赖性XAI(TXAI)系统,它可以占测量的发生在时域中使用(测量的)发生频率的可能性的时间类型-2 FLS为基础的方法。在时间型2模糊集(TT 2FSs),四维(4D)的时间依赖的隶属函数的关系被用来构建的话语的宇宙和它的出现频率的元素之间的相互关系。TXAI系统表现出更好的分类能力,10倍的测试数据集,平均召回率为95.40%比标准的XAI系统(基于非时间一般2型(GT 2)模糊集),平均召回率为87.04%。TXAI在平均召回率方面也明显优于大多数不可解释的AI系统,平均召回率提高了3.95%至19.04%。此外,TXAI还可以使用嵌入在TXAI模型中的发生频率值来概述最可能的时间依赖轨迹;即,给定在确定的时间间隔处的规则,在随后的时间间隔处下一个最可能的规则将是什么。在这方面,所提出的TXAI系统可以对描绘现实生活中的时间依赖性过程(例如行为或生物过程)的演变产生深远的影响。
2022-10-22 cs.AI cs.IT math.IT
A Psychological Theory of Explainability
Rutgers University–Newark(罗格斯大学纽瓦克分校);Institute for Advanced Study(普林斯顿高等研究院)
可解释的人工智能(XAI)的目标是生成人类可解释的解释,但人类如何解释AI生成的解释并没有计算上精确的理论。理论的缺乏意味着XAI的验证必须根据经验进行,在个案的基础上,这阻碍了XAI的系统理论建设。我们提出了一个心理学理论,人类如何从显着图中得出结论,显着图是XAI解释的最常见形式,它第一次允许精确预测以解释为条件的被解释者推理。我们的理论假设,在没有解释的情况下,人类期望人工智能做出与自己类似的决定,并且通过与他们自己给出的解释进行比较来解释解释。比较是形式化的,通过谢泼德的普遍规律的推广相似空间,一个经典的理论,从认知科学。一个预先注册的用户研究AI图像分类与显着图的解释表明,我们的理论定量匹配参与者的预测的AI。
2022-06-09 cs.AI cs.LG
FM-G-CAM: A Holistic Approach for Explainable AI in Computer Vision
Department of Computer Science Nottingham Trent University(计算机科学系诺丁汉特大学)
本文提出FM-G-CAM方法,通过综合考虑多个预测类别,提供CNN模型决策的全面解释,改进传统Grad-CAM的局限性。
2026-05-15 cs.AI cs.CV cs.LG
eXIAA: eXplainable Injections for Adversarial Attack
Department of Mechanical Engineering National University of Singapore(机械工程系国立新加坡大学)
针对事后可解释人工智能(XAI)提出新型黑盒模型无关对抗攻击eXIAA,无需访问模型或权重,单步修改解释且保持预测类别不变,暴露XAI可靠性漏洞,在ResNet-18、ViT-B16上验证有效。
2025-11-13 cs.AI cs.CV cs.LG
ViT-CX: Causal Explanation of Vision Transformers
The Hong Kong University of Science and Technology(香港科技大学);Huawei Technologies Co., Ltd(华为技术有限公司)
针对现有视觉Transformer解释方法依赖注意力权重、效果不佳的问题,提出基于补丁嵌入因果影响的ViT-CX方法,可生成更有意义、更忠实的显著图。
2023-06-09 cs.AI cs.CV
Evaluating Explainable AI Attribution Methods in Neural Machine Translation via Attention-Guided Knowledge Distillation
Department of Computer Science, University of Luxembourg(卢森堡大学计算机科学系)
本文通过注意力引导的知识蒸馏评估神经机器翻译中的可解释AI归因方法,发现注意力、值零化和层梯度×激活方法在BLEU指标上表现最佳,而其他梯度方法效果较弱。
2026-03-11 cs.AI cs.CL
Benchmarking XAI Explanations with Human-Aligned Evaluations
本文提出PASTA框架及数据集,用于以人类判断为基准评估计算机视觉中的XAI解释方法,并实现自动化评分以预测人类偏好,支持跨模态比较,助力构建更可解释的模型。
2025-08-26 cs.AI cs.CV cs.HC
An Efficient Ensemble Explainable AI (XAI) Approach for Morphed Face Detection
Netaji Subhas University of Technology(内塔吉·苏巴斯理工大学)
针对人脸变形攻击检测中深度学习黑盒模型决策难解释的问题,提出整合三种可视化方法的Ensemble XAI,为EfficientNet-B1提供更全面的决策解释,在三个公开数据集上验证了其细粒度特征呈现效果。
2023-04-23 cs.AI cs.CV
SL-CBM: Enhancing Concept Bottleneck Models with Semantic Locality for Better Interpretability
Saarland University(萨尔大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Science Tokyo(东京科学大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Institute of Software, Chinese Academy of Science(中国科学院软件研究所)
SL-CBM通过引入语义局部性增强概念瓶颈模型,提升可解释性和干预效果,同时保持分类准确度。
2026-01-19 cs.AI cs.LG
Efficient and Concise Explanations for Object Detection with Gaussian-Class Activation Mapping Explainer
Quy Nhon AI, FPT Software(归仁人工智能,FPT软件);Analytics Everywhere Lab, University of New Brunswick(新不伦瑞克大学无处不在分析实验室);University of Waterloo(滑铁卢大学)
本文提出高斯类激活映射解释器(G-CAME),通过利用选定层激活图并应用高斯核生成简洁显著性图,在MS-COCO 2017数据集上结合Faster-RCNN和YOLOX,将目标检测的解释时间降至0.5秒且保持高质量,尤其减少微小物体检测偏差。
2024-04-20 cs.AI cs.CV
Evaluating Saliency Map Explanations for Convolutional Neural Networks: A User Study
卷积神经网络(CNN)在一系列应用中提供了出色的机器学习性能,但即使是专家也很难解释它们的操作。已经提出了各种解释算法来解决这个问题,但有限的研究工作已经报告了关于他们的用户评价。在本文中,我们报告了一个在线的组间用户研究,旨在评估“显着图”的性能-一个流行的解释算法的CNN的图像分类应用。我们的研究结果表明,显着性图产生的LRP算法帮助参与者了解一些特定的图像功能的系统是敏感的。然而,这些地图似乎对参与者预测网络输出新图像的帮助非常有限。根据我们的研究结果,我们强调了设计和进一步研究可解释人工智能的意义。特别是,我们认为HCI和AI社区应该超越实例级别的解释。
2020-02-03 cs.HC
Towards a Rigorous Evaluation of XAI Methods on Time Series
University of Konstanz(康斯坦茨大学);Siemens CT(西门子中央研究院);TU Munich(慕尼黑工业大学)
可解释的人工智能(XAI)方法通常用于解释和调试黑盒机器学习模型。然而,大多数提出的XAI方法本身就是黑盒,并且是为图像设计的。因此,他们依靠视觉可解释性来评估和证明解释。在这项工作中,我们将以前在图像和文本域中使用的XAI方法应用于时间序列。我们提出了一种方法来测试和评估各种XAI方法的时间序列,通过引入新的验证技术,将时间维度。我们进一步进行了初步实验,以评估所选XAI方法解释的质量,并在一系列数据集上使用各种验证方法并检查其质量指标。我们证明,在我们的初步实验中,SHAP对所有模型都是鲁棒的,但其他模型,如DeepLIFT,LRP和显着性图,在特定的架构下工作得更好。
2019-09-17 cs.AI cs.LG
A survey on Concept-based Approaches For Model Improvement
CVIT, KCIS(CVIT、KCIS);IIIT-Hyderabad(印度国际信息技术研究院海得拉巴分校)
本文综述了DNNs中基于概念的方法,系统回顾了概念表示与发现算法,并首次全面总结了利用概念提升模型可解释性和泛化能力的改进方法。
2024-03-23 cs.AI cs.LG
Unraveling the Dilemma of AI Errors: Exploring the Effectiveness of Human and Machine Explanations for Large Language Models
University of Waterloo(滑铁卢大学)
本研究对比人类与机器生成的大语言模型解释,发现人类显著性图更具帮助性,但支持错误AI预测的有用解释会降低任务表现,揭示了AI错误的解释困境。
2024-04-11 cs.AI cs.HC
Explanation Strategies for Image Classification in Humans vs. Current Explainable AI
本研究比较图像分类中人类与XAI的解释策略,发现人类采用聚焦或探索性两种策略,突出可观测因果性特征的XAI方法更匹配人类解释。
2023-04-10 cs.HC
Fool Me Once? Contrasting Textual and Visual Explanations in a Clinical Decision-Support Setting
Vienna University of Technology(维也纳工业大学);University of Oxford(牛津大学);Rayscape(锐景);Oxford University Hospitals NHS Foundation Trust(牛津大学医院NHS基金会信托);University College London(伦敦大学学院)
通过85名医疗从业者参与的用户研究,对比胸部X光分析中视觉、文本及混合解释对用户依赖的影响,发现文本解释易导致过度依赖,而与显著性图结合可缓解该问题。
2024-10-21 cs.CL cs.CV cs.HC