B-XAIC Dataset: Benchmarking Explainable AI for Graph Neural Networks Using Chemical Data
University of Edinburgh(爱丁堡大学);Jagiellonian University(雅盖隆大学);Jagiellonian University, Faculty of Mathematics and Computer Science(雅盖隆大学数学与计算机科学学院);Jagiellonian University, Faculty of Chemistry(雅盖隆大学化学学院);Ardigen SA(Ardigen公司)
本文提出B-XAIC基准,基于真实分子数据和多样化任务评估图神经网络的可解释AI方法,揭示现有方法的局限性,促进更可靠可解释模型的开发。
2026-11-06 cs.CE cs.LG
Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
如今,深度神经网络广泛应用于医疗保健、自动驾驶汽车和军事等对人类生活有直接影响的关键任务系统。然而,深度神经网络的黑箱性质对其在关键任务应用中的使用提出了挑战,引发了道德和司法问题,导致缺乏信任。可解释人工智能(XAI)是人工智能(AI)的一个领域,它促进了一套工具,技术和算法,可以生成高质量的可解释,直观,人类可理解的AI决策解释。除了提供当前XAI在深度学习领域的整体观点外,本文还提供了开创性工作的数学总结。我们首先提出了一个分类法,并根据解释范围、算法背后的方法以及解释级别或用法对XAI技术进行分类,这有助于构建可信、可解释和自我解释的深度学习模型。然后,我们描述了XAI研究中使用的主要原则,并提出了2007年至2020年XAI里程碑式研究的历史时间轴。在详细解释了每一类算法和方法之后,我们评估了八种XAI算法在图像数据上生成的解释图,讨论了这种方法的局限性,并提供了改进XAI评估的潜在未来方向。
2020-06-23 cs.AI cs.CV cs.LG
Greybox XAI: a Neural-Symbolic learning framework to produce interpretable predictions for image classification
ENSTA, Institut Polytechnique Paris(巴黎理工学院ENSTA);Inria(法国国家信息与自动化研究所);Segula Technologies(赛科集团);Sorbonne Université(索邦大学);TECNALIA(泰克尼亚研究中心);University of the Basque Country (UPV/EHU)(巴斯克大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所);University of Granada(格拉纳达大学)
虽然深度神经网络(DNN)具有很强的泛化和预测能力,但它们的功能并不允许对其行为进行详细解释。不透明的深度学习模型越来越多地用于在关键环境中做出重要预测,危险在于它们做出和使用的预测无法被证明或合法化。已经出现了几种将解释与机器学习模型分离的可解释的人工智能(XAI)方法,但是在对模型实际功能的忠实性和鲁棒性方面存在缺点。因此,人们普遍认为赋予深度学习模型解释能力的重要性,这样它们就可以自己回答为什么会做出特定的预测。首先,我们解决的问题,缺乏通用的标准XAI的正式解释是什么。我们还介绍了一组公理和定义,以从数学角度阐明XAI。最后,我们提出了Greybox XAI,这是一个由DNN和透明模型组成的框架,这要归功于符号知识库(KB)的使用。我们从数据集中提取KB并使用它来训练透明模型(即,逻辑回归)。在RGB图像上训练编码器-解码器架构,以产生类似于透明模型使用的KB的输出。一旦这两个模型被独立训练,它们就被组合起来形成一个可解释的预测模型。我们展示了这种新架构如何在几个数据集中准确和可解释。
2022-09-26 cs.AI cs.CV cs.LG
XAI Beyond Classification: Interpretable Neural Clustering
Sichuan University(四川大学)
在本文中,我们研究了可解释人工智能(XAI)和数据聚类中的两个具有挑战性的问题。第一个是如何直接设计一个具有内在可解释性的神经网络,而不是对黑箱模型进行事后解释。第二个是实现离散的$k$ -意味着一个可微的神经网络,包括并行计算,在线聚类,聚类有利的表示学习的优点。为了解决这两个挑战,我们设计了一个新的神经网络,这是一个可微的香草$k$ -手段,称为inInterpretable nEuraL cLustering(TELL)的重新制定。我们的贡献是三方面的。首先,据我们所知,大多数现有的XAI作品都集中在监督学习范式上。这项工作是XAI对无监督学习的少数研究之一,特别是数据聚类。第二,TELL是一个可解释的,或者说是所谓的内在可解释和透明的模型。相比之下,大多数现有的XAI研究采取各种手段来理解具有事后解释的黑箱模型。第三,从数据聚类的角度来看,TELL具有$k$ -means所期望的许多特性,包括但不限于在线聚类、即插即用模块、并行计算和可证明收敛性。大量的实验表明,我们的方法取得了优越的性能相比,14聚类方法在三个具有挑战性的数据集。可在\url{www.pengxi.me}访问源代码。
2022-04-22 cs.LG stat.ML
Neural Flow Samplers with Shortcut Models
Imperial College London(伦敦帝国学院)
本文提出神经流捷径采样器,通过速度驱动序列蒙特卡洛改进配分函数相关估计,并引入捷径一致性模型减少采样步数,在合成数据与 n 体系统上优于现有流式神经采样器。
2025-07-20 cs.LG
Be Persistent: Towards a Unified Solution for Mitigating Shortcuts in Deep Learning
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
本文针对深度神经网络中的捷径学习问题,利用拓扑数据分析(TDA)和持久同调(PH)提出了一种检测捷径的统一路线图,并通过分析计算图的拓扑特征在不可学习示例和决策偏见案例中验证了其有效性。
2024-08-26 cs.CV cs.LG
Shortcut Features as Top Eigenfunctions of NTK: A Linear Neural Network Case and More
Seoul National University(首尔国立大学);Kyung Hee University(庆熙大学)
本文研究了线性神经网络中捷径学习的本征函数特性,并将该结论扩展至更复杂的网络结构。
2026-02-03 cs.AI cs.LG
On a Sparse Shortcut Topology of Artificial Neural Networks
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Massachusetts(马萨诸塞大学)
在已建立的网络架构中,快捷连接通常用于将早期层的输出作为后续层的附加输入。尽管捷径具有非凡的有效性,但其机制和特征仍存在悬而未决的问题。例如,为什么快捷键很强大?为什么快捷键的泛化效果很好?本文研究了一种新的稀疏捷径拓扑的表达性和推广性。首先,我们证明了这种拓扑结构可以使单神经元范围的深度网络能够逼近任何单变量连续函数。然后,我们提出了一种新的宽度有界的通用逼近器,与深度有界的通用逼近器相反,并将近似结果推广到一族同样胜任的网络。此外,利用推广界理论,我们证明了所提出的捷径拓扑具有良好的推广性。最后,我们通过将所提出的拓扑与流行的架构(包括ResNet和DenseNet)在知名的基准上进行比较来证实我们的理论分析,并执行显着图分析来解释所提出的拓扑。我们的工作有助于增强对捷径作用的理解,并为创新神经架构提供了进一步的机会。
2021-11-11 cs.LG stat.ML
Norm-Hierarchy Transitions in Representation Learning: When and Why Neural Networks Abandon Shortcuts
H&K Research Studio, Clevix LLC(H&K研究室,Clevix LLC)
本研究提出范数层级过渡框架,解释神经网络在训练过程中如何从依赖捷径特征逐步转向结构化表示,揭示了延迟特征发现的共同机制。
2026-03-07 cs.AI cs.LG
Overcoming Shortcut Learning in Graph Neural Networks through Active Explanation Guidance
VU Amsterdam(阿姆斯特丹自由大学);University of Trento(特伦托大学);UiT The Arctic University of Norway(挪威北极大学)
该研究针对GNN易利用非因果捷径导致分布外任务可靠性低的问题,提出架构无关的人在回路策略XIGL,结合主动学习优先选择含捷径的解释以降低反馈成本,经多种GNN架构验证其有效性。
2026-08-17 cs.AI cs.LG
Bound Propagation meets Constraint Simplification: Improving Logic-based XAI for Neural Networks
Department of Computer Science, Instituto Federal do Ceará (IFCE)(计算机科学系,巴西塞阿拉联邦大学(IFCE))
本文通过结合边界传播与约束简化,显著提升了基于逻辑的神经网络可解释性方法的效率,减少了高达89.26%的解释时间。
2026-03-02 cs.LG cs.LO
Explaning with trees: interpreting CNNs using hierarchies
Laboratoire de Recherche de l’EPITA(EPITA研究实验室);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);Khalifa University(哈利法大学)
本文提出xAiTrees框架,通过层次分割技术为CNN提供忠实且可解释的解释,提升xAI的可解释性。
2026-01-13 cs.AI cs.CV cs.LG
XAI Methods for Neural Time Series Classification: A Brief Review
Know-Center GmbH(Know-Center有限公司);University of Technology Graz(格拉茨技术大学)
深度学习模型最近在各种任务中表现出了显著的效果,这就是为什么它们越来越多地应用于高风险领域,如工业,医学和金融。考虑到这些领域的自动预测可能会对个人的福祉产生重大影响,以及对个人或公司产生相当大的财务和法律后果,因此应用这些模型所产生的所有行动和决策都必须负责。鉴于在高风险领域收集的大量数据都是以时间序列的形式存在的,在本文中,我们研究了可解释人工智能(XAI)方法的现状,重点关注为时间序列分类任务打开深度学习黑盒的方法。最后,我们的贡献还旨在为未来的工作得出有希望的方向,以推进XAI在时间序列数据上的深度学习。
2021-08-18 cs.AI cs.LG
One Step Diffusion via Shortcut Models
UC Berkeley(伯克利大学)
捷径模型通过单一网络和训练阶段,按噪声水平和步长条件化,实现单步或多步高质量采样,优于一致性模型和重流,并支持推理时灵活调整步数。
2025-06-23 cs.CV cs.LG
Shortcut Learning in Deep Neural Networks
University of Tübingen(蒂宾根大学);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究院);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文指出深度学习的许多问题源于捷径学习现象,即模型在标准基准上表现良好但难以泛化到现实场景,并基于此为模型解释和基准测试提出建议以提升鲁棒性和可迁移性。
2023-11-21 cs.AI cs.CV cs.LG
Shortcut Learning Susceptibility in Vision Classifiers
IIT Bombay(博扬理工学院)
本研究通过引入位置和强度相关的人为捷径,系统评估CNNs、MLPs、ViTs三类视觉分类器的捷径学习易感性,发现低学习率下CNNs更难采纳捷径特征,无位置编码的ViTs易忽略图像本身特征。
2025-09-01 cs.CV cs.LG
Explaining deep neural network models for electricity price forecasting with XAI
University College London(伦敦大学学院)
本文提出使用深度神经网络预测电价,并结合SHAP、Gradient和热图等可解释AI方法分析五个电力市场的价格驱动因素,同时引入SSHAP值和SSHAP线新概念以增强高维表格模型的表示。
2025-06-24 cs.AI cs.LG stat.ML
Widening the Representation Bottleneck in Neural Machine Translation with Lexical Shortcuts
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
Transformer是一种最先进的神经翻译模型,它使用注意力来迭代地改进词汇表示,并从周围的上下文中提取信息。词汇特征被输入到第一层,并通过隐藏层的深层网络传播。我们认为,需要表示和传播词汇功能,在每一层限制了模型的学习能力和代表其他相关的信息的任务。为了缓解这个瓶颈,我们在嵌入层和编码器和解码器中的每个后续层之间引入门控快捷连接。这使得模型能够动态地访问相关的词汇内容,而无需将有限的资源用于将其存储在中间状态中。我们表明,所提出的修改产生一致的改进超过基线Transformer标准WMT翻译任务在5个翻译方向(平均0.9 BLEU),并减少了隐藏层传递的词汇信息量。此外,我们评估不同的方式来整合词汇连接到Transformer架构,并提出消融实验,探索建议的快捷方式对模型行为的影响。
2019-06-28 cs.CL cs.LG
Tandem Blocks in Deep Convolutional Neural Networks
Brigham Young University(杨百翰大学)
由于残差网络(resnets)和相关架构的成功,快捷连接已迅速成为构建卷积神经网络的标准工具。对于捷径的明显有效性,文献中的解释多种多样,而且往往相互矛盾。我们假设,捷径的工作主要是因为它们作为线性对应的非线性层。我们通过使用标准残差块的几种变体来测试这一假设,这些变体具有不同类型的线性连接,以构建小型图像分类网络。我们的实验表明,其他类型的线性连接可能比身份捷径更有效。我们的研究结果还表明,对于一个给定的应用程序的最佳类型的线性连接可能取决于网络的宽度和深度。
2018-06-01 cs.LG stat.ML
ICON decomposition: Multivariate concept auditing reveals shortcuts that neural networks rely on
Hertie Institute for AI in Brain Health, University of Tübingen(蒂宾根大学赫蒂脑健康人工智能研究所);Charité - Universitätsmedizin Berlin(柏林夏里特医学院);Humboldt-Universität zu Berlin(柏林洪堡大学);Tübingen AI Center, University of Tübingen(蒂宾根大学蒂宾根人工智能中心);German Center for Mental Health (DZPG)(德国心理健康中心);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希赫兹研究所);Technische Universität Berlin(柏林工业大学)
该研究针对深度神经网络的捷径学习问题,提出ICON分解方法,通过量化概念在考虑其他概念及结果后的方差解释度,在合成数据及皮肤病变、脑成像模型上实现更准确的概念级解释,可用于模型审计。
2026-10-20 cs.AI cs.CV cs.LG
Tuning for Trustworthiness -- Balancing Performance and Explanation Consistency in Neural Network Optimization
Institute IDE+A, TH Köln Gummersbach(IDE+A研究所,TH Köln Gummersbach)
本文提出将XAI一致性纳入超参数调优的多目标优化框架,平衡预测性能与解释鲁棒性,并识别出权衡区域,为提升模型在分布外数据上的可靠性奠定基础。
2025-05-23 cs.AI cs.LG
Investigating the fidelity of explainable artificial intelligence methods for applications of convolutional neural networks in geoscience
Colorado State University(科罗拉多州立大学);Cooperative Institute for Research in the Atmosphere(大气研究合作研究所)
卷积神经网络(CNN)最近在地球科学中引起了极大的关注,因为它们能够捕获非线性系统行为并提取预测时空模式。然而,鉴于其黑盒性质以及预测可解释性的重要性,可解释人工智能(XAI)方法作为解释CNN决策策略的一种手段越来越受欢迎。在这里,我们建立了一些最流行的XAI方法的相互比较,并调查他们的保真度在解释CNN的决定,地球科学应用。我们的目标是提高人们对这些方法的理论局限性的认识,并深入了解它们的相对优势和劣势,以帮助指导最佳实践。所考虑的XAI方法首先应用于理想化的归因基准,其中网络的解释的基础事实是先验已知的,以帮助客观地评估其性能。其次,我们将XAI应用于与气候相关的预测设置,即解释一个CNN,该CNN经过训练以预测气候模拟每日快照中的大气河流数量。我们的研究结果突出了XAI方法的几个重要问题(例如,梯度破碎、无法区分归因符号、对零输入的无知),这些在我们的领域中以前被忽视,如果不谨慎考虑,可能会导致CNN决策策略的扭曲画面。我们设想,我们的分析将激发对XAI保真度的进一步研究,并将有助于在地球科学中谨慎地实施XAI,这可能导致进一步利用CNN和深度学习来解决预测问题。
2022-09-05 cs.AI cs.LG physics.geo-ph
Understand the Effectiveness of Shortcuts through the Lens of DCA
Yau Mathematical Sciences Center (YMSC), Tsinghua University(清华大学丘成桐数学科学中心);Beijing Institute of Mathematical Sciences and Applications (BIMSA)(北京数学科学与应用研究院)
本研究从凸函数差值算法(DCA)视角解释深度神经网络中捷径结构的优化有效性,证明捷径网络梯度等价于对普通网络应用DCA的结果,并提出可纳入DCA框架、性能与ResNet相当的NegNet新架构。
2024-12-13 cs.LG cs.NE math.OC
The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations
EPFL(洛桑联邦理工学院)
针对事后解释器不一致的问题,本文提出转向可解释的神经网络架构,并给出五种需求与两种方案,主张XAI的未来在于内在可解释性。
2024-05-28 cs.AI cs.CY cs.HC
WeShort: Out-of-distribution Detection With Weak Shortcut structure
神经网络已经在与训练集相同的分布中的数据上取得了令人印象深刻的性能,但对于这些网络从未见过的数据,可能会产生过度自信的错误结果。因此,为了保证部署在现实世界中的神经网络的安全性,必须检测输入是否来自分布外(OOD)。在本文中,我们提出了一个简单而有效的事后技术,WeShort,以减少OOD数据的神经网络的过度自信。我们的方法的灵感来自于内部残留结构的观察,它显示了在捷径层中OOD和分布(ID)数据的分离。我们的方法是兼容不同的OOD检测分数,可以推广到不同的网络架构。我们在各种OOD数据集上展示了我们的方法,以显示其竞争力,并提供合理的假设来解释为什么我们的方法有效。在ImageNet基准测试中,Wesperson在post-hoc方法家族的假阳性率(FPR 95)和接收器操作特征下的面积(AUROC)方面达到了最先进的性能。
2022-08-19 cs.LG
On the Foundations of Shortcut Learning
该研究通过构建可控生成框架与理论分析,揭示了深度非线性模型因特征可得性与预测性的权衡易产生捷径偏差,明确了该倾向是深度架构的固有特性。
2024-07-11 cs.CV cs.LG
Diagnosing Shortcut-Induced Rigidity in Continual Learning: The Einstellung Rigidity Index (ERI)
Department of Computer Science and Engineering(计算机科学与工程系);University of North Texas(北卡罗来纳大学达顿分校)
针对持续学习中捷径特征引发的僵化问题,提出可解释的Einstellung僵化指数(ERI),通过三个维度区分真实迁移与线索放大性能,实验验证了该设置下捷径色块是干扰项而非有用捷径。
2025-10-01 cs.CV cs.LG
XAI-TRIS: Non-linear image benchmarks to quantify false positive post-hoc attribution of feature importance
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);Technische Universität Berlin(柏林工业大学)
本文构建 XAI-TRIS 非线性图像基准,以已知类别条件特征为真值,定量评估多种事后 XAI 方法在三类深度架构上的假阳性归因。
2023-12-07 cs.AI cs.CV cs.LG
Mitigating Backdoors via Decoy Shortcuts and Knowledge Decoupling
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本研究提出TR防御方法,通过蜜罐捷径捕获后门知识,结合知识解耦策略与自动捷径生成,在四个基准数据集和五个模型架构上有效缓解多种后门攻击,同时保留良性性能。
2026-08-04 cs.CV cs.LG
From Shortcut Learning to Discrete Neural Insertion Sort
针对神经算法推理中模型走捷径而非真正执行算法的问题,本文提出离散神经插入排序,通过离散化与状态监督,在长度16训练下实现长度64和128上100%准确率,并揭示全局状态监督的必要性。
2026-09-28 cs.AI cs.LG
Neural Network Attribution Methods for Problems in Geoscience: A Novel Synthetic Benchmark Dataset
Colorado State University(科罗拉多州立大学);Cooperative Institute for Research in the Atmosphere(大气研究合作研究所)
尽管神经网络越来越成功地应用于地球科学中的许多问题,但其复杂和非线性的结构使得难以解释其预测,这限制了模型的信任,并且不允许科学家获得关于手头问题的物理见解。在新兴的可解释人工智能(XAI)领域中引入了许多不同的方法,这些方法旨在将网络的预测归因于输入域中的特定特征。XAI方法通常通过使用基准数据集(如用于图像分类的MNIST或ImageNet)进行评估。然而,对于大多数这些数据集,缺乏客观的、理论上推导出的基础事实,这使得在许多情况下对XAI的评估是主观的。此外,专门为地球科学问题设计的基准数据集很少。在这里,我们提供了一个框架,基于使用的可加性分离的功能,生成属性基准数据集的回归问题的地面真相的属性是已知的先验。我们生成一个大型基准数据集,并训练一个完全连接的网络来学习用于模拟的底层函数。然后,我们将来自不同XAI方法的估计热图与地面实况进行比较,以确定特定XAI方法表现良好或较差的示例。我们相信,本文介绍的属性基准对于神经网络在地球科学中的进一步应用以及更客观地评估和准确实施XAI方法具有重要意义,这将增加模型信任并有助于发现新科学。
2022-06-10 cs.LG physics.geo-ph
Spatial Shortcuts in Graph Neural Controlled Differential Equations
Fraunhofer HHI(弗劳恩霍夫HHI);TU Berlin(柏林工业大学)
本文将先验图拓扑融入 NCDE 以预测图上动力系统,比较不同信息注入位置,证明隐藏状态与控制间的外部结构更优,并以更少参数取得更低 MAE。
2024-10-25 cs.LG stat.ML
The Anatomy of Adversarial Attacks: Concept-based XAI Dissection
Continental AG(大陆集团);Hochschule Anhalt(安哈尔特应用技术大学);University of Lübeck(吕贝克大学)
本研究利用可解释人工智能(XAI)技术,深入分析对抗性攻击对卷积神经网络学习概念的影响,发现攻击会改变特征空间概念组成,且扰动可线性分解为特定于目标的潜在向量组件,为开发更鲁棒模型和防御机制提供了新见解。
2024-03-25 cs.AI cs.CV cs.LG
Revealing Vulnerabilities of Neural Networks in Parameter Learning and Defense Against Explanation-Aware Backdoors
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Oldenburg(奥尔登堡大学)
本文揭示了致盲攻击对神经网络解释的误导性,提出一种无需额外训练的评估阶段防御方法,使攻击成功率降低约99%,均方误差减少约91%。
2024-03-25 cs.CR cs.CV cs.LG
Optimizing Explanations by Network Canonization and Hyperparameter Search
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Singapore Institute of Technology(新加坡理工学院);University of Oslo(奥斯陆大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所)
可解释人工智能(XAI)正在慢慢成为许多人工智能应用程序的关键组件。然而,基于规则和修改后的反向传播XAI方法在应用于包括创新层构建块的现代模型架构时经常面临挑战,这是由两个原因引起的。首先,基于规则的XAI方法的高度灵活性导致了许多潜在的参数化。其次,许多XAI方法打破了实现不变性公理,因为它们难以处理某些模型组件,例如,BatchNorm层。后者可以通过模型规范化来解决,这是重新构建模型以忽略有问题的组件而不改变底层功能的过程。虽然模型规范化对于简单架构是直接的(例如,VGG,ResNet),对于更复杂和高度互连的模型(例如,DenseNet)。此外,只有很少的量化证据表明模型经典化对XAI有益。在这项工作中,我们提出了适用于流行的深度神经网络架构的当前相关模型块的规范化,包括VGG,ResNet,EfficientNet,DenseNets以及关系网络。我们进一步提出了一个XAI评估框架,通过该框架,我们量化并比较了Pascal-VOC和ILSVRC 2017数据集上图像分类任务中各种XAI方法的模型规范化效果,以及使用CLEVR-XAI进行视觉问答。此外,为了解决上述前一个问题,我们展示了我们的评估框架如何应用于XAI方法的超参数搜索,以优化解释的质量。
2023-03-27 cs.AI cs.CV cs.LG
Deep Learning Reproducibility and Explainable AI (XAI)
Federal Office for Information Security (BSI)(联邦信息安全办公室)
本文以图像分类为例,研究了深度学习(DL)训练算法的非确定性及其对神经网络(NN)模型可解释性的影响。为了讨论这个问题,训练了两个卷积神经网络(CNN),并比较了它们的结果。比较服务于探索的可行性,创造确定性的,强大的DL模型和确定性的可解释的人工智能(XAI)在实践中。所有在这里进行的努力的成功和局限性进行了详细描述。本文列出了所得到的确定性模型的源代码。复制被索引为模型治理框架的开发阶段组成部分,由欧盟在其卓越的人工智能方法中提出。此外,可重复性是建立因果关系以解释模型结果和建立信任以实现AI系统应用压倒性扩展的要求。在这项工作中,必须解决的问题,以再现性和如何处理其中的一些,检查。
2022-03-02 cs.AI cs.LG
Towards Formal XAI: Formally Approximate Minimal Explanations of Neural Networks
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
随着机器学习的快速发展,深度神经网络(DNN)现在被用于许多领域。不幸的是,DNN是“黑匣子”,并且不能被人类解释,这在安全关键系统中是一个重大问题。为了缓解这个问题,研究人员已经开始研究可解释AI(XAI)方法,该方法可以识别输入特征的子集,这些特征是DNN对给定输入做出决策的原因。大多数现有的技术是启发式的,不能保证所提供的解释的正确性。相比之下,最近令人兴奋的尝试表明,形式化方法可以用来生成可证明正确的解释。虽然这些方法是合理的,但底层验证问题的计算复杂性限制了它们的可扩展性;它们产生的解释有时可能过于复杂。在这里,我们提出了一种新的方法来解决这些限制。我们(1)提出了一种有效的、基于验证的方法来寻找最小解释,这构成了全局最小解释的可证明近似;(2)展示了DNN验证如何帮助计算最优解释的上下界;(3)提出了显着提高验证过程可扩展性的算法;(4)建议使用捆绑,这使我们能够得到更简洁和可解释的解释。我们的评估表明,我们的方法显著优于最先进的技术,并产生对人类更有用的解释。因此,我们将这项工作视为利用验证技术生产更可靠和更易于理解的DNN的一步。
2023-02-09 cs.LG cs.LO
Explain to Not Forget: Defending Against Catastrophic Forgetting with XAI
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Friedrich Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希·亚历山大大学);Technische Universität Berlin(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所)
在训练神经网络时,不断处理和保留新信息的能力是一项备受追捧的壮举。不幸的是,传统的优化算法往往需要大量的数据在训练时间和更新wrt。在训练过程完成后,很难获得新的数据。事实上,当新的数据或任务出现时,由于神经网络容易发生灾难性遗忘,先前的进展可能会丢失。灾难性遗忘描述了当神经网络被给予新信息时完全忘记先前知识的现象。我们提出了一种新的训练算法,称为通过解释训练,其中我们利用逐层相关传播来保留神经网络在训练新数据时已经在以前的任务中学习的信息。该方法在一系列基准数据集以及更复杂的数据上进行了评估。我们的方法不仅成功地保留了神经网络中旧任务的知识,而且比其他最先进的解决方案更节省资源。
2022-06-22 cs.LG
Feature salience - not task-informativeness - drives machine learning model explanations
研究发现,机器学习模型解释的重要性主要由测试时图像结构的显著性驱动,而非统计关联。
2026-02-18 cs.LG
Compressing Deep Neural Networks Using Explainable AI
Shahid Bahonar University of Kerman(克尔曼巴哈尔大学);Shiraz University(设拉子大学)
提出利用可解释AI(LRP)计算参数重要性,通过剪枝和混合精度量化压缩深度神经网络,模型大小减少64%且精度提升42%。
2025-07-04 cs.AI cs.LG
A Hybrid GA-PSO Method for Evolving Architecture and Short Connections of Deep Convolutional Neural Networks
School of Engineering and Computer Science Victoria University of Wellington(惠灵顿维多利亚大学工程与计算机科学学院)
图像分类是一个困难的机器学习任务,其中卷积神经网络(CNN)已经被应用了20多年,以解决这个问题。近年来,代替传统的仅将当前层与其下一层连接的方式,已经提出了将当前层与其下一层之外的前向层连接的快捷连接,这已被证明能够促进深度CNN的训练过程。然而,有各种方法来构建快捷连接,在解决特定问题时很难手动设计最佳快捷连接,特别是考虑到网络架构的设计已经非常具有挑战性。本文提出了一种混合演化计算(EC)方法,用于\textit{automatically}进化深层CNN的架构和快捷连接。本文的主要工作有三个方面:第一,提出了一种新的编码策略,对CNN进行编码,将其结构和最短连接分开编码;第二,提出了一种结合粒子群优化和遗传算法的混合两级EC方法来搜索最优CNN;最后,引入可调的学习率用于适应度评估,其在给定固定数量的时期的情况下为训练过程提供更好的学习率。在三个广泛使用的图像分类基准数据集上对该算法进行了评估,并与12个基于非EC的竞争对手和一个基于EC的竞争对手进行了比较。实验结果表明,该方法优于所有的同行竞争对手的分类精度。
2019-03-10 cs.AI cs.CV cs.LG
One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks
Shanghai Jiao Tong University(上海交通大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
不可学习示例(ULE)旨在保护数据免受未经授权的使用,以用于训练DNN。现有的工作增加了$\ell_\infty$ -有界扰动的原始样本,使训练的模型推广较差。然而,这种扰动很容易通过对抗性训练和数据增强来消除。在本文中,我们解决了这个问题,从一个新的角度来看,扰动只有一个像素在每个图像。有趣的是,这样一个小的修改可以有效地降低模型的准确性,几乎是一个未经训练的对手。此外,我们产生的\emph{One-Pixel Shortcut (OPS)}不能被对抗训练和强增强所消除。为了生成OPS,我们在同一位置将类内图像扰动到同一目标值,该目标值可以大部分且稳定地偏离所有原始图像。由于这种生成仅基于图像,因此OPS需要比使用DNN生成器的先前方法显著更少的计算成本。基于OPS,我们引入了一个名为CIFAR-10-S的不可学习数据集,它与CIFAR-10无法区分,但会导致训练模型的准确性极低。即使在对抗训练下,在CIFAR-10-S上训练的ResNet-18也只有10.61%的准确率,而现有的误差最小化方法为83.02%。
2023-02-26 cs.LG stat.ML
Patch Shortcuts: Interpretable Proxy Models Efficiently Find Black-Box Vulnerabilities
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
安全机器学习(ML)的一个重要支柱是系统地减轻神经网络的弱点,以在关键应用中部署它们。一类无处不在的安全风险是习得的捷径,即网络在其决策中利用的虚假相关性,这些决策与实际任务没有语义联系。依赖这种捷径的网络承担着无法很好地推广看不见的输入的风险。可解释性方法有助于发现此类网络漏洞。然而,如果在所谓的黑盒设置中对网络的访问受到限制,则这些技术中的许多技术不能直接应用。这些设置在使用第三方ML组件时很普遍。为了解决这个问题,我们提出了一种方法来检测学习的捷径使用可解释的设计网络作为代理的黑盒模型的兴趣。利用代理对内省的保证,我们自动提取学习捷径的候选者。他们的可转移到黑盒是在一个系统的方式验证。具体地说,作为代理模型,我们选择了BagNet,它完全基于局部图像补丁的决定。我们在自动驾驶数据集A2D2上证明,提取的补丁快捷方式对黑盒模型有显著影响。通过有效地识别这种基于补丁的漏洞,我们有助于更安全的ML模型。
2021-04-22 cs.CR cs.CV cs.LG
Trust Me, I Know the Way: Predictive Uncertainty in the Presence of Shortcut Learning
Department of Statistics, LMU Munich(慕尼黑大学统计系);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文探讨了神经网络预测不确定性量化中关于熵分解与认知不确定性的争论,指出无知与分歧观点均成立但源于不同学习情境,并证明捷径的存在是认知不确定性表现为分歧的决定性因素。
2025-04-04 cs.LG
Right for the Right Reasons: Avoiding Reasoning Shortcuts via Prototypical Neurosymbolic AI
Imperial College London(帝国理工学院伦敦分校);Sapienza University of Rome(罗马萨皮恩扎大学)
本文提出原型神经符号架构,通过学习正确基本概念避免推理捷径,提升神经符号学习的安全性和可靠性。
2026-01-30 cs.LG
Enhancing Breast Cancer Diagnosis in Mammography: Evaluation and Integration of Convolutional Neural Networks and Explainable AI
Salim Habib University(萨利姆哈比布大学)
本研究提出结合卷积神经网络与可解释AI的集成框架,利用CBIS-DDSM数据集和迁移学习增强乳腺癌诊断,并通过Hausdorff测度评估XAI解释与专家标注的一致性,提升AI辅助诊断的可信度与临床集成。
2024-04-27 cs.AI cs.CV cs.LG
Pruning coupled with learning, ensembles of minimal neural networks, and future of XAI
University of Leicester(莱斯特大学);Lobachevsky State University(罗巴切夫斯基州立大学)
剪枝与学习相结合的目的是优化神经网络(NN)的结构,以解决特定的问题。这种优化可以用于各种目的:防止过拟合,节省实现和训练的资源,提供训练的NN的可解释性等等。不能进一步修剪的最小结构不是唯一的。最小结构的包围可以用作通过投票解决问题的智能代理委员会。每个最小NN都提供了关于问题的“经验知识”,并且可以用语言表达。从数据中提取的知识的非唯一性是数据驱动人工智能(AI)的一个重要属性。在这项工作中,我们审查的原则基础上修剪的方法:什么控制培训应该控制修剪。这一原理有望用于人工神经网络和大脑中重要突触联系的选择和修改。在反向传播人工神经网络的学习控制的梯度的损失函数。因此,一阶灵敏度指标用于修剪和基于这些指标的算法进行了审查。引入了逻辑透明神经网络的概念。这种方法在政治预测问题上得到了说明:预测美国总统选举的结果。八个最小的神经网络,给出不同的预测算法。解决方案的非唯一性可以通过创建专家小组(委员会)来利用。NN多元化的另一个用途是识别输入信号的区域,其中进一步的数据汇集是最有用的。在结论中,我们讨论了广泛宣传的XAI计划可能的未来。
2023-01-22 cs.LG cs.NE stat.ML
Quantitative Evaluation of Explainable Graph Neural Networks for Molecular Property Prediction
Sun Yat-sen University(中山大学);Galixir
机器学习的进展已经导致用于药物发现的基于图神经网络的方法,在分子设计、化学合成规划和分子性质预测方面产生有希望的结果。然而,目前的图神经网络(GNN)仍然是有限的接受在药物发现是有限的,由于他们缺乏可解释性。虽然这一主要弱点已经通过可解释人工智能(XAI)技术的发展得到缓解,但大多数可解释任务中的“地面实况”分配最终取决于人类的主观判断,因此模型解释的质量很难量化评估。在这项工作中,我们首先建立了三个层次的基准数据集,以定量评估最先进的GNN模型的可解释性。然后,我们结合不同的GNN算法实施了最新的XAI方法,以强调药物发现的好处、局限性和未来机会。因此,GradInput和IG通常为GNN提供最佳的模型可解释性,特别是与GraphNet和CMPNN结合使用时。集成和开发的XAI软件包是完全开源的,可供从业人员用于训练其他药物发现任务的新模型。
2021-07-12 cs.LG q-bio.QM
Overcoming Catastrophic Forgetting by XAI
Korea Advanced Institute of Science and Technology(韩国科学技术院)
解释深度神经网络(通常被认为是黑匣子)的行为至关重要,尤其是当它们现在被应用于人类生活的各个方面时。利用可解释的机器学习(可解释的ML)的优势,这项工作提出了一种新的工具,称为灾难性遗忘解剖器(或CFD)来解释持续学习设置中的灾难性遗忘。我们还介绍了一种新的方法,称为临界冻结的基础上,我们的工具的观察。ResNet上的实验阐明了灾难性遗忘是如何发生的,特别是显示了这个著名网络的哪些组成部分正在遗忘。我们的新的持续学习算法击败了各种最近的技术的显着保证金,证明了调查的能力。临界冻结不仅攻击了灾难性遗忘,而且还暴露了可解释性。
2022-11-25 cs.LG
Software for Dataset-wide XAI: From Local Explanations to Global Insights with Zennit, CoRelAy, and ViRelAy
Technische Universität Berlin(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Korea University(高丽大学);Max Planck Institut für Informatik(马克斯·普朗克信息学研究所)
深度神经网络(DNN)被认为是强预测器,但它们的预测策略很少被理解。随着可解释人工智能(XAI)的最新进展,可以探索这些复杂模型预测背后的推理方法。在事后归因方法中,分层相关传播(LRP)表现出较高的性能。对于更深入的定量分析,存在手动方法,但没有正确的工具,它们是不必要的劳动密集型。在这篇软件论文中,我们介绍了三个面向科学家的软件包,以探索使用归因方法及其他方法的模型推理:(1)Zennit -一个高度可定制和直观的归因框架,在PyTorch中实现LRP和相关方法,(2)CorRelAy-一个轻松快速构建定量分析管道的框架,用于对解释进行全网分析,以及(3)ViRelAy -交互式探索数据、属性和分析结果的网络应用程序。有了这个,我们为XAI提供了一个标准化的实施解决方案,为我们的领域提供更多的可重复性。
2023-02-28 cs.LG
Improving Deep Neural Network Classification Confidence using Heatmap-based eXplainable AI
Nanyang Technological University(南洋理工大学)
针对图像分类问题,对基于热图的可解释人工智能(XAI)方法的质量进行了量化。在这里,如果热图提高了预测正确类别的概率,则热图被认为是可取的。根据经验,不同的基于XAI热图的方法可以在不同程度上提高分类置信度,具体取决于数据集,例如,显着性在ImageNet上效果最好,去卷积在胸部X射线肺炎数据集上效果最好。新颖性包括一个新的差距分布,显示了正确和错误的预测之间的明显差异。最后,介绍了生成增强解释,这是一种生成热图的方法,能够将预测置信度提高到一个高水平。
2023-01-21 cs.AI cs.LG
Towards Best Practice in Explaining Neural Network Decisions with LRP
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希赫兹研究所);Technische Universität Berlin(柏林工业大学);Singapore University of Technology and Design(新加坡科技设计大学)
在过去的十年中,基于神经网络的预测器已经展示了令人印象深刻的能力,有时甚至是超人的能力。这种性能通常是用不透明的预测过程来支付的,因此在可解释人工智能(XAI)的新领域中引发了许多贡献。在本文中,我们专注于一个流行的和广泛使用的XAI方法,逐层相关传播(LRP)。自其最初的命题LRP已经演变为一种方法,并且已经默认了应用该方法的最佳实践,但是仅基于人类观察到的证据。在本文中,我们调查-并首次量化-在视觉目标检测设置前馈神经网络的影响,目前的最佳实践。实验结果表明,基于层的LRP方法更好地体现了模型的推理,同时提高了LRP的目标定位性和类别区分度。
2020-07-13 cs.CV cs.LG stat.ML
Towards Self-Explainability of Deep Neural Networks with Heatmap Captioning and Large-Language Models
Queensland University of Technology(昆士兰科技大学)
针对基于热力图的可解释AI缺乏自动化与交互性等问题,提出包含上下文建模与推理模块的框架,利用模板化图像描述生成与大型语言模型,有效实现深度神经网络的自解释性。
2023-04-05 cs.CV cs.HC cs.LG
xAI-GAN: Enhancing Generative Adversarial Networks via Explainable AI Systems
University of Waterloo(滑铁卢大学)
生成对抗网络(GANs)是一类革命性的深度神经网络(DNN),已成功用于生成逼真的图像,音乐,文本和其他数据。然而,GAN培训提出了许多挑战,特别是它可能非常资源密集型。GANs的一个潜在弱点是,它需要大量的数据来进行成功的训练,而数据汇集可能是一个昂贵的过程。通常情况下,从DNN到生成器DNN的校正反馈(即,DNN对生成的示例的评估)仅使用一个实数值(损失)来计算。相比之下,我们提出了一类新的GAN,我们称之为xAI-GAN,它利用可解释AI(xAI)系统的最新进展,从鉴别器到生成器提供“更丰富”形式的纠正反馈。具体来说,我们使用xAI系统修改了梯度下降过程,该系统指定了为什么分类器进行分类的原因,从而提供了“更丰富”的纠正反馈,帮助生成器更好地欺骗分类器。使用我们的方法,我们观察到xAI-GANs在MNIST和FMNIST数据集上生成的图像质量比标准GANs提高了23.18%,如Frechet Inception Distance(FID)所测量的。我们进一步比较了在20%的数据上训练的xAI-GAN与在CIFAR 10数据集上100%的数据上训练的标准GAN,发现xAI-GAN仍然显示出FID分数的改善。此外,我们将我们的工作与微分增强进行比较-这已被证明可以使GANs数据高效-并表明xAI-GANs优于在微分增强上训练的GANs。此外,这两种技术可以结合起来,以产生更好的结…
2022-03-29 cs.LG stat.ML