Finding and Fixing Spurious Patterns with Explanations
CMU（卡内基梅隆大学）；Microsoft Research（微软研究院）
图像分类器经常使用虚假模式，例如“依赖于人的存在来检测网球拍”，这并不普遍。在这项工作中，我们提出了一个端到端的管道，用于识别和减轻这种模型的虚假模式，假设我们可以访问像素的对象注释。我们从识别模式开始，例如“如果我们隐藏人，模型对网球拍的预测有63%的时间会发生变化。“然后，如果一个模式是虚假的，我们通过一种新形式的数据增强来减轻它。我们证明，我们的方法确定了一组不同的虚假模式，它减轻了他们通过产生一个模型，这是更准确的分布的虚假模式是没有帮助的，更强大的分布偏移。
2022-08-17 cs.LG
Instance-wise or Class-wise? A Tale of Neighbor Shapley for Concept-based Explanation
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
深度神经网络在许多数据驱动和面向预测的应用中表现出卓越的性能，有时甚至比人类表现得更好。然而，它们最大的缺点是缺乏可解释性，这使得它们在许多现实世界的应用中不那么有吸引力。当涉及道德问题或不确定的环境因素时，如犯罪判断，财务分析和医疗诊断，挖掘模型预测的证据（解释模型知识）以说服人类是至关重要的。因此，研究如何解释模型知识对于学术研究和实际应用都是至关重要的。
2023-02-21 cs.LG
Robustness May Be at Odds with Fairness: An Empirical Study on Class-wise Accuracy
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
卷积神经网络（CNN）已经取得了显著的进步，然而，众所周知，它们容易受到对抗攻击的攻击。对抗性训练是提高对抗性对强白盒攻击的鲁棒性的最广泛使用的技术。先前的工作已经评估和改进了模型的平均鲁棒性，而没有类评估。单独的平均评估可能会提供一种错误的鲁棒性。例如，攻击者可以专注于攻击脆弱类，这可能是危险的，特别是当脆弱类是关键类时，例如自动驾驶中的“人类”。我们提出了一个实证研究类的准确性和鲁棒性的对抗训练模型。我们发现，即使训练数据集的每个类的样本数量相等，也存在准确性和鲁棒性的类间差异。例如，在CIFAR 10中，“猫”比其他类更容易受到攻击。此外，这种类间差异也存在于正常训练的模型中，而对抗性训练往往会进一步增加这种差异。我们的工作旨在研究以下问题：（a）无论数据集，模型结构和优化超参数如何，类间差异现象是否普遍存在？(b)如果是这样的话，什么可能的解释类间差异？(c)长尾分类中提出的技术是否可以很容易地扩展到对抗训练中，以解决类间差异？
2021-10-10 cs.CV cs.LG
SliceGX: Layer-wise GNN Explanation with Model-slicing
Zhejiang University（浙江大学）；Case Western Reserve University（凯斯西储大学）；Bowling Green State University（布里奇沃特州立大学）
SliceGX是一种通过分层分析生成图神经网络解释的方法，能够逐步构建并维护子图以解释模型输出。
2026-01-26 cs.DB cs.LG
$Ψ$-Resilience: Model-Free Feature Importance from 1D Topological Signals
University of Sevilla（塞维利亚大学）
提出免模型特征重要性方法$\Psi$-Resilience，利用一维拓扑信号构建类不一致景观并聚合持久性特征，在合成与真实数据上分别达到0.8和0.9的Spearman相关性，实现无需预测模型的分布级审计。
2026-10-05 cs.AI cs.LG
A Versatile Framework for Designing Group-Sparse Adversarial Attacks
Department of Electrical Engineering（电气工程系）；Electronics Research Institute (ERI)（电子研究所）；Sharif University of Technology（谢里夫科技大学）
本文提出可微优化框架ATOS，利用OSL0和分组稀疏约束生成结构化对抗扰动，在CIFAR-10与ImageNet上达到100%攻击成功率并增强可解释性。
2025-10-18 cs.CR cs.LG eess.IV
Comprehensible Counterfactual Explanation on Kolmogorov-Smirnov Test
Simon Fraser University（西蒙弗雷泽大学）；McMaster University（麦克马斯特大学）；City University of Hong Kong（香港城市大学）
Kolmogorov-Smirnov（KS）检验广泛应用于异常检测、天文学、数据库安全和人工智能系统等领域。一个尚未触及的挑战是，我们如何能够获得一个解释，为什么一个测试集没有通过KS测试。在本文中，我们解决的问题，产生反事实的解释测试数据失败的KS测试。在概念上，我们提出了最易理解的反事实解释的概念，它既包含了KS测试数据，又包含了用户领域知识。计算方面，我们开发了一个有效的算法MOCHE（MOst CompreHensible Explanation），避免了枚举和检查指数数量的测试集的子集失败的KS测试。MOCHE不仅保证产生最容易理解的反事实解释，而且比基线快几个数量级。实验方面，我们提出了一个系统的实证研究，一系列的基准真实数据集，以验证最容易理解的反事实解释和MOCHE的有效性，效率和可扩展性。
2021-04-16 cs.LG
Unifying Perspectives: Plausible Counterfactual Explanations on Global, Group-wise, and Local Levels
wrocław University of Science and Technology（沃里克大学科学与技术学院）；Poznań University of Technology（波兹南技术大学）；Tooploox Sp. z o.o.（Tooploox公司）
本文提出一种基于梯度的优化方法，统一生成局部、全球和组级反事实解释，通过整合实例分组与反事实生成提升组级解释的有效性，并引入合理性准则确保解释的可信度。
2026-05-11 cs.AI cs.LG stat.ME
Sparse Explanations of Neural Networks Using Pruned Layer-Wise Relevance Propagation
Hasso Plattner Institute, Digital Engineering Faculty, University of Potsdam, Germany（哈索普兰特纳研究所，数字工程学院，波茨坦大学，德国）；Scientific Computing Center, Karlsruhe Institute of Technology, Germany（科学计算中心，卡尔斯鲁厄技术大学，德国）
本文改进 layer-wise relevance propagation，通过按输入剪枝相关性传播获得稀疏归因，并在图像和基因组序列上验证其降噪与聚焦关键特征的效果。
2025-10-21 cs.LG
Towards Robust Explanations for Deep Neural Networks
Technische Universität Berlin（柏林工业大学）；BIFOLD - Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）
解释方法揭示了黑盒分类器（如深度神经网络）的决策过程。但它们的有用性可能会受到损害，因为它们容易受到操纵。通过这项工作，我们的目标是增强解释的弹性。我们开发了一个统一的理论框架，推导出一个模型的最大可操作性的界限。基于这些理论见解，我们提出了三种不同的技术来提高对操纵的鲁棒性：用权重衰减训练，平滑激活函数和最小化网络的Hessian。我们的实验结果证实了这些方法的有效性。
2020-12-18 cs.LG
Processing-In-Memory Acceleration of Convolutional Neural Networks for Energy-Efficiency, and Power-Intermittency Resilience
University of Central Florida（中佛罗里达大学）
在此，使用自旋轨道扭矩磁随机存取存储器（SOT-MRAM）计算子阵列来实现逐位卷积神经网络（CNN）存储器内加速器。它采用了一种新的AND-累加方法，能够显著降低卷积层内的能耗，并完全在MRAM内执行各种低位宽的CNN推理操作。通过保留维持计算前向进展所需的部分状态信息，还增强了电力弹性，这对于无电池IoT节点是有利的。仿真结果表明，与基于ReRAM的加速相比，$\sim$ 5.4 $\times$更高的能效和9 $\times$加速，或者与最近的仅CMOS方法相比，大约$\sim$ 9.7 $\times$更高的能效和13.5 $\times$加速，同时保持与基线设计相当的推理准确性。
2019-04-16 cs.AR cs.ET cs.LG
Shapley Explanation Networks
Purdue University（普渡大学）
Shapley值已成为最流行的特征属性解释方法之一。然而，大多数先前的工作都集中在事后Shapley解释上，由于其指数时间复杂度，这可能在计算上要求很高，并且在训练期间排除了基于Shapley解释的模型正则化。因此，我们建议将Shapley值本身作为深层模型中的潜在表示，从而使Shapley解释成为建模范式中的一等公民。这种内在解释方法可以实现分层解释，在训练期间对模型进行解释正则化，并在测试时进行快速解释计算。我们定义了Shapley变换，它将输入转换为给定特定函数的Shapley表示。我们将Shapley变换作为一个神经网络模块进行操作，并通过组合Shapley模块来构建浅层和深层网络，称为ShapNets。我们证明了我们的Shallow ShapNets计算精确的Shapley值，而我们的Deep ShapNets保持了Shapley值的缺失和准确性。我们在合成和真实世界的数据集上证明，我们的ShapNet能够实现分层Shapley解释，训练期间的新颖Shapley正则化，以及快速计算，同时保持合理的性能。代码可在https://github.com/inouye-lab/ShapleyExplanationNetworks上获得。
2021-04-06 cs.AI cs.LG
Robustness and Visual Explanation for Black Box Image, Video, and ECG Signal Classification with Reinforcement Learning
Hewlett Packard Enterprise（慧与公司）
提出一种通用强化学习框架，通过最小畸变制作对抗攻击并生成定位掩码，在图像、视频和ECG信号分类中优于现有方法，提升了模型的鲁棒性与可解释性。
2024-04-22 cs.AI cs.CR cs.CV
LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks
Department of Computer Science University of Bari Aldo Moro（计算机科学系巴里大学Aldo Moro）
该研究提出LAYA分层注意力聚合器，通过动态聚合神经网络各层特征实现可解释深度感知，在图像分类任务中兼具竞争力性能与直观层贡献解释。
2026-08-04 cs.LG
CAFO: Feature-Centric Explanation on Time Series Classification
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）；Seoul National University (SNU)（首尔大学）
针对多变量时间序列分类缺乏有效特征级解释的问题，提出CAFO框架，通过通道注意力与QR正交化损失稳定特征重要性排序，并验证其有效性。
2024-06-12 cs.AI cs.LG
Component Ablation for Efficient Hybrid Language Model Architectures: Performance, Resilience, and Compression Implications
Doctoral Program in Computer Science, University of Valencia（瓦伦西亚大学计算机科学博士项目）
本文通过组件消融研究混合语言模型，发现注意力机制与替代序列处理路径对性能有显著影响，揭示了模型鲁棒性与压缩优化的关键因素。
2026-06-05 cs.AI cs.CL cs.LG
Fragment-Wise Interpretability in Graph Neural Networks via Molecule Decomposition and Contribution Analysis
本文提出可解释图神经网络SEAL，通过将分子图分解为化学相关片段并减少片段间消息传递来估计各片段的因果贡献，在定量归因和人类对齐可解释性上优于现有方法，为透明分子建模提供新方向。
2025-08-20 cs.LG
A Novel Multimodal RUL Framework for Remaining Useful Life Estimation with Layer-wise Explanations
University of Science and Technology China（中国科学技术大学）
本文提出一种结合图像和时频表示的多模态RUL估计框架，通过多头注意力和多模态LRP提升模型透明度，实验证明其在不同操作条件下均优于现有方法。
2025-12-07 cs.AI cs.LG
Reliable Explanations or Random Noise? A Reliability Metric for XAI
University of Oslo（奥斯陆大学）；Aalborg University（奥尔堡大学）
本文提出了解释可靠性指数（ERI），通过四个可靠性公理评估解释稳定性，揭示现有解释方法在现实部署中的可靠性问题，推动更可信的可解释人工智能系统。
2026-02-04 cs.AI cs.LG stat.ML
Shaping Up SHAP: Enhancing Stability through Layer-Wise Neighbor Selection
Univ Rennes, Inria, CNRS, IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、布列塔尼大西洋信息与通信技术研究所）；Univ Rennes, INSA Rennes, CNRS, Inria, IRISA（雷恩大学、雷恩国立应用科学学院、法国国家科学研究中心、法国国家信息与自动化研究所、布列塔尼大西洋信息与通信技术研究所）
针对 Kernel SHAP 因随机邻居选择导致的解释不稳定问题，本文改造其选择过程并提出仅使用 Layer 1 单点扰动联盟的稳定、高效且有意义的特征归因方法。
2024-06-17 cs.AI cs.LG
When Explanations Lie: Why Many Modified BP Attributions Fail
Dahlem Center of Machine Learning and Robotics（达勒姆机器学习与机器人中心）；Freie Universität Berlin（柏林自由大学）
本文分析了多种修改后的BP归因方法，发现除DeepLIFT外大多数方法的解释与后续层参数无关，并提出了CSC指标和评估框架来衡量和解释这一缺陷。
2024-02-19 cs.LG stat.ML
Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院）
本文提出WISE框架，通过二进制编码与填充对齐异构特征，结合LOFO策略和两阶段加权聚类，提升混合类型表格数据的聚类质量和可解释性。
2026-04-07 cs.LG
Winsor-CAM: Human-Tunable Visual Explanations from Deep Networks via Layer-Wise Winsorization
USD Artificial Intelligence Research , Department of Computer Science, University of South Dakota（USD人工智能研究、计算机科学系，南达科他大学）
Winsor-CAM通过逐层Winsor化和用户可调参数，提供高效稳健的视觉解释方法，提升CNN在医疗影像中的定位与保真度性能。
2026-02-20 cs.AI cs.CV cs.LG
FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions
Simon Fraser University（西蒙弗雷泽大学）
深度神经网络（DNN）越来越多地被部署在个人医疗设备和自动驾驶汽车等安全关键系统中。在这种基于DNN的系统中，错误恢复是重中之重，因为DNN推理中的错误可能导致错误预测和安全隐患。对于资源受限边缘设备上的延迟关键DNN推理，应用传统的基于冗余的容错技术是不平凡的。在本文中，我们提出了FitAct，这是一种低成本的方法，通过部署细粒度的后可训练激活函数来增强DNN的错误恢复能力。其主要思想是通过神经元有界激活函数精确地约束每个神经元的激活值，从而防止故障在网络中传播。为了避免复杂的DNN模型重新训练，我们建议将准确性训练和弹性训练解耦，并开发一个轻量级的后训练阶段来学习这些具有精确边界值的激活函数。在广泛使用的DNN模型（如AlexNet，VGG 16和ResNet 50）上的实验结果表明，FitAct在增强DNN错误恢复能力方面优于Clip-Act和Ranger等最先进的研究，同时增加了可管理的运行时间和内存空间开销。
2021-12-27 cs.AI cs.LG
Explainable Online Lane Change Predictions on a Digital Twin with a Layer Normalized LSTM and Layer-wise Relevance Propagation
University of Bamberg（班贝格大学）；IBM Deutschland GmbH（IBM德国有限公司）；fortiss GmbH（福蒂斯有限公司）
人工智能和数字孪生在推动智能驾驶领域的创新方面发挥着不可或缺的作用。长短期记忆（LSTM）是用于机动预期的车道变换预测领域的主要驱动力。然而，这种模型的决策过程是复杂和不透明的，因此降低了智能解决方案的可信度。这项工作提出了一种创新的方法和技术实现，用于解释层归一化LSTM使用逐层相关传播（LRP）的车道变化预测。核心实现包括从德国高速公路上的数字孪生消费实时数据，通过将LRP扩展到层归一化LSTM来实时预测和解释车道变化，以及用于向人类用户传达和解释预测的界面。我们的目标是展示车道变化预测的可靠、可理解和适应性强的解释，以提高涉及人类的人工智能系统的采用率和可信度。我们的研究还强调，ML模型用于机动预测的可解释性和最先进性能齐头并进，而不会对预测有效性产生负面影响。
2022-04-04 cs.AI cs.LG cs.RO
Explaining Deep Learning Models for Structured Data using Layer-Wise Relevance Propagation
CeADAR Irelands Centre for Applied AI, Technological University Dublin（爱尔兰CeADAR应用人工智能中心，都柏林理工大学）
机器学习模型中的信任和可信度是由模型解释其决策的能力所支撑的。虽然深度学习模型的可解释性是一个众所周知的挑战，但另一个挑战是解释本身的清晰度，这必须由下游用户解释。分层相关传播（LRP）是一种为计算机视觉中的深度模型开发的可解释性技术，提供了直观的人类可读的输入图像热图。我们首次使用深度神经网络（1D-CNN）在结构化数据集上展示了LRP的新应用，用于信用卡欺诈检测和电信客户流失预测数据集。我们展示了LRP如何比传统的可解释性概念的局部可解释模型不可知解释（LIME）和Shapley加法解释（SHAP）更有效。这种有效性是局部的样本水平和整体的整个测试集。我们还讨论了LRP（1- 2 s）相对于LIME（22 s）和SHAP（108 s）的显著计算时间优势，以及它在实时的应用场景中的潜力。此外，我们对LRP的验证突出了增强模型性能的特征，从而开辟了使用XAI作为特征子集选择方法的新研究领域
2020-11-26 cs.CV cs.LG
Layer-wise Relevance Propagation for Explainable Recommendations
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在本文中，我们通过利用逐层相关传播技术来解决基于深度学习的推荐模型中的解释问题。我们使用深度卷积神经网络从输入图像中提取相关特征，然后在特征空间中识别图像之间的相似性。图像之间的关系由模型识别，并且逐层相关性传播用于推断图像的像素级细节，这些细节可能显著地告知模型的选择。我们在亚马逊产品数据集上评估了我们的方法，并证明了我们方法的有效性。
2018-07-17 cs.CV cs.IR cs.LG
Aligned explanations in neural networks
Institute of Economics and L’EMbEDS, Sant’Anna School of Advanced Studies（经济学研究所和L’EMbEDS，圣安娜高级研究院）；Dept. of Statistics and Huck Institutes of the Life Sciences, Penn State University（统计系和生命科学学院，宾夕法尼亚州立大学）
本文提出PiNets，一种伪线性架构，通过实例级线性模型实现解释与预测的对齐，验证了其在图像分类和分割任务中解释的忠实性。
2026-05-07 cs.CV cs.LG stat.ML
Explainable Medical Image Segmentation via Generative Adversarial Networks and Layer-wise Relevance Propagation
University of Oslo（奥斯陆大学）
本文通过提出基于生成对抗网络的模型来分割内窥镜图像中的息肉和器械，从而有助于自动化医学图像分割。这项工作的一个主要贡献是提供解释的预测使用逐层相关性传播方法指定哪些输入图像像素是相关的预测，并在何种程度上。在息肉分割任务中，模型的准确率达到0.84，Jaccard指数为0.46。在乐器分割任务中，模型的准确率达到0.96，Jaccard指数达到0.70。该代码可在https://github.com/Awadelrahman/MedAI上获得。
2021-11-02 cs.CV cs.LG eess.IV
Quantum-chemical insights from interpretable atomistic neural networks
University of Luxembourg（卢森堡大学）；Korea University（高丽大学）
随着量子化学应用的深度神经网络的兴起，迫切需要一种架构，除了提供准确的化学性质预测外，还可以由研究人员轻松解释。在这里，我们以Behler-Parrinello网络和端到端模型SchNet为例描述原子神经网络的解释技术。这两种模型通过聚集原子贡献来获得化学性质的预测。这些潜在变量可以作为预测的局部解释，并且在训练期间获得而无需额外成本。由于它们与原子能和部分电荷等众所周知的化学概念相对应，这些原子层面的解释不仅能够洞察模型，更重要的是能够洞察潜在的量子化学过程。我们从原子的解释推广到三维空间，从而获得空间分辨的可视化，进一步提高可解释性。最后，我们分析了学习嵌入的化学元素，表现出类似于周期表的顺序的偏序。由于所研究的神经网络与化学知识非常吻合，因此所提出的技术为化学，物理和材料科学的数据驱动研究开辟了新的途径。
2018-06-27 cs.LG physics.chem-ph physics.comp-ph
From Risk to Resilience: Towards Assessing and Mitigating the Risk of Data Reconstruction Attacks in Federated Learning
Beijing Jiaotong University（北京交通大学）；Singapore Management University（新加坡管理大学）；INRIA Rennes-Bretagne-Atlantique（INRIA里昂-布列塔尼-大西洋研究中心）；Zhejiang Key Laboratory of AIoT Network and Data Security（浙江人工智能物联网网络与数据安全重点实验室）；Xi’an Jiaotong University（西安交通大学）
本文提出可逆性损失（InvLoss）用于量化联邦学习中数据重建攻击的风险，并开发了基于InvLoss的风险估计器和自适应噪声扰动防御方法，以提升系统隐私性与安全性。
2025-12-17 cs.LG
MeLIME: Meaningful Local Explanation for Machine Learning Models
Aarhus University（奥胡斯大学）
大多数最先进的机器学习算法都引入了黑盒模型，这阻碍了它们在许多敏感领域的应用。因此，已经提出了许多用于解释机器学习模型的方法来解决这个问题。在这项工作中，我们引入策略，以改善当地的解释考虑到用于训练的黑箱模型的数据的分布。我们表明，与其他技术相比，我们的方法MeLIME在不同的ML模型上产生了更有意义的解释，对各种类型的数据进行操作。MeLIME推广了LIME方法，允许更灵活的扰动采样和使用不同的本地可解释模型。此外，我们对本地可解释模型的标准训练算法进行了修改，以促进更强大的解释，甚至允许产生反事实的例子。为了展示所提出的方法的优势，我们包括对表格数据，图像和文本的实验;所有这些都显示出改进的解释。特别是，MeLIME在MNIST数据集上生成的解释比GuidedBackprop，SmoothGrad和Layer-wise Relevance Propagation等方法更有意义。MeLIME可在https://github.com/tiagobotari/melime上获得。
2020-09-12 cs.AI cs.LG
Higher-Order Explanations of Graph Neural Networks via Relevant Walks
Berlin Institute of Technology (TU Berlin)（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；RIKEN（理化学研究所）；Google Research（谷歌研究院）；Korea University（高丽大学）；Max Planck Institut für Informatik（马克斯·普朗克信息学研究所）
图神经网络（GNN）是用于预测图结构化数据的流行方法。由于GNN将输入图紧密地缠绕到神经网络结构中，因此常见的可解释AI方法不适用。到目前为止，在很大程度上，GNN对用户来说仍然是黑匣子。在本文中，我们证明了GNN实际上可以使用高阶展开自然地解释，即通过识别共同有助于预测的边缘组。实际上，我们发现，这样的解释可以使用嵌套的归属方案，其中现有的技术，如逐层相关传播（LRP）可以应用在每一步提取。输出是与预测相关的进入输入图的遍历的集合。我们的新解释方法，我们表示为GNN-LRP，适用于广泛的图神经网络，并让我们提取文本数据的情感分析，量子化学中的结构-属性关系和图像分类的实际相关见解。
2020-11-27 cs.AI cs.LG stat.ML
Looking Deeper into Deep Learning Model: Attribution-based Explanations of TextCNN
Eindhoven University of Technology（埃因霍温理工大学）；Cooperatieve Rabobank U.A（荷兰合作银行）
分层相关传播（LRP）和显着图最近被用来解释深度学习模型的预测，特别是在文本分类领域。在给出不同的基于属性的解释以突出预测类别标签的相关词的情况下，基于词删除扰动的实验是一种常见的评估方法。然而，这种单词去除方法忽略了句子中单词或短语之间可能存在的任何语言依赖性，这些依赖性可以在语义上将分类器引导到特定的预测。在本文中，我们提出了一个基于特征的评估框架，比较两种归因方法对客户评论（公共数据集）和客户尽职调查（CDD）提取的报告（公司数据集）。而不是删除的相关性得分的基础上的话，我们研究扰动的基础上嵌入的功能去除中间层的卷积神经网络。我们的实验研究进行了嵌入词，嵌入文档，嵌入ngrams解释。使用所提出的框架，我们提供了一个可视化工具，以协助分析师在推理模型的最终预测。
2018-12-02 cs.IR cs.LG stat.ML
Fast and Accurate Explanations of Distance-Based Classifiers by Uncovering Latent Explanatory Structures
BIFOLD -- Berlin Institute for the Foundations of Learning（柏林学习与数据基础研究所）；Department of Artificial Intelligence, Korea University, Seoul, Korea（韩国大学人工智能系）；Department of Chemistry（化学系）；Applied Biosciences, ETH Zurich, Switzerland（应用生物科学系）；Max-Planck Institute for Informatics, Saarbruecken, Germany（马克斯·普朗克信息研究所）
本文揭示基于距离的分类器中的潜在神经网络结构，使LRP等可解释AI技术适用，并通过定量评估和实际用例证明其解释方法的优势。
2025-08-05 cs.AI cs.LG stat.ML
Class Feature Pyramids for Video Explanation
Utrecht University（乌得勒支大学）；University of Essex（埃塞克斯大学）；London South Bank University（伦敦南岸大学）
深度卷积网络广泛用于视频动作识别。3D卷积是处理额外时间维度的一种重要方法。虽然3D卷积通常会导致更高的准确性，但训练模型的内部工作更难以解释。我们专注于创建人类可理解的视觉解释，代表时空网络的层次部分。我们引入了类特征金字塔，这是一种遍历整个网络结构并逐步发现不同网络深度的内核的方法，这些内核为特定类提供了信息。我们的方法不依赖于网络的架构或3D卷积的类型，支持分组和深度卷积，纤维卷积和分支卷积。我们在六个最先进的3D卷积神经网络（CNN）上展示了该方法，这些卷积神经网络用于三个动作识别（Kinetics-400，UCF-101和HMDB-51）和两个以自我为中心的动作识别数据集（EPIC-Kitterfly和EGTEA Gaze+）。
2019-09-18 cs.CV cs.LG
FedA2L: Adaptive layer-wise learning rate adjustment in decentralized federated learning
School of Information and Communication Engineering, Chungbuk National University（忠北国立大学信息与通信工程学院）
FedA2L通过基于模型分歧信号动态调整分层学习率，解决了去中心化联邦学习中统一学习率导致的收敛效率低问题，可提升收敛速度、减少通信开销，适配多种场景。
2026-08-11 cs.AI cs.CV cs.DC
Evaluating Post-hoc Explanations of the Transformer-based Genome Language Model DNABERT-2
Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
本研究调整AttnLRP并应用于DNABERT-2，通过多指标评估及与基准CNN的比较，证实该方法能生成可靠生物学解释，助力gLMs的可解释性研究。
2026-08-27 cs.LG q-bio.GN
MRI Reconstruction via Cascaded Channel-wise Attention Network
Rutgers University（罗格斯大学）
我们考虑一个MRI重建问题，输入的k空间数据在一个非常低的欠采样率。由于减少了MRI扫描的时间，这实际上可以使患者受益，但由于重建的质量可能会受到影响，因此也具有挑战性。目前，基于深度学习的方法在MRI重建中占主导地位，而不是传统的方法，如压缩感知，但它们很少在低欠采样k空间数据的情况下表现出令人满意的性能。一种解释是这些方法平等地对待通道特征，这导致神经网络的表示能力下降。为了解决这个问题，我们提出了一个新的模型，称为MRI级联逐行注意网络（MICCAN），由三个组件突出：（i）具有逐行注意（UCA）模块的U-网的变体，（ii）长跳跃连接和（iii）组合损失。我们的模型能够通过过滤不相关的特征来关注显着信息，并通过强制将低频信息旁路到最终输出来集中于高频信息。我们进行定量评估和定性分析，我们的方法对心脏数据集。实验表明，我们的方法取得了非常有前途的结果，在三个常见的指标对低欠采样k空间数据的MRI重建。
2019-04-09 cs.CV cs.LG
Interpretable Physics-Informed Load Forecasting for U.S. Grid Resilience: SHAP-Guided Ensemble Validation in Hybrid Deep Learning Under Extreme Weather
1Dept. of Computer Science, Midwestern State University, Dallas, TX, USA 2O\&M Analytics, AES Clean Energy, The AES Corporation, Louisville, CO, USA 3Dept. of Information；Communication Engineering, Pabna University of Science
本文提出一种可解释的物理信息集成框架，结合CNN和Transformer进行特征提取与长程依赖建模，通过SHAP分析揭示极端天气下温度、风速和降水的影响差异，提升电网在极端天气下的预测精度与可靠性。
2026-04-26 cs.AI cs.LG
Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations
Singapore Institute of Technology（新加坡理工学院）；University of Oslo（奥斯陆大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Freie Universität Berlin（柏林自由大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）；Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max Planck Institut für Informatik（马克斯·普朗克信息学研究所）
虽然对解释的评估是迈向可信模型的重要一步，但需要仔细进行，并且需要很好地理解所采用的指标。具体而言，模型随机化检验往往被高估，并被视为选择或放弃某些解释方法的唯一标准。为了解决这个测试的缺点，我们首先观察基于随机化的健全性检查[1]和模型输出忠诚度测量（例如[25]）之间的解释方法排名的实验差距。我们确定了基于模型随机化的健全性检查的局限性，以评估解释。首先，我们表明，使用零像素协方差创建的无信息归因图很容易在此类检查中获得高分。其次，我们证明了自上而下的模型随机化以高概率保留了前向传递激活的规模。也就是说，具有大激活的通道有很高的概率对输出做出强有力的贡献，即使在它们之上的网络随机化之后。因此，随机化后的解释只能在一定程度上有所不同。这解释了观察到的实验差距。总之，这些结果证明了基于模型随机化的健全性检查作为归因方法排名标准的不足。
2022-11-22 cs.CV cs.LG
Power Interpretable Causal ODE Networks: A Unified Model for Explainable Anomaly Detection and Root Cause Analysis in Power Systems
PICODE网络通过统一模型实现电力系统中异常检测与根本原因分析的可解释性，提升模型的可解释性和减少对标注数据的依赖。
2026-02-13 cs.AI cs.LG
AttnLRP: Attention-Aware Layer-Wise Relevance Propagation for Transformers
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因茨·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））
本文提出AttnLRP方法，通过扩展逐层相关性传播以处理注意力层，首次实现对Transformer输入和潜在表示的高效忠实归因，并在多个模型上验证其优越性。
2024-06-10 cs.AI cs.CL cs.CV
NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption
本文针对图神经网络解释中扰动导致的尺度漂移问题，提出基于噪声扰动的NICE框架，结合随机恢复边界与边界集成梯度提升解释性能与模型忠实度。
2026-08-19 cs.AI cs.LG
Image space formalism of convolutional neural networks for k-space interpolation
University of Würzburg（维尔茨堡大学）；University Hospital Erlangen（埃尔朗根大学医院）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；University Hospital Würzburg（维尔茨堡大学医院）
本文提出 RAKI 的图像空间形式化方法，通过激活掩码与雅可比矩阵解析分析 k 空间非线性激活对噪声传播和重建伪影的影响，实现 g 因子图的解析量化与噪声鲁棒性调控。
2025-05-09 cs.AI cs.CV cs.LG
Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification
Politecnico di Milano（米兰理工大学）
提出一种事后可解释性方法，通过逐层特征显著性图、泛化Grad-CAM权重及Sentence-BERT处理的众包文本标签，完整解释CNN特征提取过程并支持全局解释。
2024-05-06 cs.CV cs.LG
Causality for Inherently Explainable Transformers: CAT-XPLAIN
University of Kentucky（肯塔基大学）；University of Missouri（密苏里大学）
已经开发了几种事后解释方法来解释预先训练的黑盒神经网络。然而，在设计内在可解释的神经网络的研究工作中仍然存在差距。在本文中，我们利用最近提出的实例明智的事后因果解释方法，使现有的Transformer架构内在的可解释性。一旦经过训练，我们的模型就以给定实例的输入空间中的顶部$k$区域的形式提供解释，从而有助于其决策。我们使用三个图像数据集：MNIST，FMNIST和CIFAR的二进制分类任务评估我们的方法。我们的研究结果表明，与基于cavity的事后解释模型相比，我们固有的可解释模型实现了更好的可解释性结果，同时消除了训练单独的解释模型的需要。我们的代码可在https://github.com/mvrl/CAT-XPLAIN上获得。
2022-06-29 cs.AI cs.CV cs.LG
Feature Activation Map: Visual Explanation of Deep Learning Models for Image Classification
Griffith University（格里菲斯大学）
针对无全连接层的图像分类模型，本文提出事后可视化解释方法FAM，利用图像嵌入相似度计算通道权重并生成解释图，实验验证其有效性。
2023-07-11 cs.AI cs.CV cs.LG
