Faithful Explanations for Deep Graph Models
Carnegie Mellon University(卡内基梅隆大学)
本文研究了图神经网络(GNNs)的忠实解释。首先,我们提供了一个新的和一般的方法来正式表征GNN的解释的忠实性。它适用于现有的解释方法,包括特征属性和子图解释。其次,我们的分析和实证结果表明,特征属性的方法不能捕捉边缘特征的非线性效应,而现有的子图解释方法是不忠实的。第三,我们介绍了\emph{k-hop Explanation with a Convolutional Core}(KEC),一种新的解释方法,可证明最大限度地忠实于原来的GNN利用信息的图结构在其邻接矩阵和它的\emph{k-th}权力。最后,我们对使用GNN进行分类和异常检测任务的合成和真实数据集的实证结果证明了我们方法的有效性。
2022-05-24 cs.AI cs.LG
How Faithful are Self-Explainable GNNs?
Aarhus University(奥胡斯大学);University of Trento(特伦托大学)
本文评估自解释图神经网络在不同忠实性度量下的表现,指出模型与评估指标中的局限,并提出改进方向。
2023-08-29 cs.LG
Reconsidering Faithfulness in Regular, Self-Explainable and Domain Invariant GNNs
University of Trento(特伦托大学)
本文系统研究了GNN解释的忠实性,证明现有度量指标不可互换且优化忠实性对常规GNN不总是合理,并揭示忠实性与分布外泛化的紧密关联。
2025-04-10 cs.AI cs.LG
Attribution Explanations for Deep Neural Networks: A Theoretical Perspective
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);School of Cyber Science and Engineering, Xi’an Jiaotong University(西安交通大学网络安全工程学院);Department of Computer Science and Engineering, the John Hopcroft Center, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系、霍夫曼中心);Department of Data Science, New Jersey Institute of Technology(新泽西理工学院数据科学系)
本文从理论视角系统回顾深度神经网络归因解释方法,针对其真实性挑战,重点梳理了理论统一、理论原理和理论评估三个关键方向,以深化理解、指导方法选择并启发新研究。
2025-08-11 cs.AI cs.LG
Closed-Form Interpretation of Neural Network Classifiers with Symbolic Gradients
University of Waterloo(滑铁卢大学);Perimeter Institute for Theoretical Physics(周界理论物理研究所);Homes Plus Magazine Inc.(Homes Plus杂志公司)
本文提出一种统一框架,通过将训练后的神经网络嵌入等价函数类并与符号搜索空间求交,为分类器及任意神经元寻找决策边界概念的闭式人类可读解释。
2024-10-01 cs.AI cs.LG
Extracting Rules from Neural Networks with Partial Interpretations
University of Bergen(卑尔根大学)
本文研究了从神经网络模型中提取Horn逻辑表示的规则的问题。我们的工作是基于精确的学习模型,其中学习者通过查询与教师(神经网络模型)进行交互,以学习一个抽象的目标概念,在我们的情况下,这是一组霍恩规则。我们认为部分解释制定查询。这些可以被理解为世界的一种表征,其中关于命题真实性的部分知识是未知的。我们采用Angluin的算法通过查询学习霍恩规则,并评估我们的策略经验。
2022-04-01 cs.AI cs.LG
Towards Comparative Physical Interpretation of Spatial Variability Aware Neural Networks: A Summary of Results
University of Minnesota(明尼苏达大学)
给定空间变异性感知神经网络(SVANN),目标是研究数学(或计算)模型,用于对它们的透明度进行比较物理解释(例如,可模拟性、可分解性和算法透明性)。这个问题很重要,因为它涉及到一些重要的用例,比如可重用性、调试和在法庭上对陪审团的解释。挑战包括大量的模型参数、神经网络的泛化性能的空洞界限、过拟合的风险、对噪声的敏感性等,这些都削弱了解释模型的能力。由于缺乏对物理约束的考虑(例如,质量平衡)和性质(例如,地理学第二定律)。这项工作研究SVANN的物理解释,使用新的比较方法的基础上,地理异质性的功能。基于特征的物理解释的建议方法进行了评估,湿地制图的案例研究。提出的物理解释提高了SVANN模型的透明度,分析结果突出了模型透明度和模型性能之间的权衡(例如,F1-评分)。我们还描述了一个解释的基础上,地理异构过程建模为偏微分方程(PDE)。
2021-10-29 cs.AI cs.LG
Closed-Form Interpretation of Neural Network Latent Spaces with Symbolic Gradients
University of Waterloo(多伦多大学);Perimeter Institute for Theoretical Physics(理论物理研究所);Homes Plus Magazine Inc.(Homes Plus 杂志公司);University of Toronto(多伦多大学)
本文提出一种基于符号梯度的框架,通过将神经网络嵌入等价类并寻找与人类可读方程的交集,实现潜空间神经元的闭式解释,并在矩阵不变量和动力系统守恒量上验证有效性。
2025-09-26 cs.AI cs.LG
Towards Faithful and Consistent Explanations for Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学);Florida International University(佛罗里达国际大学)
揭示图神经网络(GNNs)预测背后的原理近年来受到越来越多的关注。实例级GNN解释旨在发现关键输入元素,如目标GNN依赖于进行预测的节点或边。虽然有各种各样的算法被提出来,但大多数算法都是通过搜索能保持原始预测的最小子图来形式化这个任务。然而,归纳偏差是根深蒂固的,在这个框架中:几个子图可以导致相同或相似的输出作为原始图。因此,它们有提供虚假解释的危险,不能提供一致的解释。应用它们来解释表现不佳的GNN将进一步放大这些问题。为了解决这个问题,我们从因果关系的角度从理论上研究了GNN的预测。两个典型的原因虚假的解释被确定:混淆的影响,潜在的变量,如分布偏移,和因果因素不同于原始输入。观察到混淆效应和不同的因果关系都编码在内部表征中,我们提出了一个简单而有效的对策,通过对齐嵌入。具体而言,针对高维空间中的潜在位移,设计了一种基于锚点的分布感知对齐算法。这个新的目标是很容易计算,并可以纳入现有的技术,没有或很少的努力。理论分析表明,它实际上是优化了一个更忠实的解释目标的设计,这进一步证明了所提出的方法。
2022-12-16 cs.LG cs.SI
Demystifying Deep Neural Networks Through Interpretation: A Survey
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
现代深度学习算法倾向于优化客观度量,例如最小化训练数据集上的交叉熵损失,以便能够学习。问题是,单一的度量是对现实世界任务的不完整描述。单一的度量无法解释算法为什么会学习。当一个错误发生时,缺乏可解释性会导致理解和修复错误的困难。最近,有工作做,以解决可解释性的问题,以提供对神经网络的行为和思维过程的见解。这些工作对于识别潜在的偏差和确保算法的公平性以及预期的性能是很重要的。
2021-01-05 cs.AI cs.LG
GInX-Eval: Towards In-Distribution Evaluation of Graph Neural Network Explanations
ETH Zurich(苏黎世联邦理工学院);Yale University(耶鲁大学)
针对图神经网络解释评估中分布外问题导致忠实度指标失效的痛点,提出GInX-Eval评估框架,通过微调策略的GInX和EdgeRank得分实现分布内评估,发现多种主流解释方法效果不及随机边选择,结果跨数据集一致且符合人类认知。
2023-11-05 cs.AI cs.LG
Faithful and Consistent Graph Neural Network Explanations with Rationale Alignment
The Pennsylvania State University(宾夕法尼亚州立大学);Florida International University(佛罗里达国际大学)
针对GNN解释中存在的虚假与不一致问题,提出基于理由对齐的新框架,通过辅助对齐损失优化更忠实的解释目标,并探索多种对齐变体,提升解释的忠实性与一致性。
2023-09-02 cs.HC cs.LG cs.SI
Faithful and Accurate Self-Attention Attribution for Message Passing Neural Networks via the Computation Tree Viewpoint
Yonsei University(延世大学);University of New South Wales(新南威尔士大学)
提出基于计算树的边归因方法GATT,通过合成与真实基准数据集证明其在忠实度、准确性和案例研究中显著提升自注意力消息传递神经网络的边归因分数。
2024-12-20 cs.AI cs.IT cs.LG
XDeep: An Interpretation Tool for Deep Neural Networks
Texas A&M University(得克萨斯农工大学)
XDeep是一个开源Python包,用于为从业者和研究人员解释深度模型。总体而言,XDeep以训练好的深度神经网络(DNN)作为输入,并以事后方式生成相关解释作为输出。从功能的角度来看,XDeep集成了各种最先进的解释算法,涵盖了不同类型的方法,并且能够在解释模型行为时为DNN提供本地解释和全局解释。通过XDeep中设计的文档齐全的API,最终用户可以轻松地通过几行代码获得其深度模型的解释,并比较不同算法之间的结果。XDeep通常与Python 3兼容,并且可以通过Python包索引(PyPI)安装。源代码可在www.example.com上获得。
2019-11-04 cs.AI cs.LG stat.ML
MoreauGrad: Sparse and Robust Interpretation of Neural Networks via Moreau Envelope
The Chinese University of Hong Kong(香港中文大学)
解释深度神经网络的预测一直是计算机视觉文献中非常感兴趣的话题。虽然已经提出了几种基于梯度的解释方案来揭示神经网络预测中的影响变量,但通常观察到标准的基于梯度的解释框架缺乏对输入扰动的鲁棒性和结合稀疏性和组稀疏性结构的先验知识的灵活性。在这项工作中,我们提出MoreauGrad作为分类器神经网络的Moreau包络的基础上的解释方案。我们表明,MoreauGrad结果在一个光滑和强大的解释多层神经网络,可以有效地计算通过一阶优化方法。此外,我们表明MoreauGrad可以自然地与$L_1$范数正则化技术相结合,以输出稀疏或组稀疏解释,这些解释是适用于广泛的深度学习应用的先验条件。我们经验评估建议MoreauGrad计划的标准计算机视觉数据集,显示定性和定量的成功MoreauGrad方法相比,标准的基于梯度的解释方法。
2023-01-08 cs.AI cs.CV cs.LG
Fooling Neural Network Interpretations via Adversarial Model Manipulation
Sungkyunkwan University(成均馆大学)
我们问神经网络解释方法是否可以通过对抗性模型操作来愚弄,这被定义为一个模型微调步骤,旨在从根本上改变解释而不损害原始模型的准确性,例如,VGG 19、ResNet 50和DenseNet 121。通过将解释结果直接纳入目标函数的惩罚项中进行微调,我们表明,最先进的基于显着图的解释器,例如,LRP,Grad-CAM和SimpleGrad可以很容易地被我们的模型操作所欺骗。我们提出了两种类型的愚弄,被动和主动,并证明这样的愚弄推广以及整个验证集以及转移到其他解释方法。我们的研究结果是通过视觉上显示被愚弄的解释和报告定量指标来衡量与原始解释的偏差来验证的。我们认为,神经网络解释方法相对于我们的对抗模型操作的稳定性是检查开发鲁棒和可靠的神经网络解释方法的重要标准。
2019-11-01 cs.AI cs.CV cs.LG
Distribution and Clusters Approximations as Abstract Domains in Probabilistic Abstract Interpretation to Neural Network Analysis
Department of Computing Imperial College London London, UK
本文提出分布近似和聚类近似两种新方法,用于概率抽象解释框架中神经网络分析的抽象域,通过示例展示其理论应用和转换方法。
2026-03-26 cs.AI
SpArX: Sparse Argumentative Explanations for Neural Networks [Technical Report]
Imperial College London(帝国理工学院);Cardiff University(卡迪夫大学)
本文提出SpArX方法,利用多层感知机与量化论证框架的关系,通过稀疏化MLP并转换为等价QAF,生成全局或局部论证解释,以更忠实地揭示神经网络的决策机制与实际推理过程。
2023-07-31 cs.AI cs.LG stat.ML
CQnet: convex-geometric interpretation and constraining neural-network trajectories
Computational Geosciences Inc.(计算地球科学公司)
我们介绍了CQnet,一个起源于CQ算法的神经网络,用于解决凸分裂可行性问题和向前向后分裂。CQnet的轨迹可以解释为粒子,它们通过点到集合距离函数跟踪不断变化的约束集,同时在每一层都是另一个约束集的元素。CQnet不仅仅是一种凸几何解释,它还适应学习和确定性约束,这些约束可能是样本或数据特定的,并且每个层和输出都能满足。此外,CQnet中的状态在每一层都朝着另一个约束集前进。我们提供的稳定性/非扩张性的最小假设的证明。约束处理和稳定性的结合使CQnet成为各种任务的候选者,其中先验知识存在于网络状态或输出上。
2023-02-09 cs.AI cs.LG math.OC
Probabilistic Abstract Interpretation on Neural Networks via Grids Approximation
Imperial College London(伦敦帝国理工学院)
本文提出利用概率抽象解释理论分析神经网络输入密度分布,通过不同抽象域和伪逆运算探讨其在现实问题中的应用。
2026-03-26 cs.AI
Mutual Information Preserving Back-propagation: Learn to Invert for Faithful Attribution
Sun Yat-Sen University(中山大学);Texas A&M University(德克萨斯A&M大学)
已经提出了基于反向传播的可视化来解释深度神经网络(DNN),其中一些产生具有良好视觉质量的解释。然而,这些直观的可视化是否与网络决策有关存在疑问。最近的研究证实了这一怀疑,通过验证几乎所有这些修改后的反向传播可视化都不忠实于模型的决策过程。此外,这些可视化产生模糊的“相对重要性分数”,其中低值不能保证独立于最终的预测。因此,开发一种新的反向传播框架,保证理论的忠实性,并产生一个清晰的理解定量归因得分是非常必要的。为了实现这一目标,我们借助互信息理论来生成解释,研究每个输入神经元中编码了多少输出信息。基本思想是通过反向传播来学习源信号,使得输入和输出之间的互信息应当尽可能多地保留在输入和源信号之间的互信息中。此外,我们提出了一个互信息保持逆网络,称为MIP-IN,其中每一层的参数递归训练学习如何反转。在反演过程中,采用正向Relu运算,使一般解释适应特定输入。然后,我们经验性地证明,反相源信号满足完整性和极小性属性,这是一个忠实的解释至关重要。此外,实证研究验证了MIP-IN产生的解释的有效性。
2021-04-14 cs.AI cs.LG
Do Neural Networks Preserve Case Structure? Case-Based Decomposition, Interpretation, and Decision Consistency
Huazhong University of Science and Technology(华中科技大学)
研究神经网络决策,基于案例决策理论,通过OLS行动读出的精确案例分解,能追溯分数到训练案例、衡量行动一致性等,在多任务中恢复案例级偏好结构,实现高一致性且审计简单,探测器保真度由分数重建衡量。
2026-09-28 cs.AI
GIN-Graph: A Generative Interpretation Network for Model-Level Explanation of Graph Neural Networks
本文提出GIN-Graph生成式解释网络,利用免似然生成对抗网络和动态损失权重方案生成可靠且高质量的图神经网络模型级解释图,解决了现有方法生成无效解释图及缺乏可靠性的问题。
2025-09-18 cs.LG
B-cos GNNs: Faithful Explanations through Dynamic Linearity
Saarland Informatics Campus, Saarland University(萨尔兰信息学校区,萨尔兰大学);DFKI
提出B-cos GNNs,一种内在可解释的图神经网络,通过单个输入依赖的线性映射将预测精确分解为每个节点、每个特征的贡献,在保持高解释性的同时牺牲少量预测精度。
2026-05-27 cs.LG
Interpretation of Neural Networks is Susceptible to Universal Adversarial Perturbations
Sharif University of Technology(谢里夫理工大学);The Chinese University of Hong Kong(香港中文大学)
本文提出通用解释扰动(UPI),通过梯度优化和PCA方法计算扰动,有效改变神经网络基于梯度的解释,并在标准图像数据集上验证其普适性与有效性。
2024-04-21 cs.AI cs.CR cs.CV
Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution
Simon Fraser University(西蒙弗雷泽大学);Huawei Technology Co. Ltd(华为技术有限公司)
由深度神经网络驱动的强大智能机器越来越多地被部署为黑匣子,以在金融和医疗等风险敏感领域做出决策。为了降低潜在风险并与用户建立信任,解释这些机器如何做出决策至关重要。现有的工作通过分析隐藏的神经元,模仿预先训练的模型或近似本地预测来解释预先训练的神经网络。然而,这些方法并不能保证其解释的准确性和一致性。在本文中,我们提出了一个优雅的封闭形式的解决方案,名为$OpenBox$计算精确和一致的解释的家庭分段线性神经网络(PLNN)。其主要思想是首先将PLNN转换为数学上等价的线性分类器集合,然后通过主导其预测的特征来解释每个线性分类器。我们进一步应用$OpenBox$来证明非负和稀疏约束对提高PLNN的可解释性的有效性。在合成和真实世界数据集上的广泛实验清楚地证明了我们解释的准确性和一致性。
2019-09-12 cs.AI cs.CV
A Comparative Study of Faithfulness Metrics for Model Interpretability Methods
Wisers Information Limited(慧科讯业有限公司);Wisers AI Lab(慧科人工智能实验室)
近年来,揭示机器学习模型背后的内部推理过程的解释方法引起了越来越多的关注。为了量化所确定的解释真实反映内在决策机制的程度,已经提出了各种忠实性评估指标。然而,我们发现,不同的忠实性指标显示出相互冲突的偏好时,比较不同的解释。出于这种观察,我们的目标是进行广泛采用的忠诚度指标的全面和比较研究。特别地,我们引入两个评估维度,即诊断性和时间复杂度。诊断性是指忠实性度量在多大程度上有利于相对忠实的解释,而不是随机生成的解释,时间复杂度是通过模型向前传递的平均次数来衡量的。实验结果表明,充分性和全面性度量比其他忠实性度量具有更高的诊断性和更低的时间复杂度
2022-04-12 cs.CL cs.LG
B-XAIC Dataset: Benchmarking Explainable AI for Graph Neural Networks Using Chemical Data
University of Edinburgh(爱丁堡大学);Jagiellonian University(雅盖隆大学);Jagiellonian University, Faculty of Mathematics and Computer Science(雅盖隆大学数学与计算机科学学院);Jagiellonian University, Faculty of Chemistry(雅盖隆大学化学学院);Ardigen SA(Ardigen公司)
本文提出B-XAIC基准,基于真实分子数据和多样化任务评估图神经网络的可解释AI方法,揭示现有方法的局限性,促进更可靠可解释模型的开发。
2026-11-06 cs.CE cs.LG
A Dual-Attention Neural Network for Pun Location and Using Pun-Gloss Pairs for Interpretation
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Shanghai Transsion Co., Ltd(上海传音有限公司)
双关定位是指在一个给定的短文中识别出双关词(通常是使文章具有歧义的词或短语),双关解读是指找出双关词的两种不同含义。以往的研究大多采用词义消歧技术获得有限的词义或孤立的语音信息来确定双关的位置。对于双关语的理解,相关的工作关注于各种词义消歧算法。本文提出了一种双注意神经网络(Dual-Attentive Neural Network,DANN)的双关语定位模型,该模型有效地将词义、发音和上下文信息结合起来,能够同时处理两类双关语。此外,我们把双关语的解释作为一个分类任务,并构建双关语对作为处理数据来解决这个任务。两个基准数据集上的实验表明,我们提出的方法取得了新的国家的最先进的结果。我们的源代码可以在公共代码库中找到。
2021-10-14 cs.AI cs.CL
VISION DIFFMASK: Faithful Interpretation of Vision Transformers with Differentiable Patch Masking
University of Amsterdam(阿姆斯特丹大学)
本文提出VISION DIFFMASK,一种利用隐藏层激活和门控机制识别视觉Transformer最小关键输入子集的事后可解释性方法,并在CIFAR-10和ImageNet-1K上验证了其忠实性。
2023-04-13 cs.AI cs.CV cs.LG
Improving Interpretation Faithfulness for Vision Transformers
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Lehigh University(利哈伊大学);University of Georgia(佐治亚大学);Iowa State University(爱荷华州立大学)
本文针对视觉Transformer解释易受扰动影响的问题,提出去噪扩散平滑方法以构建忠实视觉Transformer,使其在保持注意力可解释性的同时提升对抗鲁棒性。
2024-05-03 cs.AI cs.CV cs.LG
An Attention Matrix for Every Decision: Faithfulness-based Arbitration Among Multiple Attention-Based Interpretations of Transformers in Text Classification
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
Transformers广泛用于自然语言处理中,它们始终实现最先进的性能。这主要是由于它们基于注意力的架构,这使得它们能够对(子)词之间丰富的语言关系进行建模。然而,Transformers很难解释。能够为其决策提供推理是影响人类生活的领域中模型的重要属性。随着Transformers在这些领域的广泛使用,需要为他们量身定制的可解释性技术。我们提出了一种新的技术,选择最忠实的基于注意力的解释之间的几个,可以通过结合不同的头,层和矩阵操作。此外,引入了两种变化,以(i)降低计算复杂性,从而更快和更友好的环境,以及(ii)提高多标签数据的性能。我们进一步提出了一个新的忠诚度度量,更适合于Transformer模型,并表现出高度的相关性,根据地面真理的基础上的准确率-召回率曲线下的面积。我们验证了我们的贡献的效用与一系列的定量和定性实验7个数据集。
2022-11-28 cs.CL cs.LG
Are Interpretations Fairly Evaluated? A Definition Driven Pipeline for Post-Hoc Interpretability
Texas A&M University(德克萨斯A&M大学);LinkedIn(领英)
近年来,越来越多的解释方法被开发用于提高NLP模型的透明度。与此同时,研究者也试图回答这样一个问题,即所得到的解释是否忠实于解释模型预测背后的机制?具体来说,(Jain和Wallace,2019)通过比较注意力解释与梯度替代方案,提出了“注意力不是解释”。然而,它提出了一个新的问题,我们可以安全地选择一种解释方法作为地面真理?如果不是,我们可以根据什么来比较不同的解释方法?在这项工作中,我们建议,这是至关重要的,有一个具体的定义解释之前,我们可以评估忠实的解释。定义将影响获得解释的算法,更重要的是,影响评估中使用的度量。通过理论和实验分析,我们发现,虽然口译方法在一定的评价标准下表现不同,这种差异可能不是由于口译质量或忠实性,而是评价标准的固有偏见。
2020-09-16 cs.CL cs.LG
Towards Faithful Neural Network Intrinsic Interpretation with Shapley Additive Self-Attribution
HKUST (Guangzhou)(香港科技大学(广州));BOSS Zhipin(BOSS直聘)
针对自解释神经网络理论保证不足或表达能力受限的问题,提出 SASANet,通过边际贡献序列机制与内部蒸馏训练实现等于输出 Shapley 值的忠实自归因,并取得优于自归因模型、可比黑盒模型的解释与预测效果。
2023-09-27 cs.LG
Wrapper Boxes: Faithful Attribution of Model Predictions to Training Data
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出“包装盒”流程,将神经模型学到的特征表示输入经典可解释模型进行预测,在保持预测性能的同时实现决策对训练数据的忠实归因,并提升了训练数据移除识别的覆盖率和正确性。
2024-10-04 cs.AI cs.HC cs.LG
Since Faithfulness Fails: The Performance Limits of Neural Causal Discovery
Warsaw University(华沙大学);Poznan University of Technology(波兹南理工大学);Institute of Mathematics, Polish Academy of Sciences(波兰科学院数学研究所)
本研究揭示神经因果发现方法在有限样本下无法可靠区分因果关系,且忠实性属性常被违反并损害性能,表明当前范式受限,需转变。
2025-02-22 cs.LG stat.ML
Use HiResCAM instead of Grad-CAM for faithful explanations of convolutional neural networks
Duke University(杜克大学)
解释方法促进了模型的开发,这些模型可以学习有意义的概念,避免利用虚假的相关性。我们说明了流行的神经网络解释方法Grad-CAM的一个以前未被认识到的局限性:作为梯度平均步骤的副作用,Grad-CAM有时会突出模型实际上没有使用的位置。为了解决这个问题,我们提出了HiResCAM,这是一种新的特定于类的解释方法,保证只突出模型用于进行每个预测的位置。我们证明了HiResCAM是CAM的推广,并探讨了HiResCAM与其他基于梯度的解释方法之间的关系。在PASCAL VOC 2012上的实验,包括众包评估,表明虽然HiResCAM的解释忠实地反映了模型,但Grad-CAM通常会扩大注意力,以创建更大更平滑的可视化。总的来说,这项工作推进了卷积神经网络解释方法,并可能有助于为敏感应用开发值得信赖的模型。
2021-11-21 cs.CV cs.LG eess.IV
Faithful and Efficient Explanations for Neural Networks via Neural Tangent Kernel Surrogate Models
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of California, San Diego(加利福尼亚大学圣迭戈分校);Courant Institute, NYU(纽约大学柯朗研究所);Rutgers University(罗格斯大学);University of Washington(华盛顿大学);University of Texas, El Paso(德克萨斯大学埃尔帕索分校)
本研究结合可解释AI的代理建模与核函数应用两大趋势,提出新型近似经验神经切线核及两种随机投影变体,验证了其作为神经网络代理模型的有效性,迹NTK性能最优,并配套开源了PyTorch计算工具。
2024-03-11 cs.LG
Faithful Heteroscedastic Regression with Neural Networks
Columbia University(哥伦比亚大学);New York Genome Center(纽约基因组中心);New York University(纽约大学)
异方差回归将高斯变量的均值和方差建模为协变量的函数。将神经网络用于这些参数映射的参数方法可以捕获数据中的复杂关系。然而,通过对数似然梯度优化网络参数可能会产生次优均值和未校准方差估计。目前的解决方案侧步这个优化问题的替代目标或贝叶斯处理。相反,我们对优化做了两个简单的修改。值得注意的是,它们的组合产生了一个异方差模型,其平均估计值可证明与其同方差对应模型(即~拟合平方误差损失下的平均值)。对于各种各样的网络和任务的复杂性,我们发现,从现有的异方差的解决方案的平均估计可以显着不准确,比那些从一个等效的表达平均只有模型。我们的方法可证明保留了同样灵活的仅均值模型的准确性,同时还提供了一流的方差校准。最后,我们展示了如何利用我们的方法来恢复潜在的异方差噪声方差。
2022-12-18 cs.LG stat.ML
Normalized AOPC: Fixing Misleading Faithfulness Metrics for Feature Attribution Explainability
Corti;University of Copenhagen(哥本哈根大学);IT University of Copenhagen(哥本哈根技术大学);LUT University(拉普兰大学)
针对AOPC指标在跨模型比较中的误导性问题,提出归一化AOPC(NAOPC),实现一致的忠实度评估,并质疑早期研究结论,提供更稳健的框架。
2025-05-23 cs.LG
Keep the Faith: Faithful Explanations in Convolutional Neural Networks for Case-Based Reasoning
Technical University Munich(慕尼黑工业大学);Ludwig-Maximilians-University(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对ProtoPNet等基于案例推理的卷积神经网络解释方法归因图不忠实的问题,提出基于Shapley值的ProtoPFaith方法,可忠实解释原型存在性及像素贡献,在多数据集和架构上实验表现远超原方法。
2023-12-19 cs.CV cs.LG
Improving Transformers using Faithful Positional Encoding
IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Ikerlan Research Center(伊克尔兰研究中心)
该研究针对Transformer提出一种基于坚实数学基础、可保证不丢失输入序列位置顺序信息的忠实位置编码方法,经实验验证其能系统性提升时间序列分类任务的预测性能。
2024-05-16 cs.LG
MFABA: A More Faithful and Accelerated Boundary-based Attribution Method for Deep Neural Networks
The University of Sydney(悉尼大学);SuZhouYierqi(苏州义尔齐);University of Malaya(马来亚大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);Wayne State University(韦恩州立大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出MFABA,一种遵循公理的边界归因方法,用于解释深度神经网络,通过理论证明和实验验证,其速度比最先进算法快101.5142倍以上,并开源实现。
2023-12-21 cs.CV cs.LG
AttributionLab: Faithfulness of Feature Attribution Under Controllable Environments
National University of Singapore(新加坡国立大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Oxford(牛津大学)
本文提出AttributionLab,通过设计网络结构、手动设置权重及设计数据构建可控环境,以解决现有特征归因忠实性测试中模型无法保证仅使用设计特征的问题,为归因方法提供合理性检查与改进分析平台。
2024-02-14 cs.LG
Conceptual Views of Neural Networks: A Framework for Neuro-Symbolic Analysis
本文提出概念视角框架,用于解释神经网络,通过实验展示其在模型比较和规则学习中的有效性。
2026-03-15 cs.AI cs.CV cs.LG
Towards Robust Interpretability with Self-Explaining Neural Networks
MIT(麻省理工学院)
最近关于复杂机器学习模型的可解释性的工作主要集中在估计围绕特定预测的先前训练模型的$\textit{a posteriori}$解释。可解释性在学习过程中已经起着关键作用的$\textit{Self-explaining}$模型受到的关注要少得多。我们提出了三个必要的解释一般-明确性,忠实性和稳定性-并表明,现有的方法不满足他们。作为回应,我们分阶段设计自我解释模型,逐步将线性分类器推广到复杂但架构明确的模型。忠实性和稳定性是通过专门为这些模型定制的正则化来实现的。在各种基准数据集上的实验结果表明,我们的框架为协调模型复杂性和可解释性提供了一个有希望的方向。
2018-12-03 cs.LG stat.ML
Unlearning-based Neural Interpretations
Massachusetts Institute of Technology(麻省理工学院);University of Oxford(牛津大学);University of Copenhagen(哥本哈根大学)
针对基于梯度的神经解释中静态基线注入有害假设导致归因图有偏差的问题,提出UNI方法,通过输入朝遗忘方向的最陡上升扰动计算自适应基线,消除显著特征、平滑决策边界,提升解释的忠实性与鲁棒性。
2025-02-10 cs.AI cs.CV cs.LG
XCM: An Explainable Convolutional Neural Network for Multivariate Time Series Classification
Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息系统与随机过程研究所);Zhejiang University(浙江大学)
在过去的十年中,随着多个领域中时间数据集数量的增加,多变量时间序列(MTS)分类变得越来越重要。目前最先进的MTS分类器是一种重量级的深度学习方法,仅在大型数据集上优于第二好的MTS分类器。此外,这种深度学习方法不能提供可靠的解释,因为它依赖于事后模型不可知的可解释性方法,这可能会阻止其在许多应用中的使用。本文提出了一种用于MTS分类的可扩展卷积神经网络XCM。XCM是一种新的紧凑型卷积神经网络,它直接从输入数据中提取与观测变量和时间相关的信息。因此,XCM架构在大型和小型数据集上都具有良好的泛化能力,同时通过精确识别对预测很重要的输入数据的观测变量和时间戳,允许充分利用忠实的事后模型特定的可解释性方法(加权类激活映射)。我们首先证明了XCM在大型和小型公共UEA数据集上的性能优于最先进的MTS分类器。然后,我们说明了XCM如何在合成数据集上协调性能和可解释性,并表明与当前的深度学习MTS分类器相比,XCM能够更精确地识别对预测重要的输入数据区域,并提供忠实的可解释性。最后,我们介绍了XCM如何在现实世界的应用程序中超越当前最准确的最先进的算法,同时通过提供忠实和更翔实的解释来增强可解释性。
2021-12-07 cs.LG stat.ML
Explaining Hypergraph Neural Networks: From Local Explanations to Global Concepts
Stanford University(斯坦福大学);University of Cambridge(剑桥大学)
本文提出首个模型无关的事后解释器SHypX,通过局部输入归因与全局无监督概念提取,为超图神经网络同时提供局部和全局解释,在保真度上平均比基线提升25个百分点。
2024-10-10 cs.LG
Targeted Recovery of Weight-Space Mechanisms From Neural Networks
研究提出定向参数分解(tPD)方法,通过引入高秩通用组件,从神经网络中仅识别处理特定感兴趣输入的组件,在玩具模型和Transformer语言模型上验证有效,能以低计算量提取子模型并对记忆序列进行手术式操作。
2026-07-16 cs.LG
Example Forgetting: A Novel Approach to Explain and Interpret Deep Neural Networks in Seismic Interpretation
近年来,深层神经网络对地震解释过程产生了重大影响。由于实现简单和解释成本低,深度神经网络是常见解释管道的有吸引力的组件。然而,神经网络经常遇到不信任,由于其属性的语义不正确的输出时,暴露于部分的模型没有trainedon.We解决这个问题,通过解释模型的行为和提高泛化性能,通过例子遗忘:首先,我们引入了一种方法,有效地将语义故障的预测,他们尊重的位置内的神经网络表示流形。更具体地说,我们的方法跟踪模型如何在训练过程中“忘记”地震反射,并建立与目标类的决策边界接近度的连接。其次,我们使用我们的分析技术来识别训练量中经常被遗忘的区域,并使用来自计算机视觉的最先进的风格转换技术来增强训练集。我们表明,我们的方法提高了代表性不足的类的分割性能,同时显着减少被遗忘的地区在荷兰的F3卷。
2023-02-24 cs.LG
Explaning with trees: interpreting CNNs using hierarchies
Laboratoire de Recherche de l’EPITA(EPITA研究实验室);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);Khalifa University(哈利法大学)
本文提出xAiTrees框架,通过层次分割技术为CNN提供忠实且可解释的解释,提升xAI的可解释性。
2026-01-13 cs.AI cs.CV cs.LG
NormLime: A New Feature Importance Metric for Explaining Deep Neural Networks
University of Oregon(俄勒冈大学);Baidu Research(百度研究院)
解释深度学习模型和模型预测的问题最近引起了人们的浓厚兴趣。许多成功的方法放弃了全局近似,以提供更忠实的局部解释模型的行为。LIME开发了多个可解释的模型,每个模型在数据流形的一个小区域上近似一个大的神经网络,SP-LIME聚合局部模型以形成全局解释。扩展这条研究路线,我们提出了一个简单而有效的方法,NormLIME聚合局部模型到全球和类特定的解释。一项人类用户研究强烈支持由NormLIME创建的特定于类的解释,而不是其他特征重要性度量。数值实验证实,NormLIME是有效的识别重要特征。
2019-10-15 cs.LG stat.ML
Semantics for Global and Local Interpretation of Deep Neural Networks
The University of Munich(慕尼黑大学);Siemens AG(西门子股份公司)
具有高表现力的深度神经网络(DNN)在许多任务中已经实现了最先进的性能。然而,它们的分布式特征表示很难从语义上解释。在这项工作中,人类可解释的语义概念与特征空间中的向量相关联。关联过程在数学上被表述为优化问题。从最优解获得的语义向量被应用于全局和局部地解释深度神经网络。全局解释对于理解DNN学习的知识是有用的。对本地行为的解释可以帮助更好地理解DNN做出的个人决策。实证实验演示了如何使用识别的语义来解释现有的DNN。
2019-10-21 cs.CV cs.LG