Game-theoretic Counterfactual Explanation for Graph Neural Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出一种基于半值（Banzhaf值）的非学习反事实解释方法，用于图神经网络节点分类，无需额外训练，较Shapley值方法样本复杂度更低、速度提升达四倍，且在噪声环境下更具鲁棒性，同时保持解释质量。
2024-02-08 cs.AI cs.LG
"No Matter What You Do": Purifying GNN Models via Backdoor Unlearning
Yangzhou University（扬州大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Zhejiang University（浙江大学）
针对GNN后门攻击防御研究空白，提出首个后门缓解方法GCleaner，通过解释方法恢复触发器并结合知识蒸馏与梯度可解释知识进行后门遗忘，仅需1%干净数据即可将攻击成功率降至10%且几乎不损失模型性能。
2024-11-13 cs.CR cs.LG
Most Relevant Explanation: Properties, Algorithms, and Evaluations
Uncertainty Reasoning Laboratory（不确定性推理实验室）；HRL Laboratories, LLC（HRL有限责任公司实验室）；Mississippi State University（密西西比州立大学）
最相关解释（MRE）是一种在贝叶斯网络中为给定证据寻找多变量解释的方法。本文研究了MRE的理论性质，提出了一种求多个顶MRE解的算法。我们的研究表明，MRE依赖于一个隐式的软相关性措施，自动识别最相关的目标变量和修剪相关性较低的变量从解释。软测量还使MRE能够捕获贝叶斯网络中编码的解释的直观现象。此外，我们的研究表明，MRE的解空间有一个特殊的晶格结构，产生有趣的优势关系的解决方案。一个K-MRE算法的基础上，这些优势关系的开发，以产生一组更有代表性的顶部解决方案。我们的实证结果表明，MRE方法是有前途的方法解释贝叶斯网络。
2012-05-09 cs.AI
Higher-Order Explanations of Graph Neural Networks via Relevant Walks
Berlin Institute of Technology (TU Berlin)（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；RIKEN（理化学研究所）；Google Research（谷歌研究院）；Korea University（高丽大学）；Max Planck Institut für Informatik（马克斯·普朗克信息学研究所）
图神经网络（GNN）是用于预测图结构化数据的流行方法。由于GNN将输入图紧密地缠绕到神经网络结构中，因此常见的可解释AI方法不适用。到目前为止，在很大程度上，GNN对用户来说仍然是黑匣子。在本文中，我们证明了GNN实际上可以使用高阶展开自然地解释，即通过识别共同有助于预测的边缘组。实际上，我们发现，这样的解释可以使用嵌套的归属方案，其中现有的技术，如逐层相关传播（LRP）可以应用在每一步提取。输出是与预测相关的进入输入图的遍历的集合。我们的新解释方法，我们表示为GNN-LRP，适用于广泛的图神经网络，并让我们提取文本数据的情感分析，量子化学中的结构-属性关系和图像分类的实际相关见解。
2020-11-27 cs.AI cs.LG stat.ML
Preserve, Promote, or Attack? GNN Explanation via Topology Perturbation
MIT（麻省理工学院）；IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
关于图神经网络（GNN）的形式化解释的先前工作集中于单个用例-通过识别重要的边和节点来保留预测结果。在本文中，我们开发了一个多用途的解释框架，通过获取一个掩码，表示输入图的拓扑扰动。我们将该框架打包成一个交互式可视化系统（GNNViz），该系统可以实现多种目的：保存，提升或攻击GNN的预测。我们通过三个案例来说明我们的方法的新颖性和有效性：第一，GNNViz可以帮助非专家用户轻松地探索图拓扑和GNN决策之间的关系（保存），或操纵预测第二，在Pokec社交网络数据集上，我们的框架可以发现不公平和人口统计偏见;最后，它与合成数据集上最先进的GNN解释器基线进行了比较。
2021-03-25 cs.LG
Rethinking the Trigger-injecting Position in Graph Backdoor Attack
Delft University of Technology（代尔夫特理工大学）；Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；Ikerlan research centre（伊克兰研究中心）
本文研究图神经网络后门攻击中触发器注入位置的影响，提出 MIAS 和 LIAS 两种策略，发现注入最不重要区域的 LIAS 通常攻击效果更好，并通过解释技术揭示了原因。
2023-04-18 cs.CR cs.LG
Self-Explainable Temporal Graph Networks based on Graph Information Bottleneck
KAIST（韩国科学技术院）
针对现有事后解释的时序图模型效率与准确性不足的问题，提出基于图信息瓶颈的自解释时序图网络TGIB，通过在时序事件中引入随机性实现端到端预测与解释，在链接预测性能和可解释性上优于现有方法。
2024-06-19 cs.LG
Deconfounding to Explanation Evaluation in Graph Neural Networks
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Rice University（莱斯大学）
图神经网络（GNNs）的可解释性旨在回答“为什么GNN做出了某种预测？“，这对解释模型预测至关重要。特征属性框架将GNN的预测分布到其输入特征（例如，边），识别有影响力的子图作为解释。当评估解释时（即，子图重要性），标准方法是仅基于子图来审核模型预测。然而，我们认为，一个分布偏移存在于全图和子图之间，导致分布外的问题。此外，通过深入的因果分析，我们发现OOD效应作为混杂因素，它带来了子图重要性和模型预测之间的虚假关联，使评估不太可靠。在这项工作中，我们提出了Deconfounded子图评估（DSE），它评估了解释子图对模型预测的因果影响。虽然分布偏移一般是棘手的，我们采用前门调整，并引入一个代理变量的子图。具体来说，我们设计了一个生成模型来生成符合数据分布的合理代理，从而接近子图重要性的无偏估计。实证结果证明了DSE在解释保真度方面的有效性。
2022-02-01 cs.LG
CIExplainer++: Generating Causal and Interpretable Explanations for Graph Neural Networks
NOVA LINCS；NOVA School of Science and Technology（NOVA科技学院）
提出CIExplainer方法，基于潜在结果框架识别对GNN预测因果影响最大的子图，并进一步提出G2TeXplainer将因果子图转化为自然语言解释。
2026-06-23 cs.LG stat.OT
DistShap: Scalable GNN Explanations with Distributed Shapley Values
Indiana University Bloomington Indiana, USA；Wake Forest University North Carolina, USA；Texas A\&M University Texas, USA；Indiana University Bloomington；Wake Forest University；Texas A\&M University
为解决图神经网络预测归因计算成本高的问题，提出分布式并行算法 DistShap，通过跨 GPU 采样子图、并行推理和求解分布式最小二乘问题计算边重要性，首次将解释扩展至数百万特征并实现高准确率。
2025-06-27 cs.AI cs.DC cs.LG
MotifExplainer: a Motif-based Graph Neural Network Explainer
Iowa State University（爱荷华州立大学）
研究了图神经网络的解释问题。大多数现有的GNN解释方法识别最重要的边或节点，但没有考虑子结构，这是更重要的图数据。考虑子图的唯一方法是尝试搜索所有可能的子图，并确定最重要的子图。然而，识别的子图可能不是经常性的或统计上重要的。在这项工作中，我们提出了一种新的方法，称为MotifExplainer，通过识别图中的重要图案，经常性和统计上显著的模式来解释GNN。与基于节点、边和规则子图的方法相比，我们提出的基于图案的方法可以提供更好的人类可理解的解释。给定一个输入图和一个预训练的GNN模型，我们的方法首先使用精心设计的模体提取规则提取图中的模体。然后，我们通过将motif输入到预先训练好的GNN中来生成motif嵌入。最后，我们采用基于注意力的方法来确定最有影响力的图案作为最终预测结果的解释。在合成数据集和真实数据集上的实验研究表明了该方法的有效性。
2023-02-27 cs.LG
BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
New York University（纽约大学）
基于深度学习的技术已经在各种识别和分类任务上实现了最先进的性能。然而，这些网络通常在训练时计算成本很高，需要在许多GPU上进行数周的计算;因此，许多用户将训练过程外包给云，或者依赖于预先训练的模型，然后针对特定任务进行微调。在本文中，我们表明，外包培训引入了新的安全风险：对手可以创建一个恶意训练的网络（后门神经网络，或\emph{BadNet}），该网络在用户的训练和验证样本上具有最先进的性能，但在特定的攻击者选择的输入上表现不佳。我们首先在一个玩具示例中探索BadNets的属性，通过创建一个后门手写数字分类器。接下来，我们通过创建一个美国街道标志分类器，在停车标志上添加特殊贴纸时将停车标志识别为限速标志，从而在更现实的场景中演示后门;然后，我们还表明，即使网络后来被重新训练用于另一项任务，我们的美国街道标志检测器中的后门也会持续存在，并导致准确性下降{25}\%。当后门触发器存在时，平均而言。这些结果表明，神经网络中的后门既强大又隐蔽--因为神经网络的行为很难解释。这项工作为进一步研究验证和检查神经网络的技术提供了动力，就像我们开发了验证和调试软件的工具一样。
2019-03-11 cs.CR cs.LG
NeuronInspect: Detecting Backdoors in Neural Networks via Output Explanations
Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度神经网络已经在各种任务上实现了最先进的性能。然而，由于缺乏可解释性和透明性，使得恶意攻击者更容易将木马后门注入到神经网络中，当输入带有特定触发器的后门样本时，模型会表现出异常。在本文中，我们提出了NeuronInspect，这是一个通过输出解释技术检测深度神经网络中木马后门的框架。NeuronInspect首先通过生成输出层的解释热图来识别后门攻击目标的存在。我们观察到从干净和后门模型生成的热图具有不同的特征。因此，我们从被攻击的模型中提取测量解释属性的特征，即：稀疏，平滑和持久。我们结合这些特征，并使用离群点检测来找出离群点，这是攻击目标的集合。在MNIST数字识别数据集和GTSRB交通标志识别数据集上，我们证明了NeuronInspect的有效性和效率。我们在不同的攻击场景下广泛评估了NeuronInspect，并证明了比最先进的木马后门检测技术Neural Cleanse更好的鲁棒性和有效性。
2019-11-18 cs.CR cs.LG
On Identifying Why and When Foundation Models Perform Well on Time-Series Forecasting Using Automated Explanations and Rating
本文结合传统XAI与RDE评估ARIMA、Gradient Boosting、Chronos及Llama在四类异构时间序列数据集上的表现，揭示基础模型与特征工程模型各自适用的情境及可解释性差异。
2025-08-28 cs.AI cs.LG
Defense against Backdoor Attacks via Identifying and Purifying Bad Neurons
Fuzhou University（福州大学）；East China Normal University（华东师范大学）
神经网络的不透明性导致它们容易受到后门攻击的攻击，在这种攻击中，被感染神经元的隐藏注意力被触发，以覆盖对攻击者选择的神经元的正常预测。在本文中，我们提出了一种新的后门防御方法来标记和净化后门神经网络中的感染神经元。具体来说，我们首先定义了一个新的度量标准，称为良性显着性。通过结合一阶梯度来保留神经元之间的连接，良性显著性可以比后门防御中常用的度量更准确地识别受感染的神经元。然后，提出了一种新的自适应正则化（AR）机制，通过微调来帮助纯化这些已识别的感染神经元。由于AR能够适应不同大小的参数，因此在神经元纯化中，AR可以提供比常见的正则化机制更快和更稳定的收敛。大量的实验结果表明，我们的方法可以删除后门在神经网络的性能下降微不足道。
2022-08-13 cs.CR cs.CV cs.LG
Nothing Else Matters: Model-Agnostic Explanations By Identifying Prediction Invariance
University of Washington（华盛顿大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
可解释机器学习的核心问题是人类是否能够对模型的行为做出准确的预测。在这个问题中假设可解释输出的三个属性：覆盖率，精度和努力。覆盖率是指人类认为他们可以预测模型行为的频率，精度是指人类在这些预测中的准确程度，而努力是解释模型所需的前期工作，或者对模型行为进行预测所需的工作。在这项工作中，我们提出锚石灰（aLIME），模型不可知的技术，产生高精度的基于规则的解释，覆盖范围的边界是非常清楚的。我们比较aLIME与线性LIME与模拟实验，并展示了aLIME的灵活性与定性的例子，从各种领域和任务。
2016-11-17 cs.AI cs.LG stat.ML
GRANITE: A Generalized Regional Framework for Identifying Agreement in Feature-Based Explanations
Leibniz Institute for Prevention Research and Epidemiology - BIPS（预防研究与流行病学研究所）；Polytechnique Montréal（蒙特利尔理工学院）；LMU Munich, MCML（慕尼黑大学）；Université Laval à Québec（魁北克大学拉瓦尔分校）；University of Bremen（不莱梅大学）；Bielefeld University, CITEC（比尔特诺夫大学）
GRANITE提出了一种通用的区域框架，通过划分特征空间减少交互和分布影响，统一并改进了不同特征解释方法的一致性和可解释性。
2026-01-30 cs.LG stat.ML
Extractive Adversarial Networks: High-Recall Explanations for Identifying Personal Attacks in Social Media Posts
University of Michigan（密歇根大学）
我们介绍了一种对抗性方法，用于产生神经文本分类器决策的高召回解释。基于现有的通过硬注意力进行提取解释的架构，我们添加了一个对抗层，该层扫描剩余的注意力以获得剩余的预测信号。出于在社交媒体评论中检测人身攻击的重要领域的动机，我们还证明了通过显式操纵其偏差项来手动设置模型的语义适当的“默认”行为的重要性。我们开发了一个验证集的人类注释的人身攻击，以评估这些变化的影响。
2018-10-19 cs.CL cs.IR cs.LG
A Sim2Real Approach for Identifying Task-Relevant Properties in Interpretable Machine Learning
Harvard University（哈佛大学）；National University of Singapore（新加坡国立大学）
本文提出XAIsim2real流水线，利用解释属性与合成用户研究，在三个任务上准确预测用户偏好，并揭示认知预算限制复杂解释参与度的关系。
2024-09-18 cs.HC cs.LG
The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus
Technical University of Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；UiT Arctic University of Norway（挪威北极大学）；Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；University of Potsdam（波茨坦大学）；Leibniz Institute of Agricultural Engineering and Bioeconomy e.V.（莱布尼茨农业工程与生物经济研究所）
针对可解释AI缺乏真实标签时解释质量评估结果矛盾的问题，提出元评估框架MetaQuantus，通过分析质量估计器的抗噪性和随机性反应性识别可靠评估方法，已开源并为领域提供理论指导。
2023-07-19 cs.AI cs.LG
Identifying the Most Explainable Classifier
我们引入逐点覆盖的概念来衡量机器学习分类器的可解释性。对预测的解释是特征空间中与预测共享相同标签的可定义的简单区域，解释的覆盖率衡量其大小或可推广性。有了这个解释的概念，我们研究最可解释的分类器是否存在自然的特征。根据我们的直觉，我们证明了二元线性分类器是唯一的最可解释的分类器可忽略的集。
2019-10-22 cs.HC cs.LG stat.ML
Fine-Grained Neural Network Explanation by Identifying Input Features with Predictive Information
Technical University of Munich（慕尼黑工业大学）；LMU University Hospital（慕尼黑大学医院）；Kyung Hee University（庆熙大学）
一种用于说明黑盒神经网络的主要方法是特征属性，即识别输入特征对于网络预测的重要性。特征的预测信息最近被提出作为其重要性的度量的代理。到目前为止，预测信息仅通过在网络中放置信息瓶颈来识别潜在特征。我们提出了一种方法来识别输入域中具有预测信息的特征。该方法的结果在细粒度的输入特征的信息识别，是不可知的网络结构。我们的方法的核心思想是利用输入上的瓶颈，只让与预测潜在特征相关联的输入特征通过。我们比较了我们的方法与几个特征属性的方法，使用主流的特征属性评价实验。代码是公开的。
2021-12-07 cs.CV cs.LG
Aggregating explanation methods for stable and robust explainability
DTU Compute, Technical University Denmark（丹麦技术大学计算学院）
尽管关于解释神经网络的文献越来越多，但在如何解释神经网络决策或如何评估解释方面尚未达成共识。我们在本文中的贡献是双重的。首先，我们调查的计划，结合解释方法，减少模型的不确定性，以获得一个单一的聚合解释。我们提供的证据表明，聚合是更好地确定重要的功能，比单独的方法。对解释的对抗攻击是最近一个活跃的研究课题。作为我们的第二个贡献，我们提出的证据表明，总的解释是更强大的攻击比个人的解释方法。
2020-03-20 cs.AI cs.LG stat.ML
Amortised Post-Hoc Explanation with Exact Preservation for Dynamic Graph Anomaly Detectors
National higher School of Computer Science (ESI)（国家计算机科学高等学校（ESI））；Université Claude Bernard Lyon（里昂第一大学（克洛德·贝尔纳里昂大学））
本文针对动态图异常检测器StrGNN缺乏解释的问题，提出X-StrGNN事后解释层，可精确保留检测性能且成本低，通过对比归因策略验证了其稳定性与效果。
2026-08-18 cs.AI cs.LG
Backdoor Secrets Unveiled: Identifying Backdoor Data with Optimized Scaled Prediction Consistency
University of Alberta（阿尔伯塔大学）；Michigan State University（密歇根州立大学）；Illinois Institute of Technology（伊利诺伊理工学院）；DSO National Laboratories（新加坡国防科技局国家实验室）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院MIT-IBM沃森人工智能实验室）
本文提出一种基于优化缩放预测一致性的方法，无需干净数据或手动阈值，即可自动识别中毒数据集中的后门数据，在多种攻击下平均AUROC提升4%-36%。
2024-03-15 cs.AI cs.CR cs.LG
Diff-Cleanse: Identifying and Mitigating Backdoor Attacks in Diffusion Models
Beihang University（北京航空航天大学）
针对扩散模型的后门攻击威胁，提出两阶段防御框架Diff-Cleanse，通过触发器反演检测后门并利用结构剪枝消除后门，实现近100%检测准确率且几乎不损害模型良性性能。
2024-08-22 cs.CR cs.LG
Generating Post-hoc Explanations for Skip-gram-based Node Embeddings by Identifying Important Nodes with Bridgeness
Sungkyunkwan University（成均馆大学）；Purdue University（普渡大学）；Microsoft Research（微软研究院）
本文提出通过桥接度识别重要节点，为基于Skip-gram的节点嵌入生成全局事后解释，并设计了高效的梯度方法GRAPH-wGD，实验验证其解释质量优于现有方法。
2023-05-15 cs.CL cs.LG cs.SI
This part looks alike this: identifying important parts of explained instances and prototypes
Poznan University of Technology（波兹南技术大学）
本文提出“相似部分”方法，利用与模型无关的特征重要性分数识别原型中最具信息量的特征，并将其纳入原型选择目标函数以增强多样性，在六个基准数据集上验证了该方法能在保持或提升预测精度的同时改善用户理解。
2025-05-08 cs.LG
Unifying Post-hoc Explanations of Knowledge Graph Completions
Sony AI, Barcelona, Spain（索尼人工智能，巴塞罗那，西班牙）
针对知识图谱补全缺乏统一事后解释框架的问题，提出基于多目标优化的分类法，统一现有算法，改进评估协议，强调可解释性对用户查询的重要性。
2026-06-16 cs.AI cs.LG
Finding and Fixing Spurious Patterns with Explanations
CMU（卡内基梅隆大学）；Microsoft Research（微软研究院）
图像分类器经常使用虚假模式，例如“依赖于人的存在来检测网球拍”，这并不普遍。在这项工作中，我们提出了一个端到端的管道，用于识别和减轻这种模型的虚假模式，假设我们可以访问像素的对象注释。我们从识别模式开始，例如“如果我们隐藏人，模型对网球拍的预测有63%的时间会发生变化。“然后，如果一个模式是虚假的，我们通过一种新形式的数据增强来减轻它。我们证明，我们的方法确定了一组不同的虚假模式，它减轻了他们通过产生一个模型，这是更准确的分布的虚假模式是没有帮助的，更强大的分布偏移。
2022-08-17 cs.LG
A Positive Case for Faithfulness: LLM Self-Explanations Help Predict Model Behavior
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
本文提出NSG度量标准，证明LLM自我解释能提升模型行为预测能力，且比外部生成解释更具预测价值，揭示了自我解释在AI监督中的积极作用。
2026-10-08 cs.AI cs.LG
Position: Prioritize Identifying Structure, Not Complex Models, for Scientific Discovery
本文论证现代机器学习在高维代理机制下存在通用欠定性，提出“机制性机器学习”的具体标准，以确保以LLM为中心的工作流真正支持科学而非模拟科学。
2026-05-30 cs.AI cs.CY cs.LG
Towards Understanding the Influence of Training Samples on Explanations
University of Cyprus（塞浦路斯大学）
本研究将数据估值应用于模型评估，提出识别影响模型内部推理（而非仅预测性能）的训练样本的新问题，并针对计算补救成本提出算法，通过两个案例研究验证其有效性。
2025-03-25 cs.AI cs.LG
On the Complexity-Faithfulness Trade-off of Gradient-Based Explanations
KTH Royal Institute of Technology（皇家理工学院）
针对ReLU网络梯度解释噪声大且现有平滑方法牺牲忠实度的问题，提出统一光谱框架量化平滑性与忠实度的权衡，揭示代理平滑导致的解释差距，并通过实验验证理论发现。
2025-08-14 cs.AI cs.CV cs.LG
ACE: Adapting sampling for Counterfactual Explanations
Division of Decision and Control Systems, KTH Royal Institute of Technology（决策与控制系统系，皇家理工学院）
针对现有反事实解释方法样本效率低、黑盒模型评估成本高的问题，提出结合贝叶斯估计与随机优化的ACE算法，通过优先选择高信息量点减少查询次数，在保证反事实解释准确可行的同时提升了评估效率。
2025-09-30 cs.LG stat.ML
To trust or not to trust an explanation: using LEAF to evaluate local linear XAI methods
University of Turin（都灵大学）；ISI Foundation（ISI基金会）
可解释人工智能（XAI）的主要目标是为黑盒分类器提供有效的解释。现有的文献列出了许多有用的解释所需的属性，但在实践中如何定量评估解释并没有达成共识。此外，解释通常只用于检查黑盒模型，而解释作为决策支持的主动使用通常被忽视。在XAI的许多方法中，广泛采用的范例是局部线性简化-LIME和SHAP作为最先进的方法出现。我们发现，这些方法是困扰着许多缺陷，包括不稳定的解释，从承诺的理论性质的实际实现的分歧，和错误的标签的解释。这突出了需要有标准和公正的评价程序，局部线性偏差在XAI领域。在本文中，我们解决的问题，确定一个明确的和明确的一组指标的评价局部线性方程。这一组包括专门为这类解释定义的现有指标和新指标。所有指标都包含在一个名为LEAF的开放Python框架中。LEAF的目的是为最终用户提供一个参考，以标准化和公正的方式评估解释，并指导研究人员开发改进的可解释技术。
2021-06-01 cs.AI cs.CY cs.LG
Outlier Explanation via Sum-Product Networks
University of Mannheim（曼海姆大学）
异常值解释是识别一组将样本与正常数据区分开的特征的任务，这对下游（人类）决策很重要。现有的方法是基于特征子集空间中的束搜索。它们很快就变得计算昂贵，因为它们需要为每个特征子集从头开始运行离群值检测算法。为了缓解这个问题，我们提出了一种新的离群解释算法的基础上和产品网络（SPN），一类概率电路。我们的方法利用了SPN中边缘推理的易处理性来计算特征子集中的离群值。通过使用SPN，执行后向消除而不是通常的前向束搜索变得可行，这不太容易在解释中丢失相关特征，特别是当特征的数量很大时。我们的经验表明，我们的方法实现了离群解释的最先进的结果，优于最近的基于搜索以及基于深度学习的解释方法
2022-07-18 cs.LG
Anomaly Localization in Model Gradients Under Backdoor Attacks Against Federated Learning
Arcelik Research（Arcelik研究）
在联邦学习（FL）的联合模型中插入后门是最近引起关注的威胁。现有的研究主要集中在开发有效的对策来应对这种威胁，假设后门的本地模型，如果有的话，以某种方式揭示自己的梯度异常。然而，这一假设需要详细说明，具体确定哪些梯度更有可能在何种条件下指示异常到何种程度。这是一个重要的问题，因为神经网络模型通常具有巨大的参数空间，并且由大量的权重组成。在这项研究中，我们做了一个深入的梯度水平上的预期变化的模型梯度在几个后门攻击的情况下对FL。我们的主要新发现是，后门引起的异常的本地模型更新（权重或梯度）出现在最后一层的偏见权重的恶意本地模型。我们支持和验证我们的研究结果，在不同的外语设置的理论和实验分析。我们还调查了恶意客户端的数量，学习率，恶意数据率上观察到的异常的影响。我们的实现是公开可用的\footnote{\url{ https://github.com/ArcelikAcikKaynak/Federated_Learning.git}}。
2021-11-29 cs.AI cs.CR cs.LG
Root Cause Explanation of Outliers under Noisy Mechanisms
Deakin University（迪肯大学）
针对现有异常根因研究仅考虑节点贡献、无法归因边异常的问题，提出结合边与节点的噪声函数因果模型及梯度归因法，在多数据集上实现更优归因性能且可扩展至大图。
2023-12-19 cs.AI cs.LG stat.ML
Failing Conceptually: Concept-Based Explanations of Dataset Shift
University of Cambridge（剑桥大学）
尽管机器学习技术在各种视觉任务上表现出色，但它们往往屈服于数据分布偏移。因此，最近的一系列工作探索了检测这些变化的技术。不幸的是，目前的技术没有解释是什么触发了变化的检测，从而限制了它们提供可操作的见解的效用。在这项工作中，我们提出了概念瓶颈移位检测（CBSD）：一种新的可解释的移位检测方法。CBSD通过识别和排名高级人类可理解的概念受变化影响的程度来提供解释。使用两个案例研究（dSprites和3dshapes），我们演示了CBSD如何准确地检测受移位影响的基本概念，并实现更高的检测精度相比，国家的最先进的移位检测方法。
2021-05-01 cs.LG
Explaining, Fast and Slow: Abstraction and Refinement of Provable Explanations
Hebrew University of Jerusalem（希伯来大学）；Technical University of Munich（慕尼黑技术大学）
针对可证明充分解释计算的可扩展性难题，本文提出抽象—细化方法，利用缩减网络加速验证并迭代细化至收敛，提升效率且支持多层级细粒度解释。
2025-06-10 cs.AI cs.LG cs.LO
Identifying Drivers of Predictive Aleatoric Uncertainty
Hasso Plattner Institute（霍普夫纳研究所）；Digital Engineering Faculty（数字工程学院）；University of Potsdam（波茨坦大学）；Freie Universität Berlin（柏林自由大学）；Department of Mathematics and Computer Science（数学与计算机科学系）；Hasso Plattner Institute for Digital Health at Mount Sinai（辛克尔医学院霍普夫纳数字健康研究所）；Icahn School of Medicine at Mount Sinai（辛克尔医学院）
针对预测性偶然不确定性缺乏解释的问题，本文提出用高斯输出神经网络估计预测方差并结合现成解释器识别其驱动因素，在多类数据集基准上优于复杂方法。
2025-05-12 cs.LG stat.ML
Why Are You Weird? Infusing Interpretability in Isolation Forest for Anomaly Detection
KU Leuven（鲁汶大学）
异常检测涉及识别数据集中不符合预期行为的示例。虽然存在大量的异常检测算法，但很少有人注意解释为什么这些算法将某些示例标记为异常。然而，这样的解释对任何解释算法输出的人都非常有用。本文开发了一种方法来解释国家的最先进的隔离森林异常检测算法的异常预测。该方法输出一个解释向量，该向量捕获示例的每个属性对于将其识别为异常的重要性。对合成和真实世界数据集的全面实验评估表明，我们的方法比大多数当代最先进的可解释性方法更准确，更有效。
2021-12-13 cs.LG
Two Sides of the Same Coin: Learning the Backdoor to Remove the Backdoor
KASTEL Security Research Labs（KASTEL安全研究实验室）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
研究如何对抗神经后门，提出HARVEY方法，通过学习有毒样本的预言机来去除后门。该方法在识别有毒样本上更准确，能近乎完美地去除后门，在多方面优于相关方法，降低攻击成功率且自然准确率损失小。
2026-07-08 cs.LG
The Out-of-Distribution Problem in Explainability and Search Methods for Feature Importance Explanations
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
特征重要性（FI）估计是一种流行的解释形式，通常通过计算在测试时删除某些输入特征引起的模型置信度变化来创建和评估。例如，在标准的Sufficiency度量中，仅保留前k个最重要的令牌。在本文中，我们研究了几个不足的FI解释的维度，这种形式的解释提供概念和实证的改进。首先，我们提出了一个新的论点，为什么在创建或评估解释时从输入中删除特征会有问题：这些反事实输入对模型来说是分布外的（OOD），这意味着由此产生的解释在社会上是不一致的。问题的关键在于模型先验和随机权重初始化以意想不到的方式影响解释（和解释度量）。为了解决这个问题，我们提出了一个简单的修改模型训练过程，这将导致更多的社会一致的解释和指标。其次，我们比较了从模型输入中去除特征的五种方法。我们发现，一些方法比其他方法产生更多的OOD反事实，我们提出建议，选择一个功能替换功能。最后，我们介绍了四种基于搜索的方法，用于识别FI解释，并将它们与强基线进行比较，包括LIME，Covereors和Integrated Covereents。通过六个不同的文本分类数据集的实验，我们发现，唯一的方法，始终优于随机搜索是一个并行本地搜索（PLS），我们介绍。与第二好的方法相比，充分性提高了5.4分，全面性提高了17分。本文中所有支持实验的代码都可以在https://github.com/peterbhase/ExplanationSearch…
2021-10-27 cs.AI cs.CL cs.LG
AR-Pro: Counterfactual Explanations for Anomaly Repair with Formal Properties
University of Pennsylvania（宾夕法尼亚大学）
针对现有异常检测方法缺乏可解释性的问题，研究提出AR-Pro框架，基于扩散模型生成反事实异常修复样本，支持跨领域形式化规约，在多类异常数据集上验证了有效性。
2024-10-31 cs.LG
DCFO: Density-Based Counterfactuals for Outliers -- Additional Material
Department of Computer Science（计算机科学系）；Department of Computer Science and Mathematics（计算机科学与数学系）
针对局部离群因子（LOF）缺乏可解释性的问题，提出基于密度的离群点反事实解释方法（DCFO），通过将数据空间划分为LOF平滑区域实现高效梯度优化，在50个OpenML数据集上优于现有方法。
2026-05-28 cs.LG
Toward Scalable and Unified Example-based Explanation and Outlier Detection
Singapore University of Technology and Design（新加坡科技设计大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；University of Oslo（奥斯陆大学）
当神经网络被用于高风险决策时，希望它们能为它们的预测提供解释，以便我们理解有助于决策的特征。同时，重要的是要标记潜在的离群值，以便领域专家进行深入验证。在这项工作中，我们提出了统一的两个不同方面的可解释性与离群值检测。我们主张更广泛地采用基于原型的学生网络，能够为他们的预测提供基于示例的解释，同时识别预测样本和示例之间的相似区域。这些例子是通过我们新颖的迭代原型替换算法从训练集中采样的真实原型案例。此外，我们建议使用原型相似性分数来识别离群值。我们比较了我们提出的网络与其他基线在分类，解释质量和离群值检测方面的性能。我们表明，我们基于原型的网络超越相似性内核提供了有意义的解释和有前途的离群值检测结果，而不影响分类精度。
2022-05-08 cs.LG
SeQwen at the Financial Misinformation Detection Challenge Task: Sequential Learning for Claim Verification and Explanation Generation in Financial Domains
Pulchowk Campus, IoE（普尔乔克校区，工程学院（Institute of Engineering））；IIT Roorkee（鲁基印度理工学院）；State University of New York, Buffalo（纽约州立大学布法罗分校）；University of Wisconsin（威斯康星大学）；Cohere For AI Community（Cohere 人工智能社区）；University of Maryland（马里兰大学）
本文提出面向 COLING 2025 FMD 挑战赛的 SeQwen 系统，结合 Qwen、Mistral、Gemma-2、预处理与序列学习，完成金融错误信息分类及解释生成，并取得 F1 0.8283、ROUGE-1 0.7253。
2024-11-30 cs.CE cs.CL cs.LG
Online detection and infographic explanation of spam reviews with data drift adaptation
University of Vigo（维戈大学）；Universidade Portucalense（波尔图大学）；ISEP, Polytechnic of Porto（波尔图理工学院ISEP）；Institute for Systems and Computer Engineering, Technology and Science（系统与计算机工程、技术与科学研究所）
针对在线平台垃圾评论泛滥、数据流场景下垃圾检测研究不足且缺乏透明度的问题，本文提出融合增量画像、数据漂移检测自适应与机器学习识别的在线垃圾评论检测方案，搭配信息图式可解释机制，最优垃圾评论F值达87%。
2024-06-21 cs.AI cs.CL cs.LG
ExAD: An Ensemble Approach for Explanation-based Adversarial Detection
Texas A&M University（德克萨斯农工大学）；Hefei University of Technology（合肥工业大学）
最近的研究表明，深度神经网络（DNN）容易受到对抗性示例的影响，这些示例会在模型中引起所需的错误分类。这些风险阻碍了机器学习在安全敏感领域的应用。针对对抗攻击，已经提出了几种防御方法，以在测试时检测对抗示例或使机器学习模型更鲁棒。然而，虽然现有的方法在黑盒威胁模型下是非常有效的，其中攻击者不知道防御，但它们在白盒威胁模型下相对无效，其中攻击者完全知道防御。在本文中，我们提出了ExAD，这是一个使用解释技术集成来检测对抗性示例的框架。ExAD中的每种解释技术都会产生一个解释图，用于识别模型分类的输入变量的相关性。对于数据集中的每个类，系统包括与每种解释技术相对应的检测器网络，该检测器网络经过训练以区分正常和异常解释图。在测试时，如果输入的解释图被分类类的任何检测器模型检测为异常，则我们认为输入是对抗性示例。我们使用六个最先进的对抗攻击对三个图像数据集评估我们的方法。我们的广泛的评估表明，我们的机制可以有效地检测这些攻击的黑盒威胁模型有限的误报。此外，我们发现，我们的方法在限制白盒攻击的成功率方面取得了可喜的成果。
2021-03-22 cs.LG
Counterfactual Explanations for Neural Recommenders
MPI for Informatics（马克斯·普朗克信息学研究所）
了解为什么向用户推荐特定的项目可以显着增加他们对系统的信任和满意度。虽然近年来神经网络已经成为最先进的技术，但深度模型的复杂性仍然使得为最终用户生成有形的解释成为一个具有挑战性的问题。现有的方法通常是基于对各种功能的注意力分布，这仍然是值得怀疑的关于其作为解释的适用性，而笨拙的最终用户掌握。基于用户自己的一小部分行为的反事实解释已经被证明是有形性问题的可接受的解决方案。然而，目前对这种反事实的研究还不能很容易地应用于神经模型。在这项工作中，我们提出了ACCENT，第一个通用框架，寻找反事实的解释，神经神经元。它扩展了最近提出的影响函数，用于识别与推荐最相关的训练点，从单个项目到一对项目，同时在迭代过程中推导出反事实集。我们使用ACCENT为两个流行的神经模型（神经协同过滤（NCF）和关系协同过滤（RCF））生成反事实解释，并在流行的MovieLens 100K数据集的样本上证明其可行性。
2021-05-11 cs.IR cs.LG
Do Fair Models Reason Fairly? Counterfactual Explanation Consistency for Procedural Fairness in Credit Decisions
本文提出CEC框架，通过对个体与反事实对照体的特征归因对齐，检测并缓解隐藏的程序性偏见，提升信用决策的公平性。
2026-05-12 cs.AI cs.CE cs.CY
Local Explanation Methods for Deep Neural Networks Lack Sensitivity to Parameter Values
Google Brain（谷歌大脑）
解释复杂的机器学习模型（如深度神经网络（DNN））的输出是机器学习的核心挑战。几种提出的局部解释方法通过确定单个输入的哪些维度对DNN的输出最负责任来解决这个问题。这项工作的目标是评估局部解释对DNN参数值的敏感性。令人惊讶的是，我们发现具有随机初始化权重的DNN产生的解释在视觉上和定量上都与具有学习权重的DNN产生的解释相似。我们的推测是，这种现象的发生是因为这些解释是由DNN的低层特征主导的，并且DNN的架构提供了一个强大的先验，这会显著影响在这些低层学习的表示。注意事项：这项工作现在包含在我们最近的手稿中，显着性地图的健全检查（将出现NIPS 2018），在那里我们扩展了研究结果并解决了Sundararajan等人提出的问题。等（2018）。
2018-10-08 cs.CV cs.LG stat.ML
