(Un)reasonable Allure of Ante-hoc Interpretability for High-stakes Domains: Transparency Is Necessary but Insufficient for Comprehensibility
ETH Zurich（苏黎世联邦理工学院）
本文剖析了高风险领域中事前可解释性这一概念的多重隐含属性，指出透明性不足以确保可理解性，并提出建模与解释的期望要求以指导其安全应用。
2023-07-10 cs.AI cs.LG
Diagrammatization and Abduction to Improve AI Interpretability With Domain-Aligned Explanations for Medical Diagnosis
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出DiagramNet模型，结合图解与溯因推理为医学诊断提供领域对齐的可解释AI，优于基线模型，且图解式解释在用户研究中更受青睐。
2025-02-26 cs.AI cs.HC cs.LG
Evaluation of post-hoc interpretability methods in time-series classification
University Hospitals of Geneva（日内瓦大学医院）；University of Geneva（日内瓦大学）；National University of Singapore（新加坡国立大学）；Imperial College London（伦敦帝国学院）
针对事后可解释性方法结果不一致且现有评估框架存在依赖人工判断、需重训及遮挡导致分布偏移等问题，本文提出面向时间序列分类的定量评估框架与合成数据集，以衡量解释可靠性并支持高风险场景应用。
2024-12-06 cs.AI cs.LG stat.ML
Robust Semantic Interpretability: Revisiting Concept Activation Vectors
UCSF（加州大学旧金山分校）；SFVAMC（旧金山退伍军人事务医疗中心）；UC Berkeley（加州大学伯克利分校）；Helen Diller Family Comprehensive Cancer Center, UCSF（加州大学旧金山分校海伦·迪勒家族综合癌症中心）；Bakar Computational Health Sciences Institute, UCSF（加州大学旧金山分校巴卡尔计算健康科学研究所）
用于图像分类的可解释性方法通过尝试暴露模型是否系统地有偏见或与人类相同的线索来评估模型的可信度。显著性方法的特征属性占主导地位的可解释性文献，但这些方法不解决语义概念，如纹理，颜色，或性别的图像中的对象。我们提出的鲁棒概念激活向量（RCAV）量化了语义概念对个体模型预测和整体模型行为的影响。RCAV计算概念梯度，并采取梯度上升步骤来评估模型对给定概念的敏感性。通过概括以前的工作概念激活向量占模型的非线性，并通过引入更严格的假设检验，我们表明，RCAV产生的解释都更准确的图像水平和强大的数据集水平。RCAV和显着性方法一样，支持对个体预测的解释。为了评估可解释性方法作为调试工具的实际使用，以及可解释性方法用于识别归纳偏差（例如纹理超过形状）的科学使用，我们构建了两个数据集和相应的度量标准，用于语义可解释性方法的现实基准测试。我们的基准揭示了反事实增强和负控制的重要性，以量化可解释性方法的实际可用性。
2021-04-06 cs.AI cs.CV cs.LG
Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds
KUIS AI Center, Koç University（科奇大学KUIS人工智能中心）；University of California, Berkeley（加州大学伯克利分校）
本研究将AI安全网格世界框架改编为文本评估套件，发现语言模型在零样本下出现规范博弈，通过直接奖励优化扩大观察与隐藏奖励差距，且标准缓解措施无效。
2026-06-16 cs.AI
SHapley Estimated Explanation (SHEP): A Fast Post-Hoc Attribution Method for Interpreting Intelligent Fault Diagnosis
State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University（上海交通大学机械系统与振动国家重点实验室）
针对智能故障诊断中SHAP结合域变换带来的高计算开销问题，提出分块归因和SHapley估计解释（SHEP）方法，通过降低特征维度和简化子集枚举将复杂度降至线性级，显著提升计算效率并实现实时解释。
2025-04-03 cs.AI cs.LG
The Dangers of Post-hoc Interpretability: Unjustified Counterfactual Explanations
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；AXA（安盛集团）；Polish Academy of Science（波兰科学院）
事后可解释性方法已被证明是强大的工具，可以为经过训练的黑盒模型所做的预测生成解释。然而，它们会产生这样的风险，即解释是模型学习的一些工件的结果，而不是来自数据的实际知识。本文重点讨论反事实解释的情况，并询问生成的实例是否可以被证明是合理的，即连续连接到一些地面真相数据。我们通过调查其预测要解释的实例的局部邻域来评估生成不合理的反事实实例的风险，并表明这种风险对于几个数据集来说是相当高的。此外，我们发现，大多数国家的最先进的方法不区分合理的不合理的反事实的例子，导致不太有用的解释。
2019-07-22 cs.AI cs.LG stat.ML
Post-hoc Interpretability for Neural NLP: A Survey
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
本文综述了神经自然语言处理中的事后可解释性方法，系统分类其解释方式、深入分析各类方法并讨论验证问题，以促进模型的安全、伦理与问责。
2023-11-28 cs.CL cs.LG cs.NE
Post-hoc Interpretability Illumination for Scientific Interaction Discovery
Adobe Inc.（奥多比公司）；North Carolina State University（北卡罗来纳州立大学）；University of Delaware（特拉华大学）；Pennsylvania State University（宾夕法尼亚州立大学）
提出事后方法迭代国王森林（iKF），通过迭代选择重要变量构建森林以揭示变量间复杂多阶交互，并提供推断指标对交互模式进行分类，实验证明其在可解释建模与科学发现中具有强大潜力。
2024-12-20 cs.AI cs.LG stat.ML
A Categorisation of Post-hoc Explanations for Predictive Models
University College Dublin（都柏林大学学院）
基于机器学习的预测模型在现代社会中无处不在，这自然会让人们问这些模型的可信度如何？在预测建模中，在准确性和可解释性之间进行权衡是很常见的。例如，医生想知道某些治疗对患者的有效性，或者为什么模型会建议对表现出这些症状的患者使用特定的药物？我们承认，可解释性的必要性是问题的不完全形式化的结果，或者更确切地说，是坚持一个特定概念的多重含义的结果。对于某些问题，仅仅得到答案（是什么）是不够的，模型还必须解释它是如何得出这个结论的（为什么），因为正确的预测只能部分解决原始问题。在这篇文章中，我们扩展了现有的分类技术，以帮助模型的可解释性和测试这种分类。
2019-04-04 cs.AI cs.LG
Multicriteria interpretability driven Deep Learning
Siemens Italy（西门子意大利公司）；University of Milano-Bicocca（米兰比可卡大学）
深度学习方法以其性能而闻名，但它们缺乏可解释性，使它们无法在高风险的环境中使用。最近的模型不可知的方法解决这个问题，通过逆向工程模型的内部工作提供事后的可解释性方法。然而，在许多受监管的领域，从一开始就应该记住可解释性，这意味着事后方法仅在模型训练后作为健全性检查有效。从一开始的可解释性，在抽象的设置中，意味着通过注入知识和消除可能的偏差来对模型的行为提出一组软约束。我们提出了一个多准则技术，允许控制功能的影响模型的结果，通过注入知识的目标函数。然后，我们扩展的技术，包括一个非线性的知识函数，以考虑更复杂的影响和当地缺乏知识。其结果是一个深度学习模型，从一开始就体现了可解释性，并与最近的法规保持一致。一个基于信用风险的实际实证例子表明，我们的方法创建了性能良好但稳健的模型，能够克服数据稀缺带来的偏差。
2021-11-28 cs.AI cs.LG
The Model Organism Lottery: Model Organism Interpretability Strongly Depends on Training Methodology
研究通过七种训练方法构建54个模式生物，发现模式生物可解释性强烈依赖于训练目标、目标行为、模型架构和数据生成流程，集成训练通常比事后方法更不可解释，质疑当前模式生物作为可解释性代理的有效性。
2026-10-30 cs.LG
Quantifying Model Complexity via Functional Decomposition for Better Post-Hoc Interpretability
LMU Munich（慕尼黑大学）
可以采用诸如部分依赖图的事后模型不可知解释方法来解释复杂的机器学习模型。尽管这些解释方法可以应用于模型的复杂性，但如果模型太复杂，特别是w.r.t.，它们可能会产生误导和冗长的结果。功能交互。为了量化任意机器学习模型的复杂性，我们提出了基于功能分解的模型不可知复杂性度量：使用的特征数量，交互强度和主效应复杂性。我们表明，事后解释的模型，最大限度地减少了三个措施是更可靠和紧凑。此外，我们展示了这些措施的应用程序中的多目标优化方法，同时最大限度地减少损失和复杂性。
2019-09-23 cs.LG stat.ML
Implet: A Post-hoc Subsequence Explainer for Time Series Models
Department of Computer Science（计算机科学系）；UC Davis（加州大学戴维斯分校）；College of Engineering（工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出事后解释器 Implet，通过识别影响预测的关键时间子序列并引入队列级解释框架，提升时间序列模型解释的准确性与简洁性。
2025-05-13 cs.LG
Listen to Interpret: Post-hoc Interpretability for Audio Networks with NMF
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信巴黎）；Audio Analytic
本文处理音频处理网络的事后可解释性。我们的目标是解释一个网络的决定，在高层次的音频对象，也可为最终用户。为此，我们提出了一种新的解释器设计，采用非负矩阵分解（NMF）。特别是，一个精心正则化的解释器模块被训练成将目标网络的隐藏层表示作为输入，并产生预先学习的NMF分量的时间激活作为中间输出。我们的方法使我们能够生成直观的基于音频的解释，显式增强与网络决策最相关的输入信号部分。我们证明了我们的方法的适用性流行的基准，包括现实世界的多标签分类任务。
2022-10-24 cs.LG cs.SD eess.AS
CS-SHAP: Extending SHAP to Cyclic-Spectral Domain for Better Interpretability of Intelligent Fault Diagnosis
Shanghai Jiao Tong University（上海交通大学）
针对机械智能故障诊断中神经网络黑箱模型的可解释性问题，提出将SHAP扩展到循环谱域的CS-SHAP方法，可评估载波与调制频率贡献，贴合故障机制，经三个数据集验证，有望成为该领域事后可解释性基准。
2025-02-10 cs.AI cs.LG
Post-hoc Interpretability based Parameter Selection for Data Oriented Nuclear Reactor Accident Diagnosis System
Nuclear Power Institute of China（中国核动力研究设计院）
在应用面向数据的诊断系统对核电厂初始事件进行类型判别和严重性评价时，确定哪些参数作为系统输入至关重要。然而，尽管一些诊断系统在诊断精度和速度方面已经取得了令人满意的性能，但研究人员很少讨论监测点的选择和布局方法。为此，使用冗余测量数据来训练诊断模型，导致分类的高不确定性、额外的训练时间消耗以及训练时过拟合的较高概率。在这项研究中，提出了一种选择核电站热工水力参数的方法，使用深度学习中的事后解释理论。首先，一种新的时序残差卷积神经网络（TRES-CNN）诊断模型被引入到LOCA的位置和流体动力学直径的识别，使用HPR 1000经验手动选择的38个参数。然后，采用事后可解释性方法对诊断模型的输出属性进行评价，确定哪15个参数对LOCA细节的诊断更具决定性。结果表明，基于TRES-CNN的诊断模型通过HPR 1000的15个参数成功地预测了LOCA中断裂的位置和大小，与使用总共38个参数的过程相比，训练模型的时间消耗为25%。此外，与使用经验选择的参数的模型相比，诊断准确性的相对误差在1.5%以内，这可以被视为诊断可靠性的相同量。
2022-08-27 cs.AI cs.LG cs.SY
Attention Meets Post-hoc Interpretability: A Mathematical Perspective
Universit\'e C\ ote d'Azur, Inria, CNRS
针对注意力权重能否作为模型解释的争论，本文从数学上分析简单注意力架构，比较事后解释与注意力解释，证明事后方法虽有局限，却能提供更有用的内部行为洞见。
2024-06-17 cs.CL cs.LG stat.ML
Prediction is not Explanation: Revisiting the Explanatory Capacity of Mapping Embeddings
Universität Hamburg（汉堡大学）
本文质疑用特征规范预测准确率解释词嵌入知识的做法，证明该方法可预测随机信息，结果主要受算法上界和几何相似性影响，而非真实语义表示。
2025-08-19 cs.AI cs.CL cs.LG
Towards Few-shot Coordination: Revisiting Ad-hoc Teamplay Challenge In the Game of Hanabi
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔综合理工学院）；IBM Research（IBM研究院）
该研究针对现有ZSC算法对不同训练方法的伙伴适应慢的问题，基于Hanabi游戏构建评估框架与适应遗憾指标，发现朴素IQL适应速度与SOTA的OBL相当，并指出训练数据多样性、优化过程类超参数对适应性影响显著。
2023-08-20 cs.AI cs.LG cs.MA
Are Interpretations Fairly Evaluated? A Definition Driven Pipeline for Post-Hoc Interpretability
Texas A&M University（德克萨斯A&M大学）；LinkedIn（领英）
近年来，越来越多的解释方法被开发用于提高NLP模型的透明度。与此同时，研究者也试图回答这样一个问题，即所得到的解释是否忠实于解释模型预测背后的机制？具体来说，（Jain和Wallace，2019）通过比较注意力解释与梯度替代方案，提出了“注意力不是解释”。然而，它提出了一个新的问题，我们可以安全地选择一种解释方法作为地面真理？如果不是，我们可以根据什么来比较不同的解释方法？在这项工作中，我们建议，这是至关重要的，有一个具体的定义解释之前，我们可以评估忠实的解释。定义将影响获得解释的算法，更重要的是，影响评估中使用的度量。通过理论和实验分析，我们发现，虽然口译方法在一定的评价标准下表现不同，这种差异可能不是由于口译质量或忠实性，而是评价标准的固有偏见。
2020-09-16 cs.CL cs.LG
Regularizing Black-box Models for Improved Interpretability
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc（Petuum公司）；Determined AI
大多数关于可解释机器学习的工作都集中在设计固有的可解释模型，这通常会权衡可解释性的准确性，或者事后解释系统，其解释质量可能是不可预测的。我们的方法ExpO是这些方法的混合，它在训练时规范了解释质量的模型。重要的是，这些正则化器是可微的，模型不可知的，并且不需要领域知识来定义。我们证明了ExpO正则化模型的事后解释具有更好的解释质量，如通过常见的保真度和稳定性度量所测量的。我们验证，提高这些指标导致更有用的解释与用户研究的一个现实的任务。
2020-11-08 cs.LG stat.ML
Issues with post-hoc counterfactual explanations: a discussion
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；AXA（安盛）；Polish Academy of Science（波兰科学院）
反事实事后可解释性方法已被证明是有用的工具，以生成解释的训练黑盒分类器的预测。然而，他们对数据和分类器的假设使他们在许多情况下不可靠。在本文中，我们讨论了三个理想的属性和方法来量化它们：邻近性，连通性和稳定性。此外，我们还说明了事后反事实方法不满足这些属性的风险。
2019-06-11 cs.AI cs.LG stat.ML
Self-Ablating Transformers: More Interpretability, Less Sparsity
University of Groningen（格罗宁根大学）；AE Studio（AE工作室）；Apart Research（阿帕特研究机构）
本文提出一种自消融机制，通过动态施加 k-赢家通吃约束将可解释性直接融入 Transformer 训练，实验表明该方法促进了特征定位与神经元专门化，同时降低了整体稀疏性并保持了语言建模性能。
2025-05-01 cs.LG
Selecting Interpretability Techniques for Healthcare Machine Learning models
University of Antioquia UdeA（安蒂奥基亚大学）；Universidad de Antioquia UdeA（安蒂奥基亚大学）；University of Antioquia（安蒂奥基亚大学）；Hospital Alma Máter de Antioquia（安蒂奥基亚母校医院）；Arcada University of Applied Sciences（阿卡达应用科学大学）
本文基于PDR框架界定可解释机器学习及事后、基于模型两类方法，并综述八种适用于医疗决策场景的可解释性算法。
2024-06-14 cs.LG
Fidelity of Interpretability Methods and Perturbation Artifacts in Neural Networks
University of Warsaw（华沙大学）
针对深度神经网络可解释性方法评估中扰动引入伪影的问题，提出利用MIF和LIF顺序的模型准确率曲线估计伪影影响的方法，并在ImageNet上验证了四种事后可解释性方法的保真度。
2023-09-12 cs.CV cs.LG
Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization
本文提出 Concept Layers，通过将 LLM 内部表示投影到可解释概念空间并重构，在无需人工概念集的情况下保持模型性能，并实现推理时动态干预。
2025-02-19 cs.AI cs.CL cs.LG
Unifying Post-hoc Explanations of Knowledge Graph Completions
Sony AI, Barcelona, Spain（索尼人工智能，巴塞罗那，西班牙）
针对知识图谱补全缺乏统一事后解释框架的问题，提出基于多目标优化的分类法，统一现有算法，改进评估协议，强调可解释性对用户查询的重要性。
2026-06-16 cs.AI cs.LG
ProtGNN: Towards Self-Explaining Graph Neural Networks
University of Science and Technology of China（中国科学技术大学）；Tencent America（腾讯美国）
尽管图神经网络（GNN）最近取得了进展，但解释GNN所做的预测仍然具有挑战性。现有的解释方法主要集中在事后解释，即采用另一个解释模型来为训练好的GNN提供解释。事后方法无法揭示GNN的原始推理过程，这一事实提出了构建具有内置可解释性的GNN的需求。在这项工作中，我们提出了原型图神经网络（ProtGNN），它将原型学习与GNN相结合，并为GNN的解释提供了一个新的视角。在ProtGNN中，解释自然来自基于案例的推理过程，并在分类过程中实际使用。ProtGNN的预测是通过将输入与潜在空间中的一些学习原型进行比较来获得的。此外，为了更好的可解释性和更高的效率，一个新的条件子图采样模块被纳入到输入图的哪一部分是最相似的ProtGNN+中的每个原型。最后，我们在广泛的数据集上评估我们的方法，并进行具体的案例研究。大量的结果表明，ProtGNN和ProtGNN+可以提供固有的可解释性，同时实现与不可解释的对应物相当的准确性。
2021-12-02 cs.AI cs.LG
Discriminative Feature Attributions: Bridging Post Hoc Explainability and Inherent Interpretability
Harvard University（哈佛大学）
针对黑盒模型事后特征归因因对干扰特征擦除缺乏鲁棒性而不忠实的问题，提出DiET方法使模型对干扰特征擦除具有鲁棒性，结合了事后解释的易用性与内在可解释模型的忠实度。
2024-02-15 cs.CV cs.LG
Understanding Post-hoc Explainers: The Case of Anchors
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LJAD（让·亚历山大·迪厄多内数学实验室）；I3S（计算机科学、信号与系统实验室）
针对机器学习可解释性方法缺乏理论保障的问题，对基于规则的解释方法Anchors开展理论分析，形式化其算法并证明其搭配TF-IDF向量化线性文本分类器时结果有效，为可解释性方法开发提供理论支撑框架。
2023-03-15 cs.AI cs.CL cs.LG
Post-hoc Concept Bottleneck Models
Stanford University（斯坦福大学）
概念瓶颈模型（CBMs）将输入映射到一组可解释的概念（“瓶颈”）上，并使用这些概念进行预测。概念瓶颈增强了可解释性，因为可以对其进行调查以了解模型在输入中“看到”什么概念以及这些概念中哪些被认为是重要的。然而，CBM在实践中是限制性的，因为它们需要训练数据中的密集概念注释来学习瓶颈。此外，建立信任措施往往与不受限制的神经网络的准确性不匹配，从而降低了在实践中部署它们的激励。在这项工作中，我们通过引入事后概念瓶颈模型（PCBM）来解决这些限制。我们证明了我们可以将任何神经网络转换为PCBM，而不会牺牲模型性能，同时仍然保留可解释性的好处。当训练数据上没有概念注释时，我们证明了PCBM可以通过多模态模型从其他数据集或概念的自然语言描述中转移概念。PCBM的一个主要优点是，它使用户能够快速调试和更新模型，以减少虚假相关性并提高对新分布的泛化能力。PCBM允许全局模型编辑，这可能比以前修复特定预测的局部干预工作更有效。通过模型编辑用户研究，我们表明，通过概念级反馈编辑PCBM可以提供显着的性能增益，而无需使用来自目标域或模型再训练的数据。
2023-02-01 cs.AI cs.LG stat.ML
Revisiting Sanity Checks for Saliency Maps
Weizmann Institute of Science（魏茨曼科学研究学院）；Jether Energy Research（Jether能源研究院）
显着性方法是一种流行的方法模型调试和解释。然而，在缺乏关于正确地图应该是什么的地面实况数据的情况下，评估和比较不同的方法仍然是一个长期的挑战。Adebayo等人[Neurips 2018]的健全性检查方法试图解决这一挑战。他们认为，一些流行的显着性方法不应用于可解释性目的，因为它们生成的地图对要解释的底层模型不敏感。通过因果关系的重新制定他们的目标，我们认为，他们的经验评估并没有完全建立这些结论，由于一种形式的混淆引入的任务，他们evaluatedon.Through简单的自定义任务的各种实验，我们证明，他们的一些结论可能确实是文物的任务比显着性方法本身的批评。更广泛地说，我们的工作挑战的实用程序的健全检查方法，并进一步强调，显着图评估超出特设视觉检查仍然是一个根本的挑战。
2021-10-27 cs.CV cs.HC cs.LG
Tackling Interpretability in Audio Classification Networks with Non-negative Matrix Factorization
Laboratoire de Traitement et Communication de l’Information (LTCI)（信息处理与通信实验室（LTCI））；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文提出基于非负矩阵分解的解释器，用于事后与设计两种模式下生成可听的音频解释，增强决策相关信号，并在多标签音频与音乐分类任务中验证了有效性。
2023-05-11 cs.LG cs.SD eess.AS
A redescription mining framework for post-hoc explaining and relating deep learning models
University of Zagreb（萨格勒布大学）；Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）；Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算机学院）
本文提出一种基于重描述挖掘的事后解释框架，通过识别神经元激活的统计显著重描述，对任意深度学习模型进行队列分析、层间关联和跨模型关联，从而提升模型可解释性。
2025-01-02 cs.AI cs.LG
Time2Graph: Revisiting Time Series Modeling with Dynamic Shapelets
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；State Grid Huzhou Power Supply Co. Ltd（国网湖州供电有限公司）；Peking University（北京大学）
时间序列建模吸引了广泛的研究工作，然而，实现可靠的效率和可解释性从一个统一的模型仍然是一个具有挑战性的问题。在文献中，shapestone在分类任务中提供了可解释和解释性的见解，而大多数现有的作品忽略了不同时间片的不同代表性，以及（更重要的是）shapestone的演变模式。在本文中，我们提出通过设计一个两级的定时因子来提取时间感知的形状。此外，我们定义并构建了shapelet演化图，它捕捉了shapelet如何随着时间的推移而演变，并可以通过图嵌入算法纳入时间序列嵌入。为了验证以这种方式获得的表示是否可以有效地应用于各种场景，我们基于三个公共时间序列数据集和两个来自不同领域的真实世界数据集进行实验。实验结果清楚地表明，与17个最先进的基线相比，我们的方法所取得的改进。
2020-11-30 cs.LG stat.ML
Interpretable Generative Models through Post-hoc Concept Bottlenecks
University of California San Diego（加州大学圣迭戈分校）
提出两种低成本事后概念瓶颈方法（CB-AE和CC），无需真实数据即可构建可解释生成模型，在多个数据集上提升可解释性和可操控性约25%，训练速度快4-15倍。
2025-03-25 cs.CV cs.LG
An Interpretable Loan Credit Evaluation Method Based on Rule Representation Learner
Southwest University（西南大学）；BaiHang Intelligent Data Technology Institute（百行智能数据技术研究院）
针对高风险领域模型可解释性问题，提出基于 RRL 的内在可解释贷款信用评估方法，性能优于决策树且接近黑盒模型，并验证了事后解释方法的不可靠性。
2023-04-03 cs.LG
Feature Perturbation Augmentation for Reliable Evaluation of Importance Estimators in Neural Networks
Institute of Informatics, University of Warsaw（华沙大学信息学研究所）
针对局部事后可解释性方法因扰动样本分布外导致评估困难的问题，提出特征扰动增强（FPA）技术，通过在训练中添加扰动图像提升DNN鲁棒性，从而更可靠地评估重要性估计器。
2023-11-23 cs.CV cs.LG
New Faithfulness-Centric Interpretability Paradigms for Natural Language Processing
POLYTECHNIQUE MONTRÉAL（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）
本研究针对当前NLP模型可解释性方法的忠实性不足问题，提出构建可靠指标并开发忠实性可测模型（FMMs）和自解释两种新范式，解决了复杂通用神经NLP模型的忠实解释提供与确保难题。
2024-11-27 cs.CL cs.LG
An interpretable neural network model through piecewise linear approximation
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）；Chinese Academy of Sciences（中国科学院）；The University of Arizona（亚利桑那大学）
大多数现有的可解释方法以事后方式解释黑盒模型，其使用更简单的模型或数据分析技术来解释模型学习后的预测。然而，他们（a）可能会在不同的方法和数据样本下对相同的预测得出相互矛盾的解释，（b）专注于使用更简单的模型来提供更高的描述准确性，而牺牲预测准确性。为了解决这些问题，我们提出了一个混合解释模型，结合了分段线性组件和非线性组件。第一部分通过分段线性近似来描述显式特征贡献，以增加模型的表达能力。另一个组件使用多层感知器来捕获特征交互和隐式非线性，并提高预测性能。与事后方法不同的是，一旦模型以特征形状的形式学习，就可以获得可解释性。我们还提供了一个变体来探索特征之间的高阶交互，以证明所提出的模型是灵活的适应。实验表明，该模型可以通过描述特征形状，同时保持最先进的准确性，实现良好的可解释性。
2020-01-20 cs.AI cs.LG stat.ML
Instance-Wise Monotonic Calibration by Constrained Transformation
School of Computer Science and Engineering（计算机科学与工程学院）；University of New South Wales（新南威尔士大学）
本文提出一类基于约束变换的实例级单调事后校准方法，在保持概率排序的同时实现高表达力、鲁棒性与可解释性，并在多个数据集上取得最优性能。
2025-07-09 cs.LG stat.ML
Self-Supervised Interpretable End-to-End Learning via Latent Functional Modularity
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出功能模块化网络MoNet，通过潜在引导对比损失实现无需任务级监督的自监督端到端学习，并结合在线事后可解释性方法，在真实室内导航任务中显著超越基线模型，提升了机器人学习的感知与行为可解释性。
2024-06-05 cs.LG cs.RO
Model-agnostic post-hoc explainability for recommender systems
School of Civil Engineering, Universidad Politécnica de Madrid（马德里理工大学土木工程学院）；School of Engineering, CUNEF University（CUNEF大学工程学院）
本研究针对推荐系统因深度学习降低可解释性的问题，提出并评估了模型无关的删除诊断方法，通过比较缺失特定数据训练的模型性能来量化影响，在NCF和SVD模型及MovieLens等数据集上验证了其通用性。
2025-09-12 cs.IR cs.LG
When Pruning Meets Interpretability: Preserving Sparse Autoencoder Robustness in LLMs
The Ohio State University（俄亥俄州立大学）
本研究探讨剪枝对大语言模型稀疏自编码器的影响，提出扰动能量理论，指出激活感知剪枝方法更鲁棒，发现中间层更敏感，提出分层稀疏策略并经多模型实验验证。
2026-08-27 cs.LG
Select Wisely and Explain: Active Learning and Probabilistic Local Post-hoc Explainability
IIITD（印度德里英迪拉·甘地信息技术学院）
尽管在数据密集型领域中设计复杂的人工智能（AI）系统的性能有了巨大的提高，但这些系统的黑盒性质导致了缺乏可信度。事后可解释性方法解释了单个实例的黑盒ML模型的预测，领域专家正在利用这些解释来诊断这些模型的潜在偏差。尽管它们在提供有价值的见解方面有效，但现有的方法无法提供一致和可靠的解释。在本文中，我们提出了一个主动学习为基础的技术，称为UnRAvEL（不确定性驱动的鲁棒主动学习基于本地的忠诚度），其中包括一个新的采集功能，是本地的忠诚度和使用不确定性驱动的采样的基础上的后验分布的概率局部高斯过程回归（GPR）。我们提出了一个理论分析的UnRAvEL处理它作为一个局部优化和分析其遗憾的瞬时遗憾的全局优化。我们证明了UnRAvEL通过将不同的内核，如在GPR的Matern和线性内核生成的本地样本的功效。通过一系列的实验，我们证明了UnRAvEL在几个真实世界模型和数据集上的稳定性和局部保真度方面优于基线。我们表明，UnRAvEL是一个有效的代理数据集生成器，通过使用稀疏线性模型推导这个代理数据集的重要性分数。我们还展示了使用预先训练的ResNet模型在Imagenet数据集上开发的框架的样本效率和灵活性。
2022-04-22 cs.LG
On the global feature importance for interpretable and trustworthy heat demand forecasting
Faculty of Mechanical Engineering（机械工程学院）；University of Niš（尼什大学）
本文引入事前可解释AI方法，结合梯度提升法与Partial Dependence、Accumulated Local Effects、SHAP三种事后方法，评估区域供热系统热需求预测ML模型的全局特征重要性，以提升模型可解释性与可信度，解决相关标准、满意度及责任风险问题。
2026-08-14 cs.LG cs.SY eess.SY
Towards Fully Interpretable Deep Neural Networks: Are We There Yet?
National University of Singapore（新加坡国立大学）
尽管性能卓越，但深度神经网络（DNN）的行为就像黑盒子一样，阻碍了用户对人工智能（AI）系统的信任。关于开放黑盒DNN的研究可以大致分为事后方法和内在可解释的DNN。虽然已经对事后解释方法进行了许多调查，但很少有人致力于内在可解释的DNN。本文综述了开发具有内在可解释性的DNN的现有方法，重点是卷积神经网络（CNN）。其目的是了解目前在完全可解释的DNN方面的进展，这些DNN可以满足不同的解释要求。最后，我们确定了目前工作中的差距，并提出了潜在的研究方向。
2021-06-24 cs.CV cs.LG
