Rethinking Explainability as a Dialogue: A Practitioner's Perspective
Harvard University（哈佛大学）；UC Irvine（加州大学欧文分校）；University of Chicago（芝加哥大学）；AI2（艾伦人工智能研究所）
随着从业者越来越多地在医疗保健、金融和政策等关键领域部署机器学习模型，确保领域专家与这些模型一起有效运作变得至关重要。可解释性是弥合人类决策者和机器学习模型之间差距的一种方法。然而，大多数关于可解释性的现有工作都集中在一次性的静态解释上，如特征重要性或规则列表。对于许多需要利益相关者动态、持续发现的用例来说，这些解释可能还不够。在文献中，很少有著作询问决策者现有解释的效用以及他们希望在未来的解释中看到的其他必要条件。在这项工作中，我们解决了这一差距，并进行了一项研究，我们采访了医生，医疗保健专业人员和政策制定者，了解他们对解释的需求和愿望。我们的研究表明，决策者强烈倾向于互动的解释形式的自然语言对话。领域专家希望将机器学习模型视为“另一个同事”，即，一个可以通过询问他们为什么通过表达和可访问的自然语言交互做出特定决定来追究责任的人。考虑到这些需求，我们概述了一组五个原则，研究人员应该遵循时，设计交互式解释作为未来工作的起点。此外，我们展示了为什么自然语言对话满足这些原则，是一个理想的方式来建立互动的解释。接下来，我们提供了一个设计的对话系统的可解释性和讨论的风险，权衡，并建立这些系统的研究机会。总的来说，我们希望我们的工作可以作为研究人员和工程师设计交互式可解释性系统的起点。
2022-02-03 cs.LG
Adversarial Robustness of Deep Neural Networks: A Survey from a Formal Verification Perspective
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）
神经网络已广泛应用于诸如垃圾邮件和网络钓鱼检测、入侵防御和恶意软件检测等安全应用中。然而，这种黑箱方法在实际应用中往往存在不确定性和可解释性差的问题。此外，神经网络本身往往容易受到对抗攻击。由于这些原因，有一个值得信赖的和严格的方法来验证神经网络模型的鲁棒性的需求很高。对抗鲁棒性是神经网络在处理恶意操纵输入时的可靠性，是安全和机器学习中最热门的话题之一。在这项工作中，我们调查了现有的文献对抗性的鲁棒性验证神经网络，并收集了39个不同的研究工作，在机器学习，安全和软件工程领域。我们系统地分析了他们的方法，包括如何制定鲁棒性，使用什么验证技术，以及每种技术的优势和局限性。我们从形式化验证的角度提供了一个分类法，以全面理解这个主题。我们对现有的技术进行分类的基础上属性规范，减少问题，推理策略。我们还展示了具有代表性的技术，已应用于现有的研究与样本模型。最后，我们讨论了未来研究的开放性问题。
2022-10-11 cs.CR cs.LG cs.SE
Beyond Topological Self-Explainable GNNs: A Formal Explainability Perspective
DISI, University of Trento, Trento, Italy（特伦托大学DISI学院，意大利特伦托）
本文形式化分析了自解释图神经网络（SE-GNNs）的局限性，并提出双通道图神经网络，集成白盒规则提取器与标准SE-GNN，自适应结合以恢复简洁规则并提升性能。
2025-06-25 cs.LG
On the Relationship Between Interpretability and Explainability in Machine Learning
Université Laval（拉瓦尔大学）
本文挑战了机器学习中可解释性与可说明性互为替代品的观点，指出二者能相互弥补缺陷，呼吁开展同时利用两者优势的研究。
2024-04-25 cs.AI cs.LG
The Bouncer Problem: Challenges to Remote Explainability
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Irisa（IRISA研究所）；LAAS/CNRS（LAAS-CNRS实验室）
可解释性的概念是为了满足社会对机器学习决策透明度的要求。这个概念很简单：像人类一样，算法应该解释其决策背后的基本原理，以便评估其公平性。虽然这种方法在本地环境中很有前途（例如，在训练时的调试过程中解释模型），但我们认为这种推理不能简单地在远程环境中转换，其中服务提供商的训练模型只能通过其API访问。这是有问题的，因为它恰恰构成了从社会角度来看需要透明度的目标用例。通过与俱乐部保镖（这可能会提供不真实的解释后，客户拒绝）的类比，我们表明，提供解释不能阻止远程服务说谎的真正原因，导致其决定。更确切地说，我们证明了远程解释单个解释的不可能性，通过构建一个攻击的解释，隐藏歧视性的功能，查询用户。我们提供了这种攻击的示例实现。然后，我们表明，一个观察员发现的攻击，试图找到不连贯的几种解释的概率是低的实际设置。这破坏了一般意义上的远程可解释性的概念。
2020-03-23 cs.CR cs.LG stat.ML
Design, Benchmarking and Explainability Analysis of a Game-Theoretic Framework towards Energy Efficiency in Smart Infrastructure
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提出了一种游戏化方法作为智能建筑基础设施的新框架，其目标是激励人类居住者重新考虑个人能源使用并对其环境产生积极影响。在网络物理系统的背景下，人与人之间的互动是实施任何智能建筑技术的核心组成部分和考虑因素。研究表明，采用以人为本的建筑服务和设施可以提高这些网络物理系统的运营效率，从而控制建筑物的能源使用。我们引入了一个策略的形式，一个游戏理论框架，通过创建一个界面，使建筑管理人员与居住者互动，并潜在地激励节能行为，结合人在环建模。先前的工作博弈论分析通常依赖于假设，每个个体代理的效用函数是已知的先验。相反，我们提出了新的实用程序学习框架的基准，采用了强大的估计，对能源效率的占用行动。为了提高预测性能，我们通过利用深度双向递归神经网络来扩展效用学习方案。使用所提出的方法收集的数据，从居住者的行动资源，如房间照明，我们预测模式的能源使用，以证明该方法的预测性能。我们的研究结果表明，我们可以实现一个高度准确的代表性的地面真理的占用能源资源的使用。我们还展示了人类决策的可解释性，对能源使用的数据集固有的图形套索和格兰杰因果关系算法。最后，我们开源了与能量博弈论框架相关的去识别化的高维数据。
2019-10-16 cs.LG stat.ML
Explainable Information Processing in Particle Swarm Optimization through Landscape and Search Behavior Analysis
Dr. B. R. Ambedkar National Institute of Technology Jalandhar（B. R. 安贝德卡国立技术学院贾朗达尔分校）；University of Jaén（哈恩大学）
本文提出基于机器学习的解释框架，用于解释粒子群优化算法的性能影响因素，通过探索性景观分析量化问题难度并识别关键特征，建立可解释的基准测试框架，揭示群体拓扑结构对信息流、多样性及收敛性的影响。
2026-09-03 cs.LG cs.NE
Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models
Research Centre for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS））；KU Leuven（鲁汶大学）
本文在流程结果预测中通过可解释性和忠实度定义可解释性，在13个真实事件日志上对7个分类器进行基准测试，并提出X-MOP指南以帮助基于事件日志规范选择合适的模型。
2023-07-30 cs.AI cs.LG cs.SE
Transferability and explainability of deep learning emulators for regional climate model projections: Perspectives for future applications
Instituto de Física de Cantabria (IFCA), CSIC-Universidad de Cantabria（坎塔布里亚物理研究所（IFCA），CSIC-坎塔布里亚大学）
该研究针对深度学习RCM模拟器的跨时段、情景与GCM可迁移性问题，对比PP和MOS两种方法，结合XAI评估物理一致性，发现两类方法均具备软可迁移性但硬可迁移性受限，并给出未来应用展望。
2023-11-01 cs.LG physics.ao-ph
Uncertainty and Explainability in Deep Rough Volatility: A Neural Information-Theoretic Posterior Approach
Imperial College（帝国理工学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出一种基于模拟推理的粗糙Heston模型校准框架，利用神经比率估计学习参数后验分布，并引入Hellinger-SHAP可解释性方法，以提供不确定性感知的价格区间和参数信息增益分析。
2026-10-23 cs.LG q-fin.PR stat.AP
RELAX: Representation Learning Explainability
UiT The Arctic University of Norway（挪威北极大学）
尽管通过自我监督的表征学习在从未标记的数据中学习时带来了显着的改进，但没有方法可以解释是什么影响了学习的表征。我们通过我们提出的方法，RELAX，这是第一种基于属性的解释表示的方法来解决这个问题。我们的方法还可以模拟其解释中的不确定性，这对于产生可信的解释至关重要。RELAX通过测量输入和其屏蔽版本之间的表示空间中的相似性来解释表示，提供直观的解释并显着优于基于梯度的基线。我们提供了RELAX的理论解释，并对使用监督和无监督学习训练的特征提取器进行了新的分析，从而深入了解了不同的学习策略。最后，我们说明了RELAX在多视图聚类中的可用性，并强调，将不确定性可以提供低复杂度的解释是必不可少的，向解释表示迈出了关键的一步。
2022-02-21 cs.LG stat.ML
Generalizability vs. Counterfactual Explainability Trade-Off
Sapienza University of Rome（罗马萨皮恩扎大学）
本文研究了监督学习中模型泛化与反事实可解释性的关系，提出 $\varepsilon$-VCP 概念并证明其随过拟合增加，揭示了两者间的内在权衡，可作为定量表征过拟合的实用指标。
2025-05-29 cs.LG
A Theoretical Framework for AI Models Explainability with Application in Biomedicine
Ca’ Foscari University（威尼斯大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of British Columbia（不列颠哥伦比亚大学）
针对可解释人工智能缺乏统一术语与严谨结构框架的问题，本研究综合文献提出新的解释定义，明确解释由模型证据与人类解读组成，并基于忠实性、合理性属性构建理论框架，简化属性落地并为常见解释方法带来新启发。
2023-06-14 cs.AI cs.CV cs.LG
Maximum Entropy Baseline for Integrated Gradients
TU Dortmund（多特蒙德工业大学）
综合解释因子（IG）是目前最流行的解释方法之一，但其基线的选择仍存在模糊性，严重影响了解释的可信度。这项研究提出了一个新的统一基线，即，最大熵基线，这与IG中定义的基线的“无信息”属性一致。此外，我们提出了一种改进的消融评估方法，结合新的基线，其中的信息保守性保持。我们从信息的角度解释了IG基线的线性变换不变性。最后，我们通过大量的评估实验，评估了不同的解释性方法和不同的IG基线所产生的解释的可靠性。
2022-04-12 cs.AI cs.LG
Independence Constrained Disentangled Representation Learning from Epistemological Perspective
University of New South Wales（新南威尔士大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
该研究从认识论视角探讨解耦表示学习中潜变量独立性争议，提出双层潜空间框架及结合互信息与独立性约束的GAN解耦方法，在多指标上优于基线，提升可控生成质量与算法可解释性。
2024-10-05 cs.AI cs.LG
Reliable Post hoc Explanations: Modeling Uncertainty in Explainability
UC Irvine（加州大学欧文分校）；Harvard University（哈佛大学）
随着黑箱解释越来越多地被用于在高风险环境中建立模型可信度，确保这些解释准确可靠非常重要。然而，先前的工作表明，最先进的技术产生的解释是不一致的，不稳定的，并提供很少的洞察其正确性和可靠性。此外，这些方法在计算上也是低效的，并且需要显著的超参数调整。在本文中，我们通过开发一种新的贝叶斯框架来解决上述挑战，该框架用于生成本地解释及其相关的不确定性。我们实例化这个框架，以获得贝叶斯版本的LIME和KernelSHAP输出可信区间的功能的重要性，捕捉相关的不确定性。由此产生的解释不仅使我们能够对它们的质量做出具体的推断（例如，有95%的机会特征重要性位于给定范围内），但也是高度一致和稳定的。我们进行了详细的理论分析，利用上述不确定性来估计要采样多少扰动，以及如何采样以加快收敛。这项工作首次尝试用流行的解释方法一次性解决几个关键问题，从而以计算效率高的方式产生一致，稳定和可靠的解释。多个真实世界的数据集和用户研究的实验评估表明，所提出的框架的有效性。
2021-11-06 cs.LG stat.ML
Distributing Synergy Functions: Unifying Game-Theoretic Interaction Methods for Machine-Learning Explainability
University of Southern California（南加州大学）
本研究提出一个统一框架，用于博弈论启发的归因和$k^\ ext{th}$阶交互方法，揭示各方法通过分配协同函数被唯一表征，并指出需结合目标与背景选择方法。
2023-05-17 cs.GT cs.LG
Elucidating Discrepancy in Explanations of Predictive Models Developed using EMR
CSIRO Australian e-Health Research Centre（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；Princess Alexandra Hospital（亚历山德拉公主医院）；The University of Queensland（昆士兰大学）
本研究针对电子病历预测模型，分析现有可解释人工智能方法与专家临床知识之间的一致性及差异原因，并探讨实现可信临床决策支持XAI的关键因素。
2023-11-28 cs.LG
GISExplainer: On Explainability of Graph Neural Networks via Game-theoretic Interaction Subgraphs
School of Cyber Security and Information Law, Chongqing University of Posts and Telecommunications（重庆邮电大学网络空间安全与信息法学院）；School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院）；Chengdu University of Technology（成都理工大学）；School of Software Engineering, Chengdu University of Information Technology（成都信息工程大学软件工程学院）；School of Computer and Information Science, Chongqing Normal University（重庆师范大学计算机与信息科学学院）
本文提出GISExplainer，通过博弈论交互建模多粒度联盟的因果效应，以顺序决策方式生成连通解释子图，从而提升图神经网络节点分类解释的保真度与稀疏性。
2024-12-30 cs.LG cs.SI
Probabilistic Lipschitzness and the Stable Rank for Comparing Explanation Models
School of Electrical and Mechanical Engineering, The University of Adelaide（阿德莱德大学电气与机械工程学院）；Information Sciences Division, Defence Science & Technology Group（国防科技组信息科学司）
本研究针对可解释性模型效果比较问题，证明三类模型的概率利普希茨性下界，提出归一化敏锐度指标对比鲁棒性，还揭示神经网络稳定秩与解释模型鲁棒性的启发式关联。
2024-03-08 cs.LG
Mapping Knowledge Representations to Concepts: A Review and New Perspectives
神经网络的成功在很大程度上建立在它们从现实世界的高维数据（如图像、声音或文本）创建内部知识表示的能力上。提取和呈现这些表征的方法，以解释神经网络的决策，是一个活跃和多方面的研究领域。为了更深入地了解这一领域的一个核心方面，我们进行了有针对性的审查，重点是旨在将内部表征与人类可理解的概念联系起来的研究。在这样做的时候，我们通过使用主要是演绎的法则解释作为建议的分类法，增加了对现有研究的视角。我们发现这种因果关系的分类和理论，有助于理解从神经网络解释中可以预期和不能预期的东西。该分析还揭示了与模型可解释性目标相关的文献中的模糊性;它是理解ML模型还是在部署领域中有用的可操作解释？
2022-12-31 cs.AI cs.LG
Unifying Formal Explanations: A Complexity-Theoretic Perspective
The Hebrew University of Jerusalem（海法大学）；Nanyang Technological University（南洋理工大学）
本文从复杂性理论视角提出统一框架，揭示解释计算的复杂性由单调性、次模性和超模性等属性决定，并在全局可解释性设置中证明多项式时间算法，而在局部设置中计算变得NP难。
2026-02-20 cs.CC cs.DS cs.LG
Generative Explanations for Graph Neural Network: Methods and Evaluations
Yale University（耶鲁大学）；ETH Zurich（苏黎世联邦理工学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文从图生成角度综述图神经网络解释方法，提出统一优化目标（归因与信息约束），揭示现有方法共性与差异，并通过实证评估其性能、效率与泛化性。
2023-11-09 cs.LG
User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study
Jagiellonian University（雅盖隆大学）
本研究通过39名不同背景参与者的实证访谈，评估XGBClassifier生成的XAI解释的可理解性，揭示现有XAI方法局限，并提出面向不同AI利益相关者需求的新设计原则与跨学科评估方法。
2024-10-21 cs.AI cs.LG
A Survey of Mix-based Data Augmentation: Taxonomy, Methods, Applications, and Explainability
City University of Hong Kong（香港城市大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Maryland（马里兰大学）
本综述首次系统回顾了基于混合的数据增强（MixDA）技术，提出了基于Mixup、Cutmix和混合方法的分类法，并探讨了其应用、可解释性及未来方向。
2024-06-04 cs.CL cs.CV cs.LG
Select Wisely and Explain: Active Learning and Probabilistic Local Post-hoc Explainability
IIITD（印度德里英迪拉·甘地信息技术学院）
尽管在数据密集型领域中设计复杂的人工智能（AI）系统的性能有了巨大的提高，但这些系统的黑盒性质导致了缺乏可信度。事后可解释性方法解释了单个实例的黑盒ML模型的预测，领域专家正在利用这些解释来诊断这些模型的潜在偏差。尽管它们在提供有价值的见解方面有效，但现有的方法无法提供一致和可靠的解释。在本文中，我们提出了一个主动学习为基础的技术，称为UnRAvEL（不确定性驱动的鲁棒主动学习基于本地的忠诚度），其中包括一个新的采集功能，是本地的忠诚度和使用不确定性驱动的采样的基础上的后验分布的概率局部高斯过程回归（GPR）。我们提出了一个理论分析的UnRAvEL处理它作为一个局部优化和分析其遗憾的瞬时遗憾的全局优化。我们证明了UnRAvEL通过将不同的内核，如在GPR的Matern和线性内核生成的本地样本的功效。通过一系列的实验，我们证明了UnRAvEL在几个真实世界模型和数据集上的稳定性和局部保真度方面优于基线。我们表明，UnRAvEL是一个有效的代理数据集生成器，通过使用稀疏线性模型推导这个代理数据集的重要性分数。我们还展示了使用预先训练的ResNet模型在Imagenet数据集上开发的框架的样本效率和灵活性。
2022-04-22 cs.LG
Implementing local-explainability in Gradient Boosting Trees: Feature Contribution
Paradigma Digital, S.L.（帕拉迪格玛数字有限公司）；Universidad de León（莱昂大学）
本文提出一种基于GBDT架构的特征贡献方法，利用节点残差计算特征贡献并还原节点决策序列，为GBDT提供局部可解释性，满足AI伦理分析与GDPR等法规要求。
2024-02-14 cs.LG cs.LO
