Even-if Explanations: Formal Foundations, Priorities and Complexity
University of Calabria（卡拉布里亚大学）
本文研究半事实“即使”解释的形式基础与计算复杂性，证明线性与树模型比神经网络更可解释，并提出基于偏好的个性化解释框架及多项式算法。
2024-05-22 cs.AI cs.LG
DeDUCE: Generating Counterfactual Explanations Efficiently
University of Oxford（牛津大学）
当图像分类器输出错误的类别标签时，查看图像中的哪些变化会导致正确的分类可能会有所帮助。这就是算法生成反事实解释的目的。然而，没有容易扩展的方法来生成这样的反事实。我们开发了一种新的算法，提供反事实的解释，以低计算成本的光谱归一化训练的大型图像分类器。我们根据经验将该算法与文献中的基线进行比较;我们的新算法始终发现更接近原始输入的反事实。与此同时，这些反事实的现实性与基线相当。所有实验的代码可在https://github.com/benedikthoeltgen/DeDUCE获得。
2021-11-29 cs.CV cs.LG stat.ML
When Can Models Learn From Explanations? A Formal Framework for Understanding the Roles of Explanation Data
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
现在有许多方法可以根据任务指令、检索到的文档以及用户提供的解释和反馈来调节模型输出。这些方法不是仅仅依赖于任务输入和输出的示例，而是使用有价值的额外数据来提高模型的正确性，并将学习到的模型与人类的先验知识相匹配。与此同时，越来越多的证据表明，一些语言模型可以（1）在其参数中存储大量的知识，（2）在测试时对文本输入的任务进行推理。这些结果提出了一种可能性，即对于某些任务，人类无法向模型解释更多关于任务的信息，而不是它已经知道或可以自己推断。在本文中，我们研究的情况下，个别数据点的解释可以（或不能）提高建模性能。为了仔细控制数据和解释的重要属性，我们引入了一个用于实验的合成数据集，并且我们还利用了三个现有的数据集：e-SNLI，TACRED和SemEval。我们首先给出了一个正式的框架，可用的建模方法，其中解释数据可以用作模型输入，作为目标，或作为一个先验。在认为解释数据最有希望的作用是作为模型输入之后，我们建议使用基于检索的方法，并表明它解决了我们的合成任务，准确率高达95%，而没有解释数据的基线准确率低于65%。然后，我们确定属性的数据集检索为基础的建模失败。与现有的三个数据集，我们发现没有改善解释检索。根据我们的合成任务的发现，我们认为成功建模的六个先决条件中至少有一个不符合这些数据集。我们的代码可在https://github.com/peterbhase/Explanatio…
2021-02-10 cs.AI cs.CL cs.LG
Sound Explanation for Trustworthy Machine Learning
University of YYY（YYY大学）；Institute of WWW（WWW研究所）
该研究形式化探讨机器学习可解释性问题，证明归因算法无法同时满足四项性质，定义了“可靠解释”概念，并将特征选择作为癌症预测模型的可靠解释以建立临床信任。
2023-06-08 cs.AI cs.LG
Towards Formal XAI: Formally Approximate Minimal Explanations of Neural Networks
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
随着机器学习的快速发展，深度神经网络（DNN）现在被用于许多领域。不幸的是，DNN是“黑匣子”，并且不能被人类解释，这在安全关键系统中是一个重大问题。为了缓解这个问题，研究人员已经开始研究可解释AI（XAI）方法，该方法可以识别输入特征的子集，这些特征是DNN对给定输入做出决策的原因。大多数现有的技术是启发式的，不能保证所提供的解释的正确性。相比之下，最近令人兴奋的尝试表明，形式化方法可以用来生成可证明正确的解释。虽然这些方法是合理的，但底层验证问题的计算复杂性限制了它们的可扩展性;它们产生的解释有时可能过于复杂。在这里，我们提出了一种新的方法来解决这些限制。我们（1）提出了一种有效的、基于验证的方法来寻找最小解释，这构成了全局最小解释的可证明近似;（2）展示了DNN验证如何帮助计算最优解释的上下界;（3）提出了显着提高验证过程可扩展性的算法;（4）建议使用捆绑，这使我们能够得到更简洁和可解释的解释。我们的评估表明，我们的方法显著优于最先进的技术，并产生对人类更有用的解释。因此，我们将这项工作视为利用验证技术生产更可靠和更易于理解的DNN的一步。
2023-02-09 cs.LG cs.LO
Logic-Based Explainability in Machine Learning
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）
在过去的十年里，机器学习（ML）取得了越来越多的成功。这些成功提供了明确的证据，表明ML必将在广泛的实际应用中变得普遍，包括许多直接影响人类的应用。不幸的是，人类决策者无法理解最成功的ML模型的操作。因此，ML模型的使用，特别是在高风险和安全关键环境中的使用并非没有问题。近年来，人们一直在努力设计解释ML模型的方法。这些努力大多集中在所谓的模型无关的方法。然而，所有与模型无关的和相关的方法都不能保证严格性，因此被称为非正式的。例如，这种非正式的解释可以与不同的预测相一致，这使得它们在实践中毫无用处。本文概述了正在进行的关于计算ML模型的严格的基于模型的解释的研究工作;这些被称为形式化解释。这些努力涵盖了各种主题，包括解释的实际定义，计算解释的复杂性的表征，当前用于推理不同ML模型的最佳逻辑编码，以及如何使解释可供人类决策者解释等。
2023-01-29 cs.AI cs.LG
When Are Concept Bottleneck Model Explanations Faithful and Compact?
University of Trento（特伦托大学）；University of Copenhagen（哥本哈根大学）；University of Edinburgh（爱丁堡大学）
本文针对概念瓶颈模型，论证忠实解释需包含全部概念，损害紧凑性，并提出概率建模与组套索稀疏化策略，以促进紧凑且忠实的解释，警示天真的可解释性主张。
2026-10-06 cs.AI cs.LG stat.ML
AR-Pro: Counterfactual Explanations for Anomaly Repair with Formal Properties
University of Pennsylvania（宾夕法尼亚大学）
针对现有异常检测方法缺乏可解释性的问题，研究提出AR-Pro框架，基于扩散模型生成反事实异常修复样本，支持跨领域形式化规约，在多类异常数据集上验证了有效性。
2024-10-31 cs.LG
Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures
Université Paris-Saclay（巴黎-萨克雷大学）；CEA（法国原子能和替代能源委员会）
本文将溯因潜在解释（ALE）框架推广到支持非欧几里得原型架构，推导了适配不同几何变体的边界算法，通过图像分类器验证了理论构造，实现了对多样化原型架构可解释性的严格跨架构比较。
2026-08-18 cs.LG
A Formal Approach to Explainability
Facebook AI Research（脸书人工智能研究院）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
我们把解释看作是输入样本和模型输出的混合，并提供了一些定义，这些定义捕捉了生成这些解释的函数的各种所需属性。我们研究了这些属性之间的联系，以及学习模型的解释生成函数和中间表示之间的联系，并且能够证明，例如，如果给定层的激活与解释一致，那么所有其他后续层也是如此。此外，我们还研究了解释的交集和并集，作为构建新解释的一种方式。
2020-01-15 cs.LG stat.ML
Beyond Topological Self-Explainable GNNs: A Formal Explainability Perspective
DISI, University of Trento, Trento, Italy（特伦托大学DISI学院，意大利特伦托）
本文形式化分析了自解释图神经网络（SE-GNNs）的局限性，并提出双通道图神经网络，集成白盒规则提取器与标准SE-GNN，自适应结合以恢复简洁规则并提升性能。
2025-06-25 cs.LG
Most General Explanations of Tree Ensembles (Extended Version)
CREATE, NUS, Singapore（新加坡国立大学CREATE研究所）；Monash University, Australia（澳大利亚墨尔本大学）；The University of Sydney, Australia（澳大利亚悉尼大学）；ICREA, University of Lleida, Spain（西班牙莱里达大学ICREA研究所）；OPTIMA ARC Industrial Training and Transformation Centre, Australia（澳大利亚OPTIMA ARC工业培训与转型中心）
针对树集成模型的AI决策解释问题，提出寻找最泛化膨胀溯因解释的方法，其覆盖输入空间最大、适用性最广，已被IJCAI2025录用。
2025-05-20 cs.AI cs.LG cs.LO
Consistent Explanations in the Face of Model Indeterminacy via Ensembling
Harvard University（哈佛大学）
针对模型不确定性导致的预测解释不一致问题，提出基于损失景观与模式连通性的集成策略探索欠规范集，在五个金融基准数据集上显著提升了解释相似性，增强了机器学习解释的可靠性。
2023-06-13 cs.AI cs.CY cs.LG
Learning from Ambiguous Demonstrations with Self-Explanation Guided Reinforcement Learning
Arizona State University（亚利桑那州立大学）
针对模糊示范阻碍强化学习的问题，提出SERLfD框架，利用智能体自我解释识别高层关系特征以指导学习，提升训练稳定性与性能。
2024-02-07 cs.LG
Convex Density Constraints for Computing Plausible Counterfactual Explanations
CITEC - Cognitive Interaction Technology Bielefeld University（比勒费尔德大学认知交互技术中心）
随着机器学习的部署以及欧盟GDPR等法律法规的不断增加，需要对机器学习模型提出的决策进行用户友好的解释。反事实解释被认为是解释模型的特定决策的最流行的技术之一。虽然“任意”反事实解释的计算已经得到了很好的研究，但如何有效地计算合理可行的反事实解释仍然是一个开放的研究问题。我们建立在最近的工作，并提出和研究一个正式的定义似是而非的反事实的解释。特别是，我们研究了如何使用密度估计，以加强可验证性和可行性的反事实的解释。为了有效计算的目的，我们提出了凸密度约束，以确保所得到的反事实位于高密度的数据空间的区域。
2020-08-03 cs.AI cs.LG stat.ML
Formally Explaining Neural Networks within Reactive Systems
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Verona（维罗纳大学）
针对现有XAI技术缺乏形式化保证、不适用于反应式系统的问题，提出基于DNN验证的XAI技术，利用系统迁移约束缩减搜索空间，在导航基准上实现更高效可靠的形式化解释。
2023-10-05 cs.AI cs.LG cs.LO
Explaining, Fast and Slow: Abstraction and Refinement of Provable Explanations
Hebrew University of Jerusalem（希伯来大学）；Technical University of Munich（慕尼黑技术大学）
针对可证明充分解释计算的可扩展性难题，本文提出抽象—细化方法，利用缩减网络加速验证并迭代细化至收敛，提升效率且支持多层级细粒度解释。
2025-06-10 cs.AI cs.LG cs.LO
Investigating Bias in Image Classification using Model Explanations
Massachusetts Institute of Technology（麻省理工学院）
我们评估了模型解释是否可以通过突出区分特征来有效地检测图像分类中的偏差，从而消除对敏感属性的依赖以进行公平性计算。为此，我们制定了偏差检测的重要特征，并观察了解释如何随着模型中偏差程度的变化而变化。本文确定了使用解释检测偏差的优势和最佳实践，以及三个主要缺点：解释对偏差程度的估计不佳，可能会在分析中引入额外的偏差，并且有时在所涉及的人力方面效率低下。
2020-12-10 cs.CV cs.LG
Explanations for Monotonic Classifiers
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；Monash University（莫纳什大学）；VMware Research（威睿研究部）
在许多分类任务中，存在单调性的要求。具体地说，如果所有其他保持不变，增加（分别）。减小）一个或多个特征的值必须不减小（相应地，增加预测的价值。尽管在学习单调分类器方面做出了广泛的努力，但用于解释单调分类器的专用方法很少并且是特定于分类器的。本文介绍了新的算法计算一个正式的解释（黑盒）单调分类。这些新算法在分类器的运行时间复杂度和特征数量上是多项式的。此外，本文提出了一个实际有效的模型无关的算法枚举形式化的解释。
2021-06-01 cs.LG stat.ML
Wasserstein Auto-encoded MDPs: Formal Verification of Efficiently Distilled RL Policies with Many-sided Guarantees
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文提出WAE-MDP潜空间模型，通过惩罚化最优传输蒸馏RL策略并提供互模拟等形式化保证，显著提升学习速度、模型质量与验证可行性。
2023-04-21 cs.AI cs.LG
Studying How to Efficiently and Effectively Guide Models with Explanations
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本研究系统评估了多种模型引导设计选择，提出基于边界框的高效引导方法及能量损失，能提升模型对物体特征的关注并改善分布偏移下的泛化。
2024-07-21 cs.AI cs.CV cs.LG
On Formal Feature Attribution and Its Approximation
Monash University（莫纳什大学）
针对现有特征归因方法存在解释不可靠、分布外采样，以及形式化XAI无法处理特征归因且解释规模大的问题，本文提出基于形式化解释枚举的形式化特征归因方法，并给出其高效近似技术，实验验证该方法在特征重要性与相对排序上均优于现有算法。
2023-08-28 cs.AI cs.LG cs.LO
Efficiently Transforming Neural Networks into Decision Trees: A Path to Ground Truth Explanations with RENTT
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）；Institute of Industrial Manufacturing and Management IFF, University of Stuttgart（工业制造与管理研究所，斯图加特大学）；Technical University Munich（慕尼黑技术大学）
针对神经网络黑箱性质导致的可信度问题，提出RENTT算法，可高效将各类神经网络转换为精确等效决策树，并通过决策树计算不同层面的真实特征重要性，实验证明其在效率、可扩展性及真实解释能力上优于传统方法。
2025-11-12 cs.LG
Anytime Approximate Formal Feature Attribution
Monash University（莫纳什大学）
针对现有XAI方法的局限，本文证明形式化特征归因（FFA）计算为#P难问题，提出基于AXp与CXp对偶性的自适应枚举算法以anytime方式近似FFA，实验验证了其在近似误差、解释数量及多样性上的有效性。
2023-12-12 cs.AI cs.LG cs.LO
Unifying Formal Explanations: A Complexity-Theoretic Perspective
The Hebrew University of Jerusalem（海法大学）；Nanyang Technological University（南洋理工大学）
本文从复杂性理论视角提出统一框架，揭示解释计算的复杂性由单调性、次模性和超模性等属性决定，并在全局可解释性设置中证明多项式时间算法，而在局部设置中计算变得NP难。
2026-02-20 cs.CC cs.DS cs.LG
On the Tractability of SHAP Explanations
University of California, Los Angeles（加州大学洛杉矶分校）；University of Washington, Seattle（华盛顿大学西雅图分校）
SHAP解释是可解释AI的一种流行的特征归因机制。他们使用博弈论的概念来衡量个体特征对机器学习模型预测的影响。尽管最近学术界和工业界都有很多兴趣，但尚不清楚常见机器学习模型的SHAP解释是否可以有效地计算。在本文中，我们建立了计算的SHAP解释在三个重要的设置的复杂性。首先，我们考虑完全因子分解的数据分布，并表明计算SHAP解释的复杂性与计算模型期望值的复杂性相同。这种全因子分解的设置通常用于简化SHAP计算，但我们的结果表明，对于常用的模型（如逻辑回归），计算可能是棘手的。超越完全分解的分布，我们表明，计算SHAP解释已经是一个非常简单的设置：计算SHAP解释平凡的分类器在朴素贝叶斯分布。最后，我们表明，即使在经验分布上计算SHAP也是#P-hard的。
2021-01-31 cs.AI cs.CC cs.LG
Explaining is Harder Than Predicting Alone: Evaluating Concept-based Explanations of MLLMs as ICL Visual Classifiers
本文通过五种形式化程度递增的条件，系统评估多模态大语言模型在少样本上下文学习中的基于概念的可解释性，发现解释比预测更难，且强制生成形式化解释会降低预测准确性。
2026-07-13 cs.AI cs.CL cs.LG
Fanoos: Multi-Resolution, Multi-Strength, Interactive Explanations for Learned Systems
Carnegie Mellon University（卡内基梅隆大学）
机器学习对于控制复杂环境中的安全和财务关键组件的行为变得越来越重要，在复杂环境中，无法理解一般的学习组件，特别是神经网络，对它们的采用构成了严重障碍。学习系统的可解释性和可解释性方法已经获得了相当多的学术关注，但是当前方法的焦点仅集中在解释的一个方面，在固定的抽象层次上，并且如果有任何正式保证的话，则有限，这阻止了相关利益相关者（例如，最终用户、认证机构、工程师）的不同背景和具体情况的需求。我们介绍Fanoos，结合形式化验证技术，启发式搜索和用户交互的框架，以探索在所需的粒度和保真度水平的解释。我们证明了Fanoos的能力，生产和调整的抽象性的解释，以响应用户的要求，在一个学习控制器的倒立双摆和学习的CPU使用模型。
2022-02-15 cs.AI cs.HC cs.LG
Self-Interpretable Time Series Prediction with Counterfactual Explanations
Rutgers University（罗格斯大学）
本文提出自解释模型CounTS，通过变分贝叶斯深度学习实现时间序列的反事实解释，在保持预测精度的同时生成更优的可操作解释。
2023-06-22 cs.LG
Faster Verified Explanations for Neural Networks
London School of Economics and Political Science, UK（伦敦政治经济学院，英国）；Ca’ Foscari University of Venice, Italy（威尼斯卡弗斯卡大学，意大利）
本文提出FaVeX算法，通过动态结合批量和顺序处理输入特征及重用信息，提升神经网络验证解释的效率，并引入验证器最优鲁棒解释，提升解释的正式性。
2026-05-08 cs.LG cs.PL
