Interpretable Counterfactual Explanations Guided by Prototypes
Seldon Technologies Ltd（塞尔登科技有限公司）
我们提出了一个快速的，模型不可知的方法，通过使用类原型来寻找分类器预测的可解释的反事实解释。我们表明，使用编码器或通过特定于类的k-d树获得的类原型显着加快了对反事实实例的搜索速度，并产生更多可解释的解释。我们引入了两个新的指标来定量评估本地的可解释性在实例级。我们使用这些指标来说明我们的方法在图像和表格数据集上的有效性，分别是MNIST和威斯康星州乳腺癌（诊断）。该方法还消除了计算瓶颈，因为数值梯度评估$\textit{black box}$模型。
2020-02-18 cs.LG stat.ML
Convex Density Constraints for Computing Plausible Counterfactual Explanations
CITEC - Cognitive Interaction Technology Bielefeld University（比勒费尔德大学认知交互技术中心）
随着机器学习的部署以及欧盟GDPR等法律法规的不断增加，需要对机器学习模型提出的决策进行用户友好的解释。反事实解释被认为是解释模型的特定决策的最流行的技术之一。虽然“任意”反事实解释的计算已经得到了很好的研究，但如何有效地计算合理可行的反事实解释仍然是一个开放的研究问题。我们建立在最近的工作，并提出和研究一个正式的定义似是而非的反事实的解释。特别是，我们研究了如何使用密度估计，以加强可验证性和可行性的反事实的解释。为了有效计算的目的，我们提出了凸密度约束，以确保所得到的反事实位于高密度的数据空间的区域。
2020-08-03 cs.AI cs.LG stat.ML
Explaining Machine Learning Classifiers through Diverse Counterfactual Explanations
Microsoft Research India（微软印度研究院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
机器学习模型的事后解释对于人们理解算法预测并采取行动至关重要。一种有趣的解释是通过反事实，假设的例子，告诉人们如何获得不同的预测。我们认为，有效的反事实解释应满足两个属性：可行性的反事实行动的用户上下文和约束条件，和多样性的反事实。为此，我们提出了一个框架，用于生成和评估一组不同的反事实解释的基础上决定点过程。为了评估反事实的可操作性，我们提供了一些指标，可以将基于反事实的方法与其他本地解释方法进行比较。我们进一步解决必要的权衡，并指出因果关系的影响，优化反事实。我们在四个真实世界数据集上的实验表明，我们的框架可以生成一组不同的反事实，并且很好地近似于本地决策边界，优于以前的方法来生成不同的反事实。我们在https://github.com/microsoft/DiCE上提供了该框架的实现。
2019-12-06 cs.CY cs.LG stat.ML
Conditional Generative Models for Counterfactual Explanations
Seldon Technologies（塞尔登科技）
反事实实例为机器学习模型的本地行为提供了人类可解释的洞察力。我们提出了一个通用的框架来生成稀疏的，分布中的反事实模型解释，该解释将所需的目标预测与条件生成模型相匹配，允许用单个向前传递生成批量反事实实例。该方法相对于所使用的生成模型的类型以及底层预测模型的任务是灵活的。这允许将框架直接应用于不同的模态，如图像，时间序列或表格数据，以及生成模型范例，如GANs或自动编码器和预测任务，如分类或回归。我们说明了我们的方法对图像（CelebA），时间序列（ECG）和混合型表格（成人普查）数据的有效性。
2021-01-25 cs.LG stat.ML
counterfactuals: An R Package for Counterfactual Explanation Methods
LMU Munich（慕尼黑大学）；MCML（慕尼黑机器学习中心）
本文介绍 counterfactuals R 包，通过统一的 R6 接口实现并扩展三种反事实解释方法，并在多种模型和数据集上比较其解释质量与运行效率。
2023-09-15 cs.LG stat.CO stat.ML
CountARFactuals -- Generating plausible model-agnostic counterfactual explanations with adversarial random forests
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）；Leibniz Institute for Prevention Research & Epidemiology – BIPS（莱布尼茨预防研究与流行病学研究所）；University of Bremen（不来梅大学）；University of Tübingen（蒂宾根大学）；University of Copenhagen（哥本哈根大学）
本文提出CountARFactuals，利用对抗随机森林以模型无关方式高效生成数据流形内的合理反事实解释，并自然支持混合数据与稀疏性约束。
2024-04-04 cs.LG stat.ML
Learning Model-Agnostic Counterfactual Explanations for Tabular Data
University of Tuebingen（图宾根大学）；Schufa Holding AG（Schufa控股股份公司）
反事实解释可以通过识别对特征向量进行的最小变化来获得，以定性地影响预测;例如，从“贷款拒绝”到“授予”或从“心血管疾病的高风险”到“低风险”。以前的方法经常强调反事实应该很容易被人类解释，激励稀疏的解决方案，对特征向量的变化很少。然而，这些方法不能确保所产生的反事实是接近的（即，不是局部离群值）并且连接到具有相当大数据密度的区域（即，接近正确分类的观察），这两个要求被称为反事实的忠诚。当向个人提出确实可以实现的建议时，这些要求是基本的。我们的贡献是双重的。一方面，我们建议补充反事实质量测量目录[1]，使用一个标准来量化某个反事实建议的难度。另一方面，从多方面的学习文献的想法，我们开发了一个框架，产生可达到的反事实。我们建议反事实的条件异构变分自编码器（C-CHVAE），以确定可达到的反事实，位于高数据密度的区域内。
2020-05-03 cs.LG stat.ML
COMRECGC: Global Graph Counterfactual Explainer through Common Recourse
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文形式化GNN全局反事实解释中的共同追索问题，提出COMRECGC算法，并在四个真实图数据集上验证其优于强基线。
2025-05-13 cs.LG stat.ML
Info-CELS: Informative Saliency Map Guided Counterfactual Explanation
Utah State University（犹他州立大学）
针对 CELS 反事实解释模型有效性不足的问题，本文提出移除掩码归一化的 Info-CELS，在多领域数据集上提升了反事实解释的有效性与信息量。
2024-10-27 cs.LG stat.ML
Counterfactual Explanations in Sequential Decision Making Under Uncertainty
IIT Bombay（印度理工学院孟买分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
寻找反事实解释的方法主要集中在一步决策过程。在这项工作中，我们开始开发的方法，以找到反事实的解释决策过程中，多个，依赖的行动，随着时间的推移顺序。我们开始正式使用有限时域马尔可夫决策过程和Gumbel-Max结构因果模型的动作和状态序列的特征。在此基础上，我们正式声明的问题，找到反事实的解释顺序决策过程。在我们的问题表述中，反事实解释指定了一个替代的行动序列，与观察到的序列最多有k个不同的行动，这些行动可能会导致观察到的过程实现更好的结果。然后，我们引入了一个基于动态规划的多项式时间算法来构建一个反事实策略，该策略保证总是对反事实环境动态的每一个可能的实现提供最优的反事实解释。我们使用来自认知行为治疗的合成数据和真实数据来验证我们的算法，并表明我们的算法发现的反事实解释可以提供有价值的见解，以增强不确定性下的顺序决策。
2021-10-27 cs.CY cs.LG stat.ML
On the computation of counterfactual explanations -- A survey
Bielefeld University（比勒费尔德大学）
由于机器学习在实践中的使用越来越多，能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释，其提供对机器学习模型的直观且有用的解释。在这项调查中，我们回顾了模型特定的方法，有效地计算反事实的解释，许多不同的机器学习模型，并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
One-for-many Counterfactual Explanations by Column Generation
Cornell Tech, Cornell University（康奈尔大学、康奈尔科技学院）；Instituto de Matemáticas de la Universidad de Sevilla（塞维利亚大学数学研究所）
本文针对一组实例的一对多反事实解释生成问题，首次提出考虑稀疏性的最小化解释数量方案，构建适用于任意黑盒分类器的列生成框架，在可扩展性、计算性能和解质量上均优于现有混合整数规划改编方法。
2024-02-12 cs.LG stat.ML
Efficient computation of counterfactual explanations of LVQ models
Bielefeld University（比勒费尔德大学）
机器学习在实践中的使用越来越多，以及欧盟GDPR等法律法规的出台，使得有必要能够解释机器学习模型的预测和行为。在决策背景下对人工智能模型进行特别直观的解释的一个突出例子是反事实解释。然而，如何有效地计算许多模型的反事实解释仍然是一个开放的研究问题。我们研究如何有效地计算反事实的解释一类重要的模型，基于原型的分类器，如学习矢量量化模型。特别是，我们得出具体的凸和非凸的程序取决于所使用的度量。
2020-01-27 cs.AI cs.LG stat.ML
DECE: Decision Explorer with Counterfactual Explanations for Machine Learning Models
Hong Kong University of Science and Technology（香港科技大学）；Bloomberg L.P.（彭博有限合伙企业）
随着机器学习模型越来越多地应用于各种决策场景，人们花费越来越多的努力使机器学习模型更加透明和可解释。在各种解释技术中，反事实解释具有人性化和可操作的优点-反事实解释告诉用户如何以最小的输入变化获得所需的预测。此外，反事实解释也可以作为模型决策的有效探针。在这项工作中，我们利用反事实解释的潜力来理解和探索机器学习模型的行为。我们设计的DECE，一个交互式的可视化系统，帮助理解和探索模型的决策，对个人的实例和数据子集，支持用户从决策主体到模型开发。DECE通过结合实例和子组级别的反事实解释的优势，支持模型决策的探索性分析。我们还引入了一组交互，使用户能够自定义反事实解释的生成，以找到更适合他们需求的可操作解释。通过三个用例和专家访谈，我们证明了DECE在支持决策探索任务和实例解释方面的有效性。
2020-08-19 cs.HC cs.LG stat.ML
DeDUCE: Generating Counterfactual Explanations Efficiently
University of Oxford（牛津大学）
当图像分类器输出错误的类别标签时，查看图像中的哪些变化会导致正确的分类可能会有所帮助。这就是算法生成反事实解释的目的。然而，没有容易扩展的方法来生成这样的反事实。我们开发了一种新的算法，提供反事实的解释，以低计算成本的光谱归一化训练的大型图像分类器。我们根据经验将该算法与文献中的基线进行比较;我们的新算法始终发现更接近原始输入的反事实。与此同时，这些反事实的现实性与基线相当。所有实验的代码可在https://github.com/benedikthoeltgen/DeDUCE获得。
2021-11-29 cs.CV cs.LG stat.ML
Algorithmic Recourse: from Counterfactual Explanations to Interventions
MPI-IS（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）；Saarland University（萨尔兰大学）
随着机器学习越来越多地用于为后续决策提供信息（例如，审前保释和贷款批准），就必须解释该制度是如何作出决定的，并建议采取行动以作出有利的决定。反事实的解释-“为了实现理想的结果，世界必须（必须）如何不同”-旨在满足这些标准。现有的作品主要集中在设计算法，以获得反事实的解释范围广泛的设置。然而，“解释作为帮助数据主体采取行动而不仅仅是理解的手段”的主要目标之一被忽视了。用外行人的话来说，反事实解释告诉一个人他们需要去哪里，但不是如何去那里。在这项工作中，我们依赖于因果推理，以告诫不要使用反事实的解释作为一个合理的一套追索行动。相反，我们提出了一个范式的转变，从追索权通过最接近的反事实的解释，追索权通过最小的干预，将重点从解释的建议。最后，我们为读者提供了一个广泛的讨论，如何切实实现追索权超越结构性干预。
2020-10-08 cs.AI cs.LG stat.ML
Generating Counterfactual and Contrastive Explanations using SHAP
IIIT Hyderabad（海得拉巴国际信息技术学院）
随着GDPR的出现，可解释的人工智能和模型可解释性领域获得了额外的推动力。提取和传达决策模型可视性的方法已成为法律要求。两种特定类型的解释，对比和反事实已被确定为适合人类理解。在本文中，我们提出了一个模型不可知的方法及其系统的实现，以产生这些解释，使用shapely添加剂的解释（SHAP）。我们讨论了一个生成管道来创建对比解释，并使用它来进一步生成反事实数据点。该管道在IRIS，葡萄酒质量和移动功能数据集上进行了测试和讨论。所得结果分析如下。
2019-06-21 cs.AI cs.LG stat.ML
Counterfactual Explanations Can Be Manipulated
UC Irvine（加州大学欧文分校）；Harvard University（哈佛大学）
反事实解释正在成为一个有吸引力的选择，为受到算法决策不利影响的个人提供追索权。由于它们被部署在关键应用程序中（例如执法，金融贷款），因此确保我们清楚地了解这些方法的脆弱性并找到解决这些问题的方法变得非常重要。然而，人们对反事实解释的脆弱性和缺点了解甚少。在这项工作中，我们介绍了第一个框架，描述了反事实解释的漏洞，并显示了它们可以被操纵。更具体地说，我们表明反事实的解释可能会收敛到显着不同的反事实下，一个小的扰动表明他们是不稳健的。利用这一洞察力，我们引入了一个新的目标，训练看似公平的模型，其中反事实的解释发现成本低得多的资源下轻微的扰动。我们描述了这些模型如何不公平地为数据中的特定子组提供低成本的追索权，同时对审计师来说是公平的。我们对贷款和暴力犯罪预测数据集进行了实验，其中某些子组在扰动下实现了高达20倍的低成本追索权。这些结果引起了人们对当前反事实解释技术的可靠性的关注，我们希望这将激发强有力的反事实解释的调查。
2021-11-03 cs.LG
The Dangers of Post-hoc Interpretability: Unjustified Counterfactual Explanations
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；AXA（安盛集团）；Polish Academy of Science（波兰科学院）
事后可解释性方法已被证明是强大的工具，可以为经过训练的黑盒模型所做的预测生成解释。然而，它们会产生这样的风险，即解释是模型学习的一些工件的结果，而不是来自数据的实际知识。本文重点讨论反事实解释的情况，并询问生成的实例是否可以被证明是合理的，即连续连接到一些地面真相数据。我们通过调查其预测要解释的实例的局部邻域来评估生成不合理的反事实实例的风险，并表明这种风险对于几个数据集来说是相当高的。此外，我们发现，大多数国家的最先进的方法不区分合理的不合理的反事实的例子，导致不太有用的解释。
2019-07-22 cs.AI cs.LG stat.ML
Graph Diffusion Counterfactual Explanation
Machine Learning Group（机器学习组）；TU Berlin（柏林技术大学）；BASLEARN-TU Berlin/BASF Joint Laboratory（柏林技术大学/巴斯夫联合实验室）
本文提出图扩散反事实解释框架，结合离散扩散模型和分类器无关引导，有效生成图数据的反事实解释。
2025-11-20 cs.LG
Convex optimization for actionable \& plausible counterfactual explanations
Bielefeld University（比勒费尔德大学）
透明性是部署在现实世界中的基于机器学习的决策系统的基本要求。通常，给定系统的透明度是通过提供给定系统的行为和预测的解释来实现的。反事实解释是对决策系统的特定直觉解释的一个突出实例。虽然存在许多不同的计算反事实解释的方法，但只有很少的工作（除了因果关系领域的工作）考虑了特征依赖性以及可能限制可能的反事实解释集的可解释性。在这项工作中，我们加强了我们以前的工作，凸建模计算反事实的解释，确保actionability和actionability的机制，所产生的反事实的解释。
2021-05-17 cs.AI cs.LG
Model extraction from counterfactual explanations
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Polytech Nice Sophia（尼斯索菲亚综合理工学院）
事后解释技术是指可以用来解释黑盒机器学习模型如何产生结果的后验方法。在事后解释技术中，反事实解释正成为实现这一目标的最流行的方法之一。特别是，除了突出黑盒模型使用的最重要的功能外，它们还以数据实例的形式为用户提供了可操作的解释，这些数据实例可能会收到不同的结果。尽管如此，通过这样做，他们也泄露了关于模型本身的重要信息，这引发了隐私问题。在这项工作中，我们演示了对手如何利用反事实解释提供的信息来构建高保真度和高精度的模型窃取攻击。更准确地说，我们的攻击使对手能够通过访问其反事实解释来构建目标模型的忠实副本。对在真实世界数据集上训练的黑盒模型进行的经验评估表明，即使在低查询预算下，它们也可以实现高保真度和高准确度的提取。
2020-09-03 cs.CR cs.LG stat.ML
Exploring Counterfactual Explanations Through the Lens of Adversarial Examples: A Theoretical and Empirical Analysis
University of Tübingen（蒂宾根大学）；Harvard University（哈佛大学）
随着机器学习（ML）模型在高风险应用中的部署越来越广泛，反事实解释已经成为在实践中提供可操作模型解释的关键工具。尽管反事实解释越来越流行，但对这些解释的更深入理解仍然缺乏。在这项工作中，我们系统地分析反事实的解释，通过镜头的对抗性的例子。我们这样做是通过形式化流行的反事实解释和对抗性的例子生成方法之间的相似性识别条件时，他们是等价的。然后，我们推导出反事实解释和对抗性示例生成方法输出的解决方案之间距离的上界，并在几个真实数据集上进行了验证。通过建立反事实解释和对抗性例子之间的理论和经验相似性，我们的工作提出了关于现有反事实解释算法的设计和开发的基本问题。
2021-10-19 cs.AI cs.LG
Issues with post-hoc counterfactual explanations: a discussion
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；AXA（安盛）；Polish Academy of Science（波兰科学院）
反事实事后可解释性方法已被证明是有用的工具，以生成解释的训练黑盒分类器的预测。然而，他们对数据和分类器的假设使他们在许多情况下不可靠。在本文中，我们讨论了三个理想的属性和方法来量化它们：邻近性，连通性和稳定性。此外，我们还说明了事后反事实方法不满足这些属性的风险。
2019-06-11 cs.AI cs.LG stat.ML
Evaluating Robustness of Counterfactual Explanations
Bielefeld University（比勒费尔德大学）
透明度是决策系统在现实世界中部署的基本要求。它通常通过提供系统行为的解释来实现。一个突出的和直观的解释类型是反事实的解释。反事实解释通过建议操作（如对输入的更改）向用户解释行为，这些操作将导致系统的不同（指定）行为。然而，这种解释方法对于输入的微小变化可能是不稳定的，即即使输入的微小变化也可能导致输出和解释的巨大或任意变化。这对于反事实的解释来说可能是有问题的，因为两个相似的人可能会得到非常不同的解释。更糟糕的是，如果建议的行动在复杂性上有很大的不同，人们会认为这种不稳定的（反事实的）解释是不公平的。在这项工作中，我们正式和实证研究的鲁棒性的反事实的解释一般，以及在不同的模型和不同种类的扰动。此外，我们建议，合理的反事实解释，而不是最接近的反事实解释，以提高鲁棒性，从而提高个人的公平性的反事实解释。
2021-07-22 cs.AI cs.LG
Explainable bank failure prediction models: Counterfactual explanations to reduce the failure risk
Eskisehir Technical University, Department of Statistics, Turkiye（埃斯基谢普技术大学统计系，土耳其）
本文研究如何通过反事实解释提升银行倒闭预测模型的可解释性，评估了多种反事实生成方法，发现成本敏感方法能产生更高质量的解释，从而降低银行倒闭风险。
2024-07-21 cs.LG
Comprehensible Counterfactual Explanation on Kolmogorov-Smirnov Test
Simon Fraser University（西蒙弗雷泽大学）；McMaster University（麦克马斯特大学）；City University of Hong Kong（香港城市大学）
Kolmogorov-Smirnov（KS）检验广泛应用于异常检测、天文学、数据库安全和人工智能系统等领域。一个尚未触及的挑战是，我们如何能够获得一个解释，为什么一个测试集没有通过KS测试。在本文中，我们解决的问题，产生反事实的解释测试数据失败的KS测试。在概念上，我们提出了最易理解的反事实解释的概念，它既包含了KS测试数据，又包含了用户领域知识。计算方面，我们开发了一个有效的算法MOCHE（MOst CompreHensible Explanation），避免了枚举和检查指数数量的测试集的子集失败的KS测试。MOCHE不仅保证产生最容易理解的反事实解释，而且比基线快几个数量级。实验方面，我们提出了一个系统的实证研究，一系列的基准真实数据集，以验证最容易理解的反事实解释和MOCHE的有效性，效率和可扩展性。
2021-04-16 cs.LG
Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
Australian National University（澳大利亚国立大学）
最近关于可解释人工智能的论文为反事实的解释模式提供了令人信服的理由。虽然反事实解释在某些情况下似乎非常有效，但它们在形式上等同于对抗性例子。这为可解释性研究者提出了一个明显的悖论：如果这两个程序在形式上是等价的，那么是什么解释了反事实解释和对抗性例子之间明显的解释性分歧？我们解决这个悖论，把重点放在反事实表达的语义。为深度学习系统提供令人满意的解释将要求我们找到解释深度神经网络中隐藏层表示的语义的方法。
2020-12-18 cs.AI cs.CY cs.LG
Counterfactual Visual Explanations
Georgia Institute of Technology（佐治亚理工学院）；Siemens Corporation（西门子公司）
在这项工作中，我们开发了一种技术来产生反事实的视觉解释。给定视觉系统预测类$c$的“查询”图像$I$，反事实视觉解释标识$I$如何改变，使得系统将输出不同的指定类$c'$。为此，我们选择系统预测为类$c'$的“干扰项”图像$I'$，并识别$I$和$I'$中的空间区域，使得用$I'$中的识别区域替换$I$中的识别区域将推动系统将$I$分类为$c'$。我们将我们的方法应用于多个图像分类数据集，生成定性结果，展示我们的反事实解释的可解释性和判别力。为了探索我们的解释在教人类的有效性，我们提出了细粒度的鸟类分类任务的机器教学实验。我们发现，用户训练区分鸟类票价更好时，除了训练样本获得反事实的解释。
2019-06-11 cs.AI cs.CV cs.LG
Counterfactual Explanations Using Optimization With Constraint Learning
University of Amsterdam（阿姆斯特丹大学）；Amsterdam Business School（阿姆斯特丹商学院）
为了在实践中增加反事实解释的采用，文献中提出了这些解释应该遵守的几个标准。我们提出了反事实的解释，使用约束学习优化（CE-OCL），一个通用的和灵活的方法，解决所有这些标准，并允许进一步扩展的空间。具体来说，我们讨论了如何利用约束学习框架的优化来生成反事实解释，以及该框架的组件如何容易地映射到标准。我们还提出了两种新的建模方法来解决数据流形的封闭性和多样性，这是实际反事实解释的两个关键标准。我们在几个数据集上测试了CE-OCL，并在案例研究中展示了我们的结果。与目前最先进的方法相比，CE-OCL允许更多的灵活性，并在相关工作中提出的几个评估指标方面具有整体优越的性能。
2022-12-14 cs.LG
Self-Interpretable Time Series Prediction with Counterfactual Explanations
Rutgers University（罗格斯大学）
本文提出自解释模型CounTS，通过变分贝叶斯深度学习实现时间序列的反事实解释，在保持预测精度的同时生成更优的可操作解释。
2023-06-22 cs.LG
GRETEL: A unified framework for Graph Counterfactual Explanation Evaluation
Gran Sasso Science Institute（格兰萨索科学研究所）；Università degli Studi dell’Aquila（拉奎拉大学）
机器学习（ML）系统是现代工具的一部分，在多个应用领域影响着我们的日常生活。由于其黑盒性质，这些系统很难在理解决策过程至关重要的应用领域（例如健康，金融）中采用。开发了解释方法来解释ML模型如何为给定的案例/实例做出特定的决策。图反事实解释（GCE）是图学习领域采用的解释技术之一。现有的工作图反事实解释分歧主要是在问题定义，应用领域，测试数据，和评估指标，大多数现有的作品没有详尽地比较与其他反事实的解释技术在文献中。我们提出了GRETEL，这是一个用于在多种环境中开发和测试GCE方法的统一框架。GRETEL是一个高度可扩展的评估框架，通过提供一组定义良好的机制来轻松集成和管理，促进开放科学和评估的可重复性：真实和合成数据集，ML模型，最先进的解释技术和评估措施。为了展示GRETEL，我们展示了通过几种现有的解释技术和基础ML模型来整合和测试几个合成和真实数据集的实验。
2022-06-07 cs.AI cs.LG stat.ML
Deep Backtracking Counterfactuals for Causally Compliant Explanations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
本文提出DeepBC方法，通过Langevin Monte Carlo采样或约束优化在深度生成结构因果模型中计算回溯反事实，实现因果合规、通用且模块化的高维数据解释。
2024-08-10 cs.AI cs.LG stat.ML
Latent-CF: A Simple Baseline for Reverse Counterfactual Explanations
Capital One（第一资本）
在公平借贷法和通用数据保护条例（GDPR）的环境中，解释模型预测的能力至关重要。高质量的解释是评估公平性的第一步。反事实是可解释性的宝贵工具。它们为受预测决定影响的个人提供了可操作的、可理解的解释。重要的是要找到一个生产它们的基线。我们提出了一个简单的方法，通过使用梯度下降搜索的潜在空间中的自动编码器和基准我们的方法对搜索反事实的方法，在特征空间生成反事实。此外，我们实施指标，具体评估的反事实的质量。我们发现，潜在空间反事实生成的基本特征梯度下降方法的速度和更复杂的面向特征空间的技术生成的反事实的稀疏性和真实性之间的平衡。
2021-06-22 cs.LG
Learning Marked Temporal Point Process Explanations based on Counterfactual and Factual Reasoning
RMIT University（皇家墨尔本理工大学）；Macquarie University（麦考瑞大学）
本文针对标记时间点过程模型的可信度问题，提出将反事实解释与事实解释相结合来定义最小合理解释，并设计CFF解释器，实验证明其在解释质量和效率上优于基线方法。
2025-08-16 cs.LG
CLEAR: Generative Counterfactual Explanations on Graphs
University of Virginia（弗吉尼亚大学）；Bytedance AI Lab（字节跳动人工智能实验室）；J.P. Morgan AI Research（摩根大通人工智能研究院）
反事实解释通过回答“应该如何扰动输入实例以获得期望的预测标签”的问题来提高机器学习模型的可解释性。".对扰动前后的这种情况进行比较可以增强人类的解释。现有的反事实解释研究大多局限于表格数据或图像数据。在这项工作中，我们研究了图上的反事实解释生成问题。一些研究已经探索了图上的反事实解释，但这个问题的许多挑战仍然没有得到很好的解决：1）在离散和无序的图空间中进行优化; 2）在看不见的图上进行推广; 3）在没有因果模型的先验知识的情况下保持生成的反事实中的因果关系。为了应对这些挑战，我们提出了一个新的框架CLEAR，旨在为图级预测模型生成图上的反事实解释。具体而言，CLEAR利用基于图变分自编码器的机制来促进其优化和泛化，并通过利用辅助变量来更好地识别底层因果模型来促进因果关系。在合成图和真实世界图上的大量实验验证了CLEAR在不同方面优于现有方法。
2022-11-07 cs.LG
Motif-guided Time Series Counterfactual Explanations
Utah State University（犹他州立大学）；New Mexico State University（新墨西哥州立大学）
针对时间序列模型的可解释性需求，该研究提出首个利用模体引导生成事后反事实解释的MG-CF模型，经UCR的5个真实数据集验证，其在平衡反事实解释的各项理想属性上优于现有先进基线方法。
2024-02-01 cs.LG
Counterfactual Explanations via Riemannian Latent Space Traversal
Technical University of Denmark（丹麦技术大学）；Pioneer Centre for AI（先锋人工智能中心）
针对深度模型反事实解释中潜在空间遍历忽略非线性解码器导致轨迹不自然的问题，提出通过解码器和分类器拉回黎曼度量以编码数据几何结构，从而生成高保真稳健反事实轨迹，并在真实表格数据集上验证。
2024-11-04 cs.LG
The privacy issue of counterfactual explanations: explanation linkage attacks
University of Antwerp（安特卫普大学）
黑盒机器学习模型正在越来越多的高风险领域中使用，这使得对可解释AI（XAI）的需求不断增长。不幸的是，XAI在机器学习中的使用引入了新的隐私风险，这些风险目前在很大程度上尚未被注意到。我们介绍了解释链接攻击，这可能会发生在部署基于实例的策略，以找到反事实的解释。为了应对这种攻击，我们提出了k-匿名反事实解释，并引入纯粹性作为一个新的度量标准来评估这些k-匿名反事实解释的有效性。我们的结果表明，使解释，而不是整个数据集，k-匿名，是有益的解释的质量。
2022-10-21 cs.CR cs.CY cs.LG
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin（都柏林大学）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk科学基金会爱尔兰研究中心）
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能（XAI）问题的流行解决方案，因为它们具有心理有效性，跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法，声称可以产生类似于人们偏好的合理解释，但实际上很少有用户进行过测试（$\sim7\%$）。因此，这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决，该方法（i）在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释，然后（ii）将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明，人类不“最低限度地编辑”图像时，产生反事实的解释。相反，它们会进行更大的、“有意义的”编辑，以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
Global Counterfactual Explanations: Investigations, Implementations and Improvements
J.P. Morgan AI Research（摩根大通人工智能研究院）
反事实解释在可解释性方面得到了广泛的研究，在公平性、追索权和模型理解方面出现了一系列依赖于应用的方法。然而，与这些方法相关的主要缺点是它们无法提供超出局部或实例级别的解释。虽然有些作品触及了全局解释的概念，通常建议聚合大量的局部解释，希望确定全局属性，但很少有人提供可靠或计算上易于处理的框架。与此同时，从业者要求更有效和互动的解释工具。我们借此机会调查现有的全球方法，重点是实施和改进可诉追索摘要（AReS），这是唯一已知的全球追索反事实解释框架。
2022-04-14 cs.AI cs.CY cs.LG
An ASP-Based Approach to Counterfactual Explanations for Classification
Universidad Adolfo Ibañez（阿道夫·伊瓦涅斯大学）；Millenium Institute on Foundations of Data（千禧数据基础研究所）
我们提出了答案集程序，指定和计算反事实的干预措施的基础上，基于因果关系的解释分类模型产生的决定。它们可以应用于黑盒模型和可以指定为逻辑程序的模型，例如基于规则的分类器。主要集中在最大责任因果解释的规范和计算上。使用额外的语义知识进行了研究。
2020-06-16 cs.DB cs.LG cs.LO
Preserving Causal Constraints in Counterfactual Explanations for Machine Learning Classifiers
Microsoft Research（微软研究院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
为了构建与原始ML模型一致的可解释解释的解释，已经提出了反事实的例子-显示模型的输出如何随着输入的小扰动而变化。本文通过解决这些例子的可行性的挑战，扩展了反事实解释的工作。对于医疗保健和金融等关键领域的ML模型的解释，反事实示例仅在现实世界中特征输入的扰动可行的情况下对最终用户有用。我们制定的可行性问题，保持输入功能之间的因果关系，并提出了一种方法，使用（部分）结构因果模型，以产生可操作的反事实。当可行性约束不能很容易地表示，我们考虑一种替代机制，人们可以标记生成的CF的例子上的可行性：它是否是可行的干预和实现候选CF的例子从原始输入。为了从这个标记的可行性数据中学习，我们提出了一个修改的变分自动编码器损失，用于生成CF示例，当人们与其输出交互时，该示例优化了可行性。我们在贝叶斯网络和广泛使用的“成人收入”数据集上的实验表明，我们提出的方法可以生成比现有方法更好地满足可行性约束的反事实解释。代码存储库可在此处访问：\textit{https://github.com/divyat09/cf-feasibility}
2020-06-12 cs.AI cs.LG stat.ML
On Counterfactual Explanations under Predictive Multiplicity
University of Tuebingen（图宾根大学）；Schufa AG（舒法股份公司）
反事实解释通常通过识别对输入所做的最小改变来改变由固定模型所做的预测来获得（以下称为稀疏方法）。然而，最近的工作使一个古老的观点重新焕发了活力：对于常用的感兴趣的度量（例如出错率），通常不存在一个更好的预测问题的解决方案。事实上，通常多个不同的分类器给出几乎相同的解决方案。这种现象被称为预测多重性（Breiman，2001; Marx等人，2019年）。在这项工作中，我们得到了一个一般的上限预测多重性下的反事实解释的成本。最值得注意的是，它取决于两个分类器之间的差异概念，它描述了它们如何不同地对待负面预测的个体。然后，我们比较稀疏和数据支持方法的经验对现实世界的数据。结果表明，数据支持方法对不同模型的多样性具有更强的鲁棒性。与此同时，我们证明了这些方法在一个固定模型下产生反事实解释的成本更高。总之，我们的理论和实验结果挑战了普遍持有的观点，即反事实的建议一般应该是稀疏的。
2020-06-23 cs.CY cs.LG stat.ML
Causality-based Counterfactual Explanation for Classification Models
University of Technology Sydney（悉尼科技大学）；Curtin University（科廷大学）
反事实解释是可解释机器学习的一个分支，它产生一个扰动样本来改变模型的原始决策。生成的样本可以作为最终用户的建议，以实现其期望的输出。现有的反事实解释方法大多是基于梯度的方法，该方法只能优化连续变量的可微损失函数。因此，无梯度方法被提出来处理分类变量，但它有几个主要的局限性：1）在生成反事实时，特征之间的因果关系通常被忽略，可能导致决策者不切实际的指导方针;（二）反事实解释算法需要大量的努力进行参数调整，以确定每个损失函数的最佳权重，针对不同的数据集和设置重复进行。在这项工作中，为了解决上述限制，我们提出了一个基于原型的反事实解释框架（ProCE）。ProCE能够保留反事实数据特征背后的因果关系。此外，我们设计了一种新的无梯度优化的多目标遗传算法的基础上产生的连续和分类功能的混合型的反事实的解释。数值实验表明，我们的方法相比，与国家的最先进的方法，因此是适用于现有的预测模型。所有源代码和数据均可在\url{https://github.com/tridungduong16/multiobj-scm-cf}上获得。
2023-03-26 cs.LG
Semi-supervised counterfactual explanations
IBM Research（IBM研究院）
机器学习模型的反事实解释用于找到对特征值的最小干预，使得模型将预测改变为不同的输出或目标输出。一个有效的反事实解释应该有可能的特征值。在这里，我们解决了生成反事实解释的挑战，这些解释位于与训练数据相同的数据分布中，更重要的是，它们属于目标类分布。通过在反事实搜索过程中纳入自动编码器重构损失，解决了这一要求。将分类器的输出行为连接到自动编码器的潜在空间进一步提高了反事实搜索过程的速度和所得反事实解释的可解释性。继续这条研究路线，我们展示了当自动编码器以半监督的方式使用类标记的输入数据进行训练时，反事实解释的可解释性的进一步改善。我们在多个数据集上实证评估了我们的方法，并在多个指标方面显示出相当大的改进。
2023-03-22 cs.AI cs.LG
A New Approach to Backtracking Counterfactual Explanations: A Unified Causal Framework for Efficient Model Interpretability
Munich Center for Machine Learning（慕尼黑机器学习中心）；Sharif University of Technology（谢里夫理工大学）
提出基于回溯反事实的高效方法BRACE，融合因果推理生成可执行解释，克服传统方法忽视因果及计算昂贵的问题，并在特定场景下推广先前技术。
2025-05-22 cs.AI cs.LG stat.ML
If Only We Had Better Counterfactual Explanations: Five Key Deficits to Rectify in the Evaluation of Counterfactual XAI Techniques
University College Dublin（都柏林大学）
近年来，作为可解释人工智能（XAI）问题的解决方案，人工智能对反事实解释的研究出现了爆炸式增长。这些解释似乎比其他解释技术提供了技术、心理和法律上的好处。我们调查了文献中报道的100种不同的反事实解释方法。本调查涉及这些方法在心理和计算方面得到充分评估的程度，并量化了出现的不足。例如，这些方法中只有21%经过用户测试。这些方法的评估中的五个关键缺陷进行了详细说明，并提出了一个路线图，标准化的基准评估，以解决所产生的问题，问题，目前有效地阻止在这一领域的科学进步。
2021-02-26 cs.AI cs.LG
Counterfactual Explanations of Concept Drift
Bielefeld University（比勒费尔德大学）
概念漂移的概念是指观察到的数据的分布随时间变化的现象;因此，机器学习模型可能变得不准确，需要调整。虽然确实存在检测概念漂移或在存在观测漂移的情况下调整模型的方法，但迄今为止几乎没有考虑解释漂移的问题。这个问题是重要的，因为它使最突出的特点，漂移表现出来的检查;因此，它使人类理解的必要性变化，它增加了接受终身学习模式。在本文中，我们提出了一种新的技术，其特征的概念漂移的特征变化的空间特征所代表的典型例子的基础上反事实的解释。我们建立了一个正式的定义，这个问题，推导出一个有效的算法解决方案的基础上反事实的解释，并证明其有用的几个例子。
2020-06-23 cs.LG stat.ME stat.ML
Explaining Data-Driven Decisions made by AI Systems: The Counterfactual Approach
New York University（纽约大学）
我们研究了反事实解释，以解释基于模型的AI系统所做的决定。我们考虑的反事实方法将解释定义为系统的一组数据输入，这些数据输入因果地驱动决策（即，改变集合中的输入改变判决）并且是不可约的（即，改变输入的任何子集不改变决策）。我们（1）演示了如何使用这个框架来解释一般的数据驱动的AI系统所做的决策，这些系统可能包含具有任意数据类型和多个预测模型的特征，以及（2）提出了一个启发式程序来根据上下文找到最有用的解释。然后，我们将反事实解释与通过根据特征的重要性对其进行加权来解释模型预测的方法进行对比（例如，SHAP，LIME），并提出了两个基本原因，为什么我们应该仔细考虑重要性权重解释是否适合解释系统决策。具体来说，我们表明：（i）对于模型预测具有较大重要性权重的特征可能不会影响相应的决策，以及（ii）重要性权重不足以传达特征是否以及如何影响决策。我们用几个简洁的例子和三个详细的案例研究来证明这一点，这些案例研究将反事实方法与SHAP进行了比较，以说明反事实解释比重要性权重更好地解释数据驱动决策的各种条件。
2021-10-13 cs.AI cs.LG stat.ML
Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin（都柏林大学学院）；Accenture Labs（埃森哲实验室）；Insight Centre for Data Analytics（洞察数据分析中心）；VistaMilk SFI Research Centre（VistaMilk SFI研究中心）
反事实解释是一种越来越受欢迎的事后解释形式，这是由于它们（i）跨问题领域的适用性，（ii）建议的法律合规性（例如，与GDPR），以及（iii）依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例，但我们探索了一种新的用例，其中使用“组反事实”（例如，以突出显示一组患者中的疾病的重复模式）。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的，组反事实算法，以产生高覆盖率的解释，是忠实于被解释的模型。该解释策略也在一项大型对照用户研究（N=207）中进行了评估，使用客观（即，准确性）和主观性（即，信心、解释满意度和信任）心理测量。结果表明，群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University（俄勒冈州立大学）
反事实的解释，处理“为什么不呢？“场景，可以为AI代理的行为提供有见地的解释。在这项工作中，我们专注于为在Atari等视觉输入环境中运行的深度强化学习（RL）代理生成反事实解释。我们介绍了反事实状态解释，这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说，反事实状态说明了Atari游戏图像需要什么样的最小变化，以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查，如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人，我们比较与基线方法的基础上最近的邻居解释，使用图像从实际的游戏。我们的研究结果表明，反事实状态的解释有足够的保真度，以实际的游戏图像，使非专家更有效地确定一个有缺陷的RL代理相比，最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
Counterfactual Explanations via Latent Space Projection and Interpolation
Capital One（第一资本）；Columbia University（哥伦比亚大学）
反事实解释表示对数据样本的最小变化，该变化改变其预测分类，通常从不利的初始类别到期望的目标类别。反事实有助于回答这样的问题，如“需要改变什么，这个应用程序得到接受的贷款？".一些最近提出的反事实生成的方法给出了不同的定义的“似是而非”的反事实和方法来生成它们。然而，这些方法中的许多都是计算密集型的，并且提供不令人信服的解释。在这里，我们介绍SharpShooter，这是一种用于二进制分类的方法，它首先创建输入的投影版本，并将其分类为目标类。然后，在输入和其投影之间的插值线上的潜在空间中生成反事实候选。然后，我们证明，我们的框架翻译的核心特征的样本，其反事实，通过使用学习表示。此外，我们表明，SharpShooter在表格和图像数据集的常见质量指标上具有竞争力，同时比两种可比方法快几个数量级，并且在现实主义措施方面表现出色，使其非常适合需要及时解释的高速机器学习应用程序。
2021-12-02 cs.LG
Global Graph Counterfactual Explanation: A Subgraph Mapping Approach
University of Virginia（弗吉尼亚大学）；Case Western Reserve University（凯斯西储大学）；JP Morgan Chase & Co.（摩根大通公司）；University of Georgia（佐治亚大学）
针对局部图反事实解释信息过载、忽视跨图关系的问题，提出GlobalGCE，通过学习子图映射规则生成全局反事实解释，并设计生成器与自编码器提升规则生成效果。
2024-10-25 cs.LG
