Latent-CF: A Simple Baseline for Reverse Counterfactual Explanations
Capital One(第一资本)
在公平借贷法和通用数据保护条例(GDPR)的环境中,解释模型预测的能力至关重要。高质量的解释是评估公平性的第一步。反事实是可解释性的宝贵工具。它们为受预测决定影响的个人提供了可操作的、可理解的解释。重要的是要找到一个生产它们的基线。我们提出了一个简单的方法,通过使用梯度下降搜索的潜在空间中的自动编码器和基准我们的方法对搜索反事实的方法,在特征空间生成反事实。此外,我们实施指标,具体评估的反事实的质量。我们发现,潜在空间反事实生成的基本特征梯度下降方法的速度和更复杂的面向特征空间的技术生成的反事实的稀疏性和真实性之间的平衡。
2021-06-22 cs.LG
Learning Marked Temporal Point Process Explanations based on Counterfactual and Factual Reasoning
RMIT University(皇家墨尔本理工大学);Macquarie University(麦考瑞大学)
本文针对标记时间点过程模型的可信度问题,提出将反事实解释与事实解释相结合来定义最小合理解释,并设计CFF解释器,实验证明其在解释质量和效率上优于基线方法。
2025-08-16 cs.LG
CLEAR: Generative Counterfactual Explanations on Graphs
University of Virginia(弗吉尼亚大学);Bytedance AI Lab(字节跳动人工智能实验室);J.P. Morgan AI Research(摩根大通人工智能研究院)
反事实解释通过回答“应该如何扰动输入实例以获得期望的预测标签”的问题来提高机器学习模型的可解释性。".对扰动前后的这种情况进行比较可以增强人类的解释。现有的反事实解释研究大多局限于表格数据或图像数据。在这项工作中,我们研究了图上的反事实解释生成问题。一些研究已经探索了图上的反事实解释,但这个问题的许多挑战仍然没有得到很好的解决:1)在离散和无序的图空间中进行优化; 2)在看不见的图上进行推广; 3)在没有因果模型的先验知识的情况下保持生成的反事实中的因果关系。为了应对这些挑战,我们提出了一个新的框架CLEAR,旨在为图级预测模型生成图上的反事实解释。具体而言,CLEAR利用基于图变分自编码器的机制来促进其优化和泛化,并通过利用辅助变量来更好地识别底层因果模型来促进因果关系。在合成图和真实世界图上的大量实验验证了CLEAR在不同方面优于现有方法。
2022-11-07 cs.LG
Motif-guided Time Series Counterfactual Explanations
Utah State University(犹他州立大学);New Mexico State University(新墨西哥州立大学)
针对时间序列模型的可解释性需求,该研究提出首个利用模体引导生成事后反事实解释的MG-CF模型,经UCR的5个真实数据集验证,其在平衡反事实解释的各项理想属性上优于现有先进基线方法。
2024-02-01 cs.LG
Counterfactual Explanations via Riemannian Latent Space Traversal
Technical University of Denmark(丹麦技术大学);Pioneer Centre for AI(先锋人工智能中心)
针对深度模型反事实解释中潜在空间遍历忽略非线性解码器导致轨迹不自然的问题,提出通过解码器和分类器拉回黎曼度量以编码数据几何结构,从而生成高保真稳健反事实轨迹,并在真实表格数据集上验证。
2024-11-04 cs.LG
Causality-based Counterfactual Explanation for Classification Models
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实解释是可解释机器学习的一个分支,它产生一个扰动样本来改变模型的原始决策。生成的样本可以作为最终用户的建议,以实现其期望的输出。现有的反事实解释方法大多是基于梯度的方法,该方法只能优化连续变量的可微损失函数。因此,无梯度方法被提出来处理分类变量,但它有几个主要的局限性:1)在生成反事实时,特征之间的因果关系通常被忽略,可能导致决策者不切实际的指导方针;(二)反事实解释算法需要大量的努力进行参数调整,以确定每个损失函数的最佳权重,针对不同的数据集和设置重复进行。在这项工作中,为了解决上述限制,我们提出了一个基于原型的反事实解释框架(ProCE)。ProCE能够保留反事实数据特征背后的因果关系。此外,我们设计了一种新的无梯度优化的多目标遗传算法的基础上产生的连续和分类功能的混合型的反事实的解释。数值实验表明,我们的方法相比,与国家的最先进的方法,因此是适用于现有的预测模型。所有源代码和数据均可在\url{https://github.com/tridungduong16/multiobj-scm-cf}上获得。
2023-03-26 cs.LG
Counterfactual Explanations via Latent Space Projection and Interpolation
Capital One(第一资本);Columbia University(哥伦比亚大学)
反事实解释表示对数据样本的最小变化,该变化改变其预测分类,通常从不利的初始类别到期望的目标类别。反事实有助于回答这样的问题,如“需要改变什么,这个应用程序得到接受的贷款?".一些最近提出的反事实生成的方法给出了不同的定义的“似是而非”的反事实和方法来生成它们。然而,这些方法中的许多都是计算密集型的,并且提供不令人信服的解释。在这里,我们介绍SharpShooter,这是一种用于二进制分类的方法,它首先创建输入的投影版本,并将其分类为目标类。然后,在输入和其投影之间的插值线上的潜在空间中生成反事实候选。然后,我们证明,我们的框架翻译的核心特征的样本,其反事实,通过使用学习表示。此外,我们表明,SharpShooter在表格和图像数据集的常见质量指标上具有竞争力,同时比两种可比方法快几个数量级,并且在现实主义措施方面表现出色,使其非常适合需要及时解释的高速机器学习应用程序。
2021-12-02 cs.LG
Global Graph Counterfactual Explanation: A Subgraph Mapping Approach
University of Virginia(弗吉尼亚大学);Case Western Reserve University(凯斯西储大学);JP Morgan Chase & Co.(摩根大通公司);University of Georgia(佐治亚大学)
针对局部图反事实解释信息过载、忽视跨图关系的问题,提出GlobalGCE,通过学习子图映射规则生成全局反事实解释,并设计生成器与自编码器提升规则生成效果。
2024-10-25 cs.LG
FASTER-CE: Fast, Sparse, Transparent, and Robust Counterfactual Explanations
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amira Learning(Amira学习);CognitiveScale(认知规模)
在过去的几年里,反事实解释作为一种以人为中心的理解个体黑箱模型预测的有用方式,已经越来越受欢迎。虽然在文献中已经确定了高质量反事实所需的几个属性,但三个关键问题:解释生成的速度,解释的鲁棒性/敏感性和简洁性(稀疏性)相对未被探索。在本文中,我们提出了FASTER-CE:一套新的算法来生成快速,稀疏和强大的反事实解释。其关键思想是有效地找到有前途的搜索方向,通过自动编码器指定的潜在空间中的反事实。这些方向是基于相对于每个原始输入特征以及目标的梯度来确定的,如在潜在空间中估计的。快速检查最有希望的梯度方向的组合以及结合额外的用户定义的约束的能力使我们能够生成多个反事实的解释,这些解释是稀疏的,现实的,并且对输入操作是鲁棒的。通过对不同复杂度的三个数据集的实验,我们表明,FASTER-CE不仅比其他最先进的方法更快地生成多个解释,而且在考虑更大的理想(而且往往是冲突)属性集时也显着优越。具体来说,我们提出了多个性能指标的结果:稀疏性,接近性,有效性,生成速度和解释的鲁棒性,以突出FASTER-CE系列的功能。
2022-10-12 cs.LG
Physics-Guided Counterfactual Explanations for Large-Scale Multivariate Time Series: Application in Scalable and Interpretable SEP Event Prediction
Dept. of Computer Science Georgia State University Atlanta, GA, USA(计算机科学系 佐治亚州立大学);Dept. of Computer Science California State University Fullerton, CA, USA(计算机科学系 加州州立大学Fullerton分校)
本文提出了一种物理引导的反事实解释框架,用于大规模多变量时间序列中的SEP事件预测,实现了更高的预测精度和更高效的运行效率。
2026-01-13 cs.LG
Shapelet-based Model-agnostic Counterfactual Local Explanations for Time Series Classification
Leiden University(莱顿大学)
本研究提出面向时间序列分类的模型无关事后可解释算法Time-CF,结合shapelets与TimeGAN生成反事实解释,在UCR数据集多任务上四项可解释性指标均优于现有最优方法。
2024-02-02 cs.LG
Adaptive Group-Based Counterfactual Explanations for Time-Series Rehabilitation Data
NWO LoaD-project(荷兰科研组织(NWO)LoaD项目)
针对多变量时间序列分类器在康复数据分析中难以解释的问题,提出两阶段框架,通过可学习门控机制生成基于语义特征组的反事实解释,在保持有效性的同时提升组级稀疏性和临床可解释性。
2026-07-03 cs.LG
Convex optimization for actionable \& plausible counterfactual explanations
Bielefeld University(比勒费尔德大学)
透明性是部署在现实世界中的基于机器学习的决策系统的基本要求。通常,给定系统的透明度是通过提供给定系统的行为和预测的解释来实现的。反事实解释是对决策系统的特定直觉解释的一个突出实例。虽然存在许多不同的计算反事实解释的方法,但只有很少的工作(除了因果关系领域的工作)考虑了特征依赖性以及可能限制可能的反事实解释集的可解释性。在这项工作中,我们加强了我们以前的工作,凸建模计算反事实的解释,确保actionability和actionability的机制,所产生的反事实的解释。
2021-05-17 cs.AI cs.LG
Exploring Counterfactual Explanations Through the Lens of Adversarial Examples: A Theoretical and Empirical Analysis
University of Tübingen(蒂宾根大学);Harvard University(哈佛大学)
随着机器学习(ML)模型在高风险应用中的部署越来越广泛,反事实解释已经成为在实践中提供可操作模型解释的关键工具。尽管反事实解释越来越流行,但对这些解释的更深入理解仍然缺乏。在这项工作中,我们系统地分析反事实的解释,通过镜头的对抗性的例子。我们这样做是通过形式化流行的反事实解释和对抗性的例子生成方法之间的相似性识别条件时,他们是等价的。然后,我们推导出反事实解释和对抗性示例生成方法输出的解决方案之间距离的上界,并在几个真实数据集上进行了验证。通过建立反事实解释和对抗性例子之间的理论和经验相似性,我们的工作提出了关于现有反事实解释算法的设计和开发的基本问题。
2021-10-19 cs.AI cs.LG
Evaluating Robustness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学)
透明度是决策系统在现实世界中部署的基本要求。它通常通过提供系统行为的解释来实现。一个突出的和直观的解释类型是反事实的解释。反事实解释通过建议操作(如对输入的更改)向用户解释行为,这些操作将导致系统的不同(指定)行为。然而,这种解释方法对于输入的微小变化可能是不稳定的,即即使输入的微小变化也可能导致输出和解释的巨大或任意变化。这对于反事实的解释来说可能是有问题的,因为两个相似的人可能会得到非常不同的解释。更糟糕的是,如果建议的行动在复杂性上有很大的不同,人们会认为这种不稳定的(反事实的)解释是不公平的。在这项工作中,我们正式和实证研究的鲁棒性的反事实的解释一般,以及在不同的模型和不同种类的扰动。此外,我们建议,合理的反事实解释,而不是最接近的反事实解释,以提高鲁棒性,从而提高个人的公平性的反事实解释。
2021-07-22 cs.AI cs.LG
Semi-supervised counterfactual explanations
IBM Research(IBM研究院)
机器学习模型的反事实解释用于找到对特征值的最小干预,使得模型将预测改变为不同的输出或目标输出。一个有效的反事实解释应该有可能的特征值。在这里,我们解决了生成反事实解释的挑战,这些解释位于与训练数据相同的数据分布中,更重要的是,它们属于目标类分布。通过在反事实搜索过程中纳入自动编码器重构损失,解决了这一要求。将分类器的输出行为连接到自动编码器的潜在空间进一步提高了反事实搜索过程的速度和所得反事实解释的可解释性。继续这条研究路线,我们展示了当自动编码器以半监督的方式使用类标记的输入数据进行训练时,反事实解释的可解释性的进一步改善。我们在多个数据集上实证评估了我们的方法,并在多个指标方面显示出相当大的改进。
2023-03-22 cs.AI cs.LG
If Only We Had Better Counterfactual Explanations: Five Key Deficits to Rectify in the Evaluation of Counterfactual XAI Techniques
University College Dublin(都柏林大学)
近年来,作为可解释人工智能(XAI)问题的解决方案,人工智能对反事实解释的研究出现了爆炸式增长。这些解释似乎比其他解释技术提供了技术、心理和法律上的好处。我们调查了文献中报道的100种不同的反事实解释方法。本调查涉及这些方法在心理和计算方面得到充分评估的程度,并量化了出现的不足。例如,这些方法中只有21%经过用户测试。这些方法的评估中的五个关键缺陷进行了详细说明,并提出了一个路线图,标准化的基准评估,以解决所产生的问题,问题,目前有效地阻止在这一领域的科学进步。
2021-02-26 cs.AI cs.LG
Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
Australian National University(澳大利亚国立大学)
最近关于可解释人工智能的论文为反事实的解释模式提供了令人信服的理由。虽然反事实解释在某些情况下似乎非常有效,但它们在形式上等同于对抗性例子。这为可解释性研究者提出了一个明显的悖论:如果这两个程序在形式上是等价的,那么是什么解释了反事实解释和对抗性例子之间明显的解释性分歧?我们解决这个悖论,把重点放在反事实表达的语义。为深度学习系统提供令人满意的解释将要求我们找到解释深度神经网络中隐藏层表示的语义的方法。
2020-12-18 cs.AI cs.CY cs.LG
Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin(都柏林大学学院);Accenture Labs(埃森哲实验室);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心)
反事实解释是一种越来越受欢迎的事后解释形式,这是由于它们(i)跨问题领域的适用性,(ii)建议的法律合规性(例如,与GDPR),以及(iii)依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例,但我们探索了一种新的用例,其中使用“组反事实”(例如,以突出显示一组患者中的疾病的重复模式)。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的,组反事实算法,以产生高覆盖率的解释,是忠实于被解释的模型。该解释策略也在一项大型对照用户研究(N=207)中进行了评估,使用客观(即,准确性)和主观性(即,信心、解释满意度和信任)心理测量。结果表明,群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
Improving understanding and trust in AI: How users benefit from interval-based counterfactual explanations
Department of Bioengineering, Imperial College London(伦敦帝国理工学院生物工程系);Institute of Artificial and Human Intelligence, University of Bayreuth(拜罗伊特大学人工智能与人类智能研究所)
本研究通过实验评估不同后验解释类型对模型理解及信任的影响,发现区间解释在提升理解和信任方面优于其他类型。
2026-02-22 cs.HC cs.LG
Counterfactual Explanations for Predictive Business Process Monitoring
paluno - The Ruhr Institute for Software Technology(帕鲁诺——鲁尔软件技术研究所)
预测性业务流程监控越来越多地利用复杂的预测模型。虽然复杂模型的预测精度始终高于简单模型,但一个主要缺点是缺乏可解释性,这限制了它们在实践中的采用。因此,我们看到对可解释的预测业务流程监控的兴趣越来越大,其目的是提高预测模型的可解释性。现有的解决方案侧重于给出事实解释。虽然事实解释可能有帮助,但人类通常不会问为什么做出特定的预测,而是为什么做出它而不是另一个预测,即,人类对反事实的解释很感兴趣虽然可解释人工智能的研究产生了几种有前途的技术来生成反事实解释,但直接将它们应用于预测过程监控可能会产生不切实际的解释,因为它们忽略了底层的过程约束。我们提出了LORELEY,一种用于预测过程监控的反事实解释技术,它扩展了LORE,一种最近可解释的人工智能技术。我们施加控制流约束的解释生成过程,以确保现实的反事实的解释。此外,我们扩展了LORE,使解释多类分类模型。使用真实的公共数据集的实验结果表明,LORELEY可以近似预测模型的平均保真度为97.69%,并产生现实的反事实解释。
2022-02-24 cs.AI cs.LG
The privacy issue of counterfactual explanations: explanation linkage attacks
University of Antwerp(安特卫普大学)
黑盒机器学习模型正在越来越多的高风险领域中使用,这使得对可解释AI(XAI)的需求不断增长。不幸的是,XAI在机器学习中的使用引入了新的隐私风险,这些风险目前在很大程度上尚未被注意到。我们介绍了解释链接攻击,这可能会发生在部署基于实例的策略,以找到反事实的解释。为了应对这种攻击,我们提出了k-匿名反事实解释,并引入纯粹性作为一个新的度量标准来评估这些k-匿名反事实解释的有效性。我们的结果表明,使解释,而不是整个数据集,k-匿名,是有益的解释的质量。
2022-10-21 cs.CR cs.CY cs.LG
DA-DGCEx: Ensuring Validity of Deep Guided Counterfactual Explanations With Distribution-Aware Autoencoder Loss
Ikerlan Technology Research Centre(伊克尔兰技术研究中心);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟);Mondragon University(蒙德拉贡大学)
深度学习已经成为不同领域中非常有价值的工具,没有人怀疑这些模型的学习能力。然而,由于深度学习模型由于缺乏可解释性而经常被视为黑匣子,因此在其决策过程中存在普遍的不信任。为了在有效性和可解释性之间找到平衡,可解释人工智能(XAI)近年来越来越受欢迎,该领域的一些方法用于生成反事实解释。生成这些解释的过程通常包括为要解释的每个输入求解优化问题,这在需要实时反馈时是不可行的。为了加快这个过程,一些方法利用自动编码器来生成即时的反事实解释。最近,提出了一种称为深度引导反事实解释(DGCEx)的方法,该方法训练了一个连接到分类模型的自动编码器,以生成简单的反事实解释。然而,该方法不能确保生成的反事实实例接近数据流形,因此可能生成不切实际的反事实实例。为了克服这个问题,本文提出了分布式感知深度引导反事实推理(DA-DGCEx),它在DGCEx成本函数中添加了一个项,该项对分布式反事实实例进行惩罚。
2021-04-22 cs.AI cs.LG
DifCluE: Generating Counterfactual Explanations with Diffusion Autoencoders and modal clustering
TCS Research(TCS研究院)
本文提出 DifCluE,结合扩散自编码器与潜在空间模态聚类,识别类别内不同模态方向,从而生成多样可靠的反事实解释,性能优于现有方法。
2025-02-17 cs.AI cs.LG
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin(都柏林大学);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk科学基金会爱尔兰研究中心)
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能(XAI)问题的流行解决方案,因为它们具有心理有效性,跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法,声称可以产生类似于人们偏好的合理解释,但实际上很少有用户进行过测试($\sim7\%$)。因此,这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决,该方法(i)在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释,然后(ii)将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明,人类不“最低限度地编辑”图像时,产生反事实的解释。相反,它们会进行更大的、“有意义的”编辑,以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
Counterfactual Training: Teaching Models Plausible and Actionable Explanations
Delft University of Technology(代尔夫特理工大学)
本文提出反事实训练方法,通过在训练阶段利用反事实来提高模型的解释能力和对抗鲁棒性。
2026-01-22 cs.AI cs.LG
Computing Rule-Based Explanations by Leveraging Counterfactuals
University of Washington(华盛顿大学);Relational AI(Relational AI公司)
复杂的机器模型越来越多地用于日常生活中的高风险决策。迫切需要为这种自动化决策开发有效的解释技术。基于规则的解释已经被提出用于高风险决策,如贷款申请,因为它们增加了用户对决策的信任。然而,基于规则的解释是非常低效的计算,现有的系统牺牲其质量,以达到合理的性能。我们提出了一种新的方法来计算基于规则的解释,通过使用不同类型的解释,反事实推理,其中几个有效的系统已经开发出来。我们证明了一个对偶定理,表明基于规则的解释和基于反事实的解释是相互对偶的,然后使用这个观察来开发一个有效的算法来计算基于规则的解释,它使用基于反事实的解释作为一个预言。我们进行了大量的实验表明,我们的系统计算基于规则的解释更高的质量,并具有相同或更好的性能,比以前的两个系统,MinSetCover和锚。
2022-10-31 cs.DB cs.LG
A Few Good Counterfactuals: Generating Interpretable, Plausible and Diverse Counterfactual Explanations
Insight SFI Centre for Data Analytics(Insight SFI数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心);University College Dublin(都柏林大学)
反事实解释为可解释人工智能(XAI)问题提供了一个潜在的重要解决方案,但良好的原生反事实已被证明很少出现在大多数数据集中。因此,最流行的方法使用盲扰动生成合成反事实。然而,这种方法有几个缺点:(i)产生的反事实可能不是有效的数据点(它们通常使用不自然发生的特征),(ii)可能缺乏良好反事实的稀疏性(如果它们修改了太多的特征),以及(iii)可能缺乏多样性(如果生成的反事实是彼此的最小变体)。我们描述了一种方法,旨在克服这些问题,一个适应原生的反事实在原始数据集中,生成稀疏的,不同的合成反事实从自然发生的功能。一系列的实验报告,系统地探讨这种新方法的参数变化,在常见的数据集,以建立最佳性能的条件。
2021-01-22 cs.AI cs.LG
Convex Density Constraints for Computing Plausible Counterfactual Explanations
CITEC - Cognitive Interaction Technology Bielefeld University(比勒费尔德大学认知交互技术中心)
随着机器学习的部署以及欧盟GDPR等法律法规的不断增加,需要对机器学习模型提出的决策进行用户友好的解释。反事实解释被认为是解释模型的特定决策的最流行的技术之一。虽然“任意”反事实解释的计算已经得到了很好的研究,但如何有效地计算合理可行的反事实解释仍然是一个开放的研究问题。我们建立在最近的工作,并提出和研究一个正式的定义似是而非的反事实的解释。特别是,我们研究了如何使用密度估计,以加强可验证性和可行性的反事实的解释。为了有效计算的目的,我们提出了凸密度约束,以确保所得到的反事实位于高密度的数据空间的区域。
2020-08-03 cs.AI cs.LG stat.ML
Explaining Machine Learning Classifiers through Diverse Counterfactual Explanations
Microsoft Research India(微软印度研究院);University of Colorado Boulder(科罗拉多大学博尔德分校)
机器学习模型的事后解释对于人们理解算法预测并采取行动至关重要。一种有趣的解释是通过反事实,假设的例子,告诉人们如何获得不同的预测。我们认为,有效的反事实解释应满足两个属性:可行性的反事实行动的用户上下文和约束条件,和多样性的反事实。为此,我们提出了一个框架,用于生成和评估一组不同的反事实解释的基础上决定点过程。为了评估反事实的可操作性,我们提供了一些指标,可以将基于反事实的方法与其他本地解释方法进行比较。我们进一步解决必要的权衡,并指出因果关系的影响,优化反事实。我们在四个真实世界数据集上的实验表明,我们的框架可以生成一组不同的反事实,并且很好地近似于本地决策边界,优于以前的方法来生成不同的反事实。我们在https://github.com/microsoft/DiCE上提供了该框架的实现。
2019-12-06 cs.CY cs.LG stat.ML
Evaluating counterfactual explanations using Pearl's counterfactual method
University of the Witwatersrand(威特沃特斯兰德大学)
反事实解释(英语:Counterfactual explanations,CE)是一种产生另一种情景的方法,这种情景会产生不同的理想结果。例如,如果一个学生被预测会不及格,那么反事实解释可以为学生提供替代方法,这样他们就可以被预测会通过。应用程序很多。然而,CE目前是从机器学习模型生成的,这些模型不一定考虑数据中的真实因果结构。通过这样做,可以将偏差引入CE量中。我建议在这项研究中,测试CE使用朱迪亚珍珠的计算反事实的方法,迄今为止,令人惊讶的是,没有看到在反事实的解释(CE)的文献。此外,我评估这些CE上的三个不同的因果结构,以显示如何真正的潜在因果结构影响CE的产生。本研究提出了一种使用Pearl方法评估CE的方法,结果表明(尽管使用了有限的样本量),30%的CE与Pearl方法计算的CE相冲突。这表明,我们不能简单地相信CE,在使用原始机器学习模型盲目计算反事实之前,了解真正的因果结构至关重要。
2023-01-06 cs.LG stat.ML
counterfactuals: An R Package for Counterfactual Explanation Methods
LMU Munich(慕尼黑大学);MCML(慕尼黑机器学习中心)
本文介绍 counterfactuals R 包,通过统一的 R6 接口实现并扩展三种反事实解释方法,并在多种模型和数据集上比较其解释质量与运行效率。
2023-09-15 cs.LG stat.CO stat.ML
CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms
University of Tübingen(图宾根大学);CarePay International(CarePay国际公司)
反事实解释通过建议可操作的特征改变(例如,增加收入),使个人在未来取得有利的结果(例如,保险审批)。选择合适的方法是有意义的反事实解释的一个关键方面。正如最近的综述中所记载的那样,有一个快速增长的文献与可用的方法。然而,在缺乏广泛可用的开源实现的情况下,支持某些模型的决定主要是基于什么是现成的。展望未来-为了保证解释方法之间有意义的比较-我们提出了CARLA(反事实和追索权库),这是一个Python库,用于在不同的数据集和不同的机器学习模型上对反事实解释方法进行基准测试。总之,我们的工作提供了以下贡献:(i)11种流行的反事实解释方法的广泛基准,(ii)未来反事实解释方法研究的基准框架,以及(iii)一套标准化的综合评估措施和数据集,用于这些方法的透明和广泛的比较。我们在Github上开源了CARLA和我们的实验结果,使它们可以作为竞争基线。我们欢迎其他研究团体和从业人员的贡献。
2021-08-02 cs.AI cs.LG
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
反事实的解释,处理“为什么不呢?“场景,可以为AI代理的行为提供有见地的解释。在这项工作中,我们专注于为在Atari等视觉输入环境中运行的深度强化学习(RL)代理生成反事实解释。我们介绍了反事实状态解释,这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说,反事实状态说明了Atari游戏图像需要什么样的最小变化,以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查,如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人,我们比较与基线方法的基础上最近的邻居解释,使用图像从实际的游戏。我们的研究结果表明,反事实状态的解释有足够的保真度,以实际的游戏图像,使非专家更有效地确定一个有缺陷的RL代理相比,最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
GeCo: Quality Counterfactual Explanations in Real Time
University of Washington(华盛顿大学)
机器学习越来越多地应用于直接影响人们生活的高风险决策,这导致对系统解释其决策的需求增加。解释通常采取反事实的形式,包括向最终用户传达她/他需要改变什么以改善结果。计算反事实的解释是具有挑战性的,因为域的丰富语义和实时的响应的需要之间的固有张力。在本文中,我们提出了GeCo,第一个系统,可以计算合理的和可行的反事实的解释,在实时的。GeCo的核心依赖于一种遗传算法,这种算法经过定制,有利于以最少的变化搜索反事实的解释。为了实现实时性能,我们引入了两个新的优化:$Δ$ -候选人的反事实表示,和分类器的部分评估。我们比较经验GeCo与文献中描述的其他五个系统,并表明它是唯一的系统,可以实现高质量的解释和实时的答案。
2021-05-19 cs.DB cs.LG
TriShGAN: Enhancing Sparsity and Robustness in Multivariate Time Series Counterfactuals Explanation
本文提出TriShGAN,通过在CounteRGAN框架中引入三元组损失和Shapelet提取器,在保持低代价的同时增强多元时间序列反事实解释的鲁棒性与稀疏性。
2025-11-09 cs.AI cs.LG
Diffusion Models for Counterfactual Explanations
Normandy University(诺曼底大学);ENSICAEN(卡昂国立高等工程师学院);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);GREYC(格雷克实验室)
反事实解释已经显示出有希望的结果作为一个事后框架,使图像分类器更可解释。在本文中,我们提出了DiME,允许使用最近的扩散模型的反事实图像的生成方法。通过利用引导生成扩散过程,我们提出的方法展示了如何使用目标分类器的梯度来生成输入实例的反事实解释。此外,我们分析了目前的方法来评估虚假的相关性,并提出了一个新的度量:相关性差异扩展的评估测量。我们的实验验证表明,该算法超越了以前的国家的最先进的结果5出6指标CelebA。
2022-03-29 cs.CV cs.LG
FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles
University of Amsterdam(阿姆斯特丹大学);Radboud University(拉德堡德大学)
由于算法决策对人类的影响越来越大,模型可解释性已经成为机器学习(ML)中的一个重要问题。反事实解释不仅可以帮助用户理解为什么ML模型做出某些决策,还可以帮助用户理解如何改变这些决策。我们将寻找反事实解释的问题框架为基于梯度的优化任务,并扩展了以前只能应用于可微模型的工作。为了适应不可微的模型,如树集成,我们使用概率模型近似的优化框架。我们介绍了一种近似技术,这是有效的寻找反事实的解释,为原始模型的预测,并表明我们的反事实的例子显着更接近原始的实例比其他方法专门设计的树合奏。
2021-12-17 cs.AI cs.LG
Realistic Counterfactual Explanations with Learned Relations
Australian National University(澳大利亚国立大学)
许多现有的反事实解释方法忽略了数据属性之间的内在关系,从而无法产生现实的反事实。此外,现有的模型,占关系需要领域知识,这限制了它们在复杂的现实世界中的应用。在本文中,我们提出了一种新的方法来现实的反事实的解释,保持关系,并尽量减少专家的干预。该模型直接学习的关系,变分自动编码器与最小的领域知识,然后学习扰动的潜在空间。我们在合成和真实世界的数据集上进行了广泛的实验。实验结果表明,该模型从数据中学习关系,并在生成的反事实中保留这些关系。特别是,它优于其他方法的Mahalanobis距离和约束可行性得分。
2022-05-29 cs.LG stat.ML
CeFlow: A Robust and Efficient Counterfactual Explanation Framework for Tabular Data using Normalizing Flows
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实解释是可解释的机器学习的一种形式,它在样本上产生扰动以实现期望的结果。生成的样本可以作为指导最终用户如何通过改变样本来观察所需结果的说明。尽管提出了最先进的反事实解释方法以使用变分自编码器(VAE)来实现有希望的改进,但是它们遭受两个主要限制:1)反事实生成非常慢,这阻止了算法在交互式环境中部署; 2)由于变分自编码器的采样过程中的随机性,反事实解释算法产生不稳定的结果。在这项工作中,为了解决上述限制,我们设计了一个强大而有效的反事实解释框架,即CeFlow,它利用规范化流的混合类型的连续和分类的功能。数值实验表明,我们的技术相媲美的最先进的方法。我们在https://github.com/tridungduong16/fairCE.git上发布了我们的源代码,用于复制结果。
2023-03-26 cs.AI cs.LG
Clarity: an improved gradient method for producing quality visual counterfactual explanations
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);CentraleSupélec(巴黎中央理工-高等电力学院)
视觉反事实解释识别对图像的修改,这些修改将改变分类器的预测。我们提出了一套基于生成模型(VAE)和分类器集成直接训练的潜在空间,这一切在一起,提高计算视觉反事实所需的梯度的质量的技术。这些改进导致了一种新的分类模型Clarity,它可以对所有图像产生逼真的反事实解释。我们还提出了几个实验,让我们深入了解为什么这些技术导致更好的质量比文献中的结果。所产生的解释与最先进的竞争力,并强调选择一个有意义的输入空间进行培训的重要性。
2022-11-22 cs.CV cs.LG
TDLS: A Top-Down Layer Searching Algorithm for Generating Counterfactual Visual Explanation
人工智能的解释,以及算法决策的公平性和决策模型的透明性变得越来越重要。在打开黑盒模型时,设计有效和人性化的技术至关重要。反事实符合人类的思维方式,并提供人性化的解释,其相应的解释算法是指对给定数据点进行策略性的交替,使其模型输出“反事实”,即预测被还原。在本文中,我们采用反事实解释细粒度的图像分类问题。我们展示了一种自适应的方法,可以给出一个反事实的解释,通过显示组成的反事实的特征图,使用自顶向下的层搜索算法(TDLS)。我们已经证明,我们的TDLS算法可以提供更灵活的反事实的视觉解释,在一个有效的方式使用VGG-16模型在Caltech-UCSD鸟类200数据集。最后,我们讨论了反事实视觉解释的几个适用场景。
2021-08-26 cs.AI cs.CV cs.LG
Plausible Counterfactual Explanations of Recommendations
Faculty of Electrical Engineering(电气工程系);Czech Technical University in Prague(布拉格捷克技术大学)
本研究提出了一种在推荐系统中生成高度合理反事实解释(CE)的方法,并通过数值实验与用户研究验证了其有效性,为提升推荐系统的说服力与用户体验提供了新途径。
2025-07-10 cs.IR cs.LG
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation
Salesforce Research(赛富时研究院)
反事实解释是解释机器学习预测的一种重要的可解释人工智能技术。现有的基于优化的方法虽然得到了积极的研究,但通常假设底层机器学习模型是可微的,并将分类属性视为连续属性,这限制了它们在分类属性具有许多不同值或模型不可微时的实际应用。为了使反事实解释适用于现实世界的应用,我们提出了一种新的框架模型不可知的反事实解释(MACE),它采用了一种新设计的管道,可以有效地处理大量特征值上的不可微机器学习模型。在我们的MACE方法中,我们提出了一种新的基于RL的方法来寻找好的反事实的例子和无梯度下降方法来提高接近度。在公开数据集上的实验验证了该方法的有效性,具有较好的有效性、稀疏性和接近性。
2022-05-31 cs.AI cs.LG
Tabular Diffusion based Actionable Counterfactual Explanations for Network Intrusion Detection
University of Western Ontario(西安大略大学)
针对网络入侵检测中黑箱模型解释难以转化为对策的问题,提出基于表格扩散的反事实解释框架,可高效生成最小、多样且可归纳为全局防御规则的可行动解释。
2025-07-23 cs.AI cs.LG
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London(伦敦大学城市学院)
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中,局部解释被期望解释预测的结果以及如果“事情有所不同”,预测将如何改变。此外,我们认为,令人满意的解释不能脱离的概念和保真度的措施,主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型,这是基于距离的目标决策边界。一个系统称为CLEAR:通过回归反事实的本地解释,介绍和评价。CLEAR生成w-反事实解释,说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型,使用w-反事实来衡量和提高其回归的保真度。相比之下,流行的LIME方法也使用回归来生成局部解释,既不测量自己的保真度,也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的,平均超过45%以上,在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
On the Definition and Detection of Cherry-Picking in Counterfactual Explanations
University of Antwerp(安特卫普大学);INSEAD
本文定义了反事实解释中的樱桃选取,并指出其检测难度大,建议优先考虑可重复性、标准化和过程约束而非事后检测。
2026-01-08 cs.AI cs.LG
The Impact of Machine Learning Uncertainty on the Robustness of Counterfactual Explanations
CaSToRC, The Cyprus Institute, Nicosia, Cyprus(塞浦路斯研究所);University of Bologna, Bologna, Italy(博洛尼亚大学)
研究探讨了机器学习不确定性对反事实解释鲁棒性的影响,发现模型不确定性会显著影响反事实生成的稳定性。
2026-01-20 cs.AI cs.LG
Counterfactual explanation of machine learning survival models
Peter the Great St.Petersburg Polytechnic University (SPbPU)(彼得大帝圣彼得堡理工大学)
提出了一种机器学习生存模型的反事实解释方法。解决反事实解释问题的难点之一是样本的类别是通过机器学习生存模型的结果以生存函数的形式隐式定义的。一个条件,建立之间的差异的原始例子和反事实的生存功能。该条件基于使用事件平均时间之间的距离。当被解释的黑箱模型为Cox模型时,反事实解释问题可归结为一个带线性约束的标准凸优化问题。对于其他黑盒模型,建议应用著名的粒子群优化算法。用实际数据和合成数据进行了大量的数值实验,验证了所提出的方法。
2020-06-26 cs.LG stat.ML
Multi-Objective Counterfactual Explanations
LMU Munich(慕尼黑大学)
反事实解释是最流行的方法之一,通过以“假设”的形式提供解释,使黑盒机器学习模型的预测可解释。大多数当前的方法优化了多个目标的折叠的加权和,这自然难以先验地平衡。我们提出了多目标反事实(MOC)方法,它将反事实搜索转化为一个多目标优化问题。我们的方法不仅返回一组不同的反事实与建议的目标之间的不同权衡,但也保持了多样性的特征空间。这使得能够进行更详细的事后分析,以促进更好的理解,并且还能够提供更多的可操作用户响应选项,以改变预测结果。我们的方法也是模型不可知的,适用于数值和分类输入特征。我们展示了MOC在具体案例中的实用性,并将我们的方法与最先进的反事实解释方法进行了比较。
2020-06-24 cs.LG stat.ML
Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Anthropic
本研究提出CHIVE流程,通过反事实实验评估大语言模型行为的解释,发现常见可解释性技术无预测提升,且CHIVE生成的训练数据可实现分布外泛化。
2026-08-18 cs.AI cs.LG
Optimal Counterfactual Explanations for Scorecard modelling
反事实解释是近年来引起人们关注的用于为机器学习模型提供可解释性的事后方法之一。文献中的大多数例子都解决了在贷款申请被拒绝后为黑盒机器学习模型生成事后解释的问题。相比之下,在这项工作中,我们调查的数学规划公式记分卡模型,一种类型的解释模型在银行业的贷款占主导地位。建议的混合整数规划公式结合目标函数,以确保密切,现实和稀疏的反事实使用多目标优化技术的二进制,概率或连续的结果。此外,我们扩展这些配方,同时产生多个最佳的反事实,同时保证多样性。两个真实世界的数据集上的实验证实,所提出的方法可以生成最佳的不同的反事实解决所需的属性与可压缩的CPU时间的实践使用。
2021-05-09 cs.LG math.OC
An effect analysis of the balancing techniques on the counterfactual explanations of student success prediction models
Humboldt University of Berlin(柏林洪堡大学);Eskisehir Technical University(埃斯基谢希尔技术大学)
本文通过开放大学学习分析数据集案例研究,分析了多种反事实生成方法在平衡处理后的有效性,为学生成功预测模型选择合适方法提供依据。
2024-08-01 cs.LG stat.ML
GCFX: Generative Counterfactual Explanations for Deep Graph Models at the Model Level
South China University of Technology(华南理工大学)
GCFX通过生成模型级反事实解释,提升深度图模型的可解释性和可信度。
2026-01-26 cs.AI cs.LG