On the computation of counterfactual explanations -- A survey
Bielefeld University(比勒费尔德大学)
由于机器学习在实践中的使用越来越多,能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释,其提供对机器学习模型的直观且有用的解释。在这项调查中,我们回顾了模型特定的方法,有效地计算反事实的解释,许多不同的机器学习模型,并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
Efficient computation of counterfactual explanations of LVQ models
Bielefeld University(比勒费尔德大学)
机器学习在实践中的使用越来越多,以及欧盟GDPR等法律法规的出台,使得有必要能够解释机器学习模型的预测和行为。在决策背景下对人工智能模型进行特别直观的解释的一个突出例子是反事实解释。然而,如何有效地计算许多模型的反事实解释仍然是一个开放的研究问题。我们研究如何有效地计算反事实的解释一类重要的模型,基于原型的分类器,如学习矢量量化模型。特别是,我们得出具体的凸和非凸的程序取决于所使用的度量。
2020-01-27 cs.AI cs.LG stat.ML
"Explain it in the Same Way!" -- Model-Agnostic Group Fairness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学)
反事实解释是一种流行的解释类型,用于使决策系统的结果对用户透明。反事实解释告诉用户做什么,以改变系统的结果在一个理想的方式。然而,最近发现,关于如何做的建议在受保护的个人群体之间的复杂性可能有很大差异。向一个群体提供更困难的行动建议会导致这个群体与其他群体相比处于不利地位。在这项工作中,我们提出了一个模型不可知的方法计算反事实的解释,不显着不同的保护组之间的复杂性。
2022-11-27 cs.AI cs.CY cs.LG
Algorithmic Recourse: from Counterfactual Explanations to Interventions
MPI-IS(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);Saarland University(萨尔兰大学)
随着机器学习越来越多地用于为后续决策提供信息(例如,审前保释和贷款批准),就必须解释该制度是如何作出决定的,并建议采取行动以作出有利的决定。反事实的解释-“为了实现理想的结果,世界必须(必须)如何不同”-旨在满足这些标准。现有的作品主要集中在设计算法,以获得反事实的解释范围广泛的设置。然而,“解释作为帮助数据主体采取行动而不仅仅是理解的手段”的主要目标之一被忽视了。用外行人的话来说,反事实解释告诉一个人他们需要去哪里,但不是如何去那里。在这项工作中,我们依赖于因果推理,以告诫不要使用反事实的解释作为一个合理的一套追索行动。相反,我们提出了一个范式的转变,从追索权通过最接近的反事实的解释,追索权通过最小的干预,将重点从解释的建议。最后,我们为读者提供了一个广泛的讨论,如何切实实现追索权超越结构性干预。
2020-10-08 cs.AI cs.LG stat.ML
Generating Counterfactual and Contrastive Explanations using SHAP
IIIT Hyderabad(海得拉巴国际信息技术学院)
随着GDPR的出现,可解释的人工智能和模型可解释性领域获得了额外的推动力。提取和传达决策模型可视性的方法已成为法律要求。两种特定类型的解释,对比和反事实已被确定为适合人类理解。在本文中,我们提出了一个模型不可知的方法及其系统的实现,以产生这些解释,使用shapely添加剂的解释(SHAP)。我们讨论了一个生成管道来创建对比解释,并使用它来进一步生成反事实数据点。该管道在IRIS,葡萄酒质量和移动功能数据集上进行了测试和讨论。所得结果分析如下。
2019-06-21 cs.AI cs.LG stat.ML
Convex optimization for actionable \& plausible counterfactual explanations
Bielefeld University(比勒费尔德大学)
透明性是部署在现实世界中的基于机器学习的决策系统的基本要求。通常,给定系统的透明度是通过提供给定系统的行为和预测的解释来实现的。反事实解释是对决策系统的特定直觉解释的一个突出实例。虽然存在许多不同的计算反事实解释的方法,但只有很少的工作(除了因果关系领域的工作)考虑了特征依赖性以及可能限制可能的反事实解释集的可解释性。在这项工作中,我们加强了我们以前的工作,凸建模计算反事实的解释,确保actionability和actionability的机制,所产生的反事实的解释。
2021-05-17 cs.AI cs.LG
Exploring Counterfactual Explanations Through the Lens of Adversarial Examples: A Theoretical and Empirical Analysis
University of Tübingen(蒂宾根大学);Harvard University(哈佛大学)
随着机器学习(ML)模型在高风险应用中的部署越来越广泛,反事实解释已经成为在实践中提供可操作模型解释的关键工具。尽管反事实解释越来越流行,但对这些解释的更深入理解仍然缺乏。在这项工作中,我们系统地分析反事实的解释,通过镜头的对抗性的例子。我们这样做是通过形式化流行的反事实解释和对抗性的例子生成方法之间的相似性识别条件时,他们是等价的。然后,我们推导出反事实解释和对抗性示例生成方法输出的解决方案之间距离的上界,并在几个真实数据集上进行了验证。通过建立反事实解释和对抗性例子之间的理论和经验相似性,我们的工作提出了关于现有反事实解释算法的设计和开发的基本问题。
2021-10-19 cs.AI cs.LG
The Dangers of Post-hoc Interpretability: Unjustified Counterfactual Explanations
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);AXA(安盛集团);Polish Academy of Science(波兰科学院)
事后可解释性方法已被证明是强大的工具,可以为经过训练的黑盒模型所做的预测生成解释。然而,它们会产生这样的风险,即解释是模型学习的一些工件的结果,而不是来自数据的实际知识。本文重点讨论反事实解释的情况,并询问生成的实例是否可以被证明是合理的,即连续连接到一些地面真相数据。我们通过调查其预测要解释的实例的局部邻域来评估生成不合理的反事实实例的风险,并表明这种风险对于几个数据集来说是相当高的。此外,我们发现,大多数国家的最先进的方法不区分合理的不合理的反事实的例子,导致不太有用的解释。
2019-07-22 cs.AI cs.LG stat.ML
Evaluating Robustness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学)
透明度是决策系统在现实世界中部署的基本要求。它通常通过提供系统行为的解释来实现。一个突出的和直观的解释类型是反事实的解释。反事实解释通过建议操作(如对输入的更改)向用户解释行为,这些操作将导致系统的不同(指定)行为。然而,这种解释方法对于输入的微小变化可能是不稳定的,即即使输入的微小变化也可能导致输出和解释的巨大或任意变化。这对于反事实的解释来说可能是有问题的,因为两个相似的人可能会得到非常不同的解释。更糟糕的是,如果建议的行动在复杂性上有很大的不同,人们会认为这种不稳定的(反事实的)解释是不公平的。在这项工作中,我们正式和实证研究的鲁棒性的反事实的解释一般,以及在不同的模型和不同种类的扰动。此外,我们建议,合理的反事实解释,而不是最接近的反事实解释,以提高鲁棒性,从而提高个人的公平性的反事实解释。
2021-07-22 cs.AI cs.LG
Counterfactual Explanations for Hypergraph Neural Networks
Department of Computer Control and Management Engineering, Sapienza University(计算机控制与管理工程系,萨皮恩扎大学);Department of Computer Science, Sapienza University(计算机科学系,萨皮恩扎大学)
提出CF-HyperGNNExplainer方法,通过最小结构变化生成反事实超图,以解释超图神经网络的预测决策。
2026-05-24 cs.AI cs.CY cs.LG
KONTOGRAPH: Verified Point-in-Time Feature Consistency and Amortised Explanation for Real-Time Anti-Money Laundering under a 200 ms Decision Budget
Faculty of Media Engineering and Technology(媒体工程与技术学院);German University in Cairo(开罗德国大学)
该研究针对欧盟2024/886号条例的10秒结算要求,构建了200毫秒决策预算的KONTOGRAPH反洗钱流水线,发现时间图网络性能显著提升、特征编译存在时点违规、ONNX转换会影响决策。
2026-08-25 cs.AI cs.CR cs.LG
Robust Counterfactual Explanations for Tree-Based Ensembles
JP Morgan AI Research(摩根大通人工智能研究院)
反事实解释告知从机器学习模型实现期望结果的方法。然而,这样的解释对于基础模型中的某些真实世界变化(例如,重新训练模型、改变超参数等),质疑它们在几种应用中的可靠性,例如,信用贷款在这项工作中,我们提出了一种新的策略-我们称之为RobX -为基于树的集合生成鲁棒的反事实,例如,XGBoost。基于树的集合在鲁棒的反事实生成中提出了额外的挑战,例如,它们具有非光滑且不可微的目标函数,并且在对非常相似的数据进行重新训练的情况下,它们可能会在参数空间中发生很大变化。我们首先介绍一种新的度量标准-我们称之为反事实稳定性-试图量化反事实在重新训练下对模型变化的鲁棒性,并具有理想的理论属性。我们提出的策略RobX适用于任何反事实生成方法(基本方法),并通过使用我们的度量反事实稳定性迭代地改进基本方法生成的反事实来搜索鲁棒的反事实。我们在基准数据集上比较了RobX与流行的反事实生成方法(用于基于树的集合)的性能。结果表明,我们的策略生成的反事实比现有的最先进的方法更强大(实际模型更改后的有效性接近100%),也更现实(就局部离群值因子而言)。
2022-07-17 cs.AI cs.CY cs.LG
Issues with post-hoc counterfactual explanations: a discussion
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);AXA(安盛);Polish Academy of Science(波兰科学院)
反事实事后可解释性方法已被证明是有用的工具,以生成解释的训练黑盒分类器的预测。然而,他们对数据和分类器的假设使他们在许多情况下不可靠。在本文中,我们讨论了三个理想的属性和方法来量化它们:邻近性,连通性和稳定性。此外,我们还说明了事后反事实方法不满足这些属性的风险。
2019-06-11 cs.AI cs.LG stat.ML
Counterfactual Visual Explanations
Georgia Institute of Technology(佐治亚理工学院);Siemens Corporation(西门子公司)
在这项工作中,我们开发了一种技术来产生反事实的视觉解释。给定视觉系统预测类$c$的“查询”图像$I$,反事实视觉解释标识$I$如何改变,使得系统将输出不同的指定类$c'$。为此,我们选择系统预测为类$c'$的“干扰项”图像$I'$,并识别$I$和$I'$中的空间区域,使得用$I'$中的识别区域替换$I$中的识别区域将推动系统将$I$分类为$c'$。我们将我们的方法应用于多个图像分类数据集,生成定性结果,展示我们的反事实解释的可解释性和判别力。为了探索我们的解释在教人类的有效性,我们提出了细粒度的鸟类分类任务的机器教学实验。我们发现,用户训练区分鸟类票价更好时,除了训练样本获得反事实的解释。
2019-06-11 cs.AI cs.CV cs.LG
Semi-supervised counterfactual explanations
IBM Research(IBM研究院)
机器学习模型的反事实解释用于找到对特征值的最小干预,使得模型将预测改变为不同的输出或目标输出。一个有效的反事实解释应该有可能的特征值。在这里,我们解决了生成反事实解释的挑战,这些解释位于与训练数据相同的数据分布中,更重要的是,它们属于目标类分布。通过在反事实搜索过程中纳入自动编码器重构损失,解决了这一要求。将分类器的输出行为连接到自动编码器的潜在空间进一步提高了反事实搜索过程的速度和所得反事实解释的可解释性。继续这条研究路线,我们展示了当自动编码器以半监督的方式使用类标记的输入数据进行训练时,反事实解释的可解释性的进一步改善。我们在多个数据集上实证评估了我们的方法,并在多个指标方面显示出相当大的改进。
2023-03-22 cs.AI cs.LG
GRETEL: A unified framework for Graph Counterfactual Explanation Evaluation
Gran Sasso Science Institute(格兰萨索科学研究所);Università degli Studi dell’Aquila(拉奎拉大学)
机器学习(ML)系统是现代工具的一部分,在多个应用领域影响着我们的日常生活。由于其黑盒性质,这些系统很难在理解决策过程至关重要的应用领域(例如健康,金融)中采用。开发了解释方法来解释ML模型如何为给定的案例/实例做出特定的决策。图反事实解释(GCE)是图学习领域采用的解释技术之一。现有的工作图反事实解释分歧主要是在问题定义,应用领域,测试数据,和评估指标,大多数现有的作品没有详尽地比较与其他反事实的解释技术在文献中。我们提出了GRETEL,这是一个用于在多种环境中开发和测试GCE方法的统一框架。GRETEL是一个高度可扩展的评估框架,通过提供一组定义良好的机制来轻松集成和管理,促进开放科学和评估的可重复性:真实和合成数据集,ML模型,最先进的解释技术和评估措施。为了展示GRETEL,我们展示了通过几种现有的解释技术和基础ML模型来整合和测试几个合成和真实数据集的实验。
2022-06-07 cs.AI cs.LG stat.ML
If Only We Had Better Counterfactual Explanations: Five Key Deficits to Rectify in the Evaluation of Counterfactual XAI Techniques
University College Dublin(都柏林大学)
近年来,作为可解释人工智能(XAI)问题的解决方案,人工智能对反事实解释的研究出现了爆炸式增长。这些解释似乎比其他解释技术提供了技术、心理和法律上的好处。我们调查了文献中报道的100种不同的反事实解释方法。本调查涉及这些方法在心理和计算方面得到充分评估的程度,并量化了出现的不足。例如,这些方法中只有21%经过用户测试。这些方法的评估中的五个关键缺陷进行了详细说明,并提出了一个路线图,标准化的基准评估,以解决所产生的问题,问题,目前有效地阻止在这一领域的科学进步。
2021-02-26 cs.AI cs.LG
Deep Backtracking Counterfactuals for Causally Compliant Explanations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
本文提出DeepBC方法,通过Langevin Monte Carlo采样或约束优化在深度生成结构因果模型中计算回溯反事实,实现因果合规、通用且模块化的高维数据解释。
2024-08-10 cs.AI cs.LG stat.ML
The privacy issue of counterfactual explanations: explanation linkage attacks
University of Antwerp(安特卫普大学)
黑盒机器学习模型正在越来越多的高风险领域中使用,这使得对可解释AI(XAI)的需求不断增长。不幸的是,XAI在机器学习中的使用引入了新的隐私风险,这些风险目前在很大程度上尚未被注意到。我们介绍了解释链接攻击,这可能会发生在部署基于实例的策略,以找到反事实的解释。为了应对这种攻击,我们提出了k-匿名反事实解释,并引入纯粹性作为一个新的度量标准来评估这些k-匿名反事实解释的有效性。我们的结果表明,使解释,而不是整个数据集,k-匿名,是有益的解释的质量。
2022-10-21 cs.CR cs.CY cs.LG
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin(都柏林大学);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk科学基金会爱尔兰研究中心)
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能(XAI)问题的流行解决方案,因为它们具有心理有效性,跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法,声称可以产生类似于人们偏好的合理解释,但实际上很少有用户进行过测试($\sim7\%$)。因此,这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决,该方法(i)在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释,然后(ii)将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明,人类不“最低限度地编辑”图像时,产生反事实的解释。相反,它们会进行更大的、“有意义的”编辑,以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin(都柏林大学学院);Accenture Labs(埃森哲实验室);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心)
反事实解释是一种越来越受欢迎的事后解释形式,这是由于它们(i)跨问题领域的适用性,(ii)建议的法律合规性(例如,与GDPR),以及(iii)依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例,但我们探索了一种新的用例,其中使用“组反事实”(例如,以突出显示一组患者中的疾病的重复模式)。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的,组反事实算法,以产生高覆盖率的解释,是忠实于被解释的模型。该解释策略也在一项大型对照用户研究(N=207)中进行了评估,使用客观(即,准确性)和主观性(即,信心、解释满意度和信任)心理测量。结果表明,群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
KTCF: Actionable Recourse in Knowledge Tracing via Counterfactual Explanations for Education
KTCF通过反事实解释为教育中的知识追踪提供可操作的救济,提升教育AI的实用性和责任性。
2026-01-14 cs.AI cs.CY cs.LG
Preserving Causal Constraints in Counterfactual Explanations for Machine Learning Classifiers
Microsoft Research(微软研究院);University of Colorado Boulder(科罗拉多大学博尔德分校)
为了构建与原始ML模型一致的可解释解释的解释,已经提出了反事实的例子-显示模型的输出如何随着输入的小扰动而变化。本文通过解决这些例子的可行性的挑战,扩展了反事实解释的工作。对于医疗保健和金融等关键领域的ML模型的解释,反事实示例仅在现实世界中特征输入的扰动可行的情况下对最终用户有用。我们制定的可行性问题,保持输入功能之间的因果关系,并提出了一种方法,使用(部分)结构因果模型,以产生可操作的反事实。当可行性约束不能很容易地表示,我们考虑一种替代机制,人们可以标记生成的CF的例子上的可行性:它是否是可行的干预和实现候选CF的例子从原始输入。为了从这个标记的可行性数据中学习,我们提出了一个修改的变分自动编码器损失,用于生成CF示例,当人们与其输出交互时,该示例优化了可行性。我们在贝叶斯网络和广泛使用的“成人收入”数据集上的实验表明,我们提出的方法可以生成比现有方法更好地满足可行性约束的反事实解释。代码存储库可在此处访问:\textit{https://github.com/divyat09/cf-feasibility}
2020-06-12 cs.AI cs.LG stat.ML
On Counterfactual Explanations under Predictive Multiplicity
University of Tuebingen(图宾根大学);Schufa AG(舒法股份公司)
反事实解释通常通过识别对输入所做的最小改变来改变由固定模型所做的预测来获得(以下称为稀疏方法)。然而,最近的工作使一个古老的观点重新焕发了活力:对于常用的感兴趣的度量(例如出错率),通常不存在一个更好的预测问题的解决方案。事实上,通常多个不同的分类器给出几乎相同的解决方案。这种现象被称为预测多重性(Breiman,2001; Marx等人,2019年)。在这项工作中,我们得到了一个一般的上限预测多重性下的反事实解释的成本。最值得注意的是,它取决于两个分类器之间的差异概念,它描述了它们如何不同地对待负面预测的个体。然后,我们比较稀疏和数据支持方法的经验对现实世界的数据。结果表明,数据支持方法对不同模型的多样性具有更强的鲁棒性。与此同时,我们证明了这些方法在一个固定模型下产生反事实解释的成本更高。总之,我们的理论和实验结果挑战了普遍持有的观点,即反事实的建议一般应该是稀疏的。
2020-06-23 cs.CY cs.LG stat.ML
counterfactuals: An R Package for Counterfactual Explanation Methods
LMU Munich(慕尼黑大学);MCML(慕尼黑机器学习中心)
本文介绍 counterfactuals R 包,通过统一的 R6 接口实现并扩展三种反事实解释方法,并在多种模型和数据集上比较其解释质量与运行效率。
2023-09-15 cs.LG stat.CO stat.ML
A New Approach to Backtracking Counterfactual Explanations: A Unified Causal Framework for Efficient Model Interpretability
Munich Center for Machine Learning(慕尼黑机器学习中心);Sharif University of Technology(谢里夫理工大学)
提出基于回溯反事实的高效方法BRACE,融合因果推理生成可执行解释,克服传统方法忽视因果及计算昂贵的问题,并在特定场景下推广先前技术。
2025-05-22 cs.AI cs.LG stat.ML
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
反事实的解释,处理“为什么不呢?“场景,可以为AI代理的行为提供有见地的解释。在这项工作中,我们专注于为在Atari等视觉输入环境中运行的深度强化学习(RL)代理生成反事实解释。我们介绍了反事实状态解释,这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说,反事实状态说明了Atari游戏图像需要什么样的最小变化,以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查,如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人,我们比较与基线方法的基础上最近的邻居解释,使用图像从实际的游戏。我们的研究结果表明,反事实状态的解释有足够的保真度,以实际的游戏图像,使非专家更有效地确定一个有缺陷的RL代理相比,最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
Counterfactual Explanations for Predictive Business Process Monitoring
paluno - The Ruhr Institute for Software Technology(帕鲁诺——鲁尔软件技术研究所)
预测性业务流程监控越来越多地利用复杂的预测模型。虽然复杂模型的预测精度始终高于简单模型,但一个主要缺点是缺乏可解释性,这限制了它们在实践中的采用。因此,我们看到对可解释的预测业务流程监控的兴趣越来越大,其目的是提高预测模型的可解释性。现有的解决方案侧重于给出事实解释。虽然事实解释可能有帮助,但人类通常不会问为什么做出特定的预测,而是为什么做出它而不是另一个预测,即,人类对反事实的解释很感兴趣虽然可解释人工智能的研究产生了几种有前途的技术来生成反事实解释,但直接将它们应用于预测过程监控可能会产生不切实际的解释,因为它们忽略了底层的过程约束。我们提出了LORELEY,一种用于预测过程监控的反事实解释技术,它扩展了LORE,一种最近可解释的人工智能技术。我们施加控制流约束的解释生成过程,以确保现实的反事实的解释。此外,我们扩展了LORE,使解释多类分类模型。使用真实的公共数据集的实验结果表明,LORELEY可以近似预测模型的平均保真度为97.69%,并产生现实的反事实解释。
2022-02-24 cs.AI cs.LG
DA-DGCEx: Ensuring Validity of Deep Guided Counterfactual Explanations With Distribution-Aware Autoencoder Loss
Ikerlan Technology Research Centre(伊克尔兰技术研究中心);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟);Mondragon University(蒙德拉贡大学)
深度学习已经成为不同领域中非常有价值的工具,没有人怀疑这些模型的学习能力。然而,由于深度学习模型由于缺乏可解释性而经常被视为黑匣子,因此在其决策过程中存在普遍的不信任。为了在有效性和可解释性之间找到平衡,可解释人工智能(XAI)近年来越来越受欢迎,该领域的一些方法用于生成反事实解释。生成这些解释的过程通常包括为要解释的每个输入求解优化问题,这在需要实时反馈时是不可行的。为了加快这个过程,一些方法利用自动编码器来生成即时的反事实解释。最近,提出了一种称为深度引导反事实解释(DGCEx)的方法,该方法训练了一个连接到分类模型的自动编码器,以生成简单的反事实解释。然而,该方法不能确保生成的反事实实例接近数据流形,因此可能生成不切实际的反事实实例。为了克服这个问题,本文提出了分布式感知深度引导反事实推理(DA-DGCEx),它在DGCEx成本函数中添加了一个项,该项对分布式反事实实例进行惩罚。
2021-04-22 cs.AI cs.LG
DifCluE: Generating Counterfactual Explanations with Diffusion Autoencoders and modal clustering
TCS Research(TCS研究院)
本文提出 DifCluE,结合扩散自编码器与潜在空间模态聚类,识别类别内不同模态方向,从而生成多样可靠的反事实解释,性能优于现有方法。
2025-02-17 cs.AI cs.LG
Counterfactual Training: Teaching Models Plausible and Actionable Explanations
Delft University of Technology(代尔夫特理工大学)
本文提出反事实训练方法,通过在训练阶段利用反事实来提高模型的解释能力和对抗鲁棒性。
2026-01-22 cs.AI cs.LG
TDLS: A Top-Down Layer Searching Algorithm for Generating Counterfactual Visual Explanation
人工智能的解释,以及算法决策的公平性和决策模型的透明性变得越来越重要。在打开黑盒模型时,设计有效和人性化的技术至关重要。反事实符合人类的思维方式,并提供人性化的解释,其相应的解释算法是指对给定数据点进行策略性的交替,使其模型输出“反事实”,即预测被还原。在本文中,我们采用反事实解释细粒度的图像分类问题。我们展示了一种自适应的方法,可以给出一个反事实的解释,通过显示组成的反事实的特征图,使用自顶向下的层搜索算法(TDLS)。我们已经证明,我们的TDLS算法可以提供更灵活的反事实的视觉解释,在一个有效的方式使用VGG-16模型在Caltech-UCSD鸟类200数据集。最后,我们讨论了反事实视觉解释的几个适用场景。
2021-08-26 cs.AI cs.CV cs.LG
A Few Good Counterfactuals: Generating Interpretable, Plausible and Diverse Counterfactual Explanations
Insight SFI Centre for Data Analytics(Insight SFI数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心);University College Dublin(都柏林大学)
反事实解释为可解释人工智能(XAI)问题提供了一个潜在的重要解决方案,但良好的原生反事实已被证明很少出现在大多数数据集中。因此,最流行的方法使用盲扰动生成合成反事实。然而,这种方法有几个缺点:(i)产生的反事实可能不是有效的数据点(它们通常使用不自然发生的特征),(ii)可能缺乏良好反事实的稀疏性(如果它们修改了太多的特征),以及(iii)可能缺乏多样性(如果生成的反事实是彼此的最小变体)。我们描述了一种方法,旨在克服这些问题,一个适应原生的反事实在原始数据集中,生成稀疏的,不同的合成反事实从自然发生的功能。一系列的实验报告,系统地探讨这种新方法的参数变化,在常见的数据集,以建立最佳性能的条件。
2021-01-22 cs.AI cs.LG
Evaluating counterfactual explanations using Pearl's counterfactual method
University of the Witwatersrand(威特沃特斯兰德大学)
反事实解释(英语:Counterfactual explanations,CE)是一种产生另一种情景的方法,这种情景会产生不同的理想结果。例如,如果一个学生被预测会不及格,那么反事实解释可以为学生提供替代方法,这样他们就可以被预测会通过。应用程序很多。然而,CE目前是从机器学习模型生成的,这些模型不一定考虑数据中的真实因果结构。通过这样做,可以将偏差引入CE量中。我建议在这项研究中,测试CE使用朱迪亚珍珠的计算反事实的方法,迄今为止,令人惊讶的是,没有看到在反事实的解释(CE)的文献。此外,我评估这些CE上的三个不同的因果结构,以显示如何真正的潜在因果结构影响CE的产生。本研究提出了一种使用Pearl方法评估CE的方法,结果表明(尽管使用了有限的样本量),30%的CE与Pearl方法计算的CE相冲突。这表明,我们不能简单地相信CE,在使用原始机器学习模型盲目计算反事实之前,了解真正的因果结构至关重要。
2023-01-06 cs.LG stat.ML
Flexible Counterfactual Explanations with Generative Models
Vrije Universiteit Brussel(布鲁塞尔自由大学);Universiteit Antwerpen(安特卫普大学);Harvard University(哈佛大学)
提出灵活反事实解释框架,结合生成对抗网络FCEGAN,支持用户动态指定可变特征,适用于黑盒场景,提升解释有效性。
2025-02-24 cs.AI cs.LG stat.ME
CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms
University of Tübingen(图宾根大学);CarePay International(CarePay国际公司)
反事实解释通过建议可操作的特征改变(例如,增加收入),使个人在未来取得有利的结果(例如,保险审批)。选择合适的方法是有意义的反事实解释的一个关键方面。正如最近的综述中所记载的那样,有一个快速增长的文献与可用的方法。然而,在缺乏广泛可用的开源实现的情况下,支持某些模型的决定主要是基于什么是现成的。展望未来-为了保证解释方法之间有意义的比较-我们提出了CARLA(反事实和追索权库),这是一个Python库,用于在不同的数据集和不同的机器学习模型上对反事实解释方法进行基准测试。总之,我们的工作提供了以下贡献:(i)11种流行的反事实解释方法的广泛基准,(ii)未来反事实解释方法研究的基准框架,以及(iii)一套标准化的综合评估措施和数据集,用于这些方法的透明和广泛的比较。我们在Github上开源了CARLA和我们的实验结果,使它们可以作为竞争基线。我们欢迎其他研究团体和从业人员的贡献。
2021-08-02 cs.AI cs.LG
TriShGAN: Enhancing Sparsity and Robustness in Multivariate Time Series Counterfactuals Explanation
本文提出TriShGAN,通过在CounteRGAN框架中引入三元组损失和Shapelet提取器,在保持低代价的同时增强多元时间序列反事实解释的鲁棒性与稀疏性。
2025-11-09 cs.AI cs.LG
FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles
University of Amsterdam(阿姆斯特丹大学);Radboud University(拉德堡德大学)
由于算法决策对人类的影响越来越大,模型可解释性已经成为机器学习(ML)中的一个重要问题。反事实解释不仅可以帮助用户理解为什么ML模型做出某些决策,还可以帮助用户理解如何改变这些决策。我们将寻找反事实解释的问题框架为基于梯度的优化任务,并扩展了以前只能应用于可微模型的工作。为了适应不可微的模型,如树集成,我们使用概率模型近似的优化框架。我们介绍了一种近似技术,这是有效的寻找反事实的解释,为原始模型的预测,并表明我们的反事实的例子显着更接近原始的实例比其他方法专门设计的树合奏。
2021-12-17 cs.AI cs.LG
Realistic Counterfactual Explanations with Learned Relations
Australian National University(澳大利亚国立大学)
许多现有的反事实解释方法忽略了数据属性之间的内在关系,从而无法产生现实的反事实。此外,现有的模型,占关系需要领域知识,这限制了它们在复杂的现实世界中的应用。在本文中,我们提出了一种新的方法来现实的反事实的解释,保持关系,并尽量减少专家的干预。该模型直接学习的关系,变分自动编码器与最小的领域知识,然后学习扰动的潜在空间。我们在合成和真实世界的数据集上进行了广泛的实验。实验结果表明,该模型从数据中学习关系,并在生成的反事实中保留这些关系。特别是,它优于其他方法的Mahalanobis距离和约束可行性得分。
2022-05-29 cs.LG stat.ML
CeFlow: A Robust and Efficient Counterfactual Explanation Framework for Tabular Data using Normalizing Flows
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实解释是可解释的机器学习的一种形式,它在样本上产生扰动以实现期望的结果。生成的样本可以作为指导最终用户如何通过改变样本来观察所需结果的说明。尽管提出了最先进的反事实解释方法以使用变分自编码器(VAE)来实现有希望的改进,但是它们遭受两个主要限制:1)反事实生成非常慢,这阻止了算法在交互式环境中部署; 2)由于变分自编码器的采样过程中的随机性,反事实解释算法产生不稳定的结果。在这项工作中,为了解决上述限制,我们设计了一个强大而有效的反事实解释框架,即CeFlow,它利用规范化流的混合类型的连续和分类的功能。数值实验表明,我们的技术相媲美的最先进的方法。我们在https://github.com/tridungduong16/fairCE.git上发布了我们的源代码,用于复制结果。
2023-03-26 cs.AI cs.LG
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation
Salesforce Research(赛富时研究院)
反事实解释是解释机器学习预测的一种重要的可解释人工智能技术。现有的基于优化的方法虽然得到了积极的研究,但通常假设底层机器学习模型是可微的,并将分类属性视为连续属性,这限制了它们在分类属性具有许多不同值或模型不可微时的实际应用。为了使反事实解释适用于现实世界的应用,我们提出了一种新的框架模型不可知的反事实解释(MACE),它采用了一种新设计的管道,可以有效地处理大量特征值上的不可微机器学习模型。在我们的MACE方法中,我们提出了一种新的基于RL的方法来寻找好的反事实的例子和无梯度下降方法来提高接近度。在公开数据集上的实验验证了该方法的有效性,具有较好的有效性、稀疏性和接近性。
2022-05-31 cs.AI cs.LG
Tabular Diffusion based Actionable Counterfactual Explanations for Network Intrusion Detection
University of Western Ontario(西安大略大学)
针对网络入侵检测中黑箱模型解释难以转化为对策的问题,提出基于表格扩散的反事实解释框架,可高效生成最小、多样且可归纳为全局防御规则的可行动解释。
2025-07-23 cs.AI cs.LG
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London(伦敦大学城市学院)
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中,局部解释被期望解释预测的结果以及如果“事情有所不同”,预测将如何改变。此外,我们认为,令人满意的解释不能脱离的概念和保真度的措施,主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型,这是基于距离的目标决策边界。一个系统称为CLEAR:通过回归反事实的本地解释,介绍和评价。CLEAR生成w-反事实解释,说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型,使用w-反事实来衡量和提高其回归的保真度。相比之下,流行的LIME方法也使用回归来生成局部解释,既不测量自己的保真度,也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的,平均超过45%以上,在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
On the Definition and Detection of Cherry-Picking in Counterfactual Explanations
University of Antwerp(安特卫普大学);INSEAD
本文定义了反事实解释中的樱桃选取,并指出其检测难度大,建议优先考虑可重复性、标准化和过程约束而非事后检测。
2026-01-08 cs.AI cs.LG
The Impact of Machine Learning Uncertainty on the Robustness of Counterfactual Explanations
CaSToRC, The Cyprus Institute, Nicosia, Cyprus(塞浦路斯研究所);University of Bologna, Bologna, Italy(博洛尼亚大学)
研究探讨了机器学习不确定性对反事实解释鲁棒性的影响,发现模型不确定性会显著影响反事实生成的稳定性。
2026-01-20 cs.AI cs.LG
Counterfactual explanation of machine learning survival models
Peter the Great St.Petersburg Polytechnic University (SPbPU)(彼得大帝圣彼得堡理工大学)
提出了一种机器学习生存模型的反事实解释方法。解决反事实解释问题的难点之一是样本的类别是通过机器学习生存模型的结果以生存函数的形式隐式定义的。一个条件,建立之间的差异的原始例子和反事实的生存功能。该条件基于使用事件平均时间之间的距离。当被解释的黑箱模型为Cox模型时,反事实解释问题可归结为一个带线性约束的标准凸优化问题。对于其他黑盒模型,建议应用著名的粒子群优化算法。用实际数据和合成数据进行了大量的数值实验,验证了所提出的方法。
2020-06-26 cs.LG stat.ML
Multi-Objective Counterfactual Explanations
LMU Munich(慕尼黑大学)
反事实解释是最流行的方法之一,通过以“假设”的形式提供解释,使黑盒机器学习模型的预测可解释。大多数当前的方法优化了多个目标的折叠的加权和,这自然难以先验地平衡。我们提出了多目标反事实(MOC)方法,它将反事实搜索转化为一个多目标优化问题。我们的方法不仅返回一组不同的反事实与建议的目标之间的不同权衡,但也保持了多样性的特征空间。这使得能够进行更详细的事后分析,以促进更好的理解,并且还能够提供更多的可操作用户响应选项,以改变预测结果。我们的方法也是模型不可知的,适用于数值和分类输入特征。我们展示了MOC在具体案例中的实用性,并将我们的方法与最先进的反事实解释方法进行了比较。
2020-06-24 cs.LG stat.ML
Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Anthropic
本研究提出CHIVE流程,通过反事实实验评估大语言模型行为的解释,发现常见可解释性技术无预测提升,且CHIVE生成的训练数据可实现分布外泛化。
2026-08-18 cs.AI cs.LG
An effect analysis of the balancing techniques on the counterfactual explanations of student success prediction models
Humboldt University of Berlin(柏林洪堡大学);Eskisehir Technical University(埃斯基谢希尔技术大学)
本文通过开放大学学习分析数据集案例研究,分析了多种反事实生成方法在平衡处理后的有效性,为学生成功预测模型选择合适方法提供依据。
2024-08-01 cs.LG stat.ML
GCFX: Generative Counterfactual Explanations for Deep Graph Models at the Model Level
South China University of Technology(华南理工大学)
GCFX通过生成模型级反事实解释,提升深度图模型的可解释性和可信度。
2026-01-26 cs.AI cs.LG
Generating Counterfactual Explanations Using Cardinality Constraints
Institute of Digitalization and Informatics(数字化与信息学研究所)
针对反事实解释因与原始样本差异特征过多而难以解读的问题,提出在反事实生成中加入基数约束以限制差异特征数量,提升反事实的可解释性与易懂性。
2024-04-11 cs.AI cs.LG
Gradient-based Counterfactual Explanations using Tractable Probabilistic Models
TU Darmstadt(达姆施塔特工业大学)
反事实示例是机器学习模型的一类有吸引力的事后解释。给定类$y_1$的输入$x$,其反事实是另一个类$y_0$的对比示例$x^\prime$。目前的方法主要是通过复杂的优化来解决这个任务:基于具有硬约束或软约束的反事实结果$y_0$的损失来定义目标函数,然后将该函数作为黑盒来优化。然而,这种“深度学习“方法相当缓慢,有时很棘手,并且可能导致不切实际的反事实示例。在这项工作中,我们提出了一种新的方法来处理这些问题,只使用两个梯度计算的基础上听话的概率模型。首先,我们计算一个无约束的反事实$x$的$u$,以诱导反事实结果$y_0$。然后,我们调整$u$到更高的密度区域,从而产生$x^{\prime}$。经验证据证明了我们的方法的优势。
2022-05-16 cs.AI cs.LG
RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning
Trinity College Dublin(都柏林圣三一大学)
RACCER是首个面向强化学习的反事实解释方法,通过定义RL特有属性并采用启发式树搜索,生成可达且结果确定的反事实,实验和用户研究证明其优于现有方法。
2023-10-10 cs.AI cs.LG
DECE: Decision Explorer with Counterfactual Explanations for Machine Learning Models
Hong Kong University of Science and Technology(香港科技大学);Bloomberg L.P.(彭博有限合伙企业)
随着机器学习模型越来越多地应用于各种决策场景,人们花费越来越多的努力使机器学习模型更加透明和可解释。在各种解释技术中,反事实解释具有人性化和可操作的优点-反事实解释告诉用户如何以最小的输入变化获得所需的预测。此外,反事实解释也可以作为模型决策的有效探针。在这项工作中,我们利用反事实解释的潜力来理解和探索机器学习模型的行为。我们设计的DECE,一个交互式的可视化系统,帮助理解和探索模型的决策,对个人的实例和数据子集,支持用户从决策主体到模型开发。DECE通过结合实例和子组级别的反事实解释的优势,支持模型决策的探索性分析。我们还引入了一组交互,使用户能够自定义反事实解释的生成,以找到更适合他们需求的可操作解释。通过三个用例和专家访谈,我们证明了DECE在支持决策探索任务和实例解释方面的有效性。
2020-08-19 cs.HC cs.LG stat.ML