Counterfactual Explanations for Predictive Business Process Monitoring
paluno - The Ruhr Institute for Software Technology(帕鲁诺——鲁尔软件技术研究所)
预测性业务流程监控越来越多地利用复杂的预测模型。虽然复杂模型的预测精度始终高于简单模型,但一个主要缺点是缺乏可解释性,这限制了它们在实践中的采用。因此,我们看到对可解释的预测业务流程监控的兴趣越来越大,其目的是提高预测模型的可解释性。现有的解决方案侧重于给出事实解释。虽然事实解释可能有帮助,但人类通常不会问为什么做出特定的预测,而是为什么做出它而不是另一个预测,即,人类对反事实的解释很感兴趣虽然可解释人工智能的研究产生了几种有前途的技术来生成反事实解释,但直接将它们应用于预测过程监控可能会产生不切实际的解释,因为它们忽略了底层的过程约束。我们提出了LORELEY,一种用于预测过程监控的反事实解释技术,它扩展了LORE,一种最近可解释的人工智能技术。我们施加控制流约束的解释生成过程,以确保现实的反事实的解释。此外,我们扩展了LORE,使解释多类分类模型。使用真实的公共数据集的实验结果表明,LORELEY可以近似预测模型的平均保真度为97.69%,并产生现实的反事实解释。
2022-02-24 cs.AI cs.LG
DA-DGCEx: Ensuring Validity of Deep Guided Counterfactual Explanations With Distribution-Aware Autoencoder Loss
Ikerlan Technology Research Centre(伊克尔兰技术研究中心);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟);Mondragon University(蒙德拉贡大学)
深度学习已经成为不同领域中非常有价值的工具,没有人怀疑这些模型的学习能力。然而,由于深度学习模型由于缺乏可解释性而经常被视为黑匣子,因此在其决策过程中存在普遍的不信任。为了在有效性和可解释性之间找到平衡,可解释人工智能(XAI)近年来越来越受欢迎,该领域的一些方法用于生成反事实解释。生成这些解释的过程通常包括为要解释的每个输入求解优化问题,这在需要实时反馈时是不可行的。为了加快这个过程,一些方法利用自动编码器来生成即时的反事实解释。最近,提出了一种称为深度引导反事实解释(DGCEx)的方法,该方法训练了一个连接到分类模型的自动编码器,以生成简单的反事实解释。然而,该方法不能确保生成的反事实实例接近数据流形,因此可能生成不切实际的反事实实例。为了克服这个问题,本文提出了分布式感知深度引导反事实推理(DA-DGCEx),它在DGCEx成本函数中添加了一个项,该项对分布式反事实实例进行惩罚。
2021-04-22 cs.AI cs.LG
DifCluE: Generating Counterfactual Explanations with Diffusion Autoencoders and modal clustering
TCS Research(TCS研究院)
本文提出 DifCluE,结合扩散自编码器与潜在空间模态聚类,识别类别内不同模态方向,从而生成多样可靠的反事实解释,性能优于现有方法。
2025-02-17 cs.AI cs.LG
Counterfactual Training: Teaching Models Plausible and Actionable Explanations
Delft University of Technology(代尔夫特理工大学)
本文提出反事实训练方法,通过在训练阶段利用反事实来提高模型的解释能力和对抗鲁棒性。
2026-01-22 cs.AI cs.LG
A Few Good Counterfactuals: Generating Interpretable, Plausible and Diverse Counterfactual Explanations
Insight SFI Centre for Data Analytics(Insight SFI数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心);University College Dublin(都柏林大学)
反事实解释为可解释人工智能(XAI)问题提供了一个潜在的重要解决方案,但良好的原生反事实已被证明很少出现在大多数数据集中。因此,最流行的方法使用盲扰动生成合成反事实。然而,这种方法有几个缺点:(i)产生的反事实可能不是有效的数据点(它们通常使用不自然发生的特征),(ii)可能缺乏良好反事实的稀疏性(如果它们修改了太多的特征),以及(iii)可能缺乏多样性(如果生成的反事实是彼此的最小变体)。我们描述了一种方法,旨在克服这些问题,一个适应原生的反事实在原始数据集中,生成稀疏的,不同的合成反事实从自然发生的功能。一系列的实验报告,系统地探讨这种新方法的参数变化,在常见的数据集,以建立最佳性能的条件。
2021-01-22 cs.AI cs.LG
CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms
University of Tübingen(图宾根大学);CarePay International(CarePay国际公司)
反事实解释通过建议可操作的特征改变(例如,增加收入),使个人在未来取得有利的结果(例如,保险审批)。选择合适的方法是有意义的反事实解释的一个关键方面。正如最近的综述中所记载的那样,有一个快速增长的文献与可用的方法。然而,在缺乏广泛可用的开源实现的情况下,支持某些模型的决定主要是基于什么是现成的。展望未来-为了保证解释方法之间有意义的比较-我们提出了CARLA(反事实和追索权库),这是一个Python库,用于在不同的数据集和不同的机器学习模型上对反事实解释方法进行基准测试。总之,我们的工作提供了以下贡献:(i)11种流行的反事实解释方法的广泛基准,(ii)未来反事实解释方法研究的基准框架,以及(iii)一套标准化的综合评估措施和数据集,用于这些方法的透明和广泛的比较。我们在Github上开源了CARLA和我们的实验结果,使它们可以作为竞争基线。我们欢迎其他研究团体和从业人员的贡献。
2021-08-02 cs.AI cs.LG
TriShGAN: Enhancing Sparsity and Robustness in Multivariate Time Series Counterfactuals Explanation
本文提出TriShGAN,通过在CounteRGAN框架中引入三元组损失和Shapelet提取器,在保持低代价的同时增强多元时间序列反事实解释的鲁棒性与稀疏性。
2025-11-09 cs.AI cs.LG
FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles
University of Amsterdam(阿姆斯特丹大学);Radboud University(拉德堡德大学)
由于算法决策对人类的影响越来越大,模型可解释性已经成为机器学习(ML)中的一个重要问题。反事实解释不仅可以帮助用户理解为什么ML模型做出某些决策,还可以帮助用户理解如何改变这些决策。我们将寻找反事实解释的问题框架为基于梯度的优化任务,并扩展了以前只能应用于可微模型的工作。为了适应不可微的模型,如树集成,我们使用概率模型近似的优化框架。我们介绍了一种近似技术,这是有效的寻找反事实的解释,为原始模型的预测,并表明我们的反事实的例子显着更接近原始的实例比其他方法专门设计的树合奏。
2021-12-17 cs.AI cs.LG
CeFlow: A Robust and Efficient Counterfactual Explanation Framework for Tabular Data using Normalizing Flows
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实解释是可解释的机器学习的一种形式,它在样本上产生扰动以实现期望的结果。生成的样本可以作为指导最终用户如何通过改变样本来观察所需结果的说明。尽管提出了最先进的反事实解释方法以使用变分自编码器(VAE)来实现有希望的改进,但是它们遭受两个主要限制:1)反事实生成非常慢,这阻止了算法在交互式环境中部署; 2)由于变分自编码器的采样过程中的随机性,反事实解释算法产生不稳定的结果。在这项工作中,为了解决上述限制,我们设计了一个强大而有效的反事实解释框架,即CeFlow,它利用规范化流的混合类型的连续和分类的功能。数值实验表明,我们的技术相媲美的最先进的方法。我们在https://github.com/tridungduong16/fairCE.git上发布了我们的源代码,用于复制结果。
2023-03-26 cs.AI cs.LG
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation
Salesforce Research(赛富时研究院)
反事实解释是解释机器学习预测的一种重要的可解释人工智能技术。现有的基于优化的方法虽然得到了积极的研究,但通常假设底层机器学习模型是可微的,并将分类属性视为连续属性,这限制了它们在分类属性具有许多不同值或模型不可微时的实际应用。为了使反事实解释适用于现实世界的应用,我们提出了一种新的框架模型不可知的反事实解释(MACE),它采用了一种新设计的管道,可以有效地处理大量特征值上的不可微机器学习模型。在我们的MACE方法中,我们提出了一种新的基于RL的方法来寻找好的反事实的例子和无梯度下降方法来提高接近度。在公开数据集上的实验验证了该方法的有效性,具有较好的有效性、稀疏性和接近性。
2022-05-31 cs.AI cs.LG
Tabular Diffusion based Actionable Counterfactual Explanations for Network Intrusion Detection
University of Western Ontario(西安大略大学)
针对网络入侵检测中黑箱模型解释难以转化为对策的问题,提出基于表格扩散的反事实解释框架,可高效生成最小、多样且可归纳为全局防御规则的可行动解释。
2025-07-23 cs.AI cs.LG
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London(伦敦大学城市学院)
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中,局部解释被期望解释预测的结果以及如果“事情有所不同”,预测将如何改变。此外,我们认为,令人满意的解释不能脱离的概念和保真度的措施,主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型,这是基于距离的目标决策边界。一个系统称为CLEAR:通过回归反事实的本地解释,介绍和评价。CLEAR生成w-反事实解释,说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型,使用w-反事实来衡量和提高其回归的保真度。相比之下,流行的LIME方法也使用回归来生成局部解释,既不测量自己的保真度,也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的,平均超过45%以上,在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
On the Definition and Detection of Cherry-Picking in Counterfactual Explanations
University of Antwerp(安特卫普大学);INSEAD
本文定义了反事实解释中的樱桃选取,并指出其检测难度大,建议优先考虑可重复性、标准化和过程约束而非事后检测。
2026-01-08 cs.AI cs.LG
The Impact of Machine Learning Uncertainty on the Robustness of Counterfactual Explanations
CaSToRC, The Cyprus Institute, Nicosia, Cyprus(塞浦路斯研究所);University of Bologna, Bologna, Italy(博洛尼亚大学)
研究探讨了机器学习不确定性对反事实解释鲁棒性的影响,发现模型不确定性会显著影响反事实生成的稳定性。
2026-01-20 cs.AI cs.LG
Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Anthropic
本研究提出CHIVE流程,通过反事实实验评估大语言模型行为的解释,发现常见可解释性技术无预测提升,且CHIVE生成的训练数据可实现分布外泛化。
2026-08-18 cs.AI cs.LG
GCFX: Generative Counterfactual Explanations for Deep Graph Models at the Model Level
South China University of Technology(华南理工大学)
GCFX通过生成模型级反事实解释,提升深度图模型的可解释性和可信度。
2026-01-26 cs.AI cs.LG
Generating Counterfactual Explanations Using Cardinality Constraints
Institute of Digitalization and Informatics(数字化与信息学研究所)
针对反事实解释因与原始样本差异特征过多而难以解读的问题,提出在反事实生成中加入基数约束以限制差异特征数量,提升反事实的可解释性与易懂性。
2024-04-11 cs.AI cs.LG
Gradient-based Counterfactual Explanations using Tractable Probabilistic Models
TU Darmstadt(达姆施塔特工业大学)
反事实示例是机器学习模型的一类有吸引力的事后解释。给定类$y_1$的输入$x$,其反事实是另一个类$y_0$的对比示例$x^\prime$。目前的方法主要是通过复杂的优化来解决这个任务:基于具有硬约束或软约束的反事实结果$y_0$的损失来定义目标函数,然后将该函数作为黑盒来优化。然而,这种“深度学习“方法相当缓慢,有时很棘手,并且可能导致不切实际的反事实示例。在这项工作中,我们提出了一种新的方法来处理这些问题,只使用两个梯度计算的基础上听话的概率模型。首先,我们计算一个无约束的反事实$x$的$u$,以诱导反事实结果$y_0$。然后,我们调整$u$到更高的密度区域,从而产生$x^{\prime}$。经验证据证明了我们的方法的优势。
2022-05-16 cs.AI cs.LG
Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
Australian National University(澳大利亚国立大学)
最近关于可解释人工智能的论文为反事实的解释模式提供了令人信服的理由。虽然反事实解释在某些情况下似乎非常有效,但它们在形式上等同于对抗性例子。这为可解释性研究者提出了一个明显的悖论:如果这两个程序在形式上是等价的,那么是什么解释了反事实解释和对抗性例子之间明显的解释性分歧?我们解决这个悖论,把重点放在反事实表达的语义。为深度学习系统提供令人满意的解释将要求我们找到解释深度神经网络中隐藏层表示的语义的方法。
2020-12-18 cs.AI cs.CY cs.LG
RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning
Trinity College Dublin(都柏林圣三一大学)
RACCER是首个面向强化学习的反事实解释方法,通过定义RL特有属性并采用启发式树搜索,生成可达且结果确定的反事实,实验和用户研究证明其优于现有方法。
2023-10-10 cs.AI cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg(奥格斯堡大学);Oregon State University(俄勒冈州立大学)
反事实解释是解释人工智能模型的常用工具。对于强化学习(RL)代理,他们回答“为什么不呢?或者“如果?“的问题,通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性,因为它们的状态空间很大,而且它们的决策是总体政策的一部分,其中包括长期决策。然而,专注于反事实解释的研究,特别是对于具有视觉输入的RL代理,是稀缺的,并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务,如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法,通过将问题描述为域转移问题来生成RL代理的反事实解释,该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的,我们证明,它优于只有以前的方法在几个计算指标。此外,我们在用户研究中表明,我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
Counterfactual Explanations for Deep Learning-Based Traffic Forecasting
ETH Zurich(苏黎世联邦理工学院);WSL Institute for Snow and Avalanche Research SLF(WSL雪与雪崩研究所SLF)
本研究提出了一种基于反事实解释的框架,用于提升深度学习交通预测模型的可解释性,通过场景驱动的约束生成定制化解释,以揭示模型学习的交通模式。
2024-05-01 cs.AI cs.LG
Counterfactual Explanations for Support Vector Machine Models
Columbia University(哥伦比亚大学)
我们解决了计算反事实解释的问题-对翻转不受欢迎的模型预测的特征进行最小的更改。我们提出了一个解决这个问题的线性支持向量机(SVMs)模型。此外,我们引入了一种方法来考虑加权的行动,允许更多的变化,在某些功能比其他。特别是,我们展示了如何找到反事实的解释,以增加模型的可解释性。这些解释是有效的,只改变可操作的特征,接近数据分布,稀疏,并考虑到特征之间的相关性。我们将其转换为混合整数规划优化问题。此外,我们引入了两个新的尺度不变成本函数来评估反事实解释的质量,并使用它们来评估我们的方法与真实医疗数据集的质量。最后,我们建立了一个支持向量机模型来预测法律专业学生是否会通过律师考试使用保护功能,并使用我们的算法来揭示SVM的固有偏见。
2022-12-14 cs.AI cs.LG
A Two-Stage Algorithm for Cost-Efficient Multi-instance Counterfactual Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学);Cyprus University of Technology(塞浦路斯理工大学)
针对现有反事实解释多仅支持单实例、难以满足多实例同时适配需求的问题,提出一种灵活的两阶段算法,可查找实例组并生成成本高效的多实例反事实解释,经对比验证性能优于主流方法。
2024-05-21 cs.AI cs.LG
Counterfactual Explanation with Multi-Agent Reinforcement Learning for Drug Target Prediction
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所);Deakin University(迪肯大学)
动机:已经提出了许多高性能的DTA模型,但它们大多是黑盒的,因此缺乏人类的可解释性。可解释人工智能(XAI)可以使DTA模型更值得信赖,也可以使科学家从模型中提取生物学知识。反事实解释是解释深层神经网络行为的一种流行方法,它通过系统地回答以下问题来工作:"如果输入以这种方式改变,模型输出将如何改变?" ".大多数反事实解释方法只对单个输入数据进行操作。如何将基于反事实的XAI方法扩展到DTA模型仍然是一个悬而未决的问题,DTA模型有两个输入,一个是药物,一个是靶标,它们在本质上也是离散的。研究方法:我们提出了一个多智能体强化学习框架,多智能体反事实药物靶点结合亲和力(MACDA),产生反事实的药物-蛋白质复合物的解释。我们提出的框架提供了人类可解释的反事实实例,同时优化了反事实生成的输入药物和目标。结果如下:我们基准建议MACDA框架使用戴维斯数据集,并发现我们的框架产生更简约的解释没有损失的解释有效性,编码相似性和QED测量。然后,我们提出了一个涉及ABL1和尼洛替尼的案例研究,以证明MACDA如何解释DTA模型在其预测中输入之间的底层子结构相互作用中的行为,揭示与先前领域知识一致的机制。
2021-06-02 cs.AI cs.LG
On Generating Plausible Counterfactual and Semi-Factual Explanations for Deep Learning
University College Dublin(都柏林大学学院);Insight Centre for Data Analytics(数据分析洞察中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心)
人们越来越担心,人工智能领域最近取得的进展,特别是关于深度学习模型的预测能力,将因未能正确解释其操作和输出而受到破坏。为了应对这种不安,反事实解释在可解释人工智能(XAI)中变得非常流行,因为它们提出了计算心理和法律上的好处。然而,相比之下,半事实,这是一个类似的方式,人类通常解释他们的推理,令人惊讶的是没有得到关注。大多数反事实方法处理的是表格数据而不是图像数据,部分原因是后者的非离散性使得很难定义好的反事实。此外,生成躺在数据流形上的看似合理的解释是阻碍进展的另一个问题。本文提出了一种新的方法来产生合理的反事实(和半事实)的黑盒CNN分类器做计算机视觉。目前的方法,称为PlausIble基于异常的对比解释(PIECE),修改测试图像中的所有异常特征,使其从反事实类的角度来看是正常的(因此具体定义了反事实)。两个对照实验比较这种方法与文献中的其他方法,表明PIECE不仅在几个措施上产生最合理的反事实,而且还产生最好的半事实。
2020-09-10 cs.AI cs.LG
Counterfactual Explanations for Graph Classification Through the Lenses of Density
CENTAI Institute(CENTAI研究所);EURECAT
提出基于密度的反事实搜索框架,通过操作三角形和最大团等密集子结构生成图分类解释,在7个脑网络数据集上验证了语义相关变化单元的有效性。
2023-07-27 cs.AI cs.LG
DisCERN:Discovering Counterfactual Explanations using Relevance Features from Neighbourhoods
Robert Gordon University(罗伯特戈登大学)
反事实解释侧重于“可操作的知识”,以帮助最终用户理解如何将机器学习结果改变为更理想的结果。为此,反事实解释者需要发现与结果变化相关的输入依赖性。确定在决策中采取输出变化所需的最小特征变化子集对反事实解释者来说是一个有趣的挑战。本文介绍的Discern算法是一种基于实例的反事实解释器。在这里,反事实是通过从最近的不相似邻居(NUN)替换特征值来形成的,直到观察到可操作的变化。我们展示了如何广泛采用的功能相关性为基础的解释(即石灰,SHAP),可以通知Discern识别的最小子集的“可操作的功能”。我们在五个数据集上展示了我们的Discern算法,并与广泛使用的基于优化的反事实方法DiCE进行了比较研究。我们的研究结果表明,Discern是一种有效的策略,以尽量减少必要的可操作的变化,创造良好的反事实解释。
2021-09-13 cs.AI cs.LG
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin(都柏林大学);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk科学基金会爱尔兰研究中心)
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能(XAI)问题的流行解决方案,因为它们具有心理有效性,跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法,声称可以产生类似于人们偏好的合理解释,但实际上很少有用户进行过测试($\sim7\%$)。因此,这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决,该方法(i)在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释,然后(ii)将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明,人类不“最低限度地编辑”图像时,产生反事实的解释。相反,它们会进行更大的、“有意义的”编辑,以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
ATEX-CF: Attack-Informed Counterfactual Explanations for Graph Neural Networks
Aalborg University(奥尔堡大学);Bowling Green State University(伯灵顿州立大学);University of Central Florida(佛罗里达中央大学)
ATEX-CF通过整合对抗攻击与反事实解释,为图神经网络生成忠实且合理的实例级解释,提升模型可解释性。
2026-02-05 cs.AI cs.LG
Convex Density Constraints for Computing Plausible Counterfactual Explanations
CITEC - Cognitive Interaction Technology Bielefeld University(比勒费尔德大学认知交互技术中心)
随着机器学习的部署以及欧盟GDPR等法律法规的不断增加,需要对机器学习模型提出的决策进行用户友好的解释。反事实解释被认为是解释模型的特定决策的最流行的技术之一。虽然“任意”反事实解释的计算已经得到了很好的研究,但如何有效地计算合理可行的反事实解释仍然是一个开放的研究问题。我们建立在最近的工作,并提出和研究一个正式的定义似是而非的反事实的解释。特别是,我们研究了如何使用密度估计,以加强可验证性和可行性的反事实的解释。为了有效计算的目的,我们提出了凸密度约束,以确保所得到的反事实位于高密度的数据空间的区域。
2020-08-03 cs.AI cs.LG stat.ML
Graph Edits for Counterfactual Explanations: A comparative study
National Technical University of Athens(雅典国立技术大学)
本文通过比较监督式与无监督式图神经网络方法,研究如何利用图编辑为黑盒图像分类器生成最小且有意义的反事实解释,并评估其在性能与时间效率上的最优方案。
2024-04-18 cs.AI cs.LG
Counterfactual Explanations for Machine Learning: Challenges Revisited
University of Washington(华盛顿大学);Arthur AI;University of Maryland(马里兰大学)
反事实解释(CFE)是机器学习(ML)模型可解释性保护伞下的一种新兴技术。它们提供“如果”形式的反馈,“如果输入数据点是$x'$而不是$x$,那么ML模型的输出将是$y'$而不是$y$。ML模型的反事实解释性尚未在工业中得到广泛采用。在这篇简短的论文中,我们解释了这种缓慢吸收的原因。利用最近概述CFE理想属性的工作以及我们运行模型监控初创公司ML翼的经验,我们确定了阻碍CFE在行业中部署的突出障碍。
2021-06-14 cs.AI cs.LG
Provably Robust Bayesian Counterfactual Explanations under Model Changes
School of Computing and Digital Technologies(计算与数字技术学院);Sheffield Hallam University(谢菲尔德哈姆大学);Lee Kong Chian School of Medicine(李科金医学院);Nanyang Technological University(南洋理工大学)
本文提出PSCE方法,通过概率安全和鲁棒性保证,在模型变化下生成更可靠且具有判别性的反事实解释。
2026-02-10 cs.AI cs.LG
Robust Stochastic Graph Generator for Counterfactual Explanations
Gran Sasso Science Institute(格兰萨索科学研究所);Sapienza University of Rome(罗马大学);University of L’Aquila(拉奎拉大学)
本文提出RSGG-CE,一种从潜在空间按部分有序序列生成反事实图的鲁棒随机图生成器,并通过定量与定性实验证明其优于现有生成式解释器。
2024-01-11 cs.AI cs.LG
Guiding the generation of counterfactual explanations through temporal background knowledge for Predictive Process Monitoring
Free University of Bozen-Bolzano(博洛尼亚-博兹纳自由大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
针对预测过程监控中反事实解释未考虑时间背景知识的问题,调整基于遗传算法的反事实生成技术,使其满足时间约束,生成更合规且不损失传统质量指标的反事实解释。
2024-03-18 cs.AI cs.LG
CARE: Coherent Actionable Recourse based on Sound Counterfactual Explanations
University of Oslo(奥斯陆大学)
反事实解释方法以“假设情景”的形式解释机器学习模型的输出,而不损害真实性-可解释性权衡。他们解释了如何通过建议对输入特征进行小的更改来从模型中获得所需的预测,也就是资源。我们认为,应根据源于地面实况数据分布并与领域知识相关联的合理反事实解释,创建可诉追索权。此外,它需要保持变化/不变的功能之间的一致性,同时满足用户/域指定的约束。本文介绍了关怀,一个模块化的解释框架,解决了模型和用户级的desiderata连续和结构化的方式。我们通过提出在多目标优化框架中制定的新颖有效的解决方案来解决现有的要求。所设计的框架,使包括任意的要求,并产生反事实的解释和可采取行动的追索权的选择。作为一种与模型无关的方法,CARE为表格分类和回归设置中的任何黑盒模型生成多种多样的解释。在标准数据集和黑盒模型上的几个实验证明了我们的模块化框架的有效性及其与基线相比的优越性能。
2021-08-18 cs.AI cs.LG
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
反事实的解释,处理“为什么不呢?“场景,可以为AI代理的行为提供有见地的解释。在这项工作中,我们专注于为在Atari等视觉输入环境中运行的深度强化学习(RL)代理生成反事实解释。我们介绍了反事实状态解释,这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说,反事实状态说明了Atari游戏图像需要什么样的最小变化,以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查,如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人,我们比较与基线方法的基础上最近的邻居解释,使用图像从实际的游戏。我们的研究结果表明,反事实状态的解释有足够的保真度,以实际的游戏图像,使非专家更有效地确定一个有缺陷的RL代理相比,最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
TDLS: A Top-Down Layer Searching Algorithm for Generating Counterfactual Visual Explanation
人工智能的解释,以及算法决策的公平性和决策模型的透明性变得越来越重要。在打开黑盒模型时,设计有效和人性化的技术至关重要。反事实符合人类的思维方式,并提供人性化的解释,其相应的解释算法是指对给定数据点进行策略性的交替,使其模型输出“反事实”,即预测被还原。在本文中,我们采用反事实解释细粒度的图像分类问题。我们展示了一种自适应的方法,可以给出一个反事实的解释,通过显示组成的反事实的特征图,使用自顶向下的层搜索算法(TDLS)。我们已经证明,我们的TDLS算法可以提供更灵活的反事实的视觉解释,在一个有效的方式使用VGG-16模型在Caltech-UCSD鸟类200数据集。最后,我们讨论了反事实视觉解释的几个适用场景。
2021-08-26 cs.AI cs.CV cs.LG
Generating robust counterfactual explanations
Orange Innovation(Orange创新中心);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息系统与随机过程研究所)
针对反事实解释对输入变化缺乏鲁棒性的问题,本文提出 CROCO 框架,在鲁棒性与样本邻近性之间进行权衡并保证最低鲁棒性,表格数据集实验验证了其有效性。
2023-04-24 cs.AI cs.LG
CEL: Comprehensive Counterfactual Explanations Library and Benchmark
Wrocław University of Science and Technology(弗罗茨瓦夫科技大学)
该研究针对可解释人工智能中反事实解释方法评估难的问题,引入CEL统一库与基准测试,包含多数据集及方法实现,通过标准化设置全面比较多种方法,为反事实解释方法评估提供统一框架,促进未来方法发展。
2026-08-04 cs.AI cs.LG
Accelerating the Learning of TAMER with Counterfactual Explanations
Ulm University(乌尔姆大学)
从人类反馈中交互式学习的能力将使智能体能够在新的环境中工作。例如,即使是新手用户也可以自然地和交互地训练服务机器人完成新任务。人在回路强化学习(HRL)结合了人的反馈和强化学习(RL)技术。最先进的交互式学习技术遭受缓慢的学习速度,从而导致人类的令人沮丧的体验。我们通过扩展HRL框架TAMER评估反馈的可能性,以提高人类的反馈与两种不同类型的反事实的解释(行动和状态为基础)来解决这个问题。我们的实验表明,我们的扩展提高了学习的速度。
2022-07-27 cs.AI cs.LG
The Intriguing Relation Between Counterfactual Explanations and Adversarial Examples
Ludwig-Maximilians-Universität(慕尼黑大学)
创建对抗性示例(AE)来欺骗图像分类器的方法可以用来生成解释算法决策的反事实解释(CE)。这一观察结果导致研究人员将CE视为另一种名称的AE。我们认为,关系到真正的标签和容忍度方面的接近是两个属性,正式区分CE和AE。基于这些论点,我们介绍CE,AE,和相关的概念,数学上在一个共同的框架。此外,我们还展示了当前生成CE和AE的方法之间的联系,并估计随着常见用例数量的增加,这些领域将越来越多地合并。
2021-08-26 cs.AI cs.LG
Flexible Counterfactual Explanations with Generative Models
Vrije Universiteit Brussel(布鲁塞尔自由大学);Universiteit Antwerpen(安特卫普大学);Harvard University(哈佛大学)
提出灵活反事实解释框架,结合生成对抗网络FCEGAN,支持用户动态指定可变特征,适用于黑盒场景,提升解释有效性。
2025-02-24 cs.AI cs.LG stat.ME
On the computation of counterfactual explanations -- A survey
Bielefeld University(比勒费尔德大学)
由于机器学习在实践中的使用越来越多,能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释,其提供对机器学习模型的直观且有用的解释。在这项调查中,我们回顾了模型特定的方法,有效地计算反事实的解释,许多不同的机器学习模型,并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
A multi-criteria approach for selecting an explanation from the set of counterfactuals produced by an ensemble of explainers
Poznan University of Technology(波兹南理工大学);Charles University(查理大学)
本文提出一种多阶段集成方法,利用多准则分析、支配关系和理想点决策辅助从多个解释器生成的反事实集合中选择单个折中反事实,实验证明其可执行且质量指标表现良好。
2024-08-02 cs.AI cs.LG
Efficient computation of counterfactual explanations of LVQ models
Bielefeld University(比勒费尔德大学)
机器学习在实践中的使用越来越多,以及欧盟GDPR等法律法规的出台,使得有必要能够解释机器学习模型的预测和行为。在决策背景下对人工智能模型进行特别直观的解释的一个突出例子是反事实解释。然而,如何有效地计算许多模型的反事实解释仍然是一个开放的研究问题。我们研究如何有效地计算反事实的解释一类重要的模型,基于原型的分类器,如学习矢量量化模型。特别是,我们得出具体的凸和非凸的程序取决于所使用的度量。
2020-01-27 cs.AI cs.LG stat.ML
"Explain it in the Same Way!" -- Model-Agnostic Group Fairness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学)
反事实解释是一种流行的解释类型,用于使决策系统的结果对用户透明。反事实解释告诉用户做什么,以改变系统的结果在一个理想的方式。然而,最近发现,关于如何做的建议在受保护的个人群体之间的复杂性可能有很大差异。向一个群体提供更困难的行动建议会导致这个群体与其他群体相比处于不利地位。在这项工作中,我们提出了一个模型不可知的方法计算反事实的解释,不显着不同的保护组之间的复杂性。
2022-11-27 cs.AI cs.CY cs.LG
Improving Model Understanding and Trust with Counterfactual Explanations of Model Confidence
The University of Melbourne(墨尔本大学)
在本文中,我们证明了对置信度分数的反事实解释有助于用户更好地理解和更好地信任人工智能模型在人类受试者研究中的预测。在人机交互系统中显示置信度分数可以帮助建立人类和人工智能系统之间的信任。然而,大多数现有的研究仅将置信度得分作为一种交流形式,我们仍然缺乏解释算法为什么有信心的方法。本文还提出了两种使用反事实解释理解模型置信度的方法:(1)基于反事实示例;(2)基于反事实空间的可视化。
2022-06-06 cs.AI cs.HC cs.LG
FACEGroup: Feasible and Actionable Counterfactual Explanations for Group Fairness
University of Ioannina(伊奥安纳大学);Archimedes, Athena Research Center(阿基米德研究所);Boston University(波士顿大学)
本文提出基于图的FACEGroup框架,通过建模可行性约束、识别相似子群并捕捉权衡,生成可行的群体反事实解释以审计群体公平性,并引入新指标量化公平性差异。
2025-09-08 cs.AI cs.LG stat.ME
Algorithmic Recourse: from Counterfactual Explanations to Interventions
MPI-IS(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);Saarland University(萨尔兰大学)
随着机器学习越来越多地用于为后续决策提供信息(例如,审前保释和贷款批准),就必须解释该制度是如何作出决定的,并建议采取行动以作出有利的决定。反事实的解释-“为了实现理想的结果,世界必须(必须)如何不同”-旨在满足这些标准。现有的作品主要集中在设计算法,以获得反事实的解释范围广泛的设置。然而,“解释作为帮助数据主体采取行动而不仅仅是理解的手段”的主要目标之一被忽视了。用外行人的话来说,反事实解释告诉一个人他们需要去哪里,但不是如何去那里。在这项工作中,我们依赖于因果推理,以告诫不要使用反事实的解释作为一个合理的一套追索行动。相反,我们提出了一个范式的转变,从追索权通过最接近的反事实的解释,追索权通过最小的干预,将重点从解释的建议。最后,我们为读者提供了一个广泛的讨论,如何切实实现追索权超越结构性干预。
2020-10-08 cs.AI cs.LG stat.ML
Axiomatic Foundations of Counterfactual Explanations
IRIT, CNRS, France(IRIT,法国国家科学研究中心)
本文提出一个公理框架,系统研究反事实解释的类型,揭示五种不同反事实类型,并分析现有解释器的行为和复杂性。
2026-02-03 cs.AI cs.LG stat.ME
Counterfactual Explanations for Models of Code
TU Wien(维也纳工业大学);Facebook(脸书);UT Austin(得克萨斯大学奥斯汀分校)
机器学习(ML)模型在许多软件工程任务中发挥着越来越普遍的作用。然而,由于大多数模型现在都是由不透明的深层神经网络驱动的,开发人员很难理解为什么模型会得出某个结论,以及如何根据模型的预测采取行动。基于这个问题,本文探讨了源代码模型的反事实解释。这种反事实的解释构成了对源代码的最小修改,在这种修改下,模型“改变了主意”。我们将反事实解释生成集成到真实环境中的源代码模型中。我们描述的考虑因素,影响的能力,找到现实的和似是而非的反事实的解释,以及这种解释的用户的模型的有用性。在一系列的实验中,我们研究了我们的方法在三种不同的模型上的有效性,每种模型都基于在源代码上操作的BERT类架构。
2021-11-10 cs.AI cs.LG cs.SE
Generating Counterfactual and Contrastive Explanations using SHAP
IIIT Hyderabad(海得拉巴国际信息技术学院)
随着GDPR的出现,可解释的人工智能和模型可解释性领域获得了额外的推动力。提取和传达决策模型可视性的方法已成为法律要求。两种特定类型的解释,对比和反事实已被确定为适合人类理解。在本文中,我们提出了一个模型不可知的方法及其系统的实现,以产生这些解释,使用shapely添加剂的解释(SHAP)。我们讨论了一个生成管道来创建对比解释,并使用它来进一步生成反事实数据点。该管道在IRIS,葡萄酒质量和移动功能数据集上进行了测试和讨论。所得结果分析如下。
2019-06-21 cs.AI cs.LG stat.ML