Exploring Counterfactual Explanations Through the Lens of Adversarial Examples: A Theoretical and Empirical Analysis
University of Tübingen(蒂宾根大学);Harvard University(哈佛大学)
随着机器学习(ML)模型在高风险应用中的部署越来越广泛,反事实解释已经成为在实践中提供可操作模型解释的关键工具。尽管反事实解释越来越流行,但对这些解释的更深入理解仍然缺乏。在这项工作中,我们系统地分析反事实的解释,通过镜头的对抗性的例子。我们这样做是通过形式化流行的反事实解释和对抗性的例子生成方法之间的相似性识别条件时,他们是等价的。然后,我们推导出反事实解释和对抗性示例生成方法输出的解决方案之间距离的上界,并在几个真实数据集上进行了验证。通过建立反事实解释和对抗性例子之间的理论和经验相似性,我们的工作提出了关于现有反事实解释算法的设计和开发的基本问题。
2021-10-19 cs.AI cs.LG
Evaluating Robustness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学)
透明度是决策系统在现实世界中部署的基本要求。它通常通过提供系统行为的解释来实现。一个突出的和直观的解释类型是反事实的解释。反事实解释通过建议操作(如对输入的更改)向用户解释行为,这些操作将导致系统的不同(指定)行为。然而,这种解释方法对于输入的微小变化可能是不稳定的,即即使输入的微小变化也可能导致输出和解释的巨大或任意变化。这对于反事实的解释来说可能是有问题的,因为两个相似的人可能会得到非常不同的解释。更糟糕的是,如果建议的行动在复杂性上有很大的不同,人们会认为这种不稳定的(反事实的)解释是不公平的。在这项工作中,我们正式和实证研究的鲁棒性的反事实的解释一般,以及在不同的模型和不同种类的扰动。此外,我们建议,合理的反事实解释,而不是最接近的反事实解释,以提高鲁棒性,从而提高个人的公平性的反事实解释。
2021-07-22 cs.AI cs.LG
Redefining Counterfactual Explanations for Reinforcement Learning: Overview, Challenges and Opportunities
Trinity College Dublin(都柏林圣三一学院)
本文探讨反事实解释在强化学习中应用不足的原因,分析监督学习与RL的差异与挑战,重新定义RL反事实解释并提出未来研究方向。
2024-02-09 cs.AI
Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
Australian National University(澳大利亚国立大学)
最近关于可解释人工智能的论文为反事实的解释模式提供了令人信服的理由。虽然反事实解释在某些情况下似乎非常有效,但它们在形式上等同于对抗性例子。这为可解释性研究者提出了一个明显的悖论:如果这两个程序在形式上是等价的,那么是什么解释了反事实解释和对抗性例子之间明显的解释性分歧?我们解决这个悖论,把重点放在反事实表达的语义。为深度学习系统提供令人满意的解释将要求我们找到解释深度神经网络中隐藏层表示的语义的方法。
2020-12-18 cs.AI cs.CY cs.LG
A Symbolic Approach for Counterfactual Explanations
CRIL;Univ. Artois(阿尔图瓦大学);CNRS(法国国家科学研究中心)
在这篇名为“反事实解释的符号方法”的论文中,我们提出了一种新的符号方法来为分类器预测提供反事实解释。与大多数解释方法相反,其目标是了解数据的哪些部分以及在多大程度上有助于给出预测,反事实解释表明数据中的哪些特征必须改变,以改变分类器预测。我们的方法是象征性的意义上说,它是基于编码的决策功能的分类在一个等价的CNF公式。在这种方法中,反事实解释被视为最小校正子集(MCS),知识库修复中的一个众所周知的概念。因此,这种方法利用了现有的和经过验证的解决方案的优势来生成MCS。我们对贝叶斯分类器的初步实验研究显示了这种方法在几个数据集上的潜力。
2022-06-20 cs.AI
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin(都柏林大学);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk科学基金会爱尔兰研究中心)
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能(XAI)问题的流行解决方案,因为它们具有心理有效性,跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法,声称可以产生类似于人们偏好的合理解释,但实际上很少有用户进行过测试($\sim7\%$)。因此,这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决,该方法(i)在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释,然后(ii)将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明,人类不“最低限度地编辑”图像时,产生反事实的解释。相反,它们会进行更大的、“有意义的”编辑,以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
A Comparative Analysis of Counterfactual Explanation Methods for Text Classifiers
本文比较了五种为BERT文本分类器生成反事实解释的方法,发现白盒替换方法有效但欠自然,LLM方法自然但常无效,建议结合两者优势开发新方法。
2024-11-04 cs.AI cs.CL
Semi-supervised counterfactual explanations
IBM Research(IBM研究院)
机器学习模型的反事实解释用于找到对特征值的最小干预,使得模型将预测改变为不同的输出或目标输出。一个有效的反事实解释应该有可能的特征值。在这里,我们解决了生成反事实解释的挑战,这些解释位于与训练数据相同的数据分布中,更重要的是,它们属于目标类分布。通过在反事实搜索过程中纳入自动编码器重构损失,解决了这一要求。将分类器的输出行为连接到自动编码器的潜在空间进一步提高了反事实搜索过程的速度和所得反事实解释的可解释性。继续这条研究路线,我们展示了当自动编码器以半监督的方式使用类标记的输入数据进行训练时,反事实解释的可解释性的进一步改善。我们在多个数据集上实证评估了我们的方法,并在多个指标方面显示出相当大的改进。
2023-03-22 cs.AI cs.LG
Convex Density Constraints for Computing Plausible Counterfactual Explanations
CITEC - Cognitive Interaction Technology Bielefeld University(比勒费尔德大学认知交互技术中心)
随着机器学习的部署以及欧盟GDPR等法律法规的不断增加,需要对机器学习模型提出的决策进行用户友好的解释。反事实解释被认为是解释模型的特定决策的最流行的技术之一。虽然“任意”反事实解释的计算已经得到了很好的研究,但如何有效地计算合理可行的反事实解释仍然是一个开放的研究问题。我们建立在最近的工作,并提出和研究一个正式的定义似是而非的反事实的解释。特别是,我们研究了如何使用密度估计,以加强可验证性和可行性的反事实的解释。为了有效计算的目的,我们提出了凸密度约束,以确保所得到的反事实位于高密度的数据空间的区域。
2020-08-03 cs.AI cs.LG stat.ML
Disagreement amongst counterfactual explanations: How transparency can be deceptive
本文通过40个数据集、12种方法和两个黑盒模型的大规模实证研究,揭示反事实解释间存在严重分歧,可能被恶意用于公平洗白。
2023-04-25 cs.AI
If Only We Had Better Counterfactual Explanations: Five Key Deficits to Rectify in the Evaluation of Counterfactual XAI Techniques
University College Dublin(都柏林大学)
近年来,作为可解释人工智能(XAI)问题的解决方案,人工智能对反事实解释的研究出现了爆炸式增长。这些解释似乎比其他解释技术提供了技术、心理和法律上的好处。我们调查了文献中报道的100种不同的反事实解释方法。本调查涉及这些方法在心理和计算方面得到充分评估的程度,并量化了出现的不足。例如,这些方法中只有21%经过用户测试。这些方法的评估中的五个关键缺陷进行了详细说明,并提出了一个路线图,标准化的基准评估,以解决所产生的问题,问题,目前有效地阻止在这一领域的科学进步。
2021-02-26 cs.AI cs.LG
Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin(都柏林大学学院);Accenture Labs(埃森哲实验室);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心)
反事实解释是一种越来越受欢迎的事后解释形式,这是由于它们(i)跨问题领域的适用性,(ii)建议的法律合规性(例如,与GDPR),以及(iii)依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例,但我们探索了一种新的用例,其中使用“组反事实”(例如,以突出显示一组患者中的疾病的重复模式)。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的,组反事实算法,以产生高覆盖率的解释,是忠实于被解释的模型。该解释策略也在一项大型对照用户研究(N=207)中进行了评估,使用客观(即,准确性)和主观性(即,信心、解释满意度和信任)心理测量。结果表明,群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
反事实的解释,处理“为什么不呢?“场景,可以为AI代理的行为提供有见地的解释。在这项工作中,我们专注于为在Atari等视觉输入环境中运行的深度强化学习(RL)代理生成反事实解释。我们介绍了反事实状态解释,这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说,反事实状态说明了Atari游戏图像需要什么样的最小变化,以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查,如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人,我们比较与基线方法的基础上最近的邻居解释,使用图像从实际的游戏。我们的研究结果表明,反事实状态的解释有足够的保真度,以实际的游戏图像,使非专家更有效地确定一个有缺陷的RL代理相比,最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
CE-QArg: Counterfactual Explanations for Quantitative Bipolar Argumentation Frameworks (Technical Report)
Imperial College London(帝国理工学院);Cardiff University(卡迪夫大学)
针对QBAFs中论证强度解释的不足,提出反事实解释算法CE-QArg,利用极性和优先级模块确定更新方向与幅度,生成有效且成本效益高的解释,并在随机生成的QBAFs上验证了其有效性。
2024-11-11 cs.AI
TDLS: A Top-Down Layer Searching Algorithm for Generating Counterfactual Visual Explanation
人工智能的解释,以及算法决策的公平性和决策模型的透明性变得越来越重要。在打开黑盒模型时,设计有效和人性化的技术至关重要。反事实符合人类的思维方式,并提供人性化的解释,其相应的解释算法是指对给定数据点进行策略性的交替,使其模型输出“反事实”,即预测被还原。在本文中,我们采用反事实解释细粒度的图像分类问题。我们展示了一种自适应的方法,可以给出一个反事实的解释,通过显示组成的反事实的特征图,使用自顶向下的层搜索算法(TDLS)。我们已经证明,我们的TDLS算法可以提供更灵活的反事实的视觉解释,在一个有效的方式使用VGG-16模型在Caltech-UCSD鸟类200数据集。最后,我们讨论了反事实视觉解释的几个适用场景。
2021-08-26 cs.AI cs.CV cs.LG
Counterfactual and Semifactual Explanations in Abstract Argumentation: Formal Foundations, Complexity and Computation
University of Calabria(卡拉布里亚大学)
本文研究抽象论证框架中的反事实与半事实解释,分析其推理复杂性并证明其通常难于经典接受问题,同时给出基于弱约束框架和 ASP 求解器的计算方法。
2024-05-07 cs.AI
Comparative Explanations via Counterfactual Reasoning in Recommendations
Huawei Technologies Co., Ltd.(华为技术有限公司)
针对现有反事实推理方法在推荐解释中产生事实不准确的问题,提出CoCountER方法,利用软交换操作生成反事实数据,为任意比较物品对提供推荐解释,并经实验验证有效。
2025-10-13 cs.AI cs.IR
Unveiling the Potential of Counterfactuals Explanations in Employability
University of Antwerp(安特卫普大学)
本研究针对反事实解释缺乏真实世界应用研究的问题,将其应用于涉及复杂机器学习算法的就业能力问题,使用VDAB真实数据,展示了其在增强决策支持、合规、指导受控变化及分析新见解方面的作用。
2023-05-17 cs.AI
Counterfactual Explanations for Predictive Business Process Monitoring
paluno - The Ruhr Institute for Software Technology(帕鲁诺——鲁尔软件技术研究所)
预测性业务流程监控越来越多地利用复杂的预测模型。虽然复杂模型的预测精度始终高于简单模型,但一个主要缺点是缺乏可解释性,这限制了它们在实践中的采用。因此,我们看到对可解释的预测业务流程监控的兴趣越来越大,其目的是提高预测模型的可解释性。现有的解决方案侧重于给出事实解释。虽然事实解释可能有帮助,但人类通常不会问为什么做出特定的预测,而是为什么做出它而不是另一个预测,即,人类对反事实的解释很感兴趣虽然可解释人工智能的研究产生了几种有前途的技术来生成反事实解释,但直接将它们应用于预测过程监控可能会产生不切实际的解释,因为它们忽略了底层的过程约束。我们提出了LORELEY,一种用于预测过程监控的反事实解释技术,它扩展了LORE,一种最近可解释的人工智能技术。我们施加控制流约束的解释生成过程,以确保现实的反事实的解释。此外,我们扩展了LORE,使解释多类分类模型。使用真实的公共数据集的实验结果表明,LORELEY可以近似预测模型的平均保真度为97.69%,并产生现实的反事实解释。
2022-02-24 cs.AI cs.LG
Counterfactually Evaluating Explanations in Recommender Systems
ByteDance(字节跳动)
现代推荐系统面临着越来越多的需要解释他们的建议。尽管在这一领域取得了相当大的进展,但评估解释的质量仍然是研究人员和从业人员面临的重大挑战。以往的研究主要是通过人工研究来评价解释的质量,这通常是昂贵的,耗时的,并且容易受到人为的偏见。在本文中,我们提出了一种离线评估方法,可以计算没有人的参与。为了评估一个解释,我们的方法量化了它对推荐的反事实影响。为了验证我们的方法的有效性,我们进行了在线用户研究。我们表明,与传统的方法相比,我们的方法可以产生更相关的评价分数与真实的人类的判断,因此可以作为一个更好的代理人的评价。此外,我们表明,具有高评价分数的解释被人类认为是更好的。我们的研究结果强调了使用反事实方法作为评估推荐解释的一种可能方式的有希望的方向。
2022-11-17 cs.AI
DA-DGCEx: Ensuring Validity of Deep Guided Counterfactual Explanations With Distribution-Aware Autoencoder Loss
Ikerlan Technology Research Centre(伊克尔兰技术研究中心);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟);Mondragon University(蒙德拉贡大学)
深度学习已经成为不同领域中非常有价值的工具,没有人怀疑这些模型的学习能力。然而,由于深度学习模型由于缺乏可解释性而经常被视为黑匣子,因此在其决策过程中存在普遍的不信任。为了在有效性和可解释性之间找到平衡,可解释人工智能(XAI)近年来越来越受欢迎,该领域的一些方法用于生成反事实解释。生成这些解释的过程通常包括为要解释的每个输入求解优化问题,这在需要实时反馈时是不可行的。为了加快这个过程,一些方法利用自动编码器来生成即时的反事实解释。最近,提出了一种称为深度引导反事实解释(DGCEx)的方法,该方法训练了一个连接到分类模型的自动编码器,以生成简单的反事实解释。然而,该方法不能确保生成的反事实实例接近数据流形,因此可能生成不切实际的反事实实例。为了克服这个问题,本文提出了分布式感知深度引导反事实推理(DA-DGCEx),它在DGCEx成本函数中添加了一个项,该项对分布式反事实实例进行惩罚。
2021-04-22 cs.AI cs.LG
DifCluE: Generating Counterfactual Explanations with Diffusion Autoencoders and modal clustering
TCS Research(TCS研究院)
本文提出 DifCluE,结合扩散自编码器与潜在空间模态聚类,识别类别内不同模态方向,从而生成多样可靠的反事实解释,性能优于现有方法。
2025-02-17 cs.AI cs.LG
Counterfactual Training: Teaching Models Plausible and Actionable Explanations
Delft University of Technology(代尔夫特理工大学)
本文提出反事实训练方法,通过在训练阶段利用反事实来提高模型的解释能力和对抗鲁棒性。
2026-01-22 cs.AI cs.LG
Flexible Counterfactual Explanations with Generative Models
Vrije Universiteit Brussel(布鲁塞尔自由大学);Universiteit Antwerpen(安特卫普大学);Harvard University(哈佛大学)
提出灵活反事实解释框架,结合生成对抗网络FCEGAN,支持用户动态指定可变特征,适用于黑盒场景,提升解释有效性。
2025-02-24 cs.AI cs.LG stat.ME
A Few Good Counterfactuals: Generating Interpretable, Plausible and Diverse Counterfactual Explanations
Insight SFI Centre for Data Analytics(Insight SFI数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心);University College Dublin(都柏林大学)
反事实解释为可解释人工智能(XAI)问题提供了一个潜在的重要解决方案,但良好的原生反事实已被证明很少出现在大多数数据集中。因此,最流行的方法使用盲扰动生成合成反事实。然而,这种方法有几个缺点:(i)产生的反事实可能不是有效的数据点(它们通常使用不自然发生的特征),(ii)可能缺乏良好反事实的稀疏性(如果它们修改了太多的特征),以及(iii)可能缺乏多样性(如果生成的反事实是彼此的最小变体)。我们描述了一种方法,旨在克服这些问题,一个适应原生的反事实在原始数据集中,生成稀疏的,不同的合成反事实从自然发生的功能。一系列的实验报告,系统地探讨这种新方法的参数变化,在常见的数据集,以建立最佳性能的条件。
2021-01-22 cs.AI cs.LG
On the computation of counterfactual explanations -- A survey
Bielefeld University(比勒费尔德大学)
由于机器学习在实践中的使用越来越多,能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释,其提供对机器学习模型的直观且有用的解释。在这项调查中,我们回顾了模型特定的方法,有效地计算反事实的解释,许多不同的机器学习模型,并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
Efficient computation of counterfactual explanations of LVQ models
Bielefeld University(比勒费尔德大学)
机器学习在实践中的使用越来越多,以及欧盟GDPR等法律法规的出台,使得有必要能够解释机器学习模型的预测和行为。在决策背景下对人工智能模型进行特别直观的解释的一个突出例子是反事实解释。然而,如何有效地计算许多模型的反事实解释仍然是一个开放的研究问题。我们研究如何有效地计算反事实的解释一类重要的模型,基于原型的分类器,如学习矢量量化模型。特别是,我们得出具体的凸和非凸的程序取决于所使用的度量。
2020-01-27 cs.AI cs.LG stat.ML
Features of Explainability: How users understand counterfactual and causal explanations for categorical and continuous features in XAI
Insight SFI Centre for Data Analytics, School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院Insight SFI数据分析中心);VistaMilk SFI Research Centre, School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院VistaMilk SFI研究中心);School of Psychology and Institute of Neuroscience, Trinity College Dublin, University of Dublin(都柏林圣三一学院心理学院和神经科学研究所)
该研究通过127人的对照实验发现,反事实解释在提升用户预测AI决策准确性上与因果解释相当但主观满意度更高,且用户对类别特征解释的理解优于连续特征。
2022-04-21 cs.AI cs.HC
CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms
University of Tübingen(图宾根大学);CarePay International(CarePay国际公司)
反事实解释通过建议可操作的特征改变(例如,增加收入),使个人在未来取得有利的结果(例如,保险审批)。选择合适的方法是有意义的反事实解释的一个关键方面。正如最近的综述中所记载的那样,有一个快速增长的文献与可用的方法。然而,在缺乏广泛可用的开源实现的情况下,支持某些模型的决定主要是基于什么是现成的。展望未来-为了保证解释方法之间有意义的比较-我们提出了CARLA(反事实和追索权库),这是一个Python库,用于在不同的数据集和不同的机器学习模型上对反事实解释方法进行基准测试。总之,我们的工作提供了以下贡献:(i)11种流行的反事实解释方法的广泛基准,(ii)未来反事实解释方法研究的基准框架,以及(iii)一套标准化的综合评估措施和数据集,用于这些方法的透明和广泛的比较。我们在Github上开源了CARLA和我们的实验结果,使它们可以作为竞争基线。我们欢迎其他研究团体和从业人员的贡献。
2021-08-02 cs.AI cs.LG
TriShGAN: Enhancing Sparsity and Robustness in Multivariate Time Series Counterfactuals Explanation
本文提出TriShGAN,通过在CounteRGAN框架中引入三元组损失和Shapelet提取器,在保持低代价的同时增强多元时间序列反事实解释的鲁棒性与稀疏性。
2025-11-09 cs.AI cs.LG
FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles
University of Amsterdam(阿姆斯特丹大学);Radboud University(拉德堡德大学)
由于算法决策对人类的影响越来越大,模型可解释性已经成为机器学习(ML)中的一个重要问题。反事实解释不仅可以帮助用户理解为什么ML模型做出某些决策,还可以帮助用户理解如何改变这些决策。我们将寻找反事实解释的问题框架为基于梯度的优化任务,并扩展了以前只能应用于可微模型的工作。为了适应不可微的模型,如树集成,我们使用概率模型近似的优化框架。我们介绍了一种近似技术,这是有效的寻找反事实的解释,为原始模型的预测,并表明我们的反事实的例子显着更接近原始的实例比其他方法专门设计的树合奏。
2021-12-17 cs.AI cs.LG
Generating Counterfactual Explanations Under Temporal Constraints
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Free University of Bozen-Bolzano(博尔扎诺自由大学);University of Trento(特伦托大学)
针对现有反事实解释方法难以适配时序领域、易违反背景知识的问题,提出将LTLp自动机技术融入遗传算法的时序约束反事实生成方法,生成的反事实更具时序合理性与可解释性。
2025-03-03 cs.AI
CeFlow: A Robust and Efficient Counterfactual Explanation Framework for Tabular Data using Normalizing Flows
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实解释是可解释的机器学习的一种形式,它在样本上产生扰动以实现期望的结果。生成的样本可以作为指导最终用户如何通过改变样本来观察所需结果的说明。尽管提出了最先进的反事实解释方法以使用变分自编码器(VAE)来实现有希望的改进,但是它们遭受两个主要限制:1)反事实生成非常慢,这阻止了算法在交互式环境中部署; 2)由于变分自编码器的采样过程中的随机性,反事实解释算法产生不稳定的结果。在这项工作中,为了解决上述限制,我们设计了一个强大而有效的反事实解释框架,即CeFlow,它利用规范化流的混合类型的连续和分类的功能。数值实验表明,我们的技术相媲美的最先进的方法。我们在https://github.com/tridungduong16/fairCE.git上发布了我们的源代码,用于复制结果。
2023-03-26 cs.AI cs.LG
"Explain it in the Same Way!" -- Model-Agnostic Group Fairness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学)
反事实解释是一种流行的解释类型,用于使决策系统的结果对用户透明。反事实解释告诉用户做什么,以改变系统的结果在一个理想的方式。然而,最近发现,关于如何做的建议在受保护的个人群体之间的复杂性可能有很大差异。向一个群体提供更困难的行动建议会导致这个群体与其他群体相比处于不利地位。在这项工作中,我们提出了一个模型不可知的方法计算反事实的解释,不显着不同的保护组之间的复杂性。
2022-11-27 cs.AI cs.CY cs.LG
Reinforced Path Reasoning for Counterfactual Explainable Recommendation
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实解释通过探索项目或用户的最小改变如何影响推荐决策来解释推荐机制。现有的反事实可解释方法面临巨大的搜索空间并且它们的解释或者是基于动作的(例如,用户点击)或基于方面(即,项目说明)。我们相信基于项目属性的解释对用户来说更直观和更有说服力,因为它们通过细粒度的项目人口统计特征(例如,brand)。此外,反事实解释可以过滤掉负面项目,从而加强建议。在这项工作中,我们提出了一种新的反事实解释推荐(CERec)生成基于项目属性的反事实解释,同时提高推荐性能。我们的CERec优化解释政策统一搜索候选反事实在强化学习环境。我们减少了巨大的搜索空间与自适应路径采样器,通过使用丰富的上下文信息的一个给定的知识图谱。我们还将解释策略部署到推荐模型中,以增强推荐。广泛的可解释性和推荐评估表明CERec有能力提供符合用户偏好的解释,并保持改进的推荐。我们在https://github.com/Chrystalii/CERec上发布代码。
2022-07-14 cs.AI cs.IR
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation
Salesforce Research(赛富时研究院)
反事实解释是解释机器学习预测的一种重要的可解释人工智能技术。现有的基于优化的方法虽然得到了积极的研究,但通常假设底层机器学习模型是可微的,并将分类属性视为连续属性,这限制了它们在分类属性具有许多不同值或模型不可微时的实际应用。为了使反事实解释适用于现实世界的应用,我们提出了一种新的框架模型不可知的反事实解释(MACE),它采用了一种新设计的管道,可以有效地处理大量特征值上的不可微机器学习模型。在我们的MACE方法中,我们提出了一种新的基于RL的方法来寻找好的反事实的例子和无梯度下降方法来提高接近度。在公开数据集上的实验验证了该方法的有效性,具有较好的有效性、稀疏性和接近性。
2022-05-31 cs.AI cs.LG
Tabular Diffusion based Actionable Counterfactual Explanations for Network Intrusion Detection
University of Western Ontario(西安大略大学)
针对网络入侵检测中黑箱模型解释难以转化为对策的问题,提出基于表格扩散的反事实解释框架,可高效生成最小、多样且可归纳为全局防御规则的可行动解释。
2025-07-23 cs.AI cs.LG
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London(伦敦大学城市学院)
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中,局部解释被期望解释预测的结果以及如果“事情有所不同”,预测将如何改变。此外,我们认为,令人满意的解释不能脱离的概念和保真度的措施,主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型,这是基于距离的目标决策边界。一个系统称为CLEAR:通过回归反事实的本地解释,介绍和评价。CLEAR生成w-反事实解释,说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型,使用w-反事实来衡量和提高其回归的保真度。相比之下,流行的LIME方法也使用回归来生成局部解释,既不测量自己的保真度,也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的,平均超过45%以上,在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
Generating Feasible and Plausible Counterfactual Explanations for Outcome Prediction of Business Processes
Research Centre for Information Systems Engineering (LIRIS)(信息系统工程研究中心(LIRIS));KU Leuven(鲁汶大学);School of Information Systems(信息系统学院);Queensland University of Technology(昆士兰科技大学);Human Technology Institute(人类技术研究所);University of Technology Sydney(悉尼科技大学)
本文提出数据驱动方法REVISEDplus,通过限制反事实在高密度数据区域并利用Declare模板学习序列模式,为业务流程预测生成可行且合理的反事实解释。
2024-03-14 cs.AI
On the Definition and Detection of Cherry-Picking in Counterfactual Explanations
University of Antwerp(安特卫普大学);INSEAD
本文定义了反事实解释中的樱桃选取,并指出其检测难度大,建议优先考虑可重复性、标准化和过程约束而非事后检测。
2026-01-08 cs.AI cs.LG
The Impact of Machine Learning Uncertainty on the Robustness of Counterfactual Explanations
CaSToRC, The Cyprus Institute, Nicosia, Cyprus(塞浦路斯研究所);University of Bologna, Bologna, Italy(博洛尼亚大学)
研究探讨了机器学习不确定性对反事实解释鲁棒性的影响,发现模型不确定性会显著影响反事实生成的稳定性。
2026-01-20 cs.AI cs.LG
Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Anthropic
本研究提出CHIVE流程,通过反事实实验评估大语言模型行为的解释,发现常见可解释性技术无预测提升,且CHIVE生成的训练数据可实现分布外泛化。
2026-08-18 cs.AI cs.LG
Improving Model Understanding and Trust with Counterfactual Explanations of Model Confidence
The University of Melbourne(墨尔本大学)
在本文中,我们证明了对置信度分数的反事实解释有助于用户更好地理解和更好地信任人工智能模型在人类受试者研究中的预测。在人机交互系统中显示置信度分数可以帮助建立人类和人工智能系统之间的信任。然而,大多数现有的研究仅将置信度得分作为一种交流形式,我们仍然缺乏解释算法为什么有信心的方法。本文还提出了两种使用反事实解释理解模型置信度的方法:(1)基于反事实示例;(2)基于反事实空间的可视化。
2022-06-06 cs.AI cs.HC cs.LG
Generating Causally Compliant Counterfactual Explanations using ASP
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究针对生成可实现的反事实解释问题,提出CoGS方法,通过遵循特征因果约束生成从负面到正面结果的特征变化路径,利用规则算法建模因果依赖,所生成反事实具现实性,还讨论了研究现状与初步结果。
2025-02-13 cs.AI
FACEGroup: Feasible and Actionable Counterfactual Explanations for Group Fairness
University of Ioannina(伊奥安纳大学);Archimedes, Athena Research Center(阿基米德研究所);Boston University(波士顿大学)
本文提出基于图的FACEGroup框架,通过建模可行性约束、识别相似子群并捕捉权衡,生成可行的群体反事实解释以审计群体公平性,并引入新指标量化公平性差异。
2025-09-08 cs.AI cs.LG stat.ME
GCFX: Generative Counterfactual Explanations for Deep Graph Models at the Model Level
South China University of Technology(华南理工大学)
GCFX通过生成模型级反事实解释,提升深度图模型的可解释性和可信度。
2026-01-26 cs.AI cs.LG
Towards Fine-Grained Interpretability: Counterfactual Explanations for Misclassification with Saliency Partition
Dept. of Artificial Intelligence, Korea University, Seoul, Korea(人工智能系,韩国大学)
针对基于归因的解释在细粒度任务错误分类中缺乏足够粒度的问题,提出融合对象级与部件级解释的反事实框架,通过量化样本相似性、加权组件贡献及引入Shapley值显著性分区模块,实现更细粒度的可解释性并在实验中优于现有方法。
2025-11-11 cs.AI
Generating Counterfactual Explanations Using Cardinality Constraints
Institute of Digitalization and Informatics(数字化与信息学研究所)
针对反事实解释因与原始样本差异特征过多而难以解读的问题,提出在反事实生成中加入基数约束以限制差异特征数量,提升反事实的可解释性与易懂性。
2024-04-11 cs.AI cs.LG
Gradient-based Counterfactual Explanations using Tractable Probabilistic Models
TU Darmstadt(达姆施塔特工业大学)
反事实示例是机器学习模型的一类有吸引力的事后解释。给定类$y_1$的输入$x$,其反事实是另一个类$y_0$的对比示例$x^\prime$。目前的方法主要是通过复杂的优化来解决这个任务:基于具有硬约束或软约束的反事实结果$y_0$的损失来定义目标函数,然后将该函数作为黑盒来优化。然而,这种“深度学习“方法相当缓慢,有时很棘手,并且可能导致不切实际的反事实示例。在这项工作中,我们提出了一种新的方法来处理这些问题,只使用两个梯度计算的基础上听话的概率模型。首先,我们计算一个无约束的反事实$x$的$u$,以诱导反事实结果$y_0$。然后,我们调整$u$到更高的密度区域,从而产生$x^{\prime}$。经验证据证明了我们的方法的优势。
2022-05-16 cs.AI cs.LG
Algorithmic Recourse: from Counterfactual Explanations to Interventions
MPI-IS(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);Saarland University(萨尔兰大学)
随着机器学习越来越多地用于为后续决策提供信息(例如,审前保释和贷款批准),就必须解释该制度是如何作出决定的,并建议采取行动以作出有利的决定。反事实的解释-“为了实现理想的结果,世界必须(必须)如何不同”-旨在满足这些标准。现有的作品主要集中在设计算法,以获得反事实的解释范围广泛的设置。然而,“解释作为帮助数据主体采取行动而不仅仅是理解的手段”的主要目标之一被忽视了。用外行人的话来说,反事实解释告诉一个人他们需要去哪里,但不是如何去那里。在这项工作中,我们依赖于因果推理,以告诫不要使用反事实的解释作为一个合理的一套追索行动。相反,我们提出了一个范式的转变,从追索权通过最接近的反事实的解释,追索权通过最小的干预,将重点从解释的建议。最后,我们为读者提供了一个广泛的讨论,如何切实实现追索权超越结构性干预。
2020-10-08 cs.AI cs.LG stat.ML
Evaluating Counterfactual Explanation Methods on Incomplete Inputs
Department of Computing, Imperial College London(伦敦帝国理工学院计算系);TU Dortmund University(多特蒙德工业大学);Center for Trustworthy Data Science and Security, University Alliance Ruhr(鲁尔大学联盟可信数据科学与安全中心)
本文评估了在输入不完整时反事实解释方法的有效性,发现鲁棒方法虽更有效,但所有方法均难以生成有效反事实,需开发新方法应对不完整输入。
2026-04-09 cs.AI
RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning
Trinity College Dublin(都柏林圣三一大学)
RACCER是首个面向强化学习的反事实解释方法,通过定义RL特有属性并采用启发式树搜索,生成可达且结果确定的反事实,实验和用户研究证明其优于现有方法。
2023-10-10 cs.AI cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg(奥格斯堡大学);Oregon State University(俄勒冈州立大学)
反事实解释是解释人工智能模型的常用工具。对于强化学习(RL)代理,他们回答“为什么不呢?或者“如果?“的问题,通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性,因为它们的状态空间很大,而且它们的决策是总体政策的一部分,其中包括长期决策。然而,专注于反事实解释的研究,特别是对于具有视觉输入的RL代理,是稀缺的,并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务,如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法,通过将问题描述为域转移问题来生成RL代理的反事实解释,该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的,我们证明,它优于只有以前的方法在几个计算指标。此外,我们在用户研究中表明,我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
Counterfactual Simulatability of LLM Explanations for Generation Tasks
Department of Computer Science, Columbia University(计算机科学系,哥伦比亚大学)
本文提出了一种评估大语言模型生成任务中解释反事实可模拟性的通用框架,发现其在新闻摘要任务中表现良好,但在医疗建议任务中仍有改进空间。
2025-11-25 cs.AI cs.CL