Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin(都柏林大学);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk科学基金会爱尔兰研究中心)
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能(XAI)问题的流行解决方案,因为它们具有心理有效性,跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法,声称可以产生类似于人们偏好的合理解释,但实际上很少有用户进行过测试($\sim7\%$)。因此,这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决,该方法(i)在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释,然后(ii)将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明,人类不“最低限度地编辑”图像时,产生反事实的解释。相反,它们会进行更大的、“有意义的”编辑,以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
Counterfactual Training: Teaching Models Plausible and Actionable Explanations
Delft University of Technology(代尔夫特理工大学)
本文提出反事实训练方法,通过在训练阶段利用反事实来提高模型的解释能力和对抗鲁棒性。
2026-01-22 cs.AI cs.LG
A Few Good Counterfactuals: Generating Interpretable, Plausible and Diverse Counterfactual Explanations
Insight SFI Centre for Data Analytics(Insight SFI数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心);University College Dublin(都柏林大学)
反事实解释为可解释人工智能(XAI)问题提供了一个潜在的重要解决方案,但良好的原生反事实已被证明很少出现在大多数数据集中。因此,最流行的方法使用盲扰动生成合成反事实。然而,这种方法有几个缺点:(i)产生的反事实可能不是有效的数据点(它们通常使用不自然发生的特征),(ii)可能缺乏良好反事实的稀疏性(如果它们修改了太多的特征),以及(iii)可能缺乏多样性(如果生成的反事实是彼此的最小变体)。我们描述了一种方法,旨在克服这些问题,一个适应原生的反事实在原始数据集中,生成稀疏的,不同的合成反事实从自然发生的功能。一系列的实验报告,系统地探讨这种新方法的参数变化,在常见的数据集,以建立最佳性能的条件。
2021-01-22 cs.AI cs.LG
Features of Explainability: How users understand counterfactual and causal explanations for categorical and continuous features in XAI
Insight SFI Centre for Data Analytics, School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院Insight SFI数据分析中心);VistaMilk SFI Research Centre, School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院VistaMilk SFI研究中心);School of Psychology and Institute of Neuroscience, Trinity College Dublin, University of Dublin(都柏林圣三一学院心理学院和神经科学研究所)
该研究通过127人的对照实验发现,反事实解释在提升用户预测AI决策准确性上与因果解释相当但主观满意度更高,且用户对类别特征解释的理解优于连续特征。
2022-04-21 cs.AI cs.HC
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation
Salesforce Research(赛富时研究院)
反事实解释是解释机器学习预测的一种重要的可解释人工智能技术。现有的基于优化的方法虽然得到了积极的研究,但通常假设底层机器学习模型是可微的,并将分类属性视为连续属性,这限制了它们在分类属性具有许多不同值或模型不可微时的实际应用。为了使反事实解释适用于现实世界的应用,我们提出了一种新的框架模型不可知的反事实解释(MACE),它采用了一种新设计的管道,可以有效地处理大量特征值上的不可微机器学习模型。在我们的MACE方法中,我们提出了一种新的基于RL的方法来寻找好的反事实的例子和无梯度下降方法来提高接近度。在公开数据集上的实验验证了该方法的有效性,具有较好的有效性、稀疏性和接近性。
2022-05-31 cs.AI cs.LG
Tabular Diffusion based Actionable Counterfactual Explanations for Network Intrusion Detection
University of Western Ontario(西安大略大学)
针对网络入侵检测中黑箱模型解释难以转化为对策的问题,提出基于表格扩散的反事实解释框架,可高效生成最小、多样且可归纳为全局防御规则的可行动解释。
2025-07-23 cs.AI cs.LG
From Facts to Foils: Designing and Evaluating Counterfactual Explanations for Smart Environments
University of Cologne(科隆大学);The Ruhr Institute for Software Technology University of Duisburg-Essen(鲁尔软件技术研究所)
针对基于规则的智能环境缺乏反事实解释方法的问题,本文形式化并实现插件式反事实解释,通过N=17用户研究揭示其与因果解释的情境化偏好及适用时机。
2025-10-03 cs.AI cs.SE
Guiding the generation of counterfactual explanations through temporal background knowledge for Predictive Process Monitoring
Free University of Bozen-Bolzano(博洛尼亚-博兹纳自由大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
针对预测过程监控中反事实解释未考虑时间背景知识的问题,调整基于遗传算法的反事实生成技术,使其满足时间约束,生成更合规且不损失传统质量指标的反事实解释。
2024-03-18 cs.AI cs.LG
Generating Counterfactual and Contrastive Explanations using SHAP
IIIT Hyderabad(海得拉巴国际信息技术学院)
随着GDPR的出现,可解释的人工智能和模型可解释性领域获得了额外的推动力。提取和传达决策模型可视性的方法已成为法律要求。两种特定类型的解释,对比和反事实已被确定为适合人类理解。在本文中,我们提出了一个模型不可知的方法及其系统的实现,以产生这些解释,使用shapely添加剂的解释(SHAP)。我们讨论了一个生成管道来创建对比解释,并使用它来进一步生成反事实数据点。该管道在IRIS,葡萄酒质量和移动功能数据集上进行了测试和讨论。所得结果分析如下。
2019-06-21 cs.AI cs.LG stat.ML
Generating robust counterfactual explanations
Orange Innovation(Orange创新中心);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息系统与随机过程研究所)
针对反事实解释对输入变化缺乏鲁棒性的问题,本文提出 CROCO 框架,在鲁棒性与样本邻近性之间进行权衡并保证最低鲁棒性,表格数据集实验验证了其有效性。
2023-04-24 cs.AI cs.LG
Attribution-Scores and Causal Counterfactuals as Explanations in Artificial Intelligence
SKEMA Business School(SKEMA商学院);Millennium Institute for Foundations of Data Research(千禧数据基础研究所)
在这篇简短的文章中,我们强调了人工智能的解释的相关性,一般来说,以及{ \em可解释的AI}的最新发展,涉及不同方法的起源和联系。我们用简单的术语描述了数据管理和机器学习中基于归因分数的解释,以及因果关系领域中发现的反事实。我们详细说明了逻辑推理的重要性时,处理反事实,以及它们的使用得分计算。
2023-03-22 cs.AI cs.DB cs.LG
KTCF: Actionable Recourse in Knowledge Tracing via Counterfactual Explanations for Education
KTCF通过反事实解释为教育中的知识追踪提供可操作的救济,提升教育AI的实用性和责任性。
2026-01-14 cs.AI cs.CY cs.LG
Ranking Counterfactual Explanations
Federation University(联邦大学);IRIT-CNRS(法国国家科研中心图卢兹计算机科学研究所)
针对反事实解释缺乏精准研究的问题,本文提出反事实解释的形式化定义及超越最小性条件的排序方法,经12个真实数据集实验验证,该方法能选出更具代表性、更稳健全面的最优反事实解释。
2025-03-20 cs.AI
Interpretable Credit Application Predictions With Counterfactual Explanations
Accenture Labs(埃森哲实验室);Accenture The Dock(埃森哲The Dock);Inria(法国国家信息与自动化研究所)
我们用现成的、可互换的黑盒分类器来预测信贷申请,并用反事实解释来解释单个预测。反事实解释暴露了为获得不同结果而对输入数据所需的最小改变,批准vs拒绝申请。尽管它们的有效性,反事实主要是为了改变一个不希望的预测结果,即贷款被拒绝。然而,反事实可能很难解释,特别是当解释中涉及大量特征时。我们的贡献是双重的:i)我们提出了积极的反事实,即我们调整反事实解释,也解释接受的贷款申请,和ii)我们提出了两个加权策略,以产生更多的可解释的反事实。在HEALTH贷款申请数据集上的实验表明,我们的贡献优于基线反事实生成策略,导致更小,因此更可解释的反事实。
2018-11-16 cs.AI
A Series of Unfortunate Counterfactual Events: the Role of Time in Counterfactual Explanations
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
反事实解释是可解释人工智能研究领域中事后可解释性方法的一个突出例子。它们为个人提供了替代方案和一组建议,以实现广受欢迎的机器学习模型结果。最近,文献已经确定了必要的反事实解释,如可行性,可诉性和稀疏性,应该支持其在现实世界中的适用性。然而,我们发现,文献忽略了反事实解释的时间依赖性的问题。我们认为,由于他们的时间依赖性,因为提供的建议,即使是可行的,可操作的和稀疏的反事实的解释可能不适合在现实世界中的应用。这是由于我们所说的“不幸的反事实事件”的可能出现。“这些事件可能是由于机器学习模型的重新训练而发生的,这些模型的结果必须通过反事实解释来解释。一系列不幸的反事实事件挫败了那些成功实施反事实解释建议的个人的努力。这对人们对机构提供机器学习支持决策的能力产生了负面影响。我们介绍了一种方法来解决这个问题的出现不幸的反事实事件,利用历史的反事实的解释。在本文的最后一部分,我们提出了两个不同的策略,以应对不幸的反事实事件的挑战的伦理分析。我们表明,他们回应了道德上负责的必要性,以保持信用贷款组织的可信度,他们采用的决策模型,以及信用贷款的社会经济功能。
2021-01-18 cs.AI
Redefining Counterfactual Explanations for Reinforcement Learning: Overview, Challenges and Opportunities
Trinity College Dublin(都柏林圣三一学院)
本文探讨反事实解释在强化学习中应用不足的原因,分析监督学习与RL的差异与挑战,重新定义RL反事实解释并提出未来研究方向。
2024-02-09 cs.AI
A Symbolic Approach for Counterfactual Explanations
CRIL;Univ. Artois(阿尔图瓦大学);CNRS(法国国家科学研究中心)
在这篇名为“反事实解释的符号方法”的论文中,我们提出了一种新的符号方法来为分类器预测提供反事实解释。与大多数解释方法相反,其目标是了解数据的哪些部分以及在多大程度上有助于给出预测,反事实解释表明数据中的哪些特征必须改变,以改变分类器预测。我们的方法是象征性的意义上说,它是基于编码的决策功能的分类在一个等价的CNF公式。在这种方法中,反事实解释被视为最小校正子集(MCS),知识库修复中的一个众所周知的概念。因此,这种方法利用了现有的和经过验证的解决方案的优势来生成MCS。我们对贝叶斯分类器的初步实验研究显示了这种方法在几个数据集上的潜力。
2022-06-20 cs.AI
CE-QArg: Counterfactual Explanations for Quantitative Bipolar Argumentation Frameworks (Technical Report)
Imperial College London(帝国理工学院);Cardiff University(卡迪夫大学)
针对QBAFs中论证强度解释的不足,提出反事实解释算法CE-QArg,利用极性和优先级模块确定更新方向与幅度,生成有效且成本效益高的解释,并在随机生成的QBAFs上验证了其有效性。
2024-11-11 cs.AI
Counterfactual and Semifactual Explanations in Abstract Argumentation: Formal Foundations, Complexity and Computation
University of Calabria(卡拉布里亚大学)
本文研究抽象论证框架中的反事实与半事实解释,分析其推理复杂性并证明其通常难于经典接受问题,同时给出基于弱约束框架和 ASP 求解器的计算方法。
2024-05-07 cs.AI
Counterfactually Evaluating Explanations in Recommender Systems
ByteDance(字节跳动)
现代推荐系统面临着越来越多的需要解释他们的建议。尽管在这一领域取得了相当大的进展,但评估解释的质量仍然是研究人员和从业人员面临的重大挑战。以往的研究主要是通过人工研究来评价解释的质量,这通常是昂贵的,耗时的,并且容易受到人为的偏见。在本文中,我们提出了一种离线评估方法,可以计算没有人的参与。为了评估一个解释,我们的方法量化了它对推荐的反事实影响。为了验证我们的方法的有效性,我们进行了在线用户研究。我们表明,与传统的方法相比,我们的方法可以产生更相关的评价分数与真实的人类的判断,因此可以作为一个更好的代理人的评价。此外,我们表明,具有高评价分数的解释被人类认为是更好的。我们的研究结果强调了使用反事实方法作为评估推荐解释的一种可能方式的有希望的方向。
2022-11-17 cs.AI
Counterfactual Explanation Algorithms for Behavioral and Textual Data
University of Antwerp(安特卫普大学);Stern School of Business (NYU)(纽约大学斯特恩商学院);INSEAD Paris(欧洲工商管理学院巴黎校区)
我们研究了使用高维行为和文本数据的预测系统的可解释性。例如,根据在线浏览数据预测产品兴趣,检测垃圾邮件或令人反感的网页内容。最近,已经提出了反事实解释,以产生对模型预测的洞察力,其重点是与特定实例相关的内容。进行完整的搜索来计算反事实是非常耗时的,因为维数很大。据我们所知,行为和文本数据,只有一个模型无关的启发式算法(SEDC)发现反事实的解释已在文献中提出。然而,可能有更好的算法来快速找到反事实。这项研究将最近提出的线性可解释模型不可知解释器(LIME)和Shapley加法解释(SHAP)与反事实解释的概念相结合,并使用13个数据集的集合对SEDC进行了有效性和效率的经验基准测试。实验结果表明,LIME-C和SHAP-C具有较低的计算时间和稳定的计算性能,但在大多数情况下,它们的效率低于SEDC。但是,对于某些数据集上的某些实例,SEDC的运行时间非常大。关于有效性,LIME-C和SHAP-C找到了合理的(如果不总是最佳的)反事实解释。然而,SHAP-C似乎难以处理高度不平衡的数据。由于其良好的整体性能,LIME-C似乎是一个有利的替代SEDC,其中失败的一些非线性模型,发现反事实,因为它使用特定的启发式搜索算法。本文的一个主要结论是,有很大的进一步研究的空间。例如,我们提出了算法调整,这是论文发现的直接结果。
2019-12-04 cs.AI
Generating Feasible and Plausible Counterfactual Explanations for Outcome Prediction of Business Processes
Research Centre for Information Systems Engineering (LIRIS)(信息系统工程研究中心(LIRIS));KU Leuven(鲁汶大学);School of Information Systems(信息系统学院);Queensland University of Technology(昆士兰科技大学);Human Technology Institute(人类技术研究所);University of Technology Sydney(悉尼科技大学)
本文提出数据驱动方法REVISEDplus,通过限制反事实在高密度数据区域并利用Declare模板学习序列模式,为业务流程预测生成可行且合理的反事实解释。
2024-03-14 cs.AI
Generating Causally Compliant Counterfactual Explanations using ASP
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究针对生成可实现的反事实解释问题,提出CoGS方法,通过遵循特征因果约束生成从负面到正面结果的特征变化路径,利用规则算法建模因果依赖,所生成反事实具现实性,还讨论了研究现状与初步结果。
2025-02-13 cs.AI
Towards Fine-Grained Interpretability: Counterfactual Explanations for Misclassification with Saliency Partition
Dept. of Artificial Intelligence, Korea University, Seoul, Korea(人工智能系,韩国大学)
针对基于归因的解释在细粒度任务错误分类中缺乏足够粒度的问题,提出融合对象级与部件级解释的反事实框架,通过量化样本相似性、加权组件贡献及引入Shapley值显著性分区模块,实现更细粒度的可解释性并在实验中优于现有方法。
2025-11-11 cs.AI
Evaluating Counterfactual Explanation Methods on Incomplete Inputs
Department of Computing, Imperial College London(伦敦帝国理工学院计算系);TU Dortmund University(多特蒙德工业大学);Center for Trustworthy Data Science and Security, University Alliance Ruhr(鲁尔大学联盟可信数据科学与安全中心)
本文评估了在输入不完整时反事实解释方法的有效性,发现鲁棒方法虽更有效,但所有方法均难以生成有效反事实,需开发新方法应对不完整输入。
2026-04-09 cs.AI
Convex optimization for actionable \& plausible counterfactual explanations
Bielefeld University(比勒费尔德大学)
透明性是部署在现实世界中的基于机器学习的决策系统的基本要求。通常,给定系统的透明度是通过提供给定系统的行为和预测的解释来实现的。反事实解释是对决策系统的特定直觉解释的一个突出实例。虽然存在许多不同的计算反事实解释的方法,但只有很少的工作(除了因果关系领域的工作)考虑了特征依赖性以及可能限制可能的反事实解释集的可解释性。在这项工作中,我们加强了我们以前的工作,凸建模计算反事实的解释,确保actionability和actionability的机制,所产生的反事实的解释。
2021-05-17 cs.AI cs.LG
Exploring Counterfactual Explanations Through the Lens of Adversarial Examples: A Theoretical and Empirical Analysis
University of Tübingen(蒂宾根大学);Harvard University(哈佛大学)
随着机器学习(ML)模型在高风险应用中的部署越来越广泛,反事实解释已经成为在实践中提供可操作模型解释的关键工具。尽管反事实解释越来越流行,但对这些解释的更深入理解仍然缺乏。在这项工作中,我们系统地分析反事实的解释,通过镜头的对抗性的例子。我们这样做是通过形式化流行的反事实解释和对抗性的例子生成方法之间的相似性识别条件时,他们是等价的。然后,我们推导出反事实解释和对抗性示例生成方法输出的解决方案之间距离的上界,并在几个真实数据集上进行了验证。通过建立反事实解释和对抗性例子之间的理论和经验相似性,我们的工作提出了关于现有反事实解释算法的设计和开发的基本问题。
2021-10-19 cs.AI cs.LG
Evaluating Robustness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学)
透明度是决策系统在现实世界中部署的基本要求。它通常通过提供系统行为的解释来实现。一个突出的和直观的解释类型是反事实的解释。反事实解释通过建议操作(如对输入的更改)向用户解释行为,这些操作将导致系统的不同(指定)行为。然而,这种解释方法对于输入的微小变化可能是不稳定的,即即使输入的微小变化也可能导致输出和解释的巨大或任意变化。这对于反事实的解释来说可能是有问题的,因为两个相似的人可能会得到非常不同的解释。更糟糕的是,如果建议的行动在复杂性上有很大的不同,人们会认为这种不稳定的(反事实的)解释是不公平的。在这项工作中,我们正式和实证研究的鲁棒性的反事实的解释一般,以及在不同的模型和不同种类的扰动。此外,我们建议,合理的反事实解释,而不是最接近的反事实解释,以提高鲁棒性,从而提高个人的公平性的反事实解释。
2021-07-22 cs.AI cs.LG
A Comparative Analysis of Counterfactual Explanation Methods for Text Classifiers
本文比较了五种为BERT文本分类器生成反事实解释的方法,发现白盒替换方法有效但欠自然,LLM方法自然但常无效,建议结合两者优势开发新方法。
2024-11-04 cs.AI cs.CL
Semi-supervised counterfactual explanations
IBM Research(IBM研究院)
机器学习模型的反事实解释用于找到对特征值的最小干预,使得模型将预测改变为不同的输出或目标输出。一个有效的反事实解释应该有可能的特征值。在这里,我们解决了生成反事实解释的挑战,这些解释位于与训练数据相同的数据分布中,更重要的是,它们属于目标类分布。通过在反事实搜索过程中纳入自动编码器重构损失,解决了这一要求。将分类器的输出行为连接到自动编码器的潜在空间进一步提高了反事实搜索过程的速度和所得反事实解释的可解释性。继续这条研究路线,我们展示了当自动编码器以半监督的方式使用类标记的输入数据进行训练时,反事实解释的可解释性的进一步改善。我们在多个数据集上实证评估了我们的方法,并在多个指标方面显示出相当大的改进。
2023-03-22 cs.AI cs.LG
Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
Australian National University(澳大利亚国立大学)
最近关于可解释人工智能的论文为反事实的解释模式提供了令人信服的理由。虽然反事实解释在某些情况下似乎非常有效,但它们在形式上等同于对抗性例子。这为可解释性研究者提出了一个明显的悖论:如果这两个程序在形式上是等价的,那么是什么解释了反事实解释和对抗性例子之间明显的解释性分歧?我们解决这个悖论,把重点放在反事实表达的语义。为深度学习系统提供令人满意的解释将要求我们找到解释深度神经网络中隐藏层表示的语义的方法。
2020-12-18 cs.AI cs.CY cs.LG
Comparative Explanations via Counterfactual Reasoning in Recommendations
Huawei Technologies Co., Ltd.(华为技术有限公司)
针对现有反事实推理方法在推荐解释中产生事实不准确的问题,提出CoCountER方法,利用软交换操作生成反事实数据,为任意比较物品对提供推荐解释,并经实验验证有效。
2025-10-13 cs.AI cs.IR
DifCluE: Generating Counterfactual Explanations with Diffusion Autoencoders and modal clustering
TCS Research(TCS研究院)
本文提出 DifCluE,结合扩散自编码器与潜在空间模态聚类,识别类别内不同模态方向,从而生成多样可靠的反事实解释,性能优于现有方法。
2025-02-17 cs.AI cs.LG
Convex Density Constraints for Computing Plausible Counterfactual Explanations
CITEC - Cognitive Interaction Technology Bielefeld University(比勒费尔德大学认知交互技术中心)
随着机器学习的部署以及欧盟GDPR等法律法规的不断增加,需要对机器学习模型提出的决策进行用户友好的解释。反事实解释被认为是解释模型的特定决策的最流行的技术之一。虽然“任意”反事实解释的计算已经得到了很好的研究,但如何有效地计算合理可行的反事实解释仍然是一个开放的研究问题。我们建立在最近的工作,并提出和研究一个正式的定义似是而非的反事实的解释。特别是,我们研究了如何使用密度估计,以加强可验证性和可行性的反事实的解释。为了有效计算的目的,我们提出了凸密度约束,以确保所得到的反事实位于高密度的数据空间的区域。
2020-08-03 cs.AI cs.LG stat.ML
CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms
University of Tübingen(图宾根大学);CarePay International(CarePay国际公司)
反事实解释通过建议可操作的特征改变(例如,增加收入),使个人在未来取得有利的结果(例如,保险审批)。选择合适的方法是有意义的反事实解释的一个关键方面。正如最近的综述中所记载的那样,有一个快速增长的文献与可用的方法。然而,在缺乏广泛可用的开源实现的情况下,支持某些模型的决定主要是基于什么是现成的。展望未来-为了保证解释方法之间有意义的比较-我们提出了CARLA(反事实和追索权库),这是一个Python库,用于在不同的数据集和不同的机器学习模型上对反事实解释方法进行基准测试。总之,我们的工作提供了以下贡献:(i)11种流行的反事实解释方法的广泛基准,(ii)未来反事实解释方法研究的基准框架,以及(iii)一套标准化的综合评估措施和数据集,用于这些方法的透明和广泛的比较。我们在Github上开源了CARLA和我们的实验结果,使它们可以作为竞争基线。我们欢迎其他研究团体和从业人员的贡献。
2021-08-02 cs.AI cs.LG
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
反事实的解释,处理“为什么不呢?“场景,可以为AI代理的行为提供有见地的解释。在这项工作中,我们专注于为在Atari等视觉输入环境中运行的深度强化学习(RL)代理生成反事实解释。我们介绍了反事实状态解释,这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说,反事实状态说明了Atari游戏图像需要什么样的最小变化,以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查,如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人,我们比较与基线方法的基础上最近的邻居解释,使用图像从实际的游戏。我们的研究结果表明,反事实状态的解释有足够的保真度,以实际的游戏图像,使非专家更有效地确定一个有缺陷的RL代理相比,最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
TriShGAN: Enhancing Sparsity and Robustness in Multivariate Time Series Counterfactuals Explanation
本文提出TriShGAN,通过在CounteRGAN框架中引入三元组损失和Shapelet提取器,在保持低代价的同时增强多元时间序列反事实解释的鲁棒性与稀疏性。
2025-11-09 cs.AI cs.LG
FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles
University of Amsterdam(阿姆斯特丹大学);Radboud University(拉德堡德大学)
由于算法决策对人类的影响越来越大,模型可解释性已经成为机器学习(ML)中的一个重要问题。反事实解释不仅可以帮助用户理解为什么ML模型做出某些决策,还可以帮助用户理解如何改变这些决策。我们将寻找反事实解释的问题框架为基于梯度的优化任务,并扩展了以前只能应用于可微模型的工作。为了适应不可微的模型,如树集成,我们使用概率模型近似的优化框架。我们介绍了一种近似技术,这是有效的寻找反事实的解释,为原始模型的预测,并表明我们的反事实的例子显着更接近原始的实例比其他方法专门设计的树合奏。
2021-12-17 cs.AI cs.LG
CeFlow: A Robust and Efficient Counterfactual Explanation Framework for Tabular Data using Normalizing Flows
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实解释是可解释的机器学习的一种形式,它在样本上产生扰动以实现期望的结果。生成的样本可以作为指导最终用户如何通过改变样本来观察所需结果的说明。尽管提出了最先进的反事实解释方法以使用变分自编码器(VAE)来实现有希望的改进,但是它们遭受两个主要限制:1)反事实生成非常慢,这阻止了算法在交互式环境中部署; 2)由于变分自编码器的采样过程中的随机性,反事实解释算法产生不稳定的结果。在这项工作中,为了解决上述限制,我们设计了一个强大而有效的反事实解释框架,即CeFlow,它利用规范化流的混合类型的连续和分类的功能。数值实验表明,我们的技术相媲美的最先进的方法。我们在https://github.com/tridungduong16/fairCE.git上发布了我们的源代码,用于复制结果。
2023-03-26 cs.AI cs.LG
Reinforced Path Reasoning for Counterfactual Explainable Recommendation
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实解释通过探索项目或用户的最小改变如何影响推荐决策来解释推荐机制。现有的反事实可解释方法面临巨大的搜索空间并且它们的解释或者是基于动作的(例如,用户点击)或基于方面(即,项目说明)。我们相信基于项目属性的解释对用户来说更直观和更有说服力,因为它们通过细粒度的项目人口统计特征(例如,brand)。此外,反事实解释可以过滤掉负面项目,从而加强建议。在这项工作中,我们提出了一种新的反事实解释推荐(CERec)生成基于项目属性的反事实解释,同时提高推荐性能。我们的CERec优化解释政策统一搜索候选反事实在强化学习环境。我们减少了巨大的搜索空间与自适应路径采样器,通过使用丰富的上下文信息的一个给定的知识图谱。我们还将解释策略部署到推荐模型中,以增强推荐。广泛的可解释性和推荐评估表明CERec有能力提供符合用户偏好的解释,并保持改进的推荐。我们在https://github.com/Chrystalii/CERec上发布代码。
2022-07-14 cs.AI cs.IR
TDLS: A Top-Down Layer Searching Algorithm for Generating Counterfactual Visual Explanation
人工智能的解释,以及算法决策的公平性和决策模型的透明性变得越来越重要。在打开黑盒模型时,设计有效和人性化的技术至关重要。反事实符合人类的思维方式,并提供人性化的解释,其相应的解释算法是指对给定数据点进行策略性的交替,使其模型输出“反事实”,即预测被还原。在本文中,我们采用反事实解释细粒度的图像分类问题。我们展示了一种自适应的方法,可以给出一个反事实的解释,通过显示组成的反事实的特征图,使用自顶向下的层搜索算法(TDLS)。我们已经证明,我们的TDLS算法可以提供更灵活的反事实的视觉解释,在一个有效的方式使用VGG-16模型在Caltech-UCSD鸟类200数据集。最后,我们讨论了反事实视觉解释的几个适用场景。
2021-08-26 cs.AI cs.CV cs.LG
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London(伦敦大学城市学院)
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中,局部解释被期望解释预测的结果以及如果“事情有所不同”,预测将如何改变。此外,我们认为,令人满意的解释不能脱离的概念和保真度的措施,主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型,这是基于距离的目标决策边界。一个系统称为CLEAR:通过回归反事实的本地解释,介绍和评价。CLEAR生成w-反事实解释,说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型,使用w-反事实来衡量和提高其回归的保真度。相比之下,流行的LIME方法也使用回归来生成局部解释,既不测量自己的保真度,也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的,平均超过45%以上,在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
On the Definition and Detection of Cherry-Picking in Counterfactual Explanations
University of Antwerp(安特卫普大学);INSEAD
本文定义了反事实解释中的樱桃选取,并指出其检测难度大,建议优先考虑可重复性、标准化和过程约束而非事后检测。
2026-01-08 cs.AI cs.LG
The Impact of Machine Learning Uncertainty on the Robustness of Counterfactual Explanations
CaSToRC, The Cyprus Institute, Nicosia, Cyprus(塞浦路斯研究所);University of Bologna, Bologna, Italy(博洛尼亚大学)
研究探讨了机器学习不确定性对反事实解释鲁棒性的影响,发现模型不确定性会显著影响反事实生成的稳定性。
2026-01-20 cs.AI cs.LG
Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Anthropic
本研究提出CHIVE流程,通过反事实实验评估大语言模型行为的解释,发现常见可解释性技术无预测提升,且CHIVE生成的训练数据可实现分布外泛化。
2026-08-18 cs.AI cs.LG
GCFX: Generative Counterfactual Explanations for Deep Graph Models at the Model Level
South China University of Technology(华南理工大学)
GCFX通过生成模型级反事实解释,提升深度图模型的可解释性和可信度。
2026-01-26 cs.AI cs.LG
Flexible Counterfactual Explanations with Generative Models
Vrije Universiteit Brussel(布鲁塞尔自由大学);Universiteit Antwerpen(安特卫普大学);Harvard University(哈佛大学)
提出灵活反事实解释框架,结合生成对抗网络FCEGAN,支持用户动态指定可变特征,适用于黑盒场景,提升解释有效性。
2025-02-24 cs.AI cs.LG stat.ME
Generating Counterfactual Explanations Using Cardinality Constraints
Institute of Digitalization and Informatics(数字化与信息学研究所)
针对反事实解释因与原始样本差异特征过多而难以解读的问题,提出在反事实生成中加入基数约束以限制差异特征数量,提升反事实的可解释性与易懂性。
2024-04-11 cs.AI cs.LG
Gradient-based Counterfactual Explanations using Tractable Probabilistic Models
TU Darmstadt(达姆施塔特工业大学)
反事实示例是机器学习模型的一类有吸引力的事后解释。给定类$y_1$的输入$x$,其反事实是另一个类$y_0$的对比示例$x^\prime$。目前的方法主要是通过复杂的优化来解决这个任务:基于具有硬约束或软约束的反事实结果$y_0$的损失来定义目标函数,然后将该函数作为黑盒来优化。然而,这种“深度学习“方法相当缓慢,有时很棘手,并且可能导致不切实际的反事实示例。在这项工作中,我们提出了一种新的方法来处理这些问题,只使用两个梯度计算的基础上听话的概率模型。首先,我们计算一个无约束的反事实$x$的$u$,以诱导反事实结果$y_0$。然后,我们调整$u$到更高的密度区域,从而产生$x^{\prime}$。经验证据证明了我们的方法的优势。
2022-05-16 cs.AI cs.LG
On the computation of counterfactual explanations -- A survey
Bielefeld University(比勒费尔德大学)
由于机器学习在实践中的使用越来越多,能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释,其提供对机器学习模型的直观且有用的解释。在这项调查中,我们回顾了模型特定的方法,有效地计算反事实的解释,许多不同的机器学习模型,并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
Efficient computation of counterfactual explanations of LVQ models
Bielefeld University(比勒费尔德大学)
机器学习在实践中的使用越来越多,以及欧盟GDPR等法律法规的出台,使得有必要能够解释机器学习模型的预测和行为。在决策背景下对人工智能模型进行特别直观的解释的一个突出例子是反事实解释。然而,如何有效地计算许多模型的反事实解释仍然是一个开放的研究问题。我们研究如何有效地计算反事实的解释一类重要的模型,基于原型的分类器,如学习矢量量化模型。特别是,我们得出具体的凸和非凸的程序取决于所使用的度量。
2020-01-27 cs.AI cs.LG stat.ML
RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning
Trinity College Dublin(都柏林圣三一大学)
RACCER是首个面向强化学习的反事实解释方法,通过定义RL特有属性并采用启发式树搜索,生成可达且结果确定的反事实,实验和用户研究证明其优于现有方法。
2023-10-10 cs.AI cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg(奥格斯堡大学);Oregon State University(俄勒冈州立大学)
反事实解释是解释人工智能模型的常用工具。对于强化学习(RL)代理,他们回答“为什么不呢?或者“如果?“的问题,通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性,因为它们的状态空间很大,而且它们的决策是总体政策的一部分,其中包括长期决策。然而,专注于反事实解释的研究,特别是对于具有视觉输入的RL代理,是稀缺的,并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务,如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法,通过将问题描述为域转移问题来生成RL代理的反事实解释,该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的,我们证明,它优于只有以前的方法在几个计算指标。此外,我们在用户研究中表明,我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
Counterfactual Simulatability of LLM Explanations for Generation Tasks
Department of Computer Science, Columbia University(计算机科学系,哥伦比亚大学)
本文提出了一种评估大语言模型生成任务中解释反事实可模拟性的通用框架,发现其在新闻摘要任务中表现良好,但在医疗建议任务中仍有改进空间。
2025-11-25 cs.AI cs.CL