Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework
Penn State Harrisburg(宾夕法尼亚州立大学哈里斯堡分校)
本研究提出基于知识图谱反事实的框架,通过最小结构扰动解释微调LLM,揭示其结构依赖与LoRA参数偏移的关联。
2025-09-25 cs.AI cs.LG
Explaining and visualizing black-box models through counterfactual paths
MI2.AI;Warsaw University of Technology(华沙理工大学);University of Warsaw(华沙大学);Human-Centered AI Lab, University of Natural Resources and Life Sciences, Vienna(维也纳自然资源与生命科学大学人本人工智能实验室)
本文提出一种新颖的可解释AI方法,利用特征条件排列生成的反事实路径衡量特征重要性,为黑盒模型的解释和可视化引入额外的图维度,并在合成与医疗数据上验证了其实用性。
2023-08-01 cs.AI
Explaining Data-Driven Decisions made by AI Systems: The Counterfactual Approach
New York University(纽约大学)
我们研究了反事实解释,以解释基于模型的AI系统所做的决定。我们考虑的反事实方法将解释定义为系统的一组数据输入,这些数据输入因果地驱动决策(即,改变集合中的输入改变判决)并且是不可约的(即,改变输入的任何子集不改变决策)。我们(1)演示了如何使用这个框架来解释一般的数据驱动的AI系统所做的决策,这些系统可能包含具有任意数据类型和多个预测模型的特征,以及(2)提出了一个启发式程序来根据上下文找到最有用的解释。然后,我们将反事实解释与通过根据特征的重要性对其进行加权来解释模型预测的方法进行对比(例如,SHAP,LIME),并提出了两个基本原因,为什么我们应该仔细考虑重要性权重解释是否适合解释系统决策。具体来说,我们表明:(i)对于模型预测具有较大重要性权重的特征可能不会影响相应的决策,以及(ii)重要性权重不足以传达特征是否以及如何影响决策。我们用几个简洁的例子和三个详细的案例研究来证明这一点,这些案例研究将反事实方法与SHAP进行了比较,以说明反事实解释比重要性权重更好地解释数据驱动决策的各种条件。
2021-10-13 cs.AI cs.LG stat.ML
Explaining $\mathcal{ELH}$ Concept Descriptions through Counterfactual Reasoning
Paderborn University(帕德博恩大学)
针对知识库与描述逻辑 $\u2113\u210b$ 中概念描述难以被非专业人士理解的问题,本文提出基于最小特征改变的反事实解释方法,并通过用户调研验证了候选项的偏好性。
2023-10-04 cs.AI cs.LG
Explaining Reinforcement Learning Policies through Counterfactual Trajectories
Boston University(波士顿大学);UC Berkeley(加州大学伯克利分校);Harvey Mudd College(哈维穆德学院)
为了让人类能够自信地决定在哪里使用RL代理来执行现实任务,人类开发人员必须验证代理在测试时表现良好。一些策略可解释性方法通过在一组代理推出中捕获策略的决策来促进这一点。然而,即使是训练时间行为的最具信息量的轨迹也可能对代理的分布外行为没有什么洞察力。相比之下,我们的方法传达代理如何执行下分布偏移通过显示代理的行为在一个更广泛的轨迹分布。我们通过引导代理到更多样化的看不见的状态并显示代理的行为来生成这些轨迹。在用户研究中,我们证明了我们的方法使用户能够在两个代理验证任务中的一个上获得比基线方法更好的分数。
2022-03-19 cs.AI cs.HC cs.LG
Explaining Learned Reward Functions with Counterfactual Trajectories
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Delft University of Technology(代尔夫特理工大学)
提出反事实轨迹解释(CTEs)及蒙特卡洛生成算法,通过对比原始与反事实轨迹解释强化学习奖励函数,提升代理人类模型对奖励的预测与泛化能力。
2024-10-15 cs.AI cs.LG
Explaining Image Classifiers Using Contrastive Counterfactuals in Generative Latent Spaces
UC San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
尽管现代复杂图像分类器具有很高的准确性,但由于其未知的决策过程和潜在的偏见,它们不能被信任用于敏感任务。反事实解释在为这些黑箱算法提供透明度方面非常有效。然而,生成可以对分类器输出产生一致影响但又暴露可解释的特征变化的反事实是一项非常具有挑战性的任务。我们介绍了一种新的方法,使用预训练的生成模型为图像分类器生成因果关系和可解释的反事实解释,而无需任何重新训练或调节。这种技术中的生成模型不一定要在与目标分类器相同的数据上进行训练。我们使用这个框架来获得对比和因果的充分性和必要性分数作为黑盒分类器的全球性解释。在人脸属性分类的任务中,我们展示了不同的属性如何通过提供因果和对比特征属性以及相应的反事实图像来影响分类器的输出。
2022-06-10 cs.AI cs.CV
Explaining Low Perception Model Competency with High-Competency Counterfactuals
University of California, Berkeley(加州大学伯克利分校)
本文提出五种生成高能力反事实图像的方法,用于解释模型预测不确定性的原因,并通过实验验证了其在生成语言解释中的有效性。
2025-04-07 cs.AI cs.CV cs.LG
Explaining 3D Computed Tomography Classifiers with Counterfactuals
Stanford University(斯坦福大学)
本文将Latent Shift反事实生成方法扩展至3D CT分类器,通过基于切片的自编码器和梯度阻断解决训练样本有限及高内存需求问题,实现了内存高效且可解释的高分辨率3D医学成像反事实解释。
2025-04-02 cs.AI cs.CV
Explaining Reinforcement Learning: A Counterfactual Shapley Values Approach
School of Engineering Mathematics and Technology, University of Bristol(布里斯托大学工程数学与技术学院);School of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院)
提出反事实 Shapley 值(CSV)方法,结合反事实分析与 Shapley 值量化状态维度对动作选择的贡献,并在多个 RL 环境中验证其可解释性效果。
2024-08-06 cs.AI
Explaining Reinforcement Learning Agents Through Counterfactual Action Outcomes
Technion - Israel Institute of Technology(以色列理工学院)
针对现有可解释强化学习局部解释无法展现动作结果的问题,提出可视化对比所选动作与反事实动作结果的COViz方法,实验显示其与奖励分解法整合可显著提升用户对智能体偏好的理解表现。
2023-12-18 cs.AI cs.LG
Explaining Reject Options of Learning Vector Quantization Classifiers
Bielefeld University(比勒费尔德大学)
虽然机器学习模型通常被假设总是输出预测,但也存在拒绝选项形式的扩展,允许模型拒绝输入,其中只有具有不可接受的低确定性的预测是可能的。随着可解释人工智能的不断兴起,已经开发了许多解释模型预测的方法。然而,理解为什么一个给定的输入被拒绝,而不是被模型分类,也是有意义的。令人惊讶的是,迄今为止尚未考虑拒绝的解释。我们建议使用反事实的解释解释拒绝和调查如何有效地计算反事实的解释不同的拒绝选项的一类重要的模型,即基于原型的分类器,如学习矢量量化模型。
2022-02-15 cs.AI cs.LG
UniCoMTE: A Universal Counterfactual Framework for Explaining Time-Series Classifiers on ECG Data
Boston University(波士顿大学);Sandia National Laboratories(桑迪亚国家实验室);Boston Medical Center(波士顿医学中心)
UniCoMTE提出了一种通用反事实框架,用于生成ECG时间序列分类器的可解释性,通过分析时间特征提升模型可解释性。
2025-12-22 cs.AI cs.LG
Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of California, San Diego(加州大学圣迭戈分校)
最近,人们对可解释人工智能(XAI)的兴趣重新抬头,XAI旨在减少基于AI的决策系统的不透明性,使人类能够仔细检查并信任它们。在这种情况下,以前的工作集中在算法的决策,其输入的责任,其中的责任通常是作为一个纯粹的联想概念接近的属性。在本文中,我们提出了一个原则性的基于能力的方法来解释黑盒决策系统,解决现有的方法在XAI的局限性。我们框架的核心是概率对比反事实,这个概念可以追溯到人类如何产生和选择解释的理论的哲学,认知和社会基础。我们展示了这样的反事实可以量化的直接和间接的影响,一个变量的算法所作出的决定,并提供可操作的追索权的算法的决定产生负面影响的个人。与以前的工作不同,我们的系统,LEWIS:(1)可以计算可证明有效的解释和追索权在本地,全球和上下文水平(2)的设计与用户的基础因果模型的不同水平的背景知识和(3)除了其输入-输出数据的可用性算法系统的内部不作任何假设。我们在三个真实世界的数据集上对LEWIS进行了经验评估,并表明它生成了人类可以理解的解释,这些解释改进了XAI中最先进的方法,包括流行的LIME和SHAP。在合成数据上的实验进一步证明了LEWIS解释的正确性和补偿算法的可扩展性。
2021-06-23 cs.AI cs.DB cs.LG
Explaining Group Recommendations via Counterfactuals
Data Science Research Centre, Tampere University Tampere Finland;Hellenic Mediterranean University \& Archimedes/Athena RC Greece;Data Science Research Centre, Tampere University;Hellenic Mediterranean University \& Archimedes/Athena RC
本文提出群体反事实解释框架,通过分析历史交互对群体推荐的影响,设计高效算法并验证其在稀疏数据中的效率提升。
2026-11-04 cs.AI cs.IR
Integrating Counterfactual Simulations with Language Models for Explaining Multi-Agent Behaviour
DeepFlow
本文提出AXIS方法,通过语言模型与环境模拟器交互生成人类中心的多智能体行为解释,提升解释正确性和目标预测准确性。
2025-10-28 cs.AI
Target-confidence Recourse Using tSeTlin machines: TRUST
Group Research and Development Det Norske Veritas (DNV)(挪威船级社(DNV)集团研发部)
提出TRUST框架,通过概率Tsetlin机器和贝叶斯优化直接搜索满足用户指定置信度目标的最小输入变化,生成更稳健和可解释的反事实解释。
2026-06-18 cs.AI cs.LG
Explaining k-Nearest Neighbors: Abductive and Counterfactual Explanations
本文从特征视角研究k近邻分类的可解释性,提出归纳和反事实解释方法,并探讨其计算复杂性及实际应用。
2026-01-22 cs.AI cs.LG
Explaining Reinforcement Learning Decisions in Self-adaptive Systems
针对强化学习策略透明度不足的问题,本文提出EARL库用于生成反事实解释,并在CitiBikes模拟中验证了其在实际自适应系统中的适用性。
2026-08-18 cs.AI cs.LG
Counterfactual Fragility Certificates: Exposing High-Confidence Brittleness under Structured Evidence Failure
Macquarie University(麦考瑞大学)
该研究提出反事实脆弱性证书(CFC),用于审计表格决策系统中高置信度预测的脆弱性,CFC-FDS在识别脆弱高置信度案例上表现优于现有方法,为模型可靠性评估提供了新框架。
2026-09-02 cs.AI cs.LG
Counterfactual States for Atari Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
尽管深度强化学习代理在许多领域都取得了令人印象深刻的成果,但它们的决策很难向人类解释。为了解决这个问题,过去的工作主要集中在解释为什么在给定的状态下选择一个动作。另一种有用的解释是反事实解释,它涉及“如果?“场景。在这项工作中,我们引入了反事实状态的概念,以帮助人类更好地了解Atari游戏图像中需要改变(最低限度)的代理选择不同的动作。我们引入了一种新的方法来从生成式深度学习架构中创建反事实状态。此外,我们评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的用户研究结果表明,我们生成的反事实状态是有用的,帮助非专家参与者获得更好地了解代理的决策过程。
2019-09-27 cs.AI cs.HC cs.LG
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London(伦敦大学城市学院)
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中,局部解释被期望解释预测的结果以及如果“事情有所不同”,预测将如何改变。此外,我们认为,令人满意的解释不能脱离的概念和保真度的措施,主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型,这是基于距离的目标决策边界。一个系统称为CLEAR:通过回归反事实的本地解释,介绍和评价。CLEAR生成w-反事实解释,说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型,使用w-反事实来衡量和提高其回归的保真度。相比之下,流行的LIME方法也使用回归来生成局部解释,既不测量自己的保真度,也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的,平均超过45%以上,在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
Counterfactual explainability and analysis of variance
University of Southern California(南加州大学);University of Cambridge(剑桥大学)
针对现有复杂模型解释工具无因果性、缺机制理解的问题,提出受遗传力启发的反事实可解释性概念,结合有向无环图拓展全局敏感性分析方法至依赖变量场景,给出估计方法并应用于收入不平等解释。
2025-10-04 cs.AI cs.LG stat.ML
Explaining Predictions from Tree-based Boosting Ensembles
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(皇家阿霍德德尔海兹集团)
了解“黑盒”模型如何得出预测结果已经引起了人工智能社区内外的极大兴趣。我们的工作重点是通过生成关于基于树的集合的个体预测的本地解释来实现这一点,特别是梯度提升决策树(GBDTs)。给定训练集中一个正确预测的实例,我们希望为这个实例生成一个反事实的解释,也就是说,这个实例的最小扰动使得预测翻转到相反的类。大多数现有的反事实解释方法是(1)模型不可知的,因此它们不考虑原始模型的结构,和/或(2)涉及在原始模型之上构建代理模型,这不能保证准确地表示原始模型。存在一种专门用于随机森林的方法;我们希望将此方法扩展到GBDTs。这涉及到(1)树之间的顺序依赖性和(2)在负梯度而不是原始标签上进行训练。
2019-07-04 cs.AI cs.IR cs.LG
The Effect of Counterfactuals on Reading Chest X-rays
Stanford University(斯坦福大学);Nuance Communications(Nuance通信公司);University of California San Francisco(加州大学旧金山分校);Microsoft Corporation(微软公司)
本研究通过240个胸部X光预测的放射科医生阅读实验,发现反事实解释相比传统归因方法能提升医生对真阳性预测的置信度,且假阳性仅微增,在肿块和肺不张任务中受益最大。
2023-04-02 cs.AI cs.CV cs.HC
Counterfactual Explanations for Predictive Business Process Monitoring
paluno - The Ruhr Institute for Software Technology(帕鲁诺——鲁尔软件技术研究所)
预测性业务流程监控越来越多地利用复杂的预测模型。虽然复杂模型的预测精度始终高于简单模型,但一个主要缺点是缺乏可解释性,这限制了它们在实践中的采用。因此,我们看到对可解释的预测业务流程监控的兴趣越来越大,其目的是提高预测模型的可解释性。现有的解决方案侧重于给出事实解释。虽然事实解释可能有帮助,但人类通常不会问为什么做出特定的预测,而是为什么做出它而不是另一个预测,即,人类对反事实的解释很感兴趣虽然可解释人工智能的研究产生了几种有前途的技术来生成反事实解释,但直接将它们应用于预测过程监控可能会产生不切实际的解释,因为它们忽略了底层的过程约束。我们提出了LORELEY,一种用于预测过程监控的反事实解释技术,它扩展了LORE,一种最近可解释的人工智能技术。我们施加控制流约束的解释生成过程,以确保现实的反事实的解释。此外,我们扩展了LORE,使解释多类分类模型。使用真实的公共数据集的实验结果表明,LORELEY可以近似预测模型的平均保真度为97.69%,并产生现实的反事实解释。
2022-02-24 cs.AI cs.LG
Generating Sparse Counterfactual Explanations For Multivariate Time Series
Hertie Institute for Clinical Brain Research(赫蒂临床脑研究所);Centre for Integrative Neuroscience(整合神经科学中心);University of Tübingen(图宾根大学)
由于神经网络在关键领域发挥着越来越重要的作用,解释网络预测已成为一个关键的研究课题。反事实解释可以帮助理解为什么分类器模型决定特定的类分配,以及如何修改相应的输入样本以使类预测发生变化。以前的方法主要集中在图像和表格数据。在这项工作中,我们提出了SPARCE,生成对抗网络(GAN)的架构,生成SPARse反事实推理的多元时间序列。我们的方法提供了一个自定义的稀疏层和规则化的反事实损失函数的相似性,稀疏性和平滑的轨迹。我们评估我们的方法在现实世界中的人体运动数据集以及合成时间序列可解释性基准。虽然我们做了比其他方法更稀疏的修改,但我们在所有指标上都实现了相当或更好的性能。此外,我们还证明,我们的方法主要修改了显着的时间步骤和特征,而不影响非显着的输入。
2022-07-04 cs.AI cs.LG
GREASE: Generate Factual and Counterfactual Explanations for GNN-based Recommendations
Stony Brook University(石溪大学);Sapienza University of Rome(罗马第一大学);The Xi’an Jiaotong-Liverpool University(西交利物浦大学);Rutgers University(罗格斯大学);South China Normal University(华南师范大学)
最近,图神经网络(GNNs)已被广泛用于开发成功的推荐系统。虽然功能强大,但基于GNN的推荐系统很难附加具体的解释,说明为什么特定的项目最终出现在给定用户的建议列表中。事实上,解释基于GNN的建议是独特的,现有的GNN解释方法是不合适的,原因有两个。首先,传统的GNN解释方法是为节点、边或图分类任务而设计的,而不是像推荐系统中那样进行排名。其次,标准的机器学习解释通常旨在支持熟练的决策者。相反,建议是为任何最终用户设计的,因此应以用户可理解的方式提供解释。在这项工作中,我们提出了GREASE,一种新的方法来解释任何黑盒GNN推荐系统提供的建议。具体来说,GREASE首先在目标用户-项目对及其$l$跳邻域上训练代理模型。然后,它产生的事实和反事实的解释,通过寻找最佳的邻接矩阵扰动捕获的充分和必要条件的一个项目被推荐,分别。在真实数据集上进行的实验结果表明,GREASE可以为流行的基于GNN的推荐模型生成简洁有效的解释。
2022-08-04 cs.AI cs.IR cs.LG
Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Anthropic
本研究提出CHIVE流程,通过反事实实验评估大语言模型行为的解释,发现常见可解释性技术无预测提升,且CHIVE生成的训练数据可实现分布外泛化。
2026-08-18 cs.AI cs.LG
GANterfactual - Counterfactual Explanations for Medical Non-Experts using Generative Adversarial Learning
Augsburg University(奥格斯堡大学)
随着机器学习的不断兴起,对解释由人工智能系统做出的决策的方法的需求正在成为一个越来越重要的话题。特别是对于图像分类任务,解释这种分类器的许多现有技术工具依赖于输入数据的重要区域的视觉突出显示。相反,反事实解释系统试图通过以分类器会做出不同预测的方式修改输入图像来实现反事实推理。通过这样做,反事实解释系统的用户配备了一种完全不同的解释信息。然而,为图像分类器生成逼真的反事实解释的方法仍然很少。特别是在医疗环境中,相关信息通常由纹理和结构信息组成,高质量的反事实图像有可能为决策过程提供有意义的见解。在这项工作中,我们提出了GANterfactual,一种基于对抗性图像到图像翻译技术生成这种反事实图像解释的方法。此外,我们还进行了一项用户研究,以评估我们在示例性医疗用例中的方法。我们的研究结果表明,在所选的医疗用例中,反事实解释在心理模型、解释满意度、信任、情绪和自我效能方面的结果明显优于两个使用显着性图的最先进系统,即LIME和LRP。
2021-08-05 cs.AI cs.CV cs.HC
Promoting Counterfactual Robustness through Diversity
Imperial College London(帝国理工学院);Cardiff University(卡迪夫大学)
针对反事实解释器鲁棒性不足的问题,提出基于多样性准则选取可行数量多反事实的近似算法,在保留优良属性和计算效率的同时提升了解释鲁棒性。
2023-12-12 cs.AI cs.LG
Counterfactual Explanation with Multi-Agent Reinforcement Learning for Drug Target Prediction
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所);Deakin University(迪肯大学)
动机:已经提出了许多高性能的DTA模型,但它们大多是黑盒的,因此缺乏人类的可解释性。可解释人工智能(XAI)可以使DTA模型更值得信赖,也可以使科学家从模型中提取生物学知识。反事实解释是解释深层神经网络行为的一种流行方法,它通过系统地回答以下问题来工作:"如果输入以这种方式改变,模型输出将如何改变?" ".大多数反事实解释方法只对单个输入数据进行操作。如何将基于反事实的XAI方法扩展到DTA模型仍然是一个悬而未决的问题,DTA模型有两个输入,一个是药物,一个是靶标,它们在本质上也是离散的。研究方法:我们提出了一个多智能体强化学习框架,多智能体反事实药物靶点结合亲和力(MACDA),产生反事实的药物-蛋白质复合物的解释。我们提出的框架提供了人类可解释的反事实实例,同时优化了反事实生成的输入药物和目标。结果如下:我们基准建议MACDA框架使用戴维斯数据集,并发现我们的框架产生更简约的解释没有损失的解释有效性,编码相似性和QED测量。然后,我们提出了一个涉及ABL1和尼洛替尼的案例研究,以证明MACDA如何解释DTA模型在其预测中输入之间的底层子结构相互作用中的行为,揭示与先前领域知识一致的机制。
2021-06-02 cs.AI cs.LG
Alterfactual Explanations -- The Relevance of Irrelevance for Explaining AI Systems
Augsburg University(奥格斯堡大学)
来自反事实思维领域的解释机制是可解释人工智能(XAI)的广泛使用的范例,因为它们遵循人类熟悉的自然推理方式。然而,该领域的所有常见方法都是基于对AI决策特别重要的特征或特性的信息进行交流。我们认为,为了充分理解一个决定,不仅需要有关相关特征的知识,而且对不相关信息的认识也有助于创建用户的人工智能系统的心理模型。因此,我们引入了一种解释AI系统的新方法。我们的方法,我们称之为Alterfactual Approachations,是基于显示一个替代现实,其中AI输入的不相关特征被改变。通过这样做,用户直接看到输入数据的哪些特性可以任意改变而不影响AI的决定。我们在一项广泛的用户研究中评估了我们的方法,发现它能够显著促进参与者对AI的理解。我们表明,非事实的解释是适合传达的AI的推理比既定的反事实的解释方法的不同方面的理解。
2022-07-19 cs.AI
CF-GNNExplainer: Counterfactual Explanations for Graph Neural Networks
University of Amsterdam(阿姆斯特丹大学);Sapienza University of Rome(罗马萨皮恩扎大学)
鉴于图神经网络(GNN)在现实世界中的应用前景越来越好,已经开发了几种方法来解释它们的预测。用于解释GNN预测的现有方法主要集中在生成与特定预测特别相关的子图。然而,这种方法本质上并不是反事实的(CF):给定一个预测,我们想知道如何改变预测以实现另一种结果。在这项工作中,我们提出了一种为GNN生成CF解释的方法:对输入(图)数据的最小扰动,使得预测发生变化。仅使用边缘删除,我们发现我们的方法CF-GNNExplainer可以为GNN解释的三个广泛使用的数据集上的大多数实例生成CF解释,同时平均删除不到3条边缘,准确率至少为94%。这表明CF-GNNExplainer主要删除对原始预测至关重要的边缘,从而导致CF解释最少。
2022-02-22 cs.AI cs.LG
Evidence-Gated LLM Priors for Multi-Objective Bayesian Optimization
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室)
针对多目标贝叶斯优化中LLM先验可能误导的问题,提出一种目标级声誉市场机制,通过在线反馈动态校准专家权重,并引入解耦反事实门控,在合成测试和分子优化基准上验证了动态校准的鲁棒性。
2026-06-15 cs.AI cs.LG
The Effect of Data Poisoning on Counterfactual Explanations
Bielefeld University(比勒菲尔德大学);University of Cyprus(塞浦路斯大学);J.P. Morgan AI Research(摩根大通AI研究);Inria, Sophia Antipolis(法国国家信息与自动化研究所,索菲亚安蒂波利斯)
本文形式化反事实解释中的数据投毒问题,提出通用投毒机制,并在配水管网事件检测及多种先进方法上验证其可提高追索成本且现有防御难以检测。
2025-07-28 cs.AI cs.LG
Axiomatic Foundations of Counterfactual Explanations
IRIT, CNRS, France(IRIT,法国国家科学研究中心)
本文提出一个公理框架,系统研究反事实解释的类型,揭示五种不同反事实类型,并分析现有解释器的行为和复杂性。
2026-02-03 cs.AI cs.LG stat.ME
Counterfactual Explanations for Clustering Models
Università della Svizzera italiana (USI)(瑞士意大利语大学);ETH Zurich(苏黎世联邦理工学院)
针对聚类模型难以解释的问题,提出一种模型无关的反事实解释方法,利用软评分引导反事实搜索,在五个数据集和两种聚类算法上显著提升解释质量。
2024-09-19 cs.AI cs.LG cs.NE
From Spoken Thoughts to Automated Driving Commentary: Predicting and Explaining Intelligent Vehicles' Actions
University of Oxford(牛津大学);Umeå University(于默奥大学);University of Nottingham(诺丁汉大学);Oxford Robotics Institute(牛津机器人研究所)
在评论驾驶中,驾驶员用语言表达他们的观察,评估和意图。通过说出他们的想法,学习和专家驾驶员都能够更好地理解和意识到他们的周围环境。在智能车辆背景下,自动驾驶评论可以提供关于驾驶动作的可理解的解释,从而在具有挑战性和安全关键的场景中在驾驶操作期间帮助驾驶员或最终用户。在本文中,我们进行了一项实地研究,其中我们部署了一个研究车辆在城市环境中获取数据。在收集车辆周围环境的传感器数据时,我们使用有声思维协议从驾驶教练那里获得驾驶评论。我们分析了驾驶评论,发现了一种解释风格;司机首先宣布他的观察,宣布他的计划,然后做一般性的评论。他还发表了反事实的评论。我们成功地演示了如何使用透明的基于树的方法自动生成遵循这种风格的事实和反事实自然语言解释。为纵向行动生成解释(例如,停止和移动)被认为是更容易理解和合理的人类法官相比,横向行动,如车道变化。我们讨论了如何在未来建立我们的方法,以实现驾驶员辅助以及驾驶功能的部分和有条件自动化的更强大和有效的可解释性。
2022-06-04 cs.AI cs.CY cs.HC
HyConEx: Hypernetwork classifier with counterfactual explanations for tabular data
Faculty of Mathematics and Computer Science, Jagiellonian University(数学与计算机科学学院,杰兹维日大学);Wrocław University of Science and Technology(沃拉什大学技术学院);IDEAS Research Institute(IDEAS研究所)
HyConEx是一种基于深度超网络的表格数据分类器,能够生成反事实解释以解释模型决策并提升可解释性。
2026-03-10 cs.AI cs.LG
Explainable Image Classification with Evidence Counterfactual
University of Antwerp(安特卫普大学)
用于图像分类的最新建模技术的复杂性阻碍了以可解释的方式解释模型预测的能力。现有的解释方法通常根据像素或像素组来创建重要性排名。然而,由此产生的解释缺乏一个最佳的大小,不考虑功能的依赖性,只涉及到一个类。反事实解释方法被认为有希望解释复杂的模型决策,因为它们与高度的人类可解释性相关。在本文中,SEDC作为一个模型无关的实例级解释方法图像分类,以获得视觉反事实的解释。对于给定的图像,SEDC搜索一小部分片段,如果删除,则会改变分类。由于图像分类任务通常是多类问题,SEDC-T被提出作为一种替代方法,允许指定一个目标反事实类。我们比较SEDC(-T)与流行的特征重要性方法,如LRP,LIME和SHAP,我们描述了如何解决上述重要性排名问题。此外,具体的例子和实验说明了我们的方法的潜力(1)获得信任和洞察力,(2)通过解释错误分类获得模型改进的输入。
2020-04-16 cs.AI cs.CV cs.LG
Comparables XAI: Faithful Example-based AI Explanations with Counterfactual Trace Adjustments
National University of Singapore(新加坡国立大学)
本文提出可比性XAI,通过反事实追踪调整提升基于实例的AI解释的忠实性和精度,为提高用户对AI决策的理解提供新方法。
2026-09-07 cs.AI cs.HC
Explaining Expert Search and Team Formation Systems with ExES
University of Waterloo(滑铁卢大学);York University(约克大学)
针对专家搜索与团队组建系统缺乏透明度的问题,提出 ExES,利用事实性和反事实 XAI 解释关键技能与协作,并通过剪枝策略将解释搜索提速约一个数量级。
2024-05-21 cs.AI cs.DB
Counterfactual Explanations and Algorithmic Recourses for Machine Learning: A Review
University of Washington(华盛顿大学);Arthur AI(亚瑟人工智能公司)
机器学习在许多已部署的决策系统中发挥作用,通常以人类利益相关者难以或不可能理解的方式发挥作用。以人类可理解的方式解释机器学习模型的输入和输出之间的关系对于开发基于可信机器学习的系统至关重要。一个新兴的研究主体试图定义机器学习中可解释性的目标和方法。在本文中,我们试图对反事实解释的研究进行回顾和分类,反事实解释是一种特定的解释,它提供了一种联系,如果模型的输入以特定的方式改变,可能会发生什么。机器学习中的反事实可解释性的现代方法与许多国家的既定法律原则相联系,使它们对金融和医疗保健等高影响领域的现场系统具有吸引力。因此,我们设计了一个具有理想特性的反事实解释算法的量规,并对该量规全面评估了目前提出的所有算法。我们的标题提供了不同方法的优点和缺点的简单比较和理解,并作为该领域主要研究主题的介绍。我们还确定了差距,并讨论了有前途的研究方向,在空间的反事实的可解释性。
2022-11-15 cs.AI cs.LG stat.ML
Fairness Invariants: A Relational Approach to Explaining and Mitigating Fairness Bugs
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出REMI框架,将反事实公平性视为关系不变量发现问题,可自动定位、解释和缓解个体歧视,在83%以上案例中定位真实公平性缺陷,使黑箱模型歧视性决策减少最多70%。
2026-08-28 cs.AI cs.LG cs.SE
Provably Robust Bayesian Counterfactual Explanations under Model Changes
School of Computing and Digital Technologies(计算与数字技术学院);Sheffield Hallam University(谢菲尔德哈姆大学);Lee Kong Chian School of Medicine(李科金医学院);Nanyang Technological University(南洋理工大学)
本文提出PSCE方法,通过概率安全和鲁棒性保证,在模型变化下生成更可靠且具有判别性的反事实解释。
2026-02-10 cs.AI cs.LG
Model Agnostic Local Explanations of Reject
University of Cyprus(塞浦路斯大学);Bielefeld University(比勒费尔德大学)
基于机器学习的决策系统在安全关键领域的应用需要可靠的高确定性预测。拒绝选项是确保系统所做预测具有足够高确定性的常见方法。虽然能够拒绝不确定的样本很重要,但能够解释为什么特定样本被拒绝也很重要。然而,解释一般拒绝选项仍然是一个悬而未决的问题。我们提出了一个模型不可知的方法,通过可解释的模型和反事实的解释来局部解释任意拒绝选项。
2022-05-16 cs.AI cs.LG
People Attribute Purpose to Autonomous Vehicles When Explaining Their Behavior: Insights from Cognitive Science for Explainable AI
University of Edinburgh(爱丁堡大学)
本文基于认知科学提出解释模式框架,通过自动驾驶场景实验构建HEADD数据集,发现目的论解释质量显著优于反事实解释,为XAI设计提供了实证依据。
2025-02-03 cs.AI cs.HC cs.RO
A Definition of Good Explanations and the Challenges Explaining LLM Outputs
本文提出一种基于反事实解释且考虑对话者先验信念的好解释定义,并探讨该定义对AI可解释性的影响,特别是为何LLM输出难以产生好解释。
2026-06-16 cs.AI
ConceptCF: Concept-based Counterfactuals for the Explainability of Time Series
Saxion University of Applied Sciences(萨克逊应用科学大学);University of Twente(特温特大学)
研究针对时间序列可解释性问题,提出ConceptCF方法,通过时间序列分解构建概念,利用遗传算法生成反事实,经与五种先进方法对比评估,该方法在多指标上表现出色,能有效提供基于概念的反事实解释。
2026-07-22 cs.AI cs.LG
Sample Observed Effects: Enumeration, Randomization and Generalization
University of Sao Paulo(圣保罗大学)
针对因果效应反事实定义缺乏泛化性的问题,提出干预效应外部有效性的组合定义,基于背景集合制定泛化条件,用组合框架审视反事实公式问题,替代参数估计并展示在COVID-19问题中的应用。
2024-06-02 cs.AI stat.ME
"How to make them stay?" -- Diverse Counterfactual Explanations of Employee Attrition
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学);Cyprus University of Technology(塞浦路斯理工大学)
员工流失是一个重要而复杂的问题,可以直接影响组织的竞争力和绩效。解释员工离开组织的原因是一个关键的人力资源管理挑战,因为吸引和留住有才华的员工需要高昂的成本和时间。因此,企业的目标是提高员工保留率,以最大限度地降低成本并最大限度地提高绩效。机器学习(ML)已被应用于人力资源管理的各个方面,包括流失预测,为企业提供关于如何防止有才华的员工离职的积极措施的见解。在这些ML方法中,集成或深度神经网络报告了最好的性能,其本质上构成了黑盒技术,因此无法轻松解释。为了能够理解这些模型的推理,已经提出了几个可解释性框架。近年来,反事实解释方法引起了相当大的关注,因为它们可以用来解释和建议采取行动,以获得预期的结果。然而,目前的反事实解释方法侧重于优化对个别情况的改变,以达到预期的结果。在自然减员问题中,重要的是能够预见组织的行动对一群员工的影响,其目标是防止他们离开公司。因此,在本文中,我们建议使用反事实的解释,重点是从历史数据中的多个减员案件,以确定最佳的干预措施,一个组织需要使其实践/政策,以防止或尽量减少这些案件的减员概率。
2023-03-08 cs.AI cs.LG
Beyond Known Reality: Exploiting Counterfactual Explanations for Medical Research
Istanbul Technical University(伊斯坦布尔理工大学);University of Southern Denmark(南丹麦大学);Yildiz Technical University(伊尔德兹理工大学)
本研究利用反事实解释探讨“如果……会怎样?”场景在医学研究中的适用性,扩展了MRI诊断小儿后颅窝脑肿瘤特征的理解,并验证了其在数据增强和改进AI临床研究方法中的潜力。
2025-02-02 cs.AI
Provably Robust and Plausible Counterfactual Explanations for Neural Networks via Robust Optimisation
Imperial College London(帝国理工学院);University of Glasgow(格拉斯哥大学)
针对神经网络反事实解释在参数更新下易失效且可能不合理的问题,提出基于鲁棒优化的 PROPLACE,可生成兼具接近性、合理性与可证明鲁棒性的反事实解释,并在对比实验中达到最先进性能。
2024-04-04 cs.AI cs.LG