OrphicX: A Causality-Inspired Latent Variable Model for Interpreting Graph Neural Networks
The Hong Kong Polytechnic University(香港理工大学);University of Toronto(多伦多大学);Rutgers University(罗格斯大学)
本文提出了一个新的解释框架,称为OrphicX,用于生成因果解释的任何图神经网络(GNNs)的基础上学习潜在的因果因素。具体来说,我们构建了一个独特的生成模型,并设计了一个目标函数,鼓励生成模型产生因果关系,紧凑,忠实的解释。这是通过最大化信息流测量来隔离图的潜在空间中的因果因素来实现的。我们从理论上分析了因果关系图中的因果关系,将节点属性识别为图和GNN预测之间的混淆因素,并通过利用后门调整公式来规避这种混淆效应。我们的框架与任何GNN都兼容,并且它不需要访问目标GNN产生预测的过程。此外,它不依赖于所解释的特征的线性独立性假设,也不需要关于图学习任务的先验知识。我们展示了OrphicX在图数据的规范分类问题上的概念证明。特别是,我们分析了从分子图的解释中获得的解释子图(即,Mutag),并定量评估频繁出现子图模式的解释性能。从经验上讲,我们表明,OrphicX可以有效地识别因果语义生成因果解释,显着优于其替代品。
2022-03-29 cs.LG stat.ML
Causality-based Counterfactual Explanation for Classification Models
University of Technology Sydney(悉尼科技大学);Curtin University(科廷大学)
反事实解释是可解释机器学习的一个分支,它产生一个扰动样本来改变模型的原始决策。生成的样本可以作为最终用户的建议,以实现其期望的输出。现有的反事实解释方法大多是基于梯度的方法,该方法只能优化连续变量的可微损失函数。因此,无梯度方法被提出来处理分类变量,但它有几个主要的局限性:1)在生成反事实时,特征之间的因果关系通常被忽略,可能导致决策者不切实际的指导方针;(二)反事实解释算法需要大量的努力进行参数调整,以确定每个损失函数的最佳权重,针对不同的数据集和设置重复进行。在这项工作中,为了解决上述限制,我们提出了一个基于原型的反事实解释框架(ProCE)。ProCE能够保留反事实数据特征背后的因果关系。此外,我们设计了一种新的无梯度优化的多目标遗传算法的基础上产生的连续和分类功能的混合型的反事实的解释。数值实验表明,我们的方法相比,与国家的最先进的方法,因此是适用于现有的预测模型。所有源代码和数据均可在\url{https://github.com/tridungduong16/multiobj-scm-cf}上获得。
2023-03-26 cs.LG
CFGs: Causality Constrained Counterfactual Explanations using goal-directed ASP
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出CFGs框架,利用目标导向ASP系统s(CASP)为基于规则的机器学习模型(如FOLD-SE)自动生成考虑特征因果依赖的反事实解释,通过系列干预实现从初始状态到目标状态的导航。
2024-05-24 cs.AI cs.LG cs.LO
What Did You Think Would Happen? Explaining Agent Behaviour Through Intended Outcomes
University of Surrey(萨里大学);Amazon Web Services(亚马逊云科技);Alan Turing Institute(艾伦·图灵研究所)
我们提出了一种新的形式的解释强化学习,基于预期结果的概念。这些解释描述了一个智能体试图通过其行为实现的结果。我们提供了一个简单的证明,这种性质的事后解释的一般方法是不可能在传统的强化学习。相反,解释所需的信息必须与培训代理人一起收集。我们得到的方法,旨在提取本地的解释的基础上的几个变种的Q函数近似的意图和证明的解释和Q值之间的一致性。我们在多个强化学习问题上展示了我们的方法,并提供代码来帮助研究人员反思他们的强化学习环境和算法。
2020-11-10 cs.AI cs.CY cs.LG
An ASP-Based Approach to Counterfactual Explanations for Classification
Universidad Adolfo Ibañez(阿道夫·伊瓦涅斯大学);Millenium Institute on Foundations of Data(千禧数据基础研究所)
我们提出了答案集程序,指定和计算反事实的干预措施的基础上,基于因果关系的解释分类模型产生的决定。它们可以应用于黑盒模型和可以指定为逻辑程序的模型,例如基于规则的分类器。主要集中在最大责任因果解释的规范和计算上。使用额外的语义知识进行了研究。
2020-06-16 cs.DB cs.LG cs.LO
Navigating Time's Possibilities: Plausible Counterfactual Explanations for Multivariate Time-Series Forecast through Genetic Algorithms
本文提出一种结合遗传算法和因果性测试的方法,用于多变量时间序列预测中的反事实解释,旨在揭示隐藏的因果关系并预测假设干预下的结果。
2026-03-01 cs.LG
3D ReX: Causal Explanations in 3D Neuroimaging Classification
King’s College London(伦敦国王学院);University College London(伦敦大学学院)
本文提出首个基于因果的3D模型事后可解释性工具3D ReX,利用实际因果理论生成责任图,在卒中检测模型上验证其能有效揭示与卒中相关的特征空间分布。
2025-04-29 cs.AI cs.CV cs.LG
Trying to Outrun Causality with Machine Learning: Limitations of Model Explainability Techniques for Identifying Predictive Variables
机器学习可解释性技术已经被提出作为“解释”或询问模型的手段,以便理解为什么做出了特定的决策或预测。当机器学习被用于自动化涉及敏感因素和法律结果的决策过程时,这种能力尤其重要。事实上,这甚至是欧盟法律的要求。此外,研究人员担心强加过于限制性的功能形式(例如,如在线性回归中的情况)可以被激励来结合可解释性技术使用机器学习算法,作为探索性研究的一部分,其目标是识别与感兴趣的结果相关联的重要变量。例如,流行病学家可能有兴趣通过使用随机森林和使用重要性度量评估变量相关性来确定“风险因素”,即影响疾病康复的因素。然而,正如我们所证明的,机器学习算法并不像看起来那么灵活,而是对数据中的潜在因果结构非常敏感。这样做的后果是,事实上,对因果系统至关重要并且与结果高度相关的预测因子,仍然可以被解释性技术视为与结果无关/不重要/不可预测。而不是这是一个可解释性技术本身的限制,我们表明,这是一个结果,而回归的数学含义,这些含义与相关的条件独立的基础因果结构的相互作用。我们为希望探索重要变量数据的研究人员提供了一些替代建议。
2022-02-25 cs.LG stat.ML
The Utility of "Even if..." Semifactual Explanation to Optimise Positive Outcomes
Massachusetts Institute of Technology(麻省理工学院);Tencent Security Big Data Lab(腾讯安全大数据实验室)
本文提出用“即使……”半事实解释来优化积极结果,引入增益概念和因果形式化,并通过实验与用户研究证明其优于传统反事实解释。
2023-10-29 cs.AI cs.LG
"Why Should You Trust My Explanation?" Understanding Uncertainty in LIME Explanations
Cornell University(康奈尔大学);Zshield Inc(Zshield公司)
解释机器学习黑箱模型的方法增加了结果的透明度,从而使人们深入了解算法的可靠性和公平性。然而,解释本身可能包含重大的不确定性,破坏了对结果的信任,并引起了对模型可靠性的担忧。聚焦于方法“本地可解释模型不可知解释”(LIME),我们证明了存在两个来源的不确定性,即在其采样过程中的随机性和不同的输入数据点的解释质量的变化。这种不确定性甚至存在于具有高训练和测试精度的模型中。我们将LIME应用于合成数据和两个公共数据集,20个新闻组中的文本分类和COMPAS中的累犯风险评分,以支持我们的论点。
2019-06-04 cs.AI cs.LG stat.ML
Explaining Reinforcement Learning Agents Through Counterfactual Action Outcomes
Technion - Israel Institute of Technology(以色列理工学院)
针对现有可解释强化学习局部解释无法展现动作结果的问题,提出可视化对比所选动作与反事实动作结果的COViz方法,实验显示其与奖励分解法整合可显著提升用户对智能体偏好的理解表现。
2023-12-18 cs.AI cs.LG
GESD: Beyond Outcome-Oriented Fairness
Gianforte School of Computing, Montana State University(蒙塔那州立大学计算机学院)
本文提出GESD,一种以过程为导向的公平性度量,用于衡量模型解释在不同保护类别子组中的稳定性、鲁棒性和敏感性差异。通过多目标优化框架FEU,提升公平性和实用性。
2026-05-14 cs.AI cs.CY cs.LG
"Explain it in the Same Way!" -- Model-Agnostic Group Fairness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学)
反事实解释是一种流行的解释类型,用于使决策系统的结果对用户透明。反事实解释告诉用户做什么,以改变系统的结果在一个理想的方式。然而,最近发现,关于如何做的建议在受保护的个人群体之间的复杂性可能有很大差异。向一个群体提供更困难的行动建议会导致这个群体与其他群体相比处于不利地位。在这项工作中,我们提出了一个模型不可知的方法计算反事实的解释,不显着不同的保护组之间的复杂性。
2022-11-27 cs.AI cs.CY cs.LG
Causality by Abstraction: Symbolic Rule Learning in Multivariate Timeseries with Large Language Models
Arizona State University(亚利桑那州立大学)
ruleXplain利用大语言模型提取多变量时间序列中的因果规则,通过生成反事实输入轨迹和闭环细化确保规则的可验证性和有效性。
2026-02-19 cs.LG
Informative Semi-Factuals for XAI: The Elaborated Explanations that People Prefer
School of Computer Science, University College Dublin, Dublin, Ireland(都柏林大学计算机科学学院);Insight Research Ireland Centre for Data Analytics, Dublin, Ireland(爱尔兰洞察研究数据分析中心)
本文提出一种新的算法,生成更详细的半事实性解释,补充半事实性解释关于影响自动决策的隐藏特征信息,实验表明其解释信息丰富且质量高,用户更偏好此类解释。
2026-03-18 cs.AI cs.LG
Is Shapley Explanation for a model unique?
Shapley值最近成为解释复杂和简单机器学习模型预测的流行方法。本文讨论了影响Shapley值的因素。特别是,我们探讨了一个功能的分布和Shapley值之间的关系。我们扩展我们的分析,讨论在Shapley解释不同的预测结果从同一个模型中出现的差异。我们的评估是,特定特征的Shapley值不仅取决于其预期均值,还取决于其他时刻,例如方差,基线预测存在分歧,体征和不同结果的最重要特征存在分歧,例如概率,对数几率和使用相同线性概率模型(logit/probit)生成的二元决策。这些分歧不仅停留在局部的可解释性,但也影响到全球的功能的重要性。我们的结论是,有一个给定的模型没有唯一的Shapley解释。它随模型结果(概率/对数几率/二元决策,如接受与拒绝)以及模型应用而变化。
2021-11-23 cs.LG stat.ME stat.ML
DisCERN:Discovering Counterfactual Explanations using Relevance Features from Neighbourhoods
Robert Gordon University(罗伯特戈登大学)
反事实解释侧重于“可操作的知识”,以帮助最终用户理解如何将机器学习结果改变为更理想的结果。为此,反事实解释者需要发现与结果变化相关的输入依赖性。确定在决策中采取输出变化所需的最小特征变化子集对反事实解释者来说是一个有趣的挑战。本文介绍的Discern算法是一种基于实例的反事实解释器。在这里,反事实是通过从最近的不相似邻居(NUN)替换特征值来形成的,直到观察到可操作的变化。我们展示了如何广泛采用的功能相关性为基础的解释(即石灰,SHAP),可以通知Discern识别的最小子集的“可操作的功能”。我们在五个数据集上展示了我们的Discern算法,并与广泛使用的基于优化的反事实方法DiCE进行了比较研究。我们的研究结果表明,Discern是一种有效的策略,以尽量减少必要的可操作的变化,创造良好的反事实解释。
2021-09-13 cs.AI cs.LG
Quantifying Symptom Causality in Clinical Decision Making: An Exploration Using CausaLM
本研究利用CausaLM框架和TReATE方法,量化“胸痛”症状对临床NLP模型诊断预测的因果影响,超越相关性分析,为更可信、可解释的医疗决策支持工具提供依据。
2026-10-22 cs.AI cs.LG
Explainability in Process Outcome Prediction: Guidelines to Obtain Interpretable and Faithful Models
Research Centre for Information Systems Engineering (LIRIS)(信息系统工程研究中心(LIRIS));KU Leuven(鲁汶大学)
本文在流程结果预测中通过可解释性和忠实度定义可解释性,在13个真实事件日志上对7个分类器进行基准测试,并提出X-MOP指南以帮助基于事件日志规范选择合适的模型。
2023-07-30 cs.AI cs.LG cs.SE
Machine Learning in Sports: A Case Study on Using Explainable Models for Predicting Outcomes of Volleyball Matches
BITS Pilani(比尔拉科学技术学院)
机器学习已成为包括体育在内的多个领域的工程设计和决策的组成部分。深度神经网络(DNN)已经成为预测职业体育赛事结果的最先进方法。然而,除了对这些体育赛事的结果进行高度准确的预测外,还需要回答以下问题:“为什么模型预测A队将在X场比赛中战胜B队?“DNN本质上是黑箱。因此,需要为体育运动中的模型预测提供高质量的可解释和可理解的解释。本文探讨了两个阶段的解释人工智能(XAI)的方法来预测比赛的结果在巴西排球联赛(SuperLiga)。在第一阶段,我们直接使用可解释的基于规则的ML模型,这些模型基于布尔规则列生成(BRCG;提取简单的AND-OR分类规则)和逻辑回归(LogReg;允许估计特征重要性得分)提供对模型行为的全局理解。在第二阶段,我们构建了非线性模型,如支持向量机(SVM)和深度神经网络(DNN),以获得对排球比赛结果的预测性能。我们使用ProtoDash为每个数据实例构建“事后”解释,ProtoDash是一种在训练数据集中找到与测试实例最相似的原型的方法,SHAP是一种估计每个特征对模型预测的贡献的方法。我们使用忠诚度度量来评估SHAP解释。我们的研究结果表明,模型的预测解释的有效性。
2022-06-18 cs.AI cs.LG
Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems
Vector Institute(向量研究所);UIUC(伊利诺伊大学厄巴纳-香槟分校);Google Brain(谷歌大脑);UT Austin(德克萨斯大学奥斯汀分校)
基于机器学习的决策系统越来越多地影响人类。在这种决策系统下,个人可能会遭受不希望的结果(例如拒绝信贷),而不管决策是否公平或准确。个人追索权涉及提供一套可操作的改变,一个人可以采取,以改善其结果的问题。我们提出了一个追索算法,模型的基础数据分布或流形。然后,我们提供了一种机制,以产生最小的变化集,这将改善个人的结果。这种机制可以很容易地用于为任何基于可微机器学习的决策系统提供资源。此外,所得到的算法被证明是适用于监督分类和因果决策系统。我们的工作试图填补现有的公平性文献,主要集中在发现和/或算法上执行决策系统的公平性约束的空白。这项工作也提供了一种替代方法来产生反事实的解释。
2019-07-22 cs.LG stat.ML
Causal Discovery and Classification Using Lempel-Ziv Complexity
BITS Pilani K K Birla Goa Campus(BITS Pilani K K Birla 果阿校区);National Institute of Advanced Studies(国家高级研究院);Indian Institute of Science(印度科学学院)
本研究基于Lempel-Ziv复杂度提出新的因果性度量和距离度量,构建因果决策树,在因果结构数据上显著优于传统基尼决策树,并能推断主要因果变量。
2024-11-14 cs.LG stat.ME
Do Fair Models Reason Fairly? Counterfactual Explanation Consistency for Procedural Fairness in Credit Decisions
本文提出CEC框架,通过对个体与反事实对照体的特征归因对齐,检测并缓解隐藏的程序性偏见,提升信用决策的公平性。
2026-05-12 cs.AI cs.CE cs.CY
Contextual Importance and Utility: aTheoretical Foundation
Umeå University(于默奥大学);Aalto University(阿尔托大学)
本文为可解释的人工智能(XAI)方法上下文重要性和效用(CIU)提供了新的理论支持。CIU算法是基于多属性效用理论的概念,为CIU算法提供了坚实的理论基础。上下文影响的新概念也被定义,这使得它可以直接比较CIU与所谓的添加剂特征归因(AFA)方法模型不可知的结果解释。一个关键的结论是,AFA方法使用的“影响”概念不足以解释结果,即使是简单的模型也无法解释。简单模型的实验表明,使用上下文重要性(CI)和上下文效用(CU)的解释产生的解释,基于影响的方法失败。它也表明,CI和CU保证解释忠实于被解释的模型。
2022-02-15 cs.AI cs.LG
Explaining Deep Learning Models with Constrained Adversarial Examples
Babylon Health(巴比伦健康公司);Royal Holloway University of London(伦敦大学皇家霍洛威学院)
机器学习算法通常遭受可解释性的问题。给定来自模型的分类结果,通常很难确定是什么导致做出决策,并给出信息性解释。我们探索了一种产生反事实解释的新方法,它不是解释为什么要进行特定的分类,而是解释如何实现不同的结果。这为解释的接受者提供了一种更好的方式来理解结果,并提供了一个可操作的建议。我们表明,所介绍的方法的约束对抗性的例子(CADEX)可以用于在现实世界中的应用,并产生解释,其中包括业务或领域的约束,如处理分类属性和范围的限制。
2019-06-25 cs.LG stat.ML
MESD: A Risk-Sensitive Metric for Explanation Fairness Across Intersectional Subgroups
本文提出MESD,一种衡量不同交集子组解释质量差异的程序公平度量,结合标签感知聚合、经验贝叶斯收缩和CVaR加权,通过多目标优化框架UEF优化效用、结果公平和程序公平。
2026-05-15 cs.AI cs.CY cs.LG
Introducing User Feedback-based Counterfactual Explanations (UFCE)
DISPeA(DISPeA机构);University of Urbino(乌尔比诺大学);CiTIUS(CiTIUS机构);Universidade de Santiago de Compostela(圣地亚哥-德孔波斯特拉大学)
针对现有反事实解释忽视关键特征与建议实用性的问题,提出UFCE方法,通过纳入用户约束和特征依赖生成最小可行修改,并在五个数据集上验证其在邻近性、稀疏性和可行性上优于两种主流方法。
2024-02-26 cs.AI cs.HC cs.LG
This changes to that : Combining causal and non-causal explanations to generate disease progression in capsule endoscopy
NTNU(挪威科技大学);Sintef Digital(SINTEF数字公司);Robert Gordon University(罗伯特戈登大学)
本文提出一种统一解释方法,结合模型相关与模型无关解释生成一致且能揭示因果关系的解释集合,并在无线胶囊内镜领域验证其有效性,显著性图在softmax信息分数上表现可比或更优。
2022-12-05 cs.AI cs.CV cs.LG