Gradient-based Training of Slow Feature Analysis by Differentiable Approximate Whitening
Institute for Neural Computation(神经计算研究所);Ruhr-Universität Bochum(波鸿鲁尔大学)
我们提出了功率慢特征分析,一种基于梯度的方法,从高维输入流中提取时间上慢的特征,该输入流在更快的时间尺度上变化,作为慢特征分析(SFA)的变体,允许任意可微架构的端到端训练,从而显着扩展了可有效用于慢特征提取的模型类别。我们提供的实验证据表明,PowerSFA是能够提取有意义的和信息丰富的低维特征的情况下(a)合成低维数据,(b)自我视觉数据,以及(c)一个一般的数据集,可以定义点之间的对称非时间相似性。
2019-07-18 cs.LG stat.ML
Diminishing the Effect of Adversarial Perturbations via Refining Feature Representation
Shahid Bahonar University(沙希德·巴霍纳尔大学);University of Manitoba(曼尼托巴大学)
深度神经网络极易受到对抗性样本的攻击,这给这些最先进的模型带来了严重的安全问题。已经提出了许多防御方法来缓解这个问题。然而,它们中的许多依赖于目标模型的修改或额外训练。在这项工作中,我们分析调查每一层的非扰动和扰动图像的表示,并显示这些表示扰动的效果。因此,提出了一种基于白化着色变换的方法,以减少由对手造成的任何期望的层的误报。我们的方法可以应用于任何模型的任何层,而不需要任何修改或额外的训练。由于该层的表示的完全白化不容易区分,因此我们提出的方法对白盒攻击具有超强的鲁棒性。此外,我们证明了我们的方法对一些国家的最先进的黑盒攻击的强度。
2019-10-01 cs.CV cs.LG
Explanation of Machine Learning Models of Colon Cancer Using SHAP Considering Interaction Effects
Kumamoto University(熊本大学);Fukuoka Health Promotion Support Center(福冈健康促进支援中心);Kyushu University Hospital(九州大学医院)
当在决策过程中使用机器学习技术时,模型的可解释性很重要。Shapley加性解释(SHAP)是机器学习模型最有前途的解释方法之一。当一个变量的影响取决于另一个变量的值时,就会发生交互作用效应。即使每个变量对结果的影响很小,但它的组合也会对结果产生意想不到的巨大影响。理解交互作用对于理解机器学习模型很重要;然而,朴素SHAP分析无法区分主效应和交互作用效应。在本文中,我们引入Shapley-Taylor指数作为解释方法的机器学习模型使用SHAP考虑相互作用的影响。我们将该方法应用于九州大学医院的癌症队列数据(N= 29,080),以分析哪些因素组合有助于结肠癌的风险。
2022-08-05 cs.LG
Faithful Explanations for Deep Graph Models
Carnegie Mellon University(卡内基梅隆大学)
本文研究了图神经网络(GNNs)的忠实解释。首先,我们提供了一个新的和一般的方法来正式表征GNN的解释的忠实性。它适用于现有的解释方法,包括特征属性和子图解释。其次,我们的分析和实证结果表明,特征属性的方法不能捕捉边缘特征的非线性效应,而现有的子图解释方法是不忠实的。第三,我们介绍了\emph{k-hop Explanation with a Convolutional Core}(KEC),一种新的解释方法,可证明最大限度地忠实于原来的GNN利用信息的图结构在其邻接矩阵和它的\emph{k-th}权力。最后,我们对使用GNN进行分类和异常检测任务的合成和真实数据集的实证结果证明了我们方法的有效性。
2022-05-24 cs.AI cs.LG
DISCRET: Synthesizing Faithful Explanations For Treatment Effect Estimation
School of Computer Science, Peking University(北京大学计算机学院);University of Pennsylvania(宾夕法尼亚大学);Harvard University(哈佛大学);Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
针对个体处理效应估计中黑盒模型无解释、自解释模型精度低的问题,提出自解释框架DISCRET,利用RL算法合成基于规则的忠实解释,准确率媲美黑盒模型。
2024-06-02 cs.LG stat.ME
Play MNIST For Me! User Studies on the Effects of Post-Hoc, Example-Based Explanations & Error Rates on Debugging a Deep Learning, Black-Box Classifier
School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院);Insight Centre for Data Analytics(数据分析洞察中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心)
本文报道了两个实验(N=349)的影响事后解释的例子和出错率对人们的看法的黑箱分类器。这两个实验都表明,当人们得到的情况下,从实施ANN CBR双系统的解释,他们认为错过分类更正确。他们还表明,当出错率增加到4%以上时,人们对分类器的信任度降低,认为它不太正确、不太合理、不太可信。讨论了这些结果对XAI的影响。
2020-09-10 cs.HC cs.LG
An effect analysis of the balancing techniques on the counterfactual explanations of student success prediction models
Humboldt University of Berlin(柏林洪堡大学);Eskisehir Technical University(埃斯基谢希尔技术大学)
本文通过开放大学学习分析数据集案例研究,分析了多种反事实生成方法在平衡处理后的有效性,为学生成功预测模型选择合适方法提供依据。
2024-08-01 cs.LG stat.ML
Explain yourself! Effects of Explanations in Human-Robot Interaction
Universität Hamburg(汉堡大学)
可解释人工智能的最新发展有望改变人机交互:机器人决策的解释可能会影响用户的感知,证明其可靠性,并增加信任。然而,解释机器人决策的人类感知的影响尚未得到彻底研究。为了分析可解释机器人的效果,我们进行了一项研究,其中两个模拟机器人玩一个竞争性的棋盘游戏。当一个机器人解释它的动作时,另一个机器人只宣布它们。为其行为提供解释不足以改变机器人的感知能力,智力,可爱性或安全评级。然而,结果表明,解释其动作的机器人被认为更生动,更像人类。这项研究表明,需要和潜在的可解释的人机交互和更广泛的评估其影响作为一个新的研究方向。
2022-06-14 cs.LG cs.RO
Balanced background and explanation data are needed in explaining deep learning models with SHAP: An empirical study on clinical decision making
Duke-NUS Medical School(杜克-新加坡国立大学医学院);Singapore General Hospital(新加坡中央医院);Singapore Health Services(新加坡保健服务集团);National University of Singapore(新加坡国立大学)
目的:Shapley加法解释(SHAP)是一种用于解释黑箱模型的事后分析技术。虽然数据不平衡对预测模型的影响已经得到了广泛的研究,但对于基于SHAP的模型解释,它在很大程度上仍然是未知的。本研究旨在调查数据不平衡对深度学习模型SHAP解释的影响,并提出一种减轻这些影响的策略。材料与方法:在解释黑箱模型时,我们建议调整SHAP中背景和解释数据中的类分布。我们的数据平衡策略是组成背景数据和解释数据的类的平均分布。为了评估数据调整对模型解释的影响,我们提出使用蜂群图作为定性工具来识别“异常”解释伪影,并定量检验变量重要性与预测能力之间的一致性。我们在一项实证研究中证明了我们提出的方法,该研究使用重症监护医学信息市场(MIMIC-III)数据和多层感知器预测住院患者死亡率。结果如下:使用数据平衡策略将允许我们减少蜂群图中的工件数量,从而减轻数据不平衡的负面影响。此外,与平衡策略,排名靠前的变量从相应的重要性排名表现出改善的区分力。讨论和结论:我们的研究结果表明,平衡的背景和解释数据,可以帮助减少解释结果中的噪声引起的偏态数据分布,提高变量的重要性排名的可靠性。此外,这些平衡程序提高了SHAP在临床应用中识别具有异常特征的患者的潜力。
2022-06-08 cs.HC cs.LG
Explanatory causal effects for model agnostic explanations
University of South Australia(南澳大学);Hefei University of Technology(合肥工业大学)
本文研究了通过机器学习模型估计特征对特定实例的预测的贡献以及特征对模型的总体贡献的问题。特征(变量)对预测结果的因果效应很好地反映了特征对预测的贡献。一个挑战是,大多数现有的因果效应不能估计数据没有已知的因果关系图。在本文中,我们定义了一个解释性的因果效应的基础上假设的理想实验。这个定义给模型不可知论的解释带来了几个好处。首先,解释是透明的,具有因果意义。第二,解释性因果效应估计可以是数据驱动的。第三,因果效应既为特定预测提供了局部解释,也为预测模型中某个特征的整体重要性提供了全局解释。我们进一步提出了一种方法,使用基于解释因果效应的个体和组合变量进行解释。我们的定义和方法的工作与一些现实世界的数据集上的实验。
2022-06-23 cs.AI cs.LG stat.ME
On the Robustness of Global Feature Effect Explanations
University of Warsaw(华沙大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Warsaw University of Technology(华沙技术大学)
本文针对表格预测模型的全局事后特征效应解释,提出评估部分依赖图与累积局部效应鲁棒性的理论界,并通过合成与真实数据集量化最佳与最坏解释情形的差距。
2025-07-28 cs.LG stat.ML
Investigating the Impact of Model Instability on Explanations and Uncertainty
University of Copenhagen(哥本哈根大学)
本文通过在推理时引入噪声扰动,研究模型不稳定性对解释和不确定性的影响,发现高不确定性不一定意味着低解释合理性,且噪声增强模型在不确定时更擅长识别显著标记,同时显著性图鲁棒性可指示模型稳定性问题。
2024-06-04 cs.CL cs.LG
Towards Faithful and Consistent Explanations for Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学);Florida International University(佛罗里达国际大学)
揭示图神经网络(GNNs)预测背后的原理近年来受到越来越多的关注。实例级GNN解释旨在发现关键输入元素,如目标GNN依赖于进行预测的节点或边。虽然有各种各样的算法被提出来,但大多数算法都是通过搜索能保持原始预测的最小子图来形式化这个任务。然而,归纳偏差是根深蒂固的,在这个框架中:几个子图可以导致相同或相似的输出作为原始图。因此,它们有提供虚假解释的危险,不能提供一致的解释。应用它们来解释表现不佳的GNN将进一步放大这些问题。为了解决这个问题,我们从因果关系的角度从理论上研究了GNN的预测。两个典型的原因虚假的解释被确定:混淆的影响,潜在的变量,如分布偏移,和因果因素不同于原始输入。观察到混淆效应和不同的因果关系都编码在内部表征中,我们提出了一个简单而有效的对策,通过对齐嵌入。具体而言,针对高维空间中的潜在位移,设计了一种基于锚点的分布感知对齐算法。这个新的目标是很容易计算,并可以纳入现有的技术,没有或很少的努力。理论分析表明,它实际上是优化了一个更忠实的解释目标的设计,这进一步证明了所提出的方法。
2022-12-16 cs.LG cs.SI
Effects of Locality and Rule Language on Explanations for Knowledge Graph Embeddings
Inria(法国国家信息与自动化研究所);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);Irisa(雷恩信息与自动化系统研究所)
知识图谱(KG)是许多AI相关任务(如推理或问答)的关键工具。这反过来又推动了幼儿园链接预测的研究,即从现有知识中预测缺失关系的任务。基于KG嵌入的解决方案在这方面已经显示出了有希望的结果。不利的一面是,这些方法通常无法解释它们的预测。虽然一些工作已经提出计算基于嵌入的链接预测器的事后规则解释,但这些努力大多采用具有无界原子的规则,例如,·In(x,y)=> residence(x,y),在全局范围内学习,即,整个KG。这些作品都没有考虑到具有有界原子的规则的影响,例如国籍(x,英格兰)=>说话(x,英语),或者从KG的区域学习的影响,即,本地范围。因此,我们研究这些因素对基于规则的解释嵌入为基础的链接预测的质量的影响。我们的研究结果表明,更具体的规则和局部范围可以提高解释的准确性。此外,这些规则可以提供关于用于链接预测的KG嵌入的内部工作的进一步见解。
2023-02-14 cs.AI cs.LG
High Dimensional Model Explanations: an Axiomatic Approach
复杂的黑盒机器学习模型经常用于关键决策领域。这引起了对算法可解释性的几次呼吁。在文献中提出的许多解释算法单独分配每个功能的重要性。然而,这样的解释未能捕捉的联合效应的功能集。事实上,很少有作品到目前为止正式分析高维模型的解释。在本文中,我们提出了一种新的高维模型解释方法,捕捉的联合作用的特征子集。我们提出了一个新的公理化的Banzhaf指数的推广,我们的方法也可以被认为是一个黑盒模型的近似高阶多项式。换句话说,这项工作证明了使用广义Banzhaf指数作为模型的解释,它唯一地满足一组自然desiderata,它是一个黑盒模型的最佳局部近似。我们的实证评估我们的措施强调它如何设法捕捉可取的行为,而其他措施,不满足我们的公理表现在不可预测的方式。
2021-03-29 cs.LG stat.ML
Fidelity of Ensemble Aggregation for Saliency Map Explanations using Bayesian Optimization Techniques
Leibniz Universität Hannover(汉诺威莱布尼茨大学);dSPACE GmbH(dSPACE有限公司)
近年来,人们提出了大量解释神经网络的特征属性方法。特别是在计算机视觉领域,存在许多用于生成提供像素属性的显著图的方法。然而,他们的解释往往相互矛盾,不清楚哪种解释值得信赖。这个问题的一个自然解决方案是多种解释的聚合。我们提出并比较了不同的基于像素的聚合方案,其目标是生成一个新的解释,其模型的决定的保真度高于每个单独的解释。使用贝叶斯优化领域的方法,我们将个体解释之间的方差纳入聚合过程。此外,我们分析了多重归一化技术对集成聚合的影响。
2022-07-05 cs.CV cs.LG
The Balancing Act of Policies in Developing Machine Learning Explanations
Colby College(科尔比学院)
本研究通过课堂实验发现,政策长度影响开发者对机器学习解释要求的参与度,但政策目的无影响,且解释质量普遍较差,凸显了政策制定和利益相关者视角整合的挑战。
2025-04-16 cs.CY cs.HC cs.LG
Effects of Explanation Specificity on Passengers in Autonomous Driving
University of Oxford(牛津大学)
本文通过扩展基于树的解释器算法生成不同具体性级别的听觉自然语言解释,研究其对自动驾驶乘客的影响,发现具体解释会影响乘客接管驾驶控制的意愿,而抽象解释不会。
2023-07-02 cs.AI cs.CY cs.HC
Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior?
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
近年来,解释机器学习模型的数学方法激增。我们进行了人类受试者测试,这是同类测试中的第一次,以隔离算法解释对模型可解释性,可模拟性的关键方面的影响,同时避免重要的混淆实验因素。当一个人可以根据新的输入预测其行为时,模型是可模拟的。通过文本和表格数据的两种模拟测试,我们评估了五种解释方法:(1)LIME,(2)锚,(3)决策边界,(4)原型模型,和(5)一个组合的方法,从每种方法的解释。在极少数情况下,发现方法有效性的明确证据:LIME提高了表格分类的可模拟性,我们的原型方法在反事实模拟测试中是有效的。我们也收集解释的主观评分,但我们没有发现评分可以预测解释的帮助程度。我们的研究结果提供了第一个可靠和全面的估计如何解释影响模拟性在各种解释方法和数据域。我们表明,(1)我们需要小心我们用来评估解释方法的指标,(2)目前的方法有很大的改进空间。我们所有的支持代码、数据和模型都可以在https://github.com/peterbhase/InterpretableNLP-ACL2020上公开获取。
2020-05-04 cs.AI cs.CL cs.LG
Understanding the Effect of Counterfactual Explanations on Trust and Reliance on AI for Human-AI Collaborative Clinical Decision Making
Singapore Management University(新加坡管理大学)
本文通过实验研究反事实解释如何帮助临床决策中的治疗师和非专业人士减少对错误AI输出的过度依赖,并提升对AI模型准确性的判断能力。
2023-08-08 cs.AI cs.HC cs.LG
Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
许多研究人员激励可解释的人工智能,研究表明,当人工智能解释其建议时,人类-人工智能团队在决策任务上的表现会有所改善。然而,之前的研究发现,只有当人工智能单独表现优于人类和最佳团队时,才能从解释中观察到改进。解释是否有助于实现互补的性能,即团队的准确性高于人类或人工智能单独工作?我们在三个数据集上进行混合方法的用户研究,其中具有与人类相当准确性的AI帮助参与者解决任务(在某些条件下解释自己)。虽然我们观察到人工智能增强的补充改进,但它们并没有通过解释而增加。相反,解释增加了人类接受AI建议的机会,无论其正确性如何。我们的研究结果为以人为中心的人工智能提出了新的挑战:我们能否开发出鼓励对人工智能适当信任的解释性方法,从而帮助产生(或提高)互补性能?
2021-01-12 cs.AI cs.CL cs.HC
Understanding Disparities in Post Hoc Machine Learning Explanation
New York University(纽约大学)
该研究探究数据与模型属性对事后机器学习解释差异的影响,通过模拟和Adult收入数据集实验验证多种因素的作用,并为缓解解释差异的方法设计提供建议。
2024-01-25 cs.CY cs.LG stat.ML
Counterfactual Explanations for Misclassified Images: How Human and Machine Explanations Differ
University College Dublin(都柏林大学);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk科学基金会爱尔兰研究中心)
反事实解释已经成为解释黑盒深度学习系统预测的可解释人工智能(XAI)问题的流行解决方案,因为它们具有心理有效性,跨问题领域的灵活性和拟议的法律合规性。虽然存在超过100种反事实方法,声称可以产生类似于人们偏好的合理解释,但实际上很少有用户进行过测试($\sim7\%$)。因此,这些反事实算法对图像数据的有效XAI的心理有效性尚未建立。这个问题在这里使用一种新的方法来解决,该方法(i)在两个用户研究中收集错误分类图像的地面真实人类生成的反事实解释,然后(ii)将这些人类生成的地面真实解释与相同错误分类的计算生成的解释进行比较。结果表明,人类不“最低限度地编辑”图像时,产生反事实的解释。相反,它们会进行更大的、“有意义的”编辑,以更好地近似反事实类中的原型。
2022-12-16 cs.AI cs.CV cs.LG
Effect of Superpixel Aggregation on Explanations in LIME -- A Case Study with Biological Data
Fraunhofer IIS/EZRT(弗劳恩霍夫IIS/EZRT);University of Bamberg(班贝格大学)
使用深度神经网络(例如卷积神经网络(CNN))进行端到端学习已被证明对于图像分类的不同任务非常成功。为了使黑箱方法的决定透明,已经提出了不同的解决方案。LIME是一种基于Quick-Shift算法将图像分割成超像素的可解释AI方法。在本文中,我们提出了一个探索性的研究如何不同的超像素方法,即Felzenszwalb,SLIC和紧凑的分水岭,影响所产生的视觉解释。我们将由此产生的相关区域与由人类参考标记的图像部分进行比较。结果表明,图像部分选择为相关的强烈变化取决于所应用的方法。快速转移导致最少和紧凑的分水岭在最高的对应关系与参考相关领域。
2019-10-17 cs.LG q-bio.QM stat.ML
Can we Agree? On the Rashōmon Effect and the Reliability of Post-Hoc Explainable AI
CEA Paris-Saclay(巴黎萨克雷原子能与替代能源委员会);Frederic Joliot Institute(弗雷德里克·约里奥研究所);Caminov(卡米诺夫公司);Université Paris Cité(巴黎西岱大学);Inserm(法国国家健康与医学研究院)
本文利用 SHAP 在5个公开数据集上研究样本量如何影响罗生门集合中模型解释的稳定性,发现少于128个样本时解释高度多变,增加数据可促进共识且 Bagging 一致性更高。
2023-08-14 cs.AI cs.LG stat.ML
Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making
University of Chicago(芝加哥大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
尽管人工智能有望改善人类在社会关键领域的决策,但人类-人工智能团队如何在具有挑战性的预测任务(也称为互补性能)中可靠地超越人工智能和人类仍然是一个悬而未决的问题。我们探索两个方向,以了解在实现互补性能的差距。首先,我们认为典型的实验设置限制了人类-AI团队的潜力。为了解释由于分布偏移而导致的分布外AI性能低于分布内AI性能,我们设计了具有不同分布类型的实验,并研究了分布内和分布外示例的人类性能。其次,我们开发了新的界面来支持交互式解释,以便人类可以积极参与人工智能的帮助。使用虚拟试点研究和三个任务的大规模随机实验,我们证明了分布内和分布外之间的明显差异,并观察到交互式解释的混合结果:虽然交互式解释提高了人类对人工智能辅助有用性的感知,但它们可能会加强人类的偏见并导致有限的性能改善。总的来说,我们的工作指出了在人工智能辅助下提高人类绩效的关键挑战和未来方向。
2021-10-05 cs.AI cs.CY cs.HC