Shapley Explanation Networks
Purdue University(普渡大学)
Shapley值已成为最流行的特征属性解释方法之一。然而,大多数先前的工作都集中在事后Shapley解释上,由于其指数时间复杂度,这可能在计算上要求很高,并且在训练期间排除了基于Shapley解释的模型正则化。因此,我们建议将Shapley值本身作为深层模型中的潜在表示,从而使Shapley解释成为建模范式中的一等公民。这种内在解释方法可以实现分层解释,在训练期间对模型进行解释正则化,并在测试时进行快速解释计算。我们定义了Shapley变换,它将输入转换为给定特定函数的Shapley表示。我们将Shapley变换作为一个神经网络模块进行操作,并通过组合Shapley模块来构建浅层和深层网络,称为ShapNets。我们证明了我们的Shallow ShapNets计算精确的Shapley值,而我们的Deep ShapNets保持了Shapley值的缺失和准确性。我们在合成和真实世界的数据集上证明,我们的ShapNet能够实现分层Shapley解释,训练期间的新颖Shapley正则化,以及快速计算,同时保持合理的性能。代码可在https://github.com/inouye-lab/ShapleyExplanationNetworks上获得。
2021-04-06 cs.AI cs.LG
On the Computational Tractability of Robust Bandits
Technion(以色列理工学院);CORAL(计算理性智能体实验室)
本文研究鲁棒多臂老虎机问题的计算可处理性,发现一个特例存在多项式时间且遗憾为Õ(√T)的学习器,而其若干推广为NP难,为AI对齐提供计算高效学习器迈出一步。
2026-10-07 cs.LG
Derivative-based Shapley value for global sensitivity analysis and machine learning explainability
Florida State University(佛罗里达州立大学)
我们介绍了一种新的Shapley值方法的全局灵敏度分析和机器学习可解释性。该方法是基于底层函数的一阶偏导数。该方法的计算复杂性在维数(特征数)上是线性的,而不是文献中其他Shapley值方法的指数复杂性。来自全局敏感性分析和机器学习的示例被用于将该方法与活动分数、SHAP和KernelSHAP进行数值比较。
2023-03-24 cs.LG cs.NA math.NA
Shapley Values with Uncertain Value Functions
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);TU Dortmund(多特蒙德工业大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
本文基于概率论第一性原理提出具有不确定值函数的Shapley值新定义,证明随机效应可被吸收至无噪声偏移值函数中,使其能类似常规Shapley值使用,但可靠评估需更多计算量。
2023-01-19 cs.LG stat.ML
Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles
Biodesix(百迪赛)
使用Shapley值的加性特征解释已经变得流行,用于提供每个特征对机器学习模型的个体预测的相对重要性的透明度。虽然Shapley值在合作博弈论中提供了一个独特的附加特征属性,但即使是单个机器学习模型也可以生成Shapley值,这远远不是唯一的,理论和实现决策会影响最终的属性。在这里,我们考虑应用Shapley值解释决策树集成,并提出了一种新的方法,Shapley值为基础的特征属性,可应用于随机森林和提升决策树。这种新方法提供了准确反映单个实例的模型预测算法细节的属性,同时在计算上与当前最广泛使用的方法之一竞争。我们解释了标准和新方法之间的理论差异,并使用合成和真实数据比较它们的性能。
2021-12-16 cs.LG
From Abstract to Actionable: Pairwise Shapley Values for Explainable AI
University of Notre Dame(圣母大学);Zillow Group(Zillow集团)
针对 Shapley 值近似依赖抽象基线且计算成本高的问题,本文提出 Pairwise Shapley Values,通过邻近实例成对参考与单值插补实现模型无关、低开销的可解释归因。
2025-02-18 cs.AI cs.LG
Stabilizing Estimates of Shapley Values with Control Variates
UC Berkeley(加州大学伯克利分校);University of Pennsylvania(宾夕法尼亚大学)
针对Shapley值采样近似不确定性高的问题,提出基于控制变量蒙特卡洛技术的ControlSHAP方法,适用于任意模型且几乎无额外开销,可大幅降低高维数据集下Shapley估计的方差。
2024-04-10 cs.LG stat.ML
Learning to Estimate Shapley Values with Vision Transformers
University of Washington(华盛顿大学)
Transformers已经成为计算机视觉中的默认架构,但了解是什么驱动了它们的预测仍然是一个具有挑战性的问题。目前的解释方法依赖于注意力值或输入梯度,但这些提供了一个有限的视图模型的依赖关系。Shapley值提供了一个理论上合理的替代方案,但其计算成本使其对于大型高维模型不切实际。在这项工作中,我们的目标是使Shapley值实用的视觉Transformer(ViTs)。要做到这一点,我们首先利用注意力掩蔽方法来评估部分信息的ViTs,然后我们开发了一个程序,通过一个单独的,学习的解释模型生成Shapley值解释。我们的实验将Shapley值与许多基线方法(例如,注意推出,GradCAM,LRP),我们发现我们的方法提供了更准确的解释比现有的方法为ViTs。
2023-03-01 cs.CV cs.LG
Approximating Shapley Explanations in Reinforcement Learning
University of Bath(巴斯大学)
本文提出FastSVERL方法,通过近似Shapley值实现强化学习解释的可扩展计算,以应对时间依赖、离线数据和智能体行为演化等挑战。
2025-11-08 cs.LG
HarsanyiNet: Computing Accurate Shapley Values in a Single Forward Propagation
Shanghai Jiao Tong University(上海交通大学);Eastern Institute for Advanced Study(东方高等研究院)
本文提出 HarsanyiNet 架构,将 Shapley 值重构为 Harsanyi 交互的重新分配,从而在单次前向传播中同时完成推理并精确计算输入变量归因,解决了传统方法计算成本过高的问题。
2023-12-01 cs.AI cs.CV cs.LG
A Note on "Towards Efficient Data Valuation Based on the Shapley Value''
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学)
Shapley值(SV)已成为一种很有前途的数据估值方法。然而,计算或估计SV通常是计算昂贵的。为了克服这一挑战,Jia等人(2019)提出了一种称为“基于Group Testing-based SV estimator”的高级SV估计算法,该算法实现了有利的渐近样本复杂度。在本技术说明中,我们在此SV估计器的分析和设计选择方面提出了几项改进。此外,我们指出,基于组测试的SV估计并没有完全重用所收集的样本。我们的分析和见解有助于更好地理解开发有效的SV估计算法进行数据估值的挑战。
2023-02-22 cs.LG stat.ML
Accelerating Shapley Explanation via Contributive Cooperator Selection
Rice University(莱斯大学);Texas A&M University(德克萨斯农工大学);Meta Platforms, Inc.(Meta平台公司)
尽管Shapley值为DNN模型预测提供了有效的解释,但计算依赖于所有可能的输入特征联盟的枚举,这导致了指数增长的复杂性。为了解决这个问题,我们提出了一种新的方法SHALK来显着加速DNN模型的Shapley解释,其中只有少数输入特征的联盟参与计算。特征联盟的选择遵循我们提出的Shapley链规则,以最小化与地面真实Shapley值的绝对误差,使得计算既高效又准确。为了证明其有效性,我们在多个指标上全面评估了SHRISK,包括与真实Shapley值的绝对误差、解释的可信度和运行速度。实验结果表明,SHERMOSS在不同的评估指标上始终优于最先进的基线方法,这表明了它在计算资源有限的现实世界应用中的潜力。
2023-03-06 cs.AI cs.GT cs.LG
Differentially Private Shapley Values for Data Evaluation
University of Edinburgh(爱丁堡大学)
Shapley值已被提出作为机器学习中许多应用的解决方案,包括对数据的公平估值。Shapley值在计算上是昂贵的,并且涉及整个数据集。对一个点的Shapley值的查询也可能损害其他数据点的统计隐私。我们观察到,在机器学习问题,如经验风险最小化,并在许多学习算法(如那些具有一致稳定性),收益递减属性,其中每个数据点的边际效益随着数据样本大小迅速下降。基于这一性质,我们提出了一种新的分层逼近方法,称为分层Shapley算法。我们证明了这种方法的小(O(\polylog(n)的随机样本的数据和小尺寸($O(\log n)$)联盟,以达到保证概率精度的结果,并可以修改,将差分隐私。实验结果表明,该算法正确地识别高值数据点,提高验证精度,和差分私人评价保持近似排名的数据。
2022-06-01 cs.CR cs.LG
Explaining individual predictions when features are dependent: More accurate approximations to Shapley values
Norwegian Computing Center(挪威计算中心)
解释复杂或看似简单的机器学习模型是一个重要的实际问题。我们希望通过学习简单、可解释的解释来解释复杂机器学习模型中的单个预测。Shapley值是一个博弈论的概念,可以用于此目的。Shapley值框架具有一系列理想的理论性质,原则上可以处理任何预测模型。Kernel SHAP是一种计算效率很高的高维Shapley值近似。像其他几种现有的方法一样,这种方法假设特征是独立的,这可能会给出非常错误的解释。即使使用简单的线性模型进行预测,情况也是如此。在本文中,我们扩展了核SHAP方法来处理依赖功能。我们提供了几个例子的线性和非线性模型与不同程度的功能依赖,我们的方法给出了更准确的逼近真实Shapley值。我们还提出了一种方法,用于聚合个人Shapley值,这样的预测可以解释的因变量组。
2020-02-06 cs.LG stat.ME stat.ML
Shapley Value Approximation Based on k-Additive Games
本文提出一种基于k-可加游戏的Shapley值近似方法,用于解决公平分配问题中的计算复杂性问题,通过近似游戏来估计特征或数据点对预测模型性能的贡献。
2026-05-12 cs.GT cs.LG
Losing is for Cherishing: Data Valuation Based on Machine Unlearning and Shapley Value
本文提出Unlearning Shapley框架,通过机器遗忘和蒙特卡洛采样高效估计数据价值,支持完整与部分数据估值,在保持准确性的同时大幅降低计算开销,适用于大模型和数据市场。
2025-09-23 cs.AI cs.LG
Verified SHAP: Provable Bounds for Exact Shapley Values of Neural Networks
University of Konstanz, Konstanz, Germany(康斯坦茨大学);Hebrew University of Jerusalem, Jerusalem, Israel(耶路撒冷希伯来大学);University of St.Gallen, St.Gallen, Switzerland(斯图加特大学)
利用神经网络验证技术,提出一种计算SHAP值精确上下界的算法,可扩展到比现有精确方法大数个数量级的搜索空间。
2026-05-22 cs.AI cs.LG cs.LO
Faithful Group Shapley Value
The Ohio State University(俄亥俄州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出FGSV,一种能防御壳公司攻击的群体Shapley值方法,并开发了高效的近似算法。
2026-02-10 cs.AI cs.LG econ.GN
OperatorSHAP: Fast and Accurate Shapley Value Estimation for Neural Operators
LMU Munich(慕尼黑大学);MCML(慕尼黑机器学习中心);DFKI(德国人工智能研究中心)
提出OperatorSHAP,一种网格无关的归因方法,用于高效估计神经算子的Shapley值,支持不规则网格和跨分辨率迁移。
2026-11-09 cs.AI cs.LG
groupShapley: Efficient prediction explanation with Shapley values for feature groups
Norsk Regnesentral(挪威计算中心)
Shapley值已经成为解释复杂机器学习模型预测的最合适和理论上最合理的框架之一。Shapley值在解释设置中的流行可能是由于其独特的理论特性。然而,Shapley值的主要缺点是其计算复杂度随着输入特征的数量呈指数级增长,这使得它在许多可能有数百或数千个特征的现实世界中不可行。此外,对于许多(依赖)特征,呈现/可视化和解释计算的Shapley值也变得具有挑战性。本文介绍了groupShapley:一个概念上简单的方法来处理上述瓶颈。其思想是将特征分组,例如按类型或依赖性,然后计算并呈现这些组的Shapley值,而不是所有单个特征的Shapley值。将数百或数千个特征减少到六个左右,使得精确计算实际上是可行的,并且极大地简化了表示和知识提取。我们证明了在一定的条件下,groupShapley是相当于总结功能明智的Shapley值在每个功能组。此外,我们提供了一个模拟研究,举例说明这些条件不满足时的差异。我们说明了在现实世界中的汽车保险的例子,groupShapley是用来提供简单而直观的解释的方法的可用性。
2021-06-23 cs.LG stat.ML
Faith-Shap: The Faithful Shapley Interaction Index
Carnegie-Mellon University(卡内基梅隆大学)
Shapley值最初被设计为在联盟游戏中将归因分配给个体玩家,现已成为可解释机器学习中的常用方法,为黑盒机器学习模型的输入特征提供归因。Shapley值的一个关键吸引力是它们唯一地满足一组非常自然的公理性质。然而,将Shapley值扩展到将归因分配给交互而不是单个参与者(交互指数)是不平凡的:因为原始Shapley值的自然公理集扩展到交互的上下文,不再指定唯一的交互指数。因此,许多建议引入额外的不太“自然”的公理,而牺牲了效率的关键公理,以获得独特的相互作用指数。在这项工作中,而不是引入额外的冲突公理,我们采用的Shapley值作为系数的最忠实的线性近似的伪布尔联盟游戏价值函数的观点。通过将线性近似推广到$\ell$阶多项式近似,我们可以定义一般的忠实相互作用指数族。我们表明,通过额外要求的忠实的相互作用指数,以满足标准的个人Shapley公理(虚拟,对称性,线性,和效率)的相互作用扩展,我们得到一个独特的忠实Shapley相互作用指数,我们表示信仰形状,作为一个自然的概括的Shapley值的相互作用。然后,我们提供了一些说明性的对比,信仰形状与以前提出的相互作用指数,并进一步研究它的一些有趣的代数性质。我们进一步展示了计算信仰形状的计算效率,以及一些额外的定性见解,通过一些说明性的实验。
2023-03-22 cs.GT cs.LG
Multicollinearity Correction and Combined Feature Effect in Shapley Values
Optum UnitedHealth Group(联合健康集团Optum公司)
模型可解释性是大多数机器学习模型中最有趣的问题之一,特别是对于那些数学复杂的模型。计算Shapley值可以说是迄今为止在行级别找到模型中每个特征重要性的最佳方法。换句话说,Shapley值表示特定行的特征的重要性,特别是对于分类或回归问题。Shapley值的最大局限之一是,Shapley值计算假设所有特征都是不相关的(彼此独立),这种假设通常是不正确的。为了解决这个问题,我们提出了一个统一的框架来计算Shapley值与相关的功能。更具体地说,我们在计算行的独立Shapley值时对特征进行调整(矩阵公式化)。此外,我们还给出了反对上述调整的数学证明。通过这些调整,特征的Shapley值(重要性)变得与它们之间存在的相关性无关。我们还为更多功能增强了这种调整概念。由于Shapley值是可加的,要计算两个特征的组合效果,我们只需将它们各自的Shapley值相加。如果一个或多个特征(在组合中使用)与其他特征(不在组合中)相关,这也是不正确的。我们还通过将一个特征的相关性调整扩展到确定Shapley值的所述组合中的多个特征来解决这个问题。该方法的实现证明了该方法与原Shapley方法相比具有计算效率高的特点。
2020-11-03 cs.LG stat.AP stat.CO
Shapley-Guided Utility Learning for Effective Graph Inference Data Valuation
Rensselaer Polytechnic Institute(伦斯勒理工学院);AT&T Chief Data Office(AT&T首席数据办公室)
针对无测试标签下难以评估图推理中测试节点邻居数据价值的问题,提出结合Shapley值预处理与多特征的SGUL框架,实现高效可解释的图数据估值,性能优于现有基线。
2025-03-23 cs.GT cs.LG
Improved Feature Importance Computations for Tree Models: Shapley vs. Banzhaf
University of Warsaw(华沙大学);IDEAS NCBR;MIM Solutions
Shapley值是用来解释树系综模型预测的主要工具之一。Shapley值的主要替代品是Banzhaf值,但还没有得到同样好的理解。在本文中,我们朝着填补这一空白的一步,提供这些模型的解释方法的实验和理论比较。令人惊讶的是,我们发现Banzhaf值提供了几个优势,沙普利值,同时提供基本相同的解释。我们验证Banzhaf值:(1)具有更直观的解释,(2)允许更有效的算法,以及(3)在数值上更鲁棒。我们提供了这些论文的实验评价。特别是,我们表明,在现实世界的情况下。此外,从理论的角度来看,我们提供了新的和改进的算法计算相同的Shapley值为基础的解释作为Lundberg等人的算法。内特尔2020年]。我们的算法运行在$O(TLD+n)$时间,而以前的算法有$O(TLD^2+n)$运行时间限制。这里,$T$是树的数目,$L$是树中的最大叶子数目,并且$D$表示系综中的树的最大深度。使用Shapley值开发的计算技术,我们提供了一个最佳的$O(TL+n)$时间算法计算Banzhaf值为基础的解释。在我们的实验中,这些算法的运行时间甚至小了一个数量级。
2021-08-09 cs.LG
Accelerated Shapley Value Approximation for Data Evaluation
University of Edinburgh(爱丁堡大学);University of Cambridge(剑桥大学);National Central University(国立中央大学)
针对Shapley值数据估值计算成本高的问题,提出利用机器学习结构特性、仅用小数据子集近似的δ-Shapley方法,推导了收敛保证,实现最高9.9倍加速且保留数据估值与排序,在预训练网络中效率更优。
2023-11-09 cs.LG
Shapley Values: Paired-Sampling Approximations
Actuarial Department, La Mobilière, Bern(伯恩劳米埃保险部门);Department of Mathematics, ETH Zurich(苏黎世联邦理工学院数学系)
本文研究 Shapley 值的采样近似方法,提出成对采样 KernelSHAP 和 PermutationSHAP,证明了其渐近正态性,并展示成对采样在二阶交互下可精确计算且 PermutationSHAP 具有加性恢复性质。
2025-08-18 cs.CE cs.LG stat.ML
Prediction via Shapley Value Regression
Örebro University, School of Science and Technology(奥雷布罗大学,科学与技术学院);KTH Royal Institute of Technology, School of Electrical Engineering and Computer Science(皇家理工学院,电气工程与计算机科学学院)
为降低事后计算 Shapley 值的推理成本,提出 ViaSHAP 方法学习直接计算 Shapley 值并求和得出预测,其在表格数据上表现媲美SOTA,且解释准确性显著优于 FastSHAP。
2025-07-14 cs.LG
Fair feature attribution for multi-output prediction: a Shapley-based perspective
\, Chair of Computational Mathematics, DeustoTech, University of Deusto, Avenida de las Universidades 24, 48007 Bilbao, Basque Country, Spain \, Chair for dynamics, control, machine learning;numerics (Alexander Von Humboldt-Professorship), Department of Mathematics, Friedrich-Alexander-Universit\"at Erlangen-N\"urnberg, 91058, Erlangen, Germany. \, Universidad Aut\'onoma de Madrid, Departamento de Matem\'aticas, Ciudad Universitaria de Cantoblanco, 28049 Madrid, Spain. \, ATLAS Molecular Pharma, Parque Tecnol\'ogico de Bizkaia, Ed. 800, 48160 Derio, Spain. \, Precision Medicine;Metabolism Laboratory, CIC bioGUNE, Basque Research
本文基于Shapley框架,提出多输出预测的公平特征归因方法,揭示了归因规则必须放松经典Shapley公理的结构约束,并通过实验验证了多输出模型在计算效率与解释一致性上的优势。
2026-02-26 cs.LG
A $k$-additive Choquet integral-based approach to approximate the SHAP values for local interpretability in machine learning
University of Campinas(坎皮纳斯大学);Université Paris I Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学)
除了准确性,最近对机器学习模型的研究一直在解决如何解释所获得的结果的问题。事实上,虽然复杂的机器学习模型即使在具有挑战性的应用中也能够在准确性方面提供非常好的结果,但很难解释它们。为了给这些模型提供一些可解释性,最著名的方法之一,称为SHAP,借用了博弈论中的Shapley值概念,以便局部解释感兴趣实例的预测结果。由于SHAP值计算需要对所有可能的属性联盟进行先前的计算,因此其计算成本可能非常高。因此,基于SHAP的方法称为内核SHAP采用了一种有效的策略,以更少的计算工作量近似这些值。在本文中,我们还解决了基于Shapley值的机器学习中的局部可解释性。首先,我们提供了一个简单的制定一个基于形状的方法,通过使用Choquet积分,从而导致Shapley值和Shapley相互作用指数的局部可解释性。此外,我们还采用了博弈论中的$k$ -加法博弈的概念,这有助于减少计算工作量时估计的SHAP值。所得到的结果证明,我们的建议需要较少的计算联盟的属性近似SHAP值。
2022-11-03 cs.LG
Generalized Priority-Aware Shapley Value
The Ohio State University(俄亥俄州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出通用优先感知Shapley值(GPASV),用于机器学习中的估值问题,通过轴心性刻画和计算方法,展示了不同优先级平衡对数据估值的实质性影响。
2026-11-09 cs.AI cs.LG
Exactly Computing do-Shapley Values
Mathematical Sciences Department, Claremont McKenna College(克莱门特麦肯纳学院数学科学系);Barcelona Supercomputing Center, Barcelona, Spain(巴塞罗那超级计算中心);Department of Computer Science and Engineering, New York University(纽约大学计算机科学与工程系)
本文提出了一种精确计算do-肖普利值的方法,通过不可约集的线性时间算法,显著提高了计算效率并降低了识别负担。
2026-02-06 cs.AI cs.LG
Efficient Shapley Values Estimation by Amortization for Text Classification
AWS AI Labs(AWS人工智能实验室);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);New York University(纽约大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出一种摊销模型直接预测文本分类中每个特征的Shapley值,避免大量随机模型评估,在保证估计稳定性的同时实现最高60倍加速。
2023-05-31 cs.CL cs.LG
SHAP-IQ: Unified Approximation of any-order Shapley Interactions
Bielefeld University(比勒费尔德大学);CITEC(认知交互技术研究中心);LMU Munich(慕尼黑大学);MCML Munich(慕尼黑机器学习中心);Paderborn University(帕德博恩大学)
本文提出SHAP-IQ,一种基于采样的统一近似方法,用于计算满足线性性、对称性和虚拟性公理的任意基数Shapley交互指数,并提供理论保证和方差估计,在语言、图像及高维合成模型上验证了其计算效率与有效性。
2023-10-30 cs.AI cs.LG
SHAPNN: Shapley Value Regularized Tabular Neural Network
Samsung Display America Lab(三星显示美国实验室)
SHAPNN 提出一种用实时 Shapley 值正则化的深度表格神经网络,在无额外计算开销下提供解释并提升 AUROC、透明度与流式数据鲁棒性。
2023-09-15 cs.AI cs.LG
Efficient computation and analysis of distributional Shapley values
Stanford University(斯坦福大学)
分布式数据Shapley值(DShapley)是近年来提出的一种量化个体数据在机器学习中贡献的基本框架。DShapley将Shapley值的基本博弈论概念发展为统计框架,并可用于识别对学习算法有用(或有害)的数据点。然而,估计DShapley在计算上是昂贵的,这可能是在实践中使用它的一个主要挑战。此外,几乎没有数学分析这个值如何取决于数据特征。在本文中,我们推导出第一个解析表达式的DShapley的典型问题的线性回归,二元分类,和非参数密度估计。这些分析形式提供了新的算法来估计DShapley,比以前的最先进的方法快几个数量级。此外,我们的公式是直接可解释的,并提供了对不同类型数据的价值如何变化的定量见解。我们证明了我们的方法在多个真实和合成数据集上的实际效果。
2021-02-17 cs.LG stat.ML
Antithetic Sampling for Top-k Shapley Identification
Munich Center for Machine Learning(慕尼黑机器学习中心)
本文针对 Shapley 值计算成本高的问题,提出可比边际贡献采样方法 CMCS,利用相关观测高效识别 top-k 重要特征,实验证明其优于基线且近似所有与 top-k 识别的估计质量不可直接迁移。
2025-07-22 cs.AI cs.GT cs.LG
Fast Hierarchical Games for Image Explanations
随着现代复杂的神经网络不断打破记录并解决更难的问题,它们的预测也变得越来越难以理解。目前缺乏可解释性通常会破坏在敏感环境中部署准确的机器学习工具。在这项工作中,我们提出了一个模型不可知的解释方法的基础上层次扩展Shapley系数-层次形状(h-Shap)的图像分类-解决了一些目前的方法的局限性。与其他基于Shapley的解释方法不同,h-Shap是可扩展的,并且可以在不需要近似的情况下计算。在某些分布假设下,例如多实例学习中常见的假设,h-Shap检索精确的Shapley系数,计算复杂性呈指数级改善。我们比较了我们的分层方法与流行的基于Shapley和非基于Shapley的方法在合成数据集,医学成像场景,和一般的计算机视觉问题,表明h-Shap在准确性和运行时间方面都优于最先进的方法。代码和实验是公开的。
2022-06-09 cs.CV cs.LG
The tractability landscape of diffusion alignment: regularization, rewards, and computational primitives
本文探讨了扩散对齐中正则化、奖励和计算原语的选择如何影响算法问题和可处理奖励类。通过KL距离和Wasserstein距离分析,提出线性指数倾斜和近端传输 oracle 作为有效原语。
2026-05-12 cs.DS cs.LG
Beyond Additivity: Sparse Isotonic Shapley Regression toward Nonlinear Explainability
SISR通过统一非线性转换估计与稀疏性追求,解决Shapley值在非线性可解释性中的局限,提升高维数据下的归因稳定性与稀疏性。
2026-03-08 cs.AI cs.LG stat.ML
BONES: a Benchmark fOr Neural Estimation of Shapley values
Politecnico di Torino(都灵理工大学)
针对 Shapley 值神经估计实验难以复现的问题,本文提出 BONES 基准,提供标准化的估计器、数据集、训练模块与评估可视化工具,简化了可解释 AI 模型的使用与比较。
2024-07-23 cs.AI cs.LG
Practical do-Shapley Explanations with Estimand-Agnostic Causal Inference
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Novartis(诺华)
本文提出估量量无关方法,使do-Shapley解释在复杂图中可行,并通过加速计算和解释不可接触的数据生成过程,提升解释的可靠性。
2026-01-12 cs.LG
SHapley Estimated Explanation (SHEP): A Fast Post-Hoc Attribution Method for Interpreting Intelligent Fault Diagnosis
State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University(上海交通大学机械系统与振动国家重点实验室)
针对智能故障诊断中SHAP结合域变换带来的高计算开销问题,提出分块归因和SHapley估计解释(SHEP)方法,通过降低特征维度和简化子集枚举将复杂度降至线性级,显著提升计算效率并实现实时解释。
2025-04-03 cs.AI cs.LG
Shapley value-based approaches to explain the robustness of classifiers in machine learning
University of Campinas(坎皮纳斯大学);Leeds University Business School(利兹大学商学院);COMSATS University Islamabad(伊斯兰堡COMSATS大学)
算法不可知论方法的使用是一个新兴的研究领域,用于解释个体特征对预测结果的贡献。虽然重点是解释预测本身,但在解释这些模型的鲁棒性方面做了一些工作,即每个特征如何有助于实现这种鲁棒性。在本文中,我们建议使用Shapley值来解释每个特征对模型鲁棒性的贡献,这些特征可以用受试者工作特征(ROC)曲线和ROC曲线下面积(AUC)来衡量。借助一个说明性的例子,我们展示了解释ROC曲线,并可视化这些曲线的不确定性的建议的想法。对于不平衡数据集,使用精确召回曲线(PRC)被认为是更合适的,因此我们也演示了如何解释PRCs与Shapley值的帮助。鲁棒性的解释可以在许多方面帮助分析人员,例如,它可以通过识别可以被移除以降低计算复杂性的不相关特征来帮助特征选择。它还可以帮助识别对鲁棒性具有关键贡献或负面贡献的特征。
2022-11-03 cs.AI cs.LG
Exact Shapley Attributions in Quadratic-time for FANOVA Gaussian Processes
Department of Computer Science, Vrije Universiteit Amsterdam, The Netherlands(荷兰阿姆斯特丹自由大学计算机科学系);Rational Intelligence Lab, CISPA Helmholtz Center for Information Security, Germany(德国信息安全部CISPA理性智能实验室);College of Computing & Data Science, Nanyang Technological University, Singapore(新加坡南洋理工大学计算与数据科学学院)
针对Shapley值计算的指数复杂度问题,本文提出对显式建模主效应和交互作用的FANOVA高斯过程,可在二次时间内计算局部和全局精确Shapley归因,提升了概率模型解释的可扩展性与实用性。
2025-08-20 cs.AI cs.LG
Improving the Weighting Strategy in KernelSHAP
Department of Mathematics, University of Oslo(奥斯陆大学数学系);Norwegian Computing Center(挪威计算中心)
本文提出改进KernelSHAP的权重策略,通过确定性权重降低方差,提高计算效率,减少50%的运行时间,提升Shapley值解释的准确性。
2025-05-06 cs.LG stat.ML
InstaSHAP: Interpretable Additive Models Explain Shapley Values Instantly
University of Southern California(南加州大学)
本文揭示 GAM 与 SHAP 的变分联系,提出 InstaSHAP,通过训练并自动纯化可解释 GAM,使 Shapley 值可一次前向传播计算,同时指出二者共有的表达能力局限。
2025-02-20 cs.LG stat.ML
A novel application of Shapley values for large multidimensional time-series data: Applying explainable AI to a DNA profile classification neural network
Adelaide Data Science Centre(阿德莱德数据科学中心);University of Adelaide(阿德莱德大学);Forensic Science SA(南澳大利亚法医科学中心);College of Science and Engineering, Flinders University(弗林德斯大学科学与工程学院)
本研究提出一种将超像素思想应用于Shapley值计算的高效方法,解决了高维时间序列数据的计算难题,并在法医DNA分类任务中实现了准确快速的解释。
2024-09-26 cs.LG q-bio.GN q-bio.QM
Threading the Needle of On and Off-Manifold Value Functions for Shapley Explanations
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Google Inc.(谷歌公司)
一种流行的可解释AI(XAI)方法来量化给定模型的特征重要性是通过Shapley值。这些Shapley值出现在合作游戏中,因此在XAI上下文中计算这些值的关键要素是所谓的价值函数,该函数计算特征子集的“值”,并将机器学习模型连接到合作游戏。这种价值函数有许多可能的选择,大致分为两类:流形上和流形外的价值函数,它们分别采取观察和干预的观点。然而,这两个类都有各自的缺陷,其中流形上的价值函数违反了关键的公理性质,并且计算量很大,而流形外的价值函数不太注意数据流形,并且在没有训练的区域上评估模型。因此,对于使用哪类价值函数没有共识。在本文中,我们表明,除了这些现有的问题,这两类价值函数容易对抗低密度区域的操纵。我们形式化的必要条件的价值函数,尊重在一组公理的模型和数据流形,是强大的扰动上的非流形区域,并表明存在一个唯一的价值函数,满足这些公理,我们称之为联合基线价值函数,和由此产生的Shapley值的联合基线Shapley(JBshap),并在实验中验证了JBshap的有效性。
2022-02-24 cs.AI cs.GT cs.LG
New Complexity-Theoretic Frontiers of Tractability for Neural Network Training
Vienna University of Technology(维也纳工业大学)
研究神经网络训练最优性的计算复杂性,针对线性和ReLU激活函数网络,给出新算法上界,确定ReLU网络隐藏神经元出度为1时多项式时间可处理,找到线性激活函数网络满足新条件时首个多项式时间可解类。
2026-07-24 cs.DS cs.LG
Data Shapley Valuation for Efficient Batch Active Learning
Stanford University(斯坦福大学);Salesforce Research(Salesforce研究院)
在所有可用的数据点中注释正确的数据集是许多机器学习应用程序中的关键挑战。批量主动学习是解决这个问题的一种流行方法,其中选择批量未标记的数据点进行注释,而底层学习算法随后进行更新。越来越大的批量在数据可以并行注释的环境中特别有吸引力,并且模型训练在计算上是昂贵的。这里的一个关键挑战是规模-典型的主动学习方法依赖于多样性技术,该技术从未标记的池中选择一组不同的数据点进行注释。在这项工作中,我们引入了Active Data Shapley(ADS)-一种用于批量主动学习的过滤层,通过使用线性时间计算预先选择未标记数据集中的最高值点,显着提高了主动学习的效率。使用数据的Shapley值的概念,我们的方法估计了未标记数据点关于手头预测任务的值。我们表明,ADS是特别有效的,当池的未标记的数据表现出现实世界的警告:噪音,异质性和域转移。我们运行的实验表明,当ADS用于预先选择未标记数据集的最高排名部分时,最先进的批量主动学习方法的效率平均提高了6倍,同时保持了性能有效性。
2021-04-16 cs.LG stat.ML
Curse of Heterogeneity: Computational Barriers in Sparse Mixture Models and Phase Retrieval
Princeton University(普林斯顿大学);Northwestern University(西北大学)
我们研究了高维异质数据分析中统计精度和计算易处理性之间的基本权衡。作为实例,我们研究了稀疏高斯混合模型、稀疏线性回归混合模型和稀疏相位恢复模型。对于这些模型,我们利用一个基于甲骨文的计算模型,建立无故障的计算可行的极大极小下界,量化的最小信号强度的存在所需的任何算法,这是计算上易于处理和统计上准确的。我们的分析表明,计算上可行的极大极小风险和经典的存在显着的差距。这些差距量化了我们在数据异质性存在的情况下为实现计算易处理性而必须付出的统计代价。我们的研究结果涵盖了检测,估计,支持恢复和聚类的问题,此外,解决了Azizyan et al.(2013,2015); Verzelen and Arias-Castro(2017); Cai et al.(2016)的几个问题。有趣的是,我们的研究结果揭示了异构数据分析中一个新的但反直觉的现象,即更多的数据可能会导致更低的计算复杂性。
2018-08-21 cs.IT cs.LG math.IT
Fast Approximation of the Shapley Values Based on Order-of-Addition Experimental Designs
Nankai University(南开大学);Eli Lilly and Company(礼来公司);University of Tennessee(田纳西大学)
本文针对 Shapley 值计算复杂度高的问题,提出基于添加顺序实验设计的采样方案,以替代简单随机采样,实现更准确且略快的 Shapley 值估计,并通过理论和实验验证其有效性。
2023-09-16 cs.LG stat.ME stat.ML
Data Valuation by Fusing Global and Local Statistical Information
Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学);Hong Kong Baptist University(香港 Baptist大学);Renmin University of China(中国人民大学)
本文提出融合全局和局部统计信息的增强数据估值方法,通过正则化项优化Shapley值估计,并引入动态数据估值技术提升计算效率。
2025-11-26 cs.AI cs.LG stat.ML
DistShap: Scalable GNN Explanations with Distributed Shapley Values
Indiana University Bloomington Indiana, USA;Wake Forest University North Carolina, USA;Texas A\&M University Texas, USA;Indiana University Bloomington;Wake Forest University;Texas A\&M University
为解决图神经网络预测归因计算成本高的问题,提出分布式并行算法 DistShap,通过跨 GPU 采样子图、并行推理和求解分布式最小二乘问题计算边重要性,首次将解释扩展至数百万特征并实现高准确率。
2025-06-27 cs.AI cs.DC cs.LG