Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles
Biodesix(百迪赛)
使用Shapley值的加性特征解释已经变得流行,用于提供每个特征对机器学习模型的个体预测的相对重要性的透明度。虽然Shapley值在合作博弈论中提供了一个独特的附加特征属性,但即使是单个机器学习模型也可以生成Shapley值,这远远不是唯一的,理论和实现决策会影响最终的属性。在这里,我们考虑应用Shapley值解释决策树集成,并提出了一种新的方法,Shapley值为基础的特征属性,可应用于随机森林和提升决策树。这种新方法提供了准确反映单个实例的模型预测算法细节的属性,同时在计算上与当前最广泛使用的方法之一竞争。我们解释了标准和新方法之间的理论差异,并使用合成和真实数据比较它们的性能。
2021-12-16 cs.LG
Decoding the Past: An Uncertainty-Aware Deep Learning Framework for Sex Attribution in Prehistoric Hand Stencils
Data Science and AI Division, Azyri(Azyri公司数据科学与人工智能部门);Universidad Autónoma de Ciudad Juárez(华雷斯自治大学);Pennsylvania State University(宾夕法尼亚州立大学);Universitat Jaume I(豪梅一世大学)
本研究提出一种不确定性感知深度学习框架,结合多技术与集成模型,实现史前手部模板的性别归因,同时量化不确定性,提升考古推断的稳健性与可重复性。
2026-08-17 cs.AI cs.CV cs.LG
ZAPs: A Reward Attribution Framework for DeFi Ecosystems with Adversarial-Robust Scoring via Parallel Anomaly Ensemble Detection
Zeru Finance(泽鲁金融);The Ohio State University(俄亥俄州立大学)
ZAPs是DeFi生态系统的奖励归因框架,结合经济贡献评分与四层防御栈,通过并行异常集成检测提升对抗鲁棒性,可减少女巫攻击、优化奖励分配并提升生态系统质量。
2026-07-31 cs.LG q-fin.GN
The Attribution Impossibility: No Feature Ranking Is Faithful, Stable, and Complete Under Collinearity
Independent Researchers(独立研究人员)
本文研究了在共线性情况下特征排名的不可能性,证明了无法同时满足忠实、稳定和完整性的条件,并提出了DASH方法作为解决途径,同时通过形式化验证展示了其理论基础和实际应用影响。
2026-04-08 cs.AI cs.LG cs.LO
Transparent Early ICU Mortality Prediction with Clinical Transformer and Per-Case Modality Attribution
Clemson University(克莱姆森大学)
本文提出一种透明的多模态集成模型,结合临床Transformer和病例级模态归因,提升ICU早期死亡预测的准确性和可解释性。
2025-11-19 cs.LG
Fidelity of Ensemble Aggregation for Saliency Map Explanations using Bayesian Optimization Techniques
Leibniz Universität Hannover(汉诺威莱布尼茨大学);dSPACE GmbH(dSPACE有限公司)
近年来,人们提出了大量解释神经网络的特征属性方法。特别是在计算机视觉领域,存在许多用于生成提供像素属性的显著图的方法。然而,他们的解释往往相互矛盾,不清楚哪种解释值得信赖。这个问题的一个自然解决方案是多种解释的聚合。我们提出并比较了不同的基于像素的聚合方案,其目标是生成一个新的解释,其模型的决定的保真度高于每个单独的解释。使用贝叶斯优化领域的方法,我们将个体解释之间的方差纳入聚合过程。此外,我们分析了多重归一化技术对集成聚合的影响。
2022-07-05 cs.CV cs.LG
Carefully choose the baseline: Lessons learned from applying XAI attribution methods for regression tasks in geoscience
Colorado State University(科罗拉多州立大学);Cooperative Institute for Research in the Atmosphere(大气研究合作研究所)
可解释人工智能(XAI)的方法用于地球科学应用,以深入了解神经网络(NN)的决策策略,突出输入中的哪些特征对NN预测贡献最大。在这里,我们讨论我们的经验教训,即将预测归因于输入的任务没有单一的解决方案。相反,归因结果及其解释在很大程度上取决于XAI方法使用的基准(有时称为参考点);这是迄今为止文献中忽略的一个事实。这个基线可以由用户选择,也可以在方法的算法中通过构造来设置,通常用户不知道这个选择。我们强调,不同的基线可以导致不同的科学问题的不同见解,因此,应该相应地选择。为了说明基线的影响,我们使用了一个大型的历史和未来气候模拟集合,强迫使用SSP 3 -7.0情景,并训练一个完全连接的NN来预测集合和全球平均温度(即,强迫全球变暖信号)给出来自单个集合成员的年度温度图。然后,我们使用各种XAI方法和不同的基线将网络预测归因于输入。我们表明,归因在考虑不同的基线时有很大的不同,因为它们对应于回答不同的科学问题。最后,我们讨论了一些重要的影响和考虑使用基线在XAI研究。
2022-08-19 cs.LG physics.geo-ph
ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces
Ramchand Kumaresan(独立研究者)
ACAR是一种用于多模型集合的可审计路由框架,通过自一致性方差实现任务路由,提升准确率并避免过度融合,同时揭示归因计算的挑战。
2026-02-06 cs.AI cs.CL cs.LG
Increasing Performance And Sample Efficiency With Model-agnostic Interactive Feature Attributions
KU Leuven(鲁汶大学)
本文提出两种模型无关的交互式特征归因方法(Occlusion和Shapley values),通过纠正后的解释生成局部数据来重训模型,显著提升了模型性能与主动学习中的样本效率。
2023-06-28 cs.AI cs.LG
Exact power indices for plurality-voting ensembles
KTH Royal Institute of Technology(瑞典皇家理工学院);Digital Futures(数字未来机构);Ericsson BCSS(爱立信BCSS部门)
该研究提出名为ENPOWER的方法,利用合作博弈论的Banzhaf和Shapley幂指数,可分别在线性时间和低次多项式时间精确计算二分类和多分类多数投票集成的归因值,适用于集成剪枝等场景。
2026-10-14 cs.DS cs.GT cs.LG
Beyond TreeSHAP: Efficient Computation of Any-Order Shapley Interactions for Tree Ensembles
LMU Munich(慕尼黑大学);MCML Munich(慕尼黑机器学习中心);Bielefeld University(比勒费尔德大学);CITEC(认知交互技术卓越中心)
针对树集成模型黑盒特性及现有TreeSHAP仅支持单特征归因的局限,提出TreeSHAP-IQ方法,依托多项式算术框架通过单次树遍历高效计算任意阶加性Shapley交互作用,并在基准数据集上验证了有效性。
2024-01-22 cs.LG
Disentangled Attribution Curves for Interpreting Random Forests and Boosted Trees
UC Berkeley(加州大学伯克利分校)
树集成,如随机森林和AdaBoost,是普遍存在的机器学习模型,以在各种领域实现强大的预测性能而闻名。然而,这种强大的性能是以可解释性为代价的(即用户无法理解经过训练的随机森林已经学习的关系以及它为什么要进行预测)。特别是,理解特定特征或特征组的贡献如何随着其值的变化而变化是具有挑战性的。为了解决这个问题,我们引入了分解属性曲线(DAC),一种以(多变量)特征重要性曲线的形式提供树集成方法的解释的方法。对于一个给定的变量或一组变量,DAC绘制变量值变化时变量的重要性。我们验证DAC的真实数据显示,曲线可以用来提高逻辑斯谛回归的准确性,同时保持可解释性,包括DAC作为一个额外的功能。在模拟研究中,DAC被证明在恢复条件期望方面优于竞争方法。最后,通过对自行车共享数据集的案例研究,我们展示了使用DAC来揭示数据集的新见解。
2019-05-18 cs.LG stat.ME stat.ML
TaylorPODA: A Taylor Expansion-Based Method to Improve Post-Hoc Attributions for Opaque Models
研究针对不透明模型事后归因方法缺乏普遍标准的问题,提出基于泰勒展开框架的TaylorPODA方法,通过引入假设、分析矛盾、设计可控分配机制等,使其既满足假设又适应下游目标,提升了归因与用户定义效用的对齐及解释的可交流性。
2026-07-29 cs.AI cs.LG stat.ML
Unifying Perplexing Behaviors in Modified BP Attributions through Alignment Perspective
University of Science and Technology of China(中国科学技术大学);National Lab of Pattern Recognition, Institute of Automation, CAS(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对修正BP归因缺乏理论解释且存在异常行为的问题,本文提出统一框架证明GBP、RectGrad、LRP和DTD通过激活神经元权重实现输入对齐,从而解释并预测其行为。
2025-03-14 cs.AI cs.LG
ANML: Attribution-Native Machine Learning with Guaranteed Robustness
University of Cambridge(剑桥大学)
ANML通过质量加权训练提升模型性能和归因能力,在多个数据集上显著减少误差。
2026-02-12 cs.AI cs.LG
Hybrid Attribution Priors for Explainable and Robust Model Training
School of Computer Science, Peking University(北京大学计算机科学学院);Key Lab of High Confidence Software Technologies, Peking University(北京大学高可信软件技术重点实验室);Kling Team(Kling团队);Department of Systems Engineering and Engineering Management, CUHK(CUHK系统工程与工程管理系)
本文提出CAP Hybrid方法,通过结合CAP与现有归因技术,提升模型的可解释性和鲁棒性。
2025-12-09 cs.AI cs.LG
CHALLENGER: Training with Attribution Maps
Technical University of Munich(慕尼黑工业大学)
我们表明,利用属性图训练神经网络可以提高模型的正则化,从而提高性能。正则化是深度学习的关键,特别是在相对较小的数据集上训练复杂模型时。为了理解神经网络的内部工作,已经广泛地研究了诸如分层相关传播(LRP)的归因方法,特别是用于解释输入特征的相关性。我们介绍挑战者,一个模块,利用归因图的解释能力,以操纵特别相关的输入模式。因此,暴露并随后解决模糊区域以在地面实况数据流形上分离类别,这是一个特别在相当小的数据集上训练模型时出现的问题。我们的Challenger模块通过在网络中构建更多样化的滤波器来提高模型性能,并可应用于任何输入数据域。我们证明了我们的方法在只有少数样本的数据集上具有更好的分类和校准性能,直到具有数千个样本的数据集。特别是,我们表明,我们的通用域独立的方法产生的最先进的视觉,自然语言处理和时间序列任务的结果。
2022-05-30 cs.AI cs.LG
A Simple and Efficient Baseline for Data Attribution on Images
University of Maryland(马里兰大学);New York University(纽约大学);ELLIS Institute Tübingen(蒂宾根ELLIS研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心)
针对现有图像数据归因方法计算内存成本高、难扩展的问题,提出基于自监督预训练骨干特征空间的极简基线方法,模型无关易扩展,在CIFAR-10、ImageNet上性能媲美或超越SOTA且成本极低。
2023-11-03 cs.CV cs.LG
FairSHAP: Preprocessing for Fairness Through Attribution-Based Data Augmentation
Technical University of Denmark(技术大学)
FairSHAP通过基于属性的数据增强方法,提升机器学习模型的公平性,减少歧视风险并保持数据和模型准确性。
2026-02-21 cs.AI cs.CY cs.LG
Discerning the painter's hand: machine learning on surface topography
Case Western Reserve University(凯斯西储大学);Cleveland Museum of Art(克利夫兰艺术博物馆);Hathaway Brown School(哈撒韦布朗学校);Cleveland Institute of Art(克利夫兰艺术学院)
绘画的归属问题是美术史上的一个重要问题。本研究将机器学习分析扩展到绘画作品的表面形貌。积极归因的控制研究设计了一个艺术类学生的绘画作品。这些画是用共焦光学轮廓仪扫描产生表面数据。将表面数据划分为虚拟块,并用于训练用于属性的卷积神经网络(CNN)的集合。在0.5到60 mm的补丁大小范围内,发现结果的归因准确率为60%到96%,并且当比较不同颜色的区域时,准确率几乎是使用绘画彩色图像的CNN的两倍。值得注意的是,短的长度尺度,小到鬃毛直径的两倍,是可靠区分艺术家的关键。这些结果表明,承诺为现实世界的归属,特别是在研讨会的做法。
2021-06-14 cs.CV cs.LG
Spectral Integrated Gradients for Coarse-to-Fine Feature Attribution
Korea Advanced Institute of Science and Technology(韩国科学技术院);INEEJI Corp.(INEEJI公司)
本文提出Spectral Integrated Gradients(SIG)方法,通过奇异值分解构建积分路径,以减少噪声并提高特征归因的准确性,优于传统路径基方法。
2026-08-06 cs.AI cs.CV cs.LG
GUARD: Guided Unlearning and Retention via Data Attribution for Large Language Models
Department of Electrical & Computer Engineering(电气与计算机工程系);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大语言模型遗忘时的意外遗忘问题,提出基于数据归因的GUARD框架,通过自适应非均匀遗忘权重分配缓解保留性能下降,在多个基准上实现更优的效用保留与相当的隐私损失。
2026-10-14 cs.AI cs.CL cs.LG
Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk
本研究构建多尺度堆叠集成预测模型并测试LLM生成信用风险解释的保真度,发现预测性能提升有限,LLM生成的解释存在事实错误,需对生成解释进行验证。
2026-08-11 cs.CL cs.LG
Authorship Attribution in Bangla literature using Character-level CNN
Shahjalal University of Science and Technology(沙贾拉勒科技大学)
字符是文本的最小单位,可以提取样式信号来确定文本的作者。在本文中,我们调查的有效性,字符级的信号在孟加拉文学的作者归属,并表明,结果是有前途的,但可改进的。所提出的模型的时间和内存效率是远远高于词级同行,但准确率是2-5%,低于最好的表现词级模型。各种基于单词的模型进行比较,并表明,该模型的性能越来越好,更大的数据集。我们还分析了不同孟加拉语字符集的预训练字符嵌入在作者归属中的效果。可以看出,性能在预训练时提高了10%。我们使用了来自6到14位作者的2个数据集,在训练之前对它们进行平衡并比较结果。
2020-01-11 cs.AI cs.CL cs.LG
Intriguing Properties of Data Attribution on Diffusion Models
Singapore Management University(新加坡管理大学);Sea AI Lab(Sea AI实验室)
本研究通过广泛实验发现,扩散模型数据归因中理论上不合理的简单设计反而大幅优于现有基线,提出更高效方法并揭示理论假设在非凸场景可能限制归因性能。
2024-03-15 cs.AI cs.CV cs.LG
TrueMuse: A Benchmark for Data Attribution in Text-to-Music Models
University of Georgia(佐治亚大学)
针对文本到音乐模型数据归因缺乏可靠基准的问题,提出受控数据集TrueMuse,通过微调三个扩散模型构建,涵盖四种归因设置,系统评估现有黑盒方法,发现归因仍具挑战性,需更可靠通用的方法。
2026-10-14 cs.LG
Improving performance of deep learning models with axiomatic attribution priors and expected gradients
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
最近的研究表明,深度网络的特征归因方法本身可以被纳入训练中;这些归因先验优化了一个模型,该模型的属性具有某些理想的属性-最常见的是,特定的特征是重要的或不重要的。这些属性先验通常基于不能保证满足期望的可解释性公理(例如完整性和实现不变性)的属性方法。在这里,我们引入属性先验来优化解释的更高级别属性,例如平滑性和稀疏性,这是由一种称为预期梯度的快速新属性方法公式实现的,它满足许多重要的可解释性公理。这提高了模型在许多现实任务中的性能,而这些任务中先前的归因先验都失败了。我们的实验表明,将较高级别的归因先验与预期的梯度归因相结合所获得的收益在图像、基因表达和医疗保健数据集上是一致的。我们相信,这项工作的动机,并提供必要的工具,以支持广泛采用公理化的归因先验在许多领域的应用机器学习。我们的实施和结果已免费提供给学术界。
2020-11-11 cs.LG stat.ML
Generalized Group Data Attribution
Harvard University(哈佛大学)
本文提出广义分组数据归因框架GGDA,通过按训练点分组归因来降低计算开销,在保持归因有效性的同时实现10-50倍加速,使大规模机器学习中的数据归因应用更加可行。
2024-10-21 cs.AI cs.LG stat.ML
IAPO: Input Attribution-Aware Policy Optimization for Tool Use in Small Multimodal Agents
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
提出输入归因感知策略优化(IAPO),通过强化学习对齐模型与教师模型的输入归因,提升多模态小语言模型的工具调用能力,在六个测试集上平均准确率提升3%。
2026-06-11 cs.LG
Time-series attribution maps with regularized contrastive learning
EPFL(洛桑联邦理工学院)
针对基于梯度的时间序列归因方法缺乏可识别性保证的问题,提出含正则化对比学习和反向神经元梯度的xCBRA方法,理论证明其雅可比矩阵识别特性,实验在合成数据集上实现真实归因图的稳健近似,且优于现有多种方法,为时间序列数据理解开辟新途径。
2025-02-17 cs.AI cs.LG q-bio.NC
Daunce: Data Attribution through Uncertainty Estimation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Womp Labs(Womp实验室)
针对现有训练数据归因方法可扩展性差或准确性低的问题,提出Daunce方法,通过微调扰动模型并计算损失协方差作为归因得分,在LLM等大规模模型上实现了更准确且兼容黑盒访问的数据归因。
2025-05-29 cs.LG
Learning to Weight Parameters for Training Data Attribution
EPFL(苏黎世联邦理工学院);Stony Brook University(史蒂文斯理工学院);UNC Charlotte(北卡罗来纳大学夏洛特分校)
本文提出一种无需标注标签即可直接从数据学习参数重要性权重的方法,提升训练数据归因的准确性与细粒度分析能力。
2026-02-20 cs.CV cs.LG
Motion Attribution for Video Generation
NVIDIA;Princeton University(普林斯顿大学);MIT(麻省理工学院);University of Michigan(密歇根大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
研究视频生成模型中数据对运动影响,提出基于梯度的运动归因框架Motive,通过运动加权损失掩码分离静态外观和时间动态,用于研究微调剪辑对时间动态的影响及指导数据策划,提升视频运动质量。
2026-07-07 cs.AI cs.CV cs.LG
TREX: Tree-Ensemble Representer-Point Explanations
University of Oregon(俄勒冈大学)
我们如何识别对树集成预测贡献最大的训练样本?在本文中,我们介绍TREX,解释系统,提供实例属性的解释树集成,如随机森林和梯度提升树。TREX建立在先前为解释深度神经网络而开发的代表点框架之上。由于树系综是不可微的,我们定义了一个内核,捕捉特定的树系综的结构。通过在核逻辑回归或支持向量机中使用该核,TREX构建了一个近似原始树集成的代理模型。代理模型的核扩展中的权重用于定义每个训练样本的全局或局部重要性。实验结果表明,TREX的代理模型能准确地逼近树系集,其全局重要性权重在数据集调试中比现有的方法更有效,在移除和重新训练评估框架下,其解释能更好地识别最具影响力的样本,其运行速度比其他方法快几个数量级,并且具有更好的性能。并且其局部解释可以识别和解释由于域不匹配引起的错误。
2021-12-16 cs.LG stat.ML
Training Feature Attribution for Vision Models
Orange Research Châtillon, France(法国夏特隆橙色研究机构);École polytechnique, Palaiseau, France(法国帕莱索高等理工学院)
本文提出训练特征归因方法,将测试预测链接到特定训练图像区域,揭示导致误分类的有害样本和虚假相关性,提供比传统方法更细粒度的解释。
2025-10-10 cs.CV cs.LG
Rescaled Influence Functions: Accurate Data Attribution in High Dimension
EECS, MIT(MIT电子工程与计算机科学系)
针对高维场景下影响函数数据归因不精确的问题,提出重标度影响函数(RIF),以极小计算开销显著提升归因准确性,并能检测出欺骗IF的投毒攻击。
2025-09-09 cs.LG stat.ML
Smoothed Geometry for Robust Attribution
Carnegie Mellon University(卡内基梅隆大学)
特征属性是解释深度神经网络(DNN)行为的流行工具,但最近被证明容易受到攻击,从而对附近的输入产生不同的解释。这种鲁棒性的缺乏在高风险应用中尤其成问题,在这些应用中,敌对操纵的解释可能会损害安全性和可信度。基于对最近工作中提出的这些攻击的几何理解,我们确定了模型梯度上的Lipschitz连续性条件,这些条件导致了基于梯度的强大属性,并观察到平滑性也可能与攻击在多种属性方法之间转移的能力有关。为了在实践中减轻这些攻击,我们提出了一种廉价的正则化方法,可以在DNN中促进这些条件,以及一种不需要重新训练的随机平滑技术。我们在一系列图像模型上的实验表明,这两种缓解措施都能持续提高归因鲁棒性,并证实了平滑几何在这些对真实大规模模型的攻击中所起的作用。
2020-10-22 cs.LG stat.ML
RoSHAP: A Distributional Framework and Robust Metric for Stable Feature Attribution
Department of Statistics(统计学系);Virginia Tech(弗吉尼亚理工大学);Transportation Institute(交通运输研究所);Department of Computer Science(计算机科学系)
本文提出RoSHAP框架和稳健度量,通过Bootstrap重采样和核密度估计建模特征归因分布,提升特征归因的稳定性与可解释性。
2026-05-14 cs.LG stat.ML
Concept-TRAK: Understanding how diffusion models learn concepts through concept-level attribution
University of Pennsylvania(宾夕法尼亚大学);SONY AI(索尼人工智能);Sony Group Corporation(索尼集团)
Concept-TRAK通过概念层面归因方法,提升扩散模型对特定概念的解释能力,适用于图像生成中的版权与透明性问题。
2026-03-02 cs.CV cs.LG
ENS-10: A Dataset For Post-Processing Ensemble Weather Forecasts
ETH Zürich(苏黎世联邦理工学院);ECMWF(欧洲中期天气预报中心)
后处理集合预报系统可以提高天气预报的可靠性,特别是对极端事件的预报。近年来,已经开发了不同的机器学习模型来提高天气后处理的质量。然而,这些模型需要一个全面的天气模拟数据集来产生高精度的结果,这需要很高的计算成本。本文介绍了ENS-10数据集,由跨越20年(1998 - 2017)的10个集合成员组成。系综成员是通过扰动数值天气模拟来捕捉地球的混沌行为而产生的。为了表示大气的三维状态,ENS-10提供了11个不同压力水平下最相关的大气变量,并以0.5度分辨率提供了预测提前时间T = 0,24和48小时(每周两个数据点)的表面。我们提出了ENS-10的预测校正任务,通过集合后处理,在48小时的提前期内提高预报质量。我们提供了一组基线,并比较他们的技能,在纠正三个重要的大气变量的预测。此外,我们使用我们的数据集来衡量基线在改善极端天气事件预测方面的能力。ENS-10数据集在Creative Commons Attribution 4.0 International(CC BY 4.0)许可下提供。
2022-11-07 cs.LG physics.ao-ph
Attribution of Predictive Uncertainties in Classification Models
Featurespace Research(Featurespace 研究院)
分类任务中的预测不确定性通常是模型不足或训练数据不足的结果。在流行的应用中,例如图像处理,我们经常需要通过有意义地将这些不确定性归因于输入特征来仔细检查这些不确定性。这有助于改进可解释性评估。然而,这方面的有效框架很少。用于提供显着性掩模的普通形式的流行方法,例如SHAP或集成梯度,对不确定性的目标测量适应性很差。因此,最先进的工具通过创建反事实或对抗性特征向量来进行,并通过与原始图像的直接比较来分配属性。在本文中,我们提出了一个新的框架,结合路径积分,反事实的解释和生成模型,以获得属性,包含一些可观察到的文物或噪音。我们的证据表明,这优于现有的替代品,通过定量评估与流行的基准方法和数据集的不同复杂性。
2022-06-08 cs.CV cs.LG stat.ML