Accurate and Robust Feature Importance Estimation under Distribution Shifts
Lawrence Livermore National Labs(劳伦斯利弗莫尔国家实验室);Arizona State University(亚利桑那州立大学)
随着在关键应用中对黑盒模型结果的依赖程度越来越高,不需要访问模型内部的事后可解释性工具经常被用来使人们能够理解和信任这些模型。特别是,我们专注于类的方法,可以揭示输入功能的预测输出的影响。尽管它们被广泛采用,但已知现有方法遭受以下挑战中的一个或多个:计算复杂性,大的不确定性,最重要的是,无法处理现实世界的域转移。在本文中,我们提出了PRoFILE,一种新的特征重要性估计方法,解决了所有这些挑战。通过使用与预测模型和因果目标联合训练的损失估计器,PRoFILE即使在复杂的分布变化下也可以准确地估计特征重要性得分,而无需任何额外的重新训练。为此,我们还开发了用于训练损失估计器的学习策略,即对比和辍学校准,并发现它可以有效地检测分布偏移。使用几个基准图像和非图像数据的实证研究,我们显示出显着的改进,在保真度和鲁棒性方面的国家的最先进的方法。
2020-09-30 cs.LG stat.ML
Learned Feature Importance Scores for Automated Feature Engineering
Google(谷歌)
本文提出AutoMAN框架,通过学习特征重要性掩码实现端到端的自动化特征工程,无需显式生成变换特征,在保证高精度和低延迟的同时支持异构与时变数据。
2024-06-06 cs.LG
Challenges in Variable Importance Ranking Under Correlation
Princeton University(普林斯顿大学);Merck & Co., Inc.(默克公司)
本研究通过模拟和理论证明,揭示了特征相关性对变量重要性排序的挑战,特别是条件预测影响(CPI)方法在高相关特征下的局限性,强调需理解方法效用与局限。
2024-02-05 cs.LG stat.ME stat.ML
The Most Important Features in Generalized Additive Models Might Be Groups of Features
Stanford University(斯坦福大学);Institute for Computational and Mathematical Engineering(计算与数学工程研究所);Microsoft Research(微软研究院);Hospital for Special Surgery(专科医院);Department of Psychiatry & Behavioral Sciences(精神病学与行为科学系);SRI International(SRI国际);Cornell University(康奈尔大学)
本文提出一种无需重训、支持事后定义和重叠分组的新方法,用于评估广义可加模型中特征组的重要性,并通过合成实验及两项医学多模态案例证明其能提供更准确全局的视角。
2025-06-24 cs.LG
Feature Importance Guided Attack: A Model Agnostic Adversarial Attack
Amrita University(阿姆里塔大学)
对抗学习的研究主要集中在同构的非结构化数据集上,这些数据集通常会自然地映射到问题空间中。将对异构数据集的特征空间攻击转化为问题空间更具挑战性,特别是找到要执行的扰动的任务。这项工作提出了一个正式的搜索策略:“特征重要性引导攻击”(FIGA),它发现在异构的表格数据集的特征空间的扰动,产生规避攻击。我们首先在特征空间中演示FIGA,然后在问题空间中演示。FIGA假设没有防御模型的学习算法的先验知识,并且不需要任何梯度信息。FIGA假设的特征表示和防御模型的数据集的平均特征值的知识。FIGA通过在目标类的方向上扰动输入的最重要特征来利用特征重要性排名。虽然FIGA在概念上类似于使用特征选择过程的其他工作(例如,模仿攻击),我们形式化的攻击算法与三个可调参数和调查的强度FIGA表数据集。我们通过逃避在四个不同的表格式网络钓鱼数据集和一个金融数据集上训练的网络钓鱼检测模型来证明FIGA的有效性,平均成功率为94%。我们将FIGA扩展到网络钓鱼问题空间,通过限制可能的扰动在网络钓鱼域中是有效和可行的。我们生成了有效的对抗性网络钓鱼网站,这些网站在视觉上与未受干扰的网站相同,并使用它们来攻击六个表格ML模型,平均成功率为13.05%。
2023-01-13 cs.AI cs.CR cs.LG
Benchmarking Attribution Methods with Relative Feature Importance
Google Brain(谷歌大脑)
可解释性是安全部署机器学习系统的一个重要研究领域。一种特殊类型的可解释性方法将模型决策归因于输入特征。尽管积极的发展,定量评价的特征属性方法仍然很困难,由于缺乏地面真相:我们不知道哪些输入功能实际上是重要的模型。在这项工作中,我们提出了一个框架基准归因方法(BAM)的相对特征重要性的先验知识。BAM包括:1)精心制作的数据集和模型,这些数据集和模型都是用已知的相对特征重要性训练的; 2)三个互补的指标,通过比较模型对和输入对之间的特征属性来定量评估属性方法。我们对几种广泛使用的归因方法的评估表明,某些方法更有可能产生假阳性解释-这些特征被错误地归因为对模型预测更重要。我们开源我们的数据集、模型和指标。
2019-11-04 cs.LG stat.ML
Towards a More Reliable Interpretation of Machine Learning Outputs for Safety-Critical Systems using Feature Importance Fusion
The University of Nottingham(诺丁汉大学)
当机器学习支持安全关键系统中的决策时,验证和理解产生特定输出的原因非常重要。虽然特征重要性计算方法有助于解释,但关于如何量化特征的重要性缺乏共识,这使得为结果提供的解释大多不可靠。解决缺乏一致性的一个可能的解决方案是组合来自多个特征重要性量化器的结果以减少估计的方差。我们的假设是,这将导致对每个特征对机器学习预测的贡献的更强大和更可信的解释。为了帮助测试这一假设,我们提出了一个可扩展的框架分为四个主要部分:(i)传统的数据预处理和准备预测机器学习模型;(ii)预测机器学习;(iii)特征重要性量化和(iv)使用集成策略的特征重要性决策融合。我们还引入了一种新的融合度量,并将其与最先进的融合度量进行比较。我们的方法在已知地面真实情况的合成数据上进行了测试。我们比较不同的融合方法和他们的训练和测试集的结果。我们还研究了数据集内的不同特征如何影响所研究的特征重要性集成。结果表明,与现有方法相比,我们的特征重要性集成框架总体上减少了15%的特征重要性误差。此外,结果表明,数据集中的不同水平的噪声不影响特征重要性集成的能力,准确地量化特征重要性,而特征重要性量化误差增加的特征的数量和正交信息特征的数量。
2020-09-11 cs.LG stat.ML
Nonparametric Feature Impact and Importance
University of San Francisco(旧金山大学)
从业者在模型开发过程中使用特征重要性来排名和消除弱预测因子,以简化模型并提高通用性。不幸的是,他们还经常将这些特征重要性度量与特征影响混为一谈,特征影响是解释变量对响应变量的孤立影响。当重要性被不恰当地解释为对业务或医疗洞察目的的影响时,这可能导致现实世界的后果。用于计算重要性的主要方法是通过询问拟合模型,该拟合模型对于特征选择很有效,但是给出了特征影响的失真度量。应用于相同数据集的相同方法可以产生不同的特征重要性,具体取决于模型,这使我们得出结论,应该直接从数据中计算影响。虽然存在非参数特征选择算法,但它们通常提供特征排名,而不是影响或重要性的度量。它们通常也关注与响应的单变量关联。在本文中,我们给出了数学定义的功能的影响和重要性,来自部分依赖曲线,直接对数据进行操作。为了评估质量,我们表明,这些定义的功能排名与现有的特征选择技术,使用三个真实的数据集的预测任务是有竞争力的。
2020-06-08 cs.LG stat.ML
Bayesian Importance of Features (BIF)
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);University of British Columbia(不列颠哥伦比亚大学)
我们引入了一个简单而直观的框架,通过输入特征重要性的概率评估提供了统计模型的定量解释。其核心思想来自于利用狄利克雷分布来定义输入特征的重要性,并通过近似贝叶斯推断来学习它。学习的重要性具有概率解释,并提供每个输入特征对模型输出的相对重要性,另外评估其重要性量化的置信度。由于在解释上使用狄利克雷分布,我们可以定义一个封闭形式的发散来衡量不同模型下学习的重要性之间的相似性。我们使用这种分歧来研究特征重要性可解释性与现代机器学习中的基本概念(如隐私和公平)的权衡。此外,BIF可以在两个级别上工作:全局解释(所有数据实例的特征重要性)和局部解释(每个数据实例的个体特征重要性)。我们证明了我们的方法在各种合成和真实数据集上的有效性,同时考虑到表格和图像数据集。该代码可在https://github.com/kamadforge/featimp_dp上获得。
2022-09-17 cs.LG stat.ML
Randomized Ablation Feature Importance
Fiddler Labs
给定一个模型$f$,从输入特征的向量$\pmb{x} = x_1, x_2, \ldots, x_M$预测目标$y$,我们试图测量每个特征相对于模型做出良好预测的能力的重要性。为此,我们考虑当我们从模型中隐藏或消除每个特征时,预测的好坏(我们称之为“损失”$\ell$)的一些度量(平均而言)如何变化。为了消除一个特征,我们随机地用另一个可能的值替换它的值。通过对许多点和许多可能的替换进行平均,我们可以衡量一个特征对模型做出良好预测的能力的重要性。此外,我们提出了不确定性的统计措施,量化我们有多自信,我们从我们的有限数据集和有限数量的消融测量的特征重要性接近理论上的真实重要性值。
2019-10-02 cs.LG stat.ML
Validity of Feature Importance in Low-Performing Machine Learning for Tabular Biomedical Data
Seoul National University(首尔国立大学);University of Padova(帕多瓦大学);Georgia Institute of Technology(佐治亚理工学院)
本研究挑战低性能模型不能用于特征重要性分析的传统观点,通过合成和真实生物医学数据实验,证明在数据量充足时,特征切割下低性能模型仍能保持特征排名的有效性。
2024-09-20 cs.LG stat.ML
Decomposition of Global Feature Importance into Direct and Associative Components (DEDACT)
Ludwig-Maximilian University Munich(慕尼黑路德维希-马克西米利安大学);University of Vienna(维也纳大学)
全局模型无关的特征重要性度量要么量化特征是否直接用于模型的预测(直接重要性),要么量化特征是否包含预测相关信息(关联重要性)。直接重要性提供了对模型机制的因果洞察,但它未能揭示相关但不直接使用的变量的信息泄漏。相比之下,关联重要性暴露信息泄漏,但不提供因果洞察模型的机制。我们介绍DEDACT -一个框架,分解成各自的关联和直接组件的直接和关联的重要性措施。DEDACT提供了对数据中预测相关信息的来源以及信息进入模型的直接和间接特征路径的洞察。我们证明了该方法的实用性模拟的例子。
2021-06-15 cs.LG stat.ML
Conditional Feature Importance with Generative Modeling Using Adversarial Random Forests
Leibniz Institute for Prevention Research & Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所 – BIPS);Faculty of Mathematics and Computer Science, University of Bremen(不来梅大学数学与计算机科学学院);Berlin School of Economics and Law(柏林经济与法律学院);University of Copenhagen(哥本哈根大学)
本文提出cARFi方法,利用对抗随机森林生成的条件分布采样特征值,以少量调参稳健衡量条件特征重要性,支持条件/边际概念及统计显著性检验。
2025-01-19 cs.LG stat.ML
Ranking Feature-Block Importance in Artificial Multiblock Neural Networks
Faculty of Science and Technology(科学与技术学院);Norwegian University of Life Sciences(挪威生命科学大学)
在人工神经网络中,理解输入特征对预测的贡献可以提高模型的可解释性,并提供有关数据集的相关信息。虽然特征重要性排名的典型设置单独评估输入特征,但在本研究中,我们更进一步,对特征组(表示为特征块)的重要性进行排名。特征块可以包含特定类型的特征或从特定源导出的特征,这些特征在单独的输入分支(多块ANN)中呈现给神经网络。这项工作提出了三种方法,追求不同的策略,在多块人工神经网络中的功能,他们的重要性排名:(1)一个复合策略建立在个人特征的重要性排名,(2)敲入,和(3)敲除策略。虽然复合策略建立在最先进的特征重要性排名的基础上,但敲入和敲出策略通过互信息标准来评估整个块。我们的实验包括验证所有三种方法的模拟研究,然后在两个不同的真实世界数据集上进行案例研究,以比较这些策略。我们的结论是,每种策略都有其优点,为特定的应用场景。
2022-04-14 cs.LG stat.ML
Computationally Efficient Feature Significance and Importance for Machine Learning Models
Stanford University(斯坦福大学)
我们为机器学习模型的特征开发了一个简单且计算效率高的显著性检验。我们的前向选择方法适用于任何模型规格,学习任务和变量类型。该测试是非渐近的,直接实现,并且不需要模型改装。它识别统计上显着的功能,以及功能的相互作用的任何顺序在一个层次的方式,并生成一个模型的功能重要性的概念。实验和实证结果说明了它的性能。
2019-10-12 cs.LG stat.ML
Better Model Selection with a new Definition of Feature Importance
King’s College London(伦敦国王学院);Turing Intelligence Technology Limited(图灵智能科技有限公司)
特征重要性旨在衡量每个输入特征对模型预测的重要性。它在特征工程、模型选择和可解释人工智能(XAI)中有着广泛的应用。在本文中,我们提出了一个新的树模型解释方法的模型选择。我们的新概念利用特征权重的变异系数(根据特征对预测的贡献来测量)来捕获样本重要性的分散。大量的实验结果表明,我们的新的特征解释表现出更好的模型选择在时间效率和准确性性能方面比一般的交叉验证方法。
2020-09-16 cs.LG stat.ML
Understanding Global Feature Contributions With Additive Importance Measures
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
理解复杂机器学习模型的内部工作原理是一个长期存在的问题,最近的研究主要集中在局部可解释性上。为了从全局意义上评估单个输入特征的作用,我们探索了通过与每个特征相关联的预测能力来定义特征重要性的观点。我们引入了两个概念的预测能力(基于模型的和通用的),并正式这种方法的框架的添加剂的重要性措施,它统一了众多的方法在文献中。然后,我们提出了SAGE,一个模型无关的方法,量化预测能力,同时考虑功能的相互作用。我们的实验表明,SAGE可以有效地计算,它分配更准确的重要性值比其他方法。
2020-10-27 cs.LG stat.ML
Feature Importance Explanations for Temporal Black-Box Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
监督学习框架中的模型可以捕获对人类难以解释的特征的丰富且复杂的表示。现有的方法来解释这样的模型往往是特定的架构和数据的功能不具有随时间变化的组件。在这项工作中,我们提出了TIME,一种解释本质上具有时间性的模型的方法。我们的方法(i)使用基于模型不可知置换的方法来分析全局特征的重要性,(ii)确定显着特征的重要性,以及它们的时间顺序和本地化的影响窗口,(iii)使用假设检验来提供统计上的严谨性。
2021-02-23 cs.LG stat.ML
Single Sample Feature Importance: An Interpretable Algorithm for Low-Level Feature Analysis
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室);Columbia University(哥伦比亚大学)
您是否曾经想知道您的特征空间如何影响数据集中特定样本的预测?在本文中,我们介绍了单样本特征重要性(SSFI),这是一种可解释的特征重要性算法,允许识别有助于预测单个样本的最重要特征。当数据集可以通过随机森林分类器或回归器学习时,SSFI显示了如何利用随机森林的预测路径进行低级别的特征重要性计算。SSFI会对特征进行相对排名,突出显示对数据点预测影响最大的特征。我们在四个不同的数据集上展示了这些结果的数值和视觉效果。
2019-11-27 cs.LG stat.ML
Feature Importance Estimation with Self-Attention Networks
Jožef Stefan Institute(约泽夫·斯蒂芬研究所);International Postgraduate School Jožef Stefan(约泽夫·斯蒂芬国际研究生院)
黑箱神经网络模型广泛应用于工业和科学领域,但难以理解和解释。最近,注意力机制被引入,提供了对神经语言模型内部工作的见解。本文探讨了使用基于注意力的神经网络机制来估计特征的重要性,作为解释从命题(表格)数据中学习的模型的手段。特征的重要性估计,评估所提出的自注意力网络(SAN)架构,建立ReliefF,互信息和随机森林为基础的估计,这是广泛用于在实践中的模型解释进行比较。我们第一次在10个真实和合成数据集上对不同算法的特征重要性估计进行无尺度比较,以研究所得到的特征重要性估计的相似性和差异,表明SAN识别类似的高排名特征。我们证明,SAN识别功能的相互作用,在某些情况下,产生更好的预测性能比基线,这表明注意力超出了几个关键功能的相互作用,并检测较大的功能子集相关的考虑学习任务。
2020-02-11 cs.LG stat.ML
A Debiased MDI Feature Importance Measure for Random Forests
UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
像随机森林这样的树集合在各种各样的应用中取得了令人印象深刻的经验成功。为了理解这些模型是如何进行预测的,人们通常会求助于从树集合中计算出的特征重要性度量。长期以来,人们一直知道,平均减少杂质(MDI),最广泛使用的特征重要性的措施之一,不正确地分配高重要性的噪声特征,导致系统性偏见的特征选择。在本文中,我们从理论和方法的角度来解决MDI的特征选择偏差。基于Breiman等人对MDI的原始定义。对于单树,我们推导出噪声特征的MDI重要性的预期偏差的严格非渐近界,表明深树比浅树具有更高的(预期)特征选择偏差。然而,目前还不清楚如何减少MDI使用其现有的分析表达式的偏差。我们推导出一个新的MDI的分析表达式,并基于这个新的表达式,我们能够提出一个去偏置MDI功能的重要性措施,使用袋外样本,称为MDI-OOB。对于模拟数据和基因组ChIP数据集,MDI-oob在深度树和浅树的随机森林特征选择中实现了最先进的性能。
2019-10-26 cs.LG stat.ML
Beyond Importance Scores: Interpreting Tabular ML by Visualizing Feature Semantics
Stanford University(斯坦福大学);Demystify AI
随着机器学习(ML)模型越来越广泛地用于做出关键决策,可解释性正在成为一个活跃的研究课题。表格数据是医疗保健和金融等各种应用中最常用的数据模式之一。大多数用于表格数据的现有可解释性方法仅报告特征重要性分数-局部(每个示例)或全局(每个模型)-但它们不提供特征如何相互作用的解释或可视化。我们通过引入特征向量来解决这个限制,这是一种为表格数据集设计的新的全局可解释性方法。除了提供特征重要性之外,特征向量还通过直观的特征可视化技术发现特征之间的内在语义关系。我们的系统实验证明了这种新方法的经验效用,将其应用到几个真实世界的数据集。我们还为特征向量提供了一个易于使用的Python包。
2021-11-30 cs.LG stat.ML
Unbiased Measurement of Feature Importance in Tree-Based Methods
Department of Statistical Science, Cornell University(康奈尔大学统计科学系)
我们提出了一个修改,纠正随机森林和其他基于树的方法中的分裂改进变量重要性措施。这些方法已被证明是偏向于增加具有更多潜在分裂的特征的重要性。我们表明,通过适当地纳入分裂改善测量的样本数据,这种偏见可以得到纠正,产生更好的总结和筛选工具。
2020-03-23 cs.LG stat.ML
Fair Feature Importance Scores via Feature Occlusion and Permutation
Rice University(里士大学);Columbia University(哥伦比亚大学)
本文提出两种模型无关方法,通过特征遮蔽和排列评估特征对公平性的贡献,为公平性评估提供新的可解释工具。
2026-02-09 cs.LG stat.ML
Trustworthy Feature Importance Avoids Unrestricted Permutations
Department of Decision Sciences and Bocconi Institute for Data Science and Analytics, Bocconi University(博科尼大学决策科学系与博科尼数据科学与分析研究所);Department of Decision Science, Bocconi University(博科尼大学决策科学系);SKEMA Business School, Université Côte d’Azur(SKEMA商学院,蔚蓝海岸大学);Clausthal University of Technology(克劳斯塔尔工业大学);Department of Computer Science, Duke University(杜克大学计算机科学系)
本文提出三种新方法:条件模型依赖、带高斯变换的Knockoffs和受限ALE图设计,以解决无限制排列导致的外推误差问题,理论和数值结果表明这些方法能有效减少或消除外推误差。
2026-04-13 cs.LG stat.ML
Logic Constraints to Feature Importances
SAILAB, University of Siena(锡耶纳大学SAILAB实验室);University of Pavia(帕维亚大学)
近年来,人工智能(AI)算法已被证明在预测性方面优于传统的统计方法,特别是当有大量数据可用时。尽管如此,人工智能模型的“黑匣子”性质往往是一个限制,在高风险领域的可靠应用,如诊断技术,自主指南等最近的工作表明,足够的可解释性水平可以执行更一般的概念模型可信度。本文的基本思想是利用人类对特定任务的特征重要性的先验知识,以便连贯地帮助模型拟合阶段。这种“加权”AI是通过用正则化项扩展经验损失来获得的,该正则化项鼓励特征的重要性遵循预定的约束。该过程依赖于用于特征重要性计算的局部方法,例如LRP、LIME等,这些方法是待优化的模型权重与用户定义的特征重要性约束之间的联系。在公平性方面,在成人数据集上获得了有希望的实验结果。许多其他可能的应用,这个模型不可知论的理论框架进行了说明。
2021-10-13 cs.LG stat.ML
Feature importance scores and lossless feature pruning using Banzhaf power indices
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
理解机器学习中特征的影响对于解释模型和选择最佳特征进行分类至关重要。在这项工作中,我们提出了使用的原则,从联盟博弈论的原因功能的重要性。特别是,我们建议使用的Banzhaf功率指数作为衡量的功能对分类器的结果的影响。我们表明,具有Banzhaf功率指数为零的功能可以losslightly修剪而不损害分类器的准确性。计算功率指数不需要访问数据样本。然而,如果有样本,指数可以根据经验估计。我们计算Banzhaf功率指数的神经网络分类器在现实生活中的数据,并比较结果与基于梯度的特征显着性,和系数的逻辑斯谛回归模型与$L_1$正则化。
2017-12-03 cs.LG stat.ML
Comparing interpretability and explainability for feature selection
Interpretable AI(可解释人工智能机构);Cambridge, MA 02142(剑桥,马萨诸塞州 02142)
特征选择的一种常见方法是检查机器学习模型的变量重要性分数,作为了解哪些特征与预测最相关的一种方式。考虑到特征选择的重要性,计算的重要性分数反映现实是至关重要的。错误地高估不相关特征的重要性可能导致错误的发现,而低估相关特征的重要性可能导致我们丢弃重要特征,从而导致模型性能低下。此外,像XGBoost这样的黑盒模型提供了最先进的预测性能,但人类无法轻松理解,因此我们依赖于可变重要性分数或SHAP等可解释性方法来深入了解它们的行为。在本文中,我们调查的性能变量的重要性作为一个特征选择方法在各种黑盒和可解释的机器学习方法。我们比较了CART,最优树,XGBoost和SHAP在多个实验中正确识别相关变量子集的能力。结果表明,无论我们使用本地变量重要性方法还是SHAP,XGBoost都无法清楚区分相关和不相关的特征。另一方面,可解释的方法能够正确和有效地识别不相关的特征,从而为特征选择提供显著更好的性能。
2021-05-11 cs.LG stat.ML
Visualizing the Feature Importance for Black Box Models
Ludwig-Maximilians-University Munich(慕尼黑大学)
近年来,大量的模型无关的方法来提高机器学习模型的透明性,可信性和可解释性已经被开发出来。我们引入局部特征重要性作为最近模型不可知的全局特征重要性方法的局部版本。基于局部特征重要性,我们提出了两种可视化工具:部分重要性(PI)和个体条件重要性(ICI)图,它们可以可视化特征的变化如何影响模型的平均性能,以及个体观测。我们提出的方法与部分依赖(PD)和个体条件期望(ICE)图相关,但可视化预期(条件)特征重要性,而不是预期(条件)预测。此外,我们表明,平均ICI曲线在整个观察产生PI曲线,并整合PI曲线相对于所考虑的功能的分布结果在全球功能的重要性。本文的另一个贡献是Shapley特征重要性,它根据边际贡献在特征之间公平地分配模型的整体性能,并且可以用于比较不同模型之间的特征重要性。
2018-12-28 cs.AI cs.LG stat.ML
A hybrid econometric-machine learning approach for relative importance analysis: Prioritizing food policy
当计量经济学方法的解释方面感兴趣时,研究人员经常需要测量变量的相对重要性。为此,作者简要回顾了传统计量经济学在构建变量重要性的可靠度量方面的局限性。作者强调了解释性和预测性分析在经济学中的相对地位,以及计量经济学和计算机科学之间富有成效的合作的出现。从两者中吸取教训,作者提出了一种基于传统计量经济学和高级机器学习(ML)算法的混合方法,这些算法在预测分析中使用。本文的目的是双重的,提出了一种混合方法来评估相对重要性,并以印度的食品通胀为例证明其在解决政策优先事项问题方面的适用性,然后是一个更广泛的目标,即向经济学和社会科学研究人员介绍ML和传统计量经济学合并的可能性。
2020-08-22 econ.EM stat.ML
Model-agnostic Feature Importance and Effects with Dependent Features -- A Conditional Subgroup Approach
Ludwig-Maximilians-University Munich(慕尼黑大学);Leibniz Institute for Prevention Research and Epidemiology – BIPS GmbH(莱布尼茨预防研究与流行病学研究所 – BIPS有限公司)
针对特征依赖导致 PFI 与 PDP 外推和解释偏差的问题,本文提出基于变换树构建条件子群并在其中采样的模型无关方法,可同时估计全局与局部特征重要性及效应。
2021-06-21 cs.LG stat.ML
Statistical Significance of Feature Importance Rankings
Department of Statistics University of California, Berkeley(统计学系加州大学伯克利分校);Department of Statistics and Data Science University of Pennsylvania(统计学与数据科学系宾夕法尼亚大学)
本文针对特征重要性排名因随机采样而不稳定的问题,提出基于假设检验的验证方法和两种高效采样算法,能以超过 1-α 的概率正确识别前 K 个重要特征及其顺序,并在 SHAP 和 LIME 上验证了有效性。
2025-07-03 cs.LG stat.ML
NormLime: A New Feature Importance Metric for Explaining Deep Neural Networks
University of Oregon(俄勒冈大学);Baidu Research(百度研究院)
解释深度学习模型和模型预测的问题最近引起了人们的浓厚兴趣。许多成功的方法放弃了全局近似,以提供更忠实的局部解释模型的行为。LIME开发了多个可解释的模型,每个模型在数据流形的一个小区域上近似一个大的神经网络,SP-LIME聚合局部模型以形成全局解释。扩展这条研究路线,我们提出了一个简单而有效的方法,NormLIME聚合局部模型到全球和类特定的解释。一项人类用户研究强烈支持由NormLIME创建的特定于类的解释,而不是其他特征重要性度量。数值实验证实,NormLIME是有效的识别重要特征。
2019-10-15 cs.LG stat.ML
Inferring feature importance with uncertainties in high-dimensional data
SINTEF DIGITAL(挪威科学与工业研究基金会数字研究所);Norwegian University of Science and Technology(挪威科技大学);SimulaMet(西穆拉代谢研究所);Yale School of Public Health(耶鲁大学公共卫生学院)
估计特征重要性是解释基于数据的模型的一个重要方面。除了解释模型本身之外,一个同样相关的问题是哪些特征在底层数据生成过程中很重要。我们提出了一个基于Shapley值的框架,用于推断个体特征的重要性,包括估计量中的不确定性。我们建立在最近发表的SAGE(Shapley加性全局重要性)的特征重要性度量,并引入子SAGE,它可以估计,而无需重新搜索基于树的模型。我们认为,可以估计的不确定性,从引导和展示的方法,树集成方法。该框架以合成数据以及高维基因组学数据为例。
2021-09-20 cs.LG stat.ME stat.ML
Feature Importance in Gradient Boosting Trees with Cross-Validation Feature Selection
Tel Aviv University(特拉维夫大学)
梯度提升机(GBM)是表格数据的常用算法之一,它在许多预测任务中产生最先进的结果。尽管GBM框架很受欢迎,但它的基础学习器存在一个根本性的缺陷。具体地,大多数实现利用通常偏向于具有大基数的分类变量的决策树。这种偏差的影响多年来被广泛研究,主要是在预测性能方面。在这项工作中,我们扩大了范围,并研究了有偏见的基础学习GBM特征重要性(FI)措施的影响。我们表明,虽然这些实施表现出高度竞争力的预测性能,他们仍然,令人惊讶的是,遭受偏见FI。通过利用交叉验证(CV)无偏基础学习器,我们以相对较低的计算成本修复了这个缺陷。我们在各种合成和现实世界的设置中展示了建议的框架,在所有GBM FI措施中显示出显着的改善,同时保持相对相同的预测准确度。
2021-09-12 cs.LG stat.ML
Leveraging Model Inherent Variable Importance for Stable Online Feature Selection
University of Tuebingen(蒂宾根大学);Schufa Holding AG(Schufa控股股份公司)
特征选择是获得稳健和准确预测的关键因素。然而,在线特征选择模型在相当大的限制下运行;它们需要基于有界的观测集有效地提取显著的输入特征,同时实现鲁棒和准确的预测。在这项工作中,我们介绍FIRES,一个新的框架在线特征选择。所提出的特征加权机制利用预测模型的参数中固有的重要性信息。通过将模型参数视为随机变量,我们可以惩罚具有高不确定性的特征,从而生成更稳定的特征集。我们的框架是通用的,因为它把底层模型的选择留给了用户。引人注目的是,实验表明,模型复杂性对所选特征集的鉴别能力和稳定性只有很小的影响。事实上,使用一个简单的线性模型,FIRES获得了与最先进的方法竞争的特征集,同时大大减少了计算时间。此外,实验表明,所提出的框架显然是优越的特征选择的稳定性。
2020-06-18 cs.LG stat.ML
Aggregate Models, Not Explanations: Improving Feature Importance Estimation
Roche Pharma Research \& Early Development, Roche Innovation Center Basel, F. Hoffmann-La Roche Ltd, Basel, Switzerland;Universite Paris-Saclay, Inria, CEA, Palaiseau, France
针对特征重要性估计不准确的问题,本文通过理论分析证明模型级集成比解释级集成能更有效地降低误差,并在基准和蛋白质组学数据上验证。
2026-05-28 cs.LG stat.ML
Importance Weighting Approach in Kernel Bayes' Rule
Gatsby Unit(盖茨比计算神经科学中心);DeepMind(深度思维)
我们研究了一种非参数方法贝叶斯计算通过功能的手段,在先验特征的期望更新,以产生预期的内核后验特征,从学习的神经网络或内核功能的观察回归的基础上。贝叶斯更新中涉及的所有量都是从观测数据中学习的,使得该方法完全无模型。由此产生的算法是一个新的核贝叶斯规则(KBR)的基础上的重要性加权的情况下。这导致优越的数值稳定性,原来的方法KBR,这需要运营商反演。我们使用一种新的一致性分析的重要性加权估计在无穷范数的估计的收敛性。我们评估KBR具有挑战性的合成基准,包括一个过滤问题的状态空间模型,涉及高维图像观测。重要性加权KBR产生均匀更好的经验性能比原来的KBR,和其他竞争方法的竞争性能。
2022-08-10 cs.LG stat.ML
Iterative missing value imputation based on feature importance
Henan University(河南大学)
针对现有缺失值插补方法未区分特征重要性的问题,提出一种迭代执行矩阵补全与特征重要性学习的插补算法,在三类数据集上均优于现有五种算法,为首个在插补模型中考虑特征重要性的研究。
2023-11-14 cs.AI cs.LG stat.ML
TRIP: A Nonparametric Test to Diagnose Biased Feature Importance Scores
Wesleyan University(韦斯利安大学)
针对依赖特征下排列特征重要性评分不可靠的问题,提出TRIP非参数检验,以最少假设检测模型外推导致的不可靠评分,并扩展至高维场景,实验验证其有效性。
2025-07-09 cs.LG stat.ME stat.ML
Feature Importance Measure for Non-linear Learning Algorithms
Technical University of Berlin(柏林工业大学);Humbold University of Berlin(洪堡大学)
复杂的问题可能需要复杂的非线性学习方法,如内核机器或深度神经网络,以实现最先进的预测精度。然而,在使用机器学习解决问题时,高预测精度并不是唯一要考虑的目标。相反,特定的科学应用需要对学习的预测函数进行一些解释。不幸的是,大多数方法都没有开箱即用的直接解释。即使是线性预测函数也不能直接解释特征是否表现出复杂的相关结构。在本文中,我们提出了特征重要性度量(MFI)。MFI是通用的,可以应用于任何学习机器(包括内核机器和深度学习)。MFI本质上是非线性的,可以检测本身不明显的特征,并且仅通过与其他特征的相互作用来影响预测功能。最后,MFI可用于基于模型的特征重要性和基于实例的特征重要性(即,测量特定数据点的特征重要性)。
2016-11-22 cs.AI cs.LG stat.ML
Variable Selection Using Relative Importance Rankings
Institute of Industrial Engineering, National Taiwan University(国立台湾大学工业工程研究所)
本文探讨了利用相对重要性分析进行变量或特征排名及过滤式选择的方法,提出改进的CRI.Z指标,通过模拟和基因表达数据验证其在高相关预测器簇中的有效性,展示了其在变量选择中的竞争力。
2026-04-12 cs.LG stat.ML
One Permutation Is All You Need: Fast, Deterministic Feature Importance and Model Stress-Testing
本文提出一种基于单个确定性排列的快速可靠变量重要性方法,通过减少计算开销和随机不稳定性,提升模型压力测试的准确性和透明度。
2026-10-09 cs.AI cs.LG stat.ML
Confident Feature Ranking
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对事后特征重要性解读依赖的特征排名不稳定的问题,提出量化全局重要性值不确定性的框架及基于成对比较的新方法,可生成高概率包含真实排名的同时置信区间并支持前k重要特征选择。
2024-04-18 cs.AI cs.LG stat.ML
Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning
CAS Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, CAS, Beijing, 100190, China(中国科学院网络数据科学与技术重点实验室,计算技术研究所,中国科学院,北京);University of Chinese Academy of Sciences, Beijing, 101408, China(中国科学院大学,北京);School of Computer and Information Engineering, Hanshan Normal University, Guangdong, 521041, China(韩山师范学院计算机与信息工程学院,广东);School of Physics and Electronic Engineering, Hanshan Normal University, Guangdong, 521000, China(韩山师范学院物理与电子工程学院,广东);School of Data Science, Capital University of Economics and Business, Beijing, 100070, China(首都经济贸易大学数据科学学院,北京)
本文提出相对重要性采样(RIS)以缓解离策略强化学习中重要性采样的高方差问题,并开发首个无模型RIS离策略演员-评论家算法,在OpenAI Gym和合成数据集上取得优于或等同现有基准的效果。
2025-04-28 cs.AI cs.LG stat.ML
Hollow-tree Super: a directional and scalable approach for feature importance in boosted tree models
Omniscient Neurotechnology(全知神经科技公司)
目前在提升树建模的局限性,防止有效的缩放到数据集具有大量的功能,特别是当调查的大小和方向性的各种功能分类。我们提出了一种新的方法,空心树超级(HOTS),解决和可视化功能的重要性提升树模型涉及大量的功能。此外,HOTS允许调查各种特征对分类的方向性和幅度。使用Iris数据集,我们首先将HOTS与Gini Importance,Partial Dependence Plots和Permutation Importance进行比较,并演示HOTS如何解决这些方法中存在的弱点。然后,我们展示了如何HOTS可以利用在高维神经科学数据,采取60精神分裂症的主题和应用的方法,以确定哪些大脑区域是最重要的精神分裂症的分类所确定的PANSS。HOTS有效地复制和支持了Iris数据集中的基尼重要性、部分依赖图和排列重要性的发现。当应用于精神分裂症患者的大脑数据集时,HOTS能够解决前10个最重要的分类特征,以及与其他特征相比,它们的分类方向性和幅度。交叉验证支持这10个相同的特征在多棵树的决策过程中一直使用,这些特征主要局限于枕叶和顶叶皮质,这是精神分裂症患者常见的大脑区域。当务之急是开发一种方法,能够处理包含大量特征的大型数据集的工作需求。HOTS代表了一种独特的方式来调查的方向性和规模的功能的重要性时,在规模与提升树建模。
2021-04-07 cs.LG stat.ME stat.ML
FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction
Sina Weibo Inc.(新浪微博公司)
广告和提要排名对Facebook和新浪微博等许多互联网公司至关重要。在许多现实世界的广告和提要排名系统中,点击率(CTR)预测起着核心作用。在该领域中有许多提出的模型,例如逻辑回归、基于树的模型、基于因子分解机的模型和基于深度学习的CTR模型。然而,目前的许多工作都是以简单的方式计算特征的相互作用,如Hadamard积和内积,他们很少关心特征的重要性。提出了一种新的特征重要性和双线性特征交互网络(FeatureImportance and BilinearfeatureInteractionNETwork,简称FiBiNET)模型,用于动态学习特征重要性和细粒度特征交互。一方面,FiBiNET可以通过挤压激励网络(SENET)机制动态学习特征的重要性;另一方面,它能够通过双线性函数有效地学习特征的相互作用。我们在两个真实世界的数据集上进行了广泛的实验,并表明我们的浅层模型优于其他浅层模型,如因子分解机(FM)和场感知因子分解机(FFM)。为了进一步提高性能,我们将经典的深度神经网络(DNN)组件与浅层模型相结合,成为深度模型。深度FiBiNET始终优于其他最先进的深度模型,如DeepFM和极端深度因子分解机(XdeepFM)。
2019-05-23 cs.AI cs.LG stat.ML
Problems with Shapley-value-based explanations as feature importance measures
University of Utah(犹他大学);University of Arizona(亚利桑那大学);Haverford College(哈弗福德学院)
特征重要性的博弈理论公式已经成为“解释”机器学习模型的一种方式。这些方法定义了一个模型的功能之间的合作博弈,并使用某种形式的游戏的唯一Shapley值在这些输入元素之间分配影响。这些方法的合理性取决于两个支柱:它们理想的数学特性,以及它们对特定解释动机的适用性。我们发现,数学问题时,Shapley值被用于特征的重要性和解决方案,以减轻这些必然会引起进一步的复杂性,如因果推理的需要。我们还借鉴了其他文献,认为Shapley值不提供适合以人为中心的可解释性目标的解释。
2020-06-30 cs.AI cs.LG stat.ML
From unbiased MDI Feature Importance to Explainable AI for Trees
Berlin School of Economics and Law(柏林经济与法律学院)
我们试图给出一个统一的观点,最近的各种尝试(i)提高基于树的模型的可解释性和(ii)debias随机森林中的默认变量重要性度量,基尼重要性。特别是,我们展示了一个共同的线程之间的袋为基础的偏差校正方法和它们的连接到本地的解释树。此外,我们指出了一个偏见所造成的inbag的数据包括在新开发的可解释的人工智能树算法。
2021-09-30 cs.LG stat.CO stat.ML
Joint Shapley values: a measure of joint feature importance
Raptor Financial Technologies(Raptor金融技术公司);Birkbeck College University of London(伦敦大学伯克贝克学院);University of Birmingham(伯明翰大学);Tokyo, Japan(东京,日本)
Shapley值是最广泛使用的特征重要性度量之一,部分原因是它度量了特征对模型预测的平均影响。我们引入了联合Shapley值,它直接扩展了Shapley的公理和直觉:联合Shapley值度量了一组特征对模型预测的平均贡献。我们证明了联合Shapley值的唯一性,对于任何顺序的解释。游戏的结果表明,联合Shapley值提出了不同的见解,从现有的相互作用指数,评估一组功能内的功能的效果。联合Shapley值为ML属性问题提供了直观的结果。对于二进制特征,我们提出了一个存在调整的全局值,它比通常的方法更符合局部直觉。
2022-02-10 cs.AI cs.LG stat.ML
Leveraging Black-box Models to Assess Feature Importance in Unconditional Distribution
School of Engineering, Mathematics, and Physics(工程、数学与物理学院);University of East Anglia(东英吉利大学);Iowa State University(爱荷华州立大学)
针对现有黑盒模型难以分析特征变化对结果无条件分布影响的问题,提出一种借助预训练黑盒模型计算特征重要性曲线的近似方法,经实验验证其结果稀疏可靠、计算高效。
2024-12-07 cs.LG stat.CO stat.ME
A Notion of Feature Importance by Decorrelation and Detection of Trends by Random Forest Regression
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);Goethe University Frankfurt(法兰克福大学);TU Dortmund University(多特蒙德工业大学)
在许多研究中,我们希望确定某些特征对因变量的影响。更具体地说,我们感兴趣的是影响力的强度,即,特征是否相关?- -以及如果是,该特征如何影响因变量。最近,诸如\emph{random forest regression}的数据驱动方法已经找到了它们进入应用的途径(Boulesteix等人,2012年)。这些模型允许直接导出特征重要性的度量,这是影响力强度的自然指标。对于相关特征,特征和因变量之间的相关性或等级相关性通常用于确定影响的性质。最近的方法,其中一些也可以衡量功能之间的相互作用,是基于建模方法。特别地,当使用机器学习模型时,SHAP分数是确定这些趋势的最近且突出的方法(Lundberg等人,2017年)的报告。在本文中,我们引入了一个新的概念的特征重要性的基础上研究的Gram-Schmidt去相关方法。此外,我们提出了两个估计识别趋势的数据使用随机森林回归,所谓的绝对和相对横向率。我们根据经验比较我们的估计量与各种合成和真实世界数据集上的成熟估计量的属性。
2023-03-02 cs.AI cs.LG stat.ML
Feature Importance and Explainability in Quantum Machine Learning
School of Computer Science and Information Technology, University College Cork(科克大学学院计算机科学与信息技术学院)
本文针对量子机器学习模型的可解释性问题,基于Iris数据集,采用多种特征重要性方法与可解释性工具,对比经典ML模型与IBM Qiskit实现的混合量子分类器的可解释性见解。
2024-05-14 cs.LG math.QA stat.ML
Cluster LOCO: Feature Importance For Interpreting Clusters
Department of Statistics Columbia University(统计学系哥伦比亚大学)
提出模型无关的聚类特征重要性方法Cluster LOCO,通过特征遮挡和泛化性度量,可靠识别驱动聚类结构的特征。
2026-06-15 cs.LG stat.AP stat.ME