Optimal Algorithms in Linear Regression under Covariate Shift: On the Importance of Precondition
Peking University(北京大学);Huazhong University of Science and Technology(华中科技大学)
本文针对协变量偏移下的高维线性回归问题,通过贝叶斯克拉美-罗不等式推导泛化下界,提出基于源最优估计器线性变换的极小极大最优算法,并明确SGD类算法达到最优的目标类条件。
2025-02-13 cs.LG stat.ML
The Importance of Variable Importance
变量重要性被定义为每个回归变量对模型拟合的贡献的度量。在线性模型中使用R^2作为拟合准则,导致Shapley值(LMG)和比例值(PMVD)作为变量重要性度量。以随机森林为例,为集合模型定义了类似的度量。比较了LMG和PMVD的性能。变量重要性被提出来评估回归变量的实际效果或“魅力”。“讨论了变量重要性在建模、干预和因果分析中的应用。
2022-12-06 stat.ME
Integrating Random Forests and Generalized Linear Models for Improved Accuracy and Interpretability
Department of Statistics University of California, Berkeley(加州大学伯克利分校统计学系);Department of Statistics University of California, Irvine(加州大学伊尔市统计学系);Department of Statistics and Data Science National University of Singapore(新加坡国立大学统计学与数据科学系);Department of Applied and Computational Mathematics and Statistics University of Notre Dame(圣约翰大学应用与计算数学与统计学系);Department of Statistics, EECS, CCB University of California, Berkeley(加州大学伯克利分校统计学系、电子工程与计算机科学系、中心计算中心)
本文提出RF+框架,将随机森林与广义线性模型结合,并改进特征重要性方法MDI+,在预测准确性和特征识别上显著优于现有方法,并在药物反应和乳腺癌亚型研究中验证了稳定性。
2025-05-23 cs.AI cs.LG stat.ME
Unrestricted Permutation forces Extrapolation: Variable Importance Requires at least One More Model, or There Is No Free Variable Importance
University of California, Berkeley(加州大学伯克利分校);University of Pittsburgh(匹兹堡大学)
本文回顾并反对使用置换和预测(PaP)方法来解释黑盒函数。诸如为随机森林提出的变量重要性度量、部分依赖图和个体条件期望图等方法仍然很受欢迎,因为它们都是模型不可知的,并且只依赖于预先训练的模型输出,这使得它们在计算上很高效,并且在软件中广泛使用。然而,许多研究发现,这些工具可以产生高度误导的诊断,特别是当特征之间存在强烈依赖性时。我们在这里的工作的目的是(i)回顾这一不断增长的文献,(ii)提供这些缺点的进一步证明,以及它们发生的原因的详细解释,以及(iii)倡导涉及额外建模的替代措施。特别是,我们描述了如何打破保持数据中的特征之间的依赖关系,通过迫使原始模型外推到几乎没有数据的区域来过度强调特征空间的稀疏区域。我们探索这些影响在不同的模型设置,并找到支持以前的索赔文献中,PaP指标可以大大过分强调变量的重要性措施和部分依赖图的相关功能。作为一种替代方案,我们讨论并推荐更直接的方法,涉及测量模型性能的变化后,静音的功能正在调查的影响。
2021-10-07 cs.LG stat.ME stat.ML
MMD-based Variable Importance for Distributional Random Forest
Safran Tech(赛峰科技);Inria(法国国家信息与自动化研究所);University of Montpellier(蒙彼利埃大学)
本文为分布随机森林(DRF)提出一种基于丢弃并重新学习原则和MMD距离的变量重要性算法,能检测影响输出分布的变量,具有一致性且优于竞争方法,可通过递归特征消除高效选择少量变量以准确估计条件输出分布。
2024-02-14 cs.LG stat.ME stat.ML
From unbiased MDI Feature Importance to Explainable AI for Trees
Berlin School of Economics and Law(柏林经济与法律学院)
我们试图给出一个统一的观点,最近的各种尝试(i)提高基于树的模型的可解释性和(ii)debias随机森林中的默认变量重要性度量,基尼重要性。特别是,我们展示了一个共同的线程之间的袋为基础的偏差校正方法和它们的连接到本地的解释树。此外,我们指出了一个偏见所造成的inbag的数据包括在新开发的可解释的人工智能树算法。
2021-09-30 cs.LG stat.CO stat.ML
Grouped variable importance with random forests and application to multiple functional data analysis
被认为是使用随机森林算法的分组变量的选择。首先,提出了一种新的适用于变量组的重要性度量。理论上的见解,这一标准的添加剂回归模型。其次,开发了一种基于分组变量重要性测度的函数变量选择方法。使用小波基,它建议重组所有的小波系数为一个给定的功能变量,并使用这些群体的包装选择算法。提出了利用小波基的频率和时间局部化的各种其他分组。进行了广泛的模拟研究,以说明在这种情况下使用的分组的重要性措施。该方法被应用到一个现实生活中的问题来自航空安全。
2015-05-19 stat.ME
Mathematical Theory of Collinearity Effects on Machine Learning Variable Importance Measures
Department of Mathematics & Statistics, Utah State University(犹他州立大学数学与统计系)
本研究推导了Permute-and-Predict和Leave-One-Covariate-Out两种变量重要性度量的闭式表达式,解释了二者对多重共线性敏感性的差异,经模拟验证且可推广至随机森林等模型,完善了相关理论基础。
2025-10-01 math.ST stat.ML stat.TH
Correlation and variable importance in random forests
研究了预测变量相关时随机森林算法的变量选择问题。在高维回归或分类框架中,变量选择是一项困难的任务,在存在高度相关的预测因子时变得更具挑战性。首先,我们对可加回归模型的排列重要性测度进行了理论研究。这使我们能够描述预测变量之间的相关性如何影响排列重要性。我们的研究结果激励使用递归特征消除(RFE)算法在这种情况下的变量选择。该算法使用排列重要性作为排序准则,递归地消除变量。接下来的各种模拟实验说明了RFE算法的效率,用于选择少量的变量以及良好的预测误差。最后,该选择算法进行了测试的Landsat卫星数据从UCI机器学习知识库。
2016-04-18 stat.ME
Dimension Reduction Forests: Local Variable Importance using Structured Random Forests
随机森林是最流行的机器学习方法之一,由于其准确性和变量重要性评估。然而,随机森林仅提供全局意义上的可变重要性。由于个性化医疗、决策和生物信息学的应用,越来越需要在地方一级进行这种评估。我们提出了一个新的非参数估计,对灵活的随机森林核与当地充分的降维,以适应回归函数的局部结构。这允许我们在每个预测点估计有意义的方向局部变量重要性度量。我们开发了一个计算效率的拟合过程,并提供了充分条件的分裂方向的恢复。我们证明了我们提出的估计在模拟和真实回归问题上的竞争方法的显着精度增益。最后,我们将所提出的方法应用于在中国北京收集的季节性颗粒物浓度数据,产生有意义的本地重要性措施。这里介绍的方法可以在drforest Python包中找到。
2021-03-24 stat.ME
Problems with Shapley-value-based explanations as feature importance measures
University of Utah(犹他大学);University of Arizona(亚利桑那大学);Haverford College(哈弗福德学院)
特征重要性的博弈理论公式已经成为“解释”机器学习模型的一种方式。这些方法定义了一个模型的功能之间的合作博弈,并使用某种形式的游戏的唯一Shapley值在这些输入元素之间分配影响。这些方法的合理性取决于两个支柱:它们理想的数学特性,以及它们对特定解释动机的适用性。我们发现,数学问题时,Shapley值被用于特征的重要性和解决方案,以减轻这些必然会引起进一步的复杂性,如因果推理的需要。我们还借鉴了其他文献,认为Shapley值不提供适合以人为中心的可解释性目标的解释。
2020-06-30 cs.AI cs.LG stat.ML
Joint Shapley values: a measure of joint feature importance
Raptor Financial Technologies(Raptor金融技术公司);Birkbeck College University of London(伦敦大学伯克贝克学院);University of Birmingham(伯明翰大学);Tokyo, Japan(东京,日本)
Shapley值是最广泛使用的特征重要性度量之一,部分原因是它度量了特征对模型预测的平均影响。我们引入了联合Shapley值,它直接扩展了Shapley的公理和直觉:联合Shapley值度量了一组特征对模型预测的平均贡献。我们证明了联合Shapley值的唯一性,对于任何顺序的解释。游戏的结果表明,联合Shapley值提出了不同的见解,从现有的相互作用指数,评估一组功能内的功能的效果。联合Shapley值为ML属性问题提供了直观的结果。对于二进制特征,我们提出了一个存在调整的全局值,它比通常的方法更符合局部直觉。
2022-02-10 cs.AI cs.LG stat.ML
Importance Sampling for Nonlinear Models
University of Queensland(昆士兰大学)
该研究针对非线性模型缺乏重要数据点识别工具的问题,引入非线性映射伴随算子概念,将范数和杠杆得分重要性采样推广到非线性场景,兼具理论支撑与实验验证,可提升训练效率并助力可解释性和异常检测。
2025-05-18 cs.AI cs.LG stat.ML
Evaluating the Faithfulness of Importance Measures in NLP by Recursively Masking Allegedly Important Tokens and Retraining
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Polytechnique Montréal(蒙特利尔综合理工学院);McGill University(麦吉尔大学);Facebook(脸书)
为了解释NLP模型,一种流行的方法是使用重要性度量,例如注意力,它告知输入令牌对于进行预测很重要。然而,一个悬而未决的问题是,这些解释在多大程度上准确地反映了模型的逻辑,即所谓的忠实性。为了回答这个问题,我们提出了递归ROAR,一个新的忠诚度度量。这是通过递归地屏蔽所谓的重要标记,然后重新训练模型来实现的。其原理是,与屏蔽随机令牌相比,这将导致更差的模型性能。结果是给定掩蔽比的性能曲线。此外,我们还提出了一个使用相对曲线间面积(RACU)的总结指标,该指标可以轻松比较论文、模型和任务。我们在8个不同的数据集上评估了4种不同的重要性度量,使用了LSTM注意力模型和RoBERTa模型。我们发现重要性度量的忠实性既依赖于模型又依赖于任务。这一结论与之前在计算机视觉和注意力忠实性文献中的评价相矛盾。
2022-10-31 cs.AI cs.CL cs.LG
XAI-TRIS: Non-linear image benchmarks to quantify false positive post-hoc attribution of feature importance
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);Technische Universität Berlin(柏林工业大学)
本文构建 XAI-TRIS 非线性图像基准,以已知类别条件特征为真值,定量评估多种事后 XAI 方法在三类深度架构上的假阳性归因。
2023-12-07 cs.AI cs.CV cs.LG
Incremental Permutation Feature Importance (iPFI): Towards Online Explanations on Data Streams
Bielefeld University(比勒费尔德大学);LMU Munich(慕尼黑大学)
本文提出模型无关的增量算法iPFI,在含概念漂移的数据流场景下高效估计基于缺失特征边缘化的特征重要性,并给出理论保证与实验验证。
2022-09-07 cs.AI cs.LG
Explainability is NOT a Game
IRIT(IRIT(图卢兹计算机科学、集成与建模研究所));CNRS(法国国家科学研究中心);University of Toulouse(图卢兹大学)
本文论证Shapley值在可解释AI中可能误导特征重要性度量,挑战其在高风险领域的应用。
2024-02-09 cs.AI cs.LG
Interpretable Multimodal Classification with Linear Discriminant Tree Ensembles
本研究针对多模态分类器需平衡准确率与可解释性的需求,提出基于线性判别树集成的框架,在多模态情感行为分类任务中实现了优于基线模型的性能与更高的人类标注一致性。
2026-08-24 cs.AI
Explaining black box decisions by Shapley cohort refinement
Hitachi, Ltd.(日立有限公司);Stanford University(斯坦福大学)
我们引入了一个变量的重要性度量来量化单个输入变量对黑盒函数的影响。我们的措施是基于合作博弈论的Shapley值。许多变量重要性的度量通过改变一些预测值而其他预测值保持不变来操作,可能会产生不太可能甚至逻辑上不可能的组合。我们的队列Shapley测量仅使用观察到的数据点。我们不改变预测因子的值,而是包括或排除与该预测因子上的目标受试者相似的受试者,以形成相似性队列。然后我们将Shapley值应用于队列平均值。我们将可解释AI的变量重要性度量与全局敏感性分析的函数分解相连接。我们引入了一个平方队列Shapley值,将先前研究的Shapley效应与Shapley公理相一致。
2020-10-01 cs.AI cs.LG econ.EM
The Sets of Power
ICREA(加泰罗尼亚研究与高级研究院);University of Lleida(莱里达大学);University of Oviedo(奥维耶多大学)
本文将投票权力等多种重要性度量统一为一般问题领域的实例化,证明利用单调递增谓词划分参考集子集即可计算重要性度量,并指出该理论可拓展至更多未探索领域。
2024-10-10 cs.AI