Correcting Variable Importance Scored by Random Forests
Computer and Information Science（计算机与信息科学）；Mathematics and Data Science（数学与数据科学）；University of Massachusetts, Dartmouth, MA（马萨诸塞大学达特茅斯分校）；The Rivers School, Weston, MA（韦斯特on学校的河流学校）
针对随机森林变量重要性受变量间相关性影响的问题，提出基于条件相关性的分组方法进行修正，实验证明两种计算高效方案均能有效校正变量重要性。
2026-08-25 cs.AI cs.LG stat.ME
Variable importance in binary regression trees and forests
我们的特点和研究变量的重要性（VIMP）和二元回归树的成对变量关联。一个关键的组成部分涉及节点的均方误差的数量，我们称之为一个最大的子树。该理论自然地从单个树扩展到树的集合，并适用于随机森林等方法。这是有用的，因为虽然来自随机森林的重要性值被用于筛选变量，例如它们被用于过滤生物信息学中的高通量基因组数据，但关于它们的属性的理论很少。
2007-11-15 stat.ML
Asymptotic Unbiasedness of the Permutation Importance Measure in Random Forest Models
Technical University of Dortmund（多特蒙德工业大学）
从生物医学研究到计量经济学的应用表明，稀疏回归模型中的变量选择是一个重要的任务。特别是对于高维回归问题，响应和协变量之间的联系函数不能直接检测，信息变量的选择是具有挑战性的。在这些情况下，随机森林方法是预测新结果的有用工具，同时提供变量选择的度量。一种常见的方法是使用排列重要性。基于随机森林的排列重要性方法具有直观的思想和灵活的使用方法，对于探索环境中正确表示信息协变量具有重要意义。关于后者，我们提供理论保证的有效性的置换重要性措施在特定的假设下，并证明其（渐近）无偏性。一个广泛的模拟研究验证了我们的研究结果。
2019-12-05 cs.LG math.ST stat.ML
Trees, forests, and impurity-based variable importance
树集成方法（如随机森林[Breiman，2001]）在处理高维表格数据集方面非常流行，特别是因为它们具有良好的预测精度。然而，当机器学习用于决策问题时，解决最佳预测程序可能是不合理的，因为明智的决策需要深入理解算法预测过程。不幸的是，随机森林本质上是不可解释的，因为它们的预测结果来自于对数百棵决策树的平均。一个经典的方法来获得知识，这个所谓的黑箱算法是计算变量的重要性，这是用来评估每个输入变量的预测影响。变量重要性然后被用来对变量进行排序或选择，因此在数据分析中发挥了重要作用。然而，以这种方式使用随机森林变量重要性是没有道理的：我们甚至不知道这些量估计的是什么。在本文中，我们分析了两个著名的随机森林变量的重要性，平均减少杂质（MDI）。我们证明，如果输入变量是独立的，在没有相互作用，MDI提供了一个方差分解的输出，其中每个变量的贡献是明确的。我们还研究模型之间的依赖输入变量或相互作用，变量的重要性本质上是不明确的。我们的分析表明，与单一树木相比，使用森林可能存在一些好处。
2021-12-24 math.ST stat.ML stat.TH
The Importance of Variable Importance
变量重要性被定义为每个回归变量对模型拟合的贡献的度量。在线性模型中使用R^2作为拟合准则，导致Shapley值（LMG）和比例值（PMVD）作为变量重要性度量。以随机森林为例，为集合模型定义了类似的度量。比较了LMG和PMVD的性能。变量重要性被提出来评估回归变量的实际效果或“魅力”。“讨论了变量重要性在建模、干预和因果分析中的应用。
2022-12-06 stat.ME
Augmented Functional Random Forests: Classifier Construction and Unbiased Functional Principal Components Importance through Ad-Hoc Conditional Permutations
Faculty of Technological and Innovation Sciences（技术与创新科学学院）；Faculty of Economics and Law（经济与法学院）
本研究将函数型数据分析与树模型结合，提出增强型函数型分类树和随机森林，通过特设条件置换实现无偏函数主成分重要性评估，在真实与模拟数据集上均提升了分类性能。
2024-08-23 cs.LG math.ST stat.ME
From global to local MDI variable importances for random forests and when they are Shapley values
University of Liège（列日大学）
随机森林因其提供所谓的重要性度量的能力而被广泛使用，这些度量在全球（每个数据集）水平上提供了对输入变量的相关性的洞察力，以预测特定的输出。另一方面，引入了基于Shapley值的方法，将基于树的模型中的特征相关性分析细化到局部（每个实例）级别。在这种情况下，我们首先表明，全球平均减少杂质（MDI）变量的重要性得分对应于Shapley值在某些条件下。然后，我们推导出一个局部MDI变量相关性的重要性度量，它与全局MDI度量有着非常自然的联系，并且可以与局部特征相关性的新概念相关联。我们进一步链接本地MDI的重要性与Shapley值，并讨论他们在文献中的相关措施。通过对几个分类和回归问题的实验说明了这些措施。
2021-11-03 cs.LG stat.ML
A Debiased MDI Feature Importance Measure for Random Forests
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
像随机森林这样的树集合在各种各样的应用中取得了令人印象深刻的经验成功。为了理解这些模型是如何进行预测的，人们通常会求助于从树集合中计算出的特征重要性度量。长期以来，人们一直知道，平均减少杂质（MDI），最广泛使用的特征重要性的措施之一，不正确地分配高重要性的噪声特征，导致系统性偏见的特征选择。在本文中，我们从理论和方法的角度来解决MDI的特征选择偏差。基于Breiman等人对MDI的原始定义。对于单树，我们推导出噪声特征的MDI重要性的预期偏差的严格非渐近界，表明深树比浅树具有更高的（预期）特征选择偏差。然而，目前还不清楚如何减少MDI使用其现有的分析表达式的偏差。我们推导出一个新的MDI的分析表达式，并基于这个新的表达式，我们能够提出一个去偏置MDI功能的重要性措施，使用袋外样本，称为MDI-OOB。对于模拟数据和基因组ChIP数据集，MDI-oob在深度树和浅树的随机森林特征选择中实现了最先进的性能。
2019-10-26 cs.LG stat.ML
Interpretable Anomaly Detection with DIFFI: Depth-based Isolation Forest Feature Importance
University of Padua（帕多瓦大学）
异常检测是一项无监督学习任务，旨在检测与历史数据有关的异常行为。特别是，多变量异常检测在许多应用中具有重要的作用，这是由于能够用单个指标（通常称为“异常分数”）总结复杂系统或观察到的现象的状态，并且由于任务的无监督性质，不需要人工标记。隔离森林算法是异常检测领域中最常用的算法之一，由于其有效性和低计算复杂性。影响隔离森林的一个主要问题是缺乏可解释性，这是隔离森林的构建模块隔离树执行分割的固有随机性的影响。在本文中，我们提出了有效的，但计算成本低，方法来定义特征的重要性分数在全球和地方一级的隔离森林。此外，我们定义了一个程序来执行无监督的特征选择的异常检测问题的基础上，我们的解释性方法，这样的程序也服务于解决具有挑战性的任务，在无监督的异常检测的特征重要性评估的目的。我们评估了几个合成和真实世界数据集的性能，包括与最先进的可解释性技术的比较，并将代码公开，以提高可重复性并促进该领域的研究。
2021-07-13 cs.HC cs.LG stat.ML
Prediction Error Reduction Function as a Variable Importance Score
本文在集成学习的背景下，提出并发展了一种新的可变重要性得分函数，并从理论和实证两方面证明了它的吸引力。我们提出的得分函数是简单和更直接的比它的对应提出的随机森林的背景下，并通过避免排列，它是通过设计计算更有效的比随机森林变量的重要性函数。就像随机森林变量重要性函数一样，我们的得分无缝地处理回归和分类。我们提出的评分的一个明显优势是，它提供了一个自然的截止值为零，所有积极的分数表明重要性和意义，而消极的分数被认为是微不足道的迹象。我们提出的分数的一个额外优势在于，它可以很好地超越树的集合，并且可以无缝地与随机子空间学习环境中的任何基础学习器一起使用。我们的例子，无论是模拟的还是真实的，都表明我们提出的分数确实与随机森林分数竞争。
2015-01-25 stat.ML
Global Censored Quantile Random Forest
Emory University（埃默里大学）
针对右删失数据的条件分位数预测问题，提出全局删失分位随机森林（GCQRF），该方法能捕捉非线性关系，通过连接IDUP量化预测变异性并建立弱收敛性，同时提出基于样本外精度的特征重要性排序，在模拟与真实数据上展现出更优预测精度。
2024-10-16 cs.LG stat.ME stat.ML
Forest Guided Smoothing
Carnegie Mellon University（卡内基梅隆大学）
我们使用随机森林的输出定义一个家庭的本地平滑空间自适应带宽矩阵。平滑器继承了原始森林的灵活性，但由于它是一个简单的线性平滑器，因此非常易于解释，并且可以用于原始森林难以处理的任务。这包括偏差校正、置信区间、评估变量重要性和探索森林结构的方法。我们在一些合成示例和与Covid-19相关的数据上说明了该方法。
2021-03-08 cs.LG stat.ME stat.ML
Enhancing Variable Importance in Random Forests: A Novel Application of Global Sensitivity Analysis
University of Naples Federico II（那不勒斯费德里科二世大学）；University Pompeu Fabra（庞培法布拉大学）；Barcelona School of Management（巴塞罗那管理学院）；University of Bergen（卑尔根大学）
本文提出将全局敏感性分析应用于随机森林，以新颖方式对输入特征按可解释性重要性排序，模拟实验验证了其在效率与解释能力上的提升。
2024-07-19 cs.LG stat.AP stat.CO
Conditional Feature Importance with Generative Modeling Using Adversarial Random Forests
Leibniz Institute for Prevention Research & Epidemiology – BIPS（莱布尼茨预防研究与流行病学研究所 – BIPS）；Faculty of Mathematics and Computer Science, University of Bremen（不来梅大学数学与计算机科学学院）；Berlin School of Economics and Law（柏林经济与法律学院）；University of Copenhagen（哥本哈根大学）
本文提出cARFi方法，利用对抗随机森林生成的条件分布采样特征值，以少量调参稳健衡量条件特征重要性，支持条件/边际概念及统计显著性检验。
2025-01-19 cs.LG stat.ML
A Notion of Feature Importance by Decorrelation and Detection of Trends by Random Forest Regression
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe University Frankfurt（法兰克福大学）；TU Dortmund University（多特蒙德工业大学）
在许多研究中，我们希望确定某些特征对因变量的影响。更具体地说，我们感兴趣的是影响力的强度，即，特征是否相关？- -以及如果是，该特征如何影响因变量。最近，诸如\emph{random forest regression}的数据驱动方法已经找到了它们进入应用的途径（Boulesteix等人，2012年）。这些模型允许直接导出特征重要性的度量，这是影响力强度的自然指标。对于相关特征，特征和因变量之间的相关性或等级相关性通常用于确定影响的性质。最近的方法，其中一些也可以衡量功能之间的相互作用，是基于建模方法。特别地，当使用机器学习模型时，SHAP分数是确定这些趋势的最近且突出的方法（Lundberg等人，2017年）的报告。在本文中，我们引入了一个新的概念的特征重要性的基础上研究的Gram-Schmidt去相关方法。此外，我们提出了两个估计识别趋势的数据使用随机森林回归，所谓的绝对和相对横向率。我们根据经验比较我们的估计量与各种合成和真实世界数据集上的成熟估计量的属性。
2023-03-02 cs.AI cs.LG stat.ML
Multi forests: Variable importance for multi-class outcomes
Institute for Medical Information Processing, Biometry and Epidemiology, LMU Munich（慕尼黑大学医学信息处理、生物统计学与流行病学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Institute of AI and Informatics in Medicine, TUM School of Medicine and Health, Technical University of Munich（慕尼黑工业大学医学与健康学院医学人工智能与信息学研究所）
本研究提出名为multi forests的新型随机森林变体及两类变量重要性度量，可特异性识别多类别结局中与类别相关的协变量，虽预测性能略低于传统随机森林，但能有效弥补传统度量的类别区分不足。
2024-09-13 cs.LG stat.CO stat.ME
Random Forests: some methodological insights
本文从实验的角度研究了随机森林，这是Leo Breiman在2001年提出的用于分类和回归问题的越来越多的统计方法。它首先旨在确认，已知的，但稀疏的，建议使用随机森林，并提出一些补充意见的标准问题，以及高维的变量的数量大大超过了样本量。但本文的主要贡献是双重的：提供一些见解的行为的变量的重要性指数的基础上随机森林，此外，提出调查变量选择的两个经典问题。第一个是找到重要的变量进行解释，第二个是更具限制性，并试图设计一个好的预测模型。该策略包括使用随机森林重要性得分和逐步上升的变量引入策略对解释变量进行排名。
2008-11-21 stat.ML
MDA for random forests: inconsistency, and a practical solution via the Sobol-MDA
Safran Tech（赛峰科技）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
变量重要性度量是分析随机森林黑箱机制的主要工具。虽然平均减少精度（MDA）被广泛接受为最有效的随机森林变量的重要性措施，很少有人知道它的统计特性。事实上，MDA的定义在主要的随机森林软件中各不相同。在本文中，我们的目标是严格分析主要MDA实现的行为。因此，我们数学形式化的各种实现MDA算法，然后建立他们的限制时，样本量增加。这种渐近分析表明，这些MDA版本不同的重要性措施，因为它们收敛到不同的数量。更重要的是，我们将这些限制分解为三个部分：前两项与Sobol指数相关，Sobol指数是协变量对响应方差的贡献的定义明确的度量，广泛用于敏感性分析领域，而第三项则相反，其值随着协变量内的依赖性而增加。因此，我们从理论上证明，MDA不针对正确的数量来检测有影响力的协变量在一个依赖的设置，一个事实，已经注意到实验。为了解决这个问题，我们为随机森林定义了一个新的重要性度量，Sobol-MDA，它修复了原始MDA的缺陷，并一致地估计了在没有给定协变量的情况下重新训练的森林的准确性下降，但具有有效的计算成本。Sobol-MDA在变量选择的模拟和真实数据上的经验表现优于其竞争对手。在R和C++中的开源实现可以在线获得。
2022-03-01 cs.LG stat.ML
Regression Trees and Random forest based feature selection for malaria risk exposure prediction
Université d’Abomey-Calavi（阿波美卡拉维大学）；Université Paris 1 Panthéon Sorbonne（巴黎第一大学（先贤祠-索邦大学））
本文讨论了利用环境和气候变量预测疟疾风险的主要媒介按蚊数量。变量的选择是基于一个自动的机器学习方法，使用回归树，随机森林结合分层两级交叉验证。使用变量重要性的二次距离来访问变量重要性的最小阈值，同时使用所选变量的最优子集来执行预测。最后，结果显示，在选择，预测和CPU时间的观点比GLM-Lasso方法得到的定性更好。
2016-06-24 cs.LG stat.ML
A Random Forest Guided Tour
随机森林算法是L. Breiman在2001年提出的方法，作为一种通用的分类和回归方法已经非常成功。该方法结合了几个随机决策树，并通过平均来聚合它们的预测，在变量数量远大于观测数量的情况下表现出出色的性能。此外，它是通用的，足以适用于大规模的问题，很容易适应各种特设的学习任务，并返回变量的重要性的措施。本文综述了随机森林理论和方法的最新进展。重点放在数学力量驱动的算法，特别注意到参数的选择，resception机制，变量的重要性措施。这篇评论旨在为非专家提供方便的主要思想。
2015-11-18 math.ST stat.ML stat.TH
Getting Better from Worse: Augmented Bagging and a Cautionary Tale of Variable Importance
University of Pittsburgh（匹兹堡大学）
随着数据的规模、复杂性和可用性不断增长，科学家们越来越依赖于黑盒学习算法，这些算法通常可以以最小的先验模型规格提供准确的预测。像随机森林这样的工具已经有了现成的成功记录，甚至提供了各种策略来分析变量之间的潜在关系。在这里，最近的见解随机森林的行为的动机，我们介绍了简单的想法，增强装袋（AugBagg），一个程序，以相同的方式操作经典装袋和随机森林，但它的操作更大，增强空间包含额外的随机生成的噪声功能。令人惊讶的是，我们证明了这种在模型中包含额外噪声变量的简单行为可以显著提高样本外预测准确性，有时甚至优于最佳调整的传统随机森林。因此，基于改进的模型准确性的变量重要性的直观概念可能存在严重缺陷，因为即使是纯粹的随机噪声也可以常规地注册为统计显著性。提供了大量的真实和合成数据的演示以及提出的解决方案。
2020-11-09 cs.LG stat.ML
Provable Recovery of Locally Important Signed Features and Interactions from Random Forest
Faculty of Informatics and Data Science, University of Regensburg, Germany（信息与数据科学学院，莱茵河畔雷根斯堡大学）
提出一种局部、模型特定的特征与交互重要性方法，通过结合全局和局部决策路径模式，在局部尖峰稀疏模型下可证明地恢复真实信号特征及其交互，并识别特征值大小对预测的驱动方向。
2026-06-11 cs.LG stat.ME stat.ML
When are Deep Networks really better than Decision Forests at small sample sizes, and how?
Johns Hopkins University（约翰斯·霍普金斯大学）；Harvard University（哈佛大学）；Microsoft Research（微软研究院）
深度网络和决策森林（如随机森林和梯度提升树）分别是结构化和表格数据的主要机器学习方法。许多论文已经经验性地比较了一个或两个不同领域（例如，100种不同的表格数据设置）。然而，还需要利用最新的最佳做法对这两种战略进行仔细的概念和经验比较。从概念上讲，我们说明，两者都可以被视为有利可图的“分区和投票”计划。具体来说，他们都学习的表示空间是将特征空间划分为凸多面体的并集。对于推理，每个节点都根据激活节点的投票进行决策。这一表述允许对这些方法之间的关系有一个统一的基本理解。从经验上讲，我们比较了这两种策略的数百个表格数据设置，以及一些视觉和听觉设置。我们的重点是最多10，000个样本的数据集，这代表了科学和生物医学数据集的很大一部分。总的来说，我们发现森林在小样本量的表格和结构化数据（视觉和听觉）方面表现出色，而深度网络在大样本量的结构化数据上表现更好。这表明，通过进一步结合森林和网络的各个方面，可以在这两种情况下实现进一步的收益。我们将在未来几个月继续修订本技术报告，更新结果。
2021-11-02 cs.AI cs.LG q-bio.NC
Disentangled Attribution Curves for Interpreting Random Forests and Boosted Trees
UC Berkeley（加州大学伯克利分校）
树集成，如随机森林和AdaBoost，是普遍存在的机器学习模型，以在各种领域实现强大的预测性能而闻名。然而，这种强大的性能是以可解释性为代价的（即用户无法理解经过训练的随机森林已经学习的关系以及它为什么要进行预测）。特别是，理解特定特征或特征组的贡献如何随着其值的变化而变化是具有挑战性的。为了解决这个问题，我们引入了分解属性曲线（DAC），一种以（多变量）特征重要性曲线的形式提供树集成方法的解释的方法。对于一个给定的变量或一组变量，DAC绘制变量值变化时变量的重要性。我们验证DAC的真实数据显示，曲线可以用来提高逻辑斯谛回归的准确性，同时保持可解释性，包括DAC作为一个额外的功能。在模拟研究中，DAC被证明在恢复条件期望方面优于竞争方法。最后，通过对自行车共享数据集的案例研究，我们展示了使用DAC来揭示数据集的新见解。
2019-05-18 cs.LG stat.ME stat.ML
ggRandomForests: Exploring Random Forest Survival
随机森林（Leo Breiman 2001 a）（RF）是一种非参数统计方法，不需要对协变量与响应的关系进行分布假设。RF是一种强大的非线性技术，通过拟合树的集合来稳定模型估计值，从而优化预测精度。随机生存森林（RSF）（Ishwaran and Kogalur 2007; Ishwaran et al. 2008）是Breimans RF技术的扩展，允许对事件发生时间数据进行有效的非参数分析。randomForestSRC包（Ishwaran and Kogalur 2014）是Breimans随机森林的生存，回归和分类问题的统一处理。预测精度使得RF成为参数模型的一个有吸引力的替代方案，尽管森林的复杂性和可解释性阻碍了该方法的广泛应用。我们介绍了ggRandomForests包，这是一个直观地理解在R（R Core Team 2014）中使用randomForestSRC包生长的随机森林模型的工具。ggRandomForests包的结构是从randomForestSRC对象中提取中间数据对象，并使用ggplot 2（Wickham 2009）图形包生成图形。本文档的结构是一个教程，用于使用randomForestSRC包构建随机森林以生存，并使用ggRandomForests包研究森林是如何构建的。我们分析了来自梅奥诊所临床试验的原发性胆汁性肝硬化数据（Fleming和Harr…
2016-12-28 stat.CO stat.ML
Crop yield probability density forecasting via quantile random forest and Epanechnikov Kernel function
Pan African University（泛非大学）；University of Nairobi（内罗毕大学）；Michigan State University（密歇根州立大学）
一个可靠、准确的作物产量预测模型对于农业部门的有效决策过程至关重要。然而，由于极端天气和不确定性，大多数作物产量预测模型并不可靠和准确。为了度量作物产量的不确定性，获取未来作物产量的更多信息，提出了基于分位数随机森林和Epanechnikov核函数的概率密度预测模型（QRF-SJ）。利用随机森林的非线性结构，改变分位数回归模型，建立概率预测模型。在核密度估计中采用了Epanechnikov核函数和Sheather和Jones的求解方程插件方法。以加纳花生和小米的年产量为例，说明了该方法的有效性和鲁棒性。两种作物的预测区间覆盖概率和预测区间归一化平均宽度的值表明，所构建的预测区间以高覆盖概率捕获观测产量。概率密度曲线表明，QRF-SJ方法具有很高的预测能力，以较高的覆盖概率预测质量预测区间。特征重要性给出了在建立分位数回归森林模型中每个天气变量的重要性的分数。农民和其他利益相关者能够通过特征重要性认识到影响所选作物产量的特定天气变量。该方法及其在作物产量数据集上的应用在文献中尚属首次。
2019-10-19 cs.LG stat.AP stat.ML
RFX: High-Performance Random Forests with GPU Acceleration and QLORA Compression
RFX通过GPU加速和QLORA压缩技术，实现了大规模随机森林分析，解决了邻近矩阵内存瓶颈问题，提升了计算效率和数据处理能力。
2025-11-23 cs.LG stat.ME stat.ML
Sequential Permutation Testing of Random Forest Variable Importance Measures
Institute of General Practice and Health Services Research（全科医学与卫生服务研究所）；Institute of AI and Informatics in Medicine（医学人工智能与信息学研究所）；Technical University of Munich（慕尼黑工业大学）；Institute for Medical Information Processing, Biometry and Epidemiology（医学信息处理、生物统计学与流行病学研究所）；University of Munich（慕尼黑大学）
针对随机森林变量重要性度量假设检验计算成本高的问题，提出采用序贯置换检验和序贯p值估计的方法，在控制第一类错误、维持高功效的同时大幅降低计算量，配套R包rfvimptest可通用至各类预测模型。
2022-06-02 cs.LG stat.AP stat.CO
Predicting University Students' Academic Success and Major using Random Forests
在这篇文章中，一个大的数据集，包含每一个本科生在加拿大的一所主要大学在10年内采取的每门课程进行了分析。现代机器学习算法可以使用大型数据集为数据提供者（在本例中为大学）构建有用的工具。在这篇文章中，两个分类器构造使用随机森林。首先，学生完成的前两个学期的课程被用来预测他们是否会获得本科学位。其次，对于完成课程的学生，他们的专业再次使用他们注册的前几门课程进行预测。分类树是一种直观且功能强大的分类器，构建随机树森林可以改进这种分类器。随机森林也允许可靠的变量重要性度量。这些措施解释了哪些变量对分类器有用，并可用于更好地了解与学生情况相关的统计数据。结果是两个准确的分类器和变量的重要性分析，提供了有用的信息，大学管理。
2019-01-12 cs.LG stat.ML
Geometry- and Accuracy-Preserving Random Forest Proximities
Idaho State University（爱达荷州立大学）；Utah State University（犹他州立大学）
随机森林被认为是最好的开箱即用的分类和回归算法之一，因为它们的预测性能高，调整相对较少。成对接近度可以从训练的随机森林中计算出来，并测量数据点之间相对于监督任务的相似性。随机森林近似性已被用于许多应用中，包括变量重要性的识别，数据填补，离群值检测和数据可视化。然而，现有的定义的随机森林接近度不准确地反映了数据的几何形状学习的随机森林。在本文中，我们介绍了一种新的定义的随机森林逼近称为随机森林几何和精度保持逼近（RF-GAP）。我们证明了使用RF-GAP的邻近加权和（回归）或多数投票（分类）与包外随机森林预测完全匹配，从而捕获了随机森林学习的数据几何。我们的经验表明，这种改进的几何表示优于传统的随机森林近似的任务，如数据插补，并提供离群值检测和可视化结果与学习的数据几何结构一致。
2023-02-28 cs.LG stat.AP stat.ME
Integrating Random Forests and Generalized Linear Models for Improved Accuracy and Interpretability
Department of Statistics University of California, Berkeley（加州大学伯克利分校统计学系）；Department of Statistics University of California, Irvine（加州大学伊尔市统计学系）；Department of Statistics and Data Science National University of Singapore（新加坡国立大学统计学与数据科学系）；Department of Applied and Computational Mathematics and Statistics University of Notre Dame（圣约翰大学应用与计算数学与统计学系）；Department of Statistics, EECS, CCB University of California, Berkeley（加州大学伯克利分校统计学系、电子工程与计算机科学系、中心计算中心）
本文提出RF+框架，将随机森林与广义线性模型结合，并改进特征重要性方法MDI+，在预测准确性和特征识别上显著优于现有方法，并在药物反应和乳腺癌亚型研究中验证了稳定性。
2025-05-23 cs.AI cs.LG stat.ME
FACT: High-Dimensional Random Forests Inference
Academia Sinica（中央研究院）；University of Southern California（南加州大学）
针对随机森林特征重要性度量存在偏差且缺乏功效分析的问题，本文提出基于假设检验的自归一化特征残差相关性检验（FACT），在高维非参数相依特征下控制第一类错误并具备良好功效，通过模拟与经济预测验证其有效性。
2023-11-13 cs.LG math.ST stat.ML
SHAFF: Fast and consistent SHApley eFfect estimates via random Forests
Safran Tech（赛峰科技）；Sorbonne Université（索邦大学）；Ecole Polytechnique（巴黎综合理工学院）
学习算法的可解释性对于涉及关键决策的应用至关重要，变量重要性是主要的解释工具之一。Shapley效应现在被广泛用于解释树集合和神经网络，因为它们可以有效地处理数据中的依赖性和相互作用，而不是大多数其他变量重要性度量。然而，由于计算复杂性和条件期望估计，估计Shapley效应是一项具有挑战性的任务。因此，现有的Shapley算法有缺陷：昂贵的运行时间，或输入变量依赖时的偏差。因此，我们通过随机森林引入SHAFF，SHAPley效应，即使在输入变量相关时，也是快速准确的Shapley效应估计。我们通过理论分析其一致性，并通过大量的实验与竞争对手的实际性能改进SHAFF效率。SHAFF在C++和R中的实现可以在线获得。
2022-02-02 cs.LG stat.ML
Narrowing the Gap: Random Forests In Theory and In Practice
University of British Columbia（不列颠哥伦比亚大学）；Oxford University（牛津大学）
尽管有广泛的兴趣和实际应用，随机森林的理论性质仍然没有得到很好的理解。在本文中，我们有助于这种理解在两个方面。我们提出了一个新的理论上易于处理的随机回归森林的变种，并证明我们的算法是一致的。我们还提供了一个实证评估，比较我们的算法和其他理论上易于处理的随机森林模型的随机森林算法在实践中使用。我们的实验提供了洞察不同的简化，理论家已经获得易于处理的模型进行分析的相对重要性。
2013-10-04 cs.LG stat.ML
Understanding Random Forests: From Theory to Practice
数据分析和机器学习已经成为现代科学方法论的一个组成部分，提供了基于过去观察结果预测现象的自动化程序，揭示了数据中的潜在模式，并提供了对问题的见解。然而，应该谨慎地避免将机器学习用作黑箱工具，而是将其视为一种方法论，其理性思维过程完全取决于所研究的问题。特别是，算法的使用应该理想地要求对其机制，属性和限制的合理理解，以便更好地理解和解释其结果。因此，本论文的目标是对随机森林进行深入分析，不断质疑算法的每个部分，以揭示其学习能力，内部工作原理和可解释性。这项工作的第一部分研究了决策树的归纳和随机树的集合的构建，尽可能激发它们的设计和目的。我们的贡献遵循随机森林的原始复杂性分析，显示其良好的计算性能和可扩展性，以及对其实现细节的深入讨论，如Scikit-Learn中所述。在本文的第二部分，我们分析和讨论了随机森林在变重要性测度下的可解释性。我们的贡献的核心在于杂质变量重要性测度的平均减少的理论表征，从那里我们证明并推导出它的一些性质的情况下，多路完全随机树和渐近条件。在这项工作的结果，我们的分析表明，变量的重要性[.]。
2015-06-03 stat.ML
On feature selection in double-imbalanced data settings: a Random Forest approach
Department of Economics ``Marco Biagi''（马可·比亚吉经济系）
针对双不平衡数据下随机森林传统特征选择方法排序不稳定的问题，提出基于最小深度的新型阈值方案，利用树拓扑评估变量相关性，实验证明其能生成更简洁准确的变量子集，提供实用可解释的解决方案。
2025-06-12 cs.LG stat.ME
Unity Forests: Improving Interaction Modelling and Interpretability in Random Forests
Institute for Medical Information Processing, Biometry and Epidemiology, Faculty of Medicine, Ludwig Maximilian University of Munich (LMU)（慕尼黑路德维希-马克西米利安大学医学信息处理与流行病学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Institute of General Practice and Health Services Research, Department Clinical Medicine, TUM School of Medicine and Health, Technical University of Munich (TUM)（慕尼黑技术大学医学与健康学院一般医学与健康服务研究研究所）；Institute of AI and Informatics in Medicine, TUM School of Medicine and Health, Technical University of Munich (TUM)（慕尼黑技术大学医学与健康学院医学人工智能与信息学研究所）
统一森林通过优化树根分割提升交互建模和可解释性，改进了随机森林的变量重要性度量和预测性能。
2026-01-11 cs.LG stat.CO stat.ME
Interpretable Network-assisted Random Forest+
University of Notre Dame（诺特大学）；University of Michigan（密歇根大学）
本文提出基于随机森林推广的网络辅助模型族，兼顾高预测精度与内在可解释性，并开发特征重要性与网络贡献量化工具，以提升高影响力场景下的模型透明度。
2026-09-09 cs.LG stat.ME stat.ML
Just add noise: Debiasing tree-based variable importance in mixed data
Duke University（杜克大学）
针对树模型变量重要性偏向连续变量的问题，提出添加噪声的简单去偏方法，并结合稳定性选择实现混合数据变量选择与错误发现控制。
2026-09-15 cs.LG stat.ME stat.ML
Models under which random forests perform badly; consequences for applications
National Institute for Public Health and the Environment (RIVM)（荷兰国家公共卫生与环境研究所）
我们给出的数据生成模型下，Breiman的随机森林可能是非常缓慢的收敛到最佳的预测，甚至无法保持一致的例子。为这些性质提供的证据主要基于直观的论证，类似于前面使用的简单例子，以及数值实验。虽然人们总是可以选择模型下，随机森林表现非常糟糕，我们表明，简单的方法基于统计的“变量使用”和“变量的重要性”，通常可以用来构建一个更好的预测的基础上“多武装”随机森林，通过强制初始分裂的变量，默认版本的算法往往会忽略。
2021-11-30 cs.LG math.ST stat.ML
RFX-Fuse: Breiman and Cutler's Unified ML Engine + Native Explainable Similarity
Independent Researcher（独立研究者）
RFX-Fuse实现了Breiman和Cutler的完整愿景，提供原生GPU/CPU支持，整合了分类、回归、无监督学习、相似性计算等多种功能，解决了传统工具需多个独立工具的问题。
2026-01-27 cs.LG stat.ML
Decorrelated Variable Importance
由于黑箱预测方法（如随机森林和神经网络）的广泛使用，人们对开发量化变量重要性的方法重新产生了兴趣，作为可解释预测的更广泛目标的一部分。一种流行的方法是定义变量重要性参数-称为LOCO（Leave Out COvariates）-基于从回归模型中删除协变量。这本质上是R平方的非参数版本。该参数非常一般，可以非参数估计，但由于它受协变量之间相关性的影响，因此很难解释。我们提出了一种方法，用于减轻相关性的影响，通过定义一个修改后的版本的LOCO。这个新参数很难非参数估计，但我们展示了如何使用半参数模型估计它。
2021-11-21 stat.ME stat.ML
Importance measures derived from random forests: characterisation and extension
如今，新技术，特别是人工智能，在我们的社会中越来越多。大数据分析和机器学习是人工智能的两个子领域，是许多应用领域（例如，医学、通信、金融.），包括一些与我们的日常生活密切相关的（例如，社交网络、计算机、智能电话.）。在机器学习中，显著的改进通常是以增加计算复杂性为代价的，这要归功于更大的数据集。目前，由最先进的机器学习算法构建的尖端模型通常同时变得非常高效和有利可图，但也非常复杂。它们的复杂性是如此之大，以至于这些模型通常被视为黑箱，提供无法解释或证明的预测或决策。然而，无论这些模型是自主使用还是作为简单的决策支持工具，它们都已经被用于健康和人类生命受到威胁的机器学习应用中。因此，在没有详细了解这些模型的预测或决策的情况下，显然有必要不要盲目相信这些模型的一切。因此，本论文的目的是提高一个特定的家庭的机器学习算法，所谓的树为基础的方法建立的模型的可解释性。已经提出了几种机制来解释这些模型，我们的目标是沿着这篇论文，以提高他们的理解，研究他们的属性，并定义他们的局限性。
2021-06-21 cs.LG stat.ML
Single Sample Feature Importance: An Interpretable Algorithm for Low-Level Feature Analysis
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Columbia University（哥伦比亚大学）
您是否曾经想知道您的特征空间如何影响数据集中特定样本的预测？在本文中，我们介绍了单样本特征重要性（SSFI），这是一种可解释的特征重要性算法，允许识别有助于预测单个样本的最重要特征。当数据集可以通过随机森林分类器或回归器学习时，SSFI显示了如何利用随机森林的预测路径进行低级别的特征重要性计算。SSFI会对特征进行相对排名，突出显示对数据点预测影响最大的特征。我们在四个不同的数据集上展示了这些结果的数值和视觉效果。
2019-11-27 cs.LG stat.ML
Fréchet random forests for metric space valued regression with non euclidean predictors
epoch intelligence；Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与基础科学研究所）
本文提出Fréchet树和Fréchet随机森林，通过引入新的节点分裂方法和推广预测过程，支持输入输出变量在一般度量空间取值的异构数据回归，并验证了其一致性与有效性。
2024-02-16 cs.LG stat.ME stat.ML
Confidence Intervals for Random Forest Permutation Importance with Missing Data
本文研究缺失数据对随机森林置换重要性置信区间的影响，发现单一插补导致覆盖率偏低，并提出基于Rubin规则的多重插补聚合方法以纳入插补不确定性，从而改善置信区间的名义覆盖率。
2025-07-18 stat.ME
Interactive Graphics for Visually Diagnosing Forest Classifiers in R
Iowa State University（爱荷华州立大学）；Monash University（蒙纳士大学）；Ewha Womans University（梨花女子大学）
本文提出在 R 中利用交互式图形技术对森林分类器进行可视化诊断，以分析高维数据中的类结构和模型特性。
2017-04-08 stat.ML
Storms prediction : Logistic regression vs random forest for unbalanced data
本研究的目的是比较两种监督分类方法对一个关键的气象问题。这些数据由卫星测量的云系组成，云系可分为对流系统和非对流系统。对流云系统对应于闪电，探测这种系统对雷暴监测和预警至关重要。由于问题是高度不平衡的，我们考虑特定的性能标准和不同的策略。这个案例研究可以用于数据挖掘的高级课程，以说明逻辑斯谛回归和随机森林在具有不平衡类的真实数据集上的使用。
2008-04-04 math.ST stat.AP stat.TH
Analyzing the tree-layer structure of Deep Forests
Sorbonne Université（索邦大学）；LPSM（巴黎数学科学实验室）；CMAP（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）
随机森林和神经网络在机器学习社区中取得了巨大的成功，因为它们的预测性能。文献中提出了两者的组合，特别是导致所谓的深林（DF）（Zhou \& Feng，2019）。在本文中，我们的目的不是对DF性能进行基准测试，而是研究其潜在机制。此外，DF架构通常可以简化为更简单和计算效率更高的浅森林网络。尽管有一些不稳定性，后者可能优于标准的基于预测树的方法。我们展示了一个理论框架，其中一个浅树网络，以提高经典的决策树的性能。在这样的设置，我们提供严格的理论下限和上限的超额风险。这些理论结果表明，良好的结构化数据提供的第一层，作为一个数据编码器，是足够丰富的树网络架构的兴趣。
2021-10-14 cs.LG math.ST stat.TH
Lassoed Forests: Random Forests with Adaptive Lasso Post-selection
Department of Statistics（统计学系）；Department of Biomedical Data Science（生物医学数据科学系）；Princess Margaret Cancer Centre（荣格癌症中心）；Department of Medical Biophysics（医学生物物理系）
针对随机森林改进中套索回归应用可能降低性能的问题，本文理论分析其与标准方法的相对性能取决于信噪比，提出自适应加权结合两者的统一框架并证明其严格更优，经模拟与真实数据集验证了有效性与通用性。
2025-11-11 cs.LG stat.ML
Demystifying Functional Random Forests: Novel Explainability Tools for Model Transparency in High-Dimensional Spaces
Faculty of Technological and Innovation Sciences（技术与创新科学学院）；Faculty of Economics and Law（经济与法律学院）
本文针对高维数据中函数随机森林（FRF）等黑盒模型缺乏透明度的问题，提出包括函数偏依赖图和FPC重要性指标等新颖可解释性工具，揭示了模型内部机制并在ECG数据集上验证了其有效性。
2024-08-22 cs.LG math.ST stat.ME
Banzhaf Random Forests
Ocean University of China（中国海洋大学）
随机森林是一种集成方法，它通过组合几个独立树的结果来进行预测。然而，随机森林的理论早已被它们的应用所超越。提出了一种基于合作博弈理论的随机森林算法。Banzhaf功率指数通过遍历可能的特征联盟来评估每个特征的功率。与以前使用的信息增益率的信息论，它只是选择最翔实的功能，Banzhaf功率指数可以被认为是一个度量的重要性，每个功能之间的依赖性的一组功能。更重要的是，我们已经证明了所提出的算法，命名为Banzhaf随机森林（BRF）的一致性。这种理论分析采取了一个步骤，缩小了分类问题的随机森林的理论和实践之间的差距。在多个UCI基准数据集上的实验表明，BRF与最先进的分类器相比具有竞争力，并且显著优于以前的一致性随机森林。特别是，它比以前的一致随机森林更有效。
2015-07-22 cs.CV cs.LG stat.ML
Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests
Operations Research Center Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Sloan School of Management Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）
本文通过实验分析随机森林相对 bagging 同时降低偏差与方差的机制，揭示其在不同 SNR 下捕捉数据模式的优势及调节 $mtry$ 的实践意义。
2025-07-21 cs.LG stat.ML
Context-dependent feature analysis with random forests
University of Liège（列日大学）；New York University（纽约大学）
在许多情况下，特征选择通常比识别输入变量的单个子集更复杂，这些输入变量可以一起解释输出。可能存在依赖于上下文信息的交互，即，只有在某些特定情况下才显示相关的变量。在这种情况下，本文的贡献是扩展随机森林变量的重要性框架，以便（i）识别变量的相关性是上下文相关的，（ii）尽可能精确地描述上下文信息对这些变量的影响。我们的框架，突出上下文相关的变量的使用和相关性说明人工和真实的数据集。
2016-05-12 cs.LG stat.ML
