Consistent Estimation of Residual Variance with Random Forest Out-Of-Bag Errors
在回归模型中估计残差方差的问题在机器学习社区中受到的关注相对较少。然而，在许多实际应用中，估计是主要的兴趣，例如，作为构建预测区间的主要步骤。在这里，我们考虑这个问题的随机森林。其中，协变量和响应变量之间的函数关系通过后者的加权和来建模。然而，在树构造过程中构造的权重中涉及依赖结构，使得模型在数学分析中变得复杂。在L2-相容随机森林模型下，给出了基于随机森林的残差方差估计，并证明了它们的相合性。
2018-12-15 math.ST stat.TH
Random forest estimation of conditional distribution functions and conditional quantiles
我们提出了一个理论研究的两个现实估计的条件分布函数和条件分位数使用随机森林。估计过程在构建森林时使用从原始数据集生成的自举样本。Bootstrap样本被重用来定义第一个估计量，而第二个估计量只需要原始样本，一旦森林已经建立。我们证明了这两个估计的条件分布函数是一致相合的。据我们所知，这是第一个包含引导部分的一致性证明。我们还说明了一个数值例子的估计程序。
2022-08-29 math.ST stat.TH
On the Consistency of a Random Forest Algorithm in the Presence of Missing Entries
本文针对潜在变量信息不完整的情况，提出结合CART准则的随机森林算法，实现缺失值部分插补与回归函数一致估计，并在MCAR条件下证明其一致性。
2021-05-22 math.ST stat.TH
Consistency of Random Forest Type Algorithms under a Probabilistic Impurity Decrease Condition
本文提出一个统一定理，通过引入概率充分不纯度下降条件，为极端随机树、交互森林、斜交回归树等更广泛的树基算法建立一致性，并扩展了随机森林一致性所适用的函数类。
2024-02-20 math.ST stat.TH
Comments on: "A Random Forest Guided Tour" by G. Biau and E. Scornet
本文是对Biau和Scornet（2016）关于随机森林的调查论文的评论。我们专注于量化随机森林的每个成分对它们的性能的影响的问题。我们表明，这样的量化是可能的一个简单的纯林，导致的结论，可以适用于更普遍的。然后，我们考虑“hold-out”随机森林，这是一个很好的“玩具”纯森林和Breiman的原始随机森林之间的中点。
2016-04-06 math.ST stat.ME stat.ML
Analysis of a Random Forests Model
随机森林是Leo Breiman在2000年提出的一种方案，用于构建一组在随机选择的数据子空间中生长的决策树的预测器集成。尽管人们对随机森林的兴趣和实际应用越来越大，但对随机森林的统计特性的探索却很少，而且对驱动该算法的数学力量知之甚少。本文深入分析了Breiman在\cite{Bre04}中提出的一种与原算法非常接近的随机森林模型。我们特别表明，该过程是一致的，并适应稀疏性，在这个意义上说，它的收敛速度只取决于强功能的数量，而不是有多少噪声变量存在。
2012-03-26 math.ST stat.ML stat.TH
Regression with Missing Data, a Comparison Study of TechniquesBased on Random Forests
在本文中，我们提出了一个新的随机森林算法来处理样本中的缺失值的实际好处。本文的目的是比较随机森林处理缺失值的不同方案，并描述我们的新算法的性能和算法复杂度。考虑并模拟了多种缺失值机制（如MCAR、MAR、MNAR）。我们研究了算法的二次误差和偏差，并将其与文献中最流行的缺失值随机森林算法进行了比较。特别是，我们比较这些技术的回归和预测的目的。这项工作遵循Gomez-Mendez和Joly（2020）关于这种新算法的一致性的第一篇论文。
2021-10-18 math.ST stat.ML stat.TH
Analysis of purely random forests bias
CNRS（法国国家科学研究中心）；Ecole Normale Superieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）；Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；INRIA Bordeaux Sud-Ouest（法国国家信息与自动化研究所西南波尔多中心）
随机森林是一种非常有效和常用的统计方法，但其完整的理论分析仍然是一个悬而未决的问题。作为第一步，已经引入了诸如纯随机森林的简化模型，以阐明随机森林的良好性能。在本文中，我们研究的近似误差（偏差）的一些纯随机森林模型在回归框架，特别是集中在森林中的树木数量的影响。在对回归函数的一些规律性假设下，我们证明了无限森林的偏差比单树的偏差以更快的速度（相对于每棵树的大小）减小。因此，无限森林获得严格更好的风险率（相对于样本量）比单树。此外，我们的研究结果允许导出一个最小数量的树足以达到相同的速度作为一个无限的森林。作为我们分析的副产品，我们还显示了纯粹随机森林的偏差和一些核估计的偏差之间的联系。
2014-07-15 cs.LG math.ST stat.ME
Asymptotic Unbiasedness of the Permutation Importance Measure in Random Forest Models
Technical University of Dortmund（多特蒙德工业大学）
从生物医学研究到计量经济学的应用表明，稀疏回归模型中的变量选择是一个重要的任务。特别是对于高维回归问题，响应和协变量之间的联系函数不能直接检测，信息变量的选择是具有挑战性的。在这些情况下，随机森林方法是预测新结果的有用工具，同时提供变量选择的度量。一种常见的方法是使用排列重要性。基于随机森林的排列重要性方法具有直观的思想和灵活的使用方法，对于探索环境中正确表示信息协变量具有重要意义。关于后者，我们提供理论保证的有效性的置换重要性措施在特定的假设下，并证明其（渐近）无偏性。一个广泛的模拟研究验证了我们的研究结果。
2019-12-05 cs.LG math.ST stat.ML
Exogenous Randomness Empowering Random Forests
University of Southern California（南加州大学）
本文探讨了外生随机性对随机森林的影响，识别出特征子采样和平局打破两类随机性，推导了均方误差的非渐近展开与一致性条件，并发现特征子采样能平衡偏差与方差，甚至使噪声特征成为提升性能的“祝福”。
2024-11-12 cs.LG math.ST stat.ML
A Random Forest Guided Tour
随机森林算法是L. Breiman在2001年提出的方法，作为一种通用的分类和回归方法已经非常成功。该方法结合了几个随机决策树，并通过平均来聚合它们的预测，在变量数量远大于观测数量的情况下表现出出色的性能。此外，它是通用的，足以适用于大规模的问题，很容易适应各种特设的学习任务，并返回变量的重要性的措施。本文综述了随机森林理论和方法的最新进展。重点放在数学力量驱动的算法，特别注意到参数的选择，resception机制，变量的重要性措施。这篇评论旨在为非专家提供方便的主要思想。
2015-11-18 math.ST stat.ML stat.TH
Modeling of time series using random forests: theoretical developments
Columbia University（哥伦比亚大学）
本文在非线性时间序列建模的框架下研究了随机森林的渐近性质。虽然随机森林已成功地应用于各个领域，但尚未考虑在时间序列设置中使用随机森林的理论依据。在温和的条件下，我们证明了一个统一的集中不等式的回归树建立在非线性自回归过程，随后，我们用这个结果证明了一个大类的随机森林的一致性。各种模拟结果的支持。
2020-08-06 cs.LG math.ST stat.ME
Models under which random forests perform badly; consequences for applications
National Institute for Public Health and the Environment (RIVM)（荷兰国家公共卫生与环境研究所）
我们给出的数据生成模型下，Breiman的随机森林可能是非常缓慢的收敛到最佳的预测，甚至无法保持一致的例子。为这些性质提供的证据主要基于直观的论证，类似于前面使用的简单例子，以及数值实验。虽然人们总是可以选择模型下，随机森林表现非常糟糕，我们表明，简单的方法基于统计的“变量使用”和“变量的重要性”，通常可以用来构建一个更好的预测的基础上“多武装”随机森林，通过强制初始分裂的变量，默认版本的算法往往会忽略。
2021-11-30 cs.LG math.ST stat.ML
Consistency of random forests
随机森林是Breiman [Mach.学习. 45（2001）5- 32]，其组合若干随机化决策树并通过平均来聚集它们的预测。尽管其广泛的用途和突出的实际性能，很少有人知道的数学性质的过程。理论和实践之间的这种差距源于同时分析随机化过程和高度数据依赖的树结构的困难。在本文中，我们采取了一个步骤，在森林探索证明的一致性结果Breiman的[马赫。学习. 45（2001）5- 32]在加法回归模型的上下文中的原始算法。我们的分析还揭示了随机森林如何很好地适应稀疏性。1.导论.随机森林是一种用于分类和回归的集成学习方法，它在训练阶段构建许多随机决策树，并通过平均结果进行预测。自Breiman（2001）的开创性论文发表以来，该程序已成为一种主要的数据分析工具，与许多标准方法相比，在实践中表现良好。森林理论的流行主要是因为它可以应用于各种预测问题，而且几乎没有什么参数需要调整。除了使用简单之外，该方法还因其准确性和处理小样本量、高维特征空间和复杂数据结构的能力而被普遍认可。随机森林方法已成功地应用于许多实际问题，包括空气质量预测（2012年EMC数据科学全球黑客大赛的获奖代码，参见http：//www.kaggle.com/c/dsg-hackerisk）、化学信息学[Svetnik等人（2003）]、生态学[Prasad、Iverson和Liaw（2006）、Cutler等人（2007）…
2015-08-08 math.ST stat.ML stat.TH
Neural Random Forests
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；University College London（伦敦大学学院）
给定随机回归树的集合，可以将它们重构为具有特定连接权重的多层神经网络的集合。遵循这一原则，我们重新制定的随机森林方法Breiman（2001）到神经网络设置，并反过来提出了两个新的混合程序，我们称之为神经随机森林。这两个预测器都利用回归树的先验知识来构建它们的架构，比标准网络具有更少的参数来调整，并且比树对决策边界的几何形状的限制更少。一致性的结果得到证明，并提供大量的数值证据合成和真实的数据集，以评估我们的方法在各种各样的预测问题的优异性能。
2018-04-03 cs.LG math.ST stat.ML
Random Forest Based Approach for Concept Drift Handling
Energy Systems Institute SB RAS（俄罗斯科学院西伯利亚分院能源系统研究所）；Irkutsk State University（伊尔库茨克国立大学）；Queens University Belfast（贝尔法斯特女王大学）
概念漂移在智能电网分析中具有潜力，因为消费者的社会经济行为不受物理定律的约束。同样，也有应用在风力发电预测。提出了一种基于概念漂移的随机森林算法的决策树集成分类方法。基于精度加权集成（AWE）方法的思想，采用加权多数表决集成规则。在我们的情况下，使用随机森林的基本学习者准确性和内在接近度度量为每个样本评估计算基本学习者权重。我们的算法利用时间加权的样本和合奏修剪作为一种遗忘策略。我们目前的实证比较结果，我们的方法与原始的随机森林与合并的“替换松散”的遗忘和其他国家的最先进的概念drfit分类器，如AWE 2。
2016-02-14 cs.AI cs.LG math.ST
FACT: High-Dimensional Random Forests Inference
Academia Sinica（中央研究院）；University of Southern California（南加州大学）
针对随机森林特征重要性度量存在偏差且缺乏功效分析的问题，本文提出基于假设检验的自归一化特征残差相关性检验（FACT），在高维非参数相依特征下控制第一类错误并具备良好功效，通过模拟与经济预测验证其有效性。
2023-11-13 cs.LG math.ST stat.ML
Multivariate Gaussian Approximation for Random Forest via Region-based Stabilization
本文在温和假设下，利用区域稳定化几何性质和Malliavin-Stein方法，推导了基于k-PNN的随机森林预测的多元高斯近似界，并建立了一般Poisson过程泛函的概率近似结果，揭示了该方法的普适性。
2025-05-02 math.PR math.ST stat.ML
Mondrian Forests: Efficient Online Random Forests
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
随机决策树的集合，通常被称为随机森林，广泛用于机器学习和统计学中的分类和回归任务。随机森林实现了有竞争力的预测性能，并且在训练和测试方面具有计算效率，使其成为现实世界预测任务的优秀候选者。最流行的随机森林变体（如Breiman的随机森林和极端随机树）对批量训练数据进行操作。在线方法现在有更大的需求。然而，现有的在线随机森林需要比其批处理对应物更多的训练数据才能实现可比的预测性能。在这项工作中，我们使用蒙德里安过程（Roy和Teh，2009）来构建随机决策树的集合，我们称之为蒙德里安森林。蒙德里安森林可以以增量/在线方式生长，并且值得注意的是，在线蒙德里安森林的分布与批量蒙德里安森林的分布相同。蒙德里安森林实现了与现有在线随机森林和定期重新训练的批量随机森林相当的有竞争力的预测性能，同时速度快了一个数量级以上，因此代表了更好的计算与准确性权衡。
2015-02-16 cs.LG stat.ML
Random Forests for Big Data
INRIA（法国国家信息与自动化研究所）；INSERM（法国国家健康与医学研究院）；Univ. Bordeaux（波尔多大学）；Univ. Paris-Sud Orsay（巴黎第十一大学）；Univ. Paris Descartes（巴黎第五大学）；Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；INRA（法国国家农业研究院）
大数据是统计科学的主要挑战之一，从算法和理论角度来看，它有许多后果。大数据总是涉及大量数据，但它们也经常包括在线数据和数据异构性。最近，一些统计方法已被用于处理大数据，如线性回归模型，聚类方法和自举方案。基于决策树结合聚合和自助思想，随机森林是由Breiman在2001年提出的。它们是一种功能强大的非参数统计方法，可以在单一和通用的框架中考虑回归问题，以及两类和多类分类问题。聚焦于分类问题，本文提出了一个有选择性的审查现有的建议，处理大数据问题的随机森林扩展。这些建议依赖于并行环境或随机森林的在线适应。我们还描述了如何相关的数量-如出袋错误和变量的重要性-在这些方法中得到解决。然后，我们在大数据背景下为随机森林制定了各种注释。最后，我们在两个大规模数据集（1500万和1.2亿个观测值）上试验了五种变体，一个是模拟数据集，另一个是真实世界数据集。一个变体依赖于子采样，而其他三个变体与随机森林的并行实现有关，并且涉及对大数据的自举或“分而治之”方法的各种适应。第五个变体涉及随机森林的在线学习。这些数值实验突出了不同变体的相对性能，以及它们的一些局限性。
2017-03-22 cs.LG math.ST stat.ML
Random Hinge Forest for Differentiable Learning
Florida State University（佛罗里达州立大学）
我们提出了随机铰链森林，一个简单的，有效的，和新颖的变种决策森林。重要的是，随机铰链森林可以容易地作为通用组件并入任意计算图内，所述任意计算图利用随机梯度下降或其变体进行端到端优化。我们推导出随机铰链森林和蕨类植物，专注于他们的稀疏和高效的性质，他们的最小最大利润率属性，策略来初始化它们为任意网络架构，和类最适合优化随机铰链森林的优化器。随机铰链森林的性能和多功能性的实验证明，将各种小型和大型UCI机器学习数据集，也涉及MNIST，信，和USPS图像数据集。我们将随机铰链森林与随机森林和最近的反向传播深度神经决策森林进行了比较。
2018-03-01 cs.LG stat.ML
Geometry- and Accuracy-Preserving Random Forest Proximities
Idaho State University（爱达荷州立大学）；Utah State University（犹他州立大学）
随机森林被认为是最好的开箱即用的分类和回归算法之一，因为它们的预测性能高，调整相对较少。成对接近度可以从训练的随机森林中计算出来，并测量数据点之间相对于监督任务的相似性。随机森林近似性已被用于许多应用中，包括变量重要性的识别，数据填补，离群值检测和数据可视化。然而，现有的定义的随机森林接近度不准确地反映了数据的几何形状学习的随机森林。在本文中，我们介绍了一种新的定义的随机森林逼近称为随机森林几何和精度保持逼近（RF-GAP）。我们证明了使用RF-GAP的邻近加权和（回归）或多数投票（分类）与包外随机森林预测完全匹配，从而捕获了随机森林学习的数据几何。我们的经验表明，这种改进的几何表示优于传统的随机森林近似的任务，如数据插补，并提供离群值检测和可视化结果与学习的数据几何结构一致。
2023-02-28 cs.LG stat.AP stat.ME
RFpredInterval: An R Package for Prediction Intervals with Random Forests and Boosted Forests
HEC Montréal（蒙特利尔高等商学院）
与许多预测模型一样，随机森林为新观测提供点预测。除了点预测之外，重要的是量化预测中的不确定性。预测区间提供有关点预测可靠性的信息。我们开发了一个全面的R包RFpredInterval，它集成了16种方法来构建随机森林和提升森林的预测区间。包中实现的方法集包括一种新方法，用于构建具有提升森林的预测区间（PIBF）和15种方法变体，用于生成具有随机森林的预测区间，如Roy和Larocque（2020）所提出的。我们进行了广泛的模拟研究，并应用实际数据分析，以比较所提出的方法的性能与现有的10种方法建立预测区间与随机森林。结果表明，该方法是非常有竞争力的，在全球范围内，优于竞争的方法。
2022-03-07 cs.LG stat.ML
Boosting Random Forests to Reduce Bias; One-Step Boosted Forest and its Variance Estimate
Cornell University（康奈尔大学）
在本文中，我们提出使用助推的原则，以减少回归设置中的随机森林预测的偏差。从原始的随机森林拟合中，我们提取残差，然后将另一个随机森林拟合到这些残差。我们将这两个随机森林的和称为\textit{one-step boosted forest}。我们用模拟和真实数据表明，与原始随机森林相比，一步提升森林具有降低的偏差。本文还通过对无限小Jackknife估计的推广，给出了一步提升森林的方差估计。使用这个方差估计，我们可以构建预测区间的提升森林，我们表明，他们有很好的覆盖概率。结合偏差减少和方差估计，我们表明，一步提升森林有一个显着减少预测均方误差，从而提高预测性能。当应用于来自UCI数据库的数据集时，一步提升森林的性能优于随机森林和梯度提升机器算法。从理论上讲，我们还可以将这种提升过程扩展到多个步骤，本文中概述的相同原理可以用于找到此类预测因子的方差估计。这种提升将进一步减少偏差，但它有过度拟合的风险，也增加了计算负担。
2020-04-22 cs.LG stat.ME stat.ML
Improved Weighted Random Forest for Classification Problems
Iowa State University（爱荷华州立大学）
一些研究表明，以适当的方式组合机器学习模型将改进基础模型所做的单个预测。构建性能良好的集成模型的关键在于基模型的多样性。在决策树中引入多样性的最常见的解决方案是装袋和随机森林。Bagging通过替换抽样和生成许多训练数据集来增强多样性，而随机森林也增加了选择随机数的特征。这使得随机森林成为许多机器学习应用的候选者。然而，假设所有基本决策树的权重相等似乎并不合理，因为采样和输入特征选择的随机化可能导致基本决策树上的决策能力的不同水平。因此，我们提出了几个算法，旨在修改规则随机森林的加权策略，从而作出更好的预测。所设计的加权框架包括基于精度的最优加权随机森林、基于曲线下面积的最优加权随机森林、基于性能的加权随机森林和几种基于叠加的加权随机森林模型。数值结果表明，所提出的模型是能够引入显着的改善相比，定期随机森林。
2020-09-01 cs.LG stat.ML
Consistency of Online Random Forests
作为他们成功的证明，随机森林理论在实践中的应用早已超过了他们。在本文中，我们通过提供在线随机森林的一致性结果来缩小这一差距。
2013-05-08 stat.ML
Data-driven multinomial random forest: A new random forest variant with strong consistency
Faculty of Science, Beijing University of Technology（北京工业大学理学院）；Faculty of Information Technology, Beijing University of Technology（北京工业大学信息技术学院）
提出数据驱动多项式随机森林（DMRF），在保持与BreimanRF相同复杂度的同时以概率1满足强一致性，并在分类和回归任务中优于弱一致性变体，多数分类场景超越BreimanRF。
2023-10-16 cs.LG stat.ML
Making Sense of Random Forest Probabilities: a Kernel Perspective
University of Pennsylvania（宾夕法尼亚大学）；Wharton School（沃顿商学院）
随机森林是用于估计机器学习分类任务中的概率的流行工具。然而，实现这一点的方法是无原则的：一个简单的计算森林中投票给某个类的树木的比例。在本文中，我们建立了随机森林和核回归之间的联系。这将随机森林概率估计置于更可靠的统计基础上。作为我们调查的一部分，我们开发了一个模型的邻近核，并将其与几何和稀疏性的估计问题。我们还提供了调整随机森林以提高其概率估计的直觉和建议。
2018-12-14 cs.LG stat.ML
Best-scored Random Forest Classification
Renmin University of China（中国人民大学）；University of Stuttgart（斯图加特大学）
我们提出了一个算法命名为最佳得分随机森林的二进制分类问题。术语“最佳得分”意味着从一定数量的纯随机树候选中选择具有最佳经验性能的一棵树作为森林中的每棵树。通过这种方式，所得到的森林可以比原始的纯随机森林更准确。从理论的角度来看，在正规化的经验风险最小化惩罚的分裂的数量的框架内，我们建立了几乎最优的收敛速度建议最好的得分随机树在一定的条件下，可以扩展到最好的得分随机森林。此外，我们还给出了一个反例来说明，为了保证森林的一致性，每个维都必须有被分裂的机会。在数值实验中，为了提高效率，我们采用了自适应随机分裂准则。与其他最先进的分类方法的比较实验证明了我们的最佳得分随机森林的准确性。
2019-05-27 cs.LG stat.ML
Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests
Operations Research Center Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Sloan School of Management Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）
本文通过实验分析随机森林相对 bagging 同时降低偏差与方差的机制，揭示其在不同 SNR 下捕捉数据模式的优势及调节 $mtry$ 的实践意义。
2025-07-21 cs.LG stat.ML
Q-learning with online random forests
Simon Fraser University（西蒙弗雷泽大学）
$Q$-学习是最基本的无模型强化学习算法。部署$Q$-学习需要状态-动作值函数（也称为$Q$-函数）的近似。在这项工作中，我们提供在线随机森林作为$Q$函数逼近器，并提出了一种新的方法，其中随机森林的增长作为学习的进行（通过扩大森林）。我们在两个OpenAI健身房（"二十一点"和"倒计时"）中展示了我们的方法在最先进的深度$Q$网络上的性能改进，但在"月球着陆器"健身房中没有。我们怀疑随机森林对过拟合的弹性建议我们的方法用于不需要问题域的强表示的常见任务。我们表明，扩大森林（其中树木的数量随着数据的增加而增加）可以提高性能，这表明扩大森林对于强化学习设置之外的在线随机森林的其他应用是可行的。
2022-04-07 cs.LG stat.ML
Narrowing the Gap: Random Forests In Theory and In Practice
University of British Columbia（不列颠哥伦比亚大学）；Oxford University（牛津大学）
尽管有广泛的兴趣和实际应用，随机森林的理论性质仍然没有得到很好的理解。在本文中，我们有助于这种理解在两个方面。我们提出了一个新的理论上易于处理的随机回归森林的变种，并证明我们的算法是一致的。我们还提供了一个实证评估，比较我们的算法和其他理论上易于处理的随机森林模型的随机森林算法在实践中使用。我们的实验提供了洞察不同的简化，理论家已经获得易于处理的模型进行分析的相对重要性。
2013-10-04 cs.LG stat.ML
Random Spatial Forests
我们引入随机空间森林，一种考虑空间相关性的回归树装袋方法。我们的主要贡献是开发了一个计算效率高的树构建算法，该算法选择每个分裂的树调整空间相关性。我们评估两种不同的方法估计的随机空间森林，伪似然方法结合随机森林与克里格和非参数版本的一般类的空间平滑。与现有的两步方法相比，我们的方法提高了预测精度，该方法将随机森林和克里格法结合在一系列数值模拟中，并在2009-2010年美国大陆的元素碳，有机碳，硅和硫测量中展示了其性能。
2020-07-22 stat.AP stat.ME
Banzhaf Random Forests
Ocean University of China（中国海洋大学）
随机森林是一种集成方法，它通过组合几个独立树的结果来进行预测。然而，随机森林的理论早已被它们的应用所超越。提出了一种基于合作博弈理论的随机森林算法。Banzhaf功率指数通过遍历可能的特征联盟来评估每个特征的功率。与以前使用的信息增益率的信息论，它只是选择最翔实的功能，Banzhaf功率指数可以被认为是一个度量的重要性，每个功能之间的依赖性的一组功能。更重要的是，我们已经证明了所提出的算法，命名为Banzhaf随机森林（BRF）的一致性。这种理论分析采取了一个步骤，缩小了分类问题的随机森林的理论和实践之间的差距。在多个UCI基准数据集上的实验表明，BRF与最先进的分类器相比具有竞争力，并且显著优于以前的一致性随机森林。特别是，它比以前的一致随机森林更有效。
2015-07-22 cs.CV cs.LG stat.ML
Stability of Random Forests and Coverage of Random-Forest Prediction Intervals
Wayne State University（韦恩州立大学）；Iowa State University（爱荷华州立大学）
本文在温和条件下证明随机森林的稳定性，并据此给出其袋外误差预测区间覆盖率的非渐近上下界，表明随机森林能以极低额外成本提供有理论保证的区间预测。
2023-10-28 cs.LG stat.ML
A network flow approach to visualising the roles of covariates in random forests
我们提出了新的平行坐标图和桑基图的应用程序来表示随机森林中的相互作用协变量的影响的层次结构。每个可视化总结了随机森林中所有树的所有路径的频率。协变量在随机森林中的作用的可视化包括：描述单个协变量对随机森林的预测准确性的贡献的标量度量的排序条形图或点图;描述改变特定协变量对随机森林的预测的影响的各种总结的线图;所有协变量对之间的相互作用的强度的度量的热图;每个响应类别的平行坐标图描绘了最能代表预测属于该类别的观测值的所有协变量值的分布。这些可视化一起促进了对随机森林中协变量作用的实质性洞察，但不传达随机森林中协变量效应层次的频率或协变量在这些层次中出现的顺序。我们的可视化解决了这些差距。我们使用适合公开数据的随机森林来展示我们的可视化，并以R包的形式提供软件实现。
2017-06-27 stat.OT
Random Forest based Qantile Oriented Sensitivity Analysis indices estimation
我们提出了一个随机森林为基础的估计程序面向分位数的敏感性分析-QOSA。为了提高效率，需要对树的叶子大小进行交叉验证。我们的完整估计过程在模拟数据和真实数据集上进行了测试。
2021-02-25 stat.ME
Grafting: Making Random Forests Consistent
针对随机森林一致性理论缺失的问题，本文提出将一致性估计器嫁接到浅层CART的方法，证明其具备一致性保证且实证表现良好，丰富了随机森林一致性研究的相关文献。
2024-03-09 cs.LG stat.ML
Trees, Forests, Chickens, and Eggs: When and Why to Prune Trees in a Random Forest
University of Pittsburgh（匹兹堡大学）
由于其作为优秀的现成预测器的长期声誉，随机森林仍然是应用统计学家和数据科学家的首选模型。然而，尽管它们被广泛使用，直到最近，人们对它们的内部工作原理以及程序的哪些方面推动了它们的成功知之甚少。最近，出现了两个相互竞争的假设-一个基于插值，另一个基于正则化。这项工作主张支持后者，利用正则化框架重新审视几十年来的问题，是否在合奏个别树木应该被修剪。尽管在大多数流行的软件包中，随机森林的默认构造使用接近全深度的树，但在这里，我们提供了强有力的证据，证明树深度应该被视为整个过程中正则化的一种自然形式。特别是，我们的工作表明，随机森林与浅树是有利的，当数据的信噪比低。在建立这一论点，我们还批评了新流行的概念“双下降”在随机森林中绘制平行U-统计，并认为随机森林的准确性显着的跳跃是简单的平均，而不是插值的结果。
2021-03-30 cs.LG stat.ML
ggRandomForests: Exploring Random Forest Survival
随机森林（Leo Breiman 2001 a）（RF）是一种非参数统计方法，不需要对协变量与响应的关系进行分布假设。RF是一种强大的非线性技术，通过拟合树的集合来稳定模型估计值，从而优化预测精度。随机生存森林（RSF）（Ishwaran and Kogalur 2007; Ishwaran et al. 2008）是Breimans RF技术的扩展，允许对事件发生时间数据进行有效的非参数分析。randomForestSRC包（Ishwaran and Kogalur 2014）是Breimans随机森林的生存，回归和分类问题的统一处理。预测精度使得RF成为参数模型的一个有吸引力的替代方案，尽管森林的复杂性和可解释性阻碍了该方法的广泛应用。我们介绍了ggRandomForests包，这是一个直观地理解在R（R Core Team 2014）中使用randomForestSRC包生长的随机森林模型的工具。ggRandomForests包的结构是从randomForestSRC对象中提取中间数据对象，并使用ggplot 2（Wickham 2009）图形包生成图形。本文档的结构是一个教程，用于使用randomForestSRC包构建随机森林以生存，并使用ggRandomForests包研究森林是如何构建的。我们分析了来自梅奥诊所临床试验的原发性胆汁性肝硬化数据（Fleming和Harr…
2016-12-28 stat.CO stat.ML
Lassoed Forests: Random Forests with Adaptive Lasso Post-selection
Department of Statistics（统计学系）；Department of Biomedical Data Science（生物医学数据科学系）；Princess Margaret Cancer Centre（荣格癌症中心）；Department of Medical Biophysics（医学生物物理系）
针对随机森林改进中套索回归应用可能降低性能的问题，本文理论分析其与标准方法的相对性能取决于信噪比，提出自适应加权结合两者的统一框架并证明其严格更优，经模拟与真实数据集验证了有效性与通用性。
2025-11-11 cs.LG stat.ML
Large Random Forests: Optimisation for Rapid Evaluation
TU Dortmund University（多特蒙德工业大学）
随机森林是机器学习中最流行的分类器之一。它们越大，预测的结果就越精确。然而，这是有代价的：它们的分类运行时间随着树的数量（即森林的大小）线性增长。在本文中，我们提出了一种方法来聚合大型随机森林到一个单一的，语义等价的决策图。我们在各种流行数据集上的实验显示了几个数量级的速度提升，同时也显着减少了所需数据结构的大小。
2019-12-23 cs.LG stat.ML
Data-driven multinomial random forest
Faculty of Science, Beijing University of Technology（北京工业大学理学院）
本文将弱一致随机森林变体的证明方法强化为强一致，并提出数据驱动的多项随机森林（DMRF）算法，其复杂度介于MRF和BRF之间且满足强一致性，在分类和回归任务中表现优于以往弱一致变体，甚至超越标准随机森林。
2023-04-09 cs.LG stat.ML
Dimension Reduction Forests: Local Variable Importance using Structured Random Forests
随机森林是最流行的机器学习方法之一，由于其准确性和变量重要性评估。然而，随机森林仅提供全局意义上的可变重要性。由于个性化医疗、决策和生物信息学的应用，越来越需要在地方一级进行这种评估。我们提出了一个新的非参数估计，对灵活的随机森林核与当地充分的降维，以适应回归函数的局部结构。这允许我们在每个预测点估计有意义的方向局部变量重要性度量。我们开发了一个计算效率的拟合过程，并提供了充分条件的分裂方向的恢复。我们证明了我们提出的估计在模拟和真实回归问题上的竞争方法的显着精度增益。最后，我们将所提出的方法应用于在中国北京收集的季节性颗粒物浓度数据，产生有意义的本地重要性措施。这里介绍的方法可以在drforest Python包中找到。
2021-03-24 stat.ME
A weighted random survival forest
Peter the Great St.Petersburg Polytechnic University (SPbPU)（圣彼得堡彼得大帝理工大学）；St.Petersburg Clinical Research Center for Special Types of Medical Care (Oncology-oriented)（圣彼得堡特殊医疗类型临床研究中心（肿瘤方向））
本文提出了一种加权随机生存森林。它可以被看作是随机森林的改进，提高其性能。该模型的主要思想是用加权平均代替用于估计随机生存森林风险函数的标准平均过程，加权平均中的权重被分配给每棵树，并且可以被看作是训练参数，通过求解标准二次优化问题最大化Harrell的C-指数来以最优的方式计算。与实际数据的数值例子说明了所提出的模型相比，原来的随机生存森林的优越性。
2019-01-01 cs.LG stat.ML
Random Pairwise Shapelets Forest
Shapelet是时间序列的判别子序列。一种先进的基于shapelet的方法是将shapelet嵌入到精确而快速的随机森林中。然而，它显示出一些局限性。首先，随机shapelet森林需要一个大的训练成本分裂阈值搜索。其次，单个shapelet仅为决策树的一个分支提供有限的信息，导致准确性和可解释性不足。第三，随机集成导致可解释性下降。为此，本文提出了随机成对Shaperwise森林（RPSF）。RPSF将一对来自不同类的形状函数组合起来，构造随机森林。该算法省略了阈值搜索，提高了搜索效率，同时包含了森林中每个节点的更多信息，提高了搜索效率。此外，提出了一种区分度度量，分解平均减少杂质（DMDI），以确定每个类的影响区域。大量的实验表明，RPSF提高了基于shapelet的森林的准确性和训练速度。案例研究证明了我们的方法的可解释性。
2019-04-22 cs.LG stat.ML
A Comparison of Resampling and Recursive Partitioning Methods in Random Forest for Estimating the Asymptotic Variance Using the Infinitesimal Jackknife
最近，无穷小折刀法（IJ）被应用于随机森林，以估计其预测方差。在传统的随机森林框架下，使用分类和回归树（CART）和自举响应验证了这些定理。然而，使用条件推理（CI）树和子采样的随机森林已被发现不容易变量选择偏差。在这里，我们进行模拟实验，使用一种新的方法来探索IJ的适用性，随机森林使用变化的reserving方法和基地学习。模拟测试数据点，并使用随机森林对100个模拟训练数据集进行训练，这些数据集使用不同的reserve和基础学习器组合。使用CI树而不是传统的CART树，以及使用二次抽样而不是自助抽样，导致在使用IJ预测方差更准确的估计。这里的随机森林变体已被纳入R编程语言的开源软件包中。
2018-01-29 stat.ML
ggRandomForests: Visually Exploring a Random Forest for Regression
随机森林[Breiman：2001]（RF）是一种完全非参数统计方法，不需要对协变量与响应的关系进行分布假设。RF是一种强大的非线性技术，通过拟合树的集合来稳定模型估计值，从而优化预测精度。randomForestSRC包（http：//cran.r-project.org/package=randomForestSRC）是Breiman随机森林的生存、回归和分类问题的统一处理。预测精度使RF参数模型的一个有吸引力的替代品，虽然复杂性和可解释性的森林阻碍了更广泛的应用的方法。我们引入了ggRandomForests包（http：//cran.r-project.org/package=ggRandomForests），用于直观地理解使用randomForestSRC包在R中生长的随机森林模型。这个小插曲是一个使用ggRandomForests包和randomForestSRC包来构建和后处理回归随机森林的教程。在本教程中，我们将探索MASS包中提供的波士顿住房数据的随机森林模型。我们生长了一个随机森林进行回归，并演示了如何在确定变量关联、相互作用以及响应如何依赖于模型中的预测变量时使用ggRandomForests。本教程演示了许多ggRandomForests函数的设计和使用，以及如何修改和自定义生成的ggplot 2图形对象。ggRandomForests包的开发版本可以在Gi…
2015-02-13 stat.CO stat.ML
Exploiting random projections and sparsity with random forests and gradient boosting methods -- Application to multi-label and multi-output learning, random forest model compression and leveraging input sparsity
University of Liège（列日大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Katholieke Universiteit Leuven（鲁汶天主教大学）
在机器学习中，监督学习领域的目标是根据过去对其行为的观察来建模系统的输入-输出关系。决策树通过一系列嵌套的$if-then-else$问题（测试节点）来表征输入-输出关系，这些问题导致一组预测（叶节点）。几个这样的树通常被组合在一起以获得最先进的性能：随机森林集成对并行独立训练的随机化决策树的预测进行平均，而树提升集成训练决策树顺序地改进先前的预测。新应用的出现需要可扩展的监督学习算法在计算能力和内存空间方面的输入，输出和观察的数量，而不牺牲准确性。在这篇论文中，我们确定了决策树方法可以改进的三个主要领域，我们提供并评估了原始的算法解决方案：（i）在高维输出空间上学习，（ii）在预测时使用大样本数据集和严格的内存约束进行学习，以及（iii）在高维稀疏输入空间上学习。
2017-04-26 cs.LG stat.ML
Spectrally Deconfounded Random Forests
针对存在未观测混淆变量的高维场景，本文提出谱去混淆随机森林（SDForests），通过谱去混淆技术改进随机森林以减少遗漏变量偏差，在模拟及单细胞基因表达数据半合成实验中，其直接回归函数估计性能优于经典随机森林且无混淆时性能相当。
2025-09-24 stat.CO
Random Forests: some methodological insights
本文从实验的角度研究了随机森林，这是Leo Breiman在2001年提出的用于分类和回归问题的越来越多的统计方法。它首先旨在确认，已知的，但稀疏的，建议使用随机森林，并提出一些补充意见的标准问题，以及高维的变量的数量大大超过了样本量。但本文的主要贡献是双重的：提供一些见解的行为的变量的重要性指数的基础上随机森林，此外，提出调查变量选择的两个经典问题。第一个是找到重要的变量进行解释，第二个是更具限制性，并试图设计一个好的预测模型。该策略包括使用随机森林重要性得分和逐步上升的变量引入策略对解释变量进行排名。
2008-11-21 stat.ML
Randomization as Regularization: A Degrees of Freedom Explanation for Random Forest Success
University of Pittsburgh（匹兹堡大学）
随机森林仍然是最受欢迎的现成监督机器学习工具之一，在回归和分类设置中具有良好的预测准确性记录。尽管它们在经验上取得了成功，最近也有一批研究它们统计特性的工作，但对它们的成功还没有提出一个完整而令人满意的解释。在这里，我们的目标是在这个方向上迈出一步，通过证明注入到单个树中的额外随机性作为一种形式的隐式正则化，使随机森林成为低信噪比（SNR）设置中的理想模型。具体来说，从模型复杂性的角度来看，我们表明，mtry参数在随机森林中的收缩惩罚明确正则化回归程序，如套索和岭回归的目的是相同的。为了突出这一点，我们设计了一个随机线性模型为基础的前向选择过程，旨在作为一个类似的基于树的随机森林，并证明其令人惊讶的强大的经验表现。提供了许多真实和合成数据的演示。
2020-09-14 cs.LG stat.ML
The Random Forest Kernel and other kernels for big data from random partitions
University of Cambridge（剑桥大学）
我们提出了随机分区内核，一类新的内核，通过展示对象的随机分区之间的自然连接和这些对象之间的内核。我们将展示如何使用该构造来从通常不被视为随机分区的方法（如随机森林）中创建内核。为了证明这种方法的潜力，我们提出了两个新的内核，随机森林内核和快速聚类内核，并表明这些内核在涉及现实世界的数据集的问题上始终优于标准内核。最后，我们展示了这些内核的形式如何适合于某些大数据问题的自然近似，允许$O(N)$在高斯过程，支持向量机和核PCA等方法中进行推理。
2014-02-18 cs.LG stat.ML
RFCDE: Random Forests for Conditional Density Estimation
Department of Statistics & Data Science Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
随机森林是一种常见的非参数回归技术，它对混合类型的数据和不相关的协变量表现良好，同时对单调变量变换具有鲁棒性。现有的随机森林实现针对回归或分类。我们介绍了RFCDE包拟合随机森林模型优化的非参数条件密度估计，包括联合密度的多个响应。这使分析条件概率分布成为可能，这对传播不确定性和描述多个响应和协变量之间关系的联合分布非常有用。RFCDE是根据麻省理工学院开源许可证发布的，可以通过https://github.com/tpospisi/rfcde访问。R和Python版本都可以调用一个通用的C++库。
2018-05-02 cs.LG stat.ML
