Models under which random forests perform badly; consequences for applications
National Institute for Public Health and the Environment (RIVM)（荷兰国家公共卫生与环境研究所）
我们给出的数据生成模型下，Breiman的随机森林可能是非常缓慢的收敛到最佳的预测，甚至无法保持一致的例子。为这些性质提供的证据主要基于直观的论证，类似于前面使用的简单例子，以及数值实验。虽然人们总是可以选择模型下，随机森林表现非常糟糕，我们表明，简单的方法基于统计的“变量使用”和“变量的重要性”，通常可以用来构建一个更好的预测的基础上“多武装”随机森林，通过强制初始分裂的变量，默认版本的算法往往会忽略。
2021-11-30 cs.LG math.ST stat.ML
Geometry- and Accuracy-Preserving Random Forest Proximities
Idaho State University（爱达荷州立大学）；Utah State University（犹他州立大学）
随机森林被认为是最好的开箱即用的分类和回归算法之一，因为它们的预测性能高，调整相对较少。成对接近度可以从训练的随机森林中计算出来，并测量数据点之间相对于监督任务的相似性。随机森林近似性已被用于许多应用中，包括变量重要性的识别，数据填补，离群值检测和数据可视化。然而，现有的定义的随机森林接近度不准确地反映了数据的几何形状学习的随机森林。在本文中，我们介绍了一种新的定义的随机森林逼近称为随机森林几何和精度保持逼近（RF-GAP）。我们证明了使用RF-GAP的邻近加权和（回归）或多数投票（分类）与包外随机森林预测完全匹配，从而捕获了随机森林学习的数据几何。我们的经验表明，这种改进的几何表示优于传统的随机森林近似的任务，如数据插补，并提供离群值检测和可视化结果与学习的数据几何结构一致。
2023-02-28 cs.LG stat.AP stat.ME
Mondrian Forests: Efficient Online Random Forests
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
随机决策树的集合，通常被称为随机森林，广泛用于机器学习和统计学中的分类和回归任务。随机森林实现了有竞争力的预测性能，并且在训练和测试方面具有计算效率，使其成为现实世界预测任务的优秀候选者。最流行的随机森林变体（如Breiman的随机森林和极端随机树）对批量训练数据进行操作。在线方法现在有更大的需求。然而，现有的在线随机森林需要比其批处理对应物更多的训练数据才能实现可比的预测性能。在这项工作中，我们使用蒙德里安过程（Roy和Teh，2009）来构建随机决策树的集合，我们称之为蒙德里安森林。蒙德里安森林可以以增量/在线方式生长，并且值得注意的是，在线蒙德里安森林的分布与批量蒙德里安森林的分布相同。蒙德里安森林实现了与现有在线随机森林和定期重新训练的批量随机森林相当的有竞争力的预测性能，同时速度快了一个数量级以上，因此代表了更好的计算与准确性权衡。
2015-02-16 cs.LG stat.ML
Risk bounds for purely uniformly random forests
Leo Breiman在2001年提出的随机森林是一种非常有效的统计方法。该方法的复杂机理使得理论分析困难。因此，随机森林的一个简化版本，称为纯随机森林，这在理论上可以更容易地处理，已被考虑。在本文中，我们介绍了这种随机森林的一个变种，我们称之为纯一致随机森林。在一维预测空间的回归问题的背景下，我们表明，随机树和随机森林达到极小极大收敛速率。此外，我们证明，随机树相比，随机森林提高精度，减少估计方差的四分之三的因素。
2010-06-15 math.ST stat.TH
Neural Random Forests
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；University College London（伦敦大学学院）
给定随机回归树的集合，可以将它们重构为具有特定连接权重的多层神经网络的集合。遵循这一原则，我们重新制定的随机森林方法Breiman（2001）到神经网络设置，并反过来提出了两个新的混合程序，我们称之为神经随机森林。这两个预测器都利用回归树的先验知识来构建它们的架构，比标准网络具有更少的参数来调整，并且比树对决策边界的几何形状的限制更少。一致性的结果得到证明，并提供大量的数值证据合成和真实的数据集，以评估我们的方法在各种各样的预测问题的优异性能。
2018-04-03 cs.LG math.ST stat.ML
Random Hinge Forest for Differentiable Learning
Florida State University（佛罗里达州立大学）
我们提出了随机铰链森林，一个简单的，有效的，和新颖的变种决策森林。重要的是，随机铰链森林可以容易地作为通用组件并入任意计算图内，所述任意计算图利用随机梯度下降或其变体进行端到端优化。我们推导出随机铰链森林和蕨类植物，专注于他们的稀疏和高效的性质，他们的最小最大利润率属性，策略来初始化它们为任意网络架构，和类最适合优化随机铰链森林的优化器。随机铰链森林的性能和多功能性的实验证明，将各种小型和大型UCI机器学习数据集，也涉及MNIST，信，和USPS图像数据集。我们将随机铰链森林与随机森林和最近的反向传播深度神经决策森林进行了比较。
2018-03-01 cs.LG stat.ML
Random forests and kernel methods
随机森林是一种集成方法，它将树作为基本学习者，并通过平均来组合它们的预测。随机森林以其良好的实际性能而闻名，特别是在高维环境中。在理论方面，一些研究强调了随机森林和内核方法之间潜在的富有成效的联系。在本文中，我们详细研究了这种联系。特别是，我们表明，通过稍微修改它们的定义，随机森林可以重写为内核方法（称为基于随机森林的内核KerRF），这是更可解释和更容易分析。给出了几种随机森林模型的KeRF估计的显式表达式及其相合率的上界。我们还表明经验，KerRF估计相比随机森林估计。
2015-09-17 math.ST stat.TH
FACT: High-Dimensional Random Forests Inference
Academia Sinica（中央研究院）；University of Southern California（南加州大学）
针对随机森林特征重要性度量存在偏差且缺乏功效分析的问题，本文提出基于假设检验的自归一化特征残差相关性检验（FACT），在高维非参数相依特征下控制第一类错误并具备良好功效，通过模拟与经济预测验证其有效性。
2023-11-13 cs.LG math.ST stat.ML
Analysis of a Random Forests Model
随机森林是Leo Breiman在2000年提出的一种方案，用于构建一组在随机选择的数据子空间中生长的决策树的预测器集成。尽管人们对随机森林的兴趣和实际应用越来越大，但对随机森林的统计特性的探索却很少，而且对驱动该算法的数学力量知之甚少。本文深入分析了Breiman在\cite{Bre04}中提出的一种与原算法非常接近的随机森林模型。我们特别表明，该过程是一致的，并适应稀疏性，在这个意义上说，它的收敛速度只取决于强功能的数量，而不是有多少噪声变量存在。
2012-03-26 math.ST stat.ML stat.TH
RFpredInterval: An R Package for Prediction Intervals with Random Forests and Boosted Forests
HEC Montréal（蒙特利尔高等商学院）
与许多预测模型一样，随机森林为新观测提供点预测。除了点预测之外，重要的是量化预测中的不确定性。预测区间提供有关点预测可靠性的信息。我们开发了一个全面的R包RFpredInterval，它集成了16种方法来构建随机森林和提升森林的预测区间。包中实现的方法集包括一种新方法，用于构建具有提升森林的预测区间（PIBF）和15种方法变体，用于生成具有随机森林的预测区间，如Roy和Larocque（2020）所提出的。我们进行了广泛的模拟研究，并应用实际数据分析，以比较所提出的方法的性能与现有的10种方法建立预测区间与随机森林。结果表明，该方法是非常有竞争力的，在全球范围内，优于竞争的方法。
2022-03-07 cs.LG stat.ML
Regression with Missing Data, a Comparison Study of TechniquesBased on Random Forests
在本文中，我们提出了一个新的随机森林算法来处理样本中的缺失值的实际好处。本文的目的是比较随机森林处理缺失值的不同方案，并描述我们的新算法的性能和算法复杂度。考虑并模拟了多种缺失值机制（如MCAR、MAR、MNAR）。我们研究了算法的二次误差和偏差，并将其与文献中最流行的缺失值随机森林算法进行了比较。特别是，我们比较这些技术的回归和预测的目的。这项工作遵循Gomez-Mendez和Joly（2020）关于这种新算法的一致性的第一篇论文。
2021-10-18 math.ST stat.ML stat.TH
Improved Weighted Random Forest for Classification Problems
Iowa State University（爱荷华州立大学）
一些研究表明，以适当的方式组合机器学习模型将改进基础模型所做的单个预测。构建性能良好的集成模型的关键在于基模型的多样性。在决策树中引入多样性的最常见的解决方案是装袋和随机森林。Bagging通过替换抽样和生成许多训练数据集来增强多样性，而随机森林也增加了选择随机数的特征。这使得随机森林成为许多机器学习应用的候选者。然而，假设所有基本决策树的权重相等似乎并不合理，因为采样和输入特征选择的随机化可能导致基本决策树上的决策能力的不同水平。因此，我们提出了几个算法，旨在修改规则随机森林的加权策略，从而作出更好的预测。所设计的加权框架包括基于精度的最优加权随机森林、基于曲线下面积的最优加权随机森林、基于性能的加权随机森林和几种基于叠加的加权随机森林模型。数值结果表明，所提出的模型是能够引入显着的改善相比，定期随机森林。
2020-09-01 cs.LG stat.ML
Asymptotic Unbiasedness of the Permutation Importance Measure in Random Forest Models
Technical University of Dortmund（多特蒙德工业大学）
从生物医学研究到计量经济学的应用表明，稀疏回归模型中的变量选择是一个重要的任务。特别是对于高维回归问题，响应和协变量之间的联系函数不能直接检测，信息变量的选择是具有挑战性的。在这些情况下，随机森林方法是预测新结果的有用工具，同时提供变量选择的度量。一种常见的方法是使用排列重要性。基于随机森林的排列重要性方法具有直观的思想和灵活的使用方法，对于探索环境中正确表示信息协变量具有重要意义。关于后者，我们提供理论保证的有效性的置换重要性措施在特定的假设下，并证明其（渐近）无偏性。一个广泛的模拟研究验证了我们的研究结果。
2019-12-05 cs.LG math.ST stat.ML
Random Forests for Big Data
INRIA（法国国家信息与自动化研究所）；INSERM（法国国家健康与医学研究院）；Univ. Bordeaux（波尔多大学）；Univ. Paris-Sud Orsay（巴黎第十一大学）；Univ. Paris Descartes（巴黎第五大学）；Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；INRA（法国国家农业研究院）
大数据是统计科学的主要挑战之一，从算法和理论角度来看，它有许多后果。大数据总是涉及大量数据，但它们也经常包括在线数据和数据异构性。最近，一些统计方法已被用于处理大数据，如线性回归模型，聚类方法和自举方案。基于决策树结合聚合和自助思想，随机森林是由Breiman在2001年提出的。它们是一种功能强大的非参数统计方法，可以在单一和通用的框架中考虑回归问题，以及两类和多类分类问题。聚焦于分类问题，本文提出了一个有选择性的审查现有的建议，处理大数据问题的随机森林扩展。这些建议依赖于并行环境或随机森林的在线适应。我们还描述了如何相关的数量-如出袋错误和变量的重要性-在这些方法中得到解决。然后，我们在大数据背景下为随机森林制定了各种注释。最后，我们在两个大规模数据集（1500万和1.2亿个观测值）上试验了五种变体，一个是模拟数据集，另一个是真实世界数据集。一个变体依赖于子采样，而其他三个变体与随机森林的并行实现有关，并且涉及对大数据的自举或“分而治之”方法的各种适应。第五个变体涉及随机森林的在线学习。这些数值实验突出了不同变体的相对性能，以及它们的一些局限性。
2017-03-22 cs.LG math.ST stat.ML
Data-driven multinomial random forest: A new random forest variant with strong consistency
Faculty of Science, Beijing University of Technology（北京工业大学理学院）；Faculty of Information Technology, Beijing University of Technology（北京工业大学信息技术学院）
提出数据驱动多项式随机森林（DMRF），在保持与BreimanRF相同复杂度的同时以概率1满足强一致性，并在分类和回归任务中优于弱一致性变体，多数分类场景超越BreimanRF。
2023-10-16 cs.LG stat.ML
Making Sense of Random Forest Probabilities: a Kernel Perspective
University of Pennsylvania（宾夕法尼亚大学）；Wharton School（沃顿商学院）
随机森林是用于估计机器学习分类任务中的概率的流行工具。然而，实现这一点的方法是无原则的：一个简单的计算森林中投票给某个类的树木的比例。在本文中，我们建立了随机森林和核回归之间的联系。这将随机森林概率估计置于更可靠的统计基础上。作为我们调查的一部分，我们开发了一个模型的邻近核，并将其与几何和稀疏性的估计问题。我们还提供了调整随机森林以提高其概率估计的直觉和建议。
2018-12-14 cs.LG stat.ML
On the asymptotics of random forests
随机森林模型在过去的十年中表现出了良好的应用性能，特别是在高维环境下，受到了广泛的关注。然而，在理论方面，它们的预测能力在很大程度上仍未得到解释，从而造成了理论与实践之间的差距。该文致力于研究两个问题.首先，我们提供了理论保证，以连接有限森林在实践中使用（有有限数量的树M），以他们的渐近对应物。利用经验过程理论，证明了一类随机森林估计的一致中心极限定理，特别适用于Breiman的原始森林.其次，证明了无限森林的一致性蕴涵有限森林的一致性，从而证明了若干个无限森林的一致性。特别地，我们证明了q分位数森林-在精神上接近Breiman的森林，但更容易研究-能够组合不一致的树以获得最终一致的预测，从而突出了随机森林与单树相比的优点。
2014-09-07 math.ST stat.TH
Best-scored Random Forest Classification
Renmin University of China（中国人民大学）；University of Stuttgart（斯图加特大学）
我们提出了一个算法命名为最佳得分随机森林的二进制分类问题。术语“最佳得分”意味着从一定数量的纯随机树候选中选择具有最佳经验性能的一棵树作为森林中的每棵树。通过这种方式，所得到的森林可以比原始的纯随机森林更准确。从理论的角度来看，在正规化的经验风险最小化惩罚的分裂的数量的框架内，我们建立了几乎最优的收敛速度建议最好的得分随机树在一定的条件下，可以扩展到最好的得分随机森林。此外，我们还给出了一个反例来说明，为了保证森林的一致性，每个维都必须有被分裂的机会。在数值实验中，为了提高效率，我们采用了自适应随机分裂准则。与其他最先进的分类方法的比较实验证明了我们的最佳得分随机森林的准确性。
2019-05-27 cs.LG stat.ML
Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers
University of Pennsylvania（宾夕法尼亚大学）；Apple Inc.（苹果公司）
有大量的文献解释了为什么AdaBoost是一个成功的分类器。AdaBoost的文献集中在分类器的利润和提升的解释为指数似然函数的优化。然而，这些现有的解释被指出是不完整的。随机森林是另一种流行的集成方法，在文献中的解释少得多。我们介绍了一个新的角度AdaBoost和随机森林，提出这两种算法的工作原理相似。虽然这两种分类器实现了类似的预测精度，但随机森林不能被视为直接优化过程。相反，随机森林是一种自平均，插值算法，它创建了我们所称的“尖峰平滑”分类器，我们以同样的眼光看待AdaBoost。我们推测AdaBoost和随机森林都是因为这种机制而成功的。我们提供了一些例子和一些理论依据来支持这一解释。在这个过程中，我们质疑传统的智慧，认为分类的提升算法需要正则化或提前停止，并且应该限于低复杂度的学习者类别，例如决策树。我们的结论是，boosting应该像随机森林一样使用：使用大型决策树，而不需要直接正则化或提前停止。
2017-04-29 cs.LG stat.ME stat.ML
Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests
Operations Research Center Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Sloan School of Management Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）
本文通过实验分析随机森林相对 bagging 同时降低偏差与方差的机制，揭示其在不同 SNR 下捕捉数据模式的优势及调节 $mtry$ 的实践意义。
2025-07-21 cs.LG stat.ML
Q-learning with online random forests
Simon Fraser University（西蒙弗雷泽大学）
$Q$-学习是最基本的无模型强化学习算法。部署$Q$-学习需要状态-动作值函数（也称为$Q$-函数）的近似。在这项工作中，我们提供在线随机森林作为$Q$函数逼近器，并提出了一种新的方法，其中随机森林的增长作为学习的进行（通过扩大森林）。我们在两个OpenAI健身房（"二十一点"和"倒计时"）中展示了我们的方法在最先进的深度$Q$网络上的性能改进，但在"月球着陆器"健身房中没有。我们怀疑随机森林对过拟合的弹性建议我们的方法用于不需要问题域的强表示的常见任务。我们表明，扩大森林（其中树木的数量随着数据的增加而增加）可以提高性能，这表明扩大森林对于强化学习设置之外的在线随机森林的其他应用是可行的。
2022-04-07 cs.LG stat.ML
Narrowing the Gap: Random Forests In Theory and In Practice
University of British Columbia（不列颠哥伦比亚大学）；Oxford University（牛津大学）
尽管有广泛的兴趣和实际应用，随机森林的理论性质仍然没有得到很好的理解。在本文中，我们有助于这种理解在两个方面。我们提出了一个新的理论上易于处理的随机回归森林的变种，并证明我们的算法是一致的。我们还提供了一个实证评估，比较我们的算法和其他理论上易于处理的随机森林模型的随机森林算法在实践中使用。我们的实验提供了洞察不同的简化，理论家已经获得易于处理的模型进行分析的相对重要性。
2013-10-04 cs.LG stat.ML
Stability of Random Forests and Coverage of Random-Forest Prediction Intervals
Wayne State University（韦恩州立大学）；Iowa State University（爱荷华州立大学）
本文在温和条件下证明随机森林的稳定性，并据此给出其袋外误差预测区间覆盖率的非渐近上下界，表明随机森林能以极低额外成本提供有理论保证的区间预测。
2023-10-28 cs.LG stat.ML
Impact of subsampling and pruning on random forests
随机森林是Breiman（2001）引入的集成学习方法，其通过对在数据集的随机选择的子空间上构建的若干决策树求平均来操作。尽管它们在实践中广泛使用，在Breiman的森林中工作的不同机制的各自作用尚未完全理解，也不是相应参数的调整。在本文中，我们研究了两个参数，即子采样率和树的深度，对Breiman的森林性能的影响。更确切地说，我们表明，充分发展的子采样森林和修剪（没有子采样）森林有类似的性能，只要各自的参数选择得当。此外，实验表明，适当的调整子采样或修剪导致在大多数情况下，以改善Breiman的原始森林的错误。
2016-03-14 math.ST stat.TH
A Random Forest Guided Tour
随机森林算法是L. Breiman在2001年提出的方法，作为一种通用的分类和回归方法已经非常成功。该方法结合了几个随机决策树，并通过平均来聚合它们的预测，在变量数量远大于观测数量的情况下表现出出色的性能。此外，它是通用的，足以适用于大规模的问题，很容易适应各种特设的学习任务，并返回变量的重要性的措施。本文综述了随机森林理论和方法的最新进展。重点放在数学力量驱动的算法，特别注意到参数的选择，resception机制，变量的重要性措施。这篇评论旨在为非专家提供方便的主要思想。
2015-11-18 math.ST stat.ML stat.TH
Improved convergence rates for some kernel random forest algorithms
本文针对两类核随机森林算法（中心化KeRF和均匀KeRF）改进了收敛速率，并分析了中心化随机森林显式核对应的再生核希尔伯特空间。
2023-10-10 math.ST stat.TH
Grafting: Making Random Forests Consistent
针对随机森林一致性理论缺失的问题，本文提出将一致性估计器嫁接到浅层CART的方法，证明其具备一致性保证且实证表现良好，丰富了随机森林一致性研究的相关文献。
2024-03-09 cs.LG stat.ML
Trees, Forests, Chickens, and Eggs: When and Why to Prune Trees in a Random Forest
University of Pittsburgh（匹兹堡大学）
由于其作为优秀的现成预测器的长期声誉，随机森林仍然是应用统计学家和数据科学家的首选模型。然而，尽管它们被广泛使用，直到最近，人们对它们的内部工作原理以及程序的哪些方面推动了它们的成功知之甚少。最近，出现了两个相互竞争的假设-一个基于插值，另一个基于正则化。这项工作主张支持后者，利用正则化框架重新审视几十年来的问题，是否在合奏个别树木应该被修剪。尽管在大多数流行的软件包中，随机森林的默认构造使用接近全深度的树，但在这里，我们提供了强有力的证据，证明树深度应该被视为整个过程中正则化的一种自然形式。特别是，我们的工作表明，随机森林与浅树是有利的，当数据的信噪比低。在建立这一论点，我们还批评了新流行的概念“双下降”在随机森林中绘制平行U-统计，并认为随机森林的准确性显着的跳跃是简单的平均，而不是插值的结果。
2021-03-30 cs.LG stat.ML
Asymptotic Properties of High-Dimensional Random Forests
随机森林算法作为一种灵活的非参数学习工具，即使在高维特征空间中也具有良好的经验性能，被广泛应用于各种实际应用中。揭示了潜在的机制，导致了一些重要的最近的理论结果的一致性的随机森林算法及其变种。然而，据我们所知，几乎所有现有的作品随机森林一致性在高维设置建立了各种修改的随机森林模型的分裂规则是独立的响应，少数例外假设简单的数据生成模型与二进制功能。鉴于此，在本文中，我们推导出的一致性率的随机森林算法与样本CART分裂标准，这是在该算法的原始版本中使用的，在一般的高维非参数回归设置通过偏差方差分解分析。我们的新理论结果表明，随机森林确实可以适应高维，并允许不连续的回归函数。我们的偏差分析明确地描述了随机森林偏差如何依赖于样本量、树高和列子采样参数。我们目前的结果的一些局限性进行了讨论。
2022-09-24 math.ST stat.TH
Fréchet random forests for metric space valued regression with non euclidean predictors
epoch intelligence；Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与基础科学研究所）
本文提出Fréchet树和Fréchet随机森林，通过引入新的节点分裂方法和推广预测过程，支持输入输出变量在一般度量空间取值的异构数据回归，并验证了其一致性与有效性。
2024-02-16 cs.LG stat.ME stat.ML
Lassoed Forests: Random Forests with Adaptive Lasso Post-selection
Department of Statistics（统计学系）；Department of Biomedical Data Science（生物医学数据科学系）；Princess Margaret Cancer Centre（荣格癌症中心）；Department of Medical Biophysics（医学生物物理系）
针对随机森林改进中套索回归应用可能降低性能的问题，本文理论分析其与标准方法的相对性能取决于信噪比，提出自适应加权结合两者的统一框架并证明其严格更优，经模拟与真实数据集验证了有效性与通用性。
2025-11-11 cs.LG stat.ML
Large Random Forests: Optimisation for Rapid Evaluation
TU Dortmund University（多特蒙德工业大学）
随机森林是机器学习中最流行的分类器之一。它们越大，预测的结果就越精确。然而，这是有代价的：它们的分类运行时间随着树的数量（即森林的大小）线性增长。在本文中，我们提出了一种方法来聚合大型随机森林到一个单一的，语义等价的决策图。我们在各种流行数据集上的实验显示了几个数量级的速度提升，同时也显着减少了所需数据结构的大小。
2019-12-23 cs.LG stat.ML
Banzhaf Random Forests
Ocean University of China（中国海洋大学）
随机森林是一种集成方法，它通过组合几个独立树的结果来进行预测。然而，随机森林的理论早已被它们的应用所超越。提出了一种基于合作博弈理论的随机森林算法。Banzhaf功率指数通过遍历可能的特征联盟来评估每个特征的功率。与以前使用的信息增益率的信息论，它只是选择最翔实的功能，Banzhaf功率指数可以被认为是一个度量的重要性，每个功能之间的依赖性的一组功能。更重要的是，我们已经证明了所提出的算法，命名为Banzhaf随机森林（BRF）的一致性。这种理论分析采取了一个步骤，缩小了分类问题的随机森林的理论和实践之间的差距。在多个UCI基准数据集上的实验表明，BRF与最先进的分类器相比具有竞争力，并且显著优于以前的一致性随机森林。特别是，它比以前的一致随机森林更有效。
2015-07-22 cs.CV cs.LG stat.ML
Data-driven multinomial random forest
Faculty of Science, Beijing University of Technology（北京工业大学理学院）
本文将弱一致随机森林变体的证明方法强化为强一致，并提出数据驱动的多项随机森林（DMRF）算法，其复杂度介于MRF和BRF之间且满足强一致性，在分类和回归任务中表现优于以往弱一致变体，甚至超越标准随机森林。
2023-04-09 cs.LG stat.ML
Global Censored Quantile Random Forest
Emory University（埃默里大学）
针对右删失数据的条件分位数预测问题，提出全局删失分位随机森林（GCQRF），该方法能捕捉非线性关系，通过连接IDUP量化预测变异性并建立弱收敛性，同时提出基于样本外精度的特征重要性排序，在模拟与真实数据上展现出更优预测精度。
2024-10-16 cs.LG stat.ME stat.ML
A weighted random survival forest
Peter the Great St.Petersburg Polytechnic University (SPbPU)（圣彼得堡彼得大帝理工大学）；St.Petersburg Clinical Research Center for Special Types of Medical Care (Oncology-oriented)（圣彼得堡特殊医疗类型临床研究中心（肿瘤方向））
本文提出了一种加权随机生存森林。它可以被看作是随机森林的改进，提高其性能。该模型的主要思想是用加权平均代替用于估计随机生存森林风险函数的标准平均过程，加权平均中的权重被分配给每棵树，并且可以被看作是训练参数，通过求解标准二次优化问题最大化Harrell的C-指数来以最优的方式计算。与实际数据的数值例子说明了所提出的模型相比，原来的随机生存森林的优越性。
2019-01-01 cs.LG stat.ML
Random Pairwise Shapelets Forest
Shapelet是时间序列的判别子序列。一种先进的基于shapelet的方法是将shapelet嵌入到精确而快速的随机森林中。然而，它显示出一些局限性。首先，随机shapelet森林需要一个大的训练成本分裂阈值搜索。其次，单个shapelet仅为决策树的一个分支提供有限的信息，导致准确性和可解释性不足。第三，随机集成导致可解释性下降。为此，本文提出了随机成对Shaperwise森林（RPSF）。RPSF将一对来自不同类的形状函数组合起来，构造随机森林。该算法省略了阈值搜索，提高了搜索效率，同时包含了森林中每个节点的更多信息，提高了搜索效率。此外，提出了一种区分度度量，分解平均减少杂质（DMDI），以确定每个类的影响区域。大量的实验表明，RPSF提高了基于shapelet的森林的准确性和训练速度。案例研究证明了我们的方法的可解释性。
2019-04-22 cs.LG stat.ML
Regression-Enhanced Random Forests
Iowa State University（爱荷华州立大学）
随机森林（RF）方法是用于预测问题的最流行的机器学习技术之一。在这篇文章中，我们讨论了一些情况下，随机森林可能会受到影响，并提出了一种新的广义RF方法，即回归增强随机森林（RERF），可以改善RF借用惩罚参数回归的强度。描述了RERF的构造和调谐参数的选择算法。模拟研究和实际数据实例表明，在实际中经常遇到的重要情况下，RERF比RF具有更好的预测性能。此外，RERF可以包含响应和预测因子之间的已知关系，并且可以在外推问题中给出可靠的预测，其中需要在训练数据集的域之外的点处进行预测。类似于这里描述的策略可以用于通过与惩罚参数回归技术相结合来改进其他机器学习方法。
2019-04-23 cs.LG stat.ME stat.ML
Consistent Estimation of Residual Variance with Random Forest Out-Of-Bag Errors
在回归模型中估计残差方差的问题在机器学习社区中受到的关注相对较少。然而，在许多实际应用中，估计是主要的兴趣，例如，作为构建预测区间的主要步骤。在这里，我们考虑这个问题的随机森林。其中，协变量和响应变量之间的函数关系通过后者的加权和来建模。然而，在树构造过程中构造的权重中涉及依赖结构，使得模型在数学分析中变得复杂。在L2-相容随机森林模型下，给出了基于随机森林的残差方差估计，并证明了它们的相合性。
2018-12-15 math.ST stat.TH
Exploiting random projections and sparsity with random forests and gradient boosting methods -- Application to multi-label and multi-output learning, random forest model compression and leveraging input sparsity
University of Liège（列日大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Katholieke Universiteit Leuven（鲁汶天主教大学）
在机器学习中，监督学习领域的目标是根据过去对其行为的观察来建模系统的输入-输出关系。决策树通过一系列嵌套的$if-then-else$问题（测试节点）来表征输入-输出关系，这些问题导致一组预测（叶节点）。几个这样的树通常被组合在一起以获得最先进的性能：随机森林集成对并行独立训练的随机化决策树的预测进行平均，而树提升集成训练决策树顺序地改进先前的预测。新应用的出现需要可扩展的监督学习算法在计算能力和内存空间方面的输入，输出和观察的数量，而不牺牲准确性。在这篇论文中，我们确定了决策树方法可以改进的三个主要领域，我们提供并评估了原始的算法解决方案：（i）在高维输出空间上学习，（ii）在预测时使用大样本数据集和严格的内存约束进行学习，以及（iii）在高维稀疏输入空间上学习。
2017-04-26 cs.LG stat.ML
Randomization as Regularization: A Degrees of Freedom Explanation for Random Forest Success
University of Pittsburgh（匹兹堡大学）
随机森林仍然是最受欢迎的现成监督机器学习工具之一，在回归和分类设置中具有良好的预测准确性记录。尽管它们在经验上取得了成功，最近也有一批研究它们统计特性的工作，但对它们的成功还没有提出一个完整而令人满意的解释。在这里，我们的目标是在这个方向上迈出一步，通过证明注入到单个树中的额外随机性作为一种形式的隐式正则化，使随机森林成为低信噪比（SNR）设置中的理想模型。具体来说，从模型复杂性的角度来看，我们表明，mtry参数在随机森林中的收缩惩罚明确正则化回归程序，如套索和岭回归的目的是相同的。为了突出这一点，我们设计了一个随机线性模型为基础的前向选择过程，旨在作为一个类似的基于树的随机森林，并证明其令人惊讶的强大的经验表现。提供了许多真实和合成数据的演示。
2020-09-14 cs.LG stat.ML
The Random Forest Kernel and other kernels for big data from random partitions
University of Cambridge（剑桥大学）
我们提出了随机分区内核，一类新的内核，通过展示对象的随机分区之间的自然连接和这些对象之间的内核。我们将展示如何使用该构造来从通常不被视为随机分区的方法（如随机森林）中创建内核。为了证明这种方法的潜力，我们提出了两个新的内核，随机森林内核和快速聚类内核，并表明这些内核在涉及现实世界的数据集的问题上始终优于标准内核。最后，我们展示了这些内核的形式如何适合于某些大数据问题的自然近似，允许$O(N)$在高斯过程，支持向量机和核PCA等方法中进行推理。
2014-02-18 cs.LG stat.ML
Projected random forests and conformal prediction of circular data
Insper University（Insper大学）；University of São Paulo（圣保罗大学）
针对圆形响应回归问题，应用共形预测技术，通过投影方法将线性回归模型转换为圆形模型，并利用随机森林的袋外机制避免额外校准样本，生成具有有限样本覆盖保证和自适应弧长的预测集。
2026-06-11 cs.LG stat.ME stat.ML
Random Forest Based Approach for Concept Drift Handling
Energy Systems Institute SB RAS（俄罗斯科学院西伯利亚分院能源系统研究所）；Irkutsk State University（伊尔库茨克国立大学）；Queens University Belfast（贝尔法斯特女王大学）
概念漂移在智能电网分析中具有潜力，因为消费者的社会经济行为不受物理定律的约束。同样，也有应用在风力发电预测。提出了一种基于概念漂移的随机森林算法的决策树集成分类方法。基于精度加权集成（AWE）方法的思想，采用加权多数表决集成规则。在我们的情况下，使用随机森林的基本学习者准确性和内在接近度度量为每个样本评估计算基本学习者权重。我们的算法利用时间加权的样本和合奏修剪作为一种遗忘策略。我们目前的实证比较结果，我们的方法与原始的随机森林与合并的“替换松散”的遗忘和其他国家的最先进的概念drfit分类器，如AWE 2。
2016-02-14 cs.AI cs.LG math.ST
Consistency of random forests
随机森林是Breiman [Mach.学习. 45（2001）5- 32]，其组合若干随机化决策树并通过平均来聚集它们的预测。尽管其广泛的用途和突出的实际性能，很少有人知道的数学性质的过程。理论和实践之间的这种差距源于同时分析随机化过程和高度数据依赖的树结构的困难。在本文中，我们采取了一个步骤，在森林探索证明的一致性结果Breiman的[马赫。学习. 45（2001）5- 32]在加法回归模型的上下文中的原始算法。我们的分析还揭示了随机森林如何很好地适应稀疏性。1.导论.随机森林是一种用于分类和回归的集成学习方法，它在训练阶段构建许多随机决策树，并通过平均结果进行预测。自Breiman（2001）的开创性论文发表以来，该程序已成为一种主要的数据分析工具，与许多标准方法相比，在实践中表现良好。森林理论的流行主要是因为它可以应用于各种预测问题，而且几乎没有什么参数需要调整。除了使用简单之外，该方法还因其准确性和处理小样本量、高维特征空间和复杂数据结构的能力而被普遍认可。随机森林方法已成功地应用于许多实际问题，包括空气质量预测（2012年EMC数据科学全球黑客大赛的获奖代码，参见http：//www.kaggle.com/c/dsg-hackerisk）、化学信息学[Svetnik等人（2003）]、生态学[Prasad、Iverson和Liaw（2006）、Cutler等人（2007）…
2015-08-08 math.ST stat.ML stat.TH
RFCDE: Random Forests for Conditional Density Estimation
Department of Statistics & Data Science Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
随机森林是一种常见的非参数回归技术，它对混合类型的数据和不相关的协变量表现良好，同时对单调变量变换具有鲁棒性。现有的随机森林实现针对回归或分类。我们介绍了RFCDE包拟合随机森林模型优化的非参数条件密度估计，包括联合密度的多个响应。这使分析条件概率分布成为可能，这对传播不确定性和描述多个响应和协变量之间关系的联合分布非常有用。RFCDE是根据麻省理工学院开源许可证发布的，可以通过https://github.com/tpospisi/rfcde访问。R和Python版本都可以调用一个通用的C++库。
2018-05-02 cs.LG stat.ML
Consistency of Online Random Forests
作为他们成功的证明，随机森林理论在实践中的应用早已超过了他们。在本文中，我们通过提供在线随机森林的一致性结果来缩小这一差距。
2013-05-08 stat.ML
Feature-Budgeted Random Forest
Boston University（波士顿大学）
我们寻求降低预测时间成本的决策规则，其中完整的数据可用于训练，但在预测时间，每个特征只能以额外的成本获得。我们提出了一种新的随机森林算法，以最大限度地减少预测误差为用户指定的{ \it average}特征采集预算。虽然随机森林具有很强的泛化性能，但它们没有明确考虑特征成本，而且需要树之间的低相关性，这放大了成本。我们的随机森林生长的树木具有低收购成本和高强度的贪婪极大极小成本加权杂质分裂的基础上。从理论上讲，我们建立了接近最优的收购成本保证我们的算法。从经验上讲，在一些基准数据集上，我们展示了优于最先进的预测时间算法的准确性-成本曲线。
2015-02-20 cs.LG stat.ML
Clustered random forests with correlated data for optimal estimation and inference under potential covariate shift
University of Cambridge（剑桥大学）
本文提出聚类随机森林算法，通过利用相关数据间的相关性提升估计和推断性能，并探讨协变量偏移下最优权重的选择方法。
2026-01-23 stat.ME stat.ML
Random forest estimation of conditional distribution functions and conditional quantiles
我们提出了一个理论研究的两个现实估计的条件分布函数和条件分位数使用随机森林。估计过程在构建森林时使用从原始数据集生成的自举样本。Bootstrap样本被重用来定义第一个估计量，而第二个估计量只需要原始样本，一旦森林已经建立。我们证明了这两个估计的条件分布函数是一致相合的。据我们所知，这是第一个包含引导部分的一致性证明。我们还说明了一个数值例子的估计程序。
2022-08-29 math.ST stat.TH
Random Forest for Label Ranking
East China University of Science and Technology（华东理工大学）；Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）
标签排名旨在学习从实例到有限数量的预定义标签上的排名的映射。随机森林是现代最成功的通用机器学习算法之一。在本文中，我们提出了一个强大的随机森林标签排名方法，使用随机决策树检索最近的邻居。我们开发了一种新颖的两步排名聚合策略，可以有效地将随机森林发现的邻近排名聚合到最终预测排名中。与现有方法相比，新的随机森林方法具有可扩展的树型数据结构、高度并行的计算结构和更高的性能等优点。我们提出了广泛的实验结果表明，我们的新方法实现了高度竞争力的性能与国家的最先进的方法相比，数据集与完整的排名和数据集只有部分排名信息。
2018-06-16 cs.LG stat.ML
Multivariate Gaussian Approximation for Random Forest via Region-based Stabilization
本文在温和假设下，利用区域稳定化几何性质和Malliavin-Stein方法，推导了基于k-PNN的随机森林预测的多元高斯近似界，并建立了一般Poisson过程泛函的概率近似结果，揭示了该方法的普适性。
2025-05-02 math.PR math.ST stat.ML
Cost-complexity pruning of random forests
CRIStAL Lab, UMR 9189, Université Charles de Gaulle, Lille 3（里尔第三大学（戴高乐大学）CRIStAL实验室）；Université Paris-Est, A3SI-ESIEE LIGM（巴黎东大学 ESIEE LIGM）
随机森林通过对训练样本进行替换抽样来执行Bootstrap聚合。这使得能够评价袋外错误，这是一种内部交叉验证机制。我们的动机在于使用未采样的训练样本来改进集成中的每个决策树。研究了使用包外样本对决策树和随机森林的推广误差的影响。对四个UCI存储库数据集的初步实证研究表明，森林的大小一致减少，而准确性没有相当大的损失。
2017-07-19 cs.LG stat.ML
Attention and Self-Attention in Random Forests
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种新的随机森林模型，该模型结合了注意力和自注意力机制来求解回归问题。该模型可以看作是基于注意力的随机森林的扩展，其思想源于应用Nadaraya-Watson核回归和Huber污染模型的组合到随机森林。自注意力的目的是捕获树预测的依赖性，并去除随机森林中的噪声或异常预测。自注意力模块与注意模块联合训练以计算权重。它表明，注意力权重的训练过程减少到解决一个单一的二次或线性优化问题。三个修改的一般方法提出和比较。还考虑了随机森林的一种特殊的多头自注意力。通过改变模型的核参数和污染参数等自注意调节参数，得到自注意力的头部。不同数据集上的数值实验表明，自注意力的引入提高了模型的性能。
2022-07-09 cs.LG stat.ML
