Best-scored Random Forest Classification
Renmin University of China（中国人民大学）；University of Stuttgart（斯图加特大学）
我们提出了一个算法命名为最佳得分随机森林的二进制分类问题。术语“最佳得分”意味着从一定数量的纯随机树候选中选择具有最佳经验性能的一棵树作为森林中的每棵树。通过这种方式，所得到的森林可以比原始的纯随机森林更准确。从理论的角度来看，在正规化的经验风险最小化惩罚的分裂的数量的框架内，我们建立了几乎最优的收敛速度建议最好的得分随机树在一定的条件下，可以扩展到最好的得分随机森林。此外，我们还给出了一个反例来说明，为了保证森林的一致性，每个维都必须有被分裂的机会。在数值实验中，为了提高效率，我们采用了自适应随机分裂准则。与其他最先进的分类方法的比较实验证明了我们的最佳得分随机森林的准确性。
2019-05-27 cs.LG stat.ML
Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests
Operations Research Center Massachusetts Institute of Technology（麻省理工学院运筹学研究中心）；Sloan School of Management Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）
本文通过实验分析随机森林相对 bagging 同时降低偏差与方差的机制，揭示其在不同 SNR 下捕捉数据模式的优势及调节 $mtry$ 的实践意义。
2025-07-21 cs.LG stat.ML
Q-learning with online random forests
Simon Fraser University（西蒙弗雷泽大学）
$Q$-学习是最基本的无模型强化学习算法。部署$Q$-学习需要状态-动作值函数（也称为$Q$-函数）的近似。在这项工作中，我们提供在线随机森林作为$Q$函数逼近器，并提出了一种新的方法，其中随机森林的增长作为学习的进行（通过扩大森林）。我们在两个OpenAI健身房（"二十一点"和"倒计时"）中展示了我们的方法在最先进的深度$Q$网络上的性能改进，但在"月球着陆器"健身房中没有。我们怀疑随机森林对过拟合的弹性建议我们的方法用于不需要问题域的强表示的常见任务。我们表明，扩大森林（其中树木的数量随着数据的增加而增加）可以提高性能，这表明扩大森林对于强化学习设置之外的在线随机森林的其他应用是可行的。
2022-04-07 cs.LG stat.ML
Narrowing the Gap: Random Forests In Theory and In Practice
University of British Columbia（不列颠哥伦比亚大学）；Oxford University（牛津大学）
尽管有广泛的兴趣和实际应用，随机森林的理论性质仍然没有得到很好的理解。在本文中，我们有助于这种理解在两个方面。我们提出了一个新的理论上易于处理的随机回归森林的变种，并证明我们的算法是一致的。我们还提供了一个实证评估，比较我们的算法和其他理论上易于处理的随机森林模型的随机森林算法在实践中使用。我们的实验提供了洞察不同的简化，理论家已经获得易于处理的模型进行分析的相对重要性。
2013-10-04 cs.LG stat.ML
Stability of Random Forests and Coverage of Random-Forest Prediction Intervals
Wayne State University（韦恩州立大学）；Iowa State University（爱荷华州立大学）
本文在温和条件下证明随机森林的稳定性，并据此给出其袋外误差预测区间覆盖率的非渐近上下界，表明随机森林能以极低额外成本提供有理论保证的区间预测。
2023-10-28 cs.LG stat.ML
Grafting: Making Random Forests Consistent
针对随机森林一致性理论缺失的问题，本文提出将一致性估计器嫁接到浅层CART的方法，证明其具备一致性保证且实证表现良好，丰富了随机森林一致性研究的相关文献。
2024-03-09 cs.LG stat.ML
Trees, Forests, Chickens, and Eggs: When and Why to Prune Trees in a Random Forest
University of Pittsburgh（匹兹堡大学）
由于其作为优秀的现成预测器的长期声誉，随机森林仍然是应用统计学家和数据科学家的首选模型。然而，尽管它们被广泛使用，直到最近，人们对它们的内部工作原理以及程序的哪些方面推动了它们的成功知之甚少。最近，出现了两个相互竞争的假设-一个基于插值，另一个基于正则化。这项工作主张支持后者，利用正则化框架重新审视几十年来的问题，是否在合奏个别树木应该被修剪。尽管在大多数流行的软件包中，随机森林的默认构造使用接近全深度的树，但在这里，我们提供了强有力的证据，证明树深度应该被视为整个过程中正则化的一种自然形式。特别是，我们的工作表明，随机森林与浅树是有利的，当数据的信噪比低。在建立这一论点，我们还批评了新流行的概念“双下降”在随机森林中绘制平行U-统计，并认为随机森林的准确性显着的跳跃是简单的平均，而不是插值的结果。
2021-03-30 cs.LG stat.ML
Lassoed Forests: Random Forests with Adaptive Lasso Post-selection
Department of Statistics（统计学系）；Department of Biomedical Data Science（生物医学数据科学系）；Princess Margaret Cancer Centre（荣格癌症中心）；Department of Medical Biophysics（医学生物物理系）
针对随机森林改进中套索回归应用可能降低性能的问题，本文理论分析其与标准方法的相对性能取决于信噪比，提出自适应加权结合两者的统一框架并证明其严格更优，经模拟与真实数据集验证了有效性与通用性。
2025-11-11 cs.LG stat.ML
Large Random Forests: Optimisation for Rapid Evaluation
TU Dortmund University（多特蒙德工业大学）
随机森林是机器学习中最流行的分类器之一。它们越大，预测的结果就越精确。然而，这是有代价的：它们的分类运行时间随着树的数量（即森林的大小）线性增长。在本文中，我们提出了一种方法来聚合大型随机森林到一个单一的，语义等价的决策图。我们在各种流行数据集上的实验显示了几个数量级的速度提升，同时也显着减少了所需数据结构的大小。
2019-12-23 cs.LG stat.ML
Data-driven multinomial random forest
Faculty of Science, Beijing University of Technology（北京工业大学理学院）
本文将弱一致随机森林变体的证明方法强化为强一致，并提出数据驱动的多项随机森林（DMRF）算法，其复杂度介于MRF和BRF之间且满足强一致性，在分类和回归任务中表现优于以往弱一致变体，甚至超越标准随机森林。
2023-04-09 cs.LG stat.ML
A weighted random survival forest
Peter the Great St.Petersburg Polytechnic University (SPbPU)（圣彼得堡彼得大帝理工大学）；St.Petersburg Clinical Research Center for Special Types of Medical Care (Oncology-oriented)（圣彼得堡特殊医疗类型临床研究中心（肿瘤方向））
本文提出了一种加权随机生存森林。它可以被看作是随机森林的改进，提高其性能。该模型的主要思想是用加权平均代替用于估计随机生存森林风险函数的标准平均过程，加权平均中的权重被分配给每棵树，并且可以被看作是训练参数，通过求解标准二次优化问题最大化Harrell的C-指数来以最优的方式计算。与实际数据的数值例子说明了所提出的模型相比，原来的随机生存森林的优越性。
2019-01-01 cs.LG stat.ML
Random Pairwise Shapelets Forest
Shapelet是时间序列的判别子序列。一种先进的基于shapelet的方法是将shapelet嵌入到精确而快速的随机森林中。然而，它显示出一些局限性。首先，随机shapelet森林需要一个大的训练成本分裂阈值搜索。其次，单个shapelet仅为决策树的一个分支提供有限的信息，导致准确性和可解释性不足。第三，随机集成导致可解释性下降。为此，本文提出了随机成对Shaperwise森林（RPSF）。RPSF将一对来自不同类的形状函数组合起来，构造随机森林。该算法省略了阈值搜索，提高了搜索效率，同时包含了森林中每个节点的更多信息，提高了搜索效率。此外，提出了一种区分度度量，分解平均减少杂质（DMDI），以确定每个类的影响区域。大量的实验表明，RPSF提高了基于shapelet的森林的准确性和训练速度。案例研究证明了我们的方法的可解释性。
2019-04-22 cs.LG stat.ML
Exploiting random projections and sparsity with random forests and gradient boosting methods -- Application to multi-label and multi-output learning, random forest model compression and leveraging input sparsity
University of Liège（列日大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Katholieke Universiteit Leuven（鲁汶天主教大学）
在机器学习中，监督学习领域的目标是根据过去对其行为的观察来建模系统的输入-输出关系。决策树通过一系列嵌套的$if-then-else$问题（测试节点）来表征输入-输出关系，这些问题导致一组预测（叶节点）。几个这样的树通常被组合在一起以获得最先进的性能：随机森林集成对并行独立训练的随机化决策树的预测进行平均，而树提升集成训练决策树顺序地改进先前的预测。新应用的出现需要可扩展的监督学习算法在计算能力和内存空间方面的输入，输出和观察的数量，而不牺牲准确性。在这篇论文中，我们确定了决策树方法可以改进的三个主要领域，我们提供并评估了原始的算法解决方案：（i）在高维输出空间上学习，（ii）在预测时使用大样本数据集和严格的内存约束进行学习，以及（iii）在高维稀疏输入空间上学习。
2017-04-26 cs.LG stat.ML
Randomization as Regularization: A Degrees of Freedom Explanation for Random Forest Success
University of Pittsburgh（匹兹堡大学）
随机森林仍然是最受欢迎的现成监督机器学习工具之一，在回归和分类设置中具有良好的预测准确性记录。尽管它们在经验上取得了成功，最近也有一批研究它们统计特性的工作，但对它们的成功还没有提出一个完整而令人满意的解释。在这里，我们的目标是在这个方向上迈出一步，通过证明注入到单个树中的额外随机性作为一种形式的隐式正则化，使随机森林成为低信噪比（SNR）设置中的理想模型。具体来说，从模型复杂性的角度来看，我们表明，mtry参数在随机森林中的收缩惩罚明确正则化回归程序，如套索和岭回归的目的是相同的。为了突出这一点，我们设计了一个随机线性模型为基础的前向选择过程，旨在作为一个类似的基于树的随机森林，并证明其令人惊讶的强大的经验表现。提供了许多真实和合成数据的演示。
2020-09-14 cs.LG stat.ML
The Random Forest Kernel and other kernels for big data from random partitions
University of Cambridge（剑桥大学）
我们提出了随机分区内核，一类新的内核，通过展示对象的随机分区之间的自然连接和这些对象之间的内核。我们将展示如何使用该构造来从通常不被视为随机分区的方法（如随机森林）中创建内核。为了证明这种方法的潜力，我们提出了两个新的内核，随机森林内核和快速聚类内核，并表明这些内核在涉及现实世界的数据集的问题上始终优于标准内核。最后，我们展示了这些内核的形式如何适合于某些大数据问题的自然近似，允许$O(N)$在高斯过程，支持向量机和核PCA等方法中进行推理。
2014-02-18 cs.LG stat.ML
RFCDE: Random Forests for Conditional Density Estimation
Department of Statistics & Data Science Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
随机森林是一种常见的非参数回归技术，它对混合类型的数据和不相关的协变量表现良好，同时对单调变量变换具有鲁棒性。现有的随机森林实现针对回归或分类。我们介绍了RFCDE包拟合随机森林模型优化的非参数条件密度估计，包括联合密度的多个响应。这使分析条件概率分布成为可能，这对传播不确定性和描述多个响应和协变量之间关系的联合分布非常有用。RFCDE是根据麻省理工学院开源许可证发布的，可以通过https://github.com/tpospisi/rfcde访问。R和Python版本都可以调用一个通用的C++库。
2018-05-02 cs.LG stat.ML
Feature-Budgeted Random Forest
Boston University（波士顿大学）
我们寻求降低预测时间成本的决策规则，其中完整的数据可用于训练，但在预测时间，每个特征只能以额外的成本获得。我们提出了一种新的随机森林算法，以最大限度地减少预测误差为用户指定的{ \it average}特征采集预算。虽然随机森林具有很强的泛化性能，但它们没有明确考虑特征成本，而且需要树之间的低相关性，这放大了成本。我们的随机森林生长的树木具有低收购成本和高强度的贪婪极大极小成本加权杂质分裂的基础上。从理论上讲，我们建立了接近最优的收购成本保证我们的算法。从经验上讲，在一些基准数据集上，我们展示了优于最先进的预测时间算法的准确性-成本曲线。
2015-02-20 cs.LG stat.ML
Random Forest for Label Ranking
East China University of Science and Technology（华东理工大学）；Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）
标签排名旨在学习从实例到有限数量的预定义标签上的排名的映射。随机森林是现代最成功的通用机器学习算法之一。在本文中，我们提出了一个强大的随机森林标签排名方法，使用随机决策树检索最近的邻居。我们开发了一种新颖的两步排名聚合策略，可以有效地将随机森林发现的邻近排名聚合到最终预测排名中。与现有方法相比，新的随机森林方法具有可扩展的树型数据结构、高度并行的计算结构和更高的性能等优点。我们提出了广泛的实验结果表明，我们的新方法实现了高度竞争力的性能与国家的最先进的方法相比，数据集与完整的排名和数据集只有部分排名信息。
2018-06-16 cs.LG stat.ML
Cost-complexity pruning of random forests
CRIStAL Lab, UMR 9189, Université Charles de Gaulle, Lille 3（里尔第三大学（戴高乐大学）CRIStAL实验室）；Université Paris-Est, A3SI-ESIEE LIGM（巴黎东大学 ESIEE LIGM）
随机森林通过对训练样本进行替换抽样来执行Bootstrap聚合。这使得能够评价袋外错误，这是一种内部交叉验证机制。我们的动机在于使用未采样的训练样本来改进集成中的每个决策树。研究了使用包外样本对决策树和随机森林的推广误差的影响。对四个UCI存储库数据集的初步实证研究表明，森林的大小一致减少，而准确性没有相当大的损失。
2017-07-19 cs.LG stat.ML
Attention and Self-Attention in Random Forests
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种新的随机森林模型，该模型结合了注意力和自注意力机制来求解回归问题。该模型可以看作是基于注意力的随机森林的扩展，其思想源于应用Nadaraya-Watson核回归和Huber污染模型的组合到随机森林。自注意力的目的是捕获树预测的依赖性，并去除随机森林中的噪声或异常预测。自注意力模块与注意模块联合训练以计算权重。它表明，注意力权重的训练过程减少到解决一个单一的二次或线性优化问题。三个修改的一般方法提出和比较。还考虑了随机森林的一种特殊的多头自注意力。通过改变模型的核参数和污染参数等自注意调节参数，得到自注意力的头部。不同数据集上的数值实验表明，自注意力的引入提高了模型的性能。
2022-07-09 cs.LG stat.ML
Exact Distributed Training: Random Forest with Billions of Examples
Google（谷歌）
我们引入了一个精确的分布式算法来训练随机森林模型以及其他决策森林模型，而不依赖于近似最佳分裂搜索。我们解释了所提出的算法，并将其与各种复杂性措施（时间，RAM，磁盘和网络复杂性分析）的相关方法进行比较。我们报告了它在人工和真实世界数据集上的运行性能，这些数据集包含多达180亿个示例。这个数字比现有文献中处理的数据集大几个数量级。最后，我们通过经验证明，随机森林受益于在更多数据上进行训练，即使是在已经巨大的数据集的情况下。给定一个包含17.3B个样本和82个特征的数据集（3个数值特征，其他类别特征），我们的实现在22小时内训练出一棵树。
2018-04-18 cs.LG stat.ML
Random forests, sound symbolism and Pokemon evolution
Nagoya University of Commerce and Business（名古屋商科大学）；Leibniz-Zentrum Allgemeine Sprachwissenschaft（莱布尼茨普通语言学中心）；Keio University（庆应义塾大学）
这项研究构建了机器学习算法，这些算法经过训练，可以使用声音符号对样本进行分类，然后报告了一项实验，该实验旨在测量它们对人类参与者的理解。随机森林使用Pokemon的名称和它们的进化状态进行训练，Pokemon是虚构的视频游戏角色。口袋妖怪经历进化时，某些游戏中的条件得到满足。进化改变了口袋妖怪的外观、能力和名称。在第一个实验中，我们训练三个随机森林，使用日本，中国和韩国口袋妖怪的名字的声音将口袋妖怪分为进化前和进化后的类别。然后，我们训练第四个随机森林使用启发实验的结果，日本参与者命名以前看不见的口袋妖怪。在实验2中，我们重现这些随机森林的名称长度作为一个功能，并比较性能的随机森林对人类的分类实验，即日本参与者分类的名称在实验1中引起的前和后的进化类别。实验2揭示了实验1中的过拟合问题，我们使用一种新的交叉验证方法解决了这个问题。结果表明，随机森林是系统的音义对应模式的有效学习者，可以更准确地分类样本比人类参与者。
2023-01-05 cs.LG stat.ML
Feature Space Selection and Heterogeneous Effect Estimation for Blood-Brain Barrier Permeability: A Random Forest to the Generalized Random Forest Pipeline
University of Pretoria（比勒陀利亚大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
本研究利用MoleculeNet BBBP数据集，通过系统消融特征空间并应用广义随机森林与双重机器学习，发现特征表示与算法耦合影响预测性能，且校正混杂后LogP-BBB关联的异质性证据不足。
2026-09-25 cs.LG stat.ML
Aleatoric and Epistemic Uncertainty with Random Forests
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
由于机器学习与实际应用的相关性稳步增加，其中许多都带有安全要求，因此在过去几年中，不确定性的概念在机器学习研究中受到越来越多的关注。特别是，最近在监督学习的背景下研究了区分两种重要类型的不确定性的想法，这两种不确定性通常被称为任意的和认识的。在本文中，我们建议量化这些不确定性与随机森林。更具体地说，我们将展示如何测量学习者的任意性和认知的不确定性在预测的两种一般方法可以实例化与决策树和随机森林的学习算法在分类设置。在这方面，我们还比较了随机森林与深度神经网络，它们已被用于类似的目的。
2020-01-03 cs.LG stat.ML
Deep Dynamic Boosted Forest
Peking University（北京大学）
随机森林作为集成学习方法被广泛利用。然而，在许多实际应用中，从不平衡数据中学习仍然是一个重大挑战。为了缓解这一限制，我们提出了一种深度动态提升森林（DDBF），一种新的集成算法，将硬示例挖掘的概念融入随机森林。具体地说，我们建议在随机森林中测量每个决策树的每个叶节点的质量来确定硬示例。通过迭代训练，然后从训练数据中删除简单的例子，我们进化的随机森林，以动态地关注困难的例子，以平衡样本的比例和学习决策边界更好。数据可以通过这些在每次迭代中学习的随机森林按顺序级联，以生成更准确的预测。我们的DDBF在5个UCI数据集，MNIST和SATIMAGE上的表现优于随机森林，并与其他深度模型相比取得了最先进的结果。此外，我们还证明了DDBF也是一种新的采样方式，在从不平衡数据中学习时非常有用和有效。
2022-03-06 cs.LG stat.ML
A Unified Framework for Random Forest Prediction Error Estimation
University of California, Berkeley（加利福尼亚大学伯克利分校）；Pomona College（波莫纳学院）
我们引入了一个统一的框架，随机森林预测误差估计的基础上的条件预测误差分布函数的一种新的估计。我们的框架使简单的插件估计的关键预测不确定性指标，包括条件均方预测误差，条件偏差，和条件分位数，随机森林和许多变种。我们的方法是特别适合预测区间估计，我们通过模拟表明，我们提出的预测区间的竞争力，并在某些设置优于现有的方法。为了建立我们的框架的理论基础，我们证明了逐点一致的一致性更严格的版本，我们的条件预测误差分布函数的估计。这里介绍的估计器在R包forestError中实现。
2021-03-02 cs.LG stat.ML
Prediction Error Estimation in Random Forests
本文定量研究分类随机森林的误差估计，发现其预测误差估计平均更接近真实错误率而非平均预测误差，与逻辑回归的已有结论相反，且该结果在交叉验证、袋装法和数据划分等策略下均成立。
2024-08-08 cs.LG stat.ML
CART Random Forests as Sequential Allocation over Random Opportunity Sets: A Stochastic-Control Theory of Ensemble Risk
Faculty of Business, Lingnan University（岭南大学商学院）；Data Sciences and Operations Department, University of Southern California（南加州大学数据科学与运营部门）
本文从随机控制视角将CART随机森林建模为随机机会集上的序贯分配过程，通过分离特征子采样和信息分裂策略两个设计杠杆，揭示了森林均方误差的构成，并证明了CART策略的局部稳定性与全局次优性。
2026-05-26 cs.LG stat.ML
Sharp Analysis of a Simple Model for Random Forests
Rutgers University（罗格斯大学）
自Leo Breiman于2001年创立以来，随机森林已经成为提高回归和分类问题准确性的重要工具。在本文中，我们重新审视了一个历史上重要的随机森林模型，该模型最初由Breiman在2004年提出，后来由Gérard Biau在2012年进行了研究，其中随机选择一个特征，并且分裂发生在所选特征的节点中点。如果回归函数是Lipschitz和仅依赖于一个小的$ S $的$ d $功能的子集，我们表明，由于访问$ n $观测和适当调整分裂概率，均方预测误差是$ O((n(\log n)^{(S-1)/2})^{-\frac{1}{S\log2+1}}) $。这肯定地回答了一个悬而未决的问题Biau的收敛速度是否可以提高这个随机森林模型。此外，通过对线性模型的近似和估计误差的精细分析，我们表明，这个速度一般不能提高。最后，我们概括了我们的分析，并提高了现有的预测误差界的另一个随机森林模型，其中每棵树是从二次采样数据和分裂进行的经验中位数沿选定的功能。
2020-06-22 cs.LG stat.ML
Simplifying Random Forests: On the Trade-off between Interpretability and Accuracy
TU Darmstadt（达姆施塔特工业大学）
我们分析了模型的复杂性和准确性之间的权衡随机森林的树分解成单独的分类规则，并选择其中的一个子集。我们的实验表明，已经有一些规则是足够的，以达到可接受的精度接近的原始模型。此外，我们的研究结果表明，在许多情况下，这可以导致更简单的模型，明显优于原始模型。
2019-11-11 cs.LG stat.ML
Boosting Random Forests to Reduce Bias; One-Step Boosted Forest and its Variance Estimate
Cornell University（康奈尔大学）
在本文中，我们提出使用助推的原则，以减少回归设置中的随机森林预测的偏差。从原始的随机森林拟合中，我们提取残差，然后将另一个随机森林拟合到这些残差。我们将这两个随机森林的和称为\textit{one-step boosted forest}。我们用模拟和真实数据表明，与原始随机森林相比，一步提升森林具有降低的偏差。本文还通过对无限小Jackknife估计的推广，给出了一步提升森林的方差估计。使用这个方差估计，我们可以构建预测区间的提升森林，我们表明，他们有很好的覆盖概率。结合偏差减少和方差估计，我们表明，一步提升森林有一个显着减少预测均方误差，从而提高预测性能。当应用于来自UCI数据库的数据集时，一步提升森林的性能优于随机森林和梯度提升机器算法。从理论上讲，我们还可以将这种提升过程扩展到多个步骤，本文中概述的相同原理可以用于找到此类预测因子的方差估计。这种提升将进一步减少偏差，但它有过度拟合的风险，也增加了计算负担。
2020-04-22 cs.LG stat.ME stat.ML
Neural Random Forest Imitation
Institute for Information Processing, L3S / Leibniz University Hannover, Germany
本文提出 Neural Random Forest Imitation，通过从随机森林生成数据并训练神经网络进行模仿，实现参数更少、可微且可端到端微调的高效转换。
2024-04-04 cs.LG stat.ML
Deep Distributed Random Samplings for Supervised Learning: An Alternative to Random Forests?
在（\cite{zhang2014nonlinear,zhang2014nonlinear2}）中，我们将机器学习看作是一个编码和降维问题，并进一步提出了一种简单的无监督降维方法，称为深度分布随机采样（DDRS）。在本文中，我们进一步扩展到监督学习增量。这里的关键思想是将标签信息纳入到编码过程中，通过重新制定DDRS中的每个中心都有多个输出单元，指示中心属于哪个类别。监督学习方法似乎与随机森林（\cite{breiman2001random}）有些相似，在这里我们强调它们的区别如下。(i)我们的方法的每一层都考虑了训练数据中的部分数据点与所有训练数据点之间的关系，而随机森林则专注于仅在部分训练数据点上独立地构建每个决策树。(ii)我们的方法通过越来越少的数据点来构建逐渐缩小的网络，而随机森林通过合并子类来构建逐渐缩小的网络。(iii)我们的方法从底层到顶层训练得更直接，而随机森林通过分裂从顶层到底层构建每棵树。(iv)我们的方法编码输出目标隐式稀疏代码，而随机森林编码输出目标通过记住激活节点的类属性。因此，我们的方法是一个更简单，更直接，也许是一个更好的替代选择，虽然这两种方法都使用两个非常基本的元素-随机化和最近邻优化-作为核心。此预印本用于保护增量思想不受（\cite{zhang2014nonlinear,zhang2014nonlinear2}）的影响。完整的经验评估将在稍后…
2015-01-28 cs.LG stat.ML
Multinomial Random Forest: Toward Consistency and Privacy-Preservation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；Case Western Reserve University（凯斯西储大学）
尽管随机森林（RF）的令人印象深刻的性能，它的理论性质还没有得到彻底的理解。在本文中，我们提出了一种新的RF框架，称为多项式随机森林（MRF），分析\emph{consistency}和\emph{privacy-preservation}。MRF采用两个基于杂质的多项式分布分别随机选择分裂特征和分裂值，而不是确定性的贪婪分裂规则或简单的随机性。在理论上，我们证明了所提出的MRF的一致性，并分析其隐私保护的差分隐私的框架内。我们还用多个数据集证明了它的性能与标准RF相当。据我们所知，MRF是第一个具有与标准RF相当性能的一致RF变体。
2020-06-06 cs.LG stat.ML
HDI-Forest: Highest Density Interval Regression Forest
Ctrip Travel Network Technology Co., Limited.（携程旅游网络技术有限公司）
最近提出的基于质量的PI学习原理通过寻找满足指定覆盖概率要求的最优预测区间（PI），可以提取出更好地概括回归任务中预测确定性的高质量PI，并已被广泛应用于解决许多实际问题。目前，最先进的基于质量的PI估计方法是基于深度神经网络或线性模型。在本文中，我们提出了最高密度区间回归森林（HDI-Forest），一种新的基于质量的PI估计方法，而不是基于随机森林。HDI-Forest不需要额外的模型训练，并直接重用在标准随机森林模型中学习的树。HDI-Forest算法利用随机森林的特性，能够更直接、有效地优化PI质量指标。在基准数据集上的大量实验表明，HDI-Forest显著优于以前的方法，在实现相同或更好的覆盖概率的同时，将平均PI宽度减少了20%以上
2019-07-22 cs.LG stat.ML
Sparse Projection Oblique Randomer Forests
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Delaware（特拉华大学）；DeepMind（深度思维公司）
SPORF是一种使用稀疏随机投影的斜决策森林，在超过100个分类基准问题上显著提升准确性，同时保持可解释性和计算效率。
2019-10-03 cs.LG stat.ML
Manifold Oblique Random Forests: Towards Closing the Gap on Convolutional Deep Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
决策森林（Forests），特别是随机森林和梯度提升树，与许多监督学习场景中的其他方法相比，已经证明了最先进的准确性。特别是，森林在表格数据中占主导地位的其他方法，也就是说，当特征空间是非结构化的，使得信号对特征索引的排列是不变的。然而，在位于流形上的结构化数据（如图像、文本和语音）中，深度网络（Network），特别是卷积深度网络（ConvNets）往往优于森林。我们推测，至少部分原因是网络的输入不仅仅是特征量，还有它们的索引。相比之下，朴素森林实现无法显式地考虑特征索引。最近提出的森林方法表明，森林，对于每个节点，隐式采样随机矩阵从一些特定的分布。这些森林，像某些类别的网络一样，通过将特征空间划分为对应于线性函数的凸多面体来学习。我们建立在这种方法的基础上，并表明，人们可以选择分布在一个流形感知的方式，将功能本地化。我们展示了经验性能的数据，其功能生活在三个不同的流形：一个环面，图像和时间序列。此外，我们在多变量模拟环境中证明了其优势，并且在预测癫痫患者的手术结果和从非运动脑区域的原始立体定向EEG数据预测运动方向方面也显示出优越性。在所有的模拟和真实数据中，流形斜随机森林（MORF）算法优于忽略特征空间结构的方法，并挑战了ConvNets的性能。此外，MORF运行速度快，并保持可解释性和理论的理由。
2022-09-05 cs.LG stat.ML
Pure interaction effects unseen by Random Forests
Heidelberg University（海德堡大学）；University of Copenhagen（哥本哈根大学）
针对传统随机森林难以捕捉特定纯交互效应的问题，本文提出在树生长阶段使用替代划分方案的改进方法，经模拟和真实数据集验证，该方法在纯交互效应关键场景下提升了模型拟合能力。
2025-08-01 cs.LG stat.ML
Comparison-Based Random Forests
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
假设我们从一般度量空间中得到一组项目，但我们既不能访问数据的表示，也不能访问数据点之间的距离。相反，假设我们可以主动选择一个三元组（A，B，C），并询问一个预言家，A是更接近B还是更接近C。在本文中，我们提出了一种新的随机森林算法的回归和分类，只依赖于这样的三元组比较。在本文的理论部分，我们建立了这样的森林的相容性的充分条件。在一组全面的实验中，我们证明了所提出的随机森林是有效的分类和回归。特别是，它甚至可以与直接访问数据的度量表示的其他方法竞争。
2018-06-18 cs.LG stat.ML
Banzhaf Random Forests
Ocean University of China（中国海洋大学）
随机森林是一种集成方法，它通过组合几个独立树的结果来进行预测。然而，随机森林的理论早已被它们的应用所超越。提出了一种基于合作博弈理论的随机森林算法。Banzhaf功率指数通过遍历可能的特征联盟来评估每个特征的功率。与以前使用的信息增益率的信息论，它只是选择最翔实的功能，Banzhaf功率指数可以被认为是一个度量的重要性，每个功能之间的依赖性的一组功能。更重要的是，我们已经证明了所提出的算法，命名为Banzhaf随机森林（BRF）的一致性。这种理论分析采取了一个步骤，缩小了分类问题的随机森林的理论和实践之间的差距。在多个UCI基准数据集上的实验表明，BRF与最先进的分类器相比具有竞争力，并且显著优于以前的一致性随机森林。特别是，它比以前的一致随机森林更有效。
2015-07-22 cs.CV cs.LG stat.ML
Geometry- and Accuracy-Preserving Random Forest Proximities
Idaho State University（爱达荷州立大学）；Utah State University（犹他州立大学）
随机森林被认为是最好的开箱即用的分类和回归算法之一，因为它们的预测性能高，调整相对较少。成对接近度可以从训练的随机森林中计算出来，并测量数据点之间相对于监督任务的相似性。随机森林近似性已被用于许多应用中，包括变量重要性的识别，数据填补，离群值检测和数据可视化。然而，现有的定义的随机森林接近度不准确地反映了数据的几何形状学习的随机森林。在本文中，我们介绍了一种新的定义的随机森林逼近称为随机森林几何和精度保持逼近（RF-GAP）。我们证明了使用RF-GAP的邻近加权和（回归）或多数投票（分类）与包外随机森林预测完全匹配，从而捕获了随机森林学习的数据几何。我们的经验表明，这种改进的几何表示优于传统的随机森林近似的任务，如数据插补，并提供离群值检测和可视化结果与学习的数据几何结构一致。
2023-02-28 cs.LG stat.AP stat.ME
Consistency of Online Random Forests
作为他们成功的证明，随机森林理论在实践中的应用早已超过了他们。在本文中，我们通过提供在线随机森林的一致性结果来缩小这一差距。
2013-05-08 stat.ML
Alpha-Trimming: Locally Adaptive Tree Pruning for Random Forests
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙菲莎大学）
针对随机森林中树需完全生长的传统认知局限，提出alpha-trimming快速自适应剪枝算法，可在不重拟合树的下调参，在46个数据集基准测试中有效降低均方预测误差且无大幅上升。
2024-08-13 cs.LG stat.CO stat.ML
Denoising random forests
Chubu University（中部大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
本文提出了一种新的类型的随机森林称为去噪随机森林，对测试样本中包含的噪声具有鲁棒性。这种噪声破坏的样本导致严重损害的估计性能的随机森林，因为意外的子节点经常被选中，输入样本到达的叶节点有时远离那些干净的样本。我们解决这个问题的主要思想来自于一个二进制指示向量，它编码森林中样本的遍历路径。我们提出的方法有效地利用这个向量，通过引入去噪自动编码器到随机森林。去噪自动编码器可以用从干净和有噪声的输入样本产生的指示向量来训练，并且可以通过比较训练的去噪自动编码器的输入和输出来识别做出错误决策的非叶节点。然后，可以考虑关于具有由噪声引起的不正确决策的节点的多个遍历路径用于估计。
2017-10-30 cs.CV cs.LG stat.ML
Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers
University of Pennsylvania（宾夕法尼亚大学）；Apple Inc.（苹果公司）
有大量的文献解释了为什么AdaBoost是一个成功的分类器。AdaBoost的文献集中在分类器的利润和提升的解释为指数似然函数的优化。然而，这些现有的解释被指出是不完整的。随机森林是另一种流行的集成方法，在文献中的解释少得多。我们介绍了一个新的角度AdaBoost和随机森林，提出这两种算法的工作原理相似。虽然这两种分类器实现了类似的预测精度，但随机森林不能被视为直接优化过程。相反，随机森林是一种自平均，插值算法，它创建了我们所称的“尖峰平滑”分类器，我们以同样的眼光看待AdaBoost。我们推测AdaBoost和随机森林都是因为这种机制而成功的。我们提供了一些例子和一些理论依据来支持这一解释。在这个过程中，我们质疑传统的智慧，认为分类的提升算法需要正则化或提前停止，并且应该限于低复杂度的学习者类别，例如决策树。我们的结论是，boosting应该像随机森林一样使用：使用大型决策树，而不需要直接正则化或提前停止。
2017-04-29 cs.LG stat.ME stat.ML
Exogenous Randomness Empowering Random Forests
University of Southern California（南加州大学）
本文探讨了外生随机性对随机森林的影响，识别出特征子采样和平局打破两类随机性，推导了均方误差的非渐近展开与一致性条件，并发现特征子采样能平衡偏差与方差，甚至使噪声特征成为提升性能的“祝福”。
2024-11-12 cs.LG math.ST stat.ML
Unbiased variable importance for random forests
Berlin School of Economics and Law（柏林经济与法律学院）
随机森林中的默认变量重要性度量，基尼重要性，已被证明受到潜在的基尼增益分裂标准的偏见。虽然替代排列重要性通常被接受为变量重要性的可靠度量，但它在计算上也是苛刻的，并且具有其他缺点。我们提出了一个简单的解决方案，误导/不可信的基尼重要性，可以被视为一个过拟合问题：我们计算的损失减少袋外，而不是袋内的训练样本。
2020-03-09 cs.LG stat.AP stat.ML
Fréchet random forests for metric space valued regression with non euclidean predictors
epoch intelligence；Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与基础科学研究所）
本文提出Fréchet树和Fréchet随机森林，通过引入新的节点分裂方法和推广预测过程，支持输入输出变量在一般度量空间取值的异构数据回归，并验证了其一致性与有效性。
2024-02-16 cs.LG stat.ME stat.ML
Modeling of time series using random forests: theoretical developments
Columbia University（哥伦比亚大学）
本文在非线性时间序列建模的框架下研究了随机森林的渐近性质。虽然随机森林已成功地应用于各个领域，但尚未考虑在时间序列设置中使用随机森林的理论依据。在温和的条件下，我们证明了一个统一的集中不等式的回归树建立在非线性自回归过程，随后，我们用这个结果证明了一个大类的随机森林的一致性。各种模拟结果的支持。
2020-08-06 cs.LG math.ST stat.ME
Asymptotic confidence bands for centered purely random forests
Universität Hamburg（汉堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对多元非参数回归场景下中心化纯随机森林的渐近推断问题，提出可达到极小极大最优速率的Ehrenfest中心化纯随机森林，构建了适用于两类中心化纯随机森林的渐近一致置信带并通过仿真验证理论结论。
2025-11-17 math.ST stat.ML stat.TH
A Comparison of Resampling and Recursive Partitioning Methods in Random Forest for Estimating the Asymptotic Variance Using the Infinitesimal Jackknife
最近，无穷小折刀法（IJ）被应用于随机森林，以估计其预测方差。在传统的随机森林框架下，使用分类和回归树（CART）和自举响应验证了这些定理。然而，使用条件推理（CI）树和子采样的随机森林已被发现不容易变量选择偏差。在这里，我们进行模拟实验，使用一种新的方法来探索IJ的适用性，随机森林使用变化的reserving方法和基地学习。模拟测试数据点，并使用随机森林对100个模拟训练数据集进行训练，这些数据集使用不同的reserve和基础学习器组合。使用CI树而不是传统的CART树，以及使用二次抽样而不是自助抽样，导致在使用IJ预测方差更准确的估计。这里的随机森林变体已被纳入R编程语言的开源软件包中。
2018-01-29 stat.ML
Global Censored Quantile Random Forest
Emory University（埃默里大学）
针对右删失数据的条件分位数预测问题，提出全局删失分位随机森林（GCQRF），该方法能捕捉非线性关系，通过连接IDUP量化预测变异性并建立弱收敛性，同时提出基于样本外精度的特征重要性排序，在模拟与真实数据上展现出更优预测精度。
2024-10-16 cs.LG stat.ME stat.ML
Regression-Enhanced Random Forests
Iowa State University（爱荷华州立大学）
随机森林（RF）方法是用于预测问题的最流行的机器学习技术之一。在这篇文章中，我们讨论了一些情况下，随机森林可能会受到影响，并提出了一种新的广义RF方法，即回归增强随机森林（RERF），可以改善RF借用惩罚参数回归的强度。描述了RERF的构造和调谐参数的选择算法。模拟研究和实际数据实例表明，在实际中经常遇到的重要情况下，RERF比RF具有更好的预测性能。此外，RERF可以包含响应和预测因子之间的已知关系，并且可以在外推问题中给出可靠的预测，其中需要在训练数据集的域之外的点处进行预测。类似于这里描述的策略可以用于通过与惩罚参数回归技术相结合来改进其他机器学习方法。
2019-04-23 cs.LG stat.ME stat.ML
Random Forests: some methodological insights
本文从实验的角度研究了随机森林，这是Leo Breiman在2001年提出的用于分类和回归问题的越来越多的统计方法。它首先旨在确认，已知的，但稀疏的，建议使用随机森林，并提出一些补充意见的标准问题，以及高维的变量的数量大大超过了样本量。但本文的主要贡献是双重的：提供一些见解的行为的变量的重要性指数的基础上随机森林，此外，提出调查变量选择的两个经典问题。第一个是找到重要的变量进行解释，第二个是更具限制性，并试图设计一个好的预测模型。该策略包括使用随机森林重要性得分和逐步上升的变量引入策略对解释变量进行排名。
2008-11-21 stat.ML
