Improving the Predictive Performance of Bootstrap Aggregating by Dirichlet Resampling
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Kansas(堪萨斯大学)
本文基于Breiman的降相关原则,提出狄利克雷重采样的两种随机森林变体DM和DW,通过浓度参数调节样本权重,并给出理论判据指导调参,在公开基准上以极小额外开销取得更优性能。
2026-09-21 cs.LG stat.ME stat.ML
ggRandomForests: Visually Exploring a Random Forest for Regression
随机森林[Breiman:2001](RF)是一种完全非参数统计方法,不需要对协变量与响应的关系进行分布假设。RF是一种强大的非线性技术,通过拟合树的集合来稳定模型估计值,从而优化预测精度。randomForestSRC包(http://cran.r-project.org/package=randomForestSRC)是Breiman随机森林的生存、回归和分类问题的统一处理。预测精度使RF参数模型的一个有吸引力的替代品,虽然复杂性和可解释性的森林阻碍了更广泛的应用的方法。我们引入了ggRandomForests包(http://cran.r-project.org/package=ggRandomForests),用于直观地理解使用randomForestSRC包在R中生长的随机森林模型。这个小插曲是一个使用ggRandomForests包和randomForestSRC包来构建和后处理回归随机森林的教程。在本教程中,我们将探索MASS包中提供的波士顿住房数据的随机森林模型。我们生长了一个随机森林进行回归,并演示了如何在确定变量关联、相互作用以及响应如何依赖于模型中的预测变量时使用ggRandomForests。本教程演示了许多ggRandomForests函数的设计和使用,以及如何修改和自定义生成的ggplot 2图形对象。ggRandomForests包的开发版本可以在Gi…
2015-02-13 stat.CO stat.ML
Random Forest regression for manifold-valued responses
越来越多的生物医学和计算机视觉应用需要对复杂数据(例如图像和形状)进行预测建模。预测这些物体的主要挑战在于它们不符合欧几里得几何的假设。相反,它们占据了非线性空间,也就是流形,其中难以定义诸如坐标、向量和期望值之类的概念。在这项工作中,我们构建了一个非参数的预测方法的流形值的对象,基于距离修改的随机森林算法。我们的方法是通用的,可以应用在响应空间是一个定义良好的流形的情况下,而且当这样的知识是不可用的。模型拟合和预测阶段只需要为观察到的响应定义一个合适的距离函数。我们使用模拟验证我们的方法,并将其应用于一系列说明性的图像完成应用程序,展示了优越的预测性能,与各种既定的回归方法相比。
2017-02-15 stat.ME stat.ML
Trees, forests, and impurity-based variable importance
树集成方法(如随机森林[Breiman,2001])在处理高维表格数据集方面非常流行,特别是因为它们具有良好的预测精度。然而,当机器学习用于决策问题时,解决最佳预测程序可能是不合理的,因为明智的决策需要深入理解算法预测过程。不幸的是,随机森林本质上是不可解释的,因为它们的预测结果来自于对数百棵决策树的平均。一个经典的方法来获得知识,这个所谓的黑箱算法是计算变量的重要性,这是用来评估每个输入变量的预测影响。变量重要性然后被用来对变量进行排序或选择,因此在数据分析中发挥了重要作用。然而,以这种方式使用随机森林变量重要性是没有道理的:我们甚至不知道这些量估计的是什么。在本文中,我们分析了两个著名的随机森林变量的重要性,平均减少杂质(MDI)。我们证明,如果输入变量是独立的,在没有相互作用,MDI提供了一个方差分解的输出,其中每个变量的贡献是明确的。我们还研究模型之间的依赖输入变量或相互作用,变量的重要性本质上是不明确的。我们的分析表明,与单一树木相比,使用森林可能存在一些好处。
2021-12-24 math.ST stat.ML stat.TH
Boosting Random Forests to Reduce Bias; One-Step Boosted Forest and its Variance Estimate
Cornell University(康奈尔大学)
在本文中,我们提出使用助推的原则,以减少回归设置中的随机森林预测的偏差。从原始的随机森林拟合中,我们提取残差,然后将另一个随机森林拟合到这些残差。我们将这两个随机森林的和称为\textit{one-step boosted forest}。我们用模拟和真实数据表明,与原始随机森林相比,一步提升森林具有降低的偏差。本文还通过对无限小Jackknife估计的推广,给出了一步提升森林的方差估计。使用这个方差估计,我们可以构建预测区间的提升森林,我们表明,他们有很好的覆盖概率。结合偏差减少和方差估计,我们表明,一步提升森林有一个显着减少预测均方误差,从而提高预测性能。当应用于来自UCI数据库的数据集时,一步提升森林的性能优于随机森林和梯度提升机器算法。从理论上讲,我们还可以将这种提升过程扩展到多个步骤,本文中概述的相同原理可以用于找到此类预测因子的方差估计。这种提升将进一步减少偏差,但它有过度拟合的风险,也增加了计算负担。
2020-04-22 cs.LG stat.ME stat.ML
Global Censored Quantile Random Forest
Emory University(埃默里大学)
针对右删失数据的条件分位数预测问题,提出全局删失分位随机森林(GCQRF),该方法能捕捉非线性关系,通过连接IDUP量化预测变异性并建立弱收敛性,同时提出基于样本外精度的特征重要性排序,在模拟与真实数据上展现出更优预测精度。
2024-10-16 cs.LG stat.ME stat.ML
A predictive model for kidney transplant graft survival using machine learning
University of Iowa(爱荷华大学)
肾移植是治疗终末期肾功能衰竭的最佳方法。用于肾脏质量评估的主要方法是基于Cox回归的肾脏供体风险指数。机器学习方法可以提供移植结果的改进预测并帮助决策。一种流行的基于树的机器学习方法,随机森林,使用最初用于开发风险指数的相同数据(1995-2005年的70,242次观察)进行训练和评估。随机森林成功地预测了额外的2,148例移植,而风险指数的II类出错率为10%。使用Kaplan-Meier分析,对预测结果与移植后240个月的随访生存结果进行分析,并证实随机森林的表现显著优于风险指数(p<0.05)。与风险指数相比,随机森林预测移植成功率更高,存活时间更长。随机森林和其他机器学习模型可以改善移植决策。
2020-12-07 cs.LG stat.ML
Projected random forests and conformal prediction of circular data
Insper University(Insper大学);University of São Paulo(圣保罗大学)
针对圆形响应回归问题,应用共形预测技术,通过投影方法将线性回归模型转换为圆形模型,并利用随机森林的袋外机制避免额外校准样本,生成具有有限样本覆盖保证和自适应弧长的预测集。
2026-06-11 cs.LG stat.ME stat.ML
Canonical Correlation Forests
University of Oxford(牛津大学)
我们介绍典型相关森林(CCF),一种新的决策树集成方法的分类和回归。个体典型相关树是具有基于在训练期间计算的局部典型相关系数的超平面分裂的二元决策树。与轴对齐的替代方案不同,CCF的决策表面不限于输入特征的坐标系,因此更自然地表示具有相关输入的数据。CCF自然地容纳多个输出,提供与随机森林相似的计算复杂度,并继承其对输入参数选择的令人印象深刻的鲁棒性。作为CCF训练算法的一部分,我们还引入了投影自举,这是一种用于斜决策树集合的装袋的新方法,它在选择分裂点时保持使用完整的数据集,通常会提高预测精度。我们的实验表明,即使没有参数调整,CCF在分类和回归问题上的表现也优于轴对齐的随机森林和其他最先进的树集成方法,从而提高了预测精度和更快的训练时间。我们进一步表明,他们优于所有的179分类器在最近的广泛调查中考虑。
2017-08-09 cs.LG stat.ML
ggRandomForests: Exploring Random Forest Survival
随机森林(Leo Breiman 2001 a)(RF)是一种非参数统计方法,不需要对协变量与响应的关系进行分布假设。RF是一种强大的非线性技术,通过拟合树的集合来稳定模型估计值,从而优化预测精度。随机生存森林(RSF)(Ishwaran and Kogalur 2007; Ishwaran et al. 2008)是Breimans RF技术的扩展,允许对事件发生时间数据进行有效的非参数分析。randomForestSRC包(Ishwaran and Kogalur 2014)是Breimans随机森林的生存,回归和分类问题的统一处理。预测精度使得RF成为参数模型的一个有吸引力的替代方案,尽管森林的复杂性和可解释性阻碍了该方法的广泛应用。我们介绍了ggRandomForests包,这是一个直观地理解在R(R Core Team 2014)中使用randomForestSRC包生长的随机森林模型的工具。ggRandomForests包的结构是从randomForestSRC对象中提取中间数据对象,并使用ggplot 2(Wickham 2009)图形包生成图形。本文档的结构是一个教程,用于使用randomForestSRC包构建随机森林以生存,并使用ggRandomForests包研究森林是如何构建的。我们分析了来自梅奥诊所临床试验的原发性胆汁性肝硬化数据(Fleming和Harr…
2016-12-28 stat.CO stat.ML
Interpretable random forest models through forward variable selection
随机森林是一种处理高维协变量的流行预测方法。然而,它往往成为不可行的解释所获得的高维和非参数模型。为了获得一个可解释的预测模型,我们开发了一个向前的变量选择方法,使用连续排序概率得分(CRPS)作为损失函数。我们的逐步程序导致一组最小的变量,通过在每一步对CRPS风险显著降低进行假设检验来优化CRPS风险。我们提供的数学动机,我们的方法证明,在人口意义上的方法达到最优集。此外,我们表明,测试是一致的,提供了一个分位数函数的随机森林估计是一致的。在模拟研究中,我们比较了我们的方法与现有的变量选择方法的性能,不同的样本量和协变量的不同相关强度。我们的方法被观察到具有低得多的假阳性率。我们还展示了我们的方法在荷兰的每日最高温度预报的统计后处理的应用。我们的方法选择了大约10%的协变量,同时保留了相同的预测能力。
2020-05-11 stat.ME stat.ML
RFpredInterval: An R Package for Prediction Intervals with Random Forests and Boosted Forests
HEC Montréal(蒙特利尔高等商学院)
与许多预测模型一样,随机森林为新观测提供点预测。除了点预测之外,重要的是量化预测中的不确定性。预测区间提供有关点预测可靠性的信息。我们开发了一个全面的R包RFpredInterval,它集成了16种方法来构建随机森林和提升森林的预测区间。包中实现的方法集包括一种新方法,用于构建具有提升森林的预测区间(PIBF)和15种方法变体,用于生成具有随机森林的预测区间,如Roy和Larocque(2020)所提出的。我们进行了广泛的模拟研究,并应用实际数据分析,以比较所提出的方法的性能与现有的10种方法建立预测区间与随机森林。结果表明,该方法是非常有竞争力的,在全球范围内,优于竞争的方法。
2022-03-07 cs.LG stat.ML
HDI-Forest: Highest Density Interval Regression Forest
Ctrip Travel Network Technology Co., Limited.(携程旅游网络技术有限公司)
最近提出的基于质量的PI学习原理通过寻找满足指定覆盖概率要求的最优预测区间(PI),可以提取出更好地概括回归任务中预测确定性的高质量PI,并已被广泛应用于解决许多实际问题。目前,最先进的基于质量的PI估计方法是基于深度神经网络或线性模型。在本文中,我们提出了最高密度区间回归森林(HDI-Forest),一种新的基于质量的PI估计方法,而不是基于随机森林。HDI-Forest不需要额外的模型训练,并直接重用在标准随机森林模型中学习的树。HDI-Forest算法利用随机森林的特性,能够更直接、有效地优化PI质量指标。在基准数据集上的大量实验表明,HDI-Forest显著优于以前的方法,在实现相同或更好的覆盖概率的同时,将平均PI宽度减少了20%以上
2019-07-22 cs.LG stat.ML
Prediction of Sewer Pipe Deterioration Using Random Forest Classification
由于物理和化学因素的结合,废水基础设施系统会随着时间的推移而恶化。这一重要基础设施的故障可能会影响重要的社会、环境和经济影响。此外,识别用于检查下水管道的优化时间轴对于公用事业管理者和其他当局来说是具有挑战性的任务。由于时间有限,评估技术成本高,管道库存量大,定期检查下水道网络的成本效益不高。为了避免这些障碍,不同的研究人员致力于改善基础设施状况评估方法,以保持污水管道系统在所需的条件。下水道状况预测模型的开发提供了一个框架,预测管道的未来状况,以安排检查频率。本研究的主要目的是建立一个污水管道的预测模型,使用随机森林分类。预测模型可以有效地预测污水管道的状态,提高预测结果的确定性水平,降低污水管道当前状态的不确定性。所开发的随机森林分类模型在加利福尼亚州洛杉矶市的案例研究应用中实现了分层测试集假阴性率、假阳性率和0.81的ROC曲线下面积。ROC曲线下面积> 0.80表明所开发的模型是预测污水管网中单个管道状况的“优秀”选择。劣化模型可用于工业中以改进检查时间轴和维护规划。
2019-12-09 cs.CE cs.LG stat.ML
Analyzing the tree-layer structure of Deep Forests
Sorbonne Université(索邦大学);LPSM(巴黎数学科学实验室);CMAP(应用数学中心);Ecole Polytechnique(巴黎综合理工学院)
随机森林和神经网络在机器学习社区中取得了巨大的成功,因为它们的预测性能。文献中提出了两者的组合,特别是导致所谓的深林(DF)(Zhou \& Feng,2019)。在本文中,我们的目的不是对DF性能进行基准测试,而是研究其潜在机制。此外,DF架构通常可以简化为更简单和计算效率更高的浅森林网络。尽管有一些不稳定性,后者可能优于标准的基于预测树的方法。我们展示了一个理论框架,其中一个浅树网络,以提高经典的决策树的性能。在这样的设置,我们提供严格的理论下限和上限的超额风险。这些理论结果表明,良好的结构化数据提供的第一层,作为一个数据编码器,是足够丰富的树网络架构的兴趣。
2021-10-14 cs.LG math.ST stat.TH
Conditional Distribution Estimation for Functional Responses with Random Forests
Fred Hutchinson Cancer Center(弗雷德·哈钦森癌症中心);Department of Statistics and Data Sciences, University of Texas at Austin(德克萨斯大学奥斯汀分校统计与数据科学系)
该研究提出函数分布随机森林方法,实现函数响应条件分布的非参数估计,在模拟和NHANES数据应用中均表现优于基线方法,可捕捉分布变化与协变量关联。
2026-08-11 stat.ME stat.ML
Geometry- and Accuracy-Preserving Random Forest Proximities
Idaho State University(爱达荷州立大学);Utah State University(犹他州立大学)
随机森林被认为是最好的开箱即用的分类和回归算法之一,因为它们的预测性能高,调整相对较少。成对接近度可以从训练的随机森林中计算出来,并测量数据点之间相对于监督任务的相似性。随机森林近似性已被用于许多应用中,包括变量重要性的识别,数据填补,离群值检测和数据可视化。然而,现有的定义的随机森林接近度不准确地反映了数据的几何形状学习的随机森林。在本文中,我们介绍了一种新的定义的随机森林逼近称为随机森林几何和精度保持逼近(RF-GAP)。我们证明了使用RF-GAP的邻近加权和(回归)或多数投票(分类)与包外随机森林预测完全匹配,从而捕获了随机森林学习的数据几何。我们的经验表明,这种改进的几何表示优于传统的随机森林近似的任务,如数据插补,并提供离群值检测和可视化结果与学习的数据几何结构一致。
2023-02-28 cs.LG stat.AP stat.ME
Comparing Spatial Regression to Random Forests for Large Environmental Data Sets
环境数据可能由于记录数量、协变量数量或两者的原因而“大”。随机森林在使用许多具有非线性关系的协变量时具有良好的预测性能,而空间回归在使用降秩方法时,在使用许多空间自相关的记录时具有良好的预测性能。在这项研究中,我们比较了这两种技术使用的数据集包含大型无脊椎动物多尺度指数(MMI)在1859流网站超过200景观协变量。一个主要的应用程序是映射MMI的预测和预测误差在110万常年流达到整个美国接壤。对于空间回归模型,我们开发了一种新的变换过程,估计Box-Cox变换线性化协变量关系,并处理可能的零膨胀协变量。我们发现,空间回归模型的转换,并随后选择显着的协变量,交叉验证性能略优于随机森林。我们还发现,预测区间覆盖率接近标称的每种方法,但空间回归预测区间往往是窄的,比分位数回归森林预测区间的变异性较小。仿真研究是用来概括的结果,并澄清每个建模方法的优点。
2018-12-26 stat.AP
TRUST: Transparent, Robust and Ultra-Sparse Trees
University of Wisconsin -- Madison(威斯康星大学麦迪逊分校)
TRUST是一种结合随机森林准确性与浅层树和稀疏线性模型可解释性的新型回归树,利用大语言模型增强透明性,在基准测试中优于其他可解释模型并匹配随机森林性能。
2025-06-18 cs.AI cs.LG stat.ME
Bayesian calibration of stochastic agent based model via random forest
Sandia National Laboratories(桑迪亚国家实验室);Argonne National Laboratory(阿贡国家实验室)
本文提出基于随机森林的代理建模方法加速随机智能体模型评估,并通过MCMC校准流行病学ABM CityCOVID,在芝加哥COVID-19数据上相比IMABC提升了预测性能并降低了计算成本。
2024-06-27 cs.LG stat.AP stat.ML
On the asymptotics of random forests
随机森林模型在过去的十年中表现出了良好的应用性能,特别是在高维环境下,受到了广泛的关注。然而,在理论方面,它们的预测能力在很大程度上仍未得到解释,从而造成了理论与实践之间的差距。该文致力于研究两个问题.首先,我们提供了理论保证,以连接有限森林在实践中使用(有有限数量的树M),以他们的渐近对应物。利用经验过程理论,证明了一类随机森林估计的一致中心极限定理,特别适用于Breiman的原始森林.其次,证明了无限森林的一致性蕴涵有限森林的一致性,从而证明了若干个无限森林的一致性。特别地,我们证明了q分位数森林-在精神上接近Breiman的森林,但更容易研究-能够组合不一致的树以获得最终一致的预测,从而突出了随机森林与单树相比的优点。
2014-09-07 math.ST stat.TH
Deep Dynamic Boosted Forest
Peking University(北京大学)
随机森林作为集成学习方法被广泛利用。然而,在许多实际应用中,从不平衡数据中学习仍然是一个重大挑战。为了缓解这一限制,我们提出了一种深度动态提升森林(DDBF),一种新的集成算法,将硬示例挖掘的概念融入随机森林。具体地说,我们建议在随机森林中测量每个决策树的每个叶节点的质量来确定硬示例。通过迭代训练,然后从训练数据中删除简单的例子,我们进化的随机森林,以动态地关注困难的例子,以平衡样本的比例和学习决策边界更好。数据可以通过这些在每次迭代中学习的随机森林按顺序级联,以生成更准确的预测。我们的DDBF在5个UCI数据集,MNIST和SATIMAGE上的表现优于随机森林,并与其他深度模型相比取得了最先进的结果。此外,我们还证明了DDBF也是一种新的采样方式,在从不平衡数据中学习时非常有用和有效。
2022-03-06 cs.LG stat.ML
Classification of Functioning, Disability, and Health for Children and Youth: ICF-CY Self Care (SCADI Dataset) Using Predictive Analytics
Binghamton University(宾汉姆顿大学)
《儿童和青年功能、残疾和健康国际分类》(ICF-CY)是指定功能和残疾数据并使其系统化的框架。它提供了一个标准的语义和理论基础的界限和程度的福祉和体弱。ICF-CY的多维布局包含了大量的信息,大约有1400个类别,这使得分析变得困难。我们的研究提出了一个预测模型,分类的自我护理活动数据集的基础上,ICF-CY的自我护理问题。在这项研究中使用的数据驻留70名运动和身体残疾儿童的206个属性。我们的研究实现,比较和分析随机森林,支持向量机,朴素贝叶斯,Hoeffding树,和懒惰的局部加权学习使用双尾T检验在95%的置信区间。研究中涉及的Boruta算法通过最小化数据维数来倡导最小最优的预测因子集。随机森林给出了最好的分类准确率为84.75%,均方根误差为0.18,接收器操作特性为0.99。预测分析可以通过自动化残疾、功能和健康的分类过程来简化ICF-CY的使用。
2019-08-21 cs.CY cs.LG stat.ML
Interpretable Model-Aware Counterfactual Explanations for Random Forest
Prospect 33, LLC(Prospect 33公司);BlackRock, Inc(BlackRock公司)
本文提出一种基于相似性学习的反事实搜索与解释方法,利用 Random Forest 模型表征寻找反事实案例并计算特征重要性,在 MNIST 和 German credit 数据集上生成的解释比 Shapley values 更稀疏且更有用。
2025-10-31 cs.LG stat.ML
Randomization as Regularization: A Degrees of Freedom Explanation for Random Forest Success
University of Pittsburgh(匹兹堡大学)
随机森林仍然是最受欢迎的现成监督机器学习工具之一,在回归和分类设置中具有良好的预测准确性记录。尽管它们在经验上取得了成功,最近也有一批研究它们统计特性的工作,但对它们的成功还没有提出一个完整而令人满意的解释。在这里,我们的目标是在这个方向上迈出一步,通过证明注入到单个树中的额外随机性作为一种形式的隐式正则化,使随机森林成为低信噪比(SNR)设置中的理想模型。具体来说,从模型复杂性的角度来看,我们表明,mtry参数在随机森林中的收缩惩罚明确正则化回归程序,如套索和岭回归的目的是相同的。为了突出这一点,我们设计了一个随机线性模型为基础的前向选择过程,旨在作为一个类似的基于树的随机森林,并证明其令人惊讶的强大的经验表现。提供了许多真实和合成数据的演示。
2020-09-14 cs.LG stat.ML
Contextual Decision Trees
Università degli Studi di Firenze(佛罗伦萨大学)
针对随机森林,我们提出了一个多臂上下文强盗推荐框架,用于基于特征选择学习集合的单个浅树。在随机森林之上工作的经过训练的系统动态地识别负责提供最终输出的基本预测器。通过这种方式,我们通过观察推荐树的规则来获得本地解释。实验结果表明,该方法的预测性能优于一个独立的拟合CART决策树和整个黑盒随机森林。
2022-07-13 cs.LG stat.ML
Adaptive Forests For Classification
Sloan School of Management and Operations Research Center(斯隆管理学院和运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院);Operations Research Center(运筹学研究中心)
提出自适应森林(AF),结合最优预测策略树框架和混合整数优化,自适应选择CART树权重,在20多个真实数据集上优于随机森林和XGBoost。
2025-10-27 cs.LG stat.ML
Regression-Enhanced Random Forests
Iowa State University(爱荷华州立大学)
随机森林(RF)方法是用于预测问题的最流行的机器学习技术之一。在这篇文章中,我们讨论了一些情况下,随机森林可能会受到影响,并提出了一种新的广义RF方法,即回归增强随机森林(RERF),可以改善RF借用惩罚参数回归的强度。描述了RERF的构造和调谐参数的选择算法。模拟研究和实际数据实例表明,在实际中经常遇到的重要情况下,RERF比RF具有更好的预测性能。此外,RERF可以包含响应和预测因子之间的已知关系,并且可以在外推问题中给出可靠的预测,其中需要在训练数据集的域之外的点处进行预测。类似于这里描述的策略可以用于通过与惩罚参数回归技术相结合来改进其他机器学习方法。
2019-04-23 cs.LG stat.ME stat.ML
Privacy-Preserving Collaborative Prediction using Random Forests
ISI Foundation(ISI基金会);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了隐私保护机器学习(PPML)集成方法的问题,我们的努力集中在随机森林。在协作分析中,PPML试图解决数据共享需求与隐私之间的冲突。这在隐私敏感应用中尤其重要,例如从来自不同诊所的EHR数据学习用于临床决策支持的预测模型,其中每个诊所都对其患者的隐私负责。我们提出了一种集成方法的新方法:每个实体从自己的数据中学习一个模型,然后当客户端要求预测一个新的私有实例时,所有本地训练模型的答案都被用来计算预测,这样就不会泄露任何额外的信息。我们实现了这种方法的随机森林,我们证明了其高效率和潜在的准确性的好处,通过实验对现实世界的数据集,包括实际的EHR数据。
2018-11-21 cs.LG stat.ML
Prediction of the FIFA World Cup 2018 - A random forest approach with an emphasis on estimated team ability parameters
在这项工作中,我们比较了三种不同的建模方法的足球比赛的分数,他们的预测性能的基础上,从2002年至2014年的四届世界杯的所有比赛:泊松回归模型,随机森林和排名方法。前两种方法是基于团队的协变量信息,后一种方法估计足够的能力参数,最好地反映了团队的当前实力。在这个比较中,对训练数据表现最好的预测方法是排名方法和随机森林。然而,我们表明,通过将随机森林与排名方法的团队能力参数作为额外的协变量相结合,我们可以大大提高预测能力。最后,选择这种方法的组合作为最终模型,并根据其估计,反复模拟2018年FIFA世界杯,并获得所有球队的获胜概率。该模型在卫冕冠军德国之前稍微倾向于西班牙。此外,我们还提供了所有球队和所有锦标赛阶段的生存概率以及最有可能的锦标赛结果。
2018-06-13 stat.AP
Alpha-Trimming: Locally Adaptive Tree Pruning for Random Forests
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙菲莎大学)
针对随机森林中树需完全生长的传统认知局限,提出alpha-trimming快速自适应剪枝算法,可在不重拟合树的下调参,在46个数据集基准测试中有效降低均方预测误差且无大幅上升。
2024-08-13 cs.LG stat.CO stat.ML
S-SIRUS: an explainability algorithm for spatial regression Random Forest
University of Pavia(帕维亚大学);University of Torino(都灵大学);University of Bergamo(贝加莫大学)
针对现有随机森林解释方法无法处理空间依赖数据的问题,本研究提出SIRUS的空间扩展算法S-SIRUS,可从空间回归随机森林中提取规则,实验证明其在空间相关场景下预测准确率更高、规则更简洁。
2024-08-10 cs.LG stat.ML
An Investigation of Interpretability Techniques for Deep Learning in Predictive Process Analytics
School of Information Systems, Science and Engineering Faculty of Queensland University of Technology(昆士兰科技大学科学与工程学院信息系统学院);Department of Computer Science and Engineering, Instituto Superior Técnico / INESC-ID, University of Lisbon(里斯本大学高等技术学院/INESC-ID计算机科学与工程系)
本文探讨了医疗决策文献中两种最成功的学习算法的可解释性技术:深度神经网络和随机森林。我们将这些算法应用于包含癌症患者信息的真实医疗数据集中,在那里我们学习模型,试图预测患者的癌症类型,给定他们的一组医疗活动记录。我们探索了基于神经网络架构的不同算法,使用长短期深度神经网络和随机森林。由于越来越需要为决策者提供关于黑盒预测逻辑的理解,我们还探索了为这些分类器提供解释的不同技术。在其中一种技术中,我们截取了这些神经网络的一些隐藏层,并使用自动编码器来学习隐藏层中输入的表示形式。在另一个,我们研究了一个可解释的模型本地周围的随机森林的预测。结果表明,围绕模型的预测局部学习可解释的模型可以更好地理解算法为什么要做出某些决策。使用局部和线性模型有助于识别用于预测特定实例或数据点的特征。我们看到某些用于预测的独特特征,这些特征提供了关于癌症类型的有用见解,以及不能很好地概括的特征。此外,使用自动编码器的结构化深度学习方法提供了有意义的预测见解,从而识别出与患者不同类型癌症相对应的非线性聚类。
2020-02-21 cs.LG stat.ML
Random Forest-Supervised Manifold Alignment
Brigham Young University(杨百翰大学)
本文提出利用随机森林导出的保几何邻近度作为有监督初始化来改进半监督流形对齐,实验表明该方法能提升跨域特征融合与下游分类准确率,优于单域基线。
2024-11-18 cs.LG stat.ML
Robust Classification of High Dimension Low Sample Size Data
近年来,模式识别技术的鲁棒性一直是研究的热点。尽管关于这个问题的论文很多,但很少有文章深入探讨了高维低样本量背景下的稳健分类问题。在这项工作中,我们探索和比较了强大的分类技术的预测性能,特别是集中在强大的判别分析和强大的PCA适用于各种各样的大$p$小$n$数据集。通过比较单一模型方法和集成方法在这方面的差异,我们也探讨了随机森林的性能。我们的工作表明,随机森林,虽然不是天生的设计是强大的离群值,大大优于现有的技术,专门设计来实现鲁棒性。事实上,随机森林在现实生活和模拟数据上都是最好的预测。
2015-01-03 stat.AP stat.ME
SIRUS: Stable and Interpretable RUle Set for Classification
Safran Tech(赛峰科技);Sorbonne Université(索邦大学);Ecole Polytechnique(巴黎综合理工学院)
最先进的学习算法,如随机森林或神经网络,通常被称为“黑盒”,因为它们的预测机制中涉及的操作的数量和复杂性很高。这种可解释性的缺乏是涉及关键决策的应用程序的一个很大的限制,通常是制造业中生产过程的分析。在这样的关键背景下,模型必须是可解释的,即,简单、稳定、可预测。为了解决这个问题,我们设计了SIRUS(稳定和可解释的规则集),一个新的分类算法的基础上随机森林,它采取了一个简短的规则列表的形式。虽然简单的模型通常不稳定的数据扰动,SIRUS实现了显着的稳定性改善了尖端的方法。此外,SIRUS继承了接近随机森林的预测准确性,并结合了决策树的简单性。这些属性进行评估,从理论和经验的角度来看,通过广泛的数值实验的基础上,我们的R/C++软件实现SIRUS可从CRAN。
2020-12-16 cs.LG math.ST stat.ML
Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers
University of Pennsylvania(宾夕法尼亚大学);Apple Inc.(苹果公司)
有大量的文献解释了为什么AdaBoost是一个成功的分类器。AdaBoost的文献集中在分类器的利润和提升的解释为指数似然函数的优化。然而,这些现有的解释被指出是不完整的。随机森林是另一种流行的集成方法,在文献中的解释少得多。我们介绍了一个新的角度AdaBoost和随机森林,提出这两种算法的工作原理相似。虽然这两种分类器实现了类似的预测精度,但随机森林不能被视为直接优化过程。相反,随机森林是一种自平均,插值算法,它创建了我们所称的“尖峰平滑”分类器,我们以同样的眼光看待AdaBoost。我们推测AdaBoost和随机森林都是因为这种机制而成功的。我们提供了一些例子和一些理论依据来支持这一解释。在这个过程中,我们质疑传统的智慧,认为分类的提升算法需要正则化或提前停止,并且应该限于低复杂度的学习者类别,例如决策树。我们的结论是,boosting应该像随机森林一样使用:使用大型决策树,而不需要直接正则化或提前停止。
2017-04-29 cs.LG stat.ME stat.ML
Formal Hypothesis Tests for Additive Structure in Random Forests
虽然统计学习方法已被证明是预测建模的强大工具,但它们产生的模型的黑盒性质可能严重限制其可解释性和进行正式推理的能力。然而,当用适当的子样本构建基础学习器时,像袋装树和随机森林这样的集成学习器的自然结构已被证明具有理想的渐进特性。在这项工作中,我们证明,通过定义一个适当的网格结构的协变量空间,我们可以进行正式的假设检验变量的重要性和潜在的加性模型结构。据我们所知,这些测试代表了在随机森林等背景下研究潜在回归结构的第一个统计工具。我们开发的概念,总和部分加性,并进一步证明,可以进行测试,在没有额外的计算成本,通过估计方差内的过程中构建合奏。此外,我们提出了一种新的扩展这些测试程序,利用随机投影,以允许计算效率高的测试程序,即使当网格大小比训练集大得多,保持高功率。
2016-08-26 stat.AP stat.ML
Multivariate Prediction Intervals for Random Forests
Citrine Informatics;Kiva Microfunds(Kiva小额信贷基金)
准确的不确定性估计可以显着提高实验迭代设计的性能,如顺序学习和强化学习。对于工程和物理科学中的许多这样的问题,设计任务依赖于多个相关的模型输出作为目标和/或约束。为了更好地解决这些问题,我们提出了一种重新校准的自助方法来生成袋装模型的多变量预测区间,并表明它是校准良好的。我们应用重新校准的自举模拟顺序学习问题的多个目标,并表明它会导致显着减少所需的迭代次数,找到一个满意的候选人。这表明,重新校准的引导程序可能是一个有价值的工具,从业者使用机器学习优化系统与多个竞争的目标。
2022-05-19 cs.LG stat.ML
Feature Space Selection and Heterogeneous Effect Estimation for Blood-Brain Barrier Permeability: A Random Forest to the Generalized Random Forest Pipeline
University of Pretoria(比勒陀利亚大学);Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
本研究利用MoleculeNet BBBP数据集,通过系统消融特征空间并应用广义随机森林与双重机器学习,发现特征表示与算法耦合影响预测性能,且校正混杂后LogP-BBB关联的异质性证据不足。
2026-09-25 cs.LG stat.ML
Improving Random Forests by Smoothing
Faculty of Information Technology, Monash University(莫纳什大学信息科技学院);Faculty of Computer and Information Science, University of Haifa(海法大学计算机与信息科学学院)
本文提出一种基于核的平滑机制,通过引入局部正则性来增强随机森林的预测性能,同时保留其自适应分区能力,特别是在数据稀缺情况下提升了预测效果。
2026-05-18 cs.LG stat.ML
Adaptive Concentration of Regression Trees, with Application to Random Forests
我们研究了回归树和森林的预测曲面的收敛性。为了支持我们的分析,我们引入了回归树的自适应集中的概念。这种方法将树训练分为模型选择阶段,在这个阶段我们选择树的分裂,然后是模型拟合阶段,在这个阶段我们找到与这些分裂一致的最佳回归模型。然后,我们表明,拟合的回归树集中在具有相同分割的最佳预测器周围:随着d和n变大,差异在整个回归表面上均匀地以sqrt(log(d)log(n)/k)的数量级高概率为界,其中d是特征空间的维度,n是训练样本的数量,k是每棵树的最小叶大小。我们还提供了速率匹配的下界,这个自适应浓度的声明。从实践的角度来看,我们的结果使我们能够证明高维自适应生长森林的一致性结果,并在Berk等人的意义上进行有效的后选择推理。[2013]对于树叶定义的子群。
2016-04-30 math.ST stat.ML stat.TH
Principled Federated Random Forests for Heterogeneous Data
Inria(法国国家信息与自动化研究所);PreMeDICaL(预医学实验室);Inserm(法国国家医学研究院);University of Montpellier(蒙彼利埃大学);Sorbonne Université(索邦大学);Université Paris Cité(巴黎城市大学);CNRS(国家科学研究中心);LPSM(巴黎高等师范学院)
本文提出FedForest,一种适用于水平分割数据的联邦随机森林算法,能自然处理客户端数据异质性,通过聚合精心选择的客户端统计信息近似集中算法的分裂过程,并实现非参数化个性化。
2026-05-07 cs.LG stat.ML
Provable Boolean Interaction Recovery from Tree Ensemble obtained via Random Forests
随机森林(RF)在预测性能方面处于监督机器学习的前沿,特别是在基因组学方面。迭代随机森林(iRF)使用来自迭代修改的RF的树集成来获得特征的预测性和稳定的非线性或布尔交互。他们在布尔生物相互作用发现方面表现出了巨大的希望,这对推进功能基因组学和精准医学至关重要。然而,理论研究如何基于树的方法发现布尔特征的相互作用是缺失的。受许多生物过程中阈值行为的启发,我们首先引入了一种新的非连续非线性回归模型,称为局部尖峰稀疏(LSS)模型。具体地,LSS模型假设回归函数是分段常数布尔交互项的线性组合。给定一个RF树集合,我们为一组有符号特征S定义一个称为深度加权流行度(DWP)的量。直观地说,DWP(S)测量S中的特征在RF树集合中一起出现的频率。我们证明了DWP(S)以很高的概率达到一个不涉及任何模型系数的普适上界,当且仅当S对应于LSS模型下布尔相互作用的并集。因此,我们表明,一个理论上易于处理的版本的iRF程序,称为LSSFind,产生一致的相互作用发现下的LSS模型的样本量趋于无穷大。最后,仿真结果表明,即使在一些假设被违反的LSS模型下,LSSFind恢复的相互作用。
2022-03-27 math.ST stat.TH
A network flow approach to visualising the roles of covariates in random forests
我们提出了新的平行坐标图和桑基图的应用程序来表示随机森林中的相互作用协变量的影响的层次结构。每个可视化总结了随机森林中所有树的所有路径的频率。协变量在随机森林中的作用的可视化包括:描述单个协变量对随机森林的预测准确性的贡献的标量度量的排序条形图或点图;描述改变特定协变量对随机森林的预测的影响的各种总结的线图;所有协变量对之间的相互作用的强度的度量的热图;每个响应类别的平行坐标图描绘了最能代表预测属于该类别的观测值的所有协变量值的分布。这些可视化一起促进了对随机森林中协变量作用的实质性洞察,但不传达随机森林中协变量效应层次的频率或协变量在这些层次中出现的顺序。我们的可视化解决了这些差距。我们使用适合公开数据的随机森林来展示我们的可视化,并以R包的形式提供软件实现。
2017-06-27 stat.OT
Improved high-dimensional prediction with Random Forests by the use of co-data
由于相对于样本量的变量数量较大,因此难以在高维环境中进行预测。我们演示了如何辅助“协数据”可以用来提高在这样的设置中的随机森林的性能。协数据通过用协数据调节的采样概率替换均匀采样概率(用于绘制候选变量,这是随机森林的默认值)来并入随机森林。在这里,协同数据被定义为在主数据的变量上可用的任何类型信息,但不使用其响应标签。受经验贝叶斯的启发,这些适度的抽样概率是从手头的数据中学习的。我们用一个例子证明了这种协同数据调节的随机森林(CoRF)。在本例中,我们的目标是用基因表达数据预测淋巴结转移。我们展示了一组外部p值,基因签名以及基因表达与DNA拷贝数之间的相关性如何提高预测性能。
2017-06-02 stat.AP
Improving post-operative discharge destination prediction of geriatric patients with generative data augmentation
Leibniz Institute for Prevention Research and Epidemiology – BIPS(莱布尼茨预防流行病学研究所);Faculty of Mathematics and Computer Science, University of Bremen(不来梅大学数学与计算机科学学院);Institute for Geriatric Research Ulm, Ulm University Medical Center(乌尔姆老年医学研究所,乌尔姆大学医学中心)
本文通过生成数据增强方法提升老年患者术后出院目的地预测,采用合成数据和Imputation策略,验证了随机森林和TabPFN模型在数据稀缺情况下的有效性。
2026-04-19 stat.AP
Augmented Functional Random Forests: Classifier Construction and Unbiased Functional Principal Components Importance through Ad-Hoc Conditional Permutations
Faculty of Technological and Innovation Sciences(技术与创新科学学院);Faculty of Economics and Law(经济与法学院)
本研究将函数型数据分析与树模型结合,提出增强型函数型分类树和随机森林,通过特设条件置换实现无偏函数主成分重要性评估,在真实与模拟数据集上均提升了分类性能。
2024-08-23 cs.LG math.ST stat.ME
Disentangled Attribution Curves for Interpreting Random Forests and Boosted Trees
UC Berkeley(加州大学伯克利分校)
树集成,如随机森林和AdaBoost,是普遍存在的机器学习模型,以在各种领域实现强大的预测性能而闻名。然而,这种强大的性能是以可解释性为代价的(即用户无法理解经过训练的随机森林已经学习的关系以及它为什么要进行预测)。特别是,理解特定特征或特征组的贡献如何随着其值的变化而变化是具有挑战性的。为了解决这个问题,我们引入了分解属性曲线(DAC),一种以(多变量)特征重要性曲线的形式提供树集成方法的解释的方法。对于一个给定的变量或一组变量,DAC绘制变量值变化时变量的重要性。我们验证DAC的真实数据显示,曲线可以用来提高逻辑斯谛回归的准确性,同时保持可解释性,包括DAC作为一个额外的功能。在模拟研究中,DAC被证明在恢复条件期望方面优于竞争方法。最后,通过对自行车共享数据集的案例研究,我们展示了使用DAC来揭示数据集的新见解。
2019-05-18 cs.LG stat.ME stat.ML
Multi forests: Variable importance for multi-class outcomes
Institute for Medical Information Processing, Biometry and Epidemiology, LMU Munich(慕尼黑大学医学信息处理、生物统计学与流行病学研究所);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Institute of AI and Informatics in Medicine, TUM School of Medicine and Health, Technical University of Munich(慕尼黑工业大学医学与健康学院医学人工智能与信息学研究所)
本研究提出名为multi forests的新型随机森林变体及两类变量重要性度量,可特异性识别多类别结局中与类别相关的协变量,虽预测性能略低于传统随机森林,但能有效弥补传统度量的类别区分不足。
2024-09-13 cs.LG stat.CO stat.ME
Flexible domain prediction using mixed effects random forests
针对小区域样本量不足下的空间指标估计问题,提出基于混合效应随机森林的小区域均值估计框架及非参数bootstrap不确定性估计方法,经数据验证和仿真对比,效果优于传统回归方法。
2022-06-03 stat.AP stat.ME
Cross-Course Generalizability of SRL-Aligned Predictive Models Using Digital Learning Traces
Hector Research Institute of Education Sciences and Psychology, University of Tübingen(教育科学与心理学赫克托研究 institute,图宾根大学);TU Dortmund University(多特蒙德技术大学);University of North-Carolina, Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Irvine(加州大学尔湾分校);Ruhr University Bochum(波鸿鲁尔大学)
研究通过分析多模态数字轨迹数据,评估SRL对齐模型在不同课程和机构中的预测性能,发现Elastic Net在跨情境泛化中表现更稳健,但模型泛化需谨慎考虑不同情境下的风险率差异。
2026-04-14 cs.CY cs.LG stat.AP
Infinite random forests for imbalanced classification tasks
针对类别不平衡分类的随机森林预测概率推断问题,研究欠采样与子采样无限随机森林的渐近性质,提出基于重要性采样的去偏方法,证明其近似极小最优性与更优渐近方差,且经模拟验证有效。
2025-05-22 math.ST stat.TH
Forest Fire Clustering for Single-cell Sequencing with Iterative Label Propagation and Parallelized Monte Carlo Simulation
Yale University(耶鲁大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Irvine(加州大学欧文分校)
在单细胞测序时代,越来越需要使用聚类方法从数据中提取见解。在这里,我们介绍森林火灾聚类,一种有效的和可解释的方法,从单细胞数据的细胞类型发现。森林火灾聚类使得最小的先验假设,并且与当前方法不同,计算每个细胞被分配细胞类型标签的非参数后验概率。这些后验分布允许评估每个细胞的标签置信度,并能够计算“标签熵”,突出显示沿发育轨迹的过渡。此外,我们表明,森林火灾聚类可以在在线学习环境中进行鲁棒的归纳推理,并且可以轻松扩展到数百万个单元格。最后,我们证明了我们的方法优于国家的最先进的聚类方法在不同的基准模拟和实验数据。总体而言,森林火灾聚类是一个有用的工具,在大规模的单细胞分析中发现罕见的细胞类型。
2022-05-26 cs.LG stat.ML