A Factored Generalized Additive Model for Clinical Decision Support in the Operating Room
Washington University in St Louis（圣路易斯华盛顿大学）
逻辑回归（LR）被广泛用于临床预测，因为它部署简单，易于解释。然而，作为一个线性模型，LR的表达能力有限，往往表现不理想。广义加性模型（GAM）通过输入特征的变换来扩展线性模型，尽管并非所有GAM变体都允许特征交互。在本文中，我们提出了一种因子化广义加性模型（F-GAM），以保留目标特征的模型可解释性，同时允许丰富的模型与个人内部固定的特征进行交互。我们从单中心数据库中评估F-GAM对术后急性肾损伤和急性呼吸衰竭两个目标的预测。我们发现优越的模型性能的F-GAM的AUPRC和AUROC相比，其他几个GAM实现，随机森林，支持向量机，和一个深神经网络。我们发现，模型的可解释性是好的，结果具有较高的表面效度。
2019-07-29 cs.LG stat.ML
Correlation and variable importance in random forests
研究了预测变量相关时随机森林算法的变量选择问题。在高维回归或分类框架中，变量选择是一项困难的任务，在存在高度相关的预测因子时变得更具挑战性。首先，我们对可加回归模型的排列重要性测度进行了理论研究。这使我们能够描述预测变量之间的相关性如何影响排列重要性。我们的研究结果激励使用递归特征消除（RFE）算法在这种情况下的变量选择。该算法使用排列重要性作为排序准则，递归地消除变量。接下来的各种模拟实验说明了RFE算法的效率，用于选择少量的变量以及良好的预测误差。最后，该选择算法进行了测试的Landsat卫星数据从UCI机器学习知识库。
2016-04-18 stat.ME
Grouped variable importance with random forests and application to multiple functional data analysis
被认为是使用随机森林算法的分组变量的选择。首先，提出了一种新的适用于变量组的重要性度量。理论上的见解，这一标准的添加剂回归模型。其次，开发了一种基于分组变量重要性测度的函数变量选择方法。使用小波基，它建议重组所有的小波系数为一个给定的功能变量，并使用这些群体的包装选择算法。提出了利用小波基的频率和时间局部化的各种其他分组。进行了广泛的模拟研究，以说明在这种情况下使用的分组的重要性措施。该方法被应用到一个现实生活中的问题来自航空安全。
2015-05-19 stat.ME
Uncertainty Quantification in Ensembles of Honest Regression Trees using Generalized Fiducial Inference
由于它们的准确性，基于回归树集合的方法是一种流行的预测方法。一些常见的例子包括贝叶斯加性回归树，boosting和随机森林。本文主要研究诚实随机森林，它是在原始随机森林的基础上增加了诚实性，并被证明具有更好的统计性质。主要贡献是一个新的方法，量化的不确定性的估计和预测所产生的诚实的随机森林。该方法是基于广义的基准方法，并提供了一个基准密度函数，衡量每一个单一的诚实的树是真实的模型。利用这样的密度函数，可以获得估计和预测，以及它们的置信/预测区间。通过与几种最先进的方法的数值比较，并通过应用到一些实际数据集，证明了所提出的方法的有前途的经验性质。最后，所提出的方法在理论上支持了一个强大的渐近保证。
2019-11-14 math.ST stat.ME stat.ML
Consistency of random forests
随机森林是Breiman [Mach.学习. 45（2001）5- 32]，其组合若干随机化决策树并通过平均来聚集它们的预测。尽管其广泛的用途和突出的实际性能，很少有人知道的数学性质的过程。理论和实践之间的这种差距源于同时分析随机化过程和高度数据依赖的树结构的困难。在本文中，我们采取了一个步骤，在森林探索证明的一致性结果Breiman的[马赫。学习. 45（2001）5- 32]在加法回归模型的上下文中的原始算法。我们的分析还揭示了随机森林如何很好地适应稀疏性。1.导论.随机森林是一种用于分类和回归的集成学习方法，它在训练阶段构建许多随机决策树，并通过平均结果进行预测。自Breiman（2001）的开创性论文发表以来，该程序已成为一种主要的数据分析工具，与许多标准方法相比，在实践中表现良好。森林理论的流行主要是因为它可以应用于各种预测问题，而且几乎没有什么参数需要调整。除了使用简单之外，该方法还因其准确性和处理小样本量、高维特征空间和复杂数据结构的能力而被普遍认可。随机森林方法已成功地应用于许多实际问题，包括空气质量预测（2012年EMC数据科学全球黑客大赛的获奖代码，参见http：//www.kaggle.com/c/dsg-hackerisk）、化学信息学[Svetnik等人（2003）]、生态学[Prasad、Iverson和Liaw（2006）、Cutler等人（2007）…
2015-08-08 math.ST stat.ML stat.TH
Attenuated Heterogeneity in Fixed-Effects Causal Forests, and a Cross-Fitted Correction
Amazon Web Services（亚马逊云科技）
研究固定效应面板设置中因果森林估计条件平均治疗效果时异质性衰减问题，刻画其随设计变化情况，提出用Chernozhukov等人的校准方法补救，模拟和实际应用中均有效果，方法集成到Python包。
2026-07-28 econ.EM stat.ML
Fast Interpretable Greedy-Tree Sums
National University of Singapore（新加坡国立大学）；UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）；Overjet；UC San Francisco（加州大学旧金山分校）
本文提出FIGS模型，通过同时生长多棵决策树并以求和方式组合来适应加性结构，在保持可解释性的同时取得最先进预测性能，并进一步提出G-FIGS和Bagging-FIGS以分别处理医学数据异质性和避免过拟合。
2023-07-08 cs.AI cs.LG stat.AP
Extremal Random Forests
本文提出极值随机森林 ERF，结合分位数随机森林权重、局部广义 Pareto 似然与形状参数惩罚，实现高维复杂情形下的极端分位数外推回归，并证明一致性、验证其性能优势。
2024-01-22 stat.ME
The Yield Curve as a Recession Leading Indicator. An Application for Gradient Boosting and Random Forest
University of Huelva（韦尔瓦大学）；Complutense University of Madrid（马德里康普顿斯大学）
最具代表性的决策树集成方法已被用来检查美国国债期限利差预测美国经济衰退的变量重要性与美国经济衰退检测的生成规则的平衡。提出了一种策略来训练分类器与国债期限利差数据和结果进行比较，以选择最佳的模型的解释性。我们还讨论了使用SHapley加法解释（SHAP）框架，通过分析特征重要性来理解美国经济衰退预测。与现有文献一致，我们发现最相关的国债期限利差预测美国经济衰退和经济衰退检测相关规则的检测方法。在这种情况下，发现的最相关的期限利差是3个月至6个月，建议由经济当局监测。最后，该方法检测出了预测经济衰退的规则，这些规则可以被这些实体用于这一提议。后一个结果与越来越多的文献相反，这些文献证明机器学习方法对于解释比较许多替代算法是有用的，我们讨论了我们的结果的解释，并提出了与这项工作相一致的进一步研究路线。
2022-03-13 cs.LG stat.ML
Random forests for binary geospatial data
本文提出RF-GP方法，将RF-GLS与广义混合效应模型结合，通过链接反演技术实现二值地理空间数据的非线性均值函数估计与空间预测，并建立了理论一致性保证。
2025-02-06 stat.ME stat.ML
Exogenous Randomness Empowering Random Forests
University of Southern California（南加州大学）
本文探讨了外生随机性对随机森林的影响，识别出特征子采样和平局打破两类随机性，推导了均方误差的非渐近展开与一致性条件，并发现特征子采样能平衡偏差与方差，甚至使噪声特征成为提升性能的“祝福”。
2024-11-12 cs.LG math.ST stat.ML
A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds
UC Berkeley（加州大学伯克利分校）；Chan-Zuckerberg Biohub（陈-扎克伯格生物中心）
决策树是重要的，既作为可解释的模型服从高风险决策，并作为集成方法，如随机森林和梯度提升的构建块。然而，它们的统计特性还没有得到很好的理解。引用最多的先前的作品集中在经典的非参数回归设置中的CART导出逐点一致性保证。我们采取不同的方法，并主张研究决策树的泛化性能相对于不同的生成回归模型。这使我们能够引出他们的归纳偏见，即算法对新数据进行归纳（或不进行归纳）的假设，从而指导从业者何时以及如何应用这些方法。在本文中，我们专注于稀疏加法生成模型，这既有低的统计复杂性和一些非参数的灵活性。我们证明了一个尖锐的平方误差推广下界的一大类决策树算法适合稀疏加性模型与$C^1$组件功能。令人惊讶的是，这个界限比估计这种稀疏加性模型的极大极小率差得多。效率低下不是因为贪婪，而是因为当我们仅对每个叶子平均响应时，检测全局结构的能力下降，这一观察结果表明有机会改进基于树的算法，例如，通过分层收缩。为了证明这些界限，我们开发了新的技术机器，建立了一个新的连接之间的决策树估计和率失真理论，信息论的一个子领域。
2021-10-18 cs.IT cs.LG math.IT
FACT: High-Dimensional Random Forests Inference
Academia Sinica（中央研究院）；University of Southern California（南加州大学）
针对随机森林特征重要性度量存在偏差且缺乏功效分析的问题，本文提出基于假设检验的自归一化特征残差相关性检验（FACT），在高维非参数相依特征下控制第一类错误并具备良好功效，通过模拟与经济预测验证其有效性。
2023-11-13 cs.LG math.ST stat.ML
MDA for random forests: inconsistency, and a practical solution via the Sobol-MDA
Safran Tech（赛峰科技）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
变量重要性度量是分析随机森林黑箱机制的主要工具。虽然平均减少精度（MDA）被广泛接受为最有效的随机森林变量的重要性措施，很少有人知道它的统计特性。事实上，MDA的定义在主要的随机森林软件中各不相同。在本文中，我们的目标是严格分析主要MDA实现的行为。因此，我们数学形式化的各种实现MDA算法，然后建立他们的限制时，样本量增加。这种渐近分析表明，这些MDA版本不同的重要性措施，因为它们收敛到不同的数量。更重要的是，我们将这些限制分解为三个部分：前两项与Sobol指数相关，Sobol指数是协变量对响应方差的贡献的定义明确的度量，广泛用于敏感性分析领域，而第三项则相反，其值随着协变量内的依赖性而增加。因此，我们从理论上证明，MDA不针对正确的数量来检测有影响力的协变量在一个依赖的设置，一个事实，已经注意到实验。为了解决这个问题，我们为随机森林定义了一个新的重要性度量，Sobol-MDA，它修复了原始MDA的缺陷，并一致地估计了在没有给定协变量的情况下重新训练的森林的准确性下降，但具有有效的计算成本。Sobol-MDA在变量选择的模拟和真实数据上的经验表现优于其竞争对手。在R和C++中的开源实现可以在线获得。
2022-03-01 cs.LG stat.ML
Integrating Random Forests and Generalized Linear Models for Improved Accuracy and Interpretability
Department of Statistics University of California, Berkeley（加州大学伯克利分校统计学系）；Department of Statistics University of California, Irvine（加州大学伊尔市统计学系）；Department of Statistics and Data Science National University of Singapore（新加坡国立大学统计学与数据科学系）；Department of Applied and Computational Mathematics and Statistics University of Notre Dame（圣约翰大学应用与计算数学与统计学系）；Department of Statistics, EECS, CCB University of California, Berkeley（加州大学伯克利分校统计学系、电子工程与计算机科学系、中心计算中心）
本文提出RF+框架，将随机森林与广义线性模型结合，并改进特征重要性方法MDI+，在预测准确性和特征识别上显著优于现有方法，并在药物反应和乳腺癌亚型研究中验证了稳定性。
2025-05-23 cs.AI cs.LG stat.ME
Balancing Flexibility and Interpretability: A Conditional Linear Model Estimation via Random Forest
本文提出用改进的 Random Forest 估计协变量条件下的线性系数函数 β(Z)，兼顾灵活性与可解释性，并给出收敛速度、中心极限定理及 Monte Carlo 验证。
2025-02-19 econ.EM stat.ME
Testing for Regression Heteroskedasticity with High-Dimensional Random Forests
高维回归异方差性的统计推断是一个重要但尚未充分研究的问题。本文旨在填补这一空白，提出了两个测试，即方差差检验和方差差Breusch-Pagan检验，用于评估高维回归异方差性。前者测试一个感兴趣的解释性特征是否与一个响应变量的条件方差相关，而后者测试回归中的异方差性，这被称为Breusch-Pagan测试问题。为了正式建立测试，我们推导出严格的P值和测试大小，并分析了高维输入特征的非参数异方差数据生成模型下的测试能力。这样的模型设置考虑到高维应用程序的灵活结构的异方差性和功能具有相互作用的影响的平均值的响应，这些是常见的应用程序在许多领域，如生物学。我们的方法利用机器学习均值预测方法，如随机森林，并使用仿制品变量作为阴性对照。特别是，我们的检验统计量的仿冒品定义比仿冒品的原始定义更加灵活，我们对这两个定义进行了详细比较，并讨论了我们的仿冒品的优势。模拟结果和HIV（人类免疫缺陷病毒）的案例研究说明了所提出的测试令人满意的经验性能。
2022-12-05 stat.ME
Scalable and Efficient Hypothesis Testing with Random Forests
在过去的十年中，随机森林已经成为最准确和最流行的监督学习方法之一。虽然它们的黑箱性质使它们的数学分析变得困难，但最近的工作已经通过考虑子采样代替自举建立了重要的统计特性，如一致性和渐近正态性。虽然这样的结果打开了传统的推理程序的大门，所有正式的方法，迄今为止提出的地方严格限制的测试框架和他们的计算开销排除其实际的科学用途。在这里，我们提出了一个置换式的测试方法，正式评估功能的重要性。我们建立了渐近有效性的测试，通过交换参数，并表明该测试保持高功率的数量级较少的计算。同样重要的是，该过程很容易扩展到大数据设置，其中可以使用大型训练和测试集，而无需构建额外的模型。随机森林最近表现出希望的生态数据的模拟和应用。
2019-12-06 stat.ME stat.ML
Forest Garrote
最近，高维线性模型的变量选择受到了很多关注，主要是在l1正则化的背景下。吸引人的部分原因是变量选择效应：得到了非常适合解释的简约模型。然而，就预测能力而言，这些正则化线性模型通常略逊于树集成等机器学习过程。另一方面，树系综通常缺乏变量选择的正式方式，并且难以可视化。提出了一种适用于树系综，特别是随机森林的Garrote式凸罚函数。惩罚选择树中节点的功能组。这些可以简单到单个预测变量的单调函数。这产生了一个简约的函数拟合，它很容易可视化和解释。预测能力至少保持在与原始树集合相同的水平。该方法的一个关键特征是，一旦一个树系综拟合，没有进一步的调整参数需要选择。实证表现证明了广泛的数据集。
2009-06-19 stat.ML
Quantifying Uncertainty in Random Forests via Confidence Intervals and Hypothesis Tests
这项工作开发了正式的统计推断程序的机器学习集成方法。基于自举的包围方法，如装袋和随机森林，提高了单个树的预测精度，但未能提供一个框架，其中分布的结果可以很容易地确定。我们考虑通过对训练集的子样本构建的树进行平均来进行预测，而不是聚合完整的自举样本，并证明所得估计量采用U统计量的形式。因此，各个特征向量的预测是渐近正态的，允许置信区间伴随预测。在实践中，子样本的子集用于计算速度;在这里，我们的估计量采用不完全U统计量的形式，并得出等效的结果。我们进一步证明，这种设置提供了一个框架来测试功能的重要性。此外，我们开发的内部估计方法允许我们估计方差参数，并在没有额外的计算成本进行这些推理程序。提供了一个真实的数据集上的模拟和插图。
2015-09-10 stat.AP stat.CO stat.ME
A Central Limit Theorem for the permutation importance measure
TU Dortmund University（多特蒙德工业大学）；University Alliance Ruhr（鲁尔大学联盟）
本文通过U统计量理论证明了随机森林排列重要性度量的中心极限定理，为该度量的理论分析提供了基础，并通过模拟研究展示了其在实际应用中的潜力。
2026-09-09 math.ST stat.ML stat.TH
Accelerated and interpretable oblique random survival forests
斜随机生存森林（RSF）是一种用于右删失结果的集成监督学习方法。斜RSF中的树使用预测器的线性组合来生长以创建分支，而在标准RSF中，使用单个预测器。斜RSF集成通常具有比标准RSF集成更高的预测精度。然而，评估所有可能的预测因子线性组合会导致显着的计算开销，从而限制了对大规模数据集的应用。此外，很少有方法已经开发的斜RSF合奏的解释，他们仍然更难以解释相比，他们的轴为基础的同行。我们介绍了一种方法，以提高斜RSF的计算效率和方法来估计的斜RSF的个别预测变量的重要性。我们的策略，以减少计算开销，利用牛顿-拉夫森评分，一个经典的优化技术，我们适用于Cox偏似然函数内的每个非叶节点的决策树。我们通过否定线性组合中用于给定预测的每个系数来估计斜RSF的各个预测因子的重要性，然后计算袋外准确度的降低。在一般的基准测试实验中，我们发现，我们的实施斜RSF是约450倍的速度与同等的歧视和优越的Brier分数相比，现有的软件斜RSFs。我们发现，在模拟研究中，“否定重要性”区分相关和不相关的预测更可靠的排列的重要性，Shapley添加剂的解释，和以前介绍的技术来衡量变量的重要性与斜RSFs的基础上方差分析。本研究中介绍的方法可在RISSF R软件包中获得。
2022-08-01 stat.ME stat.ML
Seeing the Forest for the Trees: The Gaussian Process Limit of BART
Pennsylvania State University（宾夕法尼亚州立大学）；Yale University（耶鲁大学）
本文研究树数量趋向无穷时BART的行为，证明其收敛到特定高斯过程，引入随机树特征作为近似并证明其岭回归达极小极大最优学习率，兼具计算优势与更广适用性。
2026-09-02 math.ST stat.ME stat.ML
