Flexible domain prediction using mixed effects random forests
针对小区域样本量不足下的空间指标估计问题,提出基于混合效应随机森林的小区域均值估计框架及非参数bootstrap不确定性估计方法,经数据验证和仿真对比,效果优于传统回归方法。
2022-06-03 stat.AP stat.ME
Making Sense of Random Forest Probabilities: a Kernel Perspective
University of Pennsylvania(宾夕法尼亚大学);Wharton School(沃顿商学院)
随机森林是用于估计机器学习分类任务中的概率的流行工具。然而,实现这一点的方法是无原则的:一个简单的计算森林中投票给某个类的树木的比例。在本文中,我们建立了随机森林和核回归之间的联系。这将随机森林概率估计置于更可靠的统计基础上。作为我们调查的一部分,我们开发了一个模型的邻近核,并将其与几何和稀疏性的估计问题。我们还提供了调整随机森林以提高其概率估计的直觉和建议。
2018-12-14 cs.LG stat.ML
Consistent Estimation of Residual Variance with Random Forest Out-Of-Bag Errors
在回归模型中估计残差方差的问题在机器学习社区中受到的关注相对较少。然而,在许多实际应用中,估计是主要的兴趣,例如,作为构建预测区间的主要步骤。在这里,我们考虑这个问题的随机森林。其中,协变量和响应变量之间的函数关系通过后者的加权和来建模。然而,在树构造过程中构造的权重中涉及依赖结构,使得模型在数学分析中变得复杂。在L2-相容随机森林模型下,给出了基于随机森林的残差方差估计,并证明了它们的相合性。
2018-12-15 math.ST stat.TH
High-Dimensional Dynamic Covariance Models with Random Forests
School of Statistics and Management, Shanghai University of Finance and Economics(上海财经大学统计与管理学院);School of Statistics, KLATASDS-MOE, East China Normal University(华东师范大学统计学院);Departments of Biostatistics, Statistics, Computer Science, and Genetics, The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校生物统计学、统计学、计算机科学和遗传学系)
针对高维动态协方差估计问题,提出首个基于随机森林的多协变量非参数方法,建立了含非渐近误差率的一致收敛理论,经模拟和股票数据验证可有效建模高维复杂动态。
2025-05-18 cs.LG stat.ML
Confidence Band Estimation for Survival Random Forests
生存随机森林是一种流行的机器学习工具,用于建模删失生存数据。然而,目前还没有统计上有效和计算上可行的方法来估计其置信带。本文推广了无限阶不完全U统计量的最新发展,提出了一种无偏置信带估计。其思想是估计时间点网格上累积风险函数预测的方差-协方差阵。然后,我们通过将累积风险函数估计视为高斯过程来生成置信带,其分布可以通过模拟来近似。当树的子采样大小不大于总训练样本量的一半时,这种方法在计算上容易实现。数值研究表明,我们提出的方法准确地估计的置信带,并达到预期的覆盖率。我们将此方法应用于退伍军人管理局肺癌数据。
2022-04-26 stat.CO stat.ME stat.ML
Analysing Opportunity Cost of Care Work using Mixed Effects Random Forests under Aggregated Auxiliary Data
针对小区域估计中现有方法需单元级人口辅助数据的限制,提出通过校准权重纳入聚合辅助数据的混合效应随机森林方法,用于照料工作机会成本估计,经德国数据与模拟验证有效。
2025-04-22 stat.AP stat.ME
Transformation Forests
具有连续目标的监督学习问题的回归模型通常被理解为给定预测器的目标的条件均值的模型。这个概念很简单,因此吸引了解释和可视化。然而,从这些模型中无法获得关于整个潜在条件分布的信息。对回归模型作为条件分布的模型的更一般的理解允许从这样的模型进行更广泛的推断,例如预测区间的计算。几种随机森林类型算法旨在估计条件分布,最突出的是分位数回归森林(Meinshausen,2006年,JMLR)。我们提出了一种新的方法的基础上,其特征在于其转换功能的分布的参数家庭。一个专用的新的“转换树”算法能够检测分布的变化。基于这些转换树,我们引入“转换森林”作为条件分布函数的自适应局部似然估计。由此产生的模型是完全参数化的,但非常一般,并允许广泛的推理程序,如基于模型的引导,以一种简单的方式应用。
2018-01-08 stat.ME stat.ML
TrIM: Transformed Iterative Mondrian Forests for Gradient-based Dimension Reduction and High-Dimensional Regression
California Institute of Technology(加州理工学院);University of Toronto(多伦多大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学)
提出一种计算高效的梯度线性降维和高维回归算法,通过Mondrian森林估计期望梯度外积矩阵,并迭代更新特征和权重以提升回归性能,理论保证一致性。
2026-06-16 math.ST stat.ML stat.TH
Model-assisted estimation through random forests in finite population sampling
在调查中,人们的兴趣在于估计有限的人口参数,如人口总数和平均数。在大多数调查中,在估计阶段就有一些辅助信息。此信息可并入估计程序中以增加其精确度。在本文中,我们使用随机森林来估计调查变量和辅助变量之间的函数关系。近年来,随机森林已变得很有吸引力,因为国家统计局现在可以获得各种数据来源,有可能展示对大量变量的大量观测结果。我们建立了基于随机森林的模型辅助程序的理论性质,并推导出相应的方差估计。处理多个调查变量的模型校准程序也进行了讨论。模拟研究的结果表明,所提出的点和估计程序执行良好的偏差,效率和覆盖率的正常为基础的置信区间,在各种各样的设置。最后,我们应用所提出的方法使用的数据,由Médiamétrie,法国观众公司收集的电台观众。
2021-06-17 stat.ME
Estimating the Operating Characteristics of Ensemble Methods
在本文中,我们提出了一种技术,使用自助估计的操作特性和它们的变化,某些类型的集成方法。如果训练数据集很大,则自举模型可能需要大量的工作。幸运的是,在许多情况下,这项技术可以让我们确定无限恢复的影响,而无需实际改装单个模型。我们应用该技术的随机森林的元参数选择的研究。我们证明,替代引导聚合和考虑\sqrt{d}功能,分裂每个节点,其中d是功能的数量,可以产生预测精度的提高。
2017-10-24 stat.ML
SHAFF: Fast and consistent SHApley eFfect estimates via random Forests
Safran Tech(赛峰科技);Sorbonne Université(索邦大学);Ecole Polytechnique(巴黎综合理工学院)
学习算法的可解释性对于涉及关键决策的应用至关重要,变量重要性是主要的解释工具之一。Shapley效应现在被广泛用于解释树集合和神经网络,因为它们可以有效地处理数据中的依赖性和相互作用,而不是大多数其他变量重要性度量。然而,由于计算复杂性和条件期望估计,估计Shapley效应是一项具有挑战性的任务。因此,现有的Shapley算法有缺陷:昂贵的运行时间,或输入变量依赖时的偏差。因此,我们通过随机森林引入SHAFF,SHAPley效应,即使在输入变量相关时,也是快速准确的Shapley效应估计。我们通过理论分析其一致性,并通过大量的实验与竞争对手的实际性能改进SHAFF效率。SHAFF在C++和R中的实现可以在线获得。
2022-02-02 cs.LG stat.ML
Generalized Random Forests using Fixed-Point Trees
Department of Mathematics and Statistics, McGill University, Montreal, Canada(数学与统计学系,麦吉尔大学,加拿大蒙特利尔);Mila - Quebec AI Institute, Montreal, Quebec, Canada(魁北克AI研究院,加拿大蒙特利尔)
针对高维异质性效应估计中广义随机森林计算成本高、不稳定的问题,提出基于不动点近似的无梯度方法,保留理论保证的同时实现数倍加速,为相关应用提供可扩展替代方案。
2025-06-16 cs.LG stat.ME stat.ML
Formal Hypothesis Tests for Additive Structure in Random Forests
虽然统计学习方法已被证明是预测建模的强大工具,但它们产生的模型的黑盒性质可能严重限制其可解释性和进行正式推理的能力。然而,当用适当的子样本构建基础学习器时,像袋装树和随机森林这样的集成学习器的自然结构已被证明具有理想的渐进特性。在这项工作中,我们证明,通过定义一个适当的网格结构的协变量空间,我们可以进行正式的假设检验变量的重要性和潜在的加性模型结构。据我们所知,这些测试代表了在随机森林等背景下研究潜在回归结构的第一个统计工具。我们开发的概念,总和部分加性,并进一步证明,可以进行测试,在没有额外的计算成本,通过估计方差内的过程中构建合奏。此外,我们提出了一种新的扩展这些测试程序,利用随机投影,以允许计算效率高的测试程序,即使当网格大小比训练集大得多,保持高功率。
2016-08-26 stat.AP stat.ML
Tree-based methods for estimating heterogeneous model performance and model combining
本文提出基于树的方法数据驱动地识别模型性能存在差异的子组,扩展至随机森林和梯度提升等树集成,并应用于模型组合,通过模拟和肺癌筛查数据验证。
2025-06-02 stat.ME
Stable Graphical Model Estimation with Random Forests for Discrete, Continuous, and Mixed Variables
条件独立图是许多变量之间成对条件独立的简洁表示。图形随机森林(GRaFo)是一种估计混合类型(即连续和离散)变量之间的成对条件独立关系的新方法。边的数量是任何图形模型估计器中的一个调整参数,并且没有明显的数字构成一个好的选择。“稳定性选择”有助于根据预期误报数的界限选择此参数(错误控制)。在样本量为n = 100(极大似然为n = 500)时,对GRaFo的性能进行了评价,并与p = 50、100和200个可能的混合型变量的各种其他方法进行了比较。此外,GRaFo适用于瑞士健康调查的数据,以评估它在多大程度上能够再现世界卫生组织国际功能、残疾和健康分类所假设的功能健康组成部分、个人和环境因素之间的相互联系。最后,GRaFo用于确定可能与患有21三体并经历了心脏直视手术的儿童的不良神经发育相关的风险因素。GRaFo在混合数据中表现良好,并且由于稳定性选择,它为假阳性选择提供了错误控制机制。
2012-11-30 stat.AP stat.CO stat.ME
Estimating NBA players salary share according to their performance on court: A machine learning approach
研究者和实践者习惯于拟合线性模型,以便根据球员在球场上的表现来预测NBA球员的工资。相反,我们首先选择最重要的决定因素或统计数据(在联赛中的经验,比赛等)来关注球员的工资份额(关于球队的工资)。然后利用它们通过采用非线性随机森林机器学习算法来预测球员薪水。我们从外部评估我们的工资预测,从而避免了大多数论文中观察到的过度拟合现象。总体而言,使用2017-2019年三个不同时期的数据,我们确定了实现非常令人满意的工资预测的重要因素,并得出了有用的结论。
2020-10-31 stat.AP stat.ML
RieszNet and ForestRiesz: Automatic Debiased Machine Learning with Neural Nets and Random Forests
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research New England(微软新英格兰研究院)
许多利益的因果和政策效应是由高维或非参数回归函数的线性泛函定义的。$\sqrt{n}$ -对感兴趣对象的一致和渐近正态估计需要去偏,以减少正则化和/或模型选择对感兴趣对象的影响。去偏通常通过向泛函的插入估计器添加校正项来实现,这导致诸如半参数效率、双鲁棒性和奈曼正交性等属性。我们实现了一个自动去偏过程的基础上自动学习的Riesz表示的线性功能,使用神经网络和随机森林。我们的方法只依赖于黑盒评估Oracle访问的线性功能,并不需要其解析形式的知识。我们提出了一个多任务神经网络去偏方法与随机梯度下降最小化的组合Riesz代表和回归损失,同时共享表示层的两个功能。我们还提出了一个随机森林方法,学习的Riesz函数的局部线性表示。尽管我们的方法适用于任意泛函,但我们通过实验发现,对于平均治疗效果泛函的情况,与Shi等人(2019)基于神经网络的最新算法相比,它表现良好。我们还评估了我们的方法估计平均边际效应的问题,连续治疗,使用半合成数据的汽油价格变化对汽油需求。
2022-06-15 cs.LG econ.EM stat.ML
Estimating Chlorophyll a Concentrations of Several Inland Waters with Hyperspectral Data and Machine Learning Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
水是生命、自然环境和人类健康的关键组成部分。为了监测水体的状况,叶绿素a浓度可以作为营养物和氧气供应的代表。水质参数的现场测量通常耗时、昂贵且区域有效性有限。因此,我们采用遥感技术。在野外活动中,我们用光谱仪收集了高光谱数据,并现场测量了13个具有不同光谱特征的内陆水体的叶绿素a浓度。本研究的目的之一是估计叶绿素a浓度的内陆水域,通过应用三个机器学习回归模型:随机森林,支持向量机和人工神经网络。此外,我们模拟了四个不同的光谱仪数据的高光谱分辨率的估计性能的影响进行调查。此外,一阶导数的光谱的应用,依次评估回归性能。这项研究揭示了将机器学习方法与内陆水域遥感数据相结合的潜力。对于叶绿素a浓度的回归,每个机器学习模型实现80%至90%之间的R2分数。随机森林模型明显受益于所应用的光谱导数。在进一步的研究中,我们将侧重于光谱卫星数据的机器学习模型的应用,以加强内陆水域叶绿素a浓度的区域范围估计。
2019-04-03 cs.CV q-bio.QM stat.AP
Estimating the time-lapse between medical insurance reimbursement with non-parametric regression models
University of Lagos(拉各斯大学)
非参数监督学习算法代表了一类简洁的监督学习算法,其中学习参数是高度灵活的,并且其值直接取决于训练数据的大小。本文比较研究了四种非参数算法:K-近邻算法(KNN)、支持向量机(SVM)、决策树和随机森林。监督学习任务是对医疗保险报销时间间隔的回归估计。我们的研究关注的是每个非参数回归模型与训练数据的拟合程度。我们使用R平方度量量化拟合优度。重点讨论了训练数据大小、特征空间维数和超参数优化对分类结果的影响。
2020-08-19 cs.LG stat.ML
Targeted tuning of random forests for quantile estimation and prediction intervals
本文提出随机森林的QCL调参方法,通过最小化袋外分位数覆盖概率偏差来改善分位数估计与预测区间,并适配删失数据,在覆盖准确性和MSE上优于默认及传统调参。
2025-07-02 stat.AP stat.ME stat.ML
Conditional Distribution Estimation for Functional Responses with Random Forests
Fred Hutchinson Cancer Center(弗雷德·哈钦森癌症中心);Department of Statistics and Data Sciences, University of Texas at Austin(德克萨斯大学奥斯汀分校统计与数据科学系)
该研究提出函数分布随机森林方法,实现函数响应条件分布的非参数估计,在模拟和NHANES数据应用中均表现优于基线方法,可捕捉分布变化与协变量关联。
2026-08-11 stat.ME stat.ML
ROSE Random Forests for Robust Semiparametric Efficient Estimation
针对半参数有效估计在实践中难以实现的问题,提出ROSE随机森林估计器,通过估计最优权重实现稳健半参数效率,在模拟和真实数据上验证了有效性。
2024-12-17 math.ST stat.TH
Cross-Course Generalizability of SRL-Aligned Predictive Models Using Digital Learning Traces
Hector Research Institute of Education Sciences and Psychology, University of Tübingen(教育科学与心理学赫克托研究 institute,图宾根大学);TU Dortmund University(多特蒙德技术大学);University of North-Carolina, Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Irvine(加州大学尔湾分校);Ruhr University Bochum(波鸿鲁尔大学)
研究通过分析多模态数字轨迹数据,评估SRL对齐模型在不同课程和机构中的预测性能,发现Elastic Net在跨情境泛化中表现更稳健,但模型泛化需谨慎考虑不同情境下的风险率差异。
2026-04-14 cs.CY cs.LG stat.AP
Attenuated Heterogeneity in Fixed-Effects Causal Forests, and a Cross-Fitted Correction
Amazon Web Services(亚马逊云科技)
研究固定效应面板设置中因果森林估计条件平均治疗效果时异质性衰减问题,刻画其随设计变化情况,提出用Chernozhukov等人的校准方法补救,模拟和实际应用中均有效果,方法集成到Python包。
2026-07-28 econ.EM stat.ML
Estimating a graph's spectrum via random Kirchhoff forests
本文提出利用随机Kirchhoff森林估计大型图拉普拉斯算子的非线性矩,进而组合成谱密度估计,在精度要求不高时实现亚线性时间谱估计。
2025-03-31 math.ST stat.CO stat.TH
Distributional Random Forests for Complex Survey Designs
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出了一种基于复杂数次调查设计的分布式随机森林方法,用于估计条件分布及其连续函数,通过伪总体Bootstrap、PSU层级诚实度和MMD分割准则实现设计一致性与模型一致性,展示了其在糖尿病生物标志物分析中的应用。
2026-07-28 stat.ME stat.ML
On PAC-Bayesian Bounds for Random Forests
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
原始随机森林算法是最常用的机器学习方法之一,现有的保证在泛化误差的严格上界方面是不能令人满意的。我们讨论和评估各种PAC贝叶斯方法来获得这样的界限。边界不需要额外的保持数据,因为可以利用训练过程中装袋的袋外样本。随机森林通过对决策树的集合进行多数投票来进行预测。第一种方法是将投票的误差限制为相应吉布斯分类器的误差的两倍(用随机选择的集合的单个成员进行分类)。然而,这种方法并没有考虑在进行多数投票时平均各个分类器的错误的效果。当错误是独立的或负相关的时,这种效应提供了性能的显著提升,但是当相关性很强时,采取多数投票的优势很小。第二种方法的基础上PAC-Bayesian的C-边界考虑到合奏成员之间的依赖关系,但它需要估计的各个分类器的错误之间的相关性。当相关性高或估计差时,边界退化。在我们的实验中,我们计算泛化界的随机森林在各种基准数据集。由于单个决策树已经表现良好,因此它们的预测高度相关,并且C边界不会导致令人满意的结果。出于同样的原因,基于吉布斯分类器的分析的边界通常是优越的,并且通常是合理的紧。基于验证集的边界以较小的训练集为代价,提供了更好的性能保证,但在大多数实验中性能较差。
2019-03-06 cs.LG stat.ML
Estimating Tail Probabilities of the Ratio of the Largest Eigenvalue to the Trace of a Wishart Matrix
本文提出了一种有效的蒙特卡罗方法来估计Wishart矩阵的最大特征值与迹之比的尾概率,这在多元数据分析中起着重要的作用。该估计是基于一个改变的测量技术,它被证明是渐近有效的实和复杂的Wishart矩阵。仿真研究进一步表明,所提出的方法优于现有的方法的基础上渐近近似,特别是在估计概率的罕见事件。
2018-03-25 stat.CO stat.ME
Efficient Log-Rank Updates for Random Survival Forests
Monash University(莫纳什大学);Stanford University(斯坦福大学);Fred Hutchinson Cancer Center(弗雷德·哈钦森癌症中心);University of Washington(华盛顿大学)
本文提出了一种常数时间更新方法,用于提升随机生存森林在处理大规模长期随访数据时的效率,同时保持预测准确性。
2026-04-21 stat.CO stat.ME