Longitudinal Random Forests for Sparse and Irregular Response Trajectories
Department of Mathematics and Statistics, Binghamton University（数学与统计学系，宾夕法尼亚大学伯灵顿分校）；Department of Mathematics, Illinois State University（数学系，伊利诺伊州立大学）；Department of Biostatistics, The University of North Carolina at Chapel Hill（生物统计学系，北卡罗来纳大学教堂山分校）
针对纵向研究中稀疏不规则响应轨迹问题，提出纵向随机森林（LRF）框架，利用树集成学习与自适应节点级轨迹估计，有五项方法贡献，模拟显示其性能优越，能解决五个重要临床问题。
2026-07-27 cs.LG stat.ME stat.ML
A path in regression Random Forest looking for spatial dependence: a taxonomy and a systematic review
University of Pavia（帕维亚大学）；University of Bergamo（贝加莫大学）；University of Turin（都灵大学）
本研究提出一种分类法，系统综述了回归随机森林中融入空间依赖性的预处理、处理中及后处理策略，基于PRISMA方法筛选32篇文献，并应用于AgrImOnIA项目。
2023-10-17 cs.LG stat.AP stat.ML
Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers
University of Cambridge（剑桥大学）
本文提出将随机森林视为自适应正则化平滑器，揭示其通过平滑效应、减少学习函数变异性及丰富假设空间三种机制提升性能，挑战仅归因于方差降低的传统观点。
2024-02-02 cs.LG stat.ML
The Mondrian Kernel
我们介绍了蒙德里安内核，一个快速的随机特征近似拉普拉斯内核。它适用于批量和在线学习，并允许快速的内核宽度选择过程，因为随机特征可以有效地重用于所有内核宽度。这些特征是通过蒙德里安过程[Roy和Teh，2009]通过采样树构建的，我们强调了与蒙德里安森林的联系[Lakshminarayanan等人，2014]，其中树也通过蒙德里安过程采样，但独立拟合。此链接为核方法和随机森林之间的关系提供了新的见解。
2016-06-16 stat.ML
On the Use of Random Forest for Two-Sample Testing
遵循基于分类的双样本测试的路线，提出了基于随机森林分类器的测试。开发的测试易于使用，几乎不需要调优，并且适用于$\mathbb{R}^d$上的任何发行版。此外，随机森林的内置变量重要性度量提供了潜在的洞察力，可以了解哪些变量造成了分布的差异。一个渐近功率分析所提出的测试。最后，两个现实世界的应用程序说明了所介绍的方法的实用性。为了简化该方法的使用，提供了R包“hypoRF”。
2021-05-06 stat.ME
Cluster Forests
受随机森林分类方法的启发，提出了一种新的聚类集成方法-聚类森林。在几何上，CF随机探测高维数据云以获得“良好的局部聚类”，然后通过谱聚类进行聚合以获得整个数据集的聚类分配。搜索良好的本地聚类是由一个集群质量测量Kappa。CF以类似于RF中的树生长的方式逐步改进每个局部聚类。在两种不同的性能指标下对几个真实数据集的实证研究表明，CF优于其竞争对手。理论分析表明，kappa测度使局部聚类以一种理想的方式增长成为可能--它是“抗噪声”的。在扰动模型下，得到了谱聚类误聚类率的封闭表达式，从而对谱聚类的某些方面有了新的认识。
2013-05-23 cs.LG stat.ME stat.ML
From global to local MDI variable importances for random forests and when they are Shapley values
University of Liège（列日大学）
随机森林因其提供所谓的重要性度量的能力而被广泛使用，这些度量在全球（每个数据集）水平上提供了对输入变量的相关性的洞察力，以预测特定的输出。另一方面，引入了基于Shapley值的方法，将基于树的模型中的特征相关性分析细化到局部（每个实例）级别。在这种情况下，我们首先表明，全球平均减少杂质（MDI）变量的重要性得分对应于Shapley值在某些条件下。然后，我们推导出一个局部MDI变量相关性的重要性度量，它与全局MDI度量有着非常自然的联系，并且可以与局部特征相关性的新概念相关联。我们进一步链接本地MDI的重要性与Shapley值，并讨论他们在文献中的相关措施。通过对几个分类和回归问题的实验说明了这些措施。
2021-11-03 cs.LG stat.ML
Exogenous Randomness Empowering Random Forests
University of Southern California（南加州大学）
本文探讨了外生随机性对随机森林的影响，识别出特征子采样和平局打破两类随机性，推导了均方误差的非渐近展开与一致性条件，并发现特征子采样能平衡偏差与方差，甚至使噪声特征成为提升性能的“祝福”。
2024-11-12 cs.LG math.ST stat.ML
Machine Learning on EPEX Order Books: Insights and Forecasts
本文采用机器学习算法预测德国电力现货市场价格。这些预测特别利用现货市场的买卖订单数据，以及可再生能源进料和预期需求等基本市场数据。开发了针对订单簿数据的适当特征提取。使用交叉验证优化超参数，神经网络和随机森林提出了统计参考模型和比较。机器学习模型优于传统方法。
2019-09-05 q-fin.ST stat.AP stat.ML
Classification Modeling with RNN-Based, Random Forest, and XGBoost for Imbalanced Data: A Case of Early Crash Detection in ASEAN-5 Stock Markets
IPB University（茂物农业大学）
本研究比较了简单RNN、GRU、LSTM与随机森林、XGBoost在东盟五国股市早期崩盘检测中的表现，使用SMOTE-ENN处理不平衡数据，发现简单RNN因数据短期特征而表现最优。
2024-09-29 cs.AI stat.AP
CountARFactuals -- Generating plausible model-agnostic counterfactual explanations with adversarial random forests
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）；Leibniz Institute for Prevention Research & Epidemiology – BIPS（莱布尼茨预防研究与流行病学研究所）；University of Bremen（不来梅大学）；University of Tübingen（蒂宾根大学）；University of Copenhagen（哥本哈根大学）
本文提出CountARFactuals，利用对抗随机森林以模型无关方式高效生成数据流形内的合理反事实解释，并自然支持混合数据与稀疏性约束。
2024-04-04 cs.LG stat.ML
Disentangled Attribution Curves for Interpreting Random Forests and Boosted Trees
UC Berkeley（加州大学伯克利分校）
树集成，如随机森林和AdaBoost，是普遍存在的机器学习模型，以在各种领域实现强大的预测性能而闻名。然而，这种强大的性能是以可解释性为代价的（即用户无法理解经过训练的随机森林已经学习的关系以及它为什么要进行预测）。特别是，理解特定特征或特征组的贡献如何随着其值的变化而变化是具有挑战性的。为了解决这个问题，我们引入了分解属性曲线（DAC），一种以（多变量）特征重要性曲线的形式提供树集成方法的解释的方法。对于一个给定的变量或一组变量，DAC绘制变量值变化时变量的重要性。我们验证DAC的真实数据显示，曲线可以用来提高逻辑斯谛回归的准确性，同时保持可解释性，包括DAC作为一个额外的功能。在模拟研究中，DAC被证明在恢复条件期望方面优于竞争方法。最后，通过对自行车共享数据集的案例研究，我们展示了使用DAC来揭示数据集的新见解。
2019-05-18 cs.LG stat.ME stat.ML
Interpretable Data-driven Methods for Subgrid-scale Closure in LES for Transcritical LOX/GCH4 Combustion
Stanford University（斯坦福大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）
许多实际的燃烧系统，如火箭、燃气轮机和内燃机中的燃烧系统，在超过燃料-氧化剂混合物的热力学临界极限的高压下运行。这些条件需要考虑复杂的流体行为，对数值模拟提出了挑战，对现有的亚网格尺度（SGS）模型在这些系统的大涡模拟中的有效性提出了质疑。虽然数据驱动的方法在湍流火焰的模拟中显示出作为闭合模型的高准确性，但这些模型经常因缺乏物理可解释性而受到批评，其中它们提供了答案，但没有深入了解其基本原理。本研究的目的是从传统的物理驱动的方法和可解释的机器学习算法，即，随机森林回归，在湍流跨临界非预混火焰。为此，直接数值模拟（DNS）的跨临界液氧/气态甲烷（LOX/GCH 4）惰性和反应流进行。使用这些数据，对Favre过滤的DNS数据进行先验分析，以检查在这些条件下基于物理和随机森林SGS模型的准确性。梯度模型计算的SGS应力与从过滤DNS中提取的精确项显示出良好的一致性。当基于物理的约束应用于特征集时，随机森林回归量的准确性降低。结果表明，随机森林可以有效地执行代数模型建模时，子网格应力，只有当一个足够有代表性的数据库进行训练。就业的随机森林特征的重要性分数，通过稀疏回归发现亚网格尺度应力提供洞察力。
2021-03-11 cs.LG physics.flu-dyn stat.ML
A network flow approach to visualising the roles of covariates in random forests
我们提出了新的平行坐标图和桑基图的应用程序来表示随机森林中的相互作用协变量的影响的层次结构。每个可视化总结了随机森林中所有树的所有路径的频率。协变量在随机森林中的作用的可视化包括：描述单个协变量对随机森林的预测准确性的贡献的标量度量的排序条形图或点图;描述改变特定协变量对随机森林的预测的影响的各种总结的线图;所有协变量对之间的相互作用的强度的度量的热图;每个响应类别的平行坐标图描绘了最能代表预测属于该类别的观测值的所有协变量值的分布。这些可视化一起促进了对随机森林中协变量作用的实质性洞察，但不传达随机森林中协变量效应层次的频率或协变量在这些层次中出现的顺序。我们的可视化解决了这些差距。我们使用适合公开数据的随机森林来展示我们的可视化，并以R包的形式提供软件实现。
2017-06-27 stat.OT
Getting Better from Worse: Augmented Bagging and a Cautionary Tale of Variable Importance
University of Pittsburgh（匹兹堡大学）
随着数据的规模、复杂性和可用性不断增长，科学家们越来越依赖于黑盒学习算法，这些算法通常可以以最小的先验模型规格提供准确的预测。像随机森林这样的工具已经有了现成的成功记录，甚至提供了各种策略来分析变量之间的潜在关系。在这里，最近的见解随机森林的行为的动机，我们介绍了简单的想法，增强装袋（AugBagg），一个程序，以相同的方式操作经典装袋和随机森林，但它的操作更大，增强空间包含额外的随机生成的噪声功能。令人惊讶的是，我们证明了这种在模型中包含额外噪声变量的简单行为可以显著提高样本外预测准确性，有时甚至优于最佳调整的传统随机森林。因此，基于改进的模型准确性的变量重要性的直观概念可能存在严重缺陷，因为即使是纯粹的随机噪声也可以常规地注册为统计显著性。提供了大量的真实和合成数据的演示以及提出的解决方案。
2020-11-09 cs.LG stat.ML
Unity Forests: Improving Interaction Modelling and Interpretability in Random Forests
Institute for Medical Information Processing, Biometry and Epidemiology, Faculty of Medicine, Ludwig Maximilian University of Munich (LMU)（慕尼黑路德维希-马克西米利安大学医学信息处理与流行病学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Institute of General Practice and Health Services Research, Department Clinical Medicine, TUM School of Medicine and Health, Technical University of Munich (TUM)（慕尼黑技术大学医学与健康学院一般医学与健康服务研究研究所）；Institute of AI and Informatics in Medicine, TUM School of Medicine and Health, Technical University of Munich (TUM)（慕尼黑技术大学医学与健康学院医学人工智能与信息学研究所）
统一森林通过优化树根分割提升交互建模和可解释性，改进了随机森林的变量重要性度量和预测性能。
2026-01-11 cs.LG stat.CO stat.ME
Grouped variable importance with random forests and application to multiple functional data analysis
被认为是使用随机森林算法的分组变量的选择。首先，提出了一种新的适用于变量组的重要性度量。理论上的见解，这一标准的添加剂回归模型。其次，开发了一种基于分组变量重要性测度的函数变量选择方法。使用小波基，它建议重组所有的小波系数为一个给定的功能变量，并使用这些群体的包装选择算法。提出了利用小波基的频率和时间局部化的各种其他分组。进行了广泛的模拟研究，以说明在这种情况下使用的分组的重要性措施。该方法被应用到一个现实生活中的问题来自航空安全。
2015-05-19 stat.ME
Random Forest (RF) Kernel for Regression, Classification and Survival
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默克公司）
Breiman的随机森林（RF）可以被解释为一个隐式的内核生成器，其中随后的邻近矩阵表示数据驱动的RF内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。然而，核函数和RF之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是核方法和RF之间的相互作用的调查。我们阐明的性能和属性的数据驱动的RF内核所使用的正则化线性模型在一个全面的仿真研究，包括连续，二进制和生存目标。我们表明，对于连续和生存的目标，RF内核的竞争力，RF在更高维的情况下，大量的噪声功能。对于二进制目标，RF内核和RF表现出相当的性能。由于RF核渐近收敛于拉普拉斯核，因此我们将其包含在我们的评估中。对于大多数模拟设置，RF和RF内核优于拉普拉斯内核。尽管如此，在某些情况下，拉普拉斯核是有竞争力的，显示出其潜在的应用价值。我们还提供了从现实生活中的数据集的回归，分类和生存的结果，以说明如何在practice.Finally，我们讨论了进一步扩展的RF内核的可解释的原型和地标分类，回归和生存的背景下，这些见解可能被利用。我们概述了未来的研究线提供的贝叶斯同行的RF内核。
2020-08-31 cs.LG stat.ML
Provable Recovery of Locally Important Signed Features and Interactions from Random Forest
Faculty of Informatics and Data Science, University of Regensburg, Germany（信息与数据科学学院，莱茵河畔雷根斯堡大学）
提出一种局部、模型特定的特征与交互重要性方法，通过结合全局和局部决策路径模式，在局部尖峰稀疏模型下可证明地恢复真实信号特征及其交互，并识别特征值大小对预测的驱动方向。
2026-06-11 cs.LG stat.ME stat.ML
Enhancing Multi-Class Classification of Random Forest using Random Vector Functional Neural Network and Oblique Decision Surfaces
School of Electrical and Electronic Engineering Nanyang Technological University（南洋理工大学电气与电子工程学院）
神经网络和决策树都是流行的机器学习方法，并被广泛用于解决来自不同领域的问题。这两个分类器是集成框架中常用的基分类器。本文首先在线性分类器的基础上提出了一种新的斜决策树，然后将快速神经网络、随机向量函数连接网络和斜决策树相融合，构造了一种集成分类器。随机向量函数链接网络具有优雅的封闭形式解决方案，训练时间极短。神经网络在根级别将每个训练袋（使用装袋获得）划分为C个子集，其中C是数据集中的类的数量，并且随后，在这样的划分上训练C个倾斜决策树。所提出的方法提供了一个丰富的洞察数据分组的混乱或难以分类的样本为每个类，从而提供了一个机会，采用细粒度的分类规则的数据。集成分类器的性能进行了评估，在几个多类数据集，它表现出优越的性能相比，其他国家的最先进的分类器。
2018-02-05 cs.CV cs.LG stat.ML
Explainable Artificial Intelligence Based Fault Diagnosis and Insight Harvesting for Steel Plates Manufacturing
The Air University（空军大学）
随着工业4.0的到来，数据科学和可解释的人工智能（XAI）在最近的文献中受到了相当大的关注。然而，XAI的入门门槛，在计算机编码和必要的数学仪器方面，真的很高。对于钢板的故障诊断，这项工作报告了将基于XAI的见解融入高精度分类器开发的数据科学过程的方法。使用合成少数过采样技术（SMOTE）和medoids的概念，从XAI工具即Ceteris Peribus配置文件，部分依赖和分解配置文件中获得了见解。此外，还从优化的随机森林和关联规则挖掘中提取了“若-则”规则形式的见解。将所有的见解整合到单个集成分类器中，已经实现了94%的10倍交叉验证性能。总之，这项工作作出了三个主要贡献，即：方法基于利用medoids和SMOTE，收集见解并纳入模型开发过程。其次，见解本身是贡献，因为它们有利于钢铁制造业的人类专家，第三，高精度的故障诊断分类器已经开发。
2020-08-10 cs.AI cs.LG stat.ML
United States Road Accident Prediction using Random Forest Predictor
Computer Science and Engineering University at Buffalo（计算机科学与工程大学布法罗分校）
本文基于覆盖美国49州的多源交通数据，结合回归、时间序列分析及 Random Forest 等模型预测事故数量，并通过时空分析识别高风险区域，以支持资源配置和道路安全干预决策。
2025-04-28 cs.AI cs.CY cs.LG
Variable importance for causal forests: breaking down the heterogeneity of treatment effects
本文针对因果森林的黑箱局限，提出一种基于“丢弃并重新学习”原则的变量重要性算法，用于量化各输入对处理效应异质性的影响，并通过修正项处理混杂变量，实验证明其性能优于竞争方法且可扩展到变量组。
2023-08-07 stat.ML
ABC random forests for Bayesian parameter inference
此预印本已由进化生物学同行社区（http：//dx.doi.org/10.24072/pci.evolbiol.100036）审查和推荐。近似贝叶斯计算（ABC）已经发展成为一个标准的方法，管理贝叶斯推断的模型与棘手的似然函数。大多数ABC实现需要初步选择汇总原始数据的信息统计向量。此外，在几乎所有现有的实现中，需要校准将模拟参数值的接受与拒绝分开的容限水平。我们建议进行无似然贝叶斯推断的参数，没有事先选择的相关组件的汇总统计量和绕过相关的公差水平的推导。该方法依赖于Breiman（2001）在（非参数）回归设置中应用的随机森林方法。我们主张为感兴趣的参数向量的每个分量导出一个新的随机森林。当与早期的ABC解决方案相比，该方法提供了显着的收益，在鲁棒性的汇总统计量的选择，不依赖于任何类型的公差水平，是一个很好的权衡点估计精度和可信区间估计的质量，对于给定的计算时间。我们说明了我们的方法建议的性能，并将其与早期的ABC方法进行比较，一个正常的玩具的例子和人口遗传学的例子处理人类人口的进化。这里设计的所有方法都已被合并到CRAN上提供的R包abcrf（版本1.7）中。
2018-11-02 stat.CO stat.ME stat.ML
Wasserstein Random Forests and Applications in Heterogeneous Treatment Effects
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Université de Paris（巴黎大学）；INSERM（法国国家健康与医学研究院）；INRA（法国国家农业研究院）
我们提出了新的见解，因果推断的背景下，异质处理效应，提出自然变异的随机森林估计的关键条件分布。为了实现这一点，我们重铸Breiman的原始分裂标准的经验措施之间的瓦瑟斯坦距离。这种重新表述表明，随机森林很好地适应于估计条件分布，并提供了一个自然的算法扩展到多变量输出。按照Breiman的建设的哲学，我们提出了一些变种的分裂规则，非常适合于条件分布估计问题。一些初步的理论联系建立了各种数值实验，这表明我们的方法可能有助于在复杂的情况下进行更透明的因果推断。
2021-02-15 cs.LG stat.ME stat.ML
Hybrid Censored Quantile Regression Forest to Assess the Heterogeneous Effects
在许多应用中，对删失响应变量的异质处理效应是主要关注的，并且很自然地评估不同分位数的效应（例如，中位数）。大量的潜在效应修饰因子、处理效应的未知结构以及右删失的存在构成了重大挑战。在本文中，我们开发了一个混合森林方法称为混合删失分位数回归森林（HCQRF），以评估异质性的影响，随着高维变量。混合估计方法利用随机森林和删失分位数回归。我们提出了一个双加权估计过程，包括一个再分布的质量权重来处理审查和一个自适应最近邻权重来自森林处理高维效应函数。我们提出了一个变量的重要性分解来衡量一个变量对处理效应函数的影响。大量的仿真研究证明了HCQRF的有效性和稳定性。仿真研究的结果也证明了变量重要性分解的有效性。我们将HCQRF应用于结直肠癌的临床试验。我们实现了有见地的估计的处理效应和有意义的变量重要性的结果。变量重要度的计算结果也证实了分解的必要性。
2022-12-12 stat.ME stat.ML
Splitting the Difference: Interpretable Causal Forests for Treatment Effect Heterogeneity and Bias
University of Regensburg（雷根斯堡大学）
本文提出一种基于决策树和随机森林的简单算法，通过结合异质性与偏差校正两个分裂准则，无需额外估计倾向函数即可估计个体处理效应，兼顾预测准确性与可解释性。
2026-09-16 cs.LG stat.ML
K-nearest Neighbor Search by Random Projection Forests
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）；Dali University（大理大学）
k近邻搜索在数据挖掘、机器学习、统计学等许多应用领域有着广泛的应用。受集成方法的成功和基于树的方法的灵活性的启发，我们提出了随机投影森林（rpForests），用于kNN搜索。rpForests通过聚合来自随机投影树的集合的结果来查找kNN，每个树都是通过一系列精心选择的随机投影递归构建的。rpForests在kNN的缺失率和kNN距离的差异方面实现了显着的准确性。rpForests具有非常低的计算复杂度。rpForests的集成性质使其可以在多核或集群计算机上并行运行;运行时间预计与核心或机器的数量几乎成反比。我们给出了理论上的见解，通过显示的概率指数衰减，相邻点将被分离的合奏随机投影树时，合奏大小的增加。我们的理论可以用来细化树木生长过程中随机投影的选择，实验表明效果显著。
2018-12-31 cs.LG stat.CO stat.ME
