Survival Forests under Test: Impact of the Proportional Hazards Assumption on Prognostic and Predictive Forests for ALS Survival
我们研究比例风险假设对肌萎缩侧索硬化（ALS）患者生存时间的预后和预测模型的影响。我们从理论上比较了生存森林及其实现的几个变体的基本模型配方，包括随机森林生存，条件推理森林，游侠，和生存森林与$L_1$分裂，两个新的变体，即分布和变换生存森林。理论上的考虑解释了低功率的对数秩为基础的分裂检测模式在非比例风险的情况下，在生存的树木和相应的森林。这种限制可以通过本文建议的替代分裂过程来克服。我们通过模拟实验和对ALS生存的PRO-ACT数据库的重新分析，对这种影响进行了实证研究，特别强调了预后和预测模型。
2019-02-05 stat.ME stat.ML
Confidence and Uncertainty Assessment for Distributional Random Forests
针对现有分布随机森林（DRF）仅具备预测一致性和收敛速度结果、缺乏不确定性评估工具的问题，本文刻画DRF的渐近分布并构建自助法近似，推导了带渐近覆盖率保证的标准误估计与置信区域构造方法，且经模拟实验验证有效。
2023-12-19 math.ST stat.ML stat.TH
Conditional Feature Importance with Generative Modeling Using Adversarial Random Forests
Leibniz Institute for Prevention Research & Epidemiology – BIPS（莱布尼茨预防研究与流行病学研究所 – BIPS）；Faculty of Mathematics and Computer Science, University of Bremen（不来梅大学数学与计算机科学学院）；Berlin School of Economics and Law（柏林经济与法律学院）；University of Copenhagen（哥本哈根大学）
本文提出cARFi方法，利用对抗随机森林生成的条件分布采样特征值，以少量调参稳健衡量条件特征重要性，支持条件/边际概念及统计显著性检验。
2025-01-19 cs.LG stat.ML
Augmented Functional Random Forests: Classifier Construction and Unbiased Functional Principal Components Importance through Ad-Hoc Conditional Permutations
Faculty of Technological and Innovation Sciences（技术与创新科学学院）；Faculty of Economics and Law（经济与法学院）
本研究将函数型数据分析与树模型结合，提出增强型函数型分类树和随机森林，通过特设条件置换实现无偏函数主成分重要性评估，在真实与模拟数据集上均提升了分类性能。
2024-08-23 cs.LG math.ST stat.ME
Distributional Random Forests: Heterogeneity Adjustment and Multivariate Distributional Regression
ETH Zürich（苏黎世联邦理工学院）
随机森林（Breiman，2001）是一个成功的和广泛使用的回归和分类算法。它的吸引力和多功能性的部分原因是它在训练数据上（隐式）构建了一个核型加权函数，它也可以用于原始均值估计之外的目标。我们提出了一种新的森林结构的多变量响应的联合条件分布的基础上，独立的估计目标和数据模型。它使用了一种新的分裂准则的基础上MMD分布度量，这是适合于检测多元分布的异质性。诱导的权重定义了完整条件分布的估计，这反过来又可以用于任意和潜在的复杂目标的兴趣。该方法是非常通用和方便使用，因为我们说明了广泛的例子。代码可以作为Python和R包drf提供。
2022-10-12 cs.LG stat.ME stat.ML
MMD-based Variable Importance for Distributional Random Forest
Safran Tech（赛峰科技）；Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）
本文为分布随机森林（DRF）提出一种基于丢弃并重新学习原则和MMD距离的变量重要性算法，能检测影响输出分布的变量，具有一致性且优于竞争方法，可通过递归特征消除高效选择少量变量以准确估计条件输出分布。
2024-02-14 cs.LG stat.ME stat.ML
An Efficient Approach for Optimizing the Cost-effective Individualized Treatment Rule Using Conditional Random Forest
来自观察性研究的证据对于通过成本效益（CE）分析支持医疗保健政策制定变得越来越重要。与比较有效性研究类似，考虑受试者水平异质性的卫生经济学评价产生的个体化治疗规则（ITR）通常比一刀切的治疗更具成本效益。因此，它是非常感兴趣的开发统计工具，学习这样一个具有成本效益的ITR（CE-ITR）的因果推断框架下，允许适当处理潜在的混杂，并可以应用于试验和观察性研究。在本文中，我们使用净货币效益（NMB）的概念来评估健康效益和相关成本之间的权衡。我们估计CE-ITR作为患者特征的函数，当实施时，通过最大化健康收益同时最小化治疗相关成本来优化有限医疗资源的分配。我们采用条件随机森林方法，并确定最佳的CE-ITR使用基于NMB的分类算法，其中提出了两个分区估计的主题特定的权重，以有效地将信息从审查个人。我们进行模拟研究，以评估我们的建议的性能。我们将我们的最佳算法应用于NIH资助的收缩压干预试验（SPRINT），以说明分配定制强化血压治疗的CE收益。
2022-04-23 econ.GN q-fin.EC stat.ME
Clustered random forests with correlated data for optimal estimation and inference under potential covariate shift
University of Cambridge（剑桥大学）
本文提出聚类随机森林算法，通过利用相关数据间的相关性提升估计和推断性能，并探讨协变量偏移下最优权重的选择方法。
2026-01-23 stat.ME stat.ML
Balancing Flexibility and Interpretability: A Conditional Linear Model Estimation via Random Forest
本文提出用改进的 Random Forest 估计协变量条件下的线性系数函数 β(Z)，兼顾灵活性与可解释性，并给出收敛速度、中心极限定理及 Monte Carlo 验证。
2025-02-19 econ.EM stat.ME
Quantile Regression using Random Forest Proximities
BlackRock, Inc.（贝莱德集团）
本文提出利用随机森林学习到的邻近度推断目标变量条件分布的新分位数回归方法，在条件分布和预测区间近似上优于QRF，且计算效率显著更高。
2024-08-05 cs.LG q-fin.ST q-fin.TR
Adaptive Conditional Residual Sampling for Spectral Risk Optimisation under Decision-Dependent Uncertainty
Institute for Global Prosperity, The Bartlett, University College London（全球繁荣研究所，巴特利特学院，伦敦大学学院）
提出ACFS框架，结合广义随机森林、CEM全局搜索和重加权聚焦增强，解决决策依赖分布下的谱风险最小化问题，在重尾和偏态基准上优于现有方法。
2026-10-19 cs.LG math.OC stat.CO
Random Forests for Adaptive Nearest Neighbor Estimation of Information-Theoretic Quantities
Johns Hopkins University（约翰斯·霍普金斯大学）；Progressive Learning（渐进学习公司）
信息理论的量，如条件熵和互信息，是量化不确定性的关键数据摘要。目前广泛使用的方法来计算这些数量依赖于最近邻方法，并在某些简单的情况下表现出强大的性能和理论保证。然而，现有的方法失败，在高维设置，当不同的功能是在不同的尺度上测量。我们提出了决策森林为基础的自适应最近邻估计，并表明他们能够有效地估计后验概率，条件熵，和互信息，即使在上述设置。我们提供了一个广泛的研究分类和后验概率估计的功效，并证明某些基于森林的方法是一致的估计的真实后验和派生的信息理论量在一定的假设。在现实世界的连接体应用中，我们量化了果蝇幼虫蘑菇体中各种细胞特征的神经元类型的不确定性，这是现代神经科学的一个关键挑战。
2021-10-05 cs.LG stat.ML
An Embedded Model Estimator for Non-Stationary Random Functions using Multiple Secondary Variables
提出了一种利用多个辅助变量进行非平稳空间建模的算法。将地统计学与分位数随机森林相结合，给出了一种新的插值和随机模拟算法。本文介绍了该方法，并表明它具有一致性的结果，在性质上类似于那些适用于地质统计建模和分位数随机森林。该方法允许嵌入更简单的插值技术，如克里格，以进一步调节模型。该算法通过估计每个目标位置处的目标变量的条件分布来工作。这类分布族称为目标变量的包络。由此，有可能获得空间估计、分位数和不确定性。还开发了一种从包络产生条件模拟的算法。由于它们是从包络线中取样，因此实现情况受到次要变量、趋势和可变性重要性相对变化的局部影响。
2022-01-11 stat.ME stat.ML
Random Forests as Statistical Procedures: Design, Variance, and Dependence
Department of Biostatistics and Data Science, Wake Forest University School of Medicine（生物统计学与数据科学系，沃森医学中心，威斯康星大学）
随机森林作为统计程序，通过引入PASR方法估计协方差地板，实现对预测不确定性的分解，并提供理论保证的置信区间。
2026-02-28 cs.LG math.ST stat.ML
Supervised Manifold Learning via Random Forest Geometry-Preserving Proximities
Brigham Young University（杨百翰大学）
本文针对现有监督流形学习方法因类条件距离不保持顺序而难以揭示有意义嵌入的问题，提出以数据几何保持的随机森林邻近度作为初始化核，并通过实验证明该方法在多种流形学习算法中能普遍保持局部结构，且基于扩散的算法可正确维持全局结构。
2023-07-03 cs.LG stat.ML
Correcting Variable Importance Scored by Random Forests
Computer and Information Science（计算机与信息科学）；Mathematics and Data Science（数学与数据科学）；University of Massachusetts, Dartmouth, MA（马萨诸塞大学达特茅斯分校）；The Rivers School, Weston, MA（韦斯特on学校的河流学校）
针对随机森林变量重要性受变量间相关性影响的问题，提出基于条件相关性的分组方法进行修正，实验证明两种计算高效方案均能有效校正变量重要性。
2026-08-25 cs.AI cs.LG stat.ME
Global Censored Quantile Random Forest
Emory University（埃默里大学）
针对右删失数据的条件分位数预测问题，提出全局删失分位随机森林（GCQRF），该方法能捕捉非线性关系，通过连接IDUP量化预测变异性并建立弱收敛性，同时提出基于样本外精度的特征重要性排序，在模拟与真实数据上展现出更优预测精度。
2024-10-16 cs.LG stat.ME stat.ML
Multiple imputation using chained random forests: a preliminary study based on the empirical distribution of out-of-bag prediction errors
缺失数据在生物医学领域的数据分析中是常见的，基于随机森林（RF）的插补方法已被广泛接受，因为RF算法可以实现高精度而不需要指定数据分布或关系。然而，来自RF的预测不包含关于预测不确定性的信息，这对于多重插补是不可接受的。现有的基于RF的多重插补方法试图通过直接从预测节点下的观测值采样而不考虑预测误差或通过对预测误差分布进行正态性假设来进行适当的多重插补。通过构造袋外预测误差的经验分布的条件分布，提出了一种新的基于RF的多重插补方法。通过对存在交互作用项的数据的仿真研究，将该方法与先前的方法进行了比较，并对RF的预测误差和预测均值匹配进行了参数假设。所提出的非参数方法可以提供有效的多重插补结果。本研究附带的R包是公开可用的。
2020-04-30 stat.ME stat.ML
Wilcoxon Random Forests for Robust Distributional Prediction
Vanderbilt University（范德堡大学）；University of Southern California（南加州大学）
针对生物医学有序结果中的异常值、偏态和混合类型，提出基于秩分裂的Wilcoxon随机森林，通过聚合回归树估计条件分布，在偏态或异方差下提升分位数估计与校准，并成功应用于HIV治疗后的CD4和病毒载量预测。
2026-09-29 stat.ME
Stable Graphical Model Estimation with Random Forests for Discrete, Continuous, and Mixed Variables
条件独立图是许多变量之间成对条件独立的简洁表示。图形随机森林（GRaFo）是一种估计混合类型（即连续和离散）变量之间的成对条件独立关系的新方法。边的数量是任何图形模型估计器中的一个调整参数，并且没有明显的数字构成一个好的选择。“稳定性选择”有助于根据预期误报数的界限选择此参数（错误控制）。在样本量为n = 100（极大似然为n = 500）时，对GRaFo的性能进行了评价，并与p = 50、100和200个可能的混合型变量的各种其他方法进行了比较。此外，GRaFo适用于瑞士健康调查的数据，以评估它在多大程度上能够再现世界卫生组织国际功能、残疾和健康分类所假设的功能健康组成部分、个人和环境因素之间的相互联系。最后，GRaFo用于确定可能与患有21三体并经历了心脏直视手术的儿童的不良神经发育相关的风险因素。GRaFo在混合数据中表现良好，并且由于稳定性选择，它为假阳性选择提供了错误控制机制。
2012-11-30 stat.AP stat.CO stat.ME
Covariance regression with random forests
提出CovRegRF方法，利用随机森林框架估计多元响应协方差矩阵，设计分裂规则最大化子节点差异，并提供显著性检验，模拟和甲状腺数据验证有效。
2023-05-11 stat.AP stat.ME stat.ML
Residual Likelihood Forests
Monash University（莫纳什大学）
本文提出了一种新的集成学习方法，称为残差似然森林（RLF）。我们的弱学习器产生条件似然，这些条件似然在类似增强的框架内（而不是从观察数据中测量的概率分布）在先前学习器的上下文中使用全局损失进行顺序优化，并以乘法（而不是加法）组合。这提高了我们的强分类器的效率，允许设计在模型容量方面更紧凑的分类器。我们将我们的方法应用于几个机器学习分类任务，表现出显着的性能改善。当与包括随机森林和梯度提升树在内的几种集成方法相比时，RLF在性能上有显着提高，同时减少了所需的模型大小。
2020-11-04 cs.LG stat.ML
A Comparison of Resampling and Recursive Partitioning Methods in Random Forest for Estimating the Asymptotic Variance Using the Infinitesimal Jackknife
最近，无穷小折刀法（IJ）被应用于随机森林，以估计其预测方差。在传统的随机森林框架下，使用分类和回归树（CART）和自举响应验证了这些定理。然而，使用条件推理（CI）树和子采样的随机森林已被发现不容易变量选择偏差。在这里，我们进行模拟实验，使用一种新的方法来探索IJ的适用性，随机森林使用变化的reserving方法和基地学习。模拟测试数据点，并使用随机森林对100个模拟训练数据集进行训练，这些数据集使用不同的reserve和基础学习器组合。使用CI树而不是传统的CART树，以及使用二次抽样而不是自助抽样，导致在使用IJ预测方差更准确的估计。这里的随机森林变体已被纳入R编程语言的开源软件包中。
2018-01-29 stat.ML
A Numerical Transform of Random Forest Regressors corrects Systematically-Biased Predictions
Fox Chase Cancer Center（福克斯蔡斯癌症中心）；University of Kansas（堪萨斯大学）
在过去的十年中，随机森林模型已被广泛用作高维数据回归任务的鲁棒方法。在某种程度上，这些模型的流行是因为它们几乎不需要超参数调整，并且不太容易过拟合。随机森林回归模型由独立预测（连续）因变量值的决策树集合组成;最终对每个树的预测进行平均，以从森林中产生总体预测值。使用一套有代表性的现实世界的数据集，我们发现一个系统的偏差预测从随机森林模型。我们发现，这种偏差在简单的合成数据集中得到了重现，无论它们是否在数据中包含不可约的误差（噪声），但采用提升的模型并没有表现出这种偏差。在这里，我们展示了这个问题的基础，我们使用训练数据来定义一个数值变换，完全纠正它。应用这种变换在我们研究中评估的每一个真实世界和合成数据集上都得到了改进的预测。
2020-03-16 cs.LG q-bio.QM stat.ML
Information Forests
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Siemens Medical Solutions（西门子医疗解决方案）
我们描述的信息森林，一种分类方法，概括了随机森林的分裂标准的非叶节点从一个歧视性的-基于标签分布的熵-生成一个-基于最大化的信息分歧之间的类条件分布在所得的分区。其基本思想是推迟分类，直到“分类置信度”达到足够高的程度，而不是分解数据，以最大限度地提高这一程度。在另一种解释中，信息森林试图将数据划分为“尽可能提供信息”的子集，以实现对数据进行分类的任务。分类置信度，或子集的信息内容，通过信息发散度来量化。我们的方法涉及主动学习，半监督学习，混合生成/判别学习。
2012-02-07 cs.LG stat.ML
Disentangled Attribution Curves for Interpreting Random Forests and Boosted Trees
UC Berkeley（加州大学伯克利分校）
树集成，如随机森林和AdaBoost，是普遍存在的机器学习模型，以在各种领域实现强大的预测性能而闻名。然而，这种强大的性能是以可解释性为代价的（即用户无法理解经过训练的随机森林已经学习的关系以及它为什么要进行预测）。特别是，理解特定特征或特征组的贡献如何随着其值的变化而变化是具有挑战性的。为了解决这个问题，我们引入了分解属性曲线（DAC），一种以（多变量）特征重要性曲线的形式提供树集成方法的解释的方法。对于一个给定的变量或一组变量，DAC绘制变量值变化时变量的重要性。我们验证DAC的真实数据显示，曲线可以用来提高逻辑斯谛回归的准确性，同时保持可解释性，包括DAC作为一个额外的功能。在模拟研究中，DAC被证明在恢复条件期望方面优于竞争方法。最后，通过对自行车共享数据集的案例研究，我们展示了使用DAC来揭示数据集的新见解。
2019-05-18 cs.LG stat.ME stat.ML
Comparing Spatial Regression to Random Forests for Large Environmental Data Sets
环境数据可能由于记录数量、协变量数量或两者的原因而“大”。随机森林在使用许多具有非线性关系的协变量时具有良好的预测性能，而空间回归在使用降秩方法时，在使用许多空间自相关的记录时具有良好的预测性能。在这项研究中，我们比较了这两种技术使用的数据集包含大型无脊椎动物多尺度指数（MMI）在1859流网站超过200景观协变量。一个主要的应用程序是映射MMI的预测和预测误差在110万常年流达到整个美国接壤。对于空间回归模型，我们开发了一种新的变换过程，估计Box-Cox变换线性化协变量关系，并处理可能的零膨胀协变量。我们发现，空间回归模型的转换，并随后选择显着的协变量，交叉验证性能略优于随机森林。我们还发现，预测区间覆盖率接近标称的每种方法，但空间回归预测区间往往是窄的，比分位数回归森林预测区间的变异性较小。仿真研究是用来概括的结果，并澄清每个建模方法的优点。
2018-12-26 stat.AP
Indoor Localization by Fusing a Group of Fingerprints Based on Random Forests
基于单指纹的室内定位方法易受环境变化、多径和非视距传播的影响。建立SIOF也是一个非常耗时的过程。最近，我们首次提出了一个指纹组（GOOF），以提高定位精度和减少建设指纹的负担。然而，最大的缺点是时效性。在本文中，我们提出了一种新的本地化框架融合一组指纹（FAGOT）的基础上随机森林。在离线阶段，我们首先从多个天线的接收信号的不同变换来构建GOOF。然后，我们设计了多个基于随机森林的GOOF强分类器（GOOF-RF），通过训练GOOF中的每个指纹。在在线阶段，我们将真实测量的相应变换输入到这些强分类器中，以获得多个独立的决策。最后，我们提出了一种滑动窗口辅助模式（SWIM）融合算法，以平衡定位精度和时间。我们提出的方法可以在未知的室内场景中更好地工作。建立指纹的负担也可以大大减少。我们证明了我们的算法的性能，通过模拟和真实的实验数据，使用两个通用软件无线电外设（USRP）平台。
2017-03-07 cs.CV stat.ML
Targeted tuning of random forests for quantile estimation and prediction intervals
本文提出随机森林的QCL调参方法，通过最小化袋外分位数覆盖概率偏差来改善分位数估计与预测区间，并适配删失数据，在覆盖准确性和MSE上优于默认及传统调参。
2025-07-02 stat.AP stat.ME stat.ML
SHAFF: Fast and consistent SHApley eFfect estimates via random Forests
Safran Tech（赛峰科技）；Sorbonne Université（索邦大学）；Ecole Polytechnique（巴黎综合理工学院）
学习算法的可解释性对于涉及关键决策的应用至关重要，变量重要性是主要的解释工具之一。Shapley效应现在被广泛用于解释树集合和神经网络，因为它们可以有效地处理数据中的依赖性和相互作用，而不是大多数其他变量重要性度量。然而，由于计算复杂性和条件期望估计，估计Shapley效应是一项具有挑战性的任务。因此，现有的Shapley算法有缺陷：昂贵的运行时间，或输入变量依赖时的偏差。因此，我们通过随机森林引入SHAFF，SHAPley效应，即使在输入变量相关时，也是快速准确的Shapley效应估计。我们通过理论分析其一致性，并通过大量的实验与竞争对手的实际性能改进SHAFF效率。SHAFF在C++和R中的实现可以在线获得。
2022-02-02 cs.LG stat.ML
Distributional Split Criteria for Random Forests: Extensions, Shrinkage, and the Robustness of Mean Splitting
研究随机森林的分布分裂准则，实现并研究了多个准则及森林权重收缩方法。通过多种比较刻画其适用情况，发现普通各向同性MMD较优，标量回归中均值分裂稳健，多变量响应时分布分裂作用明显，支持简单分配观点，相关内容在开源库中实现。
2026-07-28 cs.LG stat.ME stat.ML
Missing value imputation with adversarial random forests - MissARF
Leibniz Institute for Prevention Research & Epidemiology – BIPS（莱布尼茨预防研究与流行病学研究所 – BIPS）；University of Bremen（不来梅大学）；University of Copenhagen（哥本哈根大学）
本文提出基于对抗随机森林的缺失值填补方法MissARF，利用ARF进行密度估计与条件采样，同时支持单一和多重填补，实验表明其填补质量与最先进方法相当且运行快速、无额外多重填补成本。
2026-10-19 cs.AI cs.LG stat.ML
Extremal Random Forests
本文提出极值随机森林 ERF，结合分位数随机森林权重、局部广义 Pareto 似然与形状参数惩罚，实现高维复杂情形下的极端分位数外推回归，并证明一致性、验证其性能优势。
2024-01-22 stat.ME
Feature Space Selection and Heterogeneous Effect Estimation for Blood-Brain Barrier Permeability: A Random Forest to the Generalized Random Forest Pipeline
University of Pretoria（比勒陀利亚大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
本研究利用MoleculeNet BBBP数据集，通过系统消融特征空间并应用广义随机森林与双重机器学习，发现特征表示与算法耦合影响预测性能，且校正混杂后LogP-BBB关联的异质性证据不足。
2026-09-25 cs.LG stat.ML
Generalizing Trimming Bounds for Endogenously Missing Outcome Data Using Random Forests
New York University（纽约大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Tencent America（腾讯美国）
本文提出利用随机森林扩展非参数界限，以更精确地识别内生缺失数据下的处理效应，通过调整大量协变量提升识别精度。
2023-09-16 stat.AP stat.ME
Adversarial random forests for density estimation and generative modeling
Leibniz Institute for Prevention Research and Epidemiology – BIPS（莱布尼茨预防研究与流行病学研究所——BIPS）；University of Bremen（不来梅大学）；University of Copenhagen（哥本哈根大学）
我们提出了一种新的无监督随机森林的密度估计和数据合成的方法。受生成对抗网络的启发，我们实现了一个递归过程，在这个过程中，树通过交替的生成和判别来逐渐学习数据的结构属性。该方法在最小假设下是可证明的一致性。与经典的基于树的替代方案不同，我们的方法提供了平滑（非）条件密度，并允许完全合成的数据生成。我们在各种表格数据基准上实现了与最先进的概率电路和深度学习模型相当或更高的性能，同时平均执行速度提高了约两个数量级。附带的$\texttt{R}$包$\texttt{arf}$可在$\texttt{CRAN}$上获得。
2023-03-13 cs.AI cs.LG stat.CO
FACT: High-Dimensional Random Forests Inference
Academia Sinica（中央研究院）；University of Southern California（南加州大学）
针对随机森林特征重要性度量存在偏差且缺乏功效分析的问题，本文提出基于假设检验的自归一化特征残差相关性检验（FACT），在高维非参数相依特征下控制第一类错误并具备良好功效，通过模拟与经济预测验证其有效性。
2023-11-13 cs.LG math.ST stat.ML
Explainable Unsupervised Anomaly Detection with Random Forest
Prospect 33, LLC（Prospect 33公司）；BlackRock, Inc（BlackRock公司）
提出一种基于随机森林的无监督异常检测方法，通过区分真实与合成数据学习距离度量，提升检测精度，并支持基于特征重要性的局部可解释预测。
2025-04-22 cs.LG stat.ML
Neural Random Forest Imitation
Institute for Information Processing, L3S / Leibniz University Hannover, Germany
本文提出 Neural Random Forest Imitation，通过从随机森林生成数据并训练神经网络进行模仿，实现参数更少、可微且可端到端微调的高效转换。
2024-04-04 cs.LG stat.ML
Causal-DRF: Conditional Kernel Treatment Effect Estimation using Distributional Random Forest
University of Geneva（日内瓦大学）；ETH Zürich（苏黎世联邦理工学院）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）
本文提出Causal-DRF方法，利用分布随机森林算法估计条件核治疗效应，通过森林拟合获得一致且渐近正态的估计值，从而更全面理解治疗效应差异。
2026-04-02 stat.ME
Testing for Regression Heteroskedasticity with High-Dimensional Random Forests
高维回归异方差性的统计推断是一个重要但尚未充分研究的问题。本文旨在填补这一空白，提出了两个测试，即方差差检验和方差差Breusch-Pagan检验，用于评估高维回归异方差性。前者测试一个感兴趣的解释性特征是否与一个响应变量的条件方差相关，而后者测试回归中的异方差性，这被称为Breusch-Pagan测试问题。为了正式建立测试，我们推导出严格的P值和测试大小，并分析了高维输入特征的非参数异方差数据生成模型下的测试能力。这样的模型设置考虑到高维应用程序的灵活结构的异方差性和功能具有相互作用的影响的平均值的响应，这些是常见的应用程序在许多领域，如生物学。我们的方法利用机器学习均值预测方法，如随机森林，并使用仿制品变量作为阴性对照。特别是，我们的检验统计量的仿冒品定义比仿冒品的原始定义更加灵活，我们对这两个定义进行了详细比较，并讨论了我们的仿冒品的优势。模拟结果和HIV（人类免疫缺陷病毒）的案例研究说明了所提出的测试令人满意的经验性能。
2022-12-05 stat.ME
Evaluating Conditional Cash Transfer Policies with Machine Learning Methods
本文介绍了主要机器学习模型和结构计量经济模型之间的样本外预测比较。在过去的十年中，机器学习已经成为许多预测应用中的强大工具，但这种方法在实证经济研究中仍然没有被广泛采用。为了评估这种方法的好处，我使用最常见的机器学习算法，CART，C4.5，LASSO，随机森林和adaboost，为墨西哥Progresa计划进行的现金转移实验构建预测模型，并将预测结果与以前的结构计量经济学研究进行比较。本文进行了两个预测任务：样本外预测和长期样本内模拟。对于样本外预测，所有机器学习模型得出的入学率的平均绝对误差和均方根误差都小于结构模型得出的结果。随机森林和adaboost对所有亚组的个体结果具有最高的准确性。对于长期样本内仿真，结构模型比所有机器学习模型具有更好的性能。机器学习模型的样本内适应性差是由于收入和怀孕预测模型的不准确性。结果表明，当有很多数据需要学习时，机器学习模型的性能优于结构模型;然而，当数据有限时，结构模型提供了更合理的预测。本文的研究结果显示，在大数据时代，机器学习有望用于经济政策分析。
2018-03-16 econ.EM stat.ML
An application of an Embedded Model Estimator to a synthetic non-stationary reservoir model with multiple secondary variables
将地质统计学与随机森林相结合，提出了一种具有多个次要变量的非平稳空间建模方法（Ember）。它将“随机森林”方法扩展为插值算法，同时保留与地统计算法和随机森林相似的一致性属性。它允许将更简单的插值算法嵌入到过程中，通过随机森林训练过程将它们组合起来。该算法估计每个目标位置处的条件分布。这种分布族称为模型包络。一个算法来产生随机模拟的信封证明。该算法允许次要变量的影响以及结果的可变性随模拟中的位置而变化。
2020-11-09 cs.CE stat.AP
Autoencoding Random Forests
King’s College London（伦敦国王学院）；Leibniz Institute for Prevention Research and Epidemiology – BIPS（莱比锡预防研究与流行病学研究所）；University of Bremen（不来梅大学）
本文提出基于随机森林的自编码方法，通过低维嵌入和解码技术实现数据压缩与重构，适用于多种数据类型，提升可视化和聚类效果。
2026-01-15 cs.AI cs.LG stat.ML
Conditional autoregressive models fused with random forests to improve small-area spatial prediction
针对区域数据缺失预测问题，本文提出CAR-Forest算法，将随机森林的非线性特征关系建模与贝叶斯CAR模型的残差空间自相关捕捉迭代融合；在苏格兰房价数据上优于CAR、随机森林及地理加权随机森林，提供先进的小区域空间预测框架。
2023-12-19 stat.ME
(f)RFCDE: Random Forests for Conditional Density Estimation and Functional Data
随机森林是一种常见的非参数回归技术，它对混合类型的无序数据和不相关特征表现良好，同时对单调变量变换具有鲁棒性。然而，标准的随机森林不能有效地处理函数数据，并且在呈现高分辨率曲线和曲面时会遇到维数灾难。此外，在异方差或多模态的设置中，具有标准误的回归点估计不能完全捕获我们预测中的不确定性。一个信息量更多的是条件密度p（y| x），描述了给定协变量x的响应y的不确定性的全部范围。在本文中，我们将展示如何有效地利用随机森林的条件密度估计，功能协变量，多重响应，而不增加计算复杂性。我们为所有程序提供开源软件，R和Python版本调用一个通用的C++库。
2019-06-17 stat.CO stat.ME
Wasserstein Random Forests and Applications in Heterogeneous Treatment Effects
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Université de Paris（巴黎大学）；INSERM（法国国家健康与医学研究院）；INRA（法国国家农业研究院）
我们提出了新的见解，因果推断的背景下，异质处理效应，提出自然变异的随机森林估计的关键条件分布。为了实现这一点，我们重铸Breiman的原始分裂标准的经验措施之间的瓦瑟斯坦距离。这种重新表述表明，随机森林很好地适应于估计条件分布，并提供了一个自然的算法扩展到多变量输出。按照Breiman的建设的哲学，我们提出了一些变种的分裂规则，非常适合于条件分布估计问题。一些初步的理论联系建立了各种数值实验，这表明我们的方法可能有助于在复杂的情况下进行更透明的因果推断。
2021-02-15 cs.LG stat.ME stat.ML
ROSE Random Forests for Robust Semiparametric Efficient Estimation
针对半参数有效估计在实践中难以实现的问题，提出ROSE随机森林估计器，通过估计最优权重实现稳健半参数效率，在模拟和真实数据上验证了有效性。
2024-12-17 math.ST stat.TH
Bayesian Discrete Conditional Transformation Models
我们提出了一种新的贝叶斯模型框架的离散序数和计数数据的基础上的条件转换的响应。条件变换函数是从数据中结合先验选择的参考分布来估计的。对于计数响应，由此产生的转换模型是新颖的，在这个意义上，它是一个贝叶斯完全参数但分布自由的方法，可以额外考虑额外的零与添加剂的转换功能规范。对于有序分类响应，我们的累积链接转换模型允许包含线性和非线性协变量效应，这些效应还可以是分类特异性的，从而产生（非）比例优势或风险模型等，具体取决于参考分布的选择。推理是由一个通用的模块化马尔可夫链蒙特卡罗算法，其中多元高斯先验执行特定的属性，如平滑的功能效果。为了说明贝叶斯离散条件转换模型的多功能性，应用程序的专利引用计数在存在多余的零和治疗森林健康类别的离散部分比例优势模型。
2022-05-17 stat.ME stat.ML
Partition Tree: Conditional Density Estimation over General Outcome Spaces
Independent Researcher（独立研究者）；INSA Rouen Normandy（里昂大学鲁昂分校）；Normandy University（诺曼底大学）；LITIS Rouen（鲁昂LITIS实验室）
本文提出分区树，一种基于树的框架，用于在一般结果空间上进行条件密度估计，支持连续和分类变量。通过数据自适应的分区建模条件分布，并直接最小化条件负对数似然，实现非参数方法。分区森林通过平均条件密度进行扩展，实验显示优于CART树且与现有概率树方法和随机森林竞争。
2026-05-11 cs.LG stat.ME stat.ML
Composite likelihood inference for space-time point processes
针对热带雨林普查点模式时间序列短、空间覆盖大的特点，提出基于条件复合似然的时空点过程参数估计方法，采用固定时间跨度-空间域递增的渐近框架，通过模拟和实际数据验证了方法的有效性。
2024-09-18 stat.ME
Forests for Differences: Robust Causal Inference Beyond Parametric DiD
Institute of Mathematics and Computer Sciences at University of São Paulo, Brazil（巴西圣保罗大学数学与计算机科学学院）
本文提出非参数DiD-BCF模型，通过基于PTA的重新参数化统一估计ATE、GATE和CATE，并在模拟及美国最低工资政策应用中展现出处理非线性、选择偏差与效应异质性的优势。
2025-06-09 cs.LG stat.ME stat.ML
Conditional Rank-Rank Regression via Deep Conditional Transformation Models
Nankai University（南开大学）
本文提出通过深度条件转换模型改进的条件秩秩回归，用于分析代际流动性，提升了在非线性和离散结果中的表现，并通过实证研究验证了其有效性。
2026-03-07 cs.LG stat.ME stat.ML
Conditional Transformation Models
回归分析的最终目标是获得关于给定一组解释变量的响应的条件分布的信息。然而，这一目标很少实现，因为大多数已建立的回归模型只估计作为解释变量的函数的条件均值，并假设较高的矩不受回归变量的影响。这种限制的根本原因是信号和噪声的可加性假设。我们建议在转换模型的框架中放松这一常见假设。本文提出的一类新的半参数回归模型允许转换函数依赖于解释变量。这些转换函数通过概率预测的评分规则的正则化优化来估计，例如连续排名的概率得分。相应的估计条件分布函数是一致的。条件转换模型在描述可能的异方差性、比较空间变化分布、识别极端事件、推导预测区间和选择超出平均回归效应的变量等方面可能很有用。基于异方差变系数模拟模型的实证研究表明，半参数估计的条件分布函数可以更有益于基于核的非参数方法或参数广义加性模型的位置，规模和形状。
2012-11-28 stat.ME
