Joints in Random Forests
Eindhoven University of Technology（埃因霍温理工大学）
决策树（DT）和随机森林（RF）是强大的判别学习器，对日常机器学习实践者和数据科学家来说至关重要。然而，由于它们的区别性，它们缺乏处理具有缺失特征的输入或检测离群值的原则性方法，这需要将它们与插补技术或单独的生成模型配对。在本文中，我们通过与概率电路（一类重要的易处理概率模型）建立联系，证明DT和RF可以自然地被解释为生成模型。这种重新解释使它们在特征空间上具有完整的联合分布，并导致生成决策树（GeDT）和生成森林（GeF），这是一种新型的混合生成判别模型。该系列模型保留了DT和RF的整体特征，同时还能够通过边缘化处理缺失的特征。在某些假设下，经常贝叶斯一致性结果，我们表明，在GeDT和GeFs的一致性扩展到任何模式的输入功能缺失，如果随机缺失。从经验上讲，我们表明，我们的模型在处理缺失数据（如K-最近邻插补）方面往往优于常见的例程，此外，我们的模型可以通过监测输入特征的边际概率来自然检测离群值。
2020-11-19 cs.AI cs.LG stat.ML
Random survival forests
我们介绍了随机生存森林，一种分析右删失生存数据的随机森林方法。新的生存分裂规则生长的生存树，是一个新的缺失数据算法填补缺失数据。一个保护的事件原则，生存森林的介绍和使用来定义合奏死亡率，一个简单的可解释的死亡率，可作为一个预测的结果。给出了几个说明性例子，包括体重对冠状动脉疾病患者预后影响的案例研究。所有例子的计算都是使用免费的R软件包randomSurvivalForest实现的。
2008-11-11 stat.AP
Who wins the Miss Contest for Imputation Methods? Our Vote for Miss BooPF
当收集大量数据时，缺失数据是一个预期的问题，并且已经提出了几种插补技术来解决这个问题。在MICE等经典方法之下，机器学习技术的应用是诱人的。在这里，最近提出的missForest插补方法在具有各种缺失率的随机（完全）缺失方案下显示出高插补精度。在其核心，它是基于一个随机森林的分类和回归，分别。在本文中，我们研究这种方法是否甚至可以增强其他方法，如随机梯度树提升方法，C5.0算法或修改后的随机森林程序。特别是，在随机森林协议的其他resception策略的建议。在一个广泛的模拟研究中，我们分析了他们的表现连续，分类以及混合类型的数据。其中，MissBooPF，随机梯度树提升方法与参数自举随机森林方法的组合，似乎是有前途的。最后，以信用信息和Facebook数据为研究对象进行了实证分析。
2017-11-30 stat.ML
MissForest - nonparametric missing value imputation for mixed-type data
基于高通量技术的现代数据采集经常面临缺失数据的问题。通常用于分析这种大规模数据的算法通常依赖于一个完整的集合。缺失值插补提供了一个解决这个问题的方法。然而，大多数可用的插补方法仅限于一种类型的变量：连续或分类。对于混合类型的数据，不同类型的数据通常是分开处理的。因此，这些方法忽略变量类型之间可能的关系。我们提出了一种非参数方法，可以同时处理不同类型的变量。我们比较了几种最先进的方法填补缺失值。我们提出并评估了一种基于随机森林的迭代插补方法（missForest）。通过对许多未修剪的分类或回归树进行平均，随机森林本质上构成了一个多重插补方案。利用随机森林的内建袋外误差估计，我们能够在不需要测试集的情况下估计插补误差。对来自不同生物学领域的多个数据集进行评价，人为引入的缺失值范围为10%至30%。我们表明，missForest可以成功地处理缺失值，特别是在数据集，包括不同类型的变量。在我们的比较研究中，missForest优于其他插补方法，特别是在怀疑存在复杂相互作用和非线性关系的数据设置中。missForest的袋外插补误差估计证明在所有设置中都是足够的。此外，missForest具有吸引力的计算效率，可以处理高维数据。
2011-09-27 stat.AP stat.ML
On the consistency of supervised learning with missing values
INRIA（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）；Williams College（威廉姆斯学院）；Sorbonne Université（索邦大学）；Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；Parietal project-team, INRIA Saclay（法国国家信息与自动化研究所萨克雷中心顶叶研究团队）
本文研究了含缺失值监督学习的一致性，证明常数填补和多重填补方法在预测中具有一致性，并推荐决策树使用“属性中包含缺失”方法以同时处理信息性和非信息性缺失值。
2024-03-21 cs.LG math.ST stat.ML
A principal components method to impute missing values for mixed data
本文提出了一种新的方法来填补混合数据集的缺失值。它基于主成分方法，即混合数据的因子分析，该方法平衡了所有连续和分类变量在变异性维度构建中的影响。由于插补使用主轴和主成分，因此缺失值的预测基于个体之间的相似性和变量之间的关系。通过模拟研究和真实数据集评估插补的质量。该方法与最近的一种基于随机森林的方法（Stekhoven和Bühlmann，2011）进行了比较，并显示出更好的性能，特别是对于分类变量的插补和连续变量之间存在高度线性关系时。
2013-02-19 stat.AP
Explainable Unsupervised Anomaly Detection with Random Forest
Prospect 33, LLC（Prospect 33公司）；BlackRock, Inc（BlackRock公司）
提出一种基于随机森林的无监督异常检测方法，通过区分真实与合成数据学习距离度量，提升检测精度，并支持基于特征重要性的局部可解释预测。
2025-04-22 cs.LG stat.ML
A Random Forest Inverse Probability Weighted Pseudo-Observation Framework for Alternating Recurrent Events
针对交替复发事件中主要事件时间因次要状态信息性缺失而偏倚的问题，提出随机森林逆概率加权伪观测框架，估计τ-限制平均时间，模拟验证有效并应用于移动健康数据。
2025-10-27 stat.ME
Dimensionality reduction with missing values imputation
University of Tunis El Manar（突尼斯玛纳大学）；National Engineering School of Tunis（突尼斯国家工程学院）
在这项研究中，我们提出了一种新的统计方法，用于异构数据的高维约简，限制维数灾难和处理缺失值。为了处理后者，我们建议使用随机森林的插补方法。这里的主要目的是提取有用的信息，从而减少搜索空间以促进数据探索过程。还包括使用来自公开可用的机器学习存储库的数据的几个说明性数值示例。实验部分的研究表明，所提出的分析方法的效率。
2017-07-02 cs.DS cs.LG stat.ML
The influence of missing data mechanisms and simple missing data handling techniques on fairness
Department of Statistics and Actuarial Science（统计与精算科学系）；Stellenbosch University（斯泰伦博斯大学）
本研究探讨了缺失数据机制和处理技术对算法公平性的影响，发现列表删除法和随机森林在公平性上表现最佳，且两者交互效应显著。
2026-02-19 cs.LG stat.ML
Interpretable Prediction Rule Ensembles in the Presence of Missing Data
本文通过模拟研究比较多种多重插补方法在缺失数据下对可解释预测规则集成的影响，发现 MIXGBoost 在 MSE 降低上表现最佳，并揭示了预测性能与模型复杂度之间的权衡。
2024-10-21 stat.AP
Multiple imputation using chained random forests: a preliminary study based on the empirical distribution of out-of-bag prediction errors
缺失数据在生物医学领域的数据分析中是常见的，基于随机森林（RF）的插补方法已被广泛接受，因为RF算法可以实现高精度而不需要指定数据分布或关系。然而，来自RF的预测不包含关于预测不确定性的信息，这对于多重插补是不可接受的。现有的基于RF的多重插补方法试图通过直接从预测节点下的观测值采样而不考虑预测误差或通过对预测误差分布进行正态性假设来进行适当的多重插补。通过构造袋外预测误差的经验分布的条件分布，提出了一种新的基于RF的多重插补方法。通过对存在交互作用项的数据的仿真研究，将该方法与先前的方法进行了比较，并对RF的预测误差和预测均值匹配进行了参数假设。所提出的非参数方法可以提供有效的多重插补结果。本研究附带的R包是公开可用的。
2020-04-30 stat.ME stat.ML
The Generalized Proximity Forest
Dept. of Mathematics \& Statistics Utah State University Logan, Utah, USA；Dept. of Computer Science Brigham Young University Provo, UT, USA；Dept. of Statistics Brigham Young University Provo, UT, USA；Dept. of Mathematics \& Statistics Utah State University Logan, UT, USA
本文提出通用接近森林模型，扩展了RF接近性到所有监督距离基础机器学习场景，并引入回归变体及元学习框架，展示其在异常检测和插值中的优势。
2025-11-23 cs.LG stat.ML
Concentration of measure bounds for matrix-variate data with missing values
我们考虑下面的数据扰动模型，其中协变量产生乘法误差。对于两个$n \times m$随机矩阵$U, X$，我们用$U \circ X$表示Hadamard或Schur乘积，定义为$(U \circ X)_{ij} = (U_{ij}) \cdot (X_{ij})$。本文研究了亚高斯矩阵变量模型，其中我们通过随机掩码$U$观察矩阵变量数据$X$：$$ {\mathcal X} = U \circ X \; \; \; \text{ where} \; \; \;X = B^{1/2} {\mathbb{Z}} A^{1/2}, $$其中${\mathbb{Z}}$是具有独立亚高斯元素的随机矩阵，$U$是具有零或正元素的掩码矩阵，其中${\mathbb E} U_{ij} \in [0, 1]$和所有元素相互独立.行或列中的二次抽样或$X$条目的随机抽样是此模型的特殊情况。在$U$和$X$相互独立的假设下，引入了估计协方差$A$和$B$的分量无偏估计，并证明了当数据矩阵$X$的列以不同的采样率采样时，在保证约束特征值（$\textsf{RE}$）条件的意义下，$B$的无偏估计保持测度界的集中性.我们进一步发展多元回归方法估计逆$B$和统计收敛速度。我们的研究结果提供了洞察稀疏恢复实体（样本，位置，项目）之间的关系时，功能（变量，时间点，用户评级）存在于所观察到的数据矩阵${\math…
2022-12-06 math.ST stat.TH
Some notes on the $k$-means clustering for missing data
本文从理论上证明了缺失数据 k-means 扩展方法 k-POD 即使在完全随机缺失下也不一致，其期望损失可表示为部分变量 k-means 损失的加权和，并指出其在高维低缺失率场景下仍具适用性。
2024-10-01 math.ST stat.TH
Imputation for High-Dimensional Linear Regression
我们研究了协变量中含有缺失项的高维回归。实践中的一个常见策略是用适当的替代品对缺失的条目进行\emph{impute}，然后执行标准统计程序，就好像协变量被完全观察到一样。最近关于这个问题的文献提出，而不是设计一个特定的，往往是复杂的或非凸的，算法的情况下，失踪的协变量。我们研究了一种更简单的方法，在这种方法中，我们用给定观测协变量的条件均值填充缺失项。我们表明，这种插补方案加上标准的现成程序，如LASSO和平方根LASSO保留了随机设计设置中的最小最大估计率，其中协变量是i.i.d.。亚高斯我们进一步表明，平方根LASSO保持\emph{pivotal}在此设置。通常情况下，条件期望不能精确计算，必须从数据中近似计算。我们研究了两种情况下，协变量要么遵循自回归（AR）过程，或联合高斯稀疏精度矩阵。我们提出了易于处理的估计的条件期望，然后通过LASSO进行线性回归，并显示在两种情况下相似的估计率。我们补充我们的理论结果与模拟合成和半合成的例子，不仅说明了我们的界限的清晰度，而且这种策略超出了我们的理论假设的更广泛的实用性。
2020-01-24 math.ST stat.ME stat.ML
The Order Mass Identity of Rooted Forests, with a Direct Proof of the Extended Aldous-Broder Theorem
Texas A&M University（德克萨斯农工大学）
该研究提出有根森林的序质量恒等式，以此直接证明无需可逆性等假设的扩展Aldous--Broder定理，并在Lean4中形式化相关内容，为图上随机生成森林的采样提供支撑。
2026-10-26 math.CO math.PR math.ST
Uniform Hanson-Wright type concentration inequalities for unbounded entries via the entropy method
本文研究了具有独立次高斯分量的随机向量$X \in \mathbb{R}^n$的Hanson-Wright不等式的统一形式。本文的核心技术是基于熵方法结合截断的梯度的功能的利益和$X$本身的坐标。特别是，我们的结果恢复了Talagrand（1996）对Rademacher混沌的经典一致界和Adamczak（2015）的更近的一致结果，该结果在对$X$分布的某些相当强的假设下成立。我们提供了几个应用程序，我们的技术：我们建立一个版本的标准汉森-赖特不等式，这是在某些制度更严格。扩展我们的技术，我们展示了一个版本的无维矩阵伯恩斯坦不等式，持有随机矩阵的次指数谱范数。我们将导出的不等式应用于缺失观测的协方差估计问题，并证明了Lounici（2014）最近结果的几乎最优高概率版本。最后，在Dobrushin条件下，证明了Ising模型的一个一致的Hanson-Wright型不等式. Marton（2003）提出了一个密切相关的问题。
2019-08-07 math.PR math.ST stat.TH
On the Optimality of Nuclear-norm-based Matrix Completion for Problems with Smooth Non-linear Structure
矩阵补全最初是为了填补低秩或近似低秩矩阵中的缺失项而开发的，在许多问题中已经证明是有效的，其中没有理由假设基础矩阵中的低维线性结构，因为秩约束会强加。在这份手稿中，我们为这种行为建立了一些理论上的直觉。我们考虑矩阵不一定是低秩的，但位于一个低维非线性流形。我们表明，核范数惩罚仍然是有效的恢复这些矩阵时，观察完全随机丢失。特别是，我们给出了上界的收敛速率的行，列的数量的函数，并观察到在矩阵中的条目，以及非线性嵌入的平滑度和尺寸。我们还给出了一个极大极小下界：这个下界与我们的上界（对数因子）一致，这表明核范数惩罚是（对数项）极大极小率最优的这些问题。
2021-05-05 math.ST stat.ME stat.ML
Causal Matrix Completion
矩阵完备化是从噪声观测的稀疏子集中恢复底层矩阵的研究。传统上，假设矩阵的条目是“完全随机缺失”（MCAR）的，即，每个条目都是随机显示的，独立于其他任何东西，具有均匀的概率。这可能是不现实的，因为存在“潜在混杂因素”，即，未观察到的因素，这些因素决定了基础矩阵的条目和观察到的矩阵中的缺失模式。例如，在电影推荐系统的上下文中--矩阵补全的规范应用--强烈不喜欢恐怖片的用户不太可能看恐怖片。一般来说，这些混杂因素会产生“非随机缺失”（MNAR）数据，这会严重影响任何不纠正这种偏倚的推断程序。我们通过潜在结果的语言开发了一个正式的因果模型矩阵完成，并提供了新的识别参数的各种因果被估量的利益。我们设计了一个程序，我们称之为“合成最近邻”（SNN），估计这些因果被估量。我们证明了我们的估计量的有限样本相合性和渐近正态性。我们的分析也导致新的理论结果的矩阵完成文学。特别是，我们建立了入口智能，即，最大范数，有限样本的一致性和渐近正态性的矩阵完成MNAR数据的结果。作为一种特殊情况，这也为MCAR数据的矩阵完成提供了条目方面的界限。在模拟和真实数据中，我们证明了我们提出的估计量的有效性。
2021-09-30 cs.LG econ.EM math.ST
