Multi forests: Variable importance for multi-class outcomes
Institute for Medical Information Processing, Biometry and Epidemiology, LMU Munich（慕尼黑大学医学信息处理、生物统计学与流行病学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Institute of AI and Informatics in Medicine, TUM School of Medicine and Health, Technical University of Munich（慕尼黑工业大学医学与健康学院医学人工智能与信息学研究所）
本研究提出名为multi forests的新型随机森林变体及两类变量重要性度量，可特异性识别多类别结局中与类别相关的协变量，虽预测性能略低于传统随机森林，但能有效弥补传统度量的类别区分不足。
2024-09-13 cs.LG stat.CO stat.ME
Conditional Distribution Estimation for Functional Responses with Random Forests
Fred Hutchinson Cancer Center（弗雷德·哈钦森癌症中心）；Department of Statistics and Data Sciences, University of Texas at Austin（德克萨斯大学奥斯汀分校统计与数据科学系）
该研究提出函数分布随机森林方法，实现函数响应条件分布的非参数估计，在模拟和NHANES数据应用中均表现优于基线方法，可捕捉分布变化与协变量关联。
2026-08-11 stat.ME stat.ML
Transformation Forests
具有连续目标的监督学习问题的回归模型通常被理解为给定预测器的目标的条件均值的模型。这个概念很简单，因此吸引了解释和可视化。然而，从这些模型中无法获得关于整个潜在条件分布的信息。对回归模型作为条件分布的模型的更一般的理解允许从这样的模型进行更广泛的推断，例如预测区间的计算。几种随机森林类型算法旨在估计条件分布，最突出的是分位数回归森林（Meinshausen，2006年，JMLR）。我们提出了一种新的方法的基础上，其特征在于其转换功能的分布的参数家庭。一个专用的新的“转换树”算法能够检测分布的变化。基于这些转换树，我们引入“转换森林”作为条件分布函数的自适应局部似然估计。由此产生的模型是完全参数化的，但非常一般，并允许广泛的推理程序，如基于模型的引导，以一种简单的方式应用。
2018-01-08 stat.ME stat.ML
On Ensembling vs Merging: Least Squares and Random Forests under Covariate Shift
在实践中已经假设并观察到，对于协变量数据可以自然地划分为聚类的预测问题，基于在单个聚类上训练的适当聚合模型的集成算法通常比忽略数据中的聚类结构的方法表现得更好。在本文中，我们通过对线性最小二乘和随机森林回归在线性模型下的渐近分析，为这些经验观测提供了理论支持。我们的主要结果表明，与在整个数据上训练单个模型（通常称为“合并”）相比，集成的好处可能取决于要聚合的单个预测因子的潜在偏差和方差相互作用。特别是，在固定和高维线性模型，我们表明，合并是渐近优于最佳的集成技术的线性最小二乘回归由于最小二乘预测的无偏性质。相比之下，对于固定维线性模型下的随机森林回归，我们的边界意味着集成优于合并。最后，我们还提出了数值实验来验证我们的渐近结果在不同情况下的有效性。
2021-06-04 math.ST stat.TH
RFCDE: Random Forests for Conditional Density Estimation
Department of Statistics & Data Science Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
随机森林是一种常见的非参数回归技术，它对混合类型的数据和不相关的协变量表现良好，同时对单调变量变换具有鲁棒性。现有的随机森林实现针对回归或分类。我们介绍了RFCDE包拟合随机森林模型优化的非参数条件密度估计，包括联合密度的多个响应。这使分析条件概率分布成为可能，这对传播不确定性和描述多个响应和协变量之间关系的联合分布非常有用。RFCDE是根据麻省理工学院开源许可证发布的，可以通过https://github.com/tpospisi/rfcde访问。R和Python版本都可以调用一个通用的C++库。
2018-05-02 cs.LG stat.ML
MDA for random forests: inconsistency, and a practical solution via the Sobol-MDA
Safran Tech（赛峰科技）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
变量重要性度量是分析随机森林黑箱机制的主要工具。虽然平均减少精度（MDA）被广泛接受为最有效的随机森林变量的重要性措施，很少有人知道它的统计特性。事实上，MDA的定义在主要的随机森林软件中各不相同。在本文中，我们的目标是严格分析主要MDA实现的行为。因此，我们数学形式化的各种实现MDA算法，然后建立他们的限制时，样本量增加。这种渐近分析表明，这些MDA版本不同的重要性措施，因为它们收敛到不同的数量。更重要的是，我们将这些限制分解为三个部分：前两项与Sobol指数相关，Sobol指数是协变量对响应方差的贡献的定义明确的度量，广泛用于敏感性分析领域，而第三项则相反，其值随着协变量内的依赖性而增加。因此，我们从理论上证明，MDA不针对正确的数量来检测有影响力的协变量在一个依赖的设置，一个事实，已经注意到实验。为了解决这个问题，我们为随机森林定义了一个新的重要性度量，Sobol-MDA，它修复了原始MDA的缺陷，并一致地估计了在没有给定协变量的情况下重新训练的森林的准确性下降，但具有有效的计算成本。Sobol-MDA在变量选择的模拟和真实数据上的经验表现优于其竞争对手。在R和C++中的开源实现可以在线获得。
2022-03-01 cs.LG stat.ML
When do Random Forests work?
Tilburg University（蒂尔堡大学）
该研究通过分析不同SNR场景及数据特征下随机森林的样本外MSE，发现随机化有效性与SNR及协变量特性相关，且协变量相关时可显著降低偏差，为理解随机森林效果提供新视角。
2026-09-29 cs.LG stat.ML
Longitudinal Random Forests for Sparse and Irregular Response Trajectories
Department of Mathematics and Statistics, Binghamton University（数学与统计学系，宾夕法尼亚大学伯灵顿分校）；Department of Mathematics, Illinois State University（数学系，伊利诺伊州立大学）；Department of Biostatistics, The University of North Carolina at Chapel Hill（生物统计学系，北卡罗来纳大学教堂山分校）
针对纵向研究中稀疏不规则响应轨迹问题，提出纵向随机森林（LRF）框架，利用树集成学习与自适应节点级轨迹估计，有五项方法贡献，模拟显示其性能优越，能解决五个重要临床问题。
2026-07-27 cs.LG stat.ME stat.ML
Random forest estimation of conditional distribution functions and conditional quantiles
我们提出了一个理论研究的两个现实估计的条件分布函数和条件分位数使用随机森林。估计过程在构建森林时使用从原始数据集生成的自举样本。Bootstrap样本被重用来定义第一个估计量，而第二个估计量只需要原始样本，一旦森林已经建立。我们证明了这两个估计的条件分布函数是一致相合的。据我们所知，这是第一个包含引导部分的一致性证明。我们还说明了一个数值例子的估计程序。
2022-08-29 math.ST stat.TH
High-Dimensional Dynamic Covariance Models with Random Forests
School of Statistics and Management, Shanghai University of Finance and Economics（上海财经大学统计与管理学院）；School of Statistics, KLATASDS-MOE, East China Normal University（华东师范大学统计学院）；Departments of Biostatistics, Statistics, Computer Science, and Genetics, The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校生物统计学、统计学、计算机科学和遗传学系）
针对高维动态协方差估计问题，提出首个基于随机森林的多协变量非参数方法，建立了含非渐近误差率的一致收敛理论，经模拟和股票数据验证可有效建模高维复杂动态。
2025-05-18 cs.LG stat.ML
Asymptotic Unbiasedness of the Permutation Importance Measure in Random Forest Models
Technical University of Dortmund（多特蒙德工业大学）
从生物医学研究到计量经济学的应用表明，稀疏回归模型中的变量选择是一个重要的任务。特别是对于高维回归问题，响应和协变量之间的联系函数不能直接检测，信息变量的选择是具有挑战性的。在这些情况下，随机森林方法是预测新结果的有用工具，同时提供变量选择的度量。一种常见的方法是使用排列重要性。基于随机森林的排列重要性方法具有直观的思想和灵活的使用方法，对于探索环境中正确表示信息协变量具有重要意义。关于后者，我们提供理论保证的有效性的置换重要性措施在特定的假设下，并证明其（渐近）无偏性。一个广泛的模拟研究验证了我们的研究结果。
2019-12-05 cs.LG math.ST stat.ML
A Unified Framework for Random Forest Prediction Error Estimation
University of California, Berkeley（加利福尼亚大学伯克利分校）；Pomona College（波莫纳学院）
我们引入了一个统一的框架，随机森林预测误差估计的基础上的条件预测误差分布函数的一种新的估计。我们的框架使简单的插件估计的关键预测不确定性指标，包括条件均方预测误差，条件偏差，和条件分位数，随机森林和许多变种。我们的方法是特别适合预测区间估计，我们通过模拟表明，我们提出的预测区间的竞争力，并在某些设置优于现有的方法。为了建立我们的框架的理论基础，我们证明了逐点一致的一致性更严格的版本，我们的条件预测误差分布函数的估计。这里介绍的估计器在R包forestError中实现。
2021-03-02 cs.LG stat.ML
Functional Sequential Treatment Allocation with Covariates
University of Oxford（牛津大学）；Aarhus University（奥胡斯大学）；Université libre de Bruxelles（布鲁塞尔自由大学）；SBS-EM；ECARES
本文研究带协变量的多臂老虎机问题，提出面向一般条件结果分布函数的处理分配框架，给出期望遗憾下界并构造近似极小极大最优策略。
2020-01-29 cs.LG econ.EM math.ST
Testing Equality of Conditional Distributions via Generative Models
University of California, Irvine（加州大学尔湾分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Maryland, College Park（马里兰大学帕克分校）；Washington University in St Louis（圣路易斯华盛顿大学）
提出一种基于生成模型检验两个条件分布是否相等的方法，通过交叉生成对齐协变量，避免密度比估计和高维平滑，并开发了基于RKHS的检验统计量及自举校准算法，理论证明了双重稳健性。
2026-06-05 stat.ME
Ensemble methods for survival function estimation with time-varying covariates
生存数据随时间变化的协变量是常见的实践。如果相关，它们可以改进生存函数的估计。然而，传统的生存森林-条件推理森林，相对风险森林和随机生存森林-只容纳时不变的协变量。我们推广的条件推理和相对风险森林，允许随时间变化的协变量。我们还提出了一个总体框架，估计生存函数的存在下随时间变化的协变量。我们比较他们的性能与Cox模型和转换森林，适应这里，以适应随时间变化的协变量，通过全面的模拟研究，其中Kaplan-Meier估计作为基准，和性能进行比较，使用集成L2之间的差异真实和估计的生存函数。在一般情况下，性能的两个拟议的森林大大提高了Kaplan-Meier估计。考虑到所有其他因素，在比例风险（PH）设置下，最好的方法总是两个建议的森林之一，而在非PH设置下，它是适应的转换森林。K折交叉验证是一种有效的工具，在实践中选择的方法。
2022-06-03 stat.AP stat.ME stat.ML
Confidence and Uncertainty Assessment for Distributional Random Forests
针对现有分布随机森林（DRF）仅具备预测一致性和收敛速度结果、缺乏不确定性评估工具的问题，本文刻画DRF的渐近分布并构建自助法近似，推导了带渐近覆盖率保证的标准误估计与置信区域构造方法，且经模拟实验验证有效。
2023-12-19 math.ST stat.ML stat.TH
Prediction of the FIFA World Cup 2018 - A random forest approach with an emphasis on estimated team ability parameters
在这项工作中，我们比较了三种不同的建模方法的足球比赛的分数，他们的预测性能的基础上，从2002年至2014年的四届世界杯的所有比赛：泊松回归模型，随机森林和排名方法。前两种方法是基于团队的协变量信息，后一种方法估计足够的能力参数，最好地反映了团队的当前实力。在这个比较中，对训练数据表现最好的预测方法是排名方法和随机森林。然而，我们表明，通过将随机森林与排名方法的团队能力参数作为额外的协变量相结合，我们可以大大提高预测能力。最后，选择这种方法的组合作为最终模型，并根据其估计，反复模拟2018年FIFA世界杯，并获得所有球队的获胜概率。该模型在卫冕冠军德国之前稍微倾向于西班牙。此外，我们还提供了所有球队和所有锦标赛阶段的生存概率以及最有可能的锦标赛结果。
2018-06-13 stat.AP
A model-free estimation for the covariate-adjusted Youden index and its associated cut-point
在医学研究中，连续标记物被广泛用于诊断测试以区分患病和非患病受试者。这种诊断测试的准确性通常使用受试者工作特征（ROC）曲线进行评估。为了总结ROC曲线并确定其最佳切割点，普遍使用Youden指数。在文献中，Youden指数的估计已被广泛研究通过各种统计建模策略的条件密度。本文提出了一种新的无模型估计方法，该方法不需要估计条件密度，直接估计协变量调整截点。因此，可以根据估计的临界点估计协变量调整的约登指数。所提出的方法制定了一个大的利润分类框架，它允许灵活的协变量调整后的约登指数通过内核机建模的估计问题。所提出的方法的优点是证明了在各种模拟实验，以及一个真正的应用Pima印第安人糖尿病研究。
2014-02-08 stat.AP
Augmented Functional Random Forests: Classifier Construction and Unbiased Functional Principal Components Importance through Ad-Hoc Conditional Permutations
Faculty of Technological and Innovation Sciences（技术与创新科学学院）；Faculty of Economics and Law（经济与法学院）
本研究将函数型数据分析与树模型结合，提出增强型函数型分类树和随机森林，通过特设条件置换实现无偏函数主成分重要性评估，在真实与模拟数据集上均提升了分类性能。
2024-08-23 cs.LG math.ST stat.ME
Flow Models for Arbitrary Conditional Likelihoods
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；North Carolina State University（北卡罗来纳州立大学）
理解数据集特征之间的依赖关系是大多数无监督学习任务的核心。然而，大多数生成建模方法仅集中在联合分布$p(x)$上，并且利用在给定其余观察到的协变量$x_o$：$p(x_u \mid x_o)$的情况下难以获得特征$x_u$的某个任意子集的条件分布的模型。传统的条件方法提供了一个模型，一组固定的协变量的条件下，另一组固定的观察协变量。相反，在这项工作中，我们开发了一个模型，能够产生所有的条件分布$p(x_u \mid x_o)$（任意$x_u$）通过易处理的条件似然。我们提出了一种新的扩展（基于变量的变化）流生成模型，任意调节流模型（AC流），可以被调节在任意子集的观测协变量，这是以前不可行的。我们应用AC流的功能的插补，并通过引入一个辅助目标，提供了一个原则性的单一的“最佳猜测”流模型，还开发了一个统一的平台，为多个和单个插补。广泛的实证评估表明，我们的模型在合成和真实世界数据集的图像修补和特征填补中的单次和多次填补方面都达到了最先进的性能。代码可在https://github.com/lupalab/ACFlow上获得。
2020-08-06 cs.CV cs.LG stat.ML
Conditional Feature Importance with Generative Modeling Using Adversarial Random Forests
Leibniz Institute for Prevention Research & Epidemiology – BIPS（莱布尼茨预防研究与流行病学研究所 – BIPS）；Faculty of Mathematics and Computer Science, University of Bremen（不来梅大学数学与计算机科学学院）；Berlin School of Economics and Law（柏林经济与法律学院）；University of Copenhagen（哥本哈根大学）
本文提出cARFi方法，利用对抗随机森林生成的条件分布采样特征值，以少量调参稳健衡量条件特征重要性，支持条件/边际概念及统计显著性检验。
2025-01-19 cs.LG stat.ML
Kernel Robust Bias-Aware Prediction under Covariate Shift
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在协变量偏移下，训练（源）数据和测试（目标）数据在输入空间分布上不同，但共享相同的条件标签分布。这提出了一个具有挑战性的机器学习任务。鲁棒偏差感知（RBA）预测提供了条件标签分布，该条件标签分布对目标分布的最坏情况对数损失是鲁棒的，同时匹配来自源分布的特征期望约束。然而，采用具有不足特征约束的RBA可能导致针对大部分源数据的高确定性预测，同时为目标数据预测留下太多不确定性。为了克服这个问题，我们扩展的代表定理的RBA设置，使正则化的预期目标风险最小化的源分布下的重新加权的内核期望。通过应用核方法，我们建立了一致性保证，并证明了更好的性能的RBA分类器比竞争的方法在综合偏置UCI数据集，以及数据集，有自然的协变量偏移。
2017-12-28 cs.AI cs.LG stat.ML
Consistency of survival tree and forest models: splitting bias and correction
随机生存森林和生存树是统计学和机器学习中流行的模型。然而，对审查机制的一致性、拆分规则和影响等问题缺乏普遍的认识。在本文中，我们从几个有趣的角度研究现有方法的统计特性。首先，我们表明，传统的分裂规则与删失的结果依赖于一个有偏估计的节点内的故障分布。为了准确量化这种偏差，我们开发了一个基于非独立同分布的节点内估计的浓度界。并将其应用于整个森林。其次，我们分析了由单变量分裂引起的失效分布和删失分布之间的纠缠，并证明了在适当的条件下，在不校正内部节点处的偏差的情况下，生存树和森林模型仍然可以享受一致性。特别是，我们证明了这一属性在两种情况下：一个有限维的情况下，随机选择的分裂变量和切割点，和高维的情况下，协变量弱相关。我们的结果也可以退化为一个独立的协变量设置，这是常用的随机森林文献的高维稀疏模型。然而，不可避免的是，收敛速度取决于失效和删失分布中的变量总数。第三，我们提出了一个新的分裂规则，比较偏差校正的累积风险函数在每个内部节点。我们表明，这种新模型的一致性率仅取决于失败变量的数量，这改善了非偏差校正版本。我们进行模拟研究，以确认这可以大大有利于预测误差。
2019-02-04 math.ST stat.ME stat.TH
Consistent Estimation of Residual Variance with Random Forest Out-Of-Bag Errors
在回归模型中估计残差方差的问题在机器学习社区中受到的关注相对较少。然而，在许多实际应用中，估计是主要的兴趣，例如，作为构建预测区间的主要步骤。在这里，我们考虑这个问题的随机森林。其中，协变量和响应变量之间的函数关系通过后者的加权和来建模。然而，在树构造过程中构造的权重中涉及依赖结构，使得模型在数学分析中变得复杂。在L2-相容随机森林模型下，给出了基于随机森林的残差方差估计，并证明了它们的相合性。
2018-12-15 math.ST stat.TH
Spectrally Deconfounded Random Forests
针对存在未观测混淆变量的高维场景，本文提出谱去混淆随机森林（SDForests），通过谱去混淆技术改进随机森林以减少遗漏变量偏差，在模拟及单细胞基因表达数据半合成实验中，其直接回归函数估计性能优于经典随机森林且无混淆时性能相当。
2025-09-24 stat.CO
Nonparametric intensity estimation of spatial point processes by random forests
本文提出一种适用于有无协变量的空间点过程强度随机森林估计器，无需边界校正且能适应不规则域和流形，通过数值实验证明其性能与现有方法相当。
2025-11-12 stat.ME
A conditional randomization test to account for covariate imbalance in randomized experiments
我们考虑条件随机化检验作为一种方法来解释协变量不平衡的随机化实验。该检验通过比较观察到的检验统计量与以观察到的协变量失衡为条件的检验统计量的零分布来解释协变量失衡。我们证明了条件随机化检验具有正确的显著性水平，并引入了原始的符号来更正式地描述协变量平衡。通过模拟，我们验证了条件随机化检验的行为像更传统的协变量调整形式，但具有正确的条件显著性水平的额外好处。最后，我们将该方法应用于随机产品营销实验，随机化后收集协变量信息。
2017-04-20 stat.ME
Random Hazard Forests
Miller School of Medicine, University of Miami（迈阿密大学米勒医学院）；Heart and Vascular Institute, Cleveland Clinic（克利夫兰诊所心脏与血管研究所）；Kogalur & Company, Inc.（科加卢尔公司）；Goizueta Business School（戈伊祖塔商学院）
本研究提出随机风险森林（RHF），一种生存树集成模型，可处理不规则异步协变量更新，准确估计患者时变风险，经模拟与重症监护应用验证有效。
2026-09-16 cs.LG stat.ME stat.ML
Finite-sample bias-variance tradeoff with variables related to trial participation inserted into causal forest models for ensuring generalizability
Division of Preventive Medicine, Department of Medicine, Brigham and Women’s Hospital and Harvard Medical School（预防医学系，内科，布莱根妇女医院和哈佛医学院）；Department of Epidemiology, Graduate School of Medicine, Dentistry and Pharmaceutical Sciences, Okayama University（流行病学科，医药齿学研究院，冈山大学）；Harris School of Public Policy, University of Chicago（哈里斯公共政策学院，芝加哥大学）
本文研究了在因果森林模型中纳入与试验参与相关的变量对有限样本偏差方差权衡的影响，发现IPW方法能有效提升性能，强调单独处理选择偏差的重要性。
2026-05-14 stat.AP stat.ME
The leave-one-covariate-out conditional randomization test
条件独立性测试是一个重要的问题，但在没有假设的情况下可证明是困难的。最近流行的一个假设被称为“X模型”，我们假设我们知道协变量的联合分布，但不假设给定协变量的结果的条件分布。Knockoffs是与该框架相关联的流行方法，但它有两个主要缺点：只有一位$p$值可用于对每个变量的推断，并且该方法是随机的，在实践中具有跨运行的显著可变性。条件随机化检验（CRT）被认为是模型X下的“正确”解决方案，但通常被视为计算效率低下。本文提出了一种计算效率高的留一协变量（LOCO）CRT，解决这两个缺点的仿冒品。LOCO CRT产生有效的$p$值，可用于控制族错误率，并且具有几乎为零的算法可变性。对于L1正则化M估计量，我们开发了一个更快的变体，称为L1 ME CRT，它通过利用关于交叉验证套索稳定性的新观察来去除非活动变量，从而重用计算。最后，对于多元高斯协变量，我们提出了一个封闭的形式表达的LOCO CRT $p$ -值，从而完全消除了在这个重要的特殊情况下的restaurant。
2020-07-13 stat.ME stat.ML
Shrinkage Bayesian Causal Forests for Heterogeneous Treatment Effects Estimation
University College London（伦敦大学学院）
本文开发了一个稀疏诱导版本的贝叶斯因果森林，最近提出的非参数因果回归模型，采用贝叶斯加性回归树，是专门设计来估计异质性处理效应使用观察数据。我们引入的稀疏诱导成分是由实证研究激发的，其中并非所有可用的协变量都是相关的，从而导致在估计个体处理效应时感兴趣的表面的稀疏程度不同。在这项工作中提出的扩展版本，我们称之为收缩贝叶斯因果森林，配备了一对额外的先验，允许模型通过树集合中相应的分裂数来调整每个协变量的权重。这些先验提高了模型对稀疏数据生成过程的适应性，并允许在处理效应估计的框架中执行完全贝叶斯特征收缩，从而揭示驱动异质性的调节因素。此外，该方法允许将有关相关混杂协变量及其对结果影响的相对幅度的先验知识纳入模型中。我们说明了我们的方法在模拟研究中的性能，与贝叶斯因果森林和其他最先进的模型相比，展示了它如何随着协变量数量的增加而扩展，以及它如何处理强烈混淆的场景。最后，我们还提供了一个使用真实世界数据的应用程序的例子。
2021-11-16 cs.LG stat.ME stat.ML
Randomization Tests that Condition on Non-Categorical Covariate Balance
随机化实验的一个好处是，治疗组和对照组的协变量分布平均平衡，从而得到处理效应的简单无偏估计量。然而，特定的随机化可能会产生协变量不平衡，研究人员希望在分析阶段通过调整或其他方法来解决。在这里，我们提出了一个随机化检验，条件是协变量平衡，只考虑治疗分配，这是类似于观察到的协变量平衡。以前的条件随机化检验只允许分类协变量，而我们的随机化检验允许任何类型的协变量。通过大量的模拟研究，我们发现我们的条件随机化测试是更强大的无条件随机化测试和其他条件测试。此外，我们发现我们的条件随机化检验是有效的（1）无条件跨水平的协变量平衡，（2）有条件的协变量平衡的特定水平。同时，无条件随机化检验对（1）有效，但对（2）无效。最后，我们发现我们的条件随机化测试是类似的随机化测试，使用模型调整的检验统计量。
2018-10-04 stat.ME
Conditional Akaike information under covariate shift with application to small area estimation
本文研究了线性混合模型中，当预测模型的协变量值与观测数据模型的协变量值不同时，在协变量偏移的情况下，固定效应的解释变量的选择问题。基于Vaida和Blanchard（2005）提出的条件赤池信息，我们构建了一个变量选择准则。我们特别关注小区域估计中的协变量偏移，并证明了所提出的标准的实用性。此外，数值性能进行了研究，通过模拟，其中之一是基于设计的模拟使用一个真实的数据集的土地价格。
2017-12-10 stat.ME
Misguided Use of Observed Covariates to Impute Missing Covariates in Conditional Prediction: A Shrinkage Problem
研究人员经常使用缺失数据的插补值进行条件预测。然而，估算的应用往往缺乏坚实的统计理论基础。本文起源于当我们无法找到分析证实的索赔，缺失数据的插补具有良好的频率属性时，数据随机缺失（MAR）。当估计E（y）形式的条件均值时，我们重点关注使用观察到的协变量来插补缺失的协变量|x，w）。这里y是一个结果，它的实现总是被观察到的，x是一个协变量，它的实现总是被观察到的，w是一个协变量，它的实现有时是不可观察的。我们研究了E（y）的简单插补估计的概率极限|x，w），因为样本量趋于无穷大。我们发现，这些估计是不一致的协变量数据时，MAR。相反，估计遭受收缩问题。它们收敛于感兴趣的条件平均值E（y）之间的中间点|x，w）和平均值E（y| x）仅以x为条件。我们使用一种类型的基因型插补来说明。
2021-02-22 econ.EM stat.ME
Gradient-Boosted Generalized Linear Models for Conditional Vine Copulas
针对条件藤Copula的参数估计问题，提出结合梯度提升与广义线性模型的方法，通过关联协变量与Kendall's τ实现参数估计与协变量选择，经模拟和天气预报后处理实验验证性能优于基准，并提供对应R包。
2024-06-19 stat.AP stat.ME
Variable selection with missing data in both covariates and outcomes: Imputation and machine learning
缺失数据问题在健康研究中普遍存在。同时存在缺失协变量和结果的变量选择是一个重要的统计研究课题，但研究较少。现有的文献集中在参数回归技术，提供直接的参数估计的回归模型。灵活的非参数机器学习方法大大减轻了对参数假设的依赖，但不提供自然定义的变量重要性度量作为参数模型的协变量效应。当协变量和结果都可以随机缺失并且具有一般的缺失数据模式时，我们研究了一般的变量选择方法。这种方法利用了机器学习建模技术和自举插补的灵活性，这适用于协变量效应不可直接获得的非参数方法。我们进行了广泛的模拟调查的实际操作特性的变量选择方法，当结合四个基于树的机器学习方法，XGBoost，随机森林，贝叶斯加性回归树（BART）和条件随机森林，和两个常用的参数方法，套索和向后逐步选择。数值结果表明，当与bootstrap插补相结合时，XGBoost和BART在各种设置中的$F_1$评分和第一类错误方面具有总体最佳的变量选择性能。一般来说，由于插补方法，变量选择性能没有显著差异。我们利用全国妇女健康研究的数据，通过代谢综合征3年发病率风险因素的案例研究进一步证明了这些方法。
2021-07-07 stat.AP stat.ME stat.ML
Inference in experiments conditional on observed imbalances in covariates
双盲随机对照试验传统上被视为因果推断的金标准，因为均值差估计量是实验中平均处理效应的无偏估计量。然而，该估计量在所有可能的随机化中无偏的事实并不意味着任何给定的估计值接近真实的处理效应。类似地，虽然预先确定的协变量在治疗组和对照组之间平均平衡，但在给定实验中可能观察到较大的不平衡，因此研究人员可能希望使用线性回归对此类协变量进行调节。本文研究了协变量观测差的均值差和OLS估计量\emph{conditional}的理论性质。通过推导条件估计量的统计性质，我们可以为如何处理协变量不平衡建立指导。我们研究了与OLS的推断，以及与新版本的Fisher精确检验，其中的随机化分布来自一个小的子集的所有可能的分配向量。
2021-08-24 stat.ME
Testing for Conditional Mean Independence with Covariates through Martingale Difference Divergence
在统计学中，一个重要的问题是决定回归模型中是否需要附加变量。我们提出了一个新的多元检验来研究给定X条件下Y对某些已知效应Z的条件均值独立性，即，E（Y| X，Z）= E（Y| Z）。假设E（Y| Z）和Z是线性相关的，我们通过变换重新表达了一个等价的条件均值独立性的概念，它在实践中是近似的。我们应用鞅差散度（Shao and Zhang，2014）来度量条件均值依赖性，并证明近似的估计误差可以忽略不计，因为它在某些正则性假设下对检验统计量的渐近分布没有影响。我们的测试的实施是由模拟和金融数据的例子证明。
2018-05-17 math.ST stat.AP stat.CO
Identification and estimation of the conditional average treatment effect with nonignorable missing covariates, treatment, and outcome
University of Michigan（密歇根大学）；Tsinghua University（清华大学）；Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（北京雁栖湖应用数学研究院）
本文提出在非随机缺失机制下非参数识别条件平均处理效应，并开发了非参数和参数估计方法，同时提出敏感性分析框架以评估稳健性。
2026-02-22 stat.ME
Conditional Distribution Estimation Given Functional Covariates Using Deep Operator Networks
University of California, Irvine（加州大学尔湾分校）
该研究拓展传统函数对标量回归，采用深度算子网络结合卷积神经网络，实现任意算子下的条件分布估计，在复杂数据场景中鲁棒性优于均值回归神经网络。
2026-09-04 stat.ME
Doubly robust target inference for generalized linear regression with completely missing covariates
School of Mathematics and Statistics, Huazhong University of Science and Technology（华中科技大学数学与统计学院）；Department of Statistics and Data Science, Tsinghua University（清华大学统计与数据科学系）
针对目标数据协变量完全缺失的广义线性回归，提出双重稳健迁移学习框架，结合重要性加权与插补，实现一致且有效的目标总体推断。
2026-09-22 math.ST stat.ME stat.ML
Expectile-based conditional tail moments with covariates
本文提出用期望分位数替代分位数构造新的条件尾部矩风险度量，在重尾条件下研究其估计量的渐近性质与外推估计，并通过模拟和保险数据验证。
2023-10-29 stat.ME
Causal-DRF: Conditional Kernel Treatment Effect Estimation using Distributional Random Forest
University of Geneva（日内瓦大学）；ETH Zürich（苏黎世联邦理工学院）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）
本文提出Causal-DRF方法，利用分布随机森林算法估计条件核治疗效应，通过森林拟合获得一致且渐近正态的估计值，从而更全面理解治疗效应差异。
2026-04-02 stat.ME
An Alternative Formulation of Coxian Phase-type Distributions with Covariates: Application to Emergency Department Length of Stay
在本文中，我们提出了一种新的方法来模拟病人的过渡和住院时间在急诊科使用一系列的条件Coxian相位型分布，协变量。我们重新制定的Coxian模型（标准Coxian，Coxian与多个吸收状态，联合Coxian，条件Coxian），考虑到异质性的患者特征，如到达模式，入院时间和年龄。该方法与以前的研究不同，因为它减少了计算时间，并且允许将患者协变量信息直接纳入模型。该模型被应用到急诊科的数据，在爱尔兰利默里克大学医院。
2019-07-31 stat.AP stat.ME
Nonparametric Estimation of Conditional Survival Function with Time-Varying Covariates Using DeepONet
本研究提出基于 DeepONet 的非参数方法估计具有时变协变量的条件生存函数，放宽风险回归假设，模拟与 ADNI 数据表明其优于 Cox 模型。
2025-05-28 stat.ME
The hierarchical barycenter: conditional probability simulation with structured and unobserved covariates
针对协变量不统一但共享信息的非结构化数据集，本文基于最优运输理论提出分层重心问题及数据驱动求解法，用于条件概率密度模拟，效果优于经典重心方法。
2025-08-04 math.OC stat.ME
Correcting Conditional Mean Imputation for Censored Covariates and Improving Usability
本文指出了现有删失协变量条件均值插补公式的错误，推导了正确的条件均值形式，并提供了R软件包imputeCensoRd以提升可用性。
2021-09-24 stat.ME
Multiple imputation of covariates by fully conditional specification: accommodating the substantive model
在流行病学和临床研究中，协变量数据缺失是常见的现象，通常采用多重插补（MI）进行处理。如果实质性模型是非线性的（例如，考克斯比例风险模型），或包含非线性（例如，平方）或交互作用项，则部分观察到的协变量的插补是复杂的，并且MI的标准软件实现可能插补来自与此类实质性模型不兼容的模型的协变量。我们展示了如何填补完全条件规范，一种流行的方法进行MI，可以修改，使协变量是从模型，这是兼容的实质性模型。我们调查，通过模拟的性能，这一建议，并将其与现有的方法。模拟结果表明，我们的建议给出了相合估计的一系列常见的实质性模型，包括模型，包含非线性协变量的影响或相互作用，提供的数据是随机缺失和假设插补模型是正确的指定和相互兼容。
2013-01-17 stat.ME
A test for comparing conditional ROC curves with multidimensional covariates
受试者工作特征（ROC）曲线的比较在文献中经常用于比较基于诊断变量的不同分类程序的区分能力。这些变量的表现有时会受到其他协变量的影响，因此在进行比较时应将其考虑在内。本文提出了一种新的非参数检验方法，用于检验两条或多条以多维协变量值为条件的相依ROC曲线的相等性。投影用于将问题转化为更容易处理的一维方法。仿真实验研究了新方法的实际性能。一个真实的数据集与胸腔积液的患者进行了分析，以说明这一过程。
2021-02-08 stat.ME
Classification Accuracy and Parameter Estimation in Multilevel Contexts: A Study of Conditional Nonparametric Multilevel Latent Class Analysis
目前的研究有两个目的。首先，使用一个经验数据集来演示多站点项目评估的效用条件非参数多级潜在类分析（NP-MLCA）。其次，研究了潜在类别指标的质量、潜在类别指标的数量、水平1协变量效应、水平间协变量效应、水平2单位的数量和水平2单位的大小等六个研究因素对条件NP-MLCA分类精度和参数估计的影响。使用模拟研究检查了总共96个条件。分类准确率、跨水平协变量效应和背景效应的功效和第一类错误表明非参数多水平潜在类别模型可以广泛应用于多水平背景。
2020-10-30 stat.AP stat.ME
Conditional cross-fitting for unbiased machine-learning-assisted covariate adjustment in randomized experiments
本文针对随机实验中协变量调整因数据重复使用导致的有限样本偏差问题，提出条件交叉拟合方法，在基于设计的推断框架下构造无偏ATE估计量并支持机器学习辅助调整。
2025-08-21 stat.ME
Sequentially Doubly Robust Estimation of Conditional Survival Probability with Time-Varying Covariates
Michigan State University（密歇根州立大学）；University of Washington（华盛顿大学）；Fred Hutchinson Cancer Center（弗雷德·哈钦森癌症中心）；Harvard Medical School（哈佛医学院）
本文提出一种非参数估计方法，用于估计连续时间生存概率，考虑时间变化协变量的失访影响，方法在每个时间窗口内一致估计失访分布或同时估计事件时间分布和条件均值概率，具有双重稳健性和渐近效率。
2026-11-03 stat.ME
Conditional density estimation with covariate measurement error
我们考虑估计一个易出错的协变量上的响应条件的密度。基于现有的两种不含协变量测量误差的核密度估计，提出了一种修正现有的测量误差估计的方法.在不同类型的测量误差分布下，导出了合成估计量的渐近性质。此外，我们调整现有的带宽选择方法开发的无误差的数据，以获得新的估计带宽。进行了大量的仿真研究，以比较所提出的估计与朴素的估计，忽略测量误差，这也提供了经验证据的有效性，所提出的带宽选择方法。一个真实的数据例子被用来说明这些方法在实际场景下的实现。我们开发了一个R包lpme来实现所有考虑的方法，我们在附录H中通过一个R代码示例演示了这些方法。
2020-01-08 stat.ME
Covariate Shift Corrected Conditional Randomization Test
针对协变量偏移下条件独立性检验失效的问题，提出csPCR检验，通过重要性权重和控制变量法校正偏移并提升功效，理论及模拟验证其控制第一类错误且功效优越，并应用于COVID-19治疗评估。
2024-05-29 stat.ME
