Testing for Regression Heteroskedasticity with High-Dimensional Random Forests
高维回归异方差性的统计推断是一个重要但尚未充分研究的问题。本文旨在填补这一空白，提出了两个测试，即方差差检验和方差差Breusch-Pagan检验，用于评估高维回归异方差性。前者测试一个感兴趣的解释性特征是否与一个响应变量的条件方差相关，而后者测试回归中的异方差性，这被称为Breusch-Pagan测试问题。为了正式建立测试，我们推导出严格的P值和测试大小，并分析了高维输入特征的非参数异方差数据生成模型下的测试能力。这样的模型设置考虑到高维应用程序的灵活结构的异方差性和功能具有相互作用的影响的平均值的响应，这些是常见的应用程序在许多领域，如生物学。我们的方法利用机器学习均值预测方法，如随机森林，并使用仿制品变量作为阴性对照。特别是，我们的检验统计量的仿冒品定义比仿冒品的原始定义更加灵活，我们对这两个定义进行了详细比较，并讨论了我们的仿冒品的优势。模拟结果和HIV（人类免疫缺陷病毒）的案例研究说明了所提出的测试令人满意的经验性能。
2022-12-05 stat.ME
Combining clustering of variables and feature selection using random forests
解决高维监督分类问题的标准方法通常包括变量选择和降维过程。本文提出的新方法结合了变量聚类和特征选择。更确切地说，变量的层次聚类程序允许建立相关变量组，以减少信息的冗余，并通过合成数值变量总结每组。独创性是指变量组（以及组数）是先验未知的。此外，使用的聚类方法可以处理数值和分类变量（即混合数据集）。在从树状图切割产生的所有可能的分区中，使用随机森林的变量选择程序选择最相关的合成变量（即变量组）。所提出的方法的数值性能进行了比较与直接应用的随机森林和变量选择使用随机森林的原始p变量。在两个模拟的混合数据集（情况n>p和n<p，其中n是样本量）和一个真正的蛋白质组数据集上说明了所提出的方法所获得的改进。通过选择变量组（基于合成变量），结果的可解释性变得更容易。
2018-11-06 math.ST stat.TH
Random forests for high-dimensional longitudinal data
随机森林是一种最先进的监督机器学习方法，它在高维环境中表现良好，尽管当预测器的数量$p$远大于观测值的数量$n$时可能会出现一些限制。重复测量可以提供额外的信息，但尚未提出用于高维纵向数据的方法。随机森林已经适应了标准（即，$n > p$）纵向数据，其中非参数部分采用随机森林估计。我们首先提出了一个随机扩展的模型，它允许协方差结构随时间变化。此外，我们开发了一种新的方法，考虑到个体内的协方差建立森林。仿真结果表明，我们的方法相比，现有的优越性。该方法已被应用于HIV疫苗试验，包括17例HIV感染者的20000个基因转录本和人类免疫缺陷病毒RNA的血液浓度在抗逆转录病毒中断时的10个重复测量。该方法选择了21个与HIV病毒载量完全相关的基因转录本，并与原发感染期间观察到的结果一致。
2019-01-31 stat.ME
Global Censored Quantile Random Forest
Emory University（埃默里大学）
针对右删失数据的条件分位数预测问题，提出全局删失分位随机森林（GCQRF），该方法能捕捉非线性关系，通过连接IDUP量化预测变异性并建立弱收敛性，同时提出基于样本外精度的特征重要性排序，在模拟与真实数据上展现出更优预测精度。
2024-10-16 cs.LG stat.ME stat.ML
MMD-based Variable Importance for Distributional Random Forest
Safran Tech（赛峰科技）；Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）
本文为分布随机森林（DRF）提出一种基于丢弃并重新学习原则和MMD距离的变量重要性算法，能检测影响输出分布的变量，具有一致性且优于竞争方法，可通过递归特征消除高效选择少量变量以准确估计条件输出分布。
2024-02-14 cs.LG stat.ME stat.ML
MissForest - nonparametric missing value imputation for mixed-type data
基于高通量技术的现代数据采集经常面临缺失数据的问题。通常用于分析这种大规模数据的算法通常依赖于一个完整的集合。缺失值插补提供了一个解决这个问题的方法。然而，大多数可用的插补方法仅限于一种类型的变量：连续或分类。对于混合类型的数据，不同类型的数据通常是分开处理的。因此，这些方法忽略变量类型之间可能的关系。我们提出了一种非参数方法，可以同时处理不同类型的变量。我们比较了几种最先进的方法填补缺失值。我们提出并评估了一种基于随机森林的迭代插补方法（missForest）。通过对许多未修剪的分类或回归树进行平均，随机森林本质上构成了一个多重插补方案。利用随机森林的内建袋外误差估计，我们能够在不需要测试集的情况下估计插补误差。对来自不同生物学领域的多个数据集进行评价，人为引入的缺失值范围为10%至30%。我们表明，missForest可以成功地处理缺失值，特别是在数据集，包括不同类型的变量。在我们的比较研究中，missForest优于其他插补方法，特别是在怀疑存在复杂相互作用和非线性关系的数据设置中。missForest的袋外插补误差估计证明在所有设置中都是足够的。此外，missForest具有吸引力的计算效率，可以处理高维数据。
2011-09-27 stat.AP stat.ML
RFCDE: Random Forests for Conditional Density Estimation
Department of Statistics & Data Science Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
随机森林是一种常见的非参数回归技术，它对混合类型的数据和不相关的协变量表现良好，同时对单调变量变换具有鲁棒性。现有的随机森林实现针对回归或分类。我们介绍了RFCDE包拟合随机森林模型优化的非参数条件密度估计，包括联合密度的多个响应。这使分析条件概率分布成为可能，这对传播不确定性和描述多个响应和协变量之间关系的联合分布非常有用。RFCDE是根据麻省理工学院开源许可证发布的，可以通过https://github.com/tpospisi/rfcde访问。R和Python版本都可以调用一个通用的C++库。
2018-05-02 cs.LG stat.ML
Small area estimation with generalized random forests: Estimating poverty rates in Mexico
本文提出广义混合效应随机森林用于小域贫困估计，结合机器学习非线性建模与层次结构，并通过模拟和墨西哥特拉斯卡拉州案例验证其有效性。
2024-06-06 stat.ME
Just add noise: Debiasing tree-based variable importance in mixed data
Duke University（杜克大学）
针对树模型变量重要性偏向连续变量的问题，提出添加噪声的简单去偏方法，并结合稳定性选择实现混合数据变量选择与错误发现控制。
2026-09-15 cs.LG stat.ME stat.ML
A principal components method to impute missing values for mixed data
本文提出了一种新的方法来填补混合数据集的缺失值。它基于主成分方法，即混合数据的因子分析，该方法平衡了所有连续和分类变量在变异性维度构建中的影响。由于插补使用主轴和主成分，因此缺失值的预测基于个体之间的相似性和变量之间的关系。通过模拟研究和真实数据集评估插补的质量。该方法与最近的一种基于随机森林的方法（Stekhoven和Bühlmann，2011）进行了比较，并显示出更好的性能，特别是对于分类变量的插补和连续变量之间存在高度线性关系时。
2013-02-19 stat.AP
Asymptotic Unbiasedness of the Permutation Importance Measure in Random Forest Models
Technical University of Dortmund（多特蒙德工业大学）
从生物医学研究到计量经济学的应用表明，稀疏回归模型中的变量选择是一个重要的任务。特别是对于高维回归问题，响应和协变量之间的联系函数不能直接检测，信息变量的选择是具有挑战性的。在这些情况下，随机森林方法是预测新结果的有用工具，同时提供变量选择的度量。一种常见的方法是使用排列重要性。基于随机森林的排列重要性方法具有直观的思想和灵活的使用方法，对于探索环境中正确表示信息协变量具有重要意义。关于后者，我们提供理论保证的有效性的置换重要性措施在特定的假设下，并证明其（渐近）无偏性。一个广泛的模拟研究验证了我们的研究结果。
2019-12-05 cs.LG math.ST stat.ML
Fréchet random forests for metric space valued regression with non euclidean predictors
epoch intelligence；Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与基础科学研究所）
本文提出Fréchet树和Fréchet随机森林，通过引入新的节点分裂方法和推广预测过程，支持输入输出变量在一般度量空间取值的异构数据回归，并验证了其一致性与有效性。
2024-02-16 cs.LG stat.ME stat.ML
Random forests for binary geospatial data
本文提出RF-GP方法，将RF-GLS与广义混合效应模型结合，通过链接反演技术实现二值地理空间数据的非线性均值函数估计与空间预测，并建立了理论一致性保证。
2025-02-06 stat.ME stat.ML
Flexible Predictive Distributions from Varying-Thresholds Modelling
提出了一类通用的模型，该模型能够在给定解释变量$\xb$向量的情况下估计因变量$Y$的整个预测分布。这些模型利用解释变量的强度来区分因变量的低值和高值，这可能会在用于定义低值和高值的阈值上有所不同。模型的简单线性版本是经典线性回归模型的推广，也是广泛使用的有序回归模型的推广。它们允许以参数函数的形式可视化解释变量的效果。更一般的模型是基于有效的非参数方法，如随机森林，它更灵活，是强大的预测工具。给出了一个通用的估计方法，它可以使用所有的估计工具，已提出的二元回归，包括选择方法，如套索或弹性网。对于线性结构的模型，导出了最大似然估计。模拟和几个真实的数据集的模型的有用性说明。
2021-03-24 stat.ME
Asymptotic Properties of High-Dimensional Random Forests
随机森林算法作为一种灵活的非参数学习工具，即使在高维特征空间中也具有良好的经验性能，被广泛应用于各种实际应用中。揭示了潜在的机制，导致了一些重要的最近的理论结果的一致性的随机森林算法及其变种。然而，据我们所知，几乎所有现有的作品随机森林一致性在高维设置建立了各种修改的随机森林模型的分裂规则是独立的响应，少数例外假设简单的数据生成模型与二进制功能。鉴于此，在本文中，我们推导出的一致性率的随机森林算法与样本CART分裂标准，这是在该算法的原始版本中使用的，在一般的高维非参数回归设置通过偏差方差分解分析。我们的新理论结果表明，随机森林确实可以适应高维，并允许不连续的回归函数。我们的偏差分析明确地描述了随机森林偏差如何依赖于样本量、树高和列子采样参数。我们目前的结果的一些局限性进行了讨论。
2022-09-24 math.ST stat.TH
Treeging
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
树结合了回归树的灵活平均结构和克里金的基于协方差的预测策略，成为集成预测算法的基本学习者。在这样做时，它结合了两种主要类型的空间和时空预测模型的优势：（1）具有灵活的平均结构（通常是机器学习算法）的模型，假设独立分布的数据，以及（2）克里金或高斯过程（GP）预测模型，具有丰富的协方差结构，但具有简单的平均结构。我们调查了一个彻底的和广泛的电池的空间和时空模拟方案的预测精度的树，比较它的普通克里格，随机森林和合奏的普通克里格基础学习。树法在所有方面都表现良好，而克里金法在相关性较弱或存在虚假协变量时会受到影响，而随机森林在协变量信息量较少时会受到影响。在几个案例研究中，树法在预测大气污染物（臭氧和PM $_{2.5}$）方面也优于这些竞争对手。我们研究了对调整参数（基础学习器的数量和训练数据采样比例）的敏感性，发现它们遵循随机森林对应物的熟悉直觉。我们包括标量的讨论，注意到任何协方差近似技术，加快克里金法（GP）可以类似地应用于加快树。
2021-10-03 cs.LG stat.AP stat.ML
Information Forests
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Siemens Medical Solutions（西门子医疗解决方案）
我们描述的信息森林，一种分类方法，概括了随机森林的分裂标准的非叶节点从一个歧视性的-基于标签分布的熵-生成一个-基于最大化的信息分歧之间的类条件分布在所得的分区。其基本思想是推迟分类，直到“分类置信度”达到足够高的程度，而不是分解数据，以最大限度地提高这一程度。在另一种解释中，信息森林试图将数据划分为“尽可能提供信息”的子集，以实现对数据进行分类的任务。分类置信度，或子集的信息内容，通过信息发散度来量化。我们的方法涉及主动学习，半监督学习，混合生成/判别学习。
2012-02-07 cs.LG stat.ML
Wilcoxon Random Forests for Robust Distributional Prediction
Vanderbilt University（范德堡大学）；University of Southern California（南加州大学）
针对生物医学有序结果中的异常值、偏态和混合类型，提出基于秩分裂的Wilcoxon随机森林，通过聚合回归树估计条件分布，在偏态或异方差下提升分位数估计与校准，并成功应用于HIV治疗后的CD4和病毒载量预测。
2026-09-29 stat.ME
Mixed Effect Dirichlet-Tree Multinomial for Longitudinal Microbiome Data and Weight Prediction
量化肠道微生物组与体重之间的关系可以为改善消化健康的个性化策略提供见解。在本文中，我们提出了一种算法，该算法使用来自先前发表的数据集的健康新生儿队列中的肠道微生物组来预测体重波动。众所周知，微生物数据提出了独特的统计挑战，挑战了大多数传统模型。我们提出了一个混合效应的狄利克雷树多项式（DTM）模型来解开这些困难，以及纳入协变量信息和帐户的物种相关性。DTM设置允许在每个节点上轻松调用经验贝叶斯收缩，以增强对微生物比例的推断。使用这些估计值，我们随后应用随机森林进行体重预测，并获得微生物组推断的体重指标。我们的研究结果表明，微生物组推断的体重与未来的体重变化显著相关，其非平凡的效应大小使其成为预测体重进展的可行候选者。
2017-06-20 stat.AP
Rare-Event Simulation for Neural Network and Random Forest Predictors
Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了一类问题的稀有事件模拟，其中目标命中集的兴趣是通过现代机器学习工具，如神经网络和随机森林定义。这个问题的动机是从快速新兴的智能系统的安全评估，学习模型的鲁棒性量化的研究，以及其他潜在的应用程序，大规模的模拟，其中机器学习工具可以用来近似复杂的稀有事件集的边界。我们研究了一个重要性采样计划，该计划集成了大偏差和顺序混合整数规划中的控制点机制，以找到潜在的控制点。我们的方法适用于一系列神经网络架构，包括全连接层，整流线性单元，归一化，池化和卷积层，以及从标准决策树构建的随机森林。我们提供了效率保证和数值演示我们的方法使用分类模型在UCI机器学习库。
2020-10-10 cs.LG math.ST stat.ML
Adaptive Forests For Classification
Sloan School of Management and Operations Research Center（斯隆管理学院和运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）；Operations Research Center（运筹学研究中心）
提出自适应森林（AF），结合最优预测策略树框架和混合整数优化，自适应选择CART树权重，在20多个真实数据集上优于随机森林和XGBoost。
2025-10-27 cs.LG stat.ML
Covariate Adjusted Functional Mixed Membership Models
本文提出协变量调整的函数型混合成员模型，利用多元Karhunen-Loève分解实现可扩展建模，并证明模型可识别性，用于刻画TD儿童与ASD儿童alpha振荡随年龄变化的异质性发育轨迹。
2024-10-01 stat.ME
The Boundary Forest Algorithm for Online Supervised and Unsupervised Learning
Disney Research（迪士尼研究院）
我们描述了一个新的基于实例的学习算法称为边界森林（BF）算法，可用于监督和无监督学习。该算法建立了一个树的森林，其节点存储以前看到的例子。它可以一次显示一个数据点，并增量地更新自己，因此它自然是在线的。很少有基于实例的算法在快速的同时具有这种特性，BF就是这样。这对于需要对输入数据进行实时的响应的应用来说是至关重要的。每个节点的子节点的数量不是预先设置的，而是从训练过程中获得的，这使得算法在学习数据流形方面非常灵活。我们在一系列基准数据集上测试了它的泛化性能和速度，并详细说明了它在哪些设置上优于现有技术。根据经验，我们发现训练时间为O（DNlog（N）），测试时间为O（Dlog（N）），其中D是维度，N是数据量，
2015-05-12 cs.DS cs.IR cs.LG
Random Forest Missing Data Algorithms
随机森林（RF）缺失数据算法是一种很有吸引力的处理缺失数据的方法。它们具有能够处理混合类型的缺失数据的理想特性，它们能够适应交互和非线性，并且它们具有扩展到大数据设置的潜力。目前有许多不同的RF插补算法，但相对较少的指导，他们的疗效，这促使我们研究他们的性能。使用大量不同的数据集，在不同的缺失数据机制下评估了各种RF算法的性能。算法包括邻近插补，在飞插补，插补利用多变量无监督和监督分裂-后一类代表了一个新的有前途的插补算法称为missForest的推广。通过准确插补数据的能力评估算法性能。我们的研究结果表明，RF插补一般是强大的性能提高，增加相关性。在中度至高度缺失情况下性能良好，甚至（在某些情况下）数据非随机缺失时也是如此。
2017-01-20 stat.ML
Interpretable Network-assisted Random Forest+
University of Notre Dame（诺特大学）；University of Michigan（密歇根大学）
本文提出基于随机森林推广的网络辅助模型族，兼顾高预测精度与内在可解释性，并开发特征重要性与网络贡献量化工具，以提升高影响力场景下的模型透明度。
2026-09-09 cs.LG stat.ME stat.ML
Random Forests for time-fixed and time-dependent predictors: The DynForest R package
The George Institute for Global Health（乔治全球健康研究所）；UNSW Sydney（新南威尔士大学悉尼分校）；Inserm U1219 - Bordeaux Population Health（法国国家健康与医学研究院U1219波尔多人群健康研究所）；Université de Bordeaux（波尔多大学）
本文介绍的DynForest R包实现了支持时间固定与内生、带测量误差的时间依赖预测变量的随机森林，可处理多类结局并提供变量重要性分析，附分步使用指导。
2024-04-11 cs.LG stat.ML
Who wins the Miss Contest for Imputation Methods? Our Vote for Miss BooPF
当收集大量数据时，缺失数据是一个预期的问题，并且已经提出了几种插补技术来解决这个问题。在MICE等经典方法之下，机器学习技术的应用是诱人的。在这里，最近提出的missForest插补方法在具有各种缺失率的随机（完全）缺失方案下显示出高插补精度。在其核心，它是基于一个随机森林的分类和回归，分别。在本文中，我们研究这种方法是否甚至可以增强其他方法，如随机梯度树提升方法，C5.0算法或修改后的随机森林程序。特别是，在随机森林协议的其他resception策略的建议。在一个广泛的模拟研究中，我们分析了他们的表现连续，分类以及混合类型的数据。其中，MissBooPF，随机梯度树提升方法与参数自举随机森林方法的组合，似乎是有前途的。最后，以信用信息和Facebook数据为研究对象进行了实证分析。
2017-11-30 stat.ML
On Quantile Regression Forests for Modelling Mixed-Frequency and Longitudinal Data
本论文扩展分位数回归森林算法，提出MIDAS-QRF和FM-QRF两种新方法，分别处理混合频率和纵向数据，并在金融风险管理和气候变化评估中验证其有效性。
2025-02-24 cs.LG stat.ME stat.ML
The Use of Binary Choice Forests to Model and Estimate Discrete Choices
Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）
本研究提出用二元决策树森林（随机森林）表示离散选择模型，实现可解释且一致估计顾客选择概率，并能恢复偏好排序，实验证明优于现有方法。
2025-10-07 cs.LG econ.EM stat.ML
Multi-Study Causal Forest (MCF): A flexible framework for data borrowing in the presence of varying treatment effect heterogeneity
本文提出多研究因果森林（MCF）框架，在存在研究间和研究内治疗效果异质性时从辅助数据源借用个体患者数据，并通过模拟和乳腺癌数据证明其优于现有方法。
2025-02-04 stat.ME
Semiparametric Mixed-Scale Models Using Shared Bayesian Forests
本文展示了在各种非参数回归问题（包括多变量、异方差和半连续响应）中，共享多个模型分量之间的协变量未知特征信息的优势。在本文中，我们提出了一种方法，它允许使用贝叶斯树模型的总和在不同的模型组件之间共享非参数化的信息。我们的模拟结果表明，在相关的模型组件的信息共享往往是非常有益的，特别是在稀疏的高维问题中，变量选择必须进行。我们通过分析医疗支出调查（MEPS）的医疗支出数据来说明我们的方法。为了便于贝叶斯非参数回归分析，我们开发了两种新的模型，用于分析MEPS数据使用贝叶斯加性回归树-异方差对数正态栅栏模型与“收缩向同性”先验，和伽玛栅栏模型。
2019-06-09 stat.ME
Flexible linear mixed models with improper priors for longitudinal and survival data
针对具有灵活随机效应和残差误差分布的分层线性混合模型，提出了一种使用不适当先验的贝叶斯方法。误差分布是使用比例混合的法线，它可以捕捉比那些正态分布的尾部重建模。这种概括对于产生对离群值的存在具有鲁棒性的模型是有用的。还研究了非对称残差的情况。我们目前的一般结果的适当性后，也包括情况下，审查意见，允许使用这些模型的背景下流行的纵向和生存分析。我们考虑使用灵活的边际copula建模之间的依赖关系的随机效应，但我们的研究结果涵盖使用任何随机效应分布。因此，我们的论文提供了一个正式的理由贝叶斯推断在一个非常广泛的一类模型（几乎涵盖了所有的文献）有吸引力的事先结构，限制所需的用户启发。
2018-02-05 stat.AP stat.ME
Spatial-temporal prediction of forest attributes using latent Gaussian models and inventory data
针对美国农业部FIA项目基于设计的推断难以估计森林变量时间变化的问题，提出基于高斯过程的多尺度时空潜高斯模型，可在任意时空域推断森林变量及变化，并用其实现两处美国国家森林20年生物量变化的推断。
2025-06-05 stat.AP stat.ME
Aggregate Bayesian Causal Forests: The ABCs of Flexible Causal Inference for Hierarchically Structured Data
针对分层聚合数据的因果推断需求，提出聚合贝叶斯因果森林模型aBCF，在保留BCF少参数假设优势的同时适配异方差与组内相关特征，仿真验证其估计精度更高、区间更窄且先验鲁棒性好。
2024-07-09 stat.ME
Poisson-Tweedie mixed-effects model: a flexible approach for the analysis of longitudinal RNA-seq data
我们提出了一种新的建模方法，纵向计数数据的动机是越来越多的可用性纵向RNA测序实验。RNA-seq计数的分布通常表现出过度分散、零膨胀和重尾;此外，在纵向设计中，来自同一受试者的重复测量通常（正）相关。我们提出了一个广义线性混合模型的基础上的Poisson-Tweedie分布，可以灵活地处理上述功能的纵向过度分散计数。我们开发了一种计算方法来准确地评估所提出的模型的可能性，并进行极大似然估计。我们的方法在R包ptmixed中实现，可以从CRAN免费下载。我们评估了ptmixed在模拟数据上的性能，并将其应用于健康和营养不良小鼠的纵向RNA测序测量数据集。Poisson-Tweedie混合效应模型的适用性不限于纵向RNA-seq数据，但它扩展到任何情况下，其中离散过度分散的响应变量的非独立测量是可用的。
2020-08-26 stat.AP stat.CO stat.ME
Causal Mediation and Sensitivity Analysis for Mixed-Scale Data
因果中介分析的目标通常在潜在结果框架中描述，是沿着不同的因果路径分解暴露对感兴趣结果的影响。Imai et al.（2010）使用序贯可验证性假设来实现非参数识别，提出了一种测量中介效应的灵活方法，重点关注结果和中介的参数和半参数正态/伯努利模型。较少关注的情况下，结果和/或中介模型是混合规模，有序，或以其他方式落在正常/伯努利设置。我们开发了一个简单的，但灵活的，参数化建模框架，以适应常见的情况下，反应是混合连续和二进制，并将其应用到0 - 1膨胀贝塔模型的结果和调解人。将我们提出的方法应用于公开的JOBS II数据集，我们（i）认为需要非正态模型，（ii）展示如何估计边界删失数据的平均值和分位数中介效应，以及（iii）展示如何通过引入未识别的，科学上有意义的敏感性参数来进行有意义的敏感性分析。
2021-11-06 stat.AP stat.ME
Conditional autoregressive models fused with random forests to improve small-area spatial prediction
针对区域数据缺失预测问题，本文提出CAR-Forest算法，将随机森林的非线性特征关系建模与贝叶斯CAR模型的残差空间自相关捕捉迭代融合；在苏格兰房价数据上优于CAR、随机森林及地理加权随机森林，提供先进的小区域空间预测框架。
2023-12-19 stat.ME
Functional Additive Mixed Models
我们提出了一个广泛的框架，为相关的功能性反应的加性回归模型，允许多个部分嵌套或交叉的功能随机效应与灵活的相关性结构，例如，空间、时间或纵向功能数据。此外，我们的框架包括线性和非线性效应的功能和标量协变量，可能会发生变化，顺利指数的功能反应。它可以容纳密集或稀疏观察到的功能反应和预测，可以观察到额外的错误，包括基于样条和功能的主成分为基础的条款。在这个框架中的估计和推理是基于标准的添加剂混合模型，使我们能够利用建立的方法和强大的，灵活的算法。我们在pffr（）函数中提供了易于使用的开源软件，用于R包退款。仿真结果表明，该方法可靠地恢复相关效应，处理小样本量以及也可扩展到更大的数据集。空间和纵向观察功能数据的应用程序展示了我们的方法在建模和结果的可解释性的灵活性。
2013-11-25 stat.AP stat.ME
Flexible Regularized Estimation in High-Dimensional Mixed Membership Models
提出一种高维连续数据混合成员模型的概率框架，通过多元特征近似和收缩先验实现可扩展性，建立条件弱后验一致性，并在自闭症和乳腺癌数据上验证其优势。
2023-10-21 stat.ME
Gradient Boosted Mixed Models: Flexible Estimation of Mean and Variance Components for Clustered Data
本文提出GBMixed框架，通过最大似然梯度联合建模线性混合模型的均值和方差分量，扩展了提升方法到聚类数据。该方法能灵活估计固定效应函数和随机效应协方差矩阵，提升个体治疗效应的预测和预测区间。
2026-08-12 cs.LG stat.CO stat.ME
NLMEModeling: A Wolfram Mathematica Package for Nonlinear Mixed Effects Modeling of Dynamical Systems
非线性混合效应建模是分析实验中多个实体的数据时的强大工具。在本文中，我们介绍了NLMEModeling，一个Wolfram Mathematica中的混合效果建模软件包。NLMEModeling支持动态系统的混合效应建模，其中底层动态由普通或随机微分方程与灵活的观测误差模型相结合来描述。此外，NLMEModeling是一个用户友好的软件包，具有模型验证，可视化预测检查和模拟功能。该软件包免费提供，并为Wolfram Mathematica提供了一个灵活的附加组件。
2020-11-13 stat.CO stat.ME
A flexible quantile mixed-effects model for censored outcomes
Syneos Health；Department of Mathematical Statistics and Actuarial Science, University of the Free State（自由州大学数学统计与精算科学系）；I-BioStat, KU Leuven（KU鲁汶大学生物统计研究所）；Department of Statistics and Actuarial Science, University of Stellenbosch（斯泰伦博斯大学统计与精算科学系）
本文提出了一种基于SEP分布的分位数混合效应模型，用于处理截断纵向数据，相较于SL模型，该方法在偏斜性冲突时表现更稳定。
2025-11-20 stat.ME
A copula-based set-variant association test for bivariate continuous or mixed phenotypes
在全基因组关联研究（GWAS）中，研究人员经常处理非正态分布性状或离散-连续性状的混合。然而，目前大多数基于区域的方法依赖于多变量线性混合模型（mvLLM），并假设感兴趣的表型的多元正态分布。因此，这些方法不适用于疾病或非正态分布性状。因此，需要开发统一和灵活的方法来研究一组（可能罕见的）遗传变异和非正常多变量表型之间的关联。Copula是在$[0, 1]$区间上具有均匀边界的多元分布函数，它们为处理多元关联研究中的非正态误差提供了合适的模型。我们提出了一种新的统一的和灵活的基于Copula的多元关联检验（CBMAT），发现遗传区域和二元连续或混合表型之间的关联。我们还推导出一个数据驱动的分析p值的建议区域为基础的得分类型测试的程序。通过模拟研究，我们证明了CBMAT具有很好的控制第一类错误率和更高的权力，以检测关联相比，其他现有的方法，离散和非正态分布的性状。最后，我们应用CBMAT检测位于11号染色体上的两个基因与ASLPAC研究中1,477名受试者的几种血脂水平之间的关联。
2021-09-29 stat.AP stat.ME
Generalized Random Forests
我们提出了广义随机森林，一种基于随机森林（Breiman，2001）的非参数统计估计方法，可用于拟合任何感兴趣的数量，确定为一组局部矩方程的解。继文献局部极大似然估计，我们的方法认为附近的训练样本的加权集，然而，而不是使用经典的内核加权函数，容易出现一个强大的灾难的维度，我们使用的自适应加权函数来自一个森林，旨在表达异质性的指定数量的利益。我们提出了一个灵活的，计算效率高的算法增长的广义随机森林，发展大样本理论，我们的方法表明，我们的估计是一致的，渐近高斯，并提供了一个估计其渐近方差，使有效的置信区间。我们使用我们的方法来开发三个统计任务的新方法：非参数分位数回归，条件平均部分效应估计，通过工具变量的异质性处理效应估计。一个软件实现，R和C++的grf，可从CRAN获得。
2018-04-05 econ.EM stat.ME stat.ML
(f)RFCDE: Random Forests for Conditional Density Estimation and Functional Data
随机森林是一种常见的非参数回归技术，它对混合类型的无序数据和不相关特征表现良好，同时对单调变量变换具有鲁棒性。然而，标准的随机森林不能有效地处理函数数据，并且在呈现高分辨率曲线和曲面时会遇到维数灾难。此外，在异方差或多模态的设置中，具有标准误的回归点估计不能完全捕获我们预测中的不确定性。一个信息量更多的是条件密度p（y| x），描述了给定协变量x的响应y的不确定性的全部范围。在本文中，我们将展示如何有效地利用随机森林的条件密度估计，功能协变量，多重响应，而不增加计算复杂性。我们为所有程序提供开源软件，R和Python版本调用一个通用的C++库。
2019-06-17 stat.CO stat.ME
Causal Survival Forests with Negative Controls
University of Southern California（南加州大学）；NEC Labs America（NEC美国实验室）
该研究将因果生存森林与负对照结合，提出NC-CSF用于生存分析的异质性处理效应估计，经模拟与临床数据集验证，其可降低偏差、提升鲁棒性并揭示新的处理效应异质性模式。
2026-08-25 stat.ME
Area-level spatio-temporal Poisson mixed models for predicting domain counts and proportions
本文介绍了具有时间和SAR（1）空间相关随机效应的区域级泊松混合模型。小面积预测的二分变量的比例和计数来自新的模型和相应的均方误差估计参数自助。本文说明了介绍的方法与实际数据的两个应用程序。第一个涉及2007-2008年期间加利西亚（西班牙）的森林火灾数据，目标是建模和预测火灾次数。第二个是2013年西班牙加利西亚生活条件调查的数据，目标是估计贫困线以下妇女的县比例。
2020-11-30 stat.ME
Leveraging machine learning to estimate individualized treatment effects in cluster-randomized trials
Yale School of Public Health（耶鲁大学公共卫生学院）；University of Pennsylvania（宾夕法尼亚大学）；Monash University（蒙纳士大学）；Yale School of Medicine（耶鲁大学医学院）
本文提出利用混合效应机器学习方法估计集群随机试验中连续结果的条件平均治疗效应，通过整合个体和集群层面的基线协变量，解决传统方法无法捕捉个体异质性的问题。
2026-04-15 stat.ME
Horseshoe Forests for High-Dimensional Causal Survival Analysis
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Amsterdam University Medical Centre（阿姆斯特丹大学医学中心）
本文提出一种贝叶斯树集成模型，用于估计高维协变量中受 censoring 的生存数据的异质治疗效应，通过在步高上放置马蹄先验实现自适应全局-局部收缩，提升模型灵活性和去噪能力。
2026-05-07 stat.ME stat.ML
An Imputation model by Dirichlet Process Mixture of Elliptical Copulas for Data of Mixed Type
基于Copula的方法为建立混合类型多元数据的缺失数据插补模型提供了一种灵活的方法。然而，Copula函数的选择是一个悬而未决的问题。我们考虑了贝叶斯非参数方法，通过使用无限混合的椭圆copula诱导的Dirichlet过程的混合物，以建立一个灵活的copula函数。采用切片采样算法对无限维参数空间进行采样。为了克服多峰分布中的混合问题，我们将有限混合模型中的先验并行调和方法推广到Dirichlet过程混合模型.使用模拟，我们证明了无限混合Copula模型提供了一个更好的整体拟合相比，他们的单组分同行，并执行更好地捕捉尾部依赖功能的数据。仿真结果进一步表明，我们提出的模型实现了更准确的填补，特别是对连续变量和更好的推理结果在一些分析模型。该模型被应用于澳大利亚急性中风患者的医疗数据集。
2019-10-12 stat.ME
Compositionally-warped additive mixed modeling for a wide variety of non-Gaussian spatial data
随着地理信息系统的发展，非高斯空间数据集变得越来越大，越来越多样化。本研究开发了一个快速灵活的非高斯回归，特别是空间/时空建模的一般框架。开发的模型，被称为成分翘曲的加性混合模型（CAMM），结合了添加剂混合模型（AMM）和成分翘曲的高斯过程建模各种各样的非高斯连续数据，包括空间和其他影响。建议的CAMM的一个具体的优点是，它不需要显式的数据分布假设不同于现有的AMM。蒙特卡罗实验表明，CAMM的估计精度和计算效率的建模非高斯数据，包括厚尾和/或偏态分布。最后，将该模型应用于犯罪数据，以检验回归分析和预测的实证性能。结果表明，CAMM提供了直观合理的系数估计，并在预测精度方面优于AMM。CAMM被证明是一个快速和灵活的模型，有可能涵盖各种非高斯数据建模。所提出的方法是在R包spmoran中实现的。
2021-06-22 stat.ME
A flexible Bayesian tool for CoDa mixed models: logistic-normal distribution with Dirichlet covariance
针对成分数据混合模型拟合含结构化随机效应时的难题，提出带狄利克雷协方差的逻辑正态模型LNDM，整合进R-INLA包并探索相关模型选择准则，经模拟和生态案例验证其应用潜力。
2023-11-08 stat.CO stat.ME
Canonical fundamental skew-t linear mixed models
在临床试验中，研究经常呈现纵向数据或聚类数据。这些研究通常使用线性混合模型（LLM）进行分析，通常考虑随机效应和误差项的高斯假设。最近，一些提案扩展了传统LMM的限制性假设，通过更灵活的假设，可以适应偏度和重尾，因此对离群值更鲁棒。本文提出了一个典型的基本偏t线性混合模型（ST-LMM），它允许非对称和重尾随机效应和误差，并包括几个重要的情况作为特殊情况，这是提出和考虑模型选择。对于这个强大的和灵活的模型，我们提出了一个有效的EM型算法参数估计通过极大似然，实现在一个封闭的形式，通过探索的ST-LMM的分层表示。此外，还讨论了标准误和随机效应的估计。该方法是通过应用程序来说明精神分裂症的数据和一些模拟研究。
2021-09-24 math.ST stat.ME stat.TH
PKLM: A flexible MCAR test using Classification
我们开发了一个完全非参数的，易于使用的，和强大的测试的完全随机缺失（MCAR）的数据集的缺失机制的假设。该测试比较了数据变量空间中随机投影上不同缺失模式的分布。使用概率随机森林，用库尔贝克-莱布勒散度测量分布差异。因此，我们将其称为“投射Kullback-Leibler MCAR”（PKLM）测试。随机投影的使用使得它适用于即使很少或没有完全观察到的观测，或者如果维度的数量很大。一个有效的置换方法保证了任何有限的样本量的水平，解决了大多数其他可用的测试的主要缺点。此外，该测试可以用于离散和连续数据。我们在一系列模拟数据分布和真实数据集上的经验表明，我们的测试具有一贯的高功效，并且能够避免膨胀的第一类错误。最后，我们提供了一个R包PKLM测试与我们的测试实现。
2022-11-30 stat.ME
