Conditional Inference Trees and Forests for Feature Selection
Amazon Web Services（亚马逊云服务）
研究条件推理树和森林作为top-k特征排序方法，通过实验验证其性能，发现Bonferroni校正和自适应停止对运行时间影响显著，而森林特征采样可能遗漏重要特征。
2026-07-03 cs.LG stat.ML
Approximate False Positive Rate Control in Selection Frequency for Random Forest
Athinoula A. Martinos Center for Biomedical Imaging（阿西努拉·A·马蒂诺斯生物医学影像中心）；Harvard Medical School（哈佛医学院）；Rigshospitalet（国立医院）
随机森林已成为最受欢迎的特征选择工具之一。它处理高维数据的能力使得该算法特别适用于神经成像和生物信息学的研究。尽管随机森林中的特征选择很受欢迎并得到了广泛的应用，但它仍然缺乏一个至关重要的组成部分：误报率控制。到目前为止，还没有有效的，原则性的和计算重量轻的解决方案，这个缺点。因此，使用随机森林进行特征选择的研究人员不得不在特征排名上使用精确设置的阈值。本文为随机森林训练中的特征选择过程建立了一个近似的概率模型，该模型允许我们计算在给定的选择频率阈值下的估计误报率。因此，它提出了一种原则性的方法来确定阈值的相关功能的选择，而没有任何额外的计算负载。合成数据的实验分析表明，该方法可以限制误报率的数量级的期望值，并保持较低的漏报率。结果表明，即使在特征之间存在复杂的相关结构的情况下，这也是成立的。其良好的统计特性和轻量级的计算需求，使这种方法广泛适用于特征选择的广泛的应用。
2014-10-10 cs.LG stat.ME
Nonparametric Feature Selection by Random Forests and Deep Neural Networks
Shanghai Jiao Tong University（上海交通大学）；The University of Melbourne（墨尔本大学）；Xiamen University（厦门大学）
随机森林是一种广泛使用的机器学习算法，但当应用于具有大量实例和无用特征的大规模数据集时，其计算效率会受到影响。在这里，我们提出了一个非参数特征选择算法，它结合了随机森林和深度神经网络，其理论性质也在正则性条件下进行了研究。使用不同的合成模型和一个真实世界的例子，我们证明了所提出的算法在识别有用的功能，避免无用的，和计算效率方面的优势。虽然该算法是使用标准的随机森林提出的，但它可以广泛地适用于其他机器学习算法，只要特征可以相应地排序。
2022-01-18 cs.LG stat.CO
A Debiased MDI Feature Importance Measure for Random Forests
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
像随机森林这样的树集合在各种各样的应用中取得了令人印象深刻的经验成功。为了理解这些模型是如何进行预测的，人们通常会求助于从树集合中计算出的特征重要性度量。长期以来，人们一直知道，平均减少杂质（MDI），最广泛使用的特征重要性的措施之一，不正确地分配高重要性的噪声特征，导致系统性偏见的特征选择。在本文中，我们从理论和方法的角度来解决MDI的特征选择偏差。基于Breiman等人对MDI的原始定义。对于单树，我们推导出噪声特征的MDI重要性的预期偏差的严格非渐近界，表明深树比浅树具有更高的（预期）特征选择偏差。然而，目前还不清楚如何减少MDI使用其现有的分析表达式的偏差。我们推导出一个新的MDI的分析表达式，并基于这个新的表达式，我们能够提出一个去偏置MDI功能的重要性措施，使用袋外样本，称为MDI-OOB。对于模拟数据和基因组ChIP数据集，MDI-oob在深度树和浅树的随机森林特征选择中实现了最先进的性能。
2019-10-26 cs.LG stat.ML
Robustness of Random Forest-based gene selection methods
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw（华沙大学跨学科数学与计算建模中心）
基因选择是微阵列数据分析的重要组成部分，因为它提供的信息可以导致更好地理解所研究的现象。同时，由于微阵列数据的噪声性质，基因选择非常困难。因此，基因选择通常用机器学习方法来执行。随机森林方法特别适合于此目的。在这项工作中，四个国家的最先进的随机森林为基础的特征选择方法进行了比较，在基因选择的上下文中。分析的重点是选择的稳定性，因为，虽然它是必要的，以确定结果的意义，它往往被忽视，在类似的研究。随机森林分类器的验证中的选择后准确度的比较显示，在这种情况下，所有研究的方法是等效的。然而，这些方法在选择基因的数量和选择的稳定性方面存在很大差异。在分析的方法中，Boruta算法预测了大多数潜在重要的基因。选择后分类器的出错率，这是一个经常使用的措施，被发现是一个潜在的欺骗性的基因选择质量的措施。当考虑到一致选择的基因的数量时，Boruta算法显然是最好的。虽然它也是计算量最大的方法，但Boruta算法的计算需求可以通过将随机森林的重要性替换为来自随机蕨类（一种类似但简化的分类器）的可比度量来降低到与其他算法相当的水平。尽管他们的设计假设，最小的最优选择方法，被发现选择一个高比例的假阳性。
2013-10-18 cs.LG q-bio.QM
Effect of hyperparameters on variable selection in random forests
Universität zu Lübeck（吕贝克大学）；Universitätsklinikum Schleswig-Holstein（石勒苏益格-荷尔斯泰因大学医院）；DZHK (German Center for Cardiovascular Research)（德国心血管研究中心）
本研究通过模拟实验评估随机森林超参数对Vita和Boruta变量选择的影响，发现分裂候选变量比例和样本比例影响最大，且最优设置取决于数据相关性，默认值并非总是最佳。
2025-01-25 cs.LG stat.ML
Random Forest Variable Importance-based Selection Algorithm in Class Imbalance Problem
University of Washington（华盛顿大学）；University of Miami Miller School of Medicine（迈阿密大学米勒医学院）
针对类别不平衡场景下随机森林变量重要性研究不足的问题，本文分析了类别平衡技术的影响，提出结合随机森林变量重要性与置信区间的特征选择算法，可高效选最优特征集以提升不平衡场景的预测性能。
2023-12-17 cs.LG stat.ME stat.ML
On feature selection in double-imbalanced data settings: a Random Forest approach
Department of Economics ``Marco Biagi''（马可·比亚吉经济系）
针对双不平衡数据下随机森林传统特征选择方法排序不稳定的问题，提出基于最小深度的新型阈值方案，利用树拓扑评估变量相关性，实验证明其能生成更简洁准确的变量子集，提供实用可解释的解决方案。
2025-06-12 cs.LG stat.ME
ControlBurn: Feature Selection by Sparse Forests
Cornell University（康奈尔大学）
树集合在相关特征组之间均匀地分配特征重要性。相关组的平均特征排序被抑制，这降低了可解释性并使特征选择复杂化。在本文中，我们提出了ControlBurn，一个特征选择算法，使用加权LASSO为基础的特征选择方法修剪不必要的功能，从树系综，就像低强度火灾减少过度生长的植被。像线性LASSO一样，ControlBurn将相关特征组的所有特征重要性分配给单个特征。此外，与基于迭代包装器的特征选择方法不同，该算法高效且仅需要一次训练迭代即可运行。我们表明，ControlBurn的性能大大优于特征选择方法，在具有相关特征的数据集上具有可比的计算成本。
2021-07-01 cs.LG stat.ME
Applying Supervised Learning Algorithms and a New Feature Selection Method to Predict Coronary Artery Disease
从一个新的数据科学的角度来看，这篇论文讨论了冠状动脉疾病的预测基于DNA碱基对水平上的遗传变异，称为单核苷酸多态性（SNPs），收集自安大略省心脏基因组学研究（OHGS）。本文首先介绍了两种常用的监督学习算法：k-近邻（k-NN）和随机森林（Random Forest）分类器，并给出了k-近邻分类器在有限维赋范向量空间中的一致性证明。其次，本文介绍了两个降维步骤，随机投影，一个已知的特征提取技术的基础上的Johnson-Lindenstrauss引理，和一个新的方法称为质量传输距离（MTD）特征选择离散域。然后，本文比较了随机投影和k-NN分类器与MTD特征选择和随机森林的性能，用于基于准确性、F-度量和受试者工作特征（ROC）曲线下面积预测动脉疾病。比较结果表明，采用随机森林的MTD特征选择明显优于随机投影和k-NN。当通过MTD特征选择选择3335个SNP用于分类时，随机森林分类器能够在OHGS遗传数据集上获得0.6660的准确度和0.8562的ROC曲线下面积。该区域明显优于Davies等人在2010年对同一数据集获得的0.608的先前高分。
2014-02-03 cs.LG stat.ML
Asymptotic Unbiasedness of the Permutation Importance Measure in Random Forest Models
Technical University of Dortmund（多特蒙德工业大学）
从生物医学研究到计量经济学的应用表明，稀疏回归模型中的变量选择是一个重要的任务。特别是对于高维回归问题，响应和协变量之间的联系函数不能直接检测，信息变量的选择是具有挑战性的。在这些情况下，随机森林方法是预测新结果的有用工具，同时提供变量选择的度量。一种常见的方法是使用排列重要性。基于随机森林的排列重要性方法具有直观的思想和灵活的使用方法，对于探索环境中正确表示信息协变量具有重要意义。关于后者，我们提供理论保证的有效性的置换重要性措施在特定的假设下，并证明其（渐近）无偏性。一个广泛的模拟研究验证了我们的研究结果。
2019-12-05 cs.LG math.ST stat.ML
Interpretable random forest models through forward variable selection
随机森林是一种处理高维协变量的流行预测方法。然而，它往往成为不可行的解释所获得的高维和非参数模型。为了获得一个可解释的预测模型，我们开发了一个向前的变量选择方法，使用连续排序概率得分（CRPS）作为损失函数。我们的逐步程序导致一组最小的变量，通过在每一步对CRPS风险显著降低进行假设检验来优化CRPS风险。我们提供的数学动机，我们的方法证明，在人口意义上的方法达到最优集。此外，我们表明，测试是一致的，提供了一个分位数函数的随机森林估计是一致的。在模拟研究中，我们比较了我们的方法与现有的变量选择方法的性能，不同的样本量和协变量的不同相关强度。我们的方法被观察到具有低得多的假阳性率。我们还展示了我们的方法在荷兰的每日最高温度预报的统计后处理的应用。我们的方法选择了大约10%的协变量，同时保留了相同的预测能力。
2020-05-11 stat.ME stat.ML
Feature Selection for Gender Classification in TUIK Life Satisfaction Survey
Muğla Sıtkı Koçman University（穆拉·西特基·科奇曼大学）
属性选择是数据采掘分类前的一种方法。在这项研究中，已经创建了一个新的数据集，通过使用土耳其统计研究所（TSI）生活满意度调查数据集的整体满意度表示的属性。在数据采掘应用中，使用属性选择算法通过排序搜索方法对属性进行排序。这些选定的属性进行分类测试与朴素贝叶斯和随机森林从机器学习算法。根据选择的属性的数量和分类准确率，比较特征选择算法。在这项研究中，这是旨在减少数据集的体积，最好的分类结果来选择3个属性的卡方2算法。随机森林分类算法的最佳分类率为73%。
2018-07-12 cs.LG stat.ML
Random Forest for Dissimilarity-based Multi-view Learning
Université de Rouen Normandie（鲁昂诺曼底大学）
许多分类问题本质上是多视图的，因为它们的数据是通过多个异构描述来描述的。对于这样的任务，相异性策略是使不同的描述具有可比性并容易地合并它们的有效方法，通过（i）为每个视图构建中间相异性表示，以及（ii）通过对视图上的相异性进行平均来融合这些表示。在这项工作中，我们表明，随机森林的接近度测量可以用来建立相异性表示，因为这种措施反映了功能之间的相似性，但也类成员。然后，我们提出了一个动态视图选择方法，以更好地结合特定于视图的相异性表示。这允许在每个要预测的实例上仅使用与该实例最相关的视图来做出决定。在多个真实世界的多视图数据集上进行的实验表明，与简单的平均组合和两种最先进的静态视图组合相比，动态视图选择在性能上有显著的提高。
2020-07-16 cs.LG stat.ML
Combining clustering of variables and feature selection using random forests
解决高维监督分类问题的标准方法通常包括变量选择和降维过程。本文提出的新方法结合了变量聚类和特征选择。更确切地说，变量的层次聚类程序允许建立相关变量组，以减少信息的冗余，并通过合成数值变量总结每组。独创性是指变量组（以及组数）是先验未知的。此外，使用的聚类方法可以处理数值和分类变量（即混合数据集）。在从树状图切割产生的所有可能的分区中，使用随机森林的变量选择程序选择最相关的合成变量（即变量组）。所提出的方法的数值性能进行了比较与直接应用的随机森林和变量选择使用随机森林的原始p变量。在两个模拟的混合数据集（情况n>p和n<p，其中n是样本量）和一个真正的蛋白质组数据集上说明了所提出的方法所获得的改进。通过选择变量组（基于合成变量），结果的可解释性变得更容易。
2018-11-06 math.ST stat.TH
Unleashing the Power of Extra-Tree Feature Selection and Random Forest Classifier for Improved Survival Prediction in Heart Failure Patients
Bangladesh Atomic Energy Regulatory Authority（孟加拉国原子能监管局）；Northumbria University（诺森比亚大学）；Summit Communications Limited（顶峰通信有限公司）
本文提出结合额外树特征选择与随机森林分类器，在UCL心力衰竭生存数据集上实现98.33%的最高生存预测准确率。
2023-08-09 cs.AI cs.LG
Biogeography-Based Informative Gene Selection and Cancer Classification Using SVM and Random Forests
微阵列癌症基因表达数据包含非常高的维度。减少维度有助于提高整体分析和分类性能。我们提出了两种混合技术，基于生物地理学的优化-随机森林（BBO-RF）和BBO-SVM（支持向量机）与基因排序作为启发式，用于微阵列基因表达分析。这个启发式是从信息增益过滤器排名程序。BBO算法生成候选基因子集的种群，作为栖息地生态系统的一部分，并采用跨多代种群的迁移和突变过程来提高分类精度。每个基因子集的适应度由分类器- SVM和随机森林评估。这些混合技术的性能进行了评估，从肯特岭生物医学数据集收集和libSVM数据存储库检索的三个癌症基因表达数据集。我们的研究结果表明，所提出的技术选择的基因产生的分类精度与以前报道的算法。
2012-07-12 cs.NE stat.ML
Opening the random forest black box by the analysis of the mutual impact of features
Centre for the Study of Manuscript Cultures (CSMC)（手稿文化研究中心（CSMC））；Universität Hamburg（汉堡大学）；Hamburg School of Food Science（汉堡食品科学学院）
提出两种聚焦特征相互影响的新方法MFI和MIR，结合p值测试进行特征选择，有效揭示特征与结果间的复杂关系且不受常见偏差影响。
2023-04-05 cs.LG
Improved Weighted Random Forest for Classification Problems
Iowa State University（爱荷华州立大学）
一些研究表明，以适当的方式组合机器学习模型将改进基础模型所做的单个预测。构建性能良好的集成模型的关键在于基模型的多样性。在决策树中引入多样性的最常见的解决方案是装袋和随机森林。Bagging通过替换抽样和生成许多训练数据集来增强多样性，而随机森林也增加了选择随机数的特征。这使得随机森林成为许多机器学习应用的候选者。然而，假设所有基本决策树的权重相等似乎并不合理，因为采样和输入特征选择的随机化可能导致基本决策树上的决策能力的不同水平。因此，我们提出了几个算法，旨在修改规则随机森林的加权策略，从而作出更好的预测。所设计的加权框架包括基于精度的最优加权随机森林、基于曲线下面积的最优加权随机森林、基于性能的加权随机森林和几种基于叠加的加权随机森林模型。数值结果表明，所提出的模型是能够引入显着的改善相比，定期随机森林。
2020-09-01 cs.LG stat.ML
FastForest: Increasing Random Forest Processing Speed While Maintaining Accuracy
Charles Sturt University（查尔斯特大学）
随机森林仍然是数据采掘最持久的集成算法之一，实现了有据可查的准确性和处理速度，并经常出现在新的研究中。然而，随着数据采掘现在到达诸如智能手机和物联网（IoT）设备等硬件受限设备的领域，继续需要对算法效率进行进一步研究，以在不牺牲准确性的情况下提供更高的处理速度。与随机森林相比，我们提出的FastForest算法在处理速度上平均提高了24%，同时在涉及45个数据集的测试中保持（并经常超过）分类精度。FastForest通过三个优化组件的组合实现了这一结果-子样本聚合（“Subbagging”），对数分裂点采样和动态限制子空间。此外，对Subbagging大小的详细测试发现了一个最佳标量，可提供处理性能和准确性的积极组合。
2020-04-06 cs.LG stat.ML
Gene selection with guided regularized random forest
Intuit（财捷公司）；Arizona State University（亚利桑那州立大学）
正则化随机森林（RRF）是近年来提出的一种用于特征选择的方法。在RRF中，对每个树节点处的部分训练数据评估特征。我们推导出一个上界的不同的基尼信息增益值在一个节点的数量，并表明，许多功能可以共享相同的信息增益在一个节点上具有少量的实例和大量的功能。因此，在具有少量实例的节点中，RRF可能选择不强相关的特征。在这里，一个增强的RRF，被称为引导RRF（GRRF），提出。在GRRF中，来自普通随机森林（RF）的重要性分数用于指导RRF中的特征选择过程。在10个基因数据集上的实验表明，GRRF的准确性能，一般来说，比RRF的参数变化时，更强大。与RRF、varSelRF和LASSO逻辑回归（具有来自RF分类器的评估）相比，GRRF在计算上是高效的，可以选择紧凑的特征子集，并且具有有竞争力的准确性性能。此外，对于这里考虑的大多数数据集，应用于RRF选择的具有最小正则化的特征的RF优于应用于所有特征的RF。因此，如果认为精度比特征子集的大小更重要，则可以考虑具有最小正则化的RRF。我们使用RF，一个强分类器的准确性性能，评估特征选择方法，并说明弱分类器是不太能够捕获的信息中包含的特征子集。RRF和GRRF都是在CRAN的“RRF”R包中实现的，CRAN是官方的R包存档。
2013-06-20 cs.CE cs.LG
Guided Random Forest in the RRF Package
Intuit（直觉公司）
随机森林（Random Forest，RF）是一种功能强大的有监督学习器，在生物信息学等领域得到了广泛的应用。在这项工作中，我们提出了引导随机森林（GRF）的特征选择。类似于被称为引导正则化随机森林（GRRF）的特征选择方法，GRF是使用来自普通RF的重要性得分来构建的。然而，GRRF中的树是顺序构建的，高度相关，不允许并行计算，而GRF中的树是独立构建的，可以并行实现。在10个高维基因数据集上的实验表明，在固定参数值（不调整参数）的情况下，对GRF选择的特征进行RF处理，在9个数据集上的性能优于对所有特征进行RF处理，其中7个数据集在0.05水平上有显著差异。因此，准确性和可解释性都得到了显著提高。GRF比GRRF选择更多的特征，然而，导致更好的分类精度。注意，在这项工作中，引导随机森林由来自普通随机森林的重要性分数引导，然而，它也可以由其他方法引导，例如人类见解（通过指定$λ_i$）。GRF可以用在“RRF”v1.4（及以后的版本）中，这个包还包括正则化的随机森林方法。
2013-11-18 cs.LG
Context-dependent feature analysis with random forests
University of Liège（列日大学）；New York University（纽约大学）
在许多情况下，特征选择通常比识别输入变量的单个子集更复杂，这些输入变量可以一起解释输出。可能存在依赖于上下文信息的交互，即，只有在某些特定情况下才显示相关的变量。在这种情况下，本文的贡献是扩展随机森林变量的重要性框架，以便（i）识别变量的相关性是上下文相关的，（ii）尽可能精确地描述上下文信息对这些变量的影响。我们的框架，突出上下文相关的变量的使用和相关性说明人工和真实的数据集。
2016-05-12 cs.LG stat.ML
Adaptive Feature Selection Guided Deep Forest for COVID-19 Classification with Chest CT
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；The Third Hospital of Jilin University（吉林大学第三医院）；Ruijin Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属瑞金医院）；Tongji Hospital, Tongji Medical College, Huazhong University of Science and Technology（华中科技大学同济医学院附属同济医院）；Shanghai Public Health Clinical Center, Fudan University（复旦大学附属上海市公共卫生临床中心）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能科技有限公司）；Qianjiang Central Hospital, Jishou University School of Medicine（吉首大学医学院附属黔江中心医院）
胸部计算机断层扫描（CT）成为辅助诊断新型冠状病毒病（COVID-19）的有效工具。由于COVID-19在全球范围内爆发，使用基于CT图像的COVID-19分类的计算机辅助诊断技术可以在很大程度上减轻临床医生的负担。在本文中，我们提出了一种自适应特征选择引导的深度森林（AFS-DF）的COVID-19分类的胸部CT图像的基础上。具体来说，我们首先从CT图像中提取特定位置的特征。然后，为了用相对小规模的数据捕获这些特征的高级表示，我们利用深森林模型来学习特征的高级表示。此外，我们提出了一种基于训练的深度森林模型的特征选择方法，以减少特征的冗余，其中特征选择可以自适应地与COVID-19分类模型相结合。我们在COVID-19数据集上评估了我们提出的AFS-DF，其中包括1495名COVID-19患者和1027名社区获得性肺炎（CAP）患者。该方法的准确性（ACC）、灵敏度（SEN）、特异性（SPE）和AUC分别为91.79%、93.05%、89.95%和96.35%。在COVID-19数据集上的实验结果表明，与4种广泛使用的机器学习方法相比，所提出的AFS-DF在COVID-19 vs. CAP分类中具有更好的性能。
2020-05-07 cs.CV cs.LG eess.IV
Randomization as Regularization: A Degrees of Freedom Explanation for Random Forest Success
University of Pittsburgh（匹兹堡大学）
随机森林仍然是最受欢迎的现成监督机器学习工具之一，在回归和分类设置中具有良好的预测准确性记录。尽管它们在经验上取得了成功，最近也有一批研究它们统计特性的工作，但对它们的成功还没有提出一个完整而令人满意的解释。在这里，我们的目标是在这个方向上迈出一步，通过证明注入到单个树中的额外随机性作为一种形式的隐式正则化，使随机森林成为低信噪比（SNR）设置中的理想模型。具体来说，从模型复杂性的角度来看，我们表明，mtry参数在随机森林中的收缩惩罚明确正则化回归程序，如套索和岭回归的目的是相同的。为了突出这一点，我们设计了一个随机线性模型为基础的前向选择过程，旨在作为一个类似的基于树的随机森林，并证明其令人惊讶的强大的经验表现。提供了许多真实和合成数据的演示。
2020-09-14 cs.LG stat.ML
Learning Selectively Conditioned Forest Structures with Applications to DBNs and Classification
Carnegie Mellon University（卡内基梅隆大学）
使用最大后验概率（MAP）估计或贝叶斯模型平均（BMA）处理贝叶斯网络结构中的不确定性通常是棘手的，因为可能的有向非循环图的超指数数量。当先验是可分解的时，可以进行有效学习的两类图是树结构和有限入度的固定序。我们将展示如何MAP估计和BMA选择性条件森林（SCF），这两个类的组合，可以有效地计算有序的变量集。我们将SCF应用于时态数据来学习具有时间步长内森林和时间步长间有限度结构的动态贝叶斯网络，从而在没有结构组合的情况下提高DBN的模型准确性。我们还将SCF应用于贝叶斯网络分类，以学习选择性森林增强朴素贝叶斯分类器。我们认为，内置的特征选择的选择性增强贝叶斯分类器，使他们更可取的类似的非选择性分类器的基础上的经验证据。
2012-06-20 cs.LG stat.ML
Correlation and variable importance in random forests
研究了预测变量相关时随机森林算法的变量选择问题。在高维回归或分类框架中，变量选择是一项困难的任务，在存在高度相关的预测因子时变得更具挑战性。首先，我们对可加回归模型的排列重要性测度进行了理论研究。这使我们能够描述预测变量之间的相关性如何影响排列重要性。我们的研究结果激励使用递归特征消除（RFE）算法在这种情况下的变量选择。该算法使用排列重要性作为排序准则，递归地消除变量。接下来的各种模拟实验说明了RFE算法的效率，用于选择少量的变量以及良好的预测误差。最后，该选择算法进行了测试的Landsat卫星数据从UCI机器学习知识库。
2016-04-18 stat.ME
Contextual Decision Trees
Università degli Studi di Firenze（佛罗伦萨大学）
针对随机森林，我们提出了一个多臂上下文强盗推荐框架，用于基于特征选择学习集合的单个浅树。在随机森林之上工作的经过训练的系统动态地识别负责提供最终输出的基本预测器。通过这种方式，我们通过观察推荐树的规则来获得本地解释。实验结果表明，该方法的预测性能优于一个独立的拟合CART决策树和整个黑盒随机森林。
2022-07-13 cs.LG stat.ML
A Stationary-Distribution Theory for Triplet-Based Plateau Search in Random Forest Ensemble-Size Selection
Sberbank（俄罗斯联邦储蓄银行）；Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院）；Federal Research Center “Computer Science and Control” of Russian Academy of Sciences (FRC CSC RAS)（俄罗斯科学院联邦研究中心“计算机科学与控制”）
将随机森林中基于三元组的高原搜索建模为生灭马尔可夫链，推导其平稳分布，并给出中心集成大小和波动的渐近阶。
2026-07-01 cs.AI cs.LG math.PR
Feature Selection on Sentinel-2 Multi-spectral Imagery for Efficient Tree Cover Estimation
Lahore University of Management Sciences（拉合尔管理科学大学）
针对城市树木覆盖率估算问题，提出结合光谱指数滤除建成区与特征选择的多光谱随机森林分类器，在Sentinel-2影像的LUMS指定区域实验中，性能优于传统方法及现有先进方案。
2023-05-31 cs.CV cs.LG eess.IV
Boosting SISSO Performance on Small Sample Datasets by Using Random Forests Prescreening for Complex Feature Selection
Nankai University（南开大学）
本文提出RF-SISSO算法，将随机森林预筛选与SISSO结合以改进复杂特征选择，在小样本材料数据上保持0.9以上准确率并显著提升回归效率，其中45样本子集效率提升达265倍。
2024-09-28 cond-mat.mtrl-sci cs.LG physics.data-an
Distributional Split Criteria for Random Forests: Extensions, Shrinkage, and the Robustness of Mean Splitting
研究随机森林的分布分裂准则，实现并研究了多个准则及森林权重收缩方法。通过多种比较刻画其适用情况，发现普通各向同性MMD较优，标量回归中均值分裂稳健，多变量响应时分布分裂作用明显，支持简单分配观点，相关内容在开源库中实现。
2026-07-28 cs.LG stat.ME stat.ML
Financial fraud detection system based on improved random forest and gradient boosting machine (GBM)
University of California, Davis（加州大学戴维斯分校）
本文提出GBM-SSRF模型，结合改进随机森林与梯度提升机，降低计算复杂度并提升特征选择，实验证明其高效稳健，适用于金融欺诈检测。
2025-02-20 cs.LG q-fin.GN q-fin.ST
Random Forests: some methodological insights
本文从实验的角度研究了随机森林，这是Leo Breiman在2001年提出的用于分类和回归问题的越来越多的统计方法。它首先旨在确认，已知的，但稀疏的，建议使用随机森林，并提出一些补充意见的标准问题，以及高维的变量的数量大大超过了样本量。但本文的主要贡献是双重的：提供一些见解的行为的变量的重要性指数的基础上随机森林，此外，提出调查变量选择的两个经典问题。第一个是找到重要的变量进行解释，第二个是更具限制性，并试图设计一个好的预测模型。该策略包括使用随机森林重要性得分和逐步上升的变量引入策略对解释变量进行排名。
2008-11-21 stat.ML
Adaptive Concentration of Regression Trees, with Application to Random Forests
我们研究了回归树和森林的预测曲面的收敛性。为了支持我们的分析，我们引入了回归树的自适应集中的概念。这种方法将树训练分为模型选择阶段，在这个阶段我们选择树的分裂，然后是模型拟合阶段，在这个阶段我们找到与这些分裂一致的最佳回归模型。然后，我们表明，拟合的回归树集中在具有相同分割的最佳预测器周围：随着d和n变大，差异在整个回归表面上均匀地以sqrt（log（d）log（n）/k）的数量级高概率为界，其中d是特征空间的维度，n是训练样本的数量，k是每棵树的最小叶大小。我们还提供了速率匹配的下界，这个自适应浓度的声明。从实践的角度来看，我们的结果使我们能够证明高维自适应生长森林的一致性结果，并在Berk等人的意义上进行有效的后选择推理。[2013]对于树叶定义的子群。
2016-04-30 math.ST stat.ML stat.TH
Spitzoid Lesions Diagnosis based on GA feature selection and Random Forest
University of Biskra（比斯克拉大学）；FEMTO-ST Laboratory（FEMTO-ST实验室）；Service of Anatomy and Pathology Cytology（解剖与病理细胞学科）
Spitzoid病变大致分为Spitz痣（SN）、非典型Spitz肿瘤（AST）和Spitz黑色素瘤（SM）。这些病变的准确诊断是皮肤病理学家面临的最大挑战之一;这是由于它们之间的高度相似性。数据挖掘技术被成功地应用于这些复杂的情况。本研究旨在开发一种人工智能模型来支持Spitzoid病变的诊断。一个私人的spitzoid病变数据集已被用来评估本研究中提出的系统。拟议的制度有三个阶段。在第一阶段，采用SMOTE方法解决数据不平衡问题;在第二阶段，为了剔除不相关的特征，采用遗传算法选择重要特征。这降低了计算复杂度，加快了数据挖掘过程。在第三阶段中，随机森林分类器被用来对两种不同类别的病变（Spitz痣或非典型Spitz肿瘤）做出决定。我们提出的方案的性能进行评估，使用准确性，灵敏度，特异性，G-均值，F-测量，ROC和AUC。使用我们的SMOTE-GA-RF模型（具有基于GA的16个特征）获得的结果显示出良好的性能，准确度为0.97，F测量值为0.98，AUC为0.98，G均值为0.97。本研究获得的结果有可能开辟新的诊断机会spitzoid病变。
2020-06-03 cs.CV cs.LG eess.IV
Theoretical Properties of Multivariate Random Forest in Feature Selection and its Application to Facial Morphology-Gene Detection
Binghamton University（宾汉姆顿大学）
研究为多变量结果联合特征选择建理论基础，将MRF的PVIM作为高维特征选择工具，证明其一致性，通过面部形态GWAS展示其实用性，模拟表明其性能优于其他方法，还提出新模拟框架。
2026-07-27 math.ST stat.ME stat.TH
Transfer Learning with Distance Covariance for Random Forest: Error Bounds and an EHR Application
本文提出利用距离协方差特征权重的随机森林进行非参数回归迁移学习，推导了误差界并展示了在电子健康记录中的应用效果。
2026-03-14 cs.LG math.ST stat.ME
A Comparison of Resampling and Recursive Partitioning Methods in Random Forest for Estimating the Asymptotic Variance Using the Infinitesimal Jackknife
最近，无穷小折刀法（IJ）被应用于随机森林，以估计其预测方差。在传统的随机森林框架下，使用分类和回归树（CART）和自举响应验证了这些定理。然而，使用条件推理（CI）树和子采样的随机森林已被发现不容易变量选择偏差。在这里，我们进行模拟实验，使用一种新的方法来探索IJ的适用性，随机森林使用变化的reserving方法和基地学习。模拟测试数据点，并使用随机森林对100个模拟训练数据集进行训练，这些数据集使用不同的reserve和基础学习器组合。使用CI树而不是传统的CART树，以及使用二次抽样而不是自助抽样，导致在使用IJ预测方差更准确的估计。这里的随机森林变体已被纳入R编程语言的开源软件包中。
2018-01-29 stat.ML
A random forest system combination approach for error detection in digital dictionaries
University of Maryland（马里兰大学）
当印刷双语词典数字化时，无论是通过光学字符识别还是手动输入，都不可避免地会在创建的电子版本中引入错误。我们调查自动化的过程中检测错误的XML表示的数字化印刷字典使用的混合方法，结合基于规则的，基于特征的，和基于语言模型的方法。我们调查结合的方法，并表明，使用随机森林是一种很有前途的方法。我们发现，在隔离，无监督的方法竞争对手的监督方法的性能。随机森林通常需要训练数据，因此我们研究如何应用随机森林来组合单独的基本方法，这些方法本身是无监督的，而不需要大量的训练数据。实验经验表明，相对少量的数据就足够了，并且可以通过特定的选择标准进一步减少。
2014-10-30 cs.CL cs.LG stat.ML
Grouped variable importance with random forests and application to multiple functional data analysis
被认为是使用随机森林算法的分组变量的选择。首先，提出了一种新的适用于变量组的重要性度量。理论上的见解，这一标准的添加剂回归模型。其次，开发了一种基于分组变量重要性测度的函数变量选择方法。使用小波基，它建议重组所有的小波系数为一个给定的功能变量，并使用这些群体的包装选择算法。提出了利用小波基的频率和时间局部化的各种其他分组。进行了广泛的模拟研究，以说明在这种情况下使用的分组的重要性措施。该方法被应用到一个现实生活中的问题来自航空安全。
2015-05-19 stat.ME
Reliable ABC model choice via random forests
近似贝叶斯计算（ABC）方法提供了一个复杂的模型，包括模型选择的贝叶斯推断的详细方法。理论论证和模拟实验表明，然而，模型后验概率可能是不好的评估标准ABC技术。我们提出了一种新的方法的基础上的机器学习工具命名为随机森林进行选择之间的高度复杂的模型覆盖的ABC算法。因此，我们修改贝叶斯模型选择的理解和操作的方式，在我们重新措辞的推理目标作为一个分类问题，首先预测模型，最适合的数据与随机森林和推迟近似的后验概率的预测MAP的第二阶段也依赖于随机森林。与ABC模型选择的早期实现相比，ABC随机森林方法提供了几个潜在的改进：（i）它在竞争模型中通常具有更大的区分能力，（ii）它对汇总数据的统计数据的数量和选择更鲁棒，（iii）计算工作量大大减少（具有至少五十的计算效率增益），以及（iv）它包括所选模型的后验概率的近似。对随机森林的调用无疑将扩大ABC可以处理的数据集大小和模型复杂性的范围。我们通过分析对照实验以及真实的群体遗传学数据集来说明这种新方法的力量。所提出的方法在CRAN上可用的R包abcrf中实现。
2015-09-02 q-bio.PE stat.CO stat.ME
Enhancing Interpretability and Generalizability in Extended Isolation Forests
University of Padova（帕多瓦大学）；Statwolf Data Science Srl（斯塔特沃尔夫数据科学有限公司）
本文提出可解释方法ExIFFI为扩展孤立森林提供全局和局部解释，同时提出改进模型EIF+提升异常检测泛化能力，还设计了AUC_FS可解释性评估指标，实验验证其性能优于现有方法并开源代码。
2024-10-09 cs.LG stat.AP stat.ML
Feature Selection Approaches for Optimising Music Emotion Recognition Methods
University of Technology Sydney（悉尼科技大学）
音乐情感特征的高维性是音乐情感识别的一个挑战。关于音频特征和情感之间的关系没有共识。MER系统使用所有可用的特征来识别情感;然而，这不是最佳解决方案，因为它包含充当噪声的不相关数据。在本文中，我们介绍了一个特征选择方法，以消除冗余功能的MER。我们基于特征选择算法（FSA）创建了一个选定的特征集（SFS），并通过使用两个模型（支持向量回归（SVR）和随机森林（RF））进行训练来对其进行基准测试，并将它们与使用完整特征集（CFS）进行比较。结果表明，采用SFS后，MER对随机森林（RF）和支持向量回归（SVR）两种模型的性能都得到了改善。我们发现使用FSA可以在所有场景中提高性能，并且它对MER任务的模型效率和稳定性具有潜在的好处。
2022-12-27 cs.LG cs.MM cs.SD
Estimating Individual Treatment Effect in Observational Data Using Random Forest Methods
由于混杂和选择偏倚的挑战，在观察性数据中估计个体处理效应是复杂的。解决这个问题的一个有用的推理框架是反事实（潜在结果）模型，它采取假设的立场，询问如果一个人接受了两种治疗会发生什么。利用反事实框架内的随机森林（RF），我们通过直接对响应进行建模来估计个体处理效应。我们发现，即使在复杂的异质环境中，也可以准确估计个体处理效应，但RF方法的类型在准确性方面起着重要作用。当与样本外估计并行使用时，设计为自适应混杂的方法效果最好。一种被认为特别有前途的方法是反事实合成森林。我们说明了这种新的方法，将其应用到一个大型的比较有效性试验，项目意识，以探讨药物使用在性风险中的作用。分析揭示了危险行为，药物使用和性风险之间的重要联系。
2017-01-20 stat.ML
A Random Forest Guided Tour
随机森林算法是L. Breiman在2001年提出的方法，作为一种通用的分类和回归方法已经非常成功。该方法结合了几个随机决策树，并通过平均来聚合它们的预测，在变量数量远大于观测数量的情况下表现出出色的性能。此外，它是通用的，足以适用于大规模的问题，很容易适应各种特设的学习任务，并返回变量的重要性的措施。本文综述了随机森林理论和方法的最新进展。重点放在数学力量驱动的算法，特别注意到参数的选择，resception机制，变量的重要性措施。这篇评论旨在为非专家提供方便的主要思想。
2015-11-18 math.ST stat.ML stat.TH
Field of Groves: An Energy-Efficient Random Forest
像卷积神经网络（CNN）、支持向量机（SVM）等的机器学习（ML）算法已经变得广泛并且可以实现高统计性能。然而，在能量受限的移动和嵌入式系统空间中，它们的准确性显着降低，其中所有计算都需要在紧张的能量预算下完成。在这项工作中，我们提出了一种随机森林（RF）的Groves（FoG）实现，在紧张的能源预算下实现了与CNN和SVM相当的准确性。对FoG的评估表明，在相当的准确度下，与传统RF、SVM_RBF、MLP和CNN相比，其每次分类消耗的能量分别低约1.48倍、约24倍、约2.5倍和约34.7倍。FoG的能效比SVM_LR低约6.5倍，但在所有考虑的数据集上平均实现了18%的高精度。
2017-04-10 cs.DC stat.ML
Integration of Feature Selection Techniques using a Sleep Quality Dataset for Comparing Regression Algorithms
Manipal Academy Of Higher Education (MAHE)（马尼帕尔高等教育学院（MAHE））
本研究的目的是检验将各种特征选择方法与回归算法相结合用于睡眠质量预测的有用性。公开可访问的睡眠质量数据集用于分析不同特征选择技术对四种回归算法-线性回归、岭回归、Lasso回归和随机森林回归器-的性能的影响。比较结果以确定特征选择技术和回归算法的最佳组合。该研究结论丰富了目前关于使用机器学习进行睡眠质量预测的文献，对个人个性化睡眠建议具有实际意义。
2023-03-04 cs.LG
Non-uniform Feature Sampling for Decision Tree Ensembles
EPFL（洛桑联邦理工学院）；IBM Research Lab, Zurich（IBM苏黎世研究实验室）
研究了非均匀随机特征选择在决策树分类中的有效性。我们实验评估两种特征选择方法，从提供的数据集提取的信息的基础上：$(i)$ \emph{leverage scores-based}和$(ii)$ \emph{norm-based}特征选择。对所提出的特征选择技术的实验评估表明，与朴素的均匀特征选择相比，这种方法可能更有效，而且与随机森林算法[3]具有相当的性能。
2014-03-24 cs.IT cs.LG math.IT
Feedback-Based Dynamic Feature Selection for Constrained Continuous Data Acquisition
Worcester Polytechnic Institute（伍斯特理工学院）
相关和高质量的数据对于成功开发机器学习应用程序至关重要。对于机器学习在配备大量传感器的动态系统上的应用，例如联网车辆和机器人，如何以有效的方式找到相关且高质量的数据特征是一个具有挑战性的问题。在这项工作中，我们解决的问题，特征选择在约束连续数据采集。我们提出了一个基于反馈的动态特征选择算法，有效地决定了功能集的数据汇集从一个动态系统中逐步的方式。我们制定的顺序特征选择过程作为一个马尔可夫决策过程。具有探索组件的机器学习模型性能反馈被用作$ε$贪婪动作选择中的奖励函数。我们的评估表明，提出的基于反馈的特征选择算法具有优越的性能约束基线方法和匹配性能与无约束基线方法。
2021-02-22 cs.LG cs.SY eess.SY
Stable Graphical Model Estimation with Random Forests for Discrete, Continuous, and Mixed Variables
条件独立图是许多变量之间成对条件独立的简洁表示。图形随机森林（GRaFo）是一种估计混合类型（即连续和离散）变量之间的成对条件独立关系的新方法。边的数量是任何图形模型估计器中的一个调整参数，并且没有明显的数字构成一个好的选择。“稳定性选择”有助于根据预期误报数的界限选择此参数（错误控制）。在样本量为n = 100（极大似然为n = 500）时，对GRaFo的性能进行了评价，并与p = 50、100和200个可能的混合型变量的各种其他方法进行了比较。此外，GRaFo适用于瑞士健康调查的数据，以评估它在多大程度上能够再现世界卫生组织国际功能、残疾和健康分类所假设的功能健康组成部分、个人和环境因素之间的相互联系。最后，GRaFo用于确定可能与患有21三体并经历了心脏直视手术的儿童的不良神经发育相关的风险因素。GRaFo在混合数据中表现良好，并且由于稳定性选择，它为假阳性选择提供了错误控制机制。
2012-11-30 stat.AP stat.CO stat.ME
Unbiased split variable selection for random survival forests using maximally selected rank statistics
University of KwaZulu-Natal（夸祖鲁-纳塔尔大学）
分析生存数据最常用的方法是Cox回归模型。然而，考克斯模型可能被错误地指定，其比例假设可能并不总是得到满足。生存预测的另一种方法是生存结果的随机森林。随机生存森林的标准分裂准则是对数秩检验统计量，它倾向于用许多可能的分裂点分裂变量。条件推理森林避免了这种分裂变量选择偏差。但是，默认情况下，在条件推断森林中使用线性秩统计量来选择最佳拆分变量，该变量无法检测自变量中的非线性效应。另一种方法是使用最大选择的秩统计量进行分裂点选择。与条件推断森林一样，拆分变量在p值尺度上进行比较。然而，在条件推理森林中使用的条件蒙特卡罗方法，而不是使用p值近似。我们描述了几个p值的近似和建议的随机森林方法的实施。模拟研究表明，无偏的分裂变量选择是可能的。然而，在无偏的分割变量选择和运行时间之间存在权衡。在模拟和真实数据集上的预测性能的基准研究中，如果将信息二分变量与具有更多类别的无信息变量相结合，则新方法的性能优于随机生存森林，并且如果包括非线性协变量效应，则优于条件推理森林。在运行时比较中，如果使用简单的p值近似，则该方法被证明在计算上比两种替代方法更快。
2018-05-16 cs.LG stat.ML
Building an Efficient Intrusion Detection System Based on Feature Selection and Ensemble Classifier
Southeast University（东南大学）；National Key Laboratory of Science and Technology on Information System Security（信息系统安全技术国家重点实验室）
入侵检测系统（IDS）是在网络拓扑中广泛使用的技术之一，用于保护被保护系统中敏感资产的完整性和可用性。尽管机器学习领域的许多有监督和无监督学习方法已经被用来提高入侵检测系统的效率，但是现有的入侵检测算法仍然难以达到良好的性能。首先，高维数据集中存在大量冗余和不相关的数据，干扰了入侵检测系统的分类过程。其次，单个分类器在检测每种类型的攻击时可能表现不佳。第三，许多模型是为陈旧的数据集构建的，这使得它们对新攻击的适应性较差。因此，本文提出了一种基于特征选择和集成学习技术的入侵检测框架。在第一步中，提出了一种启发式算法CFS-BA进行降维，该算法根据特征之间的相关性选择最优子集。然后，我们介绍了一个集成的方法，结合C4.5，随机森林（RF），森林惩罚属性（森林PA）算法。最后，使用投票技术结合基学习器的概率分布进行攻击识别。使用NSL-KDD，AWID和CIC-IDS 2017数据集的实验结果表明，所提出的CFS-BA-Ensemble方法在几个指标下能够表现出比其他相关和最先进的方法更好的性能。
2020-04-02 cs.CR cs.LG
Fault Detection of Broken Rotor Bar in LS-PMSM Using Random Forests
Sunway University（双威大学）；Centre of Advanced Power and Energy Research (CAPER), Universiti Putra Malaysia（马来西亚博特拉大学先进电力与能源研究中心）；Department of Electrical and Electronic Engineering, Universiti Putra Malaysia（马来西亚博特拉大学电气与电子工程系）；Centre for Electromagnetic and Lightning Protection Research (CELP), Universiti Putra Malaysia（马来西亚博特拉大学电磁与雷电防护研究中心）
提出了一种基于随机森林的直线起动永磁同步电动机转子断条故障诊断新方法。在电机启动过程中的瞬态电流信号采集从一个健康的电机和一个故障的电机转子断条故障。我们从启动瞬态电流信号中提取了13个统计时域特征，并使用这些特征来训练和测试随机森林，以确定电机是在正常还是故障条件下运行。对于特征选择，我们使用来自随机森林的特征重要性来将特征的数量减少到两个特征。结果表明，随机森林分类的准确率为98.8%的运动状况为健康或故障使用的所有功能和准确率为98.4%，仅使用平均指数和冲动功能。随机森林的性能与决策树、朴素贝叶斯分类器、逻辑回归、线性岭和支持向量机进行了比较，随机森林始终具有比其他算法更高的准确性。所提出的方法可用于工业LS-PMSM电机的在线监测和故障诊断，其结果可以帮助工厂预防性维护计划的制定。
2017-11-03 cs.LG
