On the Robustness of Random Forest Against Untargeted Data Poisoning: An Ensemble-Based Approach
本文针对随机森林易受非定向数据投毒攻击的问题,提出一种基于哈希的集成防御方法,通过多模型训练与预测聚合提升鲁棒性,并通过实验验证其在多种攻击下的性能和资源可持续性。
2023-08-28 cs.LG
Adaptive Conditional Residual Sampling for Spectral Risk Optimisation under Decision-Dependent Uncertainty
Institute for Global Prosperity, The Bartlett, University College London(全球繁荣研究所,巴特利特学院,伦敦大学学院)
提出ACFS框架,结合广义随机森林、CEM全局搜索和重加权聚焦增强,解决决策依赖分布下的谱风险最小化问题,在重尾和偏态基准上优于现有方法。
2026-10-19 cs.LG math.OC stat.CO
Simple Post-Training Robustness Using Test Time Augmentations and Random Forest
Tel Aviv University(特拉维夫大学)
尽管深度神经网络(DNN)在许多现实任务上都取得了出色的性能,但它们极易受到对抗攻击的攻击。对抗这种攻击的一种主要防御方法是对抗性训练,这种技术通过将对抗性噪声引入其输入来训练DNN对对抗攻击具有鲁棒性。这个过程是有效的,但必须在培训阶段进行。在这项工作中,我们提出了增强随机森林(ARF),这是一种简单易用的策略,用于在不修改其权重的情况下对现有的预训练DNN进行鲁棒化。对于每个图像,我们通过应用不同的颜色,模糊,噪声和几何变换来生成随机测试时间增强。然后我们使用DNN的logits输出来训练一个简单的随机森林来预测真实的类标签。我们的方法实现了最先进的对抗鲁棒性的白盒和黑盒攻击的多样性与自然图像的分类最小的妥协。我们还针对许多自适应白盒攻击测试了ARF,当与对抗性训练相结合时,它显示出出色的结果。代码可在https://github.com/giladcohen/ARF上获得。
2021-11-25 cs.CV cs.LG
Distributional Split Criteria for Random Forests: Extensions, Shrinkage, and the Robustness of Mean Splitting
研究随机森林的分布分裂准则,实现并研究了多个准则及森林权重收缩方法。通过多种比较刻画其适用情况,发现普通各向同性MMD较优,标量回归中均值分裂稳健,多变量响应时分布分裂作用明显,支持简单分配观点,相关内容在开源库中实现。
2026-07-28 cs.LG stat.ME stat.ML
Towards Robust Classification with Deep Generative Forests
Eindhoven University of Technology(埃因霍温理工大学)
决策树和随机森林是最广泛使用的机器学习模型之一,并且通常在表格,领域不可知的数据集中实现最先进的性能。尽管如此,作为主要的判别模型,它们缺乏原则性的方法来操纵预测的不确定性。在本文中,我们利用生成森林(GeFs),最近一类的深度概率模型,通过将随机森林扩展到表示特征空间上的完整联合分布的生成模型来解决这些问题。我们证明了GeFs是不确定性感知的分类器,能够测量每个预测的鲁棒性以及检测出的分布样本。
2020-07-11 cs.LG stat.ML
Circuit Representations of Random Forests with Applications to XAI
本文提出将随机森林分类器编译为电路集的方法,通过实例抽象提升决策解释的可计算性,并提出计算决策鲁棒性和翻转路径的算法。
2026-03-15 cs.AI cs.LG cs.LO
Robust Isolation Forest using Soft Sparse Random Projection and Valley Emphasis Method
Seoul National University of Science & Technology (SeoulTech)(首尔科学技术大学(首尔理工))
本文提出 RiForest,通过软稀疏随机投影生成随机超平面并结合谷值强调法选择划分点,在 24 个基准数据集上稳定提升异常检测性能。
2025-03-15 cs.AI cs.LG
FederatedRSF : Federated Random Survival Forests for Partially Overlapping Medical Data
Institute for Predictive Deep Learning in Medicine and Healthcare(预测医学与健康人工智能研究所);Justus Liebig University Gießen(吉森约瑟夫·李比希大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心 (hessian.AI));Department of Medical Informatics(医学信息学系);University Medical Center Göttingen(哥廷根大学医学中心);Max Planck Institute for Biology of Ageing(马克斯·普朗克衰老生物学研究所)
提出FederatedRSF,一种联邦随机生存森林方法,通过聚合本地生存树并仅分发特征兼容树,解决多中心数据特征部分重叠下的生存预测问题,性能接近集中式训练。
2026-05-21 cs.LG q-bio.QM
A Mallows-like Criterion for Anomaly Detection with Random Forest Implementation
Shandong University(山东大学)
本文提出一种类Mallows准则用于选择多模型聚合权重,结合focal loss处理极不平衡数据,并整合到随机森林算法中,在准确率和鲁棒性上优于传统模型平均和常见异常检测算法。
2024-05-29 cs.LG stat.ML
Meaningful Clustered Forest: an Automatic and Robust Clustering Algorithm
CNRS - LTCI UMR5141, Telecom ParisTech(法国国家科学研究中心 - LTCI UMR5141,巴黎高等电信学院)
我们提出了一种新的聚类技术,可以被视为一种数值方法来计算接近完形。该方法分析了数据集MST中的边长度统计,并给出了一个相反的聚类检测准则。该方法是完全参数化的选择距离,可以检测任意形状的集群。该方法也是自动的,在这个意义上,只有一个参数留给用户。这个参数有一个直观的解释,因为它控制着错误检测的预期数量。我们表明,我们的方法的迭代应用可以(1)提供对噪声的鲁棒性和(2)解决掩蔽现象,其中一个高度填充和突出的集群占主导地位的场景,并抑制检测人口较少,但仍然突出,集群。
2011-07-19 cs.LG
Interpreting random forest classification models using a feature contribution method
University of Bradford(布拉德福德大学);University of Leeds(利兹大学);Liverpool John Moores University(利物浦约翰摩尔斯大学)
模型解释是模型评估过程的关键环节之一。由于模型参数的可用性及其统计意义,解释模型变量和输出之间的关系对于统计模型(如线性回归)相对容易。对于“黑箱”模型,如随机森林,这些信息隐藏在模型结构中。本文提出了一种计算随机森林分类模型特征贡献的方法。它允许确定每个变量对单个实例的模型预测的影响。通过分析训练数据集的特征贡献,可以确定最重要的变量,以及它们对各个类的预测的典型贡献,即,类特定的特征贡献“模式”被发现。这些模式代表了模型的标准行为,并允许对新数据的模型可靠性进行额外评估。两个UCI基准数据集的特征贡献的解释显示了所提出的方法的潜力。通过对大量生成的随机森林模型计算的特征贡献进行广泛的分析,证明了结果的鲁棒性。
2013-12-04 cs.LG
Jacobian Aligned Random Forests
Department of Applied Mathematics and Statistics(应用数学与统计学系)
雅可比对齐随机森林通过特征空间旋转提升轴对齐森林的性能,同时保持简单性和鲁棒性。
2025-12-09 cs.LG
ADASYN-Random Forest Based Intrusion Detection Model
Zhejiang Normal University(浙江师范大学);NingboTech University(浙大宁波理工学院)
入侵检测一直是网络安全领域的一个重要研究课题,而当今常见的网络威胁具有多样性和变异性的特点。针对入侵检测数据集严重不均衡会导致对小样本攻击行为分类性能低下,难以准确、高效地检测网络攻击的问题,提出采用自适应综合采样(ADASYN)方法对数据集进行均衡。另外,采用随机森林算法对入侵检测分类器进行训练。通过在CICIDS 2017数据集上的入侵检测对比实验,发现ADASYN与随机森林的性能更好。根据实验结果,分析了ADASYN在查准率、查全率、F1分数和AUC值等方面的改善情况。实验表明,该方法可应用于大数据量的入侵检测,有效提高网络攻击行为的分类准确率。与传统的机器学习模型相比,该模型具有更好的性能、泛化能力和鲁棒性。
2022-04-14 cs.CR cs.LG
Forest-ORE: Mining Optimal Rule Ensemble to interpret Random Forest models
Mohammed V University in Rabat(拉巴特穆罕默德五世大学)
本文提出Forest-ORE方法,通过混合整数优化构建最优规则集成,在预测性能、可解释性覆盖范围和模型大小之间实现出色权衡,从而有效解释随机森林模型。
2024-03-26 cs.LG
Rare-Event Simulation for Neural Network and Random Forest Predictors
Columbia University(哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究了一类问题的稀有事件模拟,其中目标命中集的兴趣是通过现代机器学习工具,如神经网络和随机森林定义。这个问题的动机是从快速新兴的智能系统的安全评估,学习模型的鲁棒性量化的研究,以及其他潜在的应用程序,大规模的模拟,其中机器学习工具可以用来近似复杂的稀有事件集的边界。我们研究了一个重要性采样计划,该计划集成了大偏差和顺序混合整数规划中的控制点机制,以找到潜在的控制点。我们的方法适用于一系列神经网络架构,包括全连接层,整流线性单元,归一化,池化和卷积层,以及从标准决策树构建的随机森林。我们提供了效率保证和数值演示我们的方法使用分类模型在UCI机器学习库。
2020-10-10 cs.LG math.ST stat.ML
Forest Floor Visualizations of Random Forests
Technical University of Denmark(丹麦技术大学);Novo Nordisk Global Research(诺和诺德全球研究)
我们提出了一种新的方法,森林地面,可视化和解释随机森林(RF)模型。RF是非线性多变量分类和回归的流行和有用的工具,它在鲁棒性(低方差)和自适应性(低偏差)之间产生了良好的权衡。RF模型的直接解释是困难的,因为数百个深度树的显式集成模型是复杂的。尽管如此,可以通过从特征空间到预测空间的映射来可视化RF模型拟合。因此,首先向用户呈现模型结构的总体几何形状,并且当需要时,可以放大局部细节。通过投影降维用于可视化高维形状。可视化RF模型结构的传统方法,部分依赖图,通过平均多个平行投影来实现这一点。我们建议首先使用特征贡献,一种通过分裂特征来分解树的方法,然后执行投影。与部分相关图相比,森林地面的优点是相互作用不会被平均值掩盖。因此,可以定位在给定投影中不可见的相互作用。此外,我们还介绍:一个良好的可视化措施,使用颜色梯度,以确定相互作用和袋外交叉验证的功能贡献的变化。
2016-07-04 cs.LG stat.ML
On the intrinsic robustness to noise of some leading classifiers and symmetric loss function -- an empirical evaluation
Orange Labs(橙色实验室)
在某些工业应用中,例如欺诈检测,常见监督技术的性能可能会受到可用标签质量差的影响:在实际操作用例中,这些标签可能在数量、质量或可信度方面较弱。我们提出了一个基准测试,以评估自然的鲁棒性的不同算法采取的各种范式对人为损坏的数据集,重点是嘈杂的标签。本文研究了一些主要分类器的内在鲁棒性。正在审查的算法包括SVM,逻辑回归,随机森林,XGBoost,Khiops。此外,从最近的文献结果的基础上,该研究的补充调查的机会,以提高一些算法的对称损失函数。
2021-06-21 cs.LG
Surrogate Interpretable Graph for Random Decision Forests
Center for Artificial Intelligence in Public Health Research (ZKI-PH)(人工智能与公共卫生研究所以(ZKI-PH));Robert Koch Institute(罗伯特·科赫研究所);Department of Mathematics and Computer Science(数学与计算机科学系);Free University of Berlin(柏林自由大学)
本文提出代理可解释图方法,利用图与混合整数线性规划分析随机森林中的全局特征交互,以提升健康信息学等高风险领域的可解释性与合规性。
2025-05-17 cs.AI cs.LG
Causal Transfer Random Forest: Combining Logged Data and Randomized Experiments for Robust Prediction
Duke University(杜克大学);Microsoft(微软)
预测模型对训练数据和测试数据之间的分布变化具有鲁棒性通常至关重要。从因果关系的角度来看,挑战是区分稳定的因果关系和不稳定的虚假相关性。我们描述了一个因果转移随机森林(CTRF),结合现有的训练数据与少量的数据,从一个随机化的实验训练的模型,这是强大的功能转变,因此转移到一个新的目标分布。从理论上讲,我们证明的鲁棒性的方法对功能的变化与因果学习的知识。从经验上讲,我们使用Bing Ads平台中的合成数据实验和真实世界实验来评估CTRF,包括点击预测任务和端到端反事实优化系统。建议的CTRF产生强大的预测和性能优于大多数基线方法相比,存在的功能转变。
2021-01-14 cs.LG stat.ML
AMF: Aggregated Mondrian Forests for Online Learning
École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);Université de Paris(巴黎大学);Ecole normale supérieure(巴黎高等师范学院)
随机森林(RF)是许多监督学习应用中的首选算法之一,无论是分类还是回归。这种树集成方法的吸引力来自于几个特征的组合:在各种任务中的显着准确性,少量的参数调整,相对于特征缩放的鲁棒性,合理的训练和预测计算成本,以及它们在高维环境中的适用性。然而,最常用的RF变体是“离线”算法,它需要一次获得整个数据集。本文介绍了一种基于Mondrian Forests的在线随机森林算法AMF。使用的上下文树加权算法的一个变体,我们表明,它是可以有效地执行一个精确的聚合在所有修剪的树,特别是,这使得能够获得一个真正的在线无参数的算法,这是有竞争力的蒙德里安树的最佳修剪,从而适应未知的规律性的回归函数。数值实验表明,AMF是有竞争力的几个强基线上的大量数据集的多类分类。
2020-05-15 cs.LG math.ST stat.ML
Random Forest classifier for EEG-based seizure prediction
Paris Brian Institute(巴黎大脑研究所);CentraleSupélec(巴黎中央理工-高等电力学院);National Centre for scientific research(法国国家科学研究中心);Hôpital de La Pitié Salpêtrière(皮提耶-萨尔佩特里埃医院)
癫痫发作预测在计算癫痫研究界获得了相当大的兴趣。本文提出了一种基于机器学习的癫痫发作预测方法,其性能优于最先进的方法。我们计算一个概率为一个给定的时期,被pre-ictal对interictal使用随机森林分类器,并引入新的概念,以提高算法的鲁棒性,以误报。我们评估了我们的方法对20例患者的基准头皮EEG CHB-MIT数据集的癫痫发作预测范围(SPH)为5分钟,癫痫发作发生期(SOP)为30分钟。我们的方法实现了82.07%的灵敏度和0.0799 /h的低假阳性率(FPR)。我们还在颅内EEG记录上测试了我们的方法。
2021-06-02 cs.LG eess.SP physics.med-ph
RF-GNN: Random Forest Boosted Graph Neural Network for Social Bot Detection
PLA Strategy Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学)
本文提出RF-GNN方法,以图神经网络为基分类器构建随机森林,结合集成学习与GNN优势,通过子图采样、特征选择、边丢弃及FCN对齐聚合提升社交机器人检测的准确性和鲁棒性。
2023-04-14 cs.CV cs.LG
Financial fraud detection system based on improved random forest and gradient boosting machine (GBM)
University of California, Davis(加州大学戴维斯分校)
本文提出GBM-SSRF模型,结合改进随机森林与梯度提升机,降低计算复杂度并提升特征选择,实验证明其高效稳健,适用于金融欺诈检测。
2025-02-20 cs.LG q-fin.GN q-fin.ST
Crop yield probability density forecasting via quantile random forest and Epanechnikov Kernel function
Pan African University(泛非大学);University of Nairobi(内罗毕大学);Michigan State University(密歇根州立大学)
一个可靠、准确的作物产量预测模型对于农业部门的有效决策过程至关重要。然而,由于极端天气和不确定性,大多数作物产量预测模型并不可靠和准确。为了度量作物产量的不确定性,获取未来作物产量的更多信息,提出了基于分位数随机森林和Epanechnikov核函数的概率密度预测模型(QRF-SJ)。利用随机森林的非线性结构,改变分位数回归模型,建立概率预测模型。在核密度估计中采用了Epanechnikov核函数和Sheather和Jones的求解方程插件方法。以加纳花生和小米的年产量为例,说明了该方法的有效性和鲁棒性。两种作物的预测区间覆盖概率和预测区间归一化平均宽度的值表明,所构建的预测区间以高覆盖概率捕获观测产量。概率密度曲线表明,QRF-SJ方法具有很高的预测能力,以较高的覆盖概率预测质量预测区间。特征重要性给出了在建立分位数回归森林模型中每个天气变量的重要性的分数。农民和其他利益相关者能够通过特征重要性认识到影响所选作物产量的特定天气变量。该方法及其在作物产量数据集上的应用在文献中尚属首次。
2019-10-19 cs.LG stat.AP stat.ML
Generalised Random Forest Space Overview
Interdisciplinary Centre for Mathematical and Computational Modelling (ICM), University of Warsaw(华沙大学跨学科数学与计算建模中心(ICM))
假设一个视图的随机森林作为一个特殊情况下的嵌套合奏的可互换的模块,我们构建了一个泛化空间,允许一个容易地开发新的方法基于该算法。我们讨论的作用和所需的属性模块在每个级别,特别是在一些已经提出的RF概括的背景下。
2015-01-17 cs.LG
Meta-forests: Domain generalization on random forests with meta-learning
King’s College London(伦敦国王学院)
本文提出名为meta-forests的领域泛化算法,结合元学习与最大均值差异优化随机森林,降低树间相关性并增强强度,在物体识别与葡萄糖监测数据集上泛化性能优于现有方法。
2024-01-09 cs.CV cs.LG
Uncertainty-Driven Modeling of Microporosity and Permeability in Clastic Reservoirs Using Random Forest
North Carolina State University(北卡罗来纳州立大学);Universiti Teknologi PETRONAS(马来西亚石油科技大学)
本研究针对碎屑岩储层微孔隙度与渗透率常规评估成本高的问题,提出结合不确定性分析的随机森林模型,利用易获取的地质参数实现高精度预测,为储层质量评估提供经济高效的新方案。
2025-03-21 cs.LG physics.geo-ph
Dynamic Connected Neural Decision Classifier and Regressor with Dynamic Softing Pruning
AInnovation Technology Ltd.(安创新科技有限公司)
为了处理复杂度不同的数据集,本文提出了一种自适应学习模型,该模型结合了动态连接神经决策网络(DNDN)和一种新的剪枝方法--动态软剪枝(DSP)。DNDN是随机森林和深度神经网络的结合,兼具树状结构的强大分类能力和网络结构的表示学习能力的优点。本文在深度神经决策森林(DNDF)的基础上,采用端到端的训练方法,用多个随机初始化的softmax层来表示分类分布,从而进一步允许多个随机森林的集成附着到神经网络的不同深度的层上。我们还提出了一种软修剪方法DSP,自适应地减少网络的冗余连接,以避免过拟合简单的数据集。与未修剪的模型相比,该模型没有表现出性能损失,并且对不同的数据和特征分布具有更高的鲁棒性。在不同数据集上的大量实验表明,该模型在解决分类任务方面优于其他流行的算法。
2021-02-22 cs.AI cs.LG stat.ML
BELLATREX: Building Explanations through a LocaLly AccuraTe Rule EXtractor
KU Leuven(鲁汶大学);imec(比利时微电子研究中心)
树集成算法,如随机森林,是一种有效的机器学习方法,因其灵活性、高性能和对过拟合的鲁棒性而流行。然而,由于多个学习器被组合,它们不像单个决策树那样可解释。在这项工作中,我们提出了一种新的方法,即通过LocalLy AccuraTe规则提取器(Bellatrex)建立解释,并且能够解释森林预测对于一个给定的测试实例,只有几个不同的规则。从随机森林生成的决策树开始,我们的方法1)预先选择用于进行预测的规则子集,2)创建此类规则的向量表示,3)将它们投影到低维空间,4)对此类表示进行聚类,以从每个聚类中选择一条规则来解释实例预测。我们在89个真实世界的数据集上测试了Bellatrex的有效性,并证明了我们的方法对于二进制分类,回归,多标签分类和事件时间任务的有效性。据我们所知,这是第一次一个可解释性工具箱可以在同一个框架内处理所有这些任务。我们还表明,我们提取的代理模型可以近似相应的集成模型在所有考虑的任务的性能,而选择只有少数树木从整个森林。我们还表明,我们提出的方法大大优于其他可解释的方法在预测性能。
2023-01-06 cs.AI cs.LG
Oblique and rotation double random forest
Indian Institute of Technology Indore(印度理工学院印多尔分校);Nanyang Technological University(南洋理工大学);Qatar University(卡塔尔大学);VŠB - Technical University of Ostrava(俄斯特拉发技术大学)
随机森林是一种基于装袋和随机子空间概念的决策树集成。正如Breiman所建议的,不稳定学习者的力量和他们之间的多样性是集成模型的核心力量。在本文中,我们提出了两种方法,称为倾斜和旋转双随机森林。在第一种方法中,我们提出了基于旋转的双随机森林。在基于旋转的双随机森林中,在每个节点处生成特征空间的变换或旋转。在每个节点处选择不同的随机特征子空间进行评估,因此每个节点处的变换是不同的。不同的转换导致基础学习器之间更好的多样性,因此,更好的泛化性能。以双随机森林为基学习器,对每个节点上的数据分别进行主成分分析和线性判别分析。在第二种方法中,我们提出了斜双随机森林。随机森林和双随机森林中的决策树是单变量的,这导致产生轴平行分裂,无法捕获数据的几何结构。此外,标准随机森林可能无法生长足够大的决策树,从而导致次优性能。为了捕捉几何属性和增长的决策树足够的深度,我们提出了斜双随机森林。斜双随机森林模型是多元决策树。在每个非叶节点处,多表面邻近支持向量机生成最优平面,以获得更好的泛化性能。针对斜双随机森林决策树的小样本问题,采用了不同的正则化技术。
2022-08-09 cs.AI cs.LG
A collaborative ensemble construction method for federated random forest
Chungnam National University(忠南国立大学)
本文提出一种联邦随机森林方法,通过客户端间迭代共同生长决策树的协同集成构建策略,在不泄露数据分布的前提下显著提升了模型在 non-IID 数据上的性能。
2024-07-27 cs.AI cs.CR cs.DC
RFOD: Random Forest-based Outlier Detection for Tabular Data
National University of Singapore;Huazhong University of Science \& Technology;Harbin Institute of Technology (Shenzhen)
针对混合类型表格数据,提出基于随机森林的RFOD框架,通过逐特征条件重构和单元级评分聚合,实现高精度、可解释的异常检测。
2025-10-09 cs.DB cs.LG
Robustness Verification of Tree-based Models
MIT(麻省理工学院);UCLA(加州大学洛杉矶分校);Google Research(谷歌研究院)
本文研究了树型模型的鲁棒性验证问题,包括决策树、随机森林和梯度提升决策树。决策树集成的形式化鲁棒性验证需要找到最小对抗扰动或其保证下界,现有的方法通过混合整数线性规划(MILP)问题来寻找最小对抗扰动,这需要指数级时间,因此对于大型集成是不切实际的。虽然这个验证问题一般是NP完全的,我们给出了一个更精确的复杂性表征。我们发现,有一个简单的线性时间算法来验证一棵树,和树合奏,验证问题可以转换为一个最大团的问题上的多部图有界盒。对于低维问题,当盒性可以被视为常数,这种重新制定导致一个多项式时间算法。对于一般的问题,通过利用图的盒性,我们开发了一个有效的多级验证算法,可以给出严格的下限的决策树集成的鲁棒性,同时允许迭代改进和任何时间终止。在10个数据集上训练的OnRF/GBDT模型中,我们的算法比以前需要求解MILP的方法快数百倍,并且能够在具有数百个深度树的大型GBDT上给出严格的鲁棒性验证界限。
2019-12-09 cs.LG stat.ML
Entropic perspective on AI resilience, data-minimal learning and optimal control
RPTU Kaiserslautern-Landau(凯泽斯劳滕-兰道工业大学)
本文提出并证明了AI分类器最小对抗路径与距离的存在性、唯一性及解析计算条件,并在合成和生物医学基准上验证了其可扩展性,实现了患者特定风险的最小化干预。
2026-10-21 cs.AI cs.LG stat.ML
Feature Space Selection and Heterogeneous Effect Estimation for Blood-Brain Barrier Permeability: A Random Forest to the Generalized Random Forest Pipeline
University of Pretoria(比勒陀利亚大学);Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
本研究利用MoleculeNet BBBP数据集,通过系统消融特征空间并应用广义随机森林与双重机器学习,发现特征表示与算法耦合影响预测性能,且校正混杂后LogP-BBB关联的异质性证据不足。
2026-09-25 cs.LG stat.ML
Asymptotic Distributions and Rates of Convergence for Random Forests via Generalized U-statistics
University of Pittsburgh(匹兹堡大学)
随机森林仍然是最流行的现成监督学习算法之一。尽管它们在经验上取得了成功,但直到最近,很少有理论结果可以用来描述它们的性能和行为。在这项工作中,我们通过建立随机森林和其他监督学习集成的收敛速度,超越了最近关于一致性和渐近正态性的工作。我们发展的广义U-统计量的概念,并表明在这个框架内,随机森林预测可以保持渐近正常的子样本大小比以前建立的。我们还提供了Berry-Esseen界限,以量化这种收敛发生的速率,明确子样本大小和树木数量在确定随机森林预测分布中的作用。
2021-11-16 cs.LG math.ST stat.ML
Towards Equitable ASD Diagnostics: A Comparative Study of Machine and Deep Learning Models Using Behavioral and Facial Data
University of North Texas(北得克萨斯大学);Fordham University(福特汉姆大学)
本研究比较机器学习与深度学习模型,利用行为和面部数据提升ASD诊断公平性,随机森林达100%准确率,MobileNet在图像分析中优于基线,有望改善女性等诊断不足群体的筛查。
2024-11-08 cs.AI cs.CV cs.LG
Robustness for Non-Parametric Classification: A Generic Attack and Defense
University of California, San Diego(加利福尼亚大学圣迭戈分校)
对抗鲁棒的机器学习最近受到了很多关注。然而,以前的攻击和防御非参数分类器已经开发了一个特设或分类器特定的基础上。在这项工作中,我们将全面研究非参数分类器的对抗性示例,包括最近邻居,决策树和随机森林。我们提供了一种通用的防御方法,对抗性修剪,它通过对数据集进行预处理来实现良好的分离。为了测试我们的防御,我们提供了一个新的攻击,适用于广泛的非参数分类器。从理论上讲,我们得到一个最佳的鲁棒分类器,这是类似于贝叶斯最佳。我们表明,对抗修剪可以被视为一个有限的样本近似这个最佳分类。我们的经验表明,我们的防御和攻击是更好的或有竞争力的非参数分类器的先前工作。总的来说,我们的研究结果提供了一个强大的和广泛适用的基线,为未来的工作强大的非参数。代码可在https://github.com/yangarbiter/adversarial-nonparametrics/获得。
2020-02-24 cs.CR cs.DS cs.LG