Evasion and Hardening of Tree Ensemble Classifiers
University of California, Berkeley（加州大学伯克利分校）
分类器规避包括为给定实例$x$找到最近的实例$x'$，使得$x$和$x'$的分类器预测不同。我们提出了两种新的算法，系统地计算规避树集成，如提升树和随机森林。我们的第一个算法使用混合线性规划求解器，并在一组表达约束下找到最佳规避实例。我们的第二个算法权衡使用符号预测，一种新的算法快速有限差分树合奏的速度最优。在数字识别任务中，我们证明了梯度提升树和随机森林都非常容易受到逃避。最后，我们通过使用规避实例增强每个boosting回合的训练集来强化boosted树模型，而不会损失预测准确性，这种技术我们称为对抗性boosting。
2016-05-27 cs.CR cs.LG stat.ML
Slow-Growing Trees
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
随机森林的性能可以通过一棵缓慢生长的树（SGT）来匹配，SGT使用学习率来驯服CART的贪婪算法。SGT利用CART是迭代加权最小二乘过程的极端情况的观点。此外，一个统一的观点，提升树（BT）和随机森林（RF）。贪婪ML算法的结果可以通过“缓慢学习”或多样化来改善。SGT应用前者来估计单个深树，Booging（具有高学习率的装袋随机BT）使用后者与加性浅树。这棵树合奏四位一体（Booging，BT，SGT，RF）的性能进行评估模拟和真实的回归任务。
2021-07-14 cs.LG econ.EM stat.AP
Ensembles of Probabilistic Regression Trees
该研究提出概率回归树的集成方法，通过概率分配观测值实现目标函数的平滑近似，证明了其一致性并通过实验验证了偏差-方差特性与预测性能。
2024-06-20 cs.LG stat.ML
When are Deep Networks really better than Decision Forests at small sample sizes, and how?
Johns Hopkins University（约翰斯·霍普金斯大学）；Harvard University（哈佛大学）；Microsoft Research（微软研究院）
深度网络和决策森林（如随机森林和梯度提升树）分别是结构化和表格数据的主要机器学习方法。许多论文已经经验性地比较了一个或两个不同领域（例如，100种不同的表格数据设置）。然而，还需要利用最新的最佳做法对这两种战略进行仔细的概念和经验比较。从概念上讲，我们说明，两者都可以被视为有利可图的“分区和投票”计划。具体来说，他们都学习的表示空间是将特征空间划分为凸多面体的并集。对于推理，每个节点都根据激活节点的投票进行决策。这一表述允许对这些方法之间的关系有一个统一的基本理解。从经验上讲，我们比较了这两种策略的数百个表格数据设置，以及一些视觉和听觉设置。我们的重点是最多10，000个样本的数据集，这代表了科学和生物医学数据集的很大一部分。总的来说，我们发现森林在小样本量的表格和结构化数据（视觉和听觉）方面表现出色，而深度网络在大样本量的结构化数据上表现更好。这表明，通过进一步结合森林和网络的各个方面，可以在这两种情况下实现进一步的收益。我们将在未来几个月继续修订本技术报告，更新结果。
2021-11-02 cs.AI cs.LG q-bio.NC
Uncertain Trees: Dealing with Uncertain Inputs in Regression Trees
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；University of Lorraine（洛林大学）；Institut Elie Cartan（埃利·嘉当研究所）；Ecole des Mines d’Alès（阿莱斯矿业学院）；TOTAL S.A.（道达尔公司）
基于树的集成方法，如随机森林和梯度提升树，已成功地用于回归在许多应用和研究。此外，这些方法已经被扩展，以处理输出变量的不确定性，例如使用随机森林中的分位数损失（Meinshausen，2006）。据我们所知，还没有提供扩展来处理输入变量中的不确定性，尽管这种不确定性在实际情况中很常见。我们在这里提出了这样的扩展，显示如何标准的回归树优化二次损失可以适应和学习，同时考虑到输入的不确定性。通过这样做，我们不再假设一个观测值位于回归树的单个区域中，而是假设它以一定的概率属于每个区域。在几个数据集上进行的实验说明了所提出的扩展的良好行为。
2018-11-18 cs.LG stat.ML
Generalised Boosted Forests
本文扩展了最近的工作，提高随机森林模型的非高斯响应。给定一个指数族$\mathbb{E}[Y|X] = g^{-1}(f(X))$，我们的目标是获得对$f$的估计。我们从链接空间中的MLE类型估计开始，然后从它定义广义残差。我们使用这些残差和一些相应的权重来拟合基本随机森林，然后重复相同的操作以获得提升随机森林。我们称这三个估计量之和为\textit{generalised boosted forest}。我们用模拟和真实数据表明，随机森林步骤都降低了测试集对数似然，我们将其视为我们的主要指标。我们还提供了一个方差估计，我们可以获得与原始估计本身相同的计算成本。对真实数据和模拟数据的实证实验表明，该方法能有效地降低偏倚，且协变量分布的大部分区域的置信区间覆盖率是保守的。
2021-03-02 stat.ME stat.ML
VisRuler: Visual Analytics for Extracting Decision Rules from Bagged and Boosted Decision Trees
Linnaeus University（林奈大学）；Linköping University（林雪平大学）
针对袋装、提升类集成决策树模型可解释性差的问题，提出可视分析工具VisRuler，通过多步视觉检查工作流提取决策规则，经多维度评估验证了其适用性与有效性。
2024-04-18 cs.HC cs.LG stat.ML
Making Tree Ensembles Interpretable
树集合，如随机森林和提升树，以其高预测性能而闻名，但其可解释性非常有限。在本文中，我们提出了一个后处理方法，提高了模型的可解释性的树集成。在以标准的方式学习了一个复杂的树集合之后，我们用一个更简单的模型来近似它，这个模型对人类来说是可解释的。为了得到更简单的模型，我们从复杂的系综中推导出最小化库尔贝克-莱布勒散度的期望最大化算法。一个合成实验表明，一个复杂的树集成是合理的近似解释。
2016-06-17 stat.ML
TREX: Tree-Ensemble Representer-Point Explanations
University of Oregon（俄勒冈大学）
我们如何识别对树集成预测贡献最大的训练样本？在本文中，我们介绍TREX，解释系统，提供实例属性的解释树集成，如随机森林和梯度提升树。TREX建立在先前为解释深度神经网络而开发的代表点框架之上。由于树系综是不可微的，我们定义了一个内核，捕捉特定的树系综的结构。通过在核逻辑回归或支持向量机中使用该核，TREX构建了一个近似原始树集成的代理模型。代理模型的核扩展中的权重用于定义每个训练样本的全局或局部重要性。实验结果表明，TREX的代理模型能准确地逼近树系集，其全局重要性权重在数据集调试中比现有的方法更有效，在移除和重新训练评估框架下，其解释能更好地识别最具影响力的样本，其运行速度比其他方法快几个数量级，并且具有更好的性能。并且其局部解释可以识别和解释由于域不匹配引起的错误。
2021-12-16 cs.LG stat.ML
Data-driven advice for interpreting local and global model predictions in bioinformatics problems
Berlin School of Economics and Law（柏林经济与法律学院）；Humboldt University（洪堡大学）
基于树的算法，如随机森林和梯度提升树，仍然是跨多个学科使用的最流行和最强大的机器学习模型之一。在基于树的模型中估计特征的影响的传统智慧是测量\textit{node-wise reduction of a loss function}，其（i）仅产生全局重要性度量，并且（ii）已知遭受严重偏差。条件特征贡献（CFC）提供了\textit{local}，通过遵循决策路径并将模型预期输出的变化归因于路径上的每个特征来逐个解释预测。然而，Lundberg等人指出CFC的潜在偏差取决于与树根的距离。到目前为止非常流行的替代方案，SHapley加法解释（SHAP）值似乎可以减轻这种偏差，但在计算上要昂贵得多。在这里，我们贡献了一个彻底的比较，这两种方法计算的一组164公开可用的分类问题的解释，以提供数据驱动的算法建议，目前的研究人员。对于随机森林，我们发现本地和全球SHAP值和CFC分数具有极高的相似性和相关性，导致非常相似的排名和解释。类似的结论适用于使用全局特征重要性分数作为与每个特征相关联的预测能力的代理的保真度。
2021-12-30 cs.LG stat.CO stat.ML
Introduction to Rare-Event Predictive Modeling for Inferential Statisticians -- A Hands-On Application in the Prediction of Breakthrough Patents
Aalborg University（奥尔堡大学）
近年来，定量方法有了长足的发展，主要是由计算机科学社区领导的，其目标是开发更好的机器学习应用，主要集中在预测建模上。然而，经济，管理和技术预测研究迄今为止一直犹豫不决，应用预测建模技术和工作流程。在本文中，我们介绍了一个机器学习（ML）的定量分析方法，旨在优化预测性能，对比它与标准实践推理统计，重点是产生良好的参数估计。我们讨论这两个领域之间的潜在协同作用的背景下，乍一看，目标不兼容。我们讨论预测建模中的基本概念，如样本外模型验证，变量和模型选择，泛化和超参数调整程序。我们正在为定量社会科学观众提供一个动手预测建模介绍，同时旨在揭开计算机科学术语的神秘面纱。我们使用专利质量评估的说明性例子-这应该是Scientometrics社区感兴趣的一个熟悉的话题-指导读者通过各种模型类和数据预处理，建模和验证的过程。我们从更熟悉的易于解释的模型类（Logit和弹性网络）开始，继续使用不太熟悉的非参数方法（分类树，随机森林，梯度提升树），最后介绍人工神经网络架构，首先是一个简单的前馈，然后是面向罕见事件预测的深度自动编码器。
2021-03-01 cs.LG stat.ML
Dual Interpretation of Machine Learning Forecasts
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Oesterreichische Nationalbank（奥地利国家银行）
本文提出机器学习预测的双重解释方法，将预测表示为历史样本的加权组合，适用于宏观经济预测，并提供集中度等诊断指标，揭示模型利用历史重复的模式。
2024-12-17 cs.LG econ.EM stat.ML
Evaluating Hospital Case Cost Prediction Models Using Azure Machine Learning Studio
Microsoft Azure Machine Learning Studio（微软Azure机器学习工作室）
本文提出了一种利用Azure机器学习工作室快速评估多种回归模型的工具，评估了鲁棒回归、提升决策树回归和决策森林回归在医院病例成本预测中的优势。
2018-05-14 cs.LG econ.GN q-fin.EC
Interpretable Machine Learning for COVID-19: An Empirical Study on Severity Prediction Task
HY Medical Technology（汇医慧影）；Coventry University（考文垂大学）；University of Exeter（埃克塞特大学）；Hospital of PLA（解放军910医院）；Fifth Affiliated Hospital of Sun Yat-sen University（中山大学附属第五医院）；Guangdong Provincial Key Laboratory of Biomedical Imaging（广东省生物医学影像重点实验室）；University of Florida（佛罗里达大学）
机器学习模型的黑盒性质阻碍了一些高精度模型在医学诊断中的部署。把自己的生命交给医学研究人员并不完全理解的模型是有风险的。然而，通过模型解释，黑箱模型可以及时揭示由于COVID-19大流行中感染患者激增而可能被医学从业者忽视的重要生物标志物。这项研究利用了2020年1月18日至2020年3月5日期间在中国珠海进行的92例确诊SARS-CoV-2实验室检测患者的数据库，以确定指示严重程度预测的生物标志物。通过使用置换特征重要性、部分依赖图（PDP）、个体条件期望（ICE）、累积局部效应（ALE）、局部可解释模型不可知解释（LIME）和Shapley加法解释（SHAP）来解释四种机器学习模型、决策树、随机森林、梯度提升树和神经网络，我们发现N末端脑钠肽前体（NTproBNP）、C-反应蛋白（CRP）和乳酸脱氢酶（LDH），淋巴细胞（LYM）减少与严重感染和死亡风险增加相关，这与最近对COVID-19的医学研究和其他使用专用模型的研究一致。我们进一步验证了我们的方法在一个大型开放数据集上的5644例确诊患者，这些患者来自巴西圣保罗的Israelita Albert Einstein医院，来自Kaggle，并揭示了白细胞，嗜酸性粒细胞和血小板作为COVID-19的三个指示性生物标志物。
2021-10-20 cs.LG stat.ML
Early hospital mortality prediction using vital signals
Wright State University（莱特州立大学）；Kno.e.sis Research Center（Kno.e.sis研究中心）
早期医院死亡率预测是至关重要的，因为重症监护医生努力对重症监护病房的重症患者做出有效的医疗决策。因此，已经开发了各种方法来基于临床记录解决这个问题。然而，一些实验室测试结果是耗时的，需要处理。在本文中，我们提出了一种新的方法来预测死亡率使用的特征提取的心脏信号的患者在ICU入院的第一个小时内。为了预测风险，已经基于ICU患者的心率信号计算了定量特征。每个信号都是根据12个统计和基于信号的特征来描述的。提取的特征被送入八个分类器：决策树，线性判别，逻辑回归，支持向量机（SVM），随机森林，提升树，高斯SVM，和K-最近邻（K-NN）。为了深入了解所提出的方法的性能，已经使用名为重症监护医学信息集市III（MIMIC-III）的著名临床数据集进行了几个实验。实验结果表明，所提出的方法在精度，召回率，F1分数，和受试者工作特征曲线（AUC）下的面积的能力。决策树分类器比其他分类器更好地满足准确性和可解释性，分别产生等于0.91和0.93的F1分数和AUC。这表明心率信号可用于预测ICU中患者的死亡率，实现与依赖于来自需要处理并且可能包含缺失信息的临床记录的高维特征的现有预测相当的性能。
2019-02-09 cs.LG stat.ML
Winning Models for GPA, Grit, and Layoff in the Fragile Families Challenge
在本文中，我们讨论和分析了我们的脆弱家庭挑战的方法。这项挑战涉及预测来自美国各地贫困家庭的4，242名儿童的六种结果。这些数据包括超过12，000个关于儿童及其父母，学校和从出生到9岁的整体环境的特征（协变量）。我们的方法主要依赖于现有的数据科学技术，包括：（1）数据预处理：消除低方差特征，缺失数据的填补和复合特征的构建;（2）通过单变量互信息和非零LASSO系数的提取进行特征选择;（3）三种机器学习模型：随机森林，弹性网和服从提升树;最后（4）根据性能进行预测聚合。表现最好的提交产生了三个结果的样本外预测：GPA，砂砾和裁员。然而，预测结果最多比预测每个结果的训练数据平均值的基线好20%。
2018-11-14 stat.AP
Improved prediction of soil properties with Multi-target Stacked Generalisation on EDXRF spectra
State University of Londrina (UEL)（隆德里纳州立大学）；University of São Paulo (USP)（圣保罗大学）
机器学习（ML）算法已被用于评估土壤质量参数以及非破坏性的方法。在光谱分析方法中，能量色散X射线荧光（EDXRF）与传统方法相比是更快速，环保和更便宜的方法之一。然而，EDXRF光谱数据分析中的一些挑战仍然需要能够提供准确结果的更有效的方法。使用多目标回归（MTR）方法，可以预测多个参数，并且还可以利用相互关联的参数来提高整体预测性能。在这项研究中，我们提出了多目标堆叠概括（MTSG），这是一种新的MTR方法，它依赖于从堆叠结构中排列的不同回归变量中学习，以获得提升的结果。比较了MTSG和5种MTR方法对10个土壤肥力参数的预测效果。随机森林和支持向量机（具有线性和径向核）被用作嵌入到每个MTR方法中的学习算法。结果表明，MTR方法优于单目标回归（传统的ML方法），减少了5个参数的预测误差。尤其是MTSG对磷、总有机碳和阳离子交换量的误差最小。径向核支持向量机的相对性能，碱饱和度的预测提高了19%。最后，所提出的方法能够将分析所有目标的平均误差从0.67（单目标）降低到0.64，代表了4.48%的全局改进。
2020-02-11 cs.CV cs.LG stat.AP
Early Detection of Parkinson's Disease through Patient Questionnaire and Predictive Modelling
帕金森病（PD）的早期发现是很重要的，这可以使早期开始治疗干预和管理策略。然而，用于早期检测的方法仍然是PD中未满足的临床需求。在这项研究中，我们使用广泛使用的运动障碍协会-统一帕金森病评定量表（MDS-MDS RS）的患者问卷（PQ）部分来开发预测模型，该模型可以使用生物医学中越来越流行的机器学习技术将早期PD与健康正常进行分类：逻辑斯谛回归，随机森林，提升树和支持向量机（SVM）。为了评估机器学习技术，我们进行了主题验证和记录验证。我们观察到，这些技术在分类早期PD和健康正常时具有高准确性和高ROC曲线下面积（均>95%）。逻辑模型显示了与数据的统计学显著拟合，表明其作为预测模型的有用性。据推断，这些预测模型有可能通过机器学习加入问卷的项目来帮助临床医生进行诊断。
2018-10-03 stat.AP
Fitting Prediction Rule Ensembles to Psychological Research Data: An Introduction and Tutorial
本文介绍预测规则集成（PRE）方法，并通过心理学真实数据示例演示R包pre的建模流程及多项实用功能。
2023-09-29 stat.AP
Customer churn prediction in telecom using machine learning and social network analysis in big data platform
客户流失是一个主要问题，也是大公司最关心的问题之一。由于对公司收入的直接影响，特别是在电信领域，公司正在寻求开发预测潜在客户流失的方法。因此，找到增加客户流失的因素，采取必要的行动，以减少这种流失是很重要的。我们的工作的主要贡献是开发一个流失预测模型，帮助电信运营商预测谁是最有可能受到流失的客户。该模型在大数据平台上运用机器学习技术，为特征的设计和选择提供了一种新的方法。为了衡量模型的性能，采用曲线下面积（AUC）标准度量，得到的AUC值为93.3%。另一个主要贡献是通过提取社会网络分析（SNA）特征，在预测模型中使用客户社会网络。SNA的使用使模型的性能相对于AUC标准从84%提高到93.3%。该模型是通过Spark环境准备和测试的，通过转换SyriaTel电信公司提供的大原始数据创建了一个大型数据集。该数据集包含9个月内的所有客户信息，并用于在SyriaTel对系统进行训练、测试和评估。该模型实验了四种算法：决策树、随机森林、梯度提升机器树“GBM”和极端梯度提升“XGBOOST”。然而，最好的结果是通过应用XGBOOST算法。将该算法用于流失预测模型的分类。
2019-04-01 cs.CY cs.DC cs.LG
Corporate Financial Distress Prediction: Based on Multi-source Data and Feature Selection
本研究基于多源数据构建财务困境预测指标体系，提出MRMR-SVM-RFE特征选择方法，实证表明其能提升预测精度，且BP模型优于其他分类器。
2024-04-19 stat.AP
Double/Debiased Machine Learning for Treatment and Causal Parameters
针对传统机器学习方法估计因果参数时存在的正则化偏差问题，提出结合主辅预测模型构建正交得分的双重/去偏ML方法，搭配交叉拟合避免过拟合，可得到收敛快、近似无偏正态的因果参数估计及有效置信区间。
2024-11-03 econ.EM stat.ML
On pseudo-absence generation and machine learning for locust breeding ground prediction in Africa
InstaDeep；Google Research（谷歌研究院）
沙漠蝗虫的爆发威胁着非洲大部分地区的粮食安全，多年来影响了数百万人的生计。机器学习已被证明是蝗虫分布建模的有效方法，可协助预警。ML需要大量带标签的数据来进行训练。大多数可公开获得的蝗虫标记数据都是仅存在数据，即只记录在某一地点看到蝗虫的情况。因此，使用ML的先前工作已经采用伪缺失生成方法作为规避此问题的方法。最常用的方法是在感兴趣的区域中随机采样点，同时确保这些采样的伪缺失点距离真实存在点至少特定距离。在本文中，我们比较这种随机抽样方法更先进的伪缺席生成方法，如环境分析和最佳背景范围限制，特别是在非洲的沙漠蝗虫繁殖地预测。有趣的是，我们发现，对于我们测试的算法，即逻辑回归，梯度提升，随机森林和最大熵，所有在以前的工作中流行的，逻辑模型的表现显着优于更复杂的集成方法，无论是在预测精度和F1得分。虽然背景范围限制与随机采样相结合，提高了集成方法的性能，但对于LR，情况并非如此，相反，当使用环境分析时，获得了显着的改善。有鉴于此，我们得出结论，一个更简单的ML方法，如逻辑回归结合更先进的伪缺失生成，特别是环境分析，可以是一个明智和有效的方法来预测整个非洲的蝗虫繁殖地。
2022-05-20 cs.LG stat.AP
Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach
树集合，如随机森林和提升树，以其高预测性能而闻名。然而，由于其巨大的复杂性，其可解释性受到严重限制。在这项研究中，我们提出了一种方法，使一个复杂的树集成可解释的简化模型。具体来说，我们形式化的简化树集成作为一个模型选择问题。给定一个复杂的树系综，我们的目标是获得最简单的表示，基本上相当于原来的。为此，我们推导出一个贝叶斯模型选择算法，优化简化模型，同时保持预测性能。我们在几个数据集上的数值实验表明，复杂的树系综是合理的近似解释。
2017-02-28 stat.ML
Knowing what you know: valid and validated confidence sets in multiclass and multilabel prediction
Stanford University（斯坦福大学）
我们开发了共形预测方法，用于在多类和多标签问题中构建有效的预测置信集，而无需假设数据生成分布。这里的一个挑战是，典型的共形预测方法-提供边际有效性（覆盖率）保证-提供不均匀的覆盖率，因为它们以基本上忽略困难的例子为代价来解决简单的例子。通过利用分位数回归的思想，我们建立的方法，总是保证正确的覆盖率，但另外提供（渐近最优）的条件覆盖多类和多标签预测问题。为了解决多标签预测中指数级大置信度集的潜在挑战，我们构建了树结构分类器，有效地解释了标签之间的相互作用。我们的方法可以被固定在任何分类模型之上-神经网络，随机森林，提升树-以保证其有效性。我们还提供了一个实证评估，同时提供新的验证方法，这表明我们的信心集更强大的覆盖范围。
2020-07-10 cs.LG stat.ME stat.ML
