A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所)
在实际应用中,树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则,软树使用梯度方法来训练,其中整个分裂操作以可微形式制定。虽然近年来,这种软树的集合越来越多地被使用,但很少有理论工作来理解它们的行为。通过对无限软树系综的研究,引入并研究了树神经切线核(TNTK),为研究无限软树系综的行为提供了新的思路.使用TNTK,我们从理论上确定了几个非平凡的属性,如全局收敛的训练,不经意的树结构的等价性,和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
Tree Ensembles for Contextual Bandits
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Volvo Car Corporation(沃尔沃汽车公司)
本文提出基于树集成的上下文老虎机框架,通过改进不确定性估计方法,在减少遗憾和提升计算效率方面优于传统方法。
2024-11-01 cs.AI cs.LG stat.ML
ForestPrune: Compact Depth-Controlled Tree Ensembles
MIT(麻省理工学院);MIT Sloan School of Management(麻省理工学院斯隆管理学院)
ForestPrune通过优化剪除树集成中单棵树的深度层来压缩模型,其专用算法可在中等规模数据上几秒内得到高质量解,生成的简约模型性能优于现有后处理方法。
2023-05-24 cs.LG stat.ML
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.(艾伯维公司);Merck & Co., Inc.(默沙东公司)
基于树的集成,例如Breiman的随机森林(RF)和梯度提升树(GBT)可以被解释为隐式内核生成器,其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看,已被用来开发一个原则性的框架,其统计特性的理论研究。最近,它已被证明,内核的解释是密切相关的其他基于树的合奏,如GBT。然而,内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成(包括RF和GBT)之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究,包括连续和二进制目标的性能和属性。我们表明,对于连续的目标,RF/GBT内核在高维场景中,特别是在具有大量噪声特征的情况下,与它们各自的合奏具有竞争力。对于二进制目标,RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果,以展示如何在实践中利用这些见解。总体而言,我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后,我们讨论了基于树集成的生存目标,可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
TREX: Tree-Ensemble Representer-Point Explanations
University of Oregon(俄勒冈大学)
我们如何识别对树集成预测贡献最大的训练样本?在本文中,我们介绍TREX,解释系统,提供实例属性的解释树集成,如随机森林和梯度提升树。TREX建立在先前为解释深度神经网络而开发的代表点框架之上。由于树系综是不可微的,我们定义了一个内核,捕捉特定的树系综的结构。通过在核逻辑回归或支持向量机中使用该核,TREX构建了一个近似原始树集成的代理模型。代理模型的核扩展中的权重用于定义每个训练样本的全局或局部重要性。实验结果表明,TREX的代理模型能准确地逼近树系集,其全局重要性权重在数据集调试中比现有的方法更有效,在移除和重新训练评估框架下,其解释能更好地识别最具影响力的样本,其运行速度比其他方法快几个数量级,并且具有更好的性能。并且其局部解释可以识别和解释由于域不匹配引起的错误。
2021-12-16 cs.LG stat.ML
A Framework for an Assessment of the Kernel-target Alignment in Tree Ensemble Kernel Learning
AbbVie Inc.(艾伯维公司);Merck & Co., Inc.(默沙东公司)
从树集成(如随机森林(RF)或梯度提升树(GBT))产生的内核,当用于内核学习时,已被证明与其各自的树集成(特别是在高维场景中)具有竞争力。另一方面,它也已被证明,核算法的性能取决于核目标对准的程度。然而,基于树集成的核学习的核目标对齐尚未被研究,填补这一空白是我们工作的主要目标。使用核矩阵的特征分析,我们证明了对于连续目标,基于树的核学习的良好性能与强的核目标对齐相关。此外,我们表明,表现良好的树集成基于内核的特点是通过核矩阵和目标的特征向量之间的标量积表示的强目标对齐组件。这表明,当基于树集成的核学习成功时,监督问题的相关信息集中在目标对齐组件所跨越的低维流形附近。基于树集成的核中的强目标对准分量的持久性进一步通过经由地标学习的敏感性分析来支持。除了一个全面的模拟研究,我们还提供了实验结果,从几个现实生活中的数据集,符合模拟。
2021-08-19 cs.LG stat.ML
Making Tree Ensembles Interpretable
树集合,如随机森林和提升树,以其高预测性能而闻名,但其可解释性非常有限。在本文中,我们提出了一个后处理方法,提高了模型的可解释性的树集成。在以标准的方式学习了一个复杂的树集合之后,我们用一个更简单的模型来近似它,这个模型对人类来说是可解释的。为了得到更简单的模型,我们从复杂的系综中推导出最小化库尔贝克-莱布勒散度的期望最大化算法。一个合成实验表明,一个复杂的树集成是合理的近似解释。
2016-06-17 stat.ML
Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach
树集合,如随机森林和提升树,以其高预测性能而闻名。然而,由于其巨大的复杂性,其可解释性受到严重限制。在这项研究中,我们提出了一种方法,使一个复杂的树集成可解释的简化模型。具体来说,我们形式化的简化树集成作为一个模型选择问题。给定一个复杂的树系综,我们的目标是获得最简单的表示,基本上相当于原来的。为此,我们推导出一个贝叶斯模型选择算法,优化简化模型,同时保持预测性能。我们在几个数据集上的数值实验表明,复杂的树系综是合理的近似解释。
2017-02-28 stat.ML
Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
软树是决策树的一种正在研究的变体,它使用梯度方法更新分裂规则。虽然软树可以采用各种架构,但它们的影响在理论上并不为人所知。在本文中,我们制定和分析的神经切线核(NTK)诱导的软树集成任意树结构。这个内核导致了一个显着的发现,即只有在每个深度的叶子的数量是相关的树结构集成学习与无限数量的树。换句话说,如果每个深度的叶子数量是固定的,那么函数空间中的训练行为和泛化性能在不同的树架构中完全相同,即使它们不是同构的。我们还表明,NTK的非对称树,如决策列表不退化时,他们得到无限深。这与完美二叉树形成对比,完美二叉树的NTK已知会退化,并导致更深树的泛化性能更差。
2023-02-07 cs.LG stat.ML
Born-Again Tree Ensembles
Pontifical Catholic University of Rio de Janeiro (PUC-Rio)(里约热内卢天主教大学);Technical University of Munich(慕尼黑工业大学)
机器学习算法在金融、医学和刑事司法中的应用可以深刻影响人类生活。因此,对可解释的机器学习的研究迅速发展,试图更好地控制和修复错误和偏见的可能来源。树集成在各个领域提供了良好的预测质量,但同时使用多棵树降低了集成的可解释性。在此背景下,我们研究了一次又一次的树集合,即,构造最小尺寸的单个决策树的过程,该决策树在其整个特征空间中再现与给定树集合完全相同的行为。为了找到这样一棵树,我们开发了一个基于动态编程的算法,利用复杂的修剪和边界规则,以减少递归调用的数量。该算法为许多实际感兴趣的数据集生成最佳的重复树,从而产生通常更简单,更可解释的分类器,而无需任何其他形式的妥协。
2020-08-27 cs.LG stat.ML
Optimally Pruning Decision Tree Ensembles With Feature Cost
Boston University(波士顿大学)
我们考虑的问题学习决策规则的预测与功能预算约束。特别是,我们感兴趣的是修剪决策树的集合,以降低预期的特征成本,同时保持任何测试示例的高预测精度。我们提出了一种新的0-1整数规划制定整体修剪。我们的修剪公式是通用的-它需要任何集成的决策树作为输入。通过明确考虑跨树的特征共享以及准确性/成本权衡,我们的方法能够通过修剪子树来显着降低特征成本,这些子树在特征成本方面引入的损失比在预测准确性增益方面带来的好处更多。理论上,我们证明了线性规划松弛产生原整数规划的精确解。这使我们能够使用有效的凸优化工具来获得任何给定预算的最佳修剪合奏。从经验上讲,我们看到,我们的修剪算法显着提高了最先进的集成方法BudgetRF的性能。
2016-01-05 cs.LG stat.ML
On $\ell_p$-norm Robustness of Ensemble Stumps and Trees
Tsinghua University(清华大学);UCLA(加利福尼亚大学洛杉矶分校);MIT(麻省理工学院)
近年来的研究表明,树和树的集成模型容易受到小的输入扰动的影响,因此对这些模型的鲁棒性验证和防御成为一个重要的研究问题。然而,由于决策树的结构,其中每个节点纯粹基于一个特征值进行决策,所有以前的工作只考虑$\ell_\infty$范数扰动。为了研究相对于一般$\ell_p$范数扰动的鲁棒性,必须考虑不同特征上的扰动之间的相关性,这是以前的算法没有处理的。在本文中,我们研究的问题,鲁棒性验证和认证防御方面的一般$\ell_p$范数扰动的集成决策树和树。对于集成树桩的鲁棒性验证,我们证明了完整的验证是NP-完全的$p\in(0, \infty)$,而多项式时间的算法存在的$p=0$或$\infty$。对于$p\in(0, \infty)$,我们开发了一个有效的动态规划为基础的算法的声音验证合奏树桩。对于集成树,我们将以前的多级鲁棒性验证算法推广到$\ell_p$范数。我们证明了第一个认证的防御方法,训练集成树桩和树的$\ell_p$规范扰动,并验证其有效性经验上的真实数据集。
2020-09-29 cs.LG stat.ML
Multi-Objective Constrained Optimization for Energy Applications via Tree Ensembles
Imperial College London(帝国理工学院);BASF SE(巴斯夫公司);Cooperative State University Mannheim(曼海姆合作州立大学);University College London(伦敦大学学院)
由于强非线性系统行为和多个竞争目标,例如经济收益与环境影响,能源系统优化问题是复杂的。此外,大量的输入变量和不同的变量类型,例如连续和分类,是现实世界应用中常见的挑战。在某些情况下,建议的最佳解决方案需要遵守与物理特性或安全关键操作条件相关的明确输入约束。本文提出了一种新的数据驱动策略,使用树集成的约束多目标优化的黑盒问题的异构变量空间,底层系统动力学是太复杂的模型或未知的。在一个广泛的案例研究,包括合成基准和相关的能源应用,我们证明了竞争力的性能和抽样效率的算法相比,其他国家的最先进的工具,使其成为一个有用的所有功能于一身的解决方案,为现实世界中的应用有限的评估预算。
2021-11-04 cs.AI cs.LG math.OC
Tree Ensemble Explainability through the Hoeffding Functional Decomposition and TreeHFD Algorithm
Thales cortAIx-Labs - SINCLAIR AI Lab(泰雷兹 cortAIx 实验室 - SINCLAIR 人工智能实验室)
针对树集成模型的黑箱特性及相关变量下霍夫丁分解估计难的问题,提出TreeHFD算法估计树集成的霍夫丁分解,证明其收敛性与关键特性,实验验证其高性能并揭示TreeSHAP与霍夫丁分解的强关联。
2025-10-28 cs.LG stat.ML
Minimax Rates and Spectral Distillation for Tree Ensembles
King’s College London(伦敦国王学院)
本文从频谱视角研究树集成算法,推导了随机森林回归的最小最大收敛率,并开发了树集成的压缩方案,通过频谱表示实现更高效的模型蒸馏。
2026-11-11 cs.AI cs.LG stat.ML
Optimization of Tree Ensembles
Anderson School of Management, University of California, Los Angeles(加州大学洛杉矶分校安德森管理学院)
树集成模型(如随机森林和提升树)是应用机器学习和业务分析中使用最广泛且实际上最成功的预测模型之一。虽然这种模型已被用来作出预测的基础上外生的,不可控的自变量,他们越来越多地被用来作出预测的自变量是可控的,也是决策变量。本文研究了树系综优化问题:给定一个树系综,用可控的自变量预测一些因变量,我们应该如何设置这些变量,以使预测值最大化?我们将问题表述为一个混合整数最优化问题。我们从理论上研究我们的配方的强度,提供了一个层次的近似配方的近似质量的界限,并利用问题的结构开发两个大规模的解决方案的方法,一个基于Benders分解和一个基于迭代生成树分裂约束。我们在真实数据集上测试了我们的方法,包括药物设计和定制定价的两个案例研究,并表明我们的方法可以有效地解决大规模的实例接近或完全最优,并优于启发式方法获得的解决方案。在我们的药物设计案例中,我们展示了我们的方法如何能够识别出有效权衡现有已知化合物的预测性能和新颖性的化合物。在我们的定制定价案例中,我们展示了我们的方法如何在随机森林模型下有效地确定最佳商店级价格,该模型具有出色的预测准确性。
2019-10-09 cs.LG math.OC stat.ML
Formal Verification of Input-Output Mappings of Tree Ensembles
Saab AB(萨博集团);Linköping University(林雪平大学)
机器学习和人工智能的最新进展现在正在考虑安全关键的自主系统,其中软件缺陷可能会对人类和环境造成严重伤害。这些领域的设计组织目前无法提供令人信服的论据,证明当使用机器学习算法来实现其软件时,他们的系统可以安全运行。本文提出了一种从决策树和树集成中提取等价类的有效方法,并形式化地验证它们的输入输出映射是否符合要求。这个想法是,鉴于安全需求可以追溯到系统输入输出模式的理想属性,我们可以在安全参数中使用积极的验证结果。本文介绍了该方法的实施工具投票(树集成验证器),并评估其可扩展性的两个案例研究,在当前文献中。我们证明了我们的方法是实用的树集成训练低维数据高达25决策树和树深度高达20。我们的工作还研究了高维数据的方法的局限性,并初步探讨了大量的树和验证所需的时间之间的权衡。
2020-03-23 cs.LG stat.ML
Evolutionary algorithms for constructing an ensemble of decision trees
Yandex;National Research University Higher School of Economics(俄罗斯国立高等经济研究大学)
大多数决策树归纳算法是基于一个贪婪的自顶向下递归划分策略的树生长。本文提出了几种基于进化算法的决策树及其集成的归纳方法。我们的方法的主要区别是使用实值向量表示的决策树,允许使用大量不同的优化算法,以及优化整个树或集成,以避免局部最优。选择差分进化和演化策略作为优化算法,因为它们在强化学习问题中具有良好的效果。我们使用几个公开的UCI数据集测试了这些方法的预测性能,所提出的方法表现出比经典方法更好的质量。
2020-02-03 cs.LG cs.NE stat.ML
Generating Compact Tree Ensembles via Annealing
CoreML Group Apple Inc.(苹果公司CoreML团队);Department of Mathematics Florida State University(佛罗里达州立大学数学系);Department of Statistics Florida State University(佛罗里达州立大学统计系)
树集成是灵活的预测模型,可以捕获相关变量,并在某种程度上以紧凑和可解释的方式进行交互。大多数用于获得树集成的算法都基于boosting或Random Forest的版本。以前的工作表明,由于优化损失的方式,boosting算法表现出一次又一次选择同一棵树的循环行为。同时,随机森林不是基于损失优化,得到的模型更复杂,可解释性更差。在本文中,我们提出了一种新的方法来获得紧凑的树集成并行生长的树与许多独立的提升线程,然后选择一个小的子集,并更新其叶权重的损失优化。我们允许初始池中的树具有不同的深度,这进一步有助于泛化。在真实数据集上的实验表明,所获得的模型通常具有比boosting更小的损失,这也反映在测试集上更低的误分类错误上。
2020-02-20 cs.LG stat.ML
Optimal survival trees ensemble
最近的研究采用了一种方法,选择准确和不同的树的基础上,个人或集体的表现在一个合奏的分类和回归问题。这项工作是在这些调查之后进行的,并考虑了种植最佳生存树木森林的可能性。首先,使用随机生存森林的方法生长大量的生存树。然后,使用每个相应存活树的袋外观察,将生长的树从其预测误差的最小值到最高值进行排名。然后评估排名最高的生存树作为一个整体的集体表现。这个集合是从生存树开始的,生存树在等级上排在第一位,然后通过将它们按等级顺序添加到集合中来逐个测试进一步的树。如果在使用独立训练数据进行评估后性能得到改善,则为所得到的集成选择生存树。这种集成被称为最优树集成(OSTE)。该方法使用17个基准数据集进行评估,并与随机生存森林,条件推理森林,装袋和非树为基础的方法,Cox比例风险模型的结果进行比较。除了提高预测性能,所提出的方法相比,其他基于树的方法,减少了生存树的集合中的数量。该方法在一个名为“OSTE”的R包中实现。
2020-05-18 stat.AP stat.ML
Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers
University of Cambridge(剑桥大学)
本文提出将随机森林视为自适应正则化平滑器,揭示其通过平滑效应、减少学习函数变异性及丰富假设空间三种机制提升性能,挑战仅归因于方差降低的传统观点。
2024-02-02 cs.LG stat.ML
Inherently Interpretable Tree Ensemble Learning
Wells Fargo(富国银行);H2O.ai(H2O.ai公司);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文针对树集成模型可解释性不足的问题,利用浅层决策树将其转化为 functional ANOVA 表示,并通过训练约束和事后剪枝提升可解释性,实现解释性与预测性能的更优权衡。
2024-10-24 cs.LG stat.ML
Factor-augmented tree ensembles
Imperial College London(帝国理工学院)
本研究提出用状态空间法提取的潜平稳因子扩展时间序列回归树的信息集,从两维度推广该类回归树,其集成模型可有效解决宏观金融问题,并以美股波动率和商业周期的领先滞后效应为例验证。
2023-06-12 cs.LG econ.EM stat.ML
BET: Bayesian Ensemble Trees for Clustering and Prediction in Heterogeneous Data
我们提出了一种新的“树平均”模型,利用分类和回归树(CART)的合奏。每个组成树估计与相似的数据的子集。我们把这个分组的子集贝叶斯集成树(BET)和模型作为一个无限的混合Dirichlet过程。我们表明,BET适应数据的异质性,并准确地估计每个组件。与Bootstrap-聚集方法相比,BET以较少的树显示出更好的预测性能。我们开发了一个有效的估计过程与改进的抽样策略在CART和混合模型。我们通过模拟、乳腺癌分类和囊性纤维化患者肺功能测量的回归来证明BET的这些优点。关键词:贝叶斯CART;狄利克雷过程;包围方法;异质性;混合树。
2014-08-18 stat.CO stat.ML
Feature Partitioning for Robust Tree Ensembles and their Certification in Adversarial Scenarios
Ca’ Foscari University of Venice(威尼斯卡福斯卡里大学)
机器学习算法,无论多么有效,都被认为在恶意用户可能注入操纵实例的对抗场景中是脆弱的。在这项工作中,我们专注于逃避攻击,其中模型在安全的环境中训练,并在测试时暴露于攻击。攻击者的目标是找到一个最小的扰动的测试实例,改变模型的结果。我们提出了一个模型不可知的策略,建立一个强大的合奏,通过训练其基本模型的给定数据集的基于特征的分区。我们的算法保证了集合中的大多数模型不会受到攻击者的影响。我们在决策树集成上实验了所提出的策略,并且我们还提出了一种近似的树集成认证方法,该方法有效地评估了给定数据集上森林的最小准确度,避免了规避攻击的昂贵计算。在公开数据集上的实验结果表明,该策略在抵御规避攻击方面优于现有的对抗性学习算法.
2020-04-07 cs.LG stat.ML
Data-Aware and Scalable Sensitivity Analysis for Decision Tree Ensembles
Department of Computer Science and Engineering, Indian Institute of Technology Bombay(计算机科学与工程系,印度理工学院班加罗尔)
本文提出了一种数据感知的敏感性分析框架,用于评估决策树集成的鲁棒性和公平性,通过混合整数线性规划和SMT编码提高效率,并在大规模集成上实现了显著改进。
2026-08-06 cs.LG stat.ML
The Tree Ensemble Layer: Differentiability meets Conditional Computation
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院);Google Brain(谷歌大脑)
神经网络和树集成是最先进的学习器,每一个都有其独特的统计和计算优势。我们的目标是通过为神经网络引入一个新的层来结合这些优势,该层由可微决策树(a.k.a.软树)。虽然可微树在文献中展示了有希望的结果,但它们通常在训练和推理中很慢,因为它们不支持条件计算。我们通过引入一个新的样本路由稀疏激活函数来缓解这个问题,并通过开发利用稀疏性的专门的前向和后向传播算法来实现真正的条件计算。我们的高效算法为使用一阶方法(例如,SGD)。在23个分类数据集上的实验表明,与文献中使用的可微树相比,速度提高了10倍以上,与梯度提升树相比,参数数量减少了20倍以上,同时保持了竞争力。此外,在CIFAR、MNIST和Fashion MNIST上的实验表明,用我们的树层替换CNN中的密集层,测试损失减少了7-53%,参数数量减少了8倍。我们提供了一个带有Keras API的开源TensorFlow实现。
2020-07-11 cs.CV cs.LG stat.ML
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT(麻省理工学院);Cornell(康奈尔大学);Stanford(斯坦福大学)
ControlBurn是一个Python包,用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合,优先考虑具有少量特征的基函数,然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此,ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性:例如,它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径(任何数量的选定特征的预测误差)。对于较大的数据集,运行时在样本和特征的数量上线性缩放(最多为对数因子),并且包支持使用草图加速。此外,ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的:它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
Evasion and Hardening of Tree Ensemble Classifiers
University of California, Berkeley(加州大学伯克利分校)
分类器规避包括为给定实例$x$找到最近的实例$x'$,使得$x$和$x'$的分类器预测不同。我们提出了两种新的算法,系统地计算规避树集成,如提升树和随机森林。我们的第一个算法使用混合线性规划求解器,并在一组表达约束下找到最佳规避实例。我们的第二个算法权衡使用符号预测,一种新的算法快速有限差分树合奏的速度最优。在数字识别任务中,我们证明了梯度提升树和随机森林都非常容易受到逃避。最后,我们通过使用规避实例增强每个boosting回合的训练集来强化boosted树模型,而不会损失预测准确性,这种技术我们称为对抗性boosting。
2016-05-27 cs.CR cs.LG stat.ML
Stochastic tree ensembles for regularized nonlinear regression
City University of Hong Kong(香港城市大学);Arizona State University(亚利桑那州立大学)
本文提出了一种新的随机树集成方法,用于非线性回归,我们称之为XBART,简称加速贝叶斯加性回归树。通过将贝叶斯建模的正则化和随机搜索策略与递归分区方法的计算效率技术相结合,新方法获得了最先进的性能:在许多设置中,它比广泛使用的XGBoost算法更快,更准确。通过仔细的模拟研究,我们证明了我们的新方法提供了平均函数的精确逐点估计,并且比流行的替代方案(如BART,XGBoost和神经网络(使用Keras))更快。我们还证明了一些基本的理论结果,包括单树版本的模型的一致性和平稳性的马尔可夫链产生的集成版本。此外,我们表明,初始化标准贝叶斯加性回归树马尔可夫链蒙特卡罗(MCMC)在XBART拟合树大大提高了可信区间覆盖率,减少总运行时间。
2021-06-03 cs.LG stat.ME stat.ML
TreeGrad: Transferring Tree Ensembles to Neural Networks
Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院)
梯度提升决策树(GBDT)是流行的机器学习算法,其实现方式如LightGBM和流行的机器学习工具包如Scikit-Learn。许多实现只能以离线方式和贪婪方式生成树。我们探索如何将现有的GBDT实现转换为已知的神经网络架构,以最小的性能损失,以允许决策分裂以在线方式更新,并提供扩展,以允许分裂点被改变为神经架构搜索问题。我们为我们的神经网络提供学习边界。
2019-12-09 cs.LG stat.ML
An RKHS Perspective on Tree Ensembles
McGill University, Department of Mathematics and Statistics(麦吉尔大学数学与统计学系);Université Marie et Louis Pasteur, CNRS, LmB (UMR 6623)(玛丽·路易斯·帕斯特大学、法国国家科学研究中心、LmB(UMR 6623))
本文从RKHS视角分析树集成方法,揭示其理论性质和连续时间梯度提升的流形结构,提出增强可解释性的核主成分分析和GVI准则。
2025-11-29 cs.LG stat.ML
Optimal probabilistic feature shifts for reclassification in tree ensembles
Institute of Mathematics (IMAG), Universidad de Granada(格拉纳达大学数学研究所);Institute of Mathematics (IMUS), Universidad de Sevilla(塞维利亚大学数学研究所);Heinz College of Information Systems and Public Policy, Carnegie Mellon University(卡内基梅隆大学信息系统与公共政策学院)
针对树集成分类的样本重分类问题,提出基于概率特征偏移的数学优化方法,可找到最大化目标类别概率的改动特征并排序,经真实数据集验证有效。
2024-12-04 cs.LG math.OC stat.ML
Explaining Predictions from Tree-based Boosting Ensembles
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(皇家阿霍德德尔海兹集团)
了解“黑盒”模型如何得出预测结果已经引起了人工智能社区内外的极大兴趣。我们的工作重点是通过生成关于基于树的集合的个体预测的本地解释来实现这一点,特别是梯度提升决策树(GBDTs)。给定训练集中一个正确预测的实例,我们希望为这个实例生成一个反事实的解释,也就是说,这个实例的最小扰动使得预测翻转到相反的类。大多数现有的反事实解释方法是(1)模型不可知的,因此它们不考虑原始模型的结构,和/或(2)涉及在原始模型之上构建代理模型,这不能保证准确地表示原始模型。存在一种专门用于随机森林的方法;我们希望将此方法扩展到GBDTs。这涉及到(1)树之间的顺序依赖性和(2)在负梯度而不是原始标签上进行训练。
2019-07-04 cs.AI cs.IR cs.LG
A Robust Hypothesis Test for Tree Ensemble Pruning
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Colby College(科尔比学院)
梯度提升决策树是应用机器学习中最流行的算法之一。它们是一种灵活而强大的工具,可以以可扩展和计算效率高的方式稳健地适应任何表格数据集。在拟合这些模型时,要调整的最关键参数之一是用于区分当前模型中的信号和噪声的各种惩罚项。这些惩罚措施在实践中是有效的,但缺乏强有力的理论依据。在本文中,我们开发并提出了一种新的理论上合理的假设检验梯度提升树系综的分裂质量,并证明,使用这种方法,而不是常见的惩罚条款,导致显着减少样本丢失。此外,该方法为树生长算法提供了一个理论上合理的停止条件。我们还提出了几个创新的扩展的方法,打开大门,各种各样的新颖的树修剪算法。
2023-01-25 cs.LG stat.ML
An Eager Splitting Strategy for Online Decision Trees
Monash University(莫纳什大学);University of Waikato(怀卡托大学)
决策树集成在实践中有着广泛的应用。在这项工作中,我们研究了在集成设置的有效性,取代分裂策略的国家的最先进的在线树学习器,Hoeffding树,与一个严格的,但更积极的分裂策略,我们以前出版的Hoeffding AnyTime Tree。Hoeffding AnyTime Tree(HATT)使用Hoeffding测试来确定当前最佳候选分裂是否优于当前分裂,并有可能进行修改,而Hoeffding Tree旨在确定顶级候选是否优于第二个最佳候选,如果选择了测试,则为所有后代修复它。HATT收敛于理想批处理树,而Hoeffding树则不收敛。我们发现,HATT是一个有效的基础学习在线装袋和在线提升合奏。在UCI和合成流上,HATT作为基础学习者在0.05的显著性水平内优于HT,对于大多数测试的合奏,我们认为这是在线学习文献中最大和最全面的测试平台集。我们的研究结果表明,HATT是一个更好的替代Hoeffding树在大量的合奏设置。
2021-07-31 cs.LG stat.ML
Scalable Whitebox Attacks on Tree-based Models
Borealis AI
对抗鲁棒性是保证机器学习模型可靠性的基本安全标准之一。虽然在过去的十年中引入了各种对抗性鲁棒性测试方法,但我们注意到其中大多数与不可微模型(如树集合)不兼容。由于树集成在工业中得到了广泛的应用,这揭示了对抗鲁棒性研究与实际应用之间的一个关键差距。提出了一种新的树集成模型的白盒对抗鲁棒性测试方法。具体地说,所提出的方法通过温度控制的sigmoid函数平滑树集合,这使得基于梯度下降的对抗攻击成为可能。通过利用采样和对数导数技巧,所提出的方法可以扩展到以前无法管理的测试任务。我们在多个公共数据集(和相应的模型)上将该方法与随机扰动和黑盒方法进行了比较。我们的结果表明,该方法可以1)成功地揭示树集成模型的对抗脆弱性,而不会造成测试的计算压力,2)灵活地平衡搜索性能和时间复杂度,以满足各种测试标准。
2022-03-31 cs.LG stat.ML
InfiniteBoost: building infinite ensembles with gradient descent
National Research University Higher School of Economics(国立研究型大学高等经济学院)
在机器学习中,集成方法对于不同领域的各种问题都表现出了很高的准确性。在实践中广泛使用的两个值得注意的集成方法是梯度提升和随机森林。在本文中,我们提出了InfiniteBoost-一种新的算法,它结合了这两种方法的重要属性。该算法构造的树的集合具有两个属性:集合的树包含其他树所做的错误;同时集合可以包含无限数量的树,而不会产生过拟合效应。该算法的回归,分类和排名任务,使用大规模的,公开可用的数据集进行评估。
2018-09-21 cs.LG stat.ML
Verifiable Learning for Robust Tree Ensembles
Università Ca’ Foscari Venezia(威尼斯大学)
本文提出可验证学习方法,训练受限的大间隔决策树集成,实现多项式时间安全验证,并在公共数据集上验证了其高效性与对抗鲁棒性。
2023-11-11 cs.CR cs.LG cs.LO
Building Diversified Multiple Trees for Classification in High Dimensional Noisy Biomedical Data
University of South Australia(南澳大利亚大学)
通常将训练的分类模型应用于由于噪声而偏离训练数据的操作数据。本文证明了集成分类器,多样化的多树(DMT),是更强大的分类噪声数据比其他广泛使用的集成方法。DMT测试三个真实世界的生物医学数据集,从不同的实验室相比,四个基准集成分类。实验结果表明,DMT是显着更准确地比其他基准集成分类器的噪声测试数据。我们还讨论了DMT的局限性及其可能的变化。
2017-06-26 cs.LG stat.ML
Gradient Boosted Decision Tree Neural Network
Netflix(奈飞)
在本文中,我们提出了一种方法来建立一个神经网络,类似于一个集成的决策树。我们首先说明如何将学习的决策树集合转换为具有一个隐藏层和一个输入变换的单个神经网络。然后,我们放松这个网络的一些属性,如阈值和激活函数,训练一个近似等价的决策树集成。最后一个模型Hammock非常简单:一个完全连接的两层神经网络,其中输入被量化和独热编码。在大数据集和小数据集上的实验表明,这种简单的方法可以获得类似于梯度提升决策树的性能。
2019-11-05 cs.LG stat.ML
Consistent feature attribution for tree ensembles
Paul G. Allen School of Computer Science, University of Washington(华盛顿大学保罗·G·艾伦计算机科学学院);Department of Genome Sciences, University of Washington(华盛顿大学基因组科学系)
请注意,本文的更新扩展版本现在可以在:arXiv:1802.03888在许多应用程序中,了解哪些特征对模型很重要,以及为什么要进行单独的预测是至关重要的。对于树集成方法,这些问题通常通过将重要性值归因于输入特征来回答,无论是全局还是单个预测。在这里,我们表明,目前的特征属性方法是不一致的,这意味着改变模型,更多地依赖于一个给定的功能,实际上可以降低分配给该功能的重要性。为了解决这个问题,我们开发了快速精确的解决方案SHAP(SHapley加法解释)值,这是最近被证明是唯一的附加功能属性的方法,基于条件的期望,是一致的和本地准确的。我们将这些改进集成到最新版本的XGBoost中,展示了当前方法的不一致性,并展示了如何使用SHAP值显着提高监督聚类性能。特征重要性值是理解诸如梯度提升树和随机森林等广泛使用的模型的关键部分,因此对它们的改进具有广泛的实际意义。
2018-02-17 cs.AI cs.LG stat.ML
On Uncertainty Estimation by Tree-based Surrogate Models in Sequential Model-based Optimization
POSTECH(浦项科技大学);BARO AI
基于模型的序贯优化通过构造具有评价历史的代理模型来顺序地选择候选点,以解决黑盒优化问题。高斯过程(GP)回归是一个流行的选择作为代理模型,因为它的能力,分析计算预测的不确定性。另一方面,随机化树的集合是另一种选择,并且由于其可扩展性和易于处理连续/离散混合变量而具有优于GP的实际优点。在本文中,我们重新审视各种合奏的随机树的预测不确定性估计的角度来研究他们的行为。然后,我们提出了一种新的方法来构建一个合奏的随机树,被称为BwO森林,装袋与过采样被用来构建自举样本,用于建立随机树与随机分裂。实验结果表明,在各种情况下,BwO森林的有效性和良好的性能比现有的基于树的模型。
2022-02-22 cs.LG math.OC stat.ML
Verifiable Boosted Tree Ensembles
Università Ca’ Foscari Venezia(威尼斯卡福斯卡里大学)
本文将可验证学习从基础决策树集成扩展到XGBoost、LightGBM等增强树集成,证明大间隔增强集成对L∞范数攻击可在多项式时间内验证鲁棒性,并提出针对任意Lp范数攻击的伪多项式时间验证算法,兼顾精度与安全验证效率。
2024-02-22 cs.CR cs.LG cs.LO
Non-uniform Feature Sampling for Decision Tree Ensembles
EPFL(洛桑联邦理工学院);IBM Research Lab, Zurich(IBM苏黎世研究实验室)
研究了非均匀随机特征选择在决策树分类中的有效性。我们实验评估两种特征选择方法,从提供的数据集提取的信息的基础上:$(i)$ \emph{leverage scores-based}和$(ii)$ \emph{norm-based}特征选择。对所提出的特征选择技术的实验评估表明,与朴素的均匀特征选择相比,这种方法可能更有效,而且与随机森林算法[3]具有相当的性能。
2014-03-24 cs.IT cs.LG math.IT
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire(新罕布什尔大学)
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案,以解决强化学习问题。Boosting结合了几个回归树,以提高其准确性,而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上,但在可解释的强化学习方面进展甚微。我们的实验结果表明,增强回归树计算的解决方案既可解释,又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
Generalized Bayesian Ensemble Survival Tree (GBEST) model
University of Pavia(帕维亚大学);Bocconi University(博科尼大学)
针对小样本与删失数据下的生存分析难题,提出融合 Beta Stacy 贝叶斯 bootstrap 的 bagging 生存树模型 GBEST,并以 R 包开源,实证显示其预测性能与稳定性优于经典模型。
2025-03-14 cs.LG stat.ME stat.ML
Smart Data driven Decision Trees Ensemble Methodology for Imbalanced Big Data
University of Granada(格拉纳达大学);Mälardalen University(梅拉达伦大学)
每个类的数据大小差异,也称为不平衡的数据分布,已成为影响数据质量的常见问题。大数据场景对传统的不平衡分类算法提出了新的挑战,因为它们不准备处理如此大量的数据。由于MapReduce范式的使用而导致的分裂数据策略和少数类中数据的缺乏为解决大数据场景中类之间的不平衡提出了新的挑战。集成已被证明能够成功地解决不平衡的数据问题。智能数据是指足够高质量的数据,以实现高性能模型。通过大数据预处理实现的集成和智能数据的结合应该是一个很好的协同作用。本文提出了一种新的智能数据驱动的决策树包围方法,即SD_DeTE方法,用于解决大数据领域的不平衡分类问题。这种方法是基于学习不同的决策树使用分布式质量数据的集成过程。这种高质量的数据是通过融合随机离散化,主成分分析和基于聚类的随机过采样来获得原始数据的不同智能数据版本。在21个二进制适应数据集上进行的实验表明,我们的方法优于随机森林。
2021-09-03 cs.DC cs.LG stat.ML
Extracting Interpretable Models from Tree Ensembles: Computational and Statistical Perspectives
MIT(麻省理工学院);University of Sydney(悉尼大学)
本文提出一种提取树集成中简洁决策规则的估计器,通过灵活控制规则数量和交互深度提升准确性,并建立非渐近预测误差界,实验表明其优于现有规则提取算法。
2026-03-30 cs.LG stat.ML
Consistent Individualized Feature Attribution for Tree Ensembles
University of Washington(华盛顿大学)
解释树集成方法(如梯度提升机器和随机森林)的预测是很重要的,但树的特征属性通常是启发式的,而不是针对每个预测进行个性化。在这里,我们表明,流行的特征归因方法是不一致的,这意味着他们可以降低一个功能的分配的重要性时,该功能的真正影响实际上增加。这是一个根本性的问题,它使人们对功能之间的任何比较产生怀疑。为了解决这个问题,我们转向最近的应用博弈论和开发快速精确的树解决方案的SHAP(SHapley加法解释)值,这是唯一的一致性和本地准确的属性值。然后,我们将SHAP值扩展到相互作用效应并定义SHAP相互作用值。我们提出了一个丰富的个性化特征属性的可视化,改进了经典的属性摘要和部分依赖图,以及一个独特的“监督”聚类(基于特征属性的聚类)。我们通过用户研究,运行时间的指数改进,提高聚类性能,更好地识别有影响力的功能,证明了更好的协议与人类的直觉。我们的算法的实现也被合并到XGBoost和LightGBM中,请参阅http://github.com/slundberg/shap了解详细信息。
2019-03-07 cs.LG stat.ML
GENESIM: genetic extraction of a single, interpretable model
Ghent University - imec, IDLab(根特大学 - imec, IDLab)
通过决策树归纳技术获得的模型具有很好的可解释性,但它们容易出现过拟合,从而导致预测性能低下。包围盒技术能够达到更高的精度。然而,这是以失去结果模型的可解释性为代价的。这使得集成技术在决策支持而不是决策制定至关重要的应用中不切实际。为了弥补这一差距,我们提出了GENESIM算法,通过使用遗传算法将决策树的集合转换为具有增强预测性能的单个决策树。我们比较GENESIM流行的决策树归纳和集成技术,使用12个公开的数据集。结果表明,GENESIM实现了更好的预测性能比决策树归纳技术和集成技术在同一数量级的预测性能在大多数这些数据集。此外,GENESIM产生的模型具有非常低的复杂性,使其非常可解释,与集成技术相比。
2016-11-17 cs.LG stat.ML
Ensemble Models with Trees and Rules
在这篇文章中,我们提出了几种方法来后处理大量的预测模型或规则。我们的模拟结果表明,我们在这里考虑的后处理方法是有前途的。我们已经使用了在这里开发的技术,从标记的数量性状估计,在基准“Bostob住房“数据集和一些模拟。在大多数情况下,生成的模型具有比例如由随机森林或规则拟合算法生成的模型更好的预测性能。
2012-08-23 stat.ML
Ensemble of Precision-Recall Curve (PRC) Classification Trees with Autoencoders
Department of Applied Mathematics and Statistics, Stony Brook University(应用数学与统计学系,石溪大学)
本文提出将PRC随机森林与自编码器结合的混合框架,同时应对类别不平衡和维度灾难,实验证明其在准确性、可扩展性和可解释性上优于先前方法。
2025-09-06 cs.LG stat.ML
Robustness Verification of Tree-based Models
MIT(麻省理工学院);UCLA(加州大学洛杉矶分校);Google Research(谷歌研究院)
本文研究了树型模型的鲁棒性验证问题,包括决策树、随机森林和梯度提升决策树。决策树集成的形式化鲁棒性验证需要找到最小对抗扰动或其保证下界,现有的方法通过混合整数线性规划(MILP)问题来寻找最小对抗扰动,这需要指数级时间,因此对于大型集成是不切实际的。虽然这个验证问题一般是NP完全的,我们给出了一个更精确的复杂性表征。我们发现,有一个简单的线性时间算法来验证一棵树,和树合奏,验证问题可以转换为一个最大团的问题上的多部图有界盒。对于低维问题,当盒性可以被视为常数,这种重新制定导致一个多项式时间算法。对于一般的问题,通过利用图的盒性,我们开发了一个有效的多级验证算法,可以给出严格的下限的决策树集成的鲁棒性,同时允许迭代改进和任何时间终止。在10个数据集上训练的OnRF/GBDT模型中,我们的算法比以前需要求解MILP的方法快数百倍,并且能够在具有数百个深度树的大型GBDT上给出严格的鲁棒性验证界限。
2019-12-09 cs.LG stat.ML