Compact Multi-Class Boosted Trees
Google, Inc.(谷歌公司)
梯度提升决策树是一种流行的机器学习技术,部分原因是它们能够在小模型的情况下提供良好的准确性。我们描述了两个扩展的标准树提升算法,旨在增加这一优势。第一个改进将Boosting形式主义从标量值树扩展到向量值树。这允许单独的树被用作多类分类器,而不是每个类需要一棵树,并大大减少了多类问题所需的模型大小。我们还表明,其他一些流行的向量值梯度提升树修改适合这个公式,可以很容易地在我们的实现。第二个扩展,逐层提升,在函数空间中采取较小的步骤,这是经验表明,导致更快的收敛和更紧凑的合奏。我们已经将这两项改进添加到开源TensorFlow Boosted Trees(TFBT)包中,并在各种多类数据集上展示了它们的有效性。我们预计这些扩展将特别感兴趣的提升树应用程序,需要小的模型,如嵌入式设备,需要快速推理的应用程序,或应用程序需要更多的可解释的模型。
2017-10-31 cs.LG stat.ML
Multivariate Boosted Trees and Applications to Forecasting and Control
SUPSI(瑞士南部应用科学与艺术大学)
梯度提升树是竞争获胜的、通用的、非参数回归器,其利用顺序模型拟合和梯度下降来最小化特定的损失函数。最流行的实现是针对单变量回归和分类任务而定制的,排除了捕获多变量目标互相关并将结构化惩罚应用于预测的可能性。在本文中,我们提出了一个计算效率高的算法来拟合多元提升树。我们表明,多变量树可以优于单变量对应时的预测是相关的。此外,该算法允许任意正则化预测,以便可以强制执行平滑性,一致性和函数关系等属性。我们目前的应用和数值结果相关的预测和控制。
2022-08-22 cs.LG stat.ML
SHAP for additively modeled features in a boosted trees model
la Mobilière(瑞士移动保险公司)
SHAP(SHapley Additive exPlanation)是研究黑盒机器学习(ML)模型的重要技术。SHAP值以公平的方式将预测分解为特征的贡献。我们将证明,对于具有部分或全部特征的提升树模型,这种特征的SHAP依赖图对应于垂直移动的部分依赖图。我们用XGBoost说明了结果。
2022-07-29 cs.LG stat.ML
TF Boosted Trees: A scalable TensorFlow based framework for gradient boosting
Google, Inc.(谷歌公司)
TF Boosted Trees(TFBT)是一个新的开源框架,用于梯度提升树的分布式训练。它基于TensorFlow,其显着特征包括新颖的架构,自动损失区分,逐层提升,导致更小的集合和更快的预测,原则性的多类处理,以及一些正则化技术,以防止过拟合。
2017-10-31 cs.LG stat.ML
Gradient Boosted Decision Tree Neural Network
Netflix(奈飞)
在本文中,我们提出了一种方法来建立一个神经网络,类似于一个集成的决策树。我们首先说明如何将学习的决策树集合转换为具有一个隐藏层和一个输入变换的单个神经网络。然后,我们放松这个网络的一些属性,如阈值和激活函数,训练一个近似等价的决策树集成。最后一个模型Hammock非常简单:一个完全连接的两层神经网络,其中输入被量化和独热编码。在大数据集和小数据集上的实验表明,这种简单的方法可以获得类似于梯度提升决策树的性能。
2019-11-05 cs.LG stat.ML
Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization
University of Chicago(芝加哥大学)
虽然$\ell_2$正则化被广泛用于训练梯度提升树,但用于树的流行个性化特征属性方法(例如Saabas和TreeSHAP)忽略了训练过程。我们提出了预测分解属性(PreDecomp),这是一种新的个性化特征属性,用于梯度提升树,当它们用$\ell_2$正则化训练时。理论分析表明,PreDecomp算法与样本数据上的标签之间的内积实质上是一棵树的总增益,并且在特征独立的总体情况下,它可以忠实地恢复加性模型。受PreDecomp和总增益之间的联系的启发,我们还提出了TreeInner,这是一个由任何个性化特征属性和每个树的样本外数据标签之间的内积定义的去偏全局特征属性家族。在模拟数据集和基因组ChIP数据集上的数值实验表明,TreeInner具有最先进的特征选择性能。代码再现实验可在https://github.com/nalzok/TreeInner上获得。
2022-11-08 cs.LG stat.ML
Tree-Structured Boosting: Connections Between Gradient Boosted Stumps and Full Decision Trees
University of Pennsylvania(宾夕法尼亚大学);University of California, San Francisco(加利福尼亚大学旧金山分校);University of Maryland Medical Center(马里兰大学医学中心)
加法模型,例如由梯度提升产生的,以及全交互模型,例如分类和回归树(CART),是广泛使用的算法,这些算法在很大程度上被孤立地研究。我们表明,这些模型存在于一个频谱,揭示了这两种方法之间前所未有的联系。本文介绍了一种新的技术,称为树结构的提升,用于创建一个单一的决策树,并表明,这种方法可以产生模型相当于CART或梯度提升树桩在极端情况下,通过改变一个参数。虽然树结构提升的设计主要是为了提供模型的可解释性和高风险应用(如医学)所需的预测性能,但它也可以产生由CART和提升的树桩之间的混合模型表示的决策树,这些混合模型可以优于这些方法。
2017-11-18 cs.LG stat.ML
Boost-R: Gradient Boosted Trees for Recurrence Data
University of Arkansas(阿肯色大学);Arizona State University(亚利桑那州立大学)
复发数据来自跨可靠性,网络安全,医疗保健,在线零售等多学科领域。本文研究了一种基于加法树的方法,称为Boost-R(复发数据的提升),用于具有静态和动态特征的复发事件数据。Boost-R构建梯度提升的加性树的集合来估计复发事件过程的累积强度函数,其中通过最小化观测和预测累积强度之间的正则化L2距离来将新树添加到集合。与传统的回归树不同,Boost-R在每个树叶上构造了一个时间依赖函数。来自多个树的这些函数的和产生累积强度的集合估计。基于树的方法的分而治之的性质是有吸引力的,当隐藏的子群体存在于一个异质的人口。回归树的非参数性质有助于避免对事件过程和特征之间的复杂交互进行参数假设。Boost-R的关键见解和优势进行了研究,通过全面的数值例子。Boost-R的数据集和计算机代码可在GitHub上获得。据我们所知,Boost-R是第一个基于梯度提升加法树的方法,用于建模具有静态和动态特征信息的大规模复发事件数据。
2021-07-03 cs.LG stat.ML
Treeffuser: Probabilistic Predictions via Conditional Diffusions with Gradient-Boosted Trees
Columbia University(哥伦比亚大学);Fero Labs(费罗实验室)
Treeffuser提出一种结合条件扩散模型与梯度提升树的表格数据概率预测方法,实现非参数、易训练且校准良好的预测分布,在合成与真实数据上优于现有方法,并成功应用于Walmart库存分配。
2024-10-22 cs.LG stat.ML
Diffusion Boosted Trees
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
结合去噪扩散概率模型和梯度提升的优点,引入扩散提升范式来解决监督学习问题。我们开发的扩散提升树(DBT),它可以被看作是一个新的去噪扩散生成模型参数化的决策树(一个单一的树为每个扩散时间步),和一个新的提升算法,结合弱学习到一个强学习的条件分布,而不作出明确的参数假设,其密度形式。我们通过实验证明了DBT在基于深度神经网络的扩散模型上的优势,以及DBT在现实世界回归任务上的能力,并提出了一个商业应用(欺诈检测)DBT对具有学习延迟能力的表格数据进行分类。
2024-06-03 cs.AI cs.LG stat.AP
On Subagging Boosted Probit Model Trees
Lehigh University(理海大学)
本研究基于方差-偏差分解提出混合装袋-提升分类算法SBPMT,以概率单位模型树为AdaBoost基分类器,通过子采样装袋组合提升模型,经理论与仿真验证其性能优异且具调优指导意义。
2023-11-06 cs.LG stat.AP stat.ML
Finding Influential Training Samples for Gradient Boosted Decision Trees
University of Amsterdam(阿姆斯特丹大学);Yandex(Yandex公司);Princeton University(普林斯顿大学)
我们解决了为基于树集合的模型的特定情况找到有影响力的训练样本的问题,例如,随机森林(RF)或梯度提升决策树(GBDT)。将这个问题形式化的一种自然方法是研究模型的预测在留一再训练时如何变化,省去每个单独的训练样本。最近的工作表明,对于参数模型,这种分析可以以计算效率高的方式进行。我们提出了几种方法扩展这个框架的非参数GBDT合奏的假设下,树结构保持固定。此外,我们引入了一个一般的计划,获得进一步的近似我们的方法,平衡性能和计算复杂性之间的权衡。我们在各种实验设置和用例场景中评估了我们的方法,并展示了我们的方法在寻找有影响力的训练样本方面的质量,与基线相比,以及它的计算效率。
2018-03-12 cs.LG stat.ML
qshap: Fast Shapley Decomposition of $R^2$ for Gradient-Boosted Trees
University of California Irvine(加州大学欧文分校)
qshap是支持R与Python的工具,可对GBDT进行R²的夏普利分解,适配xgboost等主流GBDT实现,还为遗忘树提供专用后端以加速计算,用于量化特征对模型性能的贡献。
2026-08-26 cs.LG stat.ML
Provably Robust Boosted Decision Stumps and Trees against Adversarial Attacks
University of Tübingen(图宾根大学)
对抗性鲁棒性问题已经被广泛地研究了神经网络。然而,对于提升的决策树和决策树,几乎没有结果,即使它们由于其准确性,可解释性和效率而在实践中广泛使用(例如XGBoost)。我们在本文中表明,对于提升决策树桩的\textit{exact}最小-最大鲁棒损失和测试错误的$l_\infty$攻击可以计算在$O(T\log T)$时间每输入,其中$T$是决策树桩的数量和集成的最佳更新步骤可以在$O(n^2\,T\log T)$,其中$n$是数据点的数量。对于提升树,我们展示了如何有效地计算和优化鲁棒损失的上限,这导致了MNIST($ε_\infty=0.3$为12.5%),FMNIST($ε_\infty=0.1$为23.2%)和CIFAR-10($ε_\infty=8/255$为74.7%)上提升树的最先进的鲁棒测试误差。此外,我们实现的鲁棒测试错误率与可证明鲁棒的卷积网络相比具有竞争力。我们所有实验的代码都可以在www.example.com上找到。
2019-10-30 cs.CR cs.LG stat.ML
Adaptively Pruning Features for Boosted Decision Trees
Northeastern University(东北大学)
提升决策树在各种应用中很受欢迎;然而,对于大规模数据集,在每轮中训练决策树的成本可能非常昂贵。受多臂强盗文献的启发,我们开发了一种高效的算法来计算精确的贪婪最优决策树,性能优于最先进的Quick Boost方法。我们进一步开发了一个框架,用于导出适用于广泛的家庭的任务(包括我们的算法和快速升压)的算法的问题的下限,我们证明经验上的各种数据集,我们的算法是接近最佳的算法在这个家庭。我们还推导出一个适用于任何算法解决任务的下限,我们证明了我们的算法凭经验达到接近这个最佳可实现的下限的性能。
2018-05-19 cs.AI cs.LG stat.ML
SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems
Sber AI Lab(俄罗斯联邦储蓄银行人工智能实验室);HSE University(俄罗斯国立高等经济大学)
梯度提升决策树(GBDT)是一种广泛使用的机器学习算法,已被证明可以在许多标准数据科学问题上实现最先进的结果。我们感兴趣的是它的应用程序的多输出问题时,输出是高度多维的。虽然有非常有效的GBDT实现,他们的可扩展性,这样的问题仍然是不令人满意的。在本文中,我们提出了新的方法,旨在加快训练过程中的GBDT在多输出的情况下。这些方法背后的思想在于用于找到决策树的最佳分裂的评分函数的近似计算。这些方法在SketchBoost中实现,SketchBoost本身集成到我们基于Python的易于定制的GBDT GPU实现中,称为Py-Boost。我们的数值研究表明,SketchBoost将GBDT的训练过程加快了40倍以上,同时实现了相当甚至更好的性能。
2022-11-23 cs.LG stat.ML
Extreme Gradient Boosted Multi-label Trees for Dynamic Classifier Chains
Technische Universität Darmstadt(达姆施塔特工业大学)
分类器链是多标签分类中的关键技术,因为它允许有效地考虑标签依赖性。然而,分类器根据标签的静态顺序对齐。在动态分类器链(DCC)的概念中,标签排序是根据手头的相应实例动态地为每个预测选择的。我们将这个概念与极端梯度提升树(XGBoost)的提升相结合,这是一种有效且可扩展的最先进技术,并将DCC纳入我们公开提供的XGBoost的快速多标签扩展中。由于仅需预测阳性标签,并且这些标签通常很少,因此可以进一步大幅降低训练成本。此外,正如在11个数据集上的实验所示,链的长度允许对先前预测的使用进行更多的控制,因此可以对想要优化的度量进行更多的控制。
2020-06-15 cs.LG stat.ML
Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization
Wells Fargo(富国银行);Pennsylvania State University(宾夕法尼亚州立大学)
本研究通过独热编码将梯度提升决策树转换为线性框架,并采用L1或L2正则化重新拟合,以增强模型对协变量扰动的鲁棒性,理论分析和实验验证了其有效性。
2023-05-11 cs.LG stat.ML
Boulevard: Regularized Stochastic Gradient Boosted Trees and Their Limiting Distribution
本文研究了一种新的梯度提升回归框架。我们正则化梯度提升树,通过引入子采样,并采用修改后的收缩算法,使在每个提升阶段的估计是由树的平均值。由此产生的算法,名为林荫大道,收敛的树木数量的增长。我们还证明了这个限制的中心极限定理,允许的不确定性预测的表征。模拟研究和现实世界的例子提供支持的预测精度的模型和其限制行为。
2019-09-13 math.ST stat.ME stat.ML
Hollow-tree Super: a directional and scalable approach for feature importance in boosted tree models
Omniscient Neurotechnology(全知神经科技公司)
目前在提升树建模的局限性,防止有效的缩放到数据集具有大量的功能,特别是当调查的大小和方向性的各种功能分类。我们提出了一种新的方法,空心树超级(HOTS),解决和可视化功能的重要性提升树模型涉及大量的功能。此外,HOTS允许调查各种特征对分类的方向性和幅度。使用Iris数据集,我们首先将HOTS与Gini Importance,Partial Dependence Plots和Permutation Importance进行比较,并演示HOTS如何解决这些方法中存在的弱点。然后,我们展示了如何HOTS可以利用在高维神经科学数据,采取60精神分裂症的主题和应用的方法,以确定哪些大脑区域是最重要的精神分裂症的分类所确定的PANSS。HOTS有效地复制和支持了Iris数据集中的基尼重要性、部分依赖图和排列重要性的发现。当应用于精神分裂症患者的大脑数据集时,HOTS能够解决前10个最重要的分类特征,以及与其他特征相比,它们的分类方向性和幅度。交叉验证支持这10个相同的特征在多棵树的决策过程中一直使用,这些特征主要局限于枕叶和顶叶皮质,这是精神分裂症患者常见的大脑区域。当务之急是开发一种方法,能够处理包含大量特征的大型数据集的工作需求。HOTS代表了一种独特的方式来调查的方向性和规模的功能的重要性时,在规模与提升树建模。
2021-04-07 cs.LG stat.ME stat.ML
Variational Boosted Soft Trees
University of Tuebingen(图宾根大学);Amazon(亚马逊);Deekard(迪卡德)
基于决策树的梯度提升机器(GBM)始终在表格数据的回归和分类任务上展示最先进的结果,通常优于深度神经网络。然而,这些模型不能提供良好校准的预测不确定性,这妨碍了它们在高风险应用中用于决策。贝叶斯处理是已知的,以提高预测的不确定性校准,但以前提出的贝叶斯GBM方法要么计算昂贵,或诉诸粗糙的近似。变分推理常用于实现贝叶斯神经网络,但很难应用于GBM,因为用作弱学习器的决策树是不可微的。在本文中,我们建议实现贝叶斯GBM使用变分推理软决策树,一个完全可微的替代标准决策树Irsoy等人介绍的。我们的实验表明,变分软树和变分软GBM提供有用的不确定性估计,同时保持良好的预测性能。与最先进的贝叶斯GBM相比,所提出的模型在7/10的表格回归数据集中显示出更高的测试似然性,并且在5/10的数据集中显示出改进的分布外检测。
2023-02-22 cs.LG stat.ML
Induction of Non-Monotonic Logic Programs to Explain Boosted Tree Models Using LIME
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一个启发式算法,诱导\textit{nonmonotonic}逻辑程序,将解释XGBoost训练分类器的行为。我们使用基于LIME方法的技术来局部选择有助于分类决策的最重要的特征。然后,为了解释该模型的全局行为,我们提出了石灰折叠算法-一个基于经验的归纳逻辑程序设计(ILP)算法能够学习非单调逻辑程序-我们应用到转换后的数据集产生的石灰。我们提出的方法是不可知的ILP算法的选择。我们的实验与UCI标准基准表明分类评估指标方面的显着改善。同时,与ALEPH(一种最先进的ILP系统)相比,诱导规则的数量显著减少。
2018-11-09 cs.LG stat.ML
Boosted and Differentially Private Ensembles of Decision Trees
Data61(数据61中心);the Australian National University(澳大利亚国立大学)
决策树(DT)分类器的提升集成在国际竞争中非常受欢迎,然而据我们所知,关于如何使它们成为\textit{also}差分私有(DP),还没有正式的知识,直到随机森林目前在DP阶段占据主导地位。我们的论文首先证明了DT的隐私与提升图片涉及一个显着和一般的技术权衡:对于任何适当的损失,敏感性往往会随着损失的提升率而增加。DT归纳算法从根本上是迭代的,我们的发现意味着非平凡的选择,选择或调整损失,以平衡噪声对效用分裂节点。为了解决这个问题,我们制定了一个新的参数化的适当的损失,称为M $α$ -损失,这,正如我们所示,允许微调的灵敏度与提升保证的完整频谱的权衡。然后,我们引入了\textit{objective calibration}作为一种方法,在DT诱导过程中自适应地调整权衡,以限制隐私预算的花费,同时正式能够以高概率在有限深度节点上保持符合提升的收敛。在19个UCI域上的广泛实验表明,即使在无DP设置中,客观校准也具有很强的竞争力。我们的方法往往非常显着击败随机森林,特别是在高DP制度($\varepsilon \leq 0.1$),甚至与提升合奏包含十倍少的树,这可能是至关重要的保持DT模型的一个关键特征下差分隐私:可解释性。
2020-02-03 cs.LG stat.ML
Reweighting with Boosted Decision Trees
机器学习工具通常用于现代高能物理(HEP)实验。不同的模型,如提升决策树(BDT)和人工神经网络(ANN),被广泛用于分析,甚至在软件触发器。在大多数情况下,这些是用于从数据中选择“信号”事件的分类模型。蒙特卡罗模拟事件通常参与这些模型的训练。虽然预计模拟结果将接近实际数据,但在实际情况下,模拟数据和观测数据之间存在明显的差异。为了在训练中使用可用的模拟,必须对生成的数据进行校正。一种常见的方法是重新加权-为模拟事件分配权重。提出了一种基于提升决策树的事件权重重分配方法。文中还讨论了分析中重权步的质量检验问题。
2016-08-20 hep-ex physics.data-an stat.ML
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research(百度研究院)
在这项工作中,我们证明了pGMM(“动力广义最小-最大”)内核的(岭)回归的背景下的优势。在最近的先前研究中,pGMM内核已被广泛评估用于分类任务,用于逻辑斯谛回归,支持向量机以及深度神经网络。本文对岭回归进行了实验研究,将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是,即使没有调谐参数(即,$p=1$用于pGMM内核的功率参数),pGMM内核已经表现良好。此外,通过调优参数$p$,这个(看似简单的)pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务,通常,从业者使用$L_2$ boost,即,用于最小化$L_2$损失。有时出于鲁棒性的目的,可能会选择$L_1$增强。在本研究中,我们为$p\geq 1$实现了$L_p$ boost,并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是,最好的性能(在$L_2$回归损失方面)通常在$p>2$,在某些情况下在$p\gg 2$获得。Li等人(UAI 2010)已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之,$L_p$ boost的实现为从业者提供了额外的灵活性,可以调整boosting算法,从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
Interpreting Tree Ensembles with inTrees
树集成,如随机森林和提升树是准确的,但难以理解,调试和部署。在这项工作中,我们提供了inTrees(可解释树)框架,该框架从树集合中提取,测量,修剪和选择规则,并计算频繁的变量交互。一个基于规则的学习器,称为简化的树集成学习器(STEL),也可以形成和用于未来的预测。inTrees框架可以应用于分类和回归问题,并且适用于许多类型的树集合,例如,随机森林、规则化的随机森林和增强树。我们在“inTrees”R包中实现了inTrees算法。
2014-08-23 cs.LG stat.ML
Verifiable Boosted Tree Ensembles
Università Ca’ Foscari Venezia(威尼斯卡福斯卡里大学)
本文将可验证学习从基础决策树集成扩展到XGBoost、LightGBM等增强树集成,证明大间隔增强集成对L∞范数攻击可在多项式时间内验证鲁棒性,并提出针对任意Lp范数攻击的伪多项式时间验证算法,兼顾精度与安全验证效率。
2024-02-22 cs.CR cs.LG cs.LO
VisRuler: Visual Analytics for Extracting Decision Rules from Bagged and Boosted Decision Trees
Linnaeus University(林奈大学);Linköping University(林雪平大学)
针对袋装、提升类集成决策树模型可解释性差的问题,提出可视分析工具VisRuler,通过多步视觉检查工作流提取决策规则,经多维度评估验证了其适用性与有效性。
2024-04-18 cs.HC cs.LG stat.ML
Evasion and Hardening of Tree Ensemble Classifiers
University of California, Berkeley(加州大学伯克利分校)
分类器规避包括为给定实例$x$找到最近的实例$x'$,使得$x$和$x'$的分类器预测不同。我们提出了两种新的算法,系统地计算规避树集成,如提升树和随机森林。我们的第一个算法使用混合线性规划求解器,并在一组表达约束下找到最佳规避实例。我们的第二个算法权衡使用符号预测,一种新的算法快速有限差分树合奏的速度最优。在数字识别任务中,我们证明了梯度提升树和随机森林都非常容易受到逃避。最后,我们通过使用规避实例增强每个boosting回合的训练集来强化boosted树模型,而不会损失预测准确性,这种技术我们称为对抗性boosting。
2016-05-27 cs.CR cs.LG stat.ML
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire(新罕布什尔大学)
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案,以解决强化学习问题。Boosting结合了几个回归树,以提高其准确性,而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上,但在可解释的强化学习方面进展甚微。我们的实验结果表明,增强回归树计算的解决方案既可解释,又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
Disentangled Attribution Curves for Interpreting Random Forests and Boosted Trees
UC Berkeley(加州大学伯克利分校)
树集成,如随机森林和AdaBoost,是普遍存在的机器学习模型,以在各种领域实现强大的预测性能而闻名。然而,这种强大的性能是以可解释性为代价的(即用户无法理解经过训练的随机森林已经学习的关系以及它为什么要进行预测)。特别是,理解特定特征或特征组的贡献如何随着其值的变化而变化是具有挑战性的。为了解决这个问题,我们引入了分解属性曲线(DAC),一种以(多变量)特征重要性曲线的形式提供树集成方法的解释的方法。对于一个给定的变量或一组变量,DAC绘制变量值变化时变量的重要性。我们验证DAC的真实数据显示,曲线可以用来提高逻辑斯谛回归的准确性,同时保持可解释性,包括DAC作为一个额外的功能。在模拟研究中,DAC被证明在恢复条件期望方面优于竞争方法。最后,通过对自行车共享数据集的案例研究,我们展示了使用DAC来揭示数据集的新见解。
2019-05-18 cs.LG stat.ME stat.ML
LoBoost: Model-Native Local Conformal Prediction for Gradient-Boosted Trees
Federal University of São Carlos(巴西圣卡洛斯联邦大学);University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Science(数学与计算机科学学院);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立应用科学研究院);LJK(格勒诺布尔联合实验室)
LoBoost提出了一种基于梯度提升树的快速模型原生局部符合预测方法,通过利用已拟合集成模型的叶子结构进行多尺度校准,提高了适应性和效率。
2026-11-11 cs.LG stat.ML
Extracting Interpretable Concept-Based Decision Trees from CNNs
University of Southern California(南加州大学)
为了更深入地了解卷积神经网络(CNN)如何对人类可理解的概念进行推理,我们提出了一种从隐藏层激活中推断标记概念数据并通过浅层决策树解释概念的方法。决策树可以提供关于模型认为哪些概念重要的信息,以及提供对概念如何彼此交互的理解。实验表明,所提取的决策树能够准确地表示原始CNN的分类在低树深度,从而鼓励人类在回路中的歧视性概念的理解。
2019-06-16 cs.LG stat.ML
Big Data Regression Using Tree Based Segmentation
Chennai Mathematical Institute(金奈数学研究所)
将回归扩展到大型数据集是许多应用领域中的常见问题。我们提出了一个两步的方法来扩展回归到大型数据集。使用回归树(CART)分割大数据集构成了这种方法的第一步。这种方法的第二步是为每个部分开发合适的回归模型。由于段的大小不是很大,如果需要,我们有能力应用复杂的回归技术。这种两步方法的一个很好的特点是,它可以产生具有良好解释能力和良好预测性能的模型。像梯度提升树这样的嵌入方法可以提供出色的预测性能,但可能无法提供可解释的模型。在本研究报告的实验中,我们发现所提出的方法的预测性能与梯度提升树的预测性能相匹配。
2017-07-25 cs.LG stat.ML
A Robust Hypothesis Test for Tree Ensemble Pruning
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Colby College(科尔比学院)
梯度提升决策树是应用机器学习中最流行的算法之一。它们是一种灵活而强大的工具,可以以可扩展和计算效率高的方式稳健地适应任何表格数据集。在拟合这些模型时,要调整的最关键参数之一是用于区分当前模型中的信号和噪声的各种惩罚项。这些惩罚措施在实践中是有效的,但缺乏强有力的理论依据。在本文中,我们开发并提出了一种新的理论上合理的假设检验梯度提升树系综的分裂质量,并证明,使用这种方法,而不是常见的惩罚条款,导致显着减少样本丢失。此外,该方法为树生长算法提供了一个理论上合理的停止条件。我们还提出了几个创新的扩展的方法,打开大门,各种各样的新颖的树修剪算法。
2023-01-25 cs.LG stat.ML
Zero-Inflated Tweedie Boosted Trees with CatBoost for Insurance Loss Analytics
Towson University(陶森大学);University of Connecticut(康涅狄格大学)
针对传统 Tweedie 模型难以刻画大量零索赔的问题,本文在 CatBoost 框架中结合零索赔单独建模与树提升集成,并在保险车联网数据上验证了预测性能提升。
2024-10-28 cs.LG stat.ML
Residual Networks Behave Like Boosting Algorithms
Faculty of Engineering and Information Technology(工程与信息技术学院);University of Technology Sydney(悉尼科技大学);Suncorp Group Limited(Suncorp集团有限公司)
我们证明了残差网络(ResNet)相当于提升特征表示,而无需对底层ResNet训练算法进行任何修改。证明了一个基于在线梯度提升理论的遗憾界,并指出ResNet可以通过神经网络的结构变化,在单位跳连接中加入收缩参数,并使用具有最大范数界的残差模块来实现在线梯度提升遗憾界。通过ResNet和Online Boosting之间的这种关系,可以基于改变残差模块来构建新的特征表示增强算法。我们通过提出决策树残差模块来构建一个新的提升决策树算法,并证明这两种方法的泛化误差界来证明这一点;放松BoostResNet算法中的约束,使其能够以核心外的方式进行训练。我们评估了有和没有收缩修改的卷积ResNet,以证明其有效性,并证明我们的在线提升决策树算法与最先进的离线提升决策树算法相当,而没有离线方法的缺点。
2019-09-25 cs.LG stat.ML
Boosted nonparametric hazards with time-dependent covariates
给出了协变量依赖于时间的生存过程的函数数据,导出了其非参数对数似然泛函的光滑凸表示,并得到了其泛函梯度。由此,我们设计了一个通用的梯度提升过程估计的风险函数非参数。一个说明性的实施过程中使用回归树描述如何恢复未知的危险。如果模型被正确地指定,则通用估计量是一致的;或者,对于基于树的模型,可以证明预言不等式。为了避免过拟合,boosting采用了几个正则化设备。其中之一是步长限制,但从一致性的角度来看,其原理有些神秘。我们的工作通过揭示步长限制是防止风险曲率偏离收敛的机制,使这个问题变得更加清晰。
2021-10-06 stat.ML
metboost: Exploratory regression analysis with hierarchically clustered data
随着数据收集量的增加,探索性回归分析变得更加重要,但也更具挑战性。当观测值分层聚类时,问题更具挑战性,因为当模型中不包括非线性效应时,混合效应模型的模型选择可能会产生误导性结果(Bauer和Cai,2009)。一种称为提升决策树的机器学习方法(Friedman,2001)是在真实数据集中进行探索性回归分析的好方法,因为它可以检测具有非线性和交互效应的预测因子,同时还可以解释缺失数据。我们提出了一个扩展,提升决策树称为metboost的层次聚类数据。它的工作原理是将每个树的结构约束为跨组相同,但允许终端节点的方式不同。这允许预测因子和分割点在每个组内产生不同的预测,并近似非线性组特定效应。重要的是,metboost对于数千个观测值和数百个可能包含缺失值的预测值仍然是计算可行的。我们应用该方法预测来自751所学校的15,240名学生的数学表现,这些学生的数据来自2002年教育纵向研究(Ingels等人,2007),允许76个预测因子对每所学校都有独特的影响。当将结果与提升的决策树进行比较时,metboost的预测性能提高了15%。一个大型的模拟研究结果表明,当组规模较小时,与提升决策树相比,metboost具有高达70%的变量选择性能和高达30%的预测性能
2017-02-13 stat.ML
Unmasking Trees for Tabular Data
BigHat Biosciences(BigHat生物科学公司)
本文提出基于梯度提升决策树逐步揭示特征的 UnmaskingTrees,并结合 BaltoBot 条件概率预测,在表格插补与含缺失数据生成基准上取得领先表现。
2025-07-23 cs.LG stat.ML
Exploiting Categorical Structure Using Tree-Based Methods
Numeristical
使用分类变量作为预测变量的标准方法要么赋予它们一个有序结构,要么假设它们根本没有结构。然而,分类变量通常具有比线性排序更复杂的结构。我们开发了一个数学框架,表示结构的分类变量,并展示了如何推广决策树,利用这种结构。这种方法适用于梯度提升树等使用决策树作为底层学习器的方法。我们展示了天气数据的结果,以证明这种方法所产生的改善。
2020-04-15 cs.AI cs.LG stat.AP
Ensembles of Probabilistic Regression Trees
该研究提出概率回归树的集成方法,通过概率分配观测值实现目标函数的平滑近似,证明了其一致性并通过实验验证了偏差-方差特性与预测性能。
2024-06-20 cs.LG stat.ML
Learning Gradient Boosted Multi-label Classification Rules
TU Darmstadt(达姆施塔特工业大学);JKU Linz(林茨约翰内斯·开普勒大学);Paderborn University(帕德博恩大学)
在多标签分类中,预测的评估不如单标签分类直接,已经提出了各种有意义的,尽管不同的损失函数。理想情况下,学习算法应该是针对性能度量的特定选择可定制的。从这个角度来看,提升的现代实现,最突出的是梯度提升决策树,似乎很有吸引力。然而,它们大多限于单标签分类,因此不适合多标签丢失,除非这些是标签方式可分解的。在这项工作中,我们开发了一个泛化的梯度提升框架多输出问题,并提出了一种算法,用于学习多标签分类规则,能够最大限度地减少可分解以及不可分解的损失函数。以著名的汉明损失和子集0/1损失为代表,分析了该方法在合成数据上的能力和局限性,并在多标签基准测试上评估了其预测性能。
2020-06-23 cs.LG stat.ML
Extracting Interpretable Models from Tree Ensembles: Computational and Statistical Perspectives
MIT(麻省理工学院);University of Sydney(悉尼大学)
本文提出一种提取树集成中简洁决策规则的估计器,通过灵活控制规则数量和交互深度提升准确性,并建立非渐近预测误差界,实验表明其优于现有规则提取算法。
2026-03-30 cs.LG stat.ML
An investigation into machine learning approaches for forecasting spatio-temporal demand in ride-hailing service
University of Liège(列日大学);Polytechnique Montréal(蒙特利尔理工学院)
在本文中,我们提出了机器学习方法来表征和预测按需叫车服务的短期需求。我们提出的时空估计的需求是一个函数的变量影响相关的交通,定价和天气条件。关于该方法,单个决策树、引导聚合(袋装)决策树、随机森林、提升决策树和用于回归的人工神经网络已被调整,并使用各种统计数据(例如,R平方、均方根误差(RMSE)和斜率)进行系统比较。为了更好地评估模型的质量,我们使用中国主要的按需叫车服务提供商滴滴出行的数据对模型进行了真实案例研究。在当前的研究中,已经提取了199,584个描述时空乘车需求的时隙,聚合时间间隔为10分钟。所有的方法都是基于来自该数据集的两个独立样本进行训练和验证的。结果表明,提升决策树提供了最好的预测精度(RMSE=16.41),同时避免了过拟合的风险,其次是人工神经网络(20.09),随机森林(23.50),袋装决策树(24.29)和单一决策树(33.55)。
2017-03-07 cs.LG stat.ML