Scalable Probabilistic Forecasting in Retail with Gradient Boosted Trees: A Practitioner's Approach
Monash University(莫纳什大学);Tokopedia;University of Granada(格拉纳达大学)
针对大型电商零售数据规模大、需求间歇性强的问题,提出基于梯度提升树的两层层级自上而下概率预测及子采样训练方案,并在 M5、Favorita 和专有数据集上验证其可扩展性与竞争力。
2023-11-02 cs.LG
Compact Multi-Class Boosted Trees
Google, Inc.(谷歌公司)
梯度提升决策树是一种流行的机器学习技术,部分原因是它们能够在小模型的情况下提供良好的准确性。我们描述了两个扩展的标准树提升算法,旨在增加这一优势。第一个改进将Boosting形式主义从标量值树扩展到向量值树。这允许单独的树被用作多类分类器,而不是每个类需要一棵树,并大大减少了多类问题所需的模型大小。我们还表明,其他一些流行的向量值梯度提升树修改适合这个公式,可以很容易地在我们的实现。第二个扩展,逐层提升,在函数空间中采取较小的步骤,这是经验表明,导致更快的收敛和更紧凑的合奏。我们已经将这两项改进添加到开源TensorFlow Boosted Trees(TFBT)包中,并在各种多类数据集上展示了它们的有效性。我们预计这些扩展将特别感兴趣的提升树应用程序,需要小的模型,如嵌入式设备,需要快速推理的应用程序,或应用程序需要更多的可解释的模型。
2017-10-31 cs.LG stat.ML
Multivariate Boosted Trees and Applications to Forecasting and Control
SUPSI(瑞士南部应用科学与艺术大学)
梯度提升树是竞争获胜的、通用的、非参数回归器,其利用顺序模型拟合和梯度下降来最小化特定的损失函数。最流行的实现是针对单变量回归和分类任务而定制的,排除了捕获多变量目标互相关并将结构化惩罚应用于预测的可能性。在本文中,我们提出了一个计算效率高的算法来拟合多元提升树。我们表明,多变量树可以优于单变量对应时的预测是相关的。此外,该算法允许任意正则化预测,以便可以强制执行平滑性,一致性和函数关系等属性。我们目前的应用和数值结果相关的预测和控制。
2022-08-22 cs.LG stat.ML
SHAP for additively modeled features in a boosted trees model
la Mobilière(瑞士移动保险公司)
SHAP(SHapley Additive exPlanation)是研究黑盒机器学习(ML)模型的重要技术。SHAP值以公平的方式将预测分解为特征的贡献。我们将证明,对于具有部分或全部特征的提升树模型,这种特征的SHAP依赖图对应于垂直移动的部分依赖图。我们用XGBoost说明了结果。
2022-07-29 cs.LG stat.ML
TF Boosted Trees: A scalable TensorFlow based framework for gradient boosting
Google, Inc.(谷歌公司)
TF Boosted Trees(TFBT)是一个新的开源框架,用于梯度提升树的分布式训练。它基于TensorFlow,其显着特征包括新颖的架构,自动损失区分,逐层提升,导致更小的集合和更快的预测,原则性的多类处理,以及一些正则化技术,以防止过拟合。
2017-10-31 cs.LG stat.ML
Gradient Boosted Decision Tree Neural Network
Netflix(奈飞)
在本文中,我们提出了一种方法来建立一个神经网络,类似于一个集成的决策树。我们首先说明如何将学习的决策树集合转换为具有一个隐藏层和一个输入变换的单个神经网络。然后,我们放松这个网络的一些属性,如阈值和激活函数,训练一个近似等价的决策树集成。最后一个模型Hammock非常简单:一个完全连接的两层神经网络,其中输入被量化和独热编码。在大数据集和小数据集上的实验表明,这种简单的方法可以获得类似于梯度提升决策树的性能。
2019-11-05 cs.LG stat.ML
Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization
University of Chicago(芝加哥大学)
虽然$\ell_2$正则化被广泛用于训练梯度提升树,但用于树的流行个性化特征属性方法(例如Saabas和TreeSHAP)忽略了训练过程。我们提出了预测分解属性(PreDecomp),这是一种新的个性化特征属性,用于梯度提升树,当它们用$\ell_2$正则化训练时。理论分析表明,PreDecomp算法与样本数据上的标签之间的内积实质上是一棵树的总增益,并且在特征独立的总体情况下,它可以忠实地恢复加性模型。受PreDecomp和总增益之间的联系的启发,我们还提出了TreeInner,这是一个由任何个性化特征属性和每个树的样本外数据标签之间的内积定义的去偏全局特征属性家族。在模拟数据集和基因组ChIP数据集上的数值实验表明,TreeInner具有最先进的特征选择性能。代码再现实验可在https://github.com/nalzok/TreeInner上获得。
2022-11-08 cs.LG stat.ML
Tree-Structured Boosting: Connections Between Gradient Boosted Stumps and Full Decision Trees
University of Pennsylvania(宾夕法尼亚大学);University of California, San Francisco(加利福尼亚大学旧金山分校);University of Maryland Medical Center(马里兰大学医学中心)
加法模型,例如由梯度提升产生的,以及全交互模型,例如分类和回归树(CART),是广泛使用的算法,这些算法在很大程度上被孤立地研究。我们表明,这些模型存在于一个频谱,揭示了这两种方法之间前所未有的联系。本文介绍了一种新的技术,称为树结构的提升,用于创建一个单一的决策树,并表明,这种方法可以产生模型相当于CART或梯度提升树桩在极端情况下,通过改变一个参数。虽然树结构提升的设计主要是为了提供模型的可解释性和高风险应用(如医学)所需的预测性能,但它也可以产生由CART和提升的树桩之间的混合模型表示的决策树,这些混合模型可以优于这些方法。
2017-11-18 cs.LG stat.ML
Boost-R: Gradient Boosted Trees for Recurrence Data
University of Arkansas(阿肯色大学);Arizona State University(亚利桑那州立大学)
复发数据来自跨可靠性,网络安全,医疗保健,在线零售等多学科领域。本文研究了一种基于加法树的方法,称为Boost-R(复发数据的提升),用于具有静态和动态特征的复发事件数据。Boost-R构建梯度提升的加性树的集合来估计复发事件过程的累积强度函数,其中通过最小化观测和预测累积强度之间的正则化L2距离来将新树添加到集合。与传统的回归树不同,Boost-R在每个树叶上构造了一个时间依赖函数。来自多个树的这些函数的和产生累积强度的集合估计。基于树的方法的分而治之的性质是有吸引力的,当隐藏的子群体存在于一个异质的人口。回归树的非参数性质有助于避免对事件过程和特征之间的复杂交互进行参数假设。Boost-R的关键见解和优势进行了研究,通过全面的数值例子。Boost-R的数据集和计算机代码可在GitHub上获得。据我们所知,Boost-R是第一个基于梯度提升加法树的方法,用于建模具有静态和动态特征信息的大规模复发事件数据。
2021-07-03 cs.LG stat.ML
Treeffuser: Probabilistic Predictions via Conditional Diffusions with Gradient-Boosted Trees
Columbia University(哥伦比亚大学);Fero Labs(费罗实验室)
Treeffuser提出一种结合条件扩散模型与梯度提升树的表格数据概率预测方法,实现非参数、易训练且校准良好的预测分布,在合成与真实数据上优于现有方法,并成功应用于Walmart库存分配。
2024-10-22 cs.LG stat.ML
Relational Boosted Regression Trees
University of Pittsburgh(匹兹堡大学)
许多任务使用关系数据库中的数据来训练增强回归树模型。在本文中,我们给了一个关系适应的贪心算法训练提升回归树。对于计算数据集的残差平方和的子问题,这占主导地位的提升算法的运行时间,我们提供了一个$(1 + ε)$近似使用张量草图技术。在关系提升回归树算法中使用这种近似可以学习类似的模型参数,但具有渐进更好的运行时间。
2021-07-25 cs.DB cs.DS cs.LG
Computing Abductive Explanations for Boosted Trees
CRIL;Université d’Artois(阿尔图瓦大学);CNRS(法国国家科学研究中心);Institut Universitaire de France(法国大学研究院)
提升树是一种占主导地位的ML模型,具有很高的准确性。然而,提升树是很难理解的,这是一个问题,每当他们被用于安全关键应用。事实上,在这种情况下,对所作预测的严格解释是值得期待的。最近的工作表明,如何子集最小的溯因解释可以得到提升树,使用自动推理技术。然而,在一般情况下,产生这种有充分根据的解释是困难的。为了提高其生成的可扩展性,我们引入了树特定的解释的概念,提升树。我们表明,树特定的解释是溯因解释,可以计算在多项式时间。我们还解释了如何从一个特定的树的解释导出一个子集最小的溯因解释。各种数据集上的实验显示了利用特定于树的解释来导出子集最小溯因解释的计算益处。
2022-09-16 cs.AI cs.LG
Finding Influential Training Samples for Gradient Boosted Decision Trees
University of Amsterdam(阿姆斯特丹大学);Yandex(Yandex公司);Princeton University(普林斯顿大学)
我们解决了为基于树集合的模型的特定情况找到有影响力的训练样本的问题,例如,随机森林(RF)或梯度提升决策树(GBDT)。将这个问题形式化的一种自然方法是研究模型的预测在留一再训练时如何变化,省去每个单独的训练样本。最近的工作表明,对于参数模型,这种分析可以以计算效率高的方式进行。我们提出了几种方法扩展这个框架的非参数GBDT合奏的假设下,树结构保持固定。此外,我们引入了一个一般的计划,获得进一步的近似我们的方法,平衡性能和计算复杂性之间的权衡。我们在各种实验设置和用例场景中评估了我们的方法,并展示了我们的方法在寻找有影响力的训练样本方面的质量,与基线相比,以及它的计算效率。
2018-03-12 cs.LG stat.ML
qshap: Fast Shapley Decomposition of $R^2$ for Gradient-Boosted Trees
University of California Irvine(加州大学欧文分校)
qshap是支持R与Python的工具,可对GBDT进行R²的夏普利分解,适配xgboost等主流GBDT实现,还为遗忘树提供专用后端以加速计算,用于量化特征对模型性能的贡献。
2026-08-26 cs.LG stat.ML
Provably Robust Boosted Decision Stumps and Trees against Adversarial Attacks
University of Tübingen(图宾根大学)
对抗性鲁棒性问题已经被广泛地研究了神经网络。然而,对于提升的决策树和决策树,几乎没有结果,即使它们由于其准确性,可解释性和效率而在实践中广泛使用(例如XGBoost)。我们在本文中表明,对于提升决策树桩的\textit{exact}最小-最大鲁棒损失和测试错误的$l_\infty$攻击可以计算在$O(T\log T)$时间每输入,其中$T$是决策树桩的数量和集成的最佳更新步骤可以在$O(n^2\,T\log T)$,其中$n$是数据点的数量。对于提升树,我们展示了如何有效地计算和优化鲁棒损失的上限,这导致了MNIST($ε_\infty=0.3$为12.5%),FMNIST($ε_\infty=0.1$为23.2%)和CIFAR-10($ε_\infty=8/255$为74.7%)上提升树的最先进的鲁棒测试误差。此外,我们实现的鲁棒测试错误率与可证明鲁棒的卷积网络相比具有竞争力。我们所有实验的代码都可以在www.example.com上找到。
2019-10-30 cs.CR cs.LG stat.ML
A Rectification-Based Approach for Distilling Boosted Trees into Decision Trees
Univ. Artois(阿诺学校);CNRS(国家科学研究中心);CRIL(认知与语言研究所);Institut Universitaire de France(法国国家科学院)
本研究提出一种基于校正的提升树到决策树的蒸馏方法,以在预测性能与可解释性间取得可接受折中,实验显示其效果优于重训练式蒸馏方法。
2025-10-21 cs.AI cs.LG
SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems
Sber AI Lab(俄罗斯联邦储蓄银行人工智能实验室);HSE University(俄罗斯国立高等经济大学)
梯度提升决策树(GBDT)是一种广泛使用的机器学习算法,已被证明可以在许多标准数据科学问题上实现最先进的结果。我们感兴趣的是它的应用程序的多输出问题时,输出是高度多维的。虽然有非常有效的GBDT实现,他们的可扩展性,这样的问题仍然是不令人满意的。在本文中,我们提出了新的方法,旨在加快训练过程中的GBDT在多输出的情况下。这些方法背后的思想在于用于找到决策树的最佳分裂的评分函数的近似计算。这些方法在SketchBoost中实现,SketchBoost本身集成到我们基于Python的易于定制的GBDT GPU实现中,称为Py-Boost。我们的数值研究表明,SketchBoost将GBDT的训练过程加快了40倍以上,同时实现了相当甚至更好的性能。
2022-11-23 cs.LG stat.ML
Bagged Boosted Trees for Classification of Ecological Momentary Assessment Data
Maastricht University(马斯特里赫特大学)
生态瞬时评估(EMA)数据按多个级别组织(每个受试者、每天等)并且在EMA中使用的机器学习算法(如决策树及其变体)中应该考虑这种特定结构。我们提出了一种新的算法称为BBT(代表Bagged Boosted Trees),该算法通过过/欠采样方法进行增强,可以为条件类概率函数提供更好的估计。在真实数据集上的实验结果表明,BBT可以提高EMA数据分类和性能。
2016-07-06 cs.LG
Adaptively Pruning Features for Boosted Decision Trees
Northeastern University(东北大学)
提升决策树在各种应用中很受欢迎;然而,对于大规模数据集,在每轮中训练决策树的成本可能非常昂贵。受多臂强盗文献的启发,我们开发了一种高效的算法来计算精确的贪婪最优决策树,性能优于最先进的Quick Boost方法。我们进一步开发了一个框架,用于导出适用于广泛的家庭的任务(包括我们的算法和快速升压)的算法的问题的下限,我们证明经验上的各种数据集,我们的算法是接近最佳的算法在这个家庭。我们还推导出一个适用于任何算法解决任务的下限,我们证明了我们的算法凭经验达到接近这个最佳可实现的下限的性能。
2018-05-19 cs.AI cs.LG stat.ML
Extreme Gradient Boosted Multi-label Trees for Dynamic Classifier Chains
Technische Universität Darmstadt(达姆施塔特工业大学)
分类器链是多标签分类中的关键技术,因为它允许有效地考虑标签依赖性。然而,分类器根据标签的静态顺序对齐。在动态分类器链(DCC)的概念中,标签排序是根据手头的相应实例动态地为每个预测选择的。我们将这个概念与极端梯度提升树(XGBoost)的提升相结合,这是一种有效且可扩展的最先进技术,并将DCC纳入我们公开提供的XGBoost的快速多标签扩展中。由于仅需预测阳性标签,并且这些标签通常很少,因此可以进一步大幅降低训练成本。此外,正如在11个数据集上的实验所示,链的长度允许对先前预测的使用进行更多的控制,因此可以对想要优化的度量进行更多的控制。
2020-06-15 cs.LG stat.ML
Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization
Wells Fargo(富国银行);Pennsylvania State University(宾夕法尼亚州立大学)
本研究通过独热编码将梯度提升决策树转换为线性框架,并采用L1或L2正则化重新拟合,以增强模型对协变量扰动的鲁棒性,理论分析和实验验证了其有效性。
2023-05-11 cs.LG stat.ML
Diffusion Boosted Trees
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
结合去噪扩散概率模型和梯度提升的优点,引入扩散提升范式来解决监督学习问题。我们开发的扩散提升树(DBT),它可以被看作是一个新的去噪扩散生成模型参数化的决策树(一个单一的树为每个扩散时间步),和一个新的提升算法,结合弱学习到一个强学习的条件分布,而不作出明确的参数假设,其密度形式。我们通过实验证明了DBT在基于深度神经网络的扩散模型上的优势,以及DBT在现实世界回归任务上的能力,并提出了一个商业应用(欺诈检测)DBT对具有学习延迟能力的表格数据进行分类。
2024-06-03 cs.AI cs.LG stat.AP
Hollow-tree Super: a directional and scalable approach for feature importance in boosted tree models
Omniscient Neurotechnology(全知神经科技公司)
目前在提升树建模的局限性,防止有效的缩放到数据集具有大量的功能,特别是当调查的大小和方向性的各种功能分类。我们提出了一种新的方法,空心树超级(HOTS),解决和可视化功能的重要性提升树模型涉及大量的功能。此外,HOTS允许调查各种特征对分类的方向性和幅度。使用Iris数据集,我们首先将HOTS与Gini Importance,Partial Dependence Plots和Permutation Importance进行比较,并演示HOTS如何解决这些方法中存在的弱点。然后,我们展示了如何HOTS可以利用在高维神经科学数据,采取60精神分裂症的主题和应用的方法,以确定哪些大脑区域是最重要的精神分裂症的分类所确定的PANSS。HOTS有效地复制和支持了Iris数据集中的基尼重要性、部分依赖图和排列重要性的发现。当应用于精神分裂症患者的大脑数据集时,HOTS能够解决前10个最重要的分类特征,以及与其他特征相比,它们的分类方向性和幅度。交叉验证支持这10个相同的特征在多棵树的决策过程中一直使用,这些特征主要局限于枕叶和顶叶皮质,这是精神分裂症患者常见的大脑区域。当务之急是开发一种方法,能够处理包含大量特征的大型数据集的工作需求。HOTS代表了一种独特的方式来调查的方向性和规模的功能的重要性时,在规模与提升树建模。
2021-04-07 cs.LG stat.ME stat.ML
Variational Boosted Soft Trees
University of Tuebingen(图宾根大学);Amazon(亚马逊);Deekard(迪卡德)
基于决策树的梯度提升机器(GBM)始终在表格数据的回归和分类任务上展示最先进的结果,通常优于深度神经网络。然而,这些模型不能提供良好校准的预测不确定性,这妨碍了它们在高风险应用中用于决策。贝叶斯处理是已知的,以提高预测的不确定性校准,但以前提出的贝叶斯GBM方法要么计算昂贵,或诉诸粗糙的近似。变分推理常用于实现贝叶斯神经网络,但很难应用于GBM,因为用作弱学习器的决策树是不可微的。在本文中,我们建议实现贝叶斯GBM使用变分推理软决策树,一个完全可微的替代标准决策树Irsoy等人介绍的。我们的实验表明,变分软树和变分软GBM提供有用的不确定性估计,同时保持良好的预测性能。与最先进的贝叶斯GBM相比,所提出的模型在7/10的表格回归数据集中显示出更高的测试似然性,并且在5/10的数据集中显示出改进的分布外检测。
2023-02-22 cs.LG stat.ML
Private Boosted Decision Trees via Smooth Re-Weighting
Simon Fraser University(西蒙弗雷泽大学);Boston University(波士顿大学)
保护数据被机器学习算法使用的用户的隐私非常重要。差分隐私是隐私的形式化保证的合适的数学框架,并且提升的决策树是流行的机器学习技术。因此,我们提出并测试了一个实用的算法,以提高决策树,保证差分隐私。隐私是强制执行的,因为我们的助推器从来没有把任何一个例子太多的权重;这确保了每个人的数据从来没有影响一个单一的树“太多。“实验表明,这种提升算法可以产生更好的模型稀疏性和准确性比其他差分私有集成分类器。
2022-01-29 cs.CR cs.DS cs.LG
Induction of Non-Monotonic Logic Programs to Explain Boosted Tree Models Using LIME
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一个启发式算法,诱导\textit{nonmonotonic}逻辑程序,将解释XGBoost训练分类器的行为。我们使用基于LIME方法的技术来局部选择有助于分类决策的最重要的特征。然后,为了解释该模型的全局行为,我们提出了石灰折叠算法-一个基于经验的归纳逻辑程序设计(ILP)算法能够学习非单调逻辑程序-我们应用到转换后的数据集产生的石灰。我们提出的方法是不可知的ILP算法的选择。我们的实验与UCI标准基准表明分类评估指标方面的显着改善。同时,与ALEPH(一种最先进的ILP系统)相比,诱导规则的数量显著减少。
2018-11-09 cs.LG stat.ML
Boosted and Differentially Private Ensembles of Decision Trees
Data61(数据61中心);the Australian National University(澳大利亚国立大学)
决策树(DT)分类器的提升集成在国际竞争中非常受欢迎,然而据我们所知,关于如何使它们成为\textit{also}差分私有(DP),还没有正式的知识,直到随机森林目前在DP阶段占据主导地位。我们的论文首先证明了DT的隐私与提升图片涉及一个显着和一般的技术权衡:对于任何适当的损失,敏感性往往会随着损失的提升率而增加。DT归纳算法从根本上是迭代的,我们的发现意味着非平凡的选择,选择或调整损失,以平衡噪声对效用分裂节点。为了解决这个问题,我们制定了一个新的参数化的适当的损失,称为M $α$ -损失,这,正如我们所示,允许微调的灵敏度与提升保证的完整频谱的权衡。然后,我们引入了\textit{objective calibration}作为一种方法,在DT诱导过程中自适应地调整权衡,以限制隐私预算的花费,同时正式能够以高概率在有限深度节点上保持符合提升的收敛。在19个UCI域上的广泛实验表明,即使在无DP设置中,客观校准也具有很强的竞争力。我们的方法往往非常显着击败随机森林,特别是在高DP制度($\varepsilon \leq 0.1$),甚至与提升合奏包含十倍少的树,这可能是至关重要的保持DT模型的一个关键特征下差分隐私:可解释性。
2020-02-03 cs.LG stat.ML
Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees
University of Oregon(俄勒冈大学)
回归树(GBRT)是解决表格回归问题的一种非常流行的方法,但它不能提供不确定性的估计。我们提出了基于实例的不确定性估计的回归树(IBUG),一个简单的方法扩展任何GBRT点预测产生概率预测。IBUG使用$k$最近的训练实例计算预测周围的非参数分布,其中距离是用树集成内核测量的。IBUG的运行时间取决于集合中每个叶子上的训练样本的数量,并且可以通过采样树或训练实例来改进。从经验上讲,我们发现IBUG在22个基准回归数据集上实现了类似或更好的性能。我们还发现,IBUG可以通过使用不同的基础GBRT模型来实现改进的概率性能,并且可以比竞争方法更灵活地建模预测的后验分布。我们还发现,以前的方法在某些数据集上的概率校准较差,这可以使用在验证数据上调整的标量因子来缓解。源代码可在https://www.github.com/jjbrophy47/ibug上获得。
2022-10-10 cs.LG
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research(百度研究院)
在这项工作中,我们证明了pGMM(“动力广义最小-最大”)内核的(岭)回归的背景下的优势。在最近的先前研究中,pGMM内核已被广泛评估用于分类任务,用于逻辑斯谛回归,支持向量机以及深度神经网络。本文对岭回归进行了实验研究,将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是,即使没有调谐参数(即,$p=1$用于pGMM内核的功率参数),pGMM内核已经表现良好。此外,通过调优参数$p$,这个(看似简单的)pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务,通常,从业者使用$L_2$ boost,即,用于最小化$L_2$损失。有时出于鲁棒性的目的,可能会选择$L_1$增强。在本研究中,我们为$p\geq 1$实现了$L_p$ boost,并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是,最好的性能(在$L_2$回归损失方面)通常在$p>2$,在某些情况下在$p\gg 2$获得。Li等人(UAI 2010)已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之,$L_p$ boost的实现为从业者提供了额外的灵活性,可以调整boosting算法,从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
Interpreting Tree Ensembles with inTrees
树集成,如随机森林和提升树是准确的,但难以理解,调试和部署。在这项工作中,我们提供了inTrees(可解释树)框架,该框架从树集合中提取,测量,修剪和选择规则,并计算频繁的变量交互。一个基于规则的学习器,称为简化的树集成学习器(STEL),也可以形成和用于未来的预测。inTrees框架可以应用于分类和回归问题,并且适用于许多类型的树集合,例如,随机森林、规则化的随机森林和增强树。我们在“inTrees”R包中实现了inTrees算法。
2014-08-23 cs.LG stat.ML
Classification of Time-Series Data Using Boosted Decision Trees
Boston University(波士顿大学);Lehigh University(理海大学)
时间序列数据分类是机器人和自动驾驶汽车等自主系统分析和控制的核心。基于时序逻辑的学习算法最近被提出作为这种数据的分类器。然而,当前的框架要么对于现实世界的应用程序(如自动驾驶)不准确,要么它们生成了缺乏可解释性的冗长而复杂的公式。为了解决这些限制,我们引入了一种新的学习方法,称为提升简明决策树(BCDTs),生成二进制分类器表示为信号时序逻辑(STL)公式。我们的算法利用了一个整体的简洁决策树(CDT),以提高分类性能,其中每个CDT是一个决策树,是由一组技术授权,以产生更简单的公式,提高可解释性。我们的算法的有效性和分类性能进行评估海军监视和城市驾驶的案例研究。
2022-07-07 cs.LG
XBNet : An Extremely Boosted Neural Network
Analytica
神经网络已被证明在处理图像、文本、视频和音频等非结构化数据方面非常强大。然而,已经观察到,它们的性能在表格数据中没有达到标准;因此,在这种情况下,基于树的模型是首选的。一种流行的表格数据模型是提升树,这是一种高效且广泛使用的机器学习方法,与神经网络相比,它还提供了良好的可解释性。在本文中,我们描述了一种新的架构XBNet,它试图将基于树的模型与神经网络相结合,以创建一个强大的架构,通过使用一种新的优化技术,增强梯度下降的表格数据,提高其可解释性和性能的训练。
2022-04-21 cs.LG
Verifiable Boosted Tree Ensembles
Università Ca’ Foscari Venezia(威尼斯卡福斯卡里大学)
本文将可验证学习从基础决策树集成扩展到XGBoost、LightGBM等增强树集成,证明大间隔增强集成对L∞范数攻击可在多项式时间内验证鲁棒性,并提出针对任意Lp范数攻击的伪多项式时间验证算法,兼顾精度与安全验证效率。
2024-02-22 cs.CR cs.LG cs.LO
High-Order Optimization of Gradient Boosted Decision Trees
Criteo AI Lab(科韬人工智能实验室)
梯度提升决策树(GBDTs)是用于建模离散或表格数据的主要机器学习算法。与具有数百万个可训练参数的神经网络不同,GBDTs以加法方式优化损失函数,并且每个叶具有单个可训练参数,这使得易于应用损失函数的高阶优化。在本文中,我们介绍了基于数值优化理论的GBDTs的高阶优化,该理论允许我们基于给定损失函数的高阶导数构造树。在实验中,我们表明,高阶优化具有更快的每次迭代收敛,从而减少运行时间。我们的解决方案可以很容易地并行化,并在GPU上运行,代码开销很小。最后,我们讨论了未来潜在的改进,如自动微分的任意损失函数和结合的GBDTs与神经网络。
2022-11-21 cs.LG
GBDT-MO: Gradient Boosted Decision Trees for Multiple Outputs
Xidian University(西安电子科技大学)
梯度提升决策树(GBDTs)广泛应用于机器学习中,并且当前GBDTs实现的输出是单个变量。当存在多个输出时,GBDT构造与输出变量相对应的多个树。这种策略忽略了变量之间的相关性,导致学习到的树结构的冗余。在本文中,我们提出了一种通用的方法来学习GBDT的多个输出,称为GBDT-MO。GBDT-MO的每个叶构造所有变量或自动选择的变量的子集的预测。这是通过考虑所有输出变量的目标增益的总和来实现的。此外,我们将直方图近似扩展到多个输出的情况下,以加快训练过程。在合成和真实世界数据集上的各种实验验证了GBDT-MO在准确性和训练速度方面都取得了出色的性能。我们的代码可在线获得。
2019-12-28 cs.CV cs.LG
NPBoost: Neural Processes with Gradient-Boosted Fixed Effects
ETH Zurich(苏黎世联邦理工学院);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
针对神经过程在共享结构不规则时性能受限的问题,提出NPBoost,将响应分解为树提升固定效应与NP随机效应,联合训练提升元学习性能。
2026-09-24 cs.LG stat.ML
TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees
本文提出首个基于梯度提升树的CCA方法TreeCCA,兼具非线性精度与可解释性,在多类基准上性能优于或相当Deep CCA等方法,成本更低且可提供数据解释。
2026-07-30 cs.LG
Deep Neural Network as an alternative to Boosted Decision Trees for PID
Sapienza Universita di Roma(罗马大学)
在本文中,我们重新创建,并改进,在Roe等人(2005年)的论文“提升决策树作为替代人工神经网络的粒子识别”中提出的粒子的二进制分类方法。这种粒子是τ中微子,我们将把它称为背景,以及电子中微子:我们感兴趣的信号。在最初的论文中,首选的算法是Boosted决策树。这是因为它的调优工作量很小,而且当时的整体性能很好。我们的实现选择是深度神经网络,速度更快,性能更有前途。我们将展示如何使用现代技术,我们能够在准确性和训练时间方面改进原始结果。
2021-04-28 cs.LG physics.comp-ph physics.data-an
Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning
IBM Research - Almaden(IBM阿尔马登研究中心)
联邦学习(FL)是一种跨多方协作训练模型的方法,而无需在各方或聚合器之间共享数据。它既用于消费者领域,以保护个人数据,也用于企业环境,其中处理数据住所监管和数据孤岛的实用性是主要驱动力。虽然XGBoost等梯度提升树实现在许多用例中都非常成功,但由于使用加密和隐私方法,其联邦学习适应性往往非常缓慢,并且没有广泛使用。我们提出了用于联邦学习的Party-Adaptive XGBoost(PAX),这是一种新的梯度提升实现,它利用了一种Party-Adaptive直方图聚合方法,而不需要数据加密。它构造了数据分布的代理表示,用于查找决策树的分裂。我们的实验结果证明了强大的模型性能,特别是在非IID分布上,并且在不同数据集上的训练运行时间比现有的联邦实现要快得多。这种方法使得梯度提升树在企业联邦学习中的使用变得实用。
2020-12-11 cs.DC cs.LG
Boosted Trees on a Diet: Compact Models for Resource-Constrained Devices
University of Münster(明斯特大学);University of Rostock(罗斯托克大学);University of Copenhagen(哥本哈根大学)
本文提出了一种提升决策树的压缩方法,通过减少内存足迹实现轻量级模型,适用于资源受限的物联网设备。
2026-03-03 cs.LG
FastBDT: A speed-optimized and cache-friendly implementation of stochastic gradient-boosted decision trees for multivariate classification
Karlsruher Institut für Technologie(卡尔斯鲁厄理工学院)
随机梯度提升决策树被广泛用于多变量分类和回归任务。本文提出了一种速度优化和缓存友好的多变量分类实现称为FastBDT。与TMVA、scikit-learn和XGBoost等软件框架中的流行实现相比,FastBDT在适配阶段和应用阶段快了一个数量级。本文详细讨论了用于优化执行时间和性能研究的概念。主要想法包括:对输入数据的等频率合并,允许用整数运算取代昂贵的浮点运算,同时提高分类的质量;对输入数据的高速缓存友好的线性访问模式,与通常的实现相反,通常的实现表现出随机访问模式。FastBDT提供C/C++、Python和TMVA的接口。它被Belle II实验广泛应用于高能物理领域。
2016-09-20 cs.LG
To Boost or not to Boost: On the Limits of Boosted Neural Networks
University of Maryland(马里兰大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
Boosting是一种通过线性组合许多“弱”假设来找到高度准确的假设的方法,其中每个假设可能只是中等准确。因此,boosting是一种用于学习分类器集合的方法。虽然提升已被证明对决策树非常有效,但其对神经网络的影响尚未得到广泛研究。我们证明了决策树的总和与卷积神经网络(CNN)的总和之间的一个重要区别,即决策树的总和不能由具有相同数量参数的单个决策树表示,而CNN的总和可以由单个CNN表示。接下来,使用标准的对象识别数据集,我们通过实验验证了众所周知的结果,即决策树的提升集成通常比具有相同数量的参数的单个决策树在测试数据上更好地推广。相比之下,使用相同的数据集和提升算法,我们的实验表明,当使用神经网络(CNN和多层感知器(MLP))时,情况正好相反。我们发现,一个单一的神经网络通常比一个更小的神经网络具有相同的参数总数的提升合奏更好地推广。
2021-07-28 cs.LG
Fast inference of Boosted Decision Trees in FPGAs for particle physics
European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Columbia University(哥伦比亚大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Massachusetts Institute of Technology(麻省理工学院);Rhodes College(罗德学院);Fermi National Accelerator Laboratory(费米国家加速器实验室);Institute of Physics Belgrade(贝尔格莱德物理研究所);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
我们描述了提升决策树在hls 4 ml库中的实现,该库允许通过自动转换过程将训练模型转换为FPGA固件。由于其完全的片上实现,hls 4 ml以极低的延迟执行Boosted Decision Tree模型的推理。该解决方案的典型延迟小于100 ns,适用于基于FPGA的实时处理,例如对撞机实验的Level-1触发系统。这些发展为物理学家在FPGA中部署BDT开辟了前景,以识别喷流的起源,更好地重建μ子的能量,并能够更好地选择罕见的信号过程。
2020-02-19 astro-ph.IM cs.LG hep-ex
NRGBoost: Energy-Based Generative Boosted Trees
Feedzai(费兹公司)
针对表格数据生成任务,提出基于能量的生成式提升算法NRGBoost,类似XGBoost的二阶提升,能建模数据密度、处理任意输入变量推理任务,在真实数据集上判别性能接近GBDT且优于其他生成方法,采样竞争力与神经网络模型相当。
2025-04-18 cs.LG
KellyBoost: Growth-Optimal Portfolio Construction with Gradient-Boosted Trees
该研究提出名为KellyBoost的多输出XGBoost模型,以精确负对数增长率为损失函数,推导并验证相关海森矩阵,实现基于特征的增长最优投资组合配置。
2026-08-25 cs.LG q-fin.PM
On Subagging Boosted Probit Model Trees
Lehigh University(理海大学)
本研究基于方差-偏差分解提出混合装袋-提升分类算法SBPMT,以概率单位模型树为AdaBoost基分类器,通过子采样装袋组合提升模型,经理论与仿真验证其性能优异且具调优指导意义。
2023-11-06 cs.LG stat.AP stat.ML
Gradient Boosted Filters For Signal Processing
Intel Labs(英特尔实验室);Intel Corp.(英特尔公司)
针对梯度提升模型在信号处理领域应用不足的问题,本研究提出采用Hammerstein系统替代决策树的动态数据梯度提升滤波器,论证了其与Volterra级数的关联并提供理论支撑,通过实验验证了方法的有效泛化性。
2024-05-15 cs.LG
Boosted Off-Policy Learning
Amazon(亚马逊)
该研究提出首个日志老虎机反馈下的离策略提升算法,直接优化策略期望回报估计,证明弱学习条件下超额经验风险可快速下降,可复用决策树等监督学习基学习器,实验显示其性能优于深度神经网络离策略学习及简单回报回归方法。
2023-05-02 cs.IR cs.LG stat.ML
Evasion and Hardening of Tree Ensemble Classifiers
University of California, Berkeley(加州大学伯克利分校)
分类器规避包括为给定实例$x$找到最近的实例$x'$,使得$x$和$x'$的分类器预测不同。我们提出了两种新的算法,系统地计算规避树集成,如提升树和随机森林。我们的第一个算法使用混合线性规划求解器,并在一组表达约束下找到最佳规避实例。我们的第二个算法权衡使用符号预测,一种新的算法快速有限差分树合奏的速度最优。在数字识别任务中,我们证明了梯度提升树和随机森林都非常容易受到逃避。最后,我们通过使用规避实例增强每个boosting回合的训练集来强化boosted树模型,而不会损失预测准确性,这种技术我们称为对抗性boosting。
2016-05-27 cs.CR cs.LG stat.ML
PINE: Pruning Boosted Tree Ensembles with Conformal In-Distribution Prediction Equivalence
The University of Tokyo(东京大学)
提出PINE方法,通过共形校准控制分布内区域,在保持预测等价的同时将剪枝压缩比提升高达30%。
2026-05-29 cs.LG
Inferring Temporal Logic Properties from Data using Boosted Decision Trees
Boston University(波士顿大学);Lehigh University(理海大学)
许多自主系统,如机器人和自动驾驶汽车,涉及复杂环境中的实时决策,并需要从有限的数据中预测未来的结果。此外,为了安全和值得信赖的共存,它们的决定越来越需要对人类进行解释。本文是基于可解释学习的机器人控制的第一步。我们引入了一种新的学习问题,称为增量公式和预测学习,从时间序列数据生成具有时态逻辑结构的二进制分类器。分类器表示为对信号时序逻辑(STL)的公式和预测他们的满意度。增量属性提供对随时间揭示的前缀信号的标签的预测。我们提出了一个提升的决策树算法,利用弱,但计算成本低,学习者,以提高预测和运行时性能。我们的算法的有效性和分类精度进行了评估,对驾驶和海军监视的案例研究。
2021-05-24 cs.FL cs.LG cs.RO
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire(新罕布什尔大学)
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案,以解决强化学习问题。Boosting结合了几个回归树,以提高其准确性,而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上,但在可解释的强化学习方面进展甚微。我们的实验结果表明,增强回归树计算的解决方案既可解释,又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
Disentangled Attribution Curves for Interpreting Random Forests and Boosted Trees
UC Berkeley(加州大学伯克利分校)
树集成,如随机森林和AdaBoost,是普遍存在的机器学习模型,以在各种领域实现强大的预测性能而闻名。然而,这种强大的性能是以可解释性为代价的(即用户无法理解经过训练的随机森林已经学习的关系以及它为什么要进行预测)。特别是,理解特定特征或特征组的贡献如何随着其值的变化而变化是具有挑战性的。为了解决这个问题,我们引入了分解属性曲线(DAC),一种以(多变量)特征重要性曲线的形式提供树集成方法的解释的方法。对于一个给定的变量或一组变量,DAC绘制变量值变化时变量的重要性。我们验证DAC的真实数据显示,曲线可以用来提高逻辑斯谛回归的准确性,同时保持可解释性,包括DAC作为一个额外的功能。在模拟研究中,DAC被证明在恢复条件期望方面优于竞争方法。最后,通过对自行车共享数据集的案例研究,我们展示了使用DAC来揭示数据集的新见解。
2019-05-18 cs.LG stat.ME stat.ML
LoBoost: Model-Native Local Conformal Prediction for Gradient-Boosted Trees
Federal University of São Carlos(巴西圣卡洛斯联邦大学);University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Science(数学与计算机科学学院);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立应用科学研究院);LJK(格勒诺布尔联合实验室)
LoBoost提出了一种基于梯度提升树的快速模型原生局部符合预测方法,通过利用已拟合集成模型的叶子结构进行多尺度校准,提高了适应性和效率。
2026-11-11 cs.LG stat.ML