Gradient Boosted Binary Histogram Ensemble for Large-scale Regression
University of Twente（特文特大学）；Renmin University of China（中国人民大学）；Peking University（北京大学）
在本文中，我们提出了一个梯度提升算法的大规模回归问题称为\textit{Gradient Boosted Binary Histogram Ensemble}（GBBHE）的基础上二进制直方图分区和集成学习。从理论的角度来看，通过假设目标函数的Hölder连续性，我们建立了GBBHE在空间$C^{0,α}$和$C^{1,0}$中的统计收敛速度，其中基本学习器的收敛速度的下限证明了提升的优势。此外，在$C^{1,0}$空间中，我们证明了使用集成回归器作为基学习器可以减少迭代次数以达到快速收敛速度，从而提高了计算效率。在实验中，与其他国家的最先进的算法，如梯度提升回归树（GBRT），Breiman的森林，和基于核的方法相比，我们的GBBHE算法表现出良好的性能与更少的运行时间在大规模数据集上。
2021-06-03 cs.LG stat.ML
Gradient Boosted Decision Tree Neural Network
Netflix（奈飞）
在本文中，我们提出了一种方法来建立一个神经网络，类似于一个集成的决策树。我们首先说明如何将学习的决策树集合转换为具有一个隐藏层和一个输入变换的单个神经网络。然后，我们放松这个网络的一些属性，如阈值和激活函数，训练一个近似等价的决策树集成。最后一个模型Hammock非常简单：一个完全连接的两层神经网络，其中输入被量化和独热编码。在大数据集和小数据集上的实验表明，这种简单的方法可以获得类似于梯度提升决策树的性能。
2019-11-05 cs.LG stat.ML
Interpretable MTL from Heterogeneous Domains using Boosted Tree
Ant Financial Services Group（蚂蚁金融服务集团）
多任务学习（MTL）旨在通过利用其中包含的有用信息来提高多个相关任务的泛化性能。然而，在工业场景中，总是要求可解释性，并且不同任务的数据可能在异构域中，使得现有方法不适合或不令人满意。在本文中，遵循提升树的哲学，我们提出了一个两阶段的方法。在第一阶段，建立一个通用模型，使用所有实例的共同特征来学习共性。与传统的boosted tree模型的训练不同，我们提出了一种正则化策略和提前停止机制来优化多任务学习过程。在第二阶段，首先拟合通用模型的残差，然后利用特定任务实例构建特定模型，以进一步提高性能。在基准数据集和真实数据集上的实验验证了该方法的有效性。而且，基于树的方法可以自然地获得可解释性，满足工业需要。
2020-03-16 cs.LG stat.ML
NPBoost: Neural Processes with Gradient-Boosted Fixed Effects
ETH Zurich（苏黎世联邦理工学院）；Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
针对神经过程在共享结构不规则时性能受限的问题，提出NPBoost，将响应分解为树提升固定效应与NP随机效应，联合训练提升元学习性能。
2026-09-24 cs.LG stat.ML
srlearn: A Python Library for Gradient-Boosted Statistical Relational Models
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们介绍srlearn，一个用于增强统计关系模型的Python库。我们调整scikit-learn接口以适应这种设置，并提供如何使用它来表达学习和推理问题的示例。
2019-12-17 cs.AI cs.LG stat.ML
Verifying Robustness of Gradient Boosted Models
Nokia（诺基亚）；Bell Labs（贝尔实验室）
梯度提升模型是一种基本的机器学习技术。对输入的小扰动的鲁棒性是机器学习模型的重要质量度量，但文献缺乏证明梯度提升模型鲁棒性的方法。这项工作介绍了VeriGB，用于量化梯度增强模型的鲁棒性的工具。VeriGB将模型和鲁棒性属性编码为SMT公式，这使得最先进的验证工具能够证明模型的鲁棒性。我们在公开的数据集上广泛评估了VeriGB，并展示了验证大型模型的能力。最后，我们表明，一些模型配置往往是固有的比其他更强大。
2019-06-26 cs.AI cs.CR cs.LG
Gradient Boosted Filters For Signal Processing
Intel Labs（英特尔实验室）；Intel Corp.（英特尔公司）
针对梯度提升模型在信号处理领域应用不足的问题，本研究提出采用Hammerstein系统替代决策树的动态数据梯度提升滤波器，论证了其与Volterra级数的关联并提供理论支撑，通过实验验证了方法的有效泛化性。
2024-05-15 cs.LG
Provably Robust Boosted Decision Stumps and Trees against Adversarial Attacks
University of Tübingen（图宾根大学）
对抗性鲁棒性问题已经被广泛地研究了神经网络。然而，对于提升的决策树和决策树，几乎没有结果，即使它们由于其准确性，可解释性和效率而在实践中广泛使用（例如XGBoost）。我们在本文中表明，对于提升决策树桩的\textit{exact}最小-最大鲁棒损失和测试错误的$l_\infty$攻击可以计算在$O(T\log T)$时间每输入，其中$T$是决策树桩的数量和集成的最佳更新步骤可以在$O(n^2\,T\log T)$，其中$n$是数据点的数量。对于提升树，我们展示了如何有效地计算和优化鲁棒损失的上限，这导致了MNIST（$ε_\infty=0.3$为12.5%），FMNIST（$ε_\infty=0.1$为23.2%）和CIFAR-10（$ε_\infty=8/255$为74.7%）上提升树的最先进的鲁棒测试误差。此外，我们实现的鲁棒测试错误率与可证明鲁棒的卷积网络相比具有竞争力。我们所有实验的代码都可以在www.example.com上找到。
2019-10-30 cs.CR cs.LG stat.ML
Relational Boosted Regression Trees
University of Pittsburgh（匹兹堡大学）
许多任务使用关系数据库中的数据来训练增强回归树模型。在本文中，我们给了一个关系适应的贪心算法训练提升回归树。对于计算数据集的残差平方和的子问题，这占主导地位的提升算法的运行时间，我们提供了一个$(1 + ε)$近似使用张量草图技术。在关系提升回归树算法中使用这种近似可以学习类似的模型参数，但具有渐进更好的运行时间。
2021-07-25 cs.DB cs.DS cs.LG
XBNet : An Extremely Boosted Neural Network
Analytica
神经网络已被证明在处理图像、文本、视频和音频等非结构化数据方面非常强大。然而，已经观察到，它们的性能在表格数据中没有达到标准;因此，在这种情况下，基于树的模型是首选的。一种流行的表格数据模型是提升树，这是一种高效且广泛使用的机器学习方法，与神经网络相比，它还提供了良好的可解释性。在本文中，我们描述了一种新的架构XBNet，它试图将基于树的模型与神经网络相结合，以创建一个强大的架构，通过使用一种新的优化技术，增强梯度下降的表格数据，提高其可解释性和性能的训练。
2022-04-21 cs.LG
Adaptively Pruning Features for Boosted Decision Trees
Northeastern University（东北大学）
提升决策树在各种应用中很受欢迎;然而，对于大规模数据集，在每轮中训练决策树的成本可能非常昂贵。受多臂强盗文献的启发，我们开发了一种高效的算法来计算精确的贪婪最优决策树，性能优于最先进的Quick Boost方法。我们进一步开发了一个框架，用于导出适用于广泛的家庭的任务（包括我们的算法和快速升压）的算法的问题的下限，我们证明经验上的各种数据集，我们的算法是接近最佳的算法在这个家庭。我们还推导出一个适用于任何算法解决任务的下限，我们证明了我们的算法凭经验达到接近这个最佳可实现的下限的性能。
2018-05-19 cs.AI cs.LG stat.ML
Boosted Generative Models
Stanford University（斯坦福大学）
我们提出了一种新的方法，用于使用无监督提升来创建生成模型的集合，其中模型按顺序训练以纠正早期错误。我们的元算法框架可以利用任何允许可能性评估的现有基础学习器，包括最近的深度表达模型。此外，我们的方法允许集成包括经过训练的判别模型，以区分真实数据和模型生成的数据。我们展示了理论条件，在此条件下，将一个新的模型集成在合奏将提高拟合和经验证明我们的黑盒提升算法的有效性密度估计，分类和样本生成的基准数据集上的广泛的生成模型。
2017-12-22 cs.AI cs.LG stat.ML
Gradient Boosted Normalizing Flows
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
通过链接一系列可微可逆变换，规范化流（NF）提供了一种后验近似，精确密度估计和采样的表达方法。规范化流文献的趋势是设计更深入、更复杂的转换，以实现更大的灵活性。我们提出了一种替代方案：梯度提升归一化流（GBNF）模型的密度连续添加新的NF组件与梯度提升。在boosting框架下，每个新的NF分量优化样本加权似然目标，从而产生与先前训练的分量的残差拟合的新分量。GBNF公式导致混合模型结构，其灵活性随着添加更多组件而增加。此外，GBNF提供了一个更广泛的，而不是严格的更深入的方法，以额外的培训为代价改进现有的NF-而不是更复杂的转换。我们证明了这种技术的有效性，密度估计，并通过耦合GBNF与变分自编码器，生成的图像建模。我们的研究结果表明，GBNF优于其非增强模拟，并且在某些情况下，用更小、更简单的流产生更好的结果。
2020-10-17 cs.CV cs.LG stat.ML
To Boost or not to Boost: On the Limits of Boosted Neural Networks
University of Maryland（马里兰大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
Boosting是一种通过线性组合许多“弱”假设来找到高度准确的假设的方法，其中每个假设可能只是中等准确。因此，boosting是一种用于学习分类器集合的方法。虽然提升已被证明对决策树非常有效，但其对神经网络的影响尚未得到广泛研究。我们证明了决策树的总和与卷积神经网络（CNN）的总和之间的一个重要区别，即决策树的总和不能由具有相同数量参数的单个决策树表示，而CNN的总和可以由单个CNN表示。接下来，使用标准的对象识别数据集，我们通过实验验证了众所周知的结果，即决策树的提升集成通常比具有相同数量的参数的单个决策树在测试数据上更好地推广。相比之下，使用相同的数据集和提升算法，我们的实验表明，当使用神经网络（CNN和多层感知器（MLP））时，情况正好相反。我们发现，一个单一的神经网络通常比一个更小的神经网络具有相同的参数总数的提升合奏更好地推广。
2021-07-28 cs.LG
Bagged Boosted Trees for Classification of Ecological Momentary Assessment Data
Maastricht University（马斯特里赫特大学）
生态瞬时评估（EMA）数据按多个级别组织（每个受试者、每天等）并且在EMA中使用的机器学习算法（如决策树及其变体）中应该考虑这种特定结构。我们提出了一种新的算法称为BBT（代表Bagged Boosted Trees），该算法通过过/欠采样方法进行增强，可以为条件类概率函数提供更好的估计。在真实数据集上的实验结果表明，BBT可以提高EMA数据分类和性能。
2016-07-06 cs.LG
Computing Abductive Explanations for Boosted Trees
CRIL；Université d’Artois（阿尔图瓦大学）；CNRS（法国国家科学研究中心）；Institut Universitaire de France（法国大学研究院）
提升树是一种占主导地位的ML模型，具有很高的准确性。然而，提升树是很难理解的，这是一个问题，每当他们被用于安全关键应用。事实上，在这种情况下，对所作预测的严格解释是值得期待的。最近的工作表明，如何子集最小的溯因解释可以得到提升树，使用自动推理技术。然而，在一般情况下，产生这种有充分根据的解释是困难的。为了提高其生成的可扩展性，我们引入了树特定的解释的概念，提升树。我们表明，树特定的解释是溯因解释，可以计算在多项式时间。我们还解释了如何从一个特定的树的解释导出一个子集最小的溯因解释。各种数据集上的实验显示了利用特定于树的解释来导出子集最小溯因解释的计算益处。
2022-09-16 cs.AI cs.LG
Diffusion Boosted Trees
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
结合去噪扩散概率模型和梯度提升的优点，引入扩散提升范式来解决监督学习问题。我们开发的扩散提升树（DBT），它可以被看作是一个新的去噪扩散生成模型参数化的决策树（一个单一的树为每个扩散时间步），和一个新的提升算法，结合弱学习到一个强学习的条件分布，而不作出明确的参数假设，其密度形式。我们通过实验证明了DBT在基于深度神经网络的扩散模型上的优势，以及DBT在现实世界回归任务上的能力，并提出了一个商业应用（欺诈检测）DBT对具有学习延迟能力的表格数据进行分类。
2024-06-03 cs.AI cs.LG stat.AP
Private Boosted Decision Trees via Smooth Re-Weighting
Simon Fraser University（西蒙弗雷泽大学）；Boston University（波士顿大学）
保护数据被机器学习算法使用的用户的隐私非常重要。差分隐私是隐私的形式化保证的合适的数学框架，并且提升的决策树是流行的机器学习技术。因此，我们提出并测试了一个实用的算法，以提高决策树，保证差分隐私。隐私是强制执行的，因为我们的助推器从来没有把任何一个例子太多的权重;这确保了每个人的数据从来没有影响一个单一的树“太多。“实验表明，这种提升算法可以产生更好的模型稀疏性和准确性比其他差分私有集成分类器。
2022-01-29 cs.CR cs.DS cs.LG
A Rectification-Based Approach for Distilling Boosted Trees into Decision Trees
Univ. Artois（阿诺学校）；CNRS（国家科学研究中心）；CRIL（认知与语言研究所）；Institut Universitaire de France（法国国家科学院）
本研究提出一种基于校正的提升树到决策树的蒸馏方法，以在预测性能与可解释性间取得可接受折中，实验显示其效果优于重训练式蒸馏方法。
2025-10-21 cs.AI cs.LG
Wind ramp event prediction with parallelized Gradient Boosted Regression Trees
Indian Institute of Technology（印度理工学院）；Deakin University（迪肯大学）
准确预测风变事件对于保证高风能渗透率电力系统的可靠性和稳定性至关重要。本文提出了一种基于分类的方法来估计未来类的风斜坡事件的基础上一定的阈值。提出了一种基于并行化梯度提升回归树的技术，用于准确分类正常和罕见的极端风力发电斜坡事件。该模型已得到验证，使用风力发电数据从国家可再生能源实验室数据库。与几个基准技术的性能比较表明，所提出的技术在优越的分类精度方面的优越性。
2016-10-17 cs.AI cs.LG
ENIGMA-NG: Efficient Neural and Gradient-Boosted Inference Guidance for E
Czech Technical University in Prague（布拉格捷克理工大学）
我们描述了一个有效的实现条款的指导饱和为基础的自动定理证明扩展的ENIGMA方法。与第一个ENIGMA实现不同，在第一个ENIGMA实现中，快速线性分类器被训练并与手动设计的特征一起使用，我们已经开始试验更复杂的最先进的机器学习方法，如梯度提升树和递归神经网络。特别是后一种方法在条款评估的效率方面提出了挑战，但是，我们表明，神经评估与ATP数据结构的深度集成可以在很大程度上摊销这种成本，并导致有竞争力的实时结果。这两种方法进行了评估的大型数据集的定理证明问题，并与以前的方法进行了比较。由此产生的方法改进了手动设计的条款指导，提供了第一个实际上令人信服的应用梯度提升和神经条款指导饱和式自动定理证明。
2019-03-07 cs.AI cs.LG cs.LO
