Margins are Insufficient for Explaining Gradient Boosting
Aarhus University（奥胡斯大学）
Boosting是机器学习中最成功的想法之一，几乎不需要微调就可以实现很好的实际性能。提升分类器的成功通常归因于边缘的改善。对边缘解释的关注是由Schapire et al.（1998）开创的开创性工作，并在Gao和Zhou（2013）的$k$的边缘概括中达到高潮，最近被证明对于某些数据分布来说是接近紧密的（Gronlund et al. 2019）。在这项工作中，我们首先证明了$k$的第三边界是不够的，在解释国家的最先进的梯度助推器的性能。然后，我们解释了短期的$k$ 'th边缘界，并证明了一个更强大，更精细的边缘为基础的推广界的提升分类器，确实成功地解释了现代梯度助推器的性能。最后，我们改进了Grønlund et al.（2019）最近的泛化下界。
2020-11-10 cs.LG stat.ML
XBNet : An Extremely Boosted Neural Network
Analytica
神经网络已被证明在处理图像、文本、视频和音频等非结构化数据方面非常强大。然而，已经观察到，它们的性能在表格数据中没有达到标准;因此，在这种情况下，基于树的模型是首选的。一种流行的表格数据模型是提升树，这是一种高效且广泛使用的机器学习方法，与神经网络相比，它还提供了良好的可解释性。在本文中，我们描述了一种新的架构XBNet，它试图将基于树的模型与神经网络相结合，以创建一个强大的架构，通过使用一种新的优化技术，增强梯度下降的表格数据，提高其可解释性和性能的训练。
2022-04-21 cs.LG
Residual Networks Behave Like Boosting Algorithms
Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney（悉尼科技大学）；Suncorp Group Limited（Suncorp集团有限公司）
我们证明了残差网络（ResNet）相当于提升特征表示，而无需对底层ResNet训练算法进行任何修改。证明了一个基于在线梯度提升理论的遗憾界，并指出ResNet可以通过神经网络的结构变化，在单位跳连接中加入收缩参数，并使用具有最大范数界的残差模块来实现在线梯度提升遗憾界。通过ResNet和Online Boosting之间的这种关系，可以基于改变残差模块来构建新的特征表示增强算法。我们通过提出决策树残差模块来构建一个新的提升决策树算法，并证明这两种方法的泛化误差界来证明这一点;放松BoostResNet算法中的约束，使其能够以核心外的方式进行训练。我们评估了有和没有收缩修改的卷积ResNet，以证明其有效性，并证明我们的在线提升决策树算法与最先进的离线提升决策树算法相当，而没有离线方法的缺点。
2019-09-25 cs.LG stat.ML
PSO Fuzzy XGBoost Classifier Boosted with Neural Gas Features on EEG Signals in Emotion Recognition
Pars AI Company（Pars AI公司）
本文提出将神经气体网络、PSO与模糊逻辑集成到XGBoost中，用于脑电信号情绪识别，实验表明该方法在多数分类器上优于其他特征选择技术，显著提升了识别准确率。
2024-08-30 cs.LG cs.NE
TF Boosted Trees: A scalable TensorFlow based framework for gradient boosting
Google, Inc.（谷歌公司）
TF Boosted Trees（TFBT）是一个新的开源框架，用于梯度提升树的分布式训练。它基于TensorFlow，其显着特征包括新颖的架构，自动损失区分，逐层提升，导致更小的集合和更快的预测，原则性的多类处理，以及一些正则化技术，以防止过拟合。
2017-10-31 cs.LG stat.ML
Feature Selection via Regularized Trees
Intuit（财捷集团）；Arizona State University（亚利桑那州立大学）
我们提出了一个树正则化框架，使许多树模型，以执行特征选择有效。正则化框架的关键思想是当其增益（例如信息增益）与先前分裂中使用的特征相似时，惩罚选择新特征进行分裂。正则化框架在这里被应用于随机森林和提升树，并且可以很容易地应用于其他树模型。实验结果表明，正则化树可以选择高质量的特征子集的强，弱分类器。由于树模型可以自然地处理分类和数值变量、缺失值、变量之间的不同尺度、相互作用和非线性等，树正则化框架为许多实际问题提供了有效且高效的特征选择解决方案。
2012-03-21 cs.LG stat.ME stat.ML
Gradient Boosted Decision Tree Neural Network
Netflix（奈飞）
在本文中，我们提出了一种方法来建立一个神经网络，类似于一个集成的决策树。我们首先说明如何将学习的决策树集合转换为具有一个隐藏层和一个输入变换的单个神经网络。然后，我们放松这个网络的一些属性，如阈值和激活函数，训练一个近似等价的决策树集成。最后一个模型Hammock非常简单：一个完全连接的两层神经网络，其中输入被量化和独热编码。在大数据集和小数据集上的实验表明，这种简单的方法可以获得类似于梯度提升决策树的性能。
2019-11-05 cs.LG stat.ML
srlearn: A Python Library for Gradient-Boosted Statistical Relational Models
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们介绍srlearn，一个用于增强统计关系模型的Python库。我们调整scikit-learn接口以适应这种设置，并提供如何使用它来表达学习和推理问题的示例。
2019-12-17 cs.AI cs.LG stat.ML
Tree-Structured Boosting: Connections Between Gradient Boosted Stumps and Full Decision Trees
University of Pennsylvania（宾夕法尼亚大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）；University of Maryland Medical Center（马里兰大学医学中心）
加法模型，例如由梯度提升产生的，以及全交互模型，例如分类和回归树（CART），是广泛使用的算法，这些算法在很大程度上被孤立地研究。我们表明，这些模型存在于一个频谱，揭示了这两种方法之间前所未有的联系。本文介绍了一种新的技术，称为树结构的提升，用于创建一个单一的决策树，并表明，这种方法可以产生模型相当于CART或梯度提升树桩在极端情况下，通过改变一个参数。虽然树结构提升的设计主要是为了提供模型的可解释性和高风险应用（如医学）所需的预测性能，但它也可以产生由CART和提升的树桩之间的混合模型表示的决策树，这些混合模型可以优于这些方法。
2017-11-18 cs.LG stat.ML
Learning Gradient Boosted Multi-label Classification Rules
TU Darmstadt（达姆施塔特工业大学）；JKU Linz（林茨约翰内斯·开普勒大学）；Paderborn University（帕德博恩大学）
在多标签分类中，预测的评估不如单标签分类直接，已经提出了各种有意义的，尽管不同的损失函数。理想情况下，学习算法应该是针对性能度量的特定选择可定制的。从这个角度来看，提升的现代实现，最突出的是梯度提升决策树，似乎很有吸引力。然而，它们大多限于单标签分类，因此不适合多标签丢失，除非这些是标签方式可分解的。在这项工作中，我们开发了一个泛化的梯度提升框架多输出问题，并提出了一种算法，用于学习多标签分类规则，能够最大限度地减少可分解以及不可分解的损失函数。以著名的汉明损失和子集0/1损失为代表，分析了该方法在合成数据上的能力和局限性，并在多标签基准测试上评估了其预测性能。
2020-06-23 cs.LG stat.ML
Verifying Robustness of Gradient Boosted Models
Nokia（诺基亚）；Bell Labs（贝尔实验室）
梯度提升模型是一种基本的机器学习技术。对输入的小扰动的鲁棒性是机器学习模型的重要质量度量，但文献缺乏证明梯度提升模型鲁棒性的方法。这项工作介绍了VeriGB，用于量化梯度增强模型的鲁棒性的工具。VeriGB将模型和鲁棒性属性编码为SMT公式，这使得最先进的验证工具能够证明模型的鲁棒性。我们在公开的数据集上广泛评估了VeriGB，并展示了验证大型模型的能力。最后，我们表明，一些模型配置往往是固有的比其他更强大。
2019-06-26 cs.AI cs.CR cs.LG
Gradient Boosted Filters For Signal Processing
Intel Labs（英特尔实验室）；Intel Corp.（英特尔公司）
针对梯度提升模型在信号处理领域应用不足的问题，本研究提出采用Hammerstein系统替代决策树的动态数据梯度提升滤波器，论证了其与Volterra级数的关联并提供理论支撑，通过实验验证了方法的有效泛化性。
2024-05-15 cs.LG
Extreme Gradient Boosted Multi-label Trees for Dynamic Classifier Chains
Technische Universität Darmstadt（达姆施塔特工业大学）
分类器链是多标签分类中的关键技术，因为它允许有效地考虑标签依赖性。然而，分类器根据标签的静态顺序对齐。在动态分类器链（DCC）的概念中，标签排序是根据手头的相应实例动态地为每个预测选择的。我们将这个概念与极端梯度提升树（XGBoost）的提升相结合，这是一种有效且可扩展的最先进技术，并将DCC纳入我们公开提供的XGBoost的快速多标签扩展中。由于仅需预测阳性标签，并且这些标签通常很少，因此可以进一步大幅降低训练成本。此外，正如在11个数据集上的实验所示，链的长度允许对先前预测的使用进行更多的控制，因此可以对想要优化的度量进行更多的控制。
2020-06-15 cs.LG stat.ML
SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems
Sber AI Lab（俄罗斯联邦储蓄银行人工智能实验室）；HSE University（俄罗斯国立高等经济大学）
梯度提升决策树（GBDT）是一种广泛使用的机器学习算法，已被证明可以在许多标准数据科学问题上实现最先进的结果。我们感兴趣的是它的应用程序的多输出问题时，输出是高度多维的。虽然有非常有效的GBDT实现，他们的可扩展性，这样的问题仍然是不令人满意的。在本文中，我们提出了新的方法，旨在加快训练过程中的GBDT在多输出的情况下。这些方法背后的思想在于用于找到决策树的最佳分裂的评分函数的近似计算。这些方法在SketchBoost中实现，SketchBoost本身集成到我们基于Python的易于定制的GBDT GPU实现中，称为Py-Boost。我们的数值研究表明，SketchBoost将GBDT的训练过程加快了40倍以上，同时实现了相当甚至更好的性能。
2022-11-23 cs.LG stat.ML
Finding Influential Training Samples for Gradient Boosted Decision Trees
University of Amsterdam（阿姆斯特丹大学）；Yandex（Yandex公司）；Princeton University（普林斯顿大学）
我们解决了为基于树集合的模型的特定情况找到有影响力的训练样本的问题，例如，随机森林（RF）或梯度提升决策树（GBDT）。将这个问题形式化的一种自然方法是研究模型的预测在留一再训练时如何变化，省去每个单独的训练样本。最近的工作表明，对于参数模型，这种分析可以以计算效率高的方式进行。我们提出了几种方法扩展这个框架的非参数GBDT合奏的假设下，树结构保持固定。此外，我们引入了一个一般的计划，获得进一步的近似我们的方法，平衡性能和计算复杂性之间的权衡。我们在各种实验设置和用例场景中评估了我们的方法，并展示了我们的方法在寻找有影响力的训练样本方面的质量，与基线相比，以及它的计算效率。
2018-03-12 cs.LG stat.ML
Boost-R: Gradient Boosted Trees for Recurrence Data
University of Arkansas（阿肯色大学）；Arizona State University（亚利桑那州立大学）
复发数据来自跨可靠性，网络安全，医疗保健，在线零售等多学科领域。本文研究了一种基于加法树的方法，称为Boost-R（复发数据的提升），用于具有静态和动态特征的复发事件数据。Boost-R构建梯度提升的加性树的集合来估计复发事件过程的累积强度函数，其中通过最小化观测和预测累积强度之间的正则化L2距离来将新树添加到集合。与传统的回归树不同，Boost-R在每个树叶上构造了一个时间依赖函数。来自多个树的这些函数的和产生累积强度的集合估计。基于树的方法的分而治之的性质是有吸引力的，当隐藏的子群体存在于一个异质的人口。回归树的非参数性质有助于避免对事件过程和特征之间的复杂交互进行参数假设。Boost-R的关键见解和优势进行了研究，通过全面的数值例子。Boost-R的数据集和计算机代码可在GitHub上获得。据我们所知，Boost-R是第一个基于梯度提升加法树的方法，用于建模具有静态和动态特征信息的大规模复发事件数据。
2021-07-03 cs.LG stat.ML
NPBoost: Neural Processes with Gradient-Boosted Fixed Effects
ETH Zurich（苏黎世联邦理工学院）；Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
针对神经过程在共享结构不规则时性能受限的问题，提出NPBoost，将响应分解为树提升固定效应与NP随机效应，联合训练提升元学习性能。
2026-09-24 cs.LG stat.ML
Treeffuser: Probabilistic Predictions via Conditional Diffusions with Gradient-Boosted Trees
Columbia University（哥伦比亚大学）；Fero Labs（费罗实验室）
Treeffuser提出一种结合条件扩散模型与梯度提升树的表格数据概率预测方法，实现非参数、易训练且校准良好的预测分布，在合成与真实数据上优于现有方法，并成功应用于Walmart库存分配。
2024-10-22 cs.LG stat.ML
Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization
Wells Fargo（富国银行）；Pennsylvania State University（宾夕法尼亚州立大学）
本研究通过独热编码将梯度提升决策树转换为线性框架，并采用L1或L2正则化重新拟合，以增强模型对协变量扰动的鲁棒性，理论分析和实验验证了其有效性。
2023-05-11 cs.LG stat.ML
qshap: Fast Shapley Decomposition of $R^2$ for Gradient-Boosted Trees
University of California Irvine（加州大学欧文分校）
qshap是支持R与Python的工具，可对GBDT进行R²的夏普利分解，适配xgboost等主流GBDT实现，还为遗忘树提供专用后端以加速计算，用于量化特征对模型性能的贡献。
2026-08-26 cs.LG stat.ML
Gradient Boosted Normalizing Flows
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
通过链接一系列可微可逆变换，规范化流（NF）提供了一种后验近似，精确密度估计和采样的表达方法。规范化流文献的趋势是设计更深入、更复杂的转换，以实现更大的灵活性。我们提出了一种替代方案：梯度提升归一化流（GBNF）模型的密度连续添加新的NF组件与梯度提升。在boosting框架下，每个新的NF分量优化样本加权似然目标，从而产生与先前训练的分量的残差拟合的新分量。GBNF公式导致混合模型结构，其灵活性随着添加更多组件而增加。此外，GBNF提供了一个更广泛的，而不是严格的更深入的方法，以额外的培训为代价改进现有的NF-而不是更复杂的转换。我们证明了这种技术的有效性，密度估计，并通过耦合GBNF与变分自编码器，生成的图像建模。我们的研究结果表明，GBNF优于其非增强模拟，并且在某些情况下，用更小、更简单的流产生更好的结果。
2020-10-17 cs.CV cs.LG stat.ML
Compact Multi-Class Boosted Trees
Google, Inc.（谷歌公司）
梯度提升决策树是一种流行的机器学习技术，部分原因是它们能够在小模型的情况下提供良好的准确性。我们描述了两个扩展的标准树提升算法，旨在增加这一优势。第一个改进将Boosting形式主义从标量值树扩展到向量值树。这允许单独的树被用作多类分类器，而不是每个类需要一棵树，并大大减少了多类问题所需的模型大小。我们还表明，其他一些流行的向量值梯度提升树修改适合这个公式，可以很容易地在我们的实现。第二个扩展，逐层提升，在函数空间中采取较小的步骤，这是经验表明，导致更快的收敛和更紧凑的合奏。我们已经将这两项改进添加到开源TensorFlow Boosted Trees（TFBT）包中，并在各种多类数据集上展示了它们的有效性。我们预计这些扩展将特别感兴趣的提升树应用程序，需要小的模型，如嵌入式设备，需要快速推理的应用程序，或应用程序需要更多的可解释的模型。
2017-10-31 cs.LG stat.ML
Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees
University of Oregon（俄勒冈大学）
回归树（GBRT）是解决表格回归问题的一种非常流行的方法，但它不能提供不确定性的估计。我们提出了基于实例的不确定性估计的回归树（IBUG），一个简单的方法扩展任何GBRT点预测产生概率预测。IBUG使用$k$最近的训练实例计算预测周围的非参数分布，其中距离是用树集成内核测量的。IBUG的运行时间取决于集合中每个叶子上的训练样本的数量，并且可以通过采样树或训练实例来改进。从经验上讲，我们发现IBUG在22个基准回归数据集上实现了类似或更好的性能。我们还发现，IBUG可以通过使用不同的基础GBRT模型来实现改进的概率性能，并且可以比竞争方法更灵活地建模预测的后验分布。我们还发现，以前的方法在某些数据集上的概率校准较差，这可以使用在验证数据上调整的标量因子来缓解。源代码可在https://www.github.com/jjbrophy47/ibug上获得。
2022-10-10 cs.LG
Wind ramp event prediction with parallelized Gradient Boosted Regression Trees
Indian Institute of Technology（印度理工学院）；Deakin University（迪肯大学）
准确预测风变事件对于保证高风能渗透率电力系统的可靠性和稳定性至关重要。本文提出了一种基于分类的方法来估计未来类的风斜坡事件的基础上一定的阈值。提出了一种基于并行化梯度提升回归树的技术，用于准确分类正常和罕见的极端风力发电斜坡事件。该模型已得到验证，使用风力发电数据从国家可再生能源实验室数据库。与几个基准技术的性能比较表明，所提出的技术在优越的分类精度方面的优越性。
2016-10-17 cs.AI cs.LG
High-Order Optimization of Gradient Boosted Decision Trees
Criteo AI Lab（科韬人工智能实验室）
梯度提升决策树（GBDTs）是用于建模离散或表格数据的主要机器学习算法。与具有数百万个可训练参数的神经网络不同，GBDTs以加法方式优化损失函数，并且每个叶具有单个可训练参数，这使得易于应用损失函数的高阶优化。在本文中，我们介绍了基于数值优化理论的GBDTs的高阶优化，该理论允许我们基于给定损失函数的高阶导数构造树。在实验中，我们表明，高阶优化具有更快的每次迭代收敛，从而减少运行时间。我们的解决方案可以很容易地并行化，并在GPU上运行，代码开销很小。最后，我们讨论了未来潜在的改进，如自动微分的任意损失函数和结合的GBDTs与神经网络。
2022-11-21 cs.LG
LoBoost: Fast Model-Native Local Conformal Prediction for Gradient-Boosted Trees
Federal University of São Carlos（巴西圣卡洛斯联邦大学）；University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Science（数学与计算机科学学院）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立应用科学研究院）；LJK（格勒诺布尔联合实验室）
LoBoost提出了一种基于梯度提升树的快速模型原生局部符合预测方法，通过利用已拟合集成模型的叶子结构进行多尺度校准，提高了适应性和效率。
2026-08-05 cs.LG stat.ML
FastBDT: A speed-optimized and cache-friendly implementation of stochastic gradient-boosted decision trees for multivariate classification
Karlsruher Institut für Technologie（卡尔斯鲁厄理工学院）
随机梯度提升决策树被广泛用于多变量分类和回归任务。本文提出了一种速度优化和缓存友好的多变量分类实现称为FastBDT。与TMVA、scikit-learn和XGBoost等软件框架中的流行实现相比，FastBDT在适配阶段和应用阶段快了一个数量级。本文详细讨论了用于优化执行时间和性能研究的概念。主要想法包括：对输入数据的等频率合并，允许用整数运算取代昂贵的浮点运算，同时提高分类的质量;对输入数据的高速缓存友好的线性访问模式，与通常的实现相反，通常的实现表现出随机访问模式。FastBDT提供C/C++、Python和TMVA的接口。它被Belle II实验广泛应用于高能物理领域。
2016-09-20 cs.LG
ParamBoost: Gradient Boosted Piecewise Cubic Polynomials
Department of Civil, Environmental and Geomatic Engineering, University College London（土木、环境与地理工程系，伦敦大学学院）
ParamBoost是一种新型广义加性模型，通过梯度提升算法学习分段三次多项式函数，结合连续性、单调性、凸性等约束，提升模型性能与可解释性。
2026-04-20 cs.LG stat.ML
RUMBoost: Gradient Boosted Random Utility Models
University College London（伦敦大学学院）
本文提出RUMBoost模型，通过梯度提升回归树集成替代随机效用模型中的线性参数，结合了RUM的可解释性与深度学习的预测能力，实现了出色的预测性能与直接可解释性，并能扩展至复杂的模型规范。
2024-01-22 cs.LG stat.ML
Block-distributed Gradient Boosted Trees
RISE AI；Amazon Web Services（亚马逊云科技）；KTH Royal Institute of Technology（瑞典皇家理工学院）
梯度提升树（GBT）算法是生产中最流行的机器学习算法之一，适用于包括点击率（CTR）预测和学习排名在内的任务。为了处理大量的数据集，目前已经提出了许多分布式GBT方法。然而，它们都假设了一个行分布的数据集，只针对数据点的数量而不是特征的数量来解决可伸缩性，并增加了高维数据的通信成本。为了允许跨数据点和特征维度的可扩展性，并降低通信成本，我们提出了块分布式GBT。通过充分利用数据的稀疏性，并将Quickscorer算法应用于块分布环境，提高了通信效率。我们使用具有数百万特征的数据集来评估我们的方法，并证明我们能够在不损失准确性的情况下实现稀疏数据通信成本的多个数量级降低，同时提供更具可扩展性的设计。因此，我们能够减少高维数据的训练时间，并允许更具成本效益的横向扩展，而无需昂贵的网络通信。
2019-05-28 cs.IR cs.LG stat.ML
Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning
IBM Research - Almaden（IBM阿尔马登研究中心）
联邦学习（FL）是一种跨多方协作训练模型的方法，而无需在各方或聚合器之间共享数据。它既用于消费者领域，以保护个人数据，也用于企业环境，其中处理数据住所监管和数据孤岛的实用性是主要驱动力。虽然XGBoost等梯度提升树实现在许多用例中都非常成功，但由于使用加密和隐私方法，其联邦学习适应性往往非常缓慢，并且没有广泛使用。我们提出了用于联邦学习的Party-Adaptive XGBoost（PAX），这是一种新的梯度提升实现，它利用了一种Party-Adaptive直方图聚合方法，而不需要数据加密。它构造了数据分布的代理表示，用于查找决策树的分裂。我们的实验结果证明了强大的模型性能，特别是在非IID分布上，并且在不同数据集上的训练运行时间比现有的联邦实现要快得多。这种方法使得梯度提升树在企业联邦学习中的使用变得实用。
2020-12-11 cs.DC cs.LG
KellyBoost: Growth-Optimal Portfolio Construction with Gradient-Boosted Trees
该研究提出名为KellyBoost的多输出XGBoost模型，以精确负对数增长率为损失函数，推导并验证相关海森矩阵，实现基于特征的增长最优投资组合配置。
2026-08-25 cs.LG q-fin.PM
GB-DQN: Gradient Boosted DQN Models for Non-stationary Reinforcement Learning
Morrow Company（莫尔公司）
GB-DQN通过梯度提升方法解决非平稳强化学习中的模型漂移问题，通过增量残差学习提高恢复速度和稳定性。
2025-12-18 cs.LG
ENIGMA-NG: Efficient Neural and Gradient-Boosted Inference Guidance for E
Czech Technical University in Prague（布拉格捷克理工大学）
我们描述了一个有效的实现条款的指导饱和为基础的自动定理证明扩展的ENIGMA方法。与第一个ENIGMA实现不同，在第一个ENIGMA实现中，快速线性分类器被训练并与手动设计的特征一起使用，我们已经开始试验更复杂的最先进的机器学习方法，如梯度提升树和递归神经网络。特别是后一种方法在条款评估的效率方面提出了挑战，但是，我们表明，神经评估与ATP数据结构的深度集成可以在很大程度上摊销这种成本，并导致有竞争力的实时结果。这两种方法进行了评估的大型数据集的定理证明问题，并与以前的方法进行了比较。由此产生的方法改进了手动设计的条款指导，提供了第一个实际上令人信服的应用梯度提升和神经条款指导饱和式自动定理证明。
2019-03-07 cs.AI cs.LG cs.LO
GBDT-MO: Gradient Boosted Decision Trees for Multiple Outputs
Xidian University（西安电子科技大学）
梯度提升决策树（GBDTs）广泛应用于机器学习中，并且当前GBDTs实现的输出是单个变量。当存在多个输出时，GBDT构造与输出变量相对应的多个树。这种策略忽略了变量之间的相关性，导致学习到的树结构的冗余。在本文中，我们提出了一种通用的方法来学习GBDT的多个输出，称为GBDT-MO。GBDT-MO的每个叶构造所有变量或自动选择的变量的子集的预测。这是通过考虑所有输出变量的目标增益的总和来实现的。此外，我们将直方图近似扩展到多个输出的情况下，以加快训练过程。在合成和真实世界数据集上的各种实验验证了GBDT-MO在准确性和训练速度方面都取得了出色的性能。我们的代码可在线获得。
2019-12-28 cs.CV cs.LG
Gradient Boosted Mixed Models: Flexible Estimation of Mean and Variance Components for Clustered Data
本文提出GBMixed框架，通过最大似然梯度联合建模线性混合模型的均值和方差分量，扩展了提升方法到聚类数据。该方法能灵活估计固定效应函数和随机效应协方差矩阵，提升个体治疗效应的预测和预测区间。
2026-08-12 cs.LG stat.CO stat.ME
TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees
本文提出首个基于梯度提升树的CCA方法TreeCCA，兼具非线性精度与可解释性，在多类基准上性能优于或相当Deep CCA等方法，成本更低且可提供数据解释。
2026-07-30 cs.LG
Generating and Imputing Tabular Data via Diffusion and Flow-based Gradient-Boosted Trees
Samsung - SAIT AI Lab（三星-SAIT AI实验室）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Radboud University（拉德堡德大学）；Donders Institute（唐德斯研究所）
本文提出用 XGBoost 梯度提升树替代神经网络实现基于分数的扩散和条件流匹配，用于混合类型表格数据的生成与填补，并在包含 27 个数据集和 9 项指标的基准上验证其优于深度学习方法且仅需 CPU 并行训练。
2024-02-19 cs.LG
V2X-Boosted Federated Learning for Cooperative Intelligent Transportation Systems with Contextual Client Selection
Fraunhofer Institute for Transportation and Infrastructure Systems IVI（弗劳恩霍夫交通与基础设施系统研究所IVI）；Technical University of Munich（慕尼黑工业大学）；Sony AI（索尼人工智能研究所）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
提出一种利用V2X消息预测通信延迟的上下文客户端选择流水线，通过融合消息、预测拓扑、预聚类和最小延迟选择，有效解决了联网车辆动态状态对联邦学习性能的影响，并在非独立同分布设置中显著优于基线。
2023-05-19 cs.LG
UTBoost: Gradient Boosted Decision Trees for Uplift Modeling
JD Technology（京东科技）
本文提出UTBoost，通过两种新颖改进使梯度提升决策树顺序学习因果效应，解决提升建模中的反事实困境，并在大规模数据集上验证其优于基线模型。
2024-12-03 cs.AI cs.LG
Gradient-Boosted Based Structured and Unstructured Learning
Northwestern University（西北大学）；Allstate Insurance Company（好事达保险公司）
我们提出了两个框架来处理问题的设置，其中结构化和非结构化的数据。结构化数据问题最好通过传统的机器学习模型（如boosting和基于树的算法）来解决，而深度学习已广泛应用于处理图像、文本、音频和其他非结构化数据源的问题。然而，对于结构化和非结构化数据都可访问的设置，同时增强两个数据源的性能的最佳建模方法并不明显。我们提出的框架允许通过集成提升模型和深度神经网络的范例来对这两种数据进行联合学习。第一个框架是增强特征向量深度学习网络，它使用梯度提升从结构化数据中学习特征，并通过双分支深度神经网络将它们与来自非结构化数据的嵌入相结合。其次，两个弱学习者的boosting框架扩展的boosting范式设置与两个输入数据源。我们提出并比较了一阶和二阶的方法，这个框架。我们在公共和真实世界数据集上的实验结果显示，框架在选定的基线上实现了0.1% -4.7%的性能提升。
2023-02-28 cs.AI cs.LG
Gradient-based Novelty Detection Boosted by Self-supervised Binary Classification
Arizona State University（亚利桑那州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
新颖性检测的目的是自动识别出的分布（OOD）的数据，没有任何先验知识。它是数据监控、行为分析和其他应用程序的关键步骤，有助于在该领域实现持续学习。传统的OOD检测方法对数据或特征的集合进行多变量分析，通常采用OOD数据的监督来提高准确性。实际上，这种监督是不切实际的，因为人们无法预测异常数据。在本文中，我们提出了一种新的，自我监督的方法，不依赖于任何预定义的OOD数据：（1）新方法评估的Mahalanobis距离之间的梯度分布和OOD数据。(2)它是由一个自监督的二元分类器辅助，以指导标签选择产生的梯度，并最大化马氏距离。在使用CIFAR-10，CIFAR-100，SVHN和TinyImageNet等多个数据集进行评估时，所提出的方法在接收器操作特征下的区域（AUROC）和精确度-召回曲线下的区域（AUPR）度量方面始终优于最先进的监督和无监督方法。我们进一步证明，该检测器是能够准确地学习一个OOD类在持续学习。
2021-12-18 cs.LG
Tuning support vector machines and boosted trees using optimization algorithms
Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
近年来，统计学习方法越来越受欢迎。这些过程中的许多过程都具有必须调整的参数，以使模型表现良好。神经网络的研究已经很广泛，但对其他许多学习方法的研究还不多。我们研究了支持向量机、梯度提升机和adaboost在分类和回归设置中的参数调整行为。我们使用网格搜索来确定调整参数的范围，在这些范围内，可以在许多不同的数据集上找到良好的模型。然后，我们探索了不同的优化算法，以选择整个调整参数空间的模型。将通过优化算法选择的模型与通过网格搜索获得的最佳模型进行比较，以选择性能良好的算法。这些信息被用来创建一个R包EZtune，它可以自动调整支持向量机和提升树。
2023-03-13 cs.LG stat.ML
Gradient Boosted Risk Scores
Department of Radiology, Lausanne University Hospital and University of Lausanne（放射科，洛桑大学医院和洛桑大学）
提出基于梯度提升的算法构建紧凑且可预测的风险评分模型，能建模非线性效应，在12个表格数据集上相比回归方法平均减少60%分类规则和16%时间事件规则。
2026-05-04 cs.LG cs.MS
Inductive inference of gradient-boosted decision trees on graphs for insurance fraud detection
Data Office, Allianz Benelux（Allianz Benelux 数据办公室）；KU Leuven University of Antwerp-imec（安特卫普-imec 联合大学KU Leuven）；KU Leuven；University of Antwerp-imec（安特卫普-imec 大学）
本文提出一种新型的归纳图梯度提升机G-GBM，用于处理异构和动态图的监督学习，通过结合梯度提升的类别不平衡鲁棒性和可解释的路径级特征拼接，提升保险欺诈检测性能。
2026-05-15 cs.LG cs.SI
Predicting Day-Ahead Stock Returns using Search Engine Query Volumes: An Application of Gradient Boosted Decision Trees to the S&P 100
KU Leuven（鲁汶大学）
互联网改变了我们生活、工作和决策的方式。由于它是主要的现代研究资源，有关互联网使用的详细数据展示了大量的行为信息。本文的目的是回答这个问题是否可以促进这些信息来预测未来的股票在金融资本市场上的回报。在实证分析中，它实现了梯度提升决策树，以了解标准普尔100指数内股票的异常收益与来自历史财务数据的滞后预测因子之间的关系，以及互联网搜索引擎Google上的搜索词查询量。模型预测的发生前一天的股票回报超过指数中位数。从2005年到2017年，所有不同的数据集都展示了有价值的信息。评估模型的平均面积在54.2%和56.7%之间的受试者操作特征，清楚地表明分类优于随机猜测。通过实施简单的统计套利策略，模型被用来创建10只股票的每日交易组合，并导致交易成本前的年度业绩超过57%。不同数据集的组合对业绩排名的影响，进一步质疑了现代金融资本市场的弱式和半强式有效性。即使不包括交易成本，该方法增加了现有的文献。它提供了如何使用和转换互联网使用行为数据的指导，用于金融和经济建模和预测。
2022-06-01 cs.LG econ.EM
Challenging Gradient Boosted Decision Trees with Tabular Transformers for Fraud Detection at Booking.com
Maastricht University（马斯特里赫特大学）
针对欺诈检测中的选择偏差问题，提出利用自监督学习预训练表格Transformer并微调的方法，在离线与在线A/B实验中均显著优于调优后的GBDT。
2025-06-30 cs.LG
Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
针对现有随机学习排序方法仅支持可微模型、无法应用性能优异的GBDTs的问题，提出海森矩阵估计器并整合进PL-Rank框架，实现首个基于GBDTs的随机学习排序方法，性能达当前最优水平。
2024-05-09 cs.IR cs.LG
StylOch at PAN: Gradient-Boosted Trees with Frequency-Based Stylometric Features
Institute of Theoretical Physics, Jagiellonian University, Krak\' o w, Poland；M. Kac Center for Complex Systems Research, Jagiellonian University, Krak\' o w, Poland；Faculty of Physics, Astronomy；Applied Computer Science, Jagiellonian University, Krak\' o w, Poland；Faculty of Information；Communication Technology, Wroclaw University of Science
本文提出基于 spaCy 语言标注 n-gram 频率特征与轻量梯度提升机的可解释文体检测方法，并利用超 50 万机器生成文本训练，在 PAN 二元 AI 检测任务中实现高效分类。
2025-07-16 cs.AI cs.CL cs.LG
ImmunoAI: Accelerated Antibody Discovery Using Gradient-Boosted Machine Learning with Thermodynamic-Hydrodynamic Descriptors and 3D Geometric Interface Topology
Menlo-Atherton High School（门洛-阿瑟顿高中）
ImmunoAI用热力学、流体动力学和3D界面特征训练LightGBM预测抗体亲和力，显著缩小搜索空间并降低RMSE，还针对hMPV A2.2筛出两种皮摩尔级候选抗体。
2025-08-25 cs.LG q-bio.BM q-bio.QM
Blending gradient boosted trees and neural networks for point and probabilistic forecasting of hierarchical time series
Nodalpoint Systems（节点点系统公司）
本文提出一种融合梯度提升树与神经网络的机器学习模型方法，通过特征工程和验证集构建解决分层时间序列的点预测与概率预测问题，在 M5 Competition 双赛道获金牌。
2023-10-19 cs.AI cs.LG physics.data-an
From Gradient-Boosted Trees to Deep Recommenders: Practical Lessons from Migrating a Production Customer Support Recommender
Intuit（英图易公司）
本文介绍了将生产环境客户支持推荐系统从梯度提升树迁移到成对二元深度推荐器的实践，通过多种技术优化后，该方法在对话后期的推荐性能优于CatBoost基线。
2026-08-26 cs.AI cs.LG
Feature Encodings for Gradient Boosting with Automunge
Automunge
Automunge是一个表格式预处理库，它对用于监督学习的序列进行编码。当选择用于梯度提升学习的默认特征编码策略时，可以考虑训练持续时间的度量以及与特征表示相关联的所实现的预测性能。Automunge提供了一个默认的分类特征二值化和数值的z分数标准化。所提出的研究试图通过对一系列不同数据集进行基准测试来验证这些默认值，这些数据集是通过使用调整的梯度增强学习来编码变化的。我们发现，从调优持续时间和模型性能的角度来看，我们选择的默认值平均都是最佳执行者。另一个关键发现是，与分类二值化相比，一个热编码的执行方式不符合作为分类默认值的适用性。我们在这里提出这些和进一步的基准。
2022-10-25 cs.LG
Adapting and Evaluating Influence-Estimation Methods for Gradient-Boosted Decision Trees
University of Oregon（俄勒冈大学）
本文将深度学习中的表征点方法和 TracIn 适配到梯度提升决策树，提出 TREX 和 BoostIn，并通过多数据集多指标实验证明 BoostIn 在性能相当或更优的同时快四个数量级，且发现留一法重训练在识别最有影响力训练样本集合上表现不佳。
2023-05-31 cs.LG
