Gradient and Newton Boosting for Classification and Regression
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
提升算法经常用于应用数据科学和研究。到目前为止，在应用和方法论研究中，通常都没有区分梯度下降或二阶牛顿更新的提升，因此隐含地假设差异是无关紧要的。本文的目的就是要澄清这种情况。特别是，我们提出了梯度和牛顿助推，以及两者的混合变体，在一个统一的框架。我们使用各种数据集和损失函数将这些提升算法与树作为基本学习者进行比较。我们的实验表明，在大多数数据集上，Newton boosting在预测精度方面优于梯度和混合梯度-Newton boosting。我们还提出证据表明，这不是牛顿推进的收敛速度更快的原因。此外，我们还为基于树的牛顿增强引入了一个新的调整参数，该参数是可解释的，并且对于预测准确性很重要。
2020-10-20 cs.LG stat.ML
Postprocessing of point predictions for probabilistic forecasting of day-ahead electricity prices: The benefits of using isotonic distributional regression
针对现有电价模型多仅提供点预测的问题，本文研究三种点预测转概率预测的后处理方法，发现保序分布回归对集成贡献最大，且集成方法在德西电力市场测试中性能优于前沿分布深度神经网络。
2024-10-06 q-fin.ST stat.AP stat.ML
Boosting Ridge Regression for High Dimensional Data Classification
Data Science Research Center, Department of Computer Science, Chiang Mai University（清迈大学计算机科学系数据科学研究中心）；Chiang Mai University（清迈大学）
岭回归是一种成熟的回归估计，可以方便地适用于分类问题。一个令人信服的原因可能是岭回归发出一个封闭形式的解决方案，从而促进了训练阶段。然而，在高维问题的情况下，涉及反转正则化协方差矩阵的封闭形式的解决方案是相当昂贵的计算。这种操作的高计算要求也使得构造岭回归系综的难度增加。在本文中，我们考虑学习岭回归器的集成，其中每个回归器在其自己的随机投影子空间中进行训练。随后通过自适应提升方法组合子空间回归量。基于五个高维分类问题的实验证明了所提出的方法在学习时间方面的有效性，并且在某些情况下可以观察到改进的预测性能。
2020-03-25 cs.LG stat.ML
Probabilistic Forecasting for Daily Electricity Loads and Quantiles for Curve-to-Curve Regression
电力负荷曲线的概率预测对于在日益波动和竞争激烈的能源市场中进行有效的调度和决策至关重要。我们提出了一种新的方法来构建概率预测曲线（PPC），这导致了一个自然的和新的分位数的定义曲线到曲线线性回归的上下文中。PPC有三种类型：预测集、预测带和预测分位数，所有这些都是在预先指定的名义概率水平上定义的。在仿真研究中，PPC在多种数据生成机制下都能获得较好的覆盖概率。在法国日负荷曲线的一天前预测中，PPC在预测精度、覆盖率和预测带平均长度方面优于几种最先进的预测方法。预测分位数曲线提供了有见地的信息，这是高度相关的电力供应管理中的对冲风险。
2020-11-11 stat.AP stat.ME
A Theory of Probabilistic Boosting, Decision Trees and Matryoshki
我们提出了一个提升概率分类器的理论。我们把自己的用户只提供一个停止参数和一个概率弱学习器/分类器的情况下，并比较三种类型的提升算法：概率Adaboost，决策树，树的树。我们称之为俄罗斯套娃“嵌套树”、“嵌入树”和“递归树”也是该算法的恰当名称，这是我们的贡献之一。我们的另一个贡献是算法的理论分析，其中我们给出了训练误差界。这一分析表明，俄罗斯套娃利用概率弱分类器比简单的决策树更有效。
2006-07-25 cs.LG
Boosted-Oriented Probabilistic Smoothing-Spline Clustering of Series
模糊聚类方法允许对象同时属于多个具有不同隶属度的类。然而，影响模糊算法性能的一个因素是模糊参数的值。在本文中，我们提出了一个模糊聚类过程的数据（时间）序列，不依赖于一个模糊参数的定义。它来自两种方法，理论上分别用于无监督和监督分类情况。第一个是概率距离（PD）聚类过程。第二个是众所周知的提升哲学。我们的想法是对无监督学习问题采用一种提升的前景，特别是我们面临的非层次聚类问题。其目的是将数据集的每个实例（即一系列）分配到一个集群。我们假设一个给定的集群的代表性实例（即集群中心）作为目标实例，损失函数作为全局性能的综合指标，每个实例属于给定集群的概率作为给定实例对整体解决方案的单独贡献。所提出的方法的全局性能进行了研究，通过各种实验。
2015-10-07 stat.ME
A Multi-Quantile Regression Time Series Model with Interquantile Lipschitz Regularization for Wind Power Probabilistic Forecasting
现代决策过程需要具有不确定性意识的模型，特别是那些依赖于非对称成本和风险规避特征的模型。这项工作的目的是提出一个动态模型的条件非参数分布函数（CDF）生成概率预测的可再生能源发电时间序列。为此，我们提出了一个自适应非参数时间序列模型驱动的正则化多分位数回归（MQR）框架。在我们的方法中，所有的回归模型通过一个单一的线性优化问题，在多项式时间内找到全局最优参数联合估计。我们的工作的一个创新特点是考虑Lipschitz正则化的系数的一阶导数的分位数空间，这使得系数平滑。所提出的正则化诱导分位数之间的耦合效应，从而创建具有改进的样本外性能的单个非参数CDF模型。一个案例研究与现实的风力发电数据从巴西系统表明：1）正则化模型是能够提高MQR概率预测的性能，和2）我们的MQR模型优于五个相关的基准：两个基于MQR框架，和三个基于参数模型，即SARIMA，GAS与Beta和Weibull CDF。
2021-02-17 stat.AP
ELM Ridge Regression Boosting
Unlimited Analytics Inc.（Unlimited Analytics公司）
本文提出一种面向岭回归的提升方法并应用于极限学习机，有效改善了ELM的分类性能与鲁棒性。
2023-10-24 cs.LG
Gradient tree boosting with random output projections for multi-label classification and multi-output regression
University of Liège（列日大学）
在监督学习的许多应用中，必须联合预测多个分类或回归输出。我们考虑几个扩展的梯度提升来解决这些问题。我们首先提出了一个简单的适应梯度提升利用多个输出回归树作为基本学习者。然后，我们认为，这种方法预计只有在输出完全相关时才是最优的，因为它迫使树基学习器引起的分区被所有输出共享。然后，我们提出了一种新的梯度树提升扩展来专门解决这个问题。在这种新方法的每次迭代中，生长回归树结构以拟合当前残差的单个随机投影，并且该树的预测独立地线性拟合所有输出的当前残差。由于这种线性拟合，该方法可以自动适应任何输出相关结构。用这种方法进行了广泛的实验，以及其他算法的变种，在几个人工和真实的问题。随机投影的输出空间，以提供一个更好的适应不同的输出相关模式，因此在大多数情况下，最好的其他方法的竞争力。由于模型共享，收敛速度也得到了提高，减少了计算时间（或模型的复杂性），以达到特定的精度。
2019-05-18 cs.LG stat.ML
From Point to probabilistic gradient boosting for claim frequency and severity prediction
École d’actuariat, Université Laval（actuary school, Laval University）
本文统一对比了十种点预测与概率梯度提升算法在五个公开索赔数据集上的表现，发现LightGBM和XGBoostLSS计算效率最优，CatBoost在高基数分类变量下预测更佳，且模型充分性与预测准确性可兼得。
2025-04-28 cs.LG stat.ML
Circular Regression Trees and Forests with an Application to Probabilistic Wind Direction Forecasting
本文提出基于 von Mises 分布的循环回归树与随机森林，用于循环响应变量的分布建模和概率预测，并在机场风向预测中验证其效果。
2020-01-02 stat.ME
ISTRBoost: Importance Sampling Transfer Regression using Boosting
Emory University（埃默里大学）；University of Washington（华盛顿大学）
当前的实例迁移学习（ITL）方法使用领域自适应和子空间变换来实现成功的迁移学习。然而，这些方法，在他们的过程中，有时过拟合的目标数据集或遭受负转移，如果测试数据集具有高的方差。增强方法已被证明可以通过迭代地重新加权具有高残差的实例来降低过拟合的风险。然而，这种平衡通常是通过参数优化以及减少由于源数据集的大小而产生的权重的偏斜来实现的。虽然前者可以实现，但后者更具挑战性，并可能导致负迁移。我们引入了一个更简单，更强大的修复这个问题的基础上流行的提升ITL回归方法，两阶段TrAdaBoost.R2。我们的方法，~ \us{}，是一个提升和随机森林的集成方法，利用重要性采样，以减少由于源数据集的偏度。我们表明，\us{}的表现优于竞争迁移学习方法$63\%$的时间。它还显示了其在具有不同复杂性的不同数据集上的性能的一致性，而不是其他迁移学习方法所观察到的零星结果。
2022-04-26 cs.LG stat.ML
Boosting methods for interval-censored data with regression and classification
Columbia University（哥伦比亚大学）；University of Western Ontario（西方大学）
本文提出非参数提升方法，用于处理区间删失数据的回归与分类任务，通过无偏转换调整损失函数并保持模型准确性，理论和实证均验证其有效性。
2026-02-18 cs.LG stat.ML
Boosting as a Product of Experts
University of Bristol（布里斯托尔大学）；University of Manchester（曼彻斯特大学）
在本文中，我们推导出一个新的概率模型的提升作为一个产品的专家。我们重新推导的助推算法作为一个贪婪的增量模型选择过程，确保新的专家的合奏添加不会降低数据的可能性。这些学习规则导致了一个通用的提升算法-POE-Boost，它在一定的专家概率假设下与AdaBoost算法相似。然后，本文将POEBoost算法扩展为POEBoost.CS，该算法处理产生概率预测的假设。这种新的算法被证明有更好的泛化性能相比，其他国家的最先进的算法。
2012-02-14 cs.LG stat.ML
Obtaining Calibrated Probabilities from Boosting
Cornell University（康奈尔大学）
提升的决策树通常产生良好的准确度、精确度和ROC区域。然而，由于boosting的输出不是经过良好校准的后验概率，因此boosting产生较差的平方误差和交叉熵。我们实证证明了为什么AdaBoost预测扭曲的概率，并检查三种校正方法来纠正这种扭曲：普拉特缩放，等序回归和Logistic校正。我们还尝试使用对数损失而不是通常的指数损失进行提升。实验表明，Logistic校正和具有对数损失的提升在提升弱模型（如决策树）时效果良好，但在提升更复杂的模型（如完整的决策树）时性能较差。然而，Platt Scaling和Isotonic Regression显著提高了预测的概率，
2012-07-04 cs.LG stat.ML
KTBoost: Combined Kernel and Tree Boosting
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
我们引入了一种新的提升算法称为'KTBoost'，它结合了内核提升和树提升。在每次提升迭代中，该算法将回归树或再生核希尔伯特空间（RKHS）回归函数添加到基本学习器的集合中。直观地说，这个想法是不连续树和连续RKHS回归函数相互补充，并且这种组合允许更好地学习具有不同规律性的部分的函数，例如不连续和平滑部分。我们的经验表明，KTBoost显着优于树和内核提升在预测准确性方面的比较，在广泛的数据集。
2021-02-08 cs.LG stat.CO stat.ML
Gradient boosting machine with partially randomized decision trees
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
梯度提升机是一种用于解决回归问题的强大的基于集成的机器学习方法。然而，其使用的困难之一是回归函数可能出现不连续性，这是当训练数据区域没有被训练点密集覆盖时出现的。为了克服这一困难，并降低计算复杂性的梯度提升机，我们建议应用部分随机树，可以被视为一个特殊情况下的极端随机树应用于梯度提升。部分随机树的梯度提升机说明了许多数值例子，使用合成和真实的数据。
2020-06-19 cs.LG stat.ML
Distributional Gradient Boosting Machines
Georg-August-Universität Göttingen（哥廷根大学）
我们提出了一个统一的概率梯度提升框架的回归任务，模型和预测作为协变量的函数的单变量响应变量的整个条件分布。我们的似然为基础的方法允许我们要么建模参数分布的所有条件矩，或近似的条件累积分布函数通过归一化流。作为底层的计算骨干，我们的框架是基于XGBoost和LightGBM。对整个条件分布进行建模和预测极大地增强了现有的基于树的梯度提升实现，因为它允许创建概率预测，从该概率预测可以导出感兴趣的预测区间和分位数。实证结果表明，我们的框架达到了最先进的预测精度。
2022-04-02 cs.LG stat.ML
A Bagging and Boosting Based Convexly Combined Optimum Mixture Probabilistic Model
Bowling Green State University（鲍林格林州立大学）
与以往的混合分布研究不同，本文提出了一种基于Bagging和Boosting的凸组合混合概率模型。该模型是迭代搜索以获得提供最大p值的最佳概率模型的结果。
2021-06-08 cs.LG math.ST stat.AP
BooST: Boosting Smooth Trees for Partial Effect Estimation in Nonlinear Regressions
Columbia University（哥伦比亚大学）；Pontifical Catholic University of Rio de Janeiro (PUC-Rio)（里约热内卢天主教大学）；University of California, Irvine（加州大学尔湾分校）
在本文中，我们介绍了一种新的机器学习（ML）模型的非线性回归称为提升平滑过渡回归树（BooST），这是一个组合的提升算法与平滑过渡回归树。BooST模型的主要优点是可以估计非常一般的非线性模型的导数（部分效应）。因此，与其他基于树的模型（如随机森林）相比，该模型可以提供更多关于协变量和因变量之间映射的解释。我们提出了几个例子，模拟和真实的数据。
2020-07-28 cs.LG econ.EM stat.ME
Functional Frank-Wolfe Boosting for General Loss Functions
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
Boosting是一种用于分类和回归的通用学习方法。然而，随着基本假设的数量变得越来越大，提升可能会导致测试性能的恶化。过拟合是一种重要且普遍存在的现象，特别是在回归设置中。为了避免过拟合，我们考虑使用$l_1$正则化。我们提出了一种新的Frank-Wolfe型提升算法（FWBoost）适用于一般的损失函数。通过使用指数损失，FWBoost算法可以重写为AdaBoost的变体，用于二进制分类。FWBoost算法与现有的boosting方法具有完全相同的形式，在调用具有不同权重更新的基础学习算法方面。boosting和Frank-Wolfe之间的这种直接联系产生了一种新的算法，该算法与现有的boosting方法一样实用，但具有新的保证和收敛速度。实验结果表明，FWBoost的测试性能并没有随着助推轮数的增加而下降，这与理论分析相一致。
2015-10-09 cs.LG stat.ML
Symbolic-Regression Boosting
Ben-Gurion University（本-古里安大学）；University of Pennsylvania（宾夕法尼亚大学）
修改标准的梯度提升，通过替换嵌入式弱学习器，有利于一个强（er）的，我们提出SyRBo：符号回归提升。在98个回归数据集上的实验表明，通过向符号回归器添加少量的提升阶段（2- 5），通常可以获得统计上显著的改进。我们注意到，在任何符号回归器之上编码SyRBo是简单的，增加的成本只是多了几轮进化。SyRBo本质上是一个简单的附加组件，可以很容易地添加到现有的符号回归器中，通常会带来有益的结果。
2022-06-24 cs.LG cs.NE
A Generalized Stacking for Implementing Ensembles of Gradient Boosting Machines
Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
梯度提升机是求解回归问题的有力工具之一。针对其不足，提出了一种构造梯度提升模型集成的方法。该方法背后的主要思想是使用堆叠算法来学习第二级元模型，该第二级元模型可以被视为用于实现梯度提升模型的各种集合的模型。首先，梯度提升模型的线性回归被认为是在线性模型关于其系数（权重）可微的条件下的元模型的最简单实现。然后，它表明，所提出的方法可以简单地扩展到任意可微的组合模型，例如，神经网络是可微的，可以实现任意功能的梯度提升模型。各种数值例子说明了所提出的方法。
2020-10-12 cs.LG stat.ML
Quantification of Uncertainties in Probabilistic Deep Neural Network by Implementing Boosting of Variational Inference
School of Electrical Engineering（电气工程学院）；University of South Florida（南佛罗里达大学）
针对标准变分推断单密度近似后验能力不足的问题，提出BBNN，利用BVI迭代构建混合密度以提升泛化与不确定性量化，实验显示准确率较传统神经网络提高约5%。
2025-03-18 cs.LG stat.ML
Multivariate Probabilistic Regression with Natural Gradient Boosting
STOR-i Centre for Doctoral Training（STOR-i博士培训中心）；Lancaster University（兰卡斯特大学）；Stanford University（斯坦福大学）
许多单目标回归问题需要估计不确定性以及点预测。概率回归算法非常适合这些任务。然而，当预测目标是多变量的并且需要联合测量不确定性时，选择就更加有限。例如，在预测2D速度矢量时，联合不确定性将量化平面中任何矢量的概率，这将比x和y分量上的两个单独的不确定性更有表现力。为了实现联合概率回归，我们提出了一种自然梯度提升（NGBoost）方法的基础上非参数化建模的条件参数的多元预测分布。我们的方法是强大的，开箱即用，无需大量的调整，是模块化的假设的目标分布，并执行竞争力相比，现有的方法。我们证明了这些索赔的模拟和预测二维海洋速度数据的案例研究。我们的方法的实现可以在https://github.com/stanfordmlgroup/ngboost上获得。
2021-06-07 cs.LG stat.CO stat.ML
A New Perspective on Boosting in Linear Regression via Subgradient Optimization and Relatives
Columbia University（哥伦比亚大学）
本文从一个新的角度分析了线性回归中的boosting算法：凸优化中的现代一阶方法。我们表明，经典的提升算法在线性回归，即增量向前stagewise算法（FS $_\varepsilon$）和最小二乘提升（LS-Boost（$\varepsilon$）），可以被视为次梯度下降，以尽量减少损失函数定义为最大的绝对相关性之间的功能和残差。我们还提出了一个修改的FS $_\varepsilon$，产生一个算法的套索，可以很容易地扩展到一个算法，计算套索路径的正则化参数的不同值。此外，我们表明，这些新算法的套索也可以被解释为相同的主算法（次梯度下降），适用于最大绝对相关损失函数的正则化版本。利用凸优化中的现代一阶方法的技巧，我们为线性回归中的几种boosting算法（包括LS-Boost（$\varepsilon$）和FS $_\varepsilon$）推导出了新颖的、全面的计算保证。我们的计算保证告诉我们关于boosting算法的统计特性。特别是，它们第一次提供了对数据保真度和正则化的精确理论描述，这些数据保真度和正则化是通过对任何数据集运行具有预先指定的学习率的boosting算法来实现的，该算法用于固定但任意数量的迭代。
2015-05-16 cs.LG math.OC math.ST
Soft Gradient Boosting with Learnable Feature Transforms for Sequential Regression
Department of Electrical and Electronics Engineering, Bilkent University（电气与电子工程系，比尔肯特大学）
提出一种用于序列回归的软梯度提升框架，在提升过程中联合训练软决策树与可学习的线性特征变换Q，通过端到端优化特征选择与提升过程，有效提升了高维稀疏数据场景下的性能并避免过拟合。
2025-09-16 cs.LG eess.SP
Parallel gradient boosting for flexible estimation of conditional distributions
Université Paris-Saclay（巴黎萨克雷大学）；UVSQ（凡尔赛圣康丁伊夫林大学）；Inserm（法国国家健康与医学研究院）；CESP（健康与医学研究中心）；Université Paris Cité（巴黎西岱大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；CNRS（法国国家科学研究中心）；SSA（法国军队卫生服务局）；Centre Borelli（博雷利中心）；École du Val-de-Grâce（瓦尔-德-格拉斯学校）；Service de Santé des Armées（法国军队卫生服务局）
研究针对多输出预测中条件分布估计的难题，提出并行梯度提升算法，通过共同下降方向减少计算量，在多变量回归设置中性能优于现有库，所得估计器在高维及复杂协变量情况下表现出色。
2026-10-23 cs.LG stat.ML
Calibrated Boosting-Forest
University of Wisconsin Madison（威斯康星大学麦迪逊分校）
在许多分类任务中，需要出色的排名能力以及经过良好校准的概率估计。在本文中，我们介绍了一种技术，校准的提升森林，捕捉两者。这种新技术是梯度提升机器的集合，可以支持连续和二进制标签。在提供优于任何单个回归或分类模型的排名能力的同时，校准的Boosting-Forest能够保持校准良好的后验概率。除了这些好处之外，我们还提供了一种替代方法来调整梯度增强机器的繁琐步骤。我们证明，调整校准的助推森林可以减少到一个简单的超参数选择。我们进一步确定，增加这个超参数提高了排名性能下的收益递减。我们研究了校准的Boosting-Forest在基于配体的虚拟筛选中的有效性，其中连续和二进制标签都可用，并将校准的Boosting-Forest与逻辑斯谛回归，梯度提升机和深度学习的性能进行了比较。与最先进的深度学习模型相比，校准的Boosting-Forest实现了约48%的改进。此外，与最好的个体梯度提升机相比，它在概率质量测量上实现了约95%的改进。Calibrated Boosting-Forest提供了一个基准证明，在基于配体的虚拟筛选领域，深度学习不是普遍占主导地位的机器学习模型，良好的校准概率可以更好地促进虚拟筛选过程。
2017-11-13 cs.LG stat.ML
Multicalibration as Boosting for Regression
University of Pennsylvania（宾夕法尼亚大学）
我们研究了平方误差回归的多重校准和提升之间的联系。首先，我们证明了一个有用的表征多校准的“交换遗憾”一样的条件平方误差。使用这个特征，我们给出了一个非常简单的算法，可以分析为回归的提升算法和作为一个多校准算法的类H，使只使用一个标准的平方误差回归预言H。我们在H上给出了一个弱学习假设，确保收敛到贝叶斯最优性，而不需要做任何可实现性假设-给我们一个不可知的回归提升算法。然后，我们表明，我们对H的弱学习假设对于H的多重校准来说是必要且充分的，以暗示贝叶斯最优性。我们还表明，如果H满足我们的弱学习条件相对于另一个类C，那么相对于H的多重校准意味着相对于C的多重校准。最后，我们调查我们的算法实验使用开源实现，我们提供的经验性能。我们的代码库可以在https://github.com/Declancharrison/Level-Set-Boosting上找到。
2023-01-31 cs.DS cs.LG
Online Boosting with Bandit Feedback
Google AI Princeton（谷歌人工智能普林斯顿）；Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
我们考虑了回归任务的在线提升问题，当学习者只有有限的信息可用时。我们给出了一个有效的遗憾最小化方法，有两个影响：一个在线助推算法与嘈杂的多点强盗反馈，和一个新的无投影在线凸优化算法与随机梯度，提高了国家的最先进的保证方面的效率。
2020-07-23 cs.LG stat.ML
Statistical Inference for Gradient Boosting Regression
School of Economics, Fudan University（复旦大学经济学院）；Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计与数据科学系）
本文提出融合 dropout/并行训练与正则化的梯度提升回归统计推断框架，基于中心极限定理构建区间估计与变量重要性检验。
2025-09-27 cs.LG math.ST stat.ME
Boosting Algorithms for Delivery Time Prediction in Transportation Logistics
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
旅行时间是交通运输中的一个关键指标。准确的行程时间预测也是运营和先进信息系统的基础。存在用于短期行驶时间预测的各种解决方案，诸如利用实时GPS数据和优化方法来跟踪车辆路径的解决方案。然而，可靠的长期预测仍然具有挑战性。我们在本文中显示的旅行时间，即邮政服务的交货时间预测的适用性和实用性。我们研究了几种方法，如线性回归模型和基于树的合奏，如随机森林，装袋，并提高，允许预测交付时间进行广泛的实验，并考虑许多可用性的情况。结果表明，旅行时间预测可以帮助减少邮政服务的高延迟。我们发现，一些提升算法，如光梯度提升和catboost，具有更高的性能，在准确性和运行时效率方面比其他基线，如线性回归模型，装袋回归和随机森林。
2022-01-05 cs.LG stat.ML
Online Gradient Boosting
Yahoo Labs（雅虎实验室）；Princeton University（普林斯顿大学）
我们将回归问题的提升理论扩展到在线学习环境。从用于提升的批量设置进行概括，弱学习算法的概念被建模为具有与回归函数的基类竞争的线性损失函数的在线学习算法，而强学习算法是具有与更大类的回归函数竞争的凸损失函数的在线学习算法。我们的主要结果是一个在线的梯度提升算法，它将一个弱的在线学习算法转化为一个强的，其中较大的函数类是基类的线性跨度。我们还给出了一个简单的boosting算法，将一个弱的在线学习算法转化为一个强的，其中较大的函数类是基类的凸包，并证明了其最优性。
2015-10-30 cs.LG
Multivariate Forecasting of Bitcoin Volatility with Gradient Boosting: Deterministic, Probabilistic, and Feature Importance Perspectives
Faculty of Electrical Engineering, Czestochowa University of Technology（电子工程学院，捷斯托霍瓦技术大学）；Faculty of Computer Science and Artificial Intelligence, Czestochowa University of Technology（计算机科学与人工智能学院，捷斯托霍瓦技术大学）
本文利用LGBM模型从确定性和概率性角度预测比特币波动率，并通过特征重要性分析识别波动驱动因素。
2025-11-25 cs.LG
GWRBoost:A geographically weighted gradient boosting method for explainable quantification of spatially-varying relationships
Peking University（北京大学）
地理加权回归（GWR）是估计地理背景下因变量和自变量之间关系的空间变异的重要工具。然而，GWR遭受的问题是，经典的线性回归，组成GWR模型，更容易是欠拟合，特别是对于显着的体积和复杂的非线性数据，导致较差的比较性能。然而，一些先进的模型，如决策树和支持向量机，可以更有效地从复杂的数据中学习特征，但它们不能为局部关系的空间变化提供可解释的量化。为了解决上述问题，我们提出了一个地理上的梯度提升加权回归模型，GWRBoost，适用于本地化的加性模型和梯度提升优化方法，以减轻欠拟合问题，并保留了可解释的量化能力的空间变化的地理位置的变量之间的关系。此外，我们制定了赤池信息得分的计算方法，该模型进行比较分析与经典的GWR算法。通过仿真实验和实例分析，验证了GWRBoost算法的有效性和实用价值。结果表明，该模型在参数估计精度上使RMSE降低了18.3%，在拟合优度上使AICc降低了67.3%。
2022-12-15 cs.LG stat.ML
Gradient Boosting With Piece-Wise Linear Regression Trees
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息研究院）
梯度提升决策树（GBDT）是一种非常成功的集成学习算法，广泛应用于各种应用。最近，GBDT训练算法和实现的几个变体已经在一些非常流行的开源工具包中设计和大量优化，包括XGBoost，LightGBM和CatBoost。在本文中，我们表明，通过使用更复杂的基础学习器，可以进一步提高GBDT的准确性和效率。具体来说，我们扩展了梯度提升，使用分段线性回归树（PL树），而不是分段常数回归树，作为基本学习器。我们表明PL树可以加速GBDT的收敛，提高精度。我们还提出了一些优化技巧，以大大减少PL树的训练时间，而几乎不牺牲准确性。此外，我们提出了几种实现技术，以加快我们的算法在现代计算机体系结构与强大的单指令多数据（SIMD）并行。实验结果表明，GBDT与PL树可以提供非常有竞争力的测试精度相当或更少的训练时间。
2019-06-25 cs.LG
Ensembles of Probabilistic Regression Trees
该研究提出概率回归树的集成方法，通过概率分配观测值实现目标函数的平滑近似，证明了其一致性并通过实验验证了偏差-方差特性与预测性能。
2024-06-20 cs.LG stat.ML
AGBoost: Attention-based Modification of Gradient Boosting Machine
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种新的基于注意力的梯度提升机（GBM）模型AGBoost（the attention-based梯度提升），用于求解回归问题。提出的AGBoost模型的主要思想是在决策树是GBM中的基本学习器的条件下，将具有可训练参数的注意力权重分配给GBM的迭代。注意力权重是通过应用决策树的属性和通过使用Huber污染模型来确定的，该模型提供了注意力的可训练参数和注意力权重之间的有趣的线性相关性。这种特性允许我们通过求解具有线性约束的标准二次优化问题来训练注意力权重。注意力权重还取决于折扣因子作为调优参数，该参数确定权重的影响随着迭代次数的减少而减少多少。两种类型的基本学习，原始决策树和极端随机树与各种回归数据集进行的数值实验说明了所提出的模型。
2022-07-12 cs.LG stat.ML
AdaBoost and Forward Stagewise Regression are First-Order Convex Optimization Methods
MIT Sloan School of Management（麻省理工学院斯隆管理学院）；MIT Operations Research Center（麻省理工学院运筹学中心）
Boosting方法是一种非常流行和有效的监督学习方法，它将弱学习器组合成一个具有良好统计性能的精确模型。在本文中，我们分析了两个著名的提升方法，AdaBoost和增量前向逐步回归（FS $_\varepsilon$），通过建立他们的精确连接到镜像下降算法，这是一个一阶方法在凸优化。作为这些连接的结果，我们获得了新的计算保证这些提升方法。特别是，我们的AdaBoost收敛界的特征，相关的利润率和对数指数损失函数，任何步长序列。此外，本文提出了，第一次，精确的计算复杂性的结果FS $_\varepsilon$。
2013-07-04 cs.LG math.OC stat.ML
Combining Gradient Boosting Machines with Collective Inference to Predict Continuous Values
Purdue University（普渡大学）
回归树的梯度提升是用于学习连续数据的预测模型的竞争性过程，其用加性非参数模型拟合数据。梯度提升的经典版本假设数据是独立同分布的。然而，具有相互依赖的关联实例的关系数据现在很常见，并且可以利用此类数据中的依赖关系来提高预测性能。集体推理是一种利用关系相关模式并显着减少分类错误的方法。然而，大部分关于集体学习和推理的工作都集中在离散预测任务上，而不是连续的。%目标值在集体推理方面没有得到关注。在这项工作中，我们研究如何将这两种范式结合在一起，以提高回归关系域。具体来说，我们提出了一种用于学习预测连续目标变量的集体推理模型的提升算法。在该算法中，我们学习一个基本的关系模型，集体推断的目标值，然后迭代学习关系模型预测残差。我们在一个真实的网络数据集上评估了我们提出的算法，并表明它优于其他提升方法。然而，我们的调查还显示，关系特征相互作用，以产生更好的预测。
2016-07-01 cs.LG stat.ML
Light Gradient Boosting Machine as a Regression Method for Quantitative Structure-Activity Relationships
Merck & Co. Inc.（默克公司）
在制药工业中，通常会生成许多具有大量分子和描述符的QSAR模型，最好的QSAR方法是那些可以生成最准确预测，但对超参数不敏感且计算效率高的方法。在这里，我们在30个内部数据集上比较了Light Gradient Boosting Machine（LightGBM）与随机森林，单任务深度神经网络和Extreme Gradient Boosting（XGBoost）。虽然任何boosting算法都有许多可调整的超参数，但我们可以定义一组标准超参数，LightGBM在这些参数下的预测与单任务深度神经网络一样准确，但在最大模型的总计算时间方面，比随机森林快1000倍，比XGBoost快4倍。LightGBM的另一个非常有用的特性是它包括一个用于估计预测区间的本地方法。
2021-04-28 cs.LG q-bio.BM
Gradient Boosting Performs Gaussian Process Inference
ShareChat；Yandex Research（Yandex研究院）；HSE University（高等经济大学）
本文证明了基于对称决策树的梯度提升可以等价地转化为收敛于某个核岭回归问题的解的核方法。因此，我们获得了高斯过程的后验均值的收敛，这反过来又使我们能够轻松地将梯度提升从后验转换为采样器，以通过后验方差的Monte-Carlo估计提供更好的知识不确定性估计。我们表明，建议的采样器允许更好的知识不确定性估计，从而改善域外检测。
2023-03-13 cs.LG stat.ML
ProBoost: a Boosting Method for Probabilistic Classifiers
Interactive Technologies Institute（交互技术研究所）；University of Madeira（马德拉大学）；Instituto de Telecomunicações（电信研究所）
本研究提出面向概率分类器的新型boosting算法ProBoost，通过样本认知不确定性调整训练权重/采样策略并构建加权集成，在MNIST数据集上仅用4个弱学习器即可实现准确率等指标超12%的相对提升。
2022-09-04 cs.AI cs.LG stat.ML
Shrinkage degree in $L_2$-re-scale boosting for regression
Xi’an Jiaotong University（西安交通大学）；Wenzhou University（温州大学）
Re-scale boosting（RBoosting）是boosting的一种变体，可以从本质上提高boosting学习的泛化性能。RBoosting的关键特征在于引入收缩度来重新缩放每个梯度下降步骤中的集合估计。因此，收缩程度决定了RBoosting的性能。本文的目的是对如何确定$L_2$ -RBoosting中的收缩程度进行具体分析。提出了两种可行的收缩率选择方法。首先对收缩度进行参数化，然后提出一种基于数据驱动的收缩度方法，在分析了收缩度在$L_2$ -RBoosting学习中的重要性后，比较了两种方法的优缺点。我们发现，虽然这些方法可以达到相同的学习率，参数化方法的最终估计的结构更好，有时会产生更好的泛化能力时，样本数是有限的。因此，我们建议参数化$L_2$ -RBoosting的收缩程度。为此，我们提出了一种自适应的收缩度参数选择策略，并通过理论分析和数值验证验证其可行性。所得结果加深了对RBoosting的理解，并进一步指导如何使用$L_2$ -RBoosting进行回归任务。
2015-05-17 cs.LG
Gradient Boosting Neural Networks: GrowNet
Purdue University（普渡大学）；UCLA（加州大学洛杉矶分校）；Linkedin（领英）；Amazon（亚马逊）；Virginia Tech（弗吉尼亚理工大学）
提出了一种新型的梯度提升框架，其中浅层神经网络被用作“弱学习者”。一般损失函数被认为是在这个统一的框架下，提出了具体的例子分类，回归，和学习排序。一个完整的纠正步骤，以弥补贪婪函数近似的经典梯度提升决策树的陷阱。所提出的模型在多个数据集上的所有三个任务中都表现出优于最先进的提升方法的结果。烧蚀研究进行阐明的影响，每个模型组件和模型超参数。
2020-06-14 cs.LG stat.ML
Non-Parametric Calibration of Probabilistic Regression
University of Bristol（布里斯托大学）；University of Tartu（塔尔图大学）
校准的任务是回顾性地调整来自机器学习模型的输出，以提供对目标变量的更好的概率估计。虽然校准已被彻底调查的分类，它还没有很好地建立回归任务。本文考虑了概率回归模型的校准问题，以提高对实值目标的概率密度估计。我们建议通过累积概率密度来校准回归模型，该累积概率密度可以从校准多类分类器中获得。我们提供了三个非参数的方法来解决这个问题，其中两个提供经验估计，第三个提供光滑的密度估计。所提出的方法进行了实验评估，以显示他们的能力，以提高性能的回归模型的预测可能性。
2018-06-20 cs.LG stat.ML
RieszBoost: Gradient Boosting for Riesz Regression
UC Berkeley（加州大学伯克利分校）
本文提出RieszBoost，一种无需显式解析形式的梯度提升算法，用于直接估计Riesz表示子，在表格数据上为因果量估计提供了灵活、非参数且稳健的替代方法，模拟研究表明其性能与间接估计方法相当或更优。
2025-02-04 cs.LG stat.ME stat.ML
Returning The Favour: When Regression Benefits From Probabilistic Causal Knowledge
University of Oxford（牛津大学）；University of Adelaide（阿德莱德大学）
该研究提出碰撞器回归框架，利用DAG中碰撞器结构产生的独立性作为归纳偏差，在再生核希尔伯特空间中证明严格正泛化收益，并在合成及气候数据上验证性能提升。
2023-06-21 cs.LG stat.ML
Improved Differentially Private Regression via Gradient Boosting
Amazon AWS AI/ML（亚马逊AWS人工智能/机器学习部门）；University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Carnegie Mellon University（卡内基梅隆大学）
针对差分隐私平方误差线性回归中现有方法对超参数敏感的问题，提出一种基于梯度提升的新算法，在裁剪阈值固定或竞争算法非隐私优化时均表现更优，并提供理论解释。
2023-05-20 cs.CR cs.LG
Local Adaptivity of Gradient Boosting in Histogram Transform Ensemble Learning
University of Twente（特文特大学）
在本文中，我们提出了一个梯度助推算法称为\textit{adaptive boosting histogram transform}（\textit{ABHT}）回归说明梯度助推算法的局部自适应直方图变换集成学习。从理论的角度来看，当目标函数位于局部Hölder连续空间中时，我们证明了我们的ABHT可以过滤掉具有不同阶光滑度的区域。因此，我们能够证明ABHT的收敛速度的上界严格小于\textit{parallel ensemble histogram transform}（\textit{PEHT}）的下界。在实验中，合成和真实世界的数据实验经验验证了理论结果，这表明我们的ABHT的优越性能和局部自适应性。
2021-12-05 cs.LG stat.ML
Probabilistic Models for Manufacturing Lead Times
McGill University（麦吉尔大学）；Axya
在这项研究中，我们利用高斯过程，概率神经网络，自然梯度提升，和分位数回归增强梯度提升模型的激光制造过程的提前期。我们在域中引入概率建模，并根据不同的能力比较模型。在提供现实数据中模型之间的比较的同时，我们的工作具有许多用例和巨大的商业价值。我们的研究结果表明，所有的模型击败了公司的估计基准，使用领域的经验，并有很好的校准与经验频率。
2022-06-28 cs.LG
Uncertainty in Gradient Boosting via Ensembles
Yandex；HSE University（高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
对于许多实际的高风险应用，量化模型预测中的不确定性以避免代价高昂的错误至关重要。虽然神经网络的预测不确定性得到了广泛的研究，但对于基于梯度提升的模型，该主题似乎还没有得到充分的研究。然而，梯度提升通常在表格数据上实现最先进的结果。本文研究了一个基于概率集合的框架，用于在梯度提升分类和回归模型的预测中获得不确定性估计。我们在一系列合成和真实数据集上进行了实验，并研究了集成方法对本身就是决策树集成的梯度提升模型的适用性。我们的分析表明，集成的梯度提升模型成功地检测到异常的输入，而有限的能力，以提高预测的总的不确定性。重要的是，我们还提出了一个虚拟合奏的概念，通过只有一个梯度提升模型，这显着降低了复杂性，以获得合奏的好处。
2021-04-02 cs.LG stat.ML
Probabilistic Energy Forecasting using Quantile Regressions based on a new Nearest Neighbors Quantile Filter
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
参数分位数回归是创建概率能源预测的有用工具。尽管如此，由于经典分位数回归是使用不可微的成本函数训练的，因此使用复杂的数据采掘技术（例如，人工神经网络）可能是复杂的。本文提出了一种方法，使用一个新的最近邻分位数过滤器，以获得独立的分位数回归所利用的数据采掘技术，没有不可微的成本函数。此后，使用2014年全球能源预测竞赛的数据集进行验证所提出的方法。结果表明，所提出的方法是能够解决类似的准确性，在类似的时间竞争的冠军的竞争任务，但需要一个强大得多的计算机。该属性可能与在线预测服务相关，对于该在线预测服务，需要使用不那么强大的机器来快速计算概率预测。
2019-03-18 cs.LG stat.ML
