Accelerated Gradient Boosting
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LPSM（概率与随机模型实验室）；Univ Rennes（雷恩大学）；IRMAR（雷恩数学研究所）
梯度树提升是一种预测算法，通过解决无限维优化问题，以决策树的线性组合的形式顺序产生模型。我们结合梯度提升和Nesterov的加速下降来设计一个新的算法，我们称之为AGB（加速梯度提升）。大量的数值证据提供了合成和现实生活中的数据集，以评估该方法在各种各样的预测问题的优异性能。经验表明，AGB对收缩参数的敏感性要低得多，并且输出的预测因子在树的数量上要稀疏得多，同时保留了梯度提升的出色性能。
2018-03-06 cs.LG stat.ML
MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
提升方法是最好的通用和现成的机器学习方法之一，得到了广泛的普及。在本文中，我们寻求开发一种提升方法，该方法可以产生与流行的AdaBoost和梯度提升方法相当的精度，但计算速度更快，其解决方案更具可解释性。我们通过开发MP-Boost来实现这一点，MP-Boost是一种松散基于AdaBoost的算法，它通过在每次迭代中自适应地选择实例和特征的小子集来学习，或者我们称之为迷你补丁（MP）。通过对数据的微小子集进行顺序学习，我们的方法在计算上比其他经典的boosting算法更快。此外，随着它的进展，MP-Boost自适应地学习特征和实例的概率分布，增加最重要的特征和具有挑战性的实例的权重，从而自适应地选择最相关的小块进行学习。这些学到的概率分布也有助于解释我们的方法。我们经验证明的可解释性，比较准确性，和计算时间，我们的方法对各种二进制分类任务。
2020-11-14 cs.LG stat.ML
NGBoost: Natural Gradient Boosting for Probabilistic Prediction
Stanford University（斯坦福大学）；Harvard Medical School（哈佛医学院）
我们提出了自然梯度提升（NGBoost），这是一种通过梯度提升进行通用概率预测的算法。典型的回归模型返回一个点估计，条件是协变量，但概率回归模型输出一个完整的概率分布在结果空间，条件是协变量。这允许预测性的不确定性估计--这在医疗保健和天气预报等应用中至关重要。NGBoost通过将条件分布的参数作为多参数提升算法的目标，将梯度提升推广到概率回归。此外，我们还展示了如何使用自然梯度来纠正我们的多参数提升方法的训练动态。NGBoost可以用于任何基础学习器，任何具有连续参数的分布族以及任何评分规则。NGBoost匹配或超过现有概率预测方法的性能，同时在灵活性，可扩展性和可用性方面提供额外的好处。在github.com/stanfordmlgroup/ngboost上可以找到一个开源实现。
2020-06-09 cs.LG stat.ML
Improving Label Ranking Ensembles using Boosting Techniques
Ariel University（阿里埃勒大学）；Tel Aviv University（特拉维夫大学）
标签排名是一种预测任务，其处理学习实例和排名之间的映射（即，顺序）的标签从一个有限的集合，表示它们的相关性的实例。Boosting是一种众所周知且可靠的集成技术，其表现往往优于其他学习算法。虽然提升算法是为众多机器学习任务开发的，但标签排名任务被忽视了。在本文中，我们提出了一种专门为标签排名任务设计的boosting算法。在24个半合成和真实世界的标签排名数据集上对所提出的算法进行了广泛的评估，结果表明，它显着优于现有的最先进的标签排名算法。
2020-01-21 cs.LG stat.ML
Sample-Optimal Agnostic Boosting with Unlabeled Data
Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种计算高效的不可知boosting算法，通过引入多项式级数量的额外无标签样本，使其样本复杂度与ERM相匹配，且总样本数不劣于已知最佳算法，解决了现有方法在不可知设置下未达最优样本复杂度的问题。
2025-03-06 cs.LG stat.ML
MIS-Boost: Multiple Instance Selection Boosting
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们提出了一种新的多实例学习（MIL）方法，称为MIS-Boost，它通过在boosting框架中显式选择实例来学习判别实例原型。与以前的实例选择为基础的MIL方法，我们不限制原型的离散集的训练实例，但允许他们采取任意值的实例特征空间。我们也不限制原型的总数和每个包的选定实例的数量;这些数量完全是数据驱动的。我们证明了MIS-Boost在许多基准数据集上的性能优于最先进的MIL方法。我们还将MIS-Boost应用于大规模图像分类，在那里我们展示了自动选择的原型映射到视觉上有意义的图像区域。
2011-09-12 cs.CV cs.LG
Online Multiclass Boosting with Bandit Feedback
University of Michigan（密歇根大学）；Department of Computer Science（计算机科学系）；Department of Statistics（统计系）
我们提出了在线提升算法的多类分类与强盗反馈，学习者只收到反馈的正确性，其预测。我们提出了一个无偏估计的损失使用随机预测，允许模型更新其弱学习有限的信息。使用无偏估计，我们扩展了两个全信息提升算法（Jung等人，2017年，《土匪》上映。我们证明了强盗算法的渐近误差界完全匹配他们的全信息同行。限制反馈的成本反映在更大的样本复杂性中。实验结果也支持我们的理论研究结果，所提出的模型的性能与现有的强盗助推算法，这是有限的使用二进制弱学习器。
2019-02-25 cs.LG stat.ML
Fair MP-BOOST: Fair and Interpretable Minipatch Boosting
Rice University（莱斯大学）；Columbia University（哥伦比亚大学）
本文提出 Fair MP-Boost，一种通过自适应采样迷你块并学习特征与观测概率来同时提升公平性、准确性和可解释性的随机提升方法。
2024-04-01 cs.LG stat.ML
Accelerated Componentwise Gradient Boosting using Efficient Data Representation and Momentum-based Optimization
LMU Munich（慕尼黑大学）
渐进式提升（CWB），也称为基于模型的提升，是梯度提升的一种变体，它建立在加性模型作为基础学习器上，以确保可解释性。因此，CWB经常用于模型被用作解释数据关系的工具的研究领域。CWB的一个缺点是它在内存和运行时间方面的计算复杂性。在本文中，我们提出了两种技术来克服这些问题，而不会失去CWB的属性：特征离散化的数值特征，并将Nesterov动量函数梯度下降。由于后者可能容易出现早期过拟合，我们还提出了一种混合方法，可以防止可能的发散梯度下降例程，同时确保更快的收敛。我们对多个模拟和真实数据集进行了广泛的基准测试，以证明在运行时间和内存消耗方面的改进，同时保持最先进的估计和预测性能。
2021-10-29 cs.LG stat.CO
Light Gradient Boosting Machine as a Regression Method for Quantitative Structure-Activity Relationships
Merck & Co. Inc.（默克公司）
在制药工业中，通常会生成许多具有大量分子和描述符的QSAR模型，最好的QSAR方法是那些可以生成最准确预测，但对超参数不敏感且计算效率高的方法。在这里，我们在30个内部数据集上比较了Light Gradient Boosting Machine（LightGBM）与随机森林，单任务深度神经网络和Extreme Gradient Boosting（XGBoost）。虽然任何boosting算法都有许多可调整的超参数，但我们可以定义一组标准超参数，LightGBM在这些参数下的预测与单任务深度神经网络一样准确，但在最大模型的总计算时间方面，比随机森林快1000倍，比XGBoost快4倍。LightGBM的另一个非常有用的特性是它包括一个用于估计预测区间的本地方法。
2021-04-28 cs.LG q-bio.BM
Long-range Prediction of Vital Signs Using Generative Boosting via LSTM Networks
National University of Singapore（新加坡国立大学）
包括心率、呼吸频率、体温和血压在内的生命体征在临床决策过程中至关重要。对生命体征的有效早期预测有助于提前提醒医生，并可防止不良健康结果。在本文中，我们提出了一种称为生成增强的新方法，以有效地进行生命体征的早期预测。生成式提升由生成模型和若干预测模型组成，生成模型用于为接下来的几个时间步生成合成数据，而若干预测模型用于基于观察到的和生成的数据直接进行长期预测。我们通过长短期记忆（LSTM）探索了预测模型和生成模型的生成增强，从而产生了一种称为生成LSTM（GLSTM）的方案。我们的实验表明，GLSTM优于各种强大的基准模型，有和没有生成提升。最后，我们使用基于互信息的聚类算法来选择更有代表性的数据集来训练GLSTM的生成模型。这显著地改善了诸如心率和收缩压的高变化生命体征的长期预测性能。
2019-11-14 cs.LG eess.SP
Boosting in Univariate Nonparametric Maximum Likelihood Estimation
Tsinghua University（清华大学）
非参数极大似然估计的目的是推断未知的密度分布，同时尽可能少的假设。为了减轻非参数数据拟合中的过度参数化，通常将平滑假设合并到估计中。本文提出了一种新的基于boosting的单变量非参数估计方法。通过非参数对数似然的二阶近似，推导出boosting算法。在Boosting算法中，高斯核和光滑样条被选为弱学习器，以满足光滑假设。仿真和实际数据实验证明了该方法的有效性。
2021-01-21 cs.LG eess.SP stat.ME
Communication Efficient Distributed Agnostic Boosting
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们考虑在不可知论环境中从分布式数据中学习的问题，即，在存在任意形式的噪声的情况下。我们的主要贡献是一个通用的分布式的基于提升的程序学习任意的概念空间，同时是噪声容忍，通信效率，计算效率。这大大提高了以前的作品，要么是通信效率，只有在无噪声的情况下，或计算禁止。在大型合成数据集和真实数据集上的实验结果证明了该方法的有效性和可扩展性。
2016-11-18 cs.LG stat.ML
Boosting Random Forests to Reduce Bias; One-Step Boosted Forest and its Variance Estimate
Cornell University（康奈尔大学）
在本文中，我们提出使用助推的原则，以减少回归设置中的随机森林预测的偏差。从原始的随机森林拟合中，我们提取残差，然后将另一个随机森林拟合到这些残差。我们将这两个随机森林的和称为\textit{one-step boosted forest}。我们用模拟和真实数据表明，与原始随机森林相比，一步提升森林具有降低的偏差。本文还通过对无限小Jackknife估计的推广，给出了一步提升森林的方差估计。使用这个方差估计，我们可以构建预测区间的提升森林，我们表明，他们有很好的覆盖概率。结合偏差减少和方差估计，我们表明，一步提升森林有一个显着减少预测均方误差，从而提高预测性能。当应用于来自UCI数据库的数据集时，一步提升森林的性能优于随机森林和梯度提升机器算法。从理论上讲，我们还可以将这种提升过程扩展到多个步骤，本文中概述的相同原理可以用于找到此类预测因子的方差估计。这种提升将进一步减少偏差，但它有过度拟合的风险，也增加了计算负担。
2020-04-22 cs.LG stat.ME stat.ML
BooST: Boosting Smooth Trees for Partial Effect Estimation in Nonlinear Regressions
Columbia University（哥伦比亚大学）；Pontifical Catholic University of Rio de Janeiro (PUC-Rio)（里约热内卢天主教大学）；University of California, Irvine（加州大学尔湾分校）
在本文中，我们介绍了一种新的机器学习（ML）模型的非线性回归称为提升平滑过渡回归树（BooST），这是一个组合的提升算法与平滑过渡回归树。BooST模型的主要优点是可以估计非常一般的非线性模型的导数（部分效应）。因此，与其他基于树的模型（如随机森林）相比，该模型可以提供更多关于协变量和因变量之间映射的解释。我们提出了几个例子，模拟和真实的数据。
2020-07-28 cs.LG econ.EM stat.ME
Gradient boosting for convex cone predict and optimize problems
University of Toronto（多伦多大学）
本文提出通用框架 dboost，将梯度提升与凸二次锥规划结合，并通过自定义不动点映射的隐式微分训练，以降低“先预测、后优化”任务的样本外决策遗憾。
2023-06-07 cs.LG math.OC stat.ML
Boost Like a (Var)Pro: Trust-Region Gradient Boosting via Variable Projection
Tufts University（塔夫茨大学）；Clemson University（克莱姆斯大学）
本文提出VPBoost算法，结合变量投影和二次弱学习策略，实现对可分离光滑近似器的梯度提升，证明其在弱几何条件下收敛到驻点，并在强假设下达到超线性收敛速度。
2026-03-24 cs.LG cs.NA math.NA
Defensive Boosting for Online Probabilistic Forecasting
本研究提出防御提升器算法，可同时满足在线梯度提升与在线弱到强提升的两种保证，效率高且在合成和真实数据流上预测性能强劲、运行速度快。
2026-08-14 cs.CC cs.DS cs.LG
Boosting in the presence of outliers: adaptive classification with non-convex loss functions
University of California at San Diego（加州大学圣地亚哥分校）
本文研究了二进制分类问题的非凸损失函数的作用和效率。特别是，我们研究如何设计一个简单而有效的提升算法，是强大的离群数据。对特定非凸损失对预测准确性的作用的分析取决于损失梯度的递减尾部特性--损失有效适应外围数据的能力、损失的局部凸特性和污染数据的比例。为了有效地利用这些性质，我们提出了一个新的家庭的非凸损失命名为$γ$ -鲁棒损失。此外，我们提出了一个新的提升框架，{ \it Arch Boost}，旨在增强现有的工作，使其相应的分类算法是显着更适应未知的数据污染。随着Arch Boosting框架，非凸损失导致了一类新的boosting算法，称为自适应，鲁棒，boosting（ARB）。此外，我们提出了理论的例子，证明所提出的算法的鲁棒性。特别是，我们开发了一个新的故障点分析和一个新的影响函数分析，证明收益的鲁棒性。此外，我们提出了新的理论结果，仅基于局部曲率，这可能是用来建立统计和优化性能的建议拱提升算法与高度非凸损失函数。大量的数值计算被用来说明这些理论特性，并揭示了现有的提升方法的优势时，数据表现出一些离群值。
2015-10-05 cs.AI cs.LG math.ST
Gaussian Process Boosting
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
提出高斯过程提升方法，结合提升与高斯过程及混合效应模型，放宽假设，处理高基数分类变量，并利用Vecchia近似扩展至大规模数据，提升预测精度。
2024-11-05 cs.LG stat.CO stat.ME
Latent Gaussian Model Boosting
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
潜在高斯模型和提升是统计学和机器学习中广泛使用的技术。树提升在许多数据集上显示出优异的预测精度，但潜在的缺点是它假设样本的条件独立性，产生不连续的预测，例如，空间数据，并且它可能难以处理高基数的分类变量。潜高斯模型，如高斯过程和分组随机效应模型，是灵活的先验模型，显式地模拟样本之间的依赖性，并允许有效的学习预测函数和进行概率预测。然而，现有的潜在高斯模型通常假设零或线性先验均值函数，这可能是不切实际的假设。本文介绍了一种新的方法，它结合了提升和潜在高斯模型，以弥补上述缺点，并利用这两种技术的优势。与现有的方法相比，我们在模拟和真实世界的数据实验中获得了更高的预测精度。
2022-07-25 cs.AI cs.LG stat.CO
