Analysis of boosting algorithms using the smooth margin function
我们介绍了一个有用的工具,用于分析提升算法称为“平滑的边缘函数”,一个可微的近似通常的边缘提升算法。我们提出了两个基于平滑边缘的提升算法,“坐标上升提升”和“近似坐标上升提升”,这类似于Freund和Schapire的AdaBoost算法和Breiman的arc-gv算法。我们给我们的算法和弧GV的最大利润率的解决方案的收敛速度。然后,我们研究了AdaBoost的收敛特性,使用光滑的边缘函数。当弱分类器的边缘落在指定范围内时,我们精确地限制了AdaBoost所获得的边缘。这表明Rätsch和Warranty证明的前一个界是严格的。此外,我们使用平滑的边缘捕捉显式的AdaBoost的循环行为发生的情况下,属性。
2008-03-28 math.ST stat.ML stat.TH
A Modified Bayesian Optimization based Hyper-Parameter Tuning Approach for Extreme Gradient Boosting
VMware Software India Pvt. Ltd.(威睿软件印度私人有限公司)
在文献中已经报道了机器学习算法的性能受到执行适当的超参数优化的极大影响。执行超参数优化的方法之一是手动搜索,但这很耗时。执行超参数优化的一些常见方法是网格搜索随机搜索和使用Hyperopt的贝叶斯优化。在本文中,我们提出了一个全新的超参数改进的方法,即随机Hyperopt,然后调整XGBoost的超参数,即极端梯度提升算法在10个数据集上通过应用随机搜索,随机Hyperopt,Hyperopt和网格搜索。这四种技术的性能进行了比较,同时考虑到预测精度和执行时间。我们发现,Randomized-Hyperopt比其他三个传统的方法进行XGBoost的超参数优化。
2020-04-10 cs.LG stat.ML
Boosting with Tempered Exponential Measures
Google Research(谷歌研究院)
该研究将AdaBoost的相对熵最小化推导框架推广到调和指数测度(TEMs),提出t-AdaBoost算法,证明其在t∈[0,1)时保留指数收敛速率且有更优隐式常数,还推导了一族严格正的调和损失,实验显示调优t可带来显著性能提升。
2023-06-08 cs.LG stat.ML
Forecasting Oncology Demand Trends with Boosting-Based Bayesian Conjugate Models
Universidade Federal do Cariri (UFCA)(联邦大学卡拉里(UFCA));Universidade Federal Rural de Pernambuco (UFRPE)(联邦农村佩纳布卢克大学(UFRPE))
本文提出了一种贝叶斯框架,用于预测癌症需求趋势,通过伽马-对数正态共轭结构增强模型的适应性,实验证明其在趋势检测准确率上优于传统方法。
2026-05-06 cs.LG stat.AP stat.ML
Overview of AdaBoost : Reconciling its views to better understand its dynamics
Centre Borelli(博雷利中心);ENS Paris-Saclay, Université Paris-Saclay(巴黎-萨克雷高等师范学校,巴黎-萨克雷大学)
本文系统梳理了 AdaBoost 的多种理论视角,从 Freund 和 Schapire 的原始视角出发,用统一形式化体系揭示各视角之间的等价性与联系,以帮助读者理解其动力学。
2023-10-06 cs.LG stat.ML
SPLBoost: An Improved Robust Boosting Algorithm Based on Self-paced Learning
Xi’an Jiaotong University(西安交通大学)
已知的是,提升可以被解释为使潜在的损失函数最小化的梯度下降技术。具体而言,传统AdaBoost最小化的潜在损失是指数损失,这被证明对随机噪声/离群值非常敏感。因此,几种Boosting算法,例如,LogitBoost和SavageBoost,已经被提出来通过用一些设计的鲁棒损失函数代替指数损失来提高AdaBoost的鲁棒性。在这项工作中,我们提出了一种新的方法来鲁棒AdaBoost,即,在Boosting框架中引入了自主学习(SPL)的鲁棒学习思想。具体来说,我们设计了一种新的基于SPL机制的鲁棒Boosting算法,即,SPLBoost,它可以通过稍微修改现成的Boosting包轻松实现。大量的实验和理论表征也进行了说明所提出的SPLBoost的优点。
2017-06-23 cs.CV cs.LG stat.ML
Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers
University of Pennsylvania(宾夕法尼亚大学);Apple Inc.(苹果公司)
有大量的文献解释了为什么AdaBoost是一个成功的分类器。AdaBoost的文献集中在分类器的利润和提升的解释为指数似然函数的优化。然而,这些现有的解释被指出是不完整的。随机森林是另一种流行的集成方法,在文献中的解释少得多。我们介绍了一个新的角度AdaBoost和随机森林,提出这两种算法的工作原理相似。虽然这两种分类器实现了类似的预测精度,但随机森林不能被视为直接优化过程。相反,随机森林是一种自平均,插值算法,它创建了我们所称的“尖峰平滑”分类器,我们以同样的眼光看待AdaBoost。我们推测AdaBoost和随机森林都是因为这种机制而成功的。我们提供了一些例子和一些理论依据来支持这一解释。在这个过程中,我们质疑传统的智慧,认为分类的提升算法需要正则化或提前停止,并且应该限于低复杂度的学习者类别,例如决策树。我们的结论是,boosting应该像随机森林一样使用:使用大型决策树,而不需要直接正则化或提前停止。
2017-04-29 cs.LG stat.ME stat.ML
CUSBoost: Cluster-based Under-sampling with Boosting for Imbalanced Classification
United International University(联合国际大学)
类不平衡分类是数据采掘和机器学习中的一个具有挑战性的研究问题,因为大多数现实生活中的数据集往往是不平衡的。现有的学习算法通过正确分类多数类而最大化分类精度,但是错误分类少数类。然而,在现实生活中的应用程序中,少数类实例比多数类实例更感兴趣地表示概念。最近,一些技术的基础上的抽样方法(欠采样的多数类和过采样的少数类),成本敏感的学习方法,集成学习已被用于在文献中分类不平衡的数据集。在本文中,我们介绍了一种新的基于聚类的欠采样方法与升压(AdaBoost)算法,称为ADABoost,有效的不平衡分类。该算法提供了一种替代RUSBoost(随机欠采样与AdaBoost)和SMOTEBoost(合成少数过采样与AdaBoost)算法。我们使用基于集成学习的最先进的方法,如AdaBoost,RUSBoost,SMOTEBoost,在13个具有不同不平衡率的不平衡二进制和多类数据集上评估了RUSBoost算法的性能。实验结果表明,该算法是一种有效的处理高度不平衡数据集的方法。
2017-12-12 cs.LG stat.ML
Statistical Guarantees and Algorithmic Convergence Issues of Variational Boosting
Texas A & M University(得克萨斯农工大学)
我们提出了一种新的小带宽高斯混合变分家庭贝叶斯变分提升提供统计保证。我们采用的功能版本的Frank-Wolfe优化作为我们的变分算法和研究的迭代提升更新的频率属性。比较绘制到最近的文献上的提升,描述如何选择的变分家庭和差异措施影响收敛和有限样本的统计特性的优化例程。具体来说,我们首先证明了随机有界的提升迭代相对于数据生成分布。接下来,我们将其集成到我们的算法中,以提供显式的收敛速度,并以所需的提升更新次数的结果结束。
2020-10-22 cs.LG stat.ML
Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm
Université Laval(拉瓦尔大学)
我们提出了一个广泛的分析行为的多数票在二进制分类。特别是,我们引入了一个风险约束的多数票,称为C界,考虑到选民的平均质量和他们的平均分歧。我们还提出了一个广泛的PAC-Bayesian分析,展示了如何从训练数据中包含的各种观察来估计C界。该分析旨在是独立的,可以用作PAC贝叶斯统计学习理论的介绍材料。它从一般的PAC-Bayesian角度开始,并以不常见的PAC-Bayesian边界结束。其中一些边界不包含库尔贝克-莱布勒散度,而另一些边界允许将内核函数用作投票者(通过样本压缩设置)。最后,在分析的基础上,我们提出了MinCq学习算法,该算法基本上最小化了C界。MinCq简化为一个简单的二次规划。除了理论上的基础,MinCq实现了最先进的性能,如我们与AdaBoost和支持向量机的广泛实证比较所示。
2015-07-28 cs.LG stat.ML
Advances in Boosting (Invited Talk)
AT&T Labs - Research Shannon Laboratory(AT&T实验室-研究香农实验室)
Boosting是一种生成许多简单分类规则并将它们组合成单个高精度规则的通用方法。在这次演讲中,我将回顾AdaBoost boosting算法及其一些基本理论,然后看看这个理论如何帮助我们面对在两个领域应用AdaBoost的一些挑战:在第一个领域,我们使用boosting来预测和建模复杂的交互拍卖中价格的不确定性。第二个应用程序是在电话口语对话系统中对呼叫者话语进行分类,在该系统中我们面临两个挑战:需要结合先验知识来补偿最初的数据不足;以及稍后需要过滤收集的大量未标记的示例流,以选择其标签可能是最有信息的示例。
2012-12-12 cs.LG stat.ML
ADABOOK & MULTIBOOK: Adaptive Boosting with Chance Correction
Beijing University of Technology(北京工业大学);Flinders University(弗林德斯大学)
对Boosting和Bagging的兴趣相当大,包括AdaBoost的自适应技术与Bagging的随机选择替换技术的结合。与此同时,我们重新审视了评估的方式,提倡采用Kappa,Informedness,Correlation或ROC AUC等机会校正措施。这就引出了一个问题,即学习算法是否可以通过优化适当的机会校正度量来做得更好。事实上,一个弱学习者有可能优化准确性,从而损害更多的重新分类机会校正措施,当这种情况发生时,助推器可能过早放弃。已知这种现象会发生在传统的基于精度的AdaBoost中,并且已经开发了MultiBoost算法,以使用基于装袋的重启技术来克服这些问题。因此,本文补充的理论工作表明,使用机会校正的措施进行评估的必要性,与实证工作表明如何使用机会校正的措施可以提高助推。我们发现,早期投降的问题也发生在MultiBoost中,在多类的情况下,这样的机会校正AdaBook和Multibook可以击败标准的Multiboost或AdaBoost,我们进一步确定使用的机会校正措施时。
2020-10-11 cs.LG stat.ML
MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
提升方法是最好的通用和现成的机器学习方法之一,得到了广泛的普及。在本文中,我们寻求开发一种提升方法,该方法可以产生与流行的AdaBoost和梯度提升方法相当的精度,但计算速度更快,其解决方案更具可解释性。我们通过开发MP-Boost来实现这一点,MP-Boost是一种松散基于AdaBoost的算法,它通过在每次迭代中自适应地选择实例和特征的小子集来学习,或者我们称之为迷你补丁(MP)。通过对数据的微小子集进行顺序学习,我们的方法在计算上比其他经典的boosting算法更快。此外,随着它的进展,MP-Boost自适应地学习特征和实例的概率分布,增加最重要的特征和具有挑战性的实例的权重,从而自适应地选择最相关的小块进行学习。这些学到的概率分布也有助于解释我们的方法。我们经验证明的可解释性,比较准确性,和计算时间,我们的方法对各种二进制分类任务。
2020-11-14 cs.LG stat.ML
A Distributionally Robust Boosting Algorithm
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
分布鲁棒优化(DRO)已被证明是一个灵活的框架下的不确定性和统计估计的决策。例如,最近的工作在DRO表明,流行的统计估计可以解释为适当的制定数据驱动的DRO问题的解决方案。反过来,这种连接被用来根据鲁棒性考虑所告知的原则性方法来最佳地选择调谐参数。本文有助于这个不断增长的文献,连接DRO和统计,通过展示如何提高算法可以通过DRO研究。我们提出了一个升压型算法,名为DRO-升压,作为一个程序来解决我们的DRO配方。我们的DRO Boosting算法恢复自适应增强(AdaBoost),特别是,从而表明,AdaBoost是有效地解决DRO问题。我们将我们的算法应用于信用卡违约支付预测的金融数据集。我们发现,我们的方法相比,有利的替代升压方法,在实践中被广泛使用。
2019-05-20 cs.LG math.OC stat.ML
Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models
Eindhoven University of Technology(埃因霍温理工大学)
Bayesian Optimization是自动机器学习(AutoML)系统中调优算法的流行工具。当前最先进的方法利用随机森林或高斯过程来构建代理模型,该代理模型在给定某组超参数设置的情况下预测算法性能。在本文中,我们提出了一个新的代理模型的基础上梯度提升,我们使用分位数回归提供乐观的估计的性能未观察到的超参数设置,并结合未观察到的和观察到的超参数设置之间的距离度量,以帮助调节探索。我们的经验表明,新的方法是能够超越一些国家的最先进的技术在一个合理的大小集的分类问题。
2021-01-06 cs.LG stat.ML
Learning Landmark-Based Ensembles with Random Fourier Features and Gradient Boosting
CNRS(法国国家科学研究中心);Inria Lille - Nord Europe(法国里尔-北欧数字科学研究所)
我们提出了一种梯度提升算法,用于学习适应手头任务的核函数集合。与使用预先计算的核函数字典进行选择的最先进的多核学习技术不同,在每次迭代中,我们通过将其近似为随机傅立叶特征(RFF)的加权和并通过优化其重心来拟合内核。这使我们能够获得更通用的方法,更容易设置,并且可能具有更好的性能。我们的研究建立在最近的结果表明,可以学习一个内核RFF通过计算最小的PAC贝叶斯约束的内核对齐泛化损失,这是有效地从一个封闭的形式的解决方案。我们进行了实验分析,以突出我们的方法w.r.t.基于Boosting和内核学习的最先进的方法。
2019-06-14 cs.LG stat.ML
Forest tree species classification and entropy-derived uncertainty mapping using extreme gradient boosting and Sentinel-1/2 satellite data
Lund University(隆德大学)
本研究利用极端梯度提升模型和Sentinel卫星数据,实现了高精度的森林树种分类及不确定性映射,达到了85%的总体精度。
2025-12-02 q-bio.QM stat.ML
XBART: Accelerated Bayesian Additive Regression Trees
University of Chicago(芝加哥大学);Arizona State University(亚利桑那州立大学)
贝叶斯加性回归树(Bayesian additive regression trees,BART)(Chipman et.例如,2010)是一个强大的预测模型,在样本外预测方面往往优于其他模型。BART特别适合于具有非结构化预测变量和大量不可测量变化来源的环境,这在社会,行为和健康科学中是典型的。本文提出了一种改进的BART算法,它可以进行快速后验估计。我们提出了一个随机爬山算法,匹配显着的预测精度以前的BART实现,但速度快了很多倍,内存密集度低。仿真研究表明,新方法在计算时间上与随机森林和梯度提升方法相当,在函数估计上更准确。
2019-03-14 cs.LG stat.ML
Boosting Bayesian Parameter Inference of Nonlinear Stochastic Differential Equation Models by Hamiltonian Scale Separation
参数推断是数据驱动建模中的一个基本问题。给定被认为是某种参数化模型的实现的观测数据,目标是找到能够解释观测数据的参数值。在许多情况下,不确定性的主要来源必须包括在模型中,以进行可靠的预测。这自然会导致随机模型。随机模型使得参数推断更加困难,因为目标是找到可能的参数值的分布。在贝叶斯统计中,这是数据驱动学习的一致框架,这种所谓的后验分布可以用来进行概率预测。我们提出了一种新的,准确的和非常有效的方法来生成后验参数分布,随机微分方程模型校准到测量的时间序列。该算法的灵感来自于将后验分布重新解释为类似于聚合物的对象的统计力学配分函数,其中与模拟数据相比,测量值映射在较重的珠子上。为了得到分布样本,我们采用了结合多时间尺度积分的Hamilton Monte Carlo方法。如果测量点的数量或模拟点的数量变大,则时间尺度的分离自然出现。此外,至少对于1D问题,我们可以解耦测量点之间的谐波模式,并解析求解其动力学的最快部分。我们的方法是适用于广泛的推理问题,是高度并行化。
2016-04-19 cs.DS stat.CO
Sampling Acquisition Functions for Batch Bayesian Optimization
University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校);IBM Research, Zurich(IBM研究院苏黎世分部)
我们提出了采集汤普森采样(ATS),一种新的技术,批量贝叶斯优化(BO)的基础上,从一个随机过程中采样多个采集功能的想法。我们通过一组模型超参数上的采集函数的依赖性来定义这个过程。ATS在概念上是简单的,直接实现,并且与其他批处理BO方法不同,它可以用于并行化任何顺序采集功能或使现有的并行方法进一步扩展。我们提出了各种基准函数和超参数优化的一个流行的梯度提升树算法的实验。这些证明了ATS的优势,经典的并行汤普森采样BO,其竞争力与两个国家的最先进的批BO方法,其有效性,如果应用于现有的并行BO算法。
2019-10-16 cs.LG stat.ML
Selecting Hyperparameters for Tree-Boosting
Seminar for Statistics, ETH Zurich(苏黎世联邦理工学院统计研究所)
本文通过59个数据集比较了多种超参数优化方法,发现SMAC方法显著优于其他方法,并揭示了超参数调优的关键因素。
2026-11-03 cs.LG stat.AP stat.ML
Quantification of Uncertainties in Probabilistic Deep Neural Network by Implementing Boosting of Variational Inference
School of Electrical Engineering(电气工程学院);University of South Florida(南佛罗里达大学)
针对标准变分推断单密度近似后验能力不足的问题,提出BBNN,利用BVI迭代构建混合密度以提升泛化与不确定性量化,实验显示准确率较传统神经网络提高约5%。
2025-03-18 cs.LG stat.ML
Functional Frank-Wolfe Boosting for General Loss Functions
Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
Boosting是一种用于分类和回归的通用学习方法。然而,随着基本假设的数量变得越来越大,提升可能会导致测试性能的恶化。过拟合是一种重要且普遍存在的现象,特别是在回归设置中。为了避免过拟合,我们考虑使用$l_1$正则化。我们提出了一种新的Frank-Wolfe型提升算法(FWBoost)适用于一般的损失函数。通过使用指数损失,FWBoost算法可以重写为AdaBoost的变体,用于二进制分类。FWBoost算法与现有的boosting方法具有完全相同的形式,在调用具有不同权重更新的基础学习算法方面。boosting和Frank-Wolfe之间的这种直接联系产生了一种新的算法,该算法与现有的boosting方法一样实用,但具有新的保证和收敛速度。实验结果表明,FWBoost的测试性能并没有随着助推轮数的增加而下降,这与理论分析相一致。
2015-10-09 cs.LG stat.ML
BART: Bayesian additive regression trees
我们开发了一个贝叶斯“树的总和”模型,其中每棵树都受到正则化的约束,然后成为一个弱学习者,拟合和推理是通过迭代贝叶斯反拟合MCMC算法来完成的,该算法从后验中生成样本。实际上,BART是一种非参数贝叶斯回归方法,它使用维度自适应随机基元素。受总体方法的启发,特别是增强算法,BART由统计模型定义:先验和似然。这种方法能够实现完整的后验推断,包括未知回归函数的点和区间估计以及潜在预测因子的边际效应。通过跟踪预测因子包含频率,BART也可以用于无模型变量选择。BART的许多功能说明了一个烘烤小康对竞争的方法对42个不同的数据集,模拟实验和药物发现分类问题。
2010-10-07 stat.AP stat.ME stat.ML
Penalized Likelihood and Bayesian Function Selection in Regression Models
各个领域的研究推动了高维预测变量回归模型变量选择方法的广泛进步。相比之下,选择非线性函数的模型与添加剂预测最近才被认为是。几个相互竞争的建议几乎是同时提出的,而且往往互不相关。本文提供了一个国家的最先进的审查功能选择,侧重于惩罚似然和贝叶斯的概念,在一个统一的框架中相互关联的各种方法。在实证比较中,也包括提升,我们通过应用程序来评估几种方法,模拟和真实数据,从而提供一些指导,在实践中的性能。
2013-03-04 stat.ME
Variable Grouping Based Bayesian Additive Regression Tree
School of Mathematics;School of Statistics University of Minnesota, Minneapolis, MN 55455, USA
使用集合方法进行回归在获得高精度预测方面取得了巨大成功。例如Bagging、随机森林、Boosting、BART(贝叶斯加法回归树)及其变体。在本文中,我们提出了一个新的角度命名为变量分组,以提高预测性能。其主要思想是寻找潜在的变量分组,使得不同组的变量之间没有非线性相互作用项。给定一个学习者总和模型,每个学习者将只负责一组变量,这将在建模非线性交互时更有效。我们提出了一个两阶段的方法命名为基于变量分组的贝叶斯加性回归树(GBART)与一个开发良好的Python包gbart可用。第一阶段是寻找潜在的相互作用和适当的变量分组。第二阶段是根据发现的组构建最终模型。对合成数据和真实数据的实验表明,该方法的性能明显优于经典方法。
2019-11-05 cs.LG eess.SP stat.ME
On Subagging Boosted Probit Model Trees
Lehigh University(理海大学)
本研究基于方差-偏差分解提出混合装袋-提升分类算法SBPMT,以概率单位模型树为AdaBoost基分类器,通过子采样装袋组合提升模型,经理论与仿真验证其性能优异且具调优指导意义。
2023-11-06 cs.LG stat.AP stat.ML
Distributed Soft Bayesian Additive Regression Trees
贝叶斯加性回归树(BART)BART是一种贝叶斯非参数方法,与随机森林和梯度提升决策树等现代预测方法相比,具有很强的竞争力。树结构的总和与贝叶斯推理框架相结合,提供了一种准确和鲁棒的统计方法。BART变体SBART使用随机决策树,与BART相比,显示了实际的优势。SBART的应用表明,SBART具有很好的预测效果。SBART算法的主要瓶颈是计算充分统计量的速度,而R软件包中的SBART算法的公开实现非常缓慢。本文介绍了如何利用消息传递接口(MPI)库,使用单程序多数据(SPMD)分布式计算来修改和计算SBART算法。这种方法在处理器核的数量上几乎线性地扩展,使得从业者能够对大量数据集执行统计推断。我们的方法也可以处理太大的数据集,适合于任何单一的数据仓库。我们对该算法进行了修改,使其能够处理分类问题,不能与原来的R包。通过数据实验,我们显示了分布式SBART分类问题相比,BART的优势。
2021-08-26 stat.AP
MEBoost: Mixing Estimators with Boosting for Imbalanced Data Classification
United International University(联合国际大学)
类不平衡问题是机器学习和数据采掘领域中的一个具有挑战性的研究问题。几种现有的机器学习算法试图通过正确识别多数类样本而忽略少数类来最大化分类精度。然而,少数类实例的概念通常代表比多数类更高的兴趣。最近,一些成本敏感的方法,集成模型和抽样技术已被用于文献中,以分类不平衡的数据集。在本文中,我们提出了MEBoost,一个新的不平衡数据集的提升算法。MEBoost将两种不同的弱学习器与boosting混合在一起,以提高不平衡数据集的性能。MEBoost是现有技术(如SMOTEBoost,RUSBoost,Adaboost等)的替代方案。MEBoost的性能已在12个基准不平衡数据集上进行了评估,这些数据集采用了最先进的集成方法,如SMOTEBoost,RUSBoost,Easy Ensemble,EUSBoost,DataBoost。实验结果表明,MEBoost算法在处理不平衡数据集方面有明显的改进,是一种有效的、有前途的算法。Python版本的代码可以在这里找到:https://github.com/farshidrayhanuiu/
2018-01-13 cs.LG stat.ML
Stopping criteria for boosting automatic experimental design using real-time fMRI with Bayesian optimization
贝叶斯优化已被提出作为一个实用和有效的工具,通过它来调整参数在许多困难的设置。最近,这种技术已经与实时功能磁共振成像相结合,提出了一个新的框架,打开它的头上的传统功能神经成像方法。这种闭环方法自动设计最佳实验,以唤起所需的目标大脑模式。与将这种方法扩展到实时脑成像相关的挑战之一是需要足够的停止标准,这是贝叶斯优化的一个方面,受到了有限的关注。鉴于高扫描成本和受试者的注意力有限,准确可靠的停止标准至关重要。为了解决这个问题,我们提出并实证研究了两个停止标准的性能。
2016-03-22 q-bio.NC stat.ML