AdaBoost and Forward Stagewise Regression are First-Order Convex Optimization Methods
MIT Sloan School of Management（麻省理工学院斯隆管理学院）；MIT Operations Research Center（麻省理工学院运筹学中心）
Boosting方法是一种非常流行和有效的监督学习方法，它将弱学习器组合成一个具有良好统计性能的精确模型。在本文中，我们分析了两个著名的提升方法，AdaBoost和增量前向逐步回归（FS $_\varepsilon$），通过建立他们的精确连接到镜像下降算法，这是一个一阶方法在凸优化。作为这些连接的结果，我们获得了新的计算保证这些提升方法。特别是，我们的AdaBoost收敛界的特征，相关的利润率和对数指数损失函数，任何步长序列。此外，本文提出了，第一次，精确的计算复杂性的结果FS $_\varepsilon$。
2013-07-04 cs.LG math.OC stat.ML
Tight Generalization Bound for AdaBoost
University of Oxford（牛津大学）
本文推导了 AdaBoost 的紧泛化界，给出其泛化误差的上界，该上界结合已有结论与新的投票分类器边距泛化界得到，匹配的下界来自已有工作。
2026-07-30 cs.LG
Iterative Weak Learnability and Multi-Class AdaBoost
Emory University（埃默里大学）；University of Southern California（南加州大学）
受SAMME的启发，我们为多类分类问题构建了一个高效的递归集成算法（Zhu，Zou，Rosset和Hastie（2009））。我们加强了Zhu，Zou，Rosset和Hastie（2009）中的弱可学习性条件，要求弱可学习性条件对任何具有至少两个元素的标签子集都成立。这个条件比许多提出的替代方案更容易检查（例如，Mukherjee and Schapire（2013））。作为SAMME，如果标签的数量为2，则我们的算法被简化为自适应提升算法（Schapire和Freund（2012）），并且可以被激励为最速下降法的函数版本以找到最优解。与SAMME相反，我们算法的最终假设以概率1收敛到正确的标签。对于任何数量的标签，错误分类的概率随着训练周期的增加呈指数级消失。训练误差和仅取决于样本量的附加项之和限制了我们的算法作为自适应提升算法的泛化误差。
2021-01-26 cs.LG stat.ML
Can Boosting with SVM as Week Learners Help?
Indian Institute of Science（印度科学学院）
图像中的目标识别涉及识别具有部分遮挡、视点变化、变化的照明、杂乱的背景的目标。最近的工作在对象识别中使用机器学习技术SVM-KNN，局部包围核学习，多核学习。在本文中，我们希望利用SVM作为AdaBoost中的弱学习器。用最近邻、k-最近邻、支持向量机、局部学习（SVM-KNN）和AdaBoost等分类器进行了实验。模型使用尺度不变描述符和梯度描述符的金字塔直方图。AdaBoost使用一组周分类器作为SVM进行训练，每个SVM都具有不同描述符的核距离函数。实验结果表明，AdaBoost与SVM在对象分类数据集上的性能优于其他方法。
2016-04-22 cs.CV cs.LG
Boosting, Voting Classifiers and Randomized Sample Compression Schemes
Aarhus University（奥胡斯大学）；Georg-August Universität Göttingen（哥廷根大学）
针对投票分类器理论性能次优问题，提出一种随机化boosting算法，通过扩展样本压缩方法构建通用框架，使泛化误差仅含单一对数依赖，打破已有下界障碍。
2024-12-20 cs.LG stat.ML
Factorized AdaBoost.MH Achieves the Same Convergence Rate as AdaBoost.MH
School of Computer Science, Wuhan University（武汉大学计算机学院）
本文改进了因子化AdaBoost.MH的收敛性分析，证明其收敛速率与AdaBoost.MH一致，消除了对样本量$n$或类别数$K$的额外依赖。
2026-08-11 cs.LG
On the Convergence Properties of Optimal AdaBoost
Google（谷歌）；University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）
AdaBoost是最流行的ML算法之一。它很容易实现，并且经常被实践者发现非常有效，同时仍然是数学上的优雅和理论上的声音。AdaBoost在实践中的有趣行为仍然困扰着ML社区。我们解决了算法的稳定性，并建立了多个收敛特性的“最优AdaBoost”，一个由Rudin，Daubechies和Schapire在2004年创造的术语。我们证明，在一个合理的强计算意义上，时间平均值的几乎普遍存在，并与分类本身的收敛，其泛化误差，其产生的利润率，以及许多其他对象，固定的数据集在可以说是合理的条件。具体来说，我们框架优化AdaBoost作为一个动态系统，并采用遍历理论的工具，证明了，在最佳AdaBoost最终没有最佳弱分类器的关系的条件下，我们从高维真实世界的数据集提供经验证据的条件下，该算法的更新表现得像一个连续的地图。我们提供了几个任意精确的近似的最佳AdaBoost建设性的证明;证明他们表现出一定的循环行为在有限时间内，所得到的动力系统是遍历的;并建立充分条件相同，以保持实际的最佳AdaBoost更新。我们相信，我们的研究结果提供了合理的强有力的证据，肯定的答案，两个开放的命题，至少从广泛的计算理论的角度来看：AdaBoost总是周期，是一个遍历动力系统。我们提出的经验证据表明，周期是很难检测，而时间平均稳定迅速。我们的研究结果为未来的收敛率分析奠定了基础，并可能有助于优化泛化能力，减轻从…
2023-01-04 cs.AI cs.LG stat.ML
The Success of AdaBoost and Its Application in Portfolio Management
Peking University（北京大学）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；LMEQF
我们开发了一种新的方法来解释为什么AdaBoost是一个成功的分类器。通过引入噪声点（ION）在训练数据的二进制分类问题的影响的措施，我们证明了有一个强有力的连接ION和测试错误之间。我们进一步确定，随着迭代次数或基础学习器复杂度的增加，AdaBoost的ION减小。我们证实，这是不可能获得一致的分类器没有深树作为基础学习的AdaBoost在一些复杂的情况下。本文将AdaBoost应用于中国证券市场的投资组合管理中，通过实证研究验证了本文的理论观点。
2021-03-23 cs.LG q-fin.PM stat.ML
A Primal-Dual Convergence Analysis of Boosting
University of California, San Diego（加州大学圣地亚哥分校）
Boosting将弱学习者组合成具有低经验风险的预测器。它的对偶构造了一个高熵分布，弱学习者和训练标签不相关。本文研究了一个广泛的损失家族下的这种原始-对偶关系，包括AdaBoost的指数损失和逻辑损失，揭示了：-弱可学习性有助于整个损失家族：对于任何ε>0，O（ln（1/ε））迭代足以产生经验风险ε接近下确界的预测器;- 允许存在经验风险最小化者的情况可以用原始和对偶问题来表征，得到已知率O（ln（1/ε））的新证明;- 任意实例可以被分解为上述两个，授予率O（1/ε），为逻辑损失提供匹配的下限。
2012-04-02 cs.LG math.OC
Multi-Strategy Improved Snake Optimizer Accelerated CNN-LSTM-Attention-Adaboost for Trajectory Prediction
Civil Aviation University of China（中国民航大学）
本文提出融合多策略改进蛇优化器的CNN-LSTM-Attention-Adaboost混合模型，用于中长期4D轨迹预测，实验表明其预测精度较传统优化器显著提升39.89%。
2025-07-21 cs.LG
Improved Margin Generalization Bounds for Voting Classifiers
Aarhus University（奥胡斯大学）
本文为投票分类器提出更紧的间隔泛化界，并据此推导出期望误差达到理论下界的最优 Majority-of-3 弱到强学习器，为 AdaBoost 等算法提供更强保证。
2025-06-03 cs.DS cs.LG math.ST
Proximal boosting: aggregating weak learners to minimize non-differentiable losses
Université de Paris（巴黎大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
梯度提升是一种迭代组合弱学习器以产生复杂且准确的模型的预测方法。从优化的角度来看，梯度提升的学习过程模仿函数变量上的梯度下降。本文提出了建立在邻近点算法，当经验风险最小化是不可微的，为了引入一种新的助推方法，称为邻近助推。它附带了一个受[1]启发的同伴算法，称为残差邻近增强，旨在更好地控制近似误差。理论收敛性证明了这两个程序在不同的假设下的经验风险和优势，利用邻近的方法来提高模拟和真实世界的数据的数值实验说明。特别是，我们表现出一个有利的比较超过梯度提升的收敛速度和预测精度。
2022-11-29 cs.LG stat.ML
Self-training Converts Weak Learners to Strong Learners in Mixture Models
University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑一个二进制分类问题时，数据来自两个旋转对称分布的混合物，满足浓度和反浓度特性所享有的对数凹分布等。我们发现，存在一个普遍的常数$C_{\mathrm{err}}>0$，这样，如果一个pseudolabeler $\boldsymbolβ_{\mathrm{pl}}$可以实现最多$C_{\mathrm{err}}$的分类错误，那么对于任何$\varepsilon>0$，迭代自训练算法初始化在$\boldsymbolβ_0 := \boldsymbolβ_{\mathrm{pl}}$使用伪标签$\hat y = \mathrm{sgn}(\langle \boldsymbolβ_t, \mathbf{x}\rangle)$和使用最多$\tilde O(d/\varepsilon^2)$未标记的例子足以学习贝叶斯最优分类器高达$\varepsilon$错误，其中$d$是周围的维度。也就是说，自我训练仅使用未标记的示例将弱学习者转换为强学习者。我们还表明，通过在逻辑损失上运行梯度下降，可以仅使用$O(d)$标记的示例获得具有分类错误$C_{\mathrm{err}}$的伪标记$\boldsymbolβ_{\mathrm{pl}}$（即，独立于$\varepsilon$）。总之，我们的研究结果意味着，混合模型可以学习到贝叶斯最优精度的$\varepsilon$内使用最多的$O(d)$…
2021-08-25 cs.LG math.OC stat.ML
The Many Faces of Optimal Weak-to-Strong Learning
Aarhus University（奥胡斯大学）
本文提出一种将数据分为5份、分别运行AdaBoost后多数投票的简单Boosting算法，证明其具有最优样本复杂度和最快运行时间，并通过首次实证比较表明其在大数据集上可能优于已有算法。
2024-08-30 cs.DS cs.LG
Boosting and the Expressive Power of Simple Weak Learners via the $γ$-VC Dimension
Aarhus University（奥胡斯大学）
本文通过$\gamma$-VC维研究提升算法中弱学习器的表达能力，证明该参数以常数因子刻画弱到强学习的样本复杂度，并改进经典VC维与$\gamma$-VC维的关系，给出决策桩和轴平行矩形的改进上下界。
2026-10-08 cs.LG
Optimal and Adaptive Algorithms for Online Boosting
Yahoo Labs（雅虎实验室）；Princeton University（普林斯顿大学）
我们研究在线提升，将任何弱在线学习者转换为强在线学习者的任务。基于一种新颖而自然的弱在线可学习性定义，我们开发了两种在线提升算法。第一种算法是多数支持的在线版本。通过证明一个匹配的下界，我们表明，该算法本质上是最优的弱学习者的数量和样本的复杂性，需要达到指定的精度。然而，该最优算法不是自适应的。使用在线损失最小化的工具，我们推导出一个自适应在线提升算法，也是无参数的，但不是最优的。这两种算法都使用可以直接处理示例重要性权重的基本学习器，以及通过助推器定义的概率拒绝采样示例。结果补充了广泛的实验研究。
2015-02-09 cs.LG
Quantum Boosting
IBM Research（IBM研究院）；Clarendon Laboratory, University of Oxford（牛津大学克拉伦登实验室）
假设我们有一个用于布尔值问题的弱学习算法$\mathcal{A}$：$\mathcal{A}$产生的假设的偏差$γ$很小，仅略优于随机猜测（例如，这可能是由于在有噪声的设备上实现$\mathcal{A}$造成的），我们能否提高$\mathcal{A}$的性能，以便$\mathcal{A}$的输出在输入的$2/3$上是正确的？Boosting是一种将弱且不准确的机器学习算法转换为强准确的学习算法的技术。由Freund和Schapire提出的AdaBoost算法（他们在2003年获得哥德尔奖）是广泛使用的提升算法之一，在理论和实践中有许多应用。假设我们有一个用于布尔概念类$C$的$γ$-弱学习器，它需要时间$R(C)$，那么AdaBoost的时间复杂度为$VC(C)\cdot poly(R(C), 1/γ)$，其中$VC(C)$是$C$的$VC$-维。在本文中，我们展示了量子技术如何提高经典AdaBoost的时间复杂度。为此，假设我们有一个用于布尔概念类$C$的$γ$-弱量子学习器，它需要时间$Q(C)$，我们引入一个量子提升算法，其复杂度为$\sqrt{VC(C)}\cdot poly(Q(C),1/γ);$，从而在$VC(C)$方面实现了对经典AdaBoost的二次量子改进。
2020-08-14 cs.CC cs.LG quant-ph
Distribution-Specific Agnostic Boosting
IBM Almaden Research Center（IBM阿尔马登研究中心）
我们考虑在Haussler（1992）和Kearns等人（1992）的不可知学习框架中提高弱学习算法的准确性的问题。用于该问题的已知算法（Ben-David等人，2001; Gavinsky，2002; Kalai等人，2008）遵循与PAC模型中的boosting算法相同的策略：弱学习器在相同的目标函数上执行，但在域上的不同分布上执行。我们展示了不可知学习框架的提升算法，这些算法只修改点标签上的分布（或者等效地修改目标函数）。这允许将特定于分布的弱不可知学习器提升为关于相同分布的强不可知学习器。当应用于Goldreich和Levin（1989）的弱不可知奇偶性学习算法时，我们的算法产生了一个简单的DNF的PAC学习算法和一个使用成员查询的均匀分布上的决策树的不可知学习算法。这些结果大大简化了Jackson著名的DNF学习算法（1994）和Gopalan等人（2008）的最新结果。我们还加强了与Klivans和Servedio（1999）发现的硬核集合构造的联系，证明了实现最佳硬核集合大小的硬核集合构造（由Holenstein（2005）和Barak et al.（2009）给出）意味着分布特定的不可知提升算法。相反，我们的boosting算法给出了一个简单的硬核集构造，具有（几乎）最佳的硬核集大小。
2009-09-16 cs.CC cs.LG
Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method
Northwestern Polytechnical University（西北工业大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
本文提出一种基于张量优化的集成方法，引入置信张量评估基分类器在不同类别上的性能，结合光滑部分凸的带间隔目标函数，仅用少量基学习器即可获得更优分类与泛化性能。
2026-09-03 cs.LG
On the Dual Formulation of Boosting Algorithms
NICTA (National ICT Australia)（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）
本文从对偶视角揭示 AdaBoost、LogitBoost 和软间隔 LPBoost 的拉格朗日对偶均为熵最大化问题，说明提升算法通过最大化平均间隔并控制间隔方差获得成功，并提出基于列生成的完全校正优化算法，在保持分类精度的同时显著加快收敛速度、减少所需弱分类器数量。
2023-05-27 cs.CV cs.LG
Boosting in the presence of label noise
University of Birmingham（伯明翰大学）
已知提升对标签噪声敏感。我们研究了两种方法来提高AdaBoost对标签错误的鲁棒性。一种是采用标签噪声鲁棒分类器作为基本学习器，而另一种是修改AdaBoost算法以使其更鲁棒。经验评估表明，一个委员会的强大的分类器，虽然收敛速度比非标签噪声感知AdaBoost，仍然容易受到标签噪声。然而，将其与我们在这里提出的新的鲁棒Boosting算法配对，会导致在错误标记下的更有弹性的算法。
2013-09-26 cs.LG stat.ML
Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers
University of Pennsylvania（宾夕法尼亚大学）；Apple Inc.（苹果公司）
有大量的文献解释了为什么AdaBoost是一个成功的分类器。AdaBoost的文献集中在分类器的利润和提升的解释为指数似然函数的优化。然而，这些现有的解释被指出是不完整的。随机森林是另一种流行的集成方法，在文献中的解释少得多。我们介绍了一个新的角度AdaBoost和随机森林，提出这两种算法的工作原理相似。虽然这两种分类器实现了类似的预测精度，但随机森林不能被视为直接优化过程。相反，随机森林是一种自平均，插值算法，它创建了我们所称的“尖峰平滑”分类器，我们以同样的眼光看待AdaBoost。我们推测AdaBoost和随机森林都是因为这种机制而成功的。我们提供了一些例子和一些理论依据来支持这一解释。在这个过程中，我们质疑传统的智慧，认为分类的提升算法需要正则化或提前停止，并且应该限于低复杂度的学习者类别，例如决策树。我们的结论是，boosting应该像随机森林一样使用：使用大型决策树，而不需要直接正则化或提前停止。
2017-04-29 cs.LG stat.ME stat.ML
Fast Training of Effective Multi-class Boosting Using Coordinate Descent Optimization
The University of Adelaide（阿德莱德大学）
提出了一种基于列生成的多类分类的Boosting方法。我们的多类提升是在一个单一的优化问题中制定的，如Shen和Hao（2011）。与大多数现有的多类提升方法不同，这些方法对所有类使用相同的弱学习器集合，我们训练类指定的弱学习器（即，每个类具有不同的弱学习者集合）。我们表明，使用单独的弱学习者集为每个类导致快速收敛，而不会在训练过程中引入额外的计算开销。为了进一步提高训练的效率和可扩展性，我们还提出了一种快速坐标下降方法来解决每次提升迭代的优化问题。所提出的坐标下降法是概念上简单，易于实现，因为它是一个封闭形式的解决方案，为每个坐标更新。在多种数据集上的实验结果表明，与现有的多类Boosting方法相比，该方法在大多数情况下具有更快的收敛速度和更好的泛化性能.我们还通过经验证明，所提出的快速坐标下降算法比Shen和Hao（2011）中的MultiBoost算法需要更少的训练时间。
2013-11-23 cs.CV cs.LG stat.CO
Improved Quantum Boosting
University of Amsterdam（阿姆斯特丹大学）；QuSoft（QuSoft 量子软件研究中心）；CWI（荷兰国家数学与计算机科学研究中心）
Boosting是一种将弱学习器（生成的假设略好于随机）转换为强学习器（生成的假设远好于随机）的通用方法。最近，Arunachalam和Maity通过将Freund和Schapire的AdaBoost算法与近似计数的量子算法相结合，给出了第一个提升的量子改进。作为弱学习者的假设类的VC维度的函数，它们的助推器比经典助推器更快，但是作为弱学习者的质量的函数更差。在本文中，我们给出了一个更快，更简单的量子提升算法，基于Servedio的SmoothBoost算法。
2020-09-17 cs.CC cs.LG quant-ph
When Analytic Calculus Cracks AdaBoost Code
CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔综合理工学院）；Université Sorbonne Paris Nord（巴黎北大学）；Université de Montréal（蒙特利尔大学）
本文通过逻辑分析和真值表解析计算 scikit-learn 中 AdaBoost 的弱分类器组合权重，发现其未实现 Freund 和 Schapire 的原始算法，并提供了计算风险精确最小点的系统。
2024-02-07 cs.LG
Face Detection Using Adaboosted SVM-Based Component Classifier
Amirkabir University of Technology（阿米尔卡比尔理工大学）
最近，Adaboost已被广泛用于提高任何给定的学习算法的精度。在本文中，我们专注于设计一种算法，采用Adaboost与支持向量机相结合的弱成分分类器用于人脸检测任务。该算法不使用固定的核参数，而是自适应地调整支持向量机的核参数，从而得到一组有效的SVM-弱学习分类器。在不平衡分类问题上，与SVM相比，该组合具有更好的泛化能力。在CMU+MIT人脸数据库上，将本文提出的方法与其他常用的Adaboost方法（如决策树和神经网络）在分类精度方面进行了比较。结果表明，所提出的方法的性能总体上优于以前的Adaboost方法。
2008-12-13 cs.CV cs.LG
The Ideal Continual Learner: An Agent That Never Forgets
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Pennsylvania（宾夕法尼亚大学）；NORCE Norwegian Research Centre（挪威NORCE研究中心）
针对持续学习中的灾难性遗忘问题，提出可从构造上避免遗忘的理想持续学习器ICL框架，统一多种现有方法、推导泛化界并关联经典与前沿研究，填补理论与实践的鸿沟。
2023-06-08 cs.LG
Online Agnostic Multiclass Boosting
University of Michigan（密歇根大学）
Boosting是机器学习中的一种基本方法，具有强大的理论和实践保证。在高层次上，boosting算法巧妙地聚合弱学习器，以生成具有任意高准确度的预测。通过这种方式，boosting算法将弱学习器转换为强学习器。最近，Brukhim等人将boosting扩展到在线不可知的二进制分类设置。他们的方法中的一个关键因素是对在线凸优化的一个干净而简单的简化，它可以有效地将任意的在线凸优化器转换为不可知的在线助推器。在这项工作中，我们将这种减少多类问题，并给出了第一个提升算法在线不可知多类分类。我们的减少还可以构建统计不可知的，在线可实现的，统计可实现的多类提升算法。
2022-10-17 cs.LG stat.ML
Generalized Boosting Algorithms for Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）
Boosting是一种从简单的假设类中获得强大学习器的流行方法。根据先前的工作（Mason等人，一九九九年; Friedman，2000），我们分析了基于梯度的下降算法，以提高任何凸目标，并引入了一个新的措施弱学习者的性能到这个设置，推广现有的工作。我们提出了弱到强的学习保证现有的梯度提升工作的强光滑，强凸的目标下，这种新的性能指标，并证明这项工作失败的非光滑的目标。为了解决这个问题，我们提出了新的算法，这种提升方法扩展到任意凸损失函数，并给出相应的弱到强的收敛结果。此外，我们展示了实验结果，支持我们的分析，并证明了我们提出的新算法的需要。
2012-02-14 cs.LG stat.ML
Support Vector Boosting Machine (SVBM): Enhancing Classification Performance with AdaBoost and Residual Connections
School of Mathematics and Computer Sciences, Zhejiang Agriculture and Forestry University（浙江农林大学数学与计算机科学学院）
针对AdaBoost框架中用SVM作弱学习器存在的适配与性能受限问题，提出融合新型子采样、SVM与残差连接的SVBM，通过结合当前与前序预测更新权重控制稀疏性，增强复杂决策边界形成能力以提升分类性能，并开源了MATLAB代码。
2024-10-09 cs.AI cs.LG
Gradient Boosting on Stochastic Data Streams
Carnegie Mellon University（卡内基梅隆大学）
Boosting是一种流行的集成算法，它通过从更简单的假设类中线性组合基本模型来生成更强大的学习器。在这项工作中，我们研究的问题，适应批量梯度提升最小化凸损失函数的在线设置，在每次迭代的损失是独立同分布采样从一个未知的分布。为了从批处理推广到在线，我们首先引入在线弱学习边缘的定义，对于强凸和光滑的损失函数，我们提出了一种算法，流梯度提升（SGB），指数收缩保证弱学习者的数量。我们进一步提出了一个适应SGB优化非光滑损失函数，我们推导出O（ln N/N）的收敛速度。我们还表明，我们的分析可以扩展到对抗性在线学习设置下，在线弱学习边缘将举行对抗性设置更强的假设。最后，我们展示了实验结果表明，在实践中，我们的算法可以实现具有竞争力的结果，经典的梯度提升，而使用更少的计算。
2017-03-01 cs.LG
Online Agnostic Boosting via Regret Minimization
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿（Google AI Princeton））
Boosting是一种广泛使用的机器学习方法，它基于聚集弱学习规则的思想。虽然在统计学习中，许多提升方法存在于可实现和不可知的设置中，但在在线学习中，它们只存在于可实现的情况下。在这项工作中，我们提供了第一个不可知的在线提升算法，也就是说，给定一个弱学习者，只有边际优于平凡的遗憾保证，我们的算法将其提升为一个强学习者与次线性遗憾。我们的算法是基于一个抽象的（和简单的）减少在线凸优化，有效地将任意在线凸优化在线助推器。此外，这种减少扩展到统计以及在线可实现的设置，从而统一了统计/在线和不可知/可实现的提升的4种情况。
2020-03-02 cs.LG stat.ML
Double-Base Asymmetric AdaBoost
University of Vigo（维戈大学）
基于使用不同的指数基来定义类相关的误差界，提出了一种新的高效的非对称Boosting方案，称为AdaBoostDB（Double-Base）。支持一个完全的理论推导过程中，与文献中的大多数其他方法不同，我们的算法保留了所有的正式保证和原始（成本不敏感）AdaBoost的属性，类似于国家的最先进的成本敏感AdaBoost算法。然而，AdaBoostDB的关键优势在于，我们的新推导方案实现了非常高效的条件搜索过程，大大改进和简化了算法的训练阶段。在合成和真实数据集上的实验表明，AdaBoostDB能够节省99%以上的成本敏感AdaBoost训练时间，提供相同的成本敏感结果。AdaBoostDB的这种计算优势可以在管理大量弱分类器的问题中发挥作用，其中通常使用boosting技术。
2015-07-08 cs.AI cs.CV cs.LG
AdaBoost-assisted Extreme Learning Machine for Efficient Online Sequential Classification
National Taiwan University（台湾大学）
在本文中，我们提出了一个AdaBoost辅助的极端学习机有效的在线顺序分类（AOS-ELM）。为了在在线顺序学习场景中获得更好的准确率，我们利用代价敏感算法AdaBoost，使弱分类器多样化，并加入遗忘机制，从而稳定训练过程中的性能。因此，AOS-ELM更好地适应顺序到达的数据相比，其他基于投票的方法。实验结果表明，AOS-ELM在MNIST数据集上的准确率达到94.41%，这是原始批处理学习算法AdaBoost-ELM的理论准确率界限。此外，通过遗忘机制，在线顺序学习过程中的准确率标准差降低到8.26倍。
2019-09-16 cs.LG stat.ML
Highly Scalable, Parallel and Distributed AdaBoost Algorithm using Light Weight Threads and Web Services on a Network of Multi-Core Machines
University of Bridgeport（布里奇波特大学）
AdaBoost是机器学习中的一种重要算法，在目标检测中得到了广泛的应用。AdaBoost的工作原理是迭代地选择弱分类器中的最佳分类器，然后将多个弱分类器组合起来以获得强分类器。尽管AdaBoost已经被证明是非常有效的，但它的学习执行时间可能会很长，具体取决于应用程序，例如，在人脸检测中，学习时间可以是几天。由于其在计算机视觉应用中的日益增加的使用，需要大幅减少学习时间，使得可以结合自适应的近实时的目标检测系统。在本文中，我们开发了一个混合并行和分布式AdaBoost算法，利用多个核心的CPU通过轻量级线程，并通过Web服务软件架构使用多台机器，以实现高可扩展性。我们提出了一种新的基于分层Web服务的分布式体系结构，并实现了近线性的加速比的处理器数量提供给我们。与以前发表的工作相比，它使用单级主从并行和分布式实现[1]，在四个节点上仅实现了2.66的加速比，我们在31个工作站上实现了95.1的加速比，每个工作站都有一个四核处理器，每个功能的学习时间仅为4.8秒。
2013-06-06 cs.DC cs.LG
Accelerating Gradient Boosting Machine
Google（谷歌）；University of Chicago（芝加哥大学）；EPFL（洛桑联邦理工学院）
梯度提升机（GBM）是一种非常强大的监督学习算法，在实际中得到了广泛的应用。GBM通常在Kaggle和KDDCup等机器学习竞赛中作为领先的算法。在这项工作中，我们提出了加速梯度提升机（AGBM）的设计纳入Nesterov的加速技术。加速GBM的困难在于通常使用弱（不精确）学习器，因此错误可以在动量项中积累。为了克服这个问题，我们设计了一个“校正的伪残差”，并将最佳弱学习器拟合到这个校正的伪残差中，以执行z更新。因此，我们能够得到新的计算保证AGBM。这是第一个GBM类型的算法与理论上合理的加速收敛速度。最后，我们证明了一些数值实验的有效性AGBM在传统的GBM在获得一个模型具有良好的训练和/或测试数据的保真度。
2020-08-27 cs.LG stat.ML
Boost Like a (Var)Pro: Trust-Region Gradient Boosting via Variable Projection
Tufts University（塔夫茨大学）；Clemson University（克莱姆斯大学）
本文提出VPBoost算法，结合变量投影和二次弱学习策略，实现对可分离光滑近似器的梯度提升，证明其在弱几何条件下收敛到驻点，并在强假设下达到超线性收敛速度。
2026-03-24 cs.LG cs.NA math.NA
Projected Boosting with Fairness Constraints: Quantifying the Cost of Fair Training Distributions
Department of Biostatistics, Vanderbilt University Medical Center, Nashville, TN 37232, USA（生物统计学系，范德比尔特大学医学中心）；Department of Informatics, King's College London, WC2R 2LS London, UK（信息学系，伦敦国王学院）
FairBoost通过投影训练分布满足公平性约束，量化提升动态中的准确性与公平性权衡。
2026-02-05 cs.LG
A Theory of Probabilistic Boosting, Decision Trees and Matryoshki
我们提出了一个提升概率分类器的理论。我们把自己的用户只提供一个停止参数和一个概率弱学习器/分类器的情况下，并比较三种类型的提升算法：概率Adaboost，决策树，树的树。我们称之为俄罗斯套娃“嵌套树”、“嵌入树”和“递归树”也是该算法的恰当名称，这是我们的贡献之一。我们的另一个贡献是算法的理论分析，其中我们给出了训练误差界。这一分析表明，俄罗斯套娃利用概率弱分类器比简单的决策树更有效。
2006-07-25 cs.LG
Quantum Speedup in Adaptive Boosting of Binary Classification
Shenzhen Institute for Quantum Science and Engineering（深圳量子科学与工程研究院）；University of Science and Technology, Shenzhen（深圳理工大学）；University of Technology Sydney（悉尼科技大学）；Center for Quantum Information, Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院量子信息中心）；Central Research Institute, Huawei Technologies（华为技术有限公司中央研究院）
在经典机器学习中，一组弱分类器可以自适应地组合成一个强分类器，以提高整体性能，这种技术称为自适应增强（或AdaBoost）。然而，为大数据集构造强分类器通常是消耗资源的。在这里，我们提出了一个量子扩展的AdaBoost，展示了一个量子算法，可以输出最佳的强分类器的查询的数量的二次加速。我们的研究结果还包括一个泛化的标准AdaBoost的情况下，每个分类器的输出可能是概率，即使是相同的输入。我们证明了非确定性分类器的更新规则和查询复杂度与确定性分类器相同，这可能是经典机器学习界独立感兴趣的。此外，AdaBoost算法也可以应用于以量子态形式编码的数据;我们展示了如何通过使用t-设计工具来简化训练集。我们的方法描述了一个量子机器学习模型，其中在寻找最佳分类器时实现了量子加速，然后可以将其应用于经典机器学习应用。
2019-02-03 cs.LG quant-ph
Margin Distribution Controlled Boosting
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
Schapire的间隔理论为boosting型方法的成功提供了理论解释，并表明良好的训练样本间隔分布（MD）对于泛化是必不可少的。然而，一个MD是好的说法是模糊的，因此，许多最近开发的算法试图产生一个MD在他们的善良的感觉，以提高泛化。不同于他们的间接控制MD，在本文中，我们提出了一种替代的升压算法称为边际分布控制升压（MCBoost），直接控制MD通过引入和优化一个关键的可调边际参数。MCBoost的优化实现采用列生成技术，以确保快速收敛和少量的弱分类器参与最终MCBooster。我们的经验表明：1）AdaBoost实际上也是一种MD控制算法，其迭代次数作为控制分布的参数; 2）在UCI基准数据集上评估的MCBoost的泛化性能优于AdaBoost，L2 Boost，LPBoost，AdaBoost-CG和MDBoost。
2012-08-09 cs.LG
Weak to Strong Learning from Aggregate Labels
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本研究首次从理论上探讨从聚合标签的弱到强学习，证明LLP和MIL中boosting不可行，并提出在LLP中利用弱学习器在多项式时间内获得强学习器的算法，附有采样变体及实证验证。
2024-11-09 cs.DS cs.LG stat.ML
Language models are weak learners
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本文提出将基于提示的大语言模型作为弱学习器应用于表格数据的 boosting 算法中，利用 LLM 生成的文本摘要作为分类模板，在少量数据场景下优于传统树模型和微调方法。
2023-06-25 cs.AI cs.LG
Fast Weak Learner Based on Genetic Algorithm
Moscow State University（莫斯科国立大学）
提出了一种加速参数化弱分类器Boosting的方法。弱分类器被称为参数化的，如果它有固定数量的参数，所以，可以表示为一个点到多维空间。采用遗传算法代替穷举搜索来学习分类器的参数。所提出的方法还考虑了有效的算法来学习一些分类器参数时的情况。实验证明，这种方法可以显着减少分类器的训练时间，同时保持训练和测试错误都很小。
2009-06-04 cs.LG cs.NE
A Boosting Algorithm for Positive-Unlabeled Learning
The University of Queensland（昆士兰大学）；The University of Adelaide（阿德莱德大学）；RIKEN（理化学研究所）
正-未标记（PU）学习处理只有正（P）和未标记（U）数据时的二进制分类问题。许多最近的PU方法是基于神经网络，但很少有人做了PU学习的提升算法，尽管提升算法的许多完全监督分类问题的强大性能。在本文中，我们提出了一种新的增强算法，AdaPU，PU学习。与AdaBoost类似，AdaPU旨在优化经验指数损失，但损失基于PU数据，而不是正负（PN）数据。与AdaBoost一样，我们通过一次学习一个弱分类器及其权重来学习弱分类器的加权组合。然而，AdaPU需要一个非常不同的算法来学习弱分类器并确定它们的权重。这是因为AdaPU使用具有一些负数据权重$-$的加权正负（PN）数据集来学习弱分类器及其权重，该数据集是从原始PU数据导出的，并且数据权重由当前加权分类器组合确定，但是一些数据权重是负的。我们的实验表明，AdaPU在几个基准PU数据集上的表现优于神经网络，包括一个具有挑战性的大规模网络安全数据集。
2022-12-07 cs.AI cs.LG
Concordance based Survival Cobra with regression type weak learners
IIT Guwahati（印度理工学院古瓦哈提分校）
在本文中，我们通过组合回归策略预测条件生存函数。我们把弱学习者看作不同的随机生存树。我们建议在右删失设置中最大化一致性以找到最佳参数。我们探讨了两种方法，一种常见的生存眼镜蛇和一种新的加权预测的基础上的一致性指数。我们提出的公式使用两种不同的规范，比如说，最大范数和Frobenius范数，从测试数据集中的查询点找到一个接近的预测集。我们通过三个不同的现实生活中的数据集实现来说明我们的算法。
2022-10-11 cs.AI cs.LG q-bio.QM
The Impossibility of Parallelizing Boosting
Yale University（耶鲁大学）；Aarhus University（奥胡斯大学）
该研究针对Boosting方法核心为串行、难以并行的问题，通过理论分析得出强否定结论：若要显著并行化Boosting，训练所需总计算资源将呈指数级增长，明确了Boosting并行化的资源代价边界。
2023-08-21 cs.CC cs.DS cs.LG
The Cost of Parallelizing Boosting
UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
本文研究 Boosting 算法并行化的代价，证明任何 Boosting 算法要么需要 Ω(1/γ²) 轮交互，要么承受 exp(d) 的复杂度膨胀，并给出达到该下界的算法，首次刻画并行性与总工作量之间的权衡。
2024-02-23 cs.DS cs.LG
Boosting with List-Decodable Codes
Stanford（斯坦福大学）
研究针对满足适度闭包性质的概念类的提升算法，利用提升与列表可译码的新联系，提出新算法，用较少的对γ优势弱学习者调用次数及额外样本，实现对特定概念类的强学习。
2026-07-08 cs.CC cs.DS cs.LG
Training a Large Scale Classifier with the Quantum Adiabatic Algorithm
在以前的出版物中，我们提出了离散的全局优化作为一种方法来训练一个强的二元分类器构建为一个阈值和弱分类器。我们的动机是将分类器的训练转换为适合量子绝热算法解决的格式。应用绝热量子计算（AQC）有望产生优于经典启发式求解器的解决方案。有趣的是，我们发现通过使用启发式求解器来获得近似解，我们已经可以获得比标准方法AdaBoost更大的优势。在这次交流中，我们将基线方法推广到大规模分类器训练。大规模是指候选弱分类器的字典的基数或强分类器中使用的弱学习器的数量超过了在单个全局优化中可以有效处理的变量的数量。对于这种情况下，我们提出了一种迭代和分段的方法，其中弱分类器的一个子集，在每次迭代中选择通过全局优化。然后通过连接弱分类器的子集来构造强分类器。我们在数值研究中表明，广义方法再次成功地与AdaBoost竞争。我们还提供了理论论据，为什么提出的优化方法，它不仅最大限度地减少经验损失，而且还增加了L0-范数正则化，是优于版本的提升，只有最小化的经验损失。通过进行量子蒙特卡罗模拟，我们收集的证据表明，量子绝热算法能够有效地处理一般的训练问题。
2009-12-04 cs.LG quant-ph
Combination of Weak Learners eXplanations to Improve Random Forest eXplicability Robustness
Universidad Politécnica de Madrid（马德里理工大学）
本文提出通过判别式平均组合Random Forest中弱学习器的SHAP解释，以增强集成模型解释的鲁棒性，并通过实验定量验证了改进效果。
2024-02-29 cs.AI cs.LG
Statistical curriculum learning: An elimination algorithm achieving an oracle risk
Technion – Israel Institute of Technology（以色列理工学院）
本文研究统计课程学习中目标参数估计问题，提出单源消除学习方法和多源自适应多轮消除课程学习算法，并以弱预言机风险为基准，通过极小极大下界刻画其最优性条件。
2024-02-20 cs.LG stat.ML
Supervising strong learners by amplifying weak experts
OpenAI
许多现实世界的学习任务都涉及复杂或难以指定的目标，使用指定代理可能会导致性能低下或行为不一致。一种解决方案是让人类通过展示或判断表现来提供训练信号，但如果任务太复杂，人类无法直接评估，这种方法就会失败。我们提出了迭代放大，一种替代的训练策略，逐步建立一个训练信号的困难问题相结合的解决方案，以更容易的子问题。迭代扩增与专家迭代密切相关（Anthony等人，2017; Silver等人，2017年），除了它没有使用外部奖励功能。我们在算法环境中展示了结果，表明迭代放大可以有效地学习复杂的行为。
2018-10-19 cs.AI cs.LG stat.ML
Aggregated f-average Neural Network applied to Few-Shot Class Incremental Learning
Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；CentraleSupélec（中央高等电力学院）；Université Paris Saclay（巴黎萨克雷大学）；École de Technologie Supérieure（高等技术学院）
本文提出聚合f-平均（AFA）浅层神经网络，融合基础平均与堆叠模型两种集成框架，以可解释架构和简单训练策略实现弱学习器预测的最优聚合，并在少样本类增量学习任务中表现良好。
2024-09-19 cs.AI cs.LG
