Robust LogitBoost and Adaptive Base Class (ABC) LogitBoost
Cornell University（康奈尔大学）
Logitboost是一种有影响力的分类提升算法。在本文中，我们开发了强大的logitboost，为logitboost构建弱学习器（回归树）提供了一个明确的树分裂标准。这个公式导致logitboost的数值稳定的实现。然后，我们提出了abc-logitboost多类分类，通过结合强大的logitboost与abc-boost的先前工作。在此之前，abc-boost是使用mart算法作为abc-mart实现的。我们在多类分类上的大量实验比较了四种算法：mart，abcmart，（鲁棒）logitboost和abc-logitboost，并证明了abc-logitboost的优越性。与包括SVM和深度学习在内的其他学习方法的比较也可以通过先前的出版物获得。
2012-03-15 cs.LG stat.ML
Adaptive Rational Activations to Boost Deep Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；German Center for Artificial Intelligence（德国人工智能研究中心）；Hessian Center for Artifical Intelligence（黑森人工智能中心）；Centre for Cognitive Science（认知科学中心）
受生物学启发，本文提出循环有理激活函数替代静态激活，在Atari游戏中显著提升DQN性能，使其媲美DDQN和Rainbow。
2024-03-16 cs.LG
BOOST: Out-of-Distribution-Informed Adaptive Sampling for Bias Mitigation in Stylistic Convolutional Neural Networks
Department of Computer Science, Durham University（计算机科学系，达勒姆大学）
针对艺术分类中数据不平衡导致的模型偏差，提出基于分布外信息的自适应采样方法BOOST，通过动态调整温度缩放和采样概率，在KaoKore和PACS数据集上实现高性能与公平性的平衡，并引入新指标SODC评估类别偏差减少。
2025-07-08 cs.AI cs.LG
Defensive Boosting for Online Probabilistic Forecasting
本研究提出防御提升器算法，可同时满足在线梯度提升与在线弱到强提升的两种保证，效率高且在合成和真实数据流上预测性能强劲、运行速度快。
2026-08-14 cs.CC cs.DS cs.LG
AdaFair: Cumulative Fairness Adaptive Boosting
L3S Research Center, Leibniz University of Hannover（汉诺威莱布尼茨大学L3S研究中心）；Leibniz University of Hannover（汉诺威莱布尼茨大学）
在累犯、工作雇用和贷款信贷等具有高度社会影响的领域，基于ML的决策的广泛使用引起了人们对潜在歧视的许多担忧。特别是，在某些情况下，已经观察到ML算法可以基于性别或种族等敏感属性提供不同的决策，因此可能导致歧视。虽然已经提出了几种公平感知ML方法，但它们的重点主要是保持整体分类准确性，同时提高受保护和非受保护组（基于敏感属性定义）的预测公平性。然而，在类别不平衡的情况下，总体准确性不是一个很好的性能指标，因为它偏向于大多数类别。正如我们将在实验中看到的，许多与公平性相关的数据集都存在类不平衡问题，因此，解决公平性也需要解决不平衡问题。为此，我们提出了AdaFair，一个基于AdaBoost的公平性感知分类器，它进一步更新每个提升轮中实例的权重，同时考虑到基于所有当前集成成员的公平性累积概念，同时通过优化集成成员的数量来明确解决类不平衡问题，以平衡分类错误。我们的实验表明，我们的方法可以实现真正的积极和真正的消极率的保护和非保护组的奇偶校验，而它显着优于现有的公平意识的方法高达25%的平衡误差。
2019-09-17 cs.LG stat.ML
CBR -- Boosting Adaptive Classification By Retrieval of Encrypted Network Traffic with Out-of-distribution
Ariel University（阿里尔大学）
本文提出CBR方法，基于ANN检索实现加密流量分类，无需重训练即可动态识别新类别，性能接近随机森林，可作为现有分类器的补充。
2024-03-17 cs.CR cs.LG cs.NI
Package for Fast ABC-Boost
Baidu Research（百度研究院）
本报告介绍了开源软件包，该软件包实现了我们过去几年的一系列提升工作。具体地说，该软件包主要包括三种技术，其中以下两种已经是流行的提升树平台中的标准实现：（i）基于直方图（特征分箱）的方法使树实现方便有效。在Li等人（2007）中，开发了一种简单的固定长度自适应分箱算法。在这份报告中，我们证明了这样一个简单的算法仍然是令人惊讶的有效相比，更复杂的变种在流行的树平台。(ii)Li（20010）中基于损失函数的二阶导数的树分裂的显式增益公式通常比一阶方法有显著改进。虽然Li（2010）中的增益公式是针对逻辑斯谛回归损失推导的，但它是具有二阶导数的损失函数的通用公式。例如，开源包还包括用于$p\geq 1$的$L_p$回归。这个包的主要贡献是ABC-Boost（自适应基类提升）用于多类分类。Li（2008）的初始工作通过指定“基类”导出了经典多类逻辑斯谛回归的一组新导数。如果基类选择得当，可以大大提高精度。主要的技术挑战是设计一个搜索策略来选择基类。先前发表的作品实现了穷举搜索过程来找到计算上太昂贵的基类。最近，一份新的报告（Li和Zhao，20022）提出了一个统一的“快速ABC-Boost”框架，它允许用户有效地为基类选择合适的搜索空间。该软件包提供了Linux，Windows，Mac，Matlab，R，Python的接口。
2022-07-18 cs.LG stat.ML
A Deep Evolutionary Approach to Bioinspired Classifier Optimisation for Brain-Machine Interaction
School of Engineering and Applied Science, Aston University（阿斯顿大学工程与应用科学学院）
本研究提出了一种新的方法来EEG数据分类探索的想法，使用演化计算，既选择有用的歧视性EEG功能和优化的人工神经网络的拓扑结构。应用进化算法从2550个EEG统计特征的初始集合中选择信息量最大的特征。多层感知器（MLP）的优化是在分类之前使用进化方法来估计网络的最佳超参数。还探索了深度学习和使用长短期记忆（LSTM）的调优，并针对每个问题测试了两种类型模型的自适应提升。提供了三个实验，使用不同的分类器进行比较：一个用于注意力状态分类，一个用于情绪情感分类，第三个实验的目标是猜测受试者正在思考的数字。结果表明，Adaptive Boosted LSTM在注意力、情感和数字数据集上的准确率分别为84.44%、97.06%和9.94%。进化优化的MLP在前两个实验中实现了接近自适应提升LSTM的结果，并且在数字猜测实验中显著更高，自适应提升DEvo MLP达到31.35%，同时训练和分类的速度明显更快。特别是，在相同的基准测试中，非增强DEvo MLP的准确率分别为79.81%、96.11%和27.07%。使用Muse EEG头带收集实验的两个数据集，所述Muse EEG头带具有对应于国际EEG放置标准的TP9、AF7、AF8和TP10位置的四个电极。EEG MindBigData数字数据集从TP9、FP1、FP2和TP10位置收集。
2019-08-13 cs.AI cs.LG cs.NE
Adaptive XGBoost for Evolving Data Streams
University of Waikato（怀卡托大学）；Télécom ParisTech（巴黎高等电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
Boosting是一种集成方法，它以顺序的方式组合基础模型以实现高预测精度。基于这种集成方法的流行的学习算法是极限梯度提升（XGB）。我们提出了一个适应XGB的分类不断发展的数据流。在这种情况下，随着时间的推移，新的数据到达，类和特征之间的关系可能会在过程中发生变化，从而表现出概念漂移。所提出的方法创建新的成员的合奏从小批量的数据作为新的数据变得可用。最大集成大小是固定的，但是当达到这个大小时，学习不会停止，因为集成会在新数据上更新，以确保与当前概念的一致性。我们还探索了使用概念漂移检测来触发更新集合的机制。我们测试我们的方法在真实和合成数据与概念漂移，并比较它对批量增量和实例增量分类方法的数据流。
2020-05-15 cs.LG stat.ML
A Self-Adaptive Synthetic Over-Sampling Technique for Imbalanced Classification
School of Computing and Communications, Lancaster University（兰开斯特大学计算与通信学院）；Lancaster Intelligent, Robotic and Autonomous Systems Centre, Lancaster University（兰开斯特大学智能、机器人与自主系统中心）；Technical University, Sofia（索非亚技术大学）
传统上，在有监督的机器学习中，可用数据的（重要）部分（通常为50%至80%）用于训练，其余部分用于验证。然而，在许多问题中，数据在不同的类方面是高度不平衡的，或者没有很好地覆盖可行的数据空间，这反过来又在验证和使用阶段产生了问题。在本文中，我们提出了一种技术，用于合成可行的和可能的数据，以帮助平衡类，以及提高混淆矩阵方面的性能以及整体。简而言之，这个想法是专门为代表性较低（少数）的类别合成与实际数据样本非常接近的数据样本。这也影响了所谓的机器学习的公平性。在本文中，我们提出了一种特定的方法来合成数据，以平衡类和提高性能，特别是少数类。它是通用的，可以应用于不同的基础算法，例如支持向量机，k-最近邻，深度网络，基于规则的分类器，决策树等结果表明：i）可以实现更平衡（和公平）的分类结果; ii）可以提高整体性能以及通过混淆矩阵测量的每个类的性能。此外，这种方法对于实际可用的标记数据的数量很小的情况是非常有价值的，这本身就是当代机器学习的问题之一。
2019-11-25 cs.LG stat.ML
Adaptive Boosting with Fairness-aware Reweighting Technique for Fair Classification
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
提出公平 AdaBoost（FAB）方法，利用公平性感知重加权技术在保持预测性能的同时实现公平分类，并推导了目标损失函数上界，在三个真实数据集上优于现有公平分类方法。
2024-01-06 cs.CY cs.LG cs.SY
A Channel-Boosted Multi-Agent System with Iterative Consultation for Document Sensitivity Classification
Pakistan Institute of Engineering and Applied Sciences (PIEAS)（巴基斯坦工程与应用科学学院（PIEAS））
提出通道增强多智能体系统（IC-MAS），通过门控通道增强与迭代咨询解决长文档敏感性分类中截断丢失证据的问题，在降低计算成本的同时显著提升准确率与召回率。
2026-10-02 cs.CL cs.LG cs.MA
Marsellus: A Heterogeneous RISC-V AI-IoT End-Node SoC with 2-to-8b DNN Acceleration and 30%-Boost Adaptive Body Biasing
University of Bologna（博洛尼亚大学）；ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
本文提出异构 RISC-V AI-IoT 端节点 SoC Marsellus，通过 16 核 DSP 集群、2-8 位可重构二进制引擎和自适应体偏置控制，在 22nm 工艺下实现高效 DNN 加速与功耗优化。
2023-11-28 cs.AI cs.AR cs.LG
Fast ABC-Boost: A Unified Framework for Selecting the Base Class in Multi-Class Classification
Baidu Research（百度研究院）
ICML'09中的工作表明，经典多类逻辑回归损失函数的导数可以根据预先选择的“基类”重写，并在流行的boosting框架中应用新的导数。为了利用新的衍生物，必须有一个策略来识别/选择在每次提升迭代的基类。ICML'09中的“自适应基类提升”（ABC-Boost）的思想，在每次迭代时对基类采用了计算昂贵的“穷举搜索”策略。已经很好地证明，ABC-Boost与树集成时，可以在许多多类分类任务中实现实质性的改进。此外，UAI'10中的工作导出了显式的二阶树分裂增益公式，与仅使用一阶信息进行树分裂相比，对于多类和二类分类任务，该公式通常显著提高了分类精度。在本文中，我们开发了一个统一的框架，有效地选择基类通过引入一系列的想法，以提高ABC-Boost的计算效率。我们的框架有参数$(s,g,w)$。在每次提升迭代中，我们只搜索“$s$ -最差类”（而不是所有类）来确定基类。在进行搜索时，我们还允许“间隙”$g$。也就是说，我们只在每次$g+1$迭代时搜索基类。此外，我们还允许在$w$提升迭代之后才开始搜索，从而实现“预热”阶段。参数$s$、$g$、$w$可以被视为可调参数，并且$(s,g,w)$的某些组合甚至可以导致比“穷举搜索”策略更好的测试精度。总的来说，我们提出的框架提供了一个强大的和可靠的计划，在实践中实施ABC-Boost。
2022-06-26 cs.LG stat.ML
FOSTER: Feature Boosting and Compression for Class-Incremental Learning
Nanjing University（南京大学）
在这个不断变化的世界中，不断学习新概念的能力是必要的。然而，深度神经网络在学习新类别时会遭受灾难性遗忘。许多工作已经提出，以减轻这种现象，但他们中的大多数要么陷入稳定性和可塑性的困境，或采取太多的计算或存储开销。受梯度提升算法逐渐拟合目标模型和前一个集成模型之间的残差的启发，我们提出了一种新的两阶段学习范式FOSTER，使模型能够自适应地学习新的类别。具体来说，我们首先动态扩展新的模块来拟合目标和原始模型输出之间的残差。接下来，我们通过有效的蒸馏策略去除冗余参数和特征尺寸，以保持单一的骨干模型。我们在不同的设置下在CIFAR-100和ImageNet-100/1000上验证了我们的方法FOSTER。实验结果表明，我们的方法达到国家的最先进的性能。代码可在：https://github.com/G-U-N/ECCV22-FOSTER.
2022-07-20 cs.CV cs.LG
Dense Adaptive Cascade Forest: A Self Adaptive Deep Ensemble for Classification Problems
Southwest Jiaotong University（西南交通大学）；University of Electronic Science and Technology of China（电子科技大学）；Rutgers University（罗格斯大学）
最近的研究表明，与一般的集成学习方法相比，深度森林集成在分类精度上有了相当大的提高，特别是在训练集较小的情况下。在本文中，我们利用深森林集成，并介绍了密集自适应级联森林（daForest）。我们的模型有一个更好的性能比原来的级联森林有三个主要特点：首先，我们应用SAMME.R boosting算法来提高模型的性能。随着层数的增加，它保证了改进。其次，我们的模型以前馈方式将每一层连接到后续层，这增强了模型抵抗性能退化的能力。第三，我们在第一个分类层之前添加了一个超参数优化层，使我们的模型花费更少的时间来建立和找到最佳的超参数。实验结果表明，daForest的性能非常好，在某些情况下，甚至优于神经网络，并达到了最先进的结果。
2019-05-14 cs.LG stat.ML
