首页/论文/2007.07361

arXiv 2007.073612020-07-14cs.LGstat.ML

误分类代价敏感集成学习：一个统一的框架

Misclassification cost-sensitive ensemble learning: A unifying framework

University of Bergen（卑尔根大学）；Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））

George Petrides, Wouter Verbeke

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

多年来，当不同类型的误分类错误产生不同的成本时，已经提出了大量的成本敏感方法来学习数据。我们的贡献是一个统一的框架，提供了一个全面的和有见地的概述成本敏感的集成方法，通过细粒度的分类，找出它们的差异和相似之处。我们的框架包含了各种方法的自然扩展和概括，无论是AdaBoost，Bagging还是随机森林，因此不仅产生了迄今为止已知的所有方法，而且还产生了一些以前没有考虑过的方法。

英文摘要：

Over the years, a plethora of cost-sensitive methods have been proposed for learning on data when different types of misclassification errors incur different costs. Our contribution is a unifying framework that provides a comprehensive and insightful overview on cost-sensitive ensemble methods, pinpointing their differences and similarities via a fine-grained categorization. Our framework contains natural extensions and generalisations of ideas across methods, be it AdaBoost, Bagging or Random Forest, and as a result not only yields all methods known to date but also some not previously considered.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

通过退火生成紧致树系综

Generating Compact Tree Ensembles via Annealing

CoreML Group Apple Inc.（苹果公司CoreML团队）；Department of Mathematics Florida State University（佛罗里达州立大学数学系）；Department of Statistics Florida State University（佛罗里达州立大学统计系）

树集成是灵活的预测模型，可以捕获相关变量，并在某种程度上以紧凑和可解释的方式进行交互。大多数用于获得树集成的算法都基于boosting或Random Forest的版本。以前的工作表明，由于优化损失的方式，boosting算法表现出一次又一次选择同一棵树的循环行为。同时，随机森林不是基于损失优化，得到的模型更复杂，可解释性更差。在本文中，我们提出了一种新的方法来获得紧凑的树集成并行生长的树与许多独立的提升线程，然后选择一个小的子集，并更新其叶权重的损失优化。我们允许初始池中的树具有不同的深度，这进一步有助于泛化。在真实数据集上的实验表明，所获得的模型通常具有比boosting更小的损失，这也反映在测试集上更低的误分类错误上。

2020-02-20cs.LGstat.ML

加权误分类损失下的包围学习分类方法

Classification using Ensemble Learning under Weighted Misclassification Loss

Brown University（布朗大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Academic Model Providing Access to Healthcare (AMPATH)（学术模式提供医疗保健（AMPATH））；Moi University（莫伊大学）

基于协变量的二进制分类规则通常依赖于简单的损失函数，如0 - 1误分类。某些情况下可能需要更复杂的损失函数。例如，对接受抗逆转录病毒治疗（ART）的艾滋病毒感染者进行个体水平的监测，需要定期评估治疗失败情况，治疗失败的定义是病毒载量（VL）值高于某个阈值。在一些资源有限的环境中，VL测试可能会受到成本或技术的限制，诊断是基于其他临床标志物。根据不同的情况，可能会对避免假阳性给予更高的重视，这会带来更大的成本和减少的治疗选择。这里，通过最小化加权误分类损失/风险来确定最优规则。我们提出了一种方法，发现和交叉验证加权误分类损失下的最佳二进制分类规则。我们专注于规则，包括一个预测分数和相关的阈值，其中的分数是使用集成学习器。仿真和示例表明，与首先推导分数并根据分数有条件地推导截止值的方法相比，我们联合推导分数和阈值的方法更准确地估计了总体风险，并且具有更好的操作特性，尤其是对于有限样本。

2019-05-10cs.LGstat.ML

基于动态顾问的预测方法（dynABE）：关键金属公司股票趋势预测的案例研究

Dynamic Advisor-Based Ensemble (dynABE): Case study in stock trend prediction of critical metal companies

Middlesex School（米德尔塞克斯学校）

由于市场的噪音，股票趋势预测是一项具有挑战性的任务，机器学习技术最近成功地应对了这一挑战。在这项研究中，我们创建了一个新的框架，股票预测，动态顾问为基础的Entrance（dynABE）。dynABE基于感兴趣的公司探索特定领域，通过创建不同的“顾问”来实现功能集的多样化，每个顾问处理不同的领域，为每个顾问遵循有效的模型集成程序，并通过我们开发的在线更新策略将顾问组合在第二级集成中。dynABE能够在活跃交易期间稳健地适应市场的价格模式变化，而无需重新训练整个模型。我们在三家钴相关公司上测试了dynABE，它实现了31.12%的最佳情况下的错误分类误差和359.55%的年化绝对收益率，最大回撤为零。dynABE在所有案例研究中的表现也始终优于支持向量机、神经网络和随机森林的基线模型。

2019-02-23cs.CEcs.LGq-fin.ST

动态数据流在线分类的分布式学习器实现

Ensemble of Distributed Learners for Online Classification of Dynamic Data Streams

UCLA（加州大学洛杉矶分校）

我们提出了一个有效的分布式在线学习计划，从分布式，异构和动态数据源捕获的数据进行分类。我们的方案由多个分布式本地学习器组成，这些学习器分析与需要分类的共同事件相关的不同数据流。每个学习器使用局部分类器进行局部预测。然后，每个学习器收集局部预测，并使用加权多数规则组合以输出最终预测。我们提出了一种新的在线集成学习算法来更新聚合规则，以适应底层的数据动态。我们严格确定我们的算法，这取决于最好的静态聚集规则的误分类概率的最坏情况下的误分类概率的界限，和最好的本地分类。重要的是，我们的算法的最坏情况下的误分类概率渐近趋于0，如果最好的静态聚集规则的误分类概率或最好的局部分类器的误分类概率趋于0。然后，我们扩展我们的算法，以解决特定的分布式实现的挑战，我们证明了新的界限，适用于这些设置。最后，我们测试我们的计划进行评估研究的几个数据集。当应用到广泛使用的文献处理动态数据流和概念漂移的数据集，我们的计划表现出的性能增益范围从34%到71%的最先进的解决方案。

2013-08-24cs.LG

成本敏感型堆叠：一个实证评估

Cost-Sensitive Stacking: an Empirical Evaluation

Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））；University of Cyprus（塞浦路斯大学）

许多现实世界的分类问题本质上是成本敏感的，因此误分类成本在数据实例之间是不同的。成本敏感学习适应分类算法，以考虑误分类成本的差异。堆叠是一种集成方法，它使用来自多个分类器的预测作为另一个分类器的训练数据，然后由另一个分类器做出最终的分类决策。虽然存在大量的经验工作，其中堆叠应用于各个领域，但这些工作中很少考虑误分类成本。事实上，在文献中没有关于什么是成本敏感堆叠的共识。在本文中，我们进行了广泛的实验，目的是建立一个成本敏感的堆叠合奏的适当设置是什么。我们的实验，从一些应用领域的12个数据集进行，使用真实的，依赖于实例的误分类成本，表明最佳性能，这两个层次的堆叠需要成本敏感的分类决策。

2023-01-04cs.LG

用上下文集成统一共形语言任务

Unifying Conformal Language Tasks with In-Context Ensembles

Signal 1 AI；Layer 6 AI

该研究提出共形相关性框架，利用上下文学习示例策划与集成创建评分函数，在保持覆盖度的同时提升NLP任务的简洁性，经7项任务验证且从理论上分析了集成共形评分的多样性影响。

2026-09-04cs.CLcs.LGstat.ML

更多相关论文收起更多论文

目标驱动集成：弥合可解释稀疏性与算法预测之间的差距

Objective-Driven Ensembles: Bridging the Gap Between Interpretable Sparsity and Algorithmic Prediction

University of British Columbia（不列颠哥伦比亚大学）；Harvard Medical School（哈佛医学院）；KU Leuven（荷语鲁汶大学）

本文提出目标驱动集成方法，通过将最优子集选择推广为联合数学优化问题，生成可解释的集成模型，并理论证明惩罚预测变量重叠可限制预测协方差、减轻有限样本虚假相关的影响，实现机器学习级精度与稀疏模型可解释性的兼顾。

2026-06-18stat.ME

稀疏驱动加权集成分类器

Sparsity-driven weighted ensemble classifier

Jacobs University（雅各布斯大学）；Konya Food and Agriculture University（科尼亚食品农业大学）

在这项研究中，提出了一种新的稀疏驱动的加权集成分类器（SDWEC），提高分类精度和最小化的分类器的数量。使用预先训练的分类器，形成其中基础分类器根据分配的权重进行投票的总体。这些分配的权重直接影响分类器的准确性。在所提出的方法中，集成权重发现问题建模为成本函数与以下条款：（a）的数据保真度项，旨在降低误分类率，（b）稀疏项，旨在减少分类器的数量，和（c）的分类器的权重的非负约束。由于所提出的成本函数是非凸的，因此很难解决，凸松弛技术和新的近似，以获得一个数值有效的解决方案。代价函数的稀疏项允许在需要时在精度和测试时间之间进行权衡。在11个数据集上测试了SDWEC的效率，并与最先进的分类器集成方法进行了比较。结果表明，SDWEC提供了更好的或类似的精度水平，使用更少的分类器，并减少了测试时间的集成。

2019-06-21cs.LGstat.ML

基于实例的代价敏感决策树的构造

Ensemble of Example-Dependent Cost-Sensitive Decision Trees

University of Luxembourg（卢森堡大学）

一些真实世界的分类问题本质上是依赖于示例的成本敏感的，其中由于错误分类而导致的成本在示例之间而不仅仅在类内变化。然而，标准的分类方法并没有考虑到这些成本，而是假设误分类错误的成本是恒定的。在以前的作品中，已经提出了一些方法，考虑到不同算法的训练的财务成本，与示例相关的成本敏感的决策树算法是一个，给出了最高的节省。在本文中，我们提出了一个新的框架，集成的例子依赖成本敏感的决策树。该框架包括在训练集的随机子样本上创建不同的依赖于示例的成本敏感决策树，然后使用三种不同的组合方法将它们组合起来。此外，我们提出了两个新的成本敏感的组合方法：成本敏感的加权投票和成本敏感的堆叠，后者是基于成本敏感的逻辑回归方法。最后，使用五个不同的数据库，从四个现实世界的应用：信用卡欺诈检测，流失建模，信用评分和直销，我们评估所提出的方法对国家的最先进的例子依赖的成本敏感的技术，即成本比例抽样，贝叶斯最小风险和成本敏感的决策树。实验结果表明，所提出的算法对所有数据库都有更好的结果，在这个意义上更高的节省。

2015-05-18cs.LG

使用重构的测试成本和误分类成本权衡

Test cost and misclassification cost trade-off using reframing

Universitat Politècnica de València（瓦伦西亚理工大学）

成本敏感分类（和回归）的许多解决方案依赖于以下部分或全部假设：我们在训练时对成本上下文有完整的了解，我们可以在成本上下文发生变化时轻松地重新训练，并且我们有特定于技术的方法（例如成本敏感决策树）可以利用这些信息。在本文中，我们解决的问题，选择模型和联合成本最小化（整合错误分类成本和测试成本），没有任何上述假设。我们引入了可以与任何现成的预测技术（包括集成）一起工作的方法和图（例如所谓的JROC图），以便我们重新构建模型，以便在部署时使用适当的属性子集（功能配置）。换句话说，模型使用可用属性进行训练（一劳永逸），然后通过在被认为对降低联合成本无效的属性上设置缺失值来部署。由于特征配置组合的数量随特征数量呈指数级增长，我们引入了二次方法，该方法能够近似最优配置和模型选择，如实验结果所示。

2013-05-30cs.LG

多层置信度评分用于检测分布外样本、对抗攻击和分布内误分类

Multi-Layer Confidence Scoring for Detection of Out-of-Distribution Samples, Adversarial Attacks, and In-Distribution Misclassifications

DEI（迪埃学院）；ARCES（自动控制与电子工程系）；University of Bologna（博洛尼亚大学）；CEMSE（计算与建模工程中心）；KAUST（科威特大学）；Italy（意大利）；Saudi Arabia（沙特阿拉伯）

本文提出MACS框架，通过分析中间激活生成分类图，用于统一检测分布外样本、对抗攻击和分布内误分类，实验表明其性能优于现有方法。

2025-12-22cs.AIcs.LG

基于概率变换的一般监督

General Supervision via Probabilistic Transformations

BCAM-Basque Center of Applied Mathematics（巴斯克应用数学中心）

不同类型的训练数据导致了许多监督分类方案。目前的学习技术是针对一个特定的方案，不能处理一般的训练数据集合。本文提出了一个统一的框架，监督分类与一般集成的训练数据，并提出了广义鲁棒风险最小化（GRRM）的学习方法。本文展示了如何在所提出的框架下，通过概率变换表示测试和训练示例之间的关系，可以解决当前和新的监督计划。结果表明，GRRM可以处理不同类型的训练数据在一个统一的方式，并使新的监督计划，聚合一般的合奏训练数据。

2019-01-24cs.LGstat.ML

StackLiverNet：一种用于准确且可解释的肝脏疾病检测的新型堆叠集成模型

StackLiverNet: A Novel Stacked Ensemble Model for Accurate and Interpretable Liver Disease Detection

East West University（东西大学）；Bangladesh Agricultural University（孟加拉国农业大学）；Daffodil International University（达福迪尔国际大学）；University of Dhaka（达卡大学）；University of Barishal（巴里萨尔大学）；Cumilla Victoria Government College（库米拉维多利亚政府学院）；Bangladesh University of Business and Technology（孟加拉国商业与技术大学）

提出StackLiverNet堆叠集成模型，结合预处理、欠采样和LightGBM元模型，实现肝脏疾病高精度（99.89%）且可解释的检测。

2025-08-04cs.AIcs.LG

基于特征上下文变化的模型重构

Model Reframing by Feature Context Change

特征空间（包括输入和输出变量）表征数据采掘问题。在预测（监督）问题中，特征的质量和可用性决定了因变量的可预测性，以及数据采掘模型在误分类或回归错误方面的性能。然而，好的特征通常很难获得。通常情况下，许多实例都带有缺失值，要么是因为给定属性的实际值不可用，要么是因为它太昂贵。这通常被解释为效用或成本敏感的学习困境，在这种情况下，在错误分类（或回归错误）成本和属性测试成本之间。错误分类成本（MC）和测试成本（TC）可以集成到一个单一的措施，称为联合成本（JC）。我们引入了可以与任何现成的预测技术（包括集成）一起工作的方法和图（例如所谓的JROC图），以便我们在部署时重新构建模型以使用适当的属性子集（功能配置）。换句话说，模型使用可用属性进行训练（一劳永逸），然后通过在被认为对降低联合成本无效的属性上设置缺失值来部署。由于特征配置组合的数量随特征数量呈指数级增长，我们引入了二次方法，该方法能够近似最优配置和模型选择，如实验结果所示。

2013-06-23cs.LG

先验网络的反向库尔贝克-莱布勒散度训练：改进的不确定性和对抗鲁棒性

Reverse KL-Divergence Training of Prior Networks: Improved Uncertainty and Adversarial Robustness

Yandex（扬达克斯）；University of Cambridge（剑桥大学）

最近，用于不确定性估计的包围方法已被应用于误分类检测、分布外输入检测和对抗性攻击检测等任务。先验网络已经被提出作为一种方法，通过参数化输出分布上的狄利克雷先验分布来有效地\emph{emulate}用于分类的模型的集合。这些模型已被证明优于其他集成方法，如蒙特卡洛辍学，在任务的分布外输入检测。然而，使用最初提出的训练标准，将先验网络扩展到具有许多类的复杂数据集是困难的。本文有两个贡献。首先，我们证明了先验网络的适当训练准则是Dirichlet分布之间的\emph{reverse}库尔贝克-莱布勒散度。这解决了训练数据目标分布性质的问题，使先前的网络能够成功地训练任意多个类别的分类任务，并提高分布外检测性能。其次，利用这种新的训练准则，本文研究了使用先验网络检测对抗性攻击，并提出了一种广义形式的对抗性训练。结果表明，构建成功的\emph{adaptive}白盒攻击，影响预测和逃避检测，对先验网络训练CIFAR-10和CIFAR-100使用所提出的方法需要更大的计算量比对网络防御使用标准的对抗性训练或MC-辍学。

2019-12-02cs.LGstat.ML

对树集成模型的敏感性量化：一种符号和组合方法

Quantifying Sensitivity for Tree Ensembles: A symbolic and compositional approach

Indian Institute of Technology Bombay（印度理工学院班加罗尔分校）；University of Toronto（多伦多大学）

本文提出了一种针对树集成模型的敏感性量化方法，通过离散化输入空间并枚举易受敏感性影响的区域，结合代数决策图（ADD）编码和分拆子问题，实现高效计算。实验表明，所提工具XCount在速度和可扩展性方面优于其他方法。

2026-06-04cs.AIcs.LG

参数高效微调（PEFT）在视觉识别中的统一研究：经验教训与见解

Lessons and Insights from a Unifying Study of Parameter-Efficient Fine-Tuning (PEFT) in Visual Recognition

The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）

本文对视觉识别中基于Vision Transformers的代表性PEFT方法进行统一实证研究，系统调参公平比较，揭示不同方法在低样本下精度相似但错误模式不同，在多样本下优于或媲美全量微调且参数更少，并探讨了鲁棒性与集成方向。

2025-03-25cs.AIcs.CVcs.LG

基于代价敏感分类的带拒绝的分类

Classification with Rejection Based on Cost-sensitive Classification

The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所）

拒绝分类的目标是避免在医疗诊断和产品检测等错误关键应用中出现有风险的错误分类。本文基于带拒绝的分类与代价敏感分类之间的关系，提出了一种新的带拒绝的分类方法，该方法通过学习代价敏感分类器的集成，满足以下所有性质：（i）它可以避免估计类-后验概率，导致改进的分类精度，（ii）它允许灵活选择损失，包括非凸损失，（iii）使用不同损失时不需要复杂的修改，（iv）它适用于二元和多类情况，（v）理论上对于任何分类校准损失都是合理的。实验结果表明，我们提出的方法在清洁标记，噪声标记，和积极的未标记分类的有用性。

2021-09-29cs.LGstat.ML