Bayes Imbalance Impact Index: A Measure of Class Imbalanced Dataset for Classification Problem
Hong Kong Baptist University（香港浸会大学）；University of Macau（澳门大学）
最近的研究表明，不平衡率不是导致分类器在不平衡数据分类中性能损失的唯一原因。事实上，其他数据因素，如小析取、噪声和重叠，也与不平衡比一起起作用，这使得问题变得困难。到目前为止，实证研究仅证明了失衡率与其他数据因素之间的关系。据我们所知，目前还没有任何关于类不平衡对不平衡数据分类性能影响程度的度量。此外，对于数据集来说，哪个数据因素实际上是分类的主要障碍也是未知的。本文以贝叶斯最优分类器为研究对象，从理论上研究了类不平衡对分类器性能的影响。因此，我们提出了一个实例措施称为个人贝叶斯不平衡影响指数（$IBI^3$）和贝叶斯不平衡影响指数（$BI^3$）的数据措施。$IBI^3$和$BI^3$分别反映了各少数类样本和整个数据集的不平衡因素的影响程度。因此，$IBI^3$可以用作不平衡的实例复杂性度量，而$BI^3$是显示不平衡如何使分类恶化的程度的标准。因此，我们可以使用$BI^3$来判断是否值得使用采样或成本敏感方法等不平衡恢复方法来恢复分类器的性能损失。实验结果表明，在合成数据集和真实基准数据集上，$IBI^3$与不平衡恢复方法提高的预测得分高度一致，$BI^3$与不平衡恢复方法提高的F1得分高度一致.
2019-01-29 cs.LG stat.ML
The SAMME.C2 algorithm for severely imbalanced multi-class classification
Towson University（陶森大学）；University of Connecticut（康涅狄格大学）
分类预测建模涉及将数据集中的观测值准确分配给目标类别或类别。有一个现实世界的分类问题，严重不平衡的类分布的增长。在这种情况下，少数类比多数类有更少的观察来学习。尽管这种稀疏性，少数类通常被认为是更有趣的类，但开发适合观察的科学学习算法带来了无数的挑战。在这篇文章中，我们提出了一种新的多类分类算法，专门处理严重不平衡的类的基础上，我们称为SAMME. C2的方法。它融合了SAMME算法（一种多类分类器）和Ada.C2算法（一种成本敏感的二进制分类器，旨在解决高度类不平衡问题）的增强技术的灵活机制。我们不仅提供了由此产生的算法，但我们也建立了我们提出的SAMME. C2算法的科学和统计公式。通过数值实验研究不同程度的分类器的难度，我们证明了我们提出的模型一致的优越性能。
2021-12-30 cs.LG stat.ML
Behavioral analysis of support vector machine classifier with Gaussian kernel and imbalanced data
Frankfurt University of Applied Sciences（法兰克福应用科学大学）
支持向量机的惩罚参数和核参数等参数对支持向量机模型的分类精度和复杂度有很大影响。因此，SVM中的模型选择涉及这些参数的调整。然而，这些参数通常被调整并用作黑盒，而不了解数学背景或内部细节。在本文中，SVM分类模型的行为时，这些参数采取不同的值与平衡和不平衡的数据进行了分析。该分析包括可视化，数学和几何解释以及说明性的数值示例，旨在为SVM提供高斯和线性核函数的基础知识。在此基础上，提出了一种新的搜索算法。在该算法中，我们搜索到两个一维空间的最佳SVM参数，而不是搜索到一个二维空间。这大大减少了计算时间。此外，在我们的算法中，从数据的分析，核函数的范围可以预期。这也减少了搜索空间，因此减少了所需的计算时间。不同的实验进行了评估我们的搜索算法使用不同的平衡和不平衡的数据集。实验结果表明，该策略比其他搜索策略更快速、更有效.
2020-07-09 cs.LG stat.ML
Hellinger Distance Trees for Imbalanced Streams
University of Manchester（曼彻斯特大学）
已知在具有不平衡类分布的数据集上训练的分类器表现出较差的泛化性能。这就是所谓的不平衡学习问题。当我们考虑在不平衡数据流上操作增量分类器时，特别是当学习目标是稀有类识别时，问题变得特别尖锐。由于准确性可能会对不平衡数据的性能产生误导性印象，因此基于准确性的现有流分类器可能会在不平衡流上遭受较差的少数类性能，结果是低少数类召回率。在本文中，我们解决这个不足之处，提出使用的Hellinger距离测量，作为一个非常快速的决策树分裂标准。我们证明，通过使用Hellinger的统计显着改善不平衡的数据流的召回率可以实现，与一个可接受的增加的假阳性率。
2014-05-09 astro-ph.IM cs.LG stat.ML
On dynamic ensemble selection and data preprocessing for multi-class imbalance learning
Ecole de Technologie Supérieure（高等工程技术学院）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
类不平衡是指分类问题，其中某些类比其他类有更多的实例可用。这种不平衡的数据集需要特别注意，因为传统的分类器通常倾向于具有大量实例的多数类。据报道，分类器的包围产生了有希望的结果。然而，大多数集成方法应用过于不平衡的学习是静态的。此外，它们只处理二元不平衡问题。因此，本文提出了一个实证分析的动态选择技术和数据预处理方法来处理多类不平衡问题。我们考虑了五种预处理方法和四种动态选择方法。我们对26个多类不平衡问题进行的实验表明，动态集成相比静态集成提高了F-测度和G-均值。此外，数据预处理在这种情况下起着重要的作用。
2018-07-25 cs.LG stat.ML
Predicting class-imbalanced business risk using resampling, regularization, and model ensembling algorithms
Kennesaw State University（肯尼索州立大学）
我们的目标是开发和改进不平衡的业务风险建模，通过联合使用适当的评估标准，重新分配，交叉验证，分类器正则化，和集成技术。基于10倍交叉验证，使用受试者工作特征曲线下面积（ROC的AUC）进行模型比较。采用了两种欠采样策略：随机欠采样（RUS）和聚类质心欠采样（CCUS），以及两种过采样方法：随机过采样（ROS）和合成少数过采样技术（SMOTE）。三个高度可解释的分类器，包括逻辑斯谛回归没有正则化（LR），L1正则化LR（L1 LR），和决策树（DT）的实现。两个集成技术，包括Bagging和Boosting，被应用在DT分类器上以进一步改进模型。实验结果表明，基于SMOTE的50%阳性过采样数据的Boosting是最优的DT模型，其AUC、召回率和F1得分分别为0.8633、0.9260和0.8907。
2019-03-13 cs.LG stat.ML
A One class Classifier based Framework using SVDD : Application to an Imbalanced Geological Dataset
IIT Kharagpur（印度理工学院卡拉格普尔分校）
油气储层评价需要对现有数据集的岩石物理性质进行分类。然而，由于地下物理性质的非线性和非均匀性，储层属性的表征是困难的。在这种情况下，本研究提出了一个广义的一类分类框架的基础上支持向量数据描述（SVDD）的储层特征含水饱和度分为两类（类高和类低）从四个日志，即伽马射线，中子孔隙度，体积密度，P声波使用不平衡的数据集。提出的框架和不同的监督分类算法之间的g度量的手段和执行时间进行了比较。实验结果表明，提出的框架优于其他分类器在这些性能评估。可以设想，在这项研究中进行的分类分析将有助于进一步的储层建模。
2016-12-02 cs.LG stat.AP stat.ML
Population structure-learned classifier for high-dimension low-sample-size class-imbalanced problem
Dalian Maritime University（大连海事大学）
高维低样本数据的分类是一个具有挑战性的问题，在许多应用领域中，类别不平衡数据是普遍存在的。我们称之为不平衡HDLSS（IHDLSS）。最近的理论研究表明，分类标准和容忍相似度是关键的HDLSS，它强调类内方差的最大化的前提下，类可分性。基于这一思想，提出了一种新的线性二元分类器，称为群体结构学习分类器（PSC）。该方法在保证类可分性的前提下，通过最大化类间散布矩阵和类内散布矩阵之和，并对多数类和少数类分配不同的截距值，使PSC在IHDLSS上具有更好的泛化性能。该方法的显著特点是：（1）在IHDLSS上工作良好;（2）高维矩阵的逆可以在低维空间求解;（3）对每类的截距项的确定具有自适应性;（4）具有与SVM相同的计算复杂性。在IHDLSS上对一个模拟数据集和八个真实世界的基准数据集进行了一系列的基因分析评估。实验结果表明，PSC是优于国家的最先进的方法在IHDLSS。
2020-09-10 cs.LG math.OC stat.ML
On Model Evaluation under Non-constant Class Imbalance
Cisco Systems, Inc.（思科系统公司）；Czech Technical University in Prague（布拉格捷克理工大学）
许多现实世界的分类问题是显着的类不平衡，损害类的利益。适当的评估指标的标准集是众所周知的，但通常的假设是测试数据集的不平衡等于现实世界的不平衡。在实践中，这种假设往往因为各种原因而被打破。报告的结果往往过于乐观，并可能导致关于工业影响和拟议技术的适用性的错误结论。我们介绍的方法专注于评估下的非恒定类不平衡。我们发现，不仅是常用的度量的绝对值，但即使是分类器的顺序相对于所使用的评估度量的不平衡率的变化的影响。最后，我们证明，使用二次抽样，以获得一个测试数据集类不平衡等于在野外观察到的是没有必要的，并最终可能导致分类器的性能估计的显着错误。
2020-04-15 cs.LG stat.ML
ICPRAI 2018 SI: On dynamic ensemble selection and data preprocessing for multi-class imbalance learning
École de Technologie Supérieure（高等工程学院）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
类不平衡是指分类问题，其中某些类比其他类有更多的实例可用。这种不平衡的数据集需要特别注意，因为传统的分类器通常倾向于具有大量实例的多数类。据报道，分类器的包围产生了有希望的结果。然而，大多数应用于非平衡学习的集成方法是静态的。此外，它们只处理二元不平衡问题。因此，本文提出了一个实证分析的动态选择技术和数据预处理方法来处理多类不平衡问题。我们考虑了五种预处理方法和十四种动态选择方案。我们对26个多类不平衡问题进行的实验表明，动态集成相比静态集成提高了AUC和G均值。此外，数据预处理在这种情况下起着重要的作用。
2018-11-29 cs.LG stat.ML
Introducing DeepBalance: Random Deep Belief Network Ensembles to Address Class Imbalance
Pomona College（波莫纳学院）
类不平衡问题在金融欺诈检测或网络入侵分析等领域表现出来，其中一类的流行率远远高于另一类。通常，从业者对预测少数类比多数类更感兴趣，因为少数类可能具有更高的误分类成本。然而，分类器的性能恶化，在面对类的不平衡，因为通常分类器可以预测每个点作为多数类。处理阶级不平衡的方法包括成本敏感的学习或reservation技术。在本文中，我们介绍了DeepBalance，这是一个使用平衡自举和随机特征选择训练的深度信念网络集合。我们证明，我们提出的方法优于基线reservation方法，如SMOTE和下和过采样的指标，如AUC和灵敏度时，应用到一个高度不平衡的金融交易数据。此外，我们还探讨了各种模型参数对性能和训练时间的影响。此外，我们还证明了我们的模型很容易并行化，这可以减少训练时间。最后，我们给出了DeepBalance在R中的实现。
2017-11-15 cs.LG stat.ML
Density-Ratio Rescoring for Imbalanced Classification Using Raking Duals and Classifier Scores
Sungshin Women’s University（诚信女子大学）；Kangwon National University（江原国立大学）
本研究提出密度比重新评分（DRR）方法，利用加权对偶分数增强原始分类器，在不重采样下提升不平衡分类的稀有类排序，在24个基准上平均精度增益0.034。
2026-09-23 cs.LG stat.ML
The Effect of Class Imbalance on Precision-Recall Curves
University of Edinburgh（爱丁堡大学）
在本文中，我研究了分类器的精度如何取决于测试集中阳性与阴性病例的比率$r$，以及分类器的真阳性率和假阳性率。这种关系允许预测精确率-召回率曲线将如何随着$r$而变化，这似乎不是众所周知的。它还允许预测$F_β$以及Flach和Kull（2015）的精确度增益和召回率增益指标如何随$r$变化。
2021-04-27 cs.LG stat.ML
Box Drawings for Learning with Imbalanced Data
Massachusetts Institute of Technology（麻省理工学院）
绝大多数现实世界的分类问题是不平衡的，这意味着来自感兴趣的类（正类）的数据比来自其他类的数据少得多。我们提出了两个机器学习算法来处理高度不平衡的分类问题。这两种方法构造的分类器都是围绕正例的平行轴矩形的并集，因此具有可解释性。第一种算法使用混合整数规划来优化正类精度和负类精度之间的加权平衡。正则化的引入，以提高泛化性能。第二种方法使用近似值来帮助实现可伸缩性。具体地说，它遵循\textit{characterize then discriminate}方法，其中肯定类首先由框表征，然后每个框边界成为单独的判别分类器。该方法具有易于并行化、只考虑特征空间的相关区域等优点。
2014-06-07 cs.LG stat.ML
Rethinking the Value of Labels for Improving Class-Imbalanced Learning
Massachusetts Institute of Technology（麻省理工学院）；EECS（电气工程与计算机科学系（麻省理工学院））
现实世界的数据往往呈现出具有严重类别不平衡的长尾分布，这对深度识别模型提出了巨大的挑战。我们确定了一个持续的困境标签的价值在不平衡学习的背景下：一方面，监督标签通常会导致更好的结果比其无监督的同行;另一方面，严重不平衡的数据自然会引起“标签偏见”的分类，其中决策边界可以大大改变多数类。在这项工作中，我们系统地研究这两个方面的标签。我们从理论和经验上证明，类不平衡学习可以在半监督和自我监督的方式中显着受益。具体来说，我们确认（1）积极的，不平衡的标签是有价值的：给定更多的未标记数据，原始标签可以与额外的数据一起利用，以半监督的方式减少标签偏差，这大大提高了最终的分类器;（2）然而，消极的，我们认为不平衡的标签并不总是有用的：首先以自监督方式预训练的分类器始终优于其相应的基线。在大规模不平衡数据集上进行的大量实验验证了我们的理论基础策略，显示出比以前的最先进技术更优越的性能。我们有趣的发现强调了重新思考现实长尾任务中不平衡标签的使用的必要性。代码可在https://github.com/YyzHarry/imbalanced-semi-self上获得。
2020-09-26 cs.CV cs.LG stat.ML
Linear Classifiers Under Infinite Imbalance
Columbia Business School（哥伦比亚商学院）
本研究探讨无限不平衡极限下线性分类器的行为，证明系数向量存在有限极限，并揭示其与权重函数尾增长率及鲁棒性优化的关联，应用于信用风险场景。
2023-05-12 cs.LG q-fin.RM stat.ME
Clustering and Learning from Imbalanced Data
Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）
一个学习分类器必须优于一个平凡的解决方案，在不平衡数据的情况下，这个条件通常不成立。为了克服这个问题，我们提出了一种新的数据级重采样方法-基于聚类的过采样，用于改进从类不平衡数据集的学习。所提出的方法背后的基本思想是使用少数类样本和其各自的聚类质心之间的距离来推断要为该少数类样本生成的新样本点的数量。所提出的算法对用于寻找聚类中心的技术的依赖性很小，并且不会以任何方式影响多数类学习。它还通过将少数类样本的分布结构结合到新数据样本的生成中来改进对不平衡数据的学习。新生成的少数类数据以防止离群值产生和过拟合的方式处理。使用深度神经网络作为学习分类器对不同数据集的实现分析显示了该方法与其他合成数据恢复技术相比在几个评估指标上的有效性。
2018-11-12 cs.LG stat.ML
Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
利用基于深度学习的模型解决长尾大词汇量目标检测是一项具有挑战性和苛刻性的任务，然而这一任务尚未得到充分探索。在这项工作中，我们首次系统地分析了最先进的模型在长尾分布面前的表现不佳。我们发现，现有的检测方法是无法建模时，数据集是非常倾斜的Few-Shot类，这可能会导致分类器的参数幅度不平衡。由于检测和分类之间的内在差异，直接将长尾分类模型应用于检测框架并不能解决这个问题。在这项工作中，我们提出了一种新的平衡组softmax（BAGS）模块，用于通过分组训练来平衡检测框架内的分类器。它隐式调制的头部和尾部类的训练过程，并确保他们都是足够的训练，而不需要任何额外的采样的实例，从尾class.Very最近的长尾大词汇量对象识别基准LVIS的广泛实验表明，我们提出的BAGS显着提高性能的检测器与各种骨干和框架上的目标检测和实例分割。它击败了所有从长尾图像分类转移来的最先进的方法，并建立了新的最先进的方法。https://github.com/FishYuLi/BalancedGroupSoftmax
2020-06-18 cs.CV cs.LG stat.ML
Imbalance Trouble: Revisiting Neural-Collapse Geometry
University of British Columbia（不列颠哥伦比亚大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
神经崩溃是指在训练超过零训练误差时，由深度网络发现的表征类嵌入和分类器权重几何结构的显着结构特性。然而，这种特征仅适用于平衡数据。因此，在这里我们要问，它是否能对阶级不平衡保持不变。为此，我们采用无约束特征模型（UFM），最近的理论模型研究神经崩溃，并引入单纯形编码标签插值（SELI）作为不变的表征神经崩溃现象。具体来说，我们证明了UFM与交叉熵损失和消失的正则化，无论类的不平衡，嵌入和分类器总是插入一个单纯形编码的标签矩阵和它们各自的几何形状是由这个相同的标签矩阵的SVD因子。然后，我们提出了广泛的实验合成和真实的数据集，确认收敛到SELI几何。然而，我们警告说，趋同与日益严重的不平衡相伴随。我们从理论上支持这一发现表明，不像平衡的情况下，当少数民族存在，脊正则化在调整的几何形状中起着至关重要的作用。这定义了新的问题，并激发进一步调查的影响类的不平衡率，一阶方法收敛到他们的渐近首选的解决方案。
2022-08-10 cs.LG stat.ML
GenSample: A Genetic Algorithm for Oversampling in Imbalanced Datasets
UCLA（加州大学洛杉矶分校）
不平衡的数据集无处不在。不平衡数据集上的分类性能通常对于少数类是差的，因为分类器不能很好地学习决策边界。然而，在欺诈检测、医疗诊断和垃圾邮件识别等敏感应用中，对少数实例进行正确分类是极其重要的。在本文中，我们提出了一种新的技术的基础上，遗传算法，GenSample，过采样的少数类不平衡数据集。GenSample通过考虑学习该示例的难度以及通过过采样实现的性能改善来决定对少数示例的过采样率。该技术在分类器的性能开始恶化时终止过采样过程。因此，它只在获得性能提升时才产生合成数据。该算法在9个不同大小和不平衡比率的真实不平衡数据集上进行了测试。它在9个数据集中的8个数据集上获得了最高的F-Score，证实了与其他现有方法相比，它能够更好地处理不平衡数据。
2019-10-23 cs.LG cs.NE stat.ML
Deep Minimax Classifiers for Imbalanced Datasets with a Small Number of Minority Samples
Electrical Engineering and Computer Science, DGIST（电气工程与计算机科学，DGIST）
本文提出了一种深度极小极大分类器，通过交替最小化和最大化步骤，优化决策边界并提升不平衡数据集下的分类性能。
2025-02-24 cs.LG stat.ML
Robust performance metrics for imbalanced classification problems
Philipps-Universität Marburg（马尔堡菲利普斯大学）；Karlsruher Institut für Technologie (KIT)（卡尔斯鲁厄理工学院）；Fachbereich Mathematik und Informatik（数学与信息学系）；Institut für Stochastik（统计研究所）
本文针对不平衡分类问题中现有性能度量对少数类不鲁棒的缺陷，提出了带调优参数的鲁棒改进度量，通过理论和实验验证其有效性并给出使用建议。
2026-10-30 cs.LG stat.ME stat.ML
FIFA: Making Fairness More Generalizable in Classifiers Trained on Imbalanced Data
Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；Rutgers University（罗格斯大学）；University of Washington（华盛顿大学）；Kaiser Permanente Washington Health Research Institute（凯撒医疗华盛顿健康研究所）；Stanford University（斯坦福大学）
算法公平性在机器学习中起着重要的作用，在学习过程中施加公平性约束是一种常见的方法。然而，许多数据集在某些标签类别（例如“健康”）和敏感亚组（例如“老年患者”）中不平衡。从经验上讲，这种不平衡不仅会导致分类缺乏可推广性，而且会导致公平性的缺乏，特别是在过度参数化的模型中。例如，公平性感知训练可以确保训练数据上的均衡赔率（EO），但是对于新用户，EO远不能满足。在本文中，我们提出了一个理论上的原则，但灵活的方法，即不平衡公平意识（FIFA）。具体来说，FIFA鼓励分类和公平泛化，并且可以灵活地与许多现有的基于logits损失的公平学习方法相结合。虽然我们的主要重点是EO，但FIFA可以直接应用于实现机会均等（EqOpt）;在某些条件下，它也可以应用于其他公平概念。我们通过将FIFA与一个流行的公平分类算法相结合来展示FIFA的强大功能，所产生的算法在几个真实世界的数据集上实现了更好的公平性泛化。
2022-06-06 cs.AI cs.CV cs.CY
IB-GAN: A Unified Approach for Multivariate Time Series Classification under Class Imbalance
Cornell University（康奈尔大学）；Amazon Search（亚马逊搜索）
具有强类别不平衡性的大型多变量时间序列的分类是实际应用中的一项重要任务。类权重，过采样或参数数据增强的标准方法并不总是产生显着的改善预测少数类的兴趣。使用生成对抗网络（GANs）的非参数数据增强提供了一个很有前途的解决方案。本文提出了一种新的估算平衡GAN（IB-GAN）方法，它通过估算平衡的方法将数据扩充和分类结合在一个一步的过程中。IB-GAN使用插补和重采样技术从随机掩码向量中生成比白噪声更高质量的样本，并通过一组类平衡的真实和合成样本来增强分类。插补超参数$p_{miss}$允许通过调整经由生成器插补引入的创新来正则化分类器可变性。IB-GAN易于训练和模型不可知，将任何深度学习分类器与生成器配对，并为未被观察到的类提供更高的准确性。对开源UCR数据和专有90 K产品数据集的实证实验显示，与最先进的参数和GAN基线相比，性能有了显著提高。
2021-10-14 cs.LG stat.ML
VaB-AL: Incorporating Class Imbalance and Difficulty with Variational Bayes for Active Learning
Chung-Ang University（中央大学）；University of British Columbia（不列颠哥伦比亚大学）；Samsung SDS（三星SDS）；University of Birmingham（伯明翰大学）
判别模型的主动学习在很大程度上是集中在单个样本上研究的，而不太强调类是如何分布的，或者哪些类是难以处理的。在这项工作中，我们表明这是有害的。我们提出了一种基于贝叶斯规则的方法，可以自然地将类不平衡纳入主动学习框架。我们得出，在估计分类器对给定样本犯错误的概率时，应同时考虑三个术语：i）错误标记类的概率，ii）给定预测类的数据的可能性，以及iii）预测类丰度的先验概率。实现这些条款需要一个生成模型和一个棘手的似然估计。因此，我们为此目的训练了变分自动编码器（VAE）。为了进一步将VAE与分类器联系起来并促进VAE训练，我们使用分类器的深度特征表示作为VAE的输入。通过考虑所有三种概率，特别是其中的数据不平衡，我们可以在有限的数据预算下大大提高现有方法的潜力。我们表明，我们的方法可以应用于多个不同数据集的分类任务-包括一个具有严重数据不平衡的真实世界数据集-显着优于最先进的技术。
2020-12-03 cs.CV cs.LG stat.ML
Sampling Control for Imbalanced Calibration in Semi-Supervised Learning
Corresponding author（通讯作者）
SC-SSL通过解耦采样控制减轻半监督学习中的类别不平衡问题，通过自适应调整采样概率和后处理校准logits，提升模型性能。
2025-11-24 cs.CV cs.LG stat.ML
Towards Competitive Classifiers for Unbalanced Classification Problems: A Study on the Performance Scores
The University of the Basque Country UPV/EHU（巴斯克大学）；Basque Center for Applied Mathematics BCAM（巴斯克应用数学中心）
虽然已经投入了巨大的方法论的努力，提出有竞争力的解决方案，阶级不平衡的问题，很少努力一直在追求这个问题的理论理解。为了阐明这一主题，我们执行，通过一个新的框架，一个详尽的分析，最常用的性能分数来评估这一复杂的情况下的充分性。我们的结论是，使用未加权的Hölder平均指数$p \leq 1$的平均召回的所有类产生足够的分数，能够确定是否有竞争力的分类器。然后，我们回顾了阶级不平衡文献中提出的主要解决方案。由于任何学习任务都可以定义为一个优化问题，其中损失函数（通常与特定分数相关）最小化，因此我们的目标是找出文献中发现的学习任务是否也以最大化先前检测到的适当分数为目标。我们的结论是，他们通常最大化未加权的Hölder平均值与$p = 1$（a-平均值）。最后，我们提供了所研究的性能分数的值的界限，这保证了分类器在每个类中具有比随机分类器更高的召回率。
2016-08-31 cs.LG stat.ML
Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning
Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；Fabu Inc.（Fabu公司）
类不平衡分布广泛存在于实际工程中。然而，寻求最小化误差的主流优化算法在面对极端的类不平衡时会将深度学习模型困在次优中。它严重损害了分类精度，特别是对小类。其根本原因是分类器权重的梯度在不同类别的分量之间不平衡。在本文中，我们提出吸引-排斥-平衡损失（ARB-Loss）来平衡梯度的不同分量。我们在大规模分类和分割数据集上进行了实验，我们的ARB-Loss可以通过一个阶段的训练而不是像现在SOTA那样的两个阶段的学习来实现最先进的性能。
2023-02-21 cs.LG stat.ML
Self-paced Ensemble for Highly Imbalanced Massive Data Classification
Jilin University（吉林大学）；Microsoft Research（微软研究院）
许多现实世界的应用揭示了从不平衡数据中学习分类器的困难。随着大数据时代的到来，越来越多的分类任务需要处理大规模但极不平衡和低质量的数据集。大多数现有的学习方法在这种情况下性能不佳或计算效率低。为了解决这个问题，我们对类不平衡的本质进行了深入的研究，结果表明，不仅类之间的不平衡，而且嵌入在数据性质中的其他困难，特别是噪声和类重叠，阻止我们学习有效的分类器。考虑到这些因素，我们提出了一个新的框架不平衡分类，旨在通过自步调协调数据硬度通过欠采样产生一个强大的合奏。大量的实验表明，这种新的框架，而计算效率非常高，可以导致强大的性能，即使在高度重叠的类和非常偏斜的分布。请注意，我们的方法可以很容易地适应大多数现有的学习方法（例如，C4.5、SVM、GBDT和神经网络），以提高其在不平衡数据上的性能。
2020-10-17 cs.AI cs.LG stat.ML
Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning
Nanjing University（南京大学）；the Ohio State University（俄亥俄州立大学）
已知用类不平衡数据训练的分类器在“次要”类的测试数据上表现不佳，其中我们没有足够的训练数据。在本文中，我们研究了在这种情况下学习ConvNet分类器。我们发现，ConvNet明显过度拟合了小类，这与传统的机器学习算法完全相反，传统的机器学习算法通常不适合小类。我们进行了一系列分析，发现了特征偏差现象-学习的ConvNet在训练和小类的测试数据之间生成偏差特征-这解释了过度拟合的发生。为了补偿将测试数据推向低决策值区域的特征偏差的影响，我们建议在训练ConvNet时加入类相关温度（CDT）。CDT在训练阶段模拟特征偏差，迫使ConvNet扩大小类数据的决策值，以便在测试阶段克服真正的特征偏差。我们在基准数据集上验证了我们的方法，并取得了良好的性能。我们希望我们的见解可以激发解决类不平衡深度学习的新思维方式。
2022-07-11 cs.CV cs.LG stat.ML
Imbalanced Classification under Capacity Constraints
Departamento de Matemática y Ciencias Universidad de San Andrés（数学与科学系，圣安德烈斯大学）；CONICET Argentina（阿根廷国家科研委员会）；PEDECIBA Matemática Uruguay（乌拉圭PEDECIBA数学）
针对少数类检测中容量约束问题，提出形式化分类框架，通过重加权先验概率等价于贝叶斯分类器，并引入容量调整性能指标，实验表明优于传统方法和SMOTE。
2026-06-16 cs.LG math.ST stat.ML
Classification Using Proximity Catch Digraphs (Technical Report)
Koç University（科奇大学）；University of Pittsburgh（匹兹堡大学）
我们采用随机几何有向图来构造半参数分类器。这些数据随机有向图来自参数化的随机有向图族，称为邻近捕获有向图（PCD）。一个相关的几何有向图族-类覆盖捕捉有向图（CCCD），已被用来解决类覆盖问题，通过其近似的最小支配集。CCDs在不平衡数据集的分类中表现出相对较好的性能，尽管CCDs在$\mathbb{R}^d$中具有方便的构造，但找到最小支配集是NP难的，并且除了$d=1$之外，其概率行为在数学上是不可处理的。另一方面，称为\emph{proportional-edge} PCD（PE-PCD）的特定PCD族在$\mathbb{R}^d$中具有数学上易于处理的最小支配集;然而，它们在更高维度中的构造可能需要计算。更具体地说，我们表明，基于PE-PCD的分类器是基于原型的分类器，这样，在多项式时间内发现的观测数量的原型（相当于最小支配集）的确切的最小数量。我们构造了两种类型的分类器的基础上PE-PCD。一类是混合分类器族，它依赖于训练数据集的点的位置，另一类是完全基于类覆盖的分类器族。我们评估我们的PE-PCD分类器的分类性能进行了广泛的Monte Carlo模拟，并与其他常用的分类器进行比较。我们还表明，类似于CCCD分类器，我们的分类器是相对更好的分类类不平衡的存在。
2017-05-22 cs.LG stat.ME stat.ML
M2m: Imbalanced Classification via Major-to-minor Translation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在大多数现实世界的场景中，标记的训练数据集是高度不平衡的，其中深度神经网络难以推广到平衡的测试标准。在本文中，我们探索了一种新颖而简单的方法来缓解这个问题，通过翻译样本来增加不太频繁的类（例如，图片）从更频繁的类。这种简单的方法使分类器能够通过转移和利用多数信息的多样性来学习少数类的更一般化的特征。我们在各种类别不平衡数据集上的实验结果表明，与其他现有的重采样或重加权方法相比，该方法显着提高了对少数类别的泛化能力。我们的方法的性能甚至超过了以前的国家的最先进的方法的不平衡分类。
2020-12-20 cs.CV cs.LG stat.ML
