An Asymmetric Contrastive Loss for Handling Imbalanced Datasets
Universitas Indonesia（印度尼西亚大学）
对比学习是一种表示学习方法，通过将一个样本与其他相似样本进行对比，使它们紧密地聚集在一起，在特征空间中形成聚类。学习过程通常使用两阶段训练架构进行，并且它利用对比度损失（CL）进行特征学习。对比学习已被证明在处理不平衡数据集方面非常成功，其中一些类被过度代表，而另一些类则被代表不足。然而，以前的研究没有专门修改CL不平衡的数据集。在这项工作中，我们引入了一个非对称版本的CL，简称为ACL，以直接解决类不平衡的问题。此外，我们提出了非对称焦点对比度损失（AFCL）作为ACL和焦点对比度损失（FCL）的进一步推广。FMNIST和ISIC 2018不平衡数据集的结果表明，AFCL在加权和未加权分类精度方面都能够优于CL和FCL。在附录中，我们提供了一个完整的公理处理熵，以及完整的证明。
2022-07-14 cs.CV cs.IT cs.LG
NI-UDA: Graph Adversarial Domain Adaptation from Non-shared-and-Imbalanced Big Data to Small Imbalanced Applications
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机与通信工程学院）；School of Electrical and Information Engineering, Huaihua University（怀化学院电气与信息工程学院）；University of Macau（澳门大学）
提出一种新的基于类结构语义知识推理的通用图对抗领域自适应（GADA），用于解决非共享类不平衡的大数据到指定的小的不平衡应用的无监督领域自适应（NI-UDA）问题，其中非共享类表示目标领域外的标签空间.我们的目标是利用先验层次知识来增强领域对抗对齐特征表示与图推理。在本文中，为了解决NI-UDA中的两个挑战，我们为对抗性领域自适应配备了层次图推理（HGR）层和源分类器过滤器（SCF）。对于稀疏类迁移挑战，我们的HGR层可以通过节点预测将局部特征聚合到层次图节点，并通过层次图推理增强稀疏类的领域对抗对齐特征。我们的HGR有助于学习直接的语义模式的稀疏类的层次注意力的自注意，非线性映射和图形规范化。我们的SCF被提出的挑战，知识共享从非共享数据没有负转移效应，通过过滤低置信度的非共享数据在HGR层。在两个基准数据集上的实验表明，GADA方法一致地提高了最先进的对抗性UDA算法，例如，在Meal 300数据集上，GADA（HGR）可以通过\textbf{7.19\%}和\textbf{7.89\%}分别大大提高MDD和GVB-GD的f1。该代码可在https://gadatransfer.wixsite.com/gada上获得。
2021-08-12 cs.AI cs.CV
Kolmogorov Arnold Networks (KANs) for Imbalanced Data -- An Empirical Perspective
Pankaj Yadav（独立研究者）；Vivek Vijay（独立研究者）
本文实证评估了KANs在不平衡分类中的表现，发现其处理原始不平衡数据优于MLPs但与重采样及焦点损失不兼容且计算成本高，并指出未来需开发KAN专用架构以解决性能-资源权衡问题。
2025-07-18 cs.AI cs.LG
An Efficient NAS-based Approach for Handling Imbalanced Datasets
School of Computer Science and Technology（计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
本文提出基于IMB-NAS的方法，通过神经架构搜索优化主干架构并冻结超网络、重训分类头来高效处理长尾不平衡数据集，降低计算成本并验证其有效性。
2024-06-22 cs.AI cs.LG
Imbalanced Classification in Medical Imaging via Regrouping
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
我们建议执行不平衡分类重组多数类成小类，使我们把问题变成平衡的多类分类。这个新的想法是显着不同的流行损失重新加权和类reservation方法。我们对不平衡医学图像分类的初步研究结果表明，这种自然的想法可以大大提高分类性能，平均精度（近似于精度召回曲线下的面积，或AUPRC），这是更适合于评估不平衡的分类比其他指标，如平衡的准确性。
2022-10-26 cs.CV cs.LG
ABC: Auxiliary Balanced Classifier for Class-imbalanced Semi-supervised Learning
KAIST（韩国科学技术院）
现有的半监督学习（SSL）算法通常假设类平衡的数据集，虽然许多现实世界的数据集的类分布是不平衡的。一般来说，在类不平衡数据集上训练的分类器偏向于大多数类。对于SSL算法来说，这个问题变得更成问题，因为它们利用未标记数据的有偏预测进行训练。然而，传统的类不平衡学习技术，这是专为标记的数据，不能很容易地与SSL算法相结合。我们提出了一个可扩展的类不平衡SSL算法，可以有效地使用未标记的数据，同时通过引入一个辅助平衡分类器（ABC）的单层，这是附加到现有的SSL算法的表示层减轻类不平衡。ABC是用一个小批量的类平衡损失来训练的，同时使用从小批量中的所有数据点学习的高质量表示，使用主干SSL算法来避免过拟合和信息丢失。此外，我们使用一致性正则化，这是一种最新的SSL技术，用于以修改的方式利用未标记的数据，通过为每个类选择具有相同概率的未标记数据来训练ABC以在类之间平衡。该算法在使用四个基准数据集的各种类不平衡SSL实验中实现了最先进的性能。
2021-10-20 cs.CV cs.LG
GBRIP: Granular Ball Representation for Imbalanced Partial Label Learning
Hong Kong Baptist University（香港浸会大学）；University of Macau（澳门大学）；Jiangxi Agricultural University（江西农业大学）
针对偏标记学习中类间与类内不平衡特征交织的难题，提出GBRIP框架，利用粗粒度粒球表示与多中心损失构建特征空间并优化标签消歧，在标准基准上优于现有最先进方法。
2024-12-19 cs.CV cs.LG
ImbaGCD: Imbalanced Generalized Category Discovery
Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）；Chinese University of HongKong（香港中文大学）
本文针对无标注数据中已知类别多于未知类别的不平衡广义类别发现问题，提出基于最优传输的期望最大化框架ImbaGCD，通过估计并对齐类别先验分布，在CIFAR-100和ImageNet-100上显著超越现有方法。
2023-12-04 cs.CV cs.LG
Offline Clustering Approach to Self-supervised Learning for Class-imbalanced Image Data
Korea University（高丽大学）；Mimbres Corp.（Mimbres公司）
已知类别不平衡的数据集会导致模型偏向大多数类别的问题。在这个项目中，我们设置了两个研究问题：1）在自我监督的预训练中，类不平衡问题何时更普遍？以及2）特征表示的离线聚类是否有助于在类别不平衡的数据上进行预训练？我们的实验通过调整{ \it class-balance}的程度来研究前一个问题，当训练基线模型时，即CIFAR-10数据库上的Simplified和SimSiam。为了回答后一个问题，我们对每个专家模型在特征聚类的每个子集上进行训练。然后，我们将专家模型的知识提取到一个模型中，这样我们就能够将这个模型的性能与我们的基线进行比较。
2022-12-22 cs.CV cs.LG
Semi-supervised learning for medical image classification using imbalanced training data
La Trobe University（拉筹伯大学）
医学图像分类通常具有挑战性，原因有两个：由于昂贵且耗时的注释协议而缺乏标记的示例，以及由于更广泛人群中疾病阳性个体的相对稀缺而导致的不平衡的类别标签。半监督学习（SSL）方法存在用于处理标签的缺乏，但是它们通常不解决类不平衡的问题。在这项研究中，我们提出了自适应混合一致性损失（ABCL），在扰动为基础的SSL方法的一致性损失的下降替代。ABCL抵消数据倾斜，根据类频率自适应混合的目标类分布的一致性损失。我们的实验与ABCL揭示了改进未加权平均召回两个不同的不平衡的医学图像分类数据集相比，现有的一致性损失，不是为了抵消类的不平衡。
2021-08-20 cs.CV cs.LG
Boosting-GNN: Boosting Algorithm for Graph Networks on Imbalanced Node Classification
PLA Strategy Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）
图神经网络（GNN）已被广泛用于图形数据表示。然而，现有的研究只考虑了理想的平衡数据集，不平衡数据集很少考虑。传统的处理不平衡数据集的方法，如重新排序，重新加权和合成样本，在GNN中不再适用。本文提出了一种集成模型Boosting-GNN，它在Boosting过程中使用GNN作为基分类器。在Boosting-GNN中，为未被前一个分类器正确分类的训练样本设置更高的权重，从而实现更高的分类精度和更好的可靠性。此外，还采用了迁移学习来降低计算量，提高拟合能力。实验结果表明，与GCN、GraphSAGE、GAT、SGC、N-GCN等算法相比，本文提出的Boosting-GNN模型在合成不平衡数据集上的平均性能提高了4.5%
2022-05-08 cs.CV cs.LG
Rethinking the Value of Labels for Improving Class-Imbalanced Learning
Massachusetts Institute of Technology（麻省理工学院）；EECS（电气工程与计算机科学系（麻省理工学院））
现实世界的数据往往呈现出具有严重类别不平衡的长尾分布，这对深度识别模型提出了巨大的挑战。我们确定了一个持续的困境标签的价值在不平衡学习的背景下：一方面，监督标签通常会导致更好的结果比其无监督的同行;另一方面，严重不平衡的数据自然会引起“标签偏见”的分类，其中决策边界可以大大改变多数类。在这项工作中，我们系统地研究这两个方面的标签。我们从理论和经验上证明，类不平衡学习可以在半监督和自我监督的方式中显着受益。具体来说，我们确认（1）积极的，不平衡的标签是有价值的：给定更多的未标记数据，原始标签可以与额外的数据一起利用，以半监督的方式减少标签偏差，这大大提高了最终的分类器;（2）然而，消极的，我们认为不平衡的标签并不总是有用的：首先以自监督方式预训练的分类器始终优于其相应的基线。在大规模不平衡数据集上进行的大量实验验证了我们的理论基础策略，显示出比以前的最先进技术更优越的性能。我们有趣的发现强调了重新思考现实长尾任务中不平衡标签的使用的必要性。代码可在https://github.com/YyzHarry/imbalanced-semi-self上获得。
2020-09-26 cs.CV cs.LG stat.ML
Class-Imbalanced Semi-Supervised Learning
Seoul National University（首尔国立大学）；SK hynix（SK海力士）
半监督学习（Semi-Supervised Learning，SSL）在克服标注困难和充分利用未标注数据方面取得了巨大成功。然而，SSL有一个有限的假设，在不同类别的样本数量是平衡的，许多SSL算法表现出较低的性能与不平衡的类分布的数据集。在本文中，我们介绍了类不平衡的半监督学习（CISSL），这是指半监督学习类不平衡的数据的任务。在这样做时，我们考虑了标记和未标记集合中的类不平衡。首先，我们分析了现有的SSL方法在不平衡的环境中，并研究如何类的不平衡影响SSL方法。然后，我们提出了抑制一致性损失（SCL），一个正则化方法鲁棒类不平衡。我们的方法表现出更好的性能比传统的方法在CISSL环境。特别是，类不平衡越严重，标记数据的大小越小，我们的方法执行得越好。
2020-02-17 cs.CV cs.LG stat.ML
Imbalanced-learn: A Python Toolbox to Tackle the Curse of Imbalanced Datasets in Machine Learning
LE2I UMR6306, CNRS, Arts et Métiers, Univ. Bourgogne Franche-Comté（LE2I UMR6306，CNRS，Arts et Métiers，勃艮第-弗朗什-孔泰大学）；ViCOROB, Universitat de Girona（ViCOROB，赫罗纳大学）；ShoppeAI；University of Patras（帕特雷大学）
Imbalanced-learn是一个开源的python工具箱，旨在提供广泛的方法来处理机器学习和模式识别中经常遇到的数据集不平衡问题。实现的最先进的方法可以分为4组：（i）欠采样，（ii）过采样，（iii）过采样和欠采样的组合，以及（iv）集成学习方法。该工具箱仅依赖于numpy、scipy和scikit-learn，并在MIT许可下分发。此外，它与scikit-learn完全兼容，并且是scikit-learn-contrib支持项目的一部分。提供文档、单元测试以及集成测试以简化使用和贡献。该工具箱在GitHub上公开提供：https://github.com/scikit-learn-contrib/imbalanced-learn。
2016-09-21 cs.LG
Rethinking Semi-Supervised Imbalanced Node Classification from Bias-Variance Decomposition
Fudan University（复旦大学）
本文提出一种结合偏差-方差分解的新方法，通过图增强估计方差并设计正则化项，有效缓解图神经网络中的类别不平衡问题，在多个基准上超越现有方法。
2025-02-25 cs.LG
Imbalanced Ensemble Classifier for learning from imbalanced business school data set
Indian Statistical Institute（印度统计研究所）
印度的私立商学院面临着一个共同的问题，即为MBA课程选择高质量的学生，以达到理想的安置比例。通常，这样的数据集偏向于一个类别，即，不平衡的从不平衡的数据集中学习是一个困难的命题。针对印度商学院数据集的特征选择（学生重要特征的选择）和分类问题（基于学生特征的位置预测），提出了一种不平衡集成分类器，该分类器能够处理数据集的不平衡性质，并达到更高的准确率。最后，利用印度商学院的数据集，对所提出的分类器的性能进行了评估。
2018-10-17 cs.LG stat.ML
Instance Selection Improves Geometric Mean Accuracy: A Study on Imbalanced Data Classification
Bangor University（班戈大学）；Universidad de Burgos（布尔戈斯大学）；Middlesex University（密德萨斯大学）
处理不平衡数据的一种自然方法是尝试均衡类频率并在平衡数据上训练选择的分类器。对于两类不平衡问题，分类成功率通常由真阳性率和真阴性率的几何平均值（GM）来衡量。在这里，我们证明了GM模型可以通过实例选择来改进，并给出了这种改进的理论条件。我们证明，GM是非单调的保留实例的数量，这阻碍了系统的实例选择。我们还表明，平衡的分布频率是劣于直接最大化的GM。为了验证我们的理论研究结果，我们进行了实验研究的12个实例选择方法的不平衡数据，使用66个标准的基准数据集。结果揭示了新的实例选择方法的不平衡数据的可能空间。
2018-04-19 cs.CV cs.LG stat.ML
Elastic-InfoGAN: Unsupervised Disentangled Representation Learning in Class-Imbalanced Data
UC Davis（加州大学戴维斯分校）；Adobe Research（奥多比研究院）；UCLA（加州大学洛杉矶分校）
我们提出了一种新型的无监督生成模型，它学会将对象身份与类别不平衡数据中的其他低级方面区分开来。我们首先调查了InfoGAN关于均匀性假设的问题，并证明了它在不平衡数据中正确解开对象身份的无效性。我们的主要思想是发现离散的潜在因素的变化不变的真实图像中的身份保持变换，并使用它作为一个信号来学习适当的潜在分布代表对象的身份。在人工（MNIST，3D汽车，3D椅子，ShapeNet）和真实世界（YouTube-Faces）不平衡数据集上的实验证明了我们的方法在解开对象身份作为潜在变化因素方面的有效性。
2020-10-30 cs.CV cs.LG stat.ML
Phased Progressive Learning with Coupling-Regulation-Imbalance Loss for Imbalanced Data Classification
University of Science and Technology of China（中国科学技术大学）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）
深度卷积神经网络在面对数量不平衡和分类困难的数据集时通常表现不佳。尽管在该领域取得了进展，现有的两阶段方法仍然表现出数据集偏差或域转移。为了解决这个问题，已经提出了一个分阶段的渐进式学习计划，逐渐转移的重点从表示学习，以训练上层分类器。这种方法对于具有较大不平衡或较少样本的数据集特别有益。提出了耦合调节不平衡损失函数的新方法，它由校正项、聚焦损失和LDAM损失三部分组成。这一损失有效地解决了数量不平衡和异常值问题，同时也调整了对分类难度不同的样本的关注重点。这些方法在几个基准数据集上取得了令人满意的结果，包括不平衡CIFAR 10，不平衡CIFAR 100，ImageNet-LT和iNaturalist 2018，并且可以很容易地推广到其他不平衡分类模型。
2023-03-15 cs.LG
Balanced Split: A new train-test data splitting strategy for imbalanced datasets
Indian Institute of Technology Guwahati（古瓦哈提印度理工学院）
具有偏斜类比例的分类数据集称为不平衡。类别不平衡是一个问题，因为大多数机器学习分类算法都是在假设训练数据集中所有类别的平等表示的情况下构建的。因此，为了解决类不平衡问题，已经开发了许多算法级和数据级方法。这些技术主要包括集成学习和数据增强技术。本文提出了一种新的方法来对付类的不平衡问题，通过一个新的数据分裂策略称为平衡分裂。数据分裂可以在正确分类不平衡数据集方面发挥重要作用。我们发现，常用的数据分裂策略有一些缺点，我们提出的平衡分裂解决了这些问题。
2022-12-17 cs.LG
Time Series Classification Using Convolutional Neural Network On Imbalanced Datasets
University of Passau（帕绍大学）
时间序列分类由于其在医学数据采掘、天气预报等领域的广泛应用而受到广泛关注。虽然TSC算法是为平衡数据集设计的，但大多数现实生活中的时间序列数据集都是不平衡的。在类可分性差的情况下，时间序列的偏态分布是基于距离和基于特征的分类算法都要解决的问题。为了解决不平衡的问题，在本文中使用基于采样和算法的方法。不同的方法显着提高时间序列分类的性能不平衡的数据集。尽管具有较高的不平衡率，但结果显示，对于模拟的TwoPatterns数据集，F分数可以高达97.6%。
2021-10-10 cs.LG
IMBENS: Ensemble Class-imbalanced Learning in Python
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Jilin University（吉林大学）
imbalanced-ensemble，缩写为imbens，是一个开源Python工具箱，用于利用集成学习的力量来解决类不平衡问题。它提供了流行的集成不平衡学习（EIL）方法的标准实现，具有扩展的功能和效用函数。这些集成方法包括基于重采样的，例如，欠采样/过采样，以及基于重新加权，例如，成本敏感的学习除了实现之外，我们还为EIL算法提供了新的功能，如可定制的rescue调度器和详细日志记录，从而实现了更灵活的训练和评估策略。该软件包是在一个简单的、文档齐全的API设计下开发的，该设计遵循scikit-learn，以提高易用性。imbens是在MIT开源许可下发布的，可以从Python包索引（PyPI）或https://github.com/ZhiningLiu1998/imbalanced-ensemble安装。
2023-02-23 cs.AI cs.LG
Dealing with Difficult Minority Labels in Imbalanced Mutilabel Data Sets
University of Granada（格拉纳达大学）；University of Jaén（哈恩大学）
多标签分类是一个新兴的数据采掘任务，具有广泛的现实世界的应用。近年来，非平衡多标签数据的学习问题得到了深入的研究，文献中提出了几种基于非平衡多标签数据的学习方法。大多数多标签数据集中的标签分布不均匀，具有不同的不平衡水平，这可能是学习新分类器的障碍。此外，这一特性对现有的许多预处理算法提出了挑战。此外，不平衡标签之间的并发性会使从某些标签中学习变得更加困难。这些就是我们所说的\textit{difficult}标签。本文深入分析了困难标签问题，研究了困难标签对多标签分类器性能的影响，提出了一种新的解决方法。在多标签数据集中评估这一特性的具体指标，称为\textit{SCUMBLE}（\textit{Score of ConcUrrence among iMBalanced LabEls}）和\textit{SCUMBLELbl}，以及REMEDIAL（\textit{REsampling MultilabEl datasets by Decoupling highly ImbAlanced Labels}），一种旨在放松标签并发的新算法。还概述了如何使用R mldr包处理此问题。
2018-02-14 cs.LG
Supervised Contrastive Learning with Tree-Structured Parzen Estimator Bayesian Optimization for Imbalanced Tabular Data
Zhejiang University（浙江大学）；Zhejiang University - University of Illinois at Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院）
类不平衡对大多数监督学习算法的预测性能有不利影响，因为不平衡的分布可能导致偏好多数类的偏差。为了解决这个问题，我们提出了一个监督对比学习（SCL）方法与树结构的Parzen估计（TPE）技术的不平衡表数据集。对比学习（CL）可以提取隐藏在数据中的信息，即使没有标签，并已显示出一些潜在的不平衡学习任务。SCL进一步考虑了基于CL的标签信息，这也解决了表格数据的不足数据增强技术。因此，在这项工作中，我们建议使用SCL来学习不平衡表格数据的判别表示。此外，SCL的超参数温度对性能具有决定性影响，并且难以调节。我们引入TPE，一个著名的贝叶斯优化技术，自动选择最佳温度。在二值和多类不平衡表格数据集上进行了实验。结果表明，TPE优于其他三种超参数优化（HPO）方法，如网格搜索，随机搜索和遗传算法。更重要的是，所提出的SCL-TPE方法实现了大大改善的性能相比，国家的最先进的方法。
2022-10-26 cs.LG
Predicting Louisiana Public High School Dropout through Imbalanced Learning Techniques
Rice University（莱斯大学）
这项研究的动机是路易斯安那州高中辍学问题的严重性及其对个人和公共福祉的负面影响。我们的目标是通过检查路易斯安那州的行政数据集来预测有高中辍学风险的学生。由于数据集的不平衡性质，不平衡学习技术，包括重新排序，案例加权和成本敏感学习已被应用于提高稀有类的预测性能。在这项研究中使用的性能指标是F-措施，召回率和精度的罕见类。我们比较了几种机器学习算法的性能，如神经网络，决策树和装袋树结合不平衡的学习方法使用的管理数据集的大小为366 k+从路易斯安那州教育部。实验结果表明，不平衡学习方法的应用在召回率上取得了较好的效果，但在准确率上有所下降，而不考虑不平衡数据处理的基分类器在准确率上有所提高，但在召回率上表现不佳。不平衡学习技术的整体应用是有益的，但需要更多的研究来提高精度。
2019-10-29 cs.LG stat.ML
Ultra-imbalanced classification guided by statistical information
Center for data Science, Zhejiang university（浙江大学数据科学中心）；Tiansuan Lab, Ant group（蚂蚁集团天算实验室）
针对少数类样本也可能充足的超不平衡分类问题，提出UIC框架，从统计信息角度比较损失函数，并设计可证明抗不平衡且实验高效的Tunable Boosting Loss。
2024-09-06 cs.LG
Deep Reinforcement Learning for Multi-class Imbalanced Training
University of Oxford（牛津大学）；John Radcliffe Hospital, Oxford University Hospitals NHS Foundation Trust（牛津大学医院NHS基金会信托约翰·拉德克利夫医院）
随着内存和计算能力的快速增长，数据集变得越来越复杂和不平衡。这在临床数据背景下尤其严重，其中大多数类别中的许多病例可能存在一种罕见事件。我们引入了一个基于强化学习的不平衡分类框架，用于训练极不平衡的数据集，并将其扩展到多类环境中。我们结合了决斗和双深度Q学习架构，并制定了自定义奖励函数和episode训练程序，特别是增加了处理多类不平衡训练的能力。使用真实世界的临床案例研究，我们证明了我们提出的框架优于当前最先进的不平衡学习方法，实现了更公平和平衡的分类，同时也显着提高了少数类的预测。
2022-05-24 cs.AI cs.LG
Methods for Class-Imbalanced Learning with Support Vector Machines: A Review and an Empirical Evaluation
Toronto Metropolitan University（多伦多都会大学）；Deakin University（迪肯大学）；University of Windsor（温莎大学）
本文综述并实证比较了SVM类别不平衡学习的重采样、算法和融合三类方法，发现融合方法性能最优但计算成本高，算法方法效率高但性能稍逊。
2024-06-12 cs.LG
Imbalanced Graph Classification with Multi-scale Oversampling Graph Neural Networks
University of Technology Sydney（悉尼科技大学）；Singapore Management University（新加坡管理大学）
针对不平衡图分类中少数类图表示学习难、现有方法忽略图内及图间判别信息的问题，提出多尺度过采样图神经网络MOSGNN，通过多尺度过采样与多任务联合学习提升少数类表示，在16个数据集上优于5个SOTA模型且支持损失函数灵活接入。
2024-05-17 cs.LG
Interpretable ML for Imbalanced Data
National Research Council of Canada（加拿大国家研究委员会）；Virginia Commonwealth University（弗吉尼亚联邦大学）；Naval Research Laboratory（美国海军研究实验室）
深度学习模型正越来越多地应用于医学、自动驾驶和智能分析等高风险领域的不平衡数据。不平衡的数据加剧了深度网络的黑盒子性质，因为类之间的关系可能是高度倾斜和不清楚的。这可能会降低模型用户的信任度，并阻碍不平衡学习算法开发人员的进展。现有的方法，调查不平衡的数据复杂性是面向二进制分类，浅学习模型和低维数据。此外，当前的可解释人工智能（XAI）技术主要集中于将不透明的深度学习模型转换为更简单的模型（例如，决策树）或将特定实例的预测映射到输入，而不是检查全局数据属性和复杂性。因此，需要一种为现代深度网络量身定制的框架，其包含大型、高维、多类数据集，并揭示通常在不平衡数据中发现的数据复杂性（例如，类重叠、子概念和异常值实例）。我们提出了一套技术，可用于深度学习模型用户识别，可视化和理解类原型，子概念和离群实例;并由不平衡的学习算法开发人员检测功能和类样本是模型性能的关键。我们的框架还确定了类决策边界，它可以携带高度歧视性的信息的边界上驻留的实例。与将模型决策映射到灰度像素位置的许多现有XAI技术不同，我们通过反向传播使用显着性来识别和聚合整个类中的图像色带。我们的框架在\url{https://github.com/dd1github/XAI_for_Imbalanced_Learning}上公开提供
2022-12-15 cs.LG
Empirical Similarity for Absent Data Generation in Imbalanced Classification
Oklahoma State University（俄克拉荷马州立大学）；School of Industrial Engineering and Management（工业工程与管理学院）
当两类分类问题中的训练数据被一个类淹没时，大多数分类技术无法正确识别属于代表性不足的类的数据点。我们提出了基于相似性的不平衡分类（SBIC），它根据经验相似性函数学习训练数据中的模式。为了考虑训练数据的不平衡结构，SBIC利用了缺失数据的概念，即来自少数类的数据，这可以帮助更好地找到两个类之间的边界。SBIC同时优化经验相似性函数的权重，并找到缺失数据点的位置。因此，SBIC使用嵌入式机制来生成合成数据，该机制不修改训练数据集，而是改变算法以适应不平衡的数据集。因此，SBIC在不平衡分类中使用了两个主要思想流派的思想：像成本敏感方法一样，SBIC在算法层面上操作以处理不平衡结构;类似于合成数据生成方法，它利用了少数类中未观察到的数据点的属性。SBIC在不平衡数据集上的应用表明，它与其他常用的不平衡数据集分类技术相当，在某些情况下优于其他常用的分类技术。
2016-05-12 cs.LG stat.ML
Hellinger Distance Trees for Imbalanced Streams
University of Manchester（曼彻斯特大学）
已知在具有不平衡类分布的数据集上训练的分类器表现出较差的泛化性能。这就是所谓的不平衡学习问题。当我们考虑在不平衡数据流上操作增量分类器时，特别是当学习目标是稀有类识别时，问题变得特别尖锐。由于准确性可能会对不平衡数据的性能产生误导性印象，因此基于准确性的现有流分类器可能会在不平衡流上遭受较差的少数类性能，结果是低少数类召回率。在本文中，我们解决这个不足之处，提出使用的Hellinger距离测量，作为一个非常快速的决策树分裂标准。我们证明，通过使用Hellinger的统计显着改善不平衡的数据流的召回率可以实现，与一个可接受的增加的假阳性率。
2014-05-09 astro-ph.IM cs.LG stat.ML
Kernel-Based Enhanced Oversampling Method for Imbalanced Classification
Faculty of Science and Technology, BNU-HKBU United International College（北师港浸会大学科技与文学院）；Guangdong Provincial Key Laboratory of Interdisciplinary Research and Application for Data Science, BNU-HKBU United International College（广东省数据科学跨学科研究与应用重点实验室（北师港浸会大学））
针对不平衡数据集的分类问题，本文提出一种结合凸组合与核加权的增强过采样方法改进SMOTE算法，在多个真实数据集上的F1、G均值和AUC指标均优于现有方法，为不平衡分类提供稳健方案。
2025-04-12 cs.LG
Cavity Filling: Pseudo-Feature Generation for Multi-Class Imbalanced Data Problems in Deep Learning
National Institute of Information and Communications Technology（信息通信研究机构）
在本文中，我们基于从经训练的深度神经网络的层中的特征图获得的多变量概率分布来生成伪特征。此外，我们根据这些生成的伪特征来增加小类数据，以克服数据不平衡的问题。所提出的方法，即，空腔填充提高了若干问题中的深度学习能力，因为观察到所有真实世界的数据都是不平衡的。
2019-10-13 cs.AI cs.CL cs.CV
A Hybrid Approach for Binary Classification of Imbalanced Data
National Taiwan University（台湾大学）；National Taiwan University Hospital（台湾大学医院）
具有不平衡数据集的二进制分类具有挑战性。模型倾向于认为所有样本都属于多数类。虽然现有的解决方案，如抽样方法，成本敏感的方法，集成学习方法改善了少数类的准确性差，这些方法是有限的过拟合问题或成本参数，难以决定。我们提出了HADR，这是一种具有降维的混合方法，包括数据块构建，降维和集成学习与深度神经网络分类器。我们在召回率，G均值和AUC方面评估了八个不平衡的公共数据集的性能。结果表明，我们的模型优于国家的最先进的方法。
2022-07-07 cs.LG
CRCEN: A Generalized Cost-sensitive Neural Network Approach for Imbalanced Classification
Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系）
不平衡数据集的分类在实际应用中是一项具有挑战性的任务。在这种情况下，直接通过最小化分类误差来训练传统的分类算法可能会损害少数类的模型性能，同时优化多数类的性能。解决不平衡问题的传统方法包括重新采样和成本敏感方法。本文提出了一种新的损失函数的神经网络模型CRCEN，用于不平衡分类。基于交叉熵损失的加权形式，给出了模型预测概率、不平衡率和加权机制的理论关系。为了证明我们所提出的模型的有效性，CRCEN进行了测试，在几个基准数据集，并与基线模型进行了比较。
2020-03-03 cs.LG stat.ML
Imbalanced Classification via Explicit Gradient Learning From Augmented Data
University of Tel-Aviv（特拉维夫大学）；Bar Ilan University（巴伊兰大学）
从不平衡数据中学习是现实世界分类任务中最重要的挑战之一。在这种情况下，神经网络的性能由于对多数类的偏好而大大受损。现有的方法试图通过数据重新采样或重新加权学习过程中的损失来消除偏差。尽管如此，这些方法往往过拟合少数民族样本，并表现不佳时，少数民族类的结构是高度不规则的。在这里，我们提出了一种新的深度元学习技术，用新的少数实例来增强给定的不平衡数据集。这些额外的数据被纳入分类器的深度学习过程中，并明确学习它们的贡献。所提出的方法的优点是证明在合成和现实世界的数据集与各种不平衡比。
2022-10-28 cs.LG
Harmonized Gradient Descent for Class Imbalanced Data Stream Online Learning
Peng Cheng Laboratory（鹏城实验室）；School of Automation, Chongqing University（重庆大学自动化学院）；School of Information Science and Engineering, East China University of Science and Technology（东华大学信息科学与工程学院）
本文提出调和梯度下降（HGD）算法，通过平衡各类别梯度范数缓解少数类欠拟合，无需缓冲区、额外参数或先验知识即可实现不平衡数据流的平衡在线学习，并在理论和实验中验证了其有效性与高效性。
2025-08-15 cs.LG
Fair for a few: Improving Fairness in Doubly Imbalanced Datasets
Leibniz Supercomputing Centre (LRZ)（莱比锡超算中心）
针对标签和敏感属性群体均不平衡的双重不平衡数据集去偏效果差的问题，本文通过探索性分析明确其局限性，提出多准则方案以兼顾公平性与分类准确率，优化采样及分布选择。
2025-06-17 cs.CY cs.LG
Enhancement Encoding: A Novel Imbalanced Classification Approach via Encoding the Training Labels
School of Information Science and Engineering（信息科学与工程学院）；Shandong University（山东大学）
类不平衡，也称为长尾分布，是基于机器学习的分类任务中常见的问题。如果发生这种情况，少数数据将被大多数数据淹没，这对数据科学提出了相当大的挑战。为了解决类不平衡问题，研究人员提出了很多方法：一些人使数据集平衡（SMOTE），一些人改进损失函数（Focal Loss），甚至有人注意到标签的值影响类不平衡学习（Yang和Xu）。重新思考标签对改善班级不平衡学习的价值。在NeurIPS 2020中），但还没有人改变对数据标签进行编码的方式。目前，最流行的标签编码技术是独热编码，因为它在一般情况下具有良好的性能。然而，对于不平衡的数据，它不是一个好的选择，因为分类器将平等地对待多数和少数样本。本文创新性地提出了针对非平衡分类的增强编码技术。增强编码结合了重加权和成本敏感性，可以反映硬类和易类（或少数类和多数类）之间的差异。为了减少验证样本的数量和计算成本，我们还将混淆矩阵替换为一种新的软混淆矩阵，该矩阵在较小的验证集下效果更好。在实验中，我们评估了增强编码与三种不同类型的损失。结果表明，增强编码对提高非平衡数据训练网络的性能是非常有效的。特别是在少数民族班级的表现更好。
2023-03-28 cs.LG
Partial Resampling of Imbalanced Data
Canadian University Dubai（迪拜加拿大大学）；Cairo University（开罗大学）
不平衡数据是机器学习中经常遇到的问题。尽管有大量的文献对不平衡数据的抽样技术，有一个有限的研究，解决问题的最佳抽样率。在本文中，我们试图填补空白，在文献中进行了大规模的研究抽样率对分类精度的影响。我们考虑了10种流行的采样方法，并基于20个数据集在一定范围内评估了它们的性能。数值实验的结果表明，最佳的采样率是0.7和0.8之间，虽然确切的比例取决于数据集。此外，我们发现，虽然诸如原始不平衡比率或特征数量等因素在确定最佳比率方面没有发挥明显的作用，但数据集中的样本数量可能会产生切实的影响。
2022-07-11 cs.LG
GenSample: A Genetic Algorithm for Oversampling in Imbalanced Datasets
UCLA（加州大学洛杉矶分校）
不平衡的数据集无处不在。不平衡数据集上的分类性能通常对于少数类是差的，因为分类器不能很好地学习决策边界。然而，在欺诈检测、医疗诊断和垃圾邮件识别等敏感应用中，对少数实例进行正确分类是极其重要的。在本文中，我们提出了一种新的技术的基础上，遗传算法，GenSample，过采样的少数类不平衡数据集。GenSample通过考虑学习该示例的难度以及通过过采样实现的性能改善来决定对少数示例的过采样率。该技术在分类器的性能开始恶化时终止过采样过程。因此，它只在获得性能提升时才产生合成数据。该算法在9个不同大小和不平衡比率的真实不平衡数据集上进行了测试。它在9个数据集中的8个数据集上获得了最高的F-Score，证实了与其他现有方法相比，它能够更好地处理不平衡数据。
2019-10-23 cs.LG cs.NE stat.ML
Class-Imbalanced Complementary-Label Learning via Weighted Loss
School of Computer Science & Technology, China University of Mining and Technology（中国矿业大学计算机科学与技术学院）
针对互补标签学习中的类别不平衡问题，提出加权互补标签学习（WCLL）方法，通过建模加权经验风险最小化损失并推导估计误差界，在多类不平衡场景下显著提升了分类准确率。
2023-06-17 cs.LG
Graph Neural Network-Driven Hierarchical Mining for Complex Imbalanced Data
University of Michigan（密歇根大学）；Georgia Institute of Technology（佐治亚理工学院）；Yale University（耶鲁大学）；University of California San Diego（加州大学圣迭戈分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出一种图神经网络驱动的层次化挖掘框架，通过构建样本图结构并结合GNN嵌入与层次化策略，有效提升高维不平衡数据中少数类模式发现、特征提取与关联分析的性能。
2025-02-06 cs.LG
Deep Reinforcement Learning for Imbalanced Classification
South China University of Technology（华南理工大学）
实际应用中的数据往往呈现出倾斜的类分布，这对机器学习提出了严峻的挑战。传统的分类算法在数据分布不平衡的情况下是无效的，并且当数据分布高度不平衡时可能失败。为了解决这个问题，我们提出了一种基于深度强化学习的通用不平衡分类模型。我们将分类问题描述为一个顺序决策过程，并通过深度Q学习网络解决它。代理在每个时间步对一个样本执行分类操作，环境评估分类操作并向代理返回奖励。来自少数类样本的奖励更大，因此代理对少数类更敏感。在特定的奖励函数和有利的学习环境的指导下，智能体最终在不平衡数据中找到最优分类策略。实验结果表明，该模型的分类性能优于其他不平衡分类算法，能够识别出更多的少数样本，具有良好的分类性能。
2019-01-05 cs.AI cs.LG stat.ML
Consistent Batch Normalization for Weighted Loss in Imbalanced-Data Environment
Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究生院）；FUJITSU BROAD SOLUTION & CONSULTING Inc.（富士通广义解决方案咨询有限公司）
在这项研究中，分类问题的基础上，前馈神经网络在数据不平衡的环境被认为是。不平衡数据集的学习是机器学习领域中最重要的实际问题之一。基于代价敏感方法的加权损失函数（WLF）是一种众所周知的非平衡数据集的有效方法。WLF和批量归一化（BN）的组合被认为是在这项研究中。BN被认为是深度学习最新发展中的一种强大的标准技术。这两种方法的简单组合会导致大小不一致的问题，这是由于两种方法中数据集有效大小的解释之间不匹配。一个简单的修改BN，称为加权BN（WBN），提出了纠正的大小不匹配。WBN的概念简单而自然。在数据不平衡的环境中，所提出的方法进行了验证，使用数值实验。
2020-05-13 cs.LG stat.ML
Offline Reinforcement Learning with Imbalanced Datasets
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对真实离线强化学习数据集状态分布不平衡、传统分布约束类方法效果不佳的问题，提出结合检索机制调用过往经验的改进CQL方法，在D4RL变体任务上表现优于基线。
2024-05-21 cs.AI cs.LG
MEBoost: Mixing Estimators with Boosting for Imbalanced Data Classification
United International University（联合国际大学）
类不平衡问题是机器学习和数据采掘领域中的一个具有挑战性的研究问题。几种现有的机器学习算法试图通过正确识别多数类样本而忽略少数类来最大化分类精度。然而，少数类实例的概念通常代表比多数类更高的兴趣。最近，一些成本敏感的方法，集成模型和抽样技术已被用于文献中，以分类不平衡的数据集。在本文中，我们提出了MEBoost，一个新的不平衡数据集的提升算法。MEBoost将两种不同的弱学习器与boosting混合在一起，以提高不平衡数据集的性能。MEBoost是现有技术（如SMOTEBoost，RUSBoost，Adaboost等）的替代方案。MEBoost的性能已在12个基准不平衡数据集上进行了评估，这些数据集采用了最先进的集成方法，如SMOTEBoost，RUSBoost，Easy Ensemble，EUSBoost，DataBoost。实验结果表明，MEBoost算法在处理不平衡数据集方面有明显的改进，是一种有效的、有前途的算法。Python版本的代码可以在这里找到：https://github.com/farshidrayhanuiu/
2018-01-13 cs.LG stat.ML
Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification
University of Memphis（孟菲斯大学）
不同领域的模型在训练和测试时，自然存在着类的不平衡。无监督领域自适应（UDA）增强了模型的性能，只有来自源域的可访问注释和来自目标域的未标记数据。然而，现有的最先进的UDA模型学习域不变表示，并主要评估跨域的类平衡数据。在这项工作中，我们提出了一种无监督的领域自适应方法，通过强化学习，联合利用跨域的特征变量和不平衡的标签。我们实验了文本分类任务，其易于访问的数据集，并比较所提出的方法与五个基线。在三个数据集上的实验证明，我们提出的方法可以有效地学习鲁棒的域不变表示，并成功地适应文本分类器的不平衡类域。该代码可在https://github.com/woqingdoua/ImbalanceClass上获得。
2022-05-26 cs.CL cs.LG
CUSBoost: Cluster-based Under-sampling with Boosting for Imbalanced Classification
United International University（联合国际大学）
类不平衡分类是数据采掘和机器学习中的一个具有挑战性的研究问题，因为大多数现实生活中的数据集往往是不平衡的。现有的学习算法通过正确分类多数类而最大化分类精度，但是错误分类少数类。然而，在现实生活中的应用程序中，少数类实例比多数类实例更感兴趣地表示概念。最近，一些技术的基础上的抽样方法（欠采样的多数类和过采样的少数类），成本敏感的学习方法，集成学习已被用于在文献中分类不平衡的数据集。在本文中，我们介绍了一种新的基于聚类的欠采样方法与升压（AdaBoost）算法，称为ADABoost，有效的不平衡分类。该算法提供了一种替代RUSBoost（随机欠采样与AdaBoost）和SMOTEBoost（合成少数过采样与AdaBoost）算法。我们使用基于集成学习的最先进的方法，如AdaBoost，RUSBoost，SMOTEBoost，在13个具有不同不平衡率的不平衡二进制和多类数据集上评估了RUSBoost算法的性能。实验结果表明，该算法是一种有效的处理高度不平衡数据集的方法。
2017-12-12 cs.LG stat.ML
Error Distribution Smoothing:Advancing Low-Dimensional Imbalanced Regression
Beihang University（北京航空航天大学）
本文针对不平衡回归问题提出误差分布平滑（EDS）方法，通过考虑问题复杂度与数据密度选择代表性子集，在减少冗余的同时保持平衡性和代表性，并通过实验验证了其有效性。
2025-02-04 cs.AI cs.LG
ImGAGN:Imbalanced Network Embedding via Generative Adversarial Graph Networks
Southern University of Science and Technology（南方科技大学）；The University of Queensland（昆士兰大学）
图上的不平衡分类在许多现实世界的应用中普遍存在，但具有挑战性，例如欺诈节点检测。最近，图神经网络（GNNs）在许多网络分析任务中表现出了良好的性能。然而，大多数现有的GNN几乎只专注于平衡网络，并且在不平衡网络上会得到不吸引人的性能。为了弥合这一差距，在本文中，我们提出了一个生成对抗图网络模型，称为ImGAGN，以解决图上的不平衡分类问题。介绍了一种新的图结构数据生成器GraphGenerator，它通过生成一组合成的少数类节点来模拟少数类节点的属性分布和网络拓扑结构分布，使得不同类节点的数量能够均衡。然后，训练图卷积网络（GCN）来区分真实节点和伪节点（即，生成的）节点之间，以及合成平衡网络上的少数节点和多数节点之间。为了验证所提出的方法的有效性，进行了广泛的实验上的四个现实世界的不平衡网络数据集。实验结果表明，该方法ImGAGN优于国家的最先进的半监督不平衡节点分类任务的算法。
2021-06-05 cs.AI cs.LG
A Novel Hybrid Sampling Framework for Imbalanced Learning
Islamic University of Technology（伊斯兰技术大学）；Robi Axiata Limited（Robi Axiata有限公司）
类别不平衡是分类任务中经常出现的情况。从不平衡的数据中学习是一个重大挑战，这引发了这一领域的大量研究。使用抽样技术的数据预处理是处理数据中存在的不平衡的标准方法。由于标准分类算法在不平衡的数据上表现不佳，因此数据集在训练之前需要充分平衡。这可以通过对少数类进行过采样或对多数类进行欠采样来实现。在这项研究中，提出了一种新的混合采样算法。为了克服抽样技术的局限性，同时确保保留的抽样数据集的质量，已经开发了一个复杂的框架，以适当地结合三种不同的抽样技术。首先应用邻域清理规则来减少不平衡。然后将随机欠采样策略性地与SMOTE算法相结合，以获得数据集中的最佳平衡。这种建议的混合方法，称为“SMOTE-RUS-NC”，已与其他国家的最先进的采样技术进行了比较。该策略被进一步纳入集成学习框架，以获得一个更强大的分类算法，称为“SRN-BRF”。在26个不平衡数据集上进行了严格的实验，这些数据集具有不同程度的不平衡。在几乎所有的数据集，提出的两种算法优于现有的采样策略，在许多情况下，由一个相当大的利润。特别是在高度不平衡的数据集，流行的采样技术完全失败，他们取得了无与伦比的性能。优越的结果表明，所提出的模型的有效性和它们的潜力，在不平衡域的强大的采样算法。
2022-08-20 cs.AI cs.LG
Heteroskedastic and Imbalanced Deep Learning with Adaptive Regularization
Stanford University（斯坦福大学）；Harvard University（哈佛大学）；Toyota Research Institute（丰田研究所）
真实世界的大规模数据集是异方差和不平衡的-标签具有不同程度的不确定性，标签分布是长尾的。异方差性和不平衡性对深度学习算法提出了挑战，因为很难区分错误标记、模糊和罕见的示例。同时解决异方差和不平衡问题的探索不足。我们提出了一种异方差数据集的数据依赖正则化技术，该技术对输入空间的不同区域进行不同的正则化。受一维非参数分类设置中最佳正则化强度的理论推导的启发，我们的方法自适应地正则化更高不确定性，更低密度区域中的数据点。我们在几个基准任务上测试了我们的方法，包括真实世界的异方差和不平衡数据集WebVision。我们的实验证实了我们的理论，并证明了在噪声鲁棒性深度学习中比其他方法有显着的改进。
2021-03-18 cs.LG stat.ML
