Balanced Data, Imbalanced Spectra: Unveiling Class Disparities with Spectral Imbalance
Georgia Institute of Technology（佐治亚理工学院）；Samsung Research（三星研究院）；Stanford University（斯坦福大学）
本文提出特征中的谱不平衡概念作为类别差异的潜在来源，构建理论框架推导高维混合模型中每类误差的精确表达式，并在11个预训练编码器上验证其可用于比较编码器质量及评估数据增强策略，揭示了预训练特征中可通过谱诊断的未知偏差。
2024-06-03 cs.LG stat.ML
MEBoost: Mixing Estimators with Boosting for Imbalanced Data Classification
United International University（联合国际大学）
类不平衡问题是机器学习和数据采掘领域中的一个具有挑战性的研究问题。几种现有的机器学习算法试图通过正确识别多数类样本而忽略少数类来最大化分类精度。然而，少数类实例的概念通常代表比多数类更高的兴趣。最近，一些成本敏感的方法，集成模型和抽样技术已被用于文献中，以分类不平衡的数据集。在本文中，我们提出了MEBoost，一个新的不平衡数据集的提升算法。MEBoost将两种不同的弱学习器与boosting混合在一起，以提高不平衡数据集的性能。MEBoost是现有技术（如SMOTEBoost，RUSBoost，Adaboost等）的替代方案。MEBoost的性能已在12个基准不平衡数据集上进行了评估，这些数据集采用了最先进的集成方法，如SMOTEBoost，RUSBoost，Easy Ensemble，EUSBoost，DataBoost。实验结果表明，MEBoost算法在处理不平衡数据集方面有明显的改进，是一种有效的、有前途的算法。Python版本的代码可以在这里找到：https://github.com/farshidrayhanuiu/
2018-01-13 cs.LG stat.ML
Classification of Imbalanced Data with a Geometric Digraph Family
North Carolina State University（北卡罗来纳州立大学）
我们使用一个称为类覆盖捕获有向图（CCCD）的几何有向图族来解决统计分类中的类不平衡问题。CCCD为类覆盖问题提供了图论解决方案，并已用于分类。我们评估CCCD分类器的分类性能，通过广泛的蒙特卡罗模拟，比较它们与文献中常用的其他分类器。特别是，我们表明，CCCD分类器执行相对较好时，一类是更频繁的比其他两类设置，类不平衡问题的一个例子。我们还指出了类不平衡和类重叠问题之间的关系，以及它们对CCCD分类器和其他分类方法以及一些通过构造对类不平衡具有鲁棒性的最新算法的性能的影响。在模拟数据集和真实数据集上的实验表明，CCCD分类器对类不平衡问题具有较好的鲁棒性。CCCD从多数类中大幅欠采样，同时保留欠采样过程中丢弃点的信息。然而，许多最先进的方法通过集成分类器来保持这些信息，但是CCCD只产生具有相同属性的单个分类器，这使得它既吸引人又快速。
2019-04-09 cs.LG stat.ML
Classification Performance Metric for Imbalance Data Based on Recall and Selectivity Normalized in Class Labels
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
在类别不平衡数据集的分类中，用于模型选择和与竞争方法比较的性能度量是一个主要问题。为了克服这个问题，几个性能指标的定义和分析，在几个方面，特别是不平衡比。目前还没有明确的指标是通用的，可以用于任何倾斜的数据问题。本文提出了一种新的基于类标签归一化的召回率和选择率调和均值的性能度量方法。本文表明，所提出的性能指标具有正确的属性的不平衡数据集。特别是，在由多数类的例子和不平衡比定义的空间中，与其他现有的单值性能指标相比，它对多数类的变化不太敏感，而对少数类的变化更敏感。此外，其他性能指标的特性也得到了分析证明。
2020-06-23 cs.LG stat.ML
Queue-based Resampling for Online Class Imbalance Learning
KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）；University of Cyprus（塞浦路斯大学）
网络课堂不平衡学习是一个新的问题，是一个新兴的研究课题，主要研究在课堂不平衡和概念漂移的情况下在线学习面临的挑战。类不平衡处理具有非常偏斜的分布的数据流，而概念漂移处理类不平衡状态的变化。很少有工作存在，解决这些挑战，在本文中，我们介绍了基于搜索的rescue，一种新的算法，成功地解决了类的不平衡和概念漂移的共存。所提出的reservation算法的中心思想是有选择地包括在训练集的子集的例子，出现在过去。在两个流行的基准数据集上的结果证明了在学习速度和质量方面，基于递归的学习方法优于最先进的方法的有效性。
2019-04-09 cs.LG stat.ML
Introducing DeepBalance: Random Deep Belief Network Ensembles to Address Class Imbalance
Pomona College（波莫纳学院）
类不平衡问题在金融欺诈检测或网络入侵分析等领域表现出来，其中一类的流行率远远高于另一类。通常，从业者对预测少数类比多数类更感兴趣，因为少数类可能具有更高的误分类成本。然而，分类器的性能恶化，在面对类的不平衡，因为通常分类器可以预测每个点作为多数类。处理阶级不平衡的方法包括成本敏感的学习或reservation技术。在本文中，我们介绍了DeepBalance，这是一个使用平衡自举和随机特征选择训练的深度信念网络集合。我们证明，我们提出的方法优于基线reservation方法，如SMOTE和下和过采样的指标，如AUC和灵敏度时，应用到一个高度不平衡的金融交易数据。此外，我们还探讨了各种模型参数对性能和训练时间的影响。此外，我们还证明了我们的模型很容易并行化，这可以减少训练时间。最后，我们给出了DeepBalance在R中的实现。
2017-11-15 cs.LG stat.ML
NPC: Neighbors Progressive Competition Algorithm for Classification of Imbalanced Data Sets
Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）
从许多真实世界的数据集学习受到一个称为类不平衡问题的问题的限制。当一个类（多数类）比另一个类（少数类）拥有更多的样本时，数据集是不平衡的。这样的数据集导致典型的机器学习算法在分类任务上表现不佳。为了克服这个问题，本文提出了一种新的方法邻居渐进竞争（NPC）的不平衡数据集的分类。虽然该算法的灵感来自加权k-最近邻（k-NN）算法，但它与它们有很大的不同。与k- NN不同，NPC不将其决策标准限制在预设的最近邻数目上.相比之下，NPC在其决策过程中逐渐考虑查询样本的更多邻居，直到一个类的等级之和远远高于其他类。此外，NPC使用一种新的方法对训练样本进行分级，以补偿不平衡问题。等级是使用本地和全球信息计算的。简而言之，本文的贡献是一个全新的分类器，用于有效地处理不平衡问题，而无需任何手动设置参数或任何专家知识。在15个不平衡数据集上的实验结果表明，该算法与5种典型算法相比具有较好的性能。
2017-11-29 cs.LG stat.ML
Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning
Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；Fabu Inc.（Fabu公司）
类不平衡分布广泛存在于实际工程中。然而，寻求最小化误差的主流优化算法在面对极端的类不平衡时会将深度学习模型困在次优中。它严重损害了分类精度，特别是对小类。其根本原因是分类器权重的梯度在不同类别的分量之间不平衡。在本文中，我们提出吸引-排斥-平衡损失（ARB-Loss）来平衡梯度的不同分量。我们在大规模分类和分割数据集上进行了实验，我们的ARB-Loss可以通过一个阶段的训练而不是像现在SOTA那样的两个阶段的学习来实现最先进的性能。
2023-02-21 cs.LG stat.ML
Making Classifier Chains Resilient to Class Imbalance
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
类别不平衡是多标签数据的一个内在特征。多标签数据集中的大多数标签与少量的训练样本相关联，与数据集的大小相比要小得多。类不平衡是困扰大多数多标签学习方法的一个关键挑战。分类器链（ECC）是最著名的多标签学习方法之一，它也不例外，因为它构建的每个二进制模型都是从标签的所有正面和负面示例中训练出来的。为了使ECC对类不平衡具有弹性，我们首先将其与随机欠采样相结合。然后，我们提出了这种基本方法的两个扩展，其中我们每个标签构建不同数量的二进制模型，并构建不同大小的链，以提高大多数示例的利用率，并且具有大致相同的计算预算。在16个多标签数据集上的实验结果证明了所提出的方法在各种评价指标上的有效性。
2018-11-06 cs.LG stat.ML
Class-Imbalanced Semi-Supervised Learning
Seoul National University（首尔国立大学）；SK hynix（SK海力士）
半监督学习（Semi-Supervised Learning，SSL）在克服标注困难和充分利用未标注数据方面取得了巨大成功。然而，SSL有一个有限的假设，在不同类别的样本数量是平衡的，许多SSL算法表现出较低的性能与不平衡的类分布的数据集。在本文中，我们介绍了类不平衡的半监督学习（CISSL），这是指半监督学习类不平衡的数据的任务。在这样做时，我们考虑了标记和未标记集合中的类不平衡。首先，我们分析了现有的SSL方法在不平衡的环境中，并研究如何类的不平衡影响SSL方法。然后，我们提出了抑制一致性损失（SCL），一个正则化方法鲁棒类不平衡。我们的方法表现出更好的性能比传统的方法在CISSL环境。特别是，类不平衡越严重，标记数据的大小越小，我们的方法执行得越好。
2020-02-17 cs.CV cs.LG stat.ML
Addressing Class Imbalance in Federated Learning
Northwestern University（西北大学）
联邦学习（FL）是一种很有前途的方法，用于训练位于本地客户端设备上的分散数据，同时提高效率和隐私。然而，客户端上的训练数据的分布和数量可能导致诸如类不平衡和非IID（非独立且同分布）数据的重大挑战，这可能极大地影响公共模型的性能。虽然在遇到非IID数据时，已经投入了很多努力来帮助FL模型收敛，但不平衡问题尚未得到充分解决。特别是，由于FL训练是通过以加密形式交换梯度来执行的，因此训练数据对于客户端或服务器都不是完全可观察的，并且先前的用于类不平衡的方法对于FL来说表现不佳。因此，设计用于检测FL中的类不平衡并减轻其影响的新方法至关重要。在这项工作中，我们提出了一个监测方案，可以推断出每一轮FL训练数据的组成，并设计了一个新的损失函数- \textbf{Ratio Loss}，以减轻不平衡的影响。我们的实验表明，承认类不平衡的重要性，尽早采取措施，在外语培训，以及我们的方法在减轻影响的有效性。我们的方法显着优于以前的方法，同时保持客户端的隐私。
2020-12-15 cs.LG stat.ML
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Deep Learning for Imbalance Data Classification using Class Expert Generative Adversarial Network
Bina Nusantara University（建国私立大学）
人工智能算法对不平衡数据没有特定的分类方法，很难识别出少数类别的数据。通常，通过假设训练数据是不平衡的来修改现有算法是处理不平衡数据的唯一方法。然而，对于一个正常的数据处理，这种方式大多产生一个缺陷的结果。在这项研究中，我们提出了一个类专家生成对抗网络（CE-GAN）作为不平衡数据分类的解决方案。CE-GAN是深度学习算法架构中的修改，其不具有训练数据是不平衡数据的假设。此外，CE-GAN被设计为在分类步骤之前识别关于每个类的特征的更多细节。CE-GAN已被证明在这项研究中，给不平衡数据分类的良好性能。
2018-07-13 cs.CV cs.LG stat.ML
Group & Reweight: A Novel Cost-Sensitive Approach to Mitigating Class Imbalance in Network Traffic Classification
National University of Defense Technology（国防科技大学）；Academy of Military Science（军事科学院）
针对网络流量分类中严重类别不平衡（尤其难以处理少数恶意类别）的问题，提出Group & Reweight策略（聚类类别、迭代更新非参数权重、最小化加权损失），理论解释其优化过程并通过实验验证，可抑制不平衡负面影响并提升预测综合性能。
2025-02-11 cs.LG stat.ML
An Experimental Study of Class Imbalance in Federated Learning
University of Birmingham（伯明翰大学）
联邦学习是一种分布式机器学习范例，它基于客户端的多个本地模型训练全局模型进行预测，同时保留本地数据隐私。类不平衡被认为是降低全局模型性能的因素之一。然而，关于班级不平衡是否以及如何影响整体绩效的研究却很少。联邦学习中的类不平衡比传统的非分布式机器学习中的类不平衡复杂得多，这是由于本地客户端处的类不平衡情况不同。在分布式学习环境中，班级不平衡需要重新定义。在本文中，首先，我们提出了两个新的度量来定义类不平衡-全局类不平衡度（MID）和客户端之间的类不平衡的局部差异（WCS）。然后，我们进行了广泛的实验，分析类不平衡的影响，在各种情况下的全局性能的基础上，我们的定义。我们的研究结果表明，一个更高的MID和一个更大的WCS降低更多的全球模型的性能。此外，WCS被证明是减缓收敛的全局模型的误导优化。
2022-03-28 cs.LG
Rethinking Semi-Supervised Imbalanced Node Classification from Bias-Variance Decomposition
Fudan University（复旦大学）
本文提出一种结合偏差-方差分解的新方法，通过图增强估计方差并设计正则化项，有效缓解图神经网络中的类别不平衡问题，在多个基准上超越现有方法。
2025-02-25 cs.LG
Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance
Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology (KAIST), Daejeon, Republic of Korea（工业与系统工程系，韩国科学技术院（KAIST），大田，大韩民国）
本文提出一种多模态深度生成模型，通过共享潜在变量和t分布改进类别不平衡问题，提升半监督学习性能。
2026-05-07 cs.AI cs.LG stat.ML
Measuring Class-Imbalance Sensitivity of Deterministic Performance Evaluation Metrics
Georgia State University（佐治亚州立大学）
类不平衡问题是许多现实世界的机器学习任务所固有的，特别是对于稀有事件分类问题。虽然不平衡数据的影响和处理是众所周知的，但度量对类不平衡的敏感性的大小很少引起注意。因此，敏感度量通常被忽略，而它们的敏感性可能仅是边际的。在本文中，我们介绍了一个直观的评估框架，量化指标的敏感性类的不平衡。此外，我们揭示了一个有趣的事实，有一个对数行为的指标的敏感性，这意味着较高的不平衡率与较低的敏感性指标。我们的框架建立了一个直观的理解类的不平衡对指标的影响。我们相信这可以帮助避免许多常见的错误，特别是不太强调和不正确的假设，即所有指标的数量在不同的类不平衡比率下是可比的。
2022-06-20 cs.LG
Balanced Split: A new train-test data splitting strategy for imbalanced datasets
Indian Institute of Technology Guwahati（古瓦哈提印度理工学院）
具有偏斜类比例的分类数据集称为不平衡。类别不平衡是一个问题，因为大多数机器学习分类算法都是在假设训练数据集中所有类别的平等表示的情况下构建的。因此，为了解决类不平衡问题，已经开发了许多算法级和数据级方法。这些技术主要包括集成学习和数据增强技术。本文提出了一种新的方法来对付类的不平衡问题，通过一个新的数据分裂策略称为平衡分裂。数据分裂可以在正确分类不平衡数据集方面发挥重要作用。我们发现，常用的数据分裂策略有一些缺点，我们提出的平衡分裂解决了这些问题。
2022-12-17 cs.LG
From Imbalance to Evidence: Deep Nonparametric Testing for Complex Data under Severe Sample Imbalance
University of Notre Dame（圣母大学）
针对严重样本不平衡下复杂数据的分布比较问题，提出EIAD-C2ST框架，将样本不平衡转化为检验证据来源，通过理论保证和实证验证实现了更有效的分布比较。
2026-10-12 cs.LG stat.ME stat.ML
Proceedings of the IJCAI 2017 Workshop on Learning in the Presence of Class Imbalance and Concept Drift (LPCICD'17)
随着机器学习算法在现实世界中的广泛应用，类不平衡和概念漂移已经成为关键的学习问题。当数据类别没有被平等地表示时，就会发生类不平衡，即，与其他类别相比，至少有一个类别属于少数群体。它会导致学习偏向多数类和泛化能力差。概念漂移是问题的潜在分布的变化，特别是在从数据流中学习时是一个重要的问题。它要求学习者能够适应动态变化。类别不平衡和概念漂移会严重阻碍预测性能，当它们同时发生时，问题变得特别具有挑战性。这一挑战的产生是因为一个问题可能影响到对另一个问题的处理。例如，基于传统分类误差的漂移检测算法可能对不平衡程度敏感并且变得不太有效;并且类别不平衡技术需要适应变化的不平衡率，否则接收优先处理的类别可能不是当前时刻正确的少数类别。因此，在算法设计时，应考虑类不平衡和概念漂移的相互影响。本次研讨会的目的是汇集来自班级不平衡学习和概念漂移领域的研究人员，以鼓励讨论和新的合作，解决班级不平衡和概念漂移的综合问题。它为国际研究人员和从业者提供了一个论坛，分享和讨论他们的原创作品，以解决班级不平衡学习，概念漂移以及班级不平衡和概念漂移的综合问题中的新挑战和研究问题。会议记录包括关于这些主题的8篇论文。
2017-07-28 cs.LG
A Systematic Study of Online Class Imbalance Learning with Concept Drift
The University of Birmingham（伯明翰大学）；University of Leicester（莱斯特大学）
作为一个新兴的研究课题，在线班级不平衡学习往往结合了班级不平衡和概念漂移的挑战。它处理具有非常偏斜的类分布的数据流，其中可能发生概念漂移。它最近得到了越来越多的研究关注，但是，很少有工作解决的组合问题，类不平衡和概念漂移共存。作为第一个系统的研究处理类不平衡数据流中的概念漂移，本文首先提供了一个全面的回顾，目前在该领域的研究进展，包括当前的研究热点和开放的挑战。然后，进行了深入的实验研究，目的是了解如何最好地克服概念漂移的在线学习类不平衡。在此基础上，提出了一个有效的算法开发的一般准则。
2017-03-20 cs.LG
Self-paced Ensemble for Highly Imbalanced Massive Data Classification
Jilin University（吉林大学）；Microsoft Research（微软研究院）
许多现实世界的应用揭示了从不平衡数据中学习分类器的困难。随着大数据时代的到来，越来越多的分类任务需要处理大规模但极不平衡和低质量的数据集。大多数现有的学习方法在这种情况下性能不佳或计算效率低。为了解决这个问题，我们对类不平衡的本质进行了深入的研究，结果表明，不仅类之间的不平衡，而且嵌入在数据性质中的其他困难，特别是噪声和类重叠，阻止我们学习有效的分类器。考虑到这些因素，我们提出了一个新的框架不平衡分类，旨在通过自步调协调数据硬度通过欠采样产生一个强大的合奏。大量的实验表明，这种新的框架，而计算效率非常高，可以导致强大的性能，即使在高度重叠的类和非常偏斜的分布。请注意，我们的方法可以很容易地适应大多数现有的学习方法（例如，C4.5、SVM、GBDT和神经网络），以提高其在不平衡数据上的性能。
2020-10-17 cs.AI cs.LG stat.ML
Active Learning with Foundation Model Priors: Efficient Learning under Class Imbalance
University of California, Riverside（加州大学河滨分校）；Carnegie Mellon University（卡内基梅隆大学）；Worcester Polytechnic Institute（伍斯特理工学院）
针对现实数据中的类别不平衡和噪声标注问题，提出一种利用基础模型先验的主动学习框架，通过不平衡感知的协同决策选择信息量最大的样本，在图像和文本数据集上实现超过50%的标注节省。
2026-05-30 cs.AI cs.LG stat.ML
Class Imbalance Problem in Data Mining Review
G. H. Raisoni College of Engineering（G. H. 莱索尼工程学院）
在过去几年中，数据分类发生了重大变化和演变。随着技术应用领域的扩大，数据量也随之增加。由于数据的无限大小和不平衡性，数据分类变得困难。类不平衡问题成为数据采掘中最大的问题。不平衡问题发生在两个类中的一个类比其他类具有更多的样本。大多数算法都侧重于对大样本的分类，而忽略或误分小样本。少数样本是那些很少出现但非常重要的样本。对于不平衡数据集的分类，有不同的方法，主要分为三大类，算法方法，数据预处理方法和特征选择方法。每种技术都有自己的优点和缺点。本文对每种方法进行了系统的研究，为班级不平衡问题的研究指明了方向。
2013-05-08 cs.LG
Appropriateness of Performance Indices for Imbalanced Data Classification: An Analysis
Indian Statistical Institute（印度统计研究所）；Duke University（杜克大学）；Indian Institute of Information Technology, Guwahati（印度信息技术学院古瓦哈提分校）
量化分类器在类不平衡下的性能的指标，往往会受到扭曲，这取决于测试集的构成或类特定的分类精度，在评估分类器的优点造成困难。我们确定了两个基本条件，一个性能指标必须满足分别是弹性改变测试实例的数量从每个类和测试集中的类的数量。针对这些情况，在类不平衡的影响下，我们从理论上分析了四个常用的指标用于评估二进制分类器和五个流行的多类分类器的指标。对于违反任何条件的指数，我们还建议补救性修改和规范化。我们进一步调查的能力的指数，以保留信息的分类性能在所有的类，即使当分类器表现出极端的性能在某些类。模拟研究是在ImageNet数据集子集的高维深度表示上进行的，使用了四个最先进的分类器来处理类不平衡。最后，根据我们的理论研究结果和实证证据，我们建议适当的指标，应用来评估分类器的性能存在的类不平衡。
2020-08-26 cs.CV cs.LG stat.ML
An Analytical Model for Overparameterized Learning Under Class Imbalance
本文在高维高斯混合模型下提出类别不平衡线性分类的闭式测试误差近似，用于解析调节和比较logit调整与类别相关温度等方法，并在多个不平衡数据集上验证其克服标准交叉熵缺陷的条件。
2025-03-07 cs.LG
Rethinking Class Imbalance in Machine Learning
National Center for Applied Mathematics（国家应用数学中心）；School of Mathematics, Tianjin University（天津大学数学学院）
本文提出更广的类别不平衡分类法，涵盖五种类型和全局/局部层次，理论分析其影响，并基于logit扰动提出新损失函数，元学习调参，实验验证有效性。
2023-05-06 cs.AI cs.LG
Sampling Control for Imbalanced Calibration in Semi-Supervised Learning
Corresponding author（通讯作者）
SC-SSL通过解耦采样控制减轻半监督学习中的类别不平衡问题，通过自适应调整采样概率和后处理校准logits，提升模型性能。
2025-11-24 cs.CV cs.LG stat.ML
Balancing the Scales: A Comprehensive Study on Tackling Class Imbalance in Binary Classification
Ready Tensor, Inc.（睿迪腾公司）
本文系统比较了SMOTE、类别权重调整和决策阈值校准三种类别不平衡处理方法，在15个模型和30个数据集上进行9,000次实验，发现决策阈值校准整体最有效，但最佳方法因数据集而异，强调需针对具体数据集进行分析。
2024-09-29 cs.AI cs.LG stat.ML
ReGrAt: Regularization in Graphs using Attention to handle class imbalance
Google（谷歌）
节点分类是基于图的学习中需要解决的一个重要问题。尽管在这方面已经做了大量的工作，但不平衡性被忽视了。真实世界的数据并不完美，并且在大多数情况下表示不平衡。除了文本和图像之外，数据还可以使用图形表示，因此解决图形中的不平衡变得至关重要。在节点分类的上下文中，一个类比其他类具有更少的示例。更改数据组成是解决节点分类不平衡的一种常用方法。这是通过重新排序数据以平衡数据集来完成的。然而，这有时会导致信息丢失或向数据集添加噪声。因此，在这项工作中，我们隐式地解决了这个问题，通过改变模型损失。具体来说，我们研究注意力网络如何帮助解决不平衡问题。此外，我们观察到使用正则化器为少数节点分配更大的权重有助于缓解这种不平衡。我们在几个标准的引文基准数据集上取得了比现有方法更先进的结果。
2022-11-27 cs.LG
Handling Inter-class and Intra-class Imbalance in Class-imbalanced Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ByteDance（字节跳动）；University of Virginia（弗吉尼亚大学）；Jilin University（吉林大学）；University of Technology Sydney（悉尼科技大学）；Microsoft Research（微软研究院）
类不平衡是机器学习实践中常见的问题。典型的不平衡学习（IL）方法通过直观的类重排序或重新加权来平衡数据。然而，以前的研究表明，除了类不平衡之外，重叠、噪声和小析取等固有的数据难度因素也起着关键作用。为了处理它们，已经提出了许多解决方案（例如，噪声去除、边界采样、硬示例挖掘），但仍然局限于特定因素，不能推广到更广泛的场景，这提出了一个有趣的问题：如何以统一的方式处理类不可知的困难和类不平衡？为了回答这个问题，我们考虑类不平衡及其正交：类内不平衡，即，容易和困难样品上的不平衡分布。这样的分布自然反映了类不可知的内在数据困难的复杂影响，从而为在学习过程中识别和处理这些因素提供了一个新的统一视图。从这个角度来看，我们讨论了现有IL解决方案的优点和缺点，并进一步提出了新的平衡技术，更强大，更有效的IL。最后，我们将所有的解决方案归纳为一个通用的集成IL框架，即DuBE（双重平衡的Ensemble）。它具有显式和高效的类间\类内平衡以及使用标准化API轻松扩展的功能。大量的实验验证了DuBE的有效性。代码、示例和文档可在https://github.com/AnonAuthorAI/duplebalance和https://duplebalance.readthedocs.io上获得。
2022-11-23 cs.AI cs.LG
Random Forest Variable Importance-based Selection Algorithm in Class Imbalance Problem
University of Washington（华盛顿大学）；University of Miami Miller School of Medicine（迈阿密大学米勒医学院）
针对类别不平衡场景下随机森林变量重要性研究不足的问题，本文分析了类别平衡技术的影响，提出结合随机森林变量重要性与置信区间的特征选择算法，可高效选最优特征集以提升不平衡场景的预测性能。
2023-12-17 cs.LG stat.ME stat.ML
Geometric Imbalance in Semi-Supervised Node Classification
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；MBZUAI；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Logs AI Project（Logs AI项目）
本文提出几何失衡概念，通过伪标签对齐、节点重排和模糊过滤缓解类别不平衡问题，实验表明在严重类别不平衡下性能优于现有方法。
2026-03-21 cs.LG
Orthogonal Activation with Implicit Group-Aware Bias Learning for Class Imbalance
School of Computing（计算学院）；Australian National University（澳大利亚国立大学）
本文提出OGAB激活函数，通过正交性和组感知偏置学习缓解深度学习中的类别不平衡问题，无需显式标签信息，提升特征区分性与类别分离性。
2025-12-23 cs.LG
A systematic study of the class imbalance problem in convolutional neural networks
Duke University School of Medicine（杜克大学医学院）；Royal Institute of Technology (KTH)（皇家理工学院（KTH））；Duke University（杜克大学）
在这项研究中，我们系统地研究了类不平衡对卷积神经网络（CNN）分类性能的影响，并比较了常用的方法来解决这个问题。类不平衡是经典机器学习中广泛研究的一个常见问题，但在深度学习背景下的系统研究非常有限。在我们的研究中，我们使用了三个复杂性不断增加的基准数据集，MNIST，CIFAR-10和ImageNet，来研究不平衡对分类的影响，并对几种方法进行了广泛的比较来解决这个问题：过采样，欠采样，两阶段训练和补偿先验类概率的阈值。我们的主要评估指标是调整到多类任务的受试者工作特征曲线下面积（ROC AUC），因为整体准确性指标与不平衡数据背景下的显著困难相关。基于我们的实验结果，我们得出以下结论：（i）类不平衡对分类性能的影响是有害的;（ii）解决类不平衡的方法是过采样;（iii）过采样应该应用于完全消除不平衡的水平，而最佳的欠采样率取决于不平衡的程度;（iii）类不平衡对分类性能的影响是有害的。（iv）与一些经典的机器学习模型相反，过采样不会导致CNN的过拟合;（v）当对正确分类的病例的总数感兴趣时，应该应用阈值处理来补偿先验类概率。
2018-10-13 cs.AI cs.CV cs.LG
Binary Classification: Counterbalancing Class Imbalance by Applying Regression Models in Combination with One-Sided Label Shifts
Ulm University（乌尔姆大学）
在许多现实世界的模式识别场景中，例如在医疗应用中，对应的分类任务可能具有不平衡的性质。在目前的研究中，我们专注于二元，不平衡的分类任务，即~二元分类任务，其中两个类中的一个类（少数类）与另一个类（多数类）相比代表性不足。在文献中，已经提出了许多不同的方法，例如欠采样或过采样，以对抗类不平衡。在目前的工作中，我们介绍了一种新的方法，它解决了类不平衡的问题。为此，我们首先将二元分类任务转换为等效的回归任务。随后，我们生成一组负目标标签和正目标标签，使得相应的回归任务相对于重新定义的目标标签集变得平衡。我们评估我们的方法在一些公开的数据集结合支持向量机。此外，我们比较我们提出的方法，最流行的过采样技术（SMOTE）之一。基于我们的实验评估结果的详细讨论，我们提供了有前途的想法，为未来的研究方向。
2020-11-30 cs.LG
Improving GBDT Performance on Imbalanced Datasets: An Empirical Study of Class-Balanced Loss Functions
The Fields Institute for Research in Mathematical Sciences（数学科学研究所）；Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）
本文首次系统研究类别平衡损失函数对三种GBDT算法在不平衡表格数据分类任务中的影响，实验证明其能提升性能，并发布了Python包以促进应用。
2024-07-19 cs.LG
Cold Start Active Learning Strategies in the Context of Imbalanced Classification
Luxembourg Institute of Science and Technology（卢森堡科学技术研究所）；University of Geneva（日内瓦大学）
我们提出了新的主动学习策略，致力于提供一个解决方案的冷启动阶段，即初始化分类的一个大的数据集没有附加标签。此外，所提出的策略旨在处理随机选择效率极低的不平衡环境。具体来说，我们的主动学习迭代使用元素得分来解决标签稀缺性和不平衡性，将从聚类结构中提取的信息结合到标签传播模型中。该战略说明了一个案例研究，对Twitter的内容w.r.t.一个真实的洪水事件的证词。我们表明，我们的方法有效地应对类不平衡，通过提高少数类的样本的召回。
2022-01-25 cs.LG
A Synthetic Over-sampling method with Minority and Majority classes for imbalance problems
University of Melbourne（墨尔本大学）
类别不平衡是对许多现实世界案例进行分类的一个重大挑战。合成过采样方法已经有效地提高了分类器的性能不平衡的问题。然而，大多数合成过采样方法产生的凸包内的现有少数实例形成的非多样化的合成实例，因为他们只集中在少数类，而忽略了大量的信息提供的多数类。它们通常也不能很好地处理极不平衡的数据，因为少数实例越少，生成合成实例的信息就越少。此外，现有的方法，生成合成实例使用多数类分布信息不能有效地执行时，多数类具有多模态分布。我们提出了一种新的方法来生成多样性和适应性的合成实例，使用合成过采样与少数和多数类（SOMM）。SOMM在少数数据空间内生成合成实例。它更新生成的实例自适应包括两个类的邻域。因此，SOMM表现良好的二进制和多类不平衡问题。我们研究的性能SOMM的二进制和多类问题使用基准数据集不同的不平衡水平。实验结果表明，SOMM的优越性相比，其他现有的方法。
2021-08-10 cs.LG
Imbalanced Classification through the Lens of Spurious Correlations
Machine Learning Group（机器学习组）；TU Berlin（柏林技术大学）；BASLEARN–TU Berlin/BASF Joint Laboratory（柏林技术大学/巴斯夫联合实验室）
本文将类别不平衡视为放大少数类Clever Hans效应的数据条件，提出利用Explainable AI基于反事实解释联合识别并消除该效应，在三个数据集上取得具竞争力的性能。
2025-10-31 cs.CV cs.LG
Comparative Evaluation of Machine Learning Approaches for Minority-Class Financial Distress Prediction Under Class Imbalance Constraints
Kent Business School（肯特商学院）；University of Kent（肯特大学）
本文比较了统计方法、集成学习和神经网络模型在类不平衡数据下的少数类财务困境预测效果，验证了梯度提升方法在严重不平衡情况下的优越性。
2026-05-13 cs.LG
A Comparative Study on Application of Class-Imbalance Learning for Severity Prediction of Adverse Events Following Immunization
Northeastern University（东北大学）
我们与中国辽宁省疾病预防控制中心合作，提出了一个预测系统，根据免疫接种后不良事件的数据，预测出现不良反应的儿童随后的住院治疗。我们从数据中提取多个特征，并选择“是否住院”作为分类目标。由于数据的不平衡性，我们使用了各种类不平衡学习方法进行训练，并改进了RUSBoost算法。实验结果表明，改进的RUSBoost算法在目标上的ROC曲线下面积最高。此外，我们将这些类不平衡学习方法与一些常见的机器学习算法进行了比较。我们将改进的RUSBoost与动态Web资源开发技术相结合，为相关医疗从业人员构建了一个具有信息录入和疫苗接种反应预测功能的评估系统。
2022-06-20 cs.LG
ReMix: Calibrated Resampling for Class Imbalance in Deep learning
National Research Council of Canada（加拿大国家研究委员会）；American University（美利坚大学）
类不平衡是应用深度学习中的一个非常重要的问题，在应用深度学习中，训练好的模型被用于健康和医学、交通和金融等关键领域的决策支持和自动化决策。从不平衡的训练数据中学习深度模型的挑战仍然很大，最先进的解决方案通常依赖于数据，主要集中在图像数据上。然而，现实世界的不平衡分类问题更加多样化，因此需要一个通用的解决方案，可以应用于表格，图像和文本数据。在本文中，我们提出了ReMix，这是一种训练技术，它利用批处理、实例混合和软标签来实现对不平衡学习的鲁棒深度模型的诱导。我们的研究结果表明，根据g均值，使用ReMix训练的密集网络和CNN通常优于替代方案，并且根据平衡的Brier得分进行了更好的校准。
2020-12-03 cs.LG
Imbalanced Classification via Explicit Gradient Learning From Augmented Data
University of Tel-Aviv（特拉维夫大学）；Bar Ilan University（巴伊兰大学）
从不平衡数据中学习是现实世界分类任务中最重要的挑战之一。在这种情况下，神经网络的性能由于对多数类的偏好而大大受损。现有的方法试图通过数据重新采样或重新加权学习过程中的损失来消除偏差。尽管如此，这些方法往往过拟合少数民族样本，并表现不佳时，少数民族类的结构是高度不规则的。在这里，我们提出了一种新的深度元学习技术，用新的少数实例来增强给定的不平衡数据集。这些额外的数据被纳入分类器的深度学习过程中，并明确学习它们的贡献。所提出的方法的优点是证明在合成和现实世界的数据集与各种不平衡比。
2022-10-28 cs.LG
Simplifying Neural Network Training Under Class Imbalance
New York University（纽约大学）；Capital One（第一资本）
该研究表明，无需专门的类别不平衡损失、采样或两阶段方法，仅系统调整批量大小、数据增强、优化器和标签平滑等标准训练组件，即可达到最先进性能。
2023-12-05 cs.AI cs.LG
Offline Clustering Approach to Self-supervised Learning for Class-imbalanced Image Data
Korea University（高丽大学）；Mimbres Corp.（Mimbres公司）
已知类别不平衡的数据集会导致模型偏向大多数类别的问题。在这个项目中，我们设置了两个研究问题：1）在自我监督的预训练中，类不平衡问题何时更普遍？以及2）特征表示的离线聚类是否有助于在类别不平衡的数据上进行预训练？我们的实验通过调整{ \it class-balance}的程度来研究前一个问题，当训练基线模型时，即CIFAR-10数据库上的Simplified和SimSiam。为了回答后一个问题，我们对每个专家模型在特征聚类的每个子集上进行训练。然后，我们将专家模型的知识提取到一个模型中，这样我们就能够将这个模型的性能与我们的基线进行比较。
2022-12-22 cs.CV cs.LG
A Survey on Class Imbalance in Federated Learning
Northeastern University（东北大学）；The University of Melbourne（墨尔本大学）；RMIT University（皇家墨尔本理工大学）
允许网络中的多个客户端设备在不直接暴露客户端数据的情况下联合训练机器学习模型的联邦学习由于其隐私保护的性质而成为新兴的分布式学习技术。然而，已经发现，使用联邦学习训练的模型通常比在标准集中式学习模式中训练的模型具有更差的性能，特别是当训练数据不平衡时。在联邦学习的上下文中，数据不平衡可能在一个客户端设备本地发生，也可能在多个设备之间全局发生。不同类型的数据不平衡的复杂性给联邦学习技术的发展带来了挑战，特别是考虑到缓解数据不平衡问题和保护数据隐私的需求。因此，在文献中，已经进行了许多尝试来处理联邦学习中的类不平衡。在本文中，我们提出了一个详细的审查最近的进展，沿着这条线。我们首先介绍了联邦学习中的各种类型的类不平衡，之后我们回顾了现有的方法，用于估计类不平衡的程度，而不需要知道实际数据，以保护数据隐私。之后，我们讨论了现有的方法来处理类不平衡的FL，这些方法的优点和缺点进行了讨论。我们还总结了类不平衡任务的常见评估指标，并指出潜在的未来发展方向。
2023-03-21 cs.AI cs.LG
Fast Convergence through Distributed Augmentation for Class-Imbalanced Federated Learning
Amar Nath and Shashi Khosla School of Information Technology, Indian Institute of Technology Delhi（印度理工学院德里分校 Amar Nath and Shashi Khosla 信息技术学院）；Department of Electrical Engineering, Indian Institute of Technology Delhi（印度理工学院德里分校电气工程系）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
针对联邦学习类不平衡问题，提出DAFL分布式增强框架，通过理论建立增强与收敛关系并联合优化增强量和训练时间，提升少数类F1分数并显著减少训练时间。
2026-10-06 cs.LG
Ensemble of Unsupervised Deep Learning for Clustering Imbalanced Tabular Data
Tennessee State University（田纳西州立大学）；Enosis Solutions（伊诺西斯解决方案公司）；North Carolina A&T State University（北卡罗来纳农工州立大学）
本文针对不平衡表格数据，提出两种无监督深度聚类集成方法，经16个二分类表格数据集实验，其在ACC、NMI、ARI指标上优于单个方法，可作为监督分类的有力替代方案。
2026-08-04 cs.LG
Neural Network Implementation of the Renormalization Group for Fault Diagnosis with Class Imbalance
MIREA – Russian Technological University（莫斯科俄罗斯技术大学）
提出RGNet，一种基于重正化群概念的神经网络架构，通过层次化粗粒化特征空间处理类别不平衡和多维噪声，在AI4I数据集上验证了其有效性。
2026-06-18 cs.LG
Adaptive kernel-density approach for imbalanced binary classification
Graduate School of Science and Technology, Nara Institute of Science and Technology, Japan（科学技术研究生院，科学与技术国立研究所，日本）；Data Science Center, Nara Institute of Science and Technology, Japan（数据科学中心，科学与技术国立研究所，日本）
针对极端不平衡场景下传统二分类方法性能不佳的问题，提出基于核密度估计的KOTARO方法，通过动态调整高斯基带宽和决策边界提升少数类识别能力，在多数据集上验证了其在严重不平衡场景下的性能优势。
2025-10-05 cs.LG
Imbalanced data preprocessing techniques utilizing local data characteristics
AGH University of Science and Technology（AGH科技大学）
数据不平衡，即来自不同类别的训练观察值数量之间的不成比例，仍然是影响当代机器学习的最重要挑战之一。数据预处理技术是通过对训练数据进行人为处理来降低数据不平衡程度的方法，它可以降低数据不平衡对传统分类算法的负面影响。然而，现有的数据预处理技术，特别是SMOTE及其衍生物，构成了最流行的范例不平衡数据预处理，往往容易受到各种数据难度因素。这部分是由于原始SMOTE算法不利用关于多数类观测的信息的事实。本论文的重点是开发新的数据reservationstrategies原生地利用少数和多数类的分布信息。本文总结了12篇研究论文的内容，重点是提出的二进制数据检索策略，他们的翻译到多类设置，并实际应用于组织病理学数据分类的问题。
2021-11-28 cs.LG
QC-SMOTE: Quality-Controlled SMOTE for Imbalanced Classification
School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）
提出QC-SMOTE，通过复合邻域可信度评分评估少数类样本可靠性，并采用IPQ引导的最佳K策略生成合成样本，在30个数据集上取得最优平均AUC-ROC和Macro F1。
2026-06-24 cs.LG
