A survey on learning from imbalanced data streams: taxonomy, challenges, empirical study, and reproducible experimental framework
Virginia Commonwealth University（弗吉尼亚联邦大学）
本文针对不平衡数据流分类缺乏统一评估基准的问题，提出可复现实验框架，在515个数据流上评测24种算法，并给出选型建议与未来方向。
2023-07-18 cs.LG
Focused PU learning from imbalanced data
Institute of Informatics and Telecommunications（信息与电信研究所）
本文提出了一种新的PU学习方法，用于处理高度不平衡数据集中的正例和未标记示例，通过聚焦经验风险估计器提升二分类器性能，在SCAR和SAR两种标签机制下均取得最佳效果，并在财务造假检测中验证了方法价值。
2026-09-22 cs.LG
Kolmogorov Arnold Networks (KANs) for Imbalanced Data -- An Empirical Perspective
Pankaj Yadav（独立研究者）；Vivek Vijay（独立研究者）
本文实证评估了KANs在不平衡分类中的表现，发现其处理原始不平衡数据优于MLPs但与重采样及焦点损失不兼容且计算成本高，并指出未来需开发KAN专用架构以解决性能-资源权衡问题。
2025-07-18 cs.AI cs.LG
Machine Learning-Based Heart Disease Diagnosis: A Systematic Literature Review
University of Oklahoma（俄克拉荷马大学）
心脏病是当今世界的重大挑战之一，也是全球许多死亡的主要原因之一。机器学习（ML）应用的最新进展表明，使用心电图（ECG）和患者数据，在早期阶段检测心脏病是可行的。然而，ECG和患者数据通常是不平衡的，这最终对传统的ML提出了无偏执行的挑战。多年来，许多研究人员和从业者已经提出了几种数据级和算法级解决方案。为了更广泛地了解现有文献，本研究采用系统性文献综述（SLR）方法，以揭示与心脏病预测中不平衡数据相关的挑战。在此之前，我们对2012年至2021年11月15日期间从知名期刊获得的451篇参考文献进行了荟萃分析。为了进行深入分析，考虑并研究了49篇参考文献，并考虑了以下因素：心脏病类型、算法、应用和解决方案。我们的SLR研究表明，目前的方法在处理不平衡数据时遇到了各种开放的问题，最终阻碍了它们的实用性和功能。
2021-12-13 cs.LG
Nonlinear Monte Carlo Method for Imbalanced Data Learning
对于基本的机器学习问题，使用期望误差来评估模型性能。由于数据的分布通常是未知的，我们可以做一个简单的假设，即数据是独立同分布（i.i.d.）并利用大数定律将损失函数的均值作为经验风险。这被称为蒙特卡罗方法。然而，当LLN不适用时，例如不平衡数据问题，经验风险会导致过拟合，并可能降低鲁棒性和泛化能力。受非线性期望理论框架的启发，我们用子组平均损失的最大值代替损失函数的平均值。我们称之为非线性蒙特卡罗方法。为了便于数值优化方法的应用，我们对最大经验风险泛函进行线性化和光滑化，并通过二次规划得到下降方向。使用所提出的方法，我们实现了比SOTA骨干模型更好的性能，训练步骤更少，并且对基本回归和不平衡分类任务具有更强的鲁棒性。
2022-11-30 cs.AI cs.LG
Survey of Imbalanced Data Methodologies
Wells Fargo（富国银行）
不平衡数据集是金融业中经常发现和研究的问题。本文回顾和比较了几种常用的数据不平衡处理方法。然后，我们将欠采样/过采样方法应用于UCI和Keel数据集上的几种建模算法。性能进行了分析类不平衡的方法，建模算法和网格搜索标准的比较。
2021-04-06 cs.LG stat.ML
Class-imbalanced Domain Adaptation: An Empirical Odyssey
Sun Yat-Sen University（中山大学）；Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
无监督领域自适应是将深度模型推广到新领域的一种很有前途的方法。然而，目前的文献假设标签分布是域不变的，并且只对齐特征分布，反之亦然。在这项工作中，我们探讨类不平衡领域自适应的更现实的任务：如何调整跨域的特征分布，而两个域的标签分布也是不同的？为了解决这个问题，我们从6个真实图像数据集中构建了22个跨域任务的第一个基准测试。我们对最近提出的10种领域自适应方法进行了综合实验，发现它们在特征和标签共存的分布偏移面前都非常脆弱。为了更好的解决方案，我们进一步提出了一个特征和标签分布CO-ALIGATION（COAL）模型与现有的想法的一种新的组合。经验表明，COAL在我们的基准测试中优于最新的领域自适应方法。我们相信所提供的基准，实证分析结果，和COAL基线可以刺激和促进未来的研究对这个重要的问题。
2020-09-19 cs.CV cs.LG stat.ML
Tabular Imbalanced Learning: A Survey, Benchmark, and Practical Guide
School of Mathematical Sciences, Soochow University（苏州大学数学科学学院）
本文提出TILBench，通过评估40多种算法在57个多样数据集上的表现，揭示了不平衡学习方法在不同数据特性下的性能差异，强调了数据特征和计算约束对方法选择的影响。
2026-09-28 cs.LG
An empirical evaluation of imbalanced data strategies from a practitioner's point of view
Institute of Computing, University of Campinas（坎皮纳斯大学计算研究所）
本文从实践者视角实证评估六种不平衡数据处理策略，在58个真实数据集上比较10种欠采样、5种过采样等算法，发现策略效果因评估指标而异，且新算法难以改变现有最佳策略层级。
2023-11-10 cs.LG stat.ML
Enhancing Clinical Predictive Modeling through Model Complexity-Driven Class Proportion Tuning for Class Imbalanced Data: An Empirical Study on Opioid Overdose Prediction
Stony Brook University（石溪大学）；IBM Research（IBM研究院）
本研究针对医学类别不平衡问题，提出将最优类别比例与模型复杂度关联的新方法，并在阿片类药物过量预测中验证了其性能提升和理论优势。
2023-05-09 cs.LG stat.AP
Empirical study of Machine Learning Classifier Evaluation Metrics behavior in Massively Imbalanced and Noisy data
Queen Mary University of London（伦敦玛丽女王大学）
随着信用卡交易量的增长，欺诈比例也在上升，包括机构打击和赔偿受害者的间接成本。将机器学习应用于金融领域，可以更有效地防范欺诈和其他经济犯罪。经过适当训练的机器学习分类器有助于积极主动地进行欺诈检测，提高利益相关者的信任度和抵御非法交易的稳健性。然而，基于机器学习的欺诈检测算法的设计一直具有挑战性且缓慢，这是由于欺诈数据的大规模不平衡性质以及准确且完整地识别欺诈以创建黄金标准地面实况的挑战。此外，没有基准或标准的分类器评估指标来衡量和识别性能更好的分类器，从而使研究人员处于黑暗中。在这项工作中，我们开发了一个理论基础，以模拟人类注释错误和极端不平衡典型的现实世界中的欺诈检测数据集。通过在一个假设的分类器上进行实证实验，使用一个近似于真实世界中流行的信用卡欺诈数据集的合成数据分布，我们模拟人类注释错误和极端不平衡，以观察流行的机器学习分类器评估矩阵的行为。我们证明了组合F1得分和g均值，在特定的顺序，是典型的不平衡欺诈检测模型分类的最佳评价指标。
2022-08-25 cs.CR cs.LG
Ultra-imbalanced classification guided by statistical information
Center for data Science, Zhejiang university（浙江大学数据科学中心）；Tiansuan Lab, Ant group（蚂蚁集团天算实验室）
针对少数类样本也可能充足的超不平衡分类问题，提出UIC框架，从统计信息角度比较损失函数，并设计可证明抗不平衡且实验高效的Tunable Boosting Loss。
2024-09-06 cs.LG
Efficient Augmentation for Imbalanced Deep Learning
University of Notre Dame（圣母大学）；National Research Council of Canada（加拿大国家研究委员会）；Virginia Commonwealth University（弗吉尼亚联邦大学）
深度学习模型倾向于记忆训练数据，这会损害它们推广到代表性不足的类的能力。我们实证研究了卷积神经网络对不平衡图像数据的内部表示，并测量了模型在训练集和测试集中的特征嵌入之间的泛化差距，结果表明少数类的差距更大。这种见解使我们能够为不平衡数据设计一个有效的三阶段CNN训练框架。该框架涉及在不平衡数据上训练网络端到端以学习准确的特征嵌入，在学习的嵌入空间中执行数据增强以平衡训练分布，以及在嵌入的平衡训练数据上微调分类器头。我们提出了扩展过采样（EOS）作为一种数据增强技术，用于训练框架。EOS将合成训练实例形成为嵌入空间中少数类样本与其最近敌人之间的凸组合，以减少泛化间隙。所提出的框架提高了领先的成本敏感和rescovery方法中常用的不平衡学习的准确性。此外，它比标准的数据预处理方法（如SMOTE和基于GAN的过采样）更有效，因为它需要更少的参数和更少的训练时间。
2022-10-17 cs.LG
Balancing the Scales: A Theoretical and Algorithmic Framework for Learning from Imbalanced Data
Google Research（谷歌研究）；Courant Institute of Mathematical Sciences（Courant数学科学研究所）
本文提出了一种新的理论框架和算法IMMAX，用于解决类别不平衡问题，通过引入新的损失函数和理论保证提升学习性能。
2025-12-29 cs.LG stat.ML
A review of ensemble learning and data augmentation models for class imbalanced problems: combination, implementation and evaluation
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；University of New South Wales（新南威尔士大学）；Pingala Institute of Artificial Intelligence（平加拉人工智能研究所）
本文评估了9种数据增强与9种集成学习方法在类别不平衡基准问题上的组合效果，发现传统方法（如SMOTE和ROS）结合集成学习能显著提升分类性能且计算成本低于GANs。
2023-11-27 cs.AI cs.LG stat.ML
Graph Neural Network-Driven Hierarchical Mining for Complex Imbalanced Data
University of Michigan（密歇根大学）；Georgia Institute of Technology（佐治亚理工学院）；Yale University（耶鲁大学）；University of California San Diego（加州大学圣迭戈分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出一种图神经网络驱动的层次化挖掘框架，通过构建样本图结构并结合GNN嵌入与层次化策略，有效提升高维不平衡数据中少数类模式发现、特征提取与关联分析的性能。
2025-02-06 cs.LG
Geometric SMOTE: Effective oversampling for imbalanced learning through a geometric extension of SMOTE
NOVA Information Management School, Universidade Nova de Lisboa（里斯本新大学信息管理学院）
不平衡数据集的分类对于标准算法来说是一项具有挑战性的任务。虽然有许多方法可以以不同的方式解决这个问题，但与算法修改相比，为少数类生成人工数据是一种更通用的方法。SMOTE算法及其变体沿着连接少数类实例的线段生成合成样本。在本文中，我们提出几何SMOTE（G-SMOTE）作为一个推广的SMOTE数据生成机制。G-SMOTE在输入空间的几何区域中生成合成样本，围绕每个选定的少数实例。虽然在基本配置中，该区域是一个超球体，但G-SMOTE允许其变形为超球体，最后变形为线段，在最后一种情况下，模仿SMOTE机制。G-SMOTE的性能进行了比较，对多个标准的过采样算法。我们目前的实证结果表明，G-SMOTE被用作过采样算法时，所生成的数据的质量显着改善。
2017-09-21 cs.LG
Adversarial Examples for Good: Adversarial Examples Guided Imbalanced Learning
Zhejiang University（浙江大学）
对抗性示例是攻击者设计的机器学习模型的输入，以导致模型出错。在本文中，我们证明了对抗性示例也可以用来改善不平衡学习的性能。我们为如何处理不平衡数据提供了一个新的视角：通过使用指导对抗示例（GAE）进行训练来调整有偏见的决策边界。我们的方法可以有效地提高少数类的准确性，而牺牲大多数类的准确性很小。我们的经验表明，在几个基准数据集上，我们提出的方法与最先进的方法相当。据我们所知，我们是第一个用对抗性例子来处理不平衡学习的人。
2022-08-30 cs.AI cs.LG
Conditional Wasserstein GAN-based Oversampling of Tabular Data for Imbalanced Learning
类不平衡是监督学习中的一个常见问题，它影响了分类模型的预测性能。流行的对策包括对少数族裔进行过度抽样。像SMOTE这样的标准方法依赖于寻找最近邻和线性插值，这在高维复杂数据分布的情况下是有问题的。生成对抗网络（GANs）已被提出作为生成人工少数样本的替代方法，因为它们可以对复杂分布进行建模。然而，先前对基于GAN的过采样的研究并没有结合文献中关于使用GANs生成现实表格数据的最新进展。以前的研究也集中在数值变量，而分类功能是常见的许多商业应用的分类方法，如信用评分。该文提出了一种基于条件Wasserstein GAN的过采样方法，该方法能够有效地对包含数值和分类变量的表格数据集进行建模，并通过辅助分类器损失来关注下游分类任务。我们对我们的方法进行基准测试，对标准的过采样方法和七个真实世界的数据集上的不平衡基线。实证结果证明了基于GAN的过采样的竞争力。
2020-08-20 cs.LG
Improving Model Accuracy for Imbalanced Image Classification Tasks by Adding a Final Batch Normalization Layer: An Empirical Study
Leiden University（莱顿大学）；Tel-Hai College（泰勒海学院）；Migal Institute（米加尔研究所）
一些现实世界的领域，如农业和医疗保健，包括早期疾病的迹象，其记录构成一个罕见的事件，但在该阶段的精确检测是至关重要的。在这种包含复杂特征的高度不平衡分类问题中，由于其强大的检测能力，深度学习（DL）非常需要。与此同时，DL在实践中被观察到有利于多数而不是少数类别，因此遭受目标早期指示的不准确检测。为了模拟这样的场景，我们人为地从PlantVillage数据集中生成某些植物类型的偏度（99%对1%），作为通过迁移学习对稀缺视觉线索进行分类的基础。通过从某些植物类型中随机和不均匀地挑选健康和不健康的样本来形成训练集，我们将基础实验视为微调ResNet 34和VGG 19架构，然后在健康和不健康图像的平衡数据集上测试模型性能。我们根据经验观察到，在VGG 19中的输出层之前添加最终批量归一化（BN）层后，少数类的初始F1测试分数从0.29跳到0.95。我们证明了在现代CNN架构中的输出层之前利用额外的BN层在最大限度地减少训练时间和高度不平衡数据集中少数类的测试误差方面具有相当大的影响。此外，当采用最终BN时，使损失函数最小化可能不是确保少数类在此类问题中获得高F1测试分数的最佳方式。也就是说，即使在进行预测时没有足够的信心，网络也可能表现得更好;这导致了另一个关于为什么softmax输出不是DL模型的良好不确定性度量的讨论。
2020-11-12 cs.CV cs.LG
Class-Imbalanced Complementary-Label Learning via Weighted Loss
School of Computer Science & Technology, China University of Mining and Technology（中国矿业大学计算机科学与技术学院）
针对互补标签学习中的类别不平衡问题，提出加权互补标签学习（WCLL）方法，通过建模加权经验风险最小化损失并推导估计误差界，在多类不平衡场景下显著提升了分类准确率。
2023-06-17 cs.LG
AutoBalance: Optimized Loss Functions for Imbalanced Data
University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
不平衡数据集在现代机器学习问题中很常见。具有敏感属性的代表性不足的类或组的存在导致对泛化和公平性的关注。大容量深度网络可以完美地拟合训练数据，并且在训练期间似乎实现了完美的准确性和公平性，但在测试期间表现不佳，这一事实进一步加剧了这种担忧。为了应对这些挑战，我们提出了AutoBalance，这是一个双层优化框架，可以自动设计训练损失函数，以优化准确性和公平性目标的混合。具体而言，较低级别的问题训练模型权重，而较高级别的问题通过在验证数据上监视和优化所需目标来调整损失函数。我们的损失设计，使类/组的个性化治疗，采用参数交叉熵损失和个性化的数据增强计划。我们评估我们的方法的应用场景的不平衡和组敏感的分类的好处和性能。广泛的实证评估证明了AutoBalance优于最先进方法的优势。我们的实验结果补充了理论上的见解损失函数设计和训练验证分裂的好处。所有代码都是开源的。
2022-01-04 cs.LG
Domain-Aware Contrastive Knowledge Transfer for Multi-domain Imbalanced Data
UIC（伊利诺伊大学芝加哥分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
在许多现实世界的机器学习应用中，样本属于一组域，对于产品评论，每个评论属于一个产品类别。本文研究了多领域不平衡学习问题，即类与领域之间存在不平衡的情况。在MIL环境中，不同的领域表现出不同的模式，并且在领域之间存在不同程度的相似性和差异，这为迁移学习带来了机遇和挑战，特别是当面临有限或不足的训练数据时。提出了一种新的领域感知的对比知识转移方法DCMI（Domain-aware Contrast Knowledge Transfer），该方法（1）识别共享领域知识，以鼓励相似领域之间的正转移（特别是从头域到尾域）;（2）隔离特定领域知识，以最小化来自不相似领域的负转移。我们在三个不同的数据集上评估了DCMI的性能，在不同的MIL场景中显示出显着的改进。
2022-04-05 cs.AI cs.LG cs.NE
An Empirical Study of Machine Learning Robustness and Scalability for Imbalanced Tabular Clinical Data in Emergency and Critical Care
Computer Vision Group, Institute of Cognitive Science, Osnabrück University（计算机视觉组，认知科学研究所，奥斯纳布吕克大学）；Department of Mathematics, Rhodes University（数学系，罗德斯大学）；National Institute for Theoretical and Computational Sciences (NITheCS)（国家理论与计算科学研究所（NITheCS））
本研究在MIMIC-IV-ED和eICU数据集上评估六类模型在不平衡临床表格数据上的性能，发现树模型在可扩展性上最优，而表格基础模型在性能与效率间提供新的权衡。
2026-05-25 cs.CV cs.LG
Metric Learning from Imbalanced Data
Laboratoire Hubert Curien UMR 5516（于贝尔·居里安实验室 UMR 5516）；Univ Lyon（里昂大学）；UJM（让·莫内大学）
任何机器学习算法的一个关键元素是使用一个函数来测量数据点之间的差异/相似性。给定一个任务，这样的函数可以用度量学习算法来优化。虽然这一研究领域在过去十年中受到了很多关注，但很少有方法专注于在不平衡的情况下学习度量，其中正面示例的数量远远小于负面示例。在这里，我们通过设计一个新的马氏度量学习算法（IML）来解决这个具有挑战性的任务，它处理类不平衡。实证研究表明了IML的有效性。
2019-09-04 cs.LG stat.ML
Credit risk prediction in an imbalanced social lending environment
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
信用风险预测是评估潜在借款人是否会偿还贷款的有效方法，特别是在普遍存在阶级不平衡问题的点对点贷款中。然而，很少有社会贷款的信用风险预测模型考虑不平衡的数据，而且，使用不平衡数据的最佳恢复技术仍然存在争议。在试图解决这些问题，本文提出了一种新的风险评估方法，结合不平衡的数据的分类器和rescue技术的各种组合的实证比较。每个组合的信用预测进行了评估与G均值测量，以避免偏向多数类，这在类似的研究中没有考虑。结果表明，结合随机森林和随机欠采样可能是一个有效的策略，计算与贷款申请人在社会贷款市场的信用风险。
2018-04-28 cs.LG stat.ML
Learning Confidence Bounds for Classification with Imbalanced Data
University of Bristol, United Kingdom（英国布里斯托尔大学）；Fever Labs, United States（美国Fever实验室）
针对类别不平衡导致分类模型有偏、传统采样方法存在局限的问题，提出一种嵌入类别依赖置信界、基于学习理论与集中不等式的框架，可适配不同不平衡程度，提升分类鲁棒性与可靠性。
2025-10-21 cs.LG
On multi-class learning through the minimization of the confusion matrix norm
CNRS（法国国家科学研究中心）
在不平衡的多类分类问题中，误分类率作为一个错误的措施可能不是一个相关的选择。已经开发了几种方法，其中的性能指标保留更丰富的信息比单纯的误分类率：误分类成本，基于ROC的信息，等等。按照这种想法处理替代措施的性能，我们建议使用一个新的措施来解决不平衡的分类问题进行优化：规范的混淆矩阵。事实上，最近的结果表明，使用混淆矩阵的范数作为错误度量可能是非常有趣的，因为矩阵中包含的细粒度信息，特别是在不平衡类的情况下。然后，我们的第一个贡献在于表明，基于混淆矩阵的优化标准产生了一个共同的背景成本敏感的方法，旨在处理不平衡类学习问题。作为我们的第二个贡献，我们提出了一个扩展的最近的多类提升方法-即AdaBoost.MM -不平衡类问题，通过greetly最小化混淆矩阵的经验范数。所提出的方法的属性的理论分析，而实验结果说明了该算法的行为，并显示与其他方法相比，该方法的相关性。
2013-11-03 cs.LG
On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data
University of British Columbia（不列颠哥伦比亚大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
各种logit调整参数化的交叉熵（CE）损失已被提出作为替代加权CE的标签不平衡数据远远超过零训练误差制度的训练大型模型。这些设计背后的驱动力是隐式偏差理论，对于线性（化）模型，它解释了为什么它们成功地在优化路径上诱导偏向少数群体的解决方案。为了将这一理论扩展到非线性模型，我们研究了通过不同CE参数化学习的分类器和嵌入的隐式几何。我们的主要结果描述了无约束特征模型的非凸成本敏感SVM分类器的全局最小值，该模型作为深度网络的抽象。我们推导出了分类器和嵌入的角度和范数作为类数、不平衡和少数比率以及损失超参数的函数的封闭形式公式。使用这些，我们表明，logit调整参数化可以适当调整，学习对称的几何形状，而不管不平衡比。我们通过实验和深度网络收敛精度的实证研究来补充我们的分析。
2023-03-14 cs.LG
Optimizing Cost-Sensitive SVM for Imbalanced Data :Connecting Cluster to Classification
China University of Mining Technology（中国矿业大学）
类别不平衡是机器学习在许多实际应用中面临的挑战性问题之一，如煤与瓦斯突出事故监测：突出前兆数据比正常数据小得多，而这正是我们真正关注的重点，代价敏感调整方法是一种典型的算法级抗数据集不平衡的方法。对于支持向量机分类器，它被修改为包含不同的惩罚参数（C）的每个考虑的组的例子。然而，C值是凭经验确定的，或者是根据评估度量计算的，这需要迭代计算并且耗时。本文提出了一种新的代价敏感的支持向量机方法，其惩罚参数C在聚类概率密度函数（PDF）的基础上进行优化，而聚类PDF仅根据相似性矩阵和一些预定义的超参数进行估计。在不同标准基准数据集和不同不平衡率的真实数据集上的实验结果表明，与常用的代价敏感技术相比，该方法是有效的。
2017-02-06 cs.LG
Interventional Imbalanced Multi-Modal Representation Learning via $β$-Generalization Front-Door Criterion
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Thrust of Artificial Intelligence, the Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）人工智能学域）；the Hong Kong University of Science and Technology（香港科技大学）
针对不同模态对任务预测的贡献不平衡导致多模态方法判别性能下降的问题，从因果视角提出基于$β$-泛化前门准则的干预式不平衡多模态表示学习方法，解决基准方法理论可解释性不足等缺陷，提升判别性能。
2025-04-17 cs.LG stat.ME
An Empirical Evaluation of the t-SNE Algorithm for Data Visualization in Structural Engineering
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
机器学习中的一个基本任务涉及可视化在高影响力应用领域中出现的高维数据集。当考虑到大量不平衡数据的背景时，这个问题变得更具挑战性。在本文中，t-分布随机邻居嵌入（t-SNE）算法被用来减少地震工程相关的数据集的可视化目的的维数。由于不平衡的数据集极大地影响了分类器的准确性，我们采用合成少数过采样技术（SMOTE）来解决这种数据集的不平衡性质。我们提出了从t-SNE和SMOTE得到的结果，并比较它的基本方法与各个方面。考虑到四个选项和六个分类算法，我们表明，使用t-SNE的不平衡数据和SMOTE的训练数据集，神经网络分类器有前途的结果，而不牺牲准确性。因此，我们可以将研究的科学数据转换为二维（2D）空间，从而使用2D图实现分类器和所得决策表面的可视化。
2021-09-18 cs.CE cs.HC cs.LG
GraphSHA: Synthesizing Harder Samples for Class-Imbalanced Node Classification
Sun Yat-sen University（中山大学）；HKUST (GZ)（香港科技大学（广州））；HKUST（香港科技大学）
针对图神经网络在类别不平衡节点分类中少数类表征不足的问题，提出GraphSHA框架合成更难少数类样本扩大决策边界，搭配SemiMixup模块避免侵犯邻类子空间，在7个基准数据集上优于多种基线方法。
2023-06-16 cs.LG
Differential Privacy Under Class Imbalance: Methods and Empirical Insights
New York University（纽约大学）；Columbia University（哥伦比亚大学）
本研究针对类别不平衡下的差分隐私问题，提出多种预处理与处理中方法的DP变体，实证表明私有合成数据预处理有效，高维下类别加权ERM为替代方案。
2024-11-08 cs.CR cs.LG
BuffGraph: Enhancing Class-Imbalanced Node Classification via Buffer Nodes
National University of Singapore（新加坡国立大学）
BuffGraph通过在图结构中插入缓冲节点来调节多数类影响，从而缓解类别不平衡节点分类中的偏差问题，并在多个数据集上取得优于现有方法的性能。
2024-02-20 cs.AI cs.LG
Rethinking the Value of Labels for Improving Class-Imbalanced Learning
Massachusetts Institute of Technology（麻省理工学院）；EECS（电气工程与计算机科学系（麻省理工学院））
现实世界的数据往往呈现出具有严重类别不平衡的长尾分布，这对深度识别模型提出了巨大的挑战。我们确定了一个持续的困境标签的价值在不平衡学习的背景下：一方面，监督标签通常会导致更好的结果比其无监督的同行;另一方面，严重不平衡的数据自然会引起“标签偏见”的分类，其中决策边界可以大大改变多数类。在这项工作中，我们系统地研究这两个方面的标签。我们从理论和经验上证明，类不平衡学习可以在半监督和自我监督的方式中显着受益。具体来说，我们确认（1）积极的，不平衡的标签是有价值的：给定更多的未标记数据，原始标签可以与额外的数据一起利用，以半监督的方式减少标签偏差，这大大提高了最终的分类器;（2）然而，消极的，我们认为不平衡的标签并不总是有用的：首先以自监督方式预训练的分类器始终优于其相应的基线。在大规模不平衡数据集上进行的大量实验验证了我们的理论基础策略，显示出比以前的最先进技术更优越的性能。我们有趣的发现强调了重新思考现实长尾任务中不平衡标签的使用的必要性。代码可在https://github.com/YyzHarry/imbalanced-semi-self上获得。
2020-09-26 cs.CV cs.LG stat.ML
Distributed Dual Coordinate Ascent with Imbalanced Data on a General Tree Network
California State University, Northridge（加州州立大学北岭分校）；Penn State Behrend（宾夕法尼亚州立大学贝伦德分校）；University of California, Davis（加州大学戴维斯分校）；University of Iowa（爱荷华大学）
本文提出延迟广义分布式双坐标上升法，以解决树形网络中不平衡数据导致的收敛问题，并通过数值实验验证其有效性。
2023-08-28 cs.DC cs.IT cs.LG
Oversampling for Imbalanced Learning Based on K-Means and SMOTE
NOVA Information Management School, Universidade Nova de Lisboa（新里斯本大学新里斯本信息管理学院）
在监督学习中，从类不平衡数据中学习仍然是一个常见且具有挑战性的问题，因为标准分类算法被设计为处理平衡类分布。虽然存在不同的策略来解决这个问题，但生成人工数据以实现均衡的类分布的方法比修改分类算法更通用。这种技术，称为过采样器，修改训练数据，允许任何分类器用于类不平衡的数据集。已经提出了许多算法来完成这项任务，但大多数算法都很复杂，并且往往会产生不必要的噪声。本文提出了一种基于k-means聚类和SMOTE过采样的简单有效的过采样方法，避免了噪声的产生，有效地克服了类间和类内的不平衡。对71个数据集的实验结果表明，该方法对训练数据进行过采样后，分类效果得到了改善。此外，k-means SMOTE始终优于其他流行的过采样方法。在python程序设计语言中提供了一个实现。
2017-12-12 cs.LG stat.ML
GENIU: A Restricted Data Access Unlearning for Imbalanced Data
University of Queensland（昆士兰大学）；University of Adelaide（阿德莱德大学）
针对受限数据访问且原始数据不平衡时的类别遗忘难题，本文提出GENIU框架，利用VAE同步生成各类代理样本并结合批内调优，在无需原始训练数据的情况下有效遗忘多数类且保持模型性能。
2024-06-12 cs.LG
Sharp error bounds for imbalanced classification: how many examples in the minority class?
Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院）；Ensai（法国国立统计与信息分析学院）；Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）
针对稀有类概率趋于零的不平衡分类，本文给出约束平衡经验风险最小化的非渐近快速率界及平衡最近邻估计的一致上界。
2024-04-16 cs.LG stat.ML
Imbalanced Semi-Supervised Learning via Label Refinement and Threshold Adjustment
College of Biomedical Engineering, Fudan University, Shanghai, China（复旦大学生物医学工程学院，上海，中国）；FMRIB Centre, Oxford Centre for Integrative Neuroimaging (OxCIN), University of Oxford, Oxford, UK（牛津大学FMRIB研究中心，牛津大学整合神经影像中心（OxCIN），牛津，英国）；School of Computer Science, University of Sheffield, Sheffield, UK（谢菲尔德大学计算机科学学院，谢菲尔德，英国）；Department of Engineering Science, University of Oxford, Oxford, UK（牛津大学工程科学系，牛津，英国）
针对半监督学习在类别不平衡数据上性能下降的问题，提出SEVAL框架，通过从类别平衡的子集学习标签精炼和阈值调整参数，联合优化生成更准确的伪标签，在多种不平衡场景下超越现有方法。
2026-06-16 cs.LG
Beyond the Markovian Assumption: Robust Optimization via Fractional Weyl Integrals in Imbalanced Data
本文提出基于分数微积分的优化算法，通过分数韦伊积分增强鲁棒性，在不平衡数据中提升模型性能。
2026-03-09 cs.LG stat.ML
Using GAN-based models to sentimental analysis on imbalanced datasets in education domain
Norwegian University of Science and Technology（挪威科技大学）
当整个世界仍在与COVID-19大流行作斗争时，在线学习和家庭办公变得更加普遍。许多学校将课程教学转移到网上课堂。因此，了解学生对学业评价的反馈和意见，让学校和教师都知道自己需要改进的地方，是非常重要的。本文使用平衡和不平衡数据集训练机器学习和深度学习模型进行情感分类。两个SOTA类别感知文本生成GAN模型：CatGAN和SentiGAN，用于合成用于平衡高度不平衡数据集的文本。在三个不同领域的不同不平衡度的数据集上的实验结果表明，使用生成的文本来平衡数据集时，机器学习和深度学习模型在情感分类上的F1得分提高了2.79% ~ 9.28%.此外，结果表明，在实验中，CR 100 k的平均增长度高于CR23 k，深度学习的平均增长度比机器学习算法增加得更多，并且更复杂的深度学习模型的平均增长度比更简单的深度学习模型增加得更多。
2021-08-26 cs.CL cs.LG
Oversampling Adversarial Network for Class-Imbalanced Fault Diagnosis
Shanghai Jiao Tong University（上海交通大学）
从工业机器收集的数据通常是不平衡的，这对学习算法造成了负面影响。然而，对于混合类型的数据或当类之间存在重叠时，这个问题变得更具挑战性。类不平衡问题需要一个鲁棒的学习系统，能够及时预测和分类数据。我们提出了一个新的对抗网络，同时分类和故障检测。特别是，我们通过从建议的混合数据分布中生成错误样本来恢复不平衡数据集中的平衡。我们设计了我们的模型来处理生成的错误样本，以防止离群值和过拟合。我们的经验表明，（i）使用生成器训练的故障检测器从正常和故障数据分布的混合中生成样本，其可以被认为是故障检测器;（ii）所生成的故障样本的质量优于其他合成恢复技术。实验结果表明，该模型与其他故障诊断方法相比，在多个评价指标上表现良好;特别是，生成对抗网络（GAN）和特征匹配函数的结合在识别故障样本方面是有效的。
2020-08-07 cs.CV cs.LG
Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model
FPT Software AI Center（FPT软件人工智能中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；National University of Singapore（新加坡国立大学）
本文将神经坍缩理论推广到类别不平衡的交叉熵学习场景，证明类内特征仍会坍缩，但类别均值收敛为不同长度正交向量，且分类器权重按各类样本数缩放对齐，从而推广了类别平衡下的神经坍缩结论。
2024-06-06 cs.LG stat.ML
On dynamic ensemble selection and data preprocessing for multi-class imbalance learning
Ecole de Technologie Supérieure（高等工程技术学院）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
类不平衡是指分类问题，其中某些类比其他类有更多的实例可用。这种不平衡的数据集需要特别注意，因为传统的分类器通常倾向于具有大量实例的多数类。据报道，分类器的包围产生了有希望的结果。然而，大多数集成方法应用过于不平衡的学习是静态的。此外，它们只处理二元不平衡问题。因此，本文提出了一个实证分析的动态选择技术和数据预处理方法来处理多类不平衡问题。我们考虑了五种预处理方法和四种动态选择方法。我们对26个多类不平衡问题进行的实验表明，动态集成相比静态集成提高了F-测度和G-均值。此外，数据预处理在这种情况下起着重要的作用。
2018-07-25 cs.LG stat.ML
Generalized Oversampling for Learning from Imbalanced datasets and Associated Theory
Univ. Lyon（里昂大学）；UCBL（里昂第一大学）；ISFA（里昂保险精算学院）；Aix-Marseille Univ.（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；I2M（马赛数学研究所）；UQAM - Montréal（蒙特利尔魁北克大学）
本文提出基于核密度估计的 GOLIATH 过采样算法，统一了扰动类和插值类合成过采样方法，并结合 wild-bootstrap 重采样用于不平衡回归，实验表明其性能显著优于现有方法。
2023-08-05 cs.LG stat.ML
Stop Oversampling for Class Imbalance Learning: A Critical Review
Mutah University（穆塔大学）；Eötvös Loránd University（厄特沃什·罗兰大学）；King Abdulaziz City for Science and Technology（阿卜杜勒阿齐兹国王科技城）
在过去的二十年里，过采样被用来克服从不平衡数据集学习的挑战。文献中已经提供了许多解决这一挑战的方法。另一方面，过度采样是一个问题。也就是说，在虚拟数据上训练的模型在遇到现实问题时可能会失败。过采样方法的根本困难在于，给定真实的人口，合成的样本可能并不真正属于少数群体。因此，在这些样本上训练分类器，同时假装它们代表少数群体，可能会导致模型在现实世界中使用时的错误预测。本文分析了大量的过采样方法，设计了一种新的过采样评价系统，该系统基于隐藏大量的多数样本，并将其与过采样过程产生的样本进行比较。基于我们的评估系统，我们根据它们错误生成的示例对所有这些方法进行排名以进行比较。我们使用70多种过采样方法和三个不平衡的真实世界数据集进行的实验表明，所有研究过的过采样方法都生成了最有可能成为多数的少数样本。鉴于现有的数据和方法，我们认为，过采样在其目前的形式和方法是不可靠的学习类不平衡的数据，并应避免在现实世界中的应用。
2022-06-08 cs.AI cs.LG
Kernel-Free Universum Quadratic Surface Twin Support Vector Machines for Imbalanced Data
Jan Evangelista Purkyně University（詹·埃瓦尔德·普日科夫大学）；Charles University（查尔斯大学）；American University（美国阿美利克大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Northeastern University（东北大学）
针对不平衡二分类问题，提出利用Universum点支持少数类的无核二次曲面孪生支持向量机，通过二次曲面提升决策边界灵活性，在人工与基准数据集上验证了更优的准确率与泛化性能。
2025-10-08 cs.AI cs.LG math.OC
Concentration and excess risk bounds for imbalanced classification with synthetic oversampling
Univ Rennes, Ensai, CNRS, CREST—UMR 9194（里昂大学、ENSAI、CNRS、CREST—UMR 9194）；Univ Angers, CNRS, LAREMA, SFR MATHSTIC（昂热大学、CNRS、LAREMA、SFR MATHSTIC）
本文为SMOTE合成过采样方法建立理论框架，推导经验风险与总体风险的一致集中界及核分类器的非参数超额风险保证，为参数调优提供指导并经数值实验验证。
2025-10-23 cs.LG stat.ML
Tackling Multilabel Imbalance through Label Decoupling and Data Resampling Hybridization
University of Granada（格拉纳达大学）；University of Jaén（哈恩大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
从不平衡数据中学习是标准分类中的一个深入研究的问题，近年来，在多标签分类中也是如此。近年来提出了一些多标签重定位方法，旨在平衡标签分布。然而，这些方法必须面对一个新的障碍，具体的多标签数据，是少数和多数标签在相同的数据模式的联合外观。我们最近提出了一个新的算法，旨在解耦不平衡标签并发在同一个实例中，称为REMEDIAL（\textit{REsampling MultilabEl datasets by Decoupling highly ImbAlanced Labels}）。这项工作的目标是提出一种程序，将该方法与文献中可用的一些最佳重采样算法混合，包括随机过采样、启发式欠采样和合成样本生成技术。然后对这些混合方法进行经验分析，确定它们的行为如何受到标签解耦过程的影响。因此，可以从所进行的实验中得出一套关于综合使用这些技术的值得注意的准则。
2018-02-14 cs.LG
Machine learning for fraud detection in digital banking: a systematic literature review REVIEW
Daffodil International University（达福迪尔国际大学）
该综述基于118项研究，系统梳理了机器学习在数字银行欺诈检测中的应用，发现监督学习仍为主流，深度学习和混合模型在应对新欺诈模式上展现出更高适应性与准确性。
2025-10-04 cs.LG
SLIM: a Scalable Light-weight Root Cause Analysis for Imbalanced Data in Microservice
DAMO Academy, Alibaba Group（达摩院（阿里巴巴集团））
本文提出SLIM方法，利用决策规则集和次模最大化优化F1分数，解决微服务变更服务中不平衡故障定位问题，在准确率与可解释性上优于现有方法且训练开销低。
2024-05-31 cs.AI cs.LG cs.SE
Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data
Indian Institute of Science（印度科学学院）
真实世界的数据集表现出不同类型和程度的不平衡。基于重新加权和损失的边际调整的几种技术经常被用来提高神经网络的性能，特别是在少数类上。在这项工作中，我们分析类不平衡的学习问题，通过检查损失景观的神经网络训练与重新加权和基于边缘的技术。具体来说，我们研究了类间损失的Hessian谱密度，通过该谱密度，我们观察到网络权重收敛到少数类损失景观中的鞍点。根据这一观察，我们还发现，设计用于逃离鞍点的优化方法可以有效地用于提高少数类的泛化能力。我们进一步从理论上和经验上证明，夏普意识最小化（SAM），最近的技术，鼓励收敛到一个平坦的最小值，可以有效地用于逃避鞍点少数类。使用SAM导致少数类的准确性比最先进的矢量缩放损失增加6.2%，导致不平衡数据集的总体平均增加4%。该代码可从以下网址获得：https://github.com/val-iisc/Saddle-LongTail。
2022-12-28 cs.CV cs.LG
