A Novel Hybrid Sampling Framework for Imbalanced Learning
Islamic University of Technology（伊斯兰技术大学）；Robi Axiata Limited（Robi Axiata有限公司）
类别不平衡是分类任务中经常出现的情况。从不平衡的数据中学习是一个重大挑战，这引发了这一领域的大量研究。使用抽样技术的数据预处理是处理数据中存在的不平衡的标准方法。由于标准分类算法在不平衡的数据上表现不佳，因此数据集在训练之前需要充分平衡。这可以通过对少数类进行过采样或对多数类进行欠采样来实现。在这项研究中，提出了一种新的混合采样算法。为了克服抽样技术的局限性，同时确保保留的抽样数据集的质量，已经开发了一个复杂的框架，以适当地结合三种不同的抽样技术。首先应用邻域清理规则来减少不平衡。然后将随机欠采样策略性地与SMOTE算法相结合，以获得数据集中的最佳平衡。这种建议的混合方法，称为“SMOTE-RUS-NC”，已与其他国家的最先进的采样技术进行了比较。该策略被进一步纳入集成学习框架，以获得一个更强大的分类算法，称为“SRN-BRF”。在26个不平衡数据集上进行了严格的实验，这些数据集具有不同程度的不平衡。在几乎所有的数据集，提出的两种算法优于现有的采样策略，在许多情况下，由一个相当大的利润。特别是在高度不平衡的数据集，流行的采样技术完全失败，他们取得了无与伦比的性能。优越的结果表明，所提出的模型的有效性和它们的潜力，在不平衡域的强大的采样算法。
2022-08-20 cs.AI cs.LG
Pseudo Labels Regularization for Imbalanced Partial-Label Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
部分标签学习（PLL）是弱监督学习的一个重要分支，其特征在于单一的基本事实存在于一组候选标签中，而研究中很少考虑标签不平衡的问题。最近的一项关于不平衡部分标签学习的研究提出，部分标签学习和长尾学习的组合挑战在于体面的边缘先验分布与绘制伪标签之间的匹配。然而，我们认为，即使伪标签与先验分布匹配，尾类仍然很难学习，因为总权重太小。因此，我们提出了一种专门为PLL设计的伪标签正则化技术。通过惩罚头类的伪标签，与以前的PLL方法相比，我们的方法在标准化基准下实现了最先进的技术。
2023-03-06 cs.LG
Synthetic Oversampling of Multi-Label Data based on Local Label Distribution
School of Informatics Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学信息学院）
类别不平衡是多标签数据的一个固有特性，它影响了大多数多标签学习方法的预测精度。处理这个问题的一个有效策略是在训练分类器之前采用重定位技术。现有的多标签采样方法缓解了多标签数据集的（全局）不平衡。然而，性能下降主要是由于罕见的子概念和类的重叠，可以通过查看少数示例的局部特征来分析，而不是整个数据集的不平衡。我们提出了一种新的方法，多标签数据的合成过采样，专注于本地标签分布，以产生更多样化和更好的标记实例。在13个多标签数据集上的实验结果证明了所提出的方法在各种评估措施中的有效性，特别是在原始数据的重复样本上训练的分类器集合的情况下。
2019-06-20 cs.LG stat.ML
Sampling Based Approaches to Handle Imbalances in Network Traffic Dataset for Machine Learning Techniques
Panjab University（旁遮普大学）
网络流量数据是巨大的，变化和不平衡的，因为各种类别不是均匀分布的。用于流量分析的机器学习（ML）算法使用来自该数据的样本来推荐网络管理员要采取的动作以及训练。由于数据集的不平衡，很难训练用于流量分析的机器学习算法，并且这些算法可能给出有偏差或错误的结果，导致这些算法的性能严重下降。在采样期间可以应用各种技术来最小化不平衡实例的影响。在本文中，各种采样技术进行了分析，以比较减少这些算法采样的网络流量数据集的不平衡的变化。各种参数，如样本中的缺失类，不同实例的采样概率已被考虑用于比较。
2013-11-12 cs.CR cs.LG cs.NI
VOS: a Method for Variational Oversampling of Imbalanced Data
类不平衡数据集在现实世界的应用中很常见，从信用卡欺诈检测到罕见疾病诊断。几种流行的分类算法假设类是近似平衡的，因此建立了相应的目标函数，以最大限度地提高整体准确率。在这些情况下，优化整体准确性将导致对大多数类的高度倾斜预测。此外，由误报（阳性样本被错误地分类为阴性）导致的负面业务影响可能是有害的。已经提出了许多方法来解决类不平衡问题，包括过采样方法、欠采样方法和成本敏感方法。在本文中，我们考虑过采样方法，其目的是增加原始数据集与综合创建的少数类的意见。特别是，受生成建模技术（例如，变分推断和生成对抗网络），我们介绍了一种新的基于变分自编码器的过采样技术。我们的实验表明，与传统的过采样方法相比，新方法在增强下游分类任务的数据集方面更优越。
2018-09-07 cs.LG stat.ML
Incomplete Multi-View Weak-Label Learning with Noisy Features and Imbalanced Labels
ShanghaiTech University（上海科技大学）；Hokkaido University（北海道大学）
针对不完整多视图弱标签学习中噪声特征与不平衡标签问题，提出联合嵌入与自适应加权HSIC降冗余、检测噪声视图，并用焦点损失缓解不平衡，实验验证有效。
2023-08-29 cs.LG
Iterative Nearest Neighborhood Oversampling in Semisupervised Learning from Imbalanced Data
Dalian University of Technology（大连理工大学）
基于Transductive图的半监督学习方法通常利用标记和未标记样本作为顶点来构建无向图。这些方法将标记样本的标签信息通过相邻样本的边缘传播到相邻样本，从而得到未标记样本的预测标签。大多数流行的半监督学习方法对不平衡标记数据集的初始标记分布敏感。在不平衡的分类中，大多数类将严重倾斜类边界。在本文中，我们提出了一种简单而有效的方法来减轻不平衡问题的不利影响，通过迭代选择一些未标记的样本，并将它们添加到少数类，形成一个平衡的标记数据集的学习方法之后。在UCI数据集和MNIST手写数字数据集上的实验表明，该方法的性能优于现有的其他方法。
2013-12-24 cs.LG
Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究院）
当训练数据集存在严重的类不平衡时，深度学习算法可能会表现不佳，但测试标准需要对不太频繁的类进行良好的泛化。我们设计了两种新的方法来提高在这种情况下的性能。首先，我们提出了一个理论上的原则标签分布感知利润（LDAM）损失的动机，最大限度地减少基于利润的推广界。这种损失在训练过程中取代了标准的交叉熵目标，并且可以应用于具有类别不平衡的训练的先前策略，例如重新加权或重新采样。其次，我们提出了一个简单而有效的训练计划，将重新加权推迟到初始阶段之后，允许模型学习初始表示，同时避免与重新加权或重新采样相关的一些复杂性。我们在多个基准视觉任务上测试了我们的方法，包括现实世界的不平衡数据集iNaturalist 2018。我们的实验表明，这些方法中的任何一种单独使用都可以比现有技术有所改进，并且它们的组合可以实现更好的性能提升。
2019-10-27 cs.CV cs.LG stat.ML
Network Embedding with Completely-imbalanced Labels
Department of Computer Science and Technology, University of Science and Technology Beijing（计算机科学与技术系，北京科技大学）；School of Software, Tsinghua University（软件学院，清华大学）；Department of Computer Science, University of Illinois at Chicago（计算机科学系，伊利诺伊大学香槟分校）
针对完全不平衡标签下网络嵌入性能不佳的问题，提出RSDNE和RECT两种半监督方法，分别通过近似类内相似性与类间不相似性及类语义知识提升性能，实验验证其优越性。
2025-08-04 cs.LG cs.SI stat.ML
Combined Cleaning and Resampling Algorithm for Multi-Class Imbalanced Data with Label Noise
AGH University of Science and Technology（AGH科技大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）
不平衡数据分类是现代数据分析面临的重要任务之一。特别是当与其他困难因素相结合时，例如噪声的存在，重叠的类分布和小的析取，数据不平衡会显着影响分类性能。此外，已知一些数据难度因素会影响现有过采样策略的性能，特别是SMOTE及其衍生物。这种影响在多类环境中尤其明显，其中类之间的相互不平衡关系甚至进一步复杂化。尽管如此，大多数当代的研究领域的数据不平衡集中在二进制分类问题，而他们更困难的多类对应的是相对较少的探索。在本文中，我们提出了一种新的过采样技术，多类组合清洗和恢复（MC-CCR）算法。所提出的方法利用基于能量的方法来建模适合过采样的区域，比SMOTE受小的析取和离群值的影响更小。它结合了它与一个同时清理操作，其目的是减少重叠的类分布的性能上的学习算法的影响。最后，通过引入一个专门的策略来处理多类问题，MC-CCR比传统的多类分解策略更少地受到类间关系信息丢失的影响。基于多类不平衡基准数据集的实验研究结果表明，该方法对噪声具有很强的鲁棒性，与现有方法相比，具有较高的分类质量.
2020-04-07 cs.LG stat.ML
Imbalanced-learn: A Python Toolbox to Tackle the Curse of Imbalanced Datasets in Machine Learning
LE2I UMR6306, CNRS, Arts et Métiers, Univ. Bourgogne Franche-Comté（LE2I UMR6306，CNRS，Arts et Métiers，勃艮第-弗朗什-孔泰大学）；ViCOROB, Universitat de Girona（ViCOROB，赫罗纳大学）；ShoppeAI；University of Patras（帕特雷大学）
Imbalanced-learn是一个开源的python工具箱，旨在提供广泛的方法来处理机器学习和模式识别中经常遇到的数据集不平衡问题。实现的最先进的方法可以分为4组：（i）欠采样，（ii）过采样，（iii）过采样和欠采样的组合，以及（iv）集成学习方法。该工具箱仅依赖于numpy、scipy和scikit-learn，并在MIT许可下分发。此外，它与scikit-learn完全兼容，并且是scikit-learn-contrib支持项目的一部分。提供文档、单元测试以及集成测试以简化使用和贡献。该工具箱在GitHub上公开提供：https://github.com/scikit-learn-contrib/imbalanced-learn。
2016-09-21 cs.LG
Conductor Galloping Prediction on Imbalanced Datasets: SVM with Smart Sampling
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences（交叉信息研究院）
导线舞动是架空电力线路在风的作用下产生的高幅、低频振荡。这种移动可能导致输电线路的严重损坏，并因此对电力系统运行构成重大风险。在本文中，我们的目标是设计一个预测框架导线舞动。困难来自不平衡的数据集，因为驰骋很少发生。通过研究数据平衡和数据量对预测性能的影响，我们建议采用适当的样本调整方法来实现更好的性能。数值研究表明，仅使用三个特征，以及过采样，基于SVM的预测框架实现了98.9%的F_1得分。
2019-11-09 cs.LG cs.SY eess.SP
Imbalanced Continual Learning with Partitioning Reservoir Sampling
Neural Processing Research Center, Seoul National University（首尔大学神经处理研究中心）
从连续的数据流中进行持续学习是机器学习研究的一个关键挑战。大多数研究都是在单标签分类设置下进行的，并假设标签分布均衡。这项工作扩展了多标签分类的研究视野。在这样做的过程中，我们发现了许多多标签数据集中固有的意料之外的逆境，即长尾分布。我们共同解决这两个独立解决的问题，灾难性的遗忘和长尾标签分布，首先经验性地显示了一个新的挑战，破坏性遗忘的少数概念的尾巴。然后，我们策划了两个基准数据集，COCOseq和NUS-WIDEseq，允许研究任务内和任务间的不平衡。最后，我们提出了一种新的采样策略，称为分区水库采样（PRS），它允许模型保持平衡的头和尾类的知识。我们在项目页面中公开发布数据集和代码。
2020-09-08 cs.AI cs.CV cs.LG
Addressing Imbalance in Multi-Label Data via Label-Specific Distance-based Oversampling
Key Laboratory of Data Engineering and Visual Computing, Chongqing University of Posts and Telecommunications, China（数据工程与视觉计算重点实验室，重庆邮电大学，中国）；School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, China（计算机科学与技术学院，重庆邮电大学，中国）；State Key Laboratory of Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；School of Informatics, Aristotle University of Thessaloniki, Greece（信息学院，希腊阿尔蒂米斯大学）
针对多标签分类中的标签不平衡问题，提出基于标签特定距离的过采样方法LSDMLO，通过加权相关特征空间识别标签一致邻居，生成更有效的合成实例，实验表明优于现有方法。
2026-06-04 cs.LG
Self-supervised Learning is More Robust to Dataset Imbalance
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
自监督学习（SSL）是一种学习一般视觉表示的可扩展方式，因为它在没有标签的情况下学习。然而，大规模的未标记数据集通常具有长尾标签分布，我们对SSL的行为知之甚少。在这项工作中，我们系统地研究了数据集不平衡下的自监督学习。首先，我们通过大量的实验发现，现成的自监督表示已经比监督表示对类不平衡更鲁棒。在不同样本量下，使用SSL的平衡和不平衡预训练之间的性能差距明显小于使用监督学习的差距，无论是域内还是域外评估。其次，为了理解SSL的鲁棒性，我们假设SSL从频繁数据中学习更丰富的特征：它可以学习与标签无关但可转移的特征，这些特征有助于对稀有类和下游任务进行分类。相反，监督学习没有动机从频繁的例子中学习与标签无关的特征。我们验证了这一假设与半合成实验和理论分析的简化设置。第三，受理论见解的启发，我们设计了一种重新加权的正则化技术，该技术通过几个评估标准不断提高不平衡数据集上的SSL表示质量，用相同数量的例子缩小平衡和不平衡数据集之间的差距。
2022-05-22 cs.CV cs.LG stat.ML
Active Label Refinement for Robust Training of Imbalanced Medical Image Classification Tasks in the Presence of High Label Noise
Center for Imaging Science, Rochester Institute of Technology（罗切斯特理工学院成像科学中心）；University of Aberdeen（阿伯丁大学）；Biomedical Engineering, Rochester Institute of Technology（罗切斯特理工学院生物医学工程系）
本文提出结合LNL与主动学习的两阶段标签精炼框架，引入梯度方差采样少数类，在有限预算下提升高噪声、类别不平衡医学图像分类的鲁棒性。
2024-10-24 cs.CV cs.LG
Integrating Unsupervised Clustering and Label-specific Oversampling to Tackle Imbalanced Multi-label Data
TCG Crest Kolkata, India（印度加尔各答TCG Crest）；School of Computer Science, University College Dublin, Ireland（爱尔兰都柏林大学学院计算机科学学院）；Indian Statistical Institute Kolkata, India（印度统计研究所加尔各答分所）
在多标签数据集中，经常存在非常频繁标签和非常不频繁标签的混合。标签频率的这种变化，类型类别的不平衡，为构建高效的多标签分类算法带来了重大挑战。在本文中，我们解决这个问题，提出了一个少数类过采样方案，UCLSO，它集成了无监督聚类和标签特定的数据过采样。执行聚类以找出多标签数据集的关键不同和局部连接的区域（与标签信息无关）。接下来，对于每个标签，我们探索聚类集中少数点的分布。只有聚类中的少数点用于生成用于过采样的合成少数点。即使所有标签的聚类集都是相同的，合成少数点的分布也会在标签中有所不同。训练数据集用特定于标签的合成少数点的集合来增强，并且训练分类器以独立地预测每个标签的相关性。在12个多标签数据集和几种多标签算法上的实验结果表明，该方法与其他同类算法相比具有很好的性能。
2021-09-25 cs.AI cs.LG
A binary PSO based ensemble under-sampling model for rebalancing imbalanced training data
本文提出一种结合二进制PSO实例选择与集成分类器的多目标欠采样方法，通过优化多数类样本组合重平衡训练数据，在不平衡分类中优于单一集成方法、现有欠采样方法及其与传统PSO实例选择的组合。
2025-01-31 cs.AI cs.LG cs.NE
Towards Improved Imbalance Robustness in Continual Multi-Label Learning with Dual Output Spiking Architecture (DOSA)
Indian Institute of Science（印度科学学院）；Loughborough University（拉夫堡大学）
本文提出双输出脉冲架构（DOSA）及失衡感知损失函数，用于任务无关的持续多标签学习，在多个基准数据集上优于先前最先进算法CIFDM，提升了不平衡鲁棒性。
2024-02-07 cs.AI cs.CV cs.LG
Overly Optimistic Prediction Results on Imbalanced Data: a Case Study of Flaws and Benefits when Applying Over-sampling
Ghent University – imec（根特大学–imec）；Ghent University Hospital（根特大学医院）；Analytical Minds Ltd.（Analytical Minds有限公司）
从子宫电描记记录中提取的信息可能被证明是一个有趣的额外信息来源，以估计早产的风险。最近，大量的研究报告了近乎完美的结果，以区分使用公共资源（称为术语/早产子宫电图数据库）的足月或早产患者的记录。然而，我们认为，这些结果过于乐观，由于方法上的缺陷。在这项工作中，我们专注于一种特定类型的方法缺陷：在将数据划分为相互排斥的训练集和测试集之前应用过采样。我们使用两个人工数据集展示了这是如何导致结果有偏差的，并重现了发现该缺陷的研究结果。此外，我们评估过采样对预测性能的实际影响，当应用之前的数据划分，使用相同的方法相关研究，提供一个现实的观点，这些方法的泛化能力。我们通过在开放许可证下提供所有代码来使我们的研究具有可复制性。
2020-11-28 cs.LG eess.SP stat.ML
Survival Prediction from Imbalance colorectal cancer dataset using hybrid sampling methods and tree-based classifiers
K. N. Toosi University of Technology（科努图西理工大学）
针对结直肠癌临床数据不平衡问题，提出混合采样流水线与树类分类器结合，显著提升少数类生存预测灵敏度。
2023-09-04 cs.LG
Automated Imbalanced Learning
Eindhoven University of Technology（埃因霍温理工大学）
自动化机器学习在自动化机器学习模型开发的耗时、迭代任务方面取得了非常成功。然而，当前的方法在数据不平衡时会遇到困难。由于许多真实世界的数据集自然是不平衡的，并且不正确地处理这个问题可能会导致非常无用的模型，因此应该小心处理这个问题。本文首先介绍了一个新的基准来研究标签不平衡如何影响不同的AutoML方法。其次，我们提出了更好地处理不平衡的策略，并将其集成到现有的AutoML框架中。最后，我们提出了一个系统的研究，评估这些策略的影响，并发现它们在AutoML系统中的包含显着提高了它们对标签不平衡的鲁棒性。
2022-11-01 cs.AI cs.LG
Using Temperature Sampling to Effectively Train Robot Learning Policies on Imbalanced Datasets
Department of Robotics, University of Michigan（机器人学系，密歇根大学）
针对机器人数据集动作不平衡问题，提出一种简单的温度采样策略，仅需少量代码即可提升低资源任务性能，且不损害高资源任务，并在真实机器人上验证。
2025-10-22 cs.LG cs.RO
EvoSampling: A Granular Ball-based Evolutionary Hybrid Sampling with Knowledge Transfer for Imbalanced Learning
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；Key Laboratory of Social Computing and Cognitive Intelligence (Dalian University of Technology), Ministry of Education（社会计算与认知智能重点实验室（大连理工大学））；School of Engineering and Computer Science, Victoria University of Wellington（惠灵顿维多利亚大学工程与计算机科学学院）；Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系）
针对类别不平衡问题，提出EvoSampling混合采样方法，结合遗传规划多任务过采样与粒度球欠采样，在20个数据集上提升分类性能，知识迁移加速进化。
2024-12-12 cs.AI cs.LG cs.NE
BASIL: Balanced Active Semi-supervised Learning for Class Imbalanced Datasets
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
当前的半监督学习（SSL）方法假设在标记数据集和未标记数据集中每个类可用的数据点的数量之间的平衡。然而，在大多数真实世界的数据集中自然存在着类不平衡。众所周知，在这种不平衡的数据集上训练模型会导致有偏见的模型，这反过来又会导致对更频繁的类的有偏见的预测。这个问题在SSL方法中更加突出，因为它们会在训练过程中使用这种有偏模型来获得伪标签（在未标记的数据上）。在本文中，我们通过尝试为SSL选择一个平衡的标记数据集来解决这个问题，这将导致一个无偏模型。不幸的是，从一个类不平衡分布中一次性获得平衡的标记数据集是具有挑战性的。我们提出了BASIL（平衡主动半监督学习），一种新的算法，优化的子模块互信息（SMI）功能，在每类的方式，逐步选择一个平衡的数据集在一个主动学习循环。重要的是，我们的技术可以有效地用于提高任何SSL方法的性能。我们在Path-MNIST和Organ-MNIST医学数据集上进行的实验表明了Basil的有效性。此外，我们观察到Basil优于最先进的基于多样性和不确定性的主动学习方法，因为SMI函数选择了更平衡的数据集。
2022-03-10 cs.LG
Delving into Deep Imbalanced Regression
MIT Computer Science & Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）
真实世界的数据通常表现出不平衡的分布，其中某些目标值的观测值明显较少。用于处理不平衡数据的现有技术集中于具有分类索引的目标，即，不同的班级然而，许多任务涉及连续的目标，其中类之间不存在硬边界。我们将深度不平衡回归（Deep Inbalanced Regression）定义为从具有连续目标的不平衡数据中学习，处理某些目标值的潜在缺失数据，并推广到整个目标范围。受分类和连续标签空间之间的内在差异的启发，我们提出了标签和特征的分布平滑，明确承认附近目标的影响，并校准标签和学习的特征分布。我们从计算机视觉、自然语言处理和医疗保健领域的常见现实任务中策划和基准测试大规模人工智能数据集。大量的实验验证了我们的策略的优越性能。我们的工作填补了实际不平衡回归问题的基准和技术的空白。代码和数据可在https://github.com/YyzHarry/imbalanced-regression上获得。
2021-05-13 cs.AI cs.CV cs.LG
Handling Imbalanced Dataset in Multi-label Text Categorization using Bagging and Adaptive Boosting
Institut Teknologi Bandung（万隆理工学院）
不平衡的数据集是由于现实世界中可用的数据分布不均匀而发生的，例如对万隆政府办公室投诉的处理。因此，多标签文本分类算法可能不会产生最好的性能，因为分类器往往会被大多数数据所拖累，而忽略少数数据。本文采用Bagging和Adaptive Boosting算法来解决这个问题，提高文本分类的性能。采用汉明损失、子集准确度、基于实例的准确度和微平均f-测度等四个评价指标对结果进行评价。采用SMO弱分类器的Bagging ML-LP在子集准确率和基于示例的准确率方面表现最好。采用SMO弱分类器对ML-BR进行Bagging具有最好的微平均f-测度。另一方面，AdaBoost MH与J 48弱分类器具有最低的汉明损失值。因此，这两种算法在提高文本分类性能方面都有很大的潜力，但仅适用于某些弱分类器。然而，在提高少数标签的准确性方面，bagging比adaptive boosting更具潜力。
2019-06-11 cs.CL cs.LG
Fair for a few: Improving Fairness in Doubly Imbalanced Datasets
Leibniz Supercomputing Centre (LRZ)（莱比锡超算中心）
针对标签和敏感属性群体均不平衡的双重不平衡数据集去偏效果差的问题，本文通过探索性分析明确其局限性，提出多准则方案以兼顾公平性与分类准确率，优化采样及分布选择。
2025-06-17 cs.CY cs.LG
Demonstrating The Risk of Imbalanced Datasets in Chest X-ray Image-based Diagnostics by Prototypical Relevance Propagation
UiT The Arctic University of Norway（挪威北极大学）；Technical University of Berlin（柏林工业大学）
最近集成多源胸部X射线数据集以改善自动诊断的趋势引起了人们的担忧，即模型通过识别图像的源域而不是医学病理学来学习利用源特定的相关性以提高性能。我们假设这种效应是由源域之间的标签不平衡（即，与源相对应的疾病的患病率）强制执行的。因此，在这项工作中，我们对广泛使用的ChestX-ray 14和CheXpert数据集上肺炎检测任务的多源训练中标签不平衡的影响进行了深入研究。这些结果突出并强调了使用更忠实和透明的自我解释模型进行自动诊断的重要性，从而实现对虚假学习的内在检测。他们进一步说明，学习虚假相关性的这种不良影响可以大大减少，当确保标签平衡的源域数据集。
2022-01-10 cs.CV cs.LG eess.IV
CUSBoost: Cluster-based Under-sampling with Boosting for Imbalanced Classification
United International University（联合国际大学）
类不平衡分类是数据采掘和机器学习中的一个具有挑战性的研究问题，因为大多数现实生活中的数据集往往是不平衡的。现有的学习算法通过正确分类多数类而最大化分类精度，但是错误分类少数类。然而，在现实生活中的应用程序中，少数类实例比多数类实例更感兴趣地表示概念。最近，一些技术的基础上的抽样方法（欠采样的多数类和过采样的少数类），成本敏感的学习方法，集成学习已被用于在文献中分类不平衡的数据集。在本文中，我们介绍了一种新的基于聚类的欠采样方法与升压（AdaBoost）算法，称为ADABoost，有效的不平衡分类。该算法提供了一种替代RUSBoost（随机欠采样与AdaBoost）和SMOTEBoost（合成少数过采样与AdaBoost）算法。我们使用基于集成学习的最先进的方法，如AdaBoost，RUSBoost，SMOTEBoost，在13个具有不同不平衡率的不平衡二进制和多类数据集上评估了RUSBoost算法的性能。实验结果表明，该算法是一种有效的处理高度不平衡数据集的方法。
2017-12-12 cs.LG stat.ML
Survey of Imbalanced Data Methodologies
Wells Fargo（富国银行）
不平衡数据集是金融业中经常发现和研究的问题。本文回顾和比较了几种常用的数据不平衡处理方法。然后，我们将欠采样/过采样方法应用于UCI和Keel数据集上的几种建模算法。性能进行了分析类不平衡的方法，建模算法和网格搜索标准的比较。
2021-04-06 cs.LG stat.ML
Sampling To Improve Predictions For Underrepresented Observations In Imbalanced Data
DTU Compute（丹麦技术大学计算学院）
数据不平衡在生产数据中很常见，其中受控的生产设置要求数据落入较窄的变化范围内，并且数据收集时考虑的是质量评估，而不是数据分析见解。这种不平衡对模型在代表性不足的观测值上的预测性能产生了负面影响。我们提出了采样来调整这种不平衡，目的是提高在历史生产数据上训练的模型的性能。我们调查使用三种抽样方法来调整不平衡。目标是对训练数据中的协变量进行下采样，然后拟合回归模型。我们研究了当使用采样数据或原始数据进行训练时，模型的预测能力如何变化。我们将我们的方法应用于来自青霉素生产高级模拟的大型生物制药制造数据集，并发现使用采样数据拟合模型会使整体预测性能略有降低，但在代表性不足的观察结果上会产生系统性更好的性能。此外，结果强调需要替代，公平和平衡的模型评估。
2021-12-16 cs.LG stat.ML
Deep Over-sampling Framework for Classifying Imbalanced Data
Tokyo University of Science（东京理科大学）
类不平衡是深度学习模型和传统模型在实际分类问题中的一个具有挑战性的问题。传统上成功的对策，如合成过采样，在深度学习模型处理的复杂结构化数据方面取得了有限的成功。在本文中，我们提出了深度过采样（DOS），这是一个扩展合成过采样方法的框架，可以利用卷积神经网络（CNN）获取的深度特征空间。它的关键特征是显式的、有监督的表示学习，其中训练数据在深特征空间中向每个原始输入样本呈现合成嵌入目标，该深特征空间从类内邻居的线性子空间中采样。我们实现了训练CNN和更新目标的迭代过程，这在嵌入之间引起了较小的类内方差，以增加深度表示的区分能力。我们提出了一个实证研究，使用公共基准，这表明，DOS框架不仅抵消类不平衡比现有的方法更好，但也提高了性能的CNN在标准的，平衡的设置。
2017-07-12 cs.LG stat.ML
Kernel density estimation based sampling for imbalanced class distribution
Canadian University Dubai（迪拜加拿大大学）
不平衡的响应变量分布在数据科学中很常见。在欺诈检测、医疗诊断、系统入侵检测等领域，很少观察到异常行为，研究中的数据通常具有不成比例的目标类分布。解决阶级不平衡的一个常见方法是通过重新安置少数阶级来实现更平衡的分配。本文研究了基于核密度估计（KDE）的采样方法的性能。我们相信KDE提供了一种更自然的方法来生成少数类的新实例，与其他标准采样技术相比，这种方法不太容易过度拟合。它是基于一个完善的非参数统计估计理论。数值实验表明，KDE可以优于其他采样技术在一系列现实生活中的数据集测量F1分数和G均值。实验中使用的许多分类算法的结果保持一致。此外，该方法优于基准方法，无论类分布比例。我们的结论是，基于坚实的理论基础和强大的实验结果，该方法将是一个有价值的工具，涉及不平衡的类分布的问题。
2019-11-20 cs.LG stat.ML
Classification of Imbalanced Credit scoring data sets Based on Ensemble Method with the Weighted-Hybrid-Sampling
Beijing Jiaotong University（北京交通大学）
大数据时代，利用信用评分模型准确判断申请人的信用风险成为未来的趋势。传统的机器学习对信用评分数据集的分类往往对少数类别的分类效果不佳，这可能给银行带来巨大的商业危害。为了对不平衡数据集进行分类，提出了一种新的集成算法，即加权混合采样增强算法（WHSBoost）。在数据采样方面，我们采用加权SMOTE方法和欠采样加权方法对不平衡的数据集进行处理，从而得到一个等权的平衡训练样本数据集。在集成算法中，每次对基分类器进行训练时，均采用上述方法得到平衡数据集。为了验证WHSBoost算法的适用性和鲁棒性，在仿真数据集、真实基准数据集和真实信用评分数据集上进行了实验，并与基于SVM、BPNN、DT和KNN的SMOTE、SMOTEBoost和HSBoost算法进行了比较。
2021-02-09 cs.LG stat.ML
Gamma distribution-based sampling for imbalanced data
Canadian University Dubai（迪拜加拿大大学）；Deloitte（德勤）
不平衡的类分布是包括医疗诊断、欺诈检测等许多领域中的常见问题。它会导致分类算法的偏差，导致少数类数据的性能不佳。在本文中，我们提出了一种新的方法来平衡类分布的数据，通过智能的少数类实例的重新排序。所提出的方法是基于通过伽马分布在现有的少数点的邻域中生成新的少数实例。我们的方法提供了一种自然和连贯的方法来平衡数据。我们进行了全面的数值分析的新的采样技术。实验结果表明，该方法优于现有的国家的最先进的方法不平衡的数据。具体来说，新的采样技术在24个真实生活和合成数据集中的12个上产生了最好的结果。相比之下，SMOTE方法仅在1个数据集上获得最高分。我们的结论是，新技术提供了一个简单而有效的采样方法来平衡数据。
2020-09-22 cs.LG stat.ML
Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Samsung Advanced Institute of Technology（三星综合技术院）；AItrics
虽然半监督学习（SSL）已被证明是一种很有前途的方法，利用未标记的数据时，标记的数据是稀缺的，现有的SSL算法通常假设训练类分布是平衡的。然而，这些在不平衡类分布下训练的SSL算法在推广到平衡测试标准时可能会受到严重影响，因为它们使用了偏向多数类的未标记数据的伪标签。为了缓解这个问题，我们制定了一个凸优化问题，以软细化从有偏模型生成的伪标签，并开发了一个简单的算法，名为伪标签的分布对齐精炼（DARP），可证明和有效地解决它。在各种类不平衡的半监督场景下，我们证明了DARP的有效性及其与最先进的SSL方案的兼容性。
2021-09-13 cs.LG stat.ML
Rethinking the Value of Labels for Improving Class-Imbalanced Learning
Massachusetts Institute of Technology（麻省理工学院）；EECS（电气工程与计算机科学系（麻省理工学院））
现实世界的数据往往呈现出具有严重类别不平衡的长尾分布，这对深度识别模型提出了巨大的挑战。我们确定了一个持续的困境标签的价值在不平衡学习的背景下：一方面，监督标签通常会导致更好的结果比其无监督的同行;另一方面，严重不平衡的数据自然会引起“标签偏见”的分类，其中决策边界可以大大改变多数类。在这项工作中，我们系统地研究这两个方面的标签。我们从理论和经验上证明，类不平衡学习可以在半监督和自我监督的方式中显着受益。具体来说，我们确认（1）积极的，不平衡的标签是有价值的：给定更多的未标记数据，原始标签可以与额外的数据一起利用，以半监督的方式减少标签偏差，这大大提高了最终的分类器;（2）然而，消极的，我们认为不平衡的标签并不总是有用的：首先以自监督方式预训练的分类器始终优于其相应的基线。在大规模不平衡数据集上进行的大量实验验证了我们的理论基础策略，显示出比以前的最先进技术更优越的性能。我们有趣的发现强调了重新思考现实长尾任务中不平衡标签的使用的必要性。代码可在https://github.com/YyzHarry/imbalanced-semi-self上获得。
2020-09-26 cs.CV cs.LG stat.ML
Classification Performance Metric for Imbalance Data Based on Recall and Selectivity Normalized in Class Labels
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
在类别不平衡数据集的分类中，用于模型选择和与竞争方法比较的性能度量是一个主要问题。为了克服这个问题，几个性能指标的定义和分析，在几个方面，特别是不平衡比。目前还没有明确的指标是通用的，可以用于任何倾斜的数据问题。本文提出了一种新的基于类标签归一化的召回率和选择率调和均值的性能度量方法。本文表明，所提出的性能指标具有正确的属性的不平衡数据集。特别是，在由多数类的例子和不平衡比定义的空间中，与其他现有的单值性能指标相比，它对多数类的变化不太敏感，而对少数类的变化更敏感。此外，其他性能指标的特性也得到了分析证明。
2020-06-23 cs.LG stat.ML
Sampling Control for Imbalanced Calibration in Semi-Supervised Learning
Corresponding author（通讯作者）
SC-SSL通过解耦采样控制减轻半监督学习中的类别不平衡问题，通过自适应调整采样概率和后处理校准logits，提升模型性能。
2025-11-24 cs.CV cs.LG stat.ML
Weak-supervision for Deep Representation Learning under Class Imbalance
Tokyo University of Science（东京理科大学）
类不平衡是包括深度学习在内的分类模型中普遍存在的问题，其提取特定于任务的特征的能力在不平衡的设置中受到影响。然而，通常由深度学习解决的处理大量类之间不平衡的挑战在以前的研究中没有得到大量的关注。在本文中，我们提出了深度过采样框架的扩展，以利用自动生成的抽象标签，即，一种用于弱标签学习的边信息，用于增强深度表示学习以对抗类不平衡。我们试图利用标签来引导对不同的子空间的实例的深层表示，诱导分类问题的固有子任务的软分离。我们的实证研究表明，所提出的框架取得了显着的改善图像分类基准之间的不平衡的大，小数目的类。
2018-10-30 cs.LG stat.ML
A Study imbalance handling by various data sampling methods in binary classification
Cork Institute of Technology（科克理工学院）
本研究报告的目的是展示我们的学习曲线和机器学习生存周期，使用Kaggle二进制分类数据集，并探索从预处理到最终优化和模型评估的各种技术，此外，我们强调了数据不平衡问题，我们讨论了处理数据水平上的不平衡的不同方法，采样和欠采样不仅要达到平衡的类表示，而且要提高整体性能。这项工作也为今后的工作开辟了一些空白。
2021-05-23 cs.LG
Weakly Supervised-Based Oversampling for High Imbalance and High Dimensionality Data Classification
Tsinghua University（清华大学）
随着工业数据集的日益丰富，不平衡分类问题已成为许多应用领域的普遍问题。过采样是解决不平衡分类问题的一种有效方法。现有过采样方法的主要挑战之一是准确标记新的合成样本。合成样本的不准确标签会扭曲数据集的分布，并可能恶化分类性能。本文引入弱监督学习的思想来处理传统过采样方法造成的合成样本标记不准确的问题。为了提高合成样本标签的可信度，提出了图半监督SMOTE算法。此外，我们提出了成本敏感的邻域成分分析的高维数据集和自举集成框架高度不平衡的数据集。该方法在8个合成数据集和3个真实数据集上取得了良好的分类性能，尤其是对高不平衡和高维问题。平均性能和鲁棒性优于基准方法。
2020-10-06 cs.LG stat.ML
A Method for Handling Multi-class Imbalanced Data by Geometry based Information Sampling and Class Prioritized Synthetic Data Generation (GICaPS)
Tata Consultancy Services（塔塔咨询服务公司）；IIT Kanpur（印度理工学院坎普尔分校）
本文研究了多标签分类问题中不平衡数据的处理问题。这个问题的解决，提出了两种新的方法，主要利用特征向量之间的几何关系。第一种是欠采样算法，它使用特征向量之间的角度来选择信息量更大的样本，同时拒绝信息量较小的样本。提出了一个合适的标准来定义给定样本的信息量。第二种是过采样算法，它使用生成算法来创建尊重所有类边界的新合成数据。这是通过基于特征向量之间的欧几里得距离找到\emph{no man's land}来实现的。通过求解一个基于混合高斯的通用多类识别问题，分析了所提方法的有效性。通过与其他最先进的方法，包括SMOTE和ADASYN，超过10个不同的公开数据集表现出高到极端的数据不平衡的比较，建立了所提出的算法的优越性。这两种方法被结合到一个单一的数据处理框架中，并被称为“GICaPS”，以突出基于几何信息（GI）的采样和类优先综合（CaPS）在处理多类数据不平衡问题中的作用，从而在该领域做出了新的贡献。
2020-10-11 cs.LG stat.ML
An Empirical Analysis of the Efficacy of Different Sampling Techniques for Imbalanced Classification
Islamic University of Technology（伊斯兰技术大学）；Robi Axiata Limited（Robi Axiata有限公司）
从不平衡的数据中学习是一项具有挑战性的任务。标准分类算法在不平衡数据上训练时往往表现不佳。需要采用一些特殊的策略，通过修改数据分布或重新设计底层分类算法来实现期望的性能。现实世界数据集中普遍存在的不平衡导致了针对类不平衡问题的多种策略的产生。然而，并不是所有的策略都是有用的，或者在不同的不平衡场景中提供良好的性能。处理不平衡数据的方法有很多，但这些技术的有效性或这些技术之间的实验比较尚未进行。在这项研究中，我们提出了一个全面的分析26个流行的抽样技术，以了解他们在处理不平衡数据的有效性。在50个具有不同程度不平衡的数据集上进行了严格的实验，以彻底研究这些技术的性能。详细讨论了这些技术的优点和局限性，以及如何克服这些局限性。我们确定了一些影响采样策略的关键因素，并就如何为特定应用选择合适的采样技术提供了建议。
2022-08-25 cs.LG
Two-Level Softmax Sampling Done Right: Correcting Bias from Size Imbalance and Dispersion
Spotify；SJTU Paris Elite Institute of Technology（上海交通大学巴黎卓越工程师学院）
针对两级softmax采样因忽略簇大小不平衡和簇内离散度而产生的偏差，提出S-2LS和SD-2LS两种校正方法，在五个大规模数据集上验证了改进的采样性能，建议替代标准2LS。
2026-10-08 cs.IR cs.LG stat.ML
Imbalances in Neurosymbolic Learning: Characterization and Mitigating Strategies
Huawei Labs（华为实验室）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种缓解神经符号学习中学习不平衡问题的方法，通过估计隐藏标签的边际并将其作为约束，提升模型性能达14%。
2025-12-17 cs.LG stat.ML
A Synthetic Over-sampling method with Minority and Majority classes for imbalance problems
University of Melbourne（墨尔本大学）
类别不平衡是对许多现实世界案例进行分类的一个重大挑战。合成过采样方法已经有效地提高了分类器的性能不平衡的问题。然而，大多数合成过采样方法产生的凸包内的现有少数实例形成的非多样化的合成实例，因为他们只集中在少数类，而忽略了大量的信息提供的多数类。它们通常也不能很好地处理极不平衡的数据，因为少数实例越少，生成合成实例的信息就越少。此外，现有的方法，生成合成实例使用多数类分布信息不能有效地执行时，多数类具有多模态分布。我们提出了一种新的方法来生成多样性和适应性的合成实例，使用合成过采样与少数和多数类（SOMM）。SOMM在少数数据空间内生成合成实例。它更新生成的实例自适应包括两个类的邻域。因此，SOMM表现良好的二进制和多类不平衡问题。我们研究的性能SOMM的二进制和多类问题使用基准数据集不同的不平衡水平。实验结果表明，SOMM的优越性相比，其他现有的方法。
2021-08-10 cs.LG
Active learning for imbalanced data under cold start
Feedzai
依赖于机器学习（ML）进行预测建模的现代系统可能会遇到冷启动问题：监督模型工作良好，但最初没有标签，这是昂贵的或缓慢的。这个问题在不平衡的数据场景中更严重，其中正类的标签需要更长的时间来积累。我们提出了一个主动学习（AL）系统的数据集的数量级的类不平衡，在冷启动流的情况下。我们提出了一个计算效率高的离群值为基础的判别AL方法（OPAL），并设计了一个新的3阶段序列的AL标记的政策，OPAL被用作热身。然后，我们在四个真实世界的数据集进行实证研究，具有不同程度的类不平衡。结果表明，我们的方法可以更快地达到一个高性能的模型比标准的AL政策没有ODAL预热。它比随机抽样的收益可以达到80%，并且与具有无限注释预算或额外历史数据（仅使用2%至10%的标签）的策略竞争。
2021-10-22 cs.LG stat.ML
UPL: Uncertainty-aware Pseudo-labeling for Imbalance Transductive Node Classification
Sharif University of Technology（谢里夫理工大学）；Alan Turing Institute（阿兰·图灵研究所）
针对图结构数据的类别不平衡导致节点分类困难的问题，提出不确定性感知伪标签标注算法UPL，通过为无标签节点分配伪标签并利用不确定性方法降低训练噪声，有效提升了分类准确率，性能优于现有最先进方法。
2025-02-02 cs.LG
Bounded Adjustment with Reliability-Guided Embedding for Imbalanced Learning with Noisy Labels
Indian Institute of Technology Indore（印度理工学院印多尔分校）
针对类别不平衡与标签噪声的耦合问题，提出BARGE方法，结合有界先验调整得分与可靠性引导角度几何，无需噪声率，在多个基准上显著降低平均平衡错误。
2026-09-16 cs.LG stat.ML
Partial Resampling of Imbalanced Data
Canadian University Dubai（迪拜加拿大大学）；Cairo University（开罗大学）
不平衡数据是机器学习中经常遇到的问题。尽管有大量的文献对不平衡数据的抽样技术，有一个有限的研究，解决问题的最佳抽样率。在本文中，我们试图填补空白，在文献中进行了大规模的研究抽样率对分类精度的影响。我们考虑了10种流行的采样方法，并基于20个数据集在一定范围内评估了它们的性能。数值实验的结果表明，最佳的采样率是0.7和0.8之间，虽然确切的比例取决于数据集。此外，我们发现，虽然诸如原始不平衡比率或特征数量等因素在确定最佳比率方面没有发挥明显的作用，但数据集中的样本数量可能会产生切实的影响。
2022-07-11 cs.LG
A Model for Imbalanced Label Aggregation: A Focus on Minority-Class Detection
SNCF（法国国家铁路公司）；Tampere University（坦佩雷大学）
研究不平衡众包中依赖类别的注释器准确性问题，引入结合项目难度与注释器能力的生成聚合模型，在33个真实世界众包数据集上评估，该模型在少数类召回率上表现出色，平衡准确率也具竞争力。
2026-07-28 cs.LG stat.ML
When Noisy Labels Meet Class Imbalance on Graphs: A Graph Augmentation Method with LLM and Pseudo Label
本文针对含噪声标签的类别不平衡图节点分类，提出融合 LLM 过采样、动态加权伪标签与二次 LLM 过采样的 GraphALP 框架，性能优于现有方法。
2025-07-25 cs.AI cs.LG
