Pseudo Labels Regularization for Imbalanced Partial-Label Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
部分标签学习（PLL）是弱监督学习的一个重要分支，其特征在于单一的基本事实存在于一组候选标签中，而研究中很少考虑标签不平衡的问题。最近的一项关于不平衡部分标签学习的研究提出，部分标签学习和长尾学习的组合挑战在于体面的边缘先验分布与绘制伪标签之间的匹配。然而，我们认为，即使伪标签与先验分布匹配，尾类仍然很难学习，因为总权重太小。因此，我们提出了一种专门为PLL设计的伪标签正则化技术。通过惩罚头类的伪标签，与以前的PLL方法相比，我们的方法在标准化基准下实现了最先进的技术。
2023-03-06 cs.LG
Network Embedding with Completely-imbalanced Labels
Department of Computer Science and Technology, University of Science and Technology Beijing（计算机科学与技术系，北京科技大学）；School of Software, Tsinghua University（软件学院，清华大学）；Department of Computer Science, University of Illinois at Chicago（计算机科学系，伊利诺伊大学香槟分校）
针对完全不平衡标签下网络嵌入性能不佳的问题，提出RSDNE和RECT两种半监督方法，分别通过近似类内相似性与类间不相似性及类语义知识提升性能，实验验证其优越性。
2025-08-04 cs.LG cs.SI stat.ML
Deep Clustering via Center-Oriented Margin Free-Triplet Loss for Skin Lesion Detection in Highly Imbalanced Datasets
Amasya University（阿马西亚大学）；Bilkent University（比尔肯特大学）；National Magnetic Resonance Research Center, Bilkent University（比尔肯特大学国家磁共振研究中心）；Sabuncu Brain Research Center, Bilkent University（比尔肯特大学萨本朱脑研究中心）
黑色素瘤是一种致命的皮肤癌，是可以治愈的，并且在早期诊断时具有显著增加的存活率。基于学习的方法对于从皮肤镜图像检测黑色素瘤具有重要的前景。然而，由于黑色素瘤是一种罕见的疾病，现有的皮肤病变数据库主要包含高度不平衡的良性与恶性样本的数量。反过来，由于大多数类别的统计优势，这种不平衡在分类模型中引入了实质性偏差。为了解决这个问题，我们引入了一种基于皮肤镜图像的潜在空间嵌入的深度聚类方法。聚类是使用一种新的面向中心的无边缘三重损失（COM-三重）来实现的，该算法对卷积神经网络主干的图像嵌入进行了强制执行。该方法的目标是形成最大分离的聚类中心，而不是最小化分类错误，因此它对类不平衡不太敏感。为了避免对标记数据的需要，我们进一步提出了基于高斯混合模型生成的伪标签来实现COM三元组。综合实验表明，COM-三重损失的深度聚类优于三重损失的聚类，以及监督和无监督设置中的竞争分类器。
2022-04-03 cs.AI cs.CV cs.LG
Iterative Nearest Neighborhood Oversampling in Semisupervised Learning from Imbalanced Data
Dalian University of Technology（大连理工大学）
基于Transductive图的半监督学习方法通常利用标记和未标记样本作为顶点来构建无向图。这些方法将标记样本的标签信息通过相邻样本的边缘传播到相邻样本，从而得到未标记样本的预测标签。大多数流行的半监督学习方法对不平衡标记数据集的初始标记分布敏感。在不平衡的分类中，大多数类将严重倾斜类边界。在本文中，我们提出了一种简单而有效的方法来减轻不平衡问题的不利影响，通过迭代选择一些未标记的样本，并将它们添加到少数类，形成一个平衡的标记数据集的学习方法之后。在UCI数据集和MNIST手写数字数据集上的实验表明，该方法的性能优于现有的其他方法。
2013-12-24 cs.LG
Delving into Deep Imbalanced Regression
MIT Computer Science & Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）
真实世界的数据通常表现出不平衡的分布，其中某些目标值的观测值明显较少。用于处理不平衡数据的现有技术集中于具有分类索引的目标，即，不同的班级然而，许多任务涉及连续的目标，其中类之间不存在硬边界。我们将深度不平衡回归（Deep Inbalanced Regression）定义为从具有连续目标的不平衡数据中学习，处理某些目标值的潜在缺失数据，并推广到整个目标范围。受分类和连续标签空间之间的内在差异的启发，我们提出了标签和特征的分布平滑，明确承认附近目标的影响，并校准标签和学习的特征分布。我们从计算机视觉、自然语言处理和医疗保健领域的常见现实任务中策划和基准测试大规模人工智能数据集。大量的实验验证了我们的策略的优越性能。我们的工作填补了实际不平衡回归问题的基准和技术的空白。代码和数据可在https://github.com/YyzHarry/imbalanced-regression上获得。
2021-05-13 cs.AI cs.CV cs.LG
Incomplete Multi-View Weak-Label Learning with Noisy Features and Imbalanced Labels
ShanghaiTech University（上海科技大学）；Hokkaido University（北海道大学）
针对不完整多视图弱标签学习中噪声特征与不平衡标签问题，提出联合嵌入与自适应加权HSIC降冗余、检测噪声视图，并用焦点损失缓解不平衡，实验验证有效。
2023-08-29 cs.LG
Imbalanced Continual Learning with Partitioning Reservoir Sampling
Neural Processing Research Center, Seoul National University（首尔大学神经处理研究中心）
从连续的数据流中进行持续学习是机器学习研究的一个关键挑战。大多数研究都是在单标签分类设置下进行的，并假设标签分布均衡。这项工作扩展了多标签分类的研究视野。在这样做的过程中，我们发现了许多多标签数据集中固有的意料之外的逆境，即长尾分布。我们共同解决这两个独立解决的问题，灾难性的遗忘和长尾标签分布，首先经验性地显示了一个新的挑战，破坏性遗忘的少数概念的尾巴。然后，我们策划了两个基准数据集，COCOseq和NUS-WIDEseq，允许研究任务内和任务间的不平衡。最后，我们提出了一种新的采样策略，称为分区水库采样（PRS），它允许模型保持平衡的头和尾类的知识。我们在项目页面中公开发布数据集和代码。
2020-09-08 cs.AI cs.CV cs.LG
Building Manufacturing Deep Learning Models with Minimal and Imbalanced Training Data Using Domain Adaptation and Data Augmentation
Purdue University（普渡大学）；National Taiwan University（台湾大学）
本文提出一种域适应与自编码器数据增强相结合的方法，在标注样本极少且类别不平衡的条件下实现晶圆缺陷检测，实验证明其性能优于其他算法。
2023-05-31 cs.CV cs.LG
M2m: Imbalanced Classification via Major-to-minor Translation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在大多数现实世界的场景中，标记的训练数据集是高度不平衡的，其中深度神经网络难以推广到平衡的测试标准。在本文中，我们探索了一种新颖而简单的方法来缓解这个问题，通过翻译样本来增加不太频繁的类（例如，图片）从更频繁的类。这种简单的方法使分类器能够通过转移和利用多数信息的多样性来学习少数类的更一般化的特征。我们在各种类别不平衡数据集上的实验结果表明，与其他现有的重采样或重加权方法相比，该方法显着提高了对少数类别的泛化能力。我们的方法的性能甚至超过了以前的国家的最先进的方法的不平衡分类。
2020-12-20 cs.CV cs.LG stat.ML
Domain Adaptation in Highly Imbalanced and Overlapping Datasets
K Health（K健康）
在许多机器学习领域，数据集的特征在于高度不平衡和重叠的类。特别是在医学领域，症状的特定列表可以被标记为各种不同的条件之一。其中一些情况可能比其他情况普遍几个数量级。在这里，我们提出了一种新的无监督领域自适应计划，这样的数据集。该方案基于一种特定类型的量化，旨在在标签和条件移位下工作。它在从电子健康记录生成的数据集上进行了演示，并在非常具有挑战性的场景中为量化和领域自适应提供了高质量的结果。讨论了在当前COVID-19疫情中使用该方案估计感染流行率和概率的潜在益处。
2020-06-02 cs.LG stat.ML
Integrating Unsupervised Clustering and Label-specific Oversampling to Tackle Imbalanced Multi-label Data
TCG Crest Kolkata, India（印度加尔各答TCG Crest）；School of Computer Science, University College Dublin, Ireland（爱尔兰都柏林大学学院计算机科学学院）；Indian Statistical Institute Kolkata, India（印度统计研究所加尔各答分所）
在多标签数据集中，经常存在非常频繁标签和非常不频繁标签的混合。标签频率的这种变化，类型类别的不平衡，为构建高效的多标签分类算法带来了重大挑战。在本文中，我们解决这个问题，提出了一个少数类过采样方案，UCLSO，它集成了无监督聚类和标签特定的数据过采样。执行聚类以找出多标签数据集的关键不同和局部连接的区域（与标签信息无关）。接下来，对于每个标签，我们探索聚类集中少数点的分布。只有聚类中的少数点用于生成用于过采样的合成少数点。即使所有标签的聚类集都是相同的，合成少数点的分布也会在标签中有所不同。训练数据集用特定于标签的合成少数点的集合来增强，并且训练分类器以独立地预测每个标签的相关性。在12个多标签数据集和几种多标签算法上的实验结果表明，该方法与其他同类算法相比具有很好的性能。
2021-09-25 cs.AI cs.LG
Uncertainty-aware Pseudo-label Selection for Positive-Unlabeled Learning
Ludwig-Maximilians-Universität München（慕尼黑大学）；Helmholtz Zentrum München—German Research Center for Environmental Health（亥姆霍兹慕尼黑中心——德国环境健康研究中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Technical University of Munich（慕尼黑工业大学）
针对正样本-无标签学习在不平衡数据集下性能受限的问题，提出不确定性感知伪标签方法PUUPL，通过增强少数类信号扩展标记集并量化不确定性抑制确认偏差，在多场景下优于基线，经真实应用验证有效。
2024-03-10 cs.LG stat.ML
On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond
MIT（麻省理工学院）；Rutgers University（罗格斯大学）
现实世界的数据往往表现出不平衡的标签分布。现有的数据不平衡研究集中在单域设置，即，样本来自相同的数据分布。然而，自然数据可以来自不同的领域，其中一个领域中的少数类可以具有来自其他领域的大量实例。我们形式化的任务多域长尾识别（MDLT），它从多域不平衡的数据，地址标签不平衡，域移位，和不同的标签分布域，并推广到所有域类对学习。我们首先开发的域类的可转移性图，并表明，这种可转移性管理的MDLT学习的成功。然后，我们提出了BoDA，一个理论上接地的学习策略，跟踪可转移性统计的上限，并确保平衡的对齐和校准不平衡的域类分布。我们基于广泛使用的多域数据集策划了五个MDLT基准测试，并将BoDA与跨越不同学习策略的二十种算法进行了比较。大量严格的实验验证了BoDA的优越性能。此外，作为副产品，BoDA在领域泛化基准上建立了新的最先进的技术，突出了解决跨领域数据不平衡的重要性，这对于改进对未知领域的泛化至关重要。代码和数据可在https://github.com/YyzHarry/multi-domain-imbalance上获得。
2022-08-01 cs.AI cs.CV cs.LG
Contrastive Conditional Alignment based on Label Shift Calibration for Imbalanced Domain Adaptation
School of Communication
本文提出 CCA-LSC 方法，通过对比条件对齐解决协变量偏移，并利用标签偏移校准目标伪标签，以提升不平衡域自适应性能。
2024-12-29 cs.CV
Combined Cleaning and Resampling Algorithm for Multi-Class Imbalanced Data with Label Noise
AGH University of Science and Technology（AGH科技大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）
不平衡数据分类是现代数据分析面临的重要任务之一。特别是当与其他困难因素相结合时，例如噪声的存在，重叠的类分布和小的析取，数据不平衡会显着影响分类性能。此外，已知一些数据难度因素会影响现有过采样策略的性能，特别是SMOTE及其衍生物。这种影响在多类环境中尤其明显，其中类之间的相互不平衡关系甚至进一步复杂化。尽管如此，大多数当代的研究领域的数据不平衡集中在二进制分类问题，而他们更困难的多类对应的是相对较少的探索。在本文中，我们提出了一种新的过采样技术，多类组合清洗和恢复（MC-CCR）算法。所提出的方法利用基于能量的方法来建模适合过采样的区域，比SMOTE受小的析取和离群值的影响更小。它结合了它与一个同时清理操作，其目的是减少重叠的类分布的性能上的学习算法的影响。最后，通过引入一个专门的策略来处理多类问题，MC-CCR比传统的多类分解策略更少地受到类间关系信息丢失的影响。基于多类不平衡基准数据集的实验研究结果表明，该方法对噪声具有很强的鲁棒性，与现有方法相比，具有较高的分类质量.
2020-04-07 cs.LG stat.ML
Automated Imbalanced Learning
Eindhoven University of Technology（埃因霍温理工大学）
自动化机器学习在自动化机器学习模型开发的耗时、迭代任务方面取得了非常成功。然而，当前的方法在数据不平衡时会遇到困难。由于许多真实世界的数据集自然是不平衡的，并且不正确地处理这个问题可能会导致非常无用的模型，因此应该小心处理这个问题。本文首先介绍了一个新的基准来研究标签不平衡如何影响不同的AutoML方法。其次，我们提出了更好地处理不平衡的策略，并将其集成到现有的AutoML框架中。最后，我们提出了一个系统的研究，评估这些策略的影响，并发现它们在AutoML系统中的包含显着提高了它们对标签不平衡的鲁棒性。
2022-11-01 cs.AI cs.LG
Imbalanced Open Set Domain Adaptation via Moving-threshold Estimation and Gradual Alignment
University of Electronic Science and Technology of China（电子科技大学）
多媒体应用往往与跨领域知识转移有关，其中无监督领域自适应（UDA）可以用来减少领域转移。开集领域自适应（OSDA）的目的是在假设目标领域包含未知类的情况下，将知识从一个标记良好的源领域转移到一个未标记的目标领域。现有的OSDA方法一直强调协变量偏移，忽略了潜在的标签偏移问题。OSDA方法在域内类别不平衡和域间标签偏移的情况下性能急剧下降。然而，社会上对这一问题的关注却很少。研究了不平衡开集领域自适应（IOSDA）算法，其中协变量偏移、标签偏移和类别失配同时存在.为了减轻OSDA中标签偏移带来的负面影响，我们提出了开放集移动阈值估计和渐进对齐（OMEGA）-一种新的架构，改进了现有的OSDA方法类不平衡的数据。具体而言，提出了一种新的未知感知目标聚类方案，在目标域中形成紧密的簇，以减少标签偏移和域内类不平衡的负面影响。此外，移动阈值估计被设计为针对每个目标样本生成特定阈值，而不是针对所有目标样本使用一个阈值。在IOSDA、OSDA和OPDA基准测试上的大量实验表明，我们的方法可以显着优于现有的最先进的方法。代码和数据可在https://github.com/mendicant04/OMEGA上获得。
2023-03-09 cs.CV
Toward Real-Time Image Annotation Using Marginalized Coupled Dictionary Learning
Sharif University of Technology（谢里夫理工大学）；Shahid Rajaee Teacher Training University（沙希德拉贾伊教师培训大学）
针对现有不平衡标签图像标注方法耗时的问题，提出带边缘化损失与ℓ₁正则化的耦合字典学习方法，同步学习视觉原型与语义，实现实时高精度标注，且代码已开源。
2023-04-17 cs.CV cs.LG
Handling Imbalanced Dataset in Multi-label Text Categorization using Bagging and Adaptive Boosting
Institut Teknologi Bandung（万隆理工学院）
不平衡的数据集是由于现实世界中可用的数据分布不均匀而发生的，例如对万隆政府办公室投诉的处理。因此，多标签文本分类算法可能不会产生最好的性能，因为分类器往往会被大多数数据所拖累，而忽略少数数据。本文采用Bagging和Adaptive Boosting算法来解决这个问题，提高文本分类的性能。采用汉明损失、子集准确度、基于实例的准确度和微平均f-测度等四个评价指标对结果进行评价。采用SMO弱分类器的Bagging ML-LP在子集准确率和基于示例的准确率方面表现最好。采用SMO弱分类器对ML-BR进行Bagging具有最好的微平均f-测度。另一方面，AdaBoost MH与J 48弱分类器具有最低的汉明损失值。因此，这两种算法在提高文本分类性能方面都有很大的潜力，但仅适用于某些弱分类器。然而，在提高少数标签的准确性方面，bagging比adaptive boosting更具潜力。
2019-06-11 cs.CL cs.LG
Energy Score-based Pseudo-Label Filtering and Adaptive Loss for Imbalanced Semi-supervised SAR target recognition
Chongqing University（重庆大学）
针对不平衡半监督SAR目标识别，提出基于动态能量分数的伪标签过滤和自适应损失方法，在标签稀缺与数据不平衡下实现高精度识别。
2024-11-06 cs.AI cs.CV
SP$^2$OT: Semantic-Regularized Progressive Partial Optimal Transport for Imbalanced Clustering
ShanghaiTech University（上海科技大学）；Lingang Laboratory（临港实验室）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）
针对深度不平衡聚类问题，提出基于最优传输的伪标签学习框架SP$^2$OT，通过投影镜像下降算法在先验和语义约束下生成高质量伪标签，在多个数据集上验证了其优越性。
2025-06-30 cs.CV cs.LG
Self-Supervised Neural Architecture Search for Imbalanced Datasets
EPFL（洛桑联邦理工学院）
神经架构搜索（NAS）在经过精心策划的带有注释标签的数据集上进行训练时，可提供最先进的结果。然而，注释数据或甚至具有平衡数量的样本对于来自不同科学领域的从业者来说可能是奢侈的，例如，在医学领域。为此，我们提出了一个基于NAS的框架，它具有三方面的贡献：（a）我们专注于自我监督的场景，即，其中不需要标签来确定体系结构，并且（b）我们假设数据集是不平衡的，（c）我们将每个组件设计为能够在资源受限的设置上运行，即，在单个GPU上（例如Google Colab）。我们的组件建立在自监督学习~ \citep{zbontar2021barlow}、自监督NAS~ \citep{kaplan2020self}的最新发展之上，并将其扩展到不平衡数据集的情况。我们在CIFAR-10的（人工）不平衡版本上进行实验，我们证明了我们提出的方法优于标准神经网络，同时使用$27\times$更少的参数。为了验证我们对自然不平衡数据集的假设，我们还对ChestMNIST和COVID-19 X射线进行了实验。结果表明，该方法可以用于不平衡的数据集，而它可以完全运行在一个单一的GPU。代码可用\href{https://github.com/TimofeevAlex/ssnas_imbalanced}{here}。
2021-09-20 cs.CV cs.LG eess.IV
P$^2$OT: Progressive Partial Optimal Transport for Deep Imbalanced Clustering
ShanghaiTech University（上海科技大学）；Lingang Laboratory（临港实验室）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
本文提出P$^2$OT框架，将深度不平衡聚类中的伪标签生成建模为渐进式部分最优传输问题，以在不平衡分布下生成高质量伪标签，并通过非平衡最优传输与快速矩阵缩放算法高效求解，在多个长尾与细粒度数据集上取得优越性能。
2024-01-17 cs.CV
DHC: Dual-debiased Heterogeneous Co-training Framework for Class-imbalanced Semi-supervised Medical Image Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
针对半监督3D医学图像分割中的类别不平衡问题，提出含两种去偏损失加权策略的DHC协同训练框架，性能优于现有最优半监督方法。
2023-07-22 cs.CV cs.LG eess.IV
Fair for a few: Improving Fairness in Doubly Imbalanced Datasets
Leibniz Supercomputing Centre (LRZ)（莱比锡超算中心）
针对标签和敏感属性群体均不平衡的双重不平衡数据集去偏效果差的问题，本文通过探索性分析明确其局限性，提出多准则方案以兼顾公平性与分类准确率，优化采样及分布选择。
2025-06-17 cs.CY cs.LG
Twice Class Bias Correction for Imbalanced Semi-Supervised Learning
Nanjing University（南京大学）
针对类别不平衡半监督学习的双重类别偏差问题，提出两次类别偏差校正（TCBC）方法，通过先校正模型后校正伪标签，在多个长尾数据集上显著提升性能。
2023-12-27 cs.LG
Exploiting Synthetically Generated Data with Semi-Supervised Learning for Small and Imbalanced Datasets
University College London（伦敦大学学院）；University of Birmingham（伯明翰大学）；University of Cambridge（剑桥大学）；University of Córdoba（科尔多瓦大学）
数据增强在机器学习中迅速获得关注。合成数据可以通过简单的转换或通过数据分布来生成。在后一种情况下，主要的挑战是估计与新的合成模式相关联的标签。本文研究了通过模式的凸组合生成合成数据的效果，并将这些作为无监督信息使用在具有支持向量机的半监督学习框架中，从而避免了标记合成示例的需要。我们在总共53个二进制分类数据集上进行了实验。我们的研究结果表明，这种类型的数据过采样支持半监督学习中著名的聚类假设，对于小的高维数据集和不平衡学习问题显示出出色的结果。
2019-03-24 cs.AI cs.LG stat.ML
BASIL: Balanced Active Semi-supervised Learning for Class Imbalanced Datasets
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
当前的半监督学习（SSL）方法假设在标记数据集和未标记数据集中每个类可用的数据点的数量之间的平衡。然而，在大多数真实世界的数据集中自然存在着类不平衡。众所周知，在这种不平衡的数据集上训练模型会导致有偏见的模型，这反过来又会导致对更频繁的类的有偏见的预测。这个问题在SSL方法中更加突出，因为它们会在训练过程中使用这种有偏模型来获得伪标签（在未标记的数据上）。在本文中，我们通过尝试为SSL选择一个平衡的标记数据集来解决这个问题，这将导致一个无偏模型。不幸的是，从一个类不平衡分布中一次性获得平衡的标记数据集是具有挑战性的。我们提出了BASIL（平衡主动半监督学习），一种新的算法，优化的子模块互信息（SMI）功能，在每类的方式，逐步选择一个平衡的数据集在一个主动学习循环。重要的是，我们的技术可以有效地用于提高任何SSL方法的性能。我们在Path-MNIST和Organ-MNIST医学数据集上进行的实验表明了Basil的有效性。此外，我们观察到Basil优于最先进的基于多样性和不确定性的主动学习方法，因为SMI函数选择了更平衡的数据集。
2022-03-10 cs.LG
Demonstrating The Risk of Imbalanced Datasets in Chest X-ray Image-based Diagnostics by Prototypical Relevance Propagation
UiT The Arctic University of Norway（挪威北极大学）；Technical University of Berlin（柏林工业大学）
最近集成多源胸部X射线数据集以改善自动诊断的趋势引起了人们的担忧，即模型通过识别图像的源域而不是医学病理学来学习利用源特定的相关性以提高性能。我们假设这种效应是由源域之间的标签不平衡（即，与源相对应的疾病的患病率）强制执行的。因此，在这项工作中，我们对广泛使用的ChestX-ray 14和CheXpert数据集上肺炎检测任务的多源训练中标签不平衡的影响进行了深入研究。这些结果突出并强调了使用更忠实和透明的自我解释模型进行自动诊断的重要性，从而实现对虚假学习的内在检测。他们进一步说明，学习虚假相关性的这种不良影响可以大大减少，当确保标签平衡的源域数据集。
2022-01-10 cs.CV cs.LG eess.IV
Noisy Ostracods: A Fine-Grained, Imbalanced Real-World Dataset for Benchmarking Robust Machine Learning and Label Correction Methods
The University of Hong Kong（香港大学）；The University of Tokyo（东京大学）；Nanjing Institute of Geology and Palaeontology, CAS（中国科学院南京地质古生物研究所）
本文发布含复杂真实噪声、高度不平衡的介形虫细粒度分类数据集 Noisy Ostracods，并通过实验揭示现有鲁棒学习与噪声检测方法的局限，以推动抗噪声机器学习研究。
2024-12-03 cs.CV cs.LG
Semantic Segmentation of highly class imbalanced fully labelled 3D volumetric biomedical images and unsupervised Domain Adaptation of the pre-trained Segmentation Network to segment another fully unlabelled Biomedical 3D Image stack
Indian Institute of Science（印度科学学院）
我们工作的目标是对三维生物医学体数据进行像素标签语义分割。对于大型的生物医学数据集，人工标注一直是一个难题。因此，我们考虑两种情况，其中一个数据集是完全标记的，另一个数据集假设是完全未标记的。我们首先对完全标记的各向同性生物医学源数据（FIBSEM）执行语义分割，并尝试将训练模型用于分割目标未标记数据集（SNEMI3D），该数据集在不同类型的细胞体和其他细胞成分的背景下与源数据集具有一些相似性。虽然，细胞成分的大小和形状各不相同。因此，在本文中，我们提出了一种新的方法，在无监督的领域自适应的上下文中，同时分类到细胞边界和细胞体的目标体数据的每个像素。此外，我们提出了一种新的方法，给予非均匀的权重，以不同的像素在训练图像中，同时执行像素级的语义分割的存在下，相应的像素明智的标签地图以及在源域中的训练原始图像。我们已经使用了熵图或距离变换矩阵从给定的地面真值标签图检索，这有助于克服医学图像数据中的类不平衡问题，其中细胞边界非常薄，因此非常容易被误分类为非边界。
2020-03-13 cs.CV
Algorithm Selection for Deep Active Learning with Imbalanced Datasets
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Meta Inc.（Meta公司）
针对深度主动学习策略难以预先选择且数据集类别不平衡的问题，提出自适应元算法 TAILOR，通过汤普森式迭代选择和类别平衡奖励取得媲美或超过最佳候选算法的性能。
2023-11-02 cs.AI cs.CV cs.LG
Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support: A Multi-Domain Benchmark
Boston University（波士顿大学）；University of California（加利福尼亚大学）；University of Maryland（马里兰大学）
该研究针对高风险决策系统的类别不平衡与非对称代价问题，通过多领域基准测试对比多种共形预测及弃权机制，发现Mondrian CP可显著提升少数类覆盖，结合代价控制弃权能降低预期决策代价，为相关系统部署提供实用指导。
2026-07-30 cs.AI cs.LG
Posterior Re-calibration for Imbalanced Datasets
Georgia Institute of Technology（佐治亚理工学院）
当训练标签分布严重不平衡以及测试数据与训练分布不同时，神经网络的性能可能会很差。为了处理测试标签分布的变化，这是不平衡的原因，我们从最佳贝叶斯分类器的角度激励问题，并推导出一种训练后的先验再平衡技术，可以通过基于KL发散的优化来解决。这种方法允许灵活的训练后超参数在验证集上有效地调整，并有效地修改分类器裕度以处理这种不平衡。我们进一步结合这种方法与现有的似然转移方法，重新解释他们从相同的贝叶斯的角度来看，并证明我们的方法可以处理这两个问题，在一个统一的方式。由此产生的算法可以方便地用于概率分类问题不可知的底层架构。我们在六个不同的数据集和五个不同的架构上的结果显示了最先进的准确性，包括大规模的不平衡数据集，如用于分类的iNaturalist和用于语义分割的Synthia。请访问https://github.com/GT-RIPL/UNO-IC.git了解实施情况。
2020-10-22 cs.LG
Rethinking Re-Sampling in Imbalanced Semi-Supervised Learning
Johns Hopkins University（约翰霍普金斯大学）；ByteDance Inc.（字节跳动公司）
半监督学习（SSL）在标记数据稀缺的情况下，表现出了很强的利用未标记数据的能力。然而，大多数SSL算法都是在假设训练集和测试集中的类分布是平衡的情况下工作的。在这项工作中，我们考虑的问题，SSL类不平衡的数据，更好地反映了现实世界的情况。特别是，我们解耦了表示和分类器的训练，并系统地研究了在训练包括分类器的整个网络以及仅微调特征提取器时不同数据重采样技术的影响。我们发现，数据重新采样对于学习一个好的分类器至关重要，因为它提高了伪标签的准确性，特别是对于未标记数据中的少数类。有趣的是，我们发现准确的伪标签在训练特征提取器时没有帮助，相反，数据重新采样会损害特征提取器的训练。这一发现与错误的伪标签总是损害SSL中模型性能的一般直觉相反。基于这些发现，我们建议重新思考当前的范式，具有一个单一的数据重新采样策略，并开发一个简单而高效的双采样（BiS）策略的SSL类不平衡的数据。BiS实现了两种不同的重采样策略来训练特征提取器和分类器，并将这种解耦的训练集成到端到端框架中。具体地，BiS在训练期间逐渐改变数据分布，使得在开始时有效地训练特征提取器，而在训练结束时重新平衡数据，使得分类器可靠地训练。我们在流行的数据集上广泛地对我们提出的双采样策略进行基准测试，并实现了最先进的性能。
2021-12-10 cs.CV
Rethinking the Value of Labels for Improving Class-Imbalanced Learning
Massachusetts Institute of Technology（麻省理工学院）；EECS（电气工程与计算机科学系（麻省理工学院））
现实世界的数据往往呈现出具有严重类别不平衡的长尾分布，这对深度识别模型提出了巨大的挑战。我们确定了一个持续的困境标签的价值在不平衡学习的背景下：一方面，监督标签通常会导致更好的结果比其无监督的同行;另一方面，严重不平衡的数据自然会引起“标签偏见”的分类，其中决策边界可以大大改变多数类。在这项工作中，我们系统地研究这两个方面的标签。我们从理论和经验上证明，类不平衡学习可以在半监督和自我监督的方式中显着受益。具体来说，我们确认（1）积极的，不平衡的标签是有价值的：给定更多的未标记数据，原始标签可以与额外的数据一起利用，以半监督的方式减少标签偏差，这大大提高了最终的分类器;（2）然而，消极的，我们认为不平衡的标签并不总是有用的：首先以自监督方式预训练的分类器始终优于其相应的基线。在大规模不平衡数据集上进行的大量实验验证了我们的理论基础策略，显示出比以前的最先进技术更优越的性能。我们有趣的发现强调了重新思考现实长尾任务中不平衡标签的使用的必要性。代码可在https://github.com/YyzHarry/imbalanced-semi-self上获得。
2020-09-26 cs.CV cs.LG stat.ML
A Novel Hybrid Sampling Framework for Imbalanced Learning
Islamic University of Technology（伊斯兰技术大学）；Robi Axiata Limited（Robi Axiata有限公司）
类别不平衡是分类任务中经常出现的情况。从不平衡的数据中学习是一个重大挑战，这引发了这一领域的大量研究。使用抽样技术的数据预处理是处理数据中存在的不平衡的标准方法。由于标准分类算法在不平衡的数据上表现不佳，因此数据集在训练之前需要充分平衡。这可以通过对少数类进行过采样或对多数类进行欠采样来实现。在这项研究中，提出了一种新的混合采样算法。为了克服抽样技术的局限性，同时确保保留的抽样数据集的质量，已经开发了一个复杂的框架，以适当地结合三种不同的抽样技术。首先应用邻域清理规则来减少不平衡。然后将随机欠采样策略性地与SMOTE算法相结合，以获得数据集中的最佳平衡。这种建议的混合方法，称为“SMOTE-RUS-NC”，已与其他国家的最先进的采样技术进行了比较。该策略被进一步纳入集成学习框架，以获得一个更强大的分类算法，称为“SRN-BRF”。在26个不平衡数据集上进行了严格的实验，这些数据集具有不同程度的不平衡。在几乎所有的数据集，提出的两种算法优于现有的采样策略，在许多情况下，由一个相当大的利润。特别是在高度不平衡的数据集，流行的采样技术完全失败，他们取得了无与伦比的性能。优越的结果表明，所提出的模型的有效性和它们的潜力，在不平衡域的强大的采样算法。
2022-08-20 cs.AI cs.LG
Class-Imbalanced Semi-Supervised Learning
Seoul National University（首尔国立大学）；SK hynix（SK海力士）
半监督学习（Semi-Supervised Learning，SSL）在克服标注困难和充分利用未标注数据方面取得了巨大成功。然而，SSL有一个有限的假设，在不同类别的样本数量是平衡的，许多SSL算法表现出较低的性能与不平衡的类分布的数据集。在本文中，我们介绍了类不平衡的半监督学习（CISSL），这是指半监督学习类不平衡的数据的任务。在这样做时，我们考虑了标记和未标记集合中的类不平衡。首先，我们分析了现有的SSL方法在不平衡的环境中，并研究如何类的不平衡影响SSL方法。然后，我们提出了抑制一致性损失（SCL），一个正则化方法鲁棒类不平衡。我们的方法表现出更好的性能比传统的方法在CISSL环境。特别是，类不平衡越严重，标记数据的大小越小，我们的方法执行得越好。
2020-02-17 cs.CV cs.LG stat.ML
Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Samsung Advanced Institute of Technology（三星综合技术院）；AItrics
虽然半监督学习（SSL）已被证明是一种很有前途的方法，利用未标记的数据时，标记的数据是稀缺的，现有的SSL算法通常假设训练类分布是平衡的。然而，这些在不平衡类分布下训练的SSL算法在推广到平衡测试标准时可能会受到严重影响，因为它们使用了偏向多数类的未标记数据的伪标签。为了缓解这个问题，我们制定了一个凸优化问题，以软细化从有偏模型生成的伪标签，并开发了一个简单的算法，名为伪标签的分布对齐精炼（DARP），可证明和有效地解决它。在各种类不平衡的半监督场景下，我们证明了DARP的有效性及其与最先进的SSL方案的兼容性。
2021-09-13 cs.LG stat.ML
Learning Imbalanced Datasets with Maximum Margin Loss
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
提出了一种学习算法--最大间隔算法（MM），用于解决类别不平衡的数据学习问题：训练后的模型倾向于预测大多数类别，而不是少数类别。也就是说，不适合少数群体似乎是泛化的挑战之一。对于一个很好的推广的少数类，我们设计了一个新的最大保证金（MM）损失函数，通过移动决策界最小化的边缘为基础的推广界的动机。理论上有原则的标签分布感知保证金（LDAM）损失已成功应用于重新加权或重新采样等先前策略以及有效的训练计划。然而，他们还没有研究最大保证金损失函数。在这项研究中，我们研究了两种类型的硬最大边缘为基础的决策边界移位与LDAM的训练时间表上的人为不平衡CIFAR-10/100公平的比较和有效性的性能。
2022-06-11 cs.AI cs.LG
GBRIP: Granular Ball Representation for Imbalanced Partial Label Learning
Hong Kong Baptist University（香港浸会大学）；University of Macau（澳门大学）；Jiangxi Agricultural University（江西农业大学）
针对偏标记学习中类间与类内不平衡特征交织的难题，提出GBRIP框架，利用粗粒度粒球表示与多中心损失构建特征空间并优化标签消歧，在标准基准上优于现有最先进方法。
2024-12-19 cs.CV cs.LG
Learning with Noisy Labels over Imbalanced Subpopulations
Nanjing University（南京大学）；Tencent AI Lab（腾讯人工智能实验室）
带噪声标签的学习（LNL）已经引起了研究界的极大关注。许多最近的LNL方法依赖于这样的假设，即干净的样品往往具有“小损失”。然而，这个假设总是不能推广到一些现实世界的情况下，不平衡的亚群，即，训练样本大小或识别难度不同的子群体。因此，最近的LNL方法面临着错误分类那些“信息”样本的风险（例如，硬样本或尾子群中的样本）转化为噪声样本，导致较差的泛化性能。为了解决上述问题，我们提出了一种新的LNL方法，同时处理噪声标签和不平衡的子种群。它首先利用样本相关性来估计样本的干净概率以进行标签校正，然后利用校正后的标签进行分布鲁棒优化（DRO）以进一步提高鲁棒性。具体来说，与之前使用分类损失作为选择标准的工作相反，我们引入了一种基于特征的度量，该度量考虑了样本相关性来估计样本的干净概率。然后，我们使用估计的干净概率和来自模型预测的伪标签对噪声标签进行重新分类。通过翻新标签，我们使用DRO来训练模型，使其对亚群失衡具有鲁棒性。在广泛的基准测试上进行的大量实验表明，我们的技术可以持续改进当前最先进的鲁棒学习范式，特别是在遇到不平衡的子群体时。
2022-11-16 cs.CV cs.LG
Balancing the Scales: A Theoretical and Algorithmic Framework for Learning from Imbalanced Data
Google Research（谷歌研究）；Courant Institute of Mathematical Sciences（Courant数学科学研究所）
本文提出了一种新的理论框架和算法IMMAX，用于解决类别不平衡问题，通过引入新的损失函数和理论保证提升学习性能。
2025-12-29 cs.LG stat.ML
InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
不平衡半监督学习（SSL）中的最新方法依赖于具有一致性正则化的基于置信度的伪标记。为了获得高质量的伪标签，通常采用高置信度阈值。然而，已经表明，对于远离训练数据的样本，深度网络中基于softmax的置信度分数可以任意高，因此，即使是高置信度的未标记样本的伪标签也可能仍然不可靠。在这项工作中，我们提出了一个新的视角的伪标记不平衡的SSL。在不依赖于模型置信度的情况下，我们建议衡量未标记样本是否可能是“分布内”;即，接近当前的训练数据。为了确定未标记的样本是"分布内“还是"分布外”，我们采用来自分布外检测文献的能量分数。随着训练的进行，越来越多的未标记样本变得分布并有助于训练，组合的标记和伪标记数据可以更好地近似真实的类分布，以改进模型。实验表明，我们的基于能量的伪标记方法，\textbf{InPL}，虽然概念上简单，显着优于基于信心的方法不平衡的SSL基准。例如，它产生约3\%的绝对精度提高CIFAR 10-LT。当与最先进的长尾SSL方法相结合时，进一步的改进。特别是，在最具挑战性的场景之一，InPL实现了6.9\%的准确性比最好的竞争对手。
2023-03-13 cs.CV cs.LG
MARGIN: Margin-Aware Regularized Geometry for Imbalanced Vulnerability Detection
College of Artificial Intelligence and Computer Science, Northwest Normal University（人工智能与计算机科学学院，西北师范大学）
本文提出MARGIN框架，通过自适应边缘度量学习和超球体原型建模，解决漏洞检测中频率和难度不平衡问题，提升分类和检测性能。
2026-07-09 cs.CR cs.LG cs.SE
FedReLa: Imbalanced Federated Learning via Re-Labeling
School of Computing and Information Systems, University of Melbourne, Victoria, Australia（墨尔本大学计算机与信息系统学院）；School of Statistics and Data Science, LPMC, KLMDASR, and LEBPS, Nankai University（南开大学统计与数据科学学院）；School of Mathematics and Statistics, University of Melbourne, Victoria, Australia（墨尔本大学数学与统计学学院）
提出FedReLa方法，通过特征依赖的标签重分配器纠正全局决策边界偏差，解决联邦学习中数据异构与类别不平衡共存问题，无需全局类分布知识，显著提升少数类精度。
2026-06-25 cs.CV cs.LG stat.ML
TAM: Topology-Aware Margin Loss for Class-Imbalanced Node Classification
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
由于相邻节点之间的相互作用，在类不平衡图数据下学习无偏节点表示是具有挑战性的。现有研究的共同点是，他们补偿的小类节点“作为一个组”，根据他们的整体数量（忽略节点连接图），这不可避免地增加了假阳性的情况下，主要节点。我们假设这些假阳性病例的增加受到每个节点周围标签分布的高度影响，并通过实验证实了这一点。此外，为了处理这个问题，我们提出了拓扑感知余量（TAM），以反映局部拓扑的学习目标。我们的方法比较了每个节点的连接模式与类平均对应部分，并自适应地调整相应的基础上，保证金。我们的方法在具有代表性GNN架构的各种节点分类基准数据集上始终表现出优于基线的优势。
2022-06-26 cs.AI cs.LG
Imbalanced Gradients: A Subtle Cause of Overestimated Adversarial Robustness
Fudan University（复旦大学）；The University of Melbourne（墨尔本大学）
评估防御模型的鲁棒性是对抗鲁棒性研究中的一个具有挑战性的任务。模糊梯度先前已被发现存在于许多防御方法中，并导致鲁棒性的错误信号。在本文中，我们确定了一种更微妙的情况，称为不平衡的干扰，也可能导致高估的对抗鲁棒性。不平衡梯度的现象发生时，边际损失的一项的梯度占主导地位，并推动攻击向次优方向。为了利用不平衡梯度，我们制定了一个边际分解（MD）攻击，将边际损失分解为单个项，然后通过两个阶段的过程分别探索这些项的可攻击性。我们还提出了一个多目标和合奏版本的MD攻击。通过调查自2018年以来提出的24个防御模型，我们发现11个模型容易受到一定程度的不平衡梯度的影响，我们的MD攻击可以将其鲁棒性降低1%以上。我们还提供了一个深入的调查梯度不平衡的可能原因和有效的对策。我们的代码可在https://github.com/HanxunH/MDAttack上获得。
2023-03-29 cs.CR cs.CV cs.LG
Debiased Learning from Naturally Imbalanced Pseudo-Labels
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Microsoft Research（微软研究院）
伪标签是由在标记的源数据上训练的分类器对未标记的目标数据进行的置信预测。它们被广泛用于使模型适应未标记的数据，例如，在一个半监督学习环境中。我们的关键见解是，由于内在的数据相似性，伪标签自然是不平衡的，即使模型是在平衡的源数据上训练的，并在平衡的目标数据上进行评估。如果我们解决这个以前未知的不平衡分类问题，而不是由伪标签而不是真实训练标签引起的，我们可以消除对伪标签造成的虚假多数的模型偏见。我们提出了一种新的和有效的去偏学习方法与伪标签，基于反事实推理和自适应的边缘：前者消除分类器的响应偏差，而后者调整的边缘，根据伪标签的不平衡的每个类。通过大量的实验验证，我们简单的去偏学习在ImageNet-1 K上提供了显着的准确率提升：半监督学习为26%，注释为0.2%，零样本学习为9%。我们的代码可在https://github.com/frank-xwang/debiased-pseudo-labeling上获得。
2022-04-21 cs.CL cs.CV cs.LG
Maximising the Utility of Validation Sets for Imbalanced Noisy-label Meta-learning
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）
本文提出INOLML算法，通过基于信息量、类别平衡性和标签正确性最大化验证集效用，自动构建验证集，显著提升非平衡噪声标签元学习性能。
2025-10-08 cs.CV cs.LG
Leveraging Label Proportion Prior for Class-Imbalanced Semi-Supervised Learning
Kyushu University, Fukuoka, Japan（九州大学）
本文提出比例损失用于半监督学习，以缓解类别不平衡问题，在长尾CIFAR-10数据集上验证了其有效性。
2026-03-03 cs.CV cs.LG
SoLar: Sinkhorn Label Refinery for Imbalanced Partial-Label Learning
Zhejiang University（浙江大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Chongqing University（重庆大学）；RIKEN（理化学研究所）
部分标签学习（PLL）是一种特殊的弱监督学习任务，其中训练样本通常与一组候选标签而不是单个基础事实相关联。虽然在这个领域已经提出了各种标签消歧方法，但它们通常假设在许多现实世界的应用中可能不适用的类平衡场景。经验上，我们观察到退化的性能的先验方法时，面临的组合挑战，从长尾分布和部分标记。在这项工作中，我们首先确定的主要原因，以前的工作失败。随后，我们提出了SoLar，一种新的基于最优传输的框架，允许改进消歧标签，以匹配边缘类先验分布。SoLar还采用了一种新的系统机制，用于在PLL设置下估计长尾类先验分布。通过大量的实验，SoLar在标准化基准测试中表现出比以前最先进的PLL方法更好的结果。代码和数据可在https://github.com/hbzju/SoLar上获得。
2022-09-21 cs.CV cs.LG
RankSim: Ranking Similarity Regularization for Deep Imbalanced Regression
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（Borealis人工智能研究院）
数据不平衡，其中多个数据样本来自小比例的标签，对训练深度神经网络提出了挑战。与分类不同，在回归中，标签是连续的，可能是无限的，并形成自然的排序。回归的这些独特特征需要新的技术来利用标签空间关系中编码的附加信息。本文提出了用于深度不平衡回归的RankSim（ranking similarity）正则化器，它编码了一种归纳偏差，即在标签空间中更接近的样本在特征空间中也应该更接近。与最近的基于分布平滑的方法相比，RankSim捕获了附近和远处的关系：对于给定的数据样本，RankSim鼓励其标签空间中的邻居的排序列表与其特征空间中的邻居的排序列表相匹配。RankSim是对传统不平衡学习技术的补充，包括重新加权，两阶段训练和分布平滑，并提升了三个不平衡回归基准的最新性能：IMDB-WIKI-BLOG，STS-B-BLOG。
2022-06-24 cs.AI cs.CV cs.LG
HPSLPred: An Ensemble Multi-label Classifier for Human Protein Subcellular Location Prediction with Imbalanced Source
Tianjin University（天津大学）
蛋白质亚细胞定位的预测是一个重要而具有挑战性的问题。传统的实验方法往往昂贵且耗时。因此，越来越多的研究工作采用一系列的机器学习方法来预测蛋白质的亚细胞位置。在最先进的预测方法中存在两个主要挑战。首先，大多数现有的技术被设计为处理多类而不是多标签分类，这忽略了多个标签之间的连接。事实上，特定蛋白质的多个位置意味着有重要和独特的生物学意义，值得特别关注，不能忽视。第二，在多标签分类问题中处理不平衡数据的技术是必要的，但从未使用过。为了解决这两个问题，我们开发了一个集成多标签分类器称为HPSLPred，它可以应用于多标签分类与不平衡的蛋白质来源。为方便起见，在http://server.malab.cn/HPSLPred上建立了一个用户友好的网络服务器。
2017-04-18 cs.LG
