Cost-Sensitive BERT for Generalisable Sentence Classification with Imbalanced Data
University of Birmingham（伯明翰大学）；University of Warwick（华威大学）；Alan Turing Institute（阿兰·图灵研究所）
近年来，由于新闻产生和消费方式的技术和社会变化，宣传的自动识别变得越来越重要。使用BERT可以有效地解决这个任务，这是一个强大的新架构，可以针对文本分类任务进行微调，这并不奇怪。然而，与处理新闻文档和其他形式的非情境化社交通信（例如，情感分析）的其他任务一样，宣传检测固有地处理其类别同时不平衡和不相似的数据。我们表明，BERT，而能够处理不平衡的类，没有额外的数据增强，不概括以及当训练和测试数据是足够不相似的（通常是新闻来源的情况下，其主题随着时间的推移而演变）。我们展示了如何通过提供数据集之间的相似性的统计度量和当训练集和测试集不相似时将成本加权纳入BERT的方法来解决这个问题。我们测试这些方法上的宣传技术语料库（PTC），并实现了第二高的分数对宣传级别的分类。
2020-03-16 cs.CL cs.LG stat.ML
Optimizing Cost-Sensitive SVM for Imbalanced Data :Connecting Cluster to Classification
China University of Mining Technology（中国矿业大学）
类别不平衡是机器学习在许多实际应用中面临的挑战性问题之一，如煤与瓦斯突出事故监测：突出前兆数据比正常数据小得多，而这正是我们真正关注的重点，代价敏感调整方法是一种典型的算法级抗数据集不平衡的方法。对于支持向量机分类器，它被修改为包含不同的惩罚参数（C）的每个考虑的组的例子。然而，C值是凭经验确定的，或者是根据评估度量计算的，这需要迭代计算并且耗时。本文提出了一种新的代价敏感的支持向量机方法，其惩罚参数C在聚类概率密度函数（PDF）的基础上进行优化，而聚类PDF仅根据相似性矩阵和一些预定义的超参数进行估计。在不同标准基准数据集和不同不平衡率的真实数据集上的实验结果表明，与常用的代价敏感技术相比，该方法是有效的。
2017-02-06 cs.LG
A Skew-Sensitive Evaluation Framework for Imbalanced Data Classification
Palo Alto Networks（帕洛阿尔托网络公司）；MIT（麻省理工学院）；Intel（英特尔公司）；Apple Inc.（苹果公司）；University of Pennsylvania（宾夕法尼亚大学）；Snap Inc.（Snap公司）；Stanford University（斯坦福大学）；Merly（Merly公司）
针对不平衡数据分类中类别偏斜导致评估不公的问题，提出一种对类别基数与重要性任意偏斜敏感的通用评估框架，实验证明其在评估、排序及训练分类器方面均有效。
2023-11-16 cs.AI cs.LG
Predicting Louisiana Public High School Dropout through Imbalanced Learning Techniques
Rice University（莱斯大学）
这项研究的动机是路易斯安那州高中辍学问题的严重性及其对个人和公共福祉的负面影响。我们的目标是通过检查路易斯安那州的行政数据集来预测有高中辍学风险的学生。由于数据集的不平衡性质，不平衡学习技术，包括重新排序，案例加权和成本敏感学习已被应用于提高稀有类的预测性能。在这项研究中使用的性能指标是F-措施，召回率和精度的罕见类。我们比较了几种机器学习算法的性能，如神经网络，决策树和装袋树结合不平衡的学习方法使用的管理数据集的大小为366 k+从路易斯安那州教育部。实验结果表明，不平衡学习方法的应用在召回率上取得了较好的效果，但在准确率上有所下降，而不考虑不平衡数据处理的基分类器在准确率上有所提高，但在召回率上表现不佳。不平衡学习技术的整体应用是有益的，但需要更多的研究来提高精度。
2019-10-29 cs.LG stat.ML
Consistent Batch Normalization for Weighted Loss in Imbalanced-Data Environment
Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究生院）；FUJITSU BROAD SOLUTION & CONSULTING Inc.（富士通广义解决方案咨询有限公司）
在这项研究中，分类问题的基础上，前馈神经网络在数据不平衡的环境被认为是。不平衡数据集的学习是机器学习领域中最重要的实际问题之一。基于代价敏感方法的加权损失函数（WLF）是一种众所周知的非平衡数据集的有效方法。WLF和批量归一化（BN）的组合被认为是在这项研究中。BN被认为是深度学习最新发展中的一种强大的标准技术。这两种方法的简单组合会导致大小不一致的问题，这是由于两种方法中数据集有效大小的解释之间不匹配。一个简单的修改BN，称为加权BN（WBN），提出了纠正的大小不匹配。WBN的概念简单而自然。在数据不平衡的环境中，所提出的方法进行了验证，使用数值实验。
2020-05-13 cs.LG stat.ML
Fast Imbalanced Classification of Healthcare Data with Missing Values
Geisinger Health System（盖辛格医疗系统）
在医学领域，数据特征往往包含缺失值。这可能会在预测建模中产生严重的偏差。典型的标准数据挖掘方法通常产生较差的性能度量。在本文中，我们提出了一种新的方法，同时分类大型数据集，并减少缺失值的影响。该方法是基于成本敏感的SVM和期望最大化填补缺失值的方法，它依赖于迭代回归分析的多级框架。我们比较了基于多级SVM的算法在具有不平衡类和缺失值的公共基准数据集以及健康应用中的真实数据上的分类结果，并表明我们的基于多级SVM的方法产生快速，更准确和鲁棒的分类结果。
2015-03-21 cs.LG stat.ML
Empirical Similarity for Absent Data Generation in Imbalanced Classification
Oklahoma State University（俄克拉荷马州立大学）；School of Industrial Engineering and Management（工业工程与管理学院）
当两类分类问题中的训练数据被一个类淹没时，大多数分类技术无法正确识别属于代表性不足的类的数据点。我们提出了基于相似性的不平衡分类（SBIC），它根据经验相似性函数学习训练数据中的模式。为了考虑训练数据的不平衡结构，SBIC利用了缺失数据的概念，即来自少数类的数据，这可以帮助更好地找到两个类之间的边界。SBIC同时优化经验相似性函数的权重，并找到缺失数据点的位置。因此，SBIC使用嵌入式机制来生成合成数据，该机制不修改训练数据集，而是改变算法以适应不平衡的数据集。因此，SBIC在不平衡分类中使用了两个主要思想流派的思想：像成本敏感方法一样，SBIC在算法层面上操作以处理不平衡结构;类似于合成数据生成方法，它利用了少数类中未观察到的数据点的属性。SBIC在不平衡数据集上的应用表明，它与其他常用的不平衡数据集分类技术相当，在某些情况下优于其他常用的分类技术。
2016-05-12 cs.LG stat.ML
AdaCC: Cumulative Cost-Sensitive Boosting for Imbalanced Classification
Leibniz University of Hannover（汉诺威莱布尼茨大学）；Centre of Research and Technology Hellas（希腊研究与技术中心）；Free University of Berlin（柏林自由大学）
类不平衡对机器学习提出了一个重大挑战，因为大多数监督学习模型可能会对多数类表现出偏见，而在少数类中表现不佳。成本敏感学习通过不同地对待类来解决这个问题，通常通过用户定义的固定误分类成本矩阵作为输入提供给学习者来制定。这样的参数调整是一个具有挑战性的任务，需要领域知识，而且，错误的调整可能会导致整体预测性能恶化。在这项工作中，我们提出了一种新的成本敏感的不平衡数据的提升方法，动态调整错误分类成本的提升轮响应模型的性能，而不是使用一个固定的错误分类成本矩阵。我们的方法称为AdaCC，是无参数的，因为它依赖于boosting模型的累积行为，以便调整下一轮boosting的误分类成本，并且具有关于训练误差的理论保证。对来自不同领域的27个具有高类别不平衡的真实世界数据集的实验表明，我们的方法优于12种最先进的成本敏感的提升方法，这些方法在不同的测量中表现出一致的改进，例如，AUC在[0.3%-28.56%]的范围内，平衡精度在[3.4%-21.4%]的范围内，gmean为4.8%~ 45%，回忆率为7.4%~ 85.5%。
2022-09-17 cs.AI cs.LG
Fair for a few: Improving Fairness in Doubly Imbalanced Datasets
Leibniz Supercomputing Centre (LRZ)（莱比锡超算中心）
针对标签和敏感属性群体均不平衡的双重不平衡数据集去偏效果差的问题，本文通过探索性分析明确其局限性，提出多准则方案以兼顾公平性与分类准确率，优化采样及分布选择。
2025-06-17 cs.CY cs.LG
Enhancing IoT-Botnet Detection using Variational Auto-encoder and Cost-Sensitive Learning: A Deep Learning Approach for Imbalanced Datasets
School of Engineering and Information Technology（工程与信息技术学院）；University of New South Wales（新南威尔士大学）
本文针对物联网僵尸网络检测中不平衡数据导致少数类攻击漏检的问题，提出结合变分自编码器与代价敏感学习的轻量级深度学习方法，并在多分类场景下验证了DNN和BLSTM模型的有效性。
2025-04-26 cs.AI cs.LG
Optimized Deferral for Imbalanced Settings
Google Research（谷歌研究）；Courant Institute of Mathematical Sciences（Courant数学科学研究所）
本文研究了在专家不平衡情况下两阶段学习延迟方法，提出新的成本敏感学习算法MILD，通过改进损失函数和保障机制，提升了图像分类和LLM路由任务的性能。
2026-08-13 cs.LG stat.ML
SelectNet: Learning to Sample from the Wild for Imbalanced Data Training
National University of Singapore（新加坡国立大学）；University of Chicago（芝加哥大学）
从具有不平衡类大小的训练数据中进行监督学习是异常/欺诈检测等实际应用中经常遇到的场景，长期以来一直被认为是机器学习中的重大挑战。受课程和自定进度学习的最新进展的启发，我们建议通过训练深度神经网络（称为SelectNet）来采用半监督学习范式，以选择性地将未标记的数据及其预测标签添加到训练数据集中。与现有的技术不同，这些技术旨在解决处理类别不平衡的训练数据（如恢复、成本敏感学习和基于边缘的学习）的困难，SelectNet提供了一种端到端的方法，用于从“野外”的重要未标记数据中学习，这些数据很可能属于训练数据中的欠采样类别，从而逐渐减轻用于训练分类器的数据中的不平衡。我们通过对计算机视觉中标准数据集的大量数值实验证明了SelectNet的有效性。
2019-05-23 cs.LG stat.ML
MEBoost: Mixing Estimators with Boosting for Imbalanced Data Classification
United International University（联合国际大学）
类不平衡问题是机器学习和数据采掘领域中的一个具有挑战性的研究问题。几种现有的机器学习算法试图通过正确识别多数类样本而忽略少数类来最大化分类精度。然而，少数类实例的概念通常代表比多数类更高的兴趣。最近，一些成本敏感的方法，集成模型和抽样技术已被用于文献中，以分类不平衡的数据集。在本文中，我们提出了MEBoost，一个新的不平衡数据集的提升算法。MEBoost将两种不同的弱学习器与boosting混合在一起，以提高不平衡数据集的性能。MEBoost是现有技术（如SMOTEBoost，RUSBoost，Adaboost等）的替代方案。MEBoost的性能已在12个基准不平衡数据集上进行了评估，这些数据集采用了最先进的集成方法，如SMOTEBoost，RUSBoost，Easy Ensemble，EUSBoost，DataBoost。实验结果表明，MEBoost算法在处理不平衡数据集方面有明显的改进，是一种有效的、有前途的算法。Python版本的代码可以在这里找到：https://github.com/farshidrayhanuiu/
2018-01-13 cs.LG stat.ML
CUSBoost: Cluster-based Under-sampling with Boosting for Imbalanced Classification
United International University（联合国际大学）
类不平衡分类是数据采掘和机器学习中的一个具有挑战性的研究问题，因为大多数现实生活中的数据集往往是不平衡的。现有的学习算法通过正确分类多数类而最大化分类精度，但是错误分类少数类。然而，在现实生活中的应用程序中，少数类实例比多数类实例更感兴趣地表示概念。最近，一些技术的基础上的抽样方法（欠采样的多数类和过采样的少数类），成本敏感的学习方法，集成学习已被用于在文献中分类不平衡的数据集。在本文中，我们介绍了一种新的基于聚类的欠采样方法与升压（AdaBoost）算法，称为ADABoost，有效的不平衡分类。该算法提供了一种替代RUSBoost（随机欠采样与AdaBoost）和SMOTEBoost（合成少数过采样与AdaBoost）算法。我们使用基于集成学习的最先进的方法，如AdaBoost，RUSBoost，SMOTEBoost，在13个具有不同不平衡率的不平衡二进制和多类数据集上评估了RUSBoost算法的性能。实验结果表明，该算法是一种有效的处理高度不平衡数据集的方法。
2017-12-12 cs.LG stat.ML
Functional Random Forest with Adaptive Cost-Sensitive Splitting for Imbalanced Functional Data Classification
Fahad Mostafa School of Mathematical and Natural Sciences, Arizona State University, USA（法哈德·莫斯塔法 数学与自然科学学院，亚利桑那州立大学）；Hafiz Khan Department of Public Health, Julia Jones Matthews School of Population and Public Health, Texas Tech Health Sciences Center, USA（哈菲兹·汗 公共卫生部，朱莉亚·琼斯·马修斯流行病学与公共卫生学院，德克萨斯技术健康科学中心）
本文提出了一种针对不平衡功能数据分类的新型方法FRF-ACS，通过自适应成本敏感分裂和混合采样策略提升少数类检测性能。
2025-12-02 cs.AI cs.LG stat.AP
The SAMME.C2 algorithm for severely imbalanced multi-class classification
Towson University（陶森大学）；University of Connecticut（康涅狄格大学）
分类预测建模涉及将数据集中的观测值准确分配给目标类别或类别。有一个现实世界的分类问题，严重不平衡的类分布的增长。在这种情况下，少数类比多数类有更少的观察来学习。尽管这种稀疏性，少数类通常被认为是更有趣的类，但开发适合观察的科学学习算法带来了无数的挑战。在这篇文章中，我们提出了一种新的多类分类算法，专门处理严重不平衡的类的基础上，我们称为SAMME. C2的方法。它融合了SAMME算法（一种多类分类器）和Ada.C2算法（一种成本敏感的二进制分类器，旨在解决高度类不平衡问题）的增强技术的灵活机制。我们不仅提供了由此产生的算法，但我们也建立了我们提出的SAMME. C2算法的科学和统计公式。通过数值实验研究不同程度的分类器的难度，我们证明了我们提出的模型一致的优越性能。
2021-12-30 cs.LG stat.ML
Deep Reinforcement Learning for Imbalanced Classification
South China University of Technology（华南理工大学）
实际应用中的数据往往呈现出倾斜的类分布，这对机器学习提出了严峻的挑战。传统的分类算法在数据分布不平衡的情况下是无效的，并且当数据分布高度不平衡时可能失败。为了解决这个问题，我们提出了一种基于深度强化学习的通用不平衡分类模型。我们将分类问题描述为一个顺序决策过程，并通过深度Q学习网络解决它。代理在每个时间步对一个样本执行分类操作，环境评估分类操作并向代理返回奖励。来自少数类样本的奖励更大，因此代理对少数类更敏感。在特定的奖励函数和有利的学习环境的指导下，智能体最终在不平衡数据中找到最优分类策略。实验结果表明，该模型的分类性能优于其他不平衡分类算法，能够识别出更多的少数样本，具有良好的分类性能。
2019-01-05 cs.AI cs.LG stat.ML
GenSample: A Genetic Algorithm for Oversampling in Imbalanced Datasets
UCLA（加州大学洛杉矶分校）
不平衡的数据集无处不在。不平衡数据集上的分类性能通常对于少数类是差的，因为分类器不能很好地学习决策边界。然而，在欺诈检测、医疗诊断和垃圾邮件识别等敏感应用中，对少数实例进行正确分类是极其重要的。在本文中，我们提出了一种新的技术的基础上，遗传算法，GenSample，过采样的少数类不平衡数据集。GenSample通过考虑学习该示例的难度以及通过过采样实现的性能改善来决定对少数示例的过采样率。该技术在分类器的性能开始恶化时终止过采样过程。因此，它只在获得性能提升时才产生合成数据。该算法在9个不同大小和不平衡比率的真实不平衡数据集上进行了测试。它在9个数据集中的8个数据集上获得了最高的F-Score，证实了与其他现有方法相比，它能够更好地处理不平衡数据。
2019-10-23 cs.LG cs.NE stat.ML
Influence-Balanced Loss for Imbalanced Visual Classification
Seoul National University（首尔大学）；ASRI（ASRI（首尔大学先进科学技术研究所））
在本文中，我们提出了一种平衡训练方法来解决不平衡数据学习中的问题。为此，我们推导出一个新的损失用于平衡训练阶段，消除样本的影响，导致过拟合的决策边界。所提出的损失有效地提高了任何类型的不平衡学习方法的性能。在多个基准数据集上的实验中，我们证明了我们的方法的有效性，并揭示了所提出的损失优于最先进的成本敏感损失方法。此外，由于我们的损失不限于特定的任务、模型或训练方法，因此它可以很容易地与其他最近的重采样、元学习和成本敏感学习方法结合使用，以解决类不平衡问题。
2021-10-06 cs.CV cs.LG
AutoBalance: Optimized Loss Functions for Imbalanced Data
University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
不平衡数据集在现代机器学习问题中很常见。具有敏感属性的代表性不足的类或组的存在导致对泛化和公平性的关注。大容量深度网络可以完美地拟合训练数据，并且在训练期间似乎实现了完美的准确性和公平性，但在测试期间表现不佳，这一事实进一步加剧了这种担忧。为了应对这些挑战，我们提出了AutoBalance，这是一个双层优化框架，可以自动设计训练损失函数，以优化准确性和公平性目标的混合。具体而言，较低级别的问题训练模型权重，而较高级别的问题通过在验证数据上监视和优化所需目标来调整损失函数。我们的损失设计，使类/组的个性化治疗，采用参数交叉熵损失和个性化的数据增强计划。我们评估我们的方法的应用场景的不平衡和组敏感的分类的好处和性能。广泛的实证评估证明了AutoBalance优于最先进方法的优势。我们的实验结果补充了理论上的见解损失函数设计和训练验证分裂的好处。所有代码都是开源的。
2022-01-04 cs.LG
A Cost-Sensitive Transformer Model for Prognostics Under Highly Imbalanced Industrial Data
Stockholm University（斯德哥尔摩大学）；K. N. Toosi University of Technology（霍加·纳赛尔·图西理工大学）；University of Tehran（德黑兰大学）；Scania CV（斯堪尼亚汽车公司）
本文提出一种集成混合重采样和回归插补的成本敏感Transformer模型，有效解决工业数据缺失与类别不平衡问题，显著提升了故障预测性能。
2024-01-16 cs.AI cs.LG
Cost Sensitive GNN-based Imbalanced Learning for Mobile Social Network Fraud Detection
National Digital Switching System Engineering and Technological Research Center（国家数字交换系统工程技术研究中心）；University of Toronto（多伦多大学）；Fudan University（复旦大学）
随着移动网络的快速发展，人们的社交活动得到了极大的便利。然而，移动社交网络欺诈在这些网络上的兴起，已经造成了很大的困扰，在耗尽个人和社会财富的情况下，然后可能造成重大的经济损害。为了检测欺诈用户，描绘移动网络中用户的社交行为的呼叫详细记录（CDR）数据已经被广泛利用。但是，上述数据中的不平衡问题，这可能会严重阻碍基于图神经网络（GNN）的欺诈检测器的有效性，在以前的工作中几乎没有解决。本文将代价敏感学习与图神经网络相结合，提出了一种新的代价敏感图神经网络（CSGNN）。我们对两个开源的真实移动网络欺诈数据集进行了广泛的实验。实验结果表明，CSGNN能有效地解决图的不平衡问题，从而获得比现有算法更好的检测性能。我们相信我们的研究可以应用到解决其他领域的图不平衡问题。CSGNN代码和数据集可在https://github.com/xxhu94/CSGNN上公开获取。
2023-03-28 cs.AI cs.LG cs.SI
VOS: a Method for Variational Oversampling of Imbalanced Data
类不平衡数据集在现实世界的应用中很常见，从信用卡欺诈检测到罕见疾病诊断。几种流行的分类算法假设类是近似平衡的，因此建立了相应的目标函数，以最大限度地提高整体准确率。在这些情况下，优化整体准确性将导致对大多数类的高度倾斜预测。此外，由误报（阳性样本被错误地分类为阴性）导致的负面业务影响可能是有害的。已经提出了许多方法来解决类不平衡问题，包括过采样方法、欠采样方法和成本敏感方法。在本文中，我们考虑过采样方法，其目的是增加原始数据集与综合创建的少数类的意见。特别是，受生成建模技术（例如，变分推断和生成对抗网络），我们介绍了一种新的基于变分自编码器的过采样技术。我们的实验表明，与传统的过采样方法相比，新方法在增强下游分类任务的数据集方面更优越。
2018-09-07 cs.LG stat.ML
A Hybrid Approach for Binary Classification of Imbalanced Data
National Taiwan University（台湾大学）；National Taiwan University Hospital（台湾大学医院）
具有不平衡数据集的二进制分类具有挑战性。模型倾向于认为所有样本都属于多数类。虽然现有的解决方案，如抽样方法，成本敏感的方法，集成学习方法改善了少数类的准确性差，这些方法是有限的过拟合问题或成本参数，难以决定。我们提出了HADR，这是一种具有降维的混合方法，包括数据块构建，降维和集成学习与深度神经网络分类器。我们在召回率，G均值和AUC方面评估了八个不平衡的公共数据集的性能。结果表明，我们的模型优于国家的最先进的方法。
2022-07-07 cs.LG
Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support: A Multi-Domain Benchmark
Boston University（波士顿大学）；University of California（加利福尼亚大学）；University of Maryland（马里兰大学）
该研究针对高风险决策系统的类别不平衡与非对称代价问题，通过多领域基准测试对比多种共形预测及弃权机制，发现Mondrian CP可显著提升少数类覆盖，结合代价控制弃权能降低预期决策代价，为相关系统部署提供实用指导。
2026-07-30 cs.AI cs.LG
Evaluating resampling methods on a real-life highly imbalanced online credit card payments dataset
Lusis（Lusis公司）
任何基于机器学习的信用卡欺诈检测的各种问题都来自于交易数据集的不平衡方面。事实上，与常规交易的数量相比，欺诈的数量是微不足道的，并且已被证明会损害学习性能，例如，在最坏的情况下，算法可以学习将所有交易分类为常规交易。恢复方法和成本敏感的方法被认为是很好的候选人，以利用这个问题的不平衡的数据集。本文评估了许多国家的最先进的resception方法在一个大型的现实生活中的在线信用卡支付数据集。我们表明，他们是低效的，因为方法是棘手的，因为指标没有表现出实质性的改善。我们的工作对这一领域的贡献在于：（1）我们在大规模数据集上比较了许多最先进的resception方法;（2）我们使用了真实的在线信用卡支付数据集。
2022-06-27 cs.LG
IMBENS: Ensemble Class-imbalanced Learning in Python
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Jilin University（吉林大学）
imbalanced-ensemble，缩写为imbens，是一个开源Python工具箱，用于利用集成学习的力量来解决类不平衡问题。它提供了流行的集成不平衡学习（EIL）方法的标准实现，具有扩展的功能和效用函数。这些集成方法包括基于重采样的，例如，欠采样/过采样，以及基于重新加权，例如，成本敏感的学习除了实现之外，我们还为EIL算法提供了新的功能，如可定制的rescue调度器和详细日志记录，从而实现了更灵活的训练和评估策略。该软件包是在一个简单的、文档齐全的API设计下开发的，该设计遵循scikit-learn，以提高易用性。imbens是在MIT开源许可下发布的，可以从Python包索引（PyPI）或https://github.com/ZhiningLiu1998/imbalanced-ensemble安装。
2023-02-23 cs.AI cs.LG
PROTOCOL: Partial Optimal Transport-enhanced Contrastive Learning for Imbalanced Multi-view Clustering
Shanghai Key Laboratory of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University, China（上海智能信息处理实验室，计算机科学与人工智能学院，复旦大学）；College of Computer Science and Technology, Qingdao University, China（计算机科学与技术学院，青岛大学）；Shanghai Key Laboratory of Navigation and Location-based Services, School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, China（上海导航与位置服务实验室，电子信息与电气工程学院，上海交通大学）；Institute of Science and Technology for Brain-Inspired Intelligence and Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence, Fudan University, China（脑启发智能科学技术研究院和计算神经科学与脑启发智能重点实验室，复旦大学）
针对现有对比多视图聚类隐含类别均衡假设、在真实不平衡多视图数据上性能下降的问题，提出PROTOCOL框架，通过部分最优传输建模不平衡分布、结合双层再平衡对比学习强化少数类表征，显著提升不平衡多视图聚类性能。
2025-06-14 cs.LG stat.ML
Iterative Nearest Neighborhood Oversampling in Semisupervised Learning from Imbalanced Data
Dalian University of Technology（大连理工大学）
基于Transductive图的半监督学习方法通常利用标记和未标记样本作为顶点来构建无向图。这些方法将标记样本的标签信息通过相邻样本的边缘传播到相邻样本，从而得到未标记样本的预测标签。大多数流行的半监督学习方法对不平衡标记数据集的初始标记分布敏感。在不平衡的分类中，大多数类将严重倾斜类边界。在本文中，我们提出了一种简单而有效的方法来减轻不平衡问题的不利影响，通过迭代选择一些未标记的样本，并将它们添加到少数类，形成一个平衡的标记数据集的学习方法之后。在UCI数据集和MNIST手写数字数据集上的实验表明，该方法的性能优于现有的其他方法。
2013-12-24 cs.LG
FedSat: A Statistical Aggregation Approach for Class Imbalanced Clients in Federated Learning
Indian Institute of Technology Patna（印度理工学院巴特那分校）
FedSat通过预测敏感损失函数和基于优先类别的加权聚合方案，同时解决联邦学习中标签偏斜、缺失类别和数量偏斜三类数据异构问题，实验表明其性能显著优于现有基线并具有更快收敛速度。
2024-12-30 cs.LG
ART: Adaptive Resampling-based Training for Imbalanced Classification
School of Computer Science and Engineering, Vellore Institute of Technology（计算机科学与工程学院，维洛雷理工学院）
ART通过自适应重采样方法提升不平衡分类性能，有效优化类别层面的学习难度，实现宏F1指标的显著提升。
2026-02-15 cs.AI cs.LG stat.ML
Adaptive Cost-Sensitive Learning in Neural Networks for Misclassification Cost Problems
Bar-Ilan University（巴伊兰大学）
我们设计了一个新的自适应学习算法的误分类成本问题，试图减少成本的误分类实例的各种错误的后果。我们的算法（自适应成本敏感学习- AdaCSL）自适应地调整损失函数，使得分类器桥接训练和测试数据集中具有相似预测概率的样本的子组之间的类分布之间的差异（即，局部训练-测试类分布不匹配）。我们提供了一些理论上的性能保证所提出的算法，并提出经验证据表明，一个深神经网络与建议的AdaCSL算法产生更好的成本结果的几个二进制分类数据集，类不平衡和类平衡的分布相比，其他替代方法。
2021-11-14 cs.LG stat.ML
Review of Methods for Handling Class-Imbalanced in Classification Problems
Amity University（阿米提大学）
使用倾斜或不平衡的数据集学习分类器有时会导致分类问题;这是一个严重的问题。在某些情况下，一个类别包含大多数示例，而另一个类别通常是更重要的类别，但由较小比例的示例表示。使用这种数据可能会使许多精心设计的机器学习系统变得无效。高训练保真度是一个术语，用于描述与类的所有其他实例相比的偏差。解决这个问题的所有可能补救措施的最佳方法通常是从少数群体中获益。本文研究了解决类不平衡学习问题的最广泛使用的方法，包括数据级，算法级，混合，成本敏感学习和深度学习等，包括它们的优点和局限性。分类器的效率和性能使用无数的评估指标进行评估。
2022-11-10 cs.LG
Efficient Augmentation for Imbalanced Deep Learning
University of Notre Dame（圣母大学）；National Research Council of Canada（加拿大国家研究委员会）；Virginia Commonwealth University（弗吉尼亚联邦大学）
深度学习模型倾向于记忆训练数据，这会损害它们推广到代表性不足的类的能力。我们实证研究了卷积神经网络对不平衡图像数据的内部表示，并测量了模型在训练集和测试集中的特征嵌入之间的泛化差距，结果表明少数类的差距更大。这种见解使我们能够为不平衡数据设计一个有效的三阶段CNN训练框架。该框架涉及在不平衡数据上训练网络端到端以学习准确的特征嵌入，在学习的嵌入空间中执行数据增强以平衡训练分布，以及在嵌入的平衡训练数据上微调分类器头。我们提出了扩展过采样（EOS）作为一种数据增强技术，用于训练框架。EOS将合成训练实例形成为嵌入空间中少数类样本与其最近敌人之间的凸组合，以减少泛化间隙。所提出的框架提高了领先的成本敏感和rescovery方法中常用的不平衡学习的准确性。此外，它比标准的数据预处理方法（如SMOTE和基于GAN的过采样）更有效，因为它需要更少的参数和更少的训练时间。
2022-10-17 cs.LG
Understanding CNN Fragility When Learning With Imbalanced Data
University of Notre Dame（圣母大学）；U.S. Naval Research Laboratory（美国海军研究实验室）；National Research Council of Canada（加拿大国家研究委员会）
卷积神经网络（CNN）在不平衡的图像数据上取得了令人印象深刻的结果，但它们仍然难以推广到少数类别，并且它们的决策难以解释。这些问题是相关的，因为CNN推广到少数类的方法需要改进，它被包装在一个黑盒子里。为了揭开CNN对不平衡数据的决策的神秘面纱，我们关注它们的潜在特征。虽然CNN将从训练集学习的模式知识嵌入到模型参数中，但这些知识的影响包含在特征和分类嵌入（FE和CE）中。这些嵌入可以从经过训练的模型及其全局类属性（例如，频率、幅度和身份）可以被分析。我们发现，关于神经网络推广到少数民族类的能力的重要信息驻留在类top-K CE和FE。我们表明，一个CNN学习有限数量的类top-K CE每个类别，他们的数量和幅度根据是否相同的类是平衡或不平衡。这就提出了一个问题，即CNN是否已经学习了内在的类特征，或者仅仅是采样类分布中碰巧存在的频繁出现的特征。我们还假设潜在的类的多样性是重要的类的例子，这对重新采样和成本敏感的方法有重要的影响。这些方法通常专注于重新平衡模型权重，类别数量和边缘;而不是通过增强来使类别潜在特征多样化。我们还证明，如果前K个潜在特征的大小与训练集不匹配，则CNN很难推广到测试数据。我们使用三个流行的图像数据集和两个成本敏感的算法，通常用于我们的实验不平衡学习。
2022-10-17 cs.CV cs.LG
Cost-Sensitive Feature Selection by Optimizing F-Measures
Peking University（北京大学）；University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
特征选择通过从高维特征中提取信息子集，有利于提高一般机器学习任务的性能。传统的特征选择方法通常忽略了类别不平衡的问题，因此选择的特征会偏向于大多数类别。考虑到F-测度是一种比准确度更合理的非平衡数据的性能度量，本文提出了一种有效的特征选择算法，通过优化F-测度来解决类别不平衡问题。由于F-测度优化问题可以分解为一系列代价敏感的分类问题，本文在严格的理论指导下，通过对每个类生成和分配不同的代价，研究了代价敏感的特征选择问题。在解决了一系列代价敏感的特征选择问题后，将选择与最佳F-测度相对应的特征。这样，所选特征将完全代表所有类的属性。在流行的基准测试和具有挑战性的真实数据集上的实验结果表明，代价敏感的特征选择对于不平衡数据集的重要性，验证了所提方法的有效性。
2019-04-04 cs.CV cs.LG
Primal Estimated Subgradient Solver for SVM for Imbalanced Classification
本研究提出代价敏感PEGASOS SVM，在不平衡数据集（比率8.6:1至130:1）上验证性能，通过学习曲线和验证曲线诊断过拟合/欠拟合，并扩展Ding的工作引入核函数，使用Python实现。该研究旨在提供比SMOTE计算强度更低的方法。
2023-11-09 cs.LG stat.AP
Weakly Supervised-Based Oversampling for High Imbalance and High Dimensionality Data Classification
Tsinghua University（清华大学）
随着工业数据集的日益丰富，不平衡分类问题已成为许多应用领域的普遍问题。过采样是解决不平衡分类问题的一种有效方法。现有过采样方法的主要挑战之一是准确标记新的合成样本。合成样本的不准确标签会扭曲数据集的分布，并可能恶化分类性能。本文引入弱监督学习的思想来处理传统过采样方法造成的合成样本标记不准确的问题。为了提高合成样本标签的可信度，提出了图半监督SMOTE算法。此外，我们提出了成本敏感的邻域成分分析的高维数据集和自举集成框架高度不平衡的数据集。该方法在8个合成数据集和3个真实数据集上取得了良好的分类性能，尤其是对高不平衡和高维问题。平均性能和鲁棒性优于基准方法。
2020-10-06 cs.LG stat.ML
Bayes Imbalance Impact Index: A Measure of Class Imbalanced Dataset for Classification Problem
Hong Kong Baptist University（香港浸会大学）；University of Macau（澳门大学）
最近的研究表明，不平衡率不是导致分类器在不平衡数据分类中性能损失的唯一原因。事实上，其他数据因素，如小析取、噪声和重叠，也与不平衡比一起起作用，这使得问题变得困难。到目前为止，实证研究仅证明了失衡率与其他数据因素之间的关系。据我们所知，目前还没有任何关于类不平衡对不平衡数据分类性能影响程度的度量。此外，对于数据集来说，哪个数据因素实际上是分类的主要障碍也是未知的。本文以贝叶斯最优分类器为研究对象，从理论上研究了类不平衡对分类器性能的影响。因此，我们提出了一个实例措施称为个人贝叶斯不平衡影响指数（$IBI^3$）和贝叶斯不平衡影响指数（$BI^3$）的数据措施。$IBI^3$和$BI^3$分别反映了各少数类样本和整个数据集的不平衡因素的影响程度。因此，$IBI^3$可以用作不平衡的实例复杂性度量，而$BI^3$是显示不平衡如何使分类恶化的程度的标准。因此，我们可以使用$BI^3$来判断是否值得使用采样或成本敏感方法等不平衡恢复方法来恢复分类器的性能损失。实验结果表明，在合成数据集和真实基准数据集上，$IBI^3$与不平衡恢复方法提高的预测得分高度一致，$BI^3$与不平衡恢复方法提高的F1得分高度一致.
2019-01-29 cs.LG stat.ML
Random CapsNet Forest Model for Imbalanced Malware Type Classification Task
T. C. Kadir Has University（卡迪尔哈斯大学）
恶意软件的行为根据恶意软件类型而变化。因此，了解恶意软件的类型会影响系统保护软件的策略。许多由机器和深度学习授权的恶意软件类型分类模型实现了预测恶意软件类型的卓越准确性。基于机器学习的模型需要进行大量的特征工程，而特征工程是影响模型性能的主要因素。另一方面，基于深度学习的模型比基于机器学习的模型需要更少的特征工程。然而，传统的深度学习架构和组件导致非常复杂和数据敏感的模型。与经典的卷积神经网络架构不同，胶囊网络架构最大限度地降低了这种复杂性和数据敏感性。提出了一种基于自举聚集技术的集成胶囊网络模型。该方法在两个恶意软件数据集上进行了测试，其最先进的结果是众所周知的。
2020-08-23 cs.CR cs.CV cs.LG
Enhancement Encoding: A Novel Imbalanced Classification Approach via Encoding the Training Labels
School of Information Science and Engineering（信息科学与工程学院）；Shandong University（山东大学）
类不平衡，也称为长尾分布，是基于机器学习的分类任务中常见的问题。如果发生这种情况，少数数据将被大多数数据淹没，这对数据科学提出了相当大的挑战。为了解决类不平衡问题，研究人员提出了很多方法：一些人使数据集平衡（SMOTE），一些人改进损失函数（Focal Loss），甚至有人注意到标签的值影响类不平衡学习（Yang和Xu）。重新思考标签对改善班级不平衡学习的价值。在NeurIPS 2020中），但还没有人改变对数据标签进行编码的方式。目前，最流行的标签编码技术是独热编码，因为它在一般情况下具有良好的性能。然而，对于不平衡的数据，它不是一个好的选择，因为分类器将平等地对待多数和少数样本。本文创新性地提出了针对非平衡分类的增强编码技术。增强编码结合了重加权和成本敏感性，可以反映硬类和易类（或少数类和多数类）之间的差异。为了减少验证样本的数量和计算成本，我们还将混淆矩阵替换为一种新的软混淆矩阵，该矩阵在较小的验证集下效果更好。在实验中，我们评估了增强编码与三种不同类型的损失。结果表明，增强编码对提高非平衡数据训练网络的性能是非常有效的。特别是在少数民族班级的表现更好。
2023-03-28 cs.LG
RDEC: Integrating Regularization into Deep Embedded Clustering for Imbalanced Datasets
Toshiba Corporation（东芝公司）
聚类是一项基本的机器学习任务，可以用于许多应用中。随着深度神经网络（DNNs）的发展，将其与聚类技术相结合成为一个新的研究方向，并取得了一定的成功。然而，很少有研究集中在不平衡的数据问题，经常发生在现实世界中的应用。在本文中，我们提出了一种聚类方法，正则化深度嵌入聚类（RDEC），它集成了虚拟对抗训练（VAT），一种网络正则化技术，以及一种称为深度嵌入聚类（DEC）的聚类方法。DEC通过在潜在空间中的质心周围更密集地推送数据来优化聚类分配，但它有时对质心的初始位置很敏感，特别是在不平衡数据的情况下，其中次要类很少有机会被分配一个好的质心。RDEC使用VAT引入正则化，以确保模型对数据局部扰动的鲁棒性。VAT将原始空间中相似的数据推到潜在空间中，将次要类别的数据聚集在一起，从而便于RDEC进行聚类识别。结合DEC和VAT的优势，RDEC在平衡和不平衡基准/真实世界数据集上都达到了最先进的性能。例如，在MNIST数据集上的准确率高达98.41%，在来自MNIST的高度不平衡数据集上的准确率为85.45%，比当前最佳结果高出近8%。
2018-12-06 cs.LG
Hybrid Ensemble optimized algorithm based on Genetic Programming for imbalanced data classification
Islamic Azad University（伊斯兰阿扎德大学）
当前数据采掘领域最重要的讨论之一是对不平衡数据进行分类。近年来，提出了几种方法，如算法级（内部）方法，数据级（外部）技术和成本敏感的方法。尽管人们对不平衡数据分类进行了广泛的研究，但仍存在一些未解决的问题，如不考虑样本对平衡的重要性，确定合适的分类器数量，以及在分类器组合中没有对分类器进行优化。本文的目的是提高集成方法在训练数据集的采样效率，特别是在少数类中，并确定比现有方法更好的用于组合分类器的基本分类器。提出了一种基于遗传编程（GP）的混合集成算法，用于两类不平衡数据分类。在这项研究中，使用UCI机器学习存储库的历史数据来评估不平衡数据集中的少数类。我们所提出的算法的性能评估Rapid-Miner工作室V.7.5。实验结果表明，该方法在指定数据集上的性能在训练集大小上分别比其他维度的少数类预测准确率高出40%和50%。
2021-06-02 cs.LG cs.NE
Imbalanced Class Data Performance Evaluation and Improvement using Novel Generative Adversarial Network-based Approach: SSG and GBO
University of Oklahoma（俄克拉荷马大学）；Islamic University（伊斯兰大学）
数据集中的类不平衡是一个主要的挑战，它会显著影响机器学习模型的性能，导致有偏见的预测。已经提出了许多技术来解决类不平衡问题，包括但不限于过采样、欠采样和成本敏感方法。由于其生成合成数据的能力，过采样技术（如合成少数过采样技术（SMOTE））是研究人员最广泛使用的方法之一。然而，SMOTE的一个潜在缺点是新创建的次要样本可能与主要样本重叠。作为一种效果，ML模型偏向主要类别的性能的概率增加了。最近，生成对抗网络（GAN）由于其能够创建几乎真实的样本而受到广泛关注。然而，GAN虽然有很大的潜力，但却很难进行训练。本研究提出两种新的技术：基于GAN的过采样（GBO）和支持向量机-SMOTE-GAN（SSG），以克服现有过采样方法的局限性。初步计算结果表明，SSG和GBO在扩展的不平衡八个基准数据集上的性能优于原始SMOTE。该研究还表明，SSG生成的次要样本呈现高斯分布，这通常很难使用原始SMOTE实现。
2022-10-23 cs.LG
Cost-Sensitive Support Vector Machines
Shiraz University（设拉子大学）；University of California, San Diego（加州大学圣地亚哥分校）
提出了一种新的代价敏感支持向量机（CS-SVM）分类器的学习方法。SVM铰链损失扩展到成本敏感的设置，CS-SVM推导出作为相关风险的最小化。铰链损失的扩展利用了风险最小化和概率启发之间的最新联系。这些连接推广到成本敏感的分类，在某种程度上，保证与成本敏感的贝叶斯风险，和相关的贝叶斯决策规则的一致性。这确保了在新的铰链损失下，最优决策规则实现贝叶斯最优成本敏感分类边界。新的铰链损失最小化被证明是一个经典的SVM优化问题的推广，并可以通过相同的程序来解决。通过正则化理论和灵敏度分析，详细分析了CS-SVM的对偶问题，并对CS-SVM算法进行了验证。该算法还扩展到成本敏感的学习与示例相关的成本。提出了最小成本敏感风险作为性能度量，并通过向量优化将其与ROC分析相连接。由此产生的算法避免了以前的方法成本敏感的SVM设计的缺点，并被证明具有优越的实验性能，大量的成本敏感和不平衡的数据集。
2015-02-15 cs.LG stat.ML
iCost: A Novel Instance-Complexity-Based Cost-Sensitive Learning Framework
Islamic University of Technology (IUT)（伊斯兰科技大学）；Ahsanullah University of Science and Technology (AUST)（阿赫桑乌拉科技大学）；East West University（东西大学）
提出iCost框架，根据实例学习难度对少数类样本自适应惩罚，解决传统代价敏感学习统一惩罚导致的偏差问题，在65个二分类和10个多分类不平衡数据集上优于传统方法。
2026-06-29 cs.AI cs.LG
Robust Cost-Sensitive Learning for Recommendation with Implicit Feedback
推荐是根据用户过去的反馈，通过个性化推荐来改善客户体验的任务。在本文中，我们调查最常见的情况下：用户项目（U-I）矩阵的隐式反馈。尽管许多推荐方法是基于隐式反馈设计的，但它们试图将U-I矩阵投影到低秩潜在空间中，这是一个严格的限制，在实践中很少成立。此外，虽然不平衡类的误分类成本有很大不同，但很少有方法考虑分类错误的成本。为了解决上述问题，我们提出了一个鲁棒的框架，通过将U-I矩阵分解为两个部分：（1）一个低秩矩阵，捕获共同的偏好，和（2）一个稀疏矩阵，检测个人的用户特定的偏好。一个成本敏感的学习模型嵌入到框架中。具体而言，该模型利用了观测实例和未观测实例的损失函数中的不同成本。我们表明，由此产生的非光滑凸目标可以有效地优化加速投影梯度方法与封闭形式的解决方案。此外，该算法可以扩展到大规模的数据集后放松。理论结果表明，即使在U-I矩阵$M\in\mathbb{R}^{n\times m}$中有一小部分1，所提出的模型的成本敏感误差的上界为$O(\fracα{\sqrt{mn}})$，其中$α$是对不平衡类的偏差。最后，进行了大量的实验来评估我们提出的算法的有效性。令人鼓舞的实验结果表明，我们的算法优于几个国家的最先进的算法在基准推荐数据集。
2017-07-20 cs.IR cs.LG stat.ML
On multi-class learning through the minimization of the confusion matrix norm
CNRS（法国国家科学研究中心）
在不平衡的多类分类问题中，误分类率作为一个错误的措施可能不是一个相关的选择。已经开发了几种方法，其中的性能指标保留更丰富的信息比单纯的误分类率：误分类成本，基于ROC的信息，等等。按照这种想法处理替代措施的性能，我们建议使用一个新的措施来解决不平衡的分类问题进行优化：规范的混淆矩阵。事实上，最近的结果表明，使用混淆矩阵的范数作为错误度量可能是非常有趣的，因为矩阵中包含的细粒度信息，特别是在不平衡类的情况下。然后，我们的第一个贡献在于表明，基于混淆矩阵的优化标准产生了一个共同的背景成本敏感的方法，旨在处理不平衡类学习问题。作为我们的第二个贡献，我们提出了一个扩展的最近的多类提升方法-即AdaBoost.MM -不平衡类问题，通过greetly最小化混淆矩阵的经验范数。所提出的方法的属性的理论分析，而实验结果说明了该算法的行为，并显示与其他方法相比，该方法的相关性。
2013-11-03 cs.LG
On the Implicit Geometry of Cross-Entropy Parameterizations for Label-Imbalanced Data
University of British Columbia（不列颠哥伦比亚大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
各种logit调整参数化的交叉熵（CE）损失已被提出作为替代加权CE的标签不平衡数据远远超过零训练误差制度的训练大型模型。这些设计背后的驱动力是隐式偏差理论，对于线性（化）模型，它解释了为什么它们成功地在优化路径上诱导偏向少数群体的解决方案。为了将这一理论扩展到非线性模型，我们研究了通过不同CE参数化学习的分类器和嵌入的隐式几何。我们的主要结果描述了无约束特征模型的非凸成本敏感SVM分类器的全局最小值，该模型作为深度网络的抽象。我们推导出了分类器和嵌入的角度和范数作为类数、不平衡和少数比率以及损失超参数的函数的封闭形式公式。使用这些，我们表明，logit调整参数化可以适当调整，学习对称的几何形状，而不管不平衡比。我们通过实验和深度网络收敛精度的实证研究来补充我们的分析。
2023-03-14 cs.LG
An Instance Selection Algorithm for Big Data in High imbalanced datasets based on LSH
Universidad de Antioquia（安蒂奥基亚大学）；Universidad Politécnica de Madrid（马德里理工大学）
在真实环境中训练机器学习（ML）模型通常涉及大数据集和高级不平衡样本，其中感兴趣的类别未被表示（少数类别）。使用经典ML模型的实用解决方案使用训练算法的并行/分布式实现、基于模型的近似解决方案或应用实例选择（IS）算法来消除冗余信息来解决大型数据集的问题。然而，大型和高度不平衡数据集的组合问题却很少得到解决。这项工作提出了三种新的方法是能够处理大型和不平衡的数据集。所提出的方法使用局部敏感哈希（LSH）作为基本聚类技术，然后三种不同的采样方法应用于LSH生成的聚类（或桶）的顶部。这些算法是在Apache Spark框架中开发的，保证了它们的可扩展性。在三个不同的数据集上进行的实验表明，所提出的IS方法可以在几何平均值方面将基础ML模型的性能提高5%到19%。
2022-10-09 cs.DC cs.DS cs.LG
Highly Efficient Representation and Active Learning Framework and Its Application to Imbalanced Medical Image Classification
Samsung SDS Research America（三星SDS美国研究院）
我们提出了一个高数据效率的主动学习框架图像分类。我们的新框架结合了：（1）卷积神经网络的无监督表示学习和（2）高斯过程（GP）方法，依次实现高度数据和标签有效的分类。此外，这两个元素对普遍存在的具有挑战性的类不平衡问题不太敏感，这要归功于（1）在没有标签的情况下学习的特征和（2）GP的贝叶斯性质。GP提供的不确定性估计通过基于不确定性对样本进行排序并选择性地标记显示较高不确定性的样本来实现主动学习。我们将这种新的组合应用于COVID-19胸部X线分类和Nerthus结肠镜分类严重失衡的病例。我们只证明这一点。需要10%的标记数据才能达到训练所有可用标签的准确性。我们还将我们的模型架构和建议框架应用于更广泛的数据集类别，并取得了预期的成功。
2022-06-20 cs.CV cs.LG eess.IV
Improving the Robustness of Federated Learning for Severely Imbalanced Datasets
随着数据量的不断增加和深度神经网络的成功，分布式深度学习的研究变得越来越重要。实现这种分布式学习的两种常见方法是同步和异步权重更新。在本文中，我们探索了非常简单的同步权重更新机制。已经看到，随着工作节点数量的增加，性能急剧下降。这种效应已经在极端不平衡分类（例如离群值检测）的背景下进行了研究。在实际情况下，i.i.d.可能无法实现。还可能出现全局类不平衡的情况，如离群值检测，其中本地服务器接收严重不平衡的数据，并且可能无法从少数类中获得任何样本。在这种情况下，本地服务器中的DNN将完全偏向于它们接收的多数类。这将严重影响参数服务器的学习（实际上看不到任何数据）。已经观察到，在并行设置中，如果在参数服务器处使用现有的联合权重更新机制，则性能随着工作节点的数量的增加而急剧下降。这主要是因为，随着节点数量的增加，一个工作节点很有可能获得非常小的数据部分，要么不足以在不过度拟合的情况下训练模型，要么具有高度不平衡的类分布。因此，本章提出了一个解决这个问题的方法，引入自适应成本敏感的动量平均的概念。可以看出，对于所提出的系统，没有到最小的性能下降，而大多数其他方法在此之前达到了它们的最低性能。
2022-04-28 cs.LG
MCRAGE: Synthetic Healthcare Data for Fairness
Emory University（埃默里大学）；Rice University（莱斯大学）
针对医疗数据敏感属性不平衡导致模型对少数群体不公平的问题，提出MCRAGE方法，利用CDDPM生成高质量少数类合成EHR数据来增强数据集，有效降低下游模型偏见并提供了理论证明。
2024-03-20 cs.LG stat.ML
How Sensitive are Meta-Learners to Dataset Imbalance?
Heriot-Watt University（赫瑞-瓦特大学）；University of Edinburgh（爱丁堡大学）；SeeByte Ltd.（SeeByte有限公司）
元学习（ML）已被证明是一个有用的工具，用于训练少样本学习（FSL）算法，通过暴露于从元数据集中采样的批量任务。然而，标准的训练过程忽略了现实世界的动态特性，其中对象类可能以不同的频率出现。虽然人们普遍认为不平衡的任务会损害监督方法的性能，但还没有研究不平衡的元数据集对FSL评估任务的影响。这项研究揭示了这一问题的严重性和范围。我们的研究结果表明，ML方法对元数据集的不平衡比具有类似不平衡率（$ρ<20$）的任务级不平衡更鲁棒，即使在较大不平衡（$ρ=65$）的长尾数据集中也有效果。总的来说，这些结果突出了ML算法的隐含优势，能够在数据集不平衡和域转移的情况下学习可概括的特征。复制实验的代码是在开源许可证下发布的。
2021-04-12 cs.CV cs.LG
