ImGAGN:Imbalanced Network Embedding via Generative Adversarial Graph Networks
Southern University of Science and Technology（南方科技大学）；The University of Queensland（昆士兰大学）
图上的不平衡分类在许多现实世界的应用中普遍存在，但具有挑战性，例如欺诈节点检测。最近，图神经网络（GNNs）在许多网络分析任务中表现出了良好的性能。然而，大多数现有的GNN几乎只专注于平衡网络，并且在不平衡网络上会得到不吸引人的性能。为了弥合这一差距，在本文中，我们提出了一个生成对抗图网络模型，称为ImGAGN，以解决图上的不平衡分类问题。介绍了一种新的图结构数据生成器GraphGenerator，它通过生成一组合成的少数类节点来模拟少数类节点的属性分布和网络拓扑结构分布，使得不同类节点的数量能够均衡。然后，训练图卷积网络（GCN）来区分真实节点和伪节点（即，生成的）节点之间，以及合成平衡网络上的少数节点和多数节点之间。为了验证所提出的方法的有效性，进行了广泛的实验上的四个现实世界的不平衡网络数据集。实验结果表明，该方法ImGAGN优于国家的最先进的半监督不平衡节点分类任务的算法。
2021-06-05 cs.AI cs.LG
BuffGraph: Enhancing Class-Imbalanced Node Classification via Buffer Nodes
National University of Singapore（新加坡国立大学）
BuffGraph通过在图结构中插入缓冲节点来调节多数类影响，从而缓解类别不平衡节点分类中的偏差问题，并在多个数据集上取得优于现有方法的性能。
2024-02-20 cs.AI cs.LG
A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data
University of Dhaka（达卡大学）
针对联邦学习在非独立同分布数据上的精度与效率权衡问题，提出集中式和半集中式神经网络联邦学习系统，在五个基准数据集上取得满意性能。
2023-11-16 cs.AI cs.DC cs.LG
Cost Sensitive GNN-based Imbalanced Learning for Mobile Social Network Fraud Detection
National Digital Switching System Engineering and Technological Research Center（国家数字交换系统工程技术研究中心）；University of Toronto（多伦多大学）；Fudan University（复旦大学）
随着移动网络的快速发展，人们的社交活动得到了极大的便利。然而，移动社交网络欺诈在这些网络上的兴起，已经造成了很大的困扰，在耗尽个人和社会财富的情况下，然后可能造成重大的经济损害。为了检测欺诈用户，描绘移动网络中用户的社交行为的呼叫详细记录（CDR）数据已经被广泛利用。但是，上述数据中的不平衡问题，这可能会严重阻碍基于图神经网络（GNN）的欺诈检测器的有效性，在以前的工作中几乎没有解决。本文将代价敏感学习与图神经网络相结合，提出了一种新的代价敏感图神经网络（CSGNN）。我们对两个开源的真实移动网络欺诈数据集进行了广泛的实验。实验结果表明，CSGNN能有效地解决图的不平衡问题，从而获得比现有算法更好的检测性能。我们相信我们的研究可以应用到解决其他领域的图不平衡问题。CSGNN代码和数据集可在https://github.com/xxhu94/CSGNN上公开获取。
2023-03-28 cs.AI cs.LG cs.SI
An Efficient NAS-based Approach for Handling Imbalanced Datasets
School of Computer Science and Technology（计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
本文提出基于IMB-NAS的方法，通过神经架构搜索优化主干架构并冻结超网络、重训分类头来高效处理长尾不平衡数据集，降低计算成本并验证其有效性。
2024-06-22 cs.AI cs.LG
GraphMixup: Improving Class-Imbalanced Node Classification on Graphs by Self-supervised Context Prediction
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Zhejiang University（浙江大学）
近年来，图神经网络（GNNs）在处理节点分类任务方面取得了巨大成功。然而，大多数现有的GNN都是基于不同类别的节点样本是平衡的假设，而对于许多现实世界的图，存在类别不平衡的问题，即，某些类可能具有比其它类少得多的样本。在这种情况下，直接用原始数据训练GNN分类器将代表来自这些少数类别的样本，并导致次优性能。本文提出了GraphMixup，一种新的基于混合的框架，用于改善图上的类不平衡节点分类。然而，直接执行混合在输入空间或嵌入空间可能会产生域外的样本，由于少数类的极端稀疏性，因此，我们构建语义关系空间，允许在语义层面上执行的功能混合。此外，我们采用两种基于上下文的自监督技术来捕获图结构中的局部和全局信息，然后提出专门针对图数据的边缘混合。最后，我们开发了一个\emph{Reinforcement Mixup}机制，以自适应地确定有多少样本是由这些少数类的混合产生。在三个真实数据集上的广泛实验表明，GraphMixup对于类不平衡的节点分类任务产生了真正令人鼓舞的结果。
2021-06-21 cs.AI cs.LG
Synthetic ECG Signal Generation Using Generative Neural Networks
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Clemson University（克莱姆森大学）
心电图（ECG）数据集往往是高度不平衡的，由于异常情况的稀缺性。此外，由于隐私问题，使用真实患者的ECG受到高度管制。因此，总是需要更多的ECG数据，特别是用于自动诊断机器学习模型的训练，这些模型在平衡数据集上训练时表现更好。我们研究了生成对抗网络（GAN）家族中5种不同模型的合成ECG生成能力，并比较了它们的性能，重点是正常心动周期。动态时间规整（DTW），Fréchet和欧几里得距离函数被用来定量测量性能。提出并应用了五种不同的生成节拍的评价方法。我们还提出了三个新的概念（阈值，接受节拍和生产率），并采用它们与上述方法作为一个系统的方式进行比较模型。结果表明，所有测试模型都可以在一定程度上成功地批量生成具有高度相似性的形态特征的可接受心跳，并且所有这些模型都可以用于增强不平衡数据集。然而，对生成的心搏进行目视检查有利于BiLSTM-DC GAN和WGAN，因为它们产生的心搏在统计学上更可接受。此外，关于生产率，经典GAN是优越的72%的生产率。我们还设计了一个简单的实验与国家的最先进的分类器（ECGResNet 34）经验表明，合成ECG信号的不平衡数据集的增强可以显着提高分类的性能。
2022-08-24 cs.AI cs.LG
Enhancing IoT-Botnet Detection using Variational Auto-encoder and Cost-Sensitive Learning: A Deep Learning Approach for Imbalanced Datasets
School of Engineering and Information Technology（工程与信息技术学院）；University of New South Wales（新南威尔士大学）
本文针对物联网僵尸网络检测中不平衡数据导致少数类攻击漏检的问题，提出结合变分自编码器与代价敏感学习的轻量级深度学习方法，并在多分类场景下验证了DNN和BLSTM模型的有效性。
2025-04-26 cs.AI cs.LG
Cluster-guided Contrastive Class-imbalanced Graph Classification
Sichuan University（四川大学）；Peking University（北京大学）；University of Washington（华盛顿大学）；Huawei Hisilicon（华为海思）；Great Bay University（大湾区大学）
本文提出C$^3$GNN方法，通过将多数类聚类为多个子类并结合Mixup与有监督对比学习，缓解类别不平衡并充分挖掘多数类语义子结构，从而提升图分类性能。
2024-12-30 cs.AI cs.IR cs.LG
Automated Loss function Search for Class-imbalanced Node Classification
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；School of Cyber Engineering, Xidian University（西安电子科技大学网络与信息安全学院）；Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）
本文提出一种高性能、灵活且可泛化的损失函数自动搜索框架，用于解决类别不平衡节点分类问题，在15种图神经网络与数据集组合上显著优于现有方法，并发现图同质性有助于框架迁移。
2024-05-23 cs.AI cs.LG cs.SC
Augmentation Scheme for Dealing with Imbalanced Network Traffic Classification Using Deep Learning
Amirkabir University of Technology（阿米尔卡比尔理工大学）；K. N. Toosi University of Technology（托西科技大学）
网络管理中最重要的任务之一是识别不同类型的业务流。因此，引入了一种称为网络流量分类器（NTC）的管理服务。近年来获得巨大关注的一种类型的NTC对数据包应用深度学习以对流进行分类。互联网是一个不平衡的环境，某些类别的应用程序比其它类别的应用程序多得多（例如，HTTP.此外，深度学习方法中的一个挑战是，它们在不平衡的环境中，在精度、召回率和$\mathrm{F_1}$测量等评估指标方面表现不佳。为了解决这个问题，我们建议使用增强方法来平衡数据集。在本文中，我们提出了一种新的数据增强方法，该方法基于使用长短期记忆（LSTM）网络来生成交通流模式，并使用核密度估计（KDE）来复制每个类别的数值特征。首先，我们使用LSTM网络来学习和生成流中人口较少的类的数据包序列。然后，我们完成了序列的特征，根据某个特征的分布生成随机值，使用KDE进行估计。最后，我们比较了卷积递归神经网络（CRNN）在大规模不平衡，采样和增强数据集中的训练。然后，通过对每类应用程序的精确度、召回率和F1度量的测量，在所有数据集上评估我们的增强方案的贡献。结果表明，我们的计划是非常适合网络流量数据集，并提高了深度学习算法的性能，当涉及到上述指标。
2019-01-01 cs.AI cs.NI
Weed Recognition using Deep Learning Techniques on Class-imbalanced Imagery
Murdoch University（默多克大学）；Department of Primary Industries and Regional Development, Western Australia（西澳大利亚州初级产业与区域发展部）；University of South Australia（南澳大学）
大多数杂草物种通过竞争高价值作物所需的养分，对农业生产力产生不利影响。人工除草对于大面积的种植区是不切实际的。已经进行了许多研究来开发用于农作物的自动杂草管理系统。在这一过程中，一个主要的任务是从图像中识别杂草。然而，杂草识别是一项具有挑战性的任务。这是因为杂草和农作物在颜色、质地和形状上可能相似，而在记录图像时，成像条件、地理或天气条件会进一步加剧这一点。先进的机器学习技术可用于从图像中识别杂草。在本文中，我们研究了五种最先进的深度神经网络，即VGG 16，ResNet-50，Inception-V3，Inception-ResNet-v2和MobileNetV 2，并评估了它们在杂草识别方面的性能。我们使用了几个实验设置和多个数据集组合。特别是，我们通过组合几个较小的数据集构建了一个大型杂草作物数据集，通过数据增强减轻类不平衡，并使用该数据集对深度神经网络进行基准测试。我们研究了迁移学习技术的使用，通过保留预训练的权重来提取特征，并使用作物和杂草数据集的图像对其进行微调。我们发现VGG 16在小规模数据集上的表现优于其他网络，而ResNet-50在大型组合数据集上的表现优于其他深度网络。
2021-12-15 cs.AI cs.CV
CSAGC-IDS: A Dual-Module Deep Learning Network Intrusion Detection Model for Complex and Imbalanced Data
School of Cyber Science and Engineering, Southeast University, Nanjing , China（网络安全科学与工程学院，东南大学，南京，中国）
针对入侵检测中高维复杂流量与类别不平衡问题，本文提出集成SC-CGAN与CSCA-CNN的CSAGC-IDS模型，在NSL-KDD数据集上取得优异检测性能，并开展了可解释性分析。
2025-05-20 cs.AI cs.CR
Boost Neural Networks by Checkpoints
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；East China Normal University（华东师范大学）；Fuzhou Institute of Data Technology（福州数据技术研究院）
训练多个深度神经网络（DNN）并平均其输出是提高预测性能的一种简单方法。然而，成倍的训练成本使该集成方法无法实用和有效。最近的几项工作试图保存和集成DNN的检查点，这只需要与训练单个网络相同的计算成本。然而，这些方法要么由于检查点的低多样性而遭受边际精度改进，要么由于它们采用的周期性学习率而遭受高发散风险。在本文中，我们提出了一种新的方法来集成的检查点，其中升压计划被用来加速模型的收敛和最大限度地提高检查点的多样性。我们从理论上证明了它通过减少指数损失来收敛。实验结果也表明，我们提出的集成优于单一模型和现有的集成在准确性和效率。在相同的训练预算下，我们的方法在Cifar-100上的错误率降低了4.16%，在ResNet-110架构的Tiny-ImageNet上降低了6.96%。此外，在我们的方法中的自适应样本权重使它成为一个有效的解决方案，以解决不平衡的类分布。在实验中，它在不平衡数据集上的准确率比单个EfficientNet-B 0高出5.02%。
2021-10-26 cs.AI cs.LG
GraSSNet: Graph Soft Sensing Neural Networks
Seagate Technology（希捷科技）；Florida Atlantic University（佛罗里达大西洋大学）；University of Chicago（芝加哥大学）；University of Cincinnati（辛辛那提大学）；Stanford University（斯坦福大学）；Case Western Reserve University（凯斯西储大学）
在大数据时代，基于数据驱动的分类已成为智能制造中指导生产和优化检测的重要方法。实际中获得的工业数据通常是由软测量采集的时间序列数据，具有高度的非线性、非平稳、不平衡和噪声等特点。大多数现有的软测量机器学习模型专注于捕获序列内的时间依赖性或预定义的序列间相关性，而忽略了标签之间的相关性，因为每个实例同时与多个标签相关联。本文提出了一种新的基于图的软测量神经网络（GraSSNet），用于噪声和高度不平衡软测量数据的多变量时间序列分类。GraSSNet能够1）在谱域中联合捕获序列间和序列内的依赖关系; 2）通过叠加由统计共现信息构建的标签图来利用标签相关性; 3）从文本和数值域中学习具有注意力机制的特征; 4）利用未标记的数据并通过半监督学习减轻数据不平衡。与其他常用的分类器进行了比较研究希捷软测量数据，实验结果验证了我们提出的方法的竞争力的性能。
2021-11-12 cs.AI cs.LG
Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective
ShanghaiTech University（上海科技大学）
本文以神经坍缩为分析工具，证明DEQ在均衡条件下存在NC，并揭示其在非均衡数据下仍具有ETF收敛与自对偶优势。
2024-12-03 cs.AI cs.LG
Convolutional Neural Nets vs Vision Transformers: A SpaceNet Case Study with Balanced vs Imbalanced Regimes
Department of Computer Science（计算机科学系）；San Francisco State University（旧金山州立大学）
本研究在SpaceNet数据集的平衡与非平衡划分下对比EfficientNet-B0与ViT-Base，发现类别平衡缩小架构性能差距，CNN仍具效率优势，并公开相关资源支持复现。
2025-09-29 cs.AI cs.CV cs.LG
Kolmogorov Arnold Networks (KANs) for Imbalanced Data -- An Empirical Perspective
Pankaj Yadav（独立研究者）；Vivek Vijay（独立研究者）
本文实证评估了KANs在不平衡分类中的表现，发现其处理原始不平衡数据优于MLPs但与重采样及焦点损失不兼容且计算成本高，并指出未来需开发KAN专用架构以解决性能-资源权衡问题。
2025-07-18 cs.AI cs.LG
Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
神经网络在从动态数据分布中顺序学习多个任务时，往往会逐渐忘记先前学习的知识。这个问题被称为\textit{catastrophic forgetting}，这是神经网络的持续学习中的一个基本挑战。在这项工作中，我们观察到灾难性遗忘不仅发生在持续学习中，而且也影响了传统的静态训练。神经网络，特别是神经机器翻译模型，即使从静态训练集学习，也会遭受灾难性遗忘。具体来说，最终模型对训练样本的关注不平衡，最近暴露的样本比早期样本吸引更多的关注。其根本原因是训练样本在每次模型更新时都没有得到均衡的训练，因此我们将此问题命名为\textit{imbalanced training}。为了缓解这个问题，我们提出了补充在线知识蒸馏（COKD），它使用动态更新的教师模型训练特定的数据订单迭代提供补充知识的学生模型。多个机器翻译任务的实验结果表明，我们的方法成功地解决了不平衡的训练问题，并取得了实质性的改善强基线系统。
2022-03-18 cs.AI cs.CL
Predicting Seriousness of Injury in a Traffic Accident: A New Imbalanced Dataset and Benchmark
本文介绍了一个新的数据集，以评估机器学习算法在交通事故中的伤害严重性的预测性能。该数据集是通过聚合来自英国交通部的公开数据集创建的，这些数据集严重不平衡，缺失的属性有时接近整体数据维度的50%。本文介绍了数据分析管道，从公开的道路交通事故数据开始，以可能的伤害及其严重程度的预测因素结束。它通过MissForest模型解决了公共数据的巨大不完整性。本文还介绍了两种基线方法来创建损伤预测：监督人工神经网络和强化学习模型。该数据集可以潜在地刺激不平衡数据集上机器学习研究的各个方面，当研究人员在该领域测试更先进的学习算法时，这两种方法可以用作基线参考。
2022-05-20 cs.AI cs.LG
Machine Learning Performance Analysis to Predict Stroke Based on Imbalanced Medical Dataset
University College London（伦敦大学学院）
脑中风是全球第二大死亡原因，在过去几年中一直是主要的公共卫生问题。在机器学习技术的帮助下，可以早期检测各种中风警报，这可以有效地预防或减少中风。然而，医学数据集在其类别标签中经常是不平衡的，并且倾向于预测少数类别。本文对脑卒中的潜在危险因素进行了探讨。此外，四个独特的方法，这是集成权重投票分类器，合成少数过采样技术（SMOTE），主成分分析与K均值聚类（PCA-Kmeans），焦点损失与深度神经网络（DNN），以提高不平衡的中风数据集中的少数类的分类，并比较它们的性能。通过分析结果，SMOTE和PCA-Kmeans与DNN-Focal Loss在有限大小的大型严重不平衡数据集上表现最好，是Kaggle的2-4倍。
2022-11-14 cs.AI cs.LG
Investigating Group Distributionally Robust Optimization for Deep Imbalanced Learning: A Case Study of Binary Tabular Data Classification
Universiti Teknologi Malaysia（马来西亚理工大学）；Higher Institute for Science and Technology（高等科学技术学院）；Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜拉赫曼·本·费萨尔大学）
最近的研究表明，深度神经网络易受影响的机器学习挑战之一是类不平衡问题。虽然近年来在这一方向上的协同研究工作值得注意，但研究结果表明，规范学习目标，经验风险最小化（ERM），由于其偏向多数类，无法在深度神经网络中实现最佳不平衡学习。另一种学习目标，组分布鲁棒优化（gDRO），在这项研究中的不平衡学习，重点是表格不平衡数据对图像数据，占主导地位的深度不平衡学习研究。与ERM中的最小化平均每个实例损失相反，gDRO寻求最小化训练数据上的最坏组损失。实验结果与ERM和经典的不平衡方法相比，使用四种常用的评估指标在不同不平衡比的几个基准不平衡二进制表格数据的不平衡学习中显示了令人印象深刻的性能gDRO，优于其他比较方法的g均值和roc-auc。
2023-03-04 cs.AI cs.LG
Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets
University of Technology and Science of China（中国科学技术大学）
本文针对DARTS在长尾数据集上性能下降的问题，提出一种结合BBN的自适应学习率调度策略，动态调整架构参数学习率，在CIFAR-10长尾分布实验中取得与单独使用DARTS相当的准确率，并揭示了重采样方法对DARTS的固有损害。
2024-06-11 cs.AI cs.LG
RankSim: Ranking Similarity Regularization for Deep Imbalanced Regression
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（Borealis人工智能研究院）
数据不平衡，其中多个数据样本来自小比例的标签，对训练深度神经网络提出了挑战。与分类不同，在回归中，标签是连续的，可能是无限的，并形成自然的排序。回归的这些独特特征需要新的技术来利用标签空间关系中编码的附加信息。本文提出了用于深度不平衡回归的RankSim（ranking similarity）正则化器，它编码了一种归纳偏差，即在标签空间中更接近的样本在特征空间中也应该更接近。与最近的基于分布平滑的方法相比，RankSim捕获了附近和远处的关系：对于给定的数据样本，RankSim鼓励其标签空间中的邻居的排序列表与其特征空间中的邻居的排序列表相匹配。RankSim是对传统不平衡学习技术的补充，包括重新加权，两阶段训练和分布平滑，并提升了三个不平衡回归基准的最新性能：IMDB-WIKI-BLOG，STS-B-BLOG。
2022-06-24 cs.AI cs.CV cs.LG
Towards Responsible and Trustworthy Educational Data Mining: Comparing Symbolic, Sub-Symbolic, and Neural-Symbolic AI Methods
Tallinn University（塔林大学）；University of Jyväskylä（于韦斯屈莱大学）；Gangneung-Wonju National University（江陵原州国立大学）；Czech Technical University（捷克技术大学）；University of Central Florida（中佛罗里达大学）
本研究在爱沙尼亚学生数据上比较符号、亚符号和神经符号AI方法，发现NSAI在不平衡数据上泛化性更强、可解释性更全面，为负责任的教育数据挖掘提供了新方向。
2025-04-11 cs.AI
1D CNN Based Network Intrusion Detection with Normalization on Imbalanced Data
入侵检测系统（IDS）在保护计算机网络中的计算资源和数据不受外部攻击方面起着至关重要的作用。目前的入侵检测系统面临着提高入侵检测系统的灵活性和效率以应对突发和不可预测的攻击的挑战。深度神经网络（DNN）被广泛认为是复杂系统的一种机器学习技术，用于提取特征和学习。在本文中，我们提出了一种使用一维卷积神经网络（1D-CNN）开发高效灵活的IDS的深度学习方法。二维CNN方法在计算机视觉领域的图像目标检测中表现出了优异的性能。同时，1D-CNN可以用于时间序列数据的监督学习。我们建立了一个基于1D-CNN的机器学习模型，通过在预定的时间范围内序列化传输控制协议/互联网协议（TCP/IP）数据包作为入侵互联网流量模型的IDS，其中正常和异常的网络流量进行分类和标记的监督学习在1D-CNN。在UNSW\_NB15 IDS数据集上对模型进行了验证，结果表明了该方法的有效性.为了进行性能比较研究，除了具有各种网络参数和结构的1D-CNN之外，还利用了基于机器学习的随机森林（RF）和支持向量机（SVM）模型。在每个实验中，模型在不平衡和平衡数据上运行200个epoch，学习率为0.0001。与经典的机器学习分类器相比，1D-CNN及其变体架构的表现更好。这主要是由于CNN具有提取表示网络流量连接的低级特征集的抽象形式的高级特征表示的能力。
2020-03-04 cs.AI cs.CR
Specialty detection in the context of telemedicine in a highly imbalanced multi-class distribution
University of Granada（格拉纳达大学）；Altibbi
本文针对远程医疗中高度不平衡的多类别阿拉伯语医疗问题，提出基于深度神经网络的专科检测分类器，并结合SMOTE、重新加权与关键词识别等技术提升稀有类别检测性能。
2024-02-21 cs.AI cs.LG
Self-paced Ensemble for Highly Imbalanced Massive Data Classification
Jilin University（吉林大学）；Microsoft Research（微软研究院）
许多现实世界的应用揭示了从不平衡数据中学习分类器的困难。随着大数据时代的到来，越来越多的分类任务需要处理大规模但极不平衡和低质量的数据集。大多数现有的学习方法在这种情况下性能不佳或计算效率低。为了解决这个问题，我们对类不平衡的本质进行了深入的研究，结果表明，不仅类之间的不平衡，而且嵌入在数据性质中的其他困难，特别是噪声和类重叠，阻止我们学习有效的分类器。考虑到这些因素，我们提出了一个新的框架不平衡分类，旨在通过自步调协调数据硬度通过欠采样产生一个强大的合奏。大量的实验表明，这种新的框架，而计算效率非常高，可以导致强大的性能，即使在高度重叠的类和非常偏斜的分布。请注意，我们的方法可以很容易地适应大多数现有的学习方法（例如，C4.5、SVM、GBDT和神经网络），以提高其在不平衡数据上的性能。
2020-10-17 cs.AI cs.LG stat.ML
An LSTM-based Plagiarism Detection via Attention Mechanism and a Population-based Approach for Pre-Training Parameters with imbalanced Classes
Isfahan University of Technology（伊斯法罕理工大学）；RISE Research Institutes of Sweden（瑞典RISE研究院）；Mälardalen University（梅拉达伦大学）
剽窃是学术和工业环境中的主要问题之一，其目标是在典型文档或源代码中找到相似的项目。本文提出了一种基于长短期记忆（LSTM）和注意力机制的架构，称为LSTM-AM-ABC，并通过基于种群的方法进行参数初始化。在LSTM、注意力机制和前馈神经网络的学习过程中，基于前馈的优化算法如反向传播（BP）在文献中被广泛使用，但它们存在一些问题，如陷入局部最优。为了解决这个问题，可以使用基于群体的元启发式（PBMH）算法。为此，本文采用PBMH算法，人工蜂群（ABC），缓和的问题。我们提出的算法可以同时找到所有LSTM，注意力机制和前馈神经网络中模型学习的初始值。换句话说，ABC算法找到了一个有希望的点开始BP算法。为了评估，我们比较我们提出的算法与传统的和基于人口的方法。结果清楚地表明，所提出的方法可以提供有竞争力的性能。
2021-10-17 cs.AI cs.LG cs.NE
LLM-Empowered Class Imbalanced Graph Prompt Learning for Online Drug Trafficking Detection
University of Notre Dame（圣母大学）；Amazon（亚马逊公司）；University of Connecticut（康涅狄格大学）
针对在线毒品交易检测中类不平衡和标注样本稀缺问题，提出LLM-HetGDT框架，利用LLM增强异构图神经网络，通过对比预训练和软提示微调有效识别毒品交易活动，并构建了Twitter-HetDrug数据集验证其有效性。
2025-02-28 cs.AI cs.LG
Deep Clustering via Center-Oriented Margin Free-Triplet Loss for Skin Lesion Detection in Highly Imbalanced Datasets
Amasya University（阿马西亚大学）；Bilkent University（比尔肯特大学）；National Magnetic Resonance Research Center, Bilkent University（比尔肯特大学国家磁共振研究中心）；Sabuncu Brain Research Center, Bilkent University（比尔肯特大学萨本朱脑研究中心）
黑色素瘤是一种致命的皮肤癌，是可以治愈的，并且在早期诊断时具有显著增加的存活率。基于学习的方法对于从皮肤镜图像检测黑色素瘤具有重要的前景。然而，由于黑色素瘤是一种罕见的疾病，现有的皮肤病变数据库主要包含高度不平衡的良性与恶性样本的数量。反过来，由于大多数类别的统计优势，这种不平衡在分类模型中引入了实质性偏差。为了解决这个问题，我们引入了一种基于皮肤镜图像的潜在空间嵌入的深度聚类方法。聚类是使用一种新的面向中心的无边缘三重损失（COM-三重）来实现的，该算法对卷积神经网络主干的图像嵌入进行了强制执行。该方法的目标是形成最大分离的聚类中心，而不是最小化分类错误，因此它对类不平衡不太敏感。为了避免对标记数据的需要，我们进一步提出了基于高斯混合模型生成的伪标签来实现COM三元组。综合实验表明，COM-三重损失的深度聚类优于三重损失的聚类，以及监督和无监督设置中的竞争分类器。
2022-04-03 cs.AI cs.CV cs.LG
