Imbalanced Data Clustering using Equilibrium K-Means
针对传统K均值算法在非平衡数据上偏向大簇的问题,本文提出基于玻尔兹曼算子和质心排斥机制的均衡K均值(EKM),在保持与FKM相同复杂度的同时显著提升非平衡数据聚类性能,并统一了K均值算法的梯度下降形式。
2024-06-06 cs.LG stat.ML
PROTOCOL: Partial Optimal Transport-enhanced Contrastive Learning for Imbalanced Multi-view Clustering
Shanghai Key Laboratory of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University, China(上海智能信息处理实验室,计算机科学与人工智能学院,复旦大学);College of Computer Science and Technology, Qingdao University, China(计算机科学与技术学院,青岛大学);Shanghai Key Laboratory of Navigation and Location-based Services, School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, China(上海导航与位置服务实验室,电子信息与电气工程学院,上海交通大学);Institute of Science and Technology for Brain-Inspired Intelligence and Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence, Fudan University, China(脑启发智能科学技术研究院和计算神经科学与脑启发智能重点实验室,复旦大学)
针对现有对比多视图聚类隐含类别均衡假设、在真实不平衡多视图数据上性能下降的问题,提出PROTOCOL框架,通过部分最优传输建模不平衡分布、结合双层再平衡对比学习强化少数类表征,显著提升不平衡多视图聚类性能。
2025-06-14 cs.LG stat.ML
Imbalanced Data Clustering via Targeted Data Augmentation Using GMM and LLM
Centre Borelli UMR9010(博雷利中心UMR9010);Université Paris Cité(巴黎城市大学);Kernix Software(Kernix软件公司)
针对无监督NLP任务中不平衡数据聚类难以捕捉少数主题的问题,本文提出整合GMM与LLM的定向数据增强方法,实验表明其可保持聚类性能并提升可解释性。
2026-08-03 cs.CL cs.LG
CluStRE: Streaming Graph Clustering with Multi-Stage Refinement
Heidelberg University(海德堡大学)
该研究提出流图聚类算法CluStRE,通过多阶段优化在流设置中处理图,动态构建商图实现模块度优化,实验显示其解质量提升89.8%、速度快2.6倍,有效弥合流与传统聚类方法的差距。
2025-02-08 cs.DB cs.LG
Integrated Clustering and Anomaly Detection (INCAD) for Streaming Data (Revised)
University at Buffalo, State University of New York (SUNY)(纽约州立大学布法罗分校)
目前大多数基于聚类的异常检测方法使用评分模式和阈值来分类异常。这些方法通常针对具有“已知”数目的聚类的目标特定数据集。本文提供了一种流式聚类和异常检测算法,不需要严格的任意阈值的异常分数或知识的集群的数量,同时执行概率异常检测和聚类。这确保了集群形成不受异常数据的存在的影响,从而导致“正常与异常”行为的更可靠的定义。开发INCAD模型背后的动机和导致流模型的路径进行了讨论。
2019-11-01 cs.LG stat.ML
Deep Clustering via Center-Oriented Margin Free-Triplet Loss for Skin Lesion Detection in Highly Imbalanced Datasets
Amasya University(阿马西亚大学);Bilkent University(比尔肯特大学);National Magnetic Resonance Research Center, Bilkent University(比尔肯特大学国家磁共振研究中心);Sabuncu Brain Research Center, Bilkent University(比尔肯特大学萨本朱脑研究中心)
黑色素瘤是一种致命的皮肤癌,是可以治愈的,并且在早期诊断时具有显著增加的存活率。基于学习的方法对于从皮肤镜图像检测黑色素瘤具有重要的前景。然而,由于黑色素瘤是一种罕见的疾病,现有的皮肤病变数据库主要包含高度不平衡的良性与恶性样本的数量。反过来,由于大多数类别的统计优势,这种不平衡在分类模型中引入了实质性偏差。为了解决这个问题,我们引入了一种基于皮肤镜图像的潜在空间嵌入的深度聚类方法。聚类是使用一种新的面向中心的无边缘三重损失(COM-三重)来实现的,该算法对卷积神经网络主干的图像嵌入进行了强制执行。该方法的目标是形成最大分离的聚类中心,而不是最小化分类错误,因此它对类不平衡不太敏感。为了避免对标记数据的需要,我们进一步提出了基于高斯混合模型生成的伪标签来实现COM三元组。综合实验表明,COM-三重损失的深度聚类优于三重损失的聚类,以及监督和无监督设置中的竞争分类器。
2022-04-03 cs.AI cs.CV cs.LG
Predictive Modeling of ICU Healthcare-Associated Infections from Imbalanced Data. Using Ensembles and a Clustering-Based Undersampling Approach
Faculty of Nursing and Physiotherapy, University of Salamanca(萨拉曼卡大学护理与物理治疗学院);University Hospital of Salamanca(萨拉曼卡大学医院);Department of Computing and Automation, University of Salamanca(萨拉曼卡大学计算与自动化系);Department of Statistics, University of Salamanca(萨拉曼卡大学统计系)
鉴于此类感染对患者死亡率和医疗保健成本的影响,早期发现易受医院环境中获得的感染的患者是当前卫生系统的一项挑战。这项工作的重点是通过机器学习方法识别风险因素和预测重症监护病房中的医疗保健相关感染。其目的是为降低感染发生率的决策提供支持。在这一领域,有必要处理的问题,建立可靠的分类器,从不平衡的数据集。我们提出了一种基于聚类的欠采样策略,用于与集成分类器相结合。为了验证我们的建议,进行了一项比较研究,从4616例患者的数据。我们应用了几个单一的和集成分类器的原始数据集和数据预处理通过不同的恢复方法。通过专门为不平衡数据分类设计的经典和最新指标对结果进行了分析。他们透露,与其他方法相比,该提案更有效。
2020-05-07 cs.LG stat.ML
Sampling in Dirichlet Process Mixture Models for Clustering Streaming Data
Ben-Gurion University(本-古里安大学)
用于聚类流数据的实用工具必须足够快以处理观测的到达率。通常,它们还必须在运行中适应可能缺乏稳定性;即,由于各种形式的漂移、簇数量的变化等,数据统计可能是时间相关的。Dirichlet过程混合模型(DPMM),其贝叶斯非参数性质允许其使其复杂性适应于数据,似乎是流式数据情况的自然选择。然而,在其经典公式中,DPMM无法捕获数据统计中常见的漂移类型。此外,尽管存在这种限制,但现有的在线DPMM推理方法太慢,无法处理快速的数据流。在这项工作中,我们提出了适应DPMM和一个已知的DPMM采样为基础的非流推理方法流数据聚类。我们证明了所提出的方法在几个具有挑战性的设置上的实用性,在那里它获得了最先进的结果,同时在速度方面与其他方法不相上下。
2022-02-27 cs.LG stat.ML
SP$^2$OT: Semantic-Regularized Progressive Partial Optimal Transport for Imbalanced Clustering
ShanghaiTech University(上海科技大学);Lingang Laboratory(临港实验室);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程研究中心)
针对深度不平衡聚类问题,提出基于最优传输的伪标签学习框架SP$^2$OT,通过投影镜像下降算法在先验和语义约束下生成高质量伪标签,在多个数据集上验证了其优越性。
2025-06-30 cs.CV cs.LG
Overlapping oriented imbalanced ensemble learning method based on projective clustering and stagewise hybrid sampling
School of Microelectronics and Communication Engineering, Chongqing University(重庆大学微电子与通信工程学院)
非均衡学习的挑战不仅在于类的不均衡问题,还在于类的重叠问题,这是一个复杂的问题。然而,现有的算法大多集中在前者。这一局限性阻碍了现有方法的突破。针对这一缺陷,提出了一种基于双聚类和分段混合采样的集成学习算法(DCSHS)。DCSHS有三个部分。首先,设计了一个基于Davies-Bouldin聚类有效性指标(DBI)的投影聚类组合框架(PCC),用于获得高质量的聚类,并将其组合得到一组类均衡、重叠度低的交叉完备子集(CCS)。其次,根据子集类的特点,设计了一种分阶段混合采样算法,实现了子集的去重叠和均衡。最后,通过迁移学习为所有处理后的子集构造投影聚类迁移映射机制(CTM),从而减少类重叠,挖掘样本的结构信息.该算法的主要优点是可以利用CCS的交叉性实现重叠多数样本的软消除,并学习尽可能多的重叠样本信息,从而在类平衡的同时增强类重叠。在实验部分,我们选取了30多个公共数据集和十多个有代表性的算法进行验证。实验结果表明,DCSHS是显着最好的各种评价标准。
2022-11-30 cs.AI cs.CV cs.LG
PET-TURTLE: Deep Unsupervised Support Vector Machines for Imbalanced Data Clusters
University of Michigan(密歇根大学)
PET-TURTLE通过引入幂律先验和稀疏logits,改进了传统TURTLE在处理不平衡数据时的聚类性能。
2026-01-06 cs.LG eess.IV stat.ML
TNStream: Applying Tightest Neighbors to Micro-Clusters to Define Multi-Density Clusters in Streaming Data
本文提出基于最紧密邻居和骨架集理论的完全在线流聚类算法TNStream,通过自适应半径和LSH解决多密度高维数据聚类问题,实验验证了其有效性。
2025-05-01 cs.AI cs.LG cs.NE
Online Clustering by Penalized Weighted GMM
Intel(英特尔公司)
随着大数据时代的到来,数据集正在迅速增长。数据流来自任何地方-从相机,手机,汽车和其他电子设备。聚类流数据是一个非常具有挑战性的问题。与数据集可以多次存储和扫描的传统聚类算法不同,对流数据进行聚类必须满足诸如有限内存大小、实时响应、未知数据统计和未知簇数量等约束。在本文中,我们提出了一种新的在线聚类算法,可用于聚类流数据,而不知道的簇的数量先验。在合成数据集和真实数据集上的结果表明,该算法产生的分区接近于一次聚类整个数据所能得到的分区。
2019-02-07 cs.CV cs.LG stat.ML
Dynamic Graph-Like Learning with Contrastive Clustering on Temporally-Factored Ship Motion Data for Imbalanced Sea State Estimation in Autonomous Vessel
School of Computer Science and Engineering, Tianjin University of Technology(计算机科学与工程学院,天津理工大学)
提出TGC-SSE模型,结合时间因子化、动态图学习和对比聚类,解决船舶海况估计中的数据不平衡与冗余问题,在14个数据集上显著提升准确率。
2025-04-21 cs.LG
Integrating Unsupervised Clustering and Label-specific Oversampling to Tackle Imbalanced Multi-label Data
TCG Crest Kolkata, India(印度加尔各答TCG Crest);School of Computer Science, University College Dublin, Ireland(爱尔兰都柏林大学学院计算机科学学院);Indian Statistical Institute Kolkata, India(印度统计研究所加尔各答分所)
在多标签数据集中,经常存在非常频繁标签和非常不频繁标签的混合。标签频率的这种变化,类型类别的不平衡,为构建高效的多标签分类算法带来了重大挑战。在本文中,我们解决这个问题,提出了一个少数类过采样方案,UCLSO,它集成了无监督聚类和标签特定的数据过采样。执行聚类以找出多标签数据集的关键不同和局部连接的区域(与标签信息无关)。接下来,对于每个标签,我们探索聚类集中少数点的分布。只有聚类中的少数点用于生成用于过采样的合成少数点。即使所有标签的聚类集都是相同的,合成少数点的分布也会在标签中有所不同。训练数据集用特定于标签的合成少数点的集合来增强,并且训练分类器以独立地预测每个标签的相关性。在12个多标签数据集和几种多标签算法上的实验结果表明,该方法与其他同类算法相比具有很好的性能。
2021-09-25 cs.AI cs.LG
A Streaming Algorithm for Graph Clustering
INRIA(法国国家信息与自动化研究所);Ecole Polytechnique(巴黎综合理工学院);Telecom-Paristech(巴黎高等电信学院);INRIA-ENS(法国国家信息与自动化研究所-巴黎高等师范学院)
我们引入了一种新的算法来执行图聚类的边缘流设置。在这个模型中,图被表示为可以被严格处理一次的边序列。我们的流算法具有极低的内存占用,因为它每个节点只存储三个整数,并且在内存中不保留任何边缘。我们提供了一个理论上的理由的设计算法的基础上的模块度函数,这是一个常用的度量来评估图划分的质量。我们在大量的现实生活中的图形上进行实验,从一百万到十亿多个边缘,我们表明,这种新算法的运行速度比现有算法快十倍以上,并导致类似或更好的检测分数最大的图形。
2017-12-09 cs.LG cs.SI
Streaming Adaptive Nonparametric Variational Autoencoder
Northeastern University(东北大学)
我们开发了一种数据驱动的方法来同时对流数据进行聚类和端到端特征学习,该方法可以自适应地检测新兴数据中的新簇。我们的方法,自适应非参数变分自动编码器(AdapVAE),通过贝叶斯非参数(BNP)建模框架与深度神经网络(DNN)进行特征学习来学习聚类成员。我们开发了一个联合在线变分推断算法,通过迭代优化证据下限(ELBO),同时学习特征表示和聚类分配。我们解决了灾难性的遗忘\citep{kirkpatrick2017overcoming}的挑战与流数据采用生成样本从训练的AdapVAE使用以前的数据,这避免了存储和重用过去的数据的需要。我们展示了我们的模型的优点,包括自适应新的聚类检测,而不丢弃从过去的数据,高质量的样本生成和可比的聚类性能的图像和文本语料库基准数据集上的端到端的批处理模式聚类方法学习的有用信息。
2019-10-11 cs.LG stat.ML
Highly Efficient Real-Time Streaming and Fully On-Device Speaker Diarization with Multi-Stage Clustering
Google LLC(谷歌有限责任公司)
本文提出一种多阶段聚类策略,针对不同长度输入使用不同聚类算法,并支持配置计算复杂度上限,以解决流式端上说话人日志系统在CPU、内存和电池资源受限情况下的多重挑战。
2024-01-08 cs.LG cs.SD eess.AS
A New Parallel Adaptive Clustering and its Application to Streaming Data
本文提出了一种并行自适应聚类(PAC)算法自动分类数据,同时选择一个合适的类的数量。聚类是数据分析和理解的重要工具,在广泛的领域,包括数据简化,模式分析和分类。然而,需要预先指定聚类的数量以及与聚类大数据集相关联的计算负担仍然是聚类中的挑战。我们提出了一个新的并行自适应聚类(PAC)算法,解决了这些挑战,自适应计算集群的数量和利用并行计算的力量。该算法在并行计算线程上聚类不相交的数据子集。我们开发了正则化集\mi{k} -有效地聚类并行线程的结果。细化步骤进一步改进聚类。PAC算法提供了自适应聚类随时间变化的数据集的能力,通过重用以前的时间步长的信息,以减少计算。我们提供了理论分析和数值实验来表征该方法的性能,验证其属性,并证明该方法的计算效率。
2021-04-06 cs.CV cs.LG
Streaming Inference for Infinite Non-Stationary Clustering
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
针对无监督、流式和非平稳数据聚类问题,提出动态中国餐馆过程(Dynamical CRP)作为非平稳先验,并推导出高效的流式变分推理算法,使混合模型能在线创建新簇。
2022-05-02 cs.AI cs.LG
Coresets for constrained k-median and k-means clustering in low dimensional Euclidean space
University of Cologne(科隆大学)
我们研究(欧几里德)$k$ -中位数和$k$ -意味着在流模型的约束。最近,人们努力设计统一的算法来解决约束$k$ -均值问题,而不使用手头的特定约束的知识,除了温和的假设,如约束下的可行性的多项式可计算性(计算聚类是否满足约束)或存在有效的赋值oracle(给定一组中心,产生满足约束的点到中心的最优分配)。这些算法在$k$中具有运行时间指数,但可以应用于广泛的约束。我们证明了2019年提出的一种用于解决特定约束流$k$ -均值问题的技术,即公平的$k$ -均值聚类,实际上意味着所有这些约束的流算法。这些工作低维欧氏空间。[Note有更多的算法用于流传输公平的$k$ -意味着今天,特别是它们现在也存在于高维空间。
2021-06-14 cs.DS cs.LG
Unsupervised Continual Learning in Streaming Environments
Nanyang Technological University(南洋理工大学)
数据流需要一个深度聚类网络,因为它在提取自然特征方面的能力,从而绕过了费力的特征工程步骤。虽然在流媒体环境中自动构建深度网络仍然是一个悬而未决的问题,但它也受到数据流昂贵的标签成本的阻碍,这使得对无监督方法的需求不断增加。本文提出了一种通过同时进行深度学习和聚类来动态构建深度聚类网络的无监督方法,称为自治深度聚类网络(ADCN)。该算法结合了特征提取层和自治全连通层,网络的宽度和深度都是基于重构损失的偏差-方差分解从数据流中自演化而来的。自聚类机制在每个全连接层的深嵌入空间中执行,而最终输出通过聚类预测得分的总和来推断。此外,一个潜在的正则化被纳入解决灾难性遗忘的问题。一个严格的数值研究表明,ADCN产生更好的性能相比,它的同行,同时提供完全自主的ADCN结构在流媒体环境中的构造,没有任何标记的样本模型更新。为了支持可重复的研究计划,ADCN的代码、补充材料和原始结果可在\url{https://tinyurl.com/AutonomousDCN}中获得。
2021-09-20 cs.AI cs.LG
SMOClust: Synthetic Minority Oversampling based on Stream Clustering for Evolving Data Streams
Keele University(基尔大学);University of Birmingham(伯明翰大学)
针对数据流中概念漂移与类不平衡的联合挑战,提出基于流聚类的过采样策略SMOClust,利用流聚类压缩信息生成合成少数类样本,实验证明其优于现有方法,尤其在严重不平衡场景下。
2023-08-28 cs.DB cs.LG
Robust Representation Learning with Reliable Pseudo-labels Generation via Self-Adaptive Optimal Transport for Short Text Clustering
Zhejiang University(浙江大学)
本文提出RSTC模型,通过自适应最优传输生成可靠伪标签,并结合类别级与实例级对比学习,提升短文本聚类在不平衡和噪声数据下的鲁棒性。
2023-05-23 cs.AI cs.CL cs.LG
Adversarial Robustness of Streaming Algorithms through Importance Sampling
Google(谷歌);MIT(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们介绍了中央机器学习和算法任务,如回归和聚类,以及他们更一般的同行,子空间嵌入,低秩近似,和coreset建设的adversarially强大的流算法。对于回归和其他数值线性代数相关的任务,我们考虑行到达流模型。我们的研究结果是基于一个简单的,但强大的,观察到许多重要性采样为基础的算法产生对抗性的鲁棒性,这是在对比素描为基础的算法,这是非常普遍的流媒体文学,但遭受对抗攻击。此外,我们表明,著名的合并和减少流的范例是adversarially强大的。由于合并和减少范例允许coreset建设在流设置,因此,我们获得强大的算法$k$ -手段,$k$ -中位数,$k$ -中心,布雷格曼聚类,投影聚类,主成分分析(PCA)和非负矩阵分解。据我们所知,这些是第一个对抗性强的结果,这些问题还不需要新的算法实现。最后,我们经验性地证实了我们的算法对各种对抗攻击的鲁棒性,并证明了相比之下,一些常见的现有算法是不鲁棒的。(摘要缩短以满足arXiv限制)
2021-10-26 cs.DS cs.LG
Learning-Augmented Streaming Algorithms for Correlation Clustering
University of Science and Technology of China(中国科学技术大学);Nanjing University(南京大学);New Cornerstone Science Laboratory(新基石科学实验室)
本文针对相关性聚类问题提出了首批学习增强流式算法,利用预测器提供的顶点间成对距离预测,在完全图和一般图上分别实现了优于3和 $O(\log |E^-|)$ 的近似,改进了空间-近似权衡。
2025-10-12 cs.DS cs.LG
Resilient Class-Incremental Learning: on the Interplay of Drifting, Unlabelled and Imbalanced Data Streams
KIOS Research and Innovation Center of Excellence, University of Cyprus(希腊塞浦路斯大学KIOS研究中心);Department of Electrical and Computer Engineering, University of Cyprus(塞浦路斯大学电气与计算机工程系)
SCIL通过整合自编码器和多层感知机,利用双损失策略和校正伪标签,有效应对数据漂移、无标签和类别不平衡问题,提升动态环境下的学习鲁棒性。
2026-02-10 cs.AI cs.LG
Imbalanced Data Stream Classification using Dynamic Ensemble Selection
针对非平稳不平衡数据流中的概念漂移与类别重叠问题,提出融合数据预处理与动态集成选择的框架,并在多组人工漂移数据流上验证其显著提升分类准确率。
2023-09-28 cs.AI cs.LG
Parameterized and Streaming Algorithms for Euclidean Fair $k$-Center Clustering
Fuzhou University(福州大学);RMIT University(皇家墨尔本理工大学)
针对欧几里得公平k-中心聚类问题,提出参数化近似算法(比率2.732)及流式算法(比率4.464),并优化至2.414和3.828,另设计多项式时间流式算法(比率4.732改进至4.42),实验验证聚类精度显著优于现有方法。
2026-09-09 cs.AI cs.LG
Hybrid Fuzzy-Crisp Clustering Algorithm: Theory and Experiments
University Brunei Darussalam(文莱达鲁萨兰大学)
传统的模糊c-均值聚类方法由于隶属度函数严格为正,当聚类规模相差很大时,有时会产生不平衡的影响。也就是说,一个非常大的星系团会把所有其他星系团拖到它的中心,不管它们相距多远。为了解决这个问题,我们提出了一种混合模糊-清晰聚类算法的目标函数的基础上结合线性和二次项的隶属函数。在该算法中,如果数据点距离聚类中心“非常远”,则该数据点对聚类的成员资格自动设置为零。在本文中,我们提出了一种新的算法混合模糊清晰聚类及其几何解释。该算法进行了测试20模拟数据生成和五个真实世界的数据集从UCI存储库,并与传统的模糊和清晰的聚类方法进行比较。该算法在不平衡数据集上的性能优于传统方法,在更平衡的数据集上具有竞争力。
2023-03-25 cs.LG stat.ML
Improving ClusterGAN Using Self-Augmented Information Maximization of Disentangling Latent Spaces
University of New South Wales(新南威尔士大学)
针对ClusterGAN因依赖均匀先验、忽略真实数据分布而导致聚类性能不佳的问题,提出含自增强先验网络的SIMI-ClusterGAN,在7个基准及非均衡MNIST数据集上性能优于现有最优方法。
2023-05-01 cs.CV cs.LG
Sketching Algorithms for Sparse Dictionary Learning: PTAS and Turnstile Streaming
Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于草图算法的新技术,首次为稀疏字典学习设计 PTAS,并给出字典学习与 k-均值聚类在十字转门流模型下的空间上界和下界。
2023-10-29 cs.DS cs.LG
Single-pass Possibilistic Clustering with Damped Window Footprints
Electrical Engineering and Computer Science Department(电气工程与计算机科学系);University of Missouri, Columbia, MO 65211(密苏里大学)
本文提出了一种单次通过可能性聚类算法,通过非球形聚类建模、阻尼窗口闭式更新和协方差联合合并,提升了流式聚类的效率和准确性。
2026-03-06 cs.LG
Active learning for imbalanced data under cold start
Feedzai
依赖于机器学习(ML)进行预测建模的现代系统可能会遇到冷启动问题:监督模型工作良好,但最初没有标签,这是昂贵的或缓慢的。这个问题在不平衡的数据场景中更严重,其中正类的标签需要更长的时间来积累。我们提出了一个主动学习(AL)系统的数据集的数量级的类不平衡,在冷启动流的情况下。我们提出了一个计算效率高的离群值为基础的判别AL方法(OPAL),并设计了一个新的3阶段序列的AL标记的政策,OPAL被用作热身。然后,我们在四个真实世界的数据集进行实证研究,具有不同程度的类不平衡。结果表明,我们的方法可以更快地达到一个高性能的模型比标准的AL政策没有ODAL预热。它比随机抽样的收益可以达到80%,并且与具有无限注释预算或额外历史数据(仅使用2%至10%的标签)的策略竞争。
2021-10-22 cs.LG stat.ML
Boosting K-means for Big Data by Fusing Data Streaming with Global Optimization
University of Washington(华盛顿大学);Satbayev University(萨特巴耶夫大学);Institute of Information and Computational Technologies(信息与计算技术研究所)
本文提出一种基于变邻域搜索的启发式算法,通过对大数据随机样本上的部分目标函数景观进行序贯全局优化,显著提升K-means聚类的准确性与效率,成为该领域新的最先进方法。
2024-10-18 cs.AI cs.LG math.OC
Incremental Gaussian Mixture Clustering for Data Streams
University of Cincinnati(辛辛那提大学)
针对超大规模数据流分析需求,提出一种基于熵最小化准则的增量式高斯混合聚类算法,可在流式数据中更新聚类并识别异常点,经多个二维数据集验证有效。
2024-12-10 cs.DB cs.LG
SNAP-KG: Streaming Node Assignment via Projection for Knowledge Graph Entity Integration
Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究提出SNAP-KG框架,通过训练投影器实现流式知识图谱实体的快速分配,在多个基准数据集和生产级KG上实现推理速度大幅提升与候选搜索范围显著缩小。
2026-08-27 cs.LG
Streaming Active Learning Strategies for Real-Life Credit Card Fraud Detection: Assessment and Visualization
Université Libre de Bruxelles(布鲁塞尔自由大学);Worldline(世界线)
信用卡欺诈检测是一个非常具有挑战性的问题,因为交易数据和标记过程的特定性质。交易数据是特殊的,因为它们是以流的方式获得的,它们是强烈不平衡的,并且倾向于非平稳性。标记是主动学习过程的结果,因为每天人类调查人员仅接触少量持卡人(与最危险的交易相关联)并获得相关交易的类别(欺诈或真实)。因此,对持卡人集合的适当选择对于有效的欺诈检测过程至关重要。在本文中,我们提出了一些主动学习策略,我们调查他们的欺诈检测精度。我们比较了不同的标准(监督,半监督和无监督)来查询未标记的交易。最后,我们强调存在的剥削/探索权衡主动学习的背景下,欺诈检测,这是迄今为止被忽视的文献。
2018-04-20 cs.LG stat.ML
Consistency-Aware Padding for Incomplete Multi-Modal Alignment Clustering Based on Self-Repellent Greedy Anchor Search
School of Software Technology, Dalian University of Technology(大连理工大学软件学院)
本文提出CAPIMAC方法,通过自排斥贪心锚点搜索和一致性感知填充模块,解决多模态数据不平衡与未对齐问题,提升融合聚类质量。
2025-07-05 cs.CV cs.LG
Online Cluster Validity Indices for Streaming Data
School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
聚类分析被广泛应用于探索未标记数据集的结构。聚类分析的一个重要部分是验证计算获得的聚类的质量。已经开发了大量不同的内部指数,用于在离线设置中进行验证。然而,这一概念尚未扩展到在线环境。一个关键的挑战是找到一个有效的增量制定的索引,可以捕获的凝聚力和分离的集群在潜在的无限数据流。在本文中,我们开发了两个在线版本(有和没有遗忘因子)的谢-贝尼和戴维斯-博尔丁内部有效性指标,并分析其特点,使用两个流聚类算法(SK-均值和在线椭球聚类),并说明其用于监测不断变化的集群流数据。我们还表明,增量集群有效性指数能够发送一个遇险信号,在线监视器时,不断发展的集群出错。数值算例表明,带遗忘因子的增量Xie-Beni指数优于其他三个指数。
2018-01-08 cs.LG stat.ML
A Novel Adaptive Minority Oversampling Technique for Improved Classification in Data Imbalanced Scenarios
TCS Research, Tata Consultancy Services Ltd.(塔塔咨询服务有限公司TCS研究院)
不同类别的训练样本比例的不平衡往往会导致传统分类器的性能下降。这主要是由于分类器倾向于偏向不平衡数据集中的大多数类。在本文中,我们提出了一种新的三步技术来解决不平衡的数据。作为第一步,我们显着过采样的少数类分布采用传统的合成少数过采样技术(SMOTE)算法使用的少数类样本的邻域,在下一步中,我们分区生成的样本使用高斯混合模型基于聚类算法。在最后的步骤中,基于与聚类相关联的权重来选择合成数据样本,权重本身由多数类样本的分布来确定。从不同领域的几个标准数据集上的广泛实验表明,所提出的技术与原来的SMOTE和它的国家的最先进的变种算法相比,是有用的。
2021-03-26 cs.AI cs.LG
Minority Oversampling for Imbalanced Time Series Classification
Changsha University(长沙学院);Hunan University of Finance and Economics(湖南财政经济学院);Jiangxi Vocational Technical College of Industry and Trade(江西工业贸易职业技术学院);Zhejiang Gongshang University(浙江工商大学)
许多重要的实际应用都涉及具有偏态分布的时间序列数据。与传统的不平衡学习问题相比,不平衡时间序列数据的高维性和变量间的高度相关性使其分类更具挑战性。针对高维不平衡时间序列分类问题,提出了一种结构保持的过采样方法。OHIT首先利用基于密度比的共享最近邻聚类算法来捕获高维空间中少数类的模式。然后对每个模式应用大维协方差矩阵的收缩技术,获得准确可靠的协方差结构。最后,OHIT通过使用估计的协方差矩阵生成基于多元高斯分布的结构保持的合成样本。在几个公开的时间序列数据集(包括单峰和多峰)上的实验结果证明了OHIT在F1,G-mean和AUC方面优于最先进的过采样算法。
2021-08-20 cs.LG stat.ML
CUSBoost: Cluster-based Under-sampling with Boosting for Imbalanced Classification
United International University(联合国际大学)
类不平衡分类是数据采掘和机器学习中的一个具有挑战性的研究问题,因为大多数现实生活中的数据集往往是不平衡的。现有的学习算法通过正确分类多数类而最大化分类精度,但是错误分类少数类。然而,在现实生活中的应用程序中,少数类实例比多数类实例更感兴趣地表示概念。最近,一些技术的基础上的抽样方法(欠采样的多数类和过采样的少数类),成本敏感的学习方法,集成学习已被用于在文献中分类不平衡的数据集。在本文中,我们介绍了一种新的基于聚类的欠采样方法与升压(AdaBoost)算法,称为ADABoost,有效的不平衡分类。该算法提供了一种替代RUSBoost(随机欠采样与AdaBoost)和SMOTEBoost(合成少数过采样与AdaBoost)算法。我们使用基于集成学习的最先进的方法,如AdaBoost,RUSBoost,SMOTEBoost,在13个具有不同不平衡率的不平衡二进制和多类数据集上评估了RUSBoost算法的性能。实验结果表明,该算法是一种有效的处理高度不平衡数据集的方法。
2017-12-12 cs.LG stat.ML
Oversampling for Imbalanced Learning Based on K-Means and SMOTE
NOVA Information Management School, Universidade Nova de Lisboa(新里斯本大学新里斯本信息管理学院)
在监督学习中,从类不平衡数据中学习仍然是一个常见且具有挑战性的问题,因为标准分类算法被设计为处理平衡类分布。虽然存在不同的策略来解决这个问题,但生成人工数据以实现均衡的类分布的方法比修改分类算法更通用。这种技术,称为过采样器,修改训练数据,允许任何分类器用于类不平衡的数据集。已经提出了许多算法来完成这项任务,但大多数算法都很复杂,并且往往会产生不必要的噪声。本文提出了一种基于k-means聚类和SMOTE过采样的简单有效的过采样方法,避免了噪声的产生,有效地克服了类间和类内的不平衡。对71个数据集的实验结果表明,该方法对训练数据进行过采样后,分类效果得到了改善。此外,k-means SMOTE始终优于其他流行的过采样方法。在python程序设计语言中提供了一个实现。
2017-12-12 cs.LG stat.ML
Online Clustering of Known and Emerging Malware Families
Faculty of Information Technology, Czech Technical University in Prague(布拉格捷克技术大学信息技术学院);San Jose State University(圣何塞州立大学)
本文提出一种基于机器学习的在线聚类模型,利用加权 k 近邻和在线 k 均值对恶意软件流式样本进行已知家族分类与新兴家族聚类,在 Windows PE 静态分析上实现 90.20% 至 93.34% 的簇纯度,以加速恶意软件分析。
2024-05-06 cs.CR cs.LG
GMOTE: Gaussian based minority oversampling technique for imbalanced classification adapting tail probability of outliers
Hanyang University(汉阳大学)
不平衡数据的分类是当前数据采掘领域中的一个常见问题。不平衡的数据会严重影响标准分类模型的性能。数据级方法主要采用过采样方法来解决这一问题,如合成少数过采样技术(SMOTE)。然而,由于诸如SMOTE的方法通过线性插值生成实例,因此合成数据空间可能看起来像多边形。此外,过采样方法产生少数类的离群值。在本文中,我们提出了基于高斯的少数过采样技术(GMOTE)的统计角度不平衡数据集。为了避免线性插值和考虑离群点,该方法通过高斯混合模型生成实例。受基于聚类的多变量高斯离群值(CMGOS)的启发,我们提出通过马氏距离来调整实例的尾概率以考虑局部离群值。实验是在一组有代表性的基准数据集上进行的。GMOTE的性能与其他方法,如SMOTE进行了比较。当GMOTE与分类回归树(CART)或支持向量机(SVM)相结合时,它表现出更好的准确性和F1得分。实验结果表明,鲁棒性能。
2021-05-09 cs.LG stat.ML
DADIR: Density-Aware Data-level Imbalanced Regression Framework
University of Zanjan(赞詹大学)
针对不平衡回归难题,提出DADIR框架,含密度感知自适应划分、密度正则化条件变分自编码器和潜在空间数据平衡三个组件,能有效识别少数区域、保留稀疏区域信息并生成合成数据,提升不平衡回归数据集预测性能。
2026-07-21 cs.AI cs.LG
Smart Data driven Decision Trees Ensemble Methodology for Imbalanced Big Data
University of Granada(格拉纳达大学);Mälardalen University(梅拉达伦大学)
每个类的数据大小差异,也称为不平衡的数据分布,已成为影响数据质量的常见问题。大数据场景对传统的不平衡分类算法提出了新的挑战,因为它们不准备处理如此大量的数据。由于MapReduce范式的使用而导致的分裂数据策略和少数类中数据的缺乏为解决大数据场景中类之间的不平衡提出了新的挑战。集成已被证明能够成功地解决不平衡的数据问题。智能数据是指足够高质量的数据,以实现高性能模型。通过大数据预处理实现的集成和智能数据的结合应该是一个很好的协同作用。本文提出了一种新的智能数据驱动的决策树包围方法,即SD_DeTE方法,用于解决大数据领域的不平衡分类问题。这种方法是基于学习不同的决策树使用分布式质量数据的集成过程。这种高质量的数据是通过融合随机离散化,主成分分析和基于聚类的随机过采样来获得原始数据的不同智能数据版本。在21个二进制适应数据集上进行的实验表明,我们的方法优于随机森林。
2021-09-03 cs.DC cs.LG stat.ML
Joint Debiased Representation and Image Clustering Learning with Self-Supervision
LMU Munich(慕尼黑大学);Google Research(谷歌研究院)
对比学习是视觉表示学习最成功的方法之一,其性能可以通过对学习到的表示联合执行聚类来进一步提高。然而,现有的联合聚类和对比学习的方法在长尾数据分布上表现不佳,因为多数类压倒并扭曲少数类的损失,从而防止学习有意义的表示。出于这一动机,我们开发了一种新的联合聚类和对比学习框架,通过调整去偏对比损失,以避免不平衡数据集的少数类别的聚类不足。我们表明,我们提出的改进的去偏对比损失和发散聚类损失提高了多个数据集和学习任务的性能。源代码可在https://anonymous.4open.science/r/SSL-debiased-clustering上获得
2022-09-14 cs.CV cs.LG
Concept Drift Detection for Streaming Data
Johns Hopkins University(约翰斯·霍普金斯大学);Robert Bosch LLC Research and Technology Center North America(罗伯特·博世有限责任公司北美研究与技术中心)
常见的统计预测模型通常需要并假设数据的平稳性。然而,在许多实际应用中,随着时间的推移,经常观察到的响应和预测变量的关系的变化,导致这些模型的预测性能的恶化。本文提出了线性四率(LFR),这是一个用于检测这些概念漂移并随后识别属于新概念的数据点(用于重新学习模型)的框架。与传统的概念漂移检测方法不同,LFR可以应用于批处理和流数据;不受响应变量的分布特性的限制(例如,具有不平衡标签的数据集);独立于底层的几何模型;并且使用直观可理解的用户指定的参数。LFR的性能进行比较,基准方法使用模拟和常用的公共数据集,跨越色域的概念漂移类型。结果表明,LFR在召回率,准确率和延迟检测跨数据集的概念漂移方面显着优于基准方法。
2015-05-03 cs.LG stat.ML
An Instance Selection Algorithm for Big Data in High imbalanced datasets based on LSH
Universidad de Antioquia(安蒂奥基亚大学);Universidad Politécnica de Madrid(马德里理工大学)
在真实环境中训练机器学习(ML)模型通常涉及大数据集和高级不平衡样本,其中感兴趣的类别未被表示(少数类别)。使用经典ML模型的实用解决方案使用训练算法的并行/分布式实现、基于模型的近似解决方案或应用实例选择(IS)算法来消除冗余信息来解决大型数据集的问题。然而,大型和高度不平衡数据集的组合问题却很少得到解决。这项工作提出了三种新的方法是能够处理大型和不平衡的数据集。所提出的方法使用局部敏感哈希(LSH)作为基本聚类技术,然后三种不同的采样方法应用于LSH生成的聚类(或桶)的顶部。这些算法是在Apache Spark框架中开发的,保证了它们的可扩展性。在三个不同的数据集上进行的实验表明,所提出的IS方法可以在几何平均值方面将基础ML模型的性能提高5%到19%。
2022-10-09 cs.DC cs.DS cs.LG
Concept Drift Detection and Adaptation with Weak Supervision on Streaming Unlabeled Data
当数据特征或目标的统计属性随时间变化时,学习和分类中的概念漂移就会发生;漂移的证据已经出现在搜索数据,医学研究,恶意软件,网络数据和视频中。漂移自适应尚未解决高维,噪声,低上下文数据,如流文本,视频或图像,由于这些领域存在的独特挑战。我们提出了一个双重的方法来处理这些领域的概念漂移:一个基于密度的聚类方法来处理虚拟概念漂移(功能的统计特性的变化)和一个弱监督步骤来处理真正的概念漂移(目标的统计特性的变化)。我们的基于密度的集群避免了维度灾难带来的问题,以创建实时数据空间的不断发展的“地图”,从而解决特征中的虚拟漂移。我们的弱监督步骤利用高置信度标签(oracle或启发式标签)来生成加权训练集,以泛化和更新现有的深度学习器,以适应不断变化的决策边界(真实漂移),并为数据空间中不可见的区域创建新的深度学习器。我们的研究结果表明,我们的双重方法在2018年表现良好,精度>90%,在2014年首次部署四年后,没有任何人为干预。
2019-10-02 cs.LG stat.ML
Learning Unbiased Cluster Descriptors for Interpretable Imbalanced Concept Drift Detection
School of Computer Science and Technology, Guangdong University of Technology(广东工业大学计算机科学与技术学院);Department of Computer Science, Hong Kong Baptist University(香港 Baptist 大学计算机科学系);Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(中国教育部多媒体可信感知与高效计算重点实验室,厦门大学);School of Mathematics and Statistics, Guangdong University of Technology(广东工业大学数学与统计学院)
ICD3通过无偏的聚类描述符检测不平衡数据中的概念漂移,提高可解释性和鲁棒性。
2026-03-06 cs.AI cs.LG
PCA-Based Missing Information Imputation for Real-Time Crash Likelihood Prediction Under Imbalanced Data
Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学)
实时的【形】的碰撞可能性预测一直是一个重要的研究课题。各种分类器,如支持向量机(SVM)和基于树的提升算法,已被提出在交通安全研究。然而,在实时的【形】碰撞可能性预测中,由于传感器故障或外部干扰等原因,经常会出现数据缺失的情况,但很少有研究关注数据缺失的填补问题。此外,不平衡数据的分类也是实时的【形】碰撞可能性预测中的一个难题,因为很难区分构成大多数观察样本的易碰撞案例和非碰撞案例。在本文中,主成分分析(PCA)为基础的方法,包括LS-PCA,PPCA,VBPCA,用于填补缺失值,而两种解决方案,以解决不平衡数据的问题。结果表明,PPCA和VBPCA不仅在均方根误差(RMSE)方面优于LS-PCA和其他填充方法(包括均值填充和k-means聚类填充),而且有助于分类器获得更好的预测性能。两种解决方案,即,代价敏感学习和合成少数过采样技术(SMOTE),通过调整分类器以更多地关注少数类来帮助提高灵敏度。
2018-02-11 cs.LG stat.ML