AMD-DBSCAN: An Adaptive Multi-density DBSCAN for datasets of extremely variable density
Sun Yat-sen University(中山大学);University of Nottingham(诺丁汉大学);Zhuhai Jieli Technology Co.,Ltd(珠海杰理科技有限公司)
针对传统DBSCAN在多密度数据集上聚类效果不佳的问题,提出仅需一个超参数的自适应多密度DBSCAN算法AMD-DBSCAN,通过改进参数自适应方法搜索多组参数对,引入邻居数方差衡量簇间密度差,在降低复杂度、缩短运行时间的同时提升了多密度场景聚类准确率。
2023-10-09 cs.DB cs.DC cs.LG
Two step clustering for data reduction combining DBSCAN and k-means clustering
针对高维数据集参数空间样本分布不均的问题,提出结合DBSCAN与k-means的两步自适应聚类约简算法,可在不损失代理模型精度的前提下将聚变等离子体湍流训练数据集约简约20倍,降低高质量数据补全成本。
2021-11-22 cs.DB physics.comp-ph physics.plasm-ph
Performance Evaluation of Incremental K-means Clustering Algorithm
增量K-means聚类算法已经在论文[Chakraborty和Nagwani,2011]中提出和分析。这是一个非常创新的方法,适用于周期性增量的环境和处理大量的更新。本文利用大气污染数据库对增量式K均值聚类算法进行了性能评估。本文还描述了现有的K-均值聚类和增量K-均值聚类使用特定的数据库之间的性能评估的比较。它还评估了数据库中的特定变化点,增量K-means聚类的性能比现有的K-means聚类要好得多。数据库中的特定变化点被称为“阈值”或“数据库中的%增量变化”。本文还定义了增量K均值聚类算法的基本方法。
2014-06-18 cs.DB cs.IR
A Survey of Some Density Based Clustering Techniques
Icfai University Nagaland(那兰市伊克法伊大学);Sikkim Manipal Institute of Technology(锡金马尼帕尔理工学院)
本文对DBSCAN、OPTICS等多种基于密度的聚类方法进行综述,分析其特点、优缺点及在不同数据集上的适用性,为数据挖掘中的模式提取提供方法参考。
2023-07-23 cs.DB cs.LG
Batch Incremental Shared Nearest Neighbor Density Based Clustering Algorithm for Dynamic Datasets
增量式数据采掘算法通过避免冗余计算有效地处理动态数据集的频繁更新。现有的基于密度的共享最近邻聚类(SNND)算法的增量扩展不能处理数据集的删除,一次只能处理一个点的插入。我们提出了一个增量算法来克服这两个瓶颈,有效地确定受影响的部分集群,同时处理更新数据集在批处理模式。我们通过在大型合成数据集和真实世界数据集上进行实验来证明我们的算法的有效性。我们的算法比SNND快四个数量级,需要比SNND多60%的内存,同时提供与SNND相同的输出。
2017-01-31 cs.DB cs.IR
Theoretically-Efficient and Practical Parallel DBSCAN
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UC Riverside(加州大学河滨分校)
空间聚类的DBSCAN方法由于其在各种数据分析任务中的适用性而受到极大的关注。在欧几里得空间中,有快速的DBSCAN顺序算法,对于二维采用$O(n\log n)$工作,对于三维或更多维采用次二次工作,并且可以近似地在线性工作中计算任何常数数量的维度。然而,现有的并行DBSCAN算法在最坏的情况下需要二次工作,使得它们对于大型数据集效率低下。本文提出了新的并行算法,欧几里德精确DBSCAN和近似DBSCAN相匹配的顺序对应的工作范围,并高度并行(polylogarithmic深度)的并行DBSCAN的理论和实践之间的差距桥梁。我们提出了我们的算法的实现以及优化,提高其实际性能。我们在各种数据集和参数设置上对我们的算法进行了全面的实验评估。我们的36核机器上的超线程的实验表明,我们优于现有的并行DBSCAN实现高达几个数量级,并实现最高33倍的最佳顺序算法的加速比。
2021-01-27 cs.DB cs.DC cs.DS
A Modular Spatial Clustering Algorithm with Noise Specification
PES University(PES大学)
本文提出受细菌生长启发的模块化聚类算法 Bacteria-Farm,在保持聚类性能的同时降低参数寻优难度,并支持显式指定聚类中需排除的噪声量。
2023-09-18 cs.DB cs.LG
New Proximity Estimate for Incremental Update of Non-uniformly Distributed Clusters
传统的聚类算法挖掘静态数据库,生成一组聚类形式的模式。许多现实生活中的数据库都在不断增长。对于这样的动态数据库,从原始数据库中提取的模式变得过时。因此,传统的聚类算法是不适合的增量数据库,由于缺乏能力,以修改聚类结果,根据最近的更新。在本文中,作者提出了一种新的增量聚类算法CFICA(基于聚类分析的增量聚类方法数值数据)来处理数值数据,并提出了一种新的接近度度量称为逆接近估计(IPE),它考虑了数据点的接近聚类代表以及它的接近最远的点在其附近。CFICA利用所提出的邻近度量来确定数据点到聚类中的成员资格。
2013-10-25 cs.DB
Distributed Clustering in the Anonymized Space with Local Differential Privacy
对收集的数据进行聚类和分析可以改善大数据、物联网应用中的用户体验和服务质量。然而,直接发布原始数据带来了潜在的隐私问题,这为隐私保护聚类带来了挑战和机遇。本文在局部差分隐私框架下研究了分布式环境下的非交互式聚类问题。我们首先扩展了位向量,一种新的匿名化机制是功能性和隐私保护。基于改进的编码机制,我们提出了kCluster算法,可用于聚类的匿名空间。我们表明,修改后的编码机制可以很容易地实现在现有的聚类算法,只依赖于距离信息,如DBSCAN。理论分析和实验结果验证了所提方案的有效性。
2019-06-27 cs.CR cs.DB
Cluster Evaluation of Density Based Subspace Clustering
聚类真实世界的数据往往面临着维数灾难,其中真实世界的数据往往包括许多方面。多维数据聚类评价可以通过基于密度的方法来完成。基于DBSCAN聚类引入的范例的密度方法。在这种方法中,将计算具有MinPoints的每个对象邻居的密度。簇的变化将根据每个相邻对象的密度变化而发生。每个对象的邻居通常使用距离函数(例如欧几里得距离)来确定。本文将SUBCLU、FIRES和INSCY方法应用于6 × 1595维合成数据集的聚类。使用IO熵、F1测度、覆盖率、准确率和时间消耗作为性能评估参数。评价结果表明,SUBCLU方法需要相当长的时间来处理子空间聚类,但它的值覆盖率更好。INSCY方法虽然计算时间较长,但精度优于其他两种方法。
2010-12-29 cs.DB
Discovery of Web Usage Profiles Using Various Clustering Techniques
P.A. College of Engineering(P.A.工程学院);J.N.T. University(J.N.T.大学)
万维网(WWW)的爆炸式增长,有必要开发Web个性化系统,以了解用户的喜好,动态地为个人用户提供定制的内容。为了从Web使用数据中揭示用户偏好信息,Web使用挖掘(WUM)技术被广泛应用于Web日志数据。聚类技术被广泛用于WUM中,以捕获访问Web站点的用户之间的相似兴趣和趋势。聚类的目的是将数据集划分为组或簇,其中簇间相似性最小化,而簇内相似性最大化。本文综述了四种常用的聚类技术:k-Means,k-Medoids,Leader和DBSCAN。这些技术的实现和测试对Web用户的导航数据。每种技术的性能和有效性的结果进行了介绍和比较。
2015-09-01 cs.DB cs.IR cs.LG
Incremental Gaussian Mixture Clustering for Data Streams
University of Cincinnati(辛辛那提大学)
针对超大规模数据流分析需求,提出一种基于熵最小化准则的增量式高斯混合聚类算法,可在流式数据中更新聚类并识别异常点,经多个二维数据集验证有效。
2024-12-10 cs.DB cs.LG
Canonical PSO Based k-Means Clustering Approach for Real Datasets
"聚类"这一技术的意义和应用遍及各个领域。聚类是数据采掘中的一个无监督的过程,因此对聚类结果的正确评价以及聚类结果的紧密性和可分性的度量是一个重要的问题,评价聚类结果的过程称为聚类有效性度量。针对不同类型的问题需要不同类型的指标来解决,指标的选择取决于数据的种类,本文首先提出了基于标准粒子群算法的K-means聚类算法,并分析了几种重要的聚类指标(集群间,集群内),然后使用典型的K均值评估这些指数对实时空气污染数据库,批发客户,葡萄酒和车辆数据集的影响,本文介绍了基于K-means的标准PSO算法、基于K-means的简单PSO算法、DBSCAN算法和层次聚类算法,并对聚类的性质进行了描述,最后通过有效性评估对这些聚类算法的性能进行了比较。它还定义了在所有这些算法中,哪种算法更适合在这个特定的现实生活数据集上进行适当的紧凑聚类。它实际上处理这些聚类算法的行为相对于验证指标,并表示其结果的数学和图形形式的评价。
2014-11-27 cs.DB
Analysis & Prediction of Sales Data in SAP-ERP System using Clustering Algorithms
聚类是一种重要的数据采掘技术,我们感兴趣的是最大化簇内距离和最小化簇间距离。我们利用聚类技术来检测产品销售的偏差,并识别和比较特定时间段内的销售。当没有为任何新项指定类时,聚类适合于将似乎自然落在一起的项分组。我们利用一家钢铁公司的年销售数据,分析了销售量和销售额与产品、客户和销售量等相关属性的关系。钢铁产品的需求是周期性的,取决于许多因素,如客户概况,价格,折扣和税收问题。在本文中,我们分析了销售数据的聚类算法,如K-Means和EM,揭示了许多有趣的模式,有利于提高销售收入和实现更高的销售量。我们的研究证实,与基于密度的方法(如DBSCAN和OPTICS)或分层方法(如COBWEB)相比,K-Means和EM算法等分区方法更适合分析我们的销售数据。
2013-12-10 cs.DB
Incremental Clustering Techniques for Multi-Party Privacy-Preserving Record Linkage
隐私保护记录链接(PPRL)支持多个数据集的敏感信息的集成,特别是涉及同一实体的记录的隐私保护匹配。PPRL在许多应用领域都得到了广泛的关注,其中最突出的是在医疗保健领域。PPRL技术通过对掩码(编码)值进行链接来解决这个问题。在来自多个(多于两个)方/源(多方PPRL,MP-PPRL)的记录上使用PPRL是一个越来越重要但具有挑战性的问题,迄今为止尚未得到充分解决。现有的MP-PPRL方法限于仅找到存在于所有参与方中的那些实体,从而丢失仅在参与方的子集中匹配的实体。此外,以前的MP-PPRL方法面临着很大的可扩展性的限制,由于需要大量的屏蔽记录之间的比较。因此,我们提出并评估新的MP-PPRL方法,找到匹配的任何子集的缔约方,仍然规模到许多缔约方。我们的方法保持集群内的所有匹配,其中这些集群是增量扩展或通过考虑记录从一方后,其他细化。使用多个真实的数据集,从3到26方,每个包含多达$5$万条记录的实证评估验证了我们的协议是有效的,并显着优于现有的MP-PPRL方法的链接质量和可扩展性。
2019-11-29 cs.DB cs.DC