ENFrame: A Platform for Processing Probabilistic Data
介绍了一个用于概率数据查询和挖掘的统一数据处理平台ENFrame。使用ENFrame,用户可以用Python的一个片段编写程序,其中包含有界范围循环、列表解析、列表上的聚合操作以及对外部数据库引擎的调用等结构。该程序然后解释概率ENFrame。ENFrame的实现需要在几个方向上做出新的贡献。我们提出了一种事件语言,表达足够简洁地编码任意相关性,跟踪用户程序的计算,并允许计算程序变量的离散概率分布。我们介绍了三种聚类算法:k-means,k-medoids和马尔可夫聚类。我们引入顺序和分布式算法计算的概率互连事件准确或近似的错误保证。从能源网络的传感器读数的k-medoids聚类的实验表明,在每个可能的世界中,使用ENFrame的精确聚类的数量级的改进,近似超过精确,分布超过顺序算法。
2013-09-02 cs.DB
Clustering Categorical Data Streams
数据流模型是为涉及快速生成的大量数据的新型应用程序定义的。Web点击流分析和网络入侵检测就是两个例子。数据流上的聚类分析变得更加困难,因为数据流中的数据对象必须按顺序访问,并且在有限的资源下只能读取一次或几次。近年来,一些聚类算法已经被开发用于分析数值数据流。然而,据我们所知,迄今为止,没有算法存在聚类分类数据流。在本文中,我们提出了一个有效的聚类算法分析分类数据流。实验证明,该算法占用内存小。我们提供了实证分析的性能算法聚类合成和真实的数据流
2004-12-13 cs.AI cs.DB
Clustering Stream Data by Exploring the Evolution of Density Mountain
流聚类是许多流数据分析应用中的基本问题。与传统的批处理模式聚类相比,流聚类存在两个关键问题:(1)在输入数据不断变化的情况下,如何有效地增量更新聚类结果?(ii)集群随着数据的演化而不断演化,如何捕捉集群的演化活动?现有的流聚类算法大多不能实时的更新聚类结果,也不能跟踪聚类的演化。本文通过对密度山演化的研究,提出了一种流聚类算法EDMStream。密度山用于抽象数据分布,密度山的变化反映数据分布的演化。我们通过监测密度山的变化来跟踪团簇的演化。我们进一步提供了有效的数据结构和过滤方案,以确保密度山的更新是实时的,这使得在线聚类成为可能。在合成数据集和真实数据集上的实验结果表明,与现有的流聚类算法相比,D-Stream,DenStream,DBSTREAM和MR-Stream,我们的算法可以更快地响应集群更新(比最好的竞争对手快7- 15倍),同时实现可比的集群质量。此外,EDMStream可以成功地捕捉集群的演化活动。
2017-10-02 cs.DB cs.IR
CluStRE: Streaming Graph Clustering with Multi-Stage Refinement
Heidelberg University(海德堡大学)
该研究提出流图聚类算法CluStRE,通过多阶段优化在流设置中处理图,动态构建商图实现模块度优化,实验显示其解质量提升89.8%、速度快2.6倍,有效弥合流与传统聚类方法的差距。
2025-02-08 cs.DB cs.LG
Improved Multi-objective Data Stream Clustering with Time and Memory Optimization
University Sorbonne Paris Nord(索邦巴黎北大学);Higher School of Computer Science (ESI-SBA)(高等计算机科学学院(ESI-SBA))
在过去的几十年里,由于传感器、社交媒体等的发展,数据流的分析受到了相当大的关注,它旨在识别无序、无限和不断发展的观测流中的模式。对这种类型的数据进行聚类需要在时间和内存方面有一些限制。提出了一种新的数据流聚类方法IMOC Stream。与其他聚类算法不同,该方法使用两个不同的目标函数来捕获数据的不同方面。IMOC流的目标是:1)通过使用空闲时间来应用遗传操作并增强解决方案来减少计算时间。2)通过引入新的树概要来减少内存分配。3)通过使用多目标框架找到任意形状的集群。我们进行了一项实验研究,高维流数据集,并将其与著名的流聚类技术。实验结果表明,我们的方法分区的数据流在任意形状,紧凑,以及分离的集群,同时优化的时间和内存的能力。我们的方法也优于大多数的流算法在NMI和ARAND措施。
2022-01-13 cs.DB cs.LG
Communication-Efficient and Exact Clustering Distributed Streaming Data
一个广泛使用的方法来聚类一个单一的数据流是两个阶段的方法,其中在线阶段创建和维护微集群,而离线阶段从微集群生成宏集群。我们使用这种方法,提出了一个分布式框架聚类流数据。我们提出的框架由基本过程组成:一个协调器-站点过程和许多远程站点过程。远程站点进程可以直接与协调器进程通信,但不能与其他远程站点进程通信。每个远程站点进程从其本地数据流中生成并维护表示簇信息摘要的微簇。远程站点通过串行化技术将本地微聚类发送给协调器,或者协调器调用远程方法从远程站点获取本地微聚类。协调器接收到来自远程站点的所有局部微聚类后,通过宏聚类方法生成全局聚类。我们的理论和实证结果表明,我们的分布式框架产生的全局聚类是类似的底层集中式算法在同一数据集上产生的聚类。通过使用局部微聚类方法,我们的框架实现了高可扩展性和通信效率。
2012-09-19 cs.DB cs.DC
Data Stream Clustering: A Review
Middle East Technical University(中东技术大学)
连接设备的数量正在稳步增加,这些设备不断生成数据流。尽管面临许多挑战,但数据流的实时处理引起了人们的兴趣。聚类是最适合实时数据流处理的方法之一,因为它可以应用于较少的先验信息的数据,它不需要标记的实例。然而,数据流聚类在许多方面不同于传统的聚类,它有几个具有挑战性的问题。在这里,我们提供有关数据流的概念和共同特征的信息,如概念漂移,数据流的数据结构,时间窗口模型和离群值检测。本文对近年来的数据流聚类算法进行了综述,并从基本聚类技术、计算复杂性和聚类精度三个方面对它们进行了分析。这些算法的比较,以及仍然开放的问题。我们指出流行的数据流存储库和数据集,流处理工具和平台。最后讨论了数据流聚类中存在的问题。
2020-07-16 cs.AI cs.DB cs.LG
On Graph Stream Clustering with Side Information
由于网络、社交网络和生物信息学等新兴应用,图聚类成为一个重要的问题。近来,许多这样的应用以流的形式生成数据。由于图的复杂结构和连续数据的计算困难,聚类大规模的动态图流是非常具有挑战性的。同时,大量的边信息与图相关联,其可以是各种类型。这些例子包括用户在社交网络活动中的属性、与web点击图流相关联的Meta属性以及移动通信网络中的位置信息。这些属性包含非常有用的信息,并有可能改善聚类过程,但被最近的图流挖掘技术所忽视。在本文中,我们定义了一个统一的距离度量的链接结构和侧属性的聚类。此外,我们提出了一个新的优化框架DMO,它可以动态优化的距离度量,使其适应新接收的流数据。我们进一步介绍了一个精心设计的统计SGS(C),消耗恒定的存储空间的流的进展。我们证明,保持的统计数据是足够的聚类过程,以及距离优化,可以扩展到大量的图形与侧属性。我们将提出实验结果,以显示该方法在图流聚类与链接和边信息超过基线的优势。
2013-01-28 cs.DB cs.SI
SMOClust: Synthetic Minority Oversampling based on Stream Clustering for Evolving Data Streams
Keele University(基尔大学);University of Birmingham(伯明翰大学)
针对数据流中概念漂移与类不平衡的联合挑战,提出基于流聚类的过采样策略SMOClust,利用流聚类压缩信息生成合成少数类样本,实验证明其优于现有方法,尤其在严重不平衡场景下。
2023-08-28 cs.DB cs.LG
Data Stream Clustering: Challenges and Issues
Islamic Azad University, Karaj Branch(伊斯兰阿扎德大学卡拉伊分校);University Putra Malaysia (UPM)(马来西亚博特拉大学)
需要非常大的数据库来存储不断插入和查询的大量数据。分析海量数据集,提取有价值的模式,在许多应用中是研究人员感兴趣的。我们可以确定两个主要的技术组巨大的数据库挖掘。一组是指流数据和应用挖掘技术,而第二组则试图直接用有效的算法解决这个问题。近年来,许多研究者将数据流作为一种有效的策略来解决大数据库挖掘问题,而不是对整个数据库进行挖掘。数据流挖掘中的主要问题是演化数据更难被发现,因此需要采用无监督的方法。然而,聚类技术可以帮助我们发现隐藏的信息。在本调查中,我们试图澄清:第一,一般与数据流聚类相关的不同问题定义;第二,在这一研究领域遇到的具体困难;第三,不同的假设,理论和直觉形成了不同方法的基础;以及几个突出的解决方案如何解决不同的问题。索引术语-数据流、聚类、K均值、概念漂移
2010-06-28 cs.DB cs.LG
Incremental Gaussian Mixture Clustering for Data Streams
University of Cincinnati(辛辛那提大学)
针对超大规模数据流分析需求,提出一种基于熵最小化准则的增量式高斯混合聚类算法,可在流式数据中更新聚类并识别异常点,经多个二维数据集验证有效。
2024-12-10 cs.DB cs.LG
Probabilistic Partitive Partitioning (PPP)
Ryerson University(瑞尔森大学)
聚类是一个NP难问题。因此,不存在最优算法,应用聚类分析对数据进行聚类。如果应用不当,启发式方法可能非常耗费资源。对于相当大的数据集,如果可以实现最小的信息损失,则可以通过减少输入空间来实现计算效率。一般来说,聚类算法面临两个常见的问题:1)这些算法收敛到具有不同初始条件的不同设置; 2)聚类的数量必须事先任意决定。这个问题在大数据领域变得至关重要。最近,出现了聚类算法,它可以使用网格上的并行处理来加速计算,但面临上述问题。目标:我们的目标是找到聚类数据的方法,这些方法:1)保证收敛到相同的设置,而不管初始条件如何; 2)消除预先确定聚类数量的需要; 3)可以应用于聚类大型数据集。研究方法:我们介绍了一种方法,结合概率和组合聚类方法产生可重复的和紧凑的集群,是不敏感的初始条件。该方法利用k-means(一种组合聚类方法)来聚类/划分非常大的维度数据集,并使用高斯混合模型(一种概率聚类方法)来验证k-means分区。结果:我们表明,这种方法产生非常紧凑的集群是不敏感的初始条件。该方法可用于识别数据集中最“可分离”的集合,从而增加数据集的“可聚类性”。该方法还消除了预先指定聚类数的需要。
2020-03-09 cs.DB cs.LG
Parallel clustering of high-dimensional social media data streams
我们引入云DIKW作为一个分析环境,支持科学发现,通过集成的并行批处理和流处理,并将其应用到一个代表性的领域应用:社交媒体数据流聚类。最近的工作表明,可以通过使用反映文本内容和社交网络信息的高维向量表示数据点来生成高质量的聚类。由于相似性计算的高成本,即使是单遍算法的顺序实现也无法跟上真实世界流的速度。本文介绍了我们的努力,以满足实时社会流聚类通过并行化的限制。我们关注两个系统层面的问题。像Apache Storm这样的大多数流处理引擎都以有向非循环图的形式组织分布式工作器,这使得动态同步并行工作器的状态变得困难。我们通过使用发布-订阅消息传递系统创建单独的同步通道来应对这一挑战。由于高维向量的稀疏性,随着新数据点被分配到聚类,质心的大小快速增长。传统的同步,直接广播集群质心变得过于昂贵,限制了并行算法的可扩展性。我们解决这个问题的通信集群,而不是整个质心向量的动态变化。我们的算法在云DIKW下可以实时处理Twitter 10%的数据流,具有96路并行度。通过对Cloud DIKW的自然改进,包括在Harp项目中开发的高级集体通信技术,我们将能够以1000路并行实时处理完整的Twitter流。我们使用强大的通用软件子系统将使许多其他需要集成流和批处理数据分析的应用程序成为可能。
2015-02-01 cs.DB cs.DC cs.SI
Probabilistic Top-k Dominating Query Monitoring over Multiple Uncertain IoT Data Streams in Edge Computing Environments
National Chiao Tung University(国立交通大学);Compal Electronics, Inc.(广达电脑股份有限公司);National Taipei University of Technology(台北科技大学)
本文提出了一种基于边缘计算环境的多不确定物联网数据流概率性Top-k支配查询方法,通过并行计算提高效率并减少通信成本,提升查询精度。
2019-06-01 cs.DB cs.DC
Probabilistic Skyline Query Processing over Uncertain Data Streams in Edge Computing Environments
随着技术的进步,我们生活中产生的数据越来越快,各种应用需要处理的数据量变得极其巨大。因此,我们需要投入更多的精力来分析数据并提取有价值的信息。云计算曾经是解决大量数据分析问题的好技术。然而,在物联网(IoT)普及的时代,将传感数据传回云端进行集中数据分析将消耗大量的无线通信和网络传输成本。为了解决上述问题,边缘计算已经成为一种很有前途的解决方案。在本文中,我们提出了一个新的算法,在边缘计算环境中处理不确定数据流上的概率skyline查询。我们使用第二个天际线集的概念来过滤不太可能是天际线结果的数据。此外,边缘服务器只发送更新云服务器上的全局分析结果所需的信息,这将大大减少通过网络传输的数据量。实验结果表明,该方法在二维数据上的响应时间比暴力方法减少了50%以上,在高维数据上的处理速度也保持了领先水平.
2020-09-15 cs.DB cs.DC cs.DS