A hybrid clustering algorithm for data mining
School of Computer Science & IT, Devi Ahilya Vishwavidyalaya(Devi Ahilya Vishwavidyalaya计算机科学与信息技术学院)
数据聚类是将相似数据分组的过程。聚类算法将数据集划分为几个组,使得组内的相似性优于组间的相似性。提出了一种基于K-均值和K-调和均值的混合聚类算法。该算法在五个不同的数据集上进行了测试。研究的重点是快速和准确的聚类。并与传统的K-means & KHM算法进行了性能比较。混合算法的计算结果明显优于传统的K-mean & KHM算法。
2012-05-24 cs.DB cs.LG
Efficient techniques for mining spatial databases
聚类是数据采掘的主要任务之一。近几年来,空间数据的聚类得到了广泛的研究.空间数据库是许多高级信息系统的组成部分,如地理信息系统超大规模集成电路设计系统。在这篇论文中,我们介绍了几种有效的空间数据聚类算法。首先,我们提出了一个基于网格的聚类算法,具有几个优点和性能相媲美的著名的高效聚类算法。该算法有几个优点。该算法不需要很多输入参数。它只需要三个参数,数据空间中的点的数量,网格中的单元格的数量和百分比。网格中单元的数量反映了算法应达到的精度。该算法能够发现任意形状的簇。该算法的计算复杂性与最有效的聚类算法的复杂性相当。该算法已被实施和测试对不同范围的数据库大小。性能结果表明,该算法的运行时间优于最知名的算法(CRANANS [23])。实验结果还表明,该算法的性能不随数据点数目的增加而降低。
2012-06-01 cs.DB
An Adaptive parameter free data mining approach for healthcare application
在当今世界,医疗保健是影响人类生活的最重要因素。由于工作量大,无法进行个人保健。建议的系统作为一种预防措施,用于确定一个人是否适合或不适合的人的历史和实时的数据的基础上,通过应用聚类算法,如K-均值和D-流。基于密度的聚类算法即D-stream算法克服了K-Means算法的缺点。通过计算它们的性能指标,我们最终发现这两种算法的有效性和效率。这两种聚类算法都适用于病人的生物医学历史数据库。为了检查这两种算法的正确性,我们将它们应用于患者当前的生物医学数据。
2012-11-08 cs.DB
MARC: Mining Association Rules from datasets by using Clustering models
University of Turkish Aeronautical Association(土耳其航空协会大学)
关联规则对于发现大型数据集中不同项目之间的关系非常有用,这些关系大多是隐藏的。符号模型是提取关联规则的主要工具。这种基本技术非常耗时,并且会生成大量的关联规则。为了克服这个缺点,我们提出了一种新的方法,称为MARC,提取两个重要级别的更重要的关联规则:类型I,和类型II。这种方法依赖于一个多地形无监督神经网络模型以及聚类质量的措施,评估一个给定的数值分类模型的成功表现为一个自然的符号模型。
2021-07-14 cs.DB cs.LG
A Novel Framework using Elliptic Curve Cryptography for Extremely Secure Transmission in Distributed Privacy Preserving Data Mining
隐私保护数据采掘是一种在挖掘过程中确保个人信息隐私的方法。最重要的任务是从分布的多个数据库中检索信息。数据一旦进入数据仓库,就可以被挖掘算法用来检索机密信息。建议的框架有两个主要任务,安全传输和保密信息在采矿过程中。安全传输是通过使用椭圆曲线密码和数据失真的隐私保护,确保高度安全的环境。
2012-04-12 cs.CR cs.DB
Data Stream Clustering: Challenges and Issues
Islamic Azad University, Karaj Branch(伊斯兰阿扎德大学卡拉伊分校);University Putra Malaysia (UPM)(马来西亚博特拉大学)
需要非常大的数据库来存储不断插入和查询的大量数据。分析海量数据集,提取有价值的模式,在许多应用中是研究人员感兴趣的。我们可以确定两个主要的技术组巨大的数据库挖掘。一组是指流数据和应用挖掘技术,而第二组则试图直接用有效的算法解决这个问题。近年来,许多研究者将数据流作为一种有效的策略来解决大数据库挖掘问题,而不是对整个数据库进行挖掘。数据流挖掘中的主要问题是演化数据更难被发现,因此需要采用无监督的方法。然而,聚类技术可以帮助我们发现隐藏的信息。在本调查中,我们试图澄清:第一,一般与数据流聚类相关的不同问题定义;第二,在这一研究领域遇到的具体困难;第三,不同的假设,理论和直觉形成了不同方法的基础;以及几个突出的解决方案如何解决不同的问题。索引术语-数据流、聚类、K均值、概念漂移
2010-06-28 cs.DB cs.LG
Tuple Value Based Multiplicative Data Perturbation Approach To Preserve Privacy In Data Stream Mining
来自特定领域的应用程序,如医疗,金融,图书馆,电话,购物记录和个人的大量数据定期生成。这些数据的共享被证明是有益的数据采掘应用。一方面,这些数据通过分析成为商业决策的重要资产;另一方面,数据隐私问题可能会阻止数据所有者共享数据分析信息。为了在共享数据的同时保护隐私,数据所有者必须提出一种解决方案,该解决方案既要实现隐私保护的双重目标,又要实现数据采掘任务的准确性-聚类和分类。为了保护敏感信息的隐私性,并以最小的信息损失获得数据聚类,提出了一种高效的方法。
2013-06-06 cs.DB
Approximate k-nearest neighbour based spatial clustering using k-d tree
不同的空间对象,如分子生物学和地理学,在他们的特点不同,在空间领域。需要以结构化的方式组织、管理和维护这些对象的方法。数据采掘提出了不同的技术来克服这些要求。数据采掘的主要任务有很多,但最常用的任务是聚类。同一集群内的数据集共享共同的特征,这些特征赋予每个集群其特征。提出了一种基于K-d树的近似kNN空间聚类算法的实现方法。本研究的主要贡献是使用k-d树数据结构进行空间聚类,并将其性能与蛮力方法进行比较。本文所做的工作的结果表明,使用k-d树的性能更好,相比传统的暴力的方法。
2013-03-08 cs.DB
A Fuzzy Clustering Based Approach for Mining Usage Profiles from Web Log Data
万维网在网站的规模和复杂性方面继续以惊人的速度增长,并且正在成为信息和数据的主要储存库。由于WWW的增长和复杂性的增加,网站发布者在吸引和留住用户方面面临着越来越大的困难。为了设计出受欢迎和有吸引力的网站,出版商必须了解他们的用户需求。因此,分析用户行为是网页设计的重要组成部分。Web使用挖掘(WUM)是将数据采掘技术应用于Web使用日志存储库,以发现可用于分析用户导航行为的使用模式。WUM包括三个主要步骤:预处理,知识提取和结果分析。Web使用挖掘中预处理阶段的目标是将原始Web日志数据转换为一组用户简档。每个这样的配置文件捕获表示用户会话的URL的序列或集合。
2015-09-01 cs.DB cs.IR
Discovering Business Area Effects to Process Mining Analysis Using Clustering and Influence Analysis
QPR Software Plc(QPR软件公司);Aalto University(阿尔托大学)
在大型组织中改进业务流程的一个常见挑战是,负责运营的业务人员缺乏对业务运营中发生的执行细节、流程变体和异常的基于事实的理解。虽然现有的流程挖掘方法可以基于事件日志发现这些细节,但将流程挖掘结果传达给业务人员是具有挑战性的。在本文中,我们提出了一种新的方法来发现业务领域的流程执行细节有显着的影响。我们的方法使用聚类组相似的情况下,基于流程的特点,然后影响分析,检测那些业务领域,最相关的发现集群。我们的分析是BPM人员和业务人员之间的桥梁,促进了这些群体之间的知识共享。我们还提出了一个基于公开的真实采购订单流程数据的示例分析。
2020-03-18 cs.DB cs.LG
Automatic ontology generation for data mining using fca and clustering
Ecole Nationale d’Ingénieurs de Tunis(突尼斯国家工程师学院)
由于数据采掘领域对形式化表示的需求日益增长,形式概念分析(FCA)和本体在计算机科学领域的成功应用,本文提出了一种融合概念聚类、模糊逻辑和形式概念分析的数据采掘模糊本体自动生成方法。在我们的方法中,我们建议生成的本体考虑到另一个程度的粒度到生成过程中。事实上,我们建议定义一个本体之间的类所产生的初步分类的数据。我们证明,这种方法优化了本体的定义,提供了一个更好的解释的数据和优化的空间内存和执行时间利用这些数据。
2013-11-07 cs.AI cs.DB
Palpatine: Mining Frequent Sequences for Data Prefetching in NoSQL Distributed Key-Value Stores
本文介绍了PALPATINE,第一个在内存中的应用程序级缓存的分布式键值(DKV)数据存储,能够预取数据,可能会在不久的将来访问。为了预测数据访问,PALPATINE通过数据采掘技术连续捕获对后台存储的频繁访问模式。通过这些模式,PALPATINE构建了访问项的随机图,并基于此做出预取决策。实验结果表明,PALPATINE可以将特定DKV存储的延迟提高一个数量级以上。
2020-04-22 cs.DB cs.DC
A Data Mining Approach to the Diagnosis of Tuberculosis by Cascading Clustering and Classification
PES Institute of Technology(PES理工学院)
在本文中,结核病(TB)的自动检测和分类的方法。结核病是一种由分枝杆菌引起的疾病,它通过空气传播,容易攻击免疫力低下的机体。我们的方法是基于聚类和分类,将结核病分为两类,肺结核(PTB)和逆转录病毒PTB(RPTB),即人类免疫缺陷病毒(HIV)感染。最初,K均值聚类用于将TB数据分组为两个聚类,并将类分配给聚类。然后在结果集上训练多个不同的分类算法,基于K折交叉验证方法构建最终的分类器模型。使用从一家城市医院获得的700份原始结核病数据对这种方法进行了评估。与其他分类器相比,支持向量机(SVM)的最佳准确率为98.7%。所提出的方法有助于医生在他们的诊断决策,也在他们的治疗计划程序的不同类别。
2011-08-04 cs.AI cs.DB
A clustering-based data reduction for very large spatio-temporal datasets
今天,大量的数据正在收集与空间和时间组件的来源,如气象,卫星图像等有效的可视化,以及从这些数据集发现有用的知识,因此是非常具有挑战性的,并成为一个巨大的经济需求。数据采掘是一种从大量数据中发现隐藏知识的技术。此外,数据采掘技术可以通过提取有用的知识作为代表来减少原始数据的大小。因此,我们可以使用这些代表来可视化或分析,而不会丢失重要信息,而不是处理大量的原始数据。本文提出了一种新的方法,基于不同的聚类技术的数据减少,以帮助分析非常大的时空数据。我们还介绍和讨论这种方法的初步结果。
2017-03-29 cs.DB
Secure Mining of Association Rules in Horizontally Distributed Databases
提出了一种在水平分布式数据库中安全挖掘关联规则的协议。目前的主要协议是Kantarcioglu和Clifton的协议(TKDE 2004)。我们的协议,像他们的,是基于快速分布式挖掘(FDM)算法的张等人。(PDIS 1996),这是一个不安全的分布式版本的Apriori算法。在我们的协议中的主要成分是两个新的安全多方算法-一个是计算每个交互的球员持有的私有子集的联盟,另一个是测试包含一个球员持有的一个元素在另一个持有的子集。我们的协议相对于Kantarcioglu和Clifton的协议提供了增强的隐私。此外,它更简单,并且在通信轮次、通信成本和计算成本方面显著更高效。
2011-06-25 cs.CR cs.DB cs.DC
Review on Fragment Allocation by using Clustering Technique in Distributed Database System
在过去的几年中,在提高分布式数据库系统的性能方面取得了相当大的进展。分布式数据库中的碎片分配模型的开发由于站点数量庞大及其通信考虑的复杂性而变得困难。在这种情况下,聚类和数据分配的仿真是理解和评估分布式数据库中数据分配性能的有效工具。集群站点和片段分配是分布式数据库性能中的关键挑战,并且被认为是在减少应用程序执行期间传输和访问的数据方面具有主要作用的有效方法。本文综述了在分布式数据库系统中利用聚类技术进行分片分配的研究。
2013-10-04 cs.DB
Developing a Spatial-Temporal Contextual and Semantic Trajectory Clustering Framework
本文报告正在进行的研究调查更有表现力的方法,时空轨迹聚类。由于全球定位系统和移动设备的广泛使用,时空数据越来越普遍,这使得基于轨迹的挖掘和预测分析成为许多领域的关键活动。基于聚类技术的轨迹分析方法通常严重依赖于相似性定义来正确地提供见解。然而,虽然轨迹目前描述的两个维度(空间和时间),其表示是有限的,因为它是不够的表现力,捕捉,在一个组合的方式,空间和时间的结构,以及上下文和语义轨迹属性。此外,大量可用的轨迹数据使得轨迹挖掘和分析非常具有挑战性。在本文中,我们简要地讨论了(i)一种改进的轨迹表示,考虑到时空结构,上下文和语义属性的轨迹;(ii)一对轨迹的维度之间的关系的新形式;和(iii)大数据方法,可用于开发一种新的时空聚类框架。
2017-12-08 cs.DB
On a Distributed Approach for Density-based Clustering
从这些数据中有效地提取有用的知识仍然是一个挑战,主要是当数据是分布式的,异构的和不同的质量取决于其相应的本地基础设施。为了减少开销成本,大多数现有的分布式聚类方法通过聚合每个节点上获得的本地结果来生成全局模型。解决方案的复杂性和质量在很大程度上取决于聚合的质量。在这方面,我们提出了分布式的基于密度的聚类,既减少了由于数据交换的通信开销,并通过考虑局部集群的形状,提高了全局模型的质量。从初步的结果,我们表明,该算法是非常有前途的。
2017-04-13 cs.DB
A Comparative Study of Association Rule Mining Algorithms on Grid and Cloud Platform
关联规则挖掘是一个耗时的过程,由于涉及到数据密集型和计算密集型的性质。为了挖掘大数据量的序列关联规则,并提高现有算法的可扩展性和性能,并行和分布式算法被开发出来。这些传统的并行和分布式算法都是基于同构平台的,对于网格和云等异构平台来说并不有利可图。这就需要设计新的算法来解决异构系统中数据集的划分和分布、负载均衡策略、处理器间通信和同步技术的优化等问题。网格和云计算是新兴的分布式数据处理平台,各种关联规则挖掘算法在这些平台上被提出。这篇综述文章将分布式系统的简要架构方面,基于网格和基于云的关联规则挖掘算法的各种最新方法与比较感知相结合。我们区分这些架构上开发的数据局部性,编程范式,容错,通信成本,分区和分布的数据集的基础上的关联规则挖掘算法的方法。虽然它不是完整的,以涵盖所有的算法,但它可以是非常有用的新的研究人员在分布式关联规则挖掘算法的方向工作。
2017-09-22 cs.DB cs.DC
An Efficient Fuzzy Clustering-Based Approach for Intrusion Detection
提高检测复杂网络攻击的准确性的需求不仅对研究界而且对企业都构成了巨大挑战。到目前为止,已经提出了许多方法来应对这种威胁。其中,数据采掘在入侵检测问题上做出了显著的贡献。然而,基于数据采掘的方法的泛化能力仍然有限,因此检测复杂的攻击仍然是一项艰巨的任务。在这一主题中,我们提出了一种新的方法,基于聚类和分类开发一个有效的入侵检测系统(IDS)。其核心思想是考虑到建设一个IDS的过程中,利用模糊聚类有用的信息。为此,我们首先提出了基石,以构建额外的集群功能的训练集。然后,我们提出了一个算法来生成一个入侵检测系统的基础上,这样的集群功能和原始的输入功能。最后,我们通过实验证明,我们的方法优于几个众所周知的方法。
2011-10-12 cs.DB
A Survey on Various Data Mining Techniques for ECG Meta Analysis
数据采掘是从不同的角度对信息进行检验,并将其压缩为相关数据的过程。这些数据也可以用来增加收入。数据采掘也被称为数据或知识发现。数据采掘的基本目的是寻找具有最小用户输入和努力的模式。数据采掘在各个领域都起着非常关键的作用。有各种各样的数据采掘程序可以连接在不同的创新领域。通过使用数据采掘技术,观察到花费更少的时间来更准确地预测任何疾病。在本文中,我们将审查各种数据采掘技术分类,回归和聚类,并将这些算法应用于心电图数据集。这项工作的目的是确定最合适的数据采掘技术,并使用它来提高分析心电图数据的准确性,以更好的决策。
2016-04-22 cs.DB
Distributed Holistic Clustering on Linked Data
链接发现是支持数据网络中数据集成的一个活跃研究领域。由于可用数据源的巨大规模和数量,高效和有效的链路发现是一项非常具有挑战性的任务。常见的成对链路发现方法不能扩展到具有非常大的实体集的许多源。在这里,我们提出了一个分布式的整体方法来连接许多数据源的基础上,代表同一个现实世界的对象的实体的集群。我们的聚类方法提供了一个紧凑和融合的实体表示,并可以识别现有的链接以及许多新的链接中的错误。我们支持分布式执行的集群方法,以实现更快的执行时间和可扩展性的大型现实世界的数据集。我们提供了一个新的黄金标准,多源聚类,并评估我们的方法的有效性和效率方面的大型数据集的地理和音乐领域。
2017-08-30 cs.DB
An Efficient Distributed Data Extraction Method for Mining Sensor Networks Data
传感器网络(SN)广泛部署在现实世界中的应用,产生大量的原始传感数据。数据采掘技术从这些应用中提取有用的知识是一个新兴的研究领域,由于其至关重要的,但仍然是一个挑战,有效地从传感器网络数据中发现知识。本文提出了一种分布式数据抽取(DDE)方法,通过应用基于规则的聚类和关联规则挖掘技术从传感器网络中抽取数据。从传感器发送到数据处理点的大量传感器读数可能丢失或损坏。DDE还从可用的传感器读数估计这些缺失值,而不是请求传感器节点重新发送丢失的读数。DDE还应用了数据压缩,能够在传输到sink时减少数据量。结果表明,我们提出的方法具有最大的数据准确性和有效的数据提取在整个网络的能源消耗。
2013-06-18 cs.DB cs.NI
F-tree: an algorithm for clustering transactional data using frequency tree
聚类是一种重要的数据采掘技术,它将相似的数据记录进行分组,分类事务聚类是近年来研究的热点。本文研究了高维大容量事务型数据的分类聚类问题。基于频繁模式挖掘算法FP-tree的思想,提出了一种新的事务数据聚类算法F-Tree。F-Tree背后的简单想法是生成小的高纯度集群,然后合并它们。这使得它在聚类具有高维度的大型事务数据集时快速且动态。我们还提出了一种新的解决方案,解决集群之间的重叠问题,通过定义一个新的标准函数,这是基于加权项目之间的重叠概率。我们在真实数据集上的实验结果表明:首先,F-Tree在发现感兴趣的聚类方面是有效的。其次,树结构的使用减少了具有高属性的大数据集的聚类处理时间。第三,所提出的评价指标有效地解决了事务项的重叠问题,产生了高质量的聚类结果。最后,我们得出的结论是,合并纯和小集群的过程中,提高了所产生的集群的纯度,以及它减少了聚类的时间比直接从数据集生成集群,然后细化集群的过程更好。
2017-05-02 cs.DB
Multi Relational Data Mining Approaches: A Data Mining Technique
多关系数据采掘方法已经发展成为处理结构化数据的替代方法,如关系数据库管理系统。这将直接在多个表中提供挖掘。在MRDM中,模式在关系数据库的多个表(关系)中可用。在数据采掘的实践中,由于数据的表多,会影响到许多问题。为了解决这个问题,人们要么通过命题化构造一个单一的表,要么使用多关系数据采掘算法。MRDM方法已成功应用于生物信息学领域。三种流行的模式发现技术分类,聚类和关联经常被用于多数据挖掘。多关系方法已经发展成为分析结构化数据如关系数据库的一种替代方法。MRDM允许直接应用于多表中的数据采掘。为了避免昂贵的连接操作和语义损失,我们使用了MRDM技术。本文重点介绍了MRDM和特征方向的一些应用领域,并对ILP、GM、SSDM和MRDM进行了比较
2012-11-16 cs.DB
Data Management and Mining in Astrophysical Databases
我们分析了天体物理数据的管理和挖掘所涉及的问题。天体物理学领域的传统数据管理方法无法跟上现代探测器收集的数据量的增长。从大型数据集中自动提取信息抽取的工具,即数据采掘技术,如聚类和分类算法,将在天体物理学研究中发挥重要作用。这就需要一种基于数据仓库的数据管理方法,强调数据访问的效率和简单性;使用多维访问方法获得效率,通过正确处理元数据实现简单性。在大型数据集上的聚类和分类技术提出了额外的要求:在数据大小、聚类或分类结果的可解释性和客观性方面的计算和内存可扩展性。在这项研究中,我们提出了一些可能的解决方案。
2003-07-16 astro-ph cs.DB physics.data-an
EdgeMiner: Distributed Process Mining at the Data Sources
本文提出EdgeMiner算法,直接在传感器节点上对实时事件流进行分布式过程挖掘,避免集中存储原始数据,提升了可扩展性与隐私性,实验证明其能高效确定事件前驱,通信开销最高降低96%。
2024-10-13 cs.DB cs.DC
Process Mining on Distributed Data Sources
本文针对分布式数据源带来的挑战,提出过程挖掘从离线集中式事件日志向在线分布式传感器数据转变的研究议程,并倡导基于算法工程的方法论,为构建可扩展、隐私感知且以用户为中心的分布式过程挖掘技术提供路线图。
2025-06-03 cs.DB cs.DC cs.ET
PMV: Pre-partitioned Generalized Matrix-Vector Multiplication for Scalable Graph Mining
我们如何分析包括Web和社交网络在内的庞大网络,这些网络拥有数千亿个节点和边?网络分析已通过各种图挖掘方法进行,包括最短路径计算、PageRank、连通分量计算、带重启的随机游走等。这些图挖掘方法可以表示为广义矩阵向量乘法,它由受典型矩阵向量乘法启发的少量运算组成。最近,几个图形处理系统的基础上矩阵向量乘法或自己的原语已被提出来处理大型图形,但是,他们都失败了Web规模的图形,由于内存空间不足或缺乏考虑的I/O成本。本文提出了一种基于广义矩阵向量乘法的可扩展分布式图挖掘方法PMV(Pre-partitioned Generalized Matrix-Vector Multiplication)。PMV通过预先划分输入图并根据预划分子矩阵的密度明智地应用执行策略,显著降低了分布式系统的主要瓶颈通信开销。实验表明,PMV成功地处理高达16倍的图比现有的分布式基于内存的图挖掘方法,并需要9倍的时间比以前的基于磁盘的图挖掘方法,通过减少I/O成本显着。
2017-09-26 cs.DB cs.DC cs.DS
A Parallel/Distributed Algorithmic Framework for Mining All Quantitative Association Rules
Athens Information Technology(雅典信息技术学院);Cepal Hellas Financial Services(Cepal Hellas金融服务公司);Aalborg University(奥尔堡大学)
我们提出了QARMA,一个有效的新的并行算法挖掘所有的定量关联规则在大型多维数据集的项目需要至少有一个共同的属性被指定在规则单一的后果项。给定一个最小支持度和一组阈值标准的兴趣度措施,如信心,信念等,我们的算法保证生成所有非支配的数量关联规则,满足最小支持度和兴趣度的要求。这些规则对于寻求优化有针对性的活动或一般市场细分的营销部门来说非常重要。它们在医疗应用、金融以及预测性维护领域也具有价值。我们提供的计算结果显示了我们的算法的可扩展性,以及它的能力,以产生所有的规则,发现在大规模的合成和现实世界的数据集,如电影镜头,在几秒钟或几分钟的计算时间内的商品硬件。
2018-04-18 cs.AI cs.DB
Very Large Language Model as a Unified Methodology of Text Mining
University of Notre Dame(圣母大学)
文本数据采掘是从语言文本中提取必要信息的过程。典型的文本挖掘任务包括文本分类、文本聚类、主题建模、信息抽取和文本摘要。收集各种数据集,并为不同类型的任务设计各种算法。本文提出了一个大胆的设想,即超大型大语言模型(VLLM)将成为文本挖掘的一种有效的统一方法。我讨论了这种新方法对传统方法的至少三个优点。最后,我讨论了在设计和开发的VLLM技术的文本挖掘的挑战。
2022-12-20 cs.AI cs.DB cs.LG
Communication-Efficient and Exact Clustering Distributed Streaming Data
一个广泛使用的方法来聚类一个单一的数据流是两个阶段的方法,其中在线阶段创建和维护微集群,而离线阶段从微集群生成宏集群。我们使用这种方法,提出了一个分布式框架聚类流数据。我们提出的框架由基本过程组成:一个协调器-站点过程和许多远程站点过程。远程站点进程可以直接与协调器进程通信,但不能与其他远程站点进程通信。每个远程站点进程从其本地数据流中生成并维护表示簇信息摘要的微簇。远程站点通过串行化技术将本地微聚类发送给协调器,或者协调器调用远程方法从远程站点获取本地微聚类。协调器接收到来自远程站点的所有局部微聚类后,通过宏聚类方法生成全局聚类。我们的理论和实证结果表明,我们的分布式框架产生的全局聚类是类似的底层集中式算法在同一数据集上产生的聚类。通过使用局部微聚类方法,我们的框架实现了高可扩展性和通信效率。
2012-09-19 cs.DB cs.DC
Distributed Clustering in the Anonymized Space with Local Differential Privacy
对收集的数据进行聚类和分析可以改善大数据、物联网应用中的用户体验和服务质量。然而,直接发布原始数据带来了潜在的隐私问题,这为隐私保护聚类带来了挑战和机遇。本文在局部差分隐私框架下研究了分布式环境下的非交互式聚类问题。我们首先扩展了位向量,一种新的匿名化机制是功能性和隐私保护。基于改进的编码机制,我们提出了kCluster算法,可用于聚类的匿名空间。我们表明,修改后的编码机制可以很容易地实现在现有的聚类算法,只依赖于距离信息,如DBSCAN。理论分析和实验结果验证了所提方案的有效性。
2019-06-27 cs.CR cs.DB
An Overview on Clustering Methods
聚类是统计数据分析的常用技术,在机器学习、数据采掘、模式识别、图像分析和生物信息学等领域有着广泛的应用。聚类是将相似的对象分组到不同的组中的过程,或者更准确地说,将数据集划分为子集,以便每个子集中的数据根据某些定义的距离度量。本文介绍了聚类算法、优点及其应用。论文最后讨论了一些局限性。
2012-05-05 cs.DB cs.DS
Crowd-Powered Data Mining
Tsinghua University(清华大学);Renmin University(中国人民大学);SFU(西蒙弗雷泽大学);Twitter(推特)
许多数据采掘任务不能完全由自动化过程来解决,如情感分析和图像分类。众包是一种有效的方式来利用人类的认知能力来处理这些机器难以完成的任务。由于公共众包平台,例如,亚马逊Mechanical Turk和Crowd- Flower,我们可以很容易地涉及数十万普通工人(即,人群)来解决这些机器困难的任务。在本教程中,我们将调查和综合广泛的现有研究群体动力数据采掘。首先对众包进行了概述,然后总结了众包数据采掘必须考虑的基本技术,包括质量控制、成本控制和延迟控制。接下来,我们将回顾群体驱动的数据采掘操作,包括分类,聚类,模式挖掘,使用群体的机器学习(包括深度学习,迁移学习和半监督学习)和知识发现。最后,我们提供了众包数据采掘的新挑战。
2018-10-19 cs.AI cs.DB
K-ANMI: A Mutual Information Based Clustering Algorithm for Categorical Data
分类数据聚类是数据采掘的重要组成部分,近年来受到广泛关注。在本文中,我们提出了k-ANMI,一个新的有效的聚类分类数据的算法。k-ANMI算法的工作方式是类似于流行的k-means算法,并在每一步中的聚类的优良性进行评估,使用互信息为基础的标准(即,平均归一化互信息-ANMI)借用集群集成。在真实数据集上的实验结果表明,k-ANMI算法在聚类精度方面与现有的分类数据聚类算法相比具有一定的竞争力。
2005-11-03 cs.AI cs.DB
Scalable Distributed Subtrajectory Clustering
轨迹聚类是从移动数据中发现知识的重要操作。特别是在当今,以高效和可扩展的方式对大规模生产的数据(如移动轨迹)执行高级分析操作的需求势在必行。然而,发现完整轨迹的集群可能会忽略只存在于其生命周期的一小部分的重要模式。在本文中,我们解决了问题的分布式子轨迹聚类在一个有效的和高度可扩展的方式。这个问题是具有挑战性的,因为要聚类的子轨迹是事先不知道的,但他们需要动态地发现相邻的子轨迹在空间和时间。为了实现这一目标,我们将原问题分解为三个子问题,即子轨迹连接,轨迹分割和聚类以及离群点检测,并利用MapReduce编程模型以分布式方式处理每个问题。我们的解决方案的效率和有效性的实验证明了一个合成的和两个大的真实数据集从海洋和城市领域,并通过比较与两个国家的最先进的子轨迹聚类算法。
2019-06-18 cs.DB cs.DC
Mining Association Rules in Various Computing Environments: A Survey
Institute of Science, Banaras Hindu University(贝拿勒斯印度大学科学学院);Faculty of Education, Banaras Hindu University(贝拿勒斯印度大学教育学院);Mahila Maha Vidyalaya, Banaras Hindu University(贝拿勒斯印度大学Mahila Maha Vidyalaya)
关联规则挖掘(ARM)是数据采掘中研究最多的技术之一。目前已经设计的ARM算法很多,其计数量也很大。在本文中,我们调查了各种ARM算法在四个计算环境。所考虑的计算环境是顺序计算、并行和分布式计算、网格计算和云计算。随着新的计算范式的出现,许多研究者设计了ARM算法,以利用新的计算范式来提高效率。本文介绍了ARM算法从顺序算法开始,经过并行、分布式和基于网格的算法到目前最先进的算法的历程,以及采用新机器的动机。
2019-06-30 cs.DB cs.DC cs.LG
Hierarchical Aggregation Approach for Distributed clustering of spatial datasets
Insight Centre for Data Analytics School of Computer Science University College Dublin(都柏林大学学院计算机科学学院数据洞察中心);School of Computer Science University College Dublin(都柏林大学学院计算机科学学院)
在本文中,我们提出了一种新的方法,分布式聚类的空间数据集,基于创新和有效的聚合技术。这种分布式方法包括两个阶段:1)局部聚类阶段,其中每个节点对其本地数据执行聚类,2)聚合阶段,其中局部聚类被聚合以产生全局聚类。这种方法的特点是,本地集群表示在一个简单而有效的方式。聚合阶段的设计使得最终的聚类是紧凑和准确的,而整个过程在响应时间和内存分配方面都是有效的。我们使用不同的数据集评估了这种方法,并将其与众所周知的聚类技术进行了比较。实验结果表明,该方法是非常有前途的,并优于所有这些算法
2018-02-01 cs.DB cs.DC cs.LG
Time series data mining for the Gaia variability analysis
盖亚是欧空局的一项基石任务,于2013年12月成功发射,并于2014年7月开始运行。在盖亚数据处理和分析联盟内,协调单元7(CU7)负责超过10亿个天体源和近40亿个相关时间序列(光度,分光光度和光谱)的变化分析,在任务的5年期间编码超过8000亿次观测的信息,导致PB级分析问题。在本文中,我们简要介绍了我们开发的解决方案,以解决时间序列变异性分析的挑战:从分布式面向数据的科学合作的结构,以架构的选择和使用的特定组件。我们的方法是基于一个分布式的,分区的数据库为核心的开源组件增量处理:摄取,分布式处理,分析,结果和出口在一个有限的时间窗口。
2014-11-21 astro-ph.IM cs.DB cs.DC
Spatio-Temporal Data Mining: A Survey of Problems and Methods
University of Cincinnati(辛辛那提大学);University of Minnesota(明尼苏达大学)
在气候科学、社会科学、神经科学、流行病学、交通运输、移动健康和地球科学等不同领域,越来越多地收集和研究大量的时空数据。时空数据不同于关系数据,对于关系数据,计算方法在数据采掘社区中开发了几十年,因为除了实际测量/属性之外,空间和时间属性都是可用的。这些属性的存在带来了需要应对的额外挑战。时空数据挖掘方法在数据采掘领域已经研究了十多年。在这篇文章中,我们提出了一个广泛的调查,这个相对年轻的领域的时空数据采掘。我们讨论了不同类型的时空数据和相关的数据采掘问题,在分析这些数据集的上下文中出现的。基于所研究的数据采掘问题的性质,我们将时空数据采掘的文献分为六大类:聚类、预测学习、变化检测、频繁模式挖掘、异常检测和关系挖掘。我们讨论了各种形式的时空数据采掘的问题,在这些类别。
2017-11-17 cs.AI cs.CV cs.DB
DAME: A Web Oriented Infrastructure for Scientific Data Mining & Exploration
如今,许多科学领域都需要能够处理大量和分布式数据集,并在其上执行复杂的知识提取任务。这一简单的考虑是国际上努力建立虚拟组织,例如虚拟天文台的原因。DAME(数据挖掘与探索)是一个创新的,通用的,基于Web的,符合VObs的分布式数据挖掘基础设施,专门用于使用机器学习方法进行海量数据集探索。DAME最初仅用于处理天文数据,现已发展成为一个通用平台,在人类努力的其他领域也有应用。我们介绍了产品和一个科学案例的简短概述,以及现在发布的Web应用程序的测试版中可用的主要功能的详细描述。
2010-12-08 astro-ph.GA astro-ph.IM cs.DB