Variance-based Clustering Technique for Distributed Data Mining Applications
如今,由于不同的事实,大量的数据自然地收集在分布式站点中,并且由于技术原因或政策原因,通过网络移动这些数据以提取有用的知识几乎是不可行的。此外,不能应用经典的par-history算法,特别是在松散耦合的环境中。这就需要开发可扩展的分布式算法,能够通过以有效的方式聚合本地结果来返回全局知识。在本文中,我们提出了一个分布式算法的基础上独立的本地聚类过程和全球合并的基础上最小方差增加,需要有限的通信开销。我们还引入了分布式子集群扰动的概念,以改善全局生成的分布。我们表明,该算法提高了聚类的质量相比,经典的局部集中式的,是能够找到真正的全球数据的性质或分布。
2017-03-28 cs.DB
Distributed Clustering Algorithm for Spatial Data Mining
分布式数据采掘技术和主要的分布式聚类技术在过去十年中得到了广泛的应用,因为它们处理的是非常大的和异构的数据集,这些数据集不能集中收集。目前的分布式聚类方法通常是通过聚合在每个站点上获得的本地结果来生成全局模型。虽然这种方法挖掘数据集的位置,聚合阶段是复杂的,这可能会产生不正确和模糊的全球集群,因此不正确的知识。在本文中,我们提出了一种新的聚类方法非常大的空间数据集是异构和分布式的。该方法基于K-means算法,但它动态地生成全局聚类的数量。此外,这种方法使用了一个精心设计的汇总阶段。聚合阶段的设计使得整个过程在时间和内存分配方面都是高效的。初步结果表明,所提出的方法产生高质量的结果和规模以及。我们还比较了两个流行的聚类算法,并表明这种方法是更有效的。
2018-02-01 cs.DB
A Novel Framework using Elliptic Curve Cryptography for Extremely Secure Transmission in Distributed Privacy Preserving Data Mining
隐私保护数据采掘是一种在挖掘过程中确保个人信息隐私的方法。最重要的任务是从分布的多个数据库中检索信息。数据一旦进入数据仓库,就可以被挖掘算法用来检索机密信息。建议的框架有两个主要任务,安全传输和保密信息在采矿过程中。安全传输是通过使用椭圆曲线密码和数据失真的隐私保护,确保高度安全的环境。
2012-04-12 cs.CR cs.DB
Efficient techniques for mining spatial databases
聚类是数据采掘的主要任务之一。近几年来,空间数据的聚类得到了广泛的研究.空间数据库是许多高级信息系统的组成部分,如地理信息系统超大规模集成电路设计系统。在这篇论文中,我们介绍了几种有效的空间数据聚类算法。首先,我们提出了一个基于网格的聚类算法,具有几个优点和性能相媲美的著名的高效聚类算法。该算法有几个优点。该算法不需要很多输入参数。它只需要三个参数,数据空间中的点的数量,网格中的单元格的数量和百分比。网格中单元的数量反映了算法应达到的精度。该算法能够发现任意形状的簇。该算法的计算复杂性与最有效的聚类算法的复杂性相当。该算法已被实施和测试对不同范围的数据库大小。性能结果表明,该算法的运行时间优于最知名的算法(CRANANS [23])。实验结果还表明,该算法的性能不随数据点数目的增加而降低。
2012-06-01 cs.DB
Palpatine: Mining Frequent Sequences for Data Prefetching in NoSQL Distributed Key-Value Stores
本文介绍了PALPATINE,第一个在内存中的应用程序级缓存的分布式键值(DKV)数据存储,能够预取数据,可能会在不久的将来访问。为了预测数据访问,PALPATINE通过数据采掘技术连续捕获对后台存储的频繁访问模式。通过这些模式,PALPATINE构建了访问项的随机图,并基于此做出预取决策。实验结果表明,PALPATINE可以将特定DKV存储的延迟提高一个数量级以上。
2020-04-22 cs.DB cs.DC
Secure Mining of Association Rules in Horizontally Distributed Databases
提出了一种在水平分布式数据库中安全挖掘关联规则的协议。目前的主要协议是Kantarcioglu和Clifton的协议(TKDE 2004)。我们的协议,像他们的,是基于快速分布式挖掘(FDM)算法的张等人。(PDIS 1996),这是一个不安全的分布式版本的Apriori算法。在我们的协议中的主要成分是两个新的安全多方算法-一个是计算每个交互的球员持有的私有子集的联盟,另一个是测试包含一个球员持有的一个元素在另一个持有的子集。我们的协议相对于Kantarcioglu和Clifton的协议提供了增强的隐私。此外,它更简单,并且在通信轮次、通信成本和计算成本方面显著更高效。
2011-06-25 cs.CR cs.DB cs.DC
A Coherent Distributed Grid Service for Assimilation and Unification of Heterogeneous Data Source
网格服务被大量用于处理大型分布式计算。它们对于处理数据分布在不同站点的数据密集型应用程序也非常有用。在这种情况下使用的大多数数据网格服务都是针对同构数据源的。在异构数据源的情况下,大多数可用的网格服务的设计方式是,它们必须在模式定义中相同,以便顺利运行。但是,可能存在这样的情况,即网格站点数据库是异构的,并且它们的模式定义与中心模式定义不同。在本文中,我们提出了一个轻量级的异构数据源,是非常容易安装的一致性网格服务。它可以将中心SQL模式映射和转换为网格成员的SQL模式,并发送查询以从异构数据源获得相应的结果。
2012-10-12 cs.DB
An Efficient Distributed Data Extraction Method for Mining Sensor Networks Data
传感器网络(SN)广泛部署在现实世界中的应用,产生大量的原始传感数据。数据采掘技术从这些应用中提取有用的知识是一个新兴的研究领域,由于其至关重要的,但仍然是一个挑战,有效地从传感器网络数据中发现知识。本文提出了一种分布式数据抽取(DDE)方法,通过应用基于规则的聚类和关联规则挖掘技术从传感器网络中抽取数据。从传感器发送到数据处理点的大量传感器读数可能丢失或损坏。DDE还从可用的传感器读数估计这些缺失值,而不是请求传感器节点重新发送丢失的读数。DDE还应用了数据压缩,能够在传输到sink时减少数据量。结果表明,我们提出的方法具有最大的数据准确性和有效的数据提取在整个网络的能源消耗。
2013-06-18 cs.DB cs.NI
Analyzing Large-Scale, Distributed and Uncertain Data
当今时代数据的指数增长以及从数据中获取信息和知识的需求为数据库研究人员提出了新的挑战。已知的数据库系统和算法不再能够有效地处理这样大的数据集。MapReduce是一种新的编程范式,用于使用计算机集群处理大规模数据的分布式问题。在这项工作中,我们从三个不同的角度探索MapReduce范式。我们首先研究了数据采掘领域中的一个著名问题:在大型数据集上挖掘闭频繁项集。通过利用MapReduce的强大功能,我们提出了一种新的算法,挖掘封闭的频繁项集,优于现有的算法。接下来,我们将探讨“大数据”的基本含义之一:数据并不是完全确定的。概率数据库是一种关系数据库,其附加特征是每个元组都与其存在的概率相关联。MapReduce的一个自然的发展是一个分布式的关系数据库管理系统,其中关系演算已减少到一个组合的地图和减少功能。我们采取这种发展进一步提出了一个查询优化器在分布式,概率数据库。最后,我们分析了MapReduce最著名的实现Hadoop,旨在克服其主要缺点之一:它不直接支持在不同作业中重复处理的数据的显式规范。许多数据挖掘算法,如聚类和关联规则,需要迭代计算:相同的数据一次又一次地处理,直到计算收敛或满足停止条件。我们建议对Hadoop进行修改,以便它将支持在不同作业中有效访问相同的数据。
2017-12-05 cs.DB
EdgeMiner: Distributed Process Mining at the Data Sources
本文提出EdgeMiner算法,直接在传感器节点上对实时事件流进行分布式过程挖掘,避免集中存储原始数据,提升了可扩展性与隐私性,实验证明其能高效确定事件前驱,通信开销最高降低96%。
2024-10-13 cs.DB cs.DC
Process Mining on Distributed Data Sources
本文针对分布式数据源带来的挑战,提出过程挖掘从离线集中式事件日志向在线分布式传感器数据转变的研究议程,并倡导基于算法工程的方法论,为构建可扩展、隐私感知且以用户为中心的分布式过程挖掘技术提供路线图。
2025-06-03 cs.DB cs.DC cs.ET
PMV: Pre-partitioned Generalized Matrix-Vector Multiplication for Scalable Graph Mining
我们如何分析包括Web和社交网络在内的庞大网络,这些网络拥有数千亿个节点和边?网络分析已通过各种图挖掘方法进行,包括最短路径计算、PageRank、连通分量计算、带重启的随机游走等。这些图挖掘方法可以表示为广义矩阵向量乘法,它由受典型矩阵向量乘法启发的少量运算组成。最近,几个图形处理系统的基础上矩阵向量乘法或自己的原语已被提出来处理大型图形,但是,他们都失败了Web规模的图形,由于内存空间不足或缺乏考虑的I/O成本。本文提出了一种基于广义矩阵向量乘法的可扩展分布式图挖掘方法PMV(Pre-partitioned Generalized Matrix-Vector Multiplication)。PMV通过预先划分输入图并根据预划分子矩阵的密度明智地应用执行策略,显著降低了分布式系统的主要瓶颈通信开销。实验表明,PMV成功地处理高达16倍的图比现有的分布式基于内存的图挖掘方法,并需要9倍的时间比以前的基于磁盘的图挖掘方法,通过减少I/O成本显着。
2017-09-26 cs.DB cs.DC cs.DS
A Parallel/Distributed Algorithmic Framework for Mining All Quantitative Association Rules
Athens Information Technology(雅典信息技术学院);Cepal Hellas Financial Services(Cepal Hellas金融服务公司);Aalborg University(奥尔堡大学)
我们提出了QARMA,一个有效的新的并行算法挖掘所有的定量关联规则在大型多维数据集的项目需要至少有一个共同的属性被指定在规则单一的后果项。给定一个最小支持度和一组阈值标准的兴趣度措施,如信心,信念等,我们的算法保证生成所有非支配的数量关联规则,满足最小支持度和兴趣度的要求。这些规则对于寻求优化有针对性的活动或一般市场细分的营销部门来说非常重要。它们在医疗应用、金融以及预测性维护领域也具有价值。我们提供的计算结果显示了我们的算法的可扩展性,以及它的能力,以产生所有的规则,发现在大规模的合成和现实世界的数据集,如电影镜头,在几秒钟或几分钟的计算时间内的商品硬件。
2018-04-18 cs.AI cs.DB
Efficient Power Theft Detection for Residential Consumers Using Mean Shift Data Mining Knowledge Discovery Process
能源盗窃对电力运营商来说是一个非常重要的问题。由于检查方法不足,试图发现和减少非技术性损失是一项具有挑战性的任务。随着智能电网中先进计量基础设施(AMI)的发展,出现了更复杂的能源盗窃现状,许多新技术正在被采用来解决这个问题。为了识别非法居民用户,提出了一种基于数据采掘技术分析和识别居民用户用电模式的计算方法。结合主成分分析(PCA)和均值漂移算法的不同的电力盗窃的情况下,我们现在可以应付的电力盗窃检测问题。总体研究在住宅消费者电力盗窃检测方面取得了令人鼓舞的结果,这将帮助公用事业公司提高电网的可靠性、安全性和运营。
2019-02-05 cs.DB
GCG: Mining Maximal Complete Graph Patterns from Large Spatial Data
近年来,模式发现的研究已经从挖掘频繁模式和序列发展到挖掘结构化模式,如树和图。图作为一种通用的数据结构,可以对数据之间的复杂关系进行建模,在Web浏览和社交网络中有着广泛的应用。然而,由于大量子图的存在,挖掘大型图模式的过程是一个挑战。在本文中,我们的目标是挖掘频繁的完全图模式。数据库中的图g是完全的,如果每对不同的顶点由唯一的边连接。网格完全图(GCG)是一种挖掘算法,旨在探索有趣的修剪技术,以从Sloan数字巡天(SDSS)数据中提取最大的空间数据集的完整图。使用分而治之的策略,GCG表现出高效率,特别是在大量的模式。在本文中,我们描述了GCG,不仅可以挖掘简单的同位空间模式,但也复杂的。据我们所知,这是第一个用于在大型空间数据集中挖掘复杂同位模式的过程中提取最大完全图的算法。
2013-12-13 cs.DB
Mining Association Rules in Various Computing Environments: A Survey
Institute of Science, Banaras Hindu University(贝拿勒斯印度大学科学学院);Faculty of Education, Banaras Hindu University(贝拿勒斯印度大学教育学院);Mahila Maha Vidyalaya, Banaras Hindu University(贝拿勒斯印度大学Mahila Maha Vidyalaya)
关联规则挖掘(ARM)是数据采掘中研究最多的技术之一。目前已经设计的ARM算法很多,其计数量也很大。在本文中,我们调查了各种ARM算法在四个计算环境。所考虑的计算环境是顺序计算、并行和分布式计算、网格计算和云计算。随着新的计算范式的出现,许多研究者设计了ARM算法,以利用新的计算范式来提高效率。本文介绍了ARM算法从顺序算法开始,经过并行、分布式和基于网格的算法到目前最先进的算法的历程,以及采用新机器的动机。
2019-06-30 cs.DB cs.DC cs.LG
Distributed Heterogeneous Relational Data Warehouse In A Grid Environment
本文探讨了如何“分布式异构关系数据仓库“可以集成在一个网格环境中,将提供物理学家有效地访问大型和小型的对象集合从数据库在多个站点。本文探讨了网格使这样一个仓库的要求,并探讨了如何满足这些要求扩展现有的网格中间件。我们提出了初步的结果,这种工作原型仓库使用SQLServer和Oracle9i,网格启用的Web服务接口,使它更容易为Web应用程序安全地访问分布式数据库的内容。在原型成功的基础上,我们提出了一个通过Web服务接口使用异构关系型数据仓库的框架,为用户创建一个单一的“虚拟数据库系统”。以这种方式透明地访问数据的能力,如原型所示,对于希望整理和分析分布在网格上的信息的HENP和其他网格用户来说,可能是一个非常强大的工具。
2003-06-18 cs.DB cs.DC
Big Graph Mining: Frameworks and Techniques
大图挖掘是一个重要的研究领域,它引起了相当大的关注。它允许从大量的图形数据中处理,分析和提取有意义的信息。大图挖掘不仅受到图的巨大增长的推动,而且还受到其大量应用的推动。这些应用包括生物信息学、化学信息学和社交网络。大图挖掘中最具挑战性的任务之一是大图中的模式挖掘。该任务包括使用数据采掘算法在大量的图形数据中发现有趣的、意想不到的和有用的模式。它还旨在提供对图形数据的更深入理解。在这种背景下,已经提出了几种图处理框架和缩放数据采掘/模式挖掘技术来处理非常大的图。本文概述了现有的数据采掘和图形处理框架,处理非常大的图。然后对大图中的数据采掘/模式挖掘的研究现状进行了综述,并讨论了该领域的主要研究问题。对分布式数据采掘和机器学习技术进行了分类,给出了图处理框架和大规模模式挖掘方法。
2016-02-09 cs.DB cs.DC
Time series data mining for the Gaia variability analysis
盖亚是欧空局的一项基石任务,于2013年12月成功发射,并于2014年7月开始运行。在盖亚数据处理和分析联盟内,协调单元7(CU7)负责超过10亿个天体源和近40亿个相关时间序列(光度,分光光度和光谱)的变化分析,在任务的5年期间编码超过8000亿次观测的信息,导致PB级分析问题。在本文中,我们简要介绍了我们开发的解决方案,以解决时间序列变异性分析的挑战:从分布式面向数据的科学合作的结构,以架构的选择和使用的特定组件。我们的方法是基于一个分布式的,分区的数据库为核心的开源组件增量处理:摄取,分布式处理,分析,结果和出口在一个有限的时间窗口。
2014-11-21 astro-ph.IM cs.DB cs.DC
DAME: A Web Oriented Infrastructure for Scientific Data Mining & Exploration
如今,许多科学领域都需要能够处理大量和分布式数据集,并在其上执行复杂的知识提取任务。这一简单的考虑是国际上努力建立虚拟组织,例如虚拟天文台的原因。DAME(数据挖掘与探索)是一个创新的,通用的,基于Web的,符合VObs的分布式数据挖掘基础设施,专门用于使用机器学习方法进行海量数据集探索。DAME最初仅用于处理天文数据,现已发展成为一个通用平台,在人类努力的其他领域也有应用。我们介绍了产品和一个科学案例的简短概述,以及现在发布的Web应用程序的测试版中可用的主要功能的详细描述。
2010-12-08 astro-ph.GA astro-ph.IM cs.DB
Data Mining in Astronomical Databases
虚拟天文台(VO)将使透明和有效的访问,搜索,检索和可视化的数据在多个数据存储库,这通常是异构和分布式的。方面的数据挖掘,适用于各种科学用户的情况下,VO进行审查。
2000-10-30 astro-ph cs.DB cs.DL