Survey on Distributed Data Mining in P2P Networks
数字数据的可用性呈指数级增长，在商业和科学领域处理数据的必要性迫使我们需要分析和挖掘有用的知识。传统的数据采掘使用数据仓库模型，将所有数据收集到一个中心站点，然后对该数据运行算法。这种集中式方法从根本上是不合适的，因为有很多原因，如大量的数据，集中存储在多个站点的数据不可行，带宽限制和隐私问题。为了解决这些问题，分布式数据采掘（DDM）成为一个研究热点。分布式数据采掘以接近最优的方式仔细关注数据、计算、通信和人为因素的分布式资源的使用。DDM在对等（P2P）系统中越来越受到关注，对等（P2P）系统正在成为诸如文件共享、协作电影和歌曲评分、电子商务和使用传感器网络的监视的应用的解决方案的选择。本文的主要目的是对分布式数据挖掘和P2P数据采掘进行综述。本文讨论了分布式数据挖掘的必要性、分布式数据挖掘体系结构的分类、分布式数据挖掘的各种方法、P2P系统中分布式数据挖掘的相关工作以及P2P数据采掘面临的问题和挑战。
2012-05-15 cs.DB
DIMSpan - Transactional Frequent Subgraph Mining with Distributed In-Memory Dataflow Systems
transmitting频繁子图挖掘是在图的集合中识别频繁子图。这个研究问题具有广泛的适用性，并且越来越需要比单机解决方案更高的可扩展性，以满足大数据用例的需求。我们介绍了DIMSpan，一种高级的频繁子图挖掘方法，它利用了Apache Spark或Apache Flink等分布式内存中可扩展系统提供的功能。它确定了频繁子图的完整集合，从任意的字符串标记的有向多重图，因为它们出现在社会，商业和知识网络。DIMSpan针对运行时和最小网络流量进行了优化，但具有内存感知能力。对大型图集合的广泛性能评估显示了DIMSpan的可扩展性及其修剪和优化技术的有效性。
2017-03-06 cs.DB
Process Mining on Distributed Data Sources
本文针对分布式数据源带来的挑战，提出过程挖掘从离线集中式事件日志向在线分布式传感器数据转变的研究议程，并倡导基于算法工程的方法论，为构建可扩展、隐私感知且以用户为中心的分布式过程挖掘技术提供路线图。
2025-06-03 cs.DB cs.DC cs.ET
PMV: Pre-partitioned Generalized Matrix-Vector Multiplication for Scalable Graph Mining
我们如何分析包括Web和社交网络在内的庞大网络，这些网络拥有数千亿个节点和边？网络分析已通过各种图挖掘方法进行，包括最短路径计算、PageRank、连通分量计算、带重启的随机游走等。这些图挖掘方法可以表示为广义矩阵向量乘法，它由受典型矩阵向量乘法启发的少量运算组成。最近，几个图形处理系统的基础上矩阵向量乘法或自己的原语已被提出来处理大型图形，但是，他们都失败了Web规模的图形，由于内存空间不足或缺乏考虑的I/O成本。本文提出了一种基于广义矩阵向量乘法的可扩展分布式图挖掘方法PMV（Pre-partitioned Generalized Matrix-Vector Multiplication）。PMV通过预先划分输入图并根据预划分子矩阵的密度明智地应用执行策略，显著降低了分布式系统的主要瓶颈通信开销。实验表明，PMV成功地处理高达16倍的图比现有的分布式基于内存的图挖掘方法，并需要9倍的时间比以前的基于磁盘的图挖掘方法，通过减少I/O成本显着。
2017-09-26 cs.DB cs.DC cs.DS
Variance-based Clustering Technique for Distributed Data Mining Applications
如今，由于不同的事实，大量的数据自然地收集在分布式站点中，并且由于技术原因或政策原因，通过网络移动这些数据以提取有用的知识几乎是不可行的。此外，不能应用经典的par-history算法，特别是在松散耦合的环境中。这就需要开发可扩展的分布式算法，能够通过以有效的方式聚合本地结果来返回全局知识。在本文中，我们提出了一个分布式算法的基础上独立的本地聚类过程和全球合并的基础上最小方差增加，需要有限的通信开销。我们还引入了分布式子集群扰动的概念，以改善全局生成的分布。我们表明，该算法提高了聚类的质量相比，经典的局部集中式的，是能够找到真正的全球数据的性质或分布。
2017-03-28 cs.DB
Distributed Clustering Algorithm for Spatial Data Mining
分布式数据采掘技术和主要的分布式聚类技术在过去十年中得到了广泛的应用，因为它们处理的是非常大的和异构的数据集，这些数据集不能集中收集。目前的分布式聚类方法通常是通过聚合在每个站点上获得的本地结果来生成全局模型。虽然这种方法挖掘数据集的位置，聚合阶段是复杂的，这可能会产生不正确和模糊的全球集群，因此不正确的知识。在本文中，我们提出了一种新的聚类方法非常大的空间数据集是异构和分布式的。该方法基于K-means算法，但它动态地生成全局聚类的数量。此外，这种方法使用了一个精心设计的汇总阶段。聚合阶段的设计使得整个过程在时间和内存分配方面都是高效的。初步结果表明，所提出的方法产生高质量的结果和规模以及。我们还比较了两个流行的聚类算法，并表明这种方法是更有效的。
2018-02-01 cs.DB
An Efficient Distributed Data Extraction Method for Mining Sensor Networks Data
传感器网络（SN）广泛部署在现实世界中的应用，产生大量的原始传感数据。数据采掘技术从这些应用中提取有用的知识是一个新兴的研究领域，由于其至关重要的，但仍然是一个挑战，有效地从传感器网络数据中发现知识。本文提出了一种分布式数据抽取（DDE）方法，通过应用基于规则的聚类和关联规则挖掘技术从传感器网络中抽取数据。从传感器发送到数据处理点的大量传感器读数可能丢失或损坏。DDE还从可用的传感器读数估计这些缺失值，而不是请求传感器节点重新发送丢失的读数。DDE还应用了数据压缩，能够在传输到sink时减少数据量。结果表明，我们提出的方法具有最大的数据准确性和有效的数据提取在整个网络的能源消耗。
2013-06-18 cs.DB cs.NI
A Security Based Data Mining Approach in Data Grid
网格计算是分布式计算的下一个逻辑步骤。网格计算的主要目标是提供一种创新的方法来共享资源，如CPU使用、内存共享和软件共享。数据网格提供了对异构系统中语义相关数据资源的透明访问。该系统结合了数据采掘和网格计算技术，其中网格应用减少了同时向多个客户端发送结果的时间，并且计算网格上的数据采掘应用为用户提供快速和复杂的结果。本文采用基于网格的数据采掘技术，对基于概率挖掘的频繁序列算法进行自动分配。它发现频繁的序列，许多用户在同一时间与准确的结果。它还包括用于增强信任安全性的信任管理体系结构。
2010-03-22 cs.DB cs.DC
Big Graph Mining: Frameworks and Techniques
大图挖掘是一个重要的研究领域，它引起了相当大的关注。它允许从大量的图形数据中处理，分析和提取有意义的信息。大图挖掘不仅受到图的巨大增长的推动，而且还受到其大量应用的推动。这些应用包括生物信息学、化学信息学和社交网络。大图挖掘中最具挑战性的任务之一是大图中的模式挖掘。该任务包括使用数据采掘算法在大量的图形数据中发现有趣的、意想不到的和有用的模式。它还旨在提供对图形数据的更深入理解。在这种背景下，已经提出了几种图处理框架和缩放数据采掘/模式挖掘技术来处理非常大的图。本文概述了现有的数据采掘和图形处理框架，处理非常大的图。然后对大图中的数据采掘/模式挖掘的研究现状进行了综述，并讨论了该领域的主要研究问题。对分布式数据采掘和机器学习技术进行了分类，给出了图处理框架和大规模模式挖掘方法。
2016-02-09 cs.DB cs.DC
Mining Association Rules in Various Computing Environments: A Survey
Institute of Science, Banaras Hindu University（贝拿勒斯印度大学科学学院）；Faculty of Education, Banaras Hindu University（贝拿勒斯印度大学教育学院）；Mahila Maha Vidyalaya, Banaras Hindu University（贝拿勒斯印度大学Mahila Maha Vidyalaya）
关联规则挖掘（ARM）是数据采掘中研究最多的技术之一。目前已经设计的ARM算法很多，其计数量也很大。在本文中，我们调查了各种ARM算法在四个计算环境。所考虑的计算环境是顺序计算、并行和分布式计算、网格计算和云计算。随着新的计算范式的出现，许多研究者设计了ARM算法，以利用新的计算范式来提高效率。本文介绍了ARM算法从顺序算法开始，经过并行、分布式和基于网格的算法到目前最先进的算法的历程，以及采用新机器的动机。
2019-06-30 cs.DB cs.DC cs.LG
A Parallel/Distributed Algorithmic Framework for Mining All Quantitative Association Rules
Athens Information Technology（雅典信息技术学院）；Cepal Hellas Financial Services（Cepal Hellas金融服务公司）；Aalborg University（奥尔堡大学）
我们提出了QARMA，一个有效的新的并行算法挖掘所有的定量关联规则在大型多维数据集的项目需要至少有一个共同的属性被指定在规则单一的后果项。给定一个最小支持度和一组阈值标准的兴趣度措施，如信心，信念等，我们的算法保证生成所有非支配的数量关联规则，满足最小支持度和兴趣度的要求。这些规则对于寻求优化有针对性的活动或一般市场细分的营销部门来说非常重要。它们在医疗应用、金融以及预测性维护领域也具有价值。我们提供的计算结果显示了我们的算法的可扩展性，以及它的能力，以产生所有的规则，发现在大规模的合成和现实世界的数据集，如电影镜头，在几秒钟或几分钟的计算时间内的商品硬件。
2018-04-18 cs.AI cs.DB
Time series data mining for the Gaia variability analysis
盖亚是欧空局的一项基石任务，于2013年12月成功发射，并于2014年7月开始运行。在盖亚数据处理和分析联盟内，协调单元7（CU7）负责超过10亿个天体源和近40亿个相关时间序列（光度，分光光度和光谱）的变化分析，在任务的5年期间编码超过8000亿次观测的信息，导致PB级分析问题。在本文中，我们简要介绍了我们开发的解决方案，以解决时间序列变异性分析的挑战：从分布式面向数据的科学合作的结构，以架构的选择和使用的特定组件。我们的方法是基于一个分布式的，分区的数据库为核心的开源组件增量处理：摄取，分布式处理，分析，结果和出口在一个有限的时间窗口。
2014-11-21 astro-ph.IM cs.DB cs.DC
MIRAGE: An Iterative MapReduce based FrequentSubgraph Mining Algorithm
频繁子图挖掘是图数据探索性数据分析的一项重要任务。多年来，已经提出了许多算法来解决这个问题。这些算法假设挖掘任务的数据结构足够小，以适合计算机的主存储器。然而，随着真实世界的图形数据在大小和数量上的增长，这样的假设不再成立。为了克服这个问题，近年来已经提出了一些以图形数据库为中心的方法来解决FSM;然而，使用MapReduce范式的分布式解决方案尚未得到广泛的探索。由于MapReduce已经成为海量数据计算的事实范例，因此需要一种有效的FSM算法来处理这种范例。在这项工作中，我们提出了一个频繁的子图挖掘算法称为MINUS，它使用一个迭代的MapReduce为基础的框架。MINUS是完整的，因为它返回给定用户定义支持的所有频繁子图，并且它是高效的，因为它应用了最新FSM算法采用的所有优化。我们的实验与现实生活中的大型合成数据集验证了MINUCLEAR挖掘频繁子图从大型图数据集的有效性。MINUS的源代码可从www.cs.iupui.edu/alhasan/software/获得
2013-07-22 cs.DB cs.DC
Analyzing Large-Scale, Distributed and Uncertain Data
当今时代数据的指数增长以及从数据中获取信息和知识的需求为数据库研究人员提出了新的挑战。已知的数据库系统和算法不再能够有效地处理这样大的数据集。MapReduce是一种新的编程范式，用于使用计算机集群处理大规模数据的分布式问题。在这项工作中，我们从三个不同的角度探索MapReduce范式。我们首先研究了数据采掘领域中的一个著名问题：在大型数据集上挖掘闭频繁项集。通过利用MapReduce的强大功能，我们提出了一种新的算法，挖掘封闭的频繁项集，优于现有的算法。接下来，我们将探讨“大数据”的基本含义之一：数据并不是完全确定的。概率数据库是一种关系数据库，其附加特征是每个元组都与其存在的概率相关联。MapReduce的一个自然的发展是一个分布式的关系数据库管理系统，其中关系演算已减少到一个组合的地图和减少功能。我们采取这种发展进一步提出了一个查询优化器在分布式，概率数据库。最后，我们分析了MapReduce最著名的实现Hadoop，旨在克服其主要缺点之一：它不直接支持在不同作业中重复处理的数据的显式规范。许多数据挖掘算法，如聚类和关联规则，需要迭代计算：相同的数据一次又一次地处理，直到计算收敛或满足停止条件。我们建议对Hadoop进行修改，以便它将支持在不同作业中有效访问相同的数据。
2017-12-05 cs.DB
DAME: A Web Oriented Infrastructure for Scientific Data Mining & Exploration
如今，许多科学领域都需要能够处理大量和分布式数据集，并在其上执行复杂的知识提取任务。这一简单的考虑是国际上努力建立虚拟组织，例如虚拟天文台的原因。DAME（数据挖掘与探索）是一个创新的，通用的，基于Web的，符合VObs的分布式数据挖掘基础设施，专门用于使用机器学习方法进行海量数据集探索。DAME最初仅用于处理天文数据，现已发展成为一个通用平台，在人类努力的其他领域也有应用。我们介绍了产品和一个科学案例的简短概述，以及现在发布的Web应用程序的测试版中可用的主要功能的详细描述。
2010-12-08 astro-ph.GA astro-ph.IM cs.DB
A Data Structure Perspective to the RDD-based Apriori Algorithm on Spark
近年来，许多研究者提出了许多高效、可扩展的大数据频繁项集挖掘算法。首先，提出了Hadoop集群上基于MapReduce的频繁项集挖掘算法。虽然Hadoop已经被开发成一个处理大数据的集群计算系统，但是由于其高I/O以及在磁盘上写入和读取中间结果，Hadoop的性能并不能满足数据采掘迭代算法的期望。因此，Spark被开发为另一种集群计算基础设施，由于其内存计算，它比Hadoop快得多。它非常适合迭代算法，并支持数据的批处理，交互式，迭代和流处理。许多频繁项集挖掘算法在Spark上被重新设计，其中大部分都是基于Apriori的。所有这些基于Spark的Apriori算法都使用Hash Tree作为底层数据结构。本文研究了基于Spark的Apriori的各种数据结构的效率。虽然，以前已经从数据结构的角度进行了研究，但是对于基于MapReduce的Apriori，必须在Spark的分布式计算环境下进行重新研究。所考虑的底层数据结构是哈希树、Trie和哈希表Trie。在基准数据集上的实验结果表明，在Spark的分布式计算环境下，基于Spark的Apriori with Trie和哈希表Trie的性能几乎相当，但都比Hash Tree高出许多倍。
2019-08-04 cs.DB cs.DC
Spatial Co-location Pattern Mining - A new perspective using Graph Database
空间共位模式挖掘是指发现在多个地方同时发生的一组对象或事件的任务。由于空间数据类型、空间关系和空间自相关的复杂性，从空间数据中提取这些模式是非常困难的。这些模式在公共安全、地理营销、犯罪预测和生态学等领域都有应用。以前的工作集中在使用空间连接。虽然这些方法提供了最先进的结果，但由于多路空间连接，它们的计算非常昂贵，并且将它们扩展到真实世界的数据集是一个开放的问题。我们解决这些局限性，制定的协同定位模式发现作为一个集团枚举问题的邻域图（这是使用分布式图形数据库物化）。我们提出了三个新的基于遍历的算法，即$CliqueEnum_G$，$CliqueEnum_K$和$CliqueExtend$。我们提供的经验证据，我们提出的算法的有效性，通过评估他们的一个大型的现实生活中的数据集。这三种算法允许在时间和内存需求之间进行权衡，并支持交互式数据分析，而无需重新计算所有中间结果。这些属性使我们的算法适用于不同数据大小的各种用例。
2018-10-21 cs.DB cs.DC
Data Mining in Astronomical Databases
虚拟天文台（VO）将使透明和有效的访问，搜索，检索和可视化的数据在多个数据存储库，这通常是异构和分布式的。方面的数据挖掘，适用于各种科学用户的情况下，VO进行审查。
2000-10-30 astro-ph cs.DB cs.DL
A Survey of Parallel Sequential Pattern Mining
随着共享资源的日益普及，自动收集大量不同类型的复杂数据。传统的数据采掘算法普遍存在内存开销大、处理速度慢、硬盘空间不足等问题和挑战。序列模式挖掘作为数据采掘的一项基本任务，在现实生活中有着广泛的应用。然而，它比其他模式挖掘任务更复杂和更具挑战性，即，频繁项集挖掘和关联规则挖掘，在处理大规模数据时也面临上述挑战。为了解决这些问题，在并行或分布式计算环境中挖掘序列模式已经成为一个重要的问题，具有许多应用。在本文中，深入调查的并行序列模式挖掘（PSPM）的现状进行了调查和提供，包括传统的串行SPM方法的详细分类，和最先进的并行SPM。本文详细回顾了并行序列模式挖掘的相关工作，包括基于划分的并行序列模式挖掘算法、基于Apriori的并行序列模式挖掘算法、基于模式增长的并行序列模式挖掘算法和基于模式增长的并行序列模式挖掘混合算法，并对并行序列模式挖掘算法进行了深入的描述（即，这些并行方法的特点、优点、缺点和总结。对PSPM的一些前沿问题，包括并行定量/加权/效用序列模式挖掘、不确定数据和流数据的PSPM、PSPM的硬件加速等进行了详细的综述。此外，我们还回顾并提供了一些著名的PSPM开源软件。最后总结了PSPM在大数据时代面临的挑战和机遇。
2019-04-05 cs.DB
Removing Operational Friction Using Process Mining: Challenges Provided by the Internet of Production (IoP)
RWTH Aachen University（亚琛工业大学）；Fraunhofer-Institut für Angewandte Informationstechnik（弗劳恩霍夫应用信息技术研究所）
生产、物流、物料搬运、维护等操作流程，由结合硬件和软件组件的网络物理系统支持。因此，数字世界和物理世界紧密结合，并且可以详细跟踪操作过程（例如，使用传感器）。今天的操作流程所产生的大量事件数据为支持流程发现、性能分析和一致性检查的流程挖掘技术提供了机遇和挑战。使用现有的流程挖掘工具，已经可以自动发现流程模型并发现性能和遵从性问题。在DFG资助的卓越集群“生产互联网”（IoP）中，流程挖掘用于创建“数字阴影”，以改善各种运营流程。然而，操作过程是动态的、分布式的和复杂的。在IoP集群中确定的挑战的推动下，我们致力于比较流程挖掘（比较不同时间、不同地点的不同产品的流程变体）、以对象为中心的流程挖掘（处理涉及不同类型的交互对象的流程）和前瞻性流程挖掘（探索"如果？"问题）。通过应对这些挑战，我们的目标是开发有价值的“数字阴影”，可用于消除运营摩擦。
2021-07-27 cs.DB cs.LG
Parallel algorithms for mining of frequent itemsets
Czech Technical University in Prague（布拉格捷克技术大学）；Institute of Computer Science（计算机科学研究所）
近十年来，企业开始收集大量数据。如果没有正确的分析，这些数据通常是无用的。分析数据的领域称为数据采掘。不幸的是，数据量非常大：数据不适合主内存，处理时间可能会变得非常巨大。因此，我们需要并行的数据采掘算法。频繁项集的生成算法是数据采掘中一个重要的算法。挖掘频繁项集的问题可以用下面的例子来解释：顾客走进一家商店，把一些商品放进他们的篮子里;商店的老板收集篮子，想知道至少有p%的篮子里一起购买的商品的集合。目前，挖掘频繁项集的顺序算法在性能上都比较好。然而，频繁项集挖掘的并行算法仍然没有达到很好的加速比。在这篇论文中，我们发展了一个在分散式记忆体平行电脑上，可用于任意深度优先搜寻顺序算法的平行频繁项目集挖掘方法。我们的方法在10个处理器上实现了~ 6的加速比。该方法基于对数据库样本的处理器负载的近似估计-然而，它总是从整个数据库计算频繁项集的集合。在这篇论文中，我们展示了我们的方法的理论基础，并显示了估计过程的性能。
2021-08-11 cs.DB cs.LG
Applications of Data Mining (DM) in Science and Engineering: State of the art and perspectives
Universidad Nacional de Educación a Distancia（西班牙国立远程教育大学）
任何类型的数据的可用性的持续增加，加上高速通信网络的发展、云计算的普及和数据中心的增长以及高性能计算的出现，开发允许更有效的数据处理和分析大量数据集并提取有价值信息的技术的任务是必不可少的。在接下来的几页中，我们将讨论近几十年来这一领域的发展，以及它在科学研究的各个分支中的潜力和适用性。此外，我们试图简要回顾包括在数据采掘研究领域，它的可扩展性与增加的维度的输入数据和他们如何可以被解决和什么样的行为不同的方法在一个场景中，信息是分布式或分散处理，以增加性能优化在异构环境中的不同系列的算法。
2016-09-17 cs.AI cs.DB
SharkGraph: A Time Series Distributed Graph System
针对千亿级时间序列图计算性能下降的挑战，提出基于DFS的SharkGraph系统，采用新型TGF存储结构迭代计算，在处理大规模图时比GraphX等系统内存占用更少且更高效。
2023-10-24 cs.DB cs.DC
From Social Data Mining to Forecasting Socio-Economic Crisis
社会经济数据采掘在更好地理解我们的经济和社会所面临的问题方面具有巨大的潜力，例如金融不稳定，资源短缺或冲突。如果没有大规模的数据采掘，这些领域的进展似乎很难或不可能。因此，应该在欧洲建立合适的分布式数据采掘基础设施和研究中心。建立一个危机观察站网络似乎也是适当的。可以把它们想象成专门收集和处理关于地球及其生态系统等自然系统以及人类技术-社会-经济系统的大量数据的实验室，以便获得即将发生的事件的早期预警。现实挖掘提供了更快、更准确地适应不断变化的情况的机会。个性化定制服务带来了更多的机会，但这些服务应以尊重隐私的方式提供。这就需要开发新的信息和通信技术（如自组织网络），但很可能还需要新的法律法规和适当的机构。只要在世界范围内缺乏这样的法规，科学家们就应该探索如何利用现有的大量数据。大数据确实有可能改变甚至威胁民主社会。这同样适用于信通技术系统的突然和大规模故障。因此，处理数据必须以高度的责任感和谨慎态度进行。在公共利益受到影响的情况下，个人、公司或机构的自身利益是有限度的，公共利益不足以成为侵犯个人人权的理由。隐私和保密一样，都是一种高价值的商品，破坏它会对社会产生严重的副作用。
2011-07-26 cs.CY cs.DB cs.DC
Scientific Data Mining in Astronomy
我们描述了数据挖掘算法在天文学研究问题中的应用。我们认为，数据挖掘一直是天文学研究的基础，因为数据挖掘是基于证据的发现，包括分类，聚类和新颖性发现的基础。这些算法代表了在大型数据库中发现的一套主要计算工具，这在数据密集型天文学时代将变得越来越重要。回顾了天文学数据挖掘的历史实例，然后讨论了预计在未来十年中最大的数据生产项目之一：大型综合巡天望远镜（LSST）。为了促进天文学中数据驱动的发现，我们设想了一种新的天文学和天体物理学面向数据的研究范式-天体信息学。天文信息学被描述为现代数据密集型天文学的一种研究方法和教育必要性。大型时域巡天（如LSST）的一个重要应用领域是实时天空事件（包括移动物体、光度可变物体和瞬变现象）的快速识别、表征和分类。我们描述了一个可能的实现的分类代理这样的事件，它结合了几个天体信息学技术：用户注释，语义标记，元数据标记，异构数据集成，分布式数据挖掘。这些类型的合作分类和发现的方法在其他科学学科的例子。
2009-11-03 astro-ph.IM cs.DB cs.IR
Detecting Group Anomalies in Tera-Scale Multi-Aspect Data via Dense-Subtensor Mining
我们如何检测大规模多方面数据中的欺诈性锁步行为（即，张量）？当数据太大而无法放入内存甚至磁盘时，我们能检测到它吗？过去的研究表明，真实世界张量中的稠密子张量（例如，社交媒体、维基百科、TCP转储等）发出异常或欺诈行为的信号，例如转发提升、僵尸活动和网络攻击。因此，各种方法，包括张量分解和搜索，已被提出用于快速和准确地检测稠密子张量。然而，现有的方法具有低精度，或者它们假设张量足够小以适合主存，这在许多现实世界的应用中是不现实的，例如社交媒体和网络。为了克服这些限制，我们提出了D-CUBE，一种基于磁盘的稠密子张量检测方法，它也可以在多台机器上以分布式方式运行。与最先进的方法相比，D-CUBE具有（1）内存效率：需要的内存最多减少1，561倍，处理的数据最多增加1，000倍（2.6TB），（2）快速：由于其接近线性的可扩展性，速度快7倍，（3）可证明准确：保证检测到的子张量的密度，以及（4）有效：从TCP转储中发现网络攻击，并最准确地同步评级数据中的行为。
2020-12-20 cs.DB cs.DC cs.SI
Science User Scenarios for a Virtual Observatory Design Reference Mission: Science Requirements for Data Mining
新的大型天文数据库的知识发现潜力是巨大的。当这些与丰富的遗留数据档案结合使用时，科学发现的机会迅速增加。虚拟天文台（VO）框架将使透明和有效的访问，搜索，检索和可视化的数据在多个数据存储库，这通常是异构和分布式的。方面的数据挖掘，适用于各种科学用户的情况下，VO进行审查。虚拟观测站的发展应满足各种天文学研究群体的数据挖掘需求。通过举例的方式，两个用户的情况下，调用应用程序和跨目录和图像域的数据链接，以解决特定的天体物理学研究问题。这些说明了VO所需能力和力量的子集，因此它们代表了VO设计参考任务的潜在组成部分。
2000-08-19 astro-ph cs.DB cs.DL
VHT: Vertical Hoeffding Tree
Telefonica Research（西班牙电信研究）；Qatar Computing Research Institute（卡塔尔计算研究所）；Telecom ParisTech（巴黎高等电信学院）；LARC-SMU（新加坡管理大学智能系统实验室）
物联网大数据需要新的机器学习方法，能够扩展到高速到达的大数据。决策树是流行的机器学习模型，因为它们非常有效，但易于解释和可视化。在文献中，我们可以找到学习决策树的分布式算法，也可以找到流算法，但没有结合这两种特性的算法。在本文中，我们提出了垂直Hoeffding树（VHT），第一个分布式流学习决策树算法。它的特点是一种新的方式分布决策树通过垂直并行。该算法是在Apache SAMOA（一个用于挖掘分布式数据流的平台）上实现的，因此能够在真实世界的集群上运行。我们运行几个实验来研究我们的新VHT算法的准确性和吞吐量性能，以及它的扩展能力，同时保持其优越的性能，相对于非分布式决策树。
2016-07-28 cs.AI cs.DB cs.DC
Discovering Compressing Serial Episodes from Event Sequences
大多数模式挖掘方法输出大量的频繁模式，分离一个小的，但相关的子集是一个具有挑战性的问题，目前在频繁模式挖掘的兴趣。在本文中，我们考虑发现一个小的相关频繁事件的数据序列。我们利用最小描述长度的原则，制定的问题，选择一个子集的情节。使用一个有趣的类的串行事件与事件间的约束和一种新的编码方案，使用这样的事件的数据，我们提出了算法，发现小集的事件，实现良好的数据压缩。使用的一个例子，从分布式传感器的组合耦合输送机系统中获得的数据流，我们表明，我们的方法是非常有效的挖掘高度相关的情节，我们的计划也实现了良好的数据压缩。
2014-10-11 cs.DB
Distributed GraphLab: A Framework for Machine Learning in the Cloud
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
虽然像MapReduce这样的高级数据并行框架简化了大规模数据处理系统的设计和实现，但它们并不自然或有效地支持许多重要的数据采掘和机器学习算法，并且可能导致低效的学习系统。为了帮助填补这一关键空白，我们引入了GraphLab抽象，它自然地表达了异步，动态，图形并行计算，同时确保数据一致性并在共享内存设置中实现高度的并行性能。在本文中，我们将GraphLab框架扩展到更具挑战性的分布式环境，同时保持强大的数据一致性保证。我们开发了基于图形的扩展，以减少网络拥塞和网络延迟的影响，流水线锁定和数据版本。我们还介绍了容错的GraphLab抽象使用经典的marty-Lamport快照算法，并演示了它如何可以很容易地实现利用GraphLab抽象本身。最后，我们在一个大型Amazon EC2部署上评估了GraphLab抽象的分布式实现，并显示了比基于Hadoop的实现高出1-2个数量级的性能提升。
2012-04-26 cs.DB cs.LG
