Railgun: streaming windows for mission critical systems
一些关键任务系统(如欺诈检测)需要在要求高吞吐量和低延迟的应用程序上的长时间窗口内提供准确的实时指标。由于这些应用程序需要“永远”运行,应对大量和尖峰数据负载,因此它们还需要在分布式环境中运行。毫不奇怪,我们不知道任何分布式流媒体系统提供所有这些属性。相反,现有的系统进行了大量的简化,例如将滑动窗口实现为一组固定的部分重叠窗口,从而危及度量准确性(违反金融监管规则)或延迟(违反服务协议)。在本文中,我们提出了Railgun,一个容错的,弹性的,分布式的流媒体系统,支持实时滑动窗口的情况下,需要高负载和毫秒级的延迟。我们使用真实数据对Railgun的初始原型进行了基准测试,显示出比Flink显著更低的延迟,以及与窗口大小无关的低内存使用。
2020-11-10 cs.DB cs.DC
Cost models for geo-distributed massively parallel streaming analytics
本报告是DataflowOpt关于现代数据流优化项目的一部分,旨在介绍一种数据质量感知成本模型,该模型涵盖以下方面:(1)计算节点的异构性,(2)地理分布,(3)大规模并行性,(4)复杂的DAG和(5)流应用程序。这样的成本模型,然后可以利用设计基于成本的优化解决方案,处理任务布局和运营商配置。
2021-05-26 cs.DB
Fast Data Management with Distributed Streaming SQL
为了在当今数据驱动的经济中保持竞争力,大大小小的企业都在转向流处理平台,以在数据到达时处理大容量、高速度和多样化的数据流(快速数据)。由当今流行的系统提供的低级编程模型缺乏对变化的响应:增强需要伴随着大量周转时间的代码变化。尽管分布式SQL查询引擎已经可用于大数据,但我们仍然缺乏对分布式流处理系统中基于SQL的流查询功能的支持。在本白皮书中,我们确定了一组要求,并提出了一个标准的基于SQL的流查询模型,用于管理所谓的快速数据。
2015-11-12 cs.DB
SWARM: Adaptive Load Balancing in Distributed Streaming Systems for Big Spatial Data
支持GPS的设备的激增导致了许多基于位置的服务的发展。这些服务需要实时处理大量的空间数据。目前的空间数据规模无法使用集中式系统处理。这导致了分布式空间流系统的发展。现有系统使用静态空间分区来分配工作负载。相比之下,实时流式传输的空间数据遵循随时间连续变化的非均匀空间分布。分布式空间流系统需要对空间数据和查询的分布变化做出反应。本文介绍了SWARM,一个轻量级的自适应协议,连续监测的数据和查询工作负载跨分布式进程的空间数据流系统,并重新分配和重新平衡的工作负载的性能瓶颈得到检测。SWARM能够处理多个查询执行和数据持久化模型。分布式流系统可以直接使用SWARM来自适应地在其机器之间重新平衡系统的工作负载,而对底层空间应用程序的原始代码的更改最小。使用真实和合成数据集进行的广泛实验评估表明,平均而言,SWARM比静态网格分区实现了200%的改进,静态网格分区是根据观察数据和查询工作负载的有限历史来确定的。此外,与其他技术相比,SWARM平均减少了4倍的执行延迟。
2020-02-27 cs.DB
Distributed Streaming Analytics on Large-scale Oceanographic Data using Apache Spark
来自不同领域的真实数据需要实时可扩展的分析。大规模数据处理框架或引擎(如Hadoop)在需要即时结果时会出现不足。Apache Spark的流媒体库越来越成为一个受欢迎的选择,因为它可以流式传输和分析大量数据。本文分析了美国全球海洋数据同化实验(USGODAE)数据目录中收集的大尺度时空数据,展示并评估了Spark流处理的能力。我们通过在流作业的中间添加和删除节点来测量流的延迟并监控可扩展性。我们还验证了容错停止节点在中间的一个工作,并确保该工作被重新调度和完成其他节点。我们设计了一个全栈应用程序,可以自动执行数据汇集、数据处理和结果可视化。我们还使用Google Maps API来可视化结果,方法是使用各种分析的值对世界地图进行颜色编码。
2019-08-01 cs.DB cs.DC cs.IR
Scalable Distributed Subtrajectory Clustering
轨迹聚类是从移动数据中发现知识的重要操作。特别是在当今,以高效和可扩展的方式对大规模生产的数据(如移动轨迹)执行高级分析操作的需求势在必行。然而,发现完整轨迹的集群可能会忽略只存在于其生命周期的一小部分的重要模式。在本文中,我们解决了问题的分布式子轨迹聚类在一个有效的和高度可扩展的方式。这个问题是具有挑战性的,因为要聚类的子轨迹是事先不知道的,但他们需要动态地发现相邻的子轨迹在空间和时间。为了实现这一目标,我们将原问题分解为三个子问题,即子轨迹连接,轨迹分割和聚类以及离群点检测,并利用MapReduce编程模型以分布式方式处理每个问题。我们的解决方案的效率和有效性的实验证明了一个合成的和两个大的真实数据集从海洋和城市领域,并通过比较与两个国家的最先进的子轨迹聚类算法。
2019-06-18 cs.DB cs.DC
A Generic Distributed Clustering Framework for Massive Data
在本文中,我们介绍了一种新的通用分布式聚类框架(GEEK)超越$k$ -均值聚类处理大量的数据。为了处理不同的数据类型,GEEK首先将原始特征空间中的数据转换为统一格式的桶,然后设计了一种新的基于相似桶的播种方法(SILK)来确定初始种子。与$k$ -means++及其变体等最先进的播种方法相比,SILK可以根据相似桶中共享数据对象的接近程度自动识别初始种子的数量,而不是预先指定$k$。因此,其时间复杂度与$k$无关。有了这些精心选择的初始种子,GEEK只需要一次数据分配就可以得到最终的聚类。我们在分布式CPU-GPU平台上实现了GEEK,用于大规模集群。我们评估了GEEK的性能超过五个大规模的现实生活中的数据集,并表明,GEEK可以处理不同类型的海量数据,是(甚至优于)许多国家的最先进的定制的基于GPU的方法,特别是在大$k$值。
2021-06-19 cs.DB cs.DC
Continuous Matrix Approximation on Distributed Data
以流式方式跟踪和近似数据矩阵是一项根本挑战。当数据来自多个分布式站点,每个站点都接收一个数据流时,这个问题需要更多的关注和关注。本文研究了分布式流媒体模型中的“跟踪逼近矩阵”问题。在这个模型中,有m个分布式站点,每个站点观测不同的数据流(其中每个元素是分布式矩阵的一行),并且具有与协调器的通信信道,目标是沿着任何方向跟踪矩阵的范数的eps近似。为此,我们提出了新的算法来解决矩阵逼近问题。我们的算法维护一个较小的矩阵B,作为分布式流矩阵A的近似,使得对于任何单位向量x:|||A x|| ^2-||B x|| ^2| <= eps| |A||_F^2.我们的算法工作在流的方式,并产生小的通信,这是分布式计算的关键。我们最好的方法是确定性的,只使用O((m/eps)log(beta N))通信,其中N是流的大小(在查询时),beta是矩阵任何行的平方范数的上限。除了从理论上证明所有算法属性外,对真实大型数据集的广泛实验还证明了这些协议的效率。
2014-04-30 cs.DB
Incremental Gaussian Mixture Clustering for Data Streams
University of Cincinnati(辛辛那提大学)
针对超大规模数据流分析需求,提出一种基于熵最小化准则的增量式高斯混合聚类算法,可在流式数据中更新聚类并识别异常点,经多个二维数据集验证有效。
2024-12-10 cs.DB cs.LG
Review on Fragment Allocation by using Clustering Technique in Distributed Database System
在过去的几年中,在提高分布式数据库系统的性能方面取得了相当大的进展。分布式数据库中的碎片分配模型的开发由于站点数量庞大及其通信考虑的复杂性而变得困难。在这种情况下,聚类和数据分配的仿真是理解和评估分布式数据库中数据分配性能的有效工具。集群站点和片段分配是分布式数据库性能中的关键挑战,并且被认为是在减少应用程序执行期间传输和访问的数据方面具有主要作用的有效方法。本文综述了在分布式数据库系统中利用聚类技术进行分片分配的研究。
2013-10-04 cs.DB
Hierarchical Aggregation Approach for Distributed clustering of spatial datasets
Insight Centre for Data Analytics School of Computer Science University College Dublin(都柏林大学学院计算机科学学院数据洞察中心);School of Computer Science University College Dublin(都柏林大学学院计算机科学学院)
在本文中,我们提出了一种新的方法,分布式聚类的空间数据集,基于创新和有效的聚合技术。这种分布式方法包括两个阶段:1)局部聚类阶段,其中每个节点对其本地数据执行聚类,2)聚合阶段,其中局部聚类被聚合以产生全局聚类。这种方法的特点是,本地集群表示在一个简单而有效的方式。聚合阶段的设计使得最终的聚类是紧凑和准确的,而整个过程在响应时间和内存分配方面都是有效的。我们使用不同的数据集评估了这种方法,并将其与众所周知的聚类技术进行了比较。实验结果表明,该方法是非常有前途的,并优于所有这些算法
2018-02-01 cs.DB cs.DC cs.LG
On a Distributed Approach for Density-based Clustering
从这些数据中有效地提取有用的知识仍然是一个挑战,主要是当数据是分布式的,异构的和不同的质量取决于其相应的本地基础设施。为了减少开销成本,大多数现有的分布式聚类方法通过聚合每个节点上获得的本地结果来生成全局模型。解决方案的复杂性和质量在很大程度上取决于聚合的质量。在这方面,我们提出了分布式的基于密度的聚类,既减少了由于数据交换的通信开销,并通过考虑局部集群的形状,提高了全局模型的质量。从初步的结果,我们表明,该算法是非常有前途的。
2017-04-13 cs.DB
Play like a Vertex: A Stackelberg Game Approach for Streaming Graph Partitioning
针对大规模图流式分区中内存受限与偏斜导致质量下降的问题,提出 S5P,利用 head/tail 边集划分、偏斜感知聚类和 Stackelberg 图博弈,在相同负载约束下显著提升分区质量与分布式处理效率。
2024-02-28 cs.DB cs.DC cs.GT
EdgeServe: A Streaming System for Decentralized Model Serving
The University of Chicago(芝加哥大学)
本文提出分布式流式系统EdgeServe,用于解决数据流场景下机器学习模型服务中的数据路由、时间同步和速率控制问题,并在人类活动识别、自动驾驶和网络入侵检测三个任务上验证了其实时预测能力。
2024-02-22 cs.DB cs.DC cs.LG
Variance-based Clustering Technique for Distributed Data Mining Applications
如今,由于不同的事实,大量的数据自然地收集在分布式站点中,并且由于技术原因或政策原因,通过网络移动这些数据以提取有用的知识几乎是不可行的。此外,不能应用经典的par-history算法,特别是在松散耦合的环境中。这就需要开发可扩展的分布式算法,能够通过以有效的方式聚合本地结果来返回全局知识。在本文中,我们提出了一个分布式算法的基础上独立的本地聚类过程和全球合并的基础上最小方差增加,需要有限的通信开销。我们还引入了分布式子集群扰动的概念,以改善全局生成的分布。我们表明,该算法提高了聚类的质量相比,经典的局部集中式的,是能够找到真正的全球数据的性质或分布。
2017-03-28 cs.DB
Distributed Holistic Clustering on Linked Data
链接发现是支持数据网络中数据集成的一个活跃研究领域。由于可用数据源的巨大规模和数量,高效和有效的链路发现是一项非常具有挑战性的任务。常见的成对链路发现方法不能扩展到具有非常大的实体集的许多源。在这里,我们提出了一个分布式的整体方法来连接许多数据源的基础上,代表同一个现实世界的对象的实体的集群。我们的聚类方法提供了一个紧凑和融合的实体表示,并可以识别现有的链接以及许多新的链接中的错误。我们支持分布式执行的集群方法,以实现更快的执行时间和可扩展性的大型现实世界的数据集。我们提供了一个新的黄金标准,多源聚类,并评估我们的方法的有效性和效率方面的大型数据集的地理和音乐领域。
2017-08-30 cs.DB
Distributed Clustering Algorithm for Spatial Data Mining
分布式数据采掘技术和主要的分布式聚类技术在过去十年中得到了广泛的应用,因为它们处理的是非常大的和异构的数据集,这些数据集不能集中收集。目前的分布式聚类方法通常是通过聚合在每个站点上获得的本地结果来生成全局模型。虽然这种方法挖掘数据集的位置,聚合阶段是复杂的,这可能会产生不正确和模糊的全球集群,因此不正确的知识。在本文中,我们提出了一种新的聚类方法非常大的空间数据集是异构和分布式的。该方法基于K-means算法,但它动态地生成全局聚类的数量。此外,这种方法使用了一个精心设计的汇总阶段。聚合阶段的设计使得整个过程在时间和内存分配方面都是高效的。初步结果表明,所提出的方法产生高质量的结果和规模以及。我们还比较了两个流行的聚类算法,并表明这种方法是更有效的。
2018-02-01 cs.DB
Distributed Clustering in the Anonymized Space with Local Differential Privacy
对收集的数据进行聚类和分析可以改善大数据、物联网应用中的用户体验和服务质量。然而,直接发布原始数据带来了潜在的隐私问题,这为隐私保护聚类带来了挑战和机遇。本文在局部差分隐私框架下研究了分布式环境下的非交互式聚类问题。我们首先扩展了位向量,一种新的匿名化机制是功能性和隐私保护。基于改进的编码机制,我们提出了kCluster算法,可用于聚类的匿名空间。我们表明,修改后的编码机制可以很容易地实现在现有的聚类算法,只依赖于距离信息,如DBSCAN。理论分析和实验结果验证了所提方案的有效性。
2019-06-27 cs.CR cs.DB
Scalable Density-Based Distributed Clustering
聚类已经成为分析大量数据的一项越来越重要的任务。传统的应用程序要求所有数据必须位于其被审查的站点。如今,大量的异构、复杂的数据驻留在不同的、独立工作的计算机上,这些计算机通过局域网或广域网相互连接。在本文中,我们提出了一个可扩展的基于密度的分布式聚类算法,它允许用户定义的聚类质量和从不同的本地站点到全球服务器站点的传输对象的数量之间的权衡。我们的方法包括以下步骤:首先,我们根据反映其适合作为当地代表的质量标准,将位于当地站点的所有对象排序。然后,我们将这些代表中最好的发送到服务器站点,在那里使用稍微增强的基于密度的聚类算法对它们进行聚类。这种方法是非常有效的,因为当地确定合适的代表可以迅速和独立地进行。此外,基于最合适的局部代表的可伸缩数量,全局聚类可以非常有效和高效地进行。在我们的实验评估中,我们将表明,我们的新的可扩展的基于密度的分布式聚类方法的结果在高质量的聚类与可扩展的传输成本。
2014-09-22 cs.DB
Safecloud: A Distributed, Encrypted Storage Cloud for Streaming
IENYC(纽约工程学院)
提出Safecloud,一种分布式加密存储与流媒体网络,通过密钥分层、收敛内容寻址和并行树结构实现端到端加密、去重和高效流式访问,并引入基于腐败证明的经济激励机制。
2026-06-02 cs.CR cs.DB cs.DC