High-Level Programming Abstractions for Distributed Graph Processing
近年来,分布式环境下大规模图的高效处理已经成为一个越来越热门的研究课题。可以被建模为图的互连数据出现在诸如机器学习、推荐、web搜索和社会网络分析的应用领域中。编写分布式图应用程序本质上是困难的,并且需要能够覆盖各种问题域的编程模型,包括迭代精化算法、图转换、图聚合、模式匹配、自我网络分析和图遍历。分布式图处理系统和大数据平台已经提出并采用了几种高级编程抽象。尽管已经做了大量的工作来实验性地比较分布式图处理框架,但是还没有对图编程抽象进行定性研究和比较。在这次调查中,我们回顾和分析了最流行的分布式图处理高级编程模型,在它们的语义和适用性。我们确定的类图的应用程序,可以自然地表示每个抽象,我们也给出了应用程序的例子,很难或不可能表达。我们回顾了34个分布式图处理系统的编程抽象,执行模型和通信机制。最后,我们讨论的趋势和开放的研究问题,在该地区的分布式图形处理。
2016-07-09 cs.DC
UniGPS: A Unified Programming Framework for Distributed Graph Processing
工业界和学术界提出了许多分布式图处理系统。然而,现有的系统对数据分析师和算法工程师等用户不够友好。一方面,现有系统中的编程模型和接口差异很大,导致较高的学习成本和程序迁移成本。另一方面,这些图形处理系统与底层的分布式计算平台紧密绑定,要求用户熟悉分布式计算。为了提高分布式图处理的可用性,提出了一个统一的分布式图编程框架UniGPS。首先,我们提出了一个统一的跨平台图形编程模型VCProg的UniGPS。VCProg对用户隐藏了分布式计算的细节。它与流行的图形编程模型Pregel,GAS和Push-Pull兼容。VCProg程序可以在兼容的分布式图处理系统上执行,无需修改,减少了用户的学习开销。其次,UniGPS支持Python作为程序设计语言。我们提出了一个基于进程间通信的执行环境隔离机制,使Java/C++为基础的系统调用用户定义的方法写在Python中。实验结果表明,UniGPS使用户能够在不牺牲可用性的情况下处理超出单机内存容量的大图形。UniGPS显示出接近线性的数据可扩展性和机器可扩展性。
2021-08-04 cs.DC
Start Late or Finish Early: A Distributed Graph Processing System with Redundancy Reduction
图形处理系统在大数据领域非常重要。然而,在现有的算法和模型中,并行处理图通常会引入冗余计算。先前的工作已经提出了技术,以优化冗余的核心外的图形系统,而不是分布式图形系统。在本文中,我们研究了各种最先进的分布式图形系统,并观察这些普遍存在的冗余的根本原因。为了在不牺牲并行性的情况下减少冗余,我们进一步提出了一个分布式图形处理系统SLFE,它是按照“晚开始或早完成”的原则设计的。SLFE采用了一种新的预处理阶段,以获得一个图的拓扑知识,可以忽略不计的开销。SLFE的冗余感知顶点为中心的计算模型,然后可以利用这些知识,以减少在运行时的冗余计算。SLFE还提供了一组API来提高可编程性。我们在一个8节点高性能集群上的实验表明,SLFE在真实世界的图形上优于所有知名的分布式图形处理系统(加速比高达74.8倍)。SLFE的冗余减少方案通常适用于其他以顶点为中心的图形处理系统。
2018-05-31 cs.DC
Cloud Versus Local Processing in Distributed Networks
提出了一种用于评估本地、云和可分割(即可分区)数据负载的组合处理的相对性能的方法。它显示了如何做到这一点的背景下Amdahl的法律。作为一个例子,一个单级(星型)网络下运行的三个基本的调度策略。应用包括移动计算、云计算和签名搜索。
2021-07-04 cs.DC
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架,用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用,例如,谷歌、Facebook和亚马逊,用于解决一大类问题,例如,搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而,所有这些流行的系统在本地分布式计算方面都有一个主要缺点,这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术,预计将在其位置处理地理上分布的数据,而无需将整个原始数据集移动到单个位置。在本文中,我们调查和讨论的挑战和要求,在设计地理分布的数据处理框架和协议。我们分类和研究批处理(基于MapReduce的系统),流处理(基于Spark的系统),SQL风格的处理地理分布的框架,模型和算法,其开销问题。
2017-07-06 cs.DB cs.DC
Abstract message passing and distributed graph signal processing
图信号处理是处理图结构化数据的框架。其基本概念是图形移位算子,从而产生了图形傅里叶变换。虽然图形傅里叶变换是一个集中式过程,但需要分布式图形信号处理算法来解决诸如可扩展性和隐私等挑战。在本文中,我们开发了一个理论的分布式图信号处理的消息传递的经典概念的基础上。然而,我们概括了消息的定义,以允许更抽象的数学对象。该框架提供了一种替代的观点,避免了现有的分布式图信号处理方法的迭代性质。此外,我们的框架有利于研究理论问题,如分布式问题的解决方案。
2022-06-09 cs.DC eess.SP
Web Services for Asynchronous, Distributed Optimization Using Conservative Signal Processing
本文提出了一种系统的方法来实现一类非线性信号处理系统的分布式Web服务,这反过来又是用来解决优化问题的分布式,异步的方式。与需要专门的服务器相反,所提出的方法仅需要使用商品数据库后端作为中央资源,因为通常可能用于为具有大量并发用户的网站提供数据。在这个意义上说,所提出的方法不仅利用了各种数据库系统在工作者之间异步共享变量的可扩展性和鲁棒性,而且还关键地利用了信号处理工具来确定优化算法如何在各种异构工作者之间组织和分布。还提出了一个公开访问的实现,利用Firebase作为后端服务器,并说明了使用所提出的方法在解决各种优化问题中常见的信号处理的上下文中。
2015-09-24 cs.DC
On the Design and Analysis of Parallel and Distributed Algorithms
本文探讨多核时代下并行与分布式算法取代串行算法的趋势,介绍其基础算法、分析及效率考量。
2023-11-10 cs.DC
Graph3S: A Simple, Speedy and Scalable Distributed Graph Processing System
图是一种普遍存在于许多领域的结构。快速增长的数据量要求高效和可扩展的图形数据处理。近年来,设计分布式图处理系统已经成为一个越来越重要的领域,以满足在分布式环境中处理大型图的需求。虽然已经开发了各种分布式图形处理系统,但很少注意在使用简单性,效率和可扩展性方面实现良好的组合系统性能。为了对分布式图形处理系统的研究有所贡献,本文试图通过设计一个简单、快速和可扩展的系统来填补这一空白。我们的观察是,加强系统的通信灵活性,导致系统的效率和可扩展性以及简单的使用收益。我们在系统Graph3S中实现了我们的想法,并在来自不同领域的大图上使用各种算法进行了广泛的实验,以测试其性能。实验结果表明,该系统除了使用简单外,在各种图算法上都有很好的性能表现,在某些算法上的加速比甚至可以达到现有内存系统的两个数量级.此外,它的可扩展性与基于磁盘的系统相比具有竞争力,在使用较少的机器时甚至更好。
2020-03-02 cs.DC
GiViP: A Visual Profiler for Distributed Graph Processing Systems
分析大规模图可以在不同的应用场景中提供有价值的见解。虽然已经提出了许多在分布式基础设施上工作的图处理系统来处理大型图,但分析和调试其大量计算的任务仍然非常耗时且容易出错。本文介绍了GiViP,基于Pregel计算模型的分布式图形处理系统的可视化分析器。GiViP捕获了在整个计算过程中交换的大量消息,并提供了一个交互式用户界面,用于对收集的数据进行可视化分析。我们将展示如何利用GiViP来检测与计算和基础设施相关的异常,例如计算速度慢的单元和异常的消息模式。
2017-09-02 cs.DC
Khaos: Dynamically Optimizing Checkpointing for Dependable Distributed Stream Processing
分布式流处理系统正在成为大数据处理平台越来越重要的一部分,因为用户越来越依赖于它们提供快速访问新结果的能力。因此,根据这些结果及时做出决策取决于系统容忍故障的能力。通常,这些系统通过实现检查点和回滚恢复来实现容错和从部分故障中自动恢复的能力。然而,由于在这些分布式环境中发生部分故障的统计概率以及作业预期操作的工作负载的可变性,静态配置通常不能以低开销满足服务质量约束。在本文中,我们提出了Khaos,一种新的方法,它利用虚拟云自动化技术的并行处理功能,用于分布式流处理作业中容错配置的自动运行时优化。我们的方法采用了三个后续阶段,借用混沌工程的原则:建立稳定状态的处理条件,进行实验,以更好地了解系统如何执行故障,并使用这些知识,不断减少服务质量违规。我们与Apache Flink一起实现了Khaos原型,并通过实验证明了它的有用性。
2023-01-26 cs.DC
Task Allocation for Distributed Stream Processing
对实时、动态处理越来越多的大量数据的需求不断增长。为了确保流数据的及时和可靠的处理,已经开发了各种分布式流处理架构和平台,其处理(动态地)将处理任务分配给当前可用的物理资源以及在这些资源之间路由流数据的基本任务。然而,虽然有很多平台提供这种功能,但其背后的理论还没有得到很好的理解。特别是,不清楚如何最好地分配处理任务给给定的资源。在本文中,我们建立了一个理论基础,正式定义了分布式流处理的任务分配问题,我们证明是NP-难的。此外,我们提出了一个近似算法的类串并行可分解图,它捕获了广泛的常见的流处理应用程序。该算法实现了一个常数因子近似的假设下,资源的数量至少与计算任务的数量和计算成本的任务的通信成本占主导地位的比例。
2016-01-22 cs.DC
Practical Performance of a Distributed Processing Framework for Machine-Learning-based NIDS
Toyohashi University of Technology(丰桥技术科学大学);Information and Media Center(信息与媒体中心)
本研究基于分布式流处理框架实现五种机器学习分类器用于网络入侵检测,评估其吞吐量和延迟,并分析性能差异与瓶颈。
2024-05-20 cs.CR cs.DC cs.LG
DFOGraph: An I/O- and Communication-Efficient System for Distributed Fully-out-of-Core Graph Processing
随着图结构数据量的不断增加,需要能够扩展和放大的图处理系统来处理极端规模的数据集。虽然现有的分布式核外解决方案使其成为可能,但由于I/O和通信成本过高,它们的性能有限。我们提出了DFOGraph,一个分布式的完全核外图形处理系统,应用和组装多种技术,使I/O和通信效率的处理。DFOGraph建立在两级面向列的分区上,具有自适应压缩表示,允许细粒度的选择性计算和通信,并且它只发出必要的磁盘和网络请求。我们的评估显示,DFOGraph在单台机器上实现了与GridGraph和FlashGraph相当的性能(> 2.52倍和1.06倍),并且在扩展时显著优于Chaos和HybridGraph(> 12.94倍和> 10.82倍)。
2021-01-18 cs.DC
Hyper: Distributed Cloud Processing for Large-Scale Deep Learning Tasks
Princeton University(普林斯顿大学);Snark AI
在实际应用中训练和部署深度学习模型需要处理大量数据。当数据量增长到100 TB甚至PB级时,这是一项具有挑战性的任务。我们引入了一个混合分布式云框架,该框架具有多个云的统一视图和内部部署基础设施,用于大规模使用CPU和GPU计算实例处理任务。该系统实现了分布式文件系统和容错任务处理调度器,独立于所使用的语言和深度学习框架。它允许利用云上不稳定的廉价资源来显着降低成本。我们展示了该框架在运行预处理,分布式训练,超参数搜索和大规模推理任务上的可扩展性,使用10,000个CPU核心和300个GPU实例,总处理能力为30 petaflops。
2019-10-16 cs.DC cs.LG
Co-Tuning of Cloud Infrastructure and Distributed Data Processing Platforms
本文研究云基础设施与分布式数据处理平台配置间的影响关系,提出结合机器学习与优化的协同调优方法,在 OpenStack 上为 Hadoop、Spark 和 Flink 推荐最优配置,显著降低执行时间与成本。
2023-12-07 cs.DC
A Light-Weight Distributed System for the processing of Replicated Counter-like Objects
为了增加分布式系统中的可用性,一些或所有数据项被复制并存储在单独的站点。这是一个令人关切的关键问题,特别是因为无线技术和移动用户激增。但是,在不同站点同时处理事务可能会在存储的信息中产生不一致。我们已经构建了一个分布式服务,用于管理对广泛部署的类似计数器的副本的更新。有许多针对大型信息关键应用的重量级分布式系统。我们的系统是有意的,相对轻量级的,有用的信息减少一些关键的应用程序。该服务是建立在我们的分布式并发控制计划,结合乐观和悲观的事务处理。该服务允许在任何单独的副本上立即(乐观地)处理事务,只要该事务满足成本约束。所有事务也以并发悲观方式处理,以确保相互一致性。
2013-06-08 cs.DC
GX-Plug: a Middleware for Plugging Accelerators to Distributed Graph Processing
最近,研究界强调了制定大规模图处理的可扩展性连续体的必要性,它可以从分布式图系统中获得横向扩展的好处,并从高性能加速器中获得纵向扩展的好处。为此,我们提出了一个中间件,称为GX插件,便于集成两者的优点。作为一个中间件,GX插件在支持不同的运行时环境、计算模型和编程模型方面是通用的。此外,为了提高中间件的性能,我们研究了一系列的技术,包括流水线洗牌,同步缓存和跳过,和工作负载平衡,分别为内,间,和超越迭代优化。实验表明,我们的中间件有效地插件加速器代表分布式图形系统,例如,GraphX和Powergraph,加速比高达20倍。
2022-03-31 cs.DC
Reactive Liquid: Optimized Liquid Architecture for Elastic and Resilient Distributed Data Processing
当今最著名的IT公司都建立在从数据中提取洞察力的基础上,数据处理在数据密集型业务中变得至关重要。尽管如此,需要处理的数据量正在显着快速增长。数据增长的速度改变了数据处理的性质。今天,数据密集型行业需要高度可扩展和容错的数据处理架构,可以处理大量的数据。本文提出了一种基于Liquid的分布式弹性数据处理架构,该架构是一种近线和离线的大数据架构。我们使用响应式宣言来设计对工作负载变化和故障高度响应的架构。我们评估我们的架构,通过绘制我们的架构原型和液体原型之间的一些数值比较。所执行的评估表明,与Liquid架构相比,我们的架构可以更好地应对工作负载并更好地应对故障。
2019-02-15 cs.DC
Distributed Data Stream Processing and Edge Computing: A Survey on Resource Elasticity and Future Directions
在一些新兴的应用场景下,例如在智慧城市、大型基础设施的运营监控、可穿戴辅助和物联网中,必须在非常短的延迟下处理连续的数据流。已经开发了包括多个软件引擎的若干解决方案,用于以可扩展且高效的方式处理无界数据流。最近,已经提出了使用边缘计算进行数据流处理的架构。本文综述了流处理引擎和流处理机制的最新发展,以利用流处理中云计算的资源弹性特性。资源弹性允许应用程序或服务根据波动的需求向外扩展/向内扩展。虽然这些功能已被广泛研究的企业应用程序,流处理提出了挑战,实现弹性系统,可以根据当前的负载,有效的资源管理决策。在包含边缘和云计算资源的高度分布式环境中,弹性变得更具挑战性。这项工作探讨了其中一些挑战,并讨论了文献中提出的解决方案,以解决这些问题。
2017-12-02 cs.DC
Gossip Algorithms for Distributed Signal Processing
Gossip算法对于传感器网络中的网内处理是有吸引力的,因为它们不需要任何专门的路由,没有瓶颈或单点故障,并且它们对不可靠的无线网络条件具有鲁棒性。最近,在计算机科学、控制、信号处理和信息论社区中出现了一股热潮,开发更快、更鲁棒的流言算法,并获得理论性能保证。本文概述了该领域的最新工作。我们描述的收敛速度的结果,这是有关的传输消息的数量,从而在网络中消耗的能量八卦。我们讨论的问题,包括量化和噪声的影响,在无线链路上的流言,我们说明了使用规范的信号处理任务,包括分布式估计,源定位和压缩的流言算法。
2010-03-27 cs.DC cs.IT cs.NI
Phoebe: QoS-Aware Distributed Stream Processing through Anticipating Dynamic Workloads
分布式流处理系统已经成为大数据处理平台的重要组成部分。它们的特点是对接近实时的事件流进行高吞吐量处理,目标是提供低延迟结果,从而实现对时间敏感的决策。同时,即使在存在部分故障的情况下,也期望结果是一致的,其中需要精确的一次处理保证正确性。流处理工作负载通常在本质上是动态的,这使得静态配置随着时间的推移而变得非常低效。静态资源分配几乎肯定会对服务质量产生负面影响和/或导致更高的操作成本。在本文中,我们提出了Phoebe,一个主动的方法来系统自动调优的分布式流处理作业执行动态工作负载。我们的方法利用并行分析运行,QoS建模和运行时优化提供了一个通用的解决方案,配置参数自动调整,以确保稳定的服务,以及与恢复时间服务质量目标的对齐。Phoebe利用时间序列预测来洞察未来的工作负载需求,从而提供准确、长期和可靠的扩展决策。我们的实验表明,菲比是能够提供一个稳定的服务,同时减少资源过度配置。
2022-06-20 cs.DC
C3O: Collaborative Cluster Configuration Optimization for Distributed Data Processing in Public Clouds
分布式并行处理系统使得能够在集群上对大型数据集进行数据并行处理。公共云提供商提供了大量可用于此类集群的资源。然而,为低成本工作(既不会导致瓶颈,也不会导致低资源利用率)选择合适的云资源通常具有挑战性,即使对于数据工程师等专家用户也是如此。我们提出了C3O,一个协作系统,用于优化公共云中的数据处理集群配置共享的历史运行时数据的基础上。该共享数据用于使用专门的回归模型来预测不同可能的集群配置上的数据处理作业的运行时间。这些模型考虑了不同用户的不同执行上下文,并在我们对930个独特的Spark作业的实验评估中显示出低于3%的平均绝对误差。
2021-12-01 cs.DC
Processing Regular Path Queries on Arbitrarily Distributed Data
正则路径查询(RPQ)是一种图查询,其中答案是由匹配正则表达式的一系列边连接的节点对。我们研究的技术来处理这种查询的分布式数据图。虽然许多技术假设每个数据元素(节点或边)的位置是已知的,但当分布式系统的组件是自治的时,数据将被任意分布。由于不同的查询处理策略在最坏的情况下是等价的成本,我们隔离查询相关的成本因素,并提出了一种方法来选择策略,使用新的查询成本估计技术。我们评估我们的技术使用有意义的查询生物医学数据。
2015-10-14 cs.DB cs.DC
Large-scale Data Modelling in Hive and Distributed Query Processing using MapReduce and Tez
人类、组织和机器的数字互联系统不断生成大量数据。数据以各种格式出现,包括结构化,非结构化和半结构化,这使得不可能应用相同的标准方法,技术和算法来管理和处理这些数据。幸运的是,企业级分布式平台Hadoop生态系统已经存在。本文从数据定义、数据操作和数据处理三个方面探讨了Apache Hive组件提供的全栈数据管理功能。Hive是一个数据仓库系统,它处理存储在表中的结构化数据。由于Hive工作在Hadoop HDSFS之上,它受益于HDFS的非凡特性,包括容错性,可靠性,高可用性,可扩展性等。此外,Hive可以通过将作业分配给MapReduce,Tez和Spark引擎来运行复杂查询,从而利用集群的分布式计算能力。本文重点研究了Hive数据模型,并对MapReduce和Tez的处理性能进行了分析。
2023-01-29 cs.DC
Parallel and Distributed Data Series Processing on Modern and Emerging Hardware
本文总结了数据序列处理的最新进展,重点介绍了利用现代计算平台算力的并行与分布式数据序列索引,内容涵盖作者在MEDES'23会议上的教程。
2023-10-21 cs.DB cs.DC
Edge-Fog Cloud: A Distributed Cloud for Internet of Things Computations
物联网通常涉及大量智能传感器,从环境中感知信息并将其共享给云服务进行处理。已经提出了各种架构抽象,如雾和边缘计算,以将一些处理定位在传感器附近,远离中央云服务器。在本文中,我们提出了边缘雾云,它分布在网络中的参与云资源的任务处理。我们开发的最小处理成本第一(LPCF)的方法分配的处理任务,提供最佳的处理时间和接近最佳的网络成本的节点。我们评估LPCF在各种情况下,并证明其有效性,找到处理任务分配。
2017-03-07 cs.DC
The Power of Both Choices: Practical Load Balancing for Distributed Stream Processing Engines
我们研究了分布式流处理引擎中的负载均衡问题,该问题在存在偏斜的情况下加剧。我们引入部分密钥分配(PKG),一个新的流划分方案,适应经典的“两个选择的权力”的分布式流设置,利用两个新的技术:密钥拆分和本地负载估计。这样,它实现了比键分组更好的负载均衡,同时比随机分组更具可扩展性。我们在几个大型数据集上测试PKG,包括真实世界和合成数据集。与标准散列相比,PKG将负载不平衡降低了几个数量级,并且通常可以实现近乎完美的负载平衡。在部署到真正的Storm集群上时,这一结果转化为吞吐量提高了60%,延迟提高了45%。
2015-04-03 cs.DC
A Distributed System for Storing and Processing Data from Earth-observing Satellites: System Design and Performance Evaluation of the Visualisation Tool
我们提出了一个分布式系统的存储,处理,三维可视化和基本分析的数据从地球观测卫星。数据库和服务器的设计具有高性能和可伸缩性,而客户端由于设计为基于HTML5和WebGL的Web应用程序,因此具有高度的可移植性。该系统基于所谓的MEAN堆栈,这是LAMP的现代替代品,LAMP在高性能Web应用程序中一直受到关注。我们展示了从用户操作客户端的角度来看,系统的性能。
2016-02-10 cs.DC
TD-Orch: Efficient Task-Data Orchestration for Distributed Systems with Application to Graph Processing
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Tsinghua University(清华大学);University of Maryland(马里兰大学);University of California, Riverside(加州大学河滨分校);Reed College(里德学院)
TD-Orch是一种高效的分布式协调框架,通过推拉技术实现负载均衡,应用于图处理系统,提升性能4.1倍。
2026-08-06 cs.DC
Collaborative Cluster Configuration for Distributed Data-Parallel Processing: A Research Overview
许多组织经常使用分布式数据系统(并行处理和商品资源集群)来分析大型数据集。然而,用户需要为他们的数据处理作业配置足够的资源。这需要深入了解预期的作业运行时和伸缩行为、资源特征、输入数据分布以及其他因素。由于无法准确估计性能,用户经常为其作业过度调配资源,导致资源利用率低和成本高。在本文中,我们提出了主要的构建块对数据处理集群配置的优化基于运行时数据和性能模型的协作方法。我们相信,运行时数据可以被共享,并用于跨不同执行上下文的性能模型,大大减少了对单个处理作业或专用作业分析的依赖。为此,我们描述了如何处理作业和集群基础设施的相似性,可以结合合适的数据点,从本地和全球的作业执行到准确的性能模型。此外,我们概述了通过更多的上下文感知和可重用的模型进行性能预测的方法。最后,我们展示了如何将以前执行的度量与运行时监控相结合,以有效地动态重新配置模型和集群。
2022-06-01 cs.DC
High-Dimensional Data Processing: Benchmarking Machine Learning and Deep Learning Architectures in Local and Distributed Environments
本文研究了在本地和分布式环境中评估机器学习和深度学习架构在高维数据处理中的表现。
2025-12-11 cs.AI cs.DC
Hallway Monitoring: Distributed Data Processing with Wireless Sensor Networks
我们提出了一个传感器网络测试平台,监测走廊。它由120个载荷传感器和29个被动红外传感器(PIR)组成,连接到30个无线传感器节点。还安装了29个LED和扬声器,作为执行器运行,并实现了测试台和路人之间的直接互动。除此之外,网络是异构的,由三个不同的电路板组成--每个电路板都有其特定的职责。与工业解决方案相比,负载传感器的设计成本极低,并且易于转移到其他设置中。该网络用于网络内数据处理算法,提供开发分布式目标跟踪算法等可能性。我们安装的特殊功能是高度相关的传感器数据和各种传感器类型的可用性。
2010-09-24 cs.DC
A Framework for Energy-aware Evaluation of Distributed Data Processing Platforms in Edge-Cloud Environment
分布式数据处理平台(例如,Hadoop、Spark和Flink)被广泛用于在云的计算节点之间分布数据的存储和处理。云资源的集中化催生了边缘计算,它使数据的处理更接近数据源,而不是将其发送到云端。然而,由于能源限制等资源限制,边缘计算无法用于部署各种应用程序。因此,任务从边缘设备卸载到资源更丰富的云。以前的研究已经评估了隔离云和边缘环境中分布式数据处理平台的能耗。然而,在集成的边缘云环境中评估这些平台的能耗的研究很少,其中任务从资源受限的设备卸载到资源丰富的设备。因此,在本文中,我们首先提出了一个框架的分布式数据处理平台的能量感知评估。然后,我们利用所提出的框架来评估三个最广泛使用的平台(即,Hadoop、Spark和Flink)在由Raspberry Pi、边缘节点、边缘服务器节点、私有云和公共云组成的集成边缘云环境中运行。我们的评估表明,(i)Flink是最节能的,其次是Spark,Hadoop被发现是最不节能的(ii)将任务从资源受限的设备卸载到资源丰富的设备可以减少55.2%的能耗,(iii)带宽和客户端与服务器之间的距离是影响能耗的关键因素。
2022-01-06 cs.DC
Processing SPARQL Queries Over Distributed RDF Graphs
我们提出了在分布式环境中处理大型RDF图上的SPARQL查询的技术。我们采用“部分评估和组装”框架。查询SPARQL查询Q等价于在RDF图G上找到查询图Q的子图匹配。基于分布式图上子图匹配的性质,我们在RDF图G的每个片段中引入局部部分匹配作为部分答案。对于组装,我们提出了两种方法:集中式组装和分布式组装。我们从理论和实验两方面分析了我们的算法。大量的实验在真实的和基准RDF存储库的数十亿个三元组证实,我们的方法是优于国家的最先进的方法在系统的性能和可扩展性。
2016-03-21 cs.DB cs.DC
Sector and Sphere: Towards Simplified Storage and Processing of Large Scale Distributed Data
云计算已经证明,只要给出正确的编程模型和基础设施,就可以在商品集群上处理非常大的数据集。在本文中,我们描述了Sector存储云和Sphere计算云的设计和实现。与现有的存储和计算云相比,Sector不仅可以在数据中心内管理数据,还可以跨地理分布的数据中心管理数据。同样,Sphere计算云支持数据中心内和跨数据中心的用户定义函数(UDF)。作为一种特殊情况,MapReduce风格的编程可以在Sphere中通过使用Map UDF和Reduce UDF来实现。我们描述了一些实验研究比较部门/球体和Hadoop使用Terasort基准。在这些研究中,Sector的速度大约是Hadoop的两倍。Sector/Sphere是开源的。
2009-01-17 cs.DC
Study on Resource Efficiency of Distributed Graph Processing
图可以用来表示许多不同的问题域--一个具体的例子是检测社交网络中的社区,这些社区被表示为图。随着近年来大数据和更复杂的应用变得越来越普遍,图形处理已经出现了与数据量和波动性有关的需求。这项多学科的研究提出了相关的分布式图形处理系统的审查。在这里,它们被呈现在由共同特征(分布式处理范例、图操作类型等)定义的组中,并概述了每个系统的优点和缺点。然后将系统集缩小到两个系统集,并对其进行定量分析。对于系统的这种定量比较,重点是评估算法的性能检测社区的问题。为了帮助进一步理解所执行的评估,提供了关于图聚类的背景。
2017-03-30 cs.DC cs.DS
Collaborative UAVs Multi-task Video Processing Optimization Based on Enhanced Distributed Actor-Critic Networks
本文提出CoUAV-Pro分布式框架,利用增强分布式Actor-Critic网络优化无人机多任务视频处理,在无基础设施环境下克服资源约束,实现与集中式方法相当的任务获取率、延迟和能耗性能。
2024-11-16 cs.DC
On Batch-Processing Based Coded Computing for Heterogeneous Distributed Computing Systems
近年来,编码分布式计算(CDC)由于能够有效地解决分布式计算系统中的延迟敏感计算问题而受到广泛关注。尽管有这样一个突出的特点,许多设计的挑战和机遇仍然存在。本文针对具有异构计算资源的实际计算系统,设计了一种新的基于批处理的编码计算(BPCC)方法。为此,我们首先描述了BPCC框架的主要思想,然后制定一个优化问题BPCC,以最大限度地减少任务完成时间,通过配置计算负载。通过正式的理论分析,广泛的仿真研究,并在亚马逊EC2计算集群上进行全面的真实实验,我们证明了所提出的BPCC方案在高计算效率和对不确定干扰的鲁棒性方面具有良好的性能。
2021-07-09 cs.DC
A Survey of Distributed Graph Algorithms on Massive Graphs
本文综述大规模图分布式处理的并行性、负载均衡、通信开销与带宽等挑战,梳理现有通用解决方案及最新论文策略,并展望研究趋势。
2024-10-28 cs.DC
Model-driven Scheduling for Distributed Stream Processing Systems
随着物联网(IoT)的发展,分布式流处理框架被普遍使用。这些框架旨在通过伸缩来适应动态输入消息速率。Apache Storm最初由Twitter开发,是一个广泛使用的流处理引擎,其他包括Flink,Spark流。为了保证流媒体应用的成功运行,需要知道流媒体应用的最优资源需求,而过高的资源估计会增加额外的成本,因此需要一些策略来为给定的流媒体应用提出最优的资源需求。在这篇文章中,我们提出了一个模型驱动的方法调度流应用程序,有效地利用先验知识的应用程序提供可预测的调度行为。具体来说,我们使用应用程序性能模型来提供所需的资源分配的可靠估计。此外,这种直觉还驱动资源映射,并有助于缩小估计和实际的低性能和资源利用率。总之,这种模型驱动的调度方法给出了用于在分布式资源上以目标输入流速率执行给定DSPS应用的可预测的应用性能和资源利用行为。
2017-02-06 cs.DC
On the Performance and Convergence of Distributed Stream Processing via Approximate Fault Tolerance
容错对于分布式流处理系统是至关重要的,然而实现无差错的容错通常会引起大量的性能开销。我们提出了AF流,分布式流处理系统,解决了性能和准确性之间的权衡容错。AF-Stream建立在一个称为近似容错的概念上,其思想是通过自适应地发布备份来减轻备份开销,同时确保故障时的错误与理论保证有一定的界限。具体来说,AF-Stream允许用户指定状态分歧和非备份流项目丢失的界限。它仅在达到界限时发出状态和项备份。我们的AF流设计提供了一个可扩展的编程模型,将一般的流算法,以及出口只有几个阈值参数配置近似容错。此外,我们正式证明,AF流保留高算法特定的流算法的准确性,特别是在线学习的收敛保证。实验表明,AF-Stream在各种流算法下都能保持较高的性能(与无容错相比)和多次故障后的高准确率(与无故障相比)。
2019-08-12 cs.DC
A Dynamic Vertical Scaling Strategy for Distributed Stream Processing Applications in Edge Computing
Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
针对边缘流处理资源受限问题,提出基于近端策略优化的动态垂直扩展策略,联合调整任务分配并满足p95延迟目标,实验表明违规率低于对比方法且CPU使用更少。
2026-09-14 cs.DC
Thinking Like a Vertex: a Survey of Vertex-Centric Frameworks for Distributed Graph Processing
顶点为中心的编程模型是一种已建立的计算范例,最近被纳入分布式处理框架,以解决大规模图形处理中的挑战。超过标准机器内存容量的十亿节点图并不能很好地得到流行的大数据工具(如MapReduce)的支持,这些工具对于PageRank等迭代图算法来说性能很差。作为回应,一种新型的框架向像顶点一样思考(TLAV)提出了挑战,并从顶点而不是图的角度实现了用户定义的程序。这种方法提高了局部性,证明了线性可伸缩性,并提供了一种自然的方式来表达和计算许多迭代图算法。这些框架易于编程,适用范围广泛,但与操作系统一样,由几个复杂的、相互依赖的组件组成,为了在规模上获得最佳性能,有必要对这些组件进行透彻的理解。为此,TLAV框架的第一次全面调查。本文综述了以顶点为中心的图处理方法,将TLAV框架分解为四个主要组成部分并分别进行了分析,对TLAV实现进行了回顾和分类。
2015-07-15 cs.DC
DRONE: a Distributed Subgraph-Centric Framework for Processing Large Scale Power-law Graphs
如今,在大数据时代,社交网络、图形数据库、知识图谱、电子商务等需要高效且可扩展的能力来处理不断增加的图形结构数据量。为了应对这一挑战,提出了两种主流的分布式编程模型:以顶点为中心的模型(VC)和以子图为中心的模型(SC)。与VC模型相比,SC模型在划分良好的图上收敛更快,通信开销更少,并且由于“像图一样思考”的哲学而易于编程。边割方法被认为是子图为中心的图划分模型的自然选择,并已被GitHub ++,Blogel和GRAPE采用。然而,切边方法在处理大规模幂律图时会产生显著的性能瓶颈。因此,供应链模式在实践中竞争力较低。在本文中,我们提出了一个创新的分布式图计算框架,DRONE(分布式gRaph computiNg引擎)。它结合了以子图为中心的模型和顶点切割图划分策略。实验表明,DRONE优于最先进的分布式图形计算引擎在现实世界的图形和合成的幂律图。DRONE能够扩展到处理一万亿边的合成幂律图,这比现有的基于SC的框架之前报道的要大几个数量级。
2019-01-09 cs.DC
OpenCluster: A Flexible Distributed Computing Framework for Astronomical Data Processing
现代天文望远镜产生的数据量非常大,而且还在迅速增长。然而,目前的高性能数据处理架构/框架并不适合天文学家,因为它们的局限性和编程困难。因此,在本文中,我们提出了OpenCluster,一个开源的分布式计算框架,以支持快速发展的高性能处理管道的天文大数据。我们首先详细介绍了OpenCluster的设计原则和实现,并提出了由框架促进的API。然后,我们展示了一个案例,其中OpenCluster是用来解决复杂的数据处理问题,开发一个管道的明根图超宽光谱射电日像仪。最后,我们提出了我们的OpenCluster性能评估。总的来说,OpenCluster不仅提供了高容错性和简单的编程接口,而且还提供了一种灵活的方法来扩展交互实体的数量。OpenCluster提供了一个易于集成的分布式计算框架,可快速开发高性能的天文望远镜数据处理系统,并大大降低软件开发费用。
2017-01-18 astro-ph.IM cs.DC
Delivery, consistency, and determinism: rethinking guarantees in distributed stream processing
最先进的流处理系统的一致性要求是根据交付保证来定义的。精确一次是最强的一个,也是最终用户最想要的。然而,关于这一概念有几个问题。强制执行一次的常用技术会产生显著的性能开销。此外,精确一次的概念没有正式定义,也没有捕获提供支持此保证的流处理系统的所有属性。在本文中,我们介绍了一个正式的框架,使我们能够更经常地定义流保证。我们证明了交付,一致性和确定性的属性是紧密相连的分布式流处理。我们还表明,具有轻量级的确定性,它是可能的,以提供确切的一次几乎没有性能开销。实验表明,该方法可以显着优于替代工业解决方案。
2019-07-14 cs.DB cs.DC
Distributed Processing for Encoding and Decoding of Binary LDPC codes using MPI
低密度奇偶检验(LDPC)码是在通信系统中用于前向纠错(FEC)的线性纠错码。但是,LDPC码的编码和解码需要密集的计算,使得其难以在基于通用软件的信号处理系统中实际使用。为了加速LDPC码的编码和解码,使用消息传递接口(MPI)在多个多核CPU上执行分布式处理。实现是使用流处理和批处理机制和执行时间为两种实现进行比较w.r.t变化的CPU数量和每个CPU的核心数。分布式处理的性能评估是通过执行时间w.r.t.处理器(CPU核心)数量的增加。
2022-01-12 cs.DC cs.IT eess.SP
In-Memory Indexed Caching for Distributed Data Processing
强大的抽象,如嵌入式框架,其效率仅与其底层运行时系统一样高。事实上的分布式数据处理框架Apache Spark不太适合现代基于云的数据科学工作负载,因为它的假设已经过时:使用粗粒度转换分析静态数据集。在本文中,我们介绍了索引数据帧,内存中的高速缓存,支持一个抽象的结构,它结合了索引功能,以支持快速查找和连接操作。此外,它支持多版本并发控制的追加。我们将Indexed DataFrame实现为一个轻量级的独立库,可以以最小的努力集成到现有的Spark程序中。我们使用Apache Spark和Databricks SDK分析了索引数据帧在集群和云部署中的性能,并使用真实的数据集和基准测试。在我们的评估中,我们表明,索引的DataFrame显着加快查询执行相比,非索引的DataFrame,产生适度的内存开销。
2022-02-08 cs.DC
Evaluation of Distributed Data Processing Frameworks in Hybrid Clouds
分布式数据处理框架(例如,Hadoop、Spark和Flink)被广泛用于在云的计算节点之间分发数据。最近,已经有越来越多的努力,旨在评估托管在私有云和公共云中的分布式数据处理框架的性能。然而,关于评估这些托管在混合云中的框架的性能的研究很少,混合云是一种新兴的云模型,它集成了私有云和公共云,以充分利用两者的优势。因此,在本文中,我们从执行时间、资源利用率、水平可扩展性、垂直可扩展性和成本等方面评估了Hadoop、Spark和Flink在混合云中的性能。在这项研究中,我们的混合云由OpenStack(私有云)和MS Azure(公共云)组成。我们使用批处理和迭代工作负载进行评估。我们的研究结果表明,在混合云中,(i)随着私有云从公共云借用更多的节点,执行时间会增加,(ii)Flink的性能优于Spark,而Spark在执行时间方面又优于Hadoop,(iii)Hadoop在工作负载执行期间在节点之间传输的数据量最大,而Spark传输的数据量最少,(iv)与垂直扩展相比,所有三个框架的水平扩展都更好,(v)就数据处理的成本而言,Spark最便宜,而Hadoop最昂贵。
2022-01-06 cs.DC
ESTemd: A Distributed Processing Framework for Environmental Monitoring based on Apache Kafka Streaming Engine
Central University of Technology(中央理工大学)
分布式网络和实时系统正在成为新计算机时代物联网(IoT)最重要的组成部分,其中包括从传感器生成的巨大数据流或数据集以及从现有遗留系统生成的数据。生成的数据提供了测量,推断和理解环境指标的能力,从脆弱的生态和自然资源到城市环境。这可以通过分析异构数据源(结构化和非结构化)来实现。在本文中,我们提出了一个分布式框架环境监测领域的事件流处理引擎(ESTemd)的异构环境数据流处理的应用。我们在这一领域的工作表明,大数据技术可以在环境决策支持系统、预警和预报系统中发挥有益的作用。提出的框架解决了异构系统的数据异构性和实时的处理巨大的环境数据集的挑战,通过发布/订阅方法,通过一个统一的数据管道与Apache Kafka的应用程序的实时的形状分析。
2021-04-02 cs.AI cs.DC
Introducing the Unitychain Structure: A novel blockchain-like structure that enables greater parallel processing, security, and performance for networks that leverage distributed key generation and classical consensus protocols
Unitychain是一种新型的类似区块链的结构,它大大提高了交易的可扩展性和安全性,同时保持了持续的网络性能,即使参与节点需要执行新的分布式密钥生成过程以实现安全目的。此外,Unitychain结构通过将不同数据库和计算范围的不同网络节点配置分配到多个交叉的区块链链中,从而实现更大的并行处理,从而创建多螺旋结构,我们称之为Unitychain。因此,这使得网络能够进一步将节点的角色分为任意但确定性的网络责任,以最大限度地提高全局计算潜力。
2021-01-21 cs.CR cs.DC
Local Graph-homomorphic Processing for Privatized Distributed Systems
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College London(帝国理工学院)
我们研究的依赖随机数的产生在一个分布式的方式,以使私有化的分布式学习网络代理。我们提出了一种方法,我们称之为本地图同态处理,它依赖于特定的噪声的边缘,以确保一定程度的差分隐私的建设。我们表明,增加的噪声不会影响学习模型的性能。这是一个显着的改进,以前的工作差分隐私的分布式算法,其中的噪声被添加在一个结构化程度较低的方式,而不尊重图形拓扑结构,往往会导致性能恶化。我们通过考虑网络代理的线性回归问题来说明理论结果。
2022-10-26 cs.CR cs.DC cs.LG
Distributed Edge Partitioning for Graph Processing
越来越大的图形数据集的可用性,多年来呈指数级增长,已经产生了几个新的算法挑战。顺序的方法已经变得不可行,而对并行和分布式算法的兴趣大大增加。对图进行适当的划分作为预处理步骤,可以提高分析的并行度。许多启发式算法已经被开发来解决这个问题,但他们中的许多人细分的图的顶点集,从而获得一个顶点划分图。本文的目的是探索一种完全不同的方法,基于边缘划分,在边缘,而不是顶点,划分成不相交的子集。本文的贡献是双重的:首先,我们介绍了一个图形处理框架的基础上,边缘分区,这是足够灵活,适用于几个不同的图形问题。其次,我们提出了一个分布式的边缘分割算法,称为d-fep的这些想法的可行性。我们的框架进行了彻底的评估,使用模拟和Hadoop实现在亚马逊EC2云上运行。实验结果表明,d-fep算法是有效的,可扩展的,并获得一致的好分区。得到的边划分图可以被利用来获得更有效的图分析算法的实现。
2014-03-25 cs.DC