Study on Resource Efficiency of Distributed Graph Processing
图可以用来表示许多不同的问题域--一个具体的例子是检测社交网络中的社区,这些社区被表示为图。随着近年来大数据和更复杂的应用变得越来越普遍,图形处理已经出现了与数据量和波动性有关的需求。这项多学科的研究提出了相关的分布式图形处理系统的审查。在这里,它们被呈现在由共同特征(分布式处理范例、图操作类型等)定义的组中,并概述了每个系统的优点和缺点。然后将系统集缩小到两个系统集,并对其进行定量分析。对于系统的这种定量比较,重点是评估算法的性能检测社区的问题。为了帮助进一步理解所执行的评估,提供了关于图聚类的背景。
2017-03-30 cs.DC cs.DS
High-Level Programming Abstractions for Distributed Graph Processing
近年来,分布式环境下大规模图的高效处理已经成为一个越来越热门的研究课题。可以被建模为图的互连数据出现在诸如机器学习、推荐、web搜索和社会网络分析的应用领域中。编写分布式图应用程序本质上是困难的,并且需要能够覆盖各种问题域的编程模型,包括迭代精化算法、图转换、图聚合、模式匹配、自我网络分析和图遍历。分布式图处理系统和大数据平台已经提出并采用了几种高级编程抽象。尽管已经做了大量的工作来实验性地比较分布式图处理框架,但是还没有对图编程抽象进行定性研究和比较。在这次调查中,我们回顾和分析了最流行的分布式图处理高级编程模型,在它们的语义和适用性。我们确定的类图的应用程序,可以自然地表示每个抽象,我们也给出了应用程序的例子,很难或不可能表达。我们回顾了34个分布式图处理系统的编程抽象,执行模型和通信机制。最后,我们讨论的趋势和开放的研究问题,在该地区的分布式图形处理。
2016-07-09 cs.DC
Exact bounds for distributed graph colouring
我们证明了分布图着色的时间复杂度的精确界。如果我们给出一条有向路径,该路径被适当地着色为$n$颜色,则通过先前的工作,已知我们可以在$\frac{1}{2} \log^*(n) \pm O(1)$通信轮中找到适当的3-着色。我们关闭的上限和下限之间的差距:我们表明,对于无限多$n$的时间复杂度正是$\frac{1}{2} \log^* n$通信轮。
2015-02-26 cs.DC cs.DS
Abstract message passing and distributed graph signal processing
图信号处理是处理图结构化数据的框架。其基本概念是图形移位算子,从而产生了图形傅里叶变换。虽然图形傅里叶变换是一个集中式过程,但需要分布式图形信号处理算法来解决诸如可扩展性和隐私等挑战。在本文中,我们开发了一个理论的分布式图信号处理的消息传递的经典概念的基础上。然而,我们概括了消息的定义,以允许更抽象的数学对象。该框架提供了一种替代的观点,避免了现有的分布式图信号处理方法的迭代性质。此外,我们的框架有利于研究理论问题,如分布式问题的解决方案。
2022-06-09 cs.DC eess.SP
A Survey of Distributed Graph Algorithms on Massive Graphs
本文综述大规模图分布式处理的并行性、负载均衡、通信开销与带宽等挑战,梳理现有通用解决方案及最新论文策略,并展望研究趋势。
2024-10-28 cs.DC
Fast Distributed Algorithms for Testing Graph Properties
我们开始一个彻底的研究\emph{distributed property testing} -生产算法的近似问题的属性测试的CONGEST模型。特别是,对于所谓的\emph{dense}测试模型,我们模拟顺序测试几乎所有的图形属性具有$1$边的测试,而在\emph{sparse}和\emph{general}模型,我们分别获得更快的测试三角自由和二分性。在大多数情况下,并行性的帮助下,分布式算法有一个更短的运行时间相比,他们的对手从传统的属性测试的顺序查询模型。最简单的属性测试算法允许相对平滑地过渡到分布式模型。对于更复杂的任务,我们开发了独立感兴趣的新机器。这包括用于多个随机游走的分布式维护的方法。
2016-05-02 cs.DC cs.DS
FastSample: Accelerating Distributed Graph Neural Network Training for Billion-Scale Graphs
FastSample通过新的图划分方法和优化的采样内核减少分布式采样开销,在不损失准确率的情况下将大规模图GNN训练速度提升最高2倍。
2023-11-29 cs.DC
Distributed Graph Clustering and Sparsification
图聚类是一个基本的计算问题,在算法设计、机器学习、数据采掘和社交网络分析中有许多应用。在过去的几十年里,研究人员提出了许多图聚类的算法设计方法。然而,大多数这些方法是基于复杂的谱技术或凸优化,并不能直接应用于聚类许多网络发生在实践中,其信息往往是在不同的网站上收集。设计一个简单的分布式聚类算法是一个很有意义的问题,在处理大数据集方面有着广泛的应用。在本文中,我们提出了一个简单的分布式算法图聚类:对于广泛的一类图,其特征在于由一个强大的集群结构,我们的算法完成在一个多对数轮数,并恢复分区的图形接近最佳。我们的算法背后的主要组成部分之一是一个采样方案,给定一个密集的图作为输入,产生一个稀疏的子图,可证明保留的集群结构的输入。与以往的稀疏化算法,需要拉普拉斯求解器或涉及组合结构相比,该组件是易于实现的分布式方式,在实践中运行速度快。
2017-11-03 cs.DC cs.DS
Graph Sampling with Distributed In-Memory Dataflow Systems
给定一个大图,图样本确定一个子图,该子图对于原始图的某些度量具有相似的特征。样本更小,从而加速和简化了大型图形的分析和可视化。我们专注于为大数据框架和内存中的分布式图采样系统(如Apache Spark或Apache Flink)实现分布式图采样。我们评估新的实现的可扩展性,并分析在何种程度上的采样方法保留某些图形的度量相比,原来的图。后一种分析也使用比较图形可视化。所提出的方法将是开源的,并集成到Gradoop中,Gradoop是一个分布式图形分析系统。
2019-10-10 cs.DC
Distributed Graph Automata and Verification of Distributed Algorithms
结合分布式算法和交替自动机的思想,我们引入了一类新的有限图自动机,精确识别一元二阶逻辑中可定义的有限图语言。通过限制转换是不确定性或确定性的,我们也得到了两个严格较弱的变种,我们的自动机的空性问题是可判定的。作为一个应用程序,我们建议如何合适的图自动机可能是有用的分布式算法的形式化验证,使用弗洛伊德-霍尔逻辑。
2014-09-28 cs.DC cs.FL cs.LO
Fast Distributed Algorithms for Connectivity and MST in Large Graphs
出于对分布式大规模图计算的算法基础的日益增长的需求,我们研究了一些基本的图形问题,在分布式计算的消息传递模型中,$k \geq 2$机器与$n$节点(通常是$n \gg k$)共同执行图上的计算。假设输入图最初在$k$机器之间随机划分,这是许多现实世界系统中的常见实现。通信是点对点的,目标是最小化计算的通信轮数。我们的主要结果是一个(几乎)最佳的分布随机算法图的连通性。我们的算法在$\tilde{O}(n/k^2)$轮中运行($\tilde{O}$符号隐藏了一个$\poly\log(n)$因子和一个加性$\poly\log(n)$项)。这改进了$\tilde{O}(n/k)$的最佳先前已知的界限[Klauck等人,SODA 2015],并且鉴于$\tildeΩ(n/k^2)$的现有下限是最佳的(直到多对数因子)。我们的改进算法使用了一堆技术,包括线性图素描,证明有效的分布式图算法的设计有用。使用的连通性算法作为一个积木,然后,我们提出了快速的随机算法计算最小生成树,(近似)最小切割,并为许多图形验证问题。所有这些算法都需要$\tilde{O}(n/k^2)$轮,并且在多对数因子下是最优的。我们还显示了一个几乎匹配的下界$\tildeΩ(n/k^2)$轮许多图验证问题,利用随机分区通信复杂性的下限。
2016-07-06 cs.DC cs.DS
UniGPS: A Unified Programming Framework for Distributed Graph Processing
工业界和学术界提出了许多分布式图处理系统。然而,现有的系统对数据分析师和算法工程师等用户不够友好。一方面,现有系统中的编程模型和接口差异很大,导致较高的学习成本和程序迁移成本。另一方面,这些图形处理系统与底层的分布式计算平台紧密绑定,要求用户熟悉分布式计算。为了提高分布式图处理的可用性,提出了一个统一的分布式图编程框架UniGPS。首先,我们提出了一个统一的跨平台图形编程模型VCProg的UniGPS。VCProg对用户隐藏了分布式计算的细节。它与流行的图形编程模型Pregel,GAS和Push-Pull兼容。VCProg程序可以在兼容的分布式图处理系统上执行,无需修改,减少了用户的学习开销。其次,UniGPS支持Python作为程序设计语言。我们提出了一个基于进程间通信的执行环境隔离机制,使Java/C++为基础的系统调用用户定义的方法写在Python中。实验结果表明,UniGPS使用户能够在不牺牲可用性的情况下处理超出单机内存容量的大图形。UniGPS显示出接近线性的数据可扩展性和机器可扩展性。
2021-08-04 cs.DC
Distributed coloring in sparse graphs with fewer colors
本文研究了分布环境下稀疏图的有效着色问题,并给出了一个尽可能少的着色数。根据著名的四色定理,可平面图最多可以用4种颜色着色,并给出了求这类图着色的(序贯)二次算法。一个自然的问题是在分布式环境中提高这种复杂性。Goldberg,Plotkin和Shannon利用可平面图线性地包含许多度至多为6的顶点这一事实,得到了一个在$O(\log n)$轮中用7种颜色着色$n$ -顶点可平面图的确定性分布式算法。在这里,我们展示了如何在$\mbox{polylog}(n)$轮中使用6种颜色对可平面图进行着色。我们的算法确实更一般地工作在列表着色设置和稀疏图(对于这样的图,我们提高了至少一个颜色的数量,从一个有效的算法Barenboim和埃尔金,在一个稍微最坏的复杂性为代价)。我们对颜色数量的界限一般来说是相当清晰的。在其他的结果中,我们证明了没有分布式算法可以在$o(n)$轮中用4种颜色对每个$n$ -顶点可平面图进行着色。
2018-12-19 cs.DC cs.DS math.CO
Distributed domination on sparse graph classes
我们证明了在有界扩张的图类上的分布式计算模型中,支配集问题在常数轮数内允许常数因子近似。这推广了Czygrinow等人的结果。排除拓扑子图的非常一般的类的均匀稀疏图。我们演示了如何修改和微调我们的一般算法来计算($11+ε$)-近似(对于平面图上的最小支配集的任何$ε>0)$)。这改善了以前最好的已知的近似因子52平面图,这是通过一个优雅而简单的算法Lenzen等人。
2022-07-06 cs.DC cs.DM cs.DS
DISTRIBUTEDANN: Efficient Scaling of a Single DISKANN Graph Across Thousands of Computers
提出DISTRIBUTEDANN,利用分布式键值存储和内存ANN索引,在千台机器上实现500亿向量图的低延迟高吞吐搜索,效率提升6倍,已部署于Bing。
2025-09-07 cs.DC cs.DS cs.IR
Distributed Algorithms for Subgraph-Centric Graph Platforms
近年来,大规模图的图分析引起了人们的兴趣。许多图算法已经被设计用于以顶点为中心的分布式图处理框架,以使用商品集群和云来操作具有100 M顶点和边的大型图。以子图为中心的编程模型已经显示出比以顶点为中心的模型更多的性能优势。但是直接将顶点中心和共享内存算法映射到以子图为中心的框架是不可能的,或者导致低效的算法。在本文中,我们提出了三个子图为中心的分布式图算法三角形计数,聚类和最小生成森林,使用共享和顶点为中心的模型的变化。这些增强现有的子图为中心的算法,存在于文献中,并允许更广泛的评估这三类图处理算法和平台。
2019-05-20 cs.DC
On Distributed Model Checking of MSO on Graphs
我们认为分布式模型检查的一元二阶逻辑(MSO)的图构成的通信网络的拓扑结构。因此,图既是被检查的结构,也是执行分布式计算的系统。我们证明了MSO可以分布式模型检查,只有一个常数的消息发送到每个链接的平面网络有界直径,以及网络有界度和有界树长。分布式算法依赖于非平凡变换的线性时间顺序算法有界树宽图的树分解。
2009-04-13 cs.DC cs.LO
Distributed Dominating Set Approximations beyond Planar Graphs
最小支配集(MDS)问题是分布式计算中最基本、最具挑战性的问题之一。虽然众所周知,最小控制集不能在一般图上局部近似,但在过去几年中,在稀疏图,特别是平面图上计算局部近似已经取得了很大进展。在本文中,我们研究了分布式和确定性的MDS近似算法的图形类平面图以外。特别地,我们证明了平面图的现有逼近界可以提升到有界亏格图,并给出了(1)一个局部常数时间,常数因子MDS近似算法和(2)一个局部$\mathcal{O}(\log^*{n})$ -时间逼近方案。我们的主要技术贡献是一个新的分析略有修改的现有算法的Lenzen等人。有趣的是,与现有的平面图的证明,我们的分析不依赖于直接的拓扑参数。
2019-04-16 cs.DC cs.DM cs.DS
DRONE: a Distributed Subgraph-Centric Framework for Processing Large Scale Power-law Graphs
如今,在大数据时代,社交网络、图形数据库、知识图谱、电子商务等需要高效且可扩展的能力来处理不断增加的图形结构数据量。为了应对这一挑战,提出了两种主流的分布式编程模型:以顶点为中心的模型(VC)和以子图为中心的模型(SC)。与VC模型相比,SC模型在划分良好的图上收敛更快,通信开销更少,并且由于“像图一样思考”的哲学而易于编程。边割方法被认为是子图为中心的图划分模型的自然选择,并已被GitHub ++,Blogel和GRAPE采用。然而,切边方法在处理大规模幂律图时会产生显著的性能瓶颈。因此,供应链模式在实践中竞争力较低。在本文中,我们提出了一个创新的分布式图计算框架,DRONE(分布式gRaph computiNg引擎)。它结合了以子图为中心的模型和顶点切割图划分策略。实验表明,DRONE优于最先进的分布式图形计算引擎在现实世界的图形和合成的幂律图。DRONE能够扩展到处理一万亿边的合成幂律图,这比现有的基于SC的框架之前报道的要大几个数量级。
2019-01-09 cs.DC
Kudu: An Efficient and Scalable Distributed Graph Pattern Mining Engine
本文提出了Kudu,这是一个分布式执行引擎,具有定义良好的抽象,可以与现有的单机图形模式挖掘(GPM)系统集成,同时提供效率和可扩展性。关键的新颖性是可扩展的嵌入抽象,它可以表达模式枚举算法,允许细粒度的任务调度,并使低成本的特定于GPM的数据重用,以降低通信成本。有效的BFSDFS混合探索产生足够的通信计算重叠的并发任务与有限的内存消耗。通过在Kudu上移植Automine和GraphPi实现了两个可扩展的分布式GPM系统。我们的评估表明,基于Kudu的系统显著优于最先进的分布式GPM系统,分区图高达75.5倍(平均19.0倍),与最快的分布式GPM系统相比,复制图实现了类似甚至更好的性能,并可扩展到具有超过1000亿条边的大型图形。
2022-11-11 cs.DC
Start Late or Finish Early: A Distributed Graph Processing System with Redundancy Reduction
图形处理系统在大数据领域非常重要。然而,在现有的算法和模型中,并行处理图通常会引入冗余计算。先前的工作已经提出了技术,以优化冗余的核心外的图形系统,而不是分布式图形系统。在本文中,我们研究了各种最先进的分布式图形系统,并观察这些普遍存在的冗余的根本原因。为了在不牺牲并行性的情况下减少冗余,我们进一步提出了一个分布式图形处理系统SLFE,它是按照“晚开始或早完成”的原则设计的。SLFE采用了一种新的预处理阶段,以获得一个图的拓扑知识,可以忽略不计的开销。SLFE的冗余感知顶点为中心的计算模型,然后可以利用这些知识,以减少在运行时的冗余计算。SLFE还提供了一组API来提高可编程性。我们在一个8节点高性能集群上的实验表明,SLFE在真实世界的图形上优于所有知名的分布式图形处理系统(加速比高达74.8倍)。SLFE的冗余减少方案通常适用于其他以顶点为中心的图形处理系统。
2018-05-31 cs.DC
Graph3S: A Simple, Speedy and Scalable Distributed Graph Processing System
图是一种普遍存在于许多领域的结构。快速增长的数据量要求高效和可扩展的图形数据处理。近年来,设计分布式图处理系统已经成为一个越来越重要的领域,以满足在分布式环境中处理大型图的需求。虽然已经开发了各种分布式图形处理系统,但很少注意在使用简单性,效率和可扩展性方面实现良好的组合系统性能。为了对分布式图形处理系统的研究有所贡献,本文试图通过设计一个简单、快速和可扩展的系统来填补这一空白。我们的观察是,加强系统的通信灵活性,导致系统的效率和可扩展性以及简单的使用收益。我们在系统Graph3S中实现了我们的想法,并在来自不同领域的大图上使用各种算法进行了广泛的实验,以测试其性能。实验结果表明,该系统除了使用简单外,在各种图算法上都有很好的性能表现,在某些算法上的加速比甚至可以达到现有内存系统的两个数量级.此外,它的可扩展性与基于磁盘的系统相比具有竞争力,在使用较少的机器时甚至更好。
2020-03-02 cs.DC
Distributed recoloring of interval and chordal graphs
网络上分布式计算的一个基本的和研究最多的算法问题是图着色,包括有界度图和一般图。近年来,对这一问题的研究已扩展到两个方向。首先,已被认为是一个有用的子程序的着色,即计算两个给定的着色之间的有效变换(而不是计算一个新的着色)的问题,无论是建模无线电网络更新,并作为着色。其次,由于一般图和有界度图似乎不能很好地模拟真实网络(分别具有病态的最坏情况拓扑和太强的假设),着色已经在更具体的图类中进行了研究。在本文中,我们研究了这两个方向的交集:在两个相关的图类,区间和弦图的分布包围。
2021-09-13 cs.DC
Distributed Graph Clustering using Modularity and Map Equation
我们研究大规模的分布式图聚类。给定一个无向图,我们的目标是将节点划分为称为簇的不相交集合。一个簇应该包含许多内部边,同时稀疏地连接到其他簇。在社交网络的上下文中,集群可以是一组朋友。模块化和映射方程是这种内密外疏原则的形式化描述。我们提出了两个版本的一个简单的分布式算法来优化这两个措施。它们基于Thrill,这是一个分布式大数据处理框架,实现了扩展的MapReduce模型。这两种度量的算法DSLM-Mod和DSLM-Map仅略有不同。使它们适应类似的质量测量是直截了当的。我们对真实世界的图和合成基准图进行了广泛的实验研究,这些图具有高达680亿条边。我们的算法是快速的,同时检测聚类类似于其他顺序,并行和分布式聚类算法检测。与分布式GossipMap算法相比,DSLM-Map算法需要更少的内存,速度快一个数量级,质量更好。
2018-06-07 cs.DC cs.DS physics.soc-ph
Processing SPARQL Queries Over Distributed RDF Graphs
我们提出了在分布式环境中处理大型RDF图上的SPARQL查询的技术。我们采用“部分评估和组装”框架。查询SPARQL查询Q等价于在RDF图G上找到查询图Q的子图匹配。基于分布式图上子图匹配的性质,我们在RDF图G的每个片段中引入局部部分匹配作为部分答案。对于组装,我们提出了两种方法:集中式组装和分布式组装。我们从理论和实验两方面分析了我们的算法。大量的实验在真实的和基准RDF存储库的数十亿个三元组证实,我们的方法是优于国家的最先进的方法在系统的性能和可扩展性。
2016-03-21 cs.DB cs.DC
MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs
Iowa State University(爱荷华州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对大规模连接分布式图上GNN训练存在的通信开销与负载不均问题,提出MassiveGNN方法,在DistDGL框架上加入参数化连续预取驱逐方案,在Perlmutter超算的OGB数据集上实现15%-40%的端到端训练性能提升。
2024-11-03 cs.DC cs.LG cs.PF
Distributed Interactive Proofs for the Recognition of Some Geometric Intersection Graph Classes
一个图$G=(V,E)$是一个几何求交图,如果每个节点$v \in V$都被标识为某种特定类型的几何对象,并且如果相应的对象相交,则两个节点相邻。本文从理论和实践两个方面对几何求交图类进行了研究。一方面,当输入图被限制为一类几何求交图时,许多困难的问题可以被有效地求解或近似。另一方面,这些图自然出现在许多应用中,如传感器网络,调度问题等。最近,在分布式认证和分布式交互证明的背景下,图类的识别开始得到深入研究。不同的结果涉及到树、二分图、有界直径图、无三角形图、平面图、有界亏格图、$H$ -次自由图等的识别,已经获得。本工作的目标是设计有效的分布式协议,识别相关的几何求交图类,即置换图,梯形图,圆图,和双圆图。更确切地说,对于前两个类,我们给出了证明标签方案,用数字大小的证书来识别它们。对于其他两个类,我们给出了三轮分布式交互协议,使用大小为$\mathcal{O}(\log n)$的消息和证书。最后,我们提供了对数下限的大小上的证书的证明标签计划的任何上述几何求交图形类的识别。
2021-12-06 cs.DC
Distributed-Memory Vertex-Centric Network Embedding for Large-Scale Graphs
网络嵌入是基于图数据的各种计算中的重要步骤。然而,现有的方法仅限于具有少于一百万条边的小型或中型图。在实践中,web或社交网络图是更大的数量级,因此使得大多数当前方法对于非常大的图是不切实际的。为了解决这个问题,我们介绍了一种新的分布式内存并行网络嵌入方法基于Apache Spark和GraphX。我们证明了我们的方法的可扩展性,以及它的能力,以产生有意义的嵌入顶点分类和链接预测在现实世界和合成图。
2020-06-07 cs.DC
Distributed-Memory Breadth-First Search on Massive Graphs
本章研究在分布式内存超级计算机上使用广度优先搜索顺序遍历大型图的问题。我们既考虑了传统的层次同步自顶向下算法,也考虑了最近发现的方向优化算法。我们分析了使用不同的本地数据结构,如CSR和DCSC,使节点内多线程,和图形分解,如1D和2D分解的性能和可扩展性的权衡。
2017-05-10 cs.DC
Arabesque: A System for Distributed Graph Mining - Extended version
MapReduce和Pregel等分布式数据处理平台大大简化了某些类别的分布式图分析算法的设计和部署。然而,这些平台并不代表分布式图挖掘问题的良好匹配,例如在图中找到频繁的子图。给定一个输入图,这些问题需要探索大量的子图,并找到与用户所需的某些“兴趣度”标准相匹配的模式。这些算法对于社会网络、语义网和生物信息学等领域都是非常重要的。在本文中,我们介绍了Arabesque,这是第一个用于实现图挖掘算法的分布式数据处理平台。Arabesque自动化了探索大量子图的过程。它定义了一个高级过滤过程计算模型,简化了可扩展图挖掘算法的开发:Arabesque探索子图并将其传递给应用程序,应用程序必须简单地计算输出并决定是否应该进一步扩展子图。我们使用Arabesque的API来产生三个基本的图挖掘问题的分布式解决方案:频繁子图挖掘,计数图案,并找到集团。我们的实现只需要几行代码,可以扩展到数万亿个子图,并且在某些情况下代表了第一个可用的分布式解决方案。
2015-10-14 cs.DC
Distributed Ledger Technology: Blockchain Compared to Directed Acyclic Graph
如今,区块链正在成为分布式账本技术的代名词。然而,区块链只是该领域的专业化之一,目前在现有文献中已有很好的介绍,但主要是从加密的角度来看。除了区块链技术,一种新的范式正在获得动力:有向无环图。本文提出的贡献是双重的。首先,本文分析了分布式账本技术,重点分析了分布式系统的相关特征。其次,本文分析了有向无环图范式在分布式账本背景下的使用,并将其与基于区块链的解决方案进行了比较。这两种范式使用代表性的实现进行比较:比特币,以太坊和纳米。我们从维护分类账的应用数据结构、共识机制、交易确认信心、分类账规模和可扩展性等方面研究了代表性解决方案。
2018-04-26 cs.DC
Hearing the clusters in a graph: A distributed algorithm
我们提出了一种新的分布式聚类算法。该算法恢复从谱聚类得到的解决方案,而不需要昂贵的特征值/向量计算。我们证明,通过传播波通过图形,局部快速傅立叶变换产生的拉普拉斯矩阵的每个特征向量的局部分量,从而提供聚类信息。对于大型图,所提出的算法是数量级的速度比基于随机游走的方法。我们证明了所提出的算法的等价性谱聚类和收敛速度。我们证明了使用这种分散的聚类算法在社会图中的社区发现,加速传感器网络中的分布式估计和分布式多代理搜索策略的有效计算的好处。
2011-04-18 cs.DC cs.DM physics.comp-ph
Distributed Graph Layout for Scalable Small-world Network Analysis
内存中的图形布局或组织对分布式内存图形计算的时间和能量效率具有相当大的影响。它影响内存局部性、任务间负载平衡、通信时间和整体内存利用率。图形布局可以指顶点和边数组的分区或复制、保存元数据的数据结构的选择性复制以及顶点和边标识符的重新排序。在这项工作中,我们提出了DGL,一个快速,并行和内存高效的分布式图形布局策略,是专门为小世界网络(低直径图与倾斜的顶点度分布)。基于标签传播的分区和可扩展的基于BFS的排序是布局策略中的主要步骤。我们表明,DGL布局可以显着提高五个具有挑战性的图分析工作负载的端到端性能:PageRank,一个并行子图枚举程序,调整实现的广度优先搜索和单源最短路径,和RDF 3X-MPI,一个分布式SPARQL查询处理引擎。使用这些基准测试,我们还提供了一个全面的分析,关于图布局如何影响具有可变计算和通信特性的图分析的性能。
2017-01-02 cs.DC
Distributed Autoregressive Moving Average Graph Filters
我们介绍了自回归移动平均(ARMA)滤波器的概念,并展示了它们如何以分布式方式实现。我们的图形滤波器设计理念是独立于特定的图形,这意味着滤波器系数的推导与图形无关。与有限脉冲响应(FIR)图形滤波器相比,ARMA图形滤波器对信号和/或图形的变化具有鲁棒性。此外,当考虑时变信号时,我们证明了所提出的图滤波器在图域中表现为ARMA滤波器,并且根据实施方式,在时域中表现为第一或更高的ARMA滤波器。
2015-04-24 cs.DC cs.IT cs.SI
Distributed Triangle Counting in the Graphulo Matrix Math Library
三角形计数是大型图分析的关键算法。Graphulo库为在Apache Accumulo分布式数据库上实现图形算法提供了一个框架。在这项工作中,我们将两种计算三角形的算法,一种使用邻接矩阵,另一种也使用关联矩阵,用于Accumulo内部的服务器端处理的Graphulo库。基于云的实验显示,这些不同的方法在幂律Graph500图形家族上具有相似的性能特征,其中数据偏斜越来越成为瓶颈。这些结果激发了我们为未来工作提出的偏斜感知混合算法的设计。
2017-09-05 cs.DC cs.MS
An Initial Evaluation of Distributed Graph Algorithms using NWGraph and HPX
Louisiana State University(路易斯安那州立大学)
本文提出基于HPX的分布式图算法实现,评估BFS和PageRank性能,显示BFS优于BGL,但PageRank仍有优化空间。
2026-01-26 cs.DC
GX-Plug: a Middleware for Plugging Accelerators to Distributed Graph Processing
最近,研究界强调了制定大规模图处理的可扩展性连续体的必要性,它可以从分布式图系统中获得横向扩展的好处,并从高性能加速器中获得纵向扩展的好处。为此,我们提出了一个中间件,称为GX插件,便于集成两者的优点。作为一个中间件,GX插件在支持不同的运行时环境、计算模型和编程模型方面是通用的。此外,为了提高中间件的性能,我们研究了一系列的技术,包括流水线洗牌,同步缓存和跳过,和工作负载平衡,分别为内,间,和超越迭代优化。实验表明,我们的中间件有效地插件加速器代表分布式图形系统,例如,GraphX和Powergraph,加速比高达20倍。
2022-03-31 cs.DC
GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy
Ant Group(蚂蚁集团);Fudan University(复旦大学);Guangzhou University(广州大学);Zhejiang University(浙江大学);Tsinghua University(清华大学)
图神经网络(GNNs)已被证明是一个强大的工具,用于分析非欧几里德图数据。然而,缺乏有效的分布式图学习系统严重阻碍了GNN的应用,特别是当图很大并且GNN相对较深时。在这里,我们提出了GraphTheta,第一个分布式和可扩展的图形学习系统建立在以顶点为中心的分布式图形处理与神经网络运营商实现为用户定义的功能。该系统支持多种训练策略,并在低内存的分布式(虚拟)机器上实现高效和可扩展的大图学习。为了方便图卷积,GraphTheta提出了一种新的图学习抽象NN-TGAR,以弥合图处理和图深度学习之间的差距。提出了一种分布式图引擎来进行混合并行执行的随机梯度下降优化,并支持一种新的集群批量训练策略。我们使用几个数据集来评估GraphTheta,这些数据集的网络大小从小到大。实验结果表明,GraphTheta可以很好地扩展到1,024名员工,用于在具有14亿个节点和41亿条属性边的行业规模支付宝数据集上训练内部开发的GNN,其中每个CPU虚拟机(dockers)的内存较小(5个)。$\sim$ 12 GB)。此外,GraphTheta可以通过高达$2.02\times$的性能优于DistDGL,具有更好的可扩展性,并且GraphLearn可以高达$30.56\times$。至于模型的准确性,GraphTheta能够学习与现有框架一样好的GNN。据我们所知,这项工作提出了文献中最大的边缘属性…
2023-01-17 cs.DC cs.LG
On Distributed Graph Coloring with Iterative Recoloring
在许多并行应用程序中,确定可以同时执行的操作集是一个重要的问题。通过将操作及其交互建模为图,可以通过解决图着色问题来识别独立操作。许多有效的顺序算法是已知的这个NP完全问题,但它们通常是不适合的操作和它们的相互作用时,分布在大型并行计算机的内存中。在现有的分布式内存图着色算法的基础上,本文研究了两种兼容的技术,用于快速和可扩展的分布式内存图着色。首先,我们介绍了一种改进的分布式后处理操作,所谓的优化,这大大提高了颜色的数量。我们提出了一种新颖而有效的通信方案,使其能够优雅地扩展。重新着色必须使用图形的现有着色作为种子。我们的第二个贡献是引入一个随机的初始着色的颜色选择策略,快速产生解决方案的质量适中。我们广泛评估我们的新技术对现有分布式算法的影响,并显示时间质量的权衡。我们表明,结合初始随机着色与多个并行迭代产生更好的质量解决方案,在大规模的较小的运行时间。
2014-07-24 cs.DC
GiViP: A Visual Profiler for Distributed Graph Processing Systems
分析大规模图可以在不同的应用场景中提供有价值的见解。虽然已经提出了许多在分布式基础设施上工作的图处理系统来处理大型图,但分析和调试其大量计算的任务仍然非常耗时且容易出错。本文介绍了GiViP,基于Pregel计算模型的分布式图形处理系统的可视化分析器。GiViP捕获了在整个计算过程中交换的大量消息,并提供了一个交互式用户界面,用于对收集的数据进行可视化分析。我们将展示如何利用GiViP来检测与计算和基础设施相关的异常,例如计算速度慢的单元和异常的消息模式。
2017-09-02 cs.DC
Overcoming Latency-bound Limitations of Distributed Graph Algorithms using the HPX Runtime System
Louisiana State University(路易斯安那州立大学);University of Washington(华盛顿大学)
本文利用HPX运行时系统开发了高效的分布式图算法原型,通过异步执行和细粒度并行性显著提升了性能,克服了传统框架的延迟限制。
2026-03-04 cs.DC
The Message Complexity of Distributed Graph Optimization
本文研究了最大匹配、最小顶点覆盖、最小支配集和最大独立集等基础图优化问题的分布式算法消息复杂度,并量化了其与近似质量的关系。
2023-11-24 cs.DC
NOMAD: Generating Embeddings for Massive Distributed Graphs
NOMAD通过改进传统图嵌入方法,实现大规模分布式图的高效嵌入,提供更快的速度和更好的性能。
2026-04-10 cs.DC cs.LG
Self-Assembly as Graph Grammar as Distributed System
2004年,Klavins等人引入了使用图语法来描述和编程自组装系统。事实证明,这些图文法是一个“双重概念”的图重写表征的分布式系统,提出了由Degano和Montanari超过20年前。通过应用从这一观察得到的技术,我们证明了一个广义版本的Soloveichik和Winfree的局部决定论定理,我们还提出了一个规范的方法来模拟异步恒定大小的消息传递模型的分布式计算与系统的自组装。
2011-07-20 cs.DC cs.NE
DegreeSketch: Distributed Cardinality Sketches on Massive Graphs with Applications
我们提出度草图,一个半流式分布式草图数据结构,并证明其效用估计局部邻域大小和局部三角形计数重打击大规模图。DegreeSketch由分布在一组处理器中的以顶点为中心的基数草图组成,这些处理器在单次传递中积累,然后表现为能够近似回答与邻接集并集和交集的大小有关的图查询的持久查询引擎。顶点的第$t$个局部邻域是通过遍历最多$t$条边在$G$中从$v$可到达的顶点的数目,而局部三角形计数是包括它的3-循环的数目。这两个指标在图分析应用中都很有用,但随着图大小的增长,精确计算的规模很小。我们提出了有效的算法估计局部邻域大小和局部三角形计数沉重的打击使用DegreeSketch。在我们的实验中,我们使用著名的hyperloglog基数草图实现度草图,并利用分布式通信工具YGM实现最先进的性能在分布式存储器。
2020-04-08 cs.DC
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法,但据我们所知,混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法,提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现,它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色,给出了第一个已知的分布式,多GPU算法,这些问题。此外,我们提出了一种新的启发式,以减少通信的分布式图着色的包围圈。我们的实验表明,我们的方法有效地运行在输入太大,适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition
图神经网络(GNN)是为图结构数据定制的神经模型家族,并且在学习图结构数据的表示方面表现出优异的性能。然而,在大型图上训练GNN仍然具有挑战性,一个有前途的方向是分布式GNN训练,即划分输入图并将工作负载分布在多台机器上。现有分布式GNN训练框架的关键瓶颈是GNN对图数据和聚合算子的依赖性导致的跨机器通信。在本文中,我们研究了分布式GNNs训练过程中的通信复杂性,并提出了一种简单的无损通信减少方法,称为通信前聚合(ABC)方法。ABC方法利用GNNs层的置换不变属性,并导致一种范式,其中顶点切割被证明比当前流行的范式(边缘切割)具有更好的通信性能。此外,我们表明,新的分区范例是特别理想的情况下,动态图,它是不可行的,以控制边缘的位置,由于未知的随机图形变化过程。
2022-12-11 cs.DC cs.LG
An Experimental Comparison of Partitioning Strategies for Distributed Graph Neural Network Training
Technical University of Munich(慕尼黑工业大学);University of Bayreuth(拜罗伊特大学);University of Toronto(多伦多大学)
最近,图神经网络(GNN)作为能够在图结构数据上学习的深度学习的一个不断增长的领域获得了广泛的关注。然而,在大规模图上训练GNN的计算和内存要求使得有必要分布训练。分布式GNN训练的先决条件是将输入图划分为分布在计算集群的多台机器之间的较小部分。虽然图划分已经在图分析和图数据库方面进行了研究,但其对GNN训练性能的影响在很大程度上尚未探索。因此,目前还不清楚将计算工作投入到高质量的图划分中是否会在GNN训练场景中得到回报。在本文中,我们研究了分布式GNN训练的图划分的有效性。我们的研究旨在了解不同的因素,如GNN参数,小批量大小,图形类型,特征大小和横向扩展因子如何影响图分区的有效性。我们使用顶点和边分区对两个不同的GNN系统进行实验。我们发现,高质量的图分区是一种非常有效的优化,可以加快GNN训练并减少内存消耗。此外,我们的研究结果表明,投资的划分时间可以通过减少GNN训练时间快速摊销,使其成为大多数GNN场景的相关优化。与分布式图处理的研究相比,我们的研究表明,图划分在分布式GNN训练中起着更重要的作用,这激发了对图划分问题的进一步研究。
2024-08-12 cs.DC cs.LG
Families of Distributed Memory Parallel Graph Algorithms from Self-Stabilizing Kernels-An SSSP Case Study
自稳定算法是一个重要的,因为它们的鲁棒性和保证收敛。自稳定算法从任意状态开始,保证收敛到一个合法的状态,但当性能和可扩展性很重要时,这些算法不能直接用于解决分布式图处理问题。在本文中,我们展示了“抽象图机”(AGM)模型,可用于转换自稳定算法的形式适合于分布式图形处理。AGM是一种在图上并行计算的数学模型,它为自稳定算法添加了工作依赖性和排序。使用AGM模型,我们表明,一些现有的分布式单源最短路径(SSSP)算法实际上是自稳定SSSP的专业化。我们扩展AGM模型,在不同的空间层次上应用更细粒度的排序,以获得额外的可扩展的SSSP算法的变体,基本上使算法能够为特定的目标架构生成。实验结果表明,这种方法可以产生新的算法变种,优于标准的分布式算法SSSP。
2017-06-19 cs.DC
Elastic Resource Allocation for Distributed Graph Processing Platforms
像Pregel这样的分布式图形平台已经使用顶点中心编程模型来使用商品集群处理不断增长的图形数据集语料库。图的不规则结构导致在图分区上操作的机器之间的负载不平衡,并且这对于诸如遍历的非静态图算法(其中不是图的所有部分都同时活动)而言是加剧的。因此,这样的图形平台,即使它们扩展,也不能有效地利用分布式资源。云提供了弹性虚拟机,可以利用这些虚拟机来提高这些平台的资源利用率,从而降低其执行的货币成本。在本文中,我们针对以子图为中心的编程模型提出了在云虚拟机上弹性放置图分区的策略,以与静态放置相比降低执行成本,即使我们最大限度地减少了完工时间的增加。这些策略在对图算法行为建模方面具有创新性。我们验证了我们的战略,几个图形,使用运行时的交易,他们的分布式执行的广度优先搜索(BFS)算法在我们的子图为中心的GoFFish图平台。与静态布局相比,我们的策略能够将执行成本降低高达42%,同时实现最大完工时间在最佳值的29%以内
2015-10-12 cs.DC
G-Tran: Making Distributed Graph Transactions Fast
图事务处理提出了许多独特的挑战,例如由于图结构的不规则性而导致的随机数据访问、由于图事务中相对较大的读/写集合而导致的低吞吐量和高中止率。为了解决这些挑战,我们提出了G-Tran --一个支持RDMA的分布式内存图形数据库,具有可序列化和快照隔离支持。首先,我们提出了一个图形原生的数据存储,以实现良好的数据本地性和快速的数据访问的事务更新和查询。其次,G-Tran采用完全分散的架构,利用RDMA以MPP模型处理分布式事务,可以利用所有计算资源实现高性能。此外,我们提出了一个新的MV-OCC实现与两个优化,以解决大的读/写集在图形事务的问题。大量的实验表明,G-Tran实现了竞争力的性能相比,其他流行的图数据库的基准工作负载。
2021-05-11 cs.DB cs.DC
Distributed Evolutionary Graph Partitioning
本文提出了一种新的分布式进化算法KaFFPaE来解决图划分问题,它利用了KaFFPa(Karlsruhe Fast Flow Partitioner)。使用我们的多级图划分KaFFPa提供了新的有效的交叉和变异算子。通过将这些与可扩展的通信协议相结合,我们获得了一个系统,该系统能够在很短的时间内改善许多输入的最佳已知划分结果。例如,在Walshaw的著名基准表中,我们能够改进或重新计算具有1%、3%和5%不平衡的表的76%的条目。
2011-10-03 cs.DC cs.NE
Distributed Training of Graph Convolutional Networks using Subgraph Approximation
Chalmers University of Technology(查尔姆斯理工大学);University of Southern California(南加州大学)
现代机器学习技术正在成功地适应以图形建模的数据。然而,许多真实世界的图通常非常大,不适合内存,这通常使得在它们上训练机器学习模型的问题变得棘手。分布式训练已被成功地用于缓解记忆问题并加速机器学习领域中的训练,其中输入数据被假设为独立相同分布(i.i.d)。然而,在图卷积网络(GCN)中分布非独立同分布数据(例如用作训练输入的图)的训练会导致准确性问题,因为在图划分边界处丢失了信息。在本文中,我们提出了一种训练策略,通过子图近似方案来减轻图的多个分区之间的信息丢失。我们提出的方法增加了每个子图与少量的边缘和顶点信息,近似从所有其他子图。子图近似方法有助于分布式训练系统以单机精度收敛,同时保持内存占用低,并最大限度地减少机器之间的同步开销。
2020-12-09 cs.DC cs.LG
Scalable Analytics over Distributed Time-series Graphs using GoFFish
图表是大数据的一种关键形式,对它们进行可扩展的分析对许多领域都是非常宝贵的。随着我们收集数据的能力的增长,出现了一类新兴的相互关联的数据,这些数据会随着时间的推移而积累或变化,并且需要对网络结构和时变属性值进行新的分析。我们引入了时间序列图分析的概念,并提出了Gopher,一个可扩展的编程抽象来开发算法和分析这些数据集。我们的抽象利用了以子图为中心的编程模型,并使用迭代BSP(批量同步并行)方法将其扩展到时间维度。Gopher是与GoFS共同设计的,GoFS是专门用于时间序列图的分布式存储,是GoFFish分布式分析平台的一部分。我们研究了GoFS的存储优化,在Gopher中设计模式以利用分布式数据布局,并使用商品集群上的时间序列图数据和应用程序评估GoFFish平台。
2014-06-23 cs.DC