Constant round distributed domination on graph classes with bounded expansion
我们证明了在有界扩张的图类上的分布式计算模型中，支配集问题在常数轮数内允许常数因子近似。这推广了Czygrinow等人的一个结果。排除拓扑子图。
2021-06-28 cs.DC cs.DM cs.DS
High-Level Programming Abstractions for Distributed Graph Processing
近年来，分布式环境下大规模图的高效处理已经成为一个越来越热门的研究课题。可以被建模为图的互连数据出现在诸如机器学习、推荐、web搜索和社会网络分析的应用领域中。编写分布式图应用程序本质上是困难的，并且需要能够覆盖各种问题域的编程模型，包括迭代精化算法、图转换、图聚合、模式匹配、自我网络分析和图遍历。分布式图处理系统和大数据平台已经提出并采用了几种高级编程抽象。尽管已经做了大量的工作来实验性地比较分布式图处理框架，但是还没有对图编程抽象进行定性研究和比较。在这次调查中，我们回顾和分析了最流行的分布式图处理高级编程模型，在它们的语义和适用性。我们确定的类图的应用程序，可以自然地表示每个抽象，我们也给出了应用程序的例子，很难或不可能表达。我们回顾了34个分布式图处理系统的编程抽象，执行模型和通信机制。最后，我们讨论的趋势和开放的研究问题，在该地区的分布式图形处理。
2016-07-09 cs.DC
A Survey of Distributed Graph Algorithms on Massive Graphs
本文综述大规模图分布式处理的并行性、负载均衡、通信开销与带宽等挑战，梳理现有通用解决方案及最新论文策略，并展望研究趋势。
2024-10-28 cs.DC
FastSample: Accelerating Distributed Graph Neural Network Training for Billion-Scale Graphs
FastSample通过新的图划分方法和优化的采样内核减少分布式采样开销，在不损失准确率的情况下将大规模图GNN训练速度提升最高2倍。
2023-11-29 cs.DC
Start-phase control of distributed systems written in Erlang/OTP
本文介绍了一种用Erlang语言编写的分布式系统可靠快速启动的实现方法。Erlang/OTP库提供的传统启动是顺序的，并行化通常需要不安全的临时解决方案。所提出的方法只需要通过应用系统依赖图对Erlang/OTP标准库进行轻微修改。它使启动安全，快速，并且同样易于在新开发和遗留系统中使用。
2010-03-09 cs.DC
Graph Sampling with Distributed In-Memory Dataflow Systems
给定一个大图，图样本确定一个子图，该子图对于原始图的某些度量具有相似的特征。样本更小，从而加速和简化了大型图形的分析和可视化。我们专注于为大数据框架和内存中的分布式图采样系统（如Apache Spark或Apache Flink）实现分布式图采样。我们评估新的实现的可扩展性，并分析在何种程度上的采样方法保留某些图形的度量相比，原来的图。后一种分析也使用比较图形可视化。所提出的方法将是开源的，并集成到Gradoop中，Gradoop是一个分布式图形分析系统。
2019-10-10 cs.DC
UniGPS: A Unified Programming Framework for Distributed Graph Processing
工业界和学术界提出了许多分布式图处理系统。然而，现有的系统对数据分析师和算法工程师等用户不够友好。一方面，现有系统中的编程模型和接口差异很大，导致较高的学习成本和程序迁移成本。另一方面，这些图形处理系统与底层的分布式计算平台紧密绑定，要求用户熟悉分布式计算。为了提高分布式图处理的可用性，提出了一个统一的分布式图编程框架UniGPS。首先，我们提出了一个统一的跨平台图形编程模型VCProg的UniGPS。VCProg对用户隐藏了分布式计算的细节。它与流行的图形编程模型Pregel，GAS和Push-Pull兼容。VCProg程序可以在兼容的分布式图处理系统上执行，无需修改，减少了用户的学习开销。其次，UniGPS支持Python作为程序设计语言。我们提出了一个基于进程间通信的执行环境隔离机制，使Java/C++为基础的系统调用用户定义的方法写在Python中。实验结果表明，UniGPS使用户能够在不牺牲可用性的情况下处理超出单机内存容量的大图形。UniGPS显示出接近线性的数据可扩展性和机器可扩展性。
2021-08-04 cs.DC
Abstract message passing and distributed graph signal processing
图信号处理是处理图结构化数据的框架。其基本概念是图形移位算子，从而产生了图形傅里叶变换。虽然图形傅里叶变换是一个集中式过程，但需要分布式图形信号处理算法来解决诸如可扩展性和隐私等挑战。在本文中，我们开发了一个理论的分布式图信号处理的消息传递的经典概念的基础上。然而，我们概括了消息的定义，以允许更抽象的数学对象。该框架提供了一种替代的观点，避免了现有的分布式图信号处理方法的迭代性质。此外，我们的框架有利于研究理论问题，如分布式问题的解决方案。
2022-06-09 cs.DC eess.SP
Distributed Algorithms for Subgraph-Centric Graph Platforms
近年来，大规模图的图分析引起了人们的兴趣。许多图算法已经被设计用于以顶点为中心的分布式图处理框架，以使用商品集群和云来操作具有100 M顶点和边的大型图。以子图为中心的编程模型已经显示出比以顶点为中心的模型更多的性能优势。但是直接将顶点中心和共享内存算法映射到以子图为中心的框架是不可能的，或者导致低效的算法。在本文中，我们提出了三个子图为中心的分布式图算法三角形计数，聚类和最小生成森林，使用共享和顶点为中心的模型的变化。这些增强现有的子图为中心的算法，存在于文献中，并允许更广泛的评估这三类图处理算法和平台。
2019-05-20 cs.DC
DRONE: a Distributed Subgraph-Centric Framework for Processing Large Scale Power-law Graphs
如今，在大数据时代，社交网络、图形数据库、知识图谱、电子商务等需要高效且可扩展的能力来处理不断增加的图形结构数据量。为了应对这一挑战，提出了两种主流的分布式编程模型：以顶点为中心的模型（VC）和以子图为中心的模型（SC）。与VC模型相比，SC模型在划分良好的图上收敛更快，通信开销更少，并且由于“像图一样思考”的哲学而易于编程。边割方法被认为是子图为中心的图划分模型的自然选择，并已被GitHub ++，Blogel和GRAPE采用。然而，切边方法在处理大规模幂律图时会产生显著的性能瓶颈。因此，供应链模式在实践中竞争力较低。在本文中，我们提出了一个创新的分布式图计算框架，DRONE（分布式gRaph computiNg引擎）。它结合了以子图为中心的模型和顶点切割图划分策略。实验表明，DRONE优于最先进的分布式图形计算引擎在现实世界的图形和合成的幂律图。DRONE能够扩展到处理一万亿边的合成幂律图，这比现有的基于SC的框架之前报道的要大几个数量级。
2019-01-09 cs.DC
Kudu: An Efficient and Scalable Distributed Graph Pattern Mining Engine
本文提出了Kudu，这是一个分布式执行引擎，具有定义良好的抽象，可以与现有的单机图形模式挖掘（GPM）系统集成，同时提供效率和可扩展性。关键的新颖性是可扩展的嵌入抽象，它可以表达模式枚举算法，允许细粒度的任务调度，并使低成本的特定于GPM的数据重用，以降低通信成本。有效的BFSDFS混合探索产生足够的通信计算重叠的并发任务与有限的内存消耗。通过在Kudu上移植Automine和GraphPi实现了两个可扩展的分布式GPM系统。我们的评估表明，基于Kudu的系统显著优于最先进的分布式GPM系统，分区图高达75.5倍（平均19.0倍），与最快的分布式GPM系统相比，复制图实现了类似甚至更好的性能，并可扩展到具有超过1000亿条边的大型图形。
2022-11-11 cs.DC
Start Late or Finish Early: A Distributed Graph Processing System with Redundancy Reduction
图形处理系统在大数据领域非常重要。然而，在现有的算法和模型中，并行处理图通常会引入冗余计算。先前的工作已经提出了技术，以优化冗余的核心外的图形系统，而不是分布式图形系统。在本文中，我们研究了各种最先进的分布式图形系统，并观察这些普遍存在的冗余的根本原因。为了在不牺牲并行性的情况下减少冗余，我们进一步提出了一个分布式图形处理系统SLFE，它是按照“晚开始或早完成”的原则设计的。SLFE采用了一种新的预处理阶段，以获得一个图的拓扑知识，可以忽略不计的开销。SLFE的冗余感知顶点为中心的计算模型，然后可以利用这些知识，以减少在运行时的冗余计算。SLFE还提供了一组API来提高可编程性。我们在一个8节点高性能集群上的实验表明，SLFE在真实世界的图形上优于所有知名的分布式图形处理系统（加速比高达74.8倍）。SLFE的冗余减少方案通常适用于其他以顶点为中心的图形处理系统。
2018-05-31 cs.DC
Graph3S: A Simple, Speedy and Scalable Distributed Graph Processing System
图是一种普遍存在于许多领域的结构。快速增长的数据量要求高效和可扩展的图形数据处理。近年来，设计分布式图处理系统已经成为一个越来越重要的领域，以满足在分布式环境中处理大型图的需求。虽然已经开发了各种分布式图形处理系统，但很少注意在使用简单性，效率和可扩展性方面实现良好的组合系统性能。为了对分布式图形处理系统的研究有所贡献，本文试图通过设计一个简单、快速和可扩展的系统来填补这一空白。我们的观察是，加强系统的通信灵活性，导致系统的效率和可扩展性以及简单的使用收益。我们在系统Graph3S中实现了我们的想法，并在来自不同领域的大图上使用各种算法进行了广泛的实验，以测试其性能。实验结果表明，该系统除了使用简单外，在各种图算法上都有很好的性能表现，在某些算法上的加速比甚至可以达到现有内存系统的两个数量级.此外，它的可扩展性与基于磁盘的系统相比具有竞争力，在使用较少的机器时甚至更好。
2020-03-02 cs.DC
The study of distributed computing algorithms by multithread applications
本说明中的材料用于介绍阿穆尔河畔共青城国立技术大学计算机技术系软件和自动控制系统四年制课程中的分布式算法。所有的程序实例都是用Borland C/C++ 5.02 for Windows 95/98/2000/NT/XP编写的，因此适合用Visual C/C++编译和执行。讨论了分布式计算的几种实现途径：递归算法向多线程应用的转换，配对算法的实现，用Petri网和面向对象的程序设计方法构造波动系统。
2011-01-15 cs.DC
Distributed recoloring of interval and chordal graphs
网络上分布式计算的一个基本的和研究最多的算法问题是图着色，包括有界度图和一般图。近年来，对这一问题的研究已扩展到两个方向。首先，已被认为是一个有用的子程序的着色，即计算两个给定的着色之间的有效变换（而不是计算一个新的着色）的问题，无论是建模无线电网络更新，并作为着色。其次，由于一般图和有界度图似乎不能很好地模拟真实网络（分别具有病态的最坏情况拓扑和太强的假设），着色已经在更具体的图类中进行了研究。在本文中，我们研究了这两个方向的交集：在两个相关的图类，区间和弦图的分布包围。
2021-09-13 cs.DC
Distributed Interactive Proofs for the Recognition of Some Geometric Intersection Graph Classes
一个图$G=(V,E)$是一个几何求交图，如果每个节点$v \in V$都被标识为某种特定类型的几何对象，并且如果相应的对象相交，则两个节点相邻。本文从理论和实践两个方面对几何求交图类进行了研究。一方面，当输入图被限制为一类几何求交图时，许多困难的问题可以被有效地求解或近似。另一方面，这些图自然出现在许多应用中，如传感器网络，调度问题等。最近，在分布式认证和分布式交互证明的背景下，图类的识别开始得到深入研究。不同的结果涉及到树、二分图、有界直径图、无三角形图、平面图、有界亏格图、$H$ -次自由图等的识别，已经获得。本工作的目标是设计有效的分布式协议，识别相关的几何求交图类，即置换图，梯形图，圆图，和双圆图。更确切地说，对于前两个类，我们给出了证明标签方案，用数字大小的证书来识别它们。对于其他两个类，我们给出了三轮分布式交互协议，使用大小为$\mathcal{O}(\log n)$的消息和证书。最后，我们提供了对数下限的大小上的证书的证明标签计划的任何上述几何求交图形类的识别。
2021-12-06 cs.DC
Distributed-Memory Vertex-Centric Network Embedding for Large-Scale Graphs
网络嵌入是基于图数据的各种计算中的重要步骤。然而，现有的方法仅限于具有少于一百万条边的小型或中型图。在实践中，web或社交网络图是更大的数量级，因此使得大多数当前方法对于非常大的图是不切实际的。为了解决这个问题，我们介绍了一种新的分布式内存并行网络嵌入方法基于Apache Spark和GraphX。我们证明了我们的方法的可扩展性，以及它的能力，以产生有意义的嵌入顶点分类和链接预测在现实世界和合成图。
2020-06-07 cs.DC
Distributed-Memory Breadth-First Search on Massive Graphs
本章研究在分布式内存超级计算机上使用广度优先搜索顺序遍历大型图的问题。我们既考虑了传统的层次同步自顶向下算法，也考虑了最近发现的方向优化算法。我们分析了使用不同的本地数据结构，如CSR和DCSC，使节点内多线程，和图形分解，如1D和2D分解的性能和可扩展性的权衡。
2017-05-10 cs.DC
Arabesque: A System for Distributed Graph Mining - Extended version
MapReduce和Pregel等分布式数据处理平台大大简化了某些类别的分布式图分析算法的设计和部署。然而，这些平台并不代表分布式图挖掘问题的良好匹配，例如在图中找到频繁的子图。给定一个输入图，这些问题需要探索大量的子图，并找到与用户所需的某些“兴趣度”标准相匹配的模式。这些算法对于社会网络、语义网和生物信息学等领域都是非常重要的。在本文中，我们介绍了Arabesque，这是第一个用于实现图挖掘算法的分布式数据处理平台。Arabesque自动化了探索大量子图的过程。它定义了一个高级过滤过程计算模型，简化了可扩展图挖掘算法的开发：Arabesque探索子图并将其传递给应用程序，应用程序必须简单地计算输出并决定是否应该进一步扩展子图。我们使用Arabesque的API来产生三个基本的图挖掘问题的分布式解决方案：频繁子图挖掘，计数图案，并找到集团。我们的实现只需要几行代码，可以扩展到数万亿个子图，并且在某些情况下代表了第一个可用的分布式解决方案。
2015-10-14 cs.DC
Distributed Ledger Technology: Blockchain Compared to Directed Acyclic Graph
如今，区块链正在成为分布式账本技术的代名词。然而，区块链只是该领域的专业化之一，目前在现有文献中已有很好的介绍，但主要是从加密的角度来看。除了区块链技术，一种新的范式正在获得动力：有向无环图。本文提出的贡献是双重的。首先，本文分析了分布式账本技术，重点分析了分布式系统的相关特征。其次，本文分析了有向无环图范式在分布式账本背景下的使用，并将其与基于区块链的解决方案进行了比较。这两种范式使用代表性的实现进行比较：比特币，以太坊和纳米。我们从维护分类账的应用数据结构、共识机制、交易确认信心、分类账规模和可扩展性等方面研究了代表性解决方案。
2018-04-26 cs.DC
Distributed Graph Automata and Verification of Distributed Algorithms
结合分布式算法和交替自动机的思想，我们引入了一类新的有限图自动机，精确识别一元二阶逻辑中可定义的有限图语言。通过限制转换是不确定性或确定性的，我们也得到了两个严格较弱的变种，我们的自动机的空性问题是可判定的。作为一个应用程序，我们建议如何合适的图自动机可能是有用的分布式算法的形式化验证，使用弗洛伊德-霍尔逻辑。
2014-09-28 cs.DC cs.FL cs.LO
On Distributed Model Checking of MSO on Graphs
我们认为分布式模型检查的一元二阶逻辑（MSO）的图构成的通信网络的拓扑结构。因此，图既是被检查的结构，也是执行分布式计算的系统。我们证明了MSO可以分布式模型检查，只有一个常数的消息发送到每个链接的平面网络有界直径，以及网络有界度和有界树长。分布式算法依赖于非平凡变换的线性时间顺序算法有界树宽图的树分解。
2009-04-13 cs.DC cs.LO
Processing SPARQL Queries Over Distributed RDF Graphs
我们提出了在分布式环境中处理大型RDF图上的SPARQL查询的技术。我们采用“部分评估和组装”框架。查询SPARQL查询Q等价于在RDF图G上找到查询图Q的子图匹配。基于分布式图上子图匹配的性质，我们在RDF图G的每个片段中引入局部部分匹配作为部分答案。对于组装，我们提出了两种方法：集中式组装和分布式组装。我们从理论和实验两方面分析了我们的算法。大量的实验在真实的和基准RDF存储库的数十亿个三元组证实，我们的方法是优于国家的最先进的方法在系统的性能和可扩展性。
2016-03-21 cs.DB cs.DC
Distributed Triangle Counting in the Graphulo Matrix Math Library
三角形计数是大型图分析的关键算法。Graphulo库为在Apache Accumulo分布式数据库上实现图形算法提供了一个框架。在这项工作中，我们将两种计算三角形的算法，一种使用邻接矩阵，另一种也使用关联矩阵，用于Accumulo内部的服务器端处理的Graphulo库。基于云的实验显示，这些不同的方法在幂律Graph500图形家族上具有相似的性能特征，其中数据偏斜越来越成为瓶颈。这些结果激发了我们为未来工作提出的偏斜感知混合算法的设计。
2017-09-05 cs.DC cs.MS
GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy
Ant Group（蚂蚁集团）；Fudan University（复旦大学）；Guangzhou University（广州大学）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）
图神经网络（GNNs）已被证明是一个强大的工具，用于分析非欧几里德图数据。然而，缺乏有效的分布式图学习系统严重阻碍了GNN的应用，特别是当图很大并且GNN相对较深时。在这里，我们提出了GraphTheta，第一个分布式和可扩展的图形学习系统建立在以顶点为中心的分布式图形处理与神经网络运营商实现为用户定义的功能。该系统支持多种训练策略，并在低内存的分布式（虚拟）机器上实现高效和可扩展的大图学习。为了方便图卷积，GraphTheta提出了一种新的图学习抽象NN-TGAR，以弥合图处理和图深度学习之间的差距。提出了一种分布式图引擎来进行混合并行执行的随机梯度下降优化，并支持一种新的集群批量训练策略。我们使用几个数据集来评估GraphTheta，这些数据集的网络大小从小到大。实验结果表明，GraphTheta可以很好地扩展到1，024名员工，用于在具有14亿个节点和41亿条属性边的行业规模支付宝数据集上训练内部开发的GNN，其中每个CPU虚拟机（dockers）的内存较小（5个）。$\sim$ 12 GB）。此外，GraphTheta可以通过高达$2.02\times$的性能优于DistDGL，具有更好的可扩展性，并且GraphLearn可以高达$30.56\times$。至于模型的准确性，GraphTheta能够学习与现有框架一样好的GNN。据我们所知，这项工作提出了文献中最大的边缘属性…
2023-01-17 cs.DC cs.LG
NOMAD: Generating Embeddings for Massive Distributed Graphs
NOMAD通过改进传统图嵌入方法，实现大规模分布式图的高效嵌入，提供更快的速度和更好的性能。
2026-04-10 cs.DC cs.LG
Hearing the clusters in a graph: A distributed algorithm
我们提出了一种新的分布式聚类算法。该算法恢复从谱聚类得到的解决方案，而不需要昂贵的特征值/向量计算。我们证明，通过传播波通过图形，局部快速傅立叶变换产生的拉普拉斯矩阵的每个特征向量的局部分量，从而提供聚类信息。对于大型图，所提出的算法是数量级的速度比基于随机游走的方法。我们证明了所提出的算法的等价性谱聚类和收敛速度。我们证明了使用这种分散的聚类算法在社会图中的社区发现，加速传感器网络中的分布式估计和分布式多代理搜索策略的有效计算的好处。
2011-04-18 cs.DC cs.DM physics.comp-ph
Distributed Autoregressive Moving Average Graph Filters
我们介绍了自回归移动平均（ARMA）滤波器的概念，并展示了它们如何以分布式方式实现。我们的图形滤波器设计理念是独立于特定的图形，这意味着滤波器系数的推导与图形无关。与有限脉冲响应（FIR）图形滤波器相比，ARMA图形滤波器对信号和/或图形的变化具有鲁棒性。此外，当考虑时变信号时，我们证明了所提出的图滤波器在图域中表现为ARMA滤波器，并且根据实施方式，在时域中表现为第一或更高的ARMA滤波器。
2015-04-24 cs.DC cs.IT cs.SI
