On the Distributed Complexity of Large-Scale Graph Computations
出于对大规模图计算的分布式算法基础的日益需求，我们研究了分布式计算的消息传递模型中的一些基本图问题，其中$k \geq 2$机器联合执行具有$n$节点（通常为$n \gg k$）的图上的计算。假设输入图最初在$k$机器之间随机划分，这是许多现实世界系统中的常见实现。通信是点对点的，目标是最小化计算的通信{ \em轮}数。我们的主要贡献是{ \em一般下限定理}，一个定理，可用于显示非平凡的下限轮分布式大规模数据计算的复杂性。一般下界定理是通过信息论方法建立的，该方法将轮复杂度与机器解决问题所需的最小信息量联系起来。我们的方法是通用的，这个定理可以用在一个“食谱”的方式来显示分布式下界的上下文中的几个问题，包括非图的问题。我们提出了两个应用程序，显示（几乎）严格的下限轮复杂性的两个基本的图形问题，即{ \em PageRank计算}和{ \em三角枚举}。我们的方法，在PageRank的情况下，可以产生严格的下限的问题（包括，特别是在输入的随机分区），其中通信复杂性技术是不明显的。我们的方法，在三角枚举的情况下，可以产生更强的轮下界以及消息轮权衡相比，使用通信复杂性技术的方法。
2018-07-26 cs.DC cs.DS
Lock-Free Computation of PageRank in Dynamic Graphs
针对动态图PageRank更新中屏障等待和线程故障问题，提出无锁且容错的DF_LF算法，集成Dynamic Frontier方法，平均比ND_LF快4.6倍。
2024-07-28 cs.DC cs.PF
An Initial Evaluation of Distributed Graph Algorithms using NWGraph and HPX
Louisiana State University（路易斯安那州立大学）
本文提出基于HPX的分布式图算法实现，评估BFS和PageRank性能，显示BFS优于BGL，但PageRank仍有优化空间。
2026-01-26 cs.DC
Experimental Analysis of Distributed Graph Systems
本文评估了八个并行图处理系统：Hadoop，HaLoop，Vertica，GitHub，GraphLab（PowerGraph），Blogel，Flink Gelly和GraphX（SPARK）在四个非常大的数据集（Twitter，World Road Network，UK 200705和Ctradition Web）使用四个工作负载（PageRank，WCC，SSSP和K-hop）。主要目标是通过实验分析这些系统的性能，可用性和可扩展性（使用多达128台机器）来执行独立的横向扩展研究。除了性能结果，我们讨论了我们的经验，在使用这些系统，并提出了一些系统调优策略，导致更好的性能。
2018-06-21 cs.DC
GRE: A Graph Runtime Engine for Large-Scale Distributed Graph-Parallel Applications
大规模分布式图并行计算是一个挑战。一方面，由于计算模式的不规则性和局部性的缺乏，很难有效地表示并行性。另一方面，由于无标度性质，现实世界的图很难在低割下平衡划分。为了应对这些挑战，最近开发了几个图形并行框架，包括Pregel和GraphLab（PowerGraph）。在本文中，我们提出了一个替代框架，图形搜索引擎（GRE）。GRE在保留顶点中心编程模型的基础上，提出了两个新的抽象：1）基于主动消息的Scatter-Combine计算模型，以实现大规模的细粒度边级并行; 2）基于顶点分解的Agent-Graph数据模型，以划分和表示有向图。GRE是在商用现成的多核集群上实现的。我们实验评估GRE与三个基准程序（PageRank，单源最短路径和连接组件）在现实世界和合成图的亿万个顶点。与PowerGraph相比，GRE在8~16台机器（192核）上的性能提高了2.5~17倍。具体来说，GRE中的PageRank与公开文献中报道的其他框架（PowerGraph，Spark，Twister）相比是最快的。此外，GRE显著地优化了内存使用，因此它可以在我们的集群上处理10亿个顶点和170亿条边的大型图形，总共768GB内存，而PowerGraph只能处理不到一半的图形规模。
2013-10-21 cs.DC
Coded Computing for Distributed Graph Analytics
分布式图处理系统的性能显着遭受的“通信瓶颈”，因为大量的消息交换服务器之间的每一步的计算。基于图的MapReduce，我们提出了一个编码的计算框架，利用计算冗余，以减轻分布式图处理的通信瓶颈。我们开发了一种新的“编码”方案，系统地注入结构化冗余计算阶段，使“编码”多播的机会，在服务器之间的消息交换，大大减少通信负载在大规模的图形处理。对于理论分析，我们考虑随机图模型，并证明我们提出的方案能够在两种流行的随机图模型-- Erdos-Renyi模型和幂律模型--的“计算负载”和“平均通信负载”之间实现（渐进）逆线性权衡。特别地，对于给定的计算负载r，（即，当每个图顶点被小心地存储在r个服务器上时），所提出的方案将平均通信负载削减（几乎）r的乘法因子。对于Erdos-Renyi模型，我们提出的方案是最佳的渐近图大小的增加，提供了一个信息理论的逆。为了说明我们的计划在实践中的好处，我们在Amazon EC2上实现了PageRank，使用人工和真实世界的数据集，展示了传统PageRank的显着收益。我们还专门研究了我们的方案，并将我们的理论结果推广到另外两个随机图模型--随机二部模型和随机块模型。他们渐近使这些流行的随机图模型以及在分布式图处理的计算和通信负载之间的逆线性权衡。我们补充了这两个模型的逆界的可扩展性的结果。
2020-06-09 cs.DC cs.IT math.IT
MELOPPR: Software/Hardware Co-design for Memory-efficient Low-latency Personalized PageRank
个性化PageRank（PPR）是一种从源节点评估周围节点重要性的图算法。PPR广泛应用于社交网络相关的应用，如推荐系统，需要实时响应（延迟），以获得更好的用户体验。现有的工作要么集中在算法优化，以提高精度，而忽略了硬件实现或集中在分布式全局图形处理的大规模系统，以提高吞吐量，而不是响应时间。在边缘设备上使用紧凑的内存预算优化低延迟本地PPR算法仍然未被探索。在这项工作中，我们提出了一个内存高效，低延迟的PPR解决方案，即MeLoPPR，大大降低了内存需求和延迟和精度之间的灵活权衡。MeLoPPR由阶段分解和线性分解组成，利用节点得分的稀疏性：通过阶段分解和线性分解，MeLoPPR将大图上的计算分解为一组更小的子图，大大节省了计算内存;通过稀疏性利用，MeLoPPR选择对精度贡献最大的子图，减少所需的计算量。此外，通过软件/硬件协同设计，我们提出了一个硬件实现的混合CPU和FPGA加速平台，进一步加快子图计算。我们评估建议MeLoPPR内存受限的设备，包括个人笔记本电脑和Xilinx Kintex-7 KC 705 FPGA使用六个真实世界的图形。首先，MeLoPPR在CPU上节省了1.5倍至13.4倍的内存，在FPGA上节省了73倍至8699倍的内存。其次，MeLoPPR允许在精度和执行时间之间灵活权衡：当精度为80%时，CPU上的加速比高达15倍，FPGA上的加速比高达707倍…
2021-04-13 cs.AR cs.DC
Distributed Graph Layout for Scalable Small-world Network Analysis
内存中的图形布局或组织对分布式内存图形计算的时间和能量效率具有相当大的影响。它影响内存局部性、任务间负载平衡、通信时间和整体内存利用率。图形布局可以指顶点和边数组的分区或复制、保存元数据的数据结构的选择性复制以及顶点和边标识符的重新排序。在这项工作中，我们提出了DGL，一个快速，并行和内存高效的分布式图形布局策略，是专门为小世界网络（低直径图与倾斜的顶点度分布）。基于标签传播的分区和可扩展的基于BFS的排序是布局策略中的主要步骤。我们表明，DGL布局可以显着提高五个具有挑战性的图分析工作负载的端到端性能：PageRank，一个并行子图枚举程序，调整实现的广度优先搜索和单源最短路径，和RDF 3X-MPI，一个分布式SPARQL查询处理引擎。使用这些基准测试，我们还提供了一个全面的分析，关于图布局如何影响具有可变计算和通信特性的图分析的性能。
2017-01-02 cs.DC
FastSV: A Distributed-Memory Connected Component Algorithm with Fast Convergence
本文提出了一种新的分布式内存算法FastSV，用于寻找无向图中的连通分支。我们的算法简化了经典的Shiloach-Vishkin算法，并采用了几种新颖而有效的挂钩策略，以加快收敛速度。我们将FastSV的不同步骤映射到线性代数运算，并在可扩展图形库的帮助下实现它们。FastSV使用稀疏操作来避免冗余工作，并优化MPI通信以避免瓶颈。由此产生的算法显示出高性能和可扩展性，因为它可以在30秒内使用262 K内核在Cray XC 40超级计算机上找到具有超过134 B边缘的超链接图的连接组件。FastSV优于最先进的算法，在各种真实世界的图形上的平均加速比为2.21倍（最大4.27倍）。
2020-01-03 cs.DC cs.DS
Fast Distributed Computation in Dynamic Networks via Random Walks
本文研究了动态网络中的高效分布式计算，其中网络拓扑结构的变化（任意）从一轮到一轮。我们的第一个贡献是一个严格的框架设计和分析的分布式随机游走算法在动态网络。然后，我们开发了一个快速的分布式随机游走算法，运行在$\tilde{O}(\sqrt{τΦ})$轮（具有高概率），其中$τ$是动态混合时间和$Φ$是网络的动态直径分别，并返回一个样本接近一个适当定义的静态分布的动态网络。我们还应用我们的快速随机游走算法设计快速分布式算法的两个关键问题，即，信息传播和分散计算的频谱特性在动态网络。我们的下一个贡献是一个快速的分布式算法的基本问题的信息传播（也称为八卦）在动态网络。在gossip中，或者更一般地，在$k$ -gossip中，存在最初存在于某些节点中的$k$信息（或令牌）片段，并且问题是将$k$令牌传播到所有节点。我们提出了一个基于随机游走的算法，运行在$\tilde{O}(\min\{n^{1/3}k^{2/3}(τΦ)^{1/3}, nk\})$轮（高概率）。据我们所知，这是第一个$o(nk)$时间全分布式令牌转发算法，它比之前最好的$O(nk)$轮分布式算法有所改进[Kuhn等人，STOC 2010]，虽然在一个健忘的对手模型。我们的最后一个贡献是一个简单而快速的分布式算法估计的动态混合时间和相关的光谱特性的基础动态网络。
2012-05-24 cs.DC cs.DS
Fast Distributed Algorithms for Testing Graph Properties
我们开始一个彻底的研究\emph{distributed property testing} -生产算法的近似问题的属性测试的CONGEST模型。特别是，对于所谓的\emph{dense}测试模型，我们模拟顺序测试几乎所有的图形属性具有$1$边的测试，而在\emph{sparse}和\emph{general}模型，我们分别获得更快的测试三角自由和二分性。在大多数情况下，并行性的帮助下，分布式算法有一个更短的运行时间相比，他们的对手从传统的属性测试的顺序查询模型。最简单的属性测试算法允许相对平滑地过渡到分布式模型。对于更复杂的任务，我们开发了独立感兴趣的新机器。这包括用于多个随机游走的分布式维护的方法。
2016-05-02 cs.DC cs.DS
Thinking Like a Vertex: a Survey of Vertex-Centric Frameworks for Distributed Graph Processing
顶点为中心的编程模型是一种已建立的计算范例，最近被纳入分布式处理框架，以解决大规模图形处理中的挑战。超过标准机器内存容量的十亿节点图并不能很好地得到流行的大数据工具（如MapReduce）的支持，这些工具对于PageRank等迭代图算法来说性能很差。作为回应，一种新型的框架向像顶点一样思考（TLAV）提出了挑战，并从顶点而不是图的角度实现了用户定义的程序。这种方法提高了局部性，证明了线性可伸缩性，并提供了一种自然的方式来表达和计算许多迭代图算法。这些框架易于编程，适用范围广泛，但与操作系统一样，由几个复杂的、相互依赖的组件组成，为了在规模上获得最佳性能，有必要对这些组件进行透彻的理解。为此，TLAV框架的第一次全面调查。本文综述了以顶点为中心的图处理方法，将TLAV框架分解为四个主要组成部分并分别进行了分析，对TLAV实现进行了回顾和分类。
2015-07-15 cs.DC
StarDist: A Code Generator for Distributed Graph Algorithms
Indian Institute of Technology , Madras（印度马德拉斯理工学院）
提出StarDist领域特定语言，通过分析-变换框架优化图遍历、减少分布式结构锁获取和最小化归约操作消息队列，生成高性能分布式图算法，在CONGEST模型上平均性能优于DRONE和D-Galois。
2026-05-30 cs.DC
PMV: Pre-partitioned Generalized Matrix-Vector Multiplication for Scalable Graph Mining
我们如何分析包括Web和社交网络在内的庞大网络，这些网络拥有数千亿个节点和边？网络分析已通过各种图挖掘方法进行，包括最短路径计算、PageRank、连通分量计算、带重启的随机游走等。这些图挖掘方法可以表示为广义矩阵向量乘法，它由受典型矩阵向量乘法启发的少量运算组成。最近，几个图形处理系统的基础上矩阵向量乘法或自己的原语已被提出来处理大型图形，但是，他们都失败了Web规模的图形，由于内存空间不足或缺乏考虑的I/O成本。本文提出了一种基于广义矩阵向量乘法的可扩展分布式图挖掘方法PMV（Pre-partitioned Generalized Matrix-Vector Multiplication）。PMV通过预先划分输入图并根据预划分子矩阵的密度明智地应用执行策略，显著降低了分布式系统的主要瓶颈通信开销。实验表明，PMV成功地处理高达16倍的图比现有的分布式基于内存的图挖掘方法，并需要9倍的时间比以前的基于磁盘的图挖掘方法，通过减少I/O成本显着。
2017-09-26 cs.DB cs.DC cs.DS
Maximum Flow on Highly Dynamic Graphs
针对高度动态图上的最大流问题，提出一种基于异步顶点中心抽象的分布式算法，支持高效的边/顶点增删，并兼顾吞吐量、结果延迟与稳定性。
2023-11-13 cs.DC cs.DS
Fast Distributed Vertex Splitting with Applications
我们提出了${\rm poly\log\log n}$轮随机分布式算法来计算顶点分裂，一个分区的顶点到$k$部分，使一个节点的度$d(u)$有$\approx d(u)/k$邻居在每个部分的图。我们的技术可以被看作是第一个进展，一般${\rm poly\log\log n}$轮算法的Lovász局部引理。作为我们结果的主要应用，我们得到了一个随机的${\rm poly\log\log n}$ -轮CONGEST算法，用于$(1+ε)Δ$ -边着色$n$ -节点图的足够大的常数最大度$Δ$，对于任何$ε>0$ .此外，我们的结果提高了计算缺陷着色和某些紧列表着色问题。所有的结果都以指数方式提高了最先进的轮复杂度，即使在Round-Model中也是如此。
2022-08-17 cs.DC cs.DS
Minor Excluded Network Families Admit Fast Distributed Algorithms
最小生成树、最小割、最短路径等分布式网络优化算法是分布式计算中的一个研究热点。本文提出了一种快速分布式算法，这样的问题，在CONGEST模型，网络上，排除一个固定的未成年人。在一般图上，许多优化问题，包括上面提到的问题，需要在CONGEST模型中进行$\tildeΩ(\sqrt n)$轮通信，即使网络图的直径小得多。自然地，算法设计的下一步是设计有效的算法，绕过这一限制类图的下限。目前，唯一已知的方法是使用Ghaffari和Haeupler的低拥塞捷径框架[SODA'16]。在他们工作的基础上，本文证明了排除子图允许高质量的捷径，从而为上述问题提供了一个$\tilde O(D^2)$轮算法，其中$D$是网络图的直径。为了处理排除的子图族，我们利用Robertson和Seymour的图结构定理。据我们所知，这是第一次图结构定理已被用于分布式设置中的算法结果。即使涉及到证明，仅仅证明存在好的捷径就足以获得简单，有效的分布式算法。特别是，捷径框架可以有效地构造近似最优捷径，然后使用它们来解决优化问题。这一点，结合非常普遍的家庭排除未成年人的图，其中包括大多数其他重要的图形类，使这一结果的重大利益。
2018-01-18 cs.DC cs.DS
Overcoming Latency-bound Limitations of Distributed Graph Algorithms using the HPX Runtime System
Louisiana State University（路易斯安那州立大学）；University of Washington（华盛顿大学）
本文利用HPX运行时系统开发了高效的分布式图算法原型，通过异步执行和细粒度并行性显著提升了性能，克服了传统框架的延迟限制。
2026-03-04 cs.DC
A Meta-graph Approach to Analyze Subgraph-centric Distributed Programming Models
使用批量同步并行（BSP）编程模型的以数据为中心的分布式图形处理平台已经获得了牵引力。这些解决了大数据抽象/平台（如MapReduce/Hadoop）用于大规模图形处理的缺点。然而，对于不同的图、图划分和图算法，这些以组件为中心的抽象的行为的基本方面的文献有限。在这里，我们提出了一个分析方法的基础上的元图草图，以检查以组件为中心的图形编程模型的特点，在一个粗粒度。特别是，我们将此草图应用于以子图和块为中心的抽象，并与以顶点为中心的模型（如Google的Pregel）进行比较。首先，我们探讨了各种图分区技术对元图的影响，然后考虑元图对图算法的影响。这消除了笨重的大型图及其算法分析中的分区特定工件。我们使用5个空间和幂律图作为范例，四种不同的分区策略，和PageRank和广度优先搜索作为规范算法。这些元图的分析提供了一个可靠的措施的预期数量的超步骤，通信和计算复杂性的算法为各种图形，和相对的优点，以子图为中心的顶点为中心的模型。
2016-10-31 cs.DC
A Hierarchical Model for Fast Distributed Consensus in Dynamic Networks
提出了两种新的动态网络共识算法。第一个是Fast Raft，它是Raft共识算法的变体，减少了典型操作中的消息轮数。Fast Raft非常适合快节奏的分布式系统，在这些系统中，成员会随着时间的推移而变化，并且站点必须快速达成共识。第二个是C-Raft，它针对的是分布式系统，其中站点被分组到集群中，集群内的通信速度较快，集群之间的通信速度较慢。C-Raft使用Fast Raft作为构建块，并定义了一个分层的共识模型，以提高全球分布式系统的吞吐量。我们证明了每个算法的安全性和活性性质。最后，我们提出了一个实验评估这两种算法在AWS。
2020-07-27 cs.DC
Fine-grained Analysis on Fast Implementations of Distributed Multi-writer Atomic Registers
分布式多写入器原子寄存器是大量分布式算法的核心。在享受原子性的好处的同时，研究人员进一步探索原子寄存器的快速实现，这在数据访问延迟方面是最佳的。虽然已经证明，当读写都要求快时，多写入器原子寄存器的实现是不可能的，但当只要求写或读快时，实现是否是不可能的仍然是开放的。这项工作证明了不可能的快速写实现的基础上一系列的链参数indistiguishable执行。我们还显示了快速读取实现的必要和充分条件，通过扩展的结果在单作家的情况下。本文的工作是对分布式原子寄存器快速实现的一系列研究的总结。
2020-06-25 cs.DC
Fast distributed almost stable marriages
在他们关于稳定婚姻问题的开创性工作中，Gale和Shapley描述了一种在$O(n^2)$通信回合中找到稳定匹配的算法。他们的算法有一个自然的解释，作为一个分布式算法，其中每个球员是由一个单一的处理器表示。在这个分布式模型中，Floreen，Kaski，Polishchuk和Suomela最近表明，对于有界偏好列表，在恒定轮数后终止Gale-Shapley算法会导致几乎稳定的匹配。在本文中，我们描述了一个新的确定性分布式算法，发现一个几乎稳定的匹配在$O(\log^5 n)$通信轮的任意偏好。我们还提出了一个更快的随机化的变种，需要$O(\log^2 n)$轮。这个运行时可以改进为$O(1)$轮，用于“几乎规则”（特别是完整）的首选项。据我们所知，这些是第一次多项式轮分布式算法的任何变种的稳定的婚姻问题与无限的偏好。
2015-04-02 cs.DC cs.DS cs.GT
Distributed and Adaptive Fast Multipole Method In Three Dimensions
我们开发了一个通用的分布式实现的自适应快速多极子方法在三维空间。我们依赖于一种平衡的自适应空间离散化，它支持高度透明和完全分布式的实现。复杂性分析表明，有利的标度特性和数值实验上多达512个核心和10亿个源点验证他们。控制算法的参数进行了深入的实验，对输入参数的性能响应意味着整体实现非常适合自动调谐。
2020-02-12 cs.DC cs.DS cs.NA
A Fast Distributed Solver for Symmetric Diagonally Dominant Linear Equations
本文提出了一种求解对称对角占优M-矩阵线性方程组的快速分布式算法。我们的方法是基于Spielman和彭的并行求解器的分布式实现，通过考虑一个特定的近似逆链，可以有效地计算在一个分布式的方式。表示方程组的图形$\mathbb{G}$，所提出的分布式算法是能够获得$ε$ -关闭的解决方案（对于任意$ε$）在时间上成比例的$n^{3}$（$\mathbb{G}$中的节点数），$α$（上界的R-跳邻域的大小），和$\frac{{W}_{max}}{{W}_{min}}$（最大和最小的边的重量在$\mathbb{G}$）。
2015-02-11 cs.DC
LH*TH: New fast Scalable Distributed Data Structures (SDDS)
1993年提出的可扩展分布式数据结构（SDDS）成为多机数据管理的基础。本文提出了一种基于Trie哈希的LH* 桶的组织方法，以提高不同访问请求的次数。
2014-12-14 cs.DC
An Empirical Comparison of Big Graph Frameworks in the Context of Network Analysis
复杂网络是通常表示为图的关系数据集。对它们复杂结构的分析与科学和商业的许多领域有关，数据集可能达到需要分布式存储和处理的大小。我们描述和比较编程模型的分布式计算的重点是大规模复杂网络分析的图形算法。四个框架- GraphLab，Apache GitHub，GitHub ++和Apache Flink -被用来实现算法的代表性问题连接组件，社区发现，PageRank和聚类系数。在计算机集群上执行的实现，以评估在实践中的框架的适用性，并比较其性能的单机，共享内存的并行网络分析包NetworkKit。在分布式框架中，GraphLab和Apache GitHub通常表现出最好的性能。在我们的实验中，一个由八台运行Apache GitHub的计算机组成的集群可以分析一个大约有20亿条边的网络，这对于同一类型的单机来说太大了。然而，对于适合一台机器的内存的网络，共享内存并行实现的性能远远优于分布式的。该研究为根据任务和数据量选择适当的框架提供了实验证据。
2016-01-03 cs.DC cs.SI
FastSample: Accelerating Distributed Graph Neural Network Training for Billion-Scale Graphs
FastSample通过新的图划分方法和优化的采样内核减少分布式采样开销，在不损失准确率的情况下将大规模图GNN训练速度提升最高2倍。
2023-11-29 cs.DC
A Simple Communication Scheme for Distributed Fast Multipole Methods
Graphcore（格科）
本文提出基于MPI邻域集体和统一树的简单分层通信方案，用于将现有的高性能共享内存统一树FMM实现扩展到分布式内存，同时保持共享内存优化。
2026-04-30 cs.DC
Belief Consensus Algorithms for Fast Distributed Target Tracking in Wireless Sensor Networks
在无线传感器网络的分布式目标跟踪中，可以通过通信路径的构建和维护来实现对目标状态的一致性，以便交换关于局部似然函数的信息。这种方法缺乏对故障的鲁棒性，并且不容易适用于ad-hoc网络。为了解决这个问题，已经提出了几种方法，允许通过完全分布式的信念共识（BC）算法，在分布式粒子滤波（DPF）的局部似然协议。然而，尚未进行收敛速度和通信成本的统一比较。在本文中，我们提供了这样的比较，并提出了一种新的BC算法的基础上的信念传播（BP）。根据我们的研究，基于大都会信念共识（MBC）的DPF是最快的循环图，而基于BP共识的DPF是最快的树图。此外，我们发现，基于BC的DPF方法具有较低的通信开销比数据洪泛时，网络是足够稀疏。
2013-07-30 cs.DC
Distributed Transactional Systems Cannot Be Fast
我们证明，没有完全事务性的系统可以提供快速读事务（包括只读的，被认为是最常见的在实践中）。具体来说，为了实现快速读事务，系统必须放弃对写多个对象的事务的支持。我们证明了因果一致的分布式存储系统的不可能结果，即，它们不需要确保任何强形式的一致性。因此，我们的结果也适用于任何确保一致性水平强于因果一致性的系统，例如，严格的可串行性。不可能的结果甚至适用于只存储两个对象的系统（并且支持至少两个服务器和至少四个客户端）。它也适用于部分复制的系统。我们的结果证明了最先进的分布式事务系统的设计选择，并坚持认为，系统设计人员不应该把更多的精力来设计功能齐全的系统，既支持快速读取事务，并确保因果关系或任何更强形式的一致性。
2019-04-10 cs.DC
Fine-Grained Parallel Graph Algorithms Can Be Both Fast and Scalable
University of Chicago（芝加哥大学）；University of Purdue（普渡大学）
针对大规模图问题缺乏并行架构支持，提出细粒度图架构UpDown，通过PR和BFS基准评估，实现远超现有最佳结果的性能。
2026-10-20 cs.AR cs.DC
FastSGD: A Fast Compressed SGD Framework for Distributed Machine Learning
College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）
随着大数据的快速增长，分布式机器学习在大规模模型训练中得到了广泛应用。随机梯度下降（SGD）可以说是ML的主力算法。SGD训练的分布式ML模型涉及大量的梯度通信，这限制了分布式ML的可扩展性。因此，重要的是压缩梯度以减少通信。在本文中，我们提出了FastSGD，这是一个用于分布式ML的快速压缩SGD框架。为了以低成本实现高压缩比，FastSGD将梯度表示为键-值对，并以线性时间复杂度压缩梯度键和值。对于梯度值压缩，FastSGD首先使用倒数映射器将原始值转换为倒数值，然后使用对数量化将倒数值进一步减少到小整数。最后，FastSGD滤波器通过给定的阈值减少梯度整数。对于梯度密钥压缩，FastSGD提供了一种自适应细粒度增量编码方法，以更少的位存储梯度密钥。在实际ML模型和数据集上进行的大量实验表明，与最先进的方法相比，FastSGD实现了高达4个数量级的压缩比，并将收敛时间加快了8倍。
2021-12-08 cs.DC cs.LG
DASHMM Accelerated Adaptive Fast Multipole Poisson-Boltzmann Solver on Distributed Memory Architecture
我们提出了一个更新版本的AFMPB软件包的快速计算分子的溶剂化自由能。新版本的主要特点是成功采用了DASHMM库，使AFMPB能够在分布式内存计算机上运行。因此，新版本可以轻松处理更大的分子或精度要求更高的情况。为了演示更新后的代码，我们将新版本应用于一个拥有超过100万个原子和大约2000万个三角形网格的登革热病毒系统，并且能够将解决问题的时间从上一版本中报告的10小时减少到使用12，288个核心的Cray XC 30集群上的不到30秒。
2017-10-17 cs.DC
CoCoS: Fast and Accurate Distributed Triangle Counting in Graph Streams
给定一个图流，我们如何使用多台机器和有限的存储来估计其中的三角形数量？具体来说，应该如何在机器上处理和采样边缘，以实现快速准确的估计？三角形的计数（即，大小为3的集团）已被证明在包括异常检测、社区发现和链接推荐的许多应用中是有用的。对于大型动态图中的三角形计数，最近的工作主要集中在流式算法和分布式算法上，但很少关注它们的组合，以实现“两全其美”。在这项工作中，我们提出了CoCoS，一种快速准确的分布式流算法，用于估计全局三角形的计数（即，所有三角形）和与每个节点关联的局部三角形。在输入流上进行一次传递，COCOS仔细地处理并存储多台机器上的边，以便最大限度地减少计算和存储资源的冗余使用。与基线相比，CoCoS（a）准确：估计误差最多小39倍，（b）快速：最多快10.4倍，随输入流的大小线性扩展，（c）理论上合理：产生无偏估计。
2021-02-27 cs.DB cs.DC cs.DS
A Fast Distributed Algorithm for $(Δ+ 1)$-Edge-Coloring
我们提出了一个确定性的分布式算法，发现一个适当的$(Δ+ 1)$ -边着色的$n$ -顶点图的最大程度$Δ$在$\mathrm{poly}(Δ, \log n)$轮。这是第一个仅使用$Δ+1$颜色的非平凡分布式边着色算法（与Vizing定理给出的边界匹配）。我们的方法受到Grebík和Pikhurko最近证明Vizing定理的可测量版本的启发。
2021-03-04 cs.DC math.CO
Fast Distributed Algorithms for LP-Type Problems of Bounded Dimension
在本文中，我们提出了各种分布式算法的LP型问题在著名的八卦模型。LP型问题包括许多重要的问题，如（整数）线性规划，几何问题，如最小封闭球和多面体距离，以及集合问题，如击中集合和集合覆盖。在流言模型中，一个节点只能将信息推送到随机选择的节点，或者从随机选择的节点拉取信息。流言模型的协议通常非常实用，因为它们的收敛速度快，简单，在压力和中断下稳定。我们的算法是非常有效的（对数轮或更好的，每轮每个节点的多对数通信工作）每当给定的LP型问题的组合维度是恒定的，即使给定的LP型问题的大小是多项式大的节点数。
2019-04-24 cs.DC
Distributed Multi-writer Multi-reader Atomic Register with Optimistically Fast Read and Write
本文提出 Gus，一种在最多 5 个节点下实现最优弹性与乐观快速读写的 MWMR 原子寄存器仿真，并证明节点数超过 5 时无法同时满足两种性质，实验显示其尾部延迟优于现有系统。
2023-04-19 cs.DC
Stark: Fast and Scalable Strassen's Matrix Multiplication using Apache Spark
本文在Strassen矩阵乘法算法的基础上，在Apache Spark平台上提出了一种新的快速、高可扩展的分布式矩阵乘法算法Stark。Stark在分布式环境中保留了Strassen的7乘法方案，从而实现了更快的执行速度。它基于两个新的思想：建立一个计算的递归树，树的每一层对应于弹性分布式数据集（RDD）形式的分布式矩阵块的划分和组合;它并行处理每个除法和合并步骤，并通过智能标记其中的矩阵块来记忆子矩阵。据我们所知，Stark是Strassen在Spark平台上的第一个实现。我们的实验表明，斯塔克具有很强的可扩展性，随着矩阵大小的增加，使我们能够乘以两个（16384 × 16384）矩阵与28%和36%的挂钟时间分别比马林和MLLib，国家的最先进的矩阵乘法方法的基础上火花。
2018-11-22 cs.DC
FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
主成分分析（PCA）是机器学习领域的一种基本数据预处理工具。虽然PCA通常被认为是一种降维方法，但PCA的目的实际上是双重的：降维和不相关特征学习。此外，现代数据集中的维度和样本大小的一致性使得集中式PCA解决方案无法使用。在这种情况下，本文重新考虑PCA的问题时，数据样本分布在任意连接的网络中的节点。虽然存在一些分布式PCA的解决方案，但这些解决方案要么忽略了PCA的不相关特征学习方面，要么往往具有高通信开销，这使得它们效率低下和/或缺乏“精确”或“全局”收敛保证。为了克服上述问题，本文提出了一种分布式PCA算法FAST-PCA（快速和精确的分布式PCA）。该算法在通信方面是有效的，并被证明是线性和精确地收敛到主成分，导致降维以及不相关的功能。实验结果进一步支持了这些说法。
2022-02-15 cs.DC cs.LG eess.SP
Simple and Fast Distributed Computation of Betweenness Centrality
介数中心性是一个已成功应用于网络分析的图形参数。在计算机网络的背景下，它被认为是各种目标，从路由到服务布局。然而，正如Maccari等人[INFOCOM 2018]所观察到的那样，由于缺乏用于计算此参数的可用的完全分布式算法，因此对改进协议的介数中心性的研究受到阻碍。我们解决了这个问题，设计一个有效的算法计算介数中心，它可以实现最小的修改任何距离矢量路由协议的基础上贝尔曼福特。我们的实现的收敛时间被证明是成比例的网络的直径
2020-01-22 cs.DC cs.SI
G-Tran: Making Distributed Graph Transactions Fast
图事务处理提出了许多独特的挑战，例如由于图结构的不规则性而导致的随机数据访问、由于图事务中相对较大的读/写集合而导致的低吞吐量和高中止率。为了解决这些挑战，我们提出了G-Tran --一个支持RDMA的分布式内存图形数据库，具有可序列化和快照隔离支持。首先，我们提出了一个图形原生的数据存储，以实现良好的数据本地性和快速的数据访问的事务更新和查询。其次，G-Tran采用完全分散的架构，利用RDMA以MPP模型处理分布式事务，可以利用所有计算资源实现高性能。此外，我们提出了一个新的MV-OCC实现与两个优化，以解决大的读/写集在图形事务的问题。大量的实验表明，G-Tran实现了竞争力的性能相比，其他流行的图数据库的基准工作负载。
2021-05-11 cs.DB cs.DC
Blink: Fast and Generic Collectives for Distributed ML
Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
跨GPU的模型参数同步为大规模数据并行训练引入了高开销。现有的参数同步协议不能有效地利用可用的网络资源，面对不断增加的硬件异构性。为了解决这个问题，我们提出了Blink，一个集体通信库，通过包装生成树动态生成最佳的通信原语。我们提出的技术，以尽量减少生成的树的数量和扩展Blink利用异构通信通道更快的数据传输。评估表明，与最先进的NCCL相比，Blink可以实现高达8倍的模型同步速度，并将图像分类任务的端到端训练时间减少高达40%。
2019-10-11 cs.DC cs.LG
Fast Distributed Bandits for Online Recommendation Systems
Adobe Research（Adobe研究院）；University of Virginia（弗吉尼亚大学）；Cambridge University（剑桥大学）；Google Brain
上下文强盗算法通常用于推荐系统，其中内容流行度可以快速变化。这些算法根据与用户和项目相关联的上下文，不断学习用户和项目之间的潜在映射。最近的推荐算法，学习聚类或用户之间的社会结构，表现出更高的推荐精度。然而，随着环境中的用户和项目数量的增加，生成推荐所需的时间显著恶化。因此，实际上无法部署这些系统。最先进的分布式强盗算法- DCCB -依赖于对等网络来在分布式工作者之间共享信息。然而，这种方法不能很好地随着用户数量的增加而扩展。此外，它遭受缓慢的集群发现，导致准确性下降。针对上述问题，提出了一种基于带宽的分布式算法DistCLUB。该算法以分布式的方式惰性地创建集群，极大地降低了网络数据共享需求，实现了很高的可扩展性。此外，DistCLUB查找聚类的速度要快得多，比最先进的算法实现了更好的准确性。在真实世界的基准测试和合成数据集上的评估表明，DistCLUB平均比DCCB快8.87倍，并且实现了14.5%的归一化预测性能。
2020-07-16 cs.DC cs.LG
Fastest Distributed Consensus Averaging Problem on Chain of Rhombus Networks
分布式共识已出现作为一个最重要的和主要的问题，在分布式计算的背景下，它已经收到了新的兴趣在传感器网络领域（由于在无线通信的最新进展），其中解决最快的分布式共识平均问题在不同的拓扑结构的网络是在这个问题的主要问题之一。本文给出了菱形网络链上最快分布式共识平均算法的解析解，其求解过程包括网络关联连通图的分层和半定规划，特别是松弛条件的求解，其中最优权值由松弛条件引发的特征多项式的归纳比较得到.归纳确定了包含SLEM的权矩阵特征值对应的特征多项式及其根。此外，为了说明菱形图的重要性，指出用菱形子图代替路网络中的单个节点，可以提高路网络的收敛速度。
2010-06-17 cs.DC cs.DM cs.IT
A Fast Distributed Algorithm for Large-Scale Demand Response Aggregation
实施住宅需求响应的一个主要挑战是，调整许多家庭的目标，每个家庭的目标是尽量减少其支付和最大限度地提高其舒适度，同时平衡这与聚合器的目标，旨在尽量减少在集中批发市场购买电力的成本。本文提出了一种快速的分布式算法聚合大量的家庭与离散和连续的能量水平的混合。本文中的方法的一个显着特点是，非凸DR问题被分解的家庭，而不是设备，这允许将更复杂的耦合之间的能量存储设备，电器和分布式能源。该方法是一种快速分布式算法，适用于所采用的DR模型的双平滑对偶函数。该方法在多达2560个家庭的系统上进行了测试，每个家庭平均拥有10台设备。该算法的目的是终止在60次迭代，无论系统的大小，这可以是理想的在线版本的这个问题。此外，数值结果表明，与最小的参数调整，该算法表现出非常相似的收敛行为，在整个研究的系统，并收敛到近最优解，这证实了其可扩展性。
2016-03-01 cs.DC math.OC
A Solution to Fastest Distributed Consensus Problem for Generic Star & K-cored Star Networks
分布式平均一致性是分散计算算法中的主要机制。在分布式平均共识算法中，每个节点都有一个初始状态，目标是计算每个节点的初始状态的平均值。为了完成这一任务，每个节点通过使用相邻节点之间的本地通信，通过其自身和邻居的状态的加权平均来更新其状态。在拓扑结构固定的网络中，分布式平均共识算法的收敛速度取决于权值的选择。研究了分布式平均共识算法中的权值优化问题。这里考虑的网络拓扑是一个星形网络，其中分支具有不同的长度。根据网络的拓扑参数，给出了最优权值和算法收敛速度的闭式公式。此外，一般的K-核心星形拓扑结构已被引入作为一种替代的星形拓扑结构。与星型拓扑相比，引入的拓扑具有更快的收敛速度。仿真结果表明，与其他常用的加权方法相比，最优加权方法具有更好的性能。
2012-01-21 cs.DC cs.IT math.IT
Fast and Flexible Spiking Network Simulations on Massively Distributed On-Chip Memory Accelerators
Jülich Research Centre（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
本研究针对脉冲神经网络模拟速度不足的问题，提出基于分组的映射与通信策略，在Graphcore IPU上实现皮质微电路22.7倍生物实时速度，为神经元模拟提供通用加速策略。
2026-10-13 cs.DC cs.PF
Fast Distributed Process Creation with the XMOS XS1 Architecture
在当前的分布式并行程序设计模型中，处理器分配机制的提供是非常有限的。这使得很难，甚至禁止，表达的一大类程序，需要一个运行时评估其所需的资源。这包括结构不规则、复合或无界的程序。处理器的有效分配需要能够快速启动和终止远程计算的进程创建机制。本文提出了一个明确的机制，这样做的设计，演示和分析，实现XMOS XS 1架构，作为一个更动态的计划的基础。它表明，进程创建可以有效地使它只会引起总运行时的一小部分开销，它可以自然地与递归相结合，使计算在系统上的快速分布。
2011-05-19 cs.DC cs.PL
Fast communication-efficient spectral clustering over distributed data
University of Massachusetts, Dartmouth（马萨诸塞大学达特茅斯分校）；Lovelace Respiratory Research Institute（洛夫莱斯呼吸研究所）
由于集群计算和大数据技术的进步，在过去的几十年里，人们对分布式计算的兴趣激增。现有的分布式算法通常假设{ \it所有的数据已经在一个地方}，并划分数据和征服多台机器上。然而，越来越多的情况是数据位于多个分布式站点，并且人们希望以低通信开销计算所有数据。对于谱聚类，我们提出了一个新的框架，使其计算在这样的分布式数据，与“最小”的通信，而在计算的主要加速。与非分布式设置相比，精度损失可以忽略不计。我们的方法允许在数据所在的地方进行本地并行计算，从而将数据的分布式特性转化为一种祝福;当数据均匀分布在各个站点时，加速是最显著的。在合成和大型UC Irvine数据集上的实验表明，我们的方法几乎没有损失准确性，而在两个分布式站点的各种设置下，速度提高了约2倍。由于传输的数据不需要以其原始形式，我们的框架很容易解决隐私问题的数据共享在分布式计算。
2019-05-05 cs.DC cs.LG stat.ML
Fast Distributed Inference Serving for Large Language Models
Peking University（北京大学）
针对LLM推理服务中的队头阻塞和高延迟问题，提出分布式推理系统FastServe，采用基于输出token粒度的抢占式调度和跳过连接多级反馈队列调度器，并设计高效GPU内存管理机制，在相同延迟要求下相比vLLM显著提升吞吐量。
2024-09-25 cs.DC cs.LG
A Fast Distributed Proximal-Gradient Method
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个分布式的近似梯度法优化凸函数的平均值，其中每个凸函数是一个代理在网络中的时变拓扑的私人局部目标。局部目标具有不同的可微分量，但它们共享一个共同的不可微分量，该不可微分量具有适合于邻近算子的有效计算的有利结构。在我们的方法中，每个代理通过优化其局部目标函数来迭代更新其对全局最小值的估计，并通过网络中的通信与其他代理交换估计。使用Nesterov型加速技术和每次迭代的多个通信步骤，我们证明了该方法以1/k的速度收敛（其中k是代理之间的通信轮数），这比现有的分布式方法的收敛速度更快。数值实验也验证了该方法的优越收敛速度。
2012-10-08 cs.DC cs.LG stat.ML
JBotSim, a Tool for Fast Prototyping of Distributed Algorithms in Dynamic Networks
JBotSim是一个Java库，它为动态网络中的分布式算法的原型设计、运行和可视化提供了基本的原语。有了JBotSim，人们可以在几分钟内实现一个想法，并在它运行时与它进行交互（例如{ \it}，添加，移动或删除节点）。JBotSim非常适合为同事或学生准备算法的现场演示;它也可以用于评估算法级别的性能（消息数量，回合数等）。与大多数工具不同，JBotSim不是一个集成环境。它是一个轻量级的库，可以在你的程序中使用。在本文中，我们提出了一个概述其鲜明的特点和架构。
2019-09-25 cs.DC cs.MS cs.NI
Fast Distributed Computation of Distances in Networks
本文提出了一种分布式算法，可同时计算同步网络中所有节点的直径、半径和节点偏心率。这样的拓扑信息可以用作配置其他算法的输入。以前的方法是模块化的，使用构建块（如BFS树构造）按顺序阶段进行，因此导致执行时间比严格要求的时间长。我们提出了一种算法，通过及时传播可用的估计，实现了更快的收敛到正确的值。我们展示了在每个节点中检测收敛的局部标准。该算法避免了BFS树的创建，并简单地操纵节点ID和跳数的集合。对于可变开始时间的最坏情形，具有偏心率ecc（i）的每个节点i可以计算：以diam（G）+ecc（i）+2轮为单位的节点偏心率;以2*diam（G）+ecc（i）+2轮为单位的直径;以及以diam（G）+ecc（i）+2*radius（G）轮为单位的半径。
2011-11-25 cs.DC cs.NI cs.SI
Fast and Robust Distributed Learning in High Dimension
EPFL（洛桑联邦理工学院）
分布式机器学习的梯度聚合规则（GAR）是否既健壮又快速？本文通过多卜利安的肯定回答。给定$n$工人，其中$f$是任意恶意的（拜占庭）和$m=n-f$不是，我们证明了多Bulyan可以确保一个强大的形式的拜占庭弹性，以及${\frac{m}{n}}$减速，平均相比，最快的（但非拜占庭弹性）规则的分布式机器学习。当$m \approx n$（几乎所有的工人都是正确的），多Bulyan达到平均的速度。我们还证明了多Bulyan的成本在本地计算是$O(d)$（如平均），ML的一个重要特征，其中$d$通常达到$10^9$，而强大的替代品至少有二次成本在$d$。我们的理论研究结果是补充与实验评价，除了支持线性$O(d)$复杂性参数，传达了这样一个事实，即多Bulyan的并行性进一步增加了其效率。
2021-02-05 cs.CR cs.DC cs.LG
