FastSGD: A Fast Compressed SGD Framework for Distributed Machine Learning
College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）
随着大数据的快速增长，分布式机器学习在大规模模型训练中得到了广泛应用。随机梯度下降（SGD）可以说是ML的主力算法。SGD训练的分布式ML模型涉及大量的梯度通信，这限制了分布式ML的可扩展性。因此，重要的是压缩梯度以减少通信。在本文中，我们提出了FastSGD，这是一个用于分布式ML的快速压缩SGD框架。为了以低成本实现高压缩比，FastSGD将梯度表示为键-值对，并以线性时间复杂度压缩梯度键和值。对于梯度值压缩，FastSGD首先使用倒数映射器将原始值转换为倒数值，然后使用对数量化将倒数值进一步减少到小整数。最后，FastSGD滤波器通过给定的阈值减少梯度整数。对于梯度密钥压缩，FastSGD提供了一种自适应细粒度增量编码方法，以更少的位存储梯度密钥。在实际ML模型和数据集上进行的大量实验表明，与最先进的方法相比，FastSGD实现了高达4个数量级的压缩比，并将收敛时间加快了8倍。
2021-12-08 cs.DC cs.LG
FastSample: Accelerating Distributed Graph Neural Network Training for Billion-Scale Graphs
FastSample通过新的图划分方法和优化的采样内核减少分布式采样开销，在不损失准确率的情况下将大规模图GNN训练速度提升最高2倍。
2023-11-29 cs.DC
FastSV: A Distributed-Memory Connected Component Algorithm with Fast Convergence
本文提出了一种新的分布式内存算法FastSV，用于寻找无向图中的连通分支。我们的算法简化了经典的Shiloach-Vishkin算法，并采用了几种新颖而有效的挂钩策略，以加快收敛速度。我们将FastSV的不同步骤映射到线性代数运算，并在可扩展图形库的帮助下实现它们。FastSV使用稀疏操作来避免冗余工作，并优化MPI通信以避免瓶颈。由此产生的算法显示出高性能和可扩展性，因为它可以在30秒内使用262 K内核在Cray XC 40超级计算机上找到具有超过134 B边缘的超链接图的连接组件。FastSV优于最先进的算法，在各种真实世界的图形上的平均加速比为2.21倍（最大4.27倍）。
2020-01-03 cs.DC cs.DS
A Fast Distributed Algorithm for $(Δ+ 1)$-Edge-Coloring
我们提出了一个确定性的分布式算法，发现一个适当的$(Δ+ 1)$ -边着色的$n$ -顶点图的最大程度$Δ$在$\mathrm{poly}(Δ, \log n)$轮。这是第一个仅使用$Δ+1$颜色的非平凡分布式边着色算法（与Vizing定理给出的边界匹配）。我们的方法受到Grebík和Pikhurko最近证明Vizing定理的可测量版本的启发。
2021-03-04 cs.DC math.CO
A Simple Communication Scheme for Distributed Fast Multipole Methods
Graphcore（格科）
本文提出基于MPI邻域集体和统一树的简单分层通信方案，用于将现有的高性能共享内存统一树FMM实现扩展到分布式内存，同时保持共享内存优化。
2026-04-30 cs.DC
Distributed and Adaptive Fast Multipole Method In Three Dimensions
我们开发了一个通用的分布式实现的自适应快速多极子方法在三维空间。我们依赖于一种平衡的自适应空间离散化，它支持高度透明和完全分布式的实现。复杂性分析表明，有利的标度特性和数值实验上多达512个核心和10亿个源点验证他们。控制算法的参数进行了深入的实验，对输入参数的性能响应意味着整体实现非常适合自动调谐。
2020-02-12 cs.DC cs.DS cs.NA
Fast Distributed Computation in Dynamic Networks via Random Walks
本文研究了动态网络中的高效分布式计算，其中网络拓扑结构的变化（任意）从一轮到一轮。我们的第一个贡献是一个严格的框架设计和分析的分布式随机游走算法在动态网络。然后，我们开发了一个快速的分布式随机游走算法，运行在$\tilde{O}(\sqrt{τΦ})$轮（具有高概率），其中$τ$是动态混合时间和$Φ$是网络的动态直径分别，并返回一个样本接近一个适当定义的静态分布的动态网络。我们还应用我们的快速随机游走算法设计快速分布式算法的两个关键问题，即，信息传播和分散计算的频谱特性在动态网络。我们的下一个贡献是一个快速的分布式算法的基本问题的信息传播（也称为八卦）在动态网络。在gossip中，或者更一般地，在$k$ -gossip中，存在最初存在于某些节点中的$k$信息（或令牌）片段，并且问题是将$k$令牌传播到所有节点。我们提出了一个基于随机游走的算法，运行在$\tilde{O}(\min\{n^{1/3}k^{2/3}(τΦ)^{1/3}, nk\})$轮（高概率）。据我们所知，这是第一个$o(nk)$时间全分布式令牌转发算法，它比之前最好的$O(nk)$轮分布式算法有所改进[Kuhn等人，STOC 2010]，虽然在一个健忘的对手模型。我们的最后一个贡献是一个简单而快速的分布式算法估计的动态混合时间和相关的光谱特性的基础动态网络。
2012-05-24 cs.DC cs.DS
Fast Distributed Algorithms for Testing Graph Properties
我们开始一个彻底的研究\emph{distributed property testing} -生产算法的近似问题的属性测试的CONGEST模型。特别是，对于所谓的\emph{dense}测试模型，我们模拟顺序测试几乎所有的图形属性具有$1$边的测试，而在\emph{sparse}和\emph{general}模型，我们分别获得更快的测试三角自由和二分性。在大多数情况下，并行性的帮助下，分布式算法有一个更短的运行时间相比，他们的对手从传统的属性测试的顺序查询模型。最简单的属性测试算法允许相对平滑地过渡到分布式模型。对于更复杂的任务，我们开发了独立感兴趣的新机器。这包括用于多个随机游走的分布式维护的方法。
2016-05-02 cs.DC cs.DS
Belief Consensus Algorithms for Fast Distributed Target Tracking in Wireless Sensor Networks
在无线传感器网络的分布式目标跟踪中，可以通过通信路径的构建和维护来实现对目标状态的一致性，以便交换关于局部似然函数的信息。这种方法缺乏对故障的鲁棒性，并且不容易适用于ad-hoc网络。为了解决这个问题，已经提出了几种方法，允许通过完全分布式的信念共识（BC）算法，在分布式粒子滤波（DPF）的局部似然协议。然而，尚未进行收敛速度和通信成本的统一比较。在本文中，我们提供了这样的比较，并提出了一种新的BC算法的基础上的信念传播（BP）。根据我们的研究，基于大都会信念共识（MBC）的DPF是最快的循环图，而基于BP共识的DPF是最快的树图。此外，我们发现，基于BC的DPF方法具有较低的通信开销比数据洪泛时，网络是足够稀疏。
2013-07-30 cs.DC
FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
主成分分析（PCA）是机器学习领域的一种基本数据预处理工具。虽然PCA通常被认为是一种降维方法，但PCA的目的实际上是双重的：降维和不相关特征学习。此外，现代数据集中的维度和样本大小的一致性使得集中式PCA解决方案无法使用。在这种情况下，本文重新考虑PCA的问题时，数据样本分布在任意连接的网络中的节点。虽然存在一些分布式PCA的解决方案，但这些解决方案要么忽略了PCA的不相关特征学习方面，要么往往具有高通信开销，这使得它们效率低下和/或缺乏“精确”或“全局”收敛保证。为了克服上述问题，本文提出了一种分布式PCA算法FAST-PCA（快速和精确的分布式PCA）。该算法在通信方面是有效的，并被证明是线性和精确地收敛到主成分，导致降维以及不相关的功能。实验结果进一步支持了这些说法。
2022-02-15 cs.DC cs.LG eess.SP
Distributed Transactional Systems Cannot Be Fast
我们证明，没有完全事务性的系统可以提供快速读事务（包括只读的，被认为是最常见的在实践中）。具体来说，为了实现快速读事务，系统必须放弃对写多个对象的事务的支持。我们证明了因果一致的分布式存储系统的不可能结果，即，它们不需要确保任何强形式的一致性。因此，我们的结果也适用于任何确保一致性水平强于因果一致性的系统，例如，严格的可串行性。不可能的结果甚至适用于只存储两个对象的系统（并且支持至少两个服务器和至少四个客户端）。它也适用于部分复制的系统。我们的结果证明了最先进的分布式事务系统的设计选择，并坚持认为，系统设计人员不应该把更多的精力来设计功能齐全的系统，既支持快速读取事务，并确保因果关系或任何更强形式的一致性。
2019-04-10 cs.DC
Fastest Distributed Consensus on Path Network
为寻找最快分布式共识（FDC）问题提供解析解是传感器网络领域的挑战性问题之一。迄今为止提出的大多数方法都是用数值凸优化方法来处理FDC平均算法问题的，除了在[3]中证明了路径的简化答案外，到目前为止还没有给出求FDC的封闭形式解。在这项工作中，我们提出了一个解析解的最快的分布式共识的路径网络使用半定规划，特别是解决松弛条件，其中最佳的权重是通过归纳比较的松弛条件启动的特征多项式。
2010-03-15 cs.DC cs.IT math.CO
JBotSim, a Tool for Fast Prototyping of Distributed Algorithms in Dynamic Networks
JBotSim是一个Java库，它为动态网络中的分布式算法的原型设计、运行和可视化提供了基本的原语。有了JBotSim，人们可以在几分钟内实现一个想法，并在它运行时与它进行交互（例如{ \it}，添加，移动或删除节点）。JBotSim非常适合为同事或学生准备算法的现场演示;它也可以用于评估算法级别的性能（消息数量，回合数等）。与大多数工具不同，JBotSim不是一个集成环境。它是一个轻量级的库，可以在你的程序中使用。在本文中，我们提出了一个概述其鲜明的特点和架构。
2019-09-25 cs.DC cs.MS cs.NI
CoCoS: Fast and Accurate Distributed Triangle Counting in Graph Streams
给定一个图流，我们如何使用多台机器和有限的存储来估计其中的三角形数量？具体来说，应该如何在机器上处理和采样边缘，以实现快速准确的估计？三角形的计数（即，大小为3的集团）已被证明在包括异常检测、社区发现和链接推荐的许多应用中是有用的。对于大型动态图中的三角形计数，最近的工作主要集中在流式算法和分布式算法上，但很少关注它们的组合，以实现“两全其美”。在这项工作中，我们提出了CoCoS，一种快速准确的分布式流算法，用于估计全局三角形的计数（即，所有三角形）和与每个节点关联的局部三角形。在输入流上进行一次传递，COCOS仔细地处理并存储多台机器上的边，以便最大限度地减少计算和存储资源的冗余使用。与基线相比，CoCoS（a）准确：估计误差最多小39倍，（b）快速：最多快10.4倍，随输入流的大小线性扩展，（c）理论上合理：产生无偏估计。
2021-02-27 cs.DB cs.DC cs.DS
Fastest Distributed Consensus Problem on Fusion of Two Star Networks
在不同拓扑结构的网络上寻找最快分布式共识问题的最优权值已经是一个活跃的研究领域。在这项工作中，我们提出了一个最快的分布式共识的问题的分析解决方案的网络融合形成的两个不同的对称星型网络，或者换句话说，网络由两个不同的对称星型网络共享同一个中心节点。求解过程包括网络关联连通图的分层和半定规划（SDP），特别是松弛条件的求解，其中最优权值通过松弛条件引发的特征多项式的归纳比较得到。一些数值模拟进行了调查之间的权衡两个融合星型网络的参数，即分支的长度和数量。
2010-03-26 cs.DC cs.IT math.IT
DASHMM Accelerated Adaptive Fast Multipole Poisson-Boltzmann Solver on Distributed Memory Architecture
我们提出了一个更新版本的AFMPB软件包的快速计算分子的溶剂化自由能。新版本的主要特点是成功采用了DASHMM库，使AFMPB能够在分布式内存计算机上运行。因此，新版本可以轻松处理更大的分子或精度要求更高的情况。为了演示更新后的代码，我们将新版本应用于一个拥有超过100万个原子和大约2000万个三角形网格的登革热病毒系统，并且能够将解决问题的时间从上一版本中报告的10小时减少到使用12，288个核心的Cray XC 30集群上的不到30秒。
2017-10-17 cs.DC
Fastest Distributed Consensus Averaging Problem on Chain of Rhombus Networks
分布式共识已出现作为一个最重要的和主要的问题，在分布式计算的背景下，它已经收到了新的兴趣在传感器网络领域（由于在无线通信的最新进展），其中解决最快的分布式共识平均问题在不同的拓扑结构的网络是在这个问题的主要问题之一。本文给出了菱形网络链上最快分布式共识平均算法的解析解，其求解过程包括网络关联连通图的分层和半定规划，特别是松弛条件的求解，其中最优权值由松弛条件引发的特征多项式的归纳比较得到.归纳确定了包含SLEM的权矩阵特征值对应的特征多项式及其根。此外，为了说明菱形图的重要性，指出用菱形子图代替路网络中的单个节点，可以提高路网络的收敛速度。
2010-06-17 cs.DC cs.DM cs.IT
Fast Distributed Algorithms for LP-Type Problems of Bounded Dimension
在本文中，我们提出了各种分布式算法的LP型问题在著名的八卦模型。LP型问题包括许多重要的问题，如（整数）线性规划，几何问题，如最小封闭球和多面体距离，以及集合问题，如击中集合和集合覆盖。在流言模型中，一个节点只能将信息推送到随机选择的节点，或者从随机选择的节点拉取信息。流言模型的协议通常非常实用，因为它们的收敛速度快，简单，在压力和中断下稳定。我们的算法是非常有效的（对数轮或更好的，每轮每个节点的多对数通信工作）每当给定的LP型问题的组合维度是恒定的，即使给定的LP型问题的大小是多项式大的节点数。
2019-04-24 cs.DC
Fast Distributed Algorithms for Computing Separable Functions
以完全分布式的方式计算网络中节点处的值的函数的问题，其中节点不具有唯一的身份并且仅基于本地信息做出决策，在传感器、对等网络和ad-hoc网络中具有应用。在这方面的任务，计算可分离的功能，它可以被写为线性组合的功能，个别变量，研究。用于求平均的已知迭代算法可以用于计算这样的函数的归一化值，但是这些算法一般不扩展到可分离函数的实际值的计算。本文的主要贡献是设计了一个计算可分函数的分布式随机算法。算法的运行时间取决于作为子程序使用的最小计算算法的运行时间。使用一个随机八卦机制的最小计算作为子程序产生一个完整的完全分布式算法计算可分离的功能。对于一类具有小的谱间隙的图，例如网格图，由该算法计算平均值所使用的时间比已知的迭代平均方案所需的时间小。
2007-04-22 cs.DC cs.DS cs.NI
Fast distributed almost stable marriages
在他们关于稳定婚姻问题的开创性工作中，Gale和Shapley描述了一种在$O(n^2)$通信回合中找到稳定匹配的算法。他们的算法有一个自然的解释，作为一个分布式算法，其中每个球员是由一个单一的处理器表示。在这个分布式模型中，Floreen，Kaski，Polishchuk和Suomela最近表明，对于有界偏好列表，在恒定轮数后终止Gale-Shapley算法会导致几乎稳定的匹配。在本文中，我们描述了一个新的确定性分布式算法，发现一个几乎稳定的匹配在$O(\log^5 n)$通信轮的任意偏好。我们还提出了一个更快的随机化的变种，需要$O(\log^2 n)$轮。这个运行时可以改进为$O(1)$轮，用于“几乎规则”（特别是完整）的首选项。据我们所知，这些是第一次多项式轮分布式算法的任何变种的稳定的婚姻问题与无限的偏好。
2015-04-02 cs.DC cs.DS cs.GT
Fastest Distributed Consensus Problem on Branches of an Arbitrary Connected Sensor Network
研究了任意连通传感器网络分支上的最快分布式共识平均问题。在以往的工作中，充分了解传感器网络的连通性拓扑结构，需要确定最佳的权重和收敛速度的分布式共识平均算法在网络上。在这项工作中，第一次为某些类型的分支的边缘分析确定最佳权重，独立于网络的其余部分。求解过程包括分支关联连通图的分层和半定规划（SDP），特别是松弛条件的求解，其中最优权值通过松弛条件引发的特征多项式的归纳比较来获得。几个例子和数值结果证实了所获得的权重的最优性。
2011-06-03 cs.DC cs.DM cs.IT
G-Tran: Making Distributed Graph Transactions Fast
图事务处理提出了许多独特的挑战，例如由于图结构的不规则性而导致的随机数据访问、由于图事务中相对较大的读/写集合而导致的低吞吐量和高中止率。为了解决这些挑战，我们提出了G-Tran --一个支持RDMA的分布式内存图形数据库，具有可序列化和快照隔离支持。首先，我们提出了一个图形原生的数据存储，以实现良好的数据本地性和快速的数据访问的事务更新和查询。其次，G-Tran采用完全分散的架构，利用RDMA以MPP模型处理分布式事务，可以利用所有计算资源实现高性能。此外，我们提出了一个新的MV-OCC实现与两个优化，以解决大的读/写集在图形事务的问题。大量的实验表明，G-Tran实现了竞争力的性能相比，其他流行的图数据库的基准工作负载。
2021-05-11 cs.DB cs.DC
Blink: Fast and Generic Collectives for Distributed ML
Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
跨GPU的模型参数同步为大规模数据并行训练引入了高开销。现有的参数同步协议不能有效地利用可用的网络资源，面对不断增加的硬件异构性。为了解决这个问题，我们提出了Blink，一个集体通信库，通过包装生成树动态生成最佳的通信原语。我们提出的技术，以尽量减少生成的树的数量和扩展Blink利用异构通信通道更快的数据传输。评估表明，与最先进的NCCL相比，Blink可以实现高达8倍的模型同步速度，并将图像分类任务的端到端训练时间减少高达40%。
2019-10-11 cs.DC cs.LG
A Solution to Fastest Distributed Consensus Problem for Generic Star & K-cored Star Networks
分布式平均一致性是分散计算算法中的主要机制。在分布式平均共识算法中，每个节点都有一个初始状态，目标是计算每个节点的初始状态的平均值。为了完成这一任务，每个节点通过使用相邻节点之间的本地通信，通过其自身和邻居的状态的加权平均来更新其状态。在拓扑结构固定的网络中，分布式平均共识算法的收敛速度取决于权值的选择。研究了分布式平均共识算法中的权值优化问题。这里考虑的网络拓扑是一个星形网络，其中分支具有不同的长度。根据网络的拓扑参数，给出了最优权值和算法收敛速度的闭式公式。此外，一般的K-核心星形拓扑结构已被引入作为一种替代的星形拓扑结构。与星型拓扑相比，引入的拓扑具有更快的收敛速度。仿真结果表明，与其他常用的加权方法相比，最优加权方法具有更好的性能。
2012-01-21 cs.DC cs.IT math.IT
Fast Distributed PageRank Computation
在过去的十年中，PageRank在广泛的应用程序和领域中获得了重要性，自从它首次被证明可以有效地确定大型图中的节点重要性（并且是Google搜索引擎背后的先驱思想）。在单独的分布式计算中，PageRank向量或更一般地基于随机游走的量已经用于范围从确定重要节点、负载均衡、搜索和识别连接结构的若干不同应用。然而，令人惊讶的是，设计可证明有效的全分布式算法来计算PageRank的工作很少。困难在于，由于通信带宽限制和收敛速率，传统的矩阵-向量乘法风格的迭代法可能并不总是很好地适应分布式设置。在本文中，我们提出了快速的随机行走为基础的分布式算法计算PageRanks在一般的图，并证明了强界轮复杂度。我们首先提出了一种分布式算法，它在任何图（有向或无向）上以高概率进行$O\big(\log n/\eps \big)$轮，其中$n$是网络大小，$\eps$是PageRank计算中使用的重置概率（通常$\eps$是固定常数）。然后，我们提出了一个更快的算法，需要$O\big(\sqrt{\log n}/\eps \big)$轮无向图。上述两种算法都是可缩放的，因为每个节点在每个轮的每个边缘上仅发送少量（$\polylog n$）比特。据我们所知，这是第一个完全分布式的计算PageRank向量的算法，可证明运行时间有效。
2015-11-25 cs.DC cs.DS
GADMM: Fast and Communication Efficient Framework for Distributed Machine Learning
当数据分布在多个服务器上时，在解决分布式学习问题的同时降低服务器（或工人）之间的通信开销是一个重要的问题，也是本文研究的重点。特别是，我们提出了一个快速，通信效率高的分散框架来解决分布式机器学习（DML）问题。所提出的算法，分组交替方向乘法（GADMM）是基于交替方向乘法（ADMM）框架。GADMM的关键新颖之处在于它解决了分散式拓扑中的问题，在这种拓扑中，在任何给定的时间，最多有一半的工作人员在争夺有限的通信资源。此外，每个工作者仅与两个相邻工作者交换本地训练的模型，从而在每次交换中以较低的通信开销训练全局模型。我们证明了GADMM收敛到凸损失函数的最优解，并在数值上表明，它比最先进的通信高效算法（如Lazily Aggregated Gradient（LAG）和对偶平均）在合成和真实数据集上的线性和逻辑回归任务中收敛得更快，通信效率更高。此外，我们提出了动态GADMM（D-GADMM），GADMM的一个变种，并证明其收敛下的时变网络拓扑的工人。
2020-03-24 cs.DC cs.IT cs.LG
Fast Distributed Bandits for Online Recommendation Systems
Adobe Research（Adobe研究院）；University of Virginia（弗吉尼亚大学）；Cambridge University（剑桥大学）；Google Brain
上下文强盗算法通常用于推荐系统，其中内容流行度可以快速变化。这些算法根据与用户和项目相关联的上下文，不断学习用户和项目之间的潜在映射。最近的推荐算法，学习聚类或用户之间的社会结构，表现出更高的推荐精度。然而，随着环境中的用户和项目数量的增加，生成推荐所需的时间显著恶化。因此，实际上无法部署这些系统。最先进的分布式强盗算法- DCCB -依赖于对等网络来在分布式工作者之间共享信息。然而，这种方法不能很好地随着用户数量的增加而扩展。此外，它遭受缓慢的集群发现，导致准确性下降。针对上述问题，提出了一种基于带宽的分布式算法DistCLUB。该算法以分布式的方式惰性地创建集群，极大地降低了网络数据共享需求，实现了很高的可扩展性。此外，DistCLUB查找聚类的速度要快得多，比最先进的算法实现了更好的准确性。在真实世界的基准测试和合成数据集上的评估表明，DistCLUB平均比DCCB快8.87倍，并且实现了14.5%的归一化预测性能。
2020-07-16 cs.DC cs.LG
A Fast Distributed Algorithm for Large-Scale Demand Response Aggregation
实施住宅需求响应的一个主要挑战是，调整许多家庭的目标，每个家庭的目标是尽量减少其支付和最大限度地提高其舒适度，同时平衡这与聚合器的目标，旨在尽量减少在集中批发市场购买电力的成本。本文提出了一种快速的分布式算法聚合大量的家庭与离散和连续的能量水平的混合。本文中的方法的一个显着特点是，非凸DR问题被分解的家庭，而不是设备，这允许将更复杂的耦合之间的能量存储设备，电器和分布式能源。该方法是一种快速分布式算法，适用于所采用的DR模型的双平滑对偶函数。该方法在多达2560个家庭的系统上进行了测试，每个家庭平均拥有10台设备。该算法的目的是终止在60次迭代，无论系统的大小，这可以是理想的在线版本的这个问题。此外，数值结果表明，与最小的参数调整，该算法表现出非常相似的收敛行为，在整个研究的系统，并收敛到近最优解，这证实了其可扩展性。
2016-03-01 cs.DC math.OC
Fast communication-efficient spectral clustering over distributed data
University of Massachusetts, Dartmouth（马萨诸塞大学达特茅斯分校）；Lovelace Respiratory Research Institute（洛夫莱斯呼吸研究所）
由于集群计算和大数据技术的进步，在过去的几十年里，人们对分布式计算的兴趣激增。现有的分布式算法通常假设{ \it所有的数据已经在一个地方}，并划分数据和征服多台机器上。然而，越来越多的情况是数据位于多个分布式站点，并且人们希望以低通信开销计算所有数据。对于谱聚类，我们提出了一个新的框架，使其计算在这样的分布式数据，与“最小”的通信，而在计算的主要加速。与非分布式设置相比，精度损失可以忽略不计。我们的方法允许在数据所在的地方进行本地并行计算，从而将数据的分布式特性转化为一种祝福;当数据均匀分布在各个站点时，加速是最显著的。在合成和大型UC Irvine数据集上的实验表明，我们的方法几乎没有损失准确性，而在两个分布式站点的各种设置下，速度提高了约2倍。由于传输的数据不需要以其原始形式，我们的框架很容易解决隐私问题的数据共享在分布式计算。
2019-05-05 cs.DC cs.LG stat.ML
Distributed Multi-writer Multi-reader Atomic Register with Optimistically Fast Read and Write
本文提出 Gus，一种在最多 5 个节点下实现最优弹性与乐观快速读写的 MWMR 原子寄存器仿真，并证明节点数超过 5 时无法同时满足两种性质，实验显示其尾部延迟优于现有系统。
2023-04-19 cs.DC
Stark: Fast and Scalable Strassen's Matrix Multiplication using Apache Spark
本文在Strassen矩阵乘法算法的基础上，在Apache Spark平台上提出了一种新的快速、高可扩展的分布式矩阵乘法算法Stark。Stark在分布式环境中保留了Strassen的7乘法方案，从而实现了更快的执行速度。它基于两个新的思想：建立一个计算的递归树，树的每一层对应于弹性分布式数据集（RDD）形式的分布式矩阵块的划分和组合;它并行处理每个除法和合并步骤，并通过智能标记其中的矩阵块来记忆子矩阵。据我们所知，Stark是Strassen在Spark平台上的第一个实现。我们的实验表明，斯塔克具有很强的可扩展性，随着矩阵大小的增加，使我们能够乘以两个（16384 × 16384）矩阵与28%和36%的挂钟时间分别比马林和MLLib，国家的最先进的矩阵乘法方法的基础上火花。
2018-11-22 cs.DC
A Fast Distributed Proximal-Gradient Method
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个分布式的近似梯度法优化凸函数的平均值，其中每个凸函数是一个代理在网络中的时变拓扑的私人局部目标。局部目标具有不同的可微分量，但它们共享一个共同的不可微分量，该不可微分量具有适合于邻近算子的有效计算的有利结构。在我们的方法中，每个代理通过优化其局部目标函数来迭代更新其对全局最小值的估计，并通过网络中的通信与其他代理交换估计。使用Nesterov型加速技术和每次迭代的多个通信步骤，我们证明了该方法以1/k的速度收敛（其中k是代理之间的通信轮数），这比现有的分布式方法的收敛速度更快。数值实验也验证了该方法的优越收敛速度。
2012-10-08 cs.DC cs.LG stat.ML
Fast and Flexible Spiking Network Simulations on Massively Distributed On-Chip Memory Accelerators
Jülich Research Centre（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
本研究针对脉冲神经网络模拟速度不足的问题，提出基于分组的映射与通信策略，在Graphcore IPU上实现皮质微电路22.7倍生物实时速度，为神经元模拟提供通用加速策略。
2026-10-13 cs.DC cs.PF
Fast Dynamic Updates and Dynamic SpGEMM on MPI-Distributed Graphs
稀疏矩阵乘法（SpGEMM）是在许多不同的应用领域中使用的基本内核，包括数值和离散。例如，许多代数图算法依赖于热带半环中的SpGEMM来计算图中的最短路径。最近，SpGEMM已经收到了越来越多的关注，具体的（并行）架构的实现。然而，这只涉及静态问题，其中两个输入矩阵都不改变。然而，在许多应用中，矩阵（或其对应的图形）会随时间而变化。虽然从头开始重新计算是非常昂贵的，我们不知道在文献中的任何动态SpGEMM算法。因此，在本文中，我们提出了一个基于MPI的并行计算的批动态算法。我们的动态SpGEMM建立在允许快速更新的分布式图/矩阵数据结构之上，显著减少了通信量。它通过利用更新改变的矩阵条目比输入操作数中的非零少得多来实现。我们对流行基准图的实验表明，我们的方法是值得的。对于批量插入或删除矩阵条目，我们的动态SpGEMM比最先进的竞争对手CombBLAS，CTF和PETSc中的静态算法快得多。
2022-05-31 cs.DC
Fast Distributed Vertex Splitting with Applications
我们提出了${\rm poly\log\log n}$轮随机分布式算法来计算顶点分裂，一个分区的顶点到$k$部分，使一个节点的度$d(u)$有$\approx d(u)/k$邻居在每个部分的图。我们的技术可以被看作是第一个进展，一般${\rm poly\log\log n}$轮算法的Lovász局部引理。作为我们结果的主要应用，我们得到了一个随机的${\rm poly\log\log n}$ -轮CONGEST算法，用于$(1+ε)Δ$ -边着色$n$ -节点图的足够大的常数最大度$Δ$，对于任何$ε>0$ .此外，我们的结果提高了计算缺陷着色和某些紧列表着色问题。所有的结果都以指数方式提高了最先进的轮复杂度，即使在Round-Model中也是如此。
2022-08-17 cs.DC cs.DS
Fast and Robust Distributed Learning in High Dimension
EPFL（洛桑联邦理工学院）
分布式机器学习的梯度聚合规则（GAR）是否既健壮又快速？本文通过多卜利安的肯定回答。给定$n$工人，其中$f$是任意恶意的（拜占庭）和$m=n-f$不是，我们证明了多Bulyan可以确保一个强大的形式的拜占庭弹性，以及${\frac{m}{n}}$减速，平均相比，最快的（但非拜占庭弹性）规则的分布式机器学习。当$m \approx n$（几乎所有的工人都是正确的），多Bulyan达到平均的速度。我们还证明了多Bulyan的成本在本地计算是$O(d)$（如平均），ML的一个重要特征，其中$d$通常达到$10^9$，而强大的替代品至少有二次成本在$d$。我们的理论研究结果是补充与实验评价，除了支持线性$O(d)$复杂性参数，传达了这样一个事实，即多Bulyan的并行性进一步增加了其效率。
2021-02-05 cs.CR cs.DC cs.LG
Accurate, Fast and Scalable Kernel Ridge Regression on Parallel and Distributed Systems
我们提出了两种新的方法来解决KRR的弱标度问题：平衡KRR（BKRR）和K-means KRR（KKRR）。这些方法考虑将输入数据集划分为p个不同部分的替代方法，生成p个不同的模型，然后从中选择最佳模型。与传统的实现相比，KKRR 2（KKRR的优化版本）将弱缩放效率从0.32%提高到38%，并且在使用相同的数据和相同的硬件（1536个处理器）的情况下获得591倍的加速比。BKRR 2（BKRR的优化版本）比当前最快的方法实现了更高的准确性，对于各种数据集使用更少的训练时间。对于只需要近似解的应用，BKRR 2将弱尺度效率提高到92%，实现了3505倍的加速比（理论加速比：4096倍）。
2018-05-01 cs.DC
Fast Distributed Process Creation with the XMOS XS1 Architecture
在当前的分布式并行程序设计模型中，处理器分配机制的提供是非常有限的。这使得很难，甚至禁止，表达的一大类程序，需要一个运行时评估其所需的资源。这包括结构不规则、复合或无界的程序。处理器的有效分配需要能够快速启动和终止远程计算的进程创建机制。本文提出了一个明确的机制，这样做的设计，演示和分析，实现XMOS XS 1架构，作为一个更动态的计划的基础。它表明，进程创建可以有效地使它只会引起总运行时的一小部分开销，它可以自然地与递归相结合，使计算在系统上的快速分布。
2011-05-19 cs.DC cs.PL
Distributed Computation of the Conditional PCRLB for Quantized Decentralized Particle Filters
条件后验Cramer-Rao下界（PCRLB）是一种有效的传感器资源管理准则，适用于大规模、地理分布的传感器网络。用于PCRLB（dPCRLB）的分布式计算的现有算法是基于原始观测，导致对估计机制的显著通信开销。这封信推导出分布式计算技术，用于确定量化的，分散的传感器网络（CQ/dPCRLB）的条件dPCRLB。CQ/dPCRLB的解析表达式推导，这是特别有用的粒子滤波为基础的估计。CQ/dPCRLB的准确性进行了比较，其集中对应通过蒙特卡洛模拟。
2013-07-20 cs.DC
Minor Excluded Network Families Admit Fast Distributed Algorithms
最小生成树、最小割、最短路径等分布式网络优化算法是分布式计算中的一个研究热点。本文提出了一种快速分布式算法，这样的问题，在CONGEST模型，网络上，排除一个固定的未成年人。在一般图上，许多优化问题，包括上面提到的问题，需要在CONGEST模型中进行$\tildeΩ(\sqrt n)$轮通信，即使网络图的直径小得多。自然地，算法设计的下一步是设计有效的算法，绕过这一限制类图的下限。目前，唯一已知的方法是使用Ghaffari和Haeupler的低拥塞捷径框架[SODA'16]。在他们工作的基础上，本文证明了排除子图允许高质量的捷径，从而为上述问题提供了一个$\tilde O(D^2)$轮算法，其中$D$是网络图的直径。为了处理排除的子图族，我们利用Robertson和Seymour的图结构定理。据我们所知，这是第一次图结构定理已被用于分布式设置中的算法结果。即使涉及到证明，仅仅证明存在好的捷径就足以获得简单，有效的分布式算法。特别是，捷径框架可以有效地构造近似最优捷径，然后使用它们来解决优化问题。这一点，结合非常普遍的家庭排除未成年人的图，其中包括大多数其他重要的图形类，使这一结果的重大利益。
2018-01-18 cs.DC cs.DS
Fast Distributed Inference Serving for Large Language Models
Peking University（北京大学）
针对LLM推理服务中的队头阻塞和高延迟问题，提出分布式推理系统FastServe，采用基于输出token粒度的抢占式调度和跳过连接多级反馈队列调度器，并设计高效GPU内存管理机制，在相同延迟要求下相比vLLM显著提升吞吐量。
2024-09-25 cs.DC cs.LG
Algebrisation in Distributed Graph Algorithms: Fast Matrix Multiplication in the Congested Clique
虽然algebrisation构成了一个强大的技术在集中式算法的设计和分析，迄今为止，几乎没有任何应用的代数技术的背景下，分布式图算法。这项工作是一个案例研究，展示了潜在的代数在分布式环境中。我们将重点关注拥塞集团模型中的分布式图算法;我们将考虑的图问题包括，例如，三角形检测问题和全对最短路径问题（APSP）。在拥塞集团模型中有大量关于组合算法的先前工作：例如，Dolev等人（DISC 2012）给出了一种运行时间为$\tilde O(n^{1/3})$的三角形检测算法，Nanongkai（STOC 2014）给出了一种运行时间为$\tilde O(n^{1/2})$的APSP近似算法。在这项工作中，我们将使用代数技术-特别是基于快速矩阵乘法的算法-解决三角形检测和未加权APSP的时间$O(n^{0.15715})$ ;加权APSP，我们给出了一个$(1+o(1))$近似与此运行时间，以及一个精确的$\tilde O(n^{1/3})$解决方案。
2015-03-18 cs.DC cs.DS
Distributed anonymous function computation in information fusion and multiagent systems
我们提出了一个模型，确定性分布函数计算的网络相同的和匿名的节点，有界的计算和存储能力，不与网络的规模。我们的目标是描述可以在这个模型中计算的函数类。在我们的主要结果中，我们展示了一类不可计算的函数，并证明了这类函数之外的每一个函数至少可以被近似。以分布式方式计算平均值的问题在我们的发展中起着核心作用。
2009-07-28 cs.DC
Approximated Coded Computing: Towards Fast, Private and Secure Distributed Machine Learning
本文提出SPACDC方案，通过椭圆曲线加密保障传输安全并容忍落后节点，同时提供训练数据的信息论隐私保护，实验证明其深度学习算法相比基线实现显著加速。
2024-06-07 cs.DC
A Fast Distributed Approximation Algorithm for Minimum Spanning Trees in the SINR Model
无线网络中的基本问题是\emph{minimum spanning tree}（MST）问题：给定无线节点的集合$V$，计算生成树$T$，使得$T$的总成本最小化。近年来，人们对基于SINR约束的物理干扰模型产生了很大的兴趣。由于模型的非局部性，分布式算法在SINR模型中尤其具有挑战性。在本文中，我们开发了一个快速的分布式近似算法MST建设的SINR为基础的分布式计算模型。对于一个$n$节点网络，我们的算法的运行时间是$O(D\log{n}+μ\log{n})$，并产生一个生成树，其成本是在$O(\log n)$倍的最佳（MST成本），其中$D$表示通过使用最大可能的传输范围获得的磁盘图的直径，和$μ=\log{\frac{d_{max}}{d_{min}}}$表示“距离分集”w.r. t。两个节点之间的最大和最小距离。(When $\frac{d_{max}}{d_{min}}$是$n$ -多项式，$μ= O(\log n)$。）我们的算法的运行时间基本上是最佳的（对数因子），因为计算{ \em any}生成树需要$Ω(D)$时间，因此我们的算法产生一个低成本的生成树的时间只有一个对数因子以上的时间来计算一个生成树。该算法得到的生成树的分布式调度复杂度为$O(μ\log n)$。我们的算法设计技术可以是有用的，在设计高效的分布式算法，在无线网络中的SINR模型的相关“全球”的问题…
2012-06-06 cs.DC cs.DS
Faster Distributed Deep Net Training: Computation and Communication Decoupled Stochastic Gradient Descent
Anhui Province Key Laboratory of Big Data Analysis and Application（安徽省大数据分析与应用重点实验室）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；School of Data Science, University of Science and Technology of China（中国科学技术大学数据科学学院）
随着数据量的增加和模型规模的扩大，分布式并行训练成为解决优化挑战的重要和成功的技术。然而，尽管分布式随机梯度下降（SGD）算法可以实现线性迭代加速，但它们在实践中受到通信成本的显著限制，使得难以实现线性时间加速。在本文中，我们提出了一个计算和通信解耦的随机梯度下降（CoCoD-SGD）算法，并行运行的计算和通信，以减少通信成本。我们证明了CoCoD-SGD相对于硬件资源的总计算能力具有线性迭代加速比。与传统的分布式SGD算法相比，该算法具有较低的通信复杂性和较好的时间加速比。深度神经网络训练的实验证明了CoCoD-SGD的显著改进：在使用16个Geforce GTX 1080 Ti GPU训练ResNet 18和VGG 16时，CoCoD-SGD比传统同步SGD快2-3 $\times$。
2019-09-20 cs.DC cs.LG math.OC
HybridChain: Fast, Accurate, and Secure Transaction Processing with Distributed Learning
HybridChain结合分片区块链与DAG账本，利用去中心化学习共识，实现快速、准确且安全的交易处理，优于IOTA和Omniledger。
2023-10-13 cs.DC
Fast General Distributed Transactions with Opacity using Global Time
事务可以通过向应用程序开发人员隐藏数据分布、并发和故障来简化分布式应用程序。理想情况下，开发人员将看到一个单独的大型机器的抽象，该机器顺序地运行事务并且从不失败。这就要求事务子系统提供不透明性（对已提交和已中止的事务都严格可串行化），以及透明的高可用性容错。由于即使是最好的抽象，如果它们表现不佳，也不太可能被使用，因此系统还必须提供高性能。现有的分布式事务设计要么削弱了这种抽象，要么不是为数据中心内的最佳性能而设计的。本文扩展了FaRM的设计-仅为提交的事务提供严格的可串行化性-以提供不透明性，同时保持FaRM的高吞吐量，低延迟和高可用性在现代数据中心。它使用基于实时的的时间戳排序，时钟在整个集群中同步到几十微秒内，并使用故障转移协议来确保时钟主机故障的正确性。当在90台机器上运行TPC-C事务混合时，具有不透明性的FaRM每秒可以提交540万个新事务，并具有3路复制。
2020-06-25 cs.DC
Deterministic Distributed Vertex Coloring: Simpler, Faster, and without Network Decomposition
我们提出了一个简单的确定性分布式算法，计算一个$(Δ+1)$ -顶点着色$O(\log^2 Δ\cdot \log n)$轮。该算法可以用$O(\log n)$位消息来实现。该算法也可以推广到更一般的$(degree+1)$ -列表着色问题。自20世纪80年代以来，获得$(Δ+1)$ -顶点着色的多项式时间确定性算法一直是分布式图算法领域的一个中心开放问题，直到最近Rozhoregon和Ghaffari的网络分解算法[STOC'20]。现有技术是基于其分解的改进变体，其导致用于$(Δ+1)$顶点着色的$O(\log^5 n)$轮算法。我们的着色算法是完全不同的，相当简单和快速。它解决了着色问题，在一个直接的方式，而不使用网络分解，通过逐步四舍五入某一分数的颜色分配，直到达到一个整体的颜色分配。此外，通过Chang，Li和Pettie [STOC'18]的方法，这种改进的确定性算法也导致了$(Δ+1)$着色的随机算法的复杂性的改善，现在达到了$O(\log^3\log n)$轮的界限。作为进一步的应用，我们还提供了更快的确定性分布式算法的顶点着色问题的以下变种。在荫度$a$图中，我们证明了$(2+ε)a$ -顶点着色可以在$O(\log^3 a\cdot\log n)$轮中计算。我们还证明了对于$Δ\geq 3$，$Δ$ -可着色图$G$的$Δ$ -着色可以在$O(\log^2 Δ\…
2021-09-04 cs.DC cs.DS
Fast Distributed Algorithms for Connectivity and MST in Large Graphs
出于对分布式大规模图计算的算法基础的日益增长的需求，我们研究了一些基本的图形问题，在分布式计算的消息传递模型中，$k \geq 2$机器与$n$节点（通常是$n \gg k$）共同执行图上的计算。假设输入图最初在$k$机器之间随机划分，这是许多现实世界系统中的常见实现。通信是点对点的，目标是最小化计算的通信轮数。我们的主要结果是一个（几乎）最佳的分布随机算法图的连通性。我们的算法在$\tilde{O}(n/k^2)$轮中运行（$\tilde{O}$符号隐藏了一个$\poly\log(n)$因子和一个加性$\poly\log(n)$项）。这改进了$\tilde{O}(n/k)$的最佳先前已知的界限[Klauck等人，SODA 2015]，并且鉴于$\tildeΩ(n/k^2)$的现有下限是最佳的（直到多对数因子）。我们的改进算法使用了一堆技术，包括线性图素描，证明有效的分布式图算法的设计有用。使用的连通性算法作为一个积木，然后，我们提出了快速的随机算法计算最小生成树，（近似）最小切割，并为许多图形验证问题。所有这些算法都需要$\tilde{O}(n/k^2)$轮，并且在多对数因子下是最优的。我们还显示了一个几乎匹配的下界$\tildeΩ(n/k^2)$轮许多图验证问题，利用随机分区通信复杂性的下限。
2016-07-06 cs.DC cs.DS
Linearizable Implementations Do Not Suffice for Randomized Distributed Computation
线性化是算法设计者的黄金标准，用于从使用相同对象的原子版本的相应算法的正确性推断使用实现的共享对象的分布式算法的正确性。我们表明，线性化不足以达到这个目的时，过程可以利用随机化，我们讨论了存在的替代正确性条件。
2011-09-20 cs.DC
D-iteration based asynchronous distributed computation
Alcatel-Lucent Bell Labs（阿尔卡特-朗讯贝尔实验室）
本文通过简单示例解释D-迭代方法如何用于高效的异步分布式计算。
2012-02-14 cs.DC cs.NA math.NA
Graph Computing based Distributed Fast Decoupled Power Flow Analysis
潮流分析在能量管理系统中起着基础和关键的作用。它需要很好地适应大型复杂的电力系统。为了实现高性能、高精度的潮流分析，提出了一种基于图计算的分布式潮流分析方法。首先，将电力系统网络划分为多个区域。为每个区域选择松弛总线，并且在每个SCADA采样周期，将区域间传输线功率流等效地分配为相应总线的额外负载注入。然后，将系统网络转换为多个独立的区域。在这种方式中，潮流分析可以在每个区域中并行进行，并且可以在不影响精度的情况下保证求解的系统状态。此外，对于每个区域，采用基于图计算的快速解耦潮流（FDPF）快速分析系统状态。IEEE 118节点系统和MP 10790节点系统的算例验证了该方法的准确性和计算性能。
2019-02-19 cs.DC cs.PF
SpDISTAL: Compiling Distributed Sparse Tensor Computations
我们介绍SpDISTAL，稀疏张量代数的编译器，目标是分布式系统。SpDISTAL结合了张量代数表达式、稀疏数据结构、数据分布和计算分布的单独描述。因此，它使得稀疏张量代数表达式的分布式执行具有各种各样的稀疏数据结构和数据分布。SpDISTAL作为一个C++库实现，目标是基于任务的分布式运行时系统，可以为具有多核CPU和多个GPU的节点生成代码。SpDISTAL生成的分布式代码可以与特定稀疏张量代数表达式的手写分布式函数竞争性能，并且性能优于基于一般解释的系统一到两个数量级。
2022-07-28 cs.DC cs.PL
