We give a simple distributed algorithm for computing adjacency matrix eigenvectors for the communication graph in an asynchronous gossip model. We show how to use this algorithm to give state-of-the-art asynchronous community detection algorithms when the communication graph is drawn from the well-studied stochastic block model. Our methods also apply to a natural alternative model of randomized communication, where nodes within a community communicate more frequently than nodes in different communities. Our analysis simplifies and generalizes prior work by forging a connection between asynchronous eigenvector computation and Oja's algorithm for streaming principal component analysis. We hope that our work serves as a starting point for building further connections between the analysis of stochastic iterative methods, like Oja's algorithm, and work on asynchronous and gossip-type algorithms for distributed computation.
本文研究了分布在通信网络节点上的光滑强凸函数之和的极小化问题。关于该主题的先前工作要么集中在同步算法上,其可以被一些慢节点严重减慢(掉队者问题),要么考虑异步操作的模型(Boyd等人,2006),其中相邻节点在泊松点过程的时刻进行通信。我们有两个主要贡献。1)我们提出了CACDM(一种连续加速的坐标对偶方法),对于异步操作的泊松模型,我们证明了CACDM以Nesterov et Stich,2017的加速收敛速度收敛到最优。相比之下,以前提出的异步算法尚未被证明可以实现这样的加速率。虽然CACDM是基于离散更新,其收敛性的证明关键取决于一个连续的时间分析。2)我们介绍了一种新的通信方案的基础上损失的网络,这是可编程的完全异步和分散的方式,不像泊松模型的异步操作,不捕捉的基本方面的非瞬时通信和计算。在此损失网络模型下,我们建立了CDM(一个协调对偶方法)的收敛速度的拉普拉斯算子的特征间隙加权的局部有效延迟。我们相信这个特征间隙是异步优化收敛速度的根本瓶颈。最后,我们实证验证了CACDM享有加速收敛速度的损失网络模型中的Zerky。
Self-Stabilizing Snapshot Objects for Asynchronous Fail-Prone Network Systems
快照对象模拟可以原子读取的单写入器/多读取器共享寄存器数组的行为。Delporte-Gallet等人提出了两种用于异步易崩溃消息传递系统中快照对象的容错算法。他们的第一个算法是\emph{non-blocking};它允许在所有写入操作停止后终止快照操作。它使用$O(n ν)$位的$O(n)$消息,其中$n$是节点数,$ν$是表示对象所需的位数。他们的第二个算法允许快照操作总是独立于写操作终止。它会引发$O(n^2)$消息。Delporte-Gallet等人的故障模型考虑了节点崩溃。我们的目标是通过自我稳定的镜头设计更强大的快照对象-一个非常强大的容错概念。除了Delporte-Gallet et al.的故障模型,我们的自稳定算法可以恢复后发生的瞬态故障,这些故障代表任意违反的假设,根据该系统的设计操作。我们提出了自稳定的变化Delporte-Gallet等人。的非阻塞算法和总是终止算法。我们的算法有类似的Delporte-Gallet等人的通信成本。和$O(1)$恢复时间从瞬态故障。主要的区别是,我们的建议,考虑重复八卦的$O(ν)$位消息和处理有界空间。我们还考虑了一个输入参数,$δ$,我们声称有能力平衡快照操作的成本。我们验证了我们的正确性证明,评估了Delporte-Gallet等人的性能。的算法和我们提出的变化,并通过PlanetLab实验,其中观察到显着的延迟和通信成…