D-iteration based asynchronous distributed computation
Dohy Hong
本文通过简单示例解释D-迭代方法如何用于高效的异步分布式计算。
本文旨在解释如何将D-迭代用于高效的异步分布式计算。我们介绍了该方法的主要思想，并通过非常简单的示例加以说明。
The aim of this paper is to explain how the D-iteration can be used for an efficient asynchronous distributed computation. We present the main ideas of the method and illustrate them through very simple examples.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Asynchronous iterations of HSS method for non-Hermitian linear systems
本文提出一种异步交替迭代模型，适用于HSS方法，理论保证收敛性，实验表明在非Hermitian系统上比GMRES和标准HSS显著节省执行时间。
Asynchronous parareal time discretization for partial differential equations
在高性能计算平台上，异步迭代越来越多地被用于扩展和容错目的。虽然到目前为止，他们已经专门应用于空间域分解框架，本文主张一个新的应用方向，针对时间分解的时间并行方法。具体地说，异步迭代模型推导出的Parareal计划，然后进行收敛性和加速比分析。事实证明，Parareal和Pararec Parareal具有非常接近的收敛条件，渐近等价，包括有限时间终止属性。基于一个计算成本模型，知道不稳定的通信延迟，我们的加速比分析显示了潜在的性能增益异步迭代，这是证实了一些实验情况下的热演化的同质超级计算机。这一主要工作清楚地表明了异步迭代可能带来的进一步好处。
Convergence of the D-iteration algorithm: convergence rate and asynchronous distributed scheme
本文定义正矩阵扩散算子的通用框架，通过向量条目级分解矩阵-向量乘积，证明并改进了矩阵迭代方案中不动点问题的收敛性，包括分布式计算场景。
More Iterations per Second, Same Quality -- Why Asynchronous Algorithms may Drastically Outperform Traditional Ones
本文研究了异步并行算法ARock的收敛性，证明在大规模问题中，异步算法所需的额外迭代次数可忽略，从而证明其在分布式计算中的潜力。
D-iteration: Evaluation of the Asynchronous Distributed Computation
本文评估了基于流体扩散的D-迭代方法在异步分布式计算中的性能，实验表明该方法在K台虚拟机上可实现内存线性减少和计算速度几乎线性提升。
Dynamic Asynchronous Iterations
许多问题可以通过多个参与者（处理器、服务器、路由器等）的迭代来解决。以前的这种异步迭代的数学模型假设由一组固定的参与者迭代单个函数。我们将把这样的迭代称为静态的，因为系统的配置不会改变。然而，在几个现实世界的例子中，例如域间路由，当系统继续运行时，迭代的函数和参与者的集合都频繁变化。在本文中，我们扩展Uresin和Dubois的静态迭代的工作，开发一个模型，这类“动态”或“总是”异步迭代。我们探讨这意味着这样一个迭代正确地实现，然后证明两个不同的条件下的迭代功能，保证完整的异步迭代满足这个新的定义的正确性。这些结果已经在Agda中正式化，由此产生的图书馆是公开的。
Fault Tolerance of Accelerated Asynchronous Fixed-Point Iterations on Flexible Computing Infrastructure
研究异步迭代中收敛加速器（如Anderson加速）对掉队处理器引起的收敛退化的补偿效果，发现加速器在评估级扰动下有效，在迭代级损坏下失效。
Convergence Detection of Asynchronous Iterations based on Modified Recursive Doubling
本文研究异步迭代中的分布式收敛检测问题。为了适应非二次幂的情况，研究了一种改进的递归加倍算法。给出了基于约简运算的收敛性检测算法。最后，对该方法的实现和适用性进行了总结性讨论。
Distributed convergence detection based on global residual error under asynchronous iterations
本文提出基于全局残差误差的异步迭代分布式收敛检测新协议，仅需一次归约操作，在5600核上验证了其有效性和高效性。
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
我们描述了并行或分布式异步迭代算法的几个特点，如无界延迟，可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后，给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees
本文提出了异步迭代的新收敛结果，明确了异步程度对收敛速率的影响，加强了现有异步优化算法的理论保证，并改进了多种流行算法的复杂度界限与收敛分析。
Asynchronous global-local non-invasive coupling for linear elliptic problems
本文介绍了第一个异步版本的全球/本地非侵入性耦合，能够有效地处理多个，可能相邻的补丁。我们给出了一个新的解释的耦合的原始区域分解方法，我们证明了放松异步迭代的收敛性。异步范例解除了全局/局部耦合性能的许多瓶颈。我们举例说明的方法在热和弹性研究中遇到的几个线性椭圆问题。
Generalized Asynchronous Systems
本文研究了异步系统中并发问题的数学模型。介绍了分布式异步自动机。证明了具有独立性的Petri网和变迁系统可以看作是分布式异步自动机。时间分布异步自动机是由映射以标准的方式定义的，该映射为事件分配时间间隔。证明了时间分布异步自动机是时间Petri网和异步系统的推广。
Asynchronous Parareal Algorithm Applied to European Option Pricing
异步迭代在并行计算中自然出现，如果一个人想解决大问题的空闲时间最小化。本文提出了一种时域分解方法的异步迭代的原始模型，即并行方法。本文将异步并行算法应用于欧式期权定价，并在并行超级计算机上进行了数值实验，验证了该算法的性能和效率。
Fantom: A scalable framework for asynchronous distributed systems
我们描述了\emph{Fantom}，异步分布式系统的框架。\emph{Fantom}基于Lachesis协议~ \cite{lachesis01}，该协议使用异步事件传输来实现实用的拜占庭容错（pBFT），以创建无领导的、可扩展的、异步有向无环图（DAG）。我们进一步优化的\emph{Lachesis Protocol}通过引入一个无权限的网络动态参与。通过引入n行标志表进一步优化了根选择代价，并通过引入支配关系优化了路径选择。我们提出了一个分布式账本的替代框架，基于异步偏序集，具有逻辑时间排序，而不是区块链。本文建立在原来提出的家庭的\emph{Lachesis-class}共识协议。我们形式化我们的证明到一个模型，可以应用到抽象的异步分布式系统。
Delayed Asynchronous Iterative Graph Algorithms
迭代图算法通常计算中间值，并随着计算的进行而更新它们。更新的输出值用作当前或后续迭代中计算的输入;因此，如果最新值异步地提供给在同一迭代中计算的其他更新，则值收敛所需的迭代次数可能会减少。在多线程共享存储器系统中，更新值的立即传播可能导致存储器争用，这可能抵消更快传播更新的益处。在某些情况下，较小数量的迭代的益处可能会由于每次迭代花费更长时间而减少。我们的关键思想是结合低内存竞争的同步方法与异步方法的更快的信息共享。我们的混合方法在将更新提交到全局存储之前在本地缓冲来自线程的更新，以控制线程可能导致其他线程冲突的频率，同时仍然在一次迭代中共享数据，从而加快收敛速度。在一个112线程的CPU系统上，我们的混合方法达到了4.5% - 19.4%的加速比异步方法的Pagerank和1.9% - 17%的加速比异步贝尔曼福特SSSP。此外，我们的混合方法获得了比同步方法高2.56倍的性能。最后，我们提供的见解，为什么延迟更新是没有帮助的某些图形的连接聚集在主对角线上的邻接矩阵。
Distributed Computability in Byzantine Asynchronous Systems
在这项工作中，我们扩展了基于拓扑的异步崩溃故障分布式系统的可计算性的特征异步拜占庭系统的方法。我们给出了第一个定理的必要和充分条件，以解决任意任务的对手选择错误的进程在异步拜占庭系统。在我们的对抗公式中，非故障过程的输出仅受非故障过程的输入的约束。对于无色任务，分布式问题的一个重要子类，一般的结果减少到一个优雅的模型，有效地捕捉进程的数量之间的关系，故障的数量，以及任务的单纯复合体的拓扑结构。
Gradient Energy Matching for Distributed Asynchronous Gradient Descent
分布式异步SGD已被广泛用于大型系统中的深度学习，但在增加工人数量时仍然因其不稳定而臭名昭着。在这项工作中，我们研究了拉格朗日力学的镜头下的分布式异步SGD的动力学。使用这种描述，我们引入能量的概念来描述优化过程，并推导出一个充分条件，确保其稳定性，只要集体引起的积极的工人的能量仍然低于目标同步过程的能量。利用这一标准，我们得到一个稳定的分布式异步优化程序，GEM，估计和保持的异步系统的能量低于或等于能量的顺序SGD与动量。实验结果突出的稳定性和加速的GEM相比，现有的计划，即使扩展到100个异步工人。结果还表明，更好的推广相比，有针对性的SGD动量。
Partially ordered distributed computations on asynchronous point-to-point networks
分布式算法的异步执行由于处理交换的消息的顺序的不确定性而彼此不同。在许多感兴趣的情况下，限制非确定性所导致的异步执行在特定于应用程序的意义上比其他异步执行更有效。在这项工作中，我们定义了部分有序的执行的分布式算法的执行满足一些限制的命令，他们的行动在两个不同的框架，即所谓的事件和脉冲驱动的计算。这些限制的目的是描述异步执行的特征，这些异步执行对于某些重要的应用程序类别可能更有效。此外，异步算法，确保发生偏序执行的情况下，每一种情况下。两个应用程序，我们认为可能会受益于有限的非确定性回溯搜索，在事件驱动的情况下，和线性方程组的迭代算法，在脉冲驱动的情况下。
Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
本文提出Rennala NIGT和Malenia NIGT算法，通过异步策略梯度聚合在异步并行计算中提升分布式强化学习效率，理论和实验均优于现有方法。
An Asynchronous Computability Theorem for Fair Adversaries
本文提出了一个简单的拓扑特征的一大类公平对抗模型通过仿射任务：标准色细分的第二次迭代的子复形。我们表明，在类中的模型的任务可计算性是精确捕获的迭代相应的仿射任务。公平对手包括但不限于等待自由、t-resilience和$k$ -并发的模型。我们的研究结果推广和改进了所有以前推导的模型解决分布式任务的能力的拓扑特征。
On the Convergence of Asynchronous Parallel Iteration with Unbounded Delays
本文从概率角度分析了异步并行方法在无界延迟下的收敛性，给出了依赖延迟统计的显式步长公式，并通过实验验证了理论模型的正确性，展示了传统最大延迟诱导步长过于保守的问题。
Making Asynchronous Distributed Computations Robust to Noise
我们考虑的问题，使分布式计算鲁棒噪声，特别是最坏的情况下（对抗）腐败的消息。我们给出了一个通用的分布式交互式编码方案，它模拟任何异步分布式协议，同时容忍所有消息的$Θ(1/n)$部分的最佳腐败，同时在通信复杂性中引起$O(n\log^2 n)$的适度爆破。我们的结果是第一个完全分布式的交互式编码方案，其中的通信网络的拓扑结构是不知道在事先。以前的工作需要一个协调节点连接到网络中的所有其他节点，或者假设一个同步网络，其中所有节点都已经知道网络的完整拓扑结构。
Web Services for Asynchronous, Distributed Optimization Using Conservative Signal Processing
本文提出了一种系统的方法来实现一类非线性信号处理系统的分布式Web服务，这反过来又是用来解决优化问题的分布式，异步的方式。与需要专门的服务器相反，所提出的方法仅需要使用商品数据库后端作为中央资源，因为通常可能用于为具有大量并发用户的网站提供数据。在这个意义上说，所提出的方法不仅利用了各种数据库系统在工作者之间异步共享变量的可扩展性和鲁棒性，而且还关键地利用了信号处理工具来确定优化算法如何在各种异构工作者之间组织和分布。还提出了一个公开访问的实现，利用Firebase作为后端服务器，并说明了使用所提出的方法在解决各种优化问题中常见的信号处理的上下文中。
Asynchronous Distributed Optimization using a Randomized Alternating Direction Method of Multipliers
考虑一组网络代理赋予私人成本函数，并寻求找到一个共识的最小化的总成本。介绍了一类新的随机异步分布优化方法。该方法将标准的交替方向乘法器（ADMM）推广到异步设置，其中网络的隔离组件以不协调的方式被激活。该算法依赖于引入随机高斯-赛德尔迭代的道格拉斯-Rachford运营商寻找两个单调运营商的总和的零。收敛到所寻求的极小提供温和的连接条件下。数值结果支持我们的主张。
Asynchronous Distributed Semi-Stochastic Gradient Optimization
随着最近大规模学习问题的激增，人们对分布式机器学习算法产生了很大的兴趣，特别是那些基于随机梯度下降（SGD）及其变体的算法。然而，现有的算法要么由于随机梯度的固有方差而收敛缓慢，要么具有快速的线性收敛速度，但以较差的解质量为代价。在本文中，我们结合他们的优点，提出了一个快速的分布式异步SGD为基础的算法与方差减少。可以使用恒定的学习率，并且还保证线性地收敛到最优解。在Google云计算平台上的实验表明，该算法在挂钟时间和解的质量方面都优于最先进的分布式异步算法。
Taming Momentum in a Distributed Asynchronous Environment
尽管分布式计算可以显著减少深度神经网络的训练时间，但在保持高效率和最终准确性的同时扩展训练过程具有挑战性。分布式异步训练可以获得接近线性的加速，但这会导致梯度失效--这是将随机梯度下降扩展到大型集群的主要困难。动量，这是经常用来加速收敛和逃避局部极小值，加剧了梯度陈旧，从而阻碍收敛。我们建议DANA：一种用于异步分布式SGD的新技术，其通过计算模型参数的估计未来位置上的梯度来减轻梯度陈旧。因此，我们第一次表明，动量可以完全纳入异步训练，几乎没有影响到最终的准确性。我们对CIFAR和ImageNet数据集的评估表明，DANA在最终准确性和收敛速度方面都优于现有方法，同时在64个异步工人上扩展到16 K的总批量大小。
L-DQN: An Asynchronous Limited-Memory Distributed Quasi-Newton Method
本文提出了一种在主/工通信模型下求解经验风险最小化问题的分布式算法L-DQN。L-DQN是一种支持工作节点间异步计算的分布式有限内存拟牛顿法。我们的方法在存储和通信成本方面都是有效的，即，在每次迭代中，主节点和工作节点传送大小为$O(d)$的向量，其中$d$是决策变量的维数，并且每个节点上所需的存储器量是$O(md)$，其中$m$是可调参数。据我们所知，这是第一个分布式拟牛顿法与可证明的全球线性收敛保证在异步设置节点之间的延迟。数值实验验证了该方法的理论和实际性能。
An asynchronous message-passing distributed algorithm for the global critical section problem
本文考虑全局$(l,k)$ -CS问题，它是控制系统的问题，使得在网络中，每次至少有$l$和至多有$k$进程处于CS中.在本文中，提出了一种分布式解决方案中的异步消息传递模型。我们的解决方案是一个通用的组合方法的算法$l$ -相互包含和$k$ -互斥。它的消息复杂度是$O(|Q|)$，其中$|Q|$是算法所使用的小圈子的仲裁的最大大小，通常是$|Q| = \sqrt{n}$。
Asynchronous Distributed Automata: A Characterization of the Modal Mu-Fragment
我们建立了一类异步分布式自动机和一个小片段的最小不动点逻辑之间的等价性，当限制到有限有向图。更具体地说，我们考虑的逻辑是模态$μ$的片段（的变体）-允许最少固定点但禁止最大固定点的演算。相应的自动机模型使用相同的有限状态机网络，这些有限状态机以异步方式进行通信，并且其状态图必须是非循环的，除了自循环。利用与逻辑的连接，我们还证明了这些机器的表达能力是独立的消息是否可以丢失。
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习（ML）算法的实现归结为解决数值优化问题。在这种情况下，随机梯度下降（SGD）方法长期以来已被证明提供良好的结果，无论是在收敛性和准确性。最近，已经提出了几种并行化方法，以扩展SGD来解决非常大的ML问题。在其核心，这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD，它利用异步单边通信范式。与现有的方法相比，异步并行随机梯度下降（ASGD）提供更快（或至少相等）的收敛，接近线性缩放和稳定的精度。
Asynchronous ADMM for Distributed Non-Convex Optimization in Power Systems
电力系统等复杂网络中的大规模、非凸优化问题需要高效、可扩展的分布式优化算法。现有的分布式方法通常是迭代的，并且在每次迭代时需要所有工作者的同步，这是难以扩展的，并且由于子问题的异构性可能导致计算资源的利用不足。针对同步算法的这些局限性，提出了一种基于交替方向乘子法（ADMM）的异步分布式非凸最优化方法。所提出的方法只需要本地通信，并允许每个工作者执行本地更新的信息从一个子集，但不是所有的邻居。给出了问题形式、算法参数选择和网络时延的充分条件，并证明了在这些条件下，异步ADMM方法渐近收敛于非凸问题的KKT点.我们验证了异步ADMM的有效性，将其应用到多个电力系统的最优潮流问题，并表明，所提出的异步计划的收敛速度可能比同步对应的大规模应用。
An Asynchronous Approximate Distributed Alternating Direction Method of Multipliers in Digraphs
在这项工作中，我们考虑异步分布式最优化问题，其中每个节点都有自己的凸费用函数，可以直接与它的邻居，由一个有向通信拓扑（有向图或有向图）。首先，我们重新制定的最优化问题，使交替方向法的乘数（ADMM）可以利用。在此基础上，提出了一种基于有限时间异步近似比率一致性的多节点凸最优化问题的求解算法--异步近似分布式乘子交替方向法（AsyAD-ADMM），该算法中每个节点进行迭代计算，并与相邻节点异步交换信息.更具体地说，在AsyAD-ADMM的每次迭代中，每个节点为原始变量之一求解局部凸优化问题，并利用有限时间异步近似共识协议来获得接近最优值的另一变量的值，因为第二原始变量的费用函数是不可分解的。如果各个费用函数是凸的但不一定是可微的，则所提出的算法以$\mathcal{O}(1/k)$的速率收敛，其中$k$是迭代计数器。AsyAD-ADMM的功效是通过一个分布式最小二乘最优化问题的概念验证与不同的性能影响因素的调查。
Distributed and Asynchronous Operational Optimization of Networked Microgrids
智能可编程微电网（SPM）是一种新兴技术，用于使微电网更加软件定义和更少的硬件独立性，使得将分布式能源（DER）转换为联网的社区微电网变得负担得起，自主和安全。作为SPM的基石之一，本文开创了一种软件定义的网络化微电网运行优化的概念，其中运行目标，电网连接和DER参与将由软件和即插即用定义，并可以快速重新配置，基于模块化和收紧模型的发展和一种新的异步基于价格的分解和协调方法。主要贡献包括：（1）设计易于实现的微网运行优化体系结构，以保证孤岛微网在求解分布式优化模型时的可编程性;（2）实现一种新的下垂控制器离散模型;（3）引入一种强大的分布式异步方法--分布式异步代理拉格朗日松弛法（DA-SLR），以有效地异步协调微网。通过两个实例验证了DA-SLR算法的有效性，并与ADMM算法进行了比较，验证了DA-SLR算法的优越性。
Distributed Clock Skew and Offset Estimation in Wireless Sensor Networks: Asynchronous Algorithm and Convergence Analysis
本文提出了一种基于置信传播的无线传感器网络时钟偏差和偏移联合估计的全分布式算法。在所提出的算法中，每个节点可以估计其时钟偏差和偏移在一个完全分布式和异步的方式：一些节点可能会更新他们的估计比其他人更频繁地使用过时的消息从相邻节点。此外，该算法对随机丢包具有鲁棒性。这种算法不需要任何集中的信息处理或协调，并且可以随网络规模而扩展。所提出的算法代表了一个统一的框架，包括两个类的同步和异步算法的网络范围内的时钟同步。分析表明，所提出的异步算法收敛到最优估计，估计均方误差在每个节点接近集中式的Cramér-Rao界下的任何网络拓扑结构。仿真结果进一步表明{收敛速度比同步算法快}。
Gradient Sparification for Asynchronous Distributed Training
现代大规模机器学习应用需要在分布式计算架构上实现随机优化算法。一个关键的瓶颈是在不同节点之间交换信息（如随机梯度）的通信开销。最近，梯度稀疏化技术已经被提出来降低通信成本，从而减轻网络开销。然而，大多数梯度稀疏化技术仅考虑同步并行性，不能应用于异步场景，例如移动设备上的联邦学习的异步分布式训练。在本文中，我们提出了一种双向梯度稀疏化方法（DGS），适用于异步分布式训练。我们让工作者从服务器下载模型差异，而不是全局模型，并且模型差异信息也被稀疏化，从而通过稀疏化服务器和工作者之间的双向通信来减少信息交换开销。为了在双向稀疏化下保持准确性，我们设计了一个稀疏化感知动量（SAMomentum），将稀疏化转换为每个参数之间的自适应批量大小。实验结果表明，在相同的压缩比和更低的通信开销下，该方法具有更好的可扩展性和泛化能力。
ONLAY: Online Layering for scalable asynchronous BFT system
本文提出了一个新的框架，即\emph{\onlay}，可扩展的异步分布式系统。在此框架下，我们提出了一个基于Lachesis协议\cite{lachesis01}的共识协议$L_ϕ$.在$L_ϕ$协议的核心部分，介绍了在无领导的异步有向无环图（DAG）中使用分层算法实现实用的拜占庭容错（pBFT）。此外，我们提出了新的在线分层算法的进化DAG跨节点。我们的新协议通过使用分配的层和具有逻辑时间排序的异步偏序集而不是区块链，在异步pBFT中实现了可确定的可扩展共识。由$L_ϕ$产生的部分排序是灵活的，但在分布式节点系统中是一致的。然后，我们提出了我们的基于分层的共识的正式模型。该模型是广义的，可以应用于抽象的异步基于DAG的分布式系统。
Threshold Logical Clocks for Asynchronous Distributed Coordination and Consensus
用于异步网络的一致性协议通常是复杂和低效的，导致实际系统依赖于同步协议。本文试图简化异步共识之上建立一个新的阈值逻辑时钟抽象，使上层操作，如果在一个同步网络。这种方法为故障停止节点产生了一个异步共识协议，该协议可能比Paxos及其基于领导者的变体更简单，更强大，不需要共同的硬币，并在恒定的预期回合数中实现共识。同样的方法可以通过建立在成熟的技术上来加强对拜占庭式失败的防范，例如防篡改日志记录和流言、可问责的状态机、阈值签名和见证人共同签名以及可验证的秘密共享。现有抽象和阈值逻辑时钟的这种组合产生了一种模块化的、分层清晰的方法，用于构建实用且高效的拜占庭共识、分布式密钥生成、时间、时间戳和随机性信标以及其他关键服务。
Privacy Preservation in Distributed Subgradient Optimization Algorithms
隐私保护在数据采掘和机器学习中正成为一个越来越重要的问题。在本文中，我们考虑分布式次梯度优化算法的隐私保护功能。我们首先表明，一个著名的分布式次梯度同步优化算法，其中所有的代理，使他们的优化更新同时在任何时候，是不是隐私保护的意义上说，恶意代理可以学习其他代理的次梯度渐近。然后，我们提出了一个分布式次梯度投影异步优化算法，而不依赖于任何现有的隐私保护技术，代理之间可以直接交换数据的邻居。与同步算法相比，在新的异步算法中，代理异步地进行优化更新。通过引入投影操作和异步优化机制，保证了异步优化算法的隐私保护性。此外，我们还建立了新提出的算法的最优收敛性。所提出的隐私保护技术为开发其他隐私保护分布式优化算法提供了借鉴。
Asynchronous Distributed Hypothesis Testing in the Presence of Crash Failures
本文讨论了多智能体网络中的分布式假设检验问题，在多智能体网络中，智能体反复收集关于世界未知状态的局部观测，并试图通过信息交换来协作检测真实状态。我们专注于故障和故障（分布式系统中的两个基本因素）对基于共识的非贝叶斯学习性能的影响。特别是，我们考虑的情况下，网络代理可能会遭受崩溃故障，消息延迟可以是任意长，但有限的。我们确定了最小的非贝叶斯规则成功的网络的全球可检测性。此外，我们还将Wolfowitz和Hajnal的一个著名结果推广到子矩阵，这可能是独立的兴趣。
2-Edge-Connectivity and 2-Vertex-Connectivity of an Asynchronous Distributed Network
非屏蔽容错分布式系统的自稳定性在过去的十年中得到了广泛的研究兴趣。本文提出了一种异步分布式计算机网络2-边连通和2-点连通的自稳定算法。它基于自稳定深度优先搜索，并且不是复合算法，因为它不是由多个并行运行的自稳定算法组成。该算法的时间和空间复杂度与底层自稳定深度优先搜索算法相同，分别为O（dnΔ）轮和O（n \log Δ）位/处理器，其中Δ（<= n）是节点度的上界，d（<= n）是图的直径，n是网络中的节点数.
Asynchronous Distributed Optimization with Stochastic Delays
我们研究异步有限和最小化在一个分布式数据设置与中央参数服务器。虽然在所有机器都可以访问数据的并行设置中很好地理解了并行性，例如，像SAGA这样的方差缩减梯度算法的修改工作得很好--对于分布式数据设置知之甚少。我们开发了一个算法ADSAGA的基础上SAGA的分布式数据设置，其中的数据被划分在许多机器之间。我们发现，与$m$机器，在一个自然的随机延迟模型与$m$的平均延迟，ADSAGA收敛于$\tilde{O}\left(\left(n + \sqrt{m}κ\right)\log(1/ε)\right)$迭代，其中$n$是组件功能的数量，和$κ$是一个条件数。该复杂性正好位于SAGA \textit{without delays}的复杂性$\tilde{O}\left(\left(n + κ\right)\log(1/ε)\right)$和并行异步算法的复杂性$\tilde{O}\left(\left(n + mκ\right)\log(1/ε)\right)$之间，其中延迟是\textit{arbitrary}（但以$O(m)$为界），并且数据可由所有人访问。现有的异步算法与分布式数据设置和任意延迟已被证明是收敛在$\tilde{O}(n^2κ\log(1/ε))$迭代。我们经验比较最小二乘问题的迭代复杂性和挂钟性能的ADSAGA现有的并行和分布式算法，包括同步minibatch算…
Gradient Scheduling with Global Momentum for Non-IID Data Distributed Asynchronous Training
分布式异步离线训练由于其在大规模数据和复杂模型上的高性能，近年来受到广泛关注。随着数据从云中心分布到边缘节点，分布式机器学习系统面临的一个巨大挑战是如何处理原生和自然的非独立同分布（非IID）数据进行训练。以往的异步训练方法在非IID数据上表现不佳，因为这会导致训练过程波动很大，从而导致异常收敛。针对非IID数据的分布式异步训练，提出了一种部分平均梯度和全局动量的梯度调度算法（GSGM）。我们的核心思想是将全局动量和局部平均值应用于调度后的有偏梯度，以使训练过程稳定。实验结果表明，对于相同实验条件下的非IID数据训练，基于流行优化算法的GSGM在Fashion-Mnist和CIFAR-10数据集上的训练稳定性提高了20%，准确率略有提高。同时，在CIFAR-100数据集上扩展分布式规模，导致稀疏数据分布时，GSGM可以在训练稳定性上提高37%。此外，只有GSGM可以很好地收敛时，计算节点的数量增长到30，相比最先进的分布式异步算法。同时，GSGM对不同程度的非IID数据具有鲁棒性。
Experiences Porting Distributed Applications to Asynchronous Tasks: A Multidimensional FFT Case-study
本文以多维FFT为例，研究将分布式应用移植到异步多任务模型HPX的过程，发现强制任务同步反而因提升缓存性能而优于异步执行，但HPX后端整体表现仍具竞争力，且LCI parcelport能显著加速通信。
Distributed Computing in the Asynchronous LOCAL model
在分布式网络计算的框架下，局部性研究的主要模型之一是分布式网络模型。然而，该模型受到了相关的批评，包括所有节点同时唤醒、按锁定步骤执行并且无故障的事实。我们表明，放宽这些假设在一定程度上不会损害本地计算。特别是，我们表明，对于任何建设任务$T$相关的本地可检查的标签（LCL），如果$T$是可解的$t$轮在异步模型中，然后$T$仍然可解的$O(t)$轮在异步模型中。这改进了Castañeda等人[SSS 2016]的结果，该结果仅限于对环进行3-着色。更一般地说，本文的主要贡献是表明，也许令人惊讶的是，在计算中的冗余和故障不限制的功率的冗余模型，只要通信保持同步和无故障。
Reaching Consensus for Asynchronous Distributed Key Generation
我们给出了一个协议异步分布式密钥生成（A-DKG），是最佳弹性（可以承受$f<\frac{n}{3}$故障方），具有恒定的预期轮数，有$\tilde{O}(n^3)$预期的通信复杂性，并假设只存在一个PKI。在我们的工作之前，最好的A-DKG协议需要$Ω(n)$预期的轮数和$Ω(n^4)$预期的通信。我们的A-DKG协议依赖于几个独立感兴趣的构建块。我们定义并设计了一个提案选举（PE）协议，允许各方在收到来自不同各方的足够提案后，追溯性地就有效提案达成一致。当选的提案有恒定的概率是由一个没有错误的政党提出的。在构建PE协议时，我们设计了一个可验证的收集协议，该协议允许各方以可验证的方式传达他们已经看到和尚未看到的提案。我们的A-DKG的最后一个构建块是验证异步拜占庭协议（VABA）协议。我们使用我们的PE协议来构建一个VABA协议，不需要领导者或异步DKG设置。我们的VABA协议可以更普遍地使用时，它是不可能使用阈值签名。
Impact of Communication Delay on Asynchronous Distributed Optimal Power Flow Using ADMM
近年来，分布式优化在电力系统运行中引起了广泛的关注，它将一个大的区域分解为多个小的控制区域，每个控制区域通过与相邻区域的周期性信息交换来解决局部优化问题。然而，大多数分布式优化方法是迭代的，并且需要在每次迭代时同步所有区域，这在没有集中式协调器的情况下很难实现，并且由于区域的异构性可能导致计算资源的利用不足。为了解决同步方案的这些局限性，本文研究了异步分布式优化方法在电力系统优化中的适用性。特别是，我们专注于解决交流最优潮流问题，并提出了一个算法框架的基础上的交替方向乘法（ADMM）的方法，允许区域执行本地更新的信息从一个子集，但不是所有的邻居。通过实验研究，我们证明了所提出的异步方案的收敛性能是依赖于区域之间传递消息的通信延迟。在轻微的通信延迟下，该方案可以实现与同步算法相当甚至更快的收敛速度，这可以作为集中式或同步分布式优化方法的一个很好的替代方案。
Lightweight Asynchronous Snapshots for Distributed Dataflows
分布式有状态流处理支持在云中部署和执行大规模连续计算，目标是低延迟和高吞吐量。这种模式最基本的挑战之一是在潜在故障下提供处理保证。现有方法依赖于可用于故障恢复的周期性全局状态快照。这些方法有两个主要缺点。首先，它们通常会停止影响摄取的整体计算。第二，它们急切地将所有传输中的记录与操作状态一起持久化，这导致快照比所需的要大。在这项工作中，我们提出了异步屏障快照（ABS），一个轻量级的算法，适合于现代的轻量级执行引擎，最大限度地减少空间需求。ABS仅在非循环执行拓扑上持久化操作符状态，同时在循环拓扑上保持最小记录日志。我们在Apache Flink上实现了ABS，这是一个支持有状态流处理的分布式分析引擎。我们的评估表明，我们的算法不会对执行产生重大影响，保持线性可扩展性，并在频繁快照的情况下表现良好。
Asynchronous and Load-Balanced Union-Find for Distributed and Parallel Scientific Data Visualization and Analysis
我们提出了一种新的分布式union-find算法，其特点是异步并行和基于k-d树的负载均衡可扩展的可视化和科学数据的分析。union-find的应用包括水平集提取和临界点跟踪，但分布式union-find可能会受到高同步成本和跨并行进程的不平衡工作负载的影响。在这项研究中，我们证明了现有的分布式union-find中的全局同步可以在不改变最终结果的情况下消除，从而允许重叠的通信和计算进行可扩展的处理。我们还使用k-d树分解来重新分配输入，以改善工作负载平衡。我们使用合成和应用数据对算法的可扩展性进行了基准测试，最多可使用1，024个进程。我们证明了我们的算法在临界点跟踪和超水平集提取与高速成像实验和聚变等离子体模拟，分别使用。
Maiter: An Asynchronous Graph Processing Framework for Delta-based Accumulative Iterative Computation
机器学习和数据采掘中的大量基于图的算法需要迭代地解析关系数据。这些算法在大规模分布式环境中实现，以扩展到海量数据集。为了加速这些大规模的基于图的迭代计算，我们提出了基于增量的累积迭代计算（DAIC）。与传统的迭代计算（根据上一次迭代的结果迭代更新结果）不同，DAIC通过累积迭代之间的“变化”来更新结果。通过DAIC，我们可以只处理“更改”，以避免可忽略不计的更新。此外，我们可以异步执行DAIC，以绕过异构分布式环境中的高成本同步障碍。在DAIC模型的基础上，设计并实现了一个异步图处理框架Maiter。我们在本地集群和Amazon EC2 Cloud上评估Maiter。结果表明，Maiter实现了Hadoop的60倍加速，并且优于其他最先进的框架。
Distributed asynchronous convergence detection without detection protocol
在本文中，我们解决的问题，检测的时刻，当一个正在进行的异步并行迭代过程可以被终止，以提供一个足够精确的解决方案，一个固定点的问题正在解决。制定的检测问题作为一个全球性的解决方案识别问题，我们分析了基于快照的方法，这是唯一一个允许精确的全球残差计算。从最近开发的近似快照协议提供了一个可靠的全球残留误差，我们在这里实验研究，以及，没有任何事先特定的检测机制计算的全球残留误差的可靠性。单站点超级计算机上的结果成功地表明，这种高性能计算平台可能提供足够稳定的计算环境，以允许简单地诉诸于非阻塞归约操作来计算可靠的全局残差，这在实现和执行级别上都提供了显著的时间节省。
Pisces: Efficient Federated Learning via Guided Asynchronous Training
联邦学习（FL）通常以同步并行方式执行，其中慢客户端的参与延迟了训练迭代。当前FL系统采用参与者选择策略来在每次迭代中选择具有高质量数据的快速客户端。然而，这在实践中并不总是可能的，并且选择策略通常必须在客户端的速度和数据质量之间进行不愉快的权衡。在本文中，我们提出了双鱼座，一个异步FL系统，智能参与者选择和模型聚合加速训练。为了避免产生过多的资源成本和陈旧的训练计算，Pisces使用了一种新的评分机制来识别合适的客户端来参与训练迭代。它还调整模型聚合的速度，以动态限制所选客户端和服务器之间的进度差距，并在平滑的非凸设置中保证可证明的收敛性。我们在一个名为Plato的开源FL平台上实现了Pisces，并在流行视觉和语言模型的大规模实验中评估了其性能。Pisces的性能优于最先进的同步和异步方案，分别将达到精度的时间加快了2.0倍和1.9倍。
An Asynchronous Distributed-Memory Parallel Algorithm for k-mer Counting
本文提出异步分布式内存 k-mer 计数算法 DAKC，通过细粒度异步消息和自定义聚合协议消除多对多集合通信瓶颈，实现比现有分布式和共享内存方法分别快 9 倍和 100 倍的性能。
Fault-Tolerant Decentralized Distributed Asynchronous Federated Learning with Adaptive Termination Detection
本研究针对传统联邦学习的中心化瓶颈、单点故障及同步延迟问题，提出分两阶段的异步去中心化联邦学习方法，构建无严格同步的异步框架并扩展容错机制，还提出两项新技术让客户端自主确定终止点，保障异步及故障场景下的可靠收敛。
Load balancing for distributed nonlocal models within asynchronous many-task systems
在这项工作中，我们考虑的挑战，开发一个分布式求解模型的基础上非本地的相互作用。在非局部模型中，与局部模型（如波动和热偏微分方程）相比，材料与相邻点的相互作用比网格离散化更长。在开发完全分布式求解器时，在大于网格大小的长度尺度上的交互在计算节点和通信瓶颈之间引入了额外的数据依赖性。在这项工作中，我们仔细研究这些挑战的背景下，非局部模型;保持特定的计算问题的演示文稿，我们考虑在二维设置的非局部热方程。特别地，我们提出的分布式框架更加关注数据通信的瓶颈和具有不同计算能力的节点之间的负载的动态平衡。对于负载均衡，我们提出了一种新的框架，评估节点的计算能力和动态平衡的负载，使节点之间的空闲时间是最小的。我们的框架在很大程度上依赖于HPX库，一个异步的多任务运行时间系统。我们提出了几个结果证明了所提出的框架的有效性。
Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO)
随着数据和模型复杂性的增加，训练神经网络所需的时间变得非常长。为了解决训练时间的指数增长，用户转向数据并行神经网络（DPNN），以利用计算机集群上的大规模分布式资源。目前的DPNN方法通过阻塞通信操作来同步和平均所有进程的梯度来实现网络参数更新。这种同步是算法的核心瓶颈。为了解决这个问题，我们引入了分布式异步和选择性优化（DASO）方法，该方法利用多GPU计算节点架构来加速网络训练。DASO使用分层和异步通信方案，包括节点本地和全局网络，同时在学习过程中调整全局同步速率。我们表明，与其他现有的数据并行训练方法相比，DASO在经典和最先进的网络上的训练时间减少了34%。
NOMAD: Non-locking, stOchastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion
提出了一种高效的并行分布式矩阵补全算法NOMAD（Non-locking，stOstochastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion）。NOMAD是一种分散式算法，在处理器之间进行非阻塞通信。NOMAD的关键特性之一是变量的所有权以分散的方式在处理器之间异步转移。因此，它是一个无锁的并行算法。尽管是一个异步算法，NOMAD的变量更新是可串行化的，也就是说，在串行实现中有一个等效的更新顺序。NOMAD优于每次迭代后需要显式批量同步的同步算法：我们广泛的经验评估表明，我们的算法不仅在商品硬件上的分布式设置中表现良好，而且在多核和分布式内存设置中，在HPC集群上的性能也优于最先进的算法。
An Almost Singularly Optimal Asynchronous Distributed MST Algorithm
一个奇异（近）最优分布式算法是一个（近）最优的\emph{two}标准，即其时间和消息的复杂性。对于\emph{synchronous} CONGEST网络，这样的算法对于基本的分布式计算问题是已知的，例如领导者选举[Kutten等人，JACM 2015]和最小生成树（MST）构造[Pandurangan等人，STOC 2017，Elkin，PODC 2017]。然而，它是开放的是否一个奇异的（近）最优界可以获得一般\emph{asynchronous} CONGEST网络的MST建设问题。我们提出了一个随机分布的MST算法，以高概率，计算MST在\emph{asynchronous} CONGEST网络，并采取$\tilde{O}(D^{1+ε} + \sqrt{n})$时间和$\tilde{O}(m)$消息，其中$n$是节点的数量，$m$的边缘的数量，$D$是网络的直径，$ε>0$是一个任意小的常数（时间和消息的界限保持高概率）。我们的算法是消息最优的（最多一个polylog $(n)$因子）和几乎时间最优的（除了$D^ε$因子）。我们的结果回答了Mashregi和King [DISC 2019]中提出的一个悬而未决的问题，给出了第一个已知的异步MST算法，该算法具有次线性时间（对于所有$D = O(n^{1-ε})$）并使用$\tilde{O}(m)$消息。使用Mashreg…
Asynchronous Distributed Optimization with Redundancy in Cost Functions
研究了基于服务器的系统结构上的异步分布式多Agent优化问题。在这个问题中，每个代理都有一个本地成本，代理的目标是共同找到他们的总成本的最小值。解决这个问题的标准算法是迭代分布式梯度下降（DGD）方法，由服务器和代理协同实现。在同步设置中，只有在所有代理完成与服务器的预期通信后，算法才从一个迭代进行到下一个迭代。然而，这种同步可能是昂贵的，甚至在现实世界的应用中是不可行的。我们表明，等待所有的代理是不必要的，在许多应用程序的分布式优化，包括分布式机器学习，由于冗余的成本函数（或{ \em数据}）。具体而言，我们认为一个通用的概念冗余命名为$(r,ε)$ -冗余意味着可解性的原始多智能体优化问题与$ε$的准确性，尽管删除了高达$r$（总$n$）代理从系统中。我们提出了一个异步DGD算法，在每次迭代中，服务器只等待（任何）$n-r$代理，而不是所有的$n$代理。假设$(r,ε)$ -冗余，我们表明，我们的异步算法收敛到近似解的误差是线性的$ε$和$r$。此外，我们还提出了一个推广我们的算法容忍一些拜占庭故障代理系统中。最后，我们证明了改进的通信效率，我们的算法通过实验MNIST和时尚MNIST使用基准神经网络LeNet。
Consistent Bounded-Asynchronous Parameter Servers for Distributed ML
在分布式ML应用程序中，共享参数通常在计算节点之间复制，以最大限度地减少网络开销。因此，必须仔细选择合适的一致性模型，以确保算法的正确性和提供高吞吐量。通用数据库和现代分布式ML系统中使用的现有一致性模型要么过于宽松，无法保证ML算法的正确性，要么过于严格，因此无法充分利用底层分布式系统的计算能力。许多ML算法属于\emph{iterative convergent algorithms}的范畴，它从随机选择的初始点开始，通过迭代地重复一组过程来收敛到最优值。我们已经发现，许多这样的算法是有限数量的不一致性，仍然正确收敛。这个属性允许分布式ML放松严格的一致性模型，以提高系统性能，同时从理论上保证算法的正确性。本文提出了几种异步并行计算的松弛一致性模型，并从理论上证明了它们的算法正确性。所提出的一致性模型在分布式参数服务器中实现，并在流行的ML应用程序：主题建模的上下文中进行评估。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。