Distributed Convex Optimization With Limited Communications
Stanford University（斯坦福大学）；National Chiao Tung University（国立交通大学）
提出了一种分布式凸优化算法--\emph{distributed coordinate dual averaging}（DCDA）算法。DCDA算法解决了网络中节点之间通信有限的大型分布式优化问题的场景。目前已知的分布式次梯度方法，如分布式双平均或分布式交替方向方法的乘法器算法，假设节点可以交换大基数的消息。这样的网络通信能力在许多实际相关的场景中是无效的。另一方面，在DCDA算法中，优化变量的每个坐标的通信随时间被限制。对于所提出的算法，我们约束下不同的通信协议和网络架构的收敛速度。我们还考虑了不完善的梯度知识的情况下，在这种情况下，传输的消息被破坏的加性噪声或量化的扩展。并给出了相应的数值模拟结果。
2018-10-29 cs.DC cs.LG cs.MA
Communication Dualism in Distributed Systems with Petri Net Interpretation
本文对通信二元论的概念进行了形式化描述，并给出了Petri网解释.我们认为通信二元论是分布式系统中通信的一个基本属性。的形式化是在分布式系统（IMDS）的同步通信，以及异步消息传递和变量共享建模在一个共同的框架中的集成模型。根据这个特性，分布式系统中的通信可以被看作是一个二维现象，传递是它的空间维度，共享它的时间维度。任何分布式系统都可以建模为消息传递异步进程的组合或变量共享异步进程的组合。提出了一种在IMDS Petri网解释中自动抽取进程的方法。
2017-10-22 cs.DC
Communication-Efficient Projection-Free Algorithm for Distributed Optimization
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（乔治亚理工学院H. Milton Stewart工业与系统工程学院）；Department of Electrical Engineering, Technion（以色列理工学院电气工程系）
近年来，分布式优化获得了极大的兴趣。本文提出了一种无投影的分布式条件梯度滑动算法（DCGS）。与最先进的分布式Frank-Wolfe算法相比，我们的算法在更现实的假设下达到了相同的通信复杂度。与基于共识的算法相比，DCGS基于原始对偶法，产生模块化分析，可以利用该模块化分析来改善线性预言机的复杂性，只要可以改善集中式Frank-Wolfe算法。我们证明了这一优势，并表明，线性预言复杂性可以降低到几乎相同的数量级的通信复杂性，当可行集是多面体。最后，我们提出了实验结果的套索和矩阵完成，表现出显着的性能改善相比，现有的分布式弗兰克-沃尔夫算法。
2018-05-20 cs.DC cs.LG math.OC
O(1) Communication for Distributed SGD through Two-Level Gradient Averaging
Florida State University（佛罗里达州立大学）
大型神经网络模型对分布式随机梯度下降（SGD）提出了巨大的通信挑战，对于n个参数的模型，每个工作者的通信复杂性为O（n）。已经提出了许多稀疏化和量化技术来压缩梯度，其中一些将通信复杂性降低到O（k），其中k <<n。在本文中，我们引入了一种称为两级梯度平均（A2SGD）的策略，在计算更新模型的两个全局平均值之前，将所有梯度合并为每个工人的两个局部平均值。A2SGD还保留了局部误差，以保持快速收敛的方差。我们的理论分析表明，A2SGD收敛类似于默认的分布式SGD算法。我们的评估验证了理论结论，并表明A2SGD显着降低了每个工人的通信流量，并将LSTM-PTB的总体训练时间分别提高了3.2倍和23.2倍，与Top-K和QSGD相比。据我们所知，A2 SGD是第一个实现O（1）通信复杂性的分布式SGD。
2020-06-16 cs.DC cs.LG stat.ML
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS（LAAS-法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
我们描述了并行或分布式异步迭代算法的几个特点，如无界延迟，可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后，给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
Distributed Dual Coordinate Ascent in General Tree Networks and Communication Network Effect on Synchronous Machine Learning
Penn State Behrend（宾夕法尼亚州立大学贝伦德分校）；University of California, Davis（加州大学戴维斯分校）；University of Iowa（爱荷华大学）
由于数据量大，单台计算机或单台服务器的数据存储量有限，数据往往以分布式方式存储。因此，经常需要通过通信网络对分布式数据集执行大规模机器学习操作。本文研究了一般树结构网络中分布式机器学习问题的分布式双坐标上升的收敛速度。由于树型网络模型可以理解为星型网络模型的推广，因此我们的算法可以看作是星型网络模型中分布式对偶坐标上升的推广。本文以递归的方式给出了一般树状网络上分布式对偶坐标上升的收敛速度，并分析了网络对收敛速度的影响。其次，考虑网络通信时延，对分布式双坐标上升算法进行优化，使其收敛速度最大化。从我们的分析结果，我们可以选择最佳的局部迭代次数取决于通信延迟的严重程度，以达到最快的收敛速度。在数值实验中，我们考虑通信网络上的机器学习场景，其中本地工作者不能直接到达一个中心节点，由于通信的限制，并证明了我们的分布式双坐标上升算法在树网络的可用性。此外，我们还证明了在分布式双协调上升算法中，根据网络通信延迟调整局部和全局迭代次数可以提高算法的收敛速度。
2021-02-18 cs.DC cs.IT cs.LG
Communication-efficient Byzantine-robust distributed learning with statistical guarantee
School of Statistics and Mathematics（统计与数学学院）；Nanjing Audit University（南京审计大学）
通信效率和鲁棒性是现代分布式学习框架的两个主要问题。这是由于一些计算节点可能具有有限的通信能力或可能表现出对抗行为的实际情况。为了同时解决这两个问题，本文提出了两个通信高效和鲁棒的分布式学习算法的凸问题。我们的动机是基于替代似然框架和中位数和修剪平均操作。特别是，所提出的算法是可证明的强大的拜占庭故障，也实现了最佳的统计率强凸损失和凸（非光滑）的罚款。对于典型的统计模型，如广义线性模型，我们的结果表明，统计误差占主导地位的优化误差在有限的迭代。仿真和真实数据实验证明了我们的算法的数值性能。
2021-02-28 cs.DC cs.LG stat.ML
Distributed Learning with Sublinear Communication
Cornell University（康奈尔大学）；MIT（麻省理工学院）
在分布式统计学习中，$N$样本在$m$机器上被分割，并且学习者希望使用最少的通信来学习，就像示例在单个机器上一样。该模型由于其可扩展性和并行加速的潜力而在机器学习中受到了极大的关注。然而，在高维设置中，其中示例的数量小于特征的数量（“维度”），分布式学习提供的加速可能会被传达单个示例的成本所掩盖。本文探讨了以下问题：当它是可能的学习$d$维模型在分布式设置与总通信次线性$d$？从一个否定的结果，我们表明，学习$\ell_1$有界或稀疏线性模型，没有算法可以获得最佳的错误，直到通信是线性的维度。我们的主要结果是，通过稍微放松线性模型的标准有界性假设，我们可以得到分布式算法，享受最佳的误差与通信对数的维度。这个结果是基于一个家庭的算法，结合镜像下降与随机稀疏化/量化的迭代，并扩展到一般的随机凸优化模型。
2019-03-18 cs.DC cs.LG stat.ML
CADA: Communication-Adaptive Distributed Adam
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
随机梯度下降（SGD）已经成为大规模机器学习的主要工具。它通常与其自适应变体一起使用，如AdaGrad，Adam和AMSGrad。本文提出了一种用于分布式机器学习的自适应随机梯度下降方法，它可以被看作是著名的亚当方法的通信自适应对应物-证明其名称CADA。CADA的关键组成部分是一组新的规则，自适应随机梯度，可以实现节省通信上传量。新算法自适应地重用陈旧的亚当梯度，从而节省通信，并且仍然具有与原始亚当相当的收敛速度。在数值实验中，CADA实现了令人印象深刻的经验性能方面的总通信轮减少。
2020-12-31 cs.DC cs.LG math.OC
Compression and Data Similarity: Combination of Two Techniques for Communication-Efficient Solving of Distributed Variational Inequalities
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（高等经济大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Adyghe State University（阿迪格国立大学）
变分不等式是研究极小化、鞍点、对策、不动点问题的重要工具。现代大规模和计算昂贵的实际应用，使分布式方法来解决这些问题的流行。同时，大多数分布式系统都有一个基本问题-通信瓶颈。有各种各样的技术来处理它。特别是，在本文中，我们考虑了两种流行的方法：压缩和数据相似性的组合。我们表明，这种协同作用可以更有效地解决分布光滑强单调变分不等式的方法。实验验证了理论结论。
2022-09-03 cs.DC cs.LG math.OC
Fast communication-efficient spectral clustering over distributed data
University of Massachusetts, Dartmouth（马萨诸塞大学达特茅斯分校）；Lovelace Respiratory Research Institute（洛夫莱斯呼吸研究所）
由于集群计算和大数据技术的进步，在过去的几十年里，人们对分布式计算的兴趣激增。现有的分布式算法通常假设{ \it所有的数据已经在一个地方}，并划分数据和征服多台机器上。然而，越来越多的情况是数据位于多个分布式站点，并且人们希望以低通信开销计算所有数据。对于谱聚类，我们提出了一个新的框架，使其计算在这样的分布式数据，与“最小”的通信，而在计算的主要加速。与非分布式设置相比，精度损失可以忽略不计。我们的方法允许在数据所在的地方进行本地并行计算，从而将数据的分布式特性转化为一种祝福;当数据均匀分布在各个站点时，加速是最显著的。在合成和大型UC Irvine数据集上的实验表明，我们的方法几乎没有损失准确性，而在两个分布式站点的各种设置下，速度提高了约2倍。由于传输的数据不需要以其原始形式，我们的框架很容易解决隐私问题的数据共享在分布式计算。
2019-05-05 cs.DC cs.LG stat.ML
Communication-Efficient Distributed Deep Learning: A Comprehensive Survey
Hong Kong Baptist University（香港浸会大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文全面综述通信高效的分布式深度学习训练算法，提出四维分类法，比较收敛速率并实验验证，为不同分布式环境下的算法选择提供指导。
2023-09-01 cs.DC cs.LG eess.SP
GADMM: Fast and Communication Efficient Framework for Distributed Machine Learning
当数据分布在多个服务器上时，在解决分布式学习问题的同时降低服务器（或工人）之间的通信开销是一个重要的问题，也是本文研究的重点。特别是，我们提出了一个快速，通信效率高的分散框架来解决分布式机器学习（DML）问题。所提出的算法，分组交替方向乘法（GADMM）是基于交替方向乘法（ADMM）框架。GADMM的关键新颖之处在于它解决了分散式拓扑中的问题，在这种拓扑中，在任何给定的时间，最多有一半的工作人员在争夺有限的通信资源。此外，每个工作者仅与两个相邻工作者交换本地训练的模型，从而在每次交换中以较低的通信开销训练全局模型。我们证明了GADMM收敛到凸损失函数的最优解，并在数值上表明，它比最先进的通信高效算法（如Lazily Aggregated Gradient（LAG）和对偶平均）在合成和真实数据集上的线性和逻辑回归任务中收敛得更快，通信效率更高。此外，我们提出了动态GADMM（D-GADMM），GADMM的一个变种，并证明其收敛下的时变网络拓扑的工人。
2020-03-24 cs.DC cs.IT cs.LG
Towards a Centralized Scheduling Framework for Communication Flows in Distributed Systems
分布式系统的整体性能高度依赖于系统的通信效率。尽管网络资源（链路、带宽）变得越来越可用，但涉及大量数据的数据传输的通信性能不一定以相同的速率提高。这是由于可用网络资源的低效使用。这个问题的解决方案包括数据传输调度技术，其以有效的方式管理和分配网络资源。在本文中，我们提出了几个在线和离线的数据传输优化技术，在集中控制的分布式系统的背景下。
2009-06-01 cs.DC cs.DS cs.NI
Communication-Efficient (Weighted) Reservoir Sampling from Fully Distributed Data Streams
我们认为通信效率的加权和不加权（均匀）随机抽样从分布式数据流呈现为一系列的小批量项目。这是分布式流计算的自然模型，我们的目标是展示其实用性。我们提出并分析了完全分布式，通信效率的算法，这两个版本的问题。在多达256个节点（5120个处理器）上进行加权水库采样的实验评估显示出良好的加速比，而理论分析则有望进一步扩展到更大的机器。
2020-02-25 cs.DC cs.DS
Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients
Zhejiang University（浙江大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文提出了一种新的聚合梯度方法，用于分布式机器学习，自适应地压缩梯度通信。关键思想是首先对计算的梯度进行量化，然后通过重用过时的梯度来跳过信息量较少的量化梯度通信。量化和跳过会导致“懒惰”的工作者-服务器通信，这证明了术语“懒惰聚合量化梯度”（以下简称为LAQ）的合理性。我们的LAQ可以证明达到相同的线性收敛速度的梯度下降在强凸的情况下，同时影响主要节省通信开销，无论是在传输位，以及在通信轮。从经验上讲，真实数据的实验证实了显着的通信减少现有的梯度和随机梯度为基础的算法。
2019-09-17 cs.DC cs.LG math.OC
Communication-Efficient Distributed Learning via Sparse and Adaptive Stochastic Gradient
本文提出通信高效的分布式算法SASG，通过自适应聚合规则动态选择通信节点并对传输梯度进行稀疏化，在保持与SGD相同的次线性收敛速率的同时显著降低通信轮次和通信比特数。
2024-06-09 cs.DC
Distributed Deep Learning with Event-Triggered Communication
CCDC Army Research Laboratory（CCDC陆军研究实验室）；Booz Allen Hamilton（博思艾伦汉密尔顿）
我们开发了一种分布式事件触发随机梯度下降（DETSGRAD）算法，用于解决分布式深度学习中通常遇到的非凸优化问题。我们提出了一种新的通信触发机制，将允许网络代理更新他们的模型参数不定期和提供充分条件的算法步长，保证渐近均方收敛。该算法适用于分布式监督学习问题，其中一组网络代理协作训练他们的个人神经网络识别图像中的手写数字，同时不定期地共享模型参数与他们的一跳邻居。结果表明，所有代理报告类似的性能，也是一个中央训练的神经网络的性能相媲美，而事件触发的通信提供了显着减少代理间的通信。结果还表明，所提出的算法允许个别代理识别的数字，即使对应于所有数字的训练数据是不是本地提供给每个代理。
2019-09-08 cs.DC cs.LG math.OC
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
由于训练数据集规模的爆炸式增长，分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的，在减少通信成本与随机梯度下降（SGD），有很少的尝试，在建立通信有效的自适应梯度方法与可证明的保证，这是广泛用于训练大规模机器学习模型。在本文中，我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题，这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点，具有相同的迭代复杂度，未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
Compression and Sieve: Reducing Communication in Parallel Breadth First Search on Distributed Memory Systems
对于大规模分布式存储系统上的并行广度优先搜索（BFS）算法，通信开销往往比运算开销大得多，限制了算法的可扩展性。在本文中，我们充分降低分布式BFS的通信成本，通过压缩和筛选的消息。首先，我们利用位图压缩算法，以减少通信之前的消息的大小。其次，我们提出了一种新的分布式目录算法，交叉目录，以筛选消息中的冗余数据。在一个6,144核的SMP集群上的实验表明，该算法的性能是Graph 500中基准实现的2.2倍，通信时间减少了79.0%，性能速率达到了12.1 GTEPS（每秒十亿次边缘访问）。
2012-08-28 cs.DC cs.DS
Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback
Amazon Web Services（亚马逊云科技）；Hong Kong University of Science and Technology（香港科技大学）
通信开销是阻碍分布式机器学习系统可扩展性的主要瓶颈。最近，人们对使用梯度压缩来提高分布式神经网络训练的通信效率产生了极大的兴趣。使用1位量化，具有多数表决的signSGD实现了通信成本的32倍降低。然而，它的收敛是基于不切实际的假设，在实践中可能会出现分歧。在本文中，我们提出了一个一般的分布式压缩SGD Nesterov的动量。我们考虑双向压缩，它压缩到工人和从工人的梯度。给出了一般梯度压缩器在非凸问题上的收敛性分析。通过将梯度划分为块，引入了逐块压缩器，使得每个梯度块以具有缩放因子的1位格式压缩和传输，从而导致通信减少近32倍。实验结果表明，该方法与全精度分布式动量SGD算法收敛速度相当，且测试精度相同。特别是，在ImageNet上使用7个工作人员进行分布式ResNet训练时，所提出的算法使用全精度梯度实现了与动量SGD相同的测试精度，但$46\%$的挂钟时间更少。
2019-10-28 cs.DC cs.LG math.OC
Distributed Nash Equilibrium Seeking under Quantization Communication
研究了有限带宽通信下多局中人非合作博弈的纳什均衡求解问题。提出了一种分布式量化算法，它包括局部梯度播放、分布式判决估计和自适应量化。建立了算法的指数收敛性，并定量分析了收敛速度与带宽的关系。最后，一个能源消耗游戏的仿真验证了所提出的结果。
2021-11-14 cs.DC math.OC
On the Worst-case Communication Overhead for Distributed Data Shuffling
University of Arizona（亚利桑那大学）
用于处理大规模数据集的分布式学习平台正变得越来越普遍。在典型的分布式实现中，集中式主节点将数据集分成较小的批次，以便跨分布式工作者进行并行处理，以实现加速和效率。几个计算任务是连续的，并涉及多次通过数据。在数据的每次迭代中，通常的做法是在主节点上随机重新洗牌数据，为每个工作节点分配不同的批处理。这种随机的重新洗牌操作是以额外的通信开销为代价的，因为在每次洗牌时，新的数据点需要被传递到分布式工作器。在本文中，我们专注于表征信息理论上的最优通信开销的分布式数据洗牌问题。我们提出了一种新的编码数据传输方案的情况下，没有多余的存储，其中每个工人只能存储分配的数据批处理。我们的方案利用了一种新的编码机会，并适用于任何任意洗牌，并为任何数量的工人。我们还提出了一个信息理论上的最小通信开销的数据洗牌的下限，并表明，所提出的方案相匹配的最坏情况下的通信开销的下限。
2016-09-30 cs.DC cs.IT cs.LG
Distributed Matrix Factorization using Asynchrounous Communication
在机器学习中使用矩阵分解技术非常常见，主要在推荐系统等领域。尽管贝叶斯概率矩阵分解算法（BPMF）具有较高的预测精度和避免数据过拟合的能力，但由于成本过高，该算法在大规模数据上尚未得到广泛应用。在本文中，我们提出了一个分布式的高性能并行实现的BPMF共享和分布式架构上使用吉布斯采样。我们表明，通过使用高效的负载均衡，在一个节点上使用工作窃取，并通过使用异步通信的分布式版本，我们击败了最先进的实现。
2017-05-29 cs.DC
Distributed Algorithm for Collision Avoidance at Road Intersections in the Presence of Communication Failures
Chalmers University of Technology（查尔姆斯理工大学）
本文提出一种分布式算法，用于在存在通信故障时实现自动驾驶车辆在交叉口的安全避碰，确保安全性和活锁性，并在实际数据中验证了交叉延迟的轻微增加。
2017-01-10 cs.DC cs.NI cs.SY
Contract-connection:An efficient communication protocol for Distributed Ledger Technology
分布式账本技术（DLT）有望成为许多分散系统的基础。然而，不平衡和不受管制的网络布局导致DLT的效率低下，特别是在物联网（IoT）环境中，其中节点仅连接到有限数量的对等体。数据通信速度在全局上是不平衡的，并且不符合高效实时分布式系统的约束。在本文中，我们介绍了一种新的通信协议，它使节点之间的权衡计算连接/断开对等体在一个完全分散的方式。全球网络布局随着节点调整其对等节点而不断重新平衡和优化。这种通信协议削弱了通信网络的不平等性。实验表明，该通信协议稳定、高效。
2020-01-20 cs.CR cs.DC
Communication-Efficient Distributed Optimization with Quantized Preconditioners
我们调查快速和通信效率的算法，为经典的问题，最小化的总和强凸和光滑函数，分布在$n$不同的节点，可以使用有限数量的位进行通信。大多数以前的通信有效的方法，这个问题是有限的一阶优化，因此有\emph{linear}依赖于条件数的通信复杂性。我们表明，这种依赖是不是固有的：通信有效的方法，实际上可以有次线性依赖的条件数。为此，我们设计和分析的第一个通信有效的分布式变量的预条件梯度下降的广义线性模型，和牛顿法。我们的研究结果依赖于一种新的技术，用于在算法的每一步量化预条件和下降方向，同时控制它们的收敛速度。我们还通过实验验证了我们的发现，显示出快速收敛和减少通信。
2021-06-17 cs.DC math.OC
Communication efficient privacy-preserving distributed optimization using adaptive differential quantization
隐私问题和通信成本都是分布式优化中的主要问题。它们之间通常存在权衡，因为隐私保护所需的加密方法通常会导致昂贵的通信带宽。为了解决这个问题，我们，在本文中，提出了一种基于量化的方法来实现通信效率和隐私保护的解决方案的背景下，分布式优化。通过部署自适应差分量化方案，我们允许网络中的每个节点以较低的通信成本实现其最佳解决方案，同时保持其私有数据不被泄露。此外，所提出的方法是通用的，可以应用于各种分布式优化方法，如原始对偶乘法器（PDMM）和交替方向乘法器（ADMM）。移动，我们考虑两个广泛使用的对手模型：被动和窃听。最后，我们调查所提出的方法使用不同的应用程序的属性，并证明其优越的性能，包括准确性，隐私和通信成本的几个参数。
2021-05-30 cs.DC eess.SP
LAG: Lazily Aggregated Gradient for Communication-Efficient Distributed Learning
University of Minnesota - Twin Cities（明尼苏达大学双城分校）；National University of Defense Technology（国防科技大学）；University of California - Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出了一类新的梯度方法用于分布式机器学习，自适应地跳过梯度计算，以减少通信和计算来学习。设计简单的规则来检测缓慢变化的梯度，从而触发过时梯度的重用。由此产生的基于梯度的算法被称为懒惰聚合梯度-证明我们的缩写LAG使用。从理论上讲，这种贡献的优点是：i）在强凸，凸和非凸光滑情况下，收敛速度与批量梯度下降相同; ii）如果分布式数据集是异构的（由某些可测量常数量化），由于滞后梯度的自适应重用，实现目标精度所需的通信轮次减少。合成和真实数据的数值实验证实了一个显着的通信减少相比，替代品。
2018-05-30 cs.DC cs.LG math.OC
Faster Distributed Deep Net Training: Computation and Communication Decoupled Stochastic Gradient Descent
Anhui Province Key Laboratory of Big Data Analysis and Application（安徽省大数据分析与应用重点实验室）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；School of Data Science, University of Science and Technology of China（中国科学技术大学数据科学学院）
随着数据量的增加和模型规模的扩大，分布式并行训练成为解决优化挑战的重要和成功的技术。然而，尽管分布式随机梯度下降（SGD）算法可以实现线性迭代加速，但它们在实践中受到通信成本的显著限制，使得难以实现线性时间加速。在本文中，我们提出了一个计算和通信解耦的随机梯度下降（CoCoD-SGD）算法，并行运行的计算和通信，以减少通信成本。我们证明了CoCoD-SGD相对于硬件资源的总计算能力具有线性迭代加速比。与传统的分布式SGD算法相比，该算法具有较低的通信复杂性和较好的时间加速比。深度神经网络训练的实验证明了CoCoD-SGD的显著改进：在使用16个Geforce GTX 1080 Ti GPU训练ResNet 18和VGG 16时，CoCoD-SGD比传统同步SGD快2-3 $\times$。
2019-09-20 cs.DC cs.LG math.OC
A Fundamental Tradeoff between Computation and Communication in Distributed Computing
我们如何以最佳方式交换额外的计算能力，以减少分布式计算中的通信负载？我们通过描述分布式计算中计算和通信之间的基本权衡来回答这个问题，即，两者成反比。更具体地说，一般的分布式计算框架，被认为是由常用的结构，如MapReduce，其中的整体计算被分解成计算一组“映射”和“减少”功能分布在多个计算节点。提出了一种名为“编码分布式计算“（CDC）的编码方案，以证明将Map函数的计算负载增加$r$的因子（即，在$r$仔细选择的节点处评估每一函数）可产生新颖的编码机会，所述编码机会将通信负载减少相同因子。还提供了一个信息理论上的通信负载的下限，它匹配的CDC计划实现的通信负载。结果，准确地描述了分布式计算中的最优计算-通信权衡。最后，CDC的编码技术应用于Hadoop TeraSort基准开发一种新的CodedTeraSort算法，这是经验证明，以加快整体作业执行的$1.97\times$ - $3.39\times$，为典型的设置感兴趣。
2017-09-23 cs.DC cs.IT math.IT
Collective Communication for Distributed LLM Systems: Planning, Runtime Adaptation, and Computation Coordination
School of Software, Beihang University（北京航空航天大学软件学院）；State Key Laboratory of Internet Architecture, Tsinghua University（清华大学互联网架构国家重点实验室）；Infrawaves（英伟拉维斯）
本文提出以集体为中心的分类法，将分布式LLM系统集体通信进展分为规划、执行适配、计算通信协调三层，探讨相关开放挑战与未来机遇。
2026-08-18 cs.DC
Modeling the Impact of Fiber Latency on Compute-Communication Overlap in Geo-Distributed Multi-Datacenter AI Training
Corning Inc.（康宁公司）
本文通过离散事件模拟量化了光纤延迟对地理分布式AI模型训练有效性的影響，发现两个AI集群之间的最佳距离为10-100公里，此范围内空芯光纤可使计算-通信重叠提高25%。
2026-05-18 cs.DC cs.PF
Communication Efficient Distributed Training with Distributed Lion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Reality Lab（元宇宙实验室）
本文提出 Distributed Lion，利用 Lion 优化器的符号算子仅传输二值或低精度向量，在保持与标准优化器相当性能的同时显著降低分布式训练通信成本，并展现出优于现有高效分布式方法的性能-带宽平衡。
2024-03-30 cs.AI cs.DC cs.LG
Lagom: Unleashing the Power of Communication and Computation Overlapping for Distributed LLM Training
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
Lagom通过统一成本模型和优先级搜索算法，优化分布式大模型训练中的通信与计算重叠，实现速度提升。
2026-02-24 cs.DC
CondenseGraph: Communication-Efficient Distributed GNN Training via On-the-Fly Graph Condensation
University of Michigan（密歇根大学）；University of Southern California（南加州大学）；New York University（纽约大学）；Rice University（莱斯大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
CondenseGraph通过即时图压缩和误差反馈机制，实现分布式GNN训练的高效通信和高精度
2026-01-25 cs.DC
SHIRO: Near-Optimal Communication Strategies for Distributed Sparse Matrix Multiplication
Institute of Science Tokyo（东京科学大学）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Intel Corporation（英特尔公司）
本文提出SHIRO框架，通过细粒度稀疏感知通信策略和分层通信策略，减少通信开销，提升分布式稀疏矩阵乘法的性能与可扩展性。
2026-05-13 cs.DC cs.PF
A Simple Communication Scheme for Distributed Fast Multipole Methods
Graphcore（格科）
本文提出基于MPI邻域集体和统一树的简单分层通信方案，用于将现有的高性能共享内存统一树FMM实现扩展到分布式内存，同时保持共享内存优化。
2026-04-30 cs.DC
QUANTAS: Quantitative User-friendly Adaptable Networked Things Abstract Simulator
我们提出了量子：一个模拟器，使分布式算法的定量性能分析。它有许多吸引人的特点。QUANTAS是一个抽象的模拟器，因此，获得的结果不受特定网络或操作系统架构的影响。QUANTAS允许分布式算法研究人员快速调查潜在的解决方案并收集有关其性能的数据。QUANTAS编程相对简单，理论研究人员可以使用。为了展示QUANTAS的能力，我们实现并比较了来自四种主要分布式算法的两个代表性示例的行为：区块链，分布式哈希表，共识和可靠的数据链路消息传输。
2022-05-16 cs.DC
DFOGraph: An I/O- and Communication-Efficient System for Distributed Fully-out-of-Core Graph Processing
随着图结构数据量的不断增加，需要能够扩展和放大的图处理系统来处理极端规模的数据集。虽然现有的分布式核外解决方案使其成为可能，但由于I/O和通信成本过高，它们的性能有限。我们提出了DFOGraph，一个分布式的完全核外图形处理系统，应用和组装多种技术，使I/O和通信效率的处理。DFOGraph建立在两级面向列的分区上，具有自适应压缩表示，允许细粒度的选择性计算和通信，并且它只发出必要的磁盘和网络请求。我们的评估显示，DFOGraph在单台机器上实现了与GridGraph和FlashGraph相当的性能（> 2.52倍和1.06倍），并且在扩展时显著优于Chaos和HybridGraph（> 12.94倍和> 10.82倍）。
2021-01-18 cs.DC
Distributed Gaussian Mean Estimation under Communication Constraints: Optimal Rates and Communication-Efficient Algorithms
University of Pennsylvania（宾夕法尼亚大学）
在决策理论框架下研究了通信约束下高斯均值的分布式估计问题。极小极大收敛率，其特征之间的权衡通信成本和统计精度，建立在单变量和多变量设置。制定了通信效率高和统计上最佳的程序。在单变量的情况下，最佳速率只取决于总的通信预算，只要每个本地机器至少有一个比特。然而，在多变量的情况下，最小最大速率取决于本地机器之间的通信预算的具体分配。虽然高斯均值的最优估计在传统的环境中相对简单，但在通信约束下，它涉及到最优过程设计和下界参数。在本文中开发的技术可以是独立的利益。一个重要的步骤是分解成两个阶段，本地化和细化的极大极小估计问题。这种临界分解为下界分析和最优程序设计提供了一个框架。
2020-01-24 cs.DC cs.IT cs.LG
S2 Reducer: High-Performance Sparse Communication to Accelerate Distributed Deep Learning
College of Computer, National University of Defense Technology（国防科技大学计算机学院）
分布式随机梯度下降（SGD）方法在大规模深度学习中得到了广泛应用，梯度集合方法是保证分布式深度学习系统训练可扩展性的关键。诸如AllReduce的集体通信已被广泛用于分布式SGD过程以减少通信时间。然而，AllReduce会占用大量带宽资源，而大多数梯度在许多情况下是稀疏的，因为许多梯度值为零，应该有效地压缩以节省带宽。为了减少稀疏梯度通信开销，我们提出了稀疏草图还原器（S2还原器），一种新的基于草图的稀疏梯度聚合方法，具有收敛保证。S2 Reducer通过仅使用计数草图和位图压缩非零梯度来降低通信成本，并支持高效的AllReduce操作符进行并行SGD训练。我们对五种训练模型中的四种最先进的方法进行了广泛的评估。我们的研究结果表明，S2 Reducer收敛到相同的精度，减少了81\%的稀疏通信开销，并实现了1.8 $ \times $的加速比相比，国家的最先进的方法。
2021-11-26 cs.AI cs.DC
Communication Lower Bounds for Distributed-Memory Computations
我们给出了下限的通信复杂性需要解决几个计算问题，在分布式存储器并行机，即标准矩阵乘法，模板计算，比较排序，和快速傅立叶变换。我们重新审视的假设下，得出前面的结果，并提供新的下限，使用弱得多，适当的假设。我们的边界依赖于一个温和的假设工作分布，并加强以前的结果，需要计算之间的处理器平衡，或特定的初始分布的输入数据，或处理器的本地存储器的大小上界。
2013-09-20 cs.DC cs.DS
Distributed Principal Component Analysis with Limited Communication
我们研究有效的分布式算法的基本问题的主成分分析和领先的特征向量计算的球体上，当数据随机分布在一组计算节点。我们提出了一个新的量化变形的黎曼梯度下降来解决这个问题，并证明了该算法收敛的一组必要的球凸性质的高概率。我们给出了共同的初始化方案下的算法传输的位数的界限，并调查在每种情况下的问题维度的依赖性。
2021-10-27 cs.DC math.OC
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
在对等网络分布式优化中，信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式（COLD）算法。通过压缩新息向量，这是决策向量和他们的估计之间的差异，COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度，并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机，包括二进制量化器，我们进一步设计了一种新的动态缩放机制，并获得线性收敛Dyna-COLD。重要的是，我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
Edge Learning for B5G Networks with Distributed Signal Processing: Semantic Communication, Edge Computing, and Wireless Sensing
为了在新兴的无线服务中处理和传送大量数据，利用分布式数据通信和学习变得越来越有吸引力。具体来说，边缘学习（EL）可以在地理上分散的边缘节点上进行本地模型训练，并最大限度地减少频繁数据交换的需求。然而，分离EL部署和通信优化的当前设计尚未获得分布式信号处理的承诺益处，并且有时遭受过多的信令开销、长处理延迟和不稳定的学习收敛。在本文中，我们提供了一个实用的分布式EL技术和先进的通信优化设计的相互作用的概述。特别是，典型的双功能学习和通信网络的性能指标进行了讨论。最后，从“为学习而通信”和“为通信而学习”的相互视角，对双功能设计使能技术的最新成果进行了综述。EL技术在各种未来通信系统中的应用也被设想用于超5G（B5G）无线网络。对于面向目标的语义通信中的应用，我们提出了第一个数学模型的面向目标的源熵作为一个优化问题。此外，从信息论的角度来看，我们确定基本的开放性问题的通信网络支持分布式学习和计算任务的速率区域的特征。我们还提出了该领域的技术挑战和新兴应用机会，旨在激发未来的研究，促进EL在B5G中的广泛发展。
2022-06-01 cs.DC cs.IT math.IT
Communication and Synchronization of Distributed Medical Models: Design, Development, and Performance Analysis
基于模型的开发是一种广泛使用的描述复杂系统的方法，可以实现快速原型化。分布式系统科学的进步导致了分布在多个位置的大规模状态图模型的发展。以医疗为例，农村救护车运输过程中的最佳做法指南模型在从农村医院到救护车再到中央三级医院的各个医院环境中分发。不幸的是，这些医学模型需要在物理分布的治疗位置中的各个医学模型之间进行连续和实时的通信，这为临床医生和医生提供了重要的帮助。这使得有必要在分布式环境中提供模型驱动的通信和同步方法。在本文中，我们描述了ModelSink，一个中间件，以解决异构分布式模型的通信和同步问题。出于在紧急救护车运输的同步要求，我们使用医疗最佳实践模型作为案例研究来说明分布式模型的概念。通过ModelSink，我们实现了一个高效的通信架构，开环安全协议，排队和映射机制符合基于状态图的模型驱动开发的语义。我们评估了ModelSink在分布式医疗模型集上的性能，这些模型是我们开发的，用于评估ModelSink在各种负载下的性能。我们的工作旨在帮助临床医生，EMT和医务人员防止意外偏离医疗最佳实践，并克服分布式医院网络中存在的连接和协调挑战。我们的实践表明，实际上除了医学之外，还有其他潜在的领域，我们的中间件可以提供所需的实用程序。
2018-01-22 cs.DC cs.SE
Combining Federated and Active Learning for Communication-efficient Distributed Failure Prediction in Aeronautics
Zodiac Inflight Innovations；SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris（SAMOVAR、南巴黎电信学院、巴黎理工学院）
近年来，机器学习已被证明是实现工业系统故障预测的有用方法。然而，运行学习算法所需的高计算资源是其广泛应用的障碍。分布式学习的子领域提供了一个解决这个问题的方法，它允许使用远程资源，但代价是在应用程序中引入通信成本，这并不总是可以接受的。在本文中，我们提出了一种分布式学习方法，能够优化计算和通信资源的使用，通过集中式架构实现出色的学习模型性能。为了实现这一目标，我们提出了一种新的集中式分布式学习算法，它依赖于主动学习和联邦学习的学习范式，提供了一种通信效率高的方法，提供了客户端和中央服务器上的模型精度的保证。我们在一个公共基准上评估了这种方法，结果表明，尽管有额外的限制，它在精度方面的性能非常接近非分布式学习的最先进的性能水平。
2020-01-21 cs.AI cs.DC
Distributed Average Consensus Over Noisy Communication Links in Directed Graphs
受弹性、可伸缩性和即插即用操作需求的推动，分布式决策变得越来越普遍。在多智能体系统中达成共识的问题是分布式决策的核心。在这篇文章中，我们研究了在有向多智能体网络中，当通信链路被噪声破坏时，实现平均共识的问题。我们提出了一个算法，每个代理更新其估计的基础上的本地混合的信息，并增加其加权无噪声的初始信息，其更新在每次迭代。我们证明，适当设计的权重的代理实现共识下添加剂的通信噪声。我们建立，当通信链路是无噪声的，所提出的算法以几何速度走向共识。在通信噪声下，我们证明了代理估计几乎肯定会达到共识值。我们提出了数值实验，以证实所提出的算法在不同的噪声实现和各种算法参数的有效性。
2022-11-11 cs.DC cs.MA cs.SY
