On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
大规模分布式机器学习应用的最新发展，例如，深度神经网络极大地受益于分布式非凸优化技术的进步，例如，随机梯度下降（SGD）最近的一系列工作研究了分布式SGD变体的线性加速特性，减少了通信。线性加速特性使我们能够通过向系统中添加更多的计算节点来扩展计算能力。降低通信复杂度是期望的，因为通信开销通常是分布式系统中的性能瓶颈。最近，动量方法越来越广泛地用于训练机器学习模型，并且通常可以更快地收敛和更好地推广。例如，许多从业者使用分布式SGD与动量，用大数据训练深度神经网络。然而，目前还不清楚是否有任何分布式动量SGD具有相同的线性加速性能的分布式SGD，并降低了通信的复杂性。本文填补了这一空白，考虑分布式通信有效的动量SGD方法，并证明其线性加速性能。
2019-05-09 cs.LG math.OC
Partitioning Data on Features or Samples in Communication-Efficient Distributed Optimization?
Lehigh University（利哈伊大学）
本文研究了数据划分方式对分布式优化的影响。原始的DiSCO算法[Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss，Ychen Zhang and Lin Xiao，2015]基于样本对输入数据进行分区。我们描述了如何修改原始算法，允许分区功能，并显示其效率在理论上和实践中。
2015-10-22 cs.LG math.OC
The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Weizmann Institute of Science（魏茨曼科学研究所）
我们解决了分布式随机凸优化的最小-最大复杂性（最多为对数因子）在间歇性通信设置，其中$M$机器并行工作的过程中的$R$轮的通信，以优化目标，并在每一轮的通信，每台机器可以顺序计算$K$随机梯度估计。我们提出了一个新的下限与匹配的上限，建立一个最佳的算法。
2021-08-05 cs.LG math.OC
Distributed SAGA: Maintaining linear convergence rate with limited communication
Criteo
近年来，方差缩减随机方法显示出很好的实用性能，在其他随机方法只能提供次线性收敛速度的情况下，方差缩减随机方法显示出线性收敛速率。然而，随着数据集变得越来越大，聚类变得越来越普遍，对快速分发方法的需求变得迫切。我们在这里提出了一个分配方案SAGA保持线性收敛速率，即使节点之间的通信是有限的。
2017-05-29 cs.LG math.OC
Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity
UC Berkeley（加州大学伯克利分校）；The University of Iowa（爱荷华大学）；Princeton University（普林斯顿大学）
研究了最小化凸函数平均值的分布式优化算法。这些应用包括统计机器学习中的经验风险最小化问题，其中数据集很大，必须存储在不同的机器上。我们设计了一个分布式的随机方差约简梯度算法，在一定的条件下的条件数，同时实现了最佳的并行运行时间，通信量和通信轮之间的所有分布式一阶方法常数的因素。我们的方法和它的加速扩展也优于现有的分布式算法的轮通信，只要条件数是不是太大的数据在每台机器的大小相比。我们还证明了一个下界的通信轮数广泛的一类分布式一阶方法，包括本文提出的算法。我们表明，我们的加速分布式随机方差降低梯度算法达到这个下界，使它使用最少的通信轮之间的所有分布式一阶算法。
2016-01-06 cs.LG math.OC stat.ML
A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting
KAUST（阿卜杜拉国王科技大学）
提出一种结合随机梯度方差缩减、部分参与和压缩通信的分布式非凸优化新方法，在部分参与设置下实现了最优 oracle 复杂度和最优通信复杂度，且无需所有节点参与或有界梯度假设。
2024-01-03 cs.LG math.OC
Distributed Stochastic Zeroth-Order Optimization with Compressed Communication
针对分布式系统中通信开销大和梯度计算不可行的挑战，提出仅需两次函数评估且集成压缩算子的随机分布式零阶算法Com-DSZO及其方差缩减变体，并证明其次线性收敛速率与压缩-收敛权衡。
2025-09-18 cs.MA math.OC
Communication-Censored Distributed Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Sun Yat-Sen University（中山大学）
针对分布式机器学习等应用中通信量大的问题，提出了一种通信效率高的分布式随机最优化算法。与现有的基于量化和稀疏化的算法不同，本文引入了一种通信删失技术来减少变量的传输，这导致了我们的通信删失分布式随机梯度下降（CSGD）算法。具体来说，在CSGD中，当且仅当它是足够信息时，在工作者处的最新小批量随机梯度将被传输到服务器。当最新的渐变不可用时，旧的渐变将在服务器上重用。为了实现这种通信审查策略，批量大小增加，以减轻随机梯度噪声的影响。从理论上讲，CSGD具有与SGD相同的收敛速度，但有效地减少了通信量。数值实验表明，CSGD的通信节省相当大的。
2020-01-03 cs.LG math.OC stat.ML
Nash Equilibrium Seeking in Networked Games with Intermittent Communication
针对间歇通信下网络化博弈的纳什均衡寻求问题，提出无准周期约束的完全非周期间歇通信策略，用平均通信率刻画通信与静默时间分布，仅通信时段估计他人行动，经仿真验证了理论有效性。
2023-10-04 math.OC
Distributed Learning: Sequential Decision Making in Resource-Constrained Environments
Princeton University（普林斯顿大学）
我们研究了具有成本效益的通信策略，可用于提高分布式学习系统在资源受限的环境中的性能。对于分布式学习中的顺序决策，我们提出了一个新的成本效益的部分通信协议。我们说明，与此协议的组获得相同的顺序的性能，它获得了充分的沟通。此外，我们证明，根据建议的部分通信协议的通信成本是$O(\log T)$，其中$T$是决策过程的时间范围。这显著地改进了具有完全通信的协议，其导致$O(T)$的通信成本。我们使用数值模拟验证我们的理论结果。
2020-04-13 cs.LG math.OC stat.ML
HyNTP: A Distributed Hybrid Algorithm for Time Synchronization
本文提出了一种分布式的混合算法，用于计算网络上连接的一组时钟的时间和速率。在非周期性时刻给出节点的时钟测量，并且每个节点处的控制器使用这些测量来实现同步。由于时钟和网络的连续性和脉冲性，我们引入了一个混合系统模型来有效地捕捉系统的动态特性和所提出的混合算法。此外，混合算法允许每个代理估计其内部时钟的偏斜，以允许同步到一个共同的定时器速率。我们提供了充分条件，保证同步的定时器，指数快速。数值结果表明，所提出的算法，以及其性能对可比算法从文献中诱导的同步属性。
2022-07-08 math.DS math.OC
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research（微软研究院）
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数，该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法，以尽量减少整体经验损失，这是平均的本地经验损失。该算法基于不精确阻尼牛顿法，其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数，并讨论了分布岭回归，逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中，算法所需的通信轮数不会随着样本量的增加而增加，只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Distributed Resource Allocation over Time-varying Balanced Digraphs with Discrete-time Communication
本文研究了在连续时间环境下的分布式资源分配问题，同时考虑了在无限连通平衡有向图上的离散时间通信。我们提供了一个被动为基础的连续时间算法的角度来看，间歇性的通信计划的基础上开发。特别地，通过分析每个节点处的分布式动态的输出采样的无源性退化，首先导出周期性通信方案。在此基础上，进一步提出了一种异步分布式事件触发机制。基于采样的事件触发通信方案不受Zeno行为的影响，因为最小事件间时间是采样周期的下界。该算法中的参数仅依赖于每个节点的局部信息，可以以真正的分布式方式进行设计
2021-01-15 cs.MA cs.SY eess.SY
Communication Complexity of Distributed Convex Learning and Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了凸学习和优化的通信有效的分布式方法的基本限制，在不同的假设下，对单个机器的信息，以及考虑的功能类型。我们确定的情况下，现有的算法已经是最坏情况下的最佳，以及进一步改进的空间仍然是可能的情况下。除此之外，我们的研究结果表明，如果局部目标函数之间没有相似性（由于统计数据相似性或其他原因），即使机器具有无限的计算能力，也可能需要许多通信回合。
2015-10-28 cs.LG math.OC stat.ML
Quantized Epoch-SGD for Communication-Efficient Distributed Learning
Nanjing University（南京大学）
随机梯度下降（SGD）算法由于其高效性和易于实现性，在机器学习中得到了广泛的应用。特别是，SGD是分布式学习中最流行的优化方法之一。近年来，量化的SGD（QSGD），它采用量化来减少基于SGD的分布式学习的通信成本，引起了人们的广泛关注。虽然已经提出了几种QSGD方法，其中一些是启发式的，没有理论保证，和其他人有很大的量化方差，这使得收敛变慢。在本文中，我们提出了一种新的方法，称为量化时代SGD（QESGD），通信效率的分布式学习。QESGD对参数进行压缩（量化），降低了方差，从而可以以更少的通信代价获得与SGD几乎相同的性能。QESGD在Parameter Server框架上实现，分布式深度学习的实证结果表明，QESGD可以超越其他最先进的量化方法，以实现最佳性能。
2019-01-10 cs.LG math.OC stat.ML
Communication-Efficient Projection-Free Algorithm for Distributed Optimization
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（乔治亚理工学院H. Milton Stewart工业与系统工程学院）；Department of Electrical Engineering, Technion（以色列理工学院电气工程系）
近年来，分布式优化获得了极大的兴趣。本文提出了一种无投影的分布式条件梯度滑动算法（DCGS）。与最先进的分布式Frank-Wolfe算法相比，我们的算法在更现实的假设下达到了相同的通信复杂度。与基于共识的算法相比，DCGS基于原始对偶法，产生模块化分析，可以利用该模块化分析来改善线性预言机的复杂性，只要可以改善集中式Frank-Wolfe算法。我们证明了这一优势，并表明，线性预言复杂性可以降低到几乎相同的数量级的通信复杂性，当可行集是多面体。最后，我们提出了实验结果的套索和矩阵完成，表现出显着的性能改善相比，现有的分布式弗兰克-沃尔夫算法。
2018-05-20 cs.DC cs.LG math.OC
Communication-Efficient Distributed Dual Coordinate Ascent
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；Lehigh University（理海大学）
通信仍然是大规模机器学习分布式优化算法性能的最重要瓶颈。在本文中，我们提出了一个通信效率的框架，CoCoA，它使用本地计算在原始对偶设置，大大减少了必要的通信量。我们为这类算法提供了强大的收敛速度分析，以及在Spark中实现的真实分布式数据集上的实验。在我们的实验中，我们发现，与最先进的SGD和SDCA算法的小批量版本相比，CoCoA平均以25倍的速度收敛到相同的.001精度解决方案质量。
2014-09-29 cs.LG math.OC stat.ML
Linear convergence of a dual optimization formulation for distributed optimization on directed graphs with unreliable communications
这项工作的基础上，我们最近的工作与定向不可靠的通信图的分布式优化算法。当我们取每个函数的最接近点或当函数光滑时取仿射次量时，我们证明了它的线性收敛。
2018-11-28 math.OC
CADA: Communication-Adaptive Distributed Adam
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
随机梯度下降（SGD）已经成为大规模机器学习的主要工具。它通常与其自适应变体一起使用，如AdaGrad，Adam和AMSGrad。本文提出了一种用于分布式机器学习的自适应随机梯度下降方法，它可以被看作是著名的亚当方法的通信自适应对应物-证明其名称CADA。CADA的关键组成部分是一组新的规则，自适应随机梯度，可以实现节省通信上传量。新算法自适应地重用陈旧的亚当梯度，从而节省通信，并且仍然具有与原始亚当相当的收敛速度。在数值实验中，CADA实现了令人印象深刻的经验性能方面的总通信轮减少。
2020-12-31 cs.DC cs.LG math.OC
A dual ascent algorithm for asynchronous distributed optimization with unreliable directed communications
我们证明了Bof-Carli-Schenato在不可靠通信的有向图上的平均一致性算法具有双重优化解释，该解释可以推广到分布式优化的情况.我们报告我们的数值模拟的分布式优化算法的光滑和非光滑的功能。
2019-02-21 math.OC
Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients
Zhejiang University（浙江大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文提出了一种新的聚合梯度方法，用于分布式机器学习，自适应地压缩梯度通信。关键思想是首先对计算的梯度进行量化，然后通过重用过时的梯度来跳过信息量较少的量化梯度通信。量化和跳过会导致“懒惰”的工作者-服务器通信，这证明了术语“懒惰聚合量化梯度”（以下简称为LAQ）的合理性。我们的LAQ可以证明达到相同的线性收敛速度的梯度下降在强凸的情况下，同时影响主要节省通信开销，无论是在传输位，以及在通信轮。从经验上讲，真实数据的实验证实了显着的通信减少现有的梯度和随机梯度为基础的算法。
2019-09-17 cs.DC cs.LG math.OC
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
由于训练数据集规模的爆炸式增长，分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的，在减少通信成本与随机梯度下降（SGD），有很少的尝试，在建立通信有效的自适应梯度方法与可证明的保证，这是广泛用于训练大规模机器学习模型。在本文中，我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题，这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点，具有相同的迭代复杂度，未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
Nested Distributed Gradient Methods with Adaptive Quantized Communication
在本文中，我们考虑最小化的局部凸目标函数在分布式设置，其中通信可能是昂贵的总和。提出并分析了一类自适应量化通信的嵌套分布式梯度法（NEAR-DGD+Q）。我们展示了执行多个量化通信步骤对收敛速度收敛速率和收敛邻域大小的影响，并证明了随着一致步骤和自适应量化的数量增加，R-线性收敛到精确解。我们测试的性能的方法，以及一些实际的变种，二次函数，并显示多个量化的通信步骤的迭代/梯度评估，通信和成本方面的影响。
2019-08-26 math.OC
On the convergence rate of distributed gradient methods for finite-sum optimization under communication delays
受机器学习和统计学应用的启发，我们研究了处理器网络上的分布式最优化问题，其目标是优化由局部函数和组成的全局目标。在这些问题中，由于数据集的规模很大，数据和计算必须分布在处理器上，从而需要分布式算法。在本文中，我们考虑一个流行的分布式基于梯度的共识算法，它只需要本地计算和通信。在这方面的一个重要问题是分析的收敛速度，这样的算法在分布式系统中不可避免的通信延迟的存在。我们证明了收敛的基于梯度的共识算法中存在的统一，但可能任意大，处理器之间的通信延迟。此外，我们得到了一个上界的收敛速率的算法作为网络的大小，拓扑结构和处理器间的通信延迟的函数。
2019-05-11 math.OC
Distributed Kalman filtering with event-triggered communication: a robust approach
研究了传感器网络中数据传输受限和模型不确定性情况下的分布式卡尔曼滤波问题。更准确地说，我们提出了一个分布式过滤策略与事件触发的通信中的状态估计器的计算根据最不利的模型。后者属于一个球（在Kullback-Leibler拓扑）的名义模型。我们还提出了一个初步的数值例子，以测试所提出的策略的性能。
2022-05-17 math.OC
Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback
Amazon Web Services（亚马逊云科技）；Hong Kong University of Science and Technology（香港科技大学）
通信开销是阻碍分布式机器学习系统可扩展性的主要瓶颈。最近，人们对使用梯度压缩来提高分布式神经网络训练的通信效率产生了极大的兴趣。使用1位量化，具有多数表决的signSGD实现了通信成本的32倍降低。然而，它的收敛是基于不切实际的假设，在实践中可能会出现分歧。在本文中，我们提出了一个一般的分布式压缩SGD Nesterov的动量。我们考虑双向压缩，它压缩到工人和从工人的梯度。给出了一般梯度压缩器在非凸问题上的收敛性分析。通过将梯度划分为块，引入了逐块压缩器，使得每个梯度块以具有缩放因子的1位格式压缩和传输，从而导致通信减少近32倍。实验结果表明，该方法与全精度分布式动量SGD算法收敛速度相当，且测试精度相同。特别是，在ImageNet上使用7个工作人员进行分布式ResNet训练时，所提出的算法使用全精度梯度实现了与动量SGD相同的测试精度，但$46\%$的挂钟时间更少。
2019-10-28 cs.DC cs.LG math.OC
Communication Compression for Distributed Nonconvex Optimization
本文研究了费用函数分布在多个智能体上的分布式非凸优化问题。注意到信息压缩是一个关键的工具，以减少沉重的通信负载的分布式算法代理迭代与邻居进行通信，我们提出了三个分布式原始对偶法压缩通信。前两个算法适用于相对压缩误差有界的一般压缩器类，第三个算法适用于绝对压缩误差有界的一般压缩器类。我们表明，所提出的分布式算法与压缩通信具有可比的收敛性能，最先进的算法与精确的通信。具体地说，我们发现，他们可以找到一阶平稳点的次线性收敛速度$\mathcal{O}(1/T)$时，每个本地的成本函数是光滑的，其中$T$是迭代的总次数，并找到全局最优解的线性收敛速率的一个附加条件下，全球费用函数满足Polyak--Jasiewicz条件。通过数值模拟验证了理论结果的有效性。
2022-10-07 math.OC
Communication-Efficient Distributed Statistical Inference
我们提出了一个通信有效的代理Likestive（CSL）框架解决分布式统计推断问题。CSL为全局似然提供了一种通信效率高的替代，可用于低维估计、高维正则化估计和贝叶斯推断。对于低维估计，CSL可证明地改进了朴素平均方案，并有利于置信区间的构建。对于高维正则化估计，CSL导致一个极小极大最优估计与控制通信成本。对于贝叶斯推断，CSL可以用于形成收敛于真实后验的通信有效的准后验分布。这种准后验过程显着提高了MCMC算法的计算效率，即使在非分布式设置。我们提出了理论分析和实验来探索CSL近似的属性。
2016-11-06 cs.IT cs.LG math.IT
Affine-coupled Distributed Optimization via Distributed Proximal Jacobian ADMM with Quantized Communication
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Bologna（博洛尼亚大学）；KTH Royal Institute of Technology（皇家理工学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出一种结合集中式近端雅可比交替方向乘子法与有限级量化共识方案的分布式算法，用于解决受限通信带宽下的分布式资源分配优化问题，证明其在凸目标函数下具有亚线性收敛性。
2026-04-16 cs.SY eess.SY math.OC
A Communication-Efficient and Differentially-Private Distributed Generalized Nash Equilibrium Seeking Algorithm for Aggregative Games
本文针对聚合博弈中带宽受限的分布式广义纳什均衡求解问题，提出一种结合事件触发通信与信息压缩的通信高效算法，同时节省传输轮次和比特数，并证明其收敛性及在随机量化下实现$(0,δ)$-差分隐私。
2025-03-11 math.OC
Distributed Optimization With Event-triggered Communication via Input Feedforward Passivity
在这项工作中，我们解决了分布式最优化问题与事件触发通信的概念输入前馈被动性（IFP）。首先，我们分析了分布式连续时间算法一致联合强连通平衡有向图在IFP为基础的框架。然后，我们提出了一个分布式的事件触发的通信机制，该算法。接下来，我们离散的连续时间算法的前向欧拉法与恒定的步长无关的网络大小，并表明，离散化可以看作是一个步长依赖的输入前馈无源性退化。因此，离散化系统保留了IFP属性，并启用相同的事件触发通信机制，但由于离散时间性质而没有Zeno行为。最后，给出了一个数值例子来说明我们的结果.
2020-06-10 math.OC
Distributed Nash Equilibrium Seeking under Quantization Communication
研究了有限带宽通信下多局中人非合作博弈的纳什均衡求解问题。提出了一种分布式量化算法，它包括局部梯度播放、分布式判决估计和自适应量化。建立了算法的指数收敛性，并定量分析了收敛速度与带宽的关系。最后，一个能源消耗游戏的仿真验证了所提出的结果。
2021-11-14 cs.DC math.OC
Distributed Seeking for Fixed Points of Biased Stochastic Operators: A Communication-Efficient Approach
Northeastern University（东北大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Tongji University（同济大学）；Southeast University（东南大学）；University of Victoria（维多利亚大学）
本文研究了多智能体网络上可和性随机算子的分布式固定点寻找问题，提出了一种在放松增长偏置和方差条件下基于近似Krasnosel'ski\uı--Mann迭代的通信高效分布式算法，通过整合通信压缩和动态周期跳过技术，建立了分布式固定点迭代的收敛性保证，实现了与分布式非凸优化算法的理论统一。
2026-05-21 math.OC
Robust Distributed Kalman filtering with Event-Triggered Communication
研究了传感器网络中数据传输有约束条件且模型存在不确定性的分布式卡尔曼滤波问题。更准确地说，我们提出了两个分布式过滤策略与事件触发的通信状态估计器计算根据最不利的模型。后者属于一种关于球的名义模型。我们还表明，这两种方法是稳定的意义上的状态估计误差的均方有界的所有节点。
2022-09-09 math.OC
Distributed Robust Dynamic Average Consensus with Dynamic Event-Triggered Communication
提出了一种基于全分布式动态事件触发通信的鲁棒动态平均一致性算法。动态平均一致性问题涉及一组网络化的智能体，估计个体智能体本地可用的动态参考信号的时变平均值。我们提出了一个渐近稳定的解决方案的动态平均共识问题，是强大的网络中断。由于这种强大的算法需要代理之间的持续通信，我们引入了一种新的动态事件触发的通信方案，以减少整体代理间的通信。结果表明，事件触发算法是渐近稳定的，没有Zeno行为。通过数值模拟验证了该算法的有效性。
2018-09-18 math.OC
Communication efficient quasi-Newton distributed optimization based on the Douglas-Rachford envelope
针对客户端–服务器分布式优化，本文利用 Douglas–Rachford 分裂构造免线搜索的 BFGS 方法，以每轮每客户端仅收发一个向量实现最少通信和超线性收敛，并通过实验验证其降本优势。
2024-10-29 math.OC
Communication-Efficient Distributed Optimization with Quantized Preconditioners
我们调查快速和通信效率的算法，为经典的问题，最小化的总和强凸和光滑函数，分布在$n$不同的节点，可以使用有限数量的位进行通信。大多数以前的通信有效的方法，这个问题是有限的一阶优化，因此有\emph{linear}依赖于条件数的通信复杂性。我们表明，这种依赖是不是固有的：通信有效的方法，实际上可以有次线性依赖的条件数。为此，我们设计和分析的第一个通信有效的分布式变量的预条件梯度下降的广义线性模型，和牛顿法。我们的研究结果依赖于一种新的技术，用于在算法的每一步量化预条件和下降方向，同时控制它们的收敛速度。我们还通过实验验证了我们的发现，显示出快速收敛和减少通信。
2021-06-17 cs.DC math.OC
A Poisson Jump-driven SDE Approach to Distributed Gradient Descent with Sparse Communication
本文提出用泊松跳驱动的随机微分方程将异步稀疏通信嵌入分布式梯度下降，并证明了在保证任意指数收敛速度下所需的通信速率界限。
2025-11-09 math.OC
Distributed event-triggered communication for dynamic average consensus in networked systems
本文提出了分布式算法的解决方案，采用机会主义的代理间通信，以实现动态平均共识。在我们的解决方案中，每个代理都被赋予了一个本地标准，使其能够确定是否将其状态广播给邻居。我们的出发点是一个连续时间的分布式协调策略，在连续时间的通信，实现实际的渐近跟踪的动态平均的时变代理的参考输入。然后，对于该算法，取决于定向或非定向性质的时变的相互作用，并在适当的连接条件下，我们提出了两种不同的分布式事件触发的通信法律，规定代理通信在离散的时刻在一个机会主义的方式。在这两种情况下，我们建立积极的下界上的每个代理的事件间的时间，并表征其依赖于算法的设计参数。这种分析使我们能够排除芝诺行为的存在，并表征所得到的实现的渐近正确性。几个模拟说明了结果。
2015-03-02 math.OC
Distributed aggregative optimization with quantization communication
本文研究了一类通信瓶颈下的聚合最优化问题。综合优化的目标是使局部费用函数之和最小。每个费用函数不仅依赖于局部状态变量，而且依赖于全局状态变量的函数之和。我们的目标是解决聚合最优化问题，通过分布式计算和本地有效的通信网络的代理没有一个中央协调员。采用变量跟踪方法寻找全局状态变量，并采用量化方案减少优化过程中的通信开销，提出了一种新的分布式量化算法D-QAGT，利用有限比特通信来跟踪最优变量。虽然量化可能会损失传输信息，我们的算法仍然可以达到精确的最优解与线性收敛速率。最后通过一个最优布局问题的仿真实验验证了理论结果的正确性。
2022-01-06 math.OC
Subdifferentiable functions and partial data communication in a distributed deterministic asynchronous Dykstra's algorithm
我们描述了一个分散的分布式确定性异步Dykstra算法，允许时变图在早期的文件。在本文中，我们将展示如何将次微分函数的框架使用类似的捆绑方法的步骤。我们指出，我们的算法也允许部分数据通信。本文讨论了一个标准的步骤，用于处理复合的凸和线性函数。
2018-08-22 math.OC
Distributed Optimisation With Communication Delays
讨论了有向图上的分布式优化问题。我们从一些众所周知的算法开始，这些算法在代理之间实现共识，包括FROST [1]，它具有最快的收敛速度。众所周知，FROST具有线性收敛。然而，FROST只适用于底层网络的固定拓扑结构。此外，其中提出的更新需要节点之间的完全同步的通信。因此，在现实情况下不可避免的节点之间的通信延迟排除了实时实现FROST的可能性。在本文中，我们介绍了一个合作的控制策略，使收敛到最佳的通信延迟的鲁棒性。
2021-02-11 cs.SY eess.SY math.OC
Communication-Efficient Algorithms For Distributed Optimization
本论文是关于求解最优化问题的分布式算法的设计。我们考虑的网络中，每个节点都有独家访问的成本函数，并设计算法，使所有节点合作，以找到最小的总和的所有费用函数。信号处理、控制和机器学习中的一些问题可以被称为这样的最优化问题。鉴于通信通常是网络中最耗能的操作，设计高效的通信算法非常重要。本论文的主要贡献是提出了一个分布式优化的分类方案和一组相应的通信有效算法。我们考虑的这类最优化问题是相当普遍的，因为每个函数可能依赖于优化变量的任意分量，而不一定依赖于所有分量。在这样做的过程中，我们超越了分布式优化中的常见假设，并创建了可用于减少通信次数的额外结构。这种结构被我们的分类方案所捕获，它识别问题的更简单的实例，例如标准的分布式最优化问题，其中所有函数都依赖于变量的所有分量。在我们的算法中，没有中心节点协调网络，所有的通信都发生在相邻节点之间，与每个节点相关的数据都在本地处理。我们展示了几个应用程序，包括平均共识，支持向量机，网络流，和几个分布式压缩感知的情况。我们还提出了一个新的分布式模型预测控制框架。通过大量的数值实验，我们表明，我们的算法优于以前的分布式算法的通信效率，甚至一些专门为特定的应用程序设计。
2013-12-01 math.OC
Communication reduction in distributed optimization via estimation of the proximal operator
我们介绍了一个减少通信的分布式优化方案的基础上估计的解决方案，以一个接近的最小化问题。我们提出的设置涉及一组代理人协调的一个中央实体，在一个合作的框架中运作。代理解决隐藏在中央协调器中的最小化问题。该方案使协调器能够构造一个凸集，其中代理的优化器驻留，并迭代地细化每次查询的代理集。我们分析了质量的构造集显示它们的连接到ε-次微分的凸函数和表征其大小。我们证明了收敛结果的解决方案，这样的分布式最优化问题，我们设计了一个通信标准，嵌入该计划的乘法器（ADMM）的交替方向法。所开发的计划表明显着的通信减少时，应用到微电网设置。
2018-07-07 math.OC
Scaling Up Quasi-Newton Algorithms: Communication Efficient Distributed SR1
在本文中，我们提出了一个可扩展的分布式实现采样有限内存对称秩1（S-LSR 1）算法。首先，我们表明，一个天真的分布式实现S-LSR 1需要多轮昂贵的通信在每次迭代，因此是低效的。然后，我们提出了DS-LSR 1，一个通信效率高的变体：（i）大大减少了每次迭代时通信的数据量，（ii）在节点之间具有良好的工作负载平衡，（iii）无矩阵和无逆。所提出的方法在问题的维度和数据点的数量方面都具有很好的扩展性。最后，我们说明了DS-LSR 1在标准神经网络训练任务上的经验性能。
2020-05-13 math.OC stat.ML
Rate of Convergence for Distributed Optimization with Uncertain Communications
我们考虑分布式最优化问题的凸函数的总和，其中底层的通信网络连接代理在每个时间是随机抽取的有向图的集合。在早期工作[15]的基础上，其中subgradient-push算法的修改版本被证明几乎必然收敛于随机有向图序列上的优化器，我们找到了我们提出的算法的收敛速度的$\sim O(\frac{1}{\sqrt{t}})$阶的上界，建立了这种随机设置中的第一个收敛界。
2020-09-15 math.DS math.OC
Distributed Filtering with Value of Information Censoring
Massachusetts Institute of Technology（麻省理工学院）
这项工作提出了一种分布式估计算法，有效地利用可用的通信资源。该方法是基于贝叶斯过滤，分布在网络上使用对数意见池运营商。通信效率是通过只有代理与高价值的信息（VoI）共享他们的估计，该算法提供了一个可调的通信资源和估计误差之间的权衡。在线性高斯模型下，该算法采用删失分布式信息过滤器的形式，保证了代理估计的一致性。重要的是，一致的估计显示，在使大量减少通信使用的VoI审查方法中发挥了至关重要的作用。我们验证了所提出的方法的性能，通过复杂的模拟在一个动态的网络拓扑结构，并通过实验验证在一个真正的ad-hoc无线通信网络。结果表明，使用所提出的方法的有效性，以大大减少分布式估计任务的通信成本。
2022-04-01 cs.RO math.OC
Attack-Resilient Distributed Convex Optimization of Linear Multi-Agent Systems Against Malicious Cyber-Attacks over Random Digraphs
研究了随机有向图上异构线性多智能体系统在拒绝服务攻击下的弹性指数分布凸优化问题.随机有向图是由不可靠的网络引起的，而允许非周期性发生的DoS攻击是指智能对手中断通信信道。与现有的许多分布式凸优化算法相比，在网络环境下，由于网络环境的不利影响，可能无法得到全局最优解，从而导致优化算法性能下降甚至失效。上述设置对优化算法设计和指数收敛分析提出了某些技术挑战。在这项工作中，提出了几个弹性算法，使一个团队的代理最小化的总和，当地的非二次费用函数在一个安全可靠的方式与全球指数收敛。受[15]-[18]中的初步工作的启发，研究了对攻击频率和持续时间的显式分析，以保证指数最优解。数值模拟结果证明了所提出的设计的有效性。
2021-05-06 cs.SY eess.SY math.OC
Distributed Frequency Control in Power Grids Under Limited Communication
Massachusetts Institute of Technology（麻省理工学院）
研究受限通信对最优分布式频率控制性能的影响，提出利用电网动态复制通信信息的新方案，证明其在单链路故障下能实现最优解，并通过仿真提升收敛时间。
2016-05-03 cs.SY eess.SY math.OC
