On the convergence rate of distributed gradient methods for finite-sum optimization under communication delays
受机器学习和统计学应用的启发，我们研究了处理器网络上的分布式最优化问题，其目标是优化由局部函数和组成的全局目标。在这些问题中，由于数据集的规模很大，数据和计算必须分布在处理器上，从而需要分布式算法。在本文中，我们考虑一个流行的分布式基于梯度的共识算法，它只需要本地计算和通信。在这方面的一个重要问题是分析的收敛速度，这样的算法在分布式系统中不可避免的通信延迟的存在。我们证明了收敛的基于梯度的共识算法中存在的统一，但可能任意大，处理器之间的通信延迟。此外，我们得到了一个上界的收敛速率的算法作为网络的大小，拓扑结构和处理器间的通信延迟的函数。
2019-05-11 math.OC
Distributed Kalman filtering with event-triggered communication: a robust approach
研究了传感器网络中数据传输受限和模型不确定性情况下的分布式卡尔曼滤波问题。更准确地说，我们提出了一个分布式过滤策略与事件触发的通信中的状态估计器的计算根据最不利的模型。后者属于一个球（在Kullback-Leibler拓扑）的名义模型。我们还提出了一个初步的数值例子，以测试所提出的策略的性能。
2022-05-17 math.OC
Communication Compression for Distributed Nonconvex Optimization
本文研究了费用函数分布在多个智能体上的分布式非凸优化问题。注意到信息压缩是一个关键的工具，以减少沉重的通信负载的分布式算法代理迭代与邻居进行通信，我们提出了三个分布式原始对偶法压缩通信。前两个算法适用于相对压缩误差有界的一般压缩器类，第三个算法适用于绝对压缩误差有界的一般压缩器类。我们表明，所提出的分布式算法与压缩通信具有可比的收敛性能，最先进的算法与精确的通信。具体地说，我们发现，他们可以找到一阶平稳点的次线性收敛速度$\mathcal{O}(1/T)$时，每个本地的成本函数是光滑的，其中$T$是迭代的总次数，并找到全局最优解的线性收敛速率的一个附加条件下，全球费用函数满足Polyak--Jasiewicz条件。通过数值模拟验证了理论结果的有效性。
2022-10-07 math.OC
A Communication-Efficient and Differentially-Private Distributed Generalized Nash Equilibrium Seeking Algorithm for Aggregative Games
本文针对聚合博弈中带宽受限的分布式广义纳什均衡求解问题，提出一种结合事件触发通信与信息压缩的通信高效算法，同时节省传输轮次和比特数，并证明其收敛性及在随机量化下实现$(0,δ)$-差分隐私。
2025-03-11 math.OC
Distributed Optimization With Event-triggered Communication via Input Feedforward Passivity
在这项工作中，我们解决了分布式最优化问题与事件触发通信的概念输入前馈被动性（IFP）。首先，我们分析了分布式连续时间算法一致联合强连通平衡有向图在IFP为基础的框架。然后，我们提出了一个分布式的事件触发的通信机制，该算法。接下来，我们离散的连续时间算法的前向欧拉法与恒定的步长无关的网络大小，并表明，离散化可以看作是一个步长依赖的输入前馈无源性退化。因此，离散化系统保留了IFP属性，并启用相同的事件触发通信机制，但由于离散时间性质而没有Zeno行为。最后，给出了一个数值例子来说明我们的结果.
2020-06-10 math.OC
On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
大规模分布式机器学习应用的最新发展，例如，深度神经网络极大地受益于分布式非凸优化技术的进步，例如，随机梯度下降（SGD）最近的一系列工作研究了分布式SGD变体的线性加速特性，减少了通信。线性加速特性使我们能够通过向系统中添加更多的计算节点来扩展计算能力。降低通信复杂度是期望的，因为通信开销通常是分布式系统中的性能瓶颈。最近，动量方法越来越广泛地用于训练机器学习模型，并且通常可以更快地收敛和更好地推广。例如，许多从业者使用分布式SGD与动量，用大数据训练深度神经网络。然而，目前还不清楚是否有任何分布式动量SGD具有相同的线性加速性能的分布式SGD，并降低了通信的复杂性。本文填补了这一空白，考虑分布式通信有效的动量SGD方法，并证明其线性加速性能。
2019-05-09 cs.LG math.OC
Distributed Seeking for Fixed Points of Biased Stochastic Operators: A Communication-Efficient Approach
Northeastern University（东北大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Tongji University（同济大学）；Southeast University（东南大学）；University of Victoria（维多利亚大学）
本文研究了多智能体网络上可和性随机算子的分布式固定点寻找问题，提出了一种在放松增长偏置和方差条件下基于近似Krasnosel'ski\uı--Mann迭代的通信高效分布式算法，通过整合通信压缩和动态周期跳过技术，建立了分布式固定点迭代的收敛性保证，实现了与分布式非凸优化算法的理论统一。
2026-05-21 math.OC
Robust Distributed Kalman filtering with Event-Triggered Communication
研究了传感器网络中数据传输有约束条件且模型存在不确定性的分布式卡尔曼滤波问题。更准确地说，我们提出了两个分布式过滤策略与事件触发的通信状态估计器计算根据最不利的模型。后者属于一种关于球的名义模型。我们还表明，这两种方法是稳定的意义上的状态估计误差的均方有界的所有节点。
2022-09-09 math.OC
Distributed Robust Dynamic Average Consensus with Dynamic Event-Triggered Communication
提出了一种基于全分布式动态事件触发通信的鲁棒动态平均一致性算法。动态平均一致性问题涉及一组网络化的智能体，估计个体智能体本地可用的动态参考信号的时变平均值。我们提出了一个渐近稳定的解决方案的动态平均共识问题，是强大的网络中断。由于这种强大的算法需要代理之间的持续通信，我们引入了一种新的动态事件触发的通信方案，以减少整体代理间的通信。结果表明，事件触发算法是渐近稳定的，没有Zeno行为。通过数值模拟验证了该算法的有效性。
2018-09-18 math.OC
Communication efficient quasi-Newton distributed optimization based on the Douglas-Rachford envelope
针对客户端–服务器分布式优化，本文利用 Douglas–Rachford 分裂构造免线搜索的 BFGS 方法，以每轮每客户端仅收发一个向量实现最少通信和超线性收敛，并通过实验验证其降本优势。
2024-10-29 math.OC
A Poisson Jump-driven SDE Approach to Distributed Gradient Descent with Sparse Communication
本文提出用泊松跳驱动的随机微分方程将异步稀疏通信嵌入分布式梯度下降，并证明了在保证任意指数收敛速度下所需的通信速率界限。
2025-11-09 math.OC
Distributed event-triggered communication for dynamic average consensus in networked systems
本文提出了分布式算法的解决方案，采用机会主义的代理间通信，以实现动态平均共识。在我们的解决方案中，每个代理都被赋予了一个本地标准，使其能够确定是否将其状态广播给邻居。我们的出发点是一个连续时间的分布式协调策略，在连续时间的通信，实现实际的渐近跟踪的动态平均的时变代理的参考输入。然后，对于该算法，取决于定向或非定向性质的时变的相互作用，并在适当的连接条件下，我们提出了两种不同的分布式事件触发的通信法律，规定代理通信在离散的时刻在一个机会主义的方式。在这两种情况下，我们建立积极的下界上的每个代理的事件间的时间，并表征其依赖于算法的设计参数。这种分析使我们能够排除芝诺行为的存在，并表征所得到的实现的渐近正确性。几个模拟说明了结果。
2015-03-02 math.OC
Distributed aggregative optimization with quantization communication
本文研究了一类通信瓶颈下的聚合最优化问题。综合优化的目标是使局部费用函数之和最小。每个费用函数不仅依赖于局部状态变量，而且依赖于全局状态变量的函数之和。我们的目标是解决聚合最优化问题，通过分布式计算和本地有效的通信网络的代理没有一个中央协调员。采用变量跟踪方法寻找全局状态变量，并采用量化方案减少优化过程中的通信开销，提出了一种新的分布式量化算法D-QAGT，利用有限比特通信来跟踪最优变量。虽然量化可能会损失传输信息，我们的算法仍然可以达到精确的最优解与线性收敛速率。最后通过一个最优布局问题的仿真实验验证了理论结果的正确性。
2022-01-06 math.OC
Partitioning Data on Features or Samples in Communication-Efficient Distributed Optimization?
Lehigh University（利哈伊大学）
本文研究了数据划分方式对分布式优化的影响。原始的DiSCO算法[Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss，Ychen Zhang and Lin Xiao，2015]基于样本对输入数据进行分区。我们描述了如何修改原始算法，允许分区功能，并显示其效率在理论上和实践中。
2015-10-22 cs.LG math.OC
Subdifferentiable functions and partial data communication in a distributed deterministic asynchronous Dykstra's algorithm
我们描述了一个分散的分布式确定性异步Dykstra算法，允许时变图在早期的文件。在本文中，我们将展示如何将次微分函数的框架使用类似的捆绑方法的步骤。我们指出，我们的算法也允许部分数据通信。本文讨论了一个标准的步骤，用于处理复合的凸和线性函数。
2018-08-22 math.OC
Distributed Nash Equilibrium Seeking under Quantization Communication
研究了有限带宽通信下多局中人非合作博弈的纳什均衡求解问题。提出了一种分布式量化算法，它包括局部梯度播放、分布式判决估计和自适应量化。建立了算法的指数收敛性，并定量分析了收敛速度与带宽的关系。最后，一个能源消耗游戏的仿真验证了所提出的结果。
2021-11-14 cs.DC math.OC
Communication-Efficient Algorithms For Distributed Optimization
本论文是关于求解最优化问题的分布式算法的设计。我们考虑的网络中，每个节点都有独家访问的成本函数，并设计算法，使所有节点合作，以找到最小的总和的所有费用函数。信号处理、控制和机器学习中的一些问题可以被称为这样的最优化问题。鉴于通信通常是网络中最耗能的操作，设计高效的通信算法非常重要。本论文的主要贡献是提出了一个分布式优化的分类方案和一组相应的通信有效算法。我们考虑的这类最优化问题是相当普遍的，因为每个函数可能依赖于优化变量的任意分量，而不一定依赖于所有分量。在这样做的过程中，我们超越了分布式优化中的常见假设，并创建了可用于减少通信次数的额外结构。这种结构被我们的分类方案所捕获，它识别问题的更简单的实例，例如标准的分布式最优化问题，其中所有函数都依赖于变量的所有分量。在我们的算法中，没有中心节点协调网络，所有的通信都发生在相邻节点之间，与每个节点相关的数据都在本地处理。我们展示了几个应用程序，包括平均共识，支持向量机，网络流，和几个分布式压缩感知的情况。我们还提出了一个新的分布式模型预测控制框架。通过大量的数值实验，我们表明，我们的算法优于以前的分布式算法的通信效率，甚至一些专门为特定的应用程序设计。
2013-12-01 math.OC
The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Weizmann Institute of Science（魏茨曼科学研究所）
我们解决了分布式随机凸优化的最小-最大复杂性（最多为对数因子）在间歇性通信设置，其中$M$机器并行工作的过程中的$R$轮的通信，以优化目标，并在每一轮的通信，每台机器可以顺序计算$K$随机梯度估计。我们提出了一个新的下限与匹配的上限，建立一个最佳的算法。
2021-08-05 cs.LG math.OC
Affine-coupled Distributed Optimization via Distributed Proximal Jacobian ADMM with Quantized Communication
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Bologna（博洛尼亚大学）；KTH Royal Institute of Technology（皇家理工学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出一种结合集中式近端雅可比交替方向乘子法与有限级量化共识方案的分布式算法，用于解决受限通信带宽下的分布式资源分配优化问题，证明其在凸目标函数下具有亚线性收敛性。
2026-04-16 cs.SY eess.SY math.OC
Communication reduction in distributed optimization via estimation of the proximal operator
我们介绍了一个减少通信的分布式优化方案的基础上估计的解决方案，以一个接近的最小化问题。我们提出的设置涉及一组代理人协调的一个中央实体，在一个合作的框架中运作。代理解决隐藏在中央协调器中的最小化问题。该方案使协调器能够构造一个凸集，其中代理的优化器驻留，并迭代地细化每次查询的代理集。我们分析了质量的构造集显示它们的连接到ε-次微分的凸函数和表征其大小。我们证明了收敛结果的解决方案，这样的分布式最优化问题，我们设计了一个通信标准，嵌入该计划的乘法器（ADMM）的交替方向法。所开发的计划表明显着的通信减少时，应用到微电网设置。
2018-07-07 math.OC
Real Acceleration of Communication Process in Distributed Algorithms with Compression
针对现有分布式优化理论中压缩与通信时间关系不符合实际的问题，本文基于更贴近现实的传输时间假设研究分布式算法，分析了真实加速效果与合理压缩程度，提出自适应选择压缩强度的方法。
2023-09-10 math.OC
Balancing Communication and Computation in Distributed Optimization
分布式优化方法由于其在各个领域的广泛适用性，近年来受到了极大的关注。分布式最优化方法通常由两个关键部分组成：通信和计算。更具体地说，在分布式算法的每次迭代（或每几次迭代），网络中的每个节点都需要与其相邻节点进行某种形式的信息交换（通信）以及与（子）梯度相关的计算步骤（计算）。仅通过迭代次数来判断算法的标准方法忽略了与每次迭代相关的复杂性。此外，部署分布式方法的各种应用可能更喜欢通信和计算的不同组合。出于这种差异，在这项工作中，我们提出了一个自适应的成本框架，根据不同的应用程序的功能来调整成本措施。我们提出了一个灵活的算法框架，通信和计算步骤被明确分解，使算法定制的各种应用程序。我们将此框架应用于著名的分布式梯度下降（DGD）方法，并表明，由此产生的定制算法，我们称之为DGD $^t$，近-DGD $^t$和近-DGD $^+$，比较有利的基础算法，理论和经验。所提出的NEAR-DGD $^+$算法是一种精确的一阶方法，其中通信和计算步骤是嵌套的，并且当通信步骤的数量自适应地增加时，该方法收敛到最优解。我们测试的性能和说明的灵活性的方法，以及实际的变种，二次函数和分类问题，在机器学习中出现的迭代，梯度评估，通信和建议的成本框架。
2018-05-31 math.OC
Distributed Graph Augmentation Protocols to Achieve Strong Connectivity in Multi-Agent Networks
针对多智能体网络强连通性需求，提出一种仅用局部信息的完全分布式算法，高效找出最优边添加集合，实现强连通，并通过实证验证其高效可扩展。
2024-11-11 math.OC
Communication-Efficient Distributed Optimization with Quantized Preconditioners
我们调查快速和通信效率的算法，为经典的问题，最小化的总和强凸和光滑函数，分布在$n$不同的节点，可以使用有限数量的位进行通信。大多数以前的通信有效的方法，这个问题是有限的一阶优化，因此有\emph{linear}依赖于条件数的通信复杂性。我们表明，这种依赖是不是固有的：通信有效的方法，实际上可以有次线性依赖的条件数。为此，我们设计和分析的第一个通信有效的分布式变量的预条件梯度下降的广义线性模型，和牛顿法。我们的研究结果依赖于一种新的技术，用于在算法的每一步量化预条件和下降方向，同时控制它们的收敛速度。我们还通过实验验证了我们的发现，显示出快速收敛和减少通信。
2021-06-17 cs.DC math.OC
S-NEAR-DGD: A Flexible Distributed Stochastic Gradient Method for Inexact Communication
我们提出并分析了一种随机分布式方法（S-NEAR-DGD），它可以容忍不精确的计算和不准确的信息交换，以减轻大规模系统中昂贵的梯度评估和带宽有限的通信问题。我们的方法是基于一类灵活的，分布式的一阶算法，允许计算和通信的权衡，以最好地适应应用程序的设置。我们假设节点之间的所有信息交换都受到随机失真的影响，并且只有真实梯度的随机逼近可用。我们的理论结果证明了所提出的算法在期望线性收敛到最优解的一个邻域的强凸目标函数与Lipschitz梯度。我们的特征依赖于算法和网络参数，通信信道的质量和所使用的随机梯度近似的精度，这附近。最后，我们提供了数值结果来评估我们的方法的经验性能。
2021-01-30 math.OC
A Communication-Efficient Distributed Optimization Algorithm for Problems with Coupling Constraints
Shanghai Jiao Tong University（上海交通大学）；Key Laboratory of System Control and Information Processing, Ministry of Education of China（教育部系统控制与信息处理重点实验室）
针对工业物联网中资源分配问题，提出一种基于对偶分解和压缩技术的通信高效分布式优化算法，实现线性收敛并降低通信开销。
2026-05-25 math.OC
Distributed Online Randomized Gradient-Free optimization with Compressed Communication
本文提出OCGT-BF算法，通过压缩通信与单点反馈估计解决分布式在线优化中的通信效率和有限反馈问题，并给出动态遗憾界及实验验证。
2025-05-04 math.OC
Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity
UC Berkeley（加州大学伯克利分校）；The University of Iowa（爱荷华大学）；Princeton University（普林斯顿大学）
研究了最小化凸函数平均值的分布式优化算法。这些应用包括统计机器学习中的经验风险最小化问题，其中数据集很大，必须存储在不同的机器上。我们设计了一个分布式的随机方差约简梯度算法，在一定的条件下的条件数，同时实现了最佳的并行运行时间，通信量和通信轮之间的所有分布式一阶方法常数的因素。我们的方法和它的加速扩展也优于现有的分布式算法的轮通信，只要条件数是不是太大的数据在每台机器的大小相比。我们还证明了一个下界的通信轮数广泛的一类分布式一阶方法，包括本文提出的算法。我们表明，我们的加速分布式随机方差降低梯度算法达到这个下界，使它使用最少的通信轮之间的所有分布式一阶算法。
2016-01-06 cs.LG math.OC stat.ML
Communication-Censored Distributed Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Sun Yat-Sen University（中山大学）
针对分布式机器学习等应用中通信量大的问题，提出了一种通信效率高的分布式随机最优化算法。与现有的基于量化和稀疏化的算法不同，本文引入了一种通信删失技术来减少变量的传输，这导致了我们的通信删失分布式随机梯度下降（CSGD）算法。具体来说，在CSGD中，当且仅当它是足够信息时，在工作者处的最新小批量随机梯度将被传输到服务器。当最新的渐变不可用时，旧的渐变将在服务器上重用。为了实现这种通信审查策略，批量大小增加，以减轻随机梯度噪声的影响。从理论上讲，CSGD具有与SGD相同的收敛速度，但有效地减少了通信量。数值实验表明，CSGD的通信节省相当大的。
2020-01-03 cs.LG math.OC stat.ML
Distributed SAGA: Maintaining linear convergence rate with limited communication
Criteo
近年来，方差缩减随机方法显示出很好的实用性能，在其他随机方法只能提供次线性收敛速度的情况下，方差缩减随机方法显示出线性收敛速率。然而，随着数据集变得越来越大，聚类变得越来越普遍，对快速分发方法的需求变得迫切。我们在这里提出了一个分配方案SAGA保持线性收敛速率，即使节点之间的通信是有限的。
2017-05-29 cs.LG math.OC
Distributed Learning: Sequential Decision Making in Resource-Constrained Environments
Princeton University（普林斯顿大学）
我们研究了具有成本效益的通信策略，可用于提高分布式学习系统在资源受限的环境中的性能。对于分布式学习中的顺序决策，我们提出了一个新的成本效益的部分通信协议。我们说明，与此协议的组获得相同的顺序的性能，它获得了充分的沟通。此外，我们证明，根据建议的部分通信协议的通信成本是$O(\log T)$，其中$T$是决策过程的时间范围。这显著地改进了具有完全通信的协议，其导致$O(T)$的通信成本。我们使用数值模拟验证我们的理论结果。
2020-04-13 cs.LG math.OC stat.ML
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research（微软研究院）
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数，该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法，以尽量减少整体经验损失，这是平均的本地经验损失。该算法基于不精确阻尼牛顿法，其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数，并讨论了分布岭回归，逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中，算法所需的通信轮数不会随着样本量的增加而增加，只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting
KAUST（阿卜杜拉国王科技大学）
提出一种结合随机梯度方差缩减、部分参与和压缩通信的分布式非凸优化新方法，在部分参与设置下实现了最优 oracle 复杂度和最优通信复杂度，且无需所有节点参与或有界梯度假设。
2024-01-03 cs.LG math.OC
Distributed Optimisation With Communication Delays
讨论了有向图上的分布式优化问题。我们从一些众所周知的算法开始，这些算法在代理之间实现共识，包括FROST [1]，它具有最快的收敛速度。众所周知，FROST具有线性收敛。然而，FROST只适用于底层网络的固定拓扑结构。此外，其中提出的更新需要节点之间的完全同步的通信。因此，在现实情况下不可避免的节点之间的通信延迟排除了实时实现FROST的可能性。在本文中，我们介绍了一个合作的控制策略，使收敛到最佳的通信延迟的鲁棒性。
2021-02-11 cs.SY eess.SY math.OC
Communication Complexity of Distributed Convex Learning and Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了凸学习和优化的通信有效的分布式方法的基本限制，在不同的假设下，对单个机器的信息，以及考虑的功能类型。我们确定的情况下，现有的算法已经是最坏情况下的最佳，以及进一步改进的空间仍然是可能的情况下。除此之外，我们的研究结果表明，如果局部目标函数之间没有相似性（由于统计数据相似性或其他原因），即使机器具有无限的计算能力，也可能需要许多通信回合。
2015-10-28 cs.LG math.OC stat.ML
Scaling Up Quasi-Newton Algorithms: Communication Efficient Distributed SR1
在本文中，我们提出了一个可扩展的分布式实现采样有限内存对称秩1（S-LSR 1）算法。首先，我们表明，一个天真的分布式实现S-LSR 1需要多轮昂贵的通信在每次迭代，因此是低效的。然后，我们提出了DS-LSR 1，一个通信效率高的变体：（i）大大减少了每次迭代时通信的数据量，（ii）在节点之间具有良好的工作负载平衡，（iii）无矩阵和无逆。所提出的方法在问题的维度和数据点的数量方面都具有很好的扩展性。最后，我们说明了DS-LSR 1在标准神经网络训练任务上的经验性能。
2020-05-13 math.OC stat.ML
Rate of Convergence for Distributed Optimization with Uncertain Communications
我们考虑分布式最优化问题的凸函数的总和，其中底层的通信网络连接代理在每个时间是随机抽取的有向图的集合。在早期工作[15]的基础上，其中subgradient-push算法的修改版本被证明几乎必然收敛于随机有向图序列上的优化器，我们找到了我们提出的算法的收敛速度的$\sim O(\frac{1}{\sqrt{t}})$阶的上界，建立了这种随机设置中的第一个收敛界。
2020-09-15 math.DS math.OC
Distributed Filtering with Value of Information Censoring
Massachusetts Institute of Technology（麻省理工学院）
这项工作提出了一种分布式估计算法，有效地利用可用的通信资源。该方法是基于贝叶斯过滤，分布在网络上使用对数意见池运营商。通信效率是通过只有代理与高价值的信息（VoI）共享他们的估计，该算法提供了一个可调的通信资源和估计误差之间的权衡。在线性高斯模型下，该算法采用删失分布式信息过滤器的形式，保证了代理估计的一致性。重要的是，一致的估计显示，在使大量减少通信使用的VoI审查方法中发挥了至关重要的作用。我们验证了所提出的方法的性能，通过复杂的模拟在一个动态的网络拓扑结构，并通过实验验证在一个真正的ad-hoc无线通信网络。结果表明，使用所提出的方法的有效性，以大大减少分布式估计任务的通信成本。
2022-04-01 cs.RO math.OC
Quantized Epoch-SGD for Communication-Efficient Distributed Learning
Nanjing University（南京大学）
随机梯度下降（SGD）算法由于其高效性和易于实现性，在机器学习中得到了广泛的应用。特别是，SGD是分布式学习中最流行的优化方法之一。近年来，量化的SGD（QSGD），它采用量化来减少基于SGD的分布式学习的通信成本，引起了人们的广泛关注。虽然已经提出了几种QSGD方法，其中一些是启发式的，没有理论保证，和其他人有很大的量化方差，这使得收敛变慢。在本文中，我们提出了一种新的方法，称为量化时代SGD（QESGD），通信效率的分布式学习。QESGD对参数进行压缩（量化），降低了方差，从而可以以更少的通信代价获得与SGD几乎相同的性能。QESGD在Parameter Server框架上实现，分布式深度学习的实证结果表明，QESGD可以超越其他最先进的量化方法，以实现最佳性能。
2019-01-10 cs.LG math.OC stat.ML
Distributed Principal Component Analysis with Limited Communication
我们研究有效的分布式算法的基本问题的主成分分析和领先的特征向量计算的球体上，当数据随机分布在一组计算节点。我们提出了一个新的量化变形的黎曼梯度下降来解决这个问题，并证明了该算法收敛的一组必要的球凸性质的高概率。我们给出了共同的初始化方案下的算法传输的位数的界限，并调查在每种情况下的问题维度的依赖性。
2021-10-27 cs.DC math.OC
Communication-Efficient Projection-Free Algorithm for Distributed Optimization
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（乔治亚理工学院H. Milton Stewart工业与系统工程学院）；Department of Electrical Engineering, Technion（以色列理工学院电气工程系）
近年来，分布式优化获得了极大的兴趣。本文提出了一种无投影的分布式条件梯度滑动算法（DCGS）。与最先进的分布式Frank-Wolfe算法相比，我们的算法在更现实的假设下达到了相同的通信复杂度。与基于共识的算法相比，DCGS基于原始对偶法，产生模块化分析，可以利用该模块化分析来改善线性预言机的复杂性，只要可以改善集中式Frank-Wolfe算法。我们证明了这一优势，并表明，线性预言复杂性可以降低到几乎相同的数量级的通信复杂性，当可行集是多面体。最后，我们提出了实验结果的套索和矩阵完成，表现出显着的性能改善相比，现有的分布式弗兰克-沃尔夫算法。
2018-05-20 cs.DC cs.LG math.OC
Communication-Efficient Distributed Dual Coordinate Ascent
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；Lehigh University（理海大学）
通信仍然是大规模机器学习分布式优化算法性能的最重要瓶颈。在本文中，我们提出了一个通信效率的框架，CoCoA，它使用本地计算在原始对偶设置，大大减少了必要的通信量。我们为这类算法提供了强大的收敛速度分析，以及在Spark中实现的真实分布式数据集上的实验。在我们的实验中，我们发现，与最先进的SGD和SDCA算法的小批量版本相比，CoCoA平均以25倍的速度收敛到相同的.001精度解决方案质量。
2014-09-29 cs.LG math.OC stat.ML
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
由于训练数据集规模的爆炸式增长，分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的，在减少通信成本与随机梯度下降（SGD），有很少的尝试，在建立通信有效的自适应梯度方法与可证明的保证，这是广泛用于训练大规模机器学习模型。在本文中，我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题，这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点，具有相同的迭代复杂度，未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
Lower Bounds and Nearly Optimal Algorithms in Distributed Learning with Communication Compression
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
分布式优化和学习的最新进展表明，通信压缩是减少通信的最有效手段之一。虽然在通信压缩下的收敛速度已经有了很多结果，但仍然缺少理论上的下限。对通信压缩算法的分析将收敛性归结为两个抽象性质：无偏性或压缩性。它们可以通过单向压缩（仅压缩从工作进程到服务器的消息）或双向压缩来应用。在本文中，我们考虑分布式随机算法最小化光滑和非凸目标函数下的通信压缩。我们建立了一个收敛下界的算法，无论是使用无偏或压缩压缩单向或双向。为了缩小下界和现有的上界之间的差距，我们进一步提出了一个算法，NEOLITHIC，它几乎达到我们的下界（对数因子）在温和的条件下。我们的研究结果还表明，使用压缩双向压缩可以产生迭代法，收敛速度与使用无偏单向压缩的方法一样快。实验结果验证了我们的发现。
2022-10-11 cs.LG math.OC
Communication-Efficient Distributed Statistical Inference
我们提出了一个通信有效的代理Likestive（CSL）框架解决分布式统计推断问题。CSL为全局似然提供了一种通信效率高的替代，可用于低维估计、高维正则化估计和贝叶斯推断。对于低维估计，CSL可证明地改进了朴素平均方案，并有利于置信区间的构建。对于高维正则化估计，CSL导致一个极小极大最优估计与控制通信成本。对于贝叶斯推断，CSL可以用于形成收敛于真实后验的通信有效的准后验分布。这种准后验过程显着提高了MCMC算法的计算效率，即使在非分布式设置。我们提出了理论分析和实验来探索CSL近似的属性。
2016-11-06 cs.IT cs.LG math.IT
Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients
Zhejiang University（浙江大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本文提出了一种新的聚合梯度方法，用于分布式机器学习，自适应地压缩梯度通信。关键思想是首先对计算的梯度进行量化，然后通过重用过时的梯度来跳过信息量较少的量化梯度通信。量化和跳过会导致“懒惰”的工作者-服务器通信，这证明了术语“懒惰聚合量化梯度”（以下简称为LAQ）的合理性。我们的LAQ可以证明达到相同的线性收敛速度的梯度下降在强凸的情况下，同时影响主要节省通信开销，无论是在传输位，以及在通信轮。从经验上讲，真实数据的实验证实了显着的通信减少现有的梯度和随机梯度为基础的算法。
2019-09-17 cs.DC cs.LG math.OC
Distributed Frequency Control in Power Grids Under Limited Communication
Massachusetts Institute of Technology（麻省理工学院）
研究受限通信对最优分布式频率控制性能的影响，提出利用电网动态复制通信信息的新方案，证明其在单链路故障下能实现最优解，并通过仿真提升收敛时间。
2016-05-03 cs.SY eess.SY math.OC
CADA: Communication-Adaptive Distributed Adam
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
随机梯度下降（SGD）已经成为大规模机器学习的主要工具。它通常与其自适应变体一起使用，如AdaGrad，Adam和AMSGrad。本文提出了一种用于分布式机器学习的自适应随机梯度下降方法，它可以被看作是著名的亚当方法的通信自适应对应物-证明其名称CADA。CADA的关键组成部分是一组新的规则，自适应随机梯度，可以实现节省通信上传量。新算法自适应地重用陈旧的亚当梯度，从而节省通信，并且仍然具有与原始亚当相当的收敛速度。在数值实验中，CADA实现了令人印象深刻的经验性能方面的总通信轮减少。
2020-12-31 cs.DC cs.LG math.OC
Compression and Data Similarity: Combination of Two Techniques for Communication-Efficient Solving of Distributed Variational Inequalities
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（高等经济大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Adyghe State University（阿迪格国立大学）
变分不等式是研究极小化、鞍点、对策、不动点问题的重要工具。现代大规模和计算昂贵的实际应用，使分布式方法来解决这些问题的流行。同时，大多数分布式系统都有一个基本问题-通信瓶颈。有各种各样的技术来处理它。特别是，在本文中，我们考虑了两种流行的方法：压缩和数据相似性的组合。我们表明，这种协同作用可以更有效地解决分布光滑强单调变分不等式的方法。实验验证了理论结论。
2022-09-03 cs.DC cs.LG math.OC
Double Quantization for Communication-Efficient Distributed Optimization
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
机器学习模型的现代分布式训练遭受用于同步随机梯度和模型参数的高通信开销。在本文中，为了减少通信的复杂性，我们提出了\emph{double quantization}，一个通用的计划量化模型参数和梯度。三个通信效率的算法提出了这个一般计划。具体而言，（i）我们提出了一个低精度算法AsyLPG异步并行，（ii）我们探索了结合梯度稀疏化与双量化和开发稀疏AsyLPG，（iii）我们表明，双量化也可以加速动量技术和设计加速AsyLPG。我们建立了严格的性能保证的算法，并进行多服务器测试床上的实验，以证明我们的算法可以有效地节省传输的比特，而不会降低性能。
2019-05-26 cs.LG math.OC stat.ML
Communication-Efficient Distributed Blockwise Momentum SGD with Error-Feedback
Amazon Web Services（亚马逊云科技）；Hong Kong University of Science and Technology（香港科技大学）
通信开销是阻碍分布式机器学习系统可扩展性的主要瓶颈。最近，人们对使用梯度压缩来提高分布式神经网络训练的通信效率产生了极大的兴趣。使用1位量化，具有多数表决的signSGD实现了通信成本的32倍降低。然而，它的收敛是基于不切实际的假设，在实践中可能会出现分歧。在本文中，我们提出了一个一般的分布式压缩SGD Nesterov的动量。我们考虑双向压缩，它压缩到工人和从工人的梯度。给出了一般梯度压缩器在非凸问题上的收敛性分析。通过将梯度划分为块，引入了逐块压缩器，使得每个梯度块以具有缩放因子的1位格式压缩和传输，从而导致通信减少近32倍。实验结果表明，该方法与全精度分布式动量SGD算法收敛速度相当，且测试精度相同。特别是，在ImageNet上使用7个工作人员进行分布式ResNet训练时，所提出的算法使用全精度梯度实现了与动量SGD相同的测试精度，但$46\%$的挂钟时间更少。
2019-10-28 cs.DC cs.LG math.OC
Communication-Efficient Differentially Private Gradient Tracking for Distributed Optimization via Local Updates
University of Virginia（弗吉尼亚大学）
本文提出一种通信高效的差分隐私分布式优化方法，通过局部更新和梯度跟踪扰动实现隐私保护，并证明收敛性与无限时域隐私保证。
2026-10-06 cs.SY eess.SY math.OC
On Maintaining Linear Convergence of Distributed Learning and Optimization under Limited Communication
Stockholm University（斯德哥尔摩大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；EPFL（洛桑联邦理工学院）；Harvard John A. Paulson School of Engineering and Applied Science（哈佛大学约翰·A·保尔森工程与应用科学学院）
在分布式优化和机器学习中，多个节点协调解决大型问题。要做到这一点，节点需要将重要的算法信息压缩为比特，以便可以通过数字信道进行通信。这些算法的通信时间遵循a）算法的收敛特性、b）压缩方案和c）由数字信道提供的传输速率之间的复杂相互作用。我们探讨这些关系的一般类线性收敛的分布式算法。特别是，我们说明了如何设计这些算法的量化器，压缩通信信息到几个比特，同时仍然保持线性收敛。此外，我们的特点，这些算法的通信时间作为可用的传输速率的函数。我们说明了我们的研究结果学习算法使用不同的通信结构，如分散式算法，其中一个单一的主协调信息从许多工人和完全分布式算法，只有邻居在通信图可以通信。我们的结论是，机器学习和通信协议的共同设计是强制性的，以繁荣机器学习网络。
2020-10-05 cs.LG math.OC stat.ML
Communication trade-offs for synchronized distributed SGD with large step size
IIT Kanpur（坎普尔印度理工学院）；EPFL（洛桑联邦理工学院）
同步小批量SGD是大规模分布式机器学习的最新技术。然而，在实践中，它的收敛性受到工作节点之间缓慢的通信轮次的影响。减少通信的自然解决方案是使用\emph{`local-SGD'}模型，其中工作者独立地训练他们的模型，并每隔一段时间进行同步。该算法改善了计算-通信权衡，但其收敛性不是很好理解。我们提出了一种非渐近误差分析，它可以与\emph{one-shot averaging}进行比较，即，独立工作者之间的单轮通信，以及\emph{mini-batch averaging}，即，沟通每一步。我们还提供了自适应下界的通信频率为大步长（$ t^{-α} $，$ α\in (1/2 , 1 ) $），并表明，\emph{Local-SGD}减少通信的一个因素，$O\Big(\frac{\sqrt{T}}{P^{3/2}}\Big)$，与$T$的梯度和$P$机的总数。
2019-04-25 cs.LG math.OC stat.ML
