Improving Dynamic Regret in Distributed Online Mirror Descent Using Primal and Dual Information
我们考虑分布式在线优化的问题，一组学习者通过动态通信图连接。学习器的目标是以分布式的方式跟踪时变损失函数之和的全局最小值。我们提出了一种新的算法，称为分布式在线镜像下降与多个平均决策和梯度共识（DOMD-MADGC），这是基于镜像下降，但结合了多个共识平均迭代局部梯度以及局部决策。其关键思想是允许局部学习器收集足够量的全局信息，这使它们能够更准确地近似时变全局损失，从而使它们能够随着时间的推移密切跟踪动态全局最小值。我们证明了DOMD-MADGC的动态后悔是由路径长度上界的，路径长度定义为连续最小值之间的累积距离。由此产生的界限改善现有的分布式在线算法的界限，并消除了显式依赖$T$。
2021-12-07 cs.DC math.OC
An Exact Quantized Decentralized Gradient Descent Algorithm
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑分散式共识优化问题，其中$n$光滑和强凸函数的总和在形成连接网络的$n$分布式代理上最小化。特别是，我们考虑的情况下，节点之间的通信的局部决策变量进行量化，以减轻分布式优化中的通信瓶颈。我们提出了量化分散梯度下降（QDGD）算法，在该算法中，节点更新其本地决策变量相结合的量化信息从他们的邻居与他们的本地信息。我们证明，在标准的强凸性和光滑性的假设下的目标函数，QDGD实现了消失的平均解的误差在习惯条件下的量化。据我们所知，这是第一个在量化噪声存在的情况下实现一致性误差消失的算法。此外，我们提供的模拟结果表明，我们推导的理论收敛速度和数值结果之间的紧密协议。
2019-08-02 cs.DC cs.LG math.OC
Achieving Consensus over Compact Submanifolds
本文研究紧子流形约束下的去中心化非凸一致性问题，利用近端光滑性、投影与收缩关系及受限割线不等式，证明黎曼梯度下降在较弱连通条件下的局部线性收敛。
2023-06-07 cs.DC math.OC
Byzantine Fault-Tolerance in Peer-to-Peer Distributed Gradient-Descent
我们考虑的问题，拜占庭容错的对等（P2P）分布式梯度下降法-一个突出的算法，在P2P系统中的分布式优化。在这个问题中，系统由多个代理人组成，每个代理人都有一个本地成本函数。在无故障的情况下，当所有的代理都是诚实的，P2P分布式梯度下降方法允许所有的代理达成共识的解决方案，最大限度地减少他们的总成本。然而，我们考虑的情况下，一定数量的代理可能是拜占庭故障。这样的错误代理可能不正确地遵循算法，并且可能共享任意的不正确信息以防止其他非错误代理解决优化问题。在拜占庭故障代理的存在下，一个更合理的目标是允许所有的非故障代理达成共识的解决方案，最大限度地减少所有的非故障代理的总成本。我们将此容错目标称为$f$ -弹性，其中$f$是$n$代理系统中拜占庭故障代理的最大数量，其中$f < n$。P2P分布式优化中的大多数现有容错工作仅考虑近似容错，其中，与$f$弹性不同，所有非故障代理计算其成本函数的非均匀加权聚合的最小点。我们提出了一个容错机制，赋予可证明的$f$ -弹性的P2P分布式梯度下降方法，提供了非故障代理满足必要条件的$2f$ -冗余，稍后在本文中定义。此外，与以前的工作相比，我们的算法是适用于更大的一类高维凸分布优化问题。
2021-01-28 cs.DC
A Coordinate Descent Primal-Dual Algorithm and Application to Distributed Asynchronous Optimization
本文提出一种基于随机坐标下降的对偶优化算法，用于解决分布式异步优化问题，通过随机更新坐标实现共识。
2015-09-30 cs.DC cs.NA cs.SY
Peer-to-Peer Learning + Consensus with Non-IID Data
Carnegie Mellon University（卡内基梅隆大学）
针对对等深度学习在非IID数据下因共识与训练交错导致的模型漂移和性能振荡问题，提出带亲和性的P2PL方法，在不增加通信成本下有效抑制振荡。
2023-12-21 cs.DC cs.LG
Distributed Solution of Large-Scale Linear Systems via Accelerated Projection-Based Consensus
California Institute of Technology（加州理工学院）；University of Southern California（南加州大学）
本文提出加速分布式共识算法，用于解决大规模线性系统，通过在每个迭代中更新解决方案并结合动量平均，优于梯度下降、Nesterov加速梯度下降、重力球方法和ADMM等方法。
2017-12-11 cs.DC cs.LG cs.NA
A Decentralized Second-Order Method with Exact Linear Convergence Rate for Consensus Optimization
本文考虑了分散共识最优化问题，其中全局目标函数的不同和数在网络中只能与邻居通信的节点处可用。乘子的近端方法被认为是一个强大的工具，它依赖于适当定义的增广拉格朗日函数上的近端原始下降和对偶上升更新。增广拉格朗日的结构使得这个问题不可分解，这就排除了分布式实现。这个问题通常通过使用乘法器的交替方向法来解决。精确二阶方法（ESOM）在这里被引入作为一种替代方案，依赖于：（i）使用可分离的二次近似的增广拉格朗日。(ii)截断泰勒级数估计的解决方案的一阶条件施加在最小化的二次近似的增广拉格朗日。当总费用函数为强凸函数且梯度为Lipschitz连续时，ESOM生成的原始变量和对偶变量序列线性收敛于其最优参数.数值结果表明，ESOM相对于分散的替代解决最小二乘和逻辑斯谛回归问题的优势。
2016-02-01 cs.DC math.OC
CompressedScaffnew: The First Theoretical Double Acceleration of Communication from Local Training and Compression in Distributed Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（SDAIA-KAUST数据科学与人工智能卓越中心）；Brno University of Technology（布尔诺理工大学）；Kempelen Institute of Intelligent Technologies (KInIT)（肯佩伦智能技术研究所）
本文提出CompressedScaffnew算法，结合减少通信频率和压缩信息传输两种策略，实现分布式优化的线性收敛与双重加速。
2026-04-02 cs.DC cs.LG math.OC
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
由于训练数据集规模的爆炸式增长，分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的，在减少通信成本与随机梯度下降（SGD），有很少的尝试，在建立通信有效的自适应梯度方法与可证明的保证，这是广泛用于训练大规模机器学习模型。在本文中，我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题，这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点，具有相同的迭代复杂度，未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
DoubleSqueeze: Parallel Stochastic Gradient Descent with Double-Pass Error-Compensated Compression
University of Rochester（罗切斯特大学）；Hong Kong University of Science and Technology（香港科技大学）；Kwai Inc（快手公司）
大规模机器学习中的标准方法是分布式随机梯度训练，其需要计算网络上多个节点上的聚合随机梯度。通信是此类应用中的主要瓶颈，近年来，已经提出了压缩随机梯度方法，如QSGD（量化SGD）和稀疏SGD，以减少通信。它还表明，误差补偿可以与压缩相结合，以实现更好的收敛，在一个计划，每个节点压缩其本地随机梯度和广播的结果，所有其他节点在网络中的一个单一的通过。然而，这种单通道广播方法在许多实际实现中是不现实的。例如，在用于分布式学习的流行参数服务器模型下，工作节点需要将压缩的局部梯度发送到参数服务器，参数服务器执行聚合。参数服务器必须在将其发送回工作节点之前再次压缩聚合的随机梯度。在这项工作中，我们提供了一个详细的分析，这两个通行证的通信模型和它的异步并行变体，与错误补偿压缩的工人节点和参数服务器上。我们发现，误差补偿随机梯度算法承认三个非常好的属性：1）它是兼容的\emph{arbitrary}压缩技术; 2）它承认一个改进的收敛速度比非误差补偿随机梯度方法，如QSGD和稀疏SGD; 3）它承认线性加速的工人的数量。实证研究也验证了我们的理论结果。
2020-03-21 cs.DC cs.LG
DoCoM: Compressed Decentralized Optimization with Near-Optimal Sample Complexity
The Chinese University of Hong Kong（香港中文大学）
本文提出双重压缩动量辅助随机梯度跟踪算法DoCoM，通过压缩Gossip共识跟踪迭代与梯度并结合动量缩减方差，实现近最优样本复杂度，在非凸目标下收敛至近平稳解。
2023-07-31 cs.DC cs.DS cs.LG
Compressed and Sparse Models for Non-Convex Decentralized Learning
Cornell University（康奈尔大学）
本文提出 Malcom-PSGD 算法，通过 $\ell_1$ 正则化模型稀疏化并结合梯度压缩与量化通信，在非凸去中心化学习中实现 $\mathcal{O}(1/\sqrt{t})$ 收敛，并将通信成本降低约 75%。
2024-06-05 cs.DC cs.DS cs.LG
The Error-Feedback Framework: Better Rates for SGD with Delayed Gradients and Compressed Communication
EPFL（洛桑联邦理工学院）
我们分析（随机）梯度下降（SGD）与光滑拟凸和非凸函数的延迟更新，并推导出简洁，非渐近，收敛速度。我们表明，在所有情况下的收敛速度包括两个方面：（i）一个随机项，这是不受影响的延迟，和（ii）一个高阶确定性项，这只是线性放缓的延迟。因此，在存在噪声的情况下，延迟的影响在几次迭代之后变得可以忽略不计，并且算法以与标准SGD相同的最佳速率收敛。这一结果扩展了一系列的研究，显示出类似的结果，在渐近制度或强凸二次函数。我们进一步显示了类似的结果，SGD与更复杂的形式的延迟梯度-压缩梯度下的误差补偿和本地~SGD，多个工人执行本地步骤之前，相互通信。在所有这些设置中，我们改进了最知名的费率。这些结果表明，SGD是压缩和/或延迟的随机梯度更新的鲁棒性。这对于分布式并行实现尤其重要，其中异步和通信高效的方法是实现多设备优化的线性加速的关键。
2021-06-16 cs.DC cs.LG math.OC
FastSGD: A Fast Compressed SGD Framework for Distributed Machine Learning
College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）
随着大数据的快速增长，分布式机器学习在大规模模型训练中得到了广泛应用。随机梯度下降（SGD）可以说是ML的主力算法。SGD训练的分布式ML模型涉及大量的梯度通信，这限制了分布式ML的可扩展性。因此，重要的是压缩梯度以减少通信。在本文中，我们提出了FastSGD，这是一个用于分布式ML的快速压缩SGD框架。为了以低成本实现高压缩比，FastSGD将梯度表示为键-值对，并以线性时间复杂度压缩梯度键和值。对于梯度值压缩，FastSGD首先使用倒数映射器将原始值转换为倒数值，然后使用对数量化将倒数值进一步减少到小整数。最后，FastSGD滤波器通过给定的阈值减少梯度整数。对于梯度密钥压缩，FastSGD提供了一种自适应细粒度增量编码方法，以更少的位存储梯度密钥。在实际ML模型和数据集上进行的大量实验表明，与最先进的方法相比，FastSGD实现了高达4个数量级的压缩比，并将收敛时间加快了8倍。
2021-12-08 cs.DC cs.LG
Decentralized Stochastic Optimization and Gossip Algorithms with Compressed Communication
EPFL（洛桑联邦理工学院）
我们考虑分散随机优化的目标函数（例如，机器学习任务的数据样本）分布在$n$机器，只能与他们的邻居在一个固定的通信图。为了减少通信瓶颈，节点压缩（例如，压缩或稀疏化）它们的模型更新。我们涵盖了无偏和有偏压缩算子，质量表示为$ω\leq 1$（$ω=1$表示没有压缩）。我们（i）提出了一种新的基于gossip的随机梯度下降算法，CHOCO-SGD，它以$\mathcal{O}\left(1/(nT) + 1/(T δ^2 ω)^2\right)$的速度收敛于强凸目标，其中$T$表示迭代次数，$δ$表示连通矩阵的特征间隙。尽管压缩质量和网络连接影响高阶项，但速率中的第一项$\mathcal{O}(1/(nT))$与具有精确通信的集中式基线相同。我们（ii）提出了一种新的八卦算法，CHOCO-GOSSIP，平均共识问题，收敛时间$\mathcal{O}(1/(δ^2ω) \log (1/ε))$的准确性$ε> 0$。这是（据我们所知）第一个支持$ω> 0$任意压缩消息的流言算法，并且仍然表现出线性收敛。我们（iii）在实验中表明，我们的算法都优于各自的国家的最先进的基线和CHOCO-SGD可以减少至少两个数量级的通信。
2019-02-01 cs.DC cs.DS cs.LG
CEDAS: A Compressed Decentralized Stochastic Gradient Method with Improved Convergence
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳）数据科学学院）
本文提出压缩去中心化随机梯度方法 CEDAS，在通信受限的多智能体网络中达到与集中式 SGD 相当的收敛速率，并具有最短瞬态时间。
2024-09-29 cs.DC cs.LG cs.MA
CIDERS: Cloud-Edge LLM Collaborative Learning via Accelerating Personalized Bilevel Optimization
针对云边LLM协作中全局共识与本地个性化难以平衡的问题，提出个性化双层优化框架及高效求解器CIDERS，通过共识变量校正实现协同演进，在数学推理和代码生成上分别提升3.1倍和1.7倍。
2026-09-15 cs.AI cs.DC
Federated Block Coordinate Descent Scheme for Learning Global and Personalized Models
在联邦学习中，模型是从用户的数据中学习的，这些数据在他们的边缘设备中是私有的，通过在服务提供商的“云”中聚合它们来获得全局模型。这样的全球模型具有巨大的商业价值，改善客户的体验。在本文中，我们重点关注现有技术的两个可能改进领域。首先，我们考虑到用户习惯之间的差异，并提出一种基于二次惩罚的公式，用于高效学习全局模型，从而允许个性化局部模型。其次，我们解决了与边缘设备上的异构训练时间相关的延迟问题，不仅利用云和边缘设备之间的分层结构建模通信，而且还在云中。具体来说，我们设计了一个量身定制的块坐标下降为基础的计算方案，伴随着同步和异步云设置的通信协议。我们表征的算法的理论收敛速度，并提供了一个变种，经验表现更好。我们还证明了异步协议，灵感来自多代理共识技术，具有潜在的大的增益延迟相比，同步设置时，边缘设备更新是间歇性的。最后，提供的实验结果不仅证实了理论，而且还表明，与现有技术相比，该系统导致边缘设备上个性化模型的更快收敛。
2021-01-31 cs.DC
Communication-Efficient and Byzantine-Robust Distributed Learning with Error Feedback
Halicioglu Data Science Institute, UC San Diego（哈利乔格鲁数据科学研究所，加州大学圣迭戈分校）；UC Berkeley（加州大学伯克利分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）；EECS department, UC Berkeley（加州大学伯克利分校电子工程与计算机科学系）
我们开发了一个通信高效的分布式学习算法，是强大的拜占庭工人机器。我们提出并分析了一个分布式梯度下降算法，执行一个简单的阈值的基础上梯度规范，以减轻拜占庭故障。我们证明了我们算法的（统计）错误率与Yin等人的算法相匹配。\cite{dong}，它使用更复杂的方案（坐标系中位数，修剪均值）。此外，为了提高通信效率，我们考虑了Karimireddi等人的一类通用的$δ$ -近似压缩器。\cite{errorfeed}，包含基于符号的压缩器和顶部$k$稀疏化。我们的算法分别使用压缩梯度和梯度范数进行聚集和拜占庭移除。我们建立了非凸光滑损失函数的统计出错率。结果表明，在压缩因子$δ$的一定范围内，压缩操作对收敛速度没有影响。此外，我们分析了压缩梯度下降算法与错误反馈（提出在\cite{errorfeed}）在分布式设置和拜占庭工人机器的存在。我们发现，利用错误反馈提高了统计出错率。最后，我们通过实验验证了我们的结果，并显示出良好的性能在凸（最小二乘回归）和非凸（神经网络训练）问题的收敛。
2021-08-14 cs.DC cs.LG stat.ML
Distributed Online Optimization in Dynamic Environments Using Mirror Descent
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
这项工作解决了非平稳环境中的分散在线优化问题。智能体网络的目标是跟踪全局时变凸函数的最小值。极小化器根据被未知的非结构化噪声破坏的已知动力学来演化。在每个时刻，全局函数可以被转换为有限数量的局部函数的总和，每个局部函数被分配给网络中的一个代理。此外，本地功能变得可用于代理顺序，和代理不具有未来的费用函数的先验知识。因此，智能体必须相互通信，以建立全局函数的在线近似。我们提出了一个分散的变化，著名的镜像下降，开发Nemirovksi和Yudin。使用Bregman散度的概念代替投影的欧氏距离，镜像下降已被证明是大规模优化的强大工具。我们的算法建立在镜像下降的基础上，同时确保代理执行共识步骤以遵循全局函数并考虑全局极小值的动态。为了衡量所提出的在线算法的性能，我们将其与离线算法进行比较，其中全局函数是先验的。两者之间的差距被称为动态遗憾。我们建立了一个遗憾的范围，规模成反比的频谱间隙的网络，更值得注意的是，它表示的偏差最小序列相对于给定的动态。然后，我们表明，我们的研究结果subconstitutes在分布式优化的结果。我们展示了我们的方法的应用分散跟踪的动态参数，并通过数值实验验证结果。
2016-09-09 cs.DC cs.LG math.OC
On the Benefits of Multiple Gossip Steps in Communication-Constrained Decentralized Optimization
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Amazon（亚马逊）
在分散式优化中，通常的算法实践是让节点将（局部）梯度下降迭代与gossip（即在网络上求平均）步骤交织。受大规模机器学习模型训练的启发，要求消息是本地参数的{ \em有损压缩}版本也越来越常见。在本文中，我们表明，在这样的压缩分散优化设置，有好处的后续梯度迭代之间的{ \em多}八卦步骤，即使这样做的成本是适当的占，例如通过降低压缩信息的精度。特别是，我们表明，具有$O(\log\frac{1}ε)$梯度迭代{具有恒定的步长} -和$O(\log\frac{1}ε)$八卦步骤之间的每对这些迭代-使收敛到$ε$内的最佳值的光滑的非凸目标满足Polyak-Jesojasiewicz条件。这一结果也适用于光滑强凸目标。据我们所知，这是第一个工作，得出收敛结果的非凸优化任意通信压缩。
2020-11-20 cs.DC cs.LG math.OC
Exact Subspace Diffusion for Decentralized Multitask Learning
Imperial College London（帝国理工学院）
本文提出精确扩散算法在子空间约束多任务学习中的推广，推导带噪声梯度近似下的均方偏差表达式，并通过数值实验验证其优于基于近似投影的方法。
2023-04-14 cs.DC cs.LG eess.SP
Distributed Optimization of Convex Sum of Non-Convex Functions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种分布式求解方法来优化由多个非凸函数组成的凸函数。每个非凸函数都被一个代理私有地存储，而代理与邻居通信以形成一个网络。我们证明了[1]中提出的耦合一致性和投影梯度下降算法在附加梯度Lipschitz性假设下可以优化非凸函数的凸和。我们进一步讨论了这种分析在分布式优化中提高隐私性的应用。
2016-08-18 cs.DC cs.LG math.OC
Distributed Second Order Methods with Fast Rates and Compressed Communication
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们开发了几个新的通信有效的二阶方法的分布式优化。我们的第一种方法，牛顿之星，是一个变种牛顿的方法，它继承了其快速的本地二次速率。然而，与牛顿的方法不同，NEWTON-STAR享有与梯度下降相同的每次迭代通信成本。虽然这种方法是不切实际的，因为它依赖于使用某些未知的参数，其特征在于在最佳的目标函数的Hessian，它作为起点，使我们能够设计其具有强有力的理论保证的实际变体。特别是，我们设计了一个随机稀疏化策略，以迭代的方式学习未知参数的通信有效的方式。将此策略应用于NEWTON-STAR导致我们的下一个方法，NEWTON-LEARN，为此我们证明了与条件数无关的局部线性和超线性速率。在适用的情况下，与最先进的方法相比，该方法可以具有显著优越的收敛行为。最后，我们使用立方正则化开发了一个全球化策略，这导致了我们的下一个方法，CUBIC-NEWTON-LEARN，我们证明了全局次线性和线性收敛速度，以及快速的超线性速度。我们的研究结果与真实数据集上的实验结果相支持，并在通信复杂性方面显示了基线和最先进方法的几个数量级改进。
2021-02-14 cs.DC cs.LG math.OC
On Generalization of Decentralized Learning with Separable Data
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of British Columbia（不列颠哥伦比亚大学）
当数据自然地分布在通过底层图进行通信的代理之间时，去中心化学习提供了隐私和通信效率。受过参数化学习设置的启发，其中模型被训练到零训练损失，我们研究了分散学习的算法和泛化特性，在可分离数据上使用梯度下降。具体来说，分散梯度下降（DGD）和各种损失函数，渐近到零在无穷大（包括指数和逻辑损失），我们得到新的有限时间推广界。这补充了最近的一系列研究可分离数据上的泛化性能和梯度下降的隐式偏差的工作，但迄今为止仅限于集中式学习场景。值得注意的是，我们的泛化范围大致匹配，以他们的集中对应。这背后的关键和独立的利益，是建立新的界限的训练损失和DGD的共识率的一类自限损失。最后，在算法方面，我们设计了改进的基于梯度的例程，用于使用可分离数据进行分散学习，并在训练和泛化性能方面实证证明了速度的数量级。
2023-03-27 cs.DC cs.LG cs.MA
Faster Convergence with Less Communication: Broadcast-Based Subgraph Sampling for Decentralized Learning over Wireless Networks
Linköping University（林雪平大学）
针对无线网络去中心化学习中D-SGD的通信协调问题，提出广播基子图采样方法BASS，通过生成稀疏子图混合矩阵并联合优化采样概率，实现更快收敛且传输时隙更少，挖掘无线广播特性的加速潜力。
2025-02-11 cs.DC cs.IT cs.LG
