Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对异构计算与通信延迟下的去中心化非凸优化，本文提出改进 ADSGD 模型，并借助 ASBCD 证明其无需数据异构有界即可采用不依赖计算延迟的步长收敛，实验显示其挂钟时间更优。
2025-05-15 cs.LG math.OC
Feedback Gradient Descent: Efficient and Stable Optimization with Orthogonality for DNNs
KAIST（韩国科学技术院）
具有正交性的优化已被证明在训练深度神经网络（DNN）中是有用的。为了在DNN上施加正交性，计算效率和稳定性都很重要。然而，现有的方法利用黎曼优化或硬约束只能确保稳定性，而那些使用软约束只能提高效率。在本文中，我们提出了一种新的方法，命名为反馈梯度下降（FGD），据我们所知，第一个工作同时表现出高效率和稳定性。FGD诱导正交性的基础上简单但不可或缺的连续时间动力系统上的Stiefel流形的切丛欧拉离散化。特别是，受到启发的流形上的数值积分方法称为反馈积分器，我们建议将其实例化的Stiefel流形的切丛的第一次。在广泛的图像分类实验中，FGD在准确性、效率和稳定性方面全面优于现有的最先进的方法。
2022-05-12 cs.AI cs.LG
Manifold constrained steepest descent for smooth and closed-set optimization
Department of Mathematics, University of Hong Kong, Hong Kong, China（香港大学数学系）
本文提出流形约束最速下降（MCSD）方法，通过单循环框架在流形上进行优化，并引入SPEL在Stiefel流形上的应用，实现了更稳定的性能和可扩展性。
2026-08-14 cs.LG math.OC
Decentralized Markov Chain Gradient Descent
National University of Defense Technology（国防科技大学）
分散随机梯度法是解决大规模机器学习问题的一种有效方法。本文研究了分散马尔可夫链梯度下降（DMGD）算法-分散随机梯度法的一种变体，其中随机样本沿马尔可夫链的轨迹。当获得独立样本的成本很高或不可能时，这种设置是有充分动机的，这排除了传统随机梯度算法的使用。具体来说，我们考虑一阶和零阶版本的分散马尔可夫链梯度下降在一个连接的网络，其中每个节点只与它的邻居关于中间结果进行通信。所提出的算法的非遍历收敛性和遍历收敛速度已被严格建立，并已强调其关键依赖于网络拓扑结构和混合时间的马尔可夫链。数值试验进一步验证了算法的采样效率。
2021-04-13 cs.LG cs.NA math.NA
Decentralized Stochastic Optimization with Inherent Privacy Protection
Clemson University（克莱姆森大学）；Princeton University（普林斯顿大学）
分散随机优化是现代协作机器学习、分布式估计和控制以及大规模传感的基本构建块。由于所涉及的数据通常包含敏感信息，如用户位置，医疗记录和金融交易，隐私保护已成为一个越来越迫切的需求，在实现分散的随机优化算法。在本文中，我们提出了一个分散的随机梯度下降算法，这是嵌入固有的隐私保护，为每个参与代理对其他参与代理和外部窃听。该算法建立在一个基于动态的梯度混淆机制，使隐私保护，而不损害优化精度，这是在显着的差异，基于隐私的隐私解决方案的分散优化，必须贸易优化精度的隐私。基于动态的隐私方法是免维护的，因此避免了产生沉重的通信或计算开销，这是分散随机优化的基于加密的隐私解决方案的常见问题。除了严格的特征的收敛性能的分散随机梯度下降算法下凸目标函数和非凸目标函数，我们还提供了严格的信息理论分析其强度的隐私保护。分布式估计问题的仿真结果以及在基准机器学习数据集上进行分散学习的数值实验证实了所提出方法的有效性。
2022-05-08 cs.LG cs.SY eess.SY
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文利用算法稳定性方法研究去中心化随机梯度下降上升算法在凸-凹与非凸-非凹设定下的原始-对偶泛化界，证明去中心化结构不损害其稳定性与泛化性，并分析了拓扑结构对泛化界的影响。
2023-10-31 cs.LG math.OC
Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI lab（腾讯人工智能实验室）
现在大多数分布式机器学习系统，包括TensorFlow和CNTK，都是以集中式的方式构建的。集中式算法的一个瓶颈在于中心节点的高通信开销。受此启发，我们问，分散式算法是否比集中式算法更快？虽然分散式PSGD（D-PSGD）算法已经被控制界研究，现有的分析和理论没有显示出任何优势集中式PSGD（C-PSGD）算法，简单地假设的应用场景，只有分散式网络是可用的。在本文中，我们研究了D-PSGD算法，并提供了第一个理论分析，表明分散式算法可能优于集中式算法的分布式随机梯度下降的制度。这是因为D-PSGD具有与C-PSGD相当的总计算复杂性，但在最繁忙的节点上需要少得多的通信成本。我们进一步进行了实证研究，以验证我们的理论分析在多个框架（CNTK和火炬），不同的网络配置，和计算平台高达112 GPU。在具有低带宽或高延迟的网络配置上，D-PSGD可以比其良好优化的集中式对应物快一个数量级。
2017-09-11 cs.DC cs.LG math.OC
An Exact Quantized Decentralized Gradient Descent Algorithm
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑分散式共识优化问题，其中$n$光滑和强凸函数的总和在形成连接网络的$n$分布式代理上最小化。特别是，我们考虑的情况下，节点之间的通信的局部决策变量进行量化，以减轻分布式优化中的通信瓶颈。我们提出了量化分散梯度下降（QDGD）算法，在该算法中，节点更新其本地决策变量相结合的量化信息从他们的邻居与他们的本地信息。我们证明，在标准的强凸性和光滑性的假设下的目标函数，QDGD实现了消失的平均解的误差在习惯条件下的量化。据我们所知，这是第一个在量化噪声存在的情况下实现一致性误差消失的算法。此外，我们提供的模拟结果表明，我们推导的理论收敛速度和数值结果之间的紧密协议。
2019-08-02 cs.DC cs.LG math.OC
A Riemannian Block Coordinate Descent Method for Computing the Projection Robust Wasserstein Distance
University of California, Davis（加利福尼亚大学戴维斯分校）
Wasserstein距离在机器学习和深度学习中变得越来越重要。尽管沃瑟斯坦距离很受欢迎，但由于维数灾难，它很难近似。最近提出的一种减轻维数灾难的方法是将高维概率分布的采样数据投影到低维子空间上，然后计算投影数据之间的Wasserstein距离。然而，这种方法需要解决Stiefel流形上的最大-最小问题，这在实践中非常具有挑战性。唯一直接解决这个问题的现有工作是RGAS（Riemannian Gradient Ascent with Sinkhorn Iteration）算法，该算法需要在每次迭代中解决熵正则化的最优运输问题，因此对于大规模问题来说代价高昂。在本文中，我们提出了一个黎曼块坐标下降（RBCD）方法来解决这个问题，这是基于一个新的正则化最大-最小问题的Stiefel流形上的重新制定。我们证明了RBCD得到$ε$-平稳点的算术运算的复杂性是$O(ε^{-3})$。这显著提高了RGAS的相应复杂度，即$O(ε^{-12})$。此外，我们的RBCD具有非常低的每次迭代的复杂度，因此适合于大规模的问题。在模拟数据集和真实数据集上的数值结果表明，该方法比现有的方法更有效，特别是当采样数据的数量非常大时。
2021-09-27 cs.LG math.OC stat.ML
Decentralized Optimization Over the Stiefel Manifold by an Approximate Augmented Lagrangian Function
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文研究了Stiefel流形上的分散最优化问题，Stiefel流形定义在一个由$d$智能体组成的连通网络上.目标是$d$局部函数的平均值，每个函数由代理私有并对其数据进行编码。代理只能与他们的邻居进行通信，共同努力解决这个问题。在现有的方法中，需要多轮通信来保证收敛，从而导致高通信成本。相比之下，本文提出了一种分散式算法，称为DESTINY，它每次迭代只调用一轮通信。DESTINY将梯度跟踪技术与一种新的近似增广拉格朗日函数相结合。严格地证明了算法的整体收敛到稳定点。全面的数值实验表明，DESTINY有很强的潜力，提供一个尖端的性能，在解决各种测试问题。
2021-12-30 cs.LG cs.SY eess.SY
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
Periodic Stochastic Gradient Descent with Momentum for Decentralized Training
Temple University（天普大学）；University of Pittsburgh（匹兹堡大学）
近年来，对分散培训进行了积极研究。虽然已经提出了各种各样的方法，但分散动量SGD方法仍然是探索不足。在本文中，我们提出了一种新的周期性分散动量SGD方法，它采用了动量模式和周期性通信的分散训练。这两种策略，以及分散式训练系统的拓扑结构，我们提出的方法的理论收敛性分析是困难的。我们解决这个具有挑战性的问题，并提供了我们提出的方法可以实现线性加速的工人数量的条件。此外，我们还引入了一个通信效率的变体，以减少在每个通信轮的通信成本。也提供了实现线性加速的条件。据我们所知，这两种方法都是第一次在其相应的领域取得这些理论成果。我们进行了大量的实验来验证我们提出的两种方法的性能，他们都表现出优越的性能比现有的方法。
2020-08-24 cs.LG stat.ML
Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
Temple University（天普大学）
针对分布式多节点数据下的有限和极小极大优化问题，提出一种采用方差缩减梯度的去中心化随机梯度下降上升方法，在非凸-强凹情形下获得更优样本与通信复杂度，并通过AUC最大化实验验证有效性。
2024-06-11 cs.LG math.OC stat.ML
DSPG: Decentralized Simultaneous Perturbations Gradient Descent Scheme
Paderborn University（帕德博恩大学）
分布式下降方法是解决多智能体系统中最优化问题的重要工具。在这里，代理寻求通过相互合作来优化全局目标函数。通常，通过易于延迟和错误的无线通信网络来实现协作。在许多情况下，目标函数是不可微的或仅仅是可观察的。在本文中，我们提出了一个基于交叉熵的分布式随机逼近算法（SA），发现一个最小的目标，只使用样本。我们称这种算法为具有常数灵敏度参数的分散同时扰动随机梯度（DSPG）。该算法比经典的同时扰动随机逼近（SPSA）算法有两个方面的改进。具体而言，DSPG允许（i）使用来自其他代理的旧信息，以及（ii）通过使用简单的超参数选择轻松实现。我们分析了由于这两个津贴而产生的偏差和方差。我们表明，由于通信延迟的偏见可以通过仔细选择算法的超参数。研究了梯度估计量的方差及其对收敛速率的影响。我们提出的数值结果支持我们的理论。最后，我们讨论了随机共识问题的应用。
2019-08-27 cs.LG math.OC stat.ML
Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks
Fudan University（复旦大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Chinese University of Hong Kong（香港中文大学）
在分散式学习中，节点网络合作以最小化总体目标函数，该目标函数通常是其局部目标的有限和，并结合非光滑正则化项以获得更好的泛化能力。分散随机邻近梯度（DSPG）方法通常用于训练这类学习模型，但随机梯度的方差会减慢收敛速度。在本文中，我们提出了一种新的算法，即DPSVRG，利用方差减少技术来加速分散训练。其基本思想是在每个节点上引入一个估计器，周期性地跟踪局部全梯度，以在每次迭代中校正随机梯度。通过将分散算法转化为一个集中的方差缩减的不精确邻近梯度算法，并控制误差序列的界，我们证明了对于一般凸目标，DPSVRG以$O(1/T)$加非光滑项的速度收敛，$T$为迭代次数，而DSPG以$O(\frac{1}{\sqrt{T}})$的速度收敛.在不同的应用、网络拓扑结构和学习模型上的实验表明，DPSVRG的收敛速度比DSPG快得多，且DPSVRG的损失函数随着训练时间的增加而平滑下降。
2022-01-23 cs.LG cs.NI math.OC
Personalized On-Device E-health Analytics with Decentralized Block Coordinate Descent
The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）；Monash University（莫纳什大学）
在个人医疗日益受到关注和疫情的推动下，电子健康的普及率正在激增。如今，通过机器学习模型增强医疗诊断在电子健康分析的许多方面都非常有效。然而，在传统的基于云/集中式的电子健康模式中，所有数据都将集中存储在服务器上，以便于模型训练，这不可避免地会引起隐私问题和高时间延迟。提出了分布式解决方案，如分散式随机梯度下降（D-SGD），以基于个人设备提供安全和及时的诊断结果。然而，像D-SGD这样的方法受到梯度消失问题的影响，并且通常在早期训练阶段进展缓慢，从而阻碍了训练的有效性和效率。此外，现有方法倾向于偏向于具有密集数据的用户的学习模型，从而在为少数群体提供电子健康分析时损害了公平性。在本文中，我们提出了一个分散的块坐标下降（D-BCD）学习框架，可以更好地优化分布在分散设备上的基于深度神经网络的模型，用于电子健康分析。三个真实世界的数据集上的基准测试实验说明了我们提出的D-BCD的有效性和实用性，其中额外的模拟研究展示了D-BCD在现实生活中的电子健康场景的强大适用性。
2021-12-17 cs.DC cs.LG
Decentralized Differentially Private Without-Replacement Stochastic Gradient Descent
Electronic Information School, Wuhan University（武汉大学）；Department of Electrical and Computer Engineering, North Carolina State University（北卡罗来纳州立大学）
虽然机器学习在各种领域都取得了显著的成果，但模型的训练通常需要从不同个体收集的大型数据集。由于个人数据集中可能包含敏感信息，因此共享训练数据可能导致严重的隐私问题。因此，迫切需要开发隐私感知的机器学习方法，其中一种有效的方法是利用差分隐私的通用框架。考虑到随机梯度下降（SGD）是大规模机器学习问题中最常用的方法之一，提出了一种分散的差分私有SGD算法.特别是，我们专注于SGD，由于其结构有利于实际实施，因此没有替代品。隐私和收敛性分析所提出的算法。最后，大量的实验证明了所提出的方法的有效性。
2023-02-05 cs.LG stat.ML
Multi-consensus Decentralized Accelerated Gradient Descent
Xi’an Jiaotong University（西安交通大学）；Fudan University（复旦大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对去中心化凸优化问题，提出融合Nesterov加速、多共识与梯度跟踪的新型算法，实现最优计算复杂度和近似最优通信复杂度，收敛仅依赖全局强凸性，在机器学习任务中表现更优。
2023-10-10 cs.LG math.OC stat.ML
CWY Parametrization: a Solution for Parallelized Optimization of Orthogonal and Stiefel Matrices
University of Cambridge（剑桥大学）；DeepMind（深度思维）；Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；Columbia University（哥伦比亚大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们介绍了一种高效的方法，优化正交组高度并行计算单元，如GPU或TPU。在早期的工作中，我们参数化的正交矩阵作为产品的Householder反射。然而，为了克服低并行化能力的计算Householder反射顺序，我们建议采用一种积累方案称为紧凑的WY（或CWY）变换-一个紧凑的并行化友好的矩阵表示的一系列Householder反射。我们进一步开发了一种新的截断CWY（或T-CWY）方法，用于Stiefel流形参数化，该方法具有竞争力的复杂性，并且在GPU和TPU上计算时再次产生好处。我们证明了我们的CWY和T-CWY方法导致收敛到一个稳定点的训练目标时，再加上随机梯度下降。我们将我们的方法应用于神经机器翻译和视频预测任务中的训练递归神经网络架构。
2021-02-16 cs.LG stat.ML
Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization
Center for Machine Learning Research Peking University（机器学习研究中心北京大学）
提出MG-ADSGD算法，结合Nesterov型原始-对偶外推与多轮快速八卦平均，通过耦合八卦深度与小批量大小，同时实现加速收敛和通信高效，达到最优通信复杂度。
2026-06-05 cs.LG math.OC
Adjacent Leader Decentralized Stochastic Gradient Descent
New York University（纽约大学）；Tandon School of Engineering（坦登工程学院）
本文提出相邻领导者去中心化梯度下降（AL-DSGD），通过加权聚合和动态通信图提升去中心化深度学习的性能与收敛速度，降低通信开销，并开源了通用分布式训练库。
2024-08-19 cs.LG
BRIDGE: Byzantine-resilient Decentralized Gradient Descent
Rutgers University（罗格斯大学）；Blue Danube Systems（蓝多瑙系统公司）
机器学习已经开始在许多应用中发挥核心作用。这些应用中的许多通常还涉及由于设计约束（例如，多代理系统）或计算/隐私原因（例如，在智能手机数据上学习）。这些应用程序通常需要以分散的方式执行学习任务，其中没有直接连接到所有节点的中央服务器。在现实世界的分散设置中，由于设备故障、网络攻击等，节点容易出现未检测到的故障，这可能会使非鲁棒学习算法崩溃。本文的重点是分散式学习的鲁棒性，在节点经历了拜占庭故障的存在。拜占庭故障模型允许故障节点任意偏离其预期行为，从而确保设计最鲁棒的算法。但是，与分布式学习相比，分散式学习中拜占庭式弹性的研究仍处于起步阶段。特别是，现有的拜占庭弹性分散式学习方法要么不能很好地扩展到大规模机器学习模型，要么缺乏统计收敛保证来帮助表征其泛化错误。在本文中，一个可扩展的，拜占庭弹性分散机器学习框架称为拜占庭弹性分散梯度下降（BRIDGE）。文中还对强凸问题和一类非凸问题给出了BRIDGE的一个变形的数学和统计收敛保证。此外，大规模的分散学习实验被用来建立BRIDGE框架是可扩展的，它提供了拜占庭弹性凸和非凸学习的竞争力的结果。
2022-06-15 cs.DC cs.LG cs.MA
Byzantine-resilient Decentralized Stochastic Gradient Descent
Chongqing University（重庆大学）；Nanyang Technological University（南洋理工大学）；University of Alberta（阿尔伯塔大学）
去中心化学习在提高学习效率和保护数据隐私方面获得了极大的普及。每个计算节点对协作学习深度学习模型做出相等的贡献。消除集中式参数服务器（PS）可以有效地解决隐私、性能瓶颈和单点故障等问题。然而，如何实现拜占庭容错在分散式学习系统很少探讨，虽然这个问题已经在集中式系统中得到了广泛的研究。在本文中，我们对分散式学习系统的拜占庭弹性进行了深入研究，有两个贡献。首先，从对抗的角度来看，我们从理论上说明了拜占庭攻击在分散式学习系统中更危险和可行：即使是一个恶意参与者也可以通过向其邻居发送精心制作的更新来任意改变其他参与者的模型。其次，从防御的角度来看，我们提出了UBAR，一种新的算法，以加强分散学习与拜占庭容错。具体来说，UBAR提供了一个统一的拜占庭弹性聚合规则，良性节点选择有用的参数更新，并过滤掉恶意的在每次训练迭代。它保证了分散系统中的每个良性节点都可以在具有任意数量故障节点的非常强大的拜占庭攻击下训练正确的模型。我们进行了广泛的实验标准的图像分类任务，结果表明，UBAR可以有效地击败简单和复杂的拜占庭攻击具有更高的性能效率比现有的解决方案。
2021-10-20 cs.CR cs.LG
Network-Density-Controlled Decentralized Parallel Stochastic Gradient Descent in Wireless Systems
Tokyo University of Science（东京理科大学）；Tsuda University（津田塾大学）
本文提出了一种在无线系统中进行分散学习的通信策略。我们的讨论是基于分散并行随机梯度下降（D-PSGD），这是一个国家的最先进的分散学习算法。本文的主要贡献是提出了一个新的开放式问题，分散学习的无线系统：有可能是一个网络拓扑的密度显着影响D-PSGD的运行时性能。在实际的无线网络系统中，由于路径损耗和多径衰落的影响，通常很难保证无时延通信而不造成任何通信恶化。这些因素显著降低了D-PSGD的运行时性能。为了缓解这些问题，我们首先分析的D-PSGD的运行时性能，考虑到真正的无线系统。该分析得出了以下关键见解：密集网络拓扑（1）与稀疏网络拓扑相比，不会显著提高D-PSGD的训练精度，并且（2）严重降低了运行时性能，因为这种设置通常需要使用低速率传输。基于这些发现，我们提出了一种新的通信策略，其中每个节点估计最佳的传输速率，使通信时间在D-PSGD优化的网络密度的约束下，这是由无线电传播特性的特点是最小化。所提出的策略能够提高D-PSGD在无线系统中的运行时性能。数值仿真结果表明，该策略能够提高D-PSGD的运行时性能。
2020-02-25 cs.LG cs.NI
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
Network Gradient Descent Algorithm for Decentralized Federated Learning
Guanghua School of Management, Peking University（北京大学光华管理学院）；Center for Applied Statistics, Renmin University of China（中国人民大学应用统计中心）；School of Statistics, Renmin University of China（中国人民大学统计学院）
我们研究了一个完全分散的联邦学习算法，这是一种新的梯度下降算法在基于通信的网络上执行。为了方便起见，我们将其称为网络梯度下降（NGD）方法。在NGD方法中，仅统计（例如，参数估计）需要被传达，从而最小化隐私的风险。同时，不同的客户端可以根据精心设计的网络结构直接相互通信，而无需中央主机。这大大提高了整个算法的可靠性。这些优良的性质激励我们从理论和数值两个方面对NGD方法进行仔细的研究。从理论上讲，我们从一个经典的线性回归模型开始。我们发现，学习率和网络结构起着重要的作用，在确定NGD估计的统计效率。如果学习率足够小并且网络结构平衡良好，即使数据分布不均匀，所得到的NGD估计器也可以在统计上与全局估计器一样有效。这些有趣的发现，然后扩展到一般模型和损失函数。大量的数值研究证实了我们的理论研究结果。经典的深度学习模型也被呈现用于说明目的。
2022-05-06 cs.LG stat.ME stat.ML
Exploring Diverse Generation Paths via Inference-time Stiefel Activation Steering
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Polytechnic University（香港理工大学）
STARS通过在推理时间利用Stiefel流形优化，提升语言模型生成路径的多样性，无需训练并在多个基准中表现更优。
2026-01-29 cs.LG
Unified Analysis of Decentralized Gradient Descent: a Contraction Mapping Framework
Linköping University, Dept. of Electrical Engineering (ISY)（_linköping大学电子工程系）；School of Electrical, Computer and Energy Engineering（电气、计算机与能源工程学院）
本文提出基于压缩映射和平均 Hessian 定理的统一框架，用于分析强凸光滑目标下任意无向拓扑的去中心化梯度下降与 diffusion 算法，解耦收敛速度与渐近偏差，并扩展至随机梯度、通信噪声和随机拓扑等情形。
2025-06-02 cs.DC cs.LG eess.SP
Smoothing Gradient Tracking for Decentralized Optimization over the Stiefel Manifold with Non-smooth Regularizers
本文提出了首个用于 Stiefel 流形上非光滑优化的分散算法，通过 Moreau 包络近似非光滑部分以应用现有光滑优化算法，并证明了其 $\mathcal{O}(ε^{-4})$ 的收敛复杂度与有效性。
2023-03-28 math.OC
Decentralized gradient descent maximization method for composite nonconvex strongly-concave minimax problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文首次解决在两个变量上均含凸非光滑项的去中心化复合非凸强凹极小极大问题，通过引入乘子吸收对偶一致性约束的新颖重构，实现了更激进的对偶更新与更大的原始步长，获得了更低复杂度并在分布式鲁棒逻辑回归实验中验证了性能。
2023-04-05 cs.LG cs.NA math.NA
D$^2$: Decentralized Training over Decentralized Data
Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）；Department of Computational Mathematics, Science and Engineering, Michigan State University（密歇根州立大学计算数学、科学与工程系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Tencent AI Lab（腾讯AI实验室）
在使用多个工作者训练机器学习模型时，每个工作者从自己的数据源收集数据，当从不同工作者收集的数据可以是{ \em unique}和{ \em different}时，这将是最有用的。具有讽刺意味的是，最近对分散式并行随机梯度下降（D-PSGD）的分析依赖于这样一个假设，即托管在不同工作者上的数据是{ \em没有太大差异}。在本文中，我们提出了一个问题：{ \em我们能否设计一个分散的并行随机梯度下降算法，对工人之间的数据方差不太敏感？}在本文中，我们提出了D $^2$，一种新的分散并行随机梯度下降算法设计的大数据方差\xr{among workers}（不精确，“分散”数据）。$^2$算法的核心是对标准D-PSGD算法的方差blackcup扩展，它将收敛速度从$O\left({σ\over \sqrt{nT}} + {(nζ^2)^{\frac{1}{3}} \over T^{2/3}}\right)$提高到$O\left({σ\over \sqrt{nT}}\right)$，其中$ζ^{2}$表示不同工人数据之间的方差。因此，D $^2$对工人之间的数据变化是鲁棒的。我们经验评估D $^2$的图像分类任务，每个工人只能访问一组有限的标签的数据，并发现D $^2$显着优于D-PSGD。
2018-04-20 cs.DC cs.LG stat.ML
Loss Landscape Dependent Self-Adjusting Learning Rates in Decentralized Stochastic Gradient Descent
IBM Research（IBM研究院）；George Mason University（乔治梅森大学）；Duke Unversity（杜克大学）
分布式深度学习（Distributed Deep Learning，简称DLS）对于大规模深度学习（Deep Learning，简称DL）训练至关重要。同步随机梯度下降（SSGD）1是事实上的最优化方法。使用足够大的批处理大小对于实现EJB运行时加速至关重要。在大批量设置中，必须提高学习率以补偿参数更新次数的减少。然而，大的学习率可能会损害SSGD中的收敛，并且训练可能容易发散。最近，分布式并行SGD（DPSGD）已被提出来提高分布式训练速度。在本文中，我们发现，DPSGD不仅具有系统明智的运行时的好处，但也有一个显着的收敛优势，在大批量设置SSGD。基于对DPSGD学习动态的详细分析，我们发现DPSGD引入了额外的依赖于噪声的噪声，该噪声自动调整有效的学习率以提高收敛性。此外，我们从理论上表明，这种噪声平滑的损失景观，从而允许更大的学习率。我们进行了广泛的研究超过18个国家的最先进的DL模型/任务，并证明DPSGD往往收敛的情况下，SSGD发散大学习率在大批量设置。我们的研究结果在两个不同的应用领域是一致的：计算机视觉（CIFAR 10和ImageNet-1 K）和自动语音识别（SWB 300和SWB 2000），以及两种不同类型的神经网络模型：卷积神经网络和长短期记忆递归神经网络。
2021-12-02 cs.LG
On Generalization of Decentralized Learning with Separable Data
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of British Columbia（不列颠哥伦比亚大学）
当数据自然地分布在通过底层图进行通信的代理之间时，去中心化学习提供了隐私和通信效率。受过参数化学习设置的启发，其中模型被训练到零训练损失，我们研究了分散学习的算法和泛化特性，在可分离数据上使用梯度下降。具体来说，分散梯度下降（DGD）和各种损失函数，渐近到零在无穷大（包括指数和逻辑损失），我们得到新的有限时间推广界。这补充了最近的一系列研究可分离数据上的泛化性能和梯度下降的隐式偏差的工作，但迄今为止仅限于集中式学习场景。值得注意的是，我们的泛化范围大致匹配，以他们的集中对应。这背后的关键和独立的利益，是建立新的界限的训练损失和DGD的共识率的一类自限损失。最后，在算法方面，我们设计了改进的基于梯度的例程，用于使用可分离数据进行分散学习，并在训练和泛化性能方面实证证明了速度的数量级。
2023-03-27 cs.DC cs.LG cs.MA
RESIST: Resilient Decentralized Learning Using Consensus Gradient Descent
Rutgers University（罗格斯大学）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出RESIST算法，通过多步共识梯度下降框架和鲁棒统计筛选方法，解决去中心化学习中对抗性中间人攻击问题，实现强凸、Polyak-Lojasiewicz及非凸ERM问题的鲁棒收敛。
2026-09-22 cs.LG math.OC stat.ML
A Retraction-Free EXTRA Method for Decentralized Optimization on the Stiefel Manifold
Yau Mathematical Sciences Center, Tsinghua University（丘成桐数学科学中心，清华大学）
本文提出了一种无回退的EXTRA方法，用于在Stiefel流形上解决具有正交约束的去中心化优化问题，通过结合近似梯度映射和EXTRA递归，实现了简单的通信模式和O(1/K)收敛率。
2026-04-28 math.OC
Decentralized Gradient Descent: Bottleneck Regimes and Budget Complexity
School of Electrical, Computer and Energy Engineering, Arizona State University（电气、计算机与能源工程学院，亚利桑那州立大学）
研究去中心化梯度下降，开发以瓶颈为中心框架，引入DNR和GCR两个量，通过多阶段分析得出最优步长选择和预算复杂度界限，揭示各因素间权衡及预算分解情况。
2026-07-15 cs.DC cs.LG eess.SP
PLADOS: A Parameter-free Landing Algorithm for Decentralized Optimization on the Stiefel Manifold
Qiuzhen College Yau Mathematical Sciences Center Tsinghua University（清华大学丘成桐数学科学中心）；Tsinghua University（清华大学）
PLADOS提出一种无参数着陆算法，解决Stiefel流形上的分散优化，通过无回缩通信实现线性加速，理论证明收敛率并实验验证稳定性与效率。
2026-10-07 math.OC
Locally Asynchronous Stochastic Gradient Descent for Decentralised Deep Learning
深度神经网络的分布式训练算法在非常大的问题上表现出令人印象深刻的收敛加速特性。然而，它们固有地遭受与通信相关的减速，并且通信拓扑成为关键的设计选择。大多数机器学习框架支持的常见方法是：1）同步分散算法，依赖于对落伍者和通信延迟敏感的对等All Reduce拓扑。2)异步集中式算法，基于服务器的拓扑结构易于出现通信瓶颈。研究人员还提出了异步分散算法，旨在避免瓶颈和加速训练，然而，这些算法通常使用不精确的稀疏平均，这可能导致准确性下降。在本文中，我们提出了本地异步SGD（LASGD），一个异步分散算法，依赖于所有减少模型同步。我们在ImageNet数据集上实证验证了LASGD在图像分类任务上的性能。我们的实验表明，与SGD和最先进的基于流言的方法相比，LASGD加速了训练。
2022-03-24 cs.AI cs.LG
Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access
Linköping University（林雪平大学）
本文研究无线网络中广播传输与概率随机接入对去中心化随机梯度下降（D-SGD）收敛性能的影响，证明优化接入概率以最大化成功链路期望数能有效加速系统收敛。
2023-07-07 cs.LG cs.NI cs.SY
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method
NYU（纽约大学）；Rutgers University（罗格斯大学）；MIT（麻省理工学院）
我们介绍了一个框架下的分散优化设置，局部函数是光滑的，强凸的设计原始方法。我们的方法包括近似求解加速增广拉格朗日方法引起的一系列子问题，从而提供了一种系统的方法来推导几个著名的分散算法，包括EXTRA arXiv：1404.6264和SSDA arXiv：1702.08704。当与加速梯度下降相结合时，我们的框架产生了一种新的原始算法，其收敛速度是最佳的，并且与最近导出的下界相匹配。我们提供的实验结果表明，所提出的算法对高度病态的问题的有效性。
2020-06-11 cs.LG math.OC
Gradient Descent Ascent for Minimax Problems on Riemannian Manifolds
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
本文研究了黎曼流形上一类有用的极大极小问题，并提出了一类有效的基于黎曼梯度的极大极小问题求解方法。具体来说，我们提出了一个有效的黎曼梯度下降上升（RGDA）算法的确定性极大极小优化。此外，我们证明了我们的RGDA具有$O(κ^2ε^{-2})$的样本复杂度为找到一个$ε$ -平稳解的大地非凸强凹（GNSC）极大极小问题，其中$κ$表示的条件数。同时，我们提出了一个求解随机极小极大优化问题的有效的黎曼随机梯度下降上升算法（RSGDA），该算法对于寻找$ε$ -平稳解具有$O(κ^4ε^{-4})$的样本复杂度.为了进一步降低样本复杂度，我们提出了一种基于动量方差缩减技术的加速黎曼随机梯度下降上升（Acc-RSGDA）算法。我们证明了我们的Acc-RSGDA算法实现了较低的样本复杂度的$\tilde{O}(κ^{4}ε^{-3})$在寻找一个$ε$ -固定的解决方案的GNSC极大极小问题。在Stiefel流形上的鲁棒分布优化和鲁棒深度神经网络（DNN）训练的大量实验结果证明了我们算法的有效性。
2023-01-02 cs.CV cs.LG math.OC
A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
Weill Cornell Medicine（威尔康奈尔医学院）；IBM Research（IBM研究院）
由于深度学习模型通常庞大而复杂，分布式学习对于提高训练效率至关重要。此外，在许多现实世界的应用场景中，如医疗保健，分布式学习也可以将数据保持在本地并保护隐私。一种流行的分布式学习策略是联邦学习，其中存在存储全局模型的中央服务器和一组本地计算节点，所述本地计算节点使用其对应的数据更新模型参数。更新后的模型参数将被处理并传输到中央服务器，这导致了沉重的通信成本。最近，异步分散式分布式学习被提出并被证明是一种更有效和实用的策略，其中没有中央服务器，因此每个计算节点只与其邻居通信。虽然没有原始数据会在不同的本地节点之间传输，但在通信过程中仍然存在信息泄漏的风险，以便恶意参与者进行攻击。本文提出了一种差分私有版本的异步分散并行SGD（ADPSGD）框架，简称A（DP）$^2$ SGD，它既保持了ADPSGD的通信效率，又防止了恶意参与者的干扰。具体地说，R{é}nyi差分隐私被用来提供更严格的隐私分析，我们的复合高斯机制，而收敛速度是一致的非隐私版本。理论分析表明，A（DP）$^2$ SGD也像SGD一样收敛于最优$\mathcal{O}(1/\sqrt{T})$速率.经验上，A（DP）$^2$ SGD实现了与同步SGD（SSGD）的差分私有版本相当的模型精度，但在异构计算环境中运行速度比SSGD快得多。
2020-08-21 cs.DC cs.LG stat.ML
Near-Optimal Decentralized Stochastic Nonconvex Optimization with Heavy-Tailed Noise
本文提出了一种去中心化归一化随机梯度下降方法，结合 Pull-Diag 梯度跟踪，以实现近似 stationary 点，并在样本复杂度和通信复杂度上达到最优。
2026-01-16 cs.LG math.OC
Distributed Online Optimization in Dynamic Environments Using Mirror Descent
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
这项工作解决了非平稳环境中的分散在线优化问题。智能体网络的目标是跟踪全局时变凸函数的最小值。极小化器根据被未知的非结构化噪声破坏的已知动力学来演化。在每个时刻，全局函数可以被转换为有限数量的局部函数的总和，每个局部函数被分配给网络中的一个代理。此外，本地功能变得可用于代理顺序，和代理不具有未来的费用函数的先验知识。因此，智能体必须相互通信，以建立全局函数的在线近似。我们提出了一个分散的变化，著名的镜像下降，开发Nemirovksi和Yudin。使用Bregman散度的概念代替投影的欧氏距离，镜像下降已被证明是大规模优化的强大工具。我们的算法建立在镜像下降的基础上，同时确保代理执行共识步骤以遵循全局函数并考虑全局极小值的动态。为了衡量所提出的在线算法的性能，我们将其与离线算法进行比较，其中全局函数是先验的。两者之间的差距被称为动态遗憾。我们建立了一个遗憾的范围，规模成反比的频谱间隙的网络，更值得注意的是，它表示的偏差最小序列相对于给定的动态。然后，我们表明，我们的研究结果subconstitutes在分布式优化的结果。我们展示了我们的方法的应用分散跟踪的动态参数，并通过数值实验验证结果。
2016-09-09 cs.DC cs.LG math.OC
MATCHA: Speeding Up Decentralized SGD via Matching Decomposition Sampling
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
该研究提出MATCHA算法，通过匹配分解采样在去中心化SGD中实现误差与运行时间的双赢，验证了其在各种数据集和深度神经网络上的有效性，证明其比传统去中心化SGD快5倍。
2019-11-18 cs.LG cs.SY eess.SY
Steepest descent algorithm on orthogonal Stiefel manifolds
West University of Timişoara（蒂米什瓦拉西大学）
本文研究正交Stiefel流形上的最陡下降算法，通过局部坐标生成切空间基，推导出梯度向量场的必要充分条件，并在嵌入空间中描述算法，展示了算法递推序列对全秩子矩阵选择的依赖性。
2017-09-19 cs.NA math.NA math.OC
DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs
University of Oulu（奥卢大学）
在本文中，我们提出解决一个正则化的分布鲁棒学习问题的分散设置，考虑到数据分布偏移。通过在鲁棒最小最大优化问题中加入Kullback-Liebler正则化函数，可以将学习问题转化为一个改进的鲁棒最小化问题，并有效地求解。利用新制定的优化问题，我们提出了一个强大的版本的分散随机梯度下降（DSGD），创造分布式鲁棒分散随机梯度下降（DR-DSGD）。在一些温和的假设下，当正则化参数大于1时，我们从理论上证明了DR-DSGD的收敛速度为$\mathcal{O}\left(1/\sqrt{KT} + K/T\right)$，其中$K$是设备数，$T$是迭代次数.仿真结果表明，我们提出的算法可以提高最坏的分布测试精度高达$10\%$。此外，DR-DSGD比DSGD通信效率更高，因为它需要更少的通信回合（少$20$倍）来实现相同的最差分布测试精度目标。此外，所进行的实验表明，DR-DSGD在测试准确性方面在设备之间产生更公平的性能。
2022-09-12 cs.LG
S-ADDOPT: Decentralized stochastic first-order optimization over directed graphs
Tufts University（塔夫茨大学）；Carnegie Mellon University（卡内基梅隆大学）
在这份报告中，我们研究分散的随机优化，以最小化的光滑和强凸的成本函数的总和时，功能分布在一个有向网络的节点。在现有的工作相比，我们使用梯度跟踪，以改善所产生的算法的某些方面。特别是，我们提出了~ \textbf{\texttt{S-ADDOPT}}算法，假设一个随机的一阶预言在每个节点，并表明，对于一个恒定的步长~ $α$，每个节点收敛线性误差球内的最优解，其大小由~ $α$控制。对于衰减步长的$\mathcal{O}(1/k)$，我们证明了~ \textbf{\texttt{S-ADDOPT}}在~ $\mathcal{O}(1/k)$处次线性地达到精确解，并且它的收敛是渐近网络无关的.因此，~ \textbf{\texttt{S-ADDOPT}}的渐近行为是可比的集中式随机梯度下降。强凸和非凸问题的数值实验表明了算法的收敛性和性能比较。
2020-07-22 cs.LG cs.SY eess.SY
Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
数据汇集和处理能力的快速发展使得越来越复杂的模型得以使用，从而产生非凸优化问题。然而，这些公式通常很难求解，因为即使简单地验证给定点是局部最小值也可能是NP困难的[1]。尽管如此，一些相对简单的算法已被证明在许多感兴趣的背景下导致令人惊讶的好的经验结果。也许最突出的例子是用于训练神经网络的反向传播算法的成功。最近的几项工作已经追求严格的分析证明这种现象，通过研究非凸优化问题的结构，并建立简单的算法，如梯度下降及其变化，在收敛到局部极小值，避免鞍点。这些分析中的一个关键见解是，梯度扰动在允许局部下降算法有效地区分理想的和不理想的稳定点并逃离后者方面起着关键作用。在这篇文章中，我们涵盖了最近的结果二阶保证随机一阶优化算法在集中式，联邦和分散式架构。
2020-03-31 cs.LG cs.MA eess.SP
Asynchronous Decentralized Learning over Unreliable Wireless Networks
EURECOM（欧洲通信学院）
分散式学习使边缘用户能够通过经由设备到设备通信交换信息来协作地训练模型，然而先前的工作仅限于具有固定拓扑和可靠工作者的无线网络。在这项工作中，我们提出了一个异步分散随机梯度下降（DSGD）算法，这是强大的固有的计算和通信故障发生在无线网络边缘。我们从理论上分析了它的性能，并建立了一个非渐近收敛保证。实验结果证实了我们的分析，证明了异步性和过时梯度信息重用在不可靠无线网络上的分散学习中的好处。
2022-02-02 cs.IT cs.LG eess.SP
LAYUP: Asynchronous decentralized gradient descent with LAYer-wise UPdates
Center for Cognitive Interaction Technology, Universität Bielefeld, Germany（认知交互技术中心，比勒菲尔德大学，德国）；Bielefeld University（比勒菲尔德大学）；Department of Computer Science, Royal Holloway, University of London, United Kingdom（计算机科学系，伦敦大学皇家霍洛威学院，英国）
提出异步去中心化SGD方法LayUp，通过逐层更新和随机gossip通信减少参数漂移，理论证明收敛性，实验显示比同步训练快32%，比同类算法快27%。
2026-06-23 cs.AI cs.LG cs.NE
Non-Coherent Over-the-Air Decentralized Gradient Descent
School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
针对无线系统中分散梯度下降的信令开销与可扩展性难题，提出无需调度、拓扑信息及CSI的非相干空基共识DGD算法，利用无线信道能量叠加特性实现无偏共识，强凸问题下达O(1/√k)收敛率，密集网络中图像分类任务运行时间收敛更优。
2024-09-11 cs.IT cs.LG eess.SP
Achieving Linear Speedup in Decentralized Stochastic Compositional Minimax Optimization
Temple University（天普大学）
针对去中心化随机复合极小极大优化中标准gossip通信策略因内层函数共识误差大而无法实现线性加速的问题，提出了一种带动量的去中心化随机复合梯度下降上升算法，有效降低了共识误差并实现了线性加速。
2023-08-01 cs.LG math.OC
