Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Compressed Gradient Tracking for Decentralized Optimization Over General Directed Networks
Shanghai Center for Mathematical Sciences, Fudan University（复旦大学上海数学中心）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Department of Mathematics, Michigan State University（密歇根州立大学数学系）
针对一般有向多智能体网络，提出结合梯度跟踪与通信压缩的 CPP 及异步广播版 B-CPP，二者均对强凸光滑目标实现线性收敛，且 B-CPP 进一步降低通信成本。
2024-04-10 cs.DC cs.LG cs.MA
Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression
Carnegie Mellon University（卡内基梅隆大学）
本文首次研究了在带有通信压缩的去中心化非凸优化中梯度裁剪的作用，提出PORTER框架及其两种变体，在无需梯度有界假设下证明了收敛性并分析了收敛速率、压缩比、网络连通性与隐私间的权衡。
2023-05-17 cs.LG math.OC
Optimized Gradient Tracking for Decentralized Online Learning
本文提出广义梯度跟踪（GGT）框架统一去中心化在线学习中的多种现有方法，并通过基于半定规划的理论分析在一般条件下获得遗憾界限，进一步通过离线调参得到优化的oGGT算法，在合成和真实数据集上均优于现有最先进算法。
2024-02-13 cs.LG eess.SP math.OC
Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI lab（腾讯人工智能实验室）
现在大多数分布式机器学习系统，包括TensorFlow和CNTK，都是以集中式的方式构建的。集中式算法的一个瓶颈在于中心节点的高通信开销。受此启发，我们问，分散式算法是否比集中式算法更快？虽然分散式PSGD（D-PSGD）算法已经被控制界研究，现有的分析和理论没有显示出任何优势集中式PSGD（C-PSGD）算法，简单地假设的应用场景，只有分散式网络是可用的。在本文中，我们研究了D-PSGD算法，并提供了第一个理论分析，表明分散式算法可能优于集中式算法的分布式随机梯度下降的制度。这是因为D-PSGD具有与C-PSGD相当的总计算复杂性，但在最繁忙的节点上需要少得多的通信成本。我们进一步进行了实证研究，以验证我们的理论分析在多个框架（CNTK和火炬），不同的网络配置，和计算平台高达112 GPU。在具有低带宽或高延迟的网络配置上，D-PSGD可以比其良好优化的集中式对应物快一个数量级。
2017-09-11 cs.DC cs.LG math.OC
Decentralized Stochastic Gradient Tracking for Non-convex Empirical Risk Minimization
Tsinghua University（清华大学）
研究了一种分散随机梯度跟踪（DSGT）算法，该算法求解节点网络上的非凸经验风险最小化问题，与现有的仅求解凸问题的DSGT算法形成了鲜明的对比.为了确保精确收敛并处理分散数据集之间的方差，每个节点通过使用小批量样本执行随机梯度（SG）跟踪步骤，其中批量大小被设计为与本地数据集的大小成比例。我们明确评估DSGT的收敛速度相对于代数连接的网络，小批量大小，梯度方差等方面的迭代次数在一定条件下，我们进一步表明，DSGT具有网络独立性的意义上，网络拓扑结构只影响收敛速度的一个常数因子。因此，DSGT的收敛速度可以与集中式SGD方法相媲美。此外，对于某些场景，DSGT相对于节点数量的线性加速是可实现的。在CIFAR-10上对神经网络和逻辑回归问题的数值实验表明了DSGT的优越性。
2020-08-28 cs.DC cs.LG cs.MA
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对正交约束去中心化优化中样本与通信复杂度高的问题，提出基于免正交约束技术的VRSGT算法，收敛率为O(1/k)，并首次同时降低两种复杂度，在自动驾驶应用中表现优异。
2022-08-29 cs.LG cs.SY eess.SY
Momentum Tracking: Momentum Acceleration for Decentralized Deep Learning on Heterogeneous Data
Kyoto University（京都大学）；Okinawa Institute of Science and Technology（冲绳科学技术研究所）；NTT Communication Science Laboratories（NTT通信科学实验室）
本文提出动量跟踪方法，通过使收敛速率与数据异构性无关，解决了带动量分散式学习在异构数据下性能下降的问题，并在非凸随机梯度设定下证明其优势，实验表明其鲁棒性和性能均优于现有方法。
2023-09-24 cs.LG
An Exact Quantized Decentralized Gradient Descent Algorithm
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑分散式共识优化问题，其中$n$光滑和强凸函数的总和在形成连接网络的$n$分布式代理上最小化。特别是，我们考虑的情况下，节点之间的通信的局部决策变量进行量化，以减轻分布式优化中的通信瓶颈。我们提出了量化分散梯度下降（QDGD）算法，在该算法中，节点更新其本地决策变量相结合的量化信息从他们的邻居与他们的本地信息。我们证明，在标准的强凸性和光滑性的假设下的目标函数，QDGD实现了消失的平均解的误差在习惯条件下的量化。据我们所知，这是第一个在量化噪声存在的情况下实现一致性误差消失的算法。此外，我们提供的模拟结果表明，我们推导的理论收敛速度和数值结果之间的紧密协议。
2019-08-02 cs.DC cs.LG math.OC
Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
Department of Mathematical Sciences（数学科学系）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Department of Computer Science（计算机科学系）；MIT-IBM Watson AI Lab, IBM Research（MIT-IBM Watson AI实验室，IBM研究）；IBM T. J. Watson Research Center（IBM T.J. 华生研究中心）
本文提出两种压缩去中心化动量随机梯度算法，分别针对梯度有界和无界数据异构场景，实现最优收敛率、线性加速，并在DNN和Transformer训练中表现优越。
2025-08-07 cs.LG math.OC
Decentralized Markov Chain Gradient Descent
National University of Defense Technology（国防科技大学）
分散随机梯度法是解决大规模机器学习问题的一种有效方法。本文研究了分散马尔可夫链梯度下降（DMGD）算法-分散随机梯度法的一种变体，其中随机样本沿马尔可夫链的轨迹。当获得独立样本的成本很高或不可能时，这种设置是有充分动机的，这排除了传统随机梯度算法的使用。具体来说，我们考虑一阶和零阶版本的分散马尔可夫链梯度下降在一个连接的网络，其中每个节点只与它的邻居关于中间结果进行通信。所提出的算法的非遍历收敛性和遍历收敛速度已被严格建立，并已强调其关键依赖于网络拓扑结构和混合时间的马尔可夫链。数值试验进一步验证了算法的采样效率。
2021-04-13 cs.LG cs.NA math.NA
Neighborhood Gradient Clustering: An Efficient Decentralized Learning Method for Non-IID Data Distributions
Purdue University（普渡大学）
分布式数据集上的分散式学习在代理之间可能具有显著不同的数据分布。现有的分布式算法大多假设数据分布是独立同分布的。本文的重点是改进非IID数据的分散学习。我们提出了\textit{Neighborhood Gradient Clustering (NGC)}，一种新的分散式学习算法，修改每个代理使用自我和交叉梯度信息的局部梯度。一对相邻智能体的交叉梯度是一个智能体的模型参数相对于另一个智能体的数据集的导数。特别地，所提出的方法用自梯度、模型变量交叉梯度（邻居参数相对于本地数据集的导数）和数据变量交叉梯度（本地模型相对于其邻居数据集的导数）的加权平均值来替换模型的局部梯度。通过额外的通信回合聚合数据变量交叉梯度，而不打破隐私约束。此外，我们提出了\textit{CompNGC}，一个压缩版本的\textit{NGC}，减少了通信开销的$32 \times$。我们从理论上分析了所提出的算法的收敛速度，并证明了其效率从{各种视觉和语言}训练数据集采样的非IID数据。我们的实验表明，\textit{NGC}和\textit{CompNGC}优于（通过$0-6\%$）现有的SoTA分散式学习算法在非IID数据的计算和内存需求显着减少。此外，我们的实验表明，在每个代理本地可用的模型变量交叉梯度信息可以通过$1-35\%$提高非IID数据的性能，而无需额外的通信成本。
2023-03-20 cs.DC cs.LG cs.MA
Decentralized Riemannian natural gradient methods with Kronecker-product approximations
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）；Beijing International Center for Mathematical Research（北京国际数学研究中心）；Peking University（北京大学）；School of Engineering and Applied Science, Harvard University（哈佛大学工程与应用科学学院）
自然梯度法由于其对二阶信息的有效逼近，在求解大规模结构化最优化问题中取得了成功。研究了黎曼流形上大规模分散最优化问题的自然梯度法，其中局部目标函数由局部数据集定义，且局部目标函数为对数概率型.利用黎曼Fisher信息矩阵的结构，提出了一种有效的分散黎曼自然梯度下降方法。为了克服通信问题的高维度的Rounds，我们考虑一类结构化的问题，其中的Rounds可以近似为两个低维矩阵的克罗内克积。通过在Kronecker因子上执行通信，可以以低成本获得高质量的近似Rectangle。我们证明了DRNGD收敛到一个平稳点的最佳已知的速度$\mathcal{O}(1/K)$。数值实验表明，我们所提出的方法相比，国家的最先进的效率。据我们所知，这是解决分散流形最优化问题的第一个黎曼二阶方法。
2023-03-16 cs.LG math.OC
High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking
本文研究去中心化随机优化中的高概率收敛性，提出结合梯度跟踪技术的DSGD算法，证明其在非凸和Polyak-Łojasiewicz成本下的最优收敛率，且在放松的子高斯条件下实现高概率收敛。
2026-04-30 cs.LG cs.MA math.OC
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；Yonsei University（延世大学）
针对无向连通网络上的凸组合最优化问题，提出了一种新的基于CTA（Combine-Then-Adapt）的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长，只需近似求解一系列邻近映射，有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形，我们证明了该算法的O（1/k）收敛速度，如果精确求解邻近映射，则该算法的收敛速度可提高到O（1/k）.此外，利用度量次正则性，我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks
Fudan University（复旦大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Chinese University of Hong Kong（香港中文大学）
在分散式学习中，节点网络合作以最小化总体目标函数，该目标函数通常是其局部目标的有限和，并结合非光滑正则化项以获得更好的泛化能力。分散随机邻近梯度（DSPG）方法通常用于训练这类学习模型，但随机梯度的方差会减慢收敛速度。在本文中，我们提出了一种新的算法，即DPSVRG，利用方差减少技术来加速分散训练。其基本思想是在每个节点上引入一个估计器，周期性地跟踪局部全梯度，以在每次迭代中校正随机梯度。通过将分散算法转化为一个集中的方差缩减的不精确邻近梯度算法，并控制误差序列的界，我们证明了对于一般凸目标，DPSVRG以$O(1/T)$加非光滑项的速度收敛，$T$为迭代次数，而DSPG以$O(\frac{1}{\sqrt{T}})$的速度收敛.在不同的应用、网络拓扑结构和学习模型上的实验表明，DPSVRG的收敛速度比DSPG快得多，且DPSVRG的损失函数随着训练时间的增加而平滑下降。
2022-01-23 cs.LG cs.NI math.OC
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文利用算法稳定性方法研究去中心化随机梯度下降上升算法在凸-凹与非凸-非凹设定下的原始-对偶泛化界，证明去中心化结构不损害其稳定性与泛化性，并分析了拓扑结构对泛化界的影响。
2023-10-31 cs.LG math.OC
Near-Optimal Decentralized Stochastic Nonconvex Optimization with Heavy-Tailed Noise
本文提出了一种去中心化归一化随机梯度下降方法，结合 Pull-Diag 梯度跟踪，以实现近似 stationary 点，并在样本复杂度和通信复杂度上达到最优。
2026-01-16 cs.LG math.OC
Decentralized Riemannian Gradient Descent on the Stiefel Manifold
Texas A&M University（德克萨斯农工大学）；University of Minnesota（明尼苏达大学）
我们考虑一个分布式的非凸优化网络的代理人的目的是最小化一个全局函数的Stiefel流形。全局函数被表示为光滑局部函数的有限和，其中每个局部函数与一个代理相关联，并且代理通过无向连通图彼此通信。这个问题是非凸的，因为局部函数可能是非凸的（但光滑的），Steifel流形是一个非凸集。本文提出了一种分散的黎曼随机梯度法（DRSGD），其收敛速度为$\mathcal{O}(1/\sqrt{K})$。为了在恒定步长下具有精确收敛性，我们还提出了一种分散的黎曼梯度跟踪算法（DRGTA），其收敛速度为$\mathcal{O}(1/K)$到一个稳定点。我们使用多步共识来保持局部（共识）区域中的迭代。DRGTA是Stiefel流形上第一个具有精确收敛性的分布式优化算法。
2021-02-14 cs.LG cs.SY eess.SY
Decentralized Optimization on Compact Submanifolds by Quantized Riemannian Gradient Tracking
National Special Education Resource Center for Children with Autism, Zhejiang Normal University（浙江师范大学生自闭症教育资源中心）；School of Computer Science and Technology, Zhejiang Normal University（浙江师范大学计算机科学与技术学院）；China Mobile Research Institute（中国移动研究院）；Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制系统研究所）；SGIT AI Lab, State Grid Corporation of China（国网SGIT人工智能实验室）；Zhejiang Key Laboratory of Intelligent Education Technology and Application, Zhejiang Normal University（浙江智能教育技术与应用重点实验室）；School of Information Engineering, Huzhou University（湖州大学信息工程学院）；Centre for Frontier Artificial Intelligence Research, A*STAR（A*STAR前沿人工智能研究中心）
针对紧子流形上多智能体去中心化优化的通信瓶颈，提出Q-RGT算法，用量化梯度更新并避免精确黎曼投影，在量化条件下达到O(1/K)收敛率且实验性能相当。
2025-06-09 cs.LG cs.SY eess.SY
Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization
Center for Machine Learning Research Peking University（机器学习研究中心北京大学）
提出MG-ADSGD算法，结合Nesterov型原始-对偶外推与多轮快速八卦平均，通过耦合八卦深度与小批量大小，同时实现加速收敛和通信高效，达到最优通信复杂度。
2026-06-05 cs.LG math.OC
Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本研究证明，在重尾噪声下，裁剪的去中心化随机梯度下降（DSGD）能实现阶最优收敛率并具有线性加速，与归一化方法形成对比，凸显了裁剪在保留幅度信息方面的优势。
2026-10-08 cs.LG cs.MA math.OC
A decentralized proximal-gradient method with network independent step-sizes and separated convergence rates
Michigan State University（密歇根州立大学）；Princeton University（普林斯顿大学）
针对一类具有光滑项和非光滑项的分散最优化问题，提出了一种新的近似梯度算法。具体地说，平滑和非平滑项分别由梯度和邻近更新处理。所提出的算法是密切相关的以前的算法，PG-EXTRA \cite{shi2015proximal}，但有一些优点。首先，代理使用不协调的步长，稳定的上界步长是独立的网络拓扑结构。步长取决于局部目标函数，并且它们可以与梯度下降的步长一样大。其次，对于不含非光滑项的特殊情形，在强凸性假设下，可以达到线性收敛。新算法的收敛速度与目标函数和网络的依赖性是分离的，其收敛速度与一般梯度下降法和一致平均法的典型收敛速度相当。我们提供了数值实验来证明所介绍的算法的有效性，并验证我们的理论发现。
2019-06-18 cs.DC cs.LG cs.NA
Unified Analysis of Decentralized Gradient Descent: a Contraction Mapping Framework
Linköping University, Dept. of Electrical Engineering (ISY)（_linköping大学电子工程系）；School of Electrical, Computer and Energy Engineering（电气、计算机与能源工程学院）
本文提出基于压缩映射和平均 Hessian 定理的统一框架，用于分析强凸光滑目标下任意无向拓扑的去中心化梯度下降与 diffusion 算法，解耦收敛速度与渐近偏差，并扩展至随机梯度、通信噪声和随机拓扑等情形。
2025-06-02 cs.DC cs.LG eess.SP
Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noise
Temple University（特拉华大学）
针对重尾噪声下的非凸双层优化问题，提出一种无需裁剪的归一化随机方差缩减梯度下降算法，并首次给出严格收敛性证明。
2026-05-25 cs.LG
Byzantine-Robust Decentralized Stochastic Optimization with Stochastic Gradient Noise-Independent Learning Error
Sun Yat-Sen University（中山大学）；Harvard University（哈佛大学）
本文针对去中心化随机优化中的拜占庭攻击问题，提出结合SAGA和LSVRG方差缩减的BRAVO-SAGA与BRAVO-LSVRG方法，实现线性收敛速度且学习误差与随机梯度噪声无关，并通过实验验证其鲁棒性。
2023-08-10 cs.LG
SPARKLE: A Unified Single-Loop Primal-Dual Framework for Decentralized Bilevel Optimization
Peking University（北京大学）；IBM Research（IBM研究院）；University of Pennsylvania（宾夕法尼亚大学）；National Engineering Labratory for Big Data Analytics and Applications（国家大数据分析与应用工程实验室）；AI for Science Institute（科学智能研究所）
本文提出SPARKLE，一种统一的单循环原始-对偶框架，用于去中心化双层优化，支持灵活集成多种异质性校正策略并混合上下层求解方法，实现最先进收敛速率。
2024-12-17 cs.LG math.OC stat.ML
GAL: Gradient Assisted Learning for Decentralized Multi-Organization Collaborations
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
多个组织之间的协作，如金融机构、医疗中心和分散环境中的零售市场，对于提供更好的服务和性能至关重要。然而，底层组织可能对共享其本地数据、模型和目标函数不感兴趣。这些要求为多组织协作带来了新的挑战。在这项工作中，我们提出了梯度辅助学习（GAL），多个组织在监督学习任务中相互帮助的新方法，而无需共享本地数据，模型和目标函数。在这个框架中，所有参与者协作优化局部损失函数的集合，每个参与者通过迭代拟合总体目标函数的梯度来自主构建自己的模型。我们还提供了GAL的渐近收敛性分析和实际案例研究。实验研究表明，当所有数据、模型和目标函数都完全公开时，GAL可以实现接近集中式学习的性能。
2022-10-11 cs.LG
Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
Temple University（天普大学）
针对分布式多节点数据下的有限和极小极大优化问题，提出一种采用方差缩减梯度的去中心化随机梯度下降上升方法，在非凸-强凹情形下获得更优样本与通信复杂度，并通过AUC最大化实验验证有效性。
2024-06-11 cs.LG math.OC stat.ML
DSPG: Decentralized Simultaneous Perturbations Gradient Descent Scheme
Paderborn University（帕德博恩大学）
分布式下降方法是解决多智能体系统中最优化问题的重要工具。在这里，代理寻求通过相互合作来优化全局目标函数。通常，通过易于延迟和错误的无线通信网络来实现协作。在许多情况下，目标函数是不可微的或仅仅是可观察的。在本文中，我们提出了一个基于交叉熵的分布式随机逼近算法（SA），发现一个最小的目标，只使用样本。我们称这种算法为具有常数灵敏度参数的分散同时扰动随机梯度（DSPG）。该算法比经典的同时扰动随机逼近（SPSA）算法有两个方面的改进。具体而言，DSPG允许（i）使用来自其他代理的旧信息，以及（ii）通过使用简单的超参数选择轻松实现。我们分析了由于这两个津贴而产生的偏差和方差。我们表明，由于通信延迟的偏见可以通过仔细选择算法的超参数。研究了梯度估计量的方差及其对收敛速率的影响。我们提出的数值结果支持我们的理论。最后，我们讨论了随机共识问题的应用。
2019-08-27 cs.LG math.OC stat.ML
DC-S3GD: Delay-Compensated Stale-Synchronous SGD for Large-Scale Decentralized Neural Network Training
Cray Switzerland（克雷瑞士公司）
数据并行已经成为在多个处理单元上训练深度神经网络的事实标准。在这项工作中，我们提出了DC-S3 GD，一个分散的（没有参数服务器）延迟补偿异步随机梯度下降（DC-ASGD）算法的静态同步版本。在我们的方法中，我们允许计算和通信的重叠，并通过梯度的一阶校正来补偿固有误差。我们通过大批量训练卷积神经网络，并取得了最先进的结果，证明了我们的方法的有效性。
2019-11-06 cs.DC cs.LG stat.ML
Periodic Stochastic Gradient Descent with Momentum for Decentralized Training
Temple University（天普大学）；University of Pittsburgh（匹兹堡大学）
近年来，对分散培训进行了积极研究。虽然已经提出了各种各样的方法，但分散动量SGD方法仍然是探索不足。在本文中，我们提出了一种新的周期性分散动量SGD方法，它采用了动量模式和周期性通信的分散训练。这两种策略，以及分散式训练系统的拓扑结构，我们提出的方法的理论收敛性分析是困难的。我们解决这个具有挑战性的问题，并提供了我们提出的方法可以实现线性加速的工人数量的条件。此外，我们还引入了一个通信效率的变体，以减少在每个通信轮的通信成本。也提供了实现线性加速的条件。据我们所知，这两种方法都是第一次在其相应的领域取得这些理论成果。我们进行了大量的实验来验证我们提出的两种方法的性能，他们都表现出优越的性能比现有的方法。
2020-08-24 cs.LG stat.ML
On Generalization of Decentralized Learning with Separable Data
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of British Columbia（不列颠哥伦比亚大学）
当数据自然地分布在通过底层图进行通信的代理之间时，去中心化学习提供了隐私和通信效率。受过参数化学习设置的启发，其中模型被训练到零训练损失，我们研究了分散学习的算法和泛化特性，在可分离数据上使用梯度下降。具体来说，分散梯度下降（DGD）和各种损失函数，渐近到零在无穷大（包括指数和逻辑损失），我们得到新的有限时间推广界。这补充了最近的一系列研究可分离数据上的泛化性能和梯度下降的隐式偏差的工作，但迄今为止仅限于集中式学习场景。值得注意的是，我们的泛化范围大致匹配，以他们的集中对应。这背后的关键和独立的利益，是建立新的界限的训练损失和DGD的共识率的一类自限损失。最后，在算法方面，我们设计了改进的基于梯度的例程，用于使用可分离数据进行分散学习，并在训练和泛化性能方面实证证明了速度的数量级。
2023-03-27 cs.DC cs.LG cs.MA
BRIDGE: Byzantine-resilient Decentralized Gradient Descent
Rutgers University（罗格斯大学）；Blue Danube Systems（蓝多瑙系统公司）
机器学习已经开始在许多应用中发挥核心作用。这些应用中的许多通常还涉及由于设计约束（例如，多代理系统）或计算/隐私原因（例如，在智能手机数据上学习）。这些应用程序通常需要以分散的方式执行学习任务，其中没有直接连接到所有节点的中央服务器。在现实世界的分散设置中，由于设备故障、网络攻击等，节点容易出现未检测到的故障，这可能会使非鲁棒学习算法崩溃。本文的重点是分散式学习的鲁棒性，在节点经历了拜占庭故障的存在。拜占庭故障模型允许故障节点任意偏离其预期行为，从而确保设计最鲁棒的算法。但是，与分布式学习相比，分散式学习中拜占庭式弹性的研究仍处于起步阶段。特别是，现有的拜占庭弹性分散式学习方法要么不能很好地扩展到大规模机器学习模型，要么缺乏统计收敛保证来帮助表征其泛化错误。在本文中，一个可扩展的，拜占庭弹性分散机器学习框架称为拜占庭弹性分散梯度下降（BRIDGE）。文中还对强凸问题和一类非凸问题给出了BRIDGE的一个变形的数学和统计收敛保证。此外，大规模的分散学习实验被用来建立BRIDGE框架是可扩展的，它提供了拜占庭弹性凸和非凸学习的竞争力的结果。
2022-06-15 cs.DC cs.LG cs.MA
Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold
Zhejiang University（浙江大学）；SGIT AI Lab, State Grid Corporation of China（国网公司SGIT人工智能实验室）；CFAR and IHPC, Agency for Science, Technology and Research（新加坡科技研究局CFAR与IHPC）；SCSE, NTU（南洋理工大学计算机科学与工程学院）
针对分布式场景下Stiefel流形优化缺乏黎曼共轭梯度方法的问题，提出无需复杂黎曼几何操作的DRCGD方法，是首个在该流形上实现全局收敛的分布式黎曼共轭梯度算法。
2024-03-12 cs.LG cs.SY eess.SY
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
A fast randomized incremental gradient method for decentralized non-convex optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
我们研究分散的非凸有限和最小化问题描述的网络节点，其中每个节点拥有一个本地批次的数据样本。在这种情况下，我们分析了一种单时间尺度随机增量梯度法，称为GT-SAGA。GT-SAGA在计算上是高效的，因为它在每次迭代中评估每个节点的一个分量梯度，并通过利用节点级方差减少和网络级梯度跟踪来实现可证明的快速和鲁棒性能。对于一般的光滑非凸问题，我们证明了GT-SAGA的几乎必然和均方收敛到一阶稳定点，并进一步描述了具有实际意义的制度，它优于现有的方法，并分别实现了网络拓扑无关的迭代复杂性。当全局函数满足Polyak-Lojaciewisz条件时，我们证明了GT-SAGA具有线性收敛到期望的最优解，并描述了实际感兴趣的制度，其中性能是网络拓扑无关的，并改进了现有的方法。数值实验包括突出的主要方面的GT-SAGA在非凸设置的收敛性。
2021-09-30 cs.LG cs.SY eess.SY
Decentralized Stochastic Optimization with Inherent Privacy Protection
Clemson University（克莱姆森大学）；Princeton University（普林斯顿大学）
分散随机优化是现代协作机器学习、分布式估计和控制以及大规模传感的基本构建块。由于所涉及的数据通常包含敏感信息，如用户位置，医疗记录和金融交易，隐私保护已成为一个越来越迫切的需求，在实现分散的随机优化算法。在本文中，我们提出了一个分散的随机梯度下降算法，这是嵌入固有的隐私保护，为每个参与代理对其他参与代理和外部窃听。该算法建立在一个基于动态的梯度混淆机制，使隐私保护，而不损害优化精度，这是在显着的差异，基于隐私的隐私解决方案的分散优化，必须贸易优化精度的隐私。基于动态的隐私方法是免维护的，因此避免了产生沉重的通信或计算开销，这是分散随机优化的基于加密的隐私解决方案的常见问题。除了严格的特征的收敛性能的分散随机梯度下降算法下凸目标函数和非凸目标函数，我们还提供了严格的信息理论分析其强度的隐私保护。分布式估计问题的仿真结果以及在基准机器学习数据集上进行分散学习的数值实验证实了所提出方法的有效性。
2022-05-08 cs.LG cs.SY eess.SY
Decentralized Differentially Private Without-Replacement Stochastic Gradient Descent
Electronic Information School, Wuhan University（武汉大学）；Department of Electrical and Computer Engineering, North Carolina State University（北卡罗来纳州立大学）
虽然机器学习在各种领域都取得了显著的成果，但模型的训练通常需要从不同个体收集的大型数据集。由于个人数据集中可能包含敏感信息，因此共享训练数据可能导致严重的隐私问题。因此，迫切需要开发隐私感知的机器学习方法，其中一种有效的方法是利用差分隐私的通用框架。考虑到随机梯度下降（SGD）是大规模机器学习问题中最常用的方法之一，提出了一种分散的差分私有SGD算法.特别是，我们专注于SGD，由于其结构有利于实际实施，因此没有替代品。隐私和收敛性分析所提出的算法。最后，大量的实验证明了所提出的方法的有效性。
2023-02-05 cs.LG stat.ML
Adjacent Leader Decentralized Stochastic Gradient Descent
New York University（纽约大学）；Tandon School of Engineering（坦登工程学院）
本文提出相邻领导者去中心化梯度下降（AL-DSGD），通过加权聚合和动态通信图提升去中心化深度学习的性能与收敛速度，降低通信开销，并开源了通用分布式训练库。
2024-08-19 cs.LG
Asynchronous Decentralized Learning over Unreliable Wireless Networks
EURECOM（欧洲通信学院）
分散式学习使边缘用户能够通过经由设备到设备通信交换信息来协作地训练模型，然而先前的工作仅限于具有固定拓扑和可靠工作者的无线网络。在这项工作中，我们提出了一个异步分散随机梯度下降（DSGD）算法，这是强大的固有的计算和通信故障发生在无线网络边缘。我们从理论上分析了它的性能，并建立了一个非渐近收敛保证。实验结果证实了我们的分析，证明了异步性和过时梯度信息重用在不可靠无线网络上的分散学习中的好处。
2022-02-02 cs.IT cs.LG eess.SP
Byzantine-resilient Decentralized Stochastic Gradient Descent
Chongqing University（重庆大学）；Nanyang Technological University（南洋理工大学）；University of Alberta（阿尔伯塔大学）
去中心化学习在提高学习效率和保护数据隐私方面获得了极大的普及。每个计算节点对协作学习深度学习模型做出相等的贡献。消除集中式参数服务器（PS）可以有效地解决隐私、性能瓶颈和单点故障等问题。然而，如何实现拜占庭容错在分散式学习系统很少探讨，虽然这个问题已经在集中式系统中得到了广泛的研究。在本文中，我们对分散式学习系统的拜占庭弹性进行了深入研究，有两个贡献。首先，从对抗的角度来看，我们从理论上说明了拜占庭攻击在分散式学习系统中更危险和可行：即使是一个恶意参与者也可以通过向其邻居发送精心制作的更新来任意改变其他参与者的模型。其次，从防御的角度来看，我们提出了UBAR，一种新的算法，以加强分散学习与拜占庭容错。具体来说，UBAR提供了一个统一的拜占庭弹性聚合规则，良性节点选择有用的参数更新，并过滤掉恶意的在每次训练迭代。它保证了分散系统中的每个良性节点都可以在具有任意数量故障节点的非常强大的拜占庭攻击下训练正确的模型。我们进行了广泛的实验标准的图像分类任务，结果表明，UBAR可以有效地击败简单和复杂的拜占庭攻击具有更高的性能效率比现有的解决方案。
2021-10-20 cs.CR cs.LG
Distributed Optimization with Streaming Data: A Temporal Weighting Perspective
School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）；Department of Electrical Engineering (ISY), Linköping University（林雪平大学电气工程系）
该研究针对流数据下带通信约束的分散优化问题，提出时间加权的结构化时变公式，分析分散一阶方法的跟踪误差界，通过数值实验验证了时间加权规则等因素对性能的影响。
2026-08-11 cs.AI cs.LG cs.SY
Network-Density-Controlled Decentralized Parallel Stochastic Gradient Descent in Wireless Systems
Tokyo University of Science（东京理科大学）；Tsuda University（津田塾大学）
本文提出了一种在无线系统中进行分散学习的通信策略。我们的讨论是基于分散并行随机梯度下降（D-PSGD），这是一个国家的最先进的分散学习算法。本文的主要贡献是提出了一个新的开放式问题，分散学习的无线系统：有可能是一个网络拓扑的密度显着影响D-PSGD的运行时性能。在实际的无线网络系统中，由于路径损耗和多径衰落的影响，通常很难保证无时延通信而不造成任何通信恶化。这些因素显著降低了D-PSGD的运行时性能。为了缓解这些问题，我们首先分析的D-PSGD的运行时性能，考虑到真正的无线系统。该分析得出了以下关键见解：密集网络拓扑（1）与稀疏网络拓扑相比，不会显著提高D-PSGD的训练精度，并且（2）严重降低了运行时性能，因为这种设置通常需要使用低速率传输。基于这些发现，我们提出了一种新的通信策略，其中每个节点估计最佳的传输速率，使通信时间在D-PSGD优化的网络密度的约束下，这是由无线电传播特性的特点是最小化。所提出的策略能够提高D-PSGD在无线系统中的运行时性能。数值仿真结果表明，该策略能够提高D-PSGD的运行时性能。
2020-02-25 cs.LG cs.NI
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
School of Cyber Science & Engineering, Southeast University（东南大学网络空间科学与工程学院）；Institute of Artificial Intelligence (TeleAI) of China Telecom（中国电信人工智能研究院）；School of Mathematics, Southeast University（东南大学数学学院）；Purple Mountain Laboratories（紫金山实验室）
针对分布式非凸复合联邦学习问题，提出DEPOSITUM算法，其通过梯度跟踪机制适配两类动量，支持多轮局部更新，理论上具低迭代复杂度，实验验证其有效性与竞争力。
2026-08-11 cs.DC cs.LG math.OC
Gradient tracking and variance reduction for decentralized optimization and machine learning
解决有限和最小化问题的分散式方法在许多信号处理和机器学习任务中是重要的，其中数据分布在节点网络上，并且由于隐私和/或资源约束而不允许原始数据共享。在这篇文章中，我们回顾了分散随机一阶方法，并提供了一个统一的算法框架，结合方差减少与梯度跟踪，以实现鲁棒性能和快速收敛。当目标函数是光滑的和强凸的时，我们给出了相应方法的明确的理论保证，并通过数值实验证明了它们对非凸问题的适用性。在整篇文章中，我们通过对感兴趣的方法进行适当的权衡和比较，并通过突出机器学习模型的分散训练应用，直观地说明了主要的技术思想。
2020-02-13 cs.DC cs.LG cs.MA
Online decentralized tracking for nonlinear time-varying optimal power flow of coupled transmission-distribution grids
输配电网协调交流最优潮流（ACOPF）已成为处理可再生能源（RESs）的高渗透率相关问题的关键。然而，由于隐私问题，获取所有系统细节并集中解决ACOPF是不可行的。间歇性的可再生能源和不可控负荷会迅速改变电网的运行状况。现有的分散最优化方法很少能跟踪时变ACOPF的最优解。在这里，我们提出了一种在线分散最优化方法来跟踪时变的ACOPF的耦合输配电网。首先，时变ACOPF问题转换为一个动态系统的基础上Karush-Kuhn-Tucker条件从控制的角度。其次，发展了一个由对时间的偏导数表示的预测项，以提高动态系统的跟踪精度。第三，一个分散的实施方案，用于解决动态系统的基础上，只有一些信息交换的边界变量。此外，该算法可以直接用于解决非线性潮流方程，而不依赖于凸松弛或线性化技术。数值试验结果表明了该算法的有效性和快速跟踪性能。
2022-08-03 cs.DC math.OC
Decentralized Secure State-Tracking in Multi-Agent Systems
本文讨论了存在传感器攻击的分散状态跟踪问题。我们考虑一个节点网络，其中每个节点的目标是跟踪一个线性动力系统的状态的基础上，其测量和消息与相邻节点交换，尽管一些测量被欺骗的对手。我们提出了一种新的分散攻击弹性状态跟踪算法的基础上简单的观察，所有的网络测量的压缩版本足以重建的状态。这激发了去中心化安全状态跟踪问题的两步解决方案：（1）每个节点跟踪所有网络测量的压缩版本，以及（2）每个节点从步骤（1）的输出渐进地重建状态。我们证明，在温和的技术假设下，我们的算法使每个节点跟踪的状态的线性系统，从而解决了分散安全的状态跟踪问题。
2021-09-17 cs.SY eess.SY math.OC
An introduction to decentralized stochastic optimization with gradient tracking
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
有限和最小化的分散解决方案在许多信号处理、控制和机器学习应用中具有重要意义。在这样的设置中，数据分布在任意连接的节点的网络上，并且原始数据共享通常由于通信或隐私约束而被禁止。在这篇文章中，我们回顾了分散随机一阶优化方法，并说明了一些最近的改进，基于梯度跟踪和方差减少，特别侧重于光滑和强凸的目标函数。我们提供了主要技术思想的直观说明以及算法在机器学习模型分散训练背景下的应用。
2019-11-12 cs.LG cs.SY eess.SY
Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking--Part I: GT-SAGA
在本文中，我们研究分散的经验风险最小化问题，其中的目标是最小化有限和光滑和强凸函数可在一个网络的节点。在第一部分中，我们提出了\textbf{\texttt{GT-SAGA}}，这是一种基于梯度跟踪\cite{DSGT_Pu,DSGT_Xin}和称为SAGA \cite{SAGA}的方差缩减技术的分散随机一阶算法。给出了算法的收敛性分析和迭代复杂度。我们进一步展示了各种权衡和讨论的情况下，\textbf{\texttt{GT-SAGA}}实现优越的性能（在所需的本地梯度计算的数量）相对于现有的分散计划。在这篇由两部分组成的论文的第二部分\cite{GT_SVRG}中，我们开发并分析了\textbf{\texttt{GT-SVRG}}，这是另一种著名的方差缩减技术SVRG \cite{SVRG}的一种基于分散梯度跟踪的实现。
2019-12-10 math.OC
On Decentralized Tracking with ADMM for Problems with Time-Varying Curvature
我们分析的性能的交替方向法的乘法器（ADMM）跟踪，以分散的方式，解决随机序列的最优化问题参数化的离散时间马尔可夫过程。考虑随机模型的主要优点是，我们允许目标函数偶尔失去强凸性和/或梯度的Lipschitz连续性。由于我们的模型的随机性，跟踪声明中给出的均方差误差。
2019-03-15 math.OC
Compressed Gradient Tracking Methods for Decentralized Optimization with Linear Convergence
通信压缩技术是解决有限通信条件下的分散最优化问题的一种重要方法，其全局目标是在多智能体网络中仅使用局部计算和对等通信来最小化局部费用函数的平均值.在本文中，我们首先提出了一种新的压缩梯度跟踪算法（C-GT），结合梯度跟踪技术和通信压缩。特别是，C-GT是兼容的一般类的压缩运营商，统一无偏和有偏的压缩机。我们表明，C-GT继承了基于梯度跟踪算法的优点，并实现了强凸和光滑目标函数的线性收敛速率。在本文的第二部分，我们提出了一个基于误差反馈的压缩梯度跟踪算法（EF-C-GT），以进一步提高算法的效率有偏压缩算子。数值例子补充了理论研究结果，并证明了所提出的算法的效率和灵活性。
2021-06-18 cs.DC cs.MA cs.SI
A Compressed Gradient Tracking Method for Decentralized Optimization with Linear Convergence
通信压缩技术是解决有限通信条件下的分散最优化问题的一种重要方法，其全局目标是在多智能体网络中仅使用局部计算和对等通信来最小化局部费用函数的平均值.本文提出了一种将梯度跟踪技术与通信压缩相结合的新型压缩梯度跟踪算法（C-GT）。特别是，C-GT是兼容的一般类的压缩运营商，统一无偏和有偏的压缩机。我们表明，C-GT继承了基于梯度跟踪算法的优点，并实现了强凸和光滑目标函数的线性收敛速率。数值例子补充了理论研究结果，并证明了所提出的算法的效率和灵活性。
2022-05-25 math.OC
