Decentralized Bayesian Learning with Metropolis-Adjusted Hamiltonian Monte Carlo
Czech Technical University in Prague（捷克布拉格技术大学）；SRI International（SRI国际公司）；University of California, San Diego（加州大学圣地亚哥分校）；DEVCOM Army Research Laboratory（美国陆军DEVCOM研究实验室）
随着自主设备上嵌入式软件的普及，由分散的代理网络执行的联邦学习变得越来越重要。贝叶斯学习方法受益于提供更多关于随机量的不确定性的信息，而朗之万和汉密尔顿方法在实现从具有大参数维度的不确定分布中采样时是有效的。这种方法最近才出现在分散设置，或者专门使用随机梯度朗之万和汉密尔顿蒙特卡罗方法，需要一个递减的步长渐近采样后，在实践中被称为不确定性的特点不忠实于恒定步长方法与大都会调整，或假设强凸性的潜在功能。我们提出的第一种方法，将恒定步长的大都会调整HMC在分散的采样框架，显示理论上的保证共识和概率距离的后验平稳分布，并证明其有效性数值上的标准现实世界的问题，包括分散学习的神经网络，这是已知的高度非凸的。
2021-07-15 cs.LG math.OC stat.ML
Decentralized Federated Learning: Balancing Communication and Computing Costs
分散式随机梯度下降（SGD）是分散式联邦学习（DFL）的驱动引擎。分散式SGD的性能受到节点间通信和本地更新的共同影响。在本文中，我们提出了一个通用的DFL框架，它实现了多个本地更新和多个节点间的通信周期，以达到通信效率和模型共识之间的平衡。它可以提供一个通用的去中心化SGD分析框架。我们为所提出的DFL算法建立了强收敛保证，而无需假设凸目标。DFL的收敛速度可以被优化，以实现在有限的资源下的通信和计算成本的平衡。为了提高DFL的通信效率，将压缩通信作为一种新的方案引入到DFL中，命名为DFL with compressed communication（C-DFL）。建议的C-DFL表现出线性收敛的强凸目标。基于MNIST和CIFAR-10数据集的实验结果表明，DFL优于传统的分散SGD方法，并表明C-DFL进一步提高了通信效率。
2022-02-11 cs.DC cs.LG
Revisiting Optimal Convergence Rate for Smooth and Non-convex Stochastic Decentralized Optimization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）；MetaCarbon
分散优化是大规模机器学习中节省通信的有效方法。虽然已经提出了许多算法的理论保证和经验的成功，分散优化的性能限制，特别是网络拓扑结构及其相关的权重矩阵的最优收敛速度的影响，还没有得到充分的理解。虽然（Lu和Sa，2021）最近为非凸随机分散优化提供了一个最优速率，其权重矩阵定义在线性图上，但具有一般权重矩阵的最优速率仍不清楚。本文重新研究了非凸随机分散优化问题，并在一般权矩阵下建立了一个最优收敛速度。此外，我们还建立了非凸损失函数进一步满足Polyak-Lojasiewicz（PL）条件时的最优速率。按照文献中现有的分析路线无法实现这些结果。相反，我们利用环格图承认一般的权重矩阵，同时保持图直径和权重矩阵连通性之间的最佳关系。最后，我们开发了一个新的分散算法，几乎达到上述两个最优速率在额外的温和条件。
2022-10-14 cs.LG math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；Yonsei University（延世大学）
针对无向连通网络上的凸组合最优化问题，提出了一种新的基于CTA（Combine-Then-Adapt）的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长，只需近似求解一系列邻近映射，有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形，我们证明了该算法的O（1/k）收敛速度，如果精确求解邻近映射，则该算法的收敛速度可提高到O（1/k）.此外，利用度量次正则性，我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks
Yandex Research（Yandex研究院）；MIPT（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；ISP RAS（俄罗斯科学院系统编程研究所）；MSU（莫斯科国立大学）
本研究首次为时变网络上非光滑凸分散优化问题建立了通信与次梯度计算复杂度的下界，并提出了匹配这些下界的最优算法，显著提升了理论性能。
2024-05-28 cs.LG math.OC
Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们考虑的任务是最小化的光滑和强凸函数的总和存储在一个分散的方式跨越节点的通信网络的链接被允许随时间变化。我们要解决两个基本问题。首先，我们建立了第一个下界的数量分散的通信轮和本地计算的数量需要找到一个$ε$ -准确的解决方案。其次，我们设计了两个达到这些下界的最优算法：（i）最近提出的算法ADOM的变体（Kovalev等人，2021）增强通过多共识子例程，这是最佳的情况下，当访问双梯度假设，和（ii）一种新的算法，称为ADOM+，这是最佳的情况下，当访问原始梯度假设。我们证实了这些算法的理论效率与现有的最先进的方法进行实验比较。
2021-06-08 cs.LG math.OC
Theoretical Analysis of Primal-Dual Algorithm for Non-Convex Stochastic Decentralized Optimization
Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）；NTT Communication Science Laboratories（NTT通信科学实验室）
近年来，去中心化学习已经成为一种强大的工具，不仅用于大规模机器学习，还用于保护隐私。去中心化学习的一个关键挑战是每个节点所持有的数据分布在统计上是异构的。为了解决这一问题，人们提出了一种称为边缘一致性学习（ECL）的原始对偶法，实验表明该算法对数据分布的异质性具有很好的鲁棒性。然而，仅当目标函数是凸的时才提供ECL的收敛速度，并且在目标函数是非凸的标准机器学习设置中尚未示出。此外，ECL对数据分布的异质性具有鲁棒性的直观原因尚未研究。本文首先研究了ECL和Gossip算法之间的关系，证明了ECL的更新公式可以看作是对Gossip算法中局部随机梯度的修正。然后，我们提出了广义ECL（G-ECL），它包含ECL作为一种特殊情况，并提供了收敛速度的G-ECL在（强）凸和非凸设置，这不依赖于数据分布的异质性。通过模拟实验，我们证明了G-ECL和ECL的数值结果与G-ECL的收敛速度一致。
2022-09-22 cs.LG math.OC
Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对异构计算与通信延迟下的去中心化非凸优化，本文提出改进 ADSGD 模型，并借助 ASBCD 证明其无需数据异构有界即可采用不依赖计算延迟的步长收敛，实验显示其挂钟时间更优。
2025-05-15 cs.LG math.OC
On the Divergence of Decentralized Non-Convex Optimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
我们研究了一类通用的分散算法，其中$N$代理联合优化非凸目标$f(u):=1/N\sum_{i=1}^{N}f_i(u)$，而只与他们的邻居进行通信。这类问题在许多信号处理和机器学习应用的建模中已经变得流行，并且已经提出了许多有效的算法。然而，通过构造反例，我们证明了当局部函数梯度$\nabla f_i$上的某些局部Lipschitz条件（LLC）不满足时，即使全局Lipschitz条件（GLC）满足（其中和函数$f$具有Lipschitz梯度），大多数分散算法也会发散.这一观察提出了一个重要的开放问题：当LLC甚至GLC不满意时，如何设计分散算法？为了解决上述问题，我们设计了一个一阶算法称为多阶段梯度跟踪算法（MAGENTA），这是能够计算平稳的解决方案，既没有LLC也没有GLC。特别是，我们表明，该算法次线性收敛到某些$ε$-固定的解决方案，其中的精确率取决于各种算法和问题的参数。特别地，如果局部函数$f_i$是$Q$次多项式，则速率变为$\mathcal{O}(1/ε^{Q-1})$.对于每个$f_i$满足LLC的$Q=2$的特殊情况，这样的速率是紧的。据我们所知，这是第一次尝试研究分散非凸优化问题，既没有LLC也没有GLC。
2020-06-20 cs.LG math.OC
Decentralized Weakly Convex Optimization Over the Stiefel Manifold
The Chinese University of Hong Kong（香港中文大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）；JD Explore Academy（京东探索研究院）；Cainiao Network（菜鸟网络）
针对分散式Stiefel流形上的非光滑非凸优化问题，提出分散式黎曼次梯度方法（DRSM），并利用变分分析证明其全局收敛性、迭代复杂度及在锐度条件下的局部线性收敛性。
2023-03-31 cs.LG math.OC
Decentralized Online Riemannian Optimization for Strongly Geodesically Convex Functions
Department of Mechanical & Industrial Engineering at Northeastern University（东北大学机械与工业工程系）
研究黎曼流形上强测地凸损失的分散式在线优化，通过提供时变调度的网络误差分析，为分散式在线黎曼梯度下降建立$O(\log T)$静态遗憾界，并为两点策略反馈设置证明相同界，匹配强凸欧几里得在线优化最优速率。
2026-07-23 cs.LG cs.MA math.OC
Near-Optimal Decentralized Stochastic Convex Optimization over Networks
Blavatnik School of Computer Science, Tel Aviv University（塔尔大学比拉维克计算机科学学院）；Google Research Tel Aviv（谷歌研究以色列特拉维夫）
针对去中心化随机光滑凸优化问题，提出一种加速去中心化方法，在总梯度样本预算N下，将可支持的工作节点数提升至M≲√ρ N^{3/4}，并证明其最优性。
2026-11-06 cs.LG math.OC
ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们提出了ADOM -一个加速的方法，光滑和强凸分散优化随时间变化的网络。ADOM使用双oracle，即，我们假设可以访问各个损失函数的Fenchel共轭的梯度。在一个常数因子下，它的通信复杂度与加速Nesterov梯度法（Nesterov，2003）的通信复杂度相同。据我们所知，只有Rogozin等人（2019）的算法具有类似性质的收敛速度。然而，他们的算法在非常严格的假设下收敛，即网络变化的次数不能大于迭代次数的大于微小百分比。这一假设在实际中很难满足，因为网络拓扑结构的变化通常是无法控制的。相比之下，ADOM只需要网络在整个时间内保持连接。
2021-02-18 cs.LG math.OC
Retraction-Free Decentralized Non-convex Optimization with Orthogonal Constraints
Northeastern University（东北大学）；University of Science and Technology of China (USTC)（中国科学技术大学）；Texas A & M University（德克萨斯农工大学）
针对带正交约束的去中心化非凸优化传统方法计算成本高的问题，提出无收缩去中心化算法DRFGT，理论上证明其收敛速率匹配中心化方法且在特定条件下可达线性收敛，实验显示其性能持平主流方法且计算开销显著降低。
2024-12-07 cs.LG math.OC
Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization
Center for Machine Learning Research Peking University（机器学习研究中心北京大学）
提出MG-ADSGD算法，结合Nesterov型原始-对偶外推与多轮快速八卦平均，通过耦合八卦深度与小批量大小，同时实现加速收敛和通信高效，达到最优通信复杂度。
2026-06-05 cs.LG math.OC
Moreau Envelope ADMM for Decentralized Weakly Convex Optimization
Norwegian University of Science and Technology（挪威科技大学）；Linköping University（林雪平大学）；Aalto University（阿尔托大学）
本文提出一种基于 Moreau 包络的 ADMM 近端变体（MADM），用于分布式弱凸优化，证明其在温和条件下收敛到稳定点，且数值实验显示该方法比现有方法更快更稳健。
2023-08-31 cs.LG math.OC
Decentralized Non-convex Stochastic Optimization with Heterogeneous Variance
School of Data Science, Fudan University（数据科学学院，复旦大学）
本文提出D-NSS算法，针对异质方差问题，通过节点特定采样和方差减少技术，实现更紧的样本复杂性界，并通过实验验证其有效性。
2026-02-12 cs.LG math.OC
Decentralized Stochastic Variance Reduced Extragradient Method
Fudan University（复旦大学）；Xi’an Jiaotong University（西安交通大学）
本文研究了分散凸-凹极小极大最优化问题的形式$\min_x\max_y f(x,y) \triangleq\frac{1}{m}\sum_{i=1}^m f_i(x,y)$，其中$m$是代理的数目，每个局部函数可以写成$f_i(x,y)=\frac{1}{n}\sum_{j=1}^n f_{i,j}(x,y)$ .我们提出了一种新的分散优化算法，称为多共识随机方差减少的外梯度，它实现了最有名的随机一阶预言（SFO）的复杂性为这个问题。具体地说，每个Agent要求$\mathcal O((n+κ\sqrt{n})\log(1/\varepsilon))$ SFO调用强凸-强凹问题，$\mathcal O((n+\sqrt{n}L/\varepsilon)\log(1/\varepsilon))$ SFO调用一般凹凸问题，以获得期望中的$\varepsilon$ -精确解，其中$κ$是条件数，$L$是光滑参数.数值实验表明，该方法的性能优于基线。
2022-02-13 cs.LG math.OC
Decentralized Dictionary Learning Over Time-Varying Digraphs
Purdue University（普渡大学）；University of Rome “La Sapienza”（罗马第一大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文研究了字典学习问题，其中的学习任务分布在一个多智能体网络，建模为一个随时间变化的有向图。例如，在大量数据被收集/存储在不同位置（例如，传感器、云）以及在融合中心中聚集和/或处理所有数据可能由于资源限制、通信开销或隐私问题而效率低下或不可行。我们开发了一个统一的分散算法框架，这类非凸问题，这被证明是收敛到稳态解的次线性速率。新方法依赖于连续凸逼近技术，再加上一个分散的跟踪机制，旨在局部估计和效用的平滑部分的梯度。据我们所知，这是字典学习的第一个可证明收敛的分散算法，更一般地说，是（时变）（di）图上的双凸问题。
2019-03-05 cs.DC cs.LG math.OC
DUET: Decentralized Bilevel Optimization without Lower-Level Strong Convexity
Department of Electrical and Computer Engineering, The Ohio State University（俄亥俄州立大学电气与计算机工程系）；Department of Computer Science and Engineering, University of North Texas（北卡罗来纳州立大学计算机科学与工程系）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）
针对去中心化双层优化中下层强凸性限制，提出单循环算法DUET，通过引入递减二次正则化消除该假设，并利用梯度跟踪处理数据异质性，实现近似KKT稳定点收敛。
2026-06-23 cs.LG math.OC
Decentralized Gradient Tracking with Local Steps
University of Toronto（多伦多大学）；Westlake University（西湖大学）；EPFL（洛桑联邦理工学院）；CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
梯度跟踪（GT）是一种算法，设计用于解决网络上的分散式最优化问题（例如训练机器学习模型）。GT的一个关键特性是一个跟踪机制，可以克服节点之间的数据异构性。我们提出了一种新的分散跟踪机制，$K$ -GT，使通信有效的本地更新GT，同时继承的数据独立性属性的GT。我们证明了收敛速度$K$ -GT光滑非凸函数，并证明它减少了通信开销渐近的线性因子$K$，其中$K$表示的本地步骤的数量。我们说明了这种异质性校正的鲁棒性和有效性凸和非凸基准问题和非凸神经网络训练任务与MNIST数据集。
2023-01-03 cs.DC cs.LG math.OC
Decentralized Optimization with Cross-Coupled Mixed Affine Constraints
本文研究带交叉耦合混合仿射约束的分散式优化，提出加速方法并给出匹配极小极大保证，实验验证了通道几何与网络条件的影响。
2026-09-29 cs.LG math.OC
DIGing--SGLD: Decentralized and Scalable Langevin Sampling over Time--Varying Networks
本文提出DIGing-SGLD算法，解决时变网络下现有去中心化SGLD的静态拓扑限制与采样偏差问题，首次提供有限时间非渐近Wasserstein收敛保证，经实验验证其性能优异。
2026-08-25 cs.LG math.OC stat.ML
A Decentralized Proximal Point-type Method for Saddle Point Problems
Zhejiang University（浙江大学）；UT Austin（德克萨斯大学奥斯汀分校）；MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了一类约束非凸非凹鞍点问题的网络节点分散求解问题。具体来说，我们假设每个节点都可以访问一个全局目标函数的被加数，并且节点只允许与它们的邻居节点交换信息。我们提出了一个分散的变种的近点法来解决这个问题。当目标函数为$ρ$ -弱凸-弱凹时，迭代收敛到近似平稳，收敛速度为$\mathcal{O}(1/\sqrt{T})$，近似误差线性依赖于$\sqrtρ$ .我们进一步表明，当目标函数满足明蒂VI条件（推广的凹凸情况下），我们得到收敛到平稳率为$\mathcal{O}(1/\sqrt{T})$。据我们所知，我们提出的方法是第一个分散的算法与理论保证解决非凸非凹分散鞍点问题。我们以分散的方式训练一般对抗网络（GAN）的数值结果与我们的理论保证相匹配。
2019-10-31 cs.LG math.OC stat.ML
Decentralized Multi-Task Online Convex Optimization Under Random Link Failures
The Hong Kong University of Science and Technology（香港科技大学）
针对去中心化多任务在线凸优化中的随机链路故障问题，提出一种鲁棒的去中心化鞍点算法，通过用最新接收值替换缺失决策，在全信息和两点强盗反馈场景下均实现了与完美通信同阶的遗憾和约束违反界限。
2024-01-04 cs.LG math.OC
Adaptive Decentralized Composite Optimization via Three-Operator Splitting
Edwardson School of Industrial Engineering, Purdue University, West Lafayette, IN 47906 USA（帕克大学工业工程学院）；Office of Naval Research（海军研究办公室）
本文提出了一种基于三操作符分裂的自适应去中心化优化方法，通过局部回溯和共识协议实现自适应步长调整，解决了去中心化优化中的凸性和非光滑性问题，并证明了亚线性及线性收敛性。
2026-02-19 cs.LG cs.MA math.OC
Communication-Efficient Algorithms for Decentralized and Stochastic Optimization
Georgia Institute of Technology（佐治亚理工学院）
针对多智能体网络上的非光滑随机最优化问题，提出了一类新的分散一阶方法。考虑到通信是分散优化的主要瓶颈，本文的主要目标是开发算法框架，可以显着减少节点间通信的数量。我们首先提出了一种分散的原始-对偶方法，可以找到一个$ε$ -解决方案，无论是在功能最优性差距和可行性残差在$O(1/ε)$节点间的通信轮时，目标函数是凸的和当地的原始子问题得到解决。我们的主要贡献是提出了一类新的分散原始-对偶型算法，即分散通信滑动（DCS）方法，它可以跳过节点间的通信，而代理解决原始子问题迭代通过线性化的本地目标函数。通过采用DCS，代理仍然可以在$O(1/ε)$中找到$ε$ -解决方案（分别为，$O(1/\sqrtε)$）通信循环用于一般凸函数（分别，强凸函数），同时保持$O(1/ε^2)$（分别，$O(1/ε)$），其约束于节点内次梯度评估的总数。我们还提出了一个随机对应的这些算法，表示SDCS，解决随机最优化问题的目标函数不能准确评估。与现有的分散非光滑和随机最优化的结果相比，我们可以减少数量级的节点间的通信轮的总数，同时仍然保持最佳的复杂性范围内的节点内的随机次梯度评价。次梯度估计的界限实际上与集中式非光滑和随机最优化所需的界限相当。
2017-02-04 cs.LG math.OC
Enhancing Parallelism in Decentralized Stochastic Convex Optimization
Technion（以色列理工学院）
本文提出 Decentralized Anytime SGD 算法，通过提升去中心化随机凸优化的关键并行性阈值，使更多机器能够在不损失收敛性能的情况下协同工作，并在高度连通拓扑中逼近集中式学习效果。
2025-06-01 cs.LG stat.ML
Linear Speedup in Saddle-Point Escape for Decentralized Non-Convex Optimization
School of Engineering, \' E cole Polytechnique F\' e d\' e rale de Lausanne
在适当的合作协议和参数选择下，完全分散的随机优化解决方案已被证明与集中式解决方案的性能相匹配，并导致在强凸设置中相对于非合作方法的线性加速（在代理数量上）。最近，这些结果已被扩展到追求一阶平稳点在非凸环境。在这项工作中，我们详细研究了依赖于二阶收敛保证的谱性质的组合政策的非凸多智能体优化。我们建立了线性加速鞍点逃逸时间的对称组合策略的代理数量，并研究了进一步改进的潜力，采用不对称的组合权重。结果表明，线性加速可以预期在追求二阶稳定点，其中排除局部最大值以及严格的鞍点，并对应于在许多重要的学习设置中的局部甚至全局最小值。
2019-10-30 cs.LG cs.MA math.OC
Decentralized Riemannian Gradient Descent on the Stiefel Manifold
Texas A&M University（德克萨斯农工大学）；University of Minnesota（明尼苏达大学）
我们考虑一个分布式的非凸优化网络的代理人的目的是最小化一个全局函数的Stiefel流形。全局函数被表示为光滑局部函数的有限和，其中每个局部函数与一个代理相关联，并且代理通过无向连通图彼此通信。这个问题是非凸的，因为局部函数可能是非凸的（但光滑的），Steifel流形是一个非凸集。本文提出了一种分散的黎曼随机梯度法（DRSGD），其收敛速度为$\mathcal{O}(1/\sqrt{K})$。为了在恒定步长下具有精确收敛性，我们还提出了一种分散的黎曼梯度跟踪算法（DRGTA），其收敛速度为$\mathcal{O}(1/K)$到一个稳定点。我们使用多步共识来保持局部（共识）区域中的迭代。DRGTA是Stiefel流形上第一个具有精确收敛性的分布式优化算法。
2021-02-14 cs.LG cs.SY eess.SY
Accelerated Decentralized Optimization with Local Updates for Smooth and Strongly Convex Objectives
INRIA（法国国家信息与自动化研究所）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；MSR-INRIA Joint Centre（微软研究院-法国国家信息与自动化研究所联合中心）
在本文中，我们研究的问题，最小化的光滑和强凸函数的总和分裂在一个网络的节点在一个分散的方式。我们提出的算法$ESDACD$，分散的加速算法，只需要本地同步。其速率取决于本地功能的条件数$κ$以及网络拓扑和延迟。在对图的拓扑结构的温和假设下，$ESDACD$花费时间$O((τ_{\max} + Δ_{\max})\sqrt{κ/γ}\ln(ε^{-1}))$来达到精确的$ε$，其中$γ$是图的谱间隙，$τ_{\max}$是最大通信延迟，并且$Δ_{\max}$是最大计算时间。因此，它与$SSDA$的速率匹配，当$τ_{\max} = Ω\left(Δ_{\max}\right)$。将$ESDACD$应用于二次局部函数，得到速率为$O( \sqrt{θ_{\rm gossip}/n})$的加速随机流言算法，其中$θ_{\rm gossip}$是标准随机流言的速率。据我们所知，它是第一个异步八卦算法，具有可证明的改进收敛速度的二阶矩的错误。我们说明这些结果与理想化设置中的实验。
2019-02-22 cs.DC cs.LG math.OC
Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties
Norwegian University of Science and Technology-NTNU（挪威科技大学）；Aalto University（阿尔托大学）
针对物联网分布式分位数回归，本文提出DSAD，在平滑ADMM中结合MCP、SCAD与全变差范数，实现节点一致、可靠收敛和更高估计精度。
2024-08-08 cs.LG
An improved convergence analysis for decentralized online stochastic non-convex optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文研究节点网络上分散在线随机非凸优化问题。在分散式随机梯度下降中集成一种称为梯度跟踪的技术，我们证明了所得到的算法GT-DSGD具有一定的理想特性，可以最小化光滑非凸函数的总和。特别是，对于一般光滑的非凸函数，我们建立了非渐近的GT-DSGD的特征，并推导出条件下，它实现网络无关的性能，匹配的集中minibatch SGD。相比之下，现有的结果表明，GT-DSGD总是依赖于网络，因此严格比集中式小批量SGD更差。当全局非凸函数另外满足Polyak-Lojasiewics（PL）条件时，我们证明了GT-DSGD算法在适当的常数步长下直到稳态误差是线性收敛的.此外，在随机逼近步长下，我们首次给出了在几乎每一条样本路径上的最优全局次线性收敛速度，以及期望的渐近最优次线性收敛速度.由于强凸函数是满足PL条件的函数的特殊情况，我们的结果不仅是立即适用，而且还改善了目前已知的最佳收敛速度和它们对问题参数的依赖性。
2020-12-29 cs.LG cs.MA cs.SY
DCatalyst: A Unified Accelerated Framework for Decentralized Optimization
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
针对无中心服务器的去中心化网络优化问题，提出统一黑盒加速框架 DCatalyst，通过非精确动量近端外循环结合任意去中心化内循环算法，引入非精确估计序列处理共识误差，实现最优通信与计算复杂度。
2025-01-30 cs.LG math.OC
GT-STORM: Taming Sample, Communication, and Memory Complexities in Decentralized Non-Convex Learning
Iowa State University（爱荷华州立大学）；The Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
近年来，分散非凸优化由于其在系统鲁棒性、数据隐私性和实现简单性方面的优势而在机器学习中受到越来越多的关注。然而，设计分散优化算法的三个基本挑战是如何降低其样本，通信和存储器的复杂性。本文提出了一种基于\underline{g}梯度- \underline{t}机架的\underline{sto}随机\underline{r}递归\underline{m}动量（GT-STORM）算法，用于有效地求解非凸优化问题.我们表明，达到$ε^2$ -平稳的解决方案，我们的算法的样本评估的总数量是$\tilde{O}(m^{1/2}ε^{-3})$和通信轮数是$\tilde{O}(m^{-1/2}ε^{-3})$，这改善了$O(ε^{-4})$成本的样本评估和通信现有的分散随机梯度算法。我们对各种学习模型进行了广泛的实验，包括非凸逻辑回归和卷积神经网络，以验证我们的理论发现。总的来说，我们的研究结果有助于分散网络优化理论和算法的发展。
2021-05-19 cs.DC cs.LG
A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data
Shanghai University of Electric Power（上海电力大学）
新兴的分布式应用最近推动了去中心化机器学习的发展，特别是在物联网和边缘计算领域。在现实世界中，非凸性和数据异构性的常见问题导致效率低下，性能下降和开发停滞。大部分研究集中在上述问题之一，而没有一个更普遍的框架，已被证明是最佳的。为此，我们提出了一个统一的范式称为UMP，其中包括两个算法，D-SUM和GT-DSUM，基于分散的随机梯度下降（SGD）的动量技术。前者为一般非凸目标提供了收敛保证。同时，通过引入梯度跟踪来扩展后者，该梯度跟踪估计全局优化方向以减轻数据异构性（即，分布漂移）。我们可以覆盖大多数基于动量的变量，基于经典的重球或Nesterov的加速度与UMP中的不同参数。在理论上，我们严格提供了这两种方法的收敛性分析非凸目标，并进行了广泛的实验，证明了显着提高模型的准确性高达57.6%相比，其他方法在实践中。
2023-03-01 cs.DC cs.LG
Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks
Fudan University（复旦大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Chinese University of Hong Kong（香港中文大学）
在分散式学习中，节点网络合作以最小化总体目标函数，该目标函数通常是其局部目标的有限和，并结合非光滑正则化项以获得更好的泛化能力。分散随机邻近梯度（DSPG）方法通常用于训练这类学习模型，但随机梯度的方差会减慢收敛速度。在本文中，我们提出了一种新的算法，即DPSVRG，利用方差减少技术来加速分散训练。其基本思想是在每个节点上引入一个估计器，周期性地跟踪局部全梯度，以在每次迭代中校正随机梯度。通过将分散算法转化为一个集中的方差缩减的不精确邻近梯度算法，并控制误差序列的界，我们证明了对于一般凸目标，DPSVRG以$O(1/T)$加非光滑项的速度收敛，$T$为迭代次数，而DSPG以$O(\frac{1}{\sqrt{T}})$的速度收敛.在不同的应用、网络拓扑结构和学习模型上的实验表明，DPSVRG的收敛速度比DSPG快得多，且DPSVRG的损失函数随着训练时间的增加而平滑下降。
2022-01-23 cs.LG cs.NI math.OC
Byzantine-Robust Decentralized Stochastic Optimization over Static and Time-Varying Networks
Sun Yat-Sen University（中山大学）
在本文中，我们考虑拜占庭鲁棒随机最优化问题定义在分散的静态和时变网络，其中的代理合作最小化的期望和随机本地费用函数，但一些代理是不可靠的，由于数据损坏，设备故障或网络攻击。不可靠的代理，这被称为拜占庭代理，可以发送错误的值给他们的邻居和偏见的优化过程。我们处理拜占庭攻击的关键思想是制定一个全变差（TV）norm-penalized近似的拜占庭免费的问题，其中的惩罚项迫使当地的正规代理商的模型是接近的，但也允许从拜占庭代理的离群值的存在。采用随机次梯度法求解惩罚问题。我们证明了该方法可以到达无拜占庭最优解的一个邻域，且邻域的大小由拜占庭代理的数量和网络拓扑结构决定。数值实验证实了理论分析，并证明了该方法对拜占庭攻击的鲁棒性以及与现有方法相比的优越性能。
2020-12-18 cs.LG math.OC stat.ML
On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks
Rice University（莱斯大学）
研究静态有向图上具有压缩通信的分散一致性和随机最优化问题。我们提出了一个迭代的基于梯度的算法，压缩消息根据所需的压缩比。所提出的方法可证明减少了网络上的通信开销，在每一个通信轮。与现有文献相反，我们允许任意的压缩比在通信的消息。我们显示了一个线性收敛速率所提出的方法的共识问题。此外，我们提供了明确的收敛速度分散随机最优化问题的光滑函数是（i）强凸，（ii）凸，或（iii）非凸。最后，我们提供了数值实验来说明在任意压缩比下的收敛性和我们的算法的通信效率。
2022-04-18 cs.LG cs.MA cs.SY
A fast randomized incremental gradient method for decentralized non-convex optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
我们研究分散的非凸有限和最小化问题描述的网络节点，其中每个节点拥有一个本地批次的数据样本。在这种情况下，我们分析了一种单时间尺度随机增量梯度法，称为GT-SAGA。GT-SAGA在计算上是高效的，因为它在每次迭代中评估每个节点的一个分量梯度，并通过利用节点级方差减少和网络级梯度跟踪来实现可证明的快速和鲁棒性能。对于一般的光滑非凸问题，我们证明了GT-SAGA的几乎必然和均方收敛到一阶稳定点，并进一步描述了具有实际意义的制度，它优于现有的方法，并分别实现了网络拓扑无关的迭代复杂性。当全局函数满足Polyak-Lojaciewisz条件时，我们证明了GT-SAGA具有线性收敛到期望的最优解，并描述了实际感兴趣的制度，其中性能是网络拓扑无关的，并改进了现有的方法。数值实验包括突出的主要方面的GT-SAGA在非凸设置的收敛性。
2021-09-30 cs.LG cs.SY eess.SY
Improving the Sample and Communication Complexity for Decentralized Non-Convex Optimization: A Joint Gradient Estimation and Tracking Approach
University of Minnesota Twin Cities（明尼苏达大学双城分校）；IBM Research AI（IBM研究院AI）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
许多现代大规模机器学习问题都受益于分散和随机优化。最近的研究表明，在涉及高度非凸问题的应用中，利用分散计算和局部随机梯度估计可以优于最先进的集中式算法，例如训练深度神经网络。在这项工作中，我们提出了一个分散的随机算法来处理某些光滑的非凸问题，其中系统中有$m$节点，每个节点有大量的样本（表示为$n$）。与大多数现有的分散学习算法的随机或有限和问题不同，我们的重点是减少节点之间的总通信轮次，同时访问最少数量的本地数据样本。特别是，我们提出了一种名为D-GET（分散式梯度估计和跟踪）的算法，该算法联合执行分散式梯度估计（使用局部样本的子集估计局部梯度）和梯度跟踪（使用局部估计跟踪全局全梯度）。我们表明，实现一定的$ε$固定解决方案的确定性有限和问题，该算法实现了$\mathcal{O}(mn^{1/2}ε^{-1})$样本复杂度和$\mathcal{O}(ε^{-1})$通信复杂度。这些界限分别显著改进了$\mathcal{O}(mnε^{-1})$和$\mathcal{O}(ε^{-1})$的最佳现有界限。类似地，对于在线问题，所提出的方法实现了$\mathcal{O}(m ε^{-3/2})$样本复杂度和$\mathcal{O}(ε^{-1})$通信复杂度，而现有的最佳界限分别是$\mathcal{O}(mε^{-2})$和$\mathcal{O}(ε^{-2})$。
2019-10-13 cs.DC cs.LG eess.SP
A One-Sample Decentralized Proximal Algorithm for Non-Convex Stochastic Composite Optimization
UC Davis（加州大学戴维斯分校）；University of Waterloo（滑铁卢大学）
针对分布式非凸随机复合优化，提出两种单时间尺度近端算法 Prox-DASA 和 Prox-DASA-GT，在常数批量下达到 $\mathcal{O}(n^{-1}\varepsilon^{-2})$ 迭代复杂度，无需大批量或强假设，实验验证优越性。
2023-06-22 cs.DC cs.LG math.OC
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文考虑$n$节点网络上的分散随机最优化问题，其中每个节点具有光滑的非凸局部费用函数，网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置，每个节点访问其本地成本仅通过随机一阶预言机，返回一个嘈杂的版本的确切梯度。在这种情况下，我们提出了一种新的单循环分散混合方差减少随机梯度法，称为GT-HSGD，优于现有的方法，在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器，这些估计器在网络上融合以跟踪全局梯度。值得注意的是，GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时，所需的容错$ε$是足够小的，导致相对于集中式最佳在线方差减少的方法，在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
Compressed and Sparse Models for Non-Convex Decentralized Learning
Cornell University（康奈尔大学）
本文提出 Malcom-PSGD 算法，通过 $\ell_1$ 正则化模型稀疏化并结合梯度压缩与量化通信，在非凸去中心化学习中实现 $\mathcal{O}(1/\sqrt{t})$ 收敛，并将通信成本降低约 75%。
2024-06-05 cs.DC cs.DS cs.LG
Revisiting Decentralized Online Convex Optimization with Compressed Communication
School of Software Technology, Zhejiang University（浙江大学软件学院）；State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全全国重点实验室）
针对带压缩通信的分布式在线凸优化，首次提出两种基于跟随正则化领导者的算法，在完整信息和赌博机设置下分别匹配或显著改进现有遗憾界与通信成本。
2026-07-03 cs.LG
Multi-consensus Decentralized Accelerated Gradient Descent
Xi’an Jiaotong University（西安交通大学）；Fudan University（复旦大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对去中心化凸优化问题，提出融合Nesterov加速、多共识与梯度跟踪的新型算法，实现最优计算复杂度和近似最优通信复杂度，收敛仅依赖全局强凸性，在机器学习任务中表现更优。
2023-10-10 cs.LG math.OC stat.ML
Improved Approximate Regret for Decentralized Online Continuous Submodular Maximization via Reductions
School of Software Technology, Zhejiang University, Ningbo, China（浙江大学宁波校区软件学院）；State Key Laboratory of Blockchain and Data Security, Zhejiang University, Hangzhou, China（浙江大学区块链与数据安全国家重点实验室）；School of Artificial Intelligence, Nanjing University, Nanjing, China（南京大学人工智能学院）；Department of Computer Science, City University of Hong Kong, Hong Kong, China（香港城市大学计算机科学系）
本文通过将去中心化在线连续亚模函数最大化问题转化为去中心化在线凸优化问题，改进了去中心化在线连续亚模函数最大化问题的近似懊悔界。
2026-02-10 cs.LG
A Stochastic Approximation Approach for Efficient Decentralized Optimization on Random Networks
The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
针对不可靠带宽受限网络下随机时变拓扑的去中心化优化问题，提出FSPDA框架及FSPDA-SA和FSPDA-STORM两种算法，通过随机增广拉格朗日方法支持高效稀疏化通信，实现快速收敛与低样本复杂度。
2025-05-28 cs.DC cs.LG math.OC
Decentralized Stochastic Gradient Tracking for Non-convex Empirical Risk Minimization
Tsinghua University（清华大学）
研究了一种分散随机梯度跟踪（DSGT）算法，该算法求解节点网络上的非凸经验风险最小化问题，与现有的仅求解凸问题的DSGT算法形成了鲜明的对比.为了确保精确收敛并处理分散数据集之间的方差，每个节点通过使用小批量样本执行随机梯度（SG）跟踪步骤，其中批量大小被设计为与本地数据集的大小成比例。我们明确评估DSGT的收敛速度相对于代数连接的网络，小批量大小，梯度方差等方面的迭代次数在一定条件下，我们进一步表明，DSGT具有网络独立性的意义上，网络拓扑结构只影响收敛速度的一个常数因子。因此，DSGT的收敛速度可以与集中式SGD方法相媲美。此外，对于某些场景，DSGT相对于节点数量的线性加速是可实现的。在CIFAR-10上对神经网络和逻辑回归问题的数值实验表明了DSGT的优越性。
2020-08-28 cs.DC cs.LG cs.MA
Fast and Efficient Asynchronous Gossip Algorithm for Robust and Non-Smooth Convex Decentralized Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院）
本文提出 AsylADMM 算法，通过仅需每个节点两个变量实现高效的非光滑去中心化优化，理论分析与实验表明其在鲁棒性和非光滑问题上表现优异。
2026-10-07 cs.AI cs.LG stat.ML
Decentralized Optimization in Time-Varying Networks with Arbitrary Delays
University of California, Irvine（加州大学欧文分校）
针对受任意通信延迟影响的时变有向网络，提出无需知道出度的 gossip 类去中心化算法 DT-GO，并证明其在凸与非凸目标上均达到集中式 SGD 的复杂度阶。
2024-10-01 cs.DC cs.LG cs.SY
Gradient tracking and variance reduction for decentralized optimization and machine learning
解决有限和最小化问题的分散式方法在许多信号处理和机器学习任务中是重要的，其中数据分布在节点网络上，并且由于隐私和/或资源约束而不允许原始数据共享。在这篇文章中，我们回顾了分散随机一阶方法，并提供了一个统一的算法框架，结合方差减少与梯度跟踪，以实现鲁棒性能和快速收敛。当目标函数是光滑的和强凸的时，我们给出了相应方法的明确的理论保证，并通过数值实验证明了它们对非凸问题的适用性。在整篇文章中，我们通过对感兴趣的方法进行适当的权衡和比较，并通过突出机器学习模型的分散训练应用，直观地说明了主要的技术思想。
2020-02-13 cs.DC cs.LG cs.MA
