On Nonconvex Decentralized Gradient Descent
近年来，共识优化受到了相当大的关注。已经提出了一些分散算法的{凸}一致性优化。然而，对于行为或共识\emph{nonconvex}优化，我们的理解比较有限。当我们失去凸性时，我们不能希望我们的算法总是返回全局解，尽管它们有时仍然有时这样做。有些令人惊讶的是，分散式共识算法DGD和Prox-DGD保留了凸设置中已知的大多数其他属性。特别地，当使用递减（或恒定）的步长时，我们可以证明在一些规则的假设下收敛到一个（或一个邻域）一致平稳解。值得注意的是，Prox-DGD可以处理非凸非光滑函数，如果它们的邻近算子可以计算。这些函数包括SCAD和$\ell_q$准范数，$q\in[0,1)$。类似地，Prox-DGD可以通过简单的投影将约束带到非凸集。为了建立这些性质，我们必须引入一个完全不同的分析路线，以及修改现有的证明，使用凸设置。
2018-01-26 cs.DC cs.MA math.OC
A tight bound on the stepsize of the decentralized gradient descent
本文研究了由\begin{equation*} x_i (t+1) = \sum_{j=1}^m w_{ij} x_j (t) - α(t) \nabla f_i (x_i (t)). \end{equation*}给出的分散梯度网下降（DGD）问题。当总代价$f$是强凸的且局部代价可能是非凸的时，我们发现了一个步长$α(t)>0$的尖锐范围，使得序列$\{x_i (t)\}$是一致有界的。精确地说，我们找到了一个紧界$α_0 >0$，使得对于满足$α(0) \leq α_0$的非增序列$α(t)$，DGD算法的状态是一致有界的。数值实验也验证了理论结果。
2023-03-10 cs.SY eess.SY math.OC
Budget-Constrained Multi-Consensus Decentralized Gradient Descent
Linköping University（林雪平大学）；Arizona State University（亚利桑那州立大学）
本文提出多共识分布式梯度下降（mcDGD）方案，在预算约束下通过优化共识轮数与步长分配，实现通信与计算资源的高效利用，并证明均等分配共识轮数在步长规则下最优。
2026-10-07 cs.SY eess.SY math.OC
On the convergence of decentralized gradient descent with diminishing stepsize, revisited
分布式优化由于其在各个领域的广泛应用，近年来受到了广泛的关注。在这项工作中，我们重新审视分散梯度下降的收敛性质[A. Nedi{ć}-A.Ozdaglar（2009）]在由$$ x_i(t+1) = \sum^m_{j=1}w_{ij}x_j(t) - α(t) \nabla f_i(x_i(t)), $$给出的整个空间上，其中步长被给出为具有$0< p\leq 1$的$α(t) = \frac{a}{(t+w)^p}$。在局部费用函数$f_i$不一定是凸的总代价函数$f$上的强凸性假设下，证明了当适当选择$a>0$和$w>0$的值时，序列收敛到具有速率$O(t^{-p})$的优化器.
2022-03-30 cs.SY eess.SY math.OC
Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI lab（腾讯人工智能实验室）
现在大多数分布式机器学习系统，包括TensorFlow和CNTK，都是以集中式的方式构建的。集中式算法的一个瓶颈在于中心节点的高通信开销。受此启发，我们问，分散式算法是否比集中式算法更快？虽然分散式PSGD（D-PSGD）算法已经被控制界研究，现有的分析和理论没有显示出任何优势集中式PSGD（C-PSGD）算法，简单地假设的应用场景，只有分散式网络是可用的。在本文中，我们研究了D-PSGD算法，并提供了第一个理论分析，表明分散式算法可能优于集中式算法的分布式随机梯度下降的制度。这是因为D-PSGD具有与C-PSGD相当的总计算复杂性，但在最繁忙的节点上需要少得多的通信成本。我们进一步进行了实证研究，以验证我们的理论分析在多个框架（CNTK和火炬），不同的网络配置，和计算平台高达112 GPU。在具有低带宽或高延迟的网络配置上，D-PSGD可以比其良好优化的集中式对应物快一个数量级。
2017-09-11 cs.DC cs.LG math.OC
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文利用算法稳定性方法研究去中心化随机梯度下降上升算法在凸-凹与非凸-非凹设定下的原始-对偶泛化界，证明去中心化结构不损害其稳定性与泛化性，并分析了拓扑结构对泛化界的影响。
2023-10-31 cs.LG math.OC
An Exact Quantized Decentralized Gradient Descent Algorithm
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑分散式共识优化问题，其中$n$光滑和强凸函数的总和在形成连接网络的$n$分布式代理上最小化。特别是，我们考虑的情况下，节点之间的通信的局部决策变量进行量化，以减轻分布式优化中的通信瓶颈。我们提出了量化分散梯度下降（QDGD）算法，在该算法中，节点更新其本地决策变量相结合的量化信息从他们的邻居与他们的本地信息。我们证明，在标准的强凸性和光滑性的假设下的目标函数，QDGD实现了消失的平均解的误差在习惯条件下的量化。据我们所知，这是第一个在量化噪声存在的情况下实现一致性误差消失的算法。此外，我们提供的模拟结果表明，我们推导的理论收敛速度和数值结果之间的紧密协议。
2019-08-02 cs.DC cs.LG math.OC
Decentralized Riemannian Gradient Descent on the Stiefel Manifold
Texas A&M University（德克萨斯农工大学）；University of Minnesota（明尼苏达大学）
我们考虑一个分布式的非凸优化网络的代理人的目的是最小化一个全局函数的Stiefel流形。全局函数被表示为光滑局部函数的有限和，其中每个局部函数与一个代理相关联，并且代理通过无向连通图彼此通信。这个问题是非凸的，因为局部函数可能是非凸的（但光滑的），Steifel流形是一个非凸集。本文提出了一种分散的黎曼随机梯度法（DRSGD），其收敛速度为$\mathcal{O}(1/\sqrt{K})$。为了在恒定步长下具有精确收敛性，我们还提出了一种分散的黎曼梯度跟踪算法（DRGTA），其收敛速度为$\mathcal{O}(1/K)$到一个稳定点。我们使用多步共识来保持局部（共识）区域中的迭代。DRGTA是Stiefel流形上第一个具有精确收敛性的分布式优化算法。
2021-02-14 cs.LG cs.SY eess.SY
Decentralized Natural Policy Gradient with Variance Reduction for Collaborative Multi-Agent Reinforcement Learning
本文研究了一个策略最优化问题，该问题是在分散环境下由协作式多智能体强化学习引起的，其中智能体通过无向图与其邻居进行通信，以最大化其累积奖励之和。提出了一种新的分散式自然策略梯度法--基于动量的分散式自然策略梯度法（MDNPG），该方法将自然梯度、基于动量的方差缩减和梯度跟踪结合到分散式随机梯度上升框架中. MDNPG收敛到一个$ε$ -平稳点的$\mathcal{O}(n^{-1}ε^{-3})$样本复杂性已在标准假设下建立，其中$n$是代理的数量。结果表明，MDNPG算法能够获得分散策略梯度法的最优收敛速度，与集中式最优化方法相比具有线性加速比.此外，MDNPG优于其他国家的最先进的算法的经验性能已被证明了广泛的数值实验。
2022-09-06 math.OC
Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
Temple University（天普大学）
针对分布式多节点数据下的有限和极小极大优化问题，提出一种采用方差缩减梯度的去中心化随机梯度下降上升方法，在非凸-强凹情形下获得更优样本与通信复杂度，并通过AUC最大化实验验证有效性。
2024-06-11 cs.LG math.OC stat.ML
ByRDiE: Byzantine-resilient distributed coordinate descent for decentralized learning
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
分布式机器学习算法使得能够从分布在网络上的数据集学习模型，而无需在集中位置收集数据。虽然在无故障网络的假设下已经开发出了高效的分布式算法，但在现实世界中经常会发生使这些算法无法正常工作的故障。本文重点研究分布式算法中最难防范的拜占庭故障问题。虽然拜占庭容错有着丰富的历史，但现有的工作并没有转化为在完全分布式（也称为分散式）设置中进行高维学习的有效和实用的算法。在本文中，一个算法称为拜占庭弹性分布式坐标下降（ByRDiE）的开发和分析，使分布式学习中存在拜占庭故障。理论分析（凸设置）和数值实验（凸和非凸设置）突出了其有用的高维分布式学习拜占庭故障的存在。
2019-07-05 cs.DC cs.LG math.OC
DSPG: Decentralized Simultaneous Perturbations Gradient Descent Scheme
Paderborn University（帕德博恩大学）
分布式下降方法是解决多智能体系统中最优化问题的重要工具。在这里，代理寻求通过相互合作来优化全局目标函数。通常，通过易于延迟和错误的无线通信网络来实现协作。在许多情况下，目标函数是不可微的或仅仅是可观察的。在本文中，我们提出了一个基于交叉熵的分布式随机逼近算法（SA），发现一个最小的目标，只使用样本。我们称这种算法为具有常数灵敏度参数的分散同时扰动随机梯度（DSPG）。该算法比经典的同时扰动随机逼近（SPSA）算法有两个方面的改进。具体而言，DSPG允许（i）使用来自其他代理的旧信息，以及（ii）通过使用简单的超参数选择轻松实现。我们分析了由于这两个津贴而产生的偏差和方差。我们表明，由于通信延迟的偏见可以通过仔细选择算法的超参数。研究了梯度估计量的方差及其对收敛速率的影响。我们提出的数值结果支持我们的理论。最后，我们讨论了随机共识问题的应用。
2019-08-27 cs.LG math.OC stat.ML
CoDGraD: A Code-based Distributed Gradient Descent Scheme for Decentralized Convex Optimization
在本文中，我们考虑了一个大型网络包含许多区域，每个区域都配备了一个工人与一些数据处理和通信能力。对于这样的网络，一些工人可能会成为掉队者，由于故障或严重的延迟计算或通信。为了解决上述离散问题，最近提出了一种编码方案，为每个工人引入一定的冗余，并开发了梯度编码范式来解决凸优化问题时，网络具有一个集中式融合中心。在本文中，我们提出了一个迭代分布式算法，称为基于代码的分布式梯度下降算法（CoDGraD），解决分布式网络上的凸优化问题。在所提出的算法的每次迭代中，一个积极的工人共享编码的局部梯度和近似解的凸优化问题与非离散工人在相邻区域。在本文中，我们还提供了一致性和收敛性分析的CoDGraD算法，我们通过数值模拟来证明其性能。
2022-04-13 cs.SY eess.SY math.OC
Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks
Fudan University（复旦大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Chinese University of Hong Kong（香港中文大学）
在分散式学习中，节点网络合作以最小化总体目标函数，该目标函数通常是其局部目标的有限和，并结合非光滑正则化项以获得更好的泛化能力。分散随机邻近梯度（DSPG）方法通常用于训练这类学习模型，但随机梯度的方差会减慢收敛速度。在本文中，我们提出了一种新的算法，即DPSVRG，利用方差减少技术来加速分散训练。其基本思想是在每个节点上引入一个估计器，周期性地跟踪局部全梯度，以在每次迭代中校正随机梯度。通过将分散算法转化为一个集中的方差缩减的不精确邻近梯度算法，并控制误差序列的界，我们证明了对于一般凸目标，DPSVRG以$O(1/T)$加非光滑项的速度收敛，$T$为迭代次数，而DSPG以$O(\frac{1}{\sqrt{T}})$的速度收敛.在不同的应用、网络拓扑结构和学习模型上的实验表明，DPSVRG的收敛速度比DSPG快得多，且DPSVRG的损失函数随着训练时间的增加而平滑下降。
2022-01-23 cs.LG cs.NI math.OC
Multi-consensus Decentralized Accelerated Gradient Descent
Xi’an Jiaotong University（西安交通大学）；Fudan University（复旦大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对去中心化凸优化问题，提出融合Nesterov加速、多共识与梯度跟踪的新型算法，实现最优计算复杂度和近似最优通信复杂度，收敛仅依赖全局强凸性，在机器学习任务中表现更优。
2023-10-10 cs.LG math.OC stat.ML
Decentralized Conjugate Gradient and Memoryless BFGS Methods
本文针对非凸与强凸去中心化优化问题，分别提出带梯度跟踪的新型去中心化共轭梯度法和缩放无记忆BFGS法，证明了相应收敛性，实验显示其在迭代和通信成本上优于现有方法。
2025-01-17 math.OC
Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking--Part I: GT-SAGA
在本文中，我们研究分散的经验风险最小化问题，其中的目标是最小化有限和光滑和强凸函数可在一个网络的节点。在第一部分中，我们提出了\textbf{\texttt{GT-SAGA}}，这是一种基于梯度跟踪\cite{DSGT_Pu,DSGT_Xin}和称为SAGA \cite{SAGA}的方差缩减技术的分散随机一阶算法。给出了算法的收敛性分析和迭代复杂度。我们进一步展示了各种权衡和讨论的情况下，\textbf{\texttt{GT-SAGA}}实现优越的性能（在所需的本地梯度计算的数量）相对于现有的分散计划。在这篇由两部分组成的论文的第二部分\cite{GT_SVRG}中，我们开发并分析了\textbf{\texttt{GT-SVRG}}，这是另一种著名的方差缩减技术SVRG \cite{SVRG}的一种基于分散梯度跟踪的实现。
2019-12-10 math.OC
Decentralized conditional gradient method over time-varying graphs
该研究将分布式条件梯度法拓展至时变网络场景，建模时变网络为图随机序列的确定性形式，分析了算法收敛性并给出数值实验验证。
2023-07-20 math.OC
Setwise Coordinate Descent for Dual Asynchronous Decentralized Optimization
针对去中心化优化中随机选择邻居忽略优化状态的问题，提出基于对偶代价最大改进的成组坐标下降算法，并开发新分析框架证明其能将迭代收敛速度提升至最大坐标集大小的倍数。
2025-04-26 math.OC
On the Convergence of Decentralized Gradient Descent
考虑最小化$f(x)=\sum_{i=1}^n f_i(x)$的一致性问题，其中每个$f_i$仅为$n$代理的连接网络中的一个个体代理$i$所知。所有的代理商应协同解决这个问题，并获得解决方案的数据交换限制在相邻的代理商之间。这种算法避免了融合中心的需要，提供了更好的网络负载平衡，并提高了数据隐私。我们研究了分散梯度下降方法，其中每个代理$i$更新其变量$x_{(i)}$，这是一个局部近似的未知变量$x$，通过结合其邻居的平均值与负梯度步骤$-α\nabla f_i(x_{(i)})$。迭代是$$x_{(i)}(k+1) \gets \sum_{\text{neighbor} j \text{of} i} w_{ij} x_{(j)}(k) - α\nabla f_i(x_{(i)}(k)),\quad\text{for each agent} i,$$，其中平均系数形成对称双随机矩阵$W=[w_{ij}] \in \mathbb{R}^{n \times n}$。在假定$f_i$是真闭凸有界的，$\nabla f_i$是Lipschitz连续的且$L_{f_i}$为常数，$α$是固定步长的条件下，分析了该迭代的收敛性，并推导了其收敛速度.假设$α< O(1/L_h)$，其中$L_h=\max_i\{L_{f_i}\}$，平均解处的目标误差$f(\frac{1}{n}\sum_i …
2015-07-01 math.OC
Decentralized Multi-Agent Optimization Based on a Penalty Method
针对一般的凸约束多智能体最优化问题，提出了一种分散惩罚算法。每个辅助惩罚问题用一种特殊的并行下降分裂方法近似求解。该方法可以在计算网络中实现，其中每个代理仅向最近的邻居发送信息。在相当弱的假设条件下，该方法的收敛性。我们还描述了一个专业化的可行性问题的建议的方法。
2020-08-10 math.OC
Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization
Center for Machine Learning Research Peking University（机器学习研究中心北京大学）
提出MG-ADSGD算法，结合Nesterov型原始-对偶外推与多轮快速八卦平均，通过耦合八卦深度与小批量大小，同时实现加速收敛和通信高效，达到最优通信复杂度。
2026-06-05 cs.LG math.OC
A Multi-Token Coordinate Descent Method for Semi-Decentralized Vertical Federated Learning
Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Institute for Systems and Robotics, Instituto Superior Técnico（系统与机器人研究所，理工学院）；Department of Computer Science, NOVA School of Science and Technology（科学与技术学院计算机科学系）
本文提出一种多令牌坐标下降法，用于半去中心化垂直联邦学习，通过灵活利用客户端-服务器和客户端-客户端链接，提升收敛效率并适应不同应用场景。
2026-02-05 cs.DC cs.DS cs.LG
Decentralized Consensus Algorithm with Delayed and Stochastic Gradients
我们分析了具有延迟梯度信息的分散一致性算法的收敛性。网络中的节点私有地持有部分目标函数，并且协作地求解总目标的共识最优解，而它们只能与它们的直接邻居通信。在现实世界的网络中，通常很难甚至不可能同步节点，因此它们在计算过程中必须使用陈旧的梯度信息。我们证明了，只要随机时滞在期望上有界，并采用适当的减小步长策略，分散梯度下降法产生的迭代收敛到一个一致的最优解.推导了目标和共识的收敛速度。一些合成的问题和真实世界的地震层析成像数据集在分散的传感器网络的数值结果显示该方法的性能。
2018-01-16 math.OC
Universal gradient descent
在这本书中，我们收集了许多关于梯度下降法的不同和有用的事实。首先，我们考虑不精确预言的梯度下降。我们建立了优化函数的一般模型，包括复合优化方法，水平的方法，邻近方法等，然后我们研究的原始对偶性质的梯度下降一般模型设置。最后将方法推广到一般方法。
2020-07-16 math.OC
Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization
本文研究多主体最优化问题。在非欧Bregman发散的镜像下降算法中引入一个随机无梯度预言，发展了一种分布式随机无梯度镜像下降算法（DRGIMD）.在不利用目标函数的次梯度信息的情况下，推广了经典的梯度下降法。该算法是第一个分布式非欧零阶方法，它实现了$O(1/\sqrt{T})$收敛速度，恢复了分布式紧约束凸优化的最优速度。此外，DRFMD算法实现了强凸约束优化情况下的$O(\ln T/T)$收敛速度。该速率匹配最佳已知的非紧凑约束结果。研究了一种分散倒数加权平均逼近序列，并首次将其应用于分布式算法中。同时给出了加权平均算法（DRGFMD-WA）的一类收敛速度。分散加权平均序列的构造技术为分布式算法中极小值的搜索提供了新的思路。
2019-03-11 math.OC
Decentralized Constrained Optimization: Double Averaging and Gradient Projection
本文研究了强连通有向图上带凸约束的凸有限和极小化问题。该约束是一个交集的几个凸集，每个已知的只有一个节点。为了解决这个问题，我们提出了一种新的分散投影梯度格式的基础上局部平均和证明其收敛性仅使用局部函数的光滑性。
2021-06-21 cs.DC math.OC
Applying Adaptive Gradient Descent to solve matrix factorization
在FGD方法的基础上，采用了自适应梯度下降法，在不同时刻采用不同的步长。自适应梯度下降算法在保证收敛速度的前提下，性能明显优于FGD算法。
2020-10-20 math.OC
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
A gradient descent perspective on Sinkhorn
我们提出了一个新的观点流行的Sinkhorn算法，表明它可以被看作是一个布雷格曼梯度下降（镜像下降）的相对熵（Kullback-Leibler发散）。这种观点意味着一个新的具有鲁棒常数的次线性收敛速度。
2020-06-09 math.OC
A Stochastic Gradient Descent Theorem and the Back-Propagation Algorithm
我们建立了一类随机梯度下降的收敛定理，从而得到了反向传播算法的收敛变形
2021-04-01 math.OC
Mini-batch stochastic gradient descent with dynamic sample sizes
我们专注于解决约束凸优化问题的小批量随机梯度下降。动态样本量规则，确保下降方向具有高概率。从两个应用程序的实证结果显示出优越的收敛性相比，固定的样本实现。
2017-08-02 math.OC
Improved Convergence for Decentralized Stochastic Optimization with Biased Gradients
School of Electrical Engineering, Sichuan University（四川大学电气工程学院）
本文提出Biased-DMT算法，解决去中心化随机优化中偏梯度带来的收敛问题，理论分析显示其在非凸情况下具有线性加速特性，并在稀疏通信网络中保持鲁棒性。
2026-04-09 math.OC
Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking -- Part II: GT-SVRG
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
分散随机最优化最近受益于梯度跟踪方法\cite{DSGT_Pu,DSGT_Xin}，为大规模经验风险最小化问题提供了有效的解决方案。在第一部分\cite{GT_SAGA}这项工作中，我们开发的\textbf{\texttt{GT-SAGA}}是基于一个分散的实施SAGA \cite{SAGA}使用梯度跟踪和讨论制度的实际利益，其中\textbf{\texttt{GT-SAGA}}优于现有的分散的方法在本地梯度计算的总数。在本文中，我们描述了\textbf{\texttt{GT-SVRG}}，它开发了一个分散的梯度跟踪为基础的SVRG \cite{SVRG}，另一个著名的方差减少技术的实现。我们表明，\textbf{\texttt{GT-SVRG}}的收敛速度与\textbf{\texttt{GT-SAGA}}的光滑和强凸函数相匹配，并突出了两种算法在各种设置之间的不同权衡。
2019-12-10 cs.LG math.OC
Gradient descent with a general cost
该研究提出一类基于通用代价函数的梯度型优化新方法，通过构建目标函数的代理模型并交替最小化，结合最优传输理论建立收敛速率，首次给出自然梯度下降和标准牛顿法的全局收敛速率。
2023-06-12 math.OC
Decentralized projected Riemannian gradient method for smooth optimization on compact submanifolds
针对紧子流形上的去中心化非凸光滑优化，提出 DPRGD 与 DPRGT，分别获得 $\mathcal{O}(1/\sqrt{K})$ 和 $\mathcal{O}(1/K)$ 收敛率，其中 DPRGT 首次实现精确收敛。
2023-09-30 math.OC
Projected Gradient Method for Decentralized Optimization over Time-Varying Networks
时变图（网络）上的分散分布优化问题是当前最优化理论和一致性理论的一个非常热门的研究分支。考虑这种网络的动机之一是无人机网络的应用。然而，这一分支的第一个理论结果仅出现在五年前（Nedic，2014）。关于强凸光滑最优化问题在这种网络上的几何收敛率的可能性的第一个结果仅在两年前获得（Nedic，2017）。在本文中，我们提高了几何收敛速度，在后一份文件中考虑的一类问题，使用原来的惩罚方法技巧和鲁棒性的投影梯度下降。
2020-06-22 math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先，我们提出了一个分散的近端随机梯度跟踪方法（DProxSGT）的非凸随机复合问题，数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本，我们扩展DProxSGT的压缩方法，通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新，这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数（但不是对每个样本函数）的平滑条件，所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明，我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能，并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC
DSA: Decentralized Double Stochastic Averaging Gradient Algorithm
本文考虑网络节点可访问全局目标的和式的凸优化问题。进一步假设这些局部目标中的每一个是函数的有限集的平均。这种设置的动机是解决大规模机器学习问题，其中训练集的元素被分配到多个计算元素。分散的双随机平均梯度（DSA）算法被提出作为一种解决方案的替代方案，依赖于：（i）使用局部随机平均梯度。(ii)将下降步长确定为连续随机平均梯度的差。证明了局部函数的强凸性和局部梯度的Lipschitz连续性保证了DSA生成的序列按期望值的线性收敛。局部迭代进一步示出接近几乎所有实现的最优参数。DSA的预期线性收敛性与现有分散随机最优化方法的次线性速率特性形成对比。对逻辑斯谛回归问题的数值实验表明，相对于这些其他替代方案，收敛时间和处理的特征向量的数量减少，直到收敛。
2015-06-13 math.OC
A Linearly Convergent Proximal Gradient Algorithm for Decentralized Optimization
分散式优化是一个强大的范例，在工程和学习设计中找到应用。本文研究了具有非光滑正则项的分散复合最优化问题。已知大多数现有的基于梯度的邻近分散方法以次线性速率收敛到最优解，并且仍然不清楚这类方法是否可以实现全局线性收敛。为了解决这个问题，这项工作假设非光滑正则化项在所有网络代理中是共同的，这是许多机器学习问题的情况。在此条件下，我们设计了一个近似梯度分散算法，其不动点与期望的最小值重合。然后，我们提供了一个简洁的证明，建立其线性收敛。在没有非光滑项的情况下，我们的分析技术涵盖了众所周知的EXTRA算法，并提供了有用的界的收敛速度和步长。
2019-10-25 cs.DC math.OC
A Compressed Gradient Tracking Method for Decentralized Optimization with Linear Convergence
通信压缩技术是解决有限通信条件下的分散最优化问题的一种重要方法，其全局目标是在多智能体网络中仅使用局部计算和对等通信来最小化局部费用函数的平均值.本文提出了一种将梯度跟踪技术与通信压缩相结合的新型压缩梯度跟踪算法（C-GT）。特别是，C-GT是兼容的一般类的压缩运营商，统一无偏和有偏的压缩机。我们表明，C-GT继承了基于梯度跟踪算法的优点，并实现了强凸和光滑目标函数的线性收敛速率。数值例子补充了理论研究结果，并证明了所提出的算法的效率和灵活性。
2022-05-25 math.OC
Adaptive Gradient Descent for Convex and Non-Convex Stochastic Optimization
本文提出了几种求解随机最优化的自适应梯度法。与AdaGrad类型的方法，我们的算法是基于Armijo型线搜索，他们同时适应未知的Lipschitz常数的梯度和方差的梯度的随机逼近。我们考虑了凸问题的加速和非加速梯度下降以及非凸问题的梯度下降。在实验中，我们证明了我们的方法的优越性，现有的自适应方法，如AdaGrad和亚当。
2020-06-12 math.OC
Compressed Gradient Tracking Methods for Decentralized Optimization with Linear Convergence
通信压缩技术是解决有限通信条件下的分散最优化问题的一种重要方法，其全局目标是在多智能体网络中仅使用局部计算和对等通信来最小化局部费用函数的平均值.在本文中，我们首先提出了一种新的压缩梯度跟踪算法（C-GT），结合梯度跟踪技术和通信压缩。特别是，C-GT是兼容的一般类的压缩运营商，统一无偏和有偏的压缩机。我们表明，C-GT继承了基于梯度跟踪算法的优点，并实现了强凸和光滑目标函数的线性收敛速率。在本文的第二部分，我们提出了一个基于误差反馈的压缩梯度跟踪算法（EF-C-GT），以进一步提高算法的效率有偏压缩算子。数值例子补充了理论研究结果，并证明了所提出的算法的效率和灵活性。
2021-06-18 cs.DC cs.MA cs.SI
New insights in smoothness and strong convexity with improved convergence of gradient descent
研究梯度型方法的收敛性和复杂性的起始假设可能是光滑性（也称为梯度的Lipschitz连续性）和强凸性。在这篇文章中，我们重新审视这两个基本属性，从一个新的角度，激发他们的定义和等价刻画，以及改进的线性收敛的梯度下降法。
2021-10-29 math.OC
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University（乔治华盛顿大学）
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性，推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression
Carnegie Mellon University（卡内基梅隆大学）
本文首次研究了在带有通信压缩的去中心化非凸优化中梯度裁剪的作用，提出PORTER框架及其两种变体，在无需梯度有界假设下证明了收敛性并分析了收敛速率、压缩比、网络连通性与隐私间的权衡。
2023-05-17 cs.LG math.OC
Smoothing Gradient Tracking for Decentralized Optimization over the Stiefel Manifold with Non-smooth Regularizers
本文提出了首个用于 Stiefel 流形上非光滑优化的分散算法，通过 Moreau 包络近似非光滑部分以应用现有光滑优化算法，并证明了其 $\mathcal{O}(ε^{-4})$ 的收敛复杂度与有效性。
2023-03-28 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
On the Convergence of Nested Decentralized Gradient Methods with Multiple Consensus and Gradient Steps
在本文中，我们考虑最小化的局部凸目标函数在分布式设置，通信和/或计算的成本可能是昂贵的总和。我们扩展和推广了对一类嵌套的基于梯度的分布式算法（NEAR-DGD; Berahas，Bollapragada，Keskar和Wei，2018）的分析，以解释每次迭代时的多个梯度步骤。我们执行多个梯度步骤上的收敛速度收敛速率和收敛的邻域的大小的影响，并证明R-线性收敛的精确解与一个固定的梯度步骤和越来越多的共识步骤。我们测试的性能的广义方法上的二次函数和显示的效果，多个共识和梯度步骤的迭代次数，梯度评估，通信数量和成本。
2021-07-07 math.OC
Reachability of gradient descent
Columbia University（哥伦比亚大学）
该研究证明了梯度下降在特定条件下能收敛到局部极小值，并探讨了子梯度方法在类似条件下的应用。
2026-02-26 math.OC
Decentralized gradient descent maximization method for composite nonconvex strongly-concave minimax problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文首次解决在两个变量上均含凸非光滑项的去中心化复合非凸强凹极小极大问题，通过引入乘子吸收对偶一致性约束的新颖重构，实现了更激进的对偶更新与更大的原始步长，获得了更低复杂度并在分布式鲁棒逻辑回归实验中验证了性能。
2023-04-05 cs.LG cs.NA math.NA
Gradient tracking and variance reduction for decentralized optimization and machine learning
解决有限和最小化问题的分散式方法在许多信号处理和机器学习任务中是重要的，其中数据分布在节点网络上，并且由于隐私和/或资源约束而不允许原始数据共享。在这篇文章中，我们回顾了分散随机一阶方法，并提供了一个统一的算法框架，结合方差减少与梯度跟踪，以实现鲁棒性能和快速收敛。当目标函数是光滑的和强凸的时，我们给出了相应方法的明确的理论保证，并通过数值实验证明了它们对非凸问题的适用性。在整篇文章中，我们通过对感兴趣的方法进行适当的权衡和比较，并通过突出机器学习模型的分散训练应用，直观地说明了主要的技术思想。
2020-02-13 cs.DC cs.LG cs.MA
PMGT-VR: A decentralized proximal-gradient algorithmic framework with variance reduction
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Hong Kong University of Science and Technology（香港科技大学）
本文考虑分散组合最优化问题。我们提出了一种新的分散方差减少近似梯度算法框架，称为PMGT-VR，它是基于多种技术的组合，包括多共识，梯度跟踪和方差减少。所提出的框架依赖于模仿集中式算法，我们证明了在这个框架下的算法实现收敛速度类似于他们的集中式同行。我们还描述和分析了两种代表性算法：PMGT-SAGA和PMGT-LSVRG，并将它们与现有的最先进的邻近算法进行比较。据我们所知，PMGT-VR是第一个线性收敛的分散随机算法，可以解决分散复合最优化问题。数值实验证明了算法的有效性。
2021-06-05 cs.AI math.OC
Resilient Decentralized Preconditioned Stochastic Proximal Optimization with Gradient Sketching over Time-Varying Networks
Hubei Normal University（湖北师范大学）；City University of Hong Kong（香港城市大学）；University of New South Wales（新南威尔士大学）；Southwest University（西南大学）；Shenzhen University of Advanced Technology（深圳先进技术研究院）
研究多智能体系统中拜占庭弹性分散随机优化问题，核心方法是通过梯度草图实现方差减少，提出算法RED-SEGA，推导其在时变网络上的理论条件，经实验验证算法有效性与弹性。
2026-10-14 math.OC
