Decentralized Relaxed Smooth Optimization with Gradient Descent Methods
针对深度学习中$L_0$-平滑性的限制，提出在$(L_0,L_1)$-平滑条件下的去中心化梯度下降（DGD）通用框架，引入新分析技术，在无先验知识下实现最佳收敛速率，并通过真实数据验证了理论与实践的桥梁。
2025-08-11 math.OC
Decentralized Markov Chain Gradient Descent
National University of Defense Technology（国防科技大学）
分散随机梯度法是解决大规模机器学习问题的一种有效方法。本文研究了分散马尔可夫链梯度下降（DMGD）算法-分散随机梯度法的一种变体，其中随机样本沿马尔可夫链的轨迹。当获得独立样本的成本很高或不可能时，这种设置是有充分动机的，这排除了传统随机梯度算法的使用。具体来说，我们考虑一阶和零阶版本的分散马尔可夫链梯度下降在一个连接的网络，其中每个节点只与它的邻居关于中间结果进行通信。所提出的算法的非遍历收敛性和遍历收敛速度已被严格建立，并已强调其关键依赖于网络拓扑结构和混合时间的马尔可夫链。数值试验进一步验证了算法的采样效率。
2021-04-13 cs.LG cs.NA math.NA
Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对异构计算与通信延迟下的去中心化非凸优化，本文提出改进 ADSGD 模型，并借助 ASBCD 证明其无需数据异构有界即可采用不依赖计算延迟的步长收敛，实验显示其挂钟时间更优。
2025-05-15 cs.LG math.OC
Several Performance Bounds on Decentralized Online Optimization are Highly Conservative and Potentially Misleading
ICTEAM institute, UCLouvain（ICTEAM研究所，UCLouvain大学）
本文用性能估计问题方法分析分散式在线优化算法，发现现有性能界高度保守且具误导性，通过调步长可节省高达20%的最坏情况遗憾。
2025-09-08 cs.AI cs.DC cs.MA
On Nonconvex Decentralized Gradient Descent
近年来，共识优化受到了相当大的关注。已经提出了一些分散算法的{凸}一致性优化。然而，对于行为或共识\emph{nonconvex}优化，我们的理解比较有限。当我们失去凸性时，我们不能希望我们的算法总是返回全局解，尽管它们有时仍然有时这样做。有些令人惊讶的是，分散式共识算法DGD和Prox-DGD保留了凸设置中已知的大多数其他属性。特别地，当使用递减（或恒定）的步长时，我们可以证明在一些规则的假设下收敛到一个（或一个邻域）一致平稳解。值得注意的是，Prox-DGD可以处理非凸非光滑函数，如果它们的邻近算子可以计算。这些函数包括SCAD和$\ell_q$准范数，$q\in[0,1)$。类似地，Prox-DGD可以通过简单的投影将约束带到非凸集。为了建立这些性质，我们必须引入一个完全不同的分析路线，以及修改现有的证明，使用凸设置。
2018-01-26 cs.DC cs.MA math.OC
A tight bound on the stepsize of the decentralized gradient descent
本文研究了由\begin{equation*} x_i (t+1) = \sum_{j=1}^m w_{ij} x_j (t) - α(t) \nabla f_i (x_i (t)). \end{equation*}给出的分散梯度网下降（DGD）问题。当总代价$f$是强凸的且局部代价可能是非凸的时，我们发现了一个步长$α(t)>0$的尖锐范围，使得序列$\{x_i (t)\}$是一致有界的。精确地说，我们找到了一个紧界$α_0 >0$，使得对于满足$α(0) \leq α_0$的非增序列$α(t)$，DGD算法的状态是一致有界的。数值实验也验证了理论结果。
2023-03-10 cs.SY eess.SY math.OC
Exact worst-case convergence rates of gradient descent: a complete analysis for all constant stepsizes over nonconvex and convex functions
KU Leuven（荷语鲁汶大学）；UCLouvain（法语鲁汶大学）
本文推导了梯度下降法在非凸和凸函数上的精确最坏收敛速率，并提出了一种改进的变体梯度下降法。
2026-01-22 math.OC
Budget-Constrained Multi-Consensus Decentralized Gradient Descent
Linköping University（林雪平大学）；Arizona State University（亚利桑那州立大学）
本文提出多共识分布式梯度下降（mcDGD）方案，在预算约束下通过优化共识轮数与步长分配，实现通信与计算资源的高效利用，并证明均等分配共识轮数在步长规则下最优。
2026-10-07 cs.SY eess.SY math.OC
A New Exact Worst-Case Linear Convergence Rate of the Proximal Gradient Method
本文利用邻近梯度范数建立了邻近梯度法的一个新的精确最坏情况线性收敛速率，它补充了文[1]中的结果，并蕴含了一个精化的下降引理.基于新引理，在Polyak-Lojasiewicz不等式下，提高了目标函数精度的线性收敛速率.
2019-03-12 math.OC
On the convergence of decentralized gradient descent with diminishing stepsize, revisited
分布式优化由于其在各个领域的广泛应用，近年来受到了广泛的关注。在这项工作中，我们重新审视分散梯度下降的收敛性质[A. Nedi{ć}-A.Ozdaglar（2009）]在由$$ x_i(t+1) = \sum^m_{j=1}w_{ij}x_j(t) - α(t) \nabla f_i(x_i(t)), $$给出的整个空间上，其中步长被给出为具有$0< p\leq 1$的$α(t) = \frac{a}{(t+w)^p}$。在局部费用函数$f_i$不一定是凸的总代价函数$f$上的强凸性假设下，证明了当适当选择$a>0$和$w>0$的值时，序列收敛到具有速率$O(t^{-p})$的优化器.
2022-03-30 cs.SY eess.SY math.OC
Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Study for Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；ETH Zurich（苏黎世联邦理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Tencent AI lab（腾讯人工智能实验室）
现在大多数分布式机器学习系统，包括TensorFlow和CNTK，都是以集中式的方式构建的。集中式算法的一个瓶颈在于中心节点的高通信开销。受此启发，我们问，分散式算法是否比集中式算法更快？虽然分散式PSGD（D-PSGD）算法已经被控制界研究，现有的分析和理论没有显示出任何优势集中式PSGD（C-PSGD）算法，简单地假设的应用场景，只有分散式网络是可用的。在本文中，我们研究了D-PSGD算法，并提供了第一个理论分析，表明分散式算法可能优于集中式算法的分布式随机梯度下降的制度。这是因为D-PSGD具有与C-PSGD相当的总计算复杂性，但在最繁忙的节点上需要少得多的通信成本。我们进一步进行了实证研究，以验证我们的理论分析在多个框架（CNTK和火炬），不同的网络配置，和计算平台高达112 GPU。在具有低带宽或高延迟的网络配置上，D-PSGD可以比其良好优化的集中式对应物快一个数量级。
2017-09-11 cs.DC cs.LG math.OC
Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文利用算法稳定性方法研究去中心化随机梯度下降上升算法在凸-凹与非凸-非凹设定下的原始-对偶泛化界，证明去中心化结构不损害其稳定性与泛化性，并分析了拓扑结构对泛化界的影响。
2023-10-31 cs.LG math.OC
On the Worst-Case Analysis of Cyclic Block Coordinate Descent type Algorithms
INMA, UCLouvain（UCLouvain）；National University of Science and Technology Politehnica Bucharest（布加勒斯特理工大学）；Gh. Mihoc-C. Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy（罗马尼亚科学院Gh. Mihoc-C. Iacob应用数学与统计研究所）
本文针对坐标-wise 光滑凸函数无约束极小化问题，通过扩展性能估计问题方法，改进了三类循环块坐标下降算法的最坏情况收敛上界，揭示了 CCD 的尺度不变性等性质，并发现现有加速方案对确定性算法效率低下。
2026-08-20 math.OC
An Exact Quantized Decentralized Gradient Descent Algorithm
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑分散式共识优化问题，其中$n$光滑和强凸函数的总和在形成连接网络的$n$分布式代理上最小化。特别是，我们考虑的情况下，节点之间的通信的局部决策变量进行量化，以减轻分布式优化中的通信瓶颈。我们提出了量化分散梯度下降（QDGD）算法，在该算法中，节点更新其本地决策变量相结合的量化信息从他们的邻居与他们的本地信息。我们证明，在标准的强凸性和光滑性的假设下的目标函数，QDGD实现了消失的平均解的误差在习惯条件下的量化。据我们所知，这是第一个在量化噪声存在的情况下实现一致性误差消失的算法。此外，我们提供的模拟结果表明，我们推导的理论收敛速度和数值结果之间的紧密协议。
2019-08-02 cs.DC cs.LG math.OC
On the Worst-Case Analysis of Cyclic Coordinate-Wise Algorithms on Smooth Convex Functions
我们提出了一个统一的框架，在无约束光滑凸优化设置循环块坐标算法的自动计算机辅助最坏情况分析。我们计算精确的最坏情况下的循环坐标下降和交替最小化算法的光滑凸函数类的界限，并提供次线性的上限和下界的最坏情况下的速度为标准类的功能与坐标明智的Lipschitz梯度。我们特别获得了一个新的上界循环坐标下降，优于最好的可用的一个数量级。我们还证明了我们的方法的灵活性，通过提供新的数值界限，使用更简单，更自然的假设比通常的块坐标算法的分析。最后，我们提供了数值证据的事实证明，一个标准的计划，可证明加速随机坐标下降到一个$O(1/k^2)$复杂性实际上是低效的（确定性）循环算法时使用。
2022-11-30 math.OC
Decentralized Riemannian Gradient Descent on the Stiefel Manifold
Texas A&M University（德克萨斯农工大学）；University of Minnesota（明尼苏达大学）
我们考虑一个分布式的非凸优化网络的代理人的目的是最小化一个全局函数的Stiefel流形。全局函数被表示为光滑局部函数的有限和，其中每个局部函数与一个代理相关联，并且代理通过无向连通图彼此通信。这个问题是非凸的，因为局部函数可能是非凸的（但光滑的），Steifel流形是一个非凸集。本文提出了一种分散的黎曼随机梯度法（DRSGD），其收敛速度为$\mathcal{O}(1/\sqrt{K})$。为了在恒定步长下具有精确收敛性，我们还提出了一种分散的黎曼梯度跟踪算法（DRGTA），其收敛速度为$\mathcal{O}(1/K)$到一个稳定点。我们使用多步共识来保持局部（共识）区域中的迭代。DRGTA是Stiefel流形上第一个具有精确收敛性的分布式优化算法。
2021-02-14 cs.LG cs.SY eess.SY
Random Permutations Fix a Worst Case for Cyclic Coordinate Descent
用于最小化非线性函数的坐标下降方法的变体部分地由坐标被考虑用于松弛的顺序来区分。三种常见的排序是循环（CCD），其中我们按顺序循环通过$x$的组件;随机（RCD），其中要更新的组件在每次迭代时随机且独立地选择;和随机置换循环（RPCD），其与CCD的不同之处仅在于在每个循环开始时将随机置换应用于变量。已知的收敛保证CCD和RPCD比RCD弱，但在大多数实际情况下，计算性能在所有这些变体之间是相似的。有一种特定类型的二次函数，CCD比RCD慢得多; \cite{SunY16a}最近的一篇论文探讨了CCD在这种类型的函数上的不良行为。区域和平与发展方案在履行这些职能方面表现良好，在某些制度中甚至优于区域裁军方案。本文通过对RPCD的详细分析，说明了RPCD的良好性能。
2018-06-02 math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
Temple University（天普大学）
针对分布式多节点数据下的有限和极小极大优化问题，提出一种采用方差缩减梯度的去中心化随机梯度下降上升方法，在非凸-强凹情形下获得更优样本与通信复杂度，并通过AUC最大化实验验证有效性。
2024-06-11 cs.LG math.OC stat.ML
ByRDiE: Byzantine-resilient distributed coordinate descent for decentralized learning
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
分布式机器学习算法使得能够从分布在网络上的数据集学习模型，而无需在集中位置收集数据。虽然在无故障网络的假设下已经开发出了高效的分布式算法，但在现实世界中经常会发生使这些算法无法正常工作的故障。本文重点研究分布式算法中最难防范的拜占庭故障问题。虽然拜占庭容错有着丰富的历史，但现有的工作并没有转化为在完全分布式（也称为分散式）设置中进行高维学习的有效和实用的算法。在本文中，一个算法称为拜占庭弹性分布式坐标下降（ByRDiE）的开发和分析，使分布式学习中存在拜占庭故障。理论分析（凸设置）和数值实验（凸和非凸设置）突出了其有用的高维分布式学习拜占庭故障的存在。
2019-07-05 cs.DC cs.LG math.OC
DSPG: Decentralized Simultaneous Perturbations Gradient Descent Scheme
Paderborn University（帕德博恩大学）
分布式下降方法是解决多智能体系统中最优化问题的重要工具。在这里，代理寻求通过相互合作来优化全局目标函数。通常，通过易于延迟和错误的无线通信网络来实现协作。在许多情况下，目标函数是不可微的或仅仅是可观察的。在本文中，我们提出了一个基于交叉熵的分布式随机逼近算法（SA），发现一个最小的目标，只使用样本。我们称这种算法为具有常数灵敏度参数的分散同时扰动随机梯度（DSPG）。该算法比经典的同时扰动随机逼近（SPSA）算法有两个方面的改进。具体而言，DSPG允许（i）使用来自其他代理的旧信息，以及（ii）通过使用简单的超参数选择轻松实现。我们分析了由于这两个津贴而产生的偏差和方差。我们表明，由于通信延迟的偏见可以通过仔细选择算法的超参数。研究了梯度估计量的方差及其对收敛速率的影响。我们提出的数值结果支持我们的理论。最后，我们讨论了随机共识问题的应用。
2019-08-27 cs.LG math.OC stat.ML
CoDGraD: A Code-based Distributed Gradient Descent Scheme for Decentralized Convex Optimization
在本文中，我们考虑了一个大型网络包含许多区域，每个区域都配备了一个工人与一些数据处理和通信能力。对于这样的网络，一些工人可能会成为掉队者，由于故障或严重的延迟计算或通信。为了解决上述离散问题，最近提出了一种编码方案，为每个工人引入一定的冗余，并开发了梯度编码范式来解决凸优化问题时，网络具有一个集中式融合中心。在本文中，我们提出了一个迭代分布式算法，称为基于代码的分布式梯度下降算法（CoDGraD），解决分布式网络上的凸优化问题。在所提出的算法的每次迭代中，一个积极的工人共享编码的局部梯度和近似解的凸优化问题与非离散工人在相邻区域。在本文中，我们还提供了一致性和收敛性分析的CoDGraD算法，我们通过数值模拟来证明其性能。
2022-04-13 cs.SY eess.SY math.OC
Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks
Fudan University（复旦大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；The Chinese University of Hong Kong（香港中文大学）
在分散式学习中，节点网络合作以最小化总体目标函数，该目标函数通常是其局部目标的有限和，并结合非光滑正则化项以获得更好的泛化能力。分散随机邻近梯度（DSPG）方法通常用于训练这类学习模型，但随机梯度的方差会减慢收敛速度。在本文中，我们提出了一种新的算法，即DPSVRG，利用方差减少技术来加速分散训练。其基本思想是在每个节点上引入一个估计器，周期性地跟踪局部全梯度，以在每次迭代中校正随机梯度。通过将分散算法转化为一个集中的方差缩减的不精确邻近梯度算法，并控制误差序列的界，我们证明了对于一般凸目标，DPSVRG以$O(1/T)$加非光滑项的速度收敛，$T$为迭代次数，而DSPG以$O(\frac{1}{\sqrt{T}})$的速度收敛.在不同的应用、网络拓扑结构和学习模型上的实验表明，DPSVRG的收敛速度比DSPG快得多，且DPSVRG的损失函数随着训练时间的增加而平滑下降。
2022-01-23 cs.LG cs.NI math.OC
On the worst-case complexity of the gradient method with exact line search for smooth strongly convex functions
本文研究了梯度（或最速）下降法在精确线搜索下对具有Lipschitz连续梯度的强凸函数的求解。我们建立了这个计划的确切的最坏情况下的收敛速率，并表明，这种最坏情况下的行为表现出一定的凸二次函数。我们还给出了严格的最坏情况下的复杂性约束的噪声的梯度下降法的变体，其中精确的线搜索是在搜索方向，不同于负梯度最多规定的相对公差。证明是计算机辅助的，并且依赖于文献[Y. Drori和M.特布勒光滑凸极小化一阶方法的性能：一种新方法。数学规划，145（1-2）：451-482，2014]。
2016-09-15 math.OC
Multi-consensus Decentralized Accelerated Gradient Descent
Xi’an Jiaotong University（西安交通大学）；Fudan University（复旦大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对去中心化凸优化问题，提出融合Nesterov加速、多共识与梯度跟踪的新型算法，实现最优计算复杂度和近似最优通信复杂度，收敛仅依赖全局强凸性，在机器学习任务中表现更优。
2023-10-10 cs.LG math.OC stat.ML
Setwise Coordinate Descent for Dual Asynchronous Decentralized Optimization
针对去中心化优化中随机选择邻居忽略优化状态的问题，提出基于对偶代价最大改进的成组坐标下降算法，并开发新分析框架证明其能将迭代收敛速度提升至最大坐标集大小的倍数。
2025-04-26 math.OC
On the Convergence of Decentralized Gradient Descent
考虑最小化$f(x)=\sum_{i=1}^n f_i(x)$的一致性问题，其中每个$f_i$仅为$n$代理的连接网络中的一个个体代理$i$所知。所有的代理商应协同解决这个问题，并获得解决方案的数据交换限制在相邻的代理商之间。这种算法避免了融合中心的需要，提供了更好的网络负载平衡，并提高了数据隐私。我们研究了分散梯度下降方法，其中每个代理$i$更新其变量$x_{(i)}$，这是一个局部近似的未知变量$x$，通过结合其邻居的平均值与负梯度步骤$-α\nabla f_i(x_{(i)})$。迭代是$$x_{(i)}(k+1) \gets \sum_{\text{neighbor} j \text{of} i} w_{ij} x_{(j)}(k) - α\nabla f_i(x_{(i)}(k)),\quad\text{for each agent} i,$$，其中平均系数形成对称双随机矩阵$W=[w_{ij}] \in \mathbb{R}^{n \times n}$。在假定$f_i$是真闭凸有界的，$\nabla f_i$是Lipschitz连续的且$L_{f_i}$为常数，$α$是固定步长的条件下，分析了该迭代的收敛性，并推导了其收敛速度.假设$α< O(1/L_h)$，其中$L_h=\max_i\{L_{f_i}\}$，平均解处的目标误差$f(\frac{1}{n}\sum_i …
2015-07-01 math.OC
Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization
Center for Machine Learning Research Peking University（机器学习研究中心北京大学）
提出MG-ADSGD算法，结合Nesterov型原始-对偶外推与多轮快速八卦平均，通过耦合八卦深度与小批量大小，同时实现加速收敛和通信高效，达到最优通信复杂度。
2026-06-05 cs.LG math.OC
A Multi-Token Coordinate Descent Method for Semi-Decentralized Vertical Federated Learning
Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Institute for Systems and Robotics, Instituto Superior Técnico（系统与机器人研究所，理工学院）；Department of Computer Science, NOVA School of Science and Technology（科学与技术学院计算机科学系）
本文提出一种多令牌坐标下降法，用于半去中心化垂直联邦学习，通过灵活利用客户端-服务器和客户端-客户端链接，提升收敛效率并适应不同应用场景。
2026-02-05 cs.DC cs.DS cs.LG
Achieving Linear Speedup and Near-Optimal Complexity for Decentralized Optimization over Row-stochastic Networks
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
本文针对行随机网络上的去中心化优化问题，首次建立收敛下界，并通过提出新分析框架证明Pull-Diag-GT实现线性加速，结合多步gossip协议达到近最优复杂度。
2026-10-20 math.OC
Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization
本文研究多主体最优化问题。在非欧Bregman发散的镜像下降算法中引入一个随机无梯度预言，发展了一种分布式随机无梯度镜像下降算法（DRGIMD）.在不利用目标函数的次梯度信息的情况下，推广了经典的梯度下降法。该算法是第一个分布式非欧零阶方法，它实现了$O(1/\sqrt{T})$收敛速度，恢复了分布式紧约束凸优化的最优速度。此外，DRFMD算法实现了强凸约束优化情况下的$O(\ln T/T)$收敛速度。该速率匹配最佳已知的非紧凑约束结果。研究了一种分散倒数加权平均逼近序列，并首次将其应用于分布式算法中。同时给出了加权平均算法（DRGFMD-WA）的一类收敛速度。分散加权平均序列的构造技术为分布式算法中极小值的搜索提供了新的思路。
2019-03-11 math.OC
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
Last-Iterate Performance of Gradient Descent and Relaxed Proximal Point via $s$-Composability
École Polytechnique（巴黎综合理工学院）
本文利用$s$-可组合性证明常数步长最优性及银调度的末次迭代最坏情况目标间隙常数，解决多个开放问题。
2026-09-22 math.OC
On Averaging and Extrapolation for Gradient Descent
本文研究了光滑凸优化中梯度下降迭代的平均与外推效果，证明平均无法改善且严格劣于返回最终迭代点，而提出的一种简单低耗的外推方案能严格提升最坏情况收敛速度，其效果相当于额外进行 $O(\sqrt{N/\log(N)})$ 步梯度计算。
2025-05-28 math.OC
Decentralized projected Riemannian gradient method for smooth optimization on compact submanifolds
针对紧子流形上的去中心化非凸光滑优化，提出 DPRGD 与 DPRGT，分别获得 $\mathcal{O}(1/\sqrt{K})$ 和 $\mathcal{O}(1/K)$ 收敛率，其中 DPRGT 首次实现精确收敛。
2023-09-30 math.OC
Decentralized gradient descent maximization method for composite nonconvex strongly-concave minimax problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文首次解决在两个变量上均含凸非光滑项的去中心化复合非凸强凹极小极大问题，通过引入乘子吸收对偶一致性约束的新颖重构，实现了更激进的对偶更新与更大的原始步长，获得了更低复杂度并在分布式鲁棒逻辑回归实验中验证了性能。
2023-04-05 cs.LG cs.NA math.NA
Convergence rate analysis of randomized and cyclic coordinate descent for convex optimization through semidefinite programming
本文研究了凸无约束最优化问题的随机坐标下降和循环坐标下降。利用数值半定规划的性能估计方法，在某些情况下改进了已知的收敛速度。作为一个副产品，我们提供了一种方法来分析最坏情况下的性能的高斯-赛德尔迭代法的线性系的系数矩阵是半正定的正对角。
2022-12-23 math.OC
Worst-case Guarantees for Remote Estimation of an Uncertain Source
本文研究了在有限时间范围内，传感器如何通过有限的通信预算将不确定源的状态传输给远程估计器，以最小化最坏情况下的最大瞬时估计误差，提出了一种去中心化的最优化策略。
2019-02-09 cs.SY eess.SY math.OC
Gradient-Type Methods For Decentralized Optimization Problems With Polyak-Łojasiewicz Condition Over Time-Varying Networks
针对时变网络中满足 PL 条件的去中心化最小化与鞍点问题，提出带一致性机制和不精确梯度的梯度类方法，并通过稳健最小二乘实验验证其效率。
2024-05-12 math.OC
A Line-Search Descent Algorithm for Strict Saddle Functions with Complexity Guarantees
我们描述了一个线搜索算法，实现了最著名的最坏情况下的复杂性结果的问题，具有一定的“严格的鞍”属性，已被观察到举行低秩矩阵最优化问题。我们的算法是自适应的，在这个意义上说，它利用回溯线搜索，不需要先验知识的参数，定义严格的鞍属性。
2020-06-14 math.OC
Boundary Geometry and Global Rates of Cyclic Coordinate Descent for SVM Duals
HSE University（高等经济大学）
本文研究SVM对偶问题的循环坐标下降法，提出结合坐标交互与边界几何的全局收缩界，并证明其优于现有方法，且通过数值实验验证了实用性。
2026-10-01 math.OC
Decentralized Online Riemannian Optimization with Dynamic Environments
本文提出首个Hadamard流形上的去中心化在线黎曼优化算法，推导其动态悔界，还提出简化共识步骤以降低计算成本且保持同等悔界，实验验证了方法的有效性。
2024-10-07 math.DG math.OC
Decentralized Stochastic Optimization with Inherent Privacy Protection
Clemson University（克莱姆森大学）；Princeton University（普林斯顿大学）
分散随机优化是现代协作机器学习、分布式估计和控制以及大规模传感的基本构建块。由于所涉及的数据通常包含敏感信息，如用户位置，医疗记录和金融交易，隐私保护已成为一个越来越迫切的需求，在实现分散的随机优化算法。在本文中，我们提出了一个分散的随机梯度下降算法，这是嵌入固有的隐私保护，为每个参与代理对其他参与代理和外部窃听。该算法建立在一个基于动态的梯度混淆机制，使隐私保护，而不损害优化精度，这是在显着的差异，基于隐私的隐私解决方案的分散优化，必须贸易优化精度的隐私。基于动态的隐私方法是免维护的，因此避免了产生沉重的通信或计算开销，这是分散随机优化的基于加密的隐私解决方案的常见问题。除了严格的特征的收敛性能的分散随机梯度下降算法下凸目标函数和非凸目标函数，我们还提供了严格的信息理论分析其强度的隐私保护。分布式估计问题的仿真结果以及在基准机器学习数据集上进行分散学习的数值实验证实了所提出方法的有效性。
2022-05-08 cs.LG cs.SY eess.SY
RESIST: Resilient Decentralized Learning Using Consensus Gradient Descent
Rutgers University（罗格斯大学）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出RESIST算法，通过多步共识梯度下降框架和鲁棒统计筛选方法，解决去中心化学习中对抗性中间人攻击问题，实现强凸、Polyak-Lojasiewicz及非凸ERM问题的鲁棒收敛。
2026-09-22 cs.LG math.OC stat.ML
Projected Gradient Method for Decentralized Optimization over Time-Varying Networks
时变图（网络）上的分散分布优化问题是当前最优化理论和一致性理论的一个非常热门的研究分支。考虑这种网络的动机之一是无人机网络的应用。然而，这一分支的第一个理论结果仅出现在五年前（Nedic，2014）。关于强凸光滑最优化问题在这种网络上的几何收敛率的可能性的第一个结果仅在两年前获得（Nedic，2017）。在本文中，我们提高了几何收敛速度，在后一份文件中考虑的一类问题，使用原来的惩罚方法技巧和鲁棒性的投影梯度下降。
2020-06-22 math.OC
Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
数据汇集和处理能力的快速发展使得越来越复杂的模型得以使用，从而产生非凸优化问题。然而，这些公式通常很难求解，因为即使简单地验证给定点是局部最小值也可能是NP困难的[1]。尽管如此，一些相对简单的算法已被证明在许多感兴趣的背景下导致令人惊讶的好的经验结果。也许最突出的例子是用于训练神经网络的反向传播算法的成功。最近的几项工作已经追求严格的分析证明这种现象，通过研究非凸优化问题的结构，并建立简单的算法，如梯度下降及其变化，在收敛到局部极小值，避免鞍点。这些分析中的一个关键见解是，梯度扰动在允许局部下降算法有效地区分理想的和不理想的稳定点并逃离后者方面起着关键作用。在这篇文章中，我们涵盖了最近的结果二阶保证随机一阶优化算法在集中式，联邦和分散式架构。
2020-03-31 cs.LG cs.MA eess.SP
The exact worst-case convergence rate of the gradient method with fixed step lengths for L-smooth functions
本文研究了求解$L$ -光滑函数的固定步长梯度法（或最速下降法）的收敛速度。我们建立了一个新的收敛速度，并表明，在某些情况下，特别是当所有的步长位于区间$(0,1/L]$的界限可能是准确的。此外，我们推导出一个最佳的步长的新的界限。
2021-10-07 math.OC
A Two-Dimensional Extremizer for Relatively Inexact Gradient Descent
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
本文构造了一个二维显式极值函数，证明了相对不精确梯度下降一步的最坏情况常数猜想，并指出二维在中间区域是必要的。
2026-10-02 math.OC
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method
NYU（纽约大学）；Rutgers University（罗格斯大学）；MIT（麻省理工学院）
我们介绍了一个框架下的分散优化设置，局部函数是光滑的，强凸的设计原始方法。我们的方法包括近似求解加速增广拉格朗日方法引起的一系列子问题，从而提供了一种系统的方法来推导几个著名的分散算法，包括EXTRA arXiv：1404.6264和SSDA arXiv：1702.08704。当与加速梯度下降相结合时，我们的框架产生了一种新的原始算法，其收敛速度是最佳的，并且与最近导出的下界相匹配。我们提供的实验结果表明，所提出的算法对高度病态的问题的有效性。
2020-06-11 cs.LG math.OC
Decentralized Consensus Algorithm with Delayed and Stochastic Gradients
我们分析了具有延迟梯度信息的分散一致性算法的收敛性。网络中的节点私有地持有部分目标函数，并且协作地求解总目标的共识最优解，而它们只能与它们的直接邻居通信。在现实世界的网络中，通常很难甚至不可能同步节点，因此它们在计算过程中必须使用陈旧的梯度信息。我们证明了，只要随机时滞在期望上有界，并采用适当的减小步长策略，分散梯度下降法产生的迭代收敛到一个一致的最优解.推导了目标和共识的收敛速度。一些合成的问题和真实世界的地震层析成像数据集在分散的传感器网络的数值结果显示该方法的性能。
2018-01-16 math.OC
Distributed Online Optimization in Dynamic Environments Using Mirror Descent
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
这项工作解决了非平稳环境中的分散在线优化问题。智能体网络的目标是跟踪全局时变凸函数的最小值。极小化器根据被未知的非结构化噪声破坏的已知动力学来演化。在每个时刻，全局函数可以被转换为有限数量的局部函数的总和，每个局部函数被分配给网络中的一个代理。此外，本地功能变得可用于代理顺序，和代理不具有未来的费用函数的先验知识。因此，智能体必须相互通信，以建立全局函数的在线近似。我们提出了一个分散的变化，著名的镜像下降，开发Nemirovksi和Yudin。使用Bregman散度的概念代替投影的欧氏距离，镜像下降已被证明是大规模优化的强大工具。我们的算法建立在镜像下降的基础上，同时确保代理执行共识步骤以遵循全局函数并考虑全局极小值的动态。为了衡量所提出的在线算法的性能，我们将其与离线算法进行比较，其中全局函数是先验的。两者之间的差距被称为动态遗憾。我们建立了一个遗憾的范围，规模成反比的频谱间隙的网络，更值得注意的是，它表示的偏差最小序列相对于给定的动态。然后，我们表明，我们的研究结果subconstitutes在分布式优化的结果。我们展示了我们的方法的应用分散跟踪的动态参数，并通过数值实验验证结果。
2016-09-09 cs.DC cs.LG math.OC
Subgradient Methods for Nonsmooth Convex Functions with Adversarial Errors
针对受有限预算对抗性破坏的非光滑凸函数最小化问题，提出三种无需动量或平均的次梯度下降法，其最坏性能随破坏预算线性下降且接近最优，并给出对应一阶方法的次优性间隙下界。
2025-10-03 math.OC
Worst-case Complexity of Cyclic Coordinate Descent: $O(n^2)$ Gap with Randomized Version
Univeristy of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
本文研究了循环坐标下降法在最小化凸二次函数中的最坏复杂度，证明了其与随机坐标下降法存在$O(n^2)$的差距，并建立了相关复杂度界限。
2018-08-12 cs.CC cs.NA math.NA
Near-Optimal Decentralized Stochastic Nonconvex Optimization with Heavy-Tailed Noise
本文提出了一种去中心化归一化随机梯度下降方法，结合 Pull-Diag 梯度跟踪，以实现近似 stationary 点，并在样本复杂度和通信复杂度上达到最优。
2026-01-16 cs.LG math.OC
