On the Linear Convergence of the ADMM in Decentralized Consensus Optimization
在分散式共识优化中，连接的代理网络协作地最小化它们在公共决策变量上的局部目标函数的和，其中它们的信息交换在邻居之间受到限制。为此，可以首先获得问题的重新表述，然后应用乘子的交替方向法（ADMM）。该方法采用迭代计算在各个代理和邻居之间的信息交换。据观察，这种方法收敛迅速，被认为是强大的。本文对具有强凸局部目标函数的分散一致最优化问题建立了它的线性收敛速率。根据网络拓扑结构、局部目标函数的性质和算法参数，给出了算法的理论收敛速度。这一结果不仅是性能保证，也是加快ADMM收敛的指导方针。
2014-11-30 math.OC
Improved Convergence for Decentralized Stochastic Optimization with Biased Gradients
School of Electrical Engineering, Sichuan University（四川大学电气工程学院）
本文提出Biased-DMT算法，解决去中心化随机优化中偏梯度带来的收敛问题，理论分析显示其在非凸情况下具有线性加速特性，并在稀疏通信网络中保持鲁棒性。
2026-04-09 math.OC
Decentralized projected Riemannian gradient method for smooth optimization on compact submanifolds
针对紧子流形上的去中心化非凸光滑优化，提出 DPRGD 与 DPRGT，分别获得 $\mathcal{O}(1/\sqrt{K})$ 和 $\mathcal{O}(1/K)$ 收敛率，其中 DPRGT 首次实现精确收敛。
2023-09-30 math.OC
Projected Gradient Method for Decentralized Optimization over Time-Varying Networks
时变图（网络）上的分散分布优化问题是当前最优化理论和一致性理论的一个非常热门的研究分支。考虑这种网络的动机之一是无人机网络的应用。然而，这一分支的第一个理论结果仅出现在五年前（Nedic，2014）。关于强凸光滑最优化问题在这种网络上的几何收敛率的可能性的第一个结果仅在两年前获得（Nedic，2017）。在本文中，我们提高了几何收敛速度，在后一份文件中考虑的一类问题，使用原来的惩罚方法技巧和鲁棒性的投影梯度下降。
2020-06-22 math.OC
Fully decentralized conditions for local convergence of DC/AC converter network based on matching control
研究了通过相同的阻性和感性线路互连的相同DC/AC变换器向同步平衡流形的局部收敛。我们利用所得到的向量场的对称性，并开发了一个基于李雅普诺夫的框架，在该框架中，我们通过分析其切向量的演化来测量非线性电力系统模型的解到平衡流形的距离。我们推导出充分的和完全分散的条件来描述利益均衡，并提供了一个估计的收缩区域。我们提供的方法来满足这些条件，并说明我们的结果的基础上数值模拟的两个转换器的基准。
2020-07-27 math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先，我们提出了一个分散的近端随机梯度跟踪方法（DProxSGT）的非凸随机复合问题，数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本，我们扩展DProxSGT的压缩方法，通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新，这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数（但不是对每个样本函数）的平滑条件，所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明，我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能，并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC
DSA: Decentralized Double Stochastic Averaging Gradient Algorithm
本文考虑网络节点可访问全局目标的和式的凸优化问题。进一步假设这些局部目标中的每一个是函数的有限集的平均。这种设置的动机是解决大规模机器学习问题，其中训练集的元素被分配到多个计算元素。分散的双随机平均梯度（DSA）算法被提出作为一种解决方案的替代方案，依赖于：（i）使用局部随机平均梯度。(ii)将下降步长确定为连续随机平均梯度的差。证明了局部函数的强凸性和局部梯度的Lipschitz连续性保证了DSA生成的序列按期望值的线性收敛。局部迭代进一步示出接近几乎所有实现的最优参数。DSA的预期线性收敛性与现有分散随机最优化方法的次线性速率特性形成对比。对逻辑斯谛回归问题的数值实验表明，相对于这些其他替代方案，收敛时间和处理的特征向量的数量减少，直到收敛。
2015-06-13 math.OC
A Compressed Gradient Tracking Method for Decentralized Optimization with Linear Convergence
通信压缩技术是解决有限通信条件下的分散最优化问题的一种重要方法，其全局目标是在多智能体网络中仅使用局部计算和对等通信来最小化局部费用函数的平均值.本文提出了一种将梯度跟踪技术与通信压缩相结合的新型压缩梯度跟踪算法（C-GT）。特别是，C-GT是兼容的一般类的压缩运营商，统一无偏和有偏的压缩机。我们表明，C-GT继承了基于梯度跟踪算法的优点，并实现了强凸和光滑目标函数的线性收敛速率。数值例子补充了理论研究结果，并证明了所提出的算法的效率和灵活性。
2022-05-25 math.OC
Smoothing Gradient Tracking for Decentralized Optimization over the Stiefel Manifold with Non-smooth Regularizers
本文提出了首个用于 Stiefel 流形上非光滑优化的分散算法，通过 Moreau 包络近似非光滑部分以应用现有光滑优化算法，并证明了其 $\mathcal{O}(ε^{-4})$ 的收敛复杂度与有效性。
2023-03-28 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
On the Convergence of Nested Decentralized Gradient Methods with Multiple Consensus and Gradient Steps
在本文中，我们考虑最小化的局部凸目标函数在分布式设置，通信和/或计算的成本可能是昂贵的总和。我们扩展和推广了对一类嵌套的基于梯度的分布式算法（NEAR-DGD; Berahas，Bollapragada，Keskar和Wei，2018）的分析，以解释每次迭代时的多个梯度步骤。我们执行多个梯度步骤上的收敛速度收敛速率和收敛的邻域的大小的影响，并证明R-线性收敛的精确解与一个固定的梯度步骤和越来越多的共识步骤。我们测试的性能的广义方法上的二次函数和显示的效果，多个共识和梯度步骤的迭代次数，梯度评估，通信数量和成本。
2021-07-07 math.OC
DQM: Decentralized Quadratically Approximated Alternating Direction Method of Multipliers
本文考虑分散共识最优化问题，其中网络的节点可以访问全局目标函数的不同和。节点通过只与邻居交换信息来合作以最小化全局目标。交替方向乘法（DADMM）的分散版本是解决这类问题的常用方法。DADMM对最优目标具有线性收敛速率，但其实现需要在每次迭代中求解凸优化问题。这在计算上可能是昂贵的，并且可能导致大的总体收敛时间。本文提出了一种分散的二次近似ADMM算法（DQM），它最小化DADMM在每次迭代中最小化的目标函数的二次近似。随之而来的减少计算时间的收敛性能的影响最小。收敛仍然以线性速率进行，并具有与DADMM线性收敛速率常数渐近等价的保证常数。数值结果表明，相对于DADMM和其他替代品的逻辑斯谛回归问题的DQM的优势。
2015-08-09 math.OC
Resilient Decentralized Preconditioned Stochastic Proximal Optimization with Gradient Sketching over Time-Varying Networks
Hubei Normal University（湖北师范大学）；City University of Hong Kong（香港城市大学）；University of New South Wales（新南威尔士大学）；Southwest University（西南大学）；Shenzhen University of Advanced Technology（深圳先进技术研究院）
研究多智能体系统中拜占庭弹性分散随机优化问题，核心方法是通过梯度草图实现方差减少，提出算法RED-SEGA，推导其在时变网络上的理论条件，经实验验证算法有效性与弹性。
2026-10-14 math.OC
Decentralized Proximal Gradient Algorithms with Linear Convergence Rates
研究了一类非光滑分散多智能体最优化问题，其中智能体的目标是最小化局部强凸光滑分量和公共非光滑项之和.我们提出了一个通用的原始对偶算法框架，统一了许多现有的最先进的算法。我们建立了线性收敛所提出的方法的精确解的非光滑项的存在。此外，对于更一般的一类代理特定的非光滑项的问题，我们表明，线性收敛不能实现（在最坏的情况下）的类算法，使用的梯度和近端映射的光滑和非光滑的部分，分别。我们还提供了一个数值反例，显示了一些国家的最先进的算法无法线性收敛的强凸目标和不同的本地非光滑项。
2020-07-09 math.OC
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
A Stochastic Gradient Tracking Algorithm for Decentralized Optimization With Inexact Communication
针对去中心化优化中通信噪声导致的性能下降与数据异质性挑战，提出一种随机梯度跟踪算法，理论证明其在非精确通信下达到最优收敛率，并在MNIST和CIFAR-10实验中表现优越。
2023-07-27 math.OC
Snap-Shot Decentralized Stochastic Gradient Tracking Methods
在分散式优化中，$m$代理形成一个网络，只与它们的邻居通信，这在数据所有权、隐私和可扩展性方面具有优势。与此同时，分散随机梯度下降（\texttt{SGD}）方法作为用于训练大规模机器学习模型的流行分散算法，已显示出其相对于集中式方法的优越性。分布式随机梯度跟踪（\texttt{DSGT}）\citep{pu2021distributed}由于其良好的理论保证而被公认为是最流行和最先进的分散\texttt{SGD}方法。然而，对\dsgt ~ \citep{koloskova2021improved}的理论分析表明，其迭代复杂度为$\tilde{\mathcal{O}} \left(\frac{\barσ^2}{mμ\varepsilon} + \frac{\sqrt{L}\barσ}{μ(1 - λ_2(W))^{1/2} C_W \sqrt{\varepsilon} }\right)$，其中$W$是表示网络拓扑的双随机混合矩阵，$ C_W $是依赖于$W$的参数。因此，这表明\texttt{DSGT}的收敛特性受到通信网络拓扑的严重影响。针对\texttt{DSGT}算法的不足，本文采用快照梯度跟踪技术，提出了两种新的算法。我们进一步证明了在与\dsgt ~相似的算法结构和相同的通信策略下，所提出的两种算法对通信网络的拓扑结构具有更强的鲁棒性。与\dsgt相比，它们的迭代复杂度…
2022-12-10 math.OC
Balancing Communication and Computation in Gradient Tracking Algorithms for Decentralized Optimization
提出统一梯度跟踪方法的框架，灵活调整通信与计算步骤数量，建立理论收敛结果并量化改进，在二次函数和二元分类问题上验证性能。
2023-11-24 math.OC
A Communication-Efficient Decentralized Newton's Method with Provably Faster Convergence
本文研究了分散网络上的强凸有限和极小化问题，提出了一种通信效率高的分散牛顿法来求解该问题，首先采用动态平均一致性（DAC），使得每个节点能够分别使用局部梯度逼近和局部Hessian逼近来跟踪全局梯度和Hessian.第二，由于交换Hessian近似值远没有通信效率，因此我们要求节点交换压缩的近似值，然后应用错误补偿机制来校正压缩噪声。第三，我们引入多步共识来交换局部变量和局部梯度近似，以平衡计算和通信。为了避免每个节点传输整个本地Hessian近似，我们设计了一个压缩过程中的误差补偿估计的全球Hessian在通信有效的方式。通过新的分析，我们建立了全局线性（分别为，渐近超线性）的收敛速度（分别地，趋于无穷大），其中m是共识内部步骤的数量。据我们所知，这是第一个超线性收敛结果的通信效率分散牛顿法。此外，我们建立的速度是证明比一阶方法更快。我们在各种应用程序的数值结果证实了理论研究结果。
2022-10-01 math.OC
Gradient-Type Methods For Decentralized Optimization Problems With Polyak-Łojasiewicz Condition Over Time-Varying Networks
针对时变网络中满足 PL 条件的去中心化最小化与鞍点问题，提出带一致性机制和不精确梯度的梯度类方法，并通过稳健最小二乘实验验证其效率。
2024-05-12 math.OC
Convergence results of a nested decentralized gradient method for non-strongly convex problems
研究了求解分布式最优化问题的NEAR-DGD $^+$（Nested Exact Alternating Recursion Distributed Gradient Descent）方法的收敛性。在局部目标函数的强凸性和梯度的Lipschitz连续性的假设下，证明了\cite{BBKW - Near DGD}算法的线性收敛性.本文研究了非强凸性条件下NEAR-DGD $^+$的收敛性。更准确地说，我们建立了以下两种情况下的收敛性结果：（1）当目标函数只假设凸性。(2)当目标函数表示为强凸函数和亏秩矩阵的复合函数时，它属于凸函数和准强凸函数类。数值结果支持收敛结果。
2022-06-27 math.OC
Decentralized Min-Max Optimization with Gradient Tracking
针对去中心化极小极大优化，本文提出DGTA与DSGTA两种梯度跟踪算法，并证明其在NC-SC情形下达到与集中式方法相当的复杂度，实验性能更优。
2025-05-15 math.OC
A Flexible Gradient Tracking Algorithmic Framework for Decentralized Optimization
针对去中心化优化中通信与计算复杂度不均衡的问题，提出一种随机化、可灵活调节的梯度跟踪框架，统一经典方法并给出期望收敛保证及实验验证。
2023-12-11 math.OC
Decentralized Constrained Optimization: Double Averaging and Gradient Projection
本文研究了强连通有向图上带凸约束的凸有限和极小化问题。该约束是一个交集的几个凸集，每个已知的只有一个节点。为了解决这个问题，我们提出了一种新的分散投影梯度格式的基础上局部平均和证明其收敛性仅使用局部函数的光滑性。
2021-06-21 cs.DC math.OC
DAMA: A Unified Accelerated Approach for Decentralized Nonconvex Minimax Optimization-Part II: Convergence and Performance Analyses
Institute of Electrical and Micro Engineering, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院电气与微电子研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Kuwait University（科威特大学）
本研究提出DAMA算法，通过统一加速梯度估计器GRACE，提升去中心化非凸极小极大优化的收敛性和性能。
2025-12-15 math.OC
SUN-DSBO: A Structured Unified Framework for Nonconvex Decentralized Stochastic Bilevel Optimization
Southern University of Science and Technology（南方科技大学）；Pengcheng Laboratory（鹏城实验室）；Sun Yat-sen University（中山大学）；National Center for Applied Mathematics Shenzhen（深圳应用数学国家中心）
SUN-DSBO提出了一种非凸分布式随机双层优化的结构化统一框架，支持非凸上层和下层目标函数，并通过梯度跟踪技术实现线性加速。
2026-01-30 math.OC
DAMA: A Unified Accelerated Approach for Decentralized Nonconvex Minimax Optimization-Part I: Algorithm Development and Results
Institute of Electrical and Micro Engineering, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院电气与微电子研究所）；Kuwait University（科威特大学）
DAMA是一种用于去中心化非凸极小极大优化的统一加速方法，整合了多种去中心化学习策略和加速梯度技术，实现了更灵活的框架和更优的性能界限。
2025-12-15 math.OC
Decentralized Learning with Lazy and Approximate Dual Gradients
本文开发了在网络上进行分散式机器学习的算法，其中数据是分布式的，计算是本地化的，并且邻居之间的通信受到限制。这一领域最近的一系列研究集中在提高计算和通信复杂性上。SSDA和MSDA方法\cite{scaman2017optimal}在目标光滑和强凸时具有最优的通信复杂度，并且推导简单。然而，它们需要在每一步解决一个子问题。我们提出了新的算法，节省计算通过使用（随机）梯度和保存通信时，以前的信息是足够有用的。我们的方法仍然相对简单-而不是解决一个子问题，他们从最新的点运行卡秋莎一个小的，固定的步骤。一个易于计算的本地规则用于决定工人是否可以跳过一轮通信。此外，我们的方法可证明降低通信和计算的复杂性SSDA和MSDA。在数值实验中，我们的算法实现了显着的计算和通信减少相比，国家的最先进的。
2020-08-04 math.OC
Composite and Stochastic Smoothed Decentralized Bregman Proximal-Gradient Methods
The Chinese University of Hong Kong（香港中文大学）；Xiangtan University（湘潭大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Guangzhou Nanfang College（广州南方学院）
该研究扩展了平滑去中心化Bregman邻近梯度方法，针对节点特定正则化项与随机局部梯度给出理论界，实验验证其性能并评估四次Bregman核的效果。
2026-10-14 math.OC
Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking -- Part II: GT-SVRG
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
分散随机最优化最近受益于梯度跟踪方法\cite{DSGT_Pu,DSGT_Xin}，为大规模经验风险最小化问题提供了有效的解决方案。在第一部分\cite{GT_SAGA}这项工作中，我们开发的\textbf{\texttt{GT-SAGA}}是基于一个分散的实施SAGA \cite{SAGA}使用梯度跟踪和讨论制度的实际利益，其中\textbf{\texttt{GT-SAGA}}优于现有的分散的方法在本地梯度计算的总数。在本文中，我们描述了\textbf{\texttt{GT-SVRG}}，它开发了一个分散的梯度跟踪为基础的SVRG \cite{SVRG}，另一个著名的方差减少技术的实现。我们表明，\textbf{\texttt{GT-SVRG}}的收敛速度与\textbf{\texttt{GT-SAGA}}的光滑和强凸函数相匹配，并突出了两种算法在各种设置之间的不同权衡。
2019-12-10 cs.LG math.OC
Optimal Gradient Tracking for Decentralized Optimization
本文提出最优梯度跟踪（OGT）方法，首次在分散优化中同时达到最优梯度计算和通信复杂度，并引入快照梯度跟踪与无环切比雪夫加速作为通用构建模块。
2024-04-20 math.OC
Asynchronous Decentralized Optimization with Constraints: Achievable Speeds of Convergence for Directed Graphs
Chalmers University of Technology（查尔姆斯理工大学）
本文提出了一种异步双平均和梯度投影算法，用于解决有向图中去中心化优化问题，通过引入线性二次PEP方法，实现了无需强凸性假设的收敛速度分析。
2024-01-06 math.OC
Graph topology invariant gradient and sampling complexity for decentralized and stochastic optimization
分散式多智能体优化中的一个基本问题是梯度/采样复杂度和通信复杂度之间的权衡。我们提出了新的算法，其梯度和采样的复杂性是图形拓扑不变的，而他们的通信复杂性保持最佳。对于凸光滑确定性问题，我们提出了一个原始对偶滑动（PDS）算法，计算$ε$ -解决方案与$O((\tilde{L}/ε)^{1/2})$梯度和$O((\tilde{L}/ε)^{1/2}+\|\mathcal{A}\|/ε)$通信复杂性，其中$\tilde{L}$是光滑参数的目标和$\mathcal{A}$是相关的图形拉普拉斯算子或转置的通信网络的定向关联矩阵。在$μ$-强凸性下，结果可分别改进为$O((\tilde{L}/μ)^{1/2}\log(1/ε))$和$O((\tilde{L}/μ)^{1/2}\log(1/ε) + \|\mathcal{A}\|/ε^{1/2})$.我们还提出了一个随机变量，原始对偶滑动（SPDS）算法的随机梯度问题。SPDS算法利用小批量技术，使代理同时执行采样和通信。它计算具有$O((\tilde{L}/ε)^{1/2} + (σ/ε)^2)$采样复杂度的随机$ε$ -解，该解可以改进为具有强凸性的$O((\tilde{L}/μ)^{1/2}\log(1/ε) + σ^2/ε)$。这里$σ^2$是方差。SPDS的通信复杂度与确定性情形相同。所有上述梯度和采样复杂度都与集中式凸光滑优化的复…
2021-01-13 math.OC
A Linearly Convergent Proximal Gradient Algorithm for Decentralized Optimization
分散式优化是一个强大的范例，在工程和学习设计中找到应用。本文研究了具有非光滑正则项的分散复合最优化问题。已知大多数现有的基于梯度的邻近分散方法以次线性速率收敛到最优解，并且仍然不清楚这类方法是否可以实现全局线性收敛。为了解决这个问题，这项工作假设非光滑正则化项在所有网络代理中是共同的，这是许多机器学习问题的情况。在此条件下，我们设计了一个近似梯度分散算法，其不动点与期望的最小值重合。然后，我们提供了一个简洁的证明，建立其线性收敛。在没有非光滑项的情况下，我们的分析技术涵盖了众所周知的EXTRA算法，并提供了有用的界的收敛速度和步长。
2019-10-25 cs.DC math.OC
Stochastic Push-Pull for Decentralized Nonconvex Optimization
本文分析随机梯度 Push-Pull 方法在去中心化非凸优化中的收敛性，提出通用框架并给出实现线性加速的充分条件，实验验证了其有效性与鲁棒性。
2025-06-08 math.OC
Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression
Carnegie Mellon University（卡内基梅隆大学）
本文首次研究了在带有通信压缩的去中心化非凸优化中梯度裁剪的作用，提出PORTER框架及其两种变体，在无需梯度有界假设下证明了收敛性并分析了收敛速率、压缩比、网络连通性与隐私间的权衡。
2023-05-17 cs.LG math.OC
Decentralized Gradient Methods with Time-varying Uncoordinated Stepsizes: Convergence Analysis and Privacy Design
针对去中心化优化中的隐私泄露问题，提出两种基于梯度的算法，利用混合矩阵与时变非协调步长，在不牺牲精度和通信开销的前提下保护隐私，并实现精确收敛。
2023-12-25 math.OC
A Parameter-free Decentralized Algorithm for Composite Convex Optimization
针对网络去中心化复合凸优化问题，提出一种基于三算子分裂与BCV度量重构的无参数自适应步长去中心化算法，仅需局部回溯无需全局信息，具备收敛保证且性能优于现有非自适应方法。
2025-08-02 math.OC
PMGT-VR: A decentralized proximal-gradient algorithmic framework with variance reduction
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Hong Kong University of Science and Technology（香港科技大学）
本文考虑分散组合最优化问题。我们提出了一种新的分散方差减少近似梯度算法框架，称为PMGT-VR，它是基于多种技术的组合，包括多共识，梯度跟踪和方差减少。所提出的框架依赖于模仿集中式算法，我们证明了在这个框架下的算法实现收敛速度类似于他们的集中式同行。我们还描述和分析了两种代表性算法：PMGT-SAGA和PMGT-LSVRG，并将它们与现有的最先进的邻近算法进行比较。据我们所知，PMGT-VR是第一个线性收敛的分散随机算法，可以解决分散复合最优化问题。数值实验证明了算法的有效性。
2021-06-05 cs.AI math.OC
Decentralized Charging Control of Electric Vehicles in Residential Distribution Networks
电动汽车（EV）充电可能会对配电网络产生负面影响，超过设备热额定值并导致电压降至标准范围以下。在本文中，我们开发了一种分散的EV充电控制方案，以实现“山谷填充”（即，整平夜间充电期间的需求曲线），同时满足异构的个人充电需求并满足配电网约束。该问题是一个目标函数不可分离且带有强耦合不等式约束的最优化问题。我们提出了一种新的收缩原始-对偶次梯度（SPDS）算法来支持分散控制方案，推导出保证其收敛的条件，并验证其有效性和收敛性与一个代表性的配电网络模型。
2017-10-16 math.OC
Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and University of Chinese Academy of Sciences, China（国家科学工程计算重点实验室，数学系统科学学院，中国科学院，中国科学院大学）
本文提出一个统一去中心化随机子梯度法的框架，为非光滑非凸函数的收敛性提供理论保证，并通过实验验证其在非光滑神经网络训练中的有效性。
2026-01-06 cs.LG math.OC
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
Smoothed Gradient Clipping and Error Feedback for Decentralized Optimization under Symmetric Heavy-Tailed Noise
针对重尾噪声下分散优化中梯度裁剪的偏差问题，提出平滑裁剪与误差反馈机制，实现无需有界梯度的首个MSE收敛保证。
2024-11-11 cs.DC math.OC
Automated Worst-Case Performance Analysis of Decentralized Gradient Descent
我们开发了一种方法来自动计算最坏情况下的性能界限的一类分散的算法，优化分布在网络上的局部函数的平均值。我们扩展了最近提出的PEP方法分散优化。这种方法允许通过求解SDP来计算集中式算法的确切最坏情况性能和最坏情况实例。我们得到一个精确的配方时，网络矩阵的给定，并放宽考虑整个类的网络矩阵，其特征在于其频谱范围。我们将我们的方法应用于分散（子）梯度法，获得了一个几乎紧密的最坏情况下的性能界，显着提高了文献，并获得洞察到最差的通信网络为一个给定的频谱范围。
2021-10-01 cs.MA math.OC
On the Convergence of Decentralized Stochastic Gradient-Tracking with Finite-Time Consensus
Imperial College London（帝国理工学院）
研究探讨了近似有限时间共识序列对去中心化优化算法收敛性的影响，揭示了近似误差与序列长度及问题参数之间的关系。
2026-02-15 eess.SP math.OC
DeEPCA: Decentralized Exact PCA with Linear Convergence Rate
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hong Kong University of Science and Technology（香港科技大学）
由于智能代理的快速增长，如弱连接的计算节点和传感器，开发分散的算法，可以执行本地代理的计算成为一个主要的研究方向。本文考虑了分散主成分分析（PCA）的问题，这是一种广泛用于数据分析的统计方法。我们引入了一种称为子空间跟踪的技术，以减少通信成本，并将其应用到电源迭代。这导致了一个分散的PCA算法称为\texttt{DeEPCA}，它具有类似的集中式PCA的收敛速度，同时实现了最好的通信复杂性在现有的分散PCA算法。\texttt{DeEPCA}是第一个分散PCA算法，每个幂迭代的通信轮数与目标精度无关。与现有的算法相比，该方法更容易在实践中调整，与改善的整体通信成本。我们的实验验证了\texttt{DeEPCA}经验的优势。
2021-02-08 cs.LG math.OC
Revisiting Optimal Convergence Rate for Smooth and Non-convex Stochastic Decentralized Optimization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）；MetaCarbon
分散优化是大规模机器学习中节省通信的有效方法。虽然已经提出了许多算法的理论保证和经验的成功，分散优化的性能限制，特别是网络拓扑结构及其相关的权重矩阵的最优收敛速度的影响，还没有得到充分的理解。虽然（Lu和Sa，2021）最近为非凸随机分散优化提供了一个最优速率，其权重矩阵定义在线性图上，但具有一般权重矩阵的最优速率仍不清楚。本文重新研究了非凸随机分散优化问题，并在一般权矩阵下建立了一个最优收敛速度。此外，我们还建立了非凸损失函数进一步满足Polyak-Lojasiewicz（PL）条件时的最优速率。按照文献中现有的分析路线无法实现这些结果。相反，我们利用环格图承认一般的权重矩阵，同时保持图直径和权重矩阵连通性之间的最佳关系。最后，我们开发了一个新的分散算法，几乎达到上述两个最优速率在额外的温和条件。
2022-10-14 cs.LG math.OC
Decentralized Gradient-Free Methods for Stochastic Non-Smooth Non-Convex Optimization
针对非光滑非凸Lipschitz函数的去中心化优化问题，提出基于随机平滑与梯度跟踪的无梯度算法DGFM及结合方差缩减的改进版DGFM$^+$，降低了计算开销并提升了收敛复杂度，经实验验证有效。
2025-01-28 cs.DC math.OC
Decentralized Markov Chain Gradient Descent
National University of Defense Technology（国防科技大学）
分散随机梯度法是解决大规模机器学习问题的一种有效方法。本文研究了分散马尔可夫链梯度下降（DMGD）算法-分散随机梯度法的一种变体，其中随机样本沿马尔可夫链的轨迹。当获得独立样本的成本很高或不可能时，这种设置是有充分动机的，这排除了传统随机梯度算法的使用。具体来说，我们考虑一阶和零阶版本的分散马尔可夫链梯度下降在一个连接的网络，其中每个节点只与它的邻居关于中间结果进行通信。所提出的算法的非遍历收敛性和遍历收敛速度已被严格建立，并已强调其关键依赖于网络拓扑结构和混合时间的马尔可夫链。数值试验进一步验证了算法的采样效率。
2021-04-13 cs.LG cs.NA math.NA
An Empirical Study on Compressed Decentralized Stochastic Gradient Algorithms with Overparameterized Models
The Chinese University of Hong Kong（香港中文大学）
本文考虑分散优化与应用到图上的机器学习。神经网络（NN）模型的规模不断增长，促使分散式随机梯度算法的先前工作，以纳入通信压缩。另一方面，最近的工作已经证明了良好的收敛性和推广性能的过参数化神经网络。在这项工作中，我们提出了一个实证分析的压缩分散随机梯度（DSG）算法与过参数化神经网络的性能。通过在MPI网络环境下的仿真，我们观察到流行的压缩DSG算法的收敛速度对神经网络的大小具有鲁棒性。我们的研究结果表明，在现有文献中的压缩DSG算法的理论和实践之间的差距。
2021-10-09 cs.DC cs.LG math.OC
Toward Exact Convergence in Byzantine-Robust Decentralized Learning: A Statistical Identification Approach
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；School of Statistics and Data Sciences, Nankai University（南开大学统计与数据科学学院）
本文提出一种基于统计识别的去中心化鲁棒学习方法，通过主动识别恶意节点实现精确收敛，理论证明其在存在拜占庭节点时能达到最优收敛率。
2026-04-17 math.OC stat.ME
Decentralized Composite Optimization in Stochastic Networks: A Dual Averaging Approach with Linear Convergence
分散优化，特别是分散复合凸优化（DCCO）问题，有着广泛的应用。由于在实际中普遍存在的通信拥塞和随机丢弃，因此非常需要设计能够处理随机通信网络的分散算法。然而，大多数现有的DCCO算法只工作在网络中的确定性连接在有界的通信轮，因此不能扩展到随机网络。本文提出了一种新的分散双平均（DDA）算法，可以求解随机网络中的DCCO。在随机网络上，在一个相当温和的条件下，我们证明了所提出的算法达到全局线性收敛，如果每个局部目标函数强凸。我们的算法大大提高了现有的DDA型算法，因为后者只知道收敛次线性之前，我们的工作。实现提高的速率的关键是设计一种新的动态平均共识协议的DDA，直观地导致更准确的局部估计的全球对偶变量。据我们所知，这是第一个线性收敛的DDA型分散算法，也是第一个算法，达到全局线性收敛求解DCCO随机网络。数值结果也支持我们的设计和分析。
2022-10-11 cs.DC math.OC
Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
Department of Mathematical Sciences（数学科学系）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Department of Computer Science（计算机科学系）；MIT-IBM Watson AI Lab, IBM Research（MIT-IBM Watson AI实验室，IBM研究）；IBM T. J. Watson Research Center（IBM T.J. 华生研究中心）
本文提出两种压缩去中心化动量随机梯度算法，分别针对梯度有界和无界数据异构场景，实现最优收敛率、线性加速，并在DNN和Transformer训练中表现优越。
2025-08-07 cs.LG math.OC
On linear convergence of two decentralized algorithms
Michigan State University（密歇根州立大学）
分散式算法解决连接网络上的多智能体问题，其中信息只能与可访问的邻居交换。虽然存在几种分散优化算法，但分散算法和集中算法在收敛条件和收敛速度上仍存在差距。在本文中，我们填补了一些空白，考虑两个分散的算法：EXTRA和NIDS。它们都线性收敛于强凸目标函数。我们将回答两个关于他们的问题。它们的步长的最优上界是什么？分散式算法是否比集中式算法需要更多的函数性质来实现线性收敛？更具体地说，我们放宽了所需的条件，这两种算法的线性收敛。对于额外的，我们表明，步长是可比的集中式算法。对于NIDS，步长的上界被证明是完全相同的集中。此外，我们放宽了对目标函数和混合矩阵的要求。在最弱的条件下，我们给出了这两种算法的线性收敛结果。
2021-02-04 cs.DC cs.LG cs.NA
