Decentralized gradient methods: does topology matter?
Inria（法国国家信息与自动化研究所）；Univ. Côte d’Azur（蔚蓝海岸大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
最近，基于递归的分布式优化方法被提倡作为参数服务器和环全约简范例的替代方案，用于机器学习模型的大规模训练。在这种情况下，每个工作者维护最优参数向量的局部估计，并通过平均从其邻居获得的估计来迭代地更新它，并基于其局部数据集应用校正。虽然理论结果表明，工作者通信拓扑结构应该对收敛所需的epoch数量有很大影响，但以前的实验显示了相反的结论。本文揭示了这一明显的矛盾，并显示稀疏拓扑结构可以导致更快的收敛，即使在没有通信延迟。
2020-02-28 cs.DC cs.LG math.OC
Expander Graph and Communication-Efficient Decentralized Optimization
在本文中，我们讨论了如何设计图的拓扑结构，以减少某些分散优化算法的通信复杂度。我们的目标是尽量减少达到规定精度所需的总通信量。我们发现，所谓的扩展图是接近最优的选择。我们提出了三种方法来构建不同数量的节点和节点度的扩展图。我们的数值结果表明，分散优化的性能是显着更好的扩展图比其他正则图。
2016-12-03 cs.DC cs.MA math.OC
Gradient tracking and variance reduction for decentralized optimization and machine learning
解决有限和最小化问题的分散式方法在许多信号处理和机器学习任务中是重要的，其中数据分布在节点网络上，并且由于隐私和/或资源约束而不允许原始数据共享。在这篇文章中，我们回顾了分散随机一阶方法，并提供了一个统一的算法框架，结合方差减少与梯度跟踪，以实现鲁棒性能和快速收敛。当目标函数是光滑的和强凸的时，我们给出了相应方法的明确的理论保证，并通过数值实验证明了它们对非凸问题的适用性。在整篇文章中，我们通过对感兴趣的方法进行适当的权衡和比较，并通过突出机器学习模型的分散训练应用，直观地说明了主要的技术思想。
2020-02-13 cs.DC cs.LG cs.MA
Refined Convergence and Topology Learning for Decentralized SGD with Heterogeneous Data
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Université de Bâle（巴塞尔大学）；EPFL（洛桑联邦理工学院）
分散式和联邦学习的关键挑战之一是设计算法，有效地处理跨代理的高度异构的数据分布。在本文中，我们重新分析流行的分散式随机梯度下降算法（D-SGD）在数据异构性。我们展示了一个新的数量，称为邻域异质性，D-SGD的收敛速度所发挥的关键作用。通过耦合的通信拓扑结构和异质性，我们的分析揭示了这两个概念之间的相互作用知之甚少。然后，我们认为，邻域异质性提供了一个自然的标准来学习数据依赖的拓扑结构，减少（甚至可以消除），否则不利的影响，数据异构性的收敛时间的D-SGD。对于标签倾斜分类的重要情况下，我们制定了学习这样一个良好的拓扑结构的问题，我们解决了一个易于处理的优化问题，弗兰克-沃尔夫算法。正如一组模拟和真实实验所示，我们的方法提供了一种设计稀疏拓扑的原则性方法，该拓扑可以在数据异构的情况下平衡D-SGD的收敛速度和每次迭代的通信成本。
2022-10-21 cs.LG math.OC stat.ML
Tackling Data Heterogeneity: A New Unified Framework for Decentralized SGD with Sample-induced Topology
Zhejiang University（浙江大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
我们开发了一个通用的框架，统一了几个基于梯度的随机最优化方法的经验风险最小化问题，在集中式和分布式的情况下。该框架的关键在于引入一个增强图，该图由对样本进行建模的节点和对设备间通信和设备内随机梯度计算进行建模的边组成。通过适当设计的拓扑结构的增强图，我们能够恢复作为特殊情况下著名的本地SGD和DSGD算法，并提供了一个统一的视角方差减少（VR）和梯度跟踪（GT）的方法，如SAGA，本地SVRG和GT-SAGA。我们还提供了一个统一的收敛性分析光滑和（强）凸的目标依赖于一个适当的结构李雅普诺夫函数，所获得的速度可以恢复最好的已知结果，许多现有的算法。速率结果进一步表明，VR和GT方法可以分别有效地消除设备内和设备间的数据异构性，从而使算法精确收敛到最优解。数值实验证实了本文的研究结果。
2022-07-08 cs.DC cs.LG math.OC
Energy-efficient Decentralized Learning via Graph Sparsification
Pennsylvania State University（宾夕法尼亚州立大学）
针对去中心化学习能耗高的问题，通过优化混合矩阵并采用图稀疏化方法，提出有性能保证及贪婪启发式解法，在真实数据上使最繁忙节点能耗降低54%-76%且保持模型质量。
2024-05-22 cs.DC cs.LG math.OC
Beyond spectral gap: The role of the topology in decentralized learning
EPFL（洛桑联邦理工学院）
在机器学习模型的数据并行优化中，工作人员协作以改进他们对模型的估计：更准确的梯度允许他们使用更大的学习率并更快地优化。我们考虑所有工人从同一数据集采样，并通过稀疏图（分散式）进行通信的设置。在这种情况下，当前的理论未能捕捉到现实世界行为的重要方面。首先，通信图的“频谱间隙”不能预测其在（深度）学习中的经验表现。第二，目前的理论并没有解释合作比单独训练能够实现更大的学习率。事实上，它规定了较小的学习率，随着图变得更大，学习率进一步降低，无法解释无限图中的收敛。本文的目的是描绘一个精确的图片稀疏连接的分布式优化时，工人共享相同的数据分布。我们量化了图的拓扑结构如何影响二次玩具问题的收敛性，并为一般光滑和（强）凸目标提供了理论结果。我们的理论与深度学习中的经验观察相匹配，并准确地描述了不同图拓扑的相对优点。
2022-11-08 cs.LG math.OC stat.ML
Snap-Shot Decentralized Stochastic Gradient Tracking Methods
在分散式优化中，$m$代理形成一个网络，只与它们的邻居通信，这在数据所有权、隐私和可扩展性方面具有优势。与此同时，分散随机梯度下降（\texttt{SGD}）方法作为用于训练大规模机器学习模型的流行分散算法，已显示出其相对于集中式方法的优越性。分布式随机梯度跟踪（\texttt{DSGT}）\citep{pu2021distributed}由于其良好的理论保证而被公认为是最流行和最先进的分散\texttt{SGD}方法。然而，对\dsgt ~ \citep{koloskova2021improved}的理论分析表明，其迭代复杂度为$\tilde{\mathcal{O}} \left(\frac{\barσ^2}{mμ\varepsilon} + \frac{\sqrt{L}\barσ}{μ(1 - λ_2(W))^{1/2} C_W \sqrt{\varepsilon} }\right)$，其中$W$是表示网络拓扑的双随机混合矩阵，$ C_W $是依赖于$W$的参数。因此，这表明\texttt{DSGT}的收敛特性受到通信网络拓扑的严重影响。针对\texttt{DSGT}算法的不足，本文采用快照梯度跟踪技术，提出了两种新的算法。我们进一步证明了在与\dsgt ~相似的算法结构和相同的通信策略下，所提出的两种算法对通信网络的拓扑结构具有更强的鲁棒性。与\dsgt相比，它们的迭代复杂度…
2022-12-10 math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Graph topology invariant gradient and sampling complexity for decentralized and stochastic optimization
分散式多智能体优化中的一个基本问题是梯度/采样复杂度和通信复杂度之间的权衡。我们提出了新的算法，其梯度和采样的复杂性是图形拓扑不变的，而他们的通信复杂性保持最佳。对于凸光滑确定性问题，我们提出了一个原始对偶滑动（PDS）算法，计算$ε$ -解决方案与$O((\tilde{L}/ε)^{1/2})$梯度和$O((\tilde{L}/ε)^{1/2}+\|\mathcal{A}\|/ε)$通信复杂性，其中$\tilde{L}$是光滑参数的目标和$\mathcal{A}$是相关的图形拉普拉斯算子或转置的通信网络的定向关联矩阵。在$μ$-强凸性下，结果可分别改进为$O((\tilde{L}/μ)^{1/2}\log(1/ε))$和$O((\tilde{L}/μ)^{1/2}\log(1/ε) + \|\mathcal{A}\|/ε^{1/2})$.我们还提出了一个随机变量，原始对偶滑动（SPDS）算法的随机梯度问题。SPDS算法利用小批量技术，使代理同时执行采样和通信。它计算具有$O((\tilde{L}/ε)^{1/2} + (σ/ε)^2)$采样复杂度的随机$ε$ -解，该解可以改进为具有强凸性的$O((\tilde{L}/μ)^{1/2}\log(1/ε) + σ^2/ε)$。这里$σ^2$是方差。SPDS的通信复杂度与确定性情形相同。所有上述梯度和采样复杂度都与集中式凸光滑优化的复…
2021-01-13 math.OC
Can Decentralized Control Outperform Centralized? The Role of Communication Latency
本文研究通信延迟对网络化控制系统性能的影响，证明当延迟随链路数增长足够快时，基于最近邻交互的稀疏分散式控制器可优于全对全通信的集中式控制器。
2023-01-26 cs.MA math.OC
Minimum effort decentralized control design for contracting network systems
我们考虑的问题，使一个网络化的系统的合同，通过设计最小努力的本地控制器。我们的方法结合了层次收缩表征和矩阵平衡的方法来稳定梅茨勒矩阵通过最小的对角扰动。我们证明了我们的方法，通过设计局部控制器，使收缩的FitzHugh-Nagumo神经元网络的一般拓扑结构的相互作用。
2022-03-19 math.OC
MATCHA: Speeding Up Decentralized SGD via Matching Decomposition Sampling
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
该研究提出MATCHA算法，通过匹配分解采样在去中心化SGD中实现误差与运行时间的双赢，验证了其在各种数据集和深度神经网络上的有效性，证明其比传统去中心化SGD快5倍。
2019-11-18 cs.LG cs.SY eess.SY
Decentralized design of leader-following consensus protocols for asymmetric matrix-weighted heterogeneous multiagent systems
Beijing University of Technology（北京工业大学）；Ministry of Education（教育部）
本文研究了在固定通信拓扑下包含定向生成树(DST)和不对称权重矩阵的异构多智能体系统中，去中心化设计领导者-跟随者一致性协议的方法。通过最小通信链路信息设计控制协议，并利用线性变换方法将一致性问题转化为部分变量稳定性问题，提出去中心化设计方法以确定协议中的增益矩阵。
2026-03-17 cs.SY eess.SY math.OC
A Decentralized Primal-Dual Framework for Non-convex Smooth Consensus Optimization
在这项工作中，我们介绍了ADAPD，$\textbf{A}$ $\textbf{D}$ ecentr $\textbf{A}$ lized $\textbf{P}$ rimal- $\textbf{D}$ ual算法框架解决非凸和光滑的共识最优化问题在网络上的分布式代理。建议的框架依赖于一个新的问题制定，elancialADMM型更新，每个代理首先不精确地解决了一个局部强凸子问题，其选择的任何方法，然后执行邻居通信更新一组对偶变量。我们提出了两种变体，允许一个单一的梯度步骤的原始更新或多个通信的双重更新，利用每次迭代的成本和迭代次数之间的权衡。当多个通信被执行时，ADAPD可以实现理论上最优的通信复杂度结果的非凸和光滑的共识问题。在几个应用程序（包括深度学习应用程序）上进行的数值实验证明了ADAPD优于几种常用的分散式方法。
2023-02-03 math.OC
Scalable Decentralized Learning with Teleportation
Kyoto University（京都大学）；OIST（冲绳科学技术大学院大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
提出TELEPORTATION方法，通过仅激活部分节点并在小拓扑上进行参数交换，完全消除分散式SGD在大规模节点下的收敛速度下降，并提升训练稳定性与准确率。
2025-02-28 cs.LG math.OC stat.ML
Accelerated Decentralized Optimization with Local Updates for Smooth and Strongly Convex Objectives
INRIA（法国国家信息与自动化研究所）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；MSR-INRIA Joint Centre（微软研究院-法国国家信息与自动化研究所联合中心）
在本文中，我们研究的问题，最小化的光滑和强凸函数的总和分裂在一个网络的节点在一个分散的方式。我们提出的算法$ESDACD$，分散的加速算法，只需要本地同步。其速率取决于本地功能的条件数$κ$以及网络拓扑和延迟。在对图的拓扑结构的温和假设下，$ESDACD$花费时间$O((τ_{\max} + Δ_{\max})\sqrt{κ/γ}\ln(ε^{-1}))$来达到精确的$ε$，其中$γ$是图的谱间隙，$τ_{\max}$是最大通信延迟，并且$Δ_{\max}$是最大计算时间。因此，它与$SSDA$的速率匹配，当$τ_{\max} = Ω\left(Δ_{\max}\right)$。将$ESDACD$应用于二次局部函数，得到速率为$O( \sqrt{θ_{\rm gossip}/n})$的加速随机流言算法，其中$θ_{\rm gossip}$是标准随机流言的速率。据我们所知，它是第一个异步八卦算法，具有可证明的改进收敛速度的二阶矩的错误。我们说明这些结果与理想化设置中的实验。
2019-02-22 cs.DC cs.LG math.OC
Near-Optimal Decentralized Algorithms for Saddle Point Problems over Time-Varying Networks
分散式最优化方法由于其可扩展性、并行算法的日益普及和广泛的应用而受到优化界的关注。在这项工作中，我们研究的总和型鞍点问题，其中的被加数是由一个网络连接的单独的计算实体。网络拓扑可能会不时地改变，这模拟了现实世界的网络故障。我们获得较低的复杂性界限，在这种设置和开发接近最佳的方法，满足下界的算法。
2021-09-14 math.OC
An acceleration of decentralized SGD under general assumptions with low stochastic noise
分布式最优化方法是优化界研究的热点。由于在分布式机器学习中的应用，现代研究方向包括随机目标，降低通信频率和时变通信网络拓扑。最近，Koloskova et al.（2020）开发了一种分析，将几种集中式和分散式方法统一到随机分布式优化中。在这项工作中，我们采用了催化剂框架，并在低随机噪声的情况下加速了Koloskova et al.（2020）的速率。
2021-06-14 cs.CC math.OC
Understanding the Influence of Digraphs on Decentralized Optimization: Effective Metrics, Lower Bound, and Optimal Algorithm
本文研究有向网络对去中心化随机非凸优化的影响，提出“平衡偏度”新指标与谱隙共同刻画拓扑影响，首次建立收敛速率下界，并设计近最优的 MG-Push-Diging 算法。
2024-04-27 math.OC
Budget-Constrained Multi-Consensus Decentralized Gradient Descent
Linköping University（林雪平大学）；Arizona State University（亚利桑那州立大学）
本文提出多共识分布式梯度下降（mcDGD）方案，在预算约束下通过优化共识轮数与步长分配，实现通信与计算资源的高效利用，并证明均等分配共识轮数在步长规则下最优。
2026-10-07 cs.SY eess.SY math.OC
Decentralized Sparse Multitask RLS over Networks
分布式自适应信号处理由于其在网络系统中的分散实时应用中的有效性，在近十年来引起了人们的广泛关注。由于许多自然信号是高度稀疏的，大多数元素等于零，最近提出了几种分散稀疏自适应算法。大多数研究集中在单任务估计问题上，即所有节点接收与同一未知向量相关联的数据并协作估计，但许多应用程序本质上是面向多任务的，每个节点都有自己的未知向量。相关的多任务估计问题受益于节点之间的协作，因为相邻节点通常具有相似的属性，因此具有相似的未知向量。在这项工作中，我们研究了网络上的分布式稀疏多任务递归最小二乘（RLS）问题。首先，我们提出了一个分散的在线交替方向法的乘法器（ADMM）算法制定的RLS问题。该算法被简化，易于实现，在每次迭代中的封闭形式的计算和低存储要求。此外，为了进一步降低复杂度，我们提出了一个分散的在线次梯度方法，具有较低的计算开销。我们从理论上分析了所提出的次梯度法的收敛行为，并推导出与网络拓扑结构和算法参数有关的误差界。数值模拟证实了所提出的算法的有效性，并强调了所提出的两种算法之间的精度-复杂度权衡。
2017-02-21 math.OC
A Stochastic Approximation Approach for Efficient Decentralized Optimization on Random Networks
The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
针对不可靠带宽受限网络下随机时变拓扑的去中心化优化问题，提出FSPDA框架及FSPDA-SA和FSPDA-STORM两种算法，通过随机增广拉格朗日方法支持高效稀疏化通信，实现快速收敛与低样本复杂度。
2025-05-28 cs.DC cs.LG math.OC
Decentralized Optimization with Topology-Independent Communication
本文提出一种随机局部协调的去中心化优化方法，每个节点每次迭代仅随机采样一个正则化项并与相关节点通信，将通信量降至常数级，同时保持与全同步方法相当的收敛速率。
2025-09-17 cs.LG math.OC
Stochastic Momentum Tracking Push-Pull for Decentralized Optimization over Directed Graphs
School of Electrical Engineering, Sichuan University（四川大学电气工程学院）
本文提出Stochastic Momentum Tracking Push-Pull算法，通过追踪动量项而非随机梯度，解决有向图上非对称通信和高方差梯度导致的震荡问题，实现收敛。
2026-04-09 math.OC
Decentralized Optimization over Tree Graphs
本文提出了一种树型网络上非凸优化的分散算法。我们假设这个网络的每个节点都可以解决小规模的最优化问题和通信近似值函数与它的邻居基于一种新的多扫描通信协议。与现有的非凸优化的并行优化算法相比，网络的节点既不同步也不分配任何中心实体。没有一个节点需要知道整个网络的拓扑结构，但所有节点都知道网络是树结构的。我们讨论的条件下，局部平方收敛速率可以实现。该方法是通过运行分散的异步多扫描协议的径向交流电力网络的案例研究。
2020-10-30 math.OC
Decentralized design of consensus protocols with minimal communication links based on directed spanning tree
College of Artificial Intelligence and Automation, Beijing University of Technology（北京工业大学人工智能与自动化学院）；Engineering Research Center of Digital Community, Ministry of Education（教育部数字社区工程研究中心）
本文提出基于有向生成树的去中心化共识协议设计方法，通过线性变换和最小通信链路实现多智能体系统的共识问题转化与稳定控制，验证了去中心化设计的有效性。
2026-03-17 cs.SY eess.SY math.OC
Fast Decentralized Optimization over Networks
目前的工作介绍了混合共识交替方向法的乘法器（H-CADMM），一个新的框架，优化网络，统一现有的分布式优化方法，包括集中式和分散式的共识ADMM。H-CADMM提供了一种灵活的工具，该工具利用底层图形拓扑，以便在节点到节点通信开销和收敛速率之间实现所需的最佳点--从而减轻C-CADMM和D-CADMM两者的已知限制。对新方法的严格分析建立了线性收敛速率，并且还指导参数的选择以优化该速度。H-CADMM的新型混合更新规则有助于“网络内加速”，这被证明可以显著提高完全分散的ADMM的性能，而且基本上是“免费的”。全面的数值测试验证了分析，并展示了该方法在处理有效，广泛有用的学习任务的潜力。
2018-05-09 cs.DC eess.SP math.OC
Communication-efficient Decentralized Local SGD over Undirected Networks
UIUC（伊利诺伊大学厄巴纳-香槟分校）；MIT（麻省理工学院）
我们认为分布式学习问题的网络$n$代理寻求最小化的全球功能$F$。代理可以通过噪声梯度访问$F$，并且它们可以在本地与网络中的邻居进行通信。我们研究了分散式局部SDG方法，其中代理执行一些局部梯度步骤，偶尔与邻居交换信息。以前的算法分析工作集中在特定的网络拓扑（星形拓扑），其中领导节点聚合所有代理的信息。我们通过分析每个代理的通信轮数和计算工作量之间的权衡，将该设置推广到任意网络。我们根据迭代次数$T$、工作节点数量$n$和底层网络的谱间隙来限制预期的最优性间隙。我们的主要研究结果表明，通过只使用$R=Ω(n)$通信轮，可以实现的错误，规模为$O({1}/{nT})$，其中通信轮数是独立的$T$，只取决于代理的数量。最后，我们通过对真实数据和合成数据的实验，为我们的理论结果提供了数值证据。
2020-11-06 cs.LG math.OC
Decentralized Optimization in Networks with Arbitrary Delays
本文针对具有任意通信延迟的网络去中心化优化问题，提出一种无需节点已知出度的新型gossip算法，证明其在非凸目标上收敛且主复杂度阶与集中式SGD一致，延迟仅影响高阶项。
2024-01-20 cs.MA cs.SY eess.SP
When Decentralized Optimization Meets Federated Learning
Temple University（天普大学）；University of Florida（佛罗里达大学）
本文系统梳理将去中心化优化引入联邦学习以解决中心化架构单点故障问题的挑战与机遇，并从模型、数据和通信三方面展开分析。
2023-06-05 cs.LG math.OC
Decentralized Bilevel Optimization: A Perspective from Transient Iteration Complexity
Center for Data Science, Peking University（北京大学数据科学中心）；Center for Machine Learning Research, Peking University AI for Science Institute（北京大学人工智能科学研究院机器学习研究中心）
本文提出D-SOBA框架，通过分析瞬态迭代复杂度，首次理论探讨了网络拓扑、数据异质性及嵌套双层结构对去中心化随机双层优化的影响。
2025-11-26 cs.LG math.OC stat.ML
A fast randomized incremental gradient method for decentralized non-convex optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
我们研究分散的非凸有限和最小化问题描述的网络节点，其中每个节点拥有一个本地批次的数据样本。在这种情况下，我们分析了一种单时间尺度随机增量梯度法，称为GT-SAGA。GT-SAGA在计算上是高效的，因为它在每次迭代中评估每个节点的一个分量梯度，并通过利用节点级方差减少和网络级梯度跟踪来实现可证明的快速和鲁棒性能。对于一般的光滑非凸问题，我们证明了GT-SAGA的几乎必然和均方收敛到一阶稳定点，并进一步描述了具有实际意义的制度，它优于现有的方法，并分别实现了网络拓扑无关的迭代复杂性。当全局函数满足Polyak-Lojaciewisz条件时，我们证明了GT-SAGA具有线性收敛到期望的最优解，并描述了实际感兴趣的制度，其中性能是网络拓扑无关的，并改进了现有的方法。数值实验包括突出的主要方面的GT-SAGA在非凸设置的收敛性。
2021-09-30 cs.LG cs.SY eess.SY
On the Linear Convergence of the ADMM in Decentralized Consensus Optimization
在分散式共识优化中，连接的代理网络协作地最小化它们在公共决策变量上的局部目标函数的和，其中它们的信息交换在邻居之间受到限制。为此，可以首先获得问题的重新表述，然后应用乘子的交替方向法（ADMM）。该方法采用迭代计算在各个代理和邻居之间的信息交换。据观察，这种方法收敛迅速，被认为是强大的。本文对具有强凸局部目标函数的分散一致最优化问题建立了它的线性收敛速率。根据网络拓扑结构、局部目标函数的性质和算法参数，给出了算法的理论收敛速度。这一结果不仅是性能保证，也是加快ADMM收敛的指导方针。
2014-11-30 math.OC
Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs
School of Cyber Science and Technology Sun Yat-sen University（南方科技大学）
本文提出了一种统一的稳定性框架，用于分析基于推-和的去中心化优化算法在定向图上的稳定性与泛化性能，揭示了问题条件与拓扑结构之间的耦合关系。
2026-02-24 cs.LG math.OC stat.ML
Decentralized Markov Chain Gradient Descent
National University of Defense Technology（国防科技大学）
分散随机梯度法是解决大规模机器学习问题的一种有效方法。本文研究了分散马尔可夫链梯度下降（DMGD）算法-分散随机梯度法的一种变体，其中随机样本沿马尔可夫链的轨迹。当获得独立样本的成本很高或不可能时，这种设置是有充分动机的，这排除了传统随机梯度算法的使用。具体来说，我们考虑一阶和零阶版本的分散马尔可夫链梯度下降在一个连接的网络，其中每个节点只与它的邻居关于中间结果进行通信。所提出的算法的非遍历收敛性和遍历收敛速度已被严格建立，并已强调其关键依赖于网络拓扑结构和混合时间的马尔可夫链。数值试验进一步验证了算法的采样效率。
2021-04-13 cs.LG cs.NA math.NA
Tackling heavy-tailed noise in distributed estimation: Asymptotic performance and tradeoffs
University of Novi Sad（诺维萨德大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种处理重尾观测和通信噪声的分布式参数估计算法，分析了其渐近正常性和系统噪声与网络拓扑间的权衡。
2026-03-21 cs.IT math.IT math.OC
Joint Frequency Regulation and Economic Dispatch Using Limited Communication
研究了电网联合调频与经济调度的分散积分控制方案的性能。我们表明，通过适当地设计控制器增益，在潮流扰动后，控制实现接近最优的经济调度，同时恢复标称频率，而不需要任何通信。基于直流潮流模型，量化了分散控制方案下的可控发电成本与最优成本之间的差距。此外，我们研究了成本和收敛时间之间的权衡，通过调整参数的控制方案。发电机之间的通信减少了收敛时间。我们确定的关键通信链路的故障有更显着的影响，需要邻居之间的信息交换的分布式电网控制方案的性能。
2018-09-07 math.OC
Decentralized Submodular Maximization: Bridging Discrete and Continuous Settings
在本文中，我们展示了网络结构设置中离散和连续优化之间的相互作用。我们提出了第一个完全分散的最优化方法的广泛的一类非凸目标函数，具有收益递减属性。更具体地说，给定一个任意连接的网络和一个全球连续的次模函数，形成了一个本地功能的总和，我们开发分散连续贪婪（DCG），消息传递算法，收敛到紧（1-1/e）的近似因子的最佳全球解决方案，只使用本地计算和通信。我们还提供了强大的收敛界作为一个函数的网络规模和频谱特征的基础拓扑结构。有趣的是，DCG很容易通过连续松弛的方式为分散的离散子模最大化提供了一个简单的方法。形式上，我们证明，通过提升局部离散函数的连续域和使用DCG作为接口，我们可以开发一个共识算法，也实现了紧（1-1/e）近似保证的全球离散解决方案，一旦适当的舍入方案。
2018-02-11 math.OC
Limitations and tradeoffs in synchronization of large-scale networks with uncertain links
Iowa State University（爱荷华州立大学）
本文研究了具有不确定连接的线性网络中标量非线性系统的同步问题，提出了一种基于非线性动态参数、网络拓扑和不确定性统计的同步条件，并揭示了内部动态、网络拓扑和不确定性统计之间的权衡关系。
2015-05-21 cs.SY eess.SY math.OC
Decentralized Computation Offloading for Multi-User Mobile Edge Computing: A Deep Reinforcement Learning Approach
Columbia University（哥伦比亚大学）；Amazon Canada（亚马逊加拿大公司）
移动边缘计算（MEC）是最近出现的一种有前途的解决方案，可以将资源有限的移动设备从计算密集型任务中解脱出来，使设备能够将工作负载卸载到附近的MEC服务器，并提高计算体验的质量。然而，通过考虑本文中的多个移动用户与随机任务到达和无线信道组成的MEC系统，计算卸载策略的设计是具有挑战性的，以最小化长期平均计算成本的功耗和缓冲延迟。研究了一种基于深度强化学习（DRL）的分散动态计算卸载策略，以构建一个具有有限反馈的可扩展MEC系统。具体而言，一个连续的动作空间为基础的DRL方法命名为深度确定性策略梯度（DDPG）的学习有效的计算卸载策略独立地在每个移动用户。因此，本地执行和任务卸载两者的功率可以通过从MEC系统的每个用户的本地观察学习的策略来自适应地分配。数值结果表明，有效的政策，可以在每个用户学习，并提出DDPG的分散策略的性能优于传统的深度Q网络（DQN）的离散功率控制策略和其他一些贪婪的策略，减少计算成本。此外，还分析了基于DDPG和基于DQN的策略的功率延迟折衷。
2018-12-16 cs.LG eess.SP math.OC
On the Convergence of Decentralized Stochastic Gradient-Tracking with Finite-Time Consensus
Imperial College London（帝国理工学院）
研究探讨了近似有限时间共识序列对去中心化优化算法收敛性的影响，揭示了近似误差与序列长度及问题参数之间的关系。
2026-02-15 eess.SP math.OC
A Proximal Gradient Method With Probabilistic Multi-Gossip Communications for Decentralized Composite Optimization
Suzhou University of Technology（苏州科技大学）；Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
针对分散式光滑＋非光滑复合优化，提出概率局部更新与多Gossip通信的 MG-Skip，在强凸连通网络中以独立于拓扑和更新次数的步长获得可证明通信加速。
2025-09-27 cs.LG math.OC
Plug-and-play voltage and frequency control of islanded microgrids with meshed topology
Dipartimento di Ingegneria Industriale e dell’Informazione Università degli Studi di Pavia（帕维亚大学工业与信息工程学院）
本文提出了一种新的分布式控制方案，用于由分布式发电单元互联组成的孤立微电网，通过本地控制器调节每个DGU的PCC电压和频率，确保整体稳定性。设计过程是分散的，且允许即插即用操作，仅需物理连接的DGU重新调整控制器。
2014-10-03 cs.SY eess.SY math.OC
Revisiting Optimal Convergence Rate for Smooth and Non-convex Stochastic Decentralized Optimization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）；MetaCarbon
分散优化是大规模机器学习中节省通信的有效方法。虽然已经提出了许多算法的理论保证和经验的成功，分散优化的性能限制，特别是网络拓扑结构及其相关的权重矩阵的最优收敛速度的影响，还没有得到充分的理解。虽然（Lu和Sa，2021）最近为非凸随机分散优化提供了一个最优速率，其权重矩阵定义在线性图上，但具有一般权重矩阵的最优速率仍不清楚。本文重新研究了非凸随机分散优化问题，并在一般权矩阵下建立了一个最优收敛速度。此外，我们还建立了非凸损失函数进一步满足Polyak-Lojasiewicz（PL）条件时的最优速率。按照文献中现有的分析路线无法实现这些结果。相反，我们利用环格图承认一般的权重矩阵，同时保持图直径和权重矩阵连通性之间的最佳关系。最后，我们开发了一个新的分散算法，几乎达到上述两个最优速率在额外的温和条件。
2022-10-14 cs.LG math.OC
Communication-Censored Linearized ADMM for Decentralized Consensus Optimization
在本文中，我们提出了一个通信和计算效率的算法来解决一个凸共识最优化问题定义在一个分散的网络。已有的一种求解该问题的算法是乘子交替方向法（ADMM），该算法在每次迭代中，每个节点通过合并相邻变量并求解一个优化子问题来更新其局部变量。该算法称为通信删失线性ADMM（COLA），利用线性化技术来减少ADMM的迭代计算成本，并使用通信删失策略来减轻通信成本。具体地说，COLA引入连续线性化近似的本地费用函数，从而得到的计算是一阶和轻量级的。由于线性化技术降低了收敛速度，COLA进一步采用通信审查策略，以避免传输信息量较少的消息。只有当当前局部变量与其先前传输的局部变量之间的距离大于删失阈值时，节点才被允许传输。当局部费用函数具有Lipschitz连续梯度且删失阈值可和时，证明了COLA算法是收敛的.当局部费用函数进一步强凸时，我们建立了COLA的线性（次线性）收敛速度，假设删失阈值线性（次线性）衰减到0。数值实验证实了理论研究结果，并证明了令人满意的通信计算权衡COLA。
2019-09-15 math.OC stat.ML
Differentially Private Formation Control: Privacy and Network Co-Design
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种协同设计框架，用于在多智能体系统中同时设计网络拓扑和隐私保护级别，以实现差分隐私下的形成控制。
2026-03-05 math.OC
Approximate optimal cooperative decentralized control for consensus in a topological network of agents with uncertain nonlinear dynamics
University of Florida（佛罗里达大学）
本文结合图论与自适应动态规划，设计近似最优控制器以应对具有不确定非线性动力学的分布式多智能体系统，提出基于局部通信反馈的分布式连续时间变控制策略。
2013-04-11 cs.SY eess.SY math.OC
Can Primal Methods Outperform Primal-dual Methods in Decentralized Dynamic Optimization?
本文研究了多智能体网络上的分散动态最优化问题。每个智能体拥有一个时变的局部目标函数，所有智能体的目标是协同跟踪漂移的全局最优解，最小化所有局部目标函数的总和。分散动态最优化问题可以用原始方法或原始-对偶方法求解，当问题退化为静态时，已有文献证明原始-对偶方法优于原始方法。这促使我们问：在分散式动态最优化中，原始对偶方法一定比原始方法好吗？为了回答这个问题，我们调查和比较原始方法，扩散，和原始-对偶方法，分散梯度跟踪（DGT）的收敛特性。理论分析表明，在一定的动态设置扩散可以优于DGT。我们发现，DGT和扩散显着影响的漂移和最佳梯度的大小，分别。此外，我们发现，DGT是更敏感的网络拓扑结构，一个坏连接的网络可以大大恶化其收敛性能。这些结论为在不同的应用场景中选择合适的动态算法提供了指导。数值实验验证了理论分析的正确性。
2020-03-02 math.OC
A Decentralized Primal-dual Method for Constrained Minimization of a Strongly Convex Function
我们提出了分散的原始-对偶方法的合作多智能体共识最优化问题在静态和时变通信网络，只允许本地通信。其目标是最小化圆锥约束集上的代理特定的凸函数的总和，因此，最佳的共识决策应该位于这些私人集的交集。在强凸性假设下，我们提供了次优，不可行性和共识违反所需的通信数量方面的收敛速度;检查底层网络拓扑结构对收敛速度的影响。
2022-02-21 math.OC
DeMuon: A Decentralized Muon for Matrix Optimization over Graphs
Department of Mathematics, Linköping University（利乌普堡大学数学系）；Department of Electrical Engineering, Linköping University（利乌普堡大学电气工程系）；Department of Computer and Information Science, Linköping University（利乌普堡大学计算机与信息科学系）
提出DeMuon方法，通过牛顿-舒尔茨迭代实现矩阵正交化，并利用梯度跟踪处理局部函数异质性，在重尾噪声下达到与集中式算法匹配的复杂度，首次将Muon扩展到去中心化图优化并具有可证明的复杂度保证。
2026-06-02 cs.AI cs.LG cs.MA
A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free!
KAUST（沙特阿拉伯国王科技大学）；EPFL（洛桑联邦理工学院）
分散式最优化方法能够在没有中央协调器的情况下在设备上训练机器学习模型。在许多情况下，设备之间的通信需要能量和时间，并且形成整个系统的瓶颈。我们提出了一种新的随机一阶方法，通过将随机压缩算子应用于通信消息来解决通信瓶颈。通过将我们的方案与一种新的方差降低技术相结合，该技术在整个迭代过程中逐渐降低了注入的量化噪声的不利影响，我们获得了第一个仅使用压缩通信时在强凸分散问题上线性收敛的方案。我们证明，我们的方法可以解决的问题，没有任何增加的通信数量相比，基线不执行任何通信压缩，同时仍然允许一个显着的压缩因子，这取决于条件的问题和网络的拓扑结构。我们的主要理论研究结果得到了数值实验的支持。
2020-11-03 cs.LG math.OC
Data-heterogeneity-aware Mixing for Decentralized Learning
IIT Kanpur（印度理工学院坎普尔分校）；EPFL（洛桑联邦理工学院）；CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
分散式学习提供了一个有效的框架，训练机器学习模型与数据分布在任意通信图。然而，大多数现有的分散式学习方法忽略了数据异构性和图拓扑之间的相互作用。在本文中，我们描述的依赖关系的收敛图的混合权重和跨节点的数据异质性。我们提出了一个度量，量化的能力，一个图混合当前的梯度。我们进一步证明，该度量控制着收敛速度，特别是在节点间的异质性主导给定节点更新之间的随机性的情况下。出于我们的分析，我们提出了一种方法，定期和有效地优化使用标准的凸约束优化和草图技术的度量。通过对标准计算机视觉和NLP基准测试的综合实验，我们表明，我们的方法可以提高测试性能，适用于各种任务。
2022-04-13 cs.AI cs.LG math.OC
ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们提出了ADOM -一个加速的方法，光滑和强凸分散优化随时间变化的网络。ADOM使用双oracle，即，我们假设可以访问各个损失函数的Fenchel共轭的梯度。在一个常数因子下，它的通信复杂度与加速Nesterov梯度法（Nesterov，2003）的通信复杂度相同。据我们所知，只有Rogozin等人（2019）的算法具有类似性质的收敛速度。然而，他们的算法在非常严格的假设下收敛，即网络变化的次数不能大于迭代次数的大于微小百分比。这一假设在实际中很难满足，因为网络拓扑结构的变化通常是无法控制的。相比之下，ADOM只需要网络在整个时间内保持连接。
2021-02-18 cs.LG math.OC
