Asynchronous Decentralized Stochastic Optimization in Heterogeneous Networks
我们认为，预期的风险最小化多代理系统组成的不同子集的代理操作没有一个共同的时间尺度。网络中的每个个体负责最小化全局目标函数，该全局目标函数是网络中每个代理的统计平均损失函数之和的平均值。由于代理人不被假设为观察来自相同分布的数据，所有代理人寻求共同行动的假设被违反，因此共识约束的假设被违反。因此，我们考虑非线性网络的邻近约束，激励附近的节点作出决定，这些决定是彼此接近，但不一定一致。此外，代理不被假定为在共同的时间索引上接收它们顺序到达的观测，因此寻求以异步方式学习。提出了一种异步随机变体的阿罗-赫维茨鞍点方法来解决这个问题，该方法通过交替原始随机下降步骤和拉格朗日乘子更新来惩罚代理之间的差异。这个工具导致了一个实现，允许每个代理只与本地信息异步操作，并与邻居进行消息传递。我们的主要结果建立，该方法产生的预期收敛的原始次优性和约束违反半径的大小$\mathcal{O}(\sqrt{T})$和$\mathcal{O}(T^{3/4})$，分别。通过自适应通信定价机制管理用户信道干扰的异步操作的无线网络的实证评估表明，我们的理论结果转化为实践。
2017-12-09 math.OC
Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对异构计算与通信延迟下的去中心化非凸优化，本文提出改进 ADSGD 模型，并借助 ASBCD 证明其无需数据异构有界即可采用不依赖计算延迟的步长收敛，实验显示其挂钟时间更优。
2025-05-15 cs.LG math.OC
Setwise Coordinate Descent for Dual Asynchronous Decentralized Optimization
针对去中心化优化中随机选择邻居忽略优化状态的问题，提出基于对偶代价最大改进的成组坐标下降算法，并开发新分析框架证明其能将迭代收敛速度提升至最大坐标集大小的倍数。
2025-04-26 math.OC
Asynchronous Decentralized Parallel Stochastic Gradient Descent
University of Rochester（罗切斯特大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；ETH Zurich（苏黎世联邦理工学院）；Tencent AI Lab（腾讯人工智能实验室）
最常用的分布式机器学习系统要么是同步的，要么是集中式异步的。像AllReduce-SGD这样的同步算法在异构环境中表现不佳，而使用参数服务器的异步算法遭受1）当工作者很多时参数服务器处的通信瓶颈，以及2）当到参数服务器的流量拥塞时收敛性明显更差。我们能否设计出一种算法，在异构环境中具有鲁棒性，同时保持通信效率和最佳的收敛速度？在本文中，我们提出了一个异步分散随机梯度下降算法（AD-PSGD）满足上述期望。我们的理论分析表明，AD-PSGD收敛在最佳$O(1/\sqrt{K})$率为SGD和线性加速比。工人的数量。从经验上讲，AD-PSGD优于分散式并行SGD（D-PSGD）、异步并行SGD（A-PSGD）和标准数据并行SGD（AllReduce-SGD），在异构环境中通常是几个数量级。当在最多128个GPU的ImageNet上训练ResNet-50时，AD-PSGD的收敛（相对于epoch）与AllReduce-SGD类似，但每个epoch的速度比网络共享HPC环境中的同步同行快4- 8倍。据我们所知，AD-PSGD是第一个异步算法，它在超过100 GPU的规模上实现了与AllReduce-SGD相似的逐时收敛速度。
2018-09-25 cs.LG math.OC stat.ML
Asynchronous Decentralized Event-triggered Control
University of Groningen（格罗宁根大学）
提出一种分散式事件触发控制器实现方法，允许传感器异步非周期测量，并通过单比特通信减少传输延迟和触发次数。
2013-05-17 cs.SY eess.SY math.OC
Asynchronous speedup in decentralized optimization
在分散优化中，通信网络的每个节点都拥有一个本地目标函数，并使用基于流言的方法进行通信，以最小化这些每个节点函数的平均值。虽然同步算法受到图中一些慢节点或边（\emph{straggler problem}）的严重影响，但它们的异步算法更难参数化。事实上，他们的收敛性能的异构通信和计算延迟的网络挑战分析到目前为止。在本文中，我们使用一个\emph{ continuized}框架来分析网络中的异步算法的延迟。我们的方法产生了一个精确的表征收敛时间和它的依赖于网络中的异构延迟。我们的连续化框架受益于连续和离散世界的最佳之处：它所应用的算法基于事件驱动的更新。因此，它们基本上是离散的，因此易于实现。然而，他们的分析基本上是在连续时间，部分依赖于延迟常微分方程的理论。此外，我们的算法实现了一个\emph{asynchronous speedup}：他们的收敛速率是由本地延迟加权的网络图的特征间隙控制，而不是在前面的分析中的网络范围内的最坏情况下的延迟。因此，我们的方法享有改进的鲁棒性掉队。
2022-09-01 cs.MA math.OC math.PR
Subdifferentiable functions and partial data communication in a distributed deterministic asynchronous Dykstra's algorithm
我们描述了一个分散的分布式确定性异步Dykstra算法，允许时变图在早期的文件。在本文中，我们将展示如何将次微分函数的框架使用类似的捆绑方法的步骤。我们指出，我们的算法也允许部分数据通信。本文讨论了一个标准的步骤，用于处理复合的凸和线性函数。
2018-08-22 math.OC
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Decentralized Optimization over Tree Graphs
本文提出了一种树型网络上非凸优化的分散算法。我们假设这个网络的每个节点都可以解决小规模的最优化问题和通信近似值函数与它的邻居基于一种新的多扫描通信协议。与现有的非凸优化的并行优化算法相比，网络的节点既不同步也不分配任何中心实体。没有一个节点需要知道整个网络的拓扑结构，但所有节点都知道网络是树结构的。我们讨论的条件下，局部平方收敛速率可以实现。该方法是通过运行分散的异步多扫描协议的径向交流电力网络的案例研究。
2020-10-30 math.OC
A Decentralized Quasi-Newton Method for Dual Formulations of Consensus Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文考虑了网络中每个节点都可以访问聚合费用函数的不同被加数的共识最优化问题。节点试图最小化聚合费用函数，而它们只与它们的邻居交换信息。我们修改的对偶分解方法，将曲率校正的启发Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法。由此产生的双D-BFGS方法是一个完全分散的算法，其中节点通过满足割线条件近似自己和邻居的曲率信息。双D-BFGS是在共识最优化问题的兴趣是不良态，使一阶分散方法无效，并在其中二阶信息是不容易获得的，使分散二阶方法不可行。异步实现的讨论和收敛的D-BFGS建立正式的同步和异步实现。性能优势相对于其他分散算法的数值。
2016-03-23 cs.DC cs.LG math.OC
Conservative Signal Processing Architectures For Asynchronous, Distributed Optimization Part II: Example Systems
本文提供了各种同步和异步信号处理系统进行优化的例子，利用在前面的文件中开发的框架和元素。该论文的一般策略是对适用于一类凸和非凸最优化问题的平稳性条件进行线性变换，从而得到对相关原始和对偶决策变量的线性叠加进行运算的算法。本文中的例子解决了各种具体的最优化问题，包括LASSO问题，最小最大最优滤波器设计，分散训练的支持向量机分类器，稀疏滤波器设计的声学均衡。在适当的情况下，多个算法解决相同的最优化问题，说明了使用的基础框架，在设计各种不同类别的算法。例子中附有数值模拟和收敛性的讨论。
2015-03-04 math.OC
Decentralized Schemes with Overlap for Solving Graph-Structured Optimization Problems
我们提出了一个新的算法范式的分散解决方案的图结构的最优化问题，出现在网络系统的估计和控制。所提出的方法的一个关键和新颖的设计概念是，它使用重叠的子域，以促进和加速收敛。我们表明，该算法收敛，如果重叠的大小是足够大的，并且收敛速度的重叠的大小呈指数级提高。所提出的方法提供了一个完全分散和集中式架构之间的桥梁，并且是灵活的，因为它可以实现异步方案，处理约束，平衡计算，通信和数据隐私的需求。在9241节点电力网络的估计问题中，我们测试了所提出的方案，并表明它优于乘法器的交替方向法。
2020-01-12 math.OC
Historical Information Accelerates Decentralized Optimization: A Proximal Bundle Method
本文提出去中心化近端束方法，利用历史信息加速去中心化优化，理论分析显示其在异步和随机环境下具有固定步长收敛优势。
2025-12-18 cs.SY eess.SY math.OC
DADAO: Decoupled Accelerated Decentralized Asynchronous Optimization
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Mila（米拉研究所）；Concordia University（康考迪亚大学）
本文提出 DADAO，一种用独立泊松点过程解耦计算与通信的去中心化异步一阶算法，在强凸光滑分布式优化中同时取得计算与通信加速。
2023-12-06 cs.AI cs.DC math.OC
Pick your Neighbor: Local Gauss-Southwell Rule for Fast Asynchronous Decentralized Optimization
EURECOM（EURECOM通信系统研究所）；Amazon（亚马逊）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；Criteo AI Lab（Criteo人工智能实验室）；Technical University of Crete（克里特理工大学）
在分散优化环境中，$n$节点网络中的每个代理$i$都有自己的私有函数$f_i$，节点与它们的邻居进行通信，以合作最小化聚合目标$\sum_{i=1}^n f_i$。在这种情况下，同步节点的更新会产生显著的通信开销和计算成本，因此最近的许多文献都集中在异步优化算法的分析和设计上，其中代理在任意时间激活和通信，而不需要全局同步执行器。然而，大多数工作假设当节点激活时，它基于固定的概率（例如，均匀随机），这是一种在激活时忽略优化景观的选择。相反，在这项工作中，我们引入了一个优化意识的选择规则，选择邻居提供最高的双重成本改善（一个数量相关的二元化的问题的共识的基础上）。该方案与坐标下降（CD）方法有关，坐标更新采用高斯-索斯韦尔（GS）规则;然而，在我们的设置中，每次迭代时只能访问坐标的子集（因为每个节点只能与其邻居通信），因此现有的GS方法文献不适用。为了克服这个困难，我们开发了一个新的平滑和强凸$f_i$分析框架，该框架涵盖了集合CD算法类--一类直接应用于去中心化场景的算法，但并不局限于它们--我们证明了所提出的集式GS规则在网络中实现了最大程度的加速因子（对于高度连通图，其顺序为$Θ(n)$）。我们的分析预测的加速比在数值实验中与合成数据进行了验证。
2022-09-15 cs.DC cs.LG math.OC
Technical Report: A Totally Asynchronous Algorithm for Tracking Solutions to Time-Varying Convex Optimization Problems
本文提出了一个分散的算法，一组代理跟踪时变不动点，即时变凸优化问题的解决方案。该算法是一阶的，并且它允许所有代理的通信和计算中的总延迟，即，所有这些操作可以以任意定时和任意（有限）延迟发生。收敛速度是根据代理执行的通信和计算来计算的，而不指定何时必须发生。这些速率适用于收敛到每个单独的目标函数的最小值，以及代理的长期行为，因为它们的目标函数的变化。然后，为了提高有限的通信和计算资源的使用，我们优化代理的操作相对于他们的目标函数的变化，以最大限度地减少总不动点跟踪误差随着时间的推移的时间。仿真结果来说明这些发展在实践中，经验评估其鲁棒性代理的更新法律的不确定性。
2021-10-13 math.OC
Communication Efficient Curvature Aided Primal-dual Algorithms for Decentralized Optimization
本文给出了求解分散凸组合问题的一族算法。我们考虑设置一个网络的代理，合作最小化一个全球目标函数组成的本地功能加上正则化。通过使用中间共识变量，我们消除了计算曲率引导更新时，代理之间的内部通信循环的需要。一个通用的计划，统一的分析过多的计算选择，包括梯度下降，牛顿更新，和BFGS更新。我们的分析建立了次线性收敛速度速率下的凸目标函数Lipschitz连续梯度，以及线性收敛速率时，进一步假设局部函数是强凸的。此外，我们明确地描述了由于曲率信息的加速度。最后但并非最不重要的是，我们提出了一个异步实现所提出的算法，它消除了对一个中央时钟的需要，与线性收敛速率建立在强凸目标下的预期。我们确定所提出的方法的有效性与基准数据集上的数值实验。
2023-02-11 math.OC
Decentralized Consensus Optimization with Asynchrony and Delays
我们提出了一个异步的，分散的共识优化算法。该算法运行在一个网络中的代理与他们的邻居进行通信，并执行本地计算。在所提出的算法中，每个代理可以独立地计算和通信在不同的时间，不同的持续时间，与它的信息，即使从它的邻居的最新信息还不可用。这种异步算法减少了代理由于通信延迟或因为它们的邻居较慢而浪费的空闲时间。它还消除了对用于同步的全局时钟的需要。在数学上，该算法涉及原始变量和对偶变量，使用固定的步长参数，并证明收敛到精确解下有界延迟假设和随机代理假设。当同步运行时，该算法的性能以及现有的竞争同步算法，如PG-EXTRA，没有同步发散。数值实验证实了理论研究结果，并说明所提出的算法的性能。
2017-03-02 cs.DC cs.MA math.OC
Optimality in Decentralized Optimization under Bandwidth Constraints
AXXX；Applied AI Institute（应用人工智能研究所）
本文研究带带宽限制的去中心化优化问题，推导非凸随机并行异步优化的最优时间复杂度，提出Grace SGD和Leon SGD方法，利用最小割/最大流和Gomory-Hu树等工具改进复杂度。
2026-03-21 cs.DC math.CO math.OC
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度（SVRG）下降算法的收敛速度的理论分析。最近的研究表明，基于异步随机梯度下降（SGD）算法的方差减少收敛于凸问题的线性收敛速度。然而，目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中，我们研究了SVRG的两个异步并行实现：一个是在分布式存储系统上，另一个是在共享存储系统上。我们提供的理论分析，这两种算法可以获得$O(1/T)$的收敛速度，和线性加速是可以实现的，如果工人的数量是上界。由于参考问题，V1、V2、V3已被撤回，请参考最新版本V4。
2016-12-20 cs.LG math.OC
Decentralized Dynamic Optimization for Power Network Voltage Control
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了电力网络电压控制的分布式动态优化问题，提出基于梯度投影更新的策略，分析异步更新和时变网络条件下的性能，提供误差界并验证了其在实际网络中的有效性。
2016-07-23 cs.SY eess.SY math.OC
Advances in Asynchronous Parallel and Distributed Optimization
ABB（ABB集团）
受机器学习背景下出现的大规模优化问题的启发，在过去十年中，异步并行和分布式优化方法的研究取得了一些进展。异步方法不要求所有处理器维护优化变量的一致视图。因此，它们通常可以比同步方法更有效地利用计算资源，并且它们对像掉队者（即，慢节点）和不可靠的通信链路。异步方法的数学建模涉及信息延迟的适当会计，这使得它们的分析具有挑战性。本文回顾了异步优化方法的设计和分析的最新进展，包括集中式方法，其中所有处理器更新优化变量的主副本，和分散式方法，其中每个处理器维护变量的本地副本。该分析提供了关于模糊度如何影响收敛速度的见解，特别是在随机优化方法中。
2020-06-24 cs.LG math.OC stat.ML
Agent-Supervisor Coordination for Decentralized Event-Triggered Optimization
本文提出了分散式资源感知协调方案，用于解决由目标函数定义的网络优化问题，该目标函数将局部可评估成本与网络范围内的耦合组件相结合。这些方法非常适合于一组有监督的代理试图解决温和的协调要求下的优化问题。每个代理具有关于其本地成本的信息，并且与网络管理器协调以获得关于成本的耦合项的信息。所提出的方法是基于反馈和异步的设计，保证任何时候的可行性，并确保网络状态的渐近收敛到所需的优化。一个电力系统算例的数值模拟验证了我们的结果。
2022-01-01 cs.SY eess.SY math.OC
Robustness Analysis of Asynchronous Sampled-Data Multi-Agent Networks With Time-Varying Delays
在本文中，我们研究了有限个局部互连的线性子系统的同时稳定性问题的实际约束下，包括异步和非周期采样，时变时滞，和测量误差。我们建立了一个新的基于Lyapunov的稳定性结果，这样一个分散系统。这个系统有一个特别简单的互连结构，但它捕获了一些关键特性的一个大类的中间模型来自多智能体系统的共识分析。稳定性结果适用于估计的最大允许的间隔采样周期和时间延迟的个体动态和耦合结构的情况下的共识控制通过异步采样的相对状态和异步广播的自采样状态分别。非周期采样的复杂性和测量误差的存在使得在数据采样过程中可以使用对数量化器等量化器件，并在每次状态测量更新后引入一段驻留时间，以消除基于事件控制中事件的Zeno行为。文中还讨论了在输入饱和和输入时滞情况下的推广。
2017-10-04 math.DS math.OC
Local Differential Privacy in Decentralized Optimization
MIT（麻省理工学院）；KTH（瑞典皇家理工学院）
敏感数据的隐私问题正受到越来越多的关注。本文研究了交互式分散优化中的局部差分隐私问题。通过构建随机本地聚合器，我们提出了一个框架，以放大LDP的常数。本文以乘子的交替方向法和分散梯度下降法为例，通过实验验证了理论的正确性。在一个渐近的观点，我们解决以下问题：在LDP下，是否有可能设计一个分布式的私人最小的任意封闭凸约束与效用损失不显着依赖于维数？作为一个附属的结果，我们还表明，仅仅线性秘密共享，信息理论的隐私是可以实现的有界合谋代理。
2019-06-01 cs.CR cs.LG math.OC
Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization
Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）
本文研究了非凸优化中两种异步并行随机梯度方法，证明了其在计算机网络和共享内存系统中的渐进收敛率，并展示了线性加速的可能性。
2019-04-18 cs.NA math.NA math.OC
Convexity of Decentralized Controller Synthesis
本文研究去中心化控制问题中控制器集的凸性，证明了控制器集的凸性等价于二次不变性，并进一步探讨了二次不变性对闭环映射集凸性的必要性与充分性。
2014-01-28 cs.SY eess.SY math.OC
SWIFT: Rapid Decentralized Federated Learning via Wait-Free Model Communication
University of Maryland（马里兰大学）
分散式联邦学习（FL）设置通过利用客户端组经由本地化训练和模型/梯度共享来协作地训练模型，从而避免了潜在不可靠或不可信的中央主机的角色。大多数现有的分散FL算法需要客户端模型的同步，其中同步的速度取决于最慢的客户端。在这项工作中，我们提出了SWIFT：一种新型的无等待分散FL算法，允许客户以自己的速度进行培训。理论上，我们证明了SWIFT匹配的黄金标准迭代收敛速度$\mathcal{O}(1/\sqrt{T})$的并行随机梯度下降凸和非凸光滑优化（总迭代$T$）。此外，我们提供了理论结果IID和非IID设置没有任何有界延迟假设慢客户端，这是需要其他异步分散FL算法。尽管SWIFT实现了与其他最先进的（SOTA）并行随机算法相同的关于$T$的迭代收敛速率，但由于其无等待结构，它在运行时间方面收敛得更快。我们的实验结果表明，SWIFT的运行时间减少，由于每个历元的通信时间大幅减少，这下降了一个数量级相比，同步同行。此外，SWIFT在IID和非IID数据设置上生成图像分类的丢失级别，比现有SOTA算法快50%以上。
2022-10-25 cs.DC cs.LG math.OC
Convergence of Decentralized Actor-Critic Algorithm in General-sum Markov Games
Electrical Engineering and Computer Sciences (EECS) at UC Berkeley（加州大学伯克利分校电子工程与计算机科学系）；Operations Research and Information Engineering (ORIE) at Cornell University（康奈尔大学运筹学与信息工程系）
针对现有去中心化学习算法收敛性仅适用于特殊马尔可夫博弈的不足，提出马尔可夫近似势函数作为近似李雅普诺夫函数，刻画了一般和马尔可夫博弈下异步步长去中心化演员-评论家算法的策略收敛集并在特定条件下强化结论。
2025-06-11 cs.AI cs.GT cs.MA
Asynchronous Adaptation and Learning over Networks - Part III: Comparison Analysis
University of California, Los Angeles（加州大学洛杉矶分校）
本文比较了同步与异步网络及去中心化适应与集中化随机梯度方法的性能，发现异步网络在异步事件下仍能保持稳定收敛，且去中心化网络性能可媲美集中化方案。
2014-12-16 cs.IT cs.LG cs.SY
