Stability, Linear Convergence, and Robustness of the Wang-Elia Algorithm for Distributed Consensus Optimization
我们重新审视了J. Wang和N.伊利亚通过基于Lyapunov的分析,我们证明了输入状态稳定的算法相对于一个封闭的不变集组成的最佳平衡和扰动影响算法的动态。在没有扰动的情况下,这一结果意味着局部估计的线性收敛和最优稳态的李雅普诺夫稳定性。此外,我们揭示了与著名的梯度跟踪和分布式积分控制的基本连接。总体而言,我们的研究结果表明,控制理论的方法可以有相当大的影响(分布式)优化,特别是当鲁棒性被认为是。
2022-04-21 cs.SY eess.SY math.OC
Q-linear Convergence of Distributed Optimization with Barzilai-Borwein Step Sizes
大规模系统和机器学习中数据的增长使得分布式优化成为解决不同背景下判定问题的自然吸引力技术。在这样的方法中,每个代理迭代地使用从其邻居接收的信息对其本地目标进行计算,并与相邻代理共享相关信息。虽然基于梯度的方法由于其简单性而被广泛使用,但已知它们具有缓慢的收敛速度。另一方面,虽然牛顿型方法具有更好的收敛性能,但由于计算量和存储量巨大,它们并不适用。在这项工作中,我们介绍了一个分布式拟牛顿法与Barzilai-Borwein步长。我们证明了Q-线性收敛到最优解,给出了算法超线性收敛的条件,并通过数值模拟验证了我们的结果。
2022-06-18 cs.SY eess.SY math.OC
On the Convergence Analysis of Asynchronous Distributed Quadratic Programming via Dual Decomposition
Department of Aerospace Engineering, Texas A&M University(德克萨斯农工大学航空航天工程系)
本文通过切换系统框架分析异步分布式二次规划的收敛性与收敛速率,提出异步更新对偶变量以减少同步延迟,探讨速度与精度的权衡。
2015-06-19 cs.SY eess.SY math.OC
On Centralized and Distributed Mirror Descent: Convergence Analysis Using Quadratic Constraints
Northeastern University(东北大学);Johns Hopkins University(约翰斯·霍普金斯大学)
镜像下降(MD)是一种功能强大的一阶优化技术,它包含了包括梯度下降(GD)在内的几种优化算法。在这项工作中,我们开发了一个半定规划(SDP)的框架来分析的收敛速度的MD在集中式和分布式设置下的强凸和非强凸的假设。我们认为MD与动力系统的镜头,并利用二次约束(QC)提供明确的收敛速度的基础上李雅普诺夫稳定性。对于强凸假设下的集中MD,我们给出了一个证明指数收敛速度的SDP.我们证明了SDP总是有一个可行解,恢复最佳GD率作为一个特殊情况。我们补充我们的分析,提供了$O(1/k)$收敛速度凸问题。接下来,我们分析了分布式MD的收敛性,并使用SDP描述了速率。据我们所知,分布MD的数值速率以前没有在文献中报道。我们进一步证明了一个$O(1/k)$收敛速度分布MD在凸设置。我们的强凸问题的数值实验表明,我们的框架证明优越的收敛速度相比,现有的分布式GD率。
2022-01-18 cs.LG cs.SY eess.SY
On Linear Convergence of Distributed Stochastic Bilevel Optimization over Undirected Networks via Gradient Aggregation
Georgia Institute of Technology(佐治亚理工学院);Indian Institute of Technology, Bombay(印度孟买理工学院)
本文提出了一种分布式随机梯度聚合方案,证明在全局强凸性假设下实现线性收敛,扩展了双层优化的理论保证,并通过实验验证了其有效性。
2025-11-23 cs.SY eess.SY math.OC
Convergence and Robustness Bounds for Distributed Asynchronous Shortest-Path
University of Stuttgart(斯图加特大学);ETH Zürich(苏黎世联邦理工学院)
本文针对异步分布式最短路径计算,基于Lyapunov方法推导自适应Bellman-Ford算法的有限时间收敛性与鲁棒性界,并扩展至最可能路径算法。
2026-09-14 cs.SY eess.SY math.OC
Optimal Design of Distributed Inexact Gradient Tracking: Exact Worst-case Convergence Rate and Explicit Parameters
State Key Laboratory of Industrial Control Technology and the College of Control Science and Engineering, Zhejiang University(浙江大学工业控制技术国家重点实验室与控制科学学院)
针对分布式优化算法设计,提出框架以确定DIGing算法的精确最坏情况收敛速率,通过图信号处理与鲁棒控制技术实现子系统解耦,并给出显式参数公式,经数值实验验证。
2026-09-18 cs.SY eess.SY math.OC
Towards Distributed Stability Analytics of Dynamic Power Systems: A Phasor-Circuit Theory Perspective
随着可再生能源和分布式能源的快速发展,电力系统的底层动态不再由大型同步发电机主导,而是由众多具有异质特性的动态元件主导。在这种情况下,传统的稳定性分析方法可能会失败,由于异构性和可扩展性的挑战。在本文中,我们处理这个问题的基本电路理论。受Brayton和Moser在非线性RLC电路中工作的启发,本文将电压势的概念推广到相量电路,为电力系统的分布式稳定分析提供了新的结果。我们表明,在一定的分布式无源性的条件下,系统范围内的稳定性可以确保。一个3节点系统的仿真也提供了验证我们的结果。
2019-07-28 cs.SY eess.SY
Robust Constrained Consensus and Inequality-constrained Distributed Optimization with Guaranteed Differential Privacy and Accurate Convergence
本文协同设计分布式优化与差分隐私噪声机制,提出可在无限迭代下保证精确收敛和 ε-差分隐私的不等式约束优化算法,并给出隐私约束一致性算法。
2024-04-02 cs.SY eess.SY math.OC
Convergence and Accuracy Analysis for A Distributed Static State Estimator based on Gaussian Belief Propagation
针对分布式静态估计问题,提出了一种基于置信传播(BP)的估计算法。我们对它的收敛性和精度进行了全面的分析,给出了保证它收敛的条件,并给出了它的精度的具体刻画。我们的结果不仅给出了一个新的算法具有良好的性能,但也提供了一个有用的分析框架,学习分布式算法的性能。它产生更好的静态分布状态估计器的理论理解,并可能产生更多的应用在未来。
2020-04-04 cs.SY eess.SY
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
在对等网络分布式优化中,信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式(COLD)算法。通过压缩新息向量,这是决策向量和他们的估计之间的差异,COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度,并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机,包括二进制量化器,我们进一步设计了一种新的动态缩放机制,并获得线性收敛Dyna-COLD。重要的是,我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
Optimally Managing the Impacts of Convergence Tolerance for Distributed Optimal Power Flow
针对分布式最优潮流中收敛容差影响缺乏定量理解的问题,本文量化其对约束违例的影响,提出边界收紧算法保证可行性,并控制计算速度与解成本间的权衡。
2023-11-14 cs.SY eess.SY
Convergence Theory of Flexible ALADIN for Distributed Optimization
本文针对分布式优化中信息传输丢包问题,提出ALADIN的随机轮询变体灵活ALADIN,并建立了凸问题全局收敛与非凸问题局部收敛的严格收敛理论。
2025-04-08 cs.SY eess.SY
Convergence of the Distributed SG Algorithm Under Cooperative Excitation Condition
在本文中,提出了一种分布式随机梯度(SG)算法,估计器的目的是集体估计一个未知的时不变参数从一组噪声测量分布式传感器获得。分布式SG算法将邻域估计的一致性策略与回归向量的扩散相结合。引入了协同激励条件,在该条件下,分布式SG算法的收敛性不依赖于现有文献中常用的回归向量的独立性和平稳性假设.此外,该算法的收敛速度可以建立。最后,我们通过一个仿真例子表明,即使单个传感器不能完成估计任务,所有传感器也可以合作完成估计任务。
2022-03-05 cs.SY eess.SY
Computational Convergence Analysis of Distributed Gradient Tracking for Smooth Convex Optimization Using Dissipativity Theory
University of Illinois, Chicago(伊利诺伊大学芝加哥分校)
本文基于耗散性理论,研究了在目标函数平滑且凸但非强凸的情况下,分布式梯度跟踪方法的$O(1/K)$收敛性,通过构造存储函数和供应率的数值证书,提出了一种新的供应率分析方法,并展示了其在更广泛步长范围内验证收敛性的能力。
2019-03-25 cs.SY eess.SY math.OC
Improving Rate of Convergence via Gain Adaptation in Multi-Agent Distributed ADMM Framework
研究了网络化多智能体系统分布式优化问题的交替方向乘子法。特别是,一个新的自适应增益ADMM算法推导出一个封闭的形式和下的标准凸性质,以大大加快收敛的ADMM为基础的分布式优化。该方法利用李雅普诺夫直接法将控制增益嵌入到智能体之间的加权网络矩阵中,并将这些权值作为增广拉格朗日函数中的自适应惩罚增益。结果表明,所提出的闭环增益自适应方案显着提高了底层ADMM优化的收敛时间。收敛性分析和仿真结果证明了该方案的有效性。
2020-02-24 cs.SY eess.SY
Linear Convergence of Distributed Compressed Optimization with Equality Constraints
本文研究了具有时空压缩通信和等式约束的分布式强凸优化问题,提出了一种基于分布式滤波器的分布式压缩鞍点算法,证明了其在局部和耦合全局等式约束下均能实现线性收敛,并通过数值仿真验证了有效性。
2025-03-04 cs.SY eess.SY
Convergence Analysis of Dual Decomposition Algorithm in Distributed Optimization: Asynchrony and Inexactness
对偶分解广泛应用于多智能体系统的分布式优化中。在实际应用中,由于通信的不完善,如时延和丢包等,对偶分解算法需要允许异步实现。此外,计算误差也存在时,个别代理解决自己的子问题。本文分析了分布式优化中对偶分解算法在通信不精确和子问题求解不精确同时存在的情况下的收敛性。我们发现,不精确性和不精确性之间的相互作用减慢了从$\mathcal{O} ( 1 / k )$到$\mathcal{O} ( 1 / \sqrt{k} )$的收敛速度。具体地说,当步长为常数时,目标函数的值收敛到最优值的邻域,而解收敛到精确最优解的邻域。此外,在$\mathcal{O} ( 1 / \sqrt{k} )$中约束的违反减少。我们的结果推广和统一了现有的只考虑模糊性或不精确性的结果。最后通过数值模拟验证了理论分析的正确性。
2021-03-04 cs.SY eess.SY math.OC
Convergence Analysis of Nonconvex Distributed Stochastic Zeroth-order Coordinate Method
University of North Texas(北得克萨斯大学);Huazhong University of Science and Technology(华中科技大学)
研究了随机分布非凸最优化问题,即最小化由$n$局部费用函数求和形成的全局费用函数。我们解决这样的问题,涉及零阶(ZO)信息交换。本文提出了一种求解随机最优化问题的ZO分布原始-对偶坐标方法。代理近似自己的本地随机ZO预言与坐标与自适应平滑参数。我们表明,该算法实现了一般非凸费用函数的$\mathcal{O}(\sqrt{p}/\sqrt{T})$的收敛速度。我们证明了所提出的算法的效率,通过一个数值例子与现有的国家的最先进的集中式和分布式ZO算法的比较。
2021-10-13 cs.LG cs.SY eess.SY
A System Theoretical Perspective to Gradient-Tracking Algorithms for Distributed Quadratic Optimization
在本文中,我们考虑了最近发展的分布式优化算法的基础上梯度跟踪。我们提出了一个系统理论框架,分析其结构特性的初步,二次优化设置。具体来说,我们专注于一个场景中,代理在一个静态网络要合作最小化二次代价函数的总和。我们发现,梯度跟踪分布式算法的调查程序可以被看作是一个稀疏的闭环线性系统,其中的动态状态反馈控制器包括共识矩阵和优化(步长)参数。闭环系统原来是不完全可达的,渐近稳定性可以限制在一个适当的不变集。收敛到全局最小值,反过来,只能通过一个适当的初始化。分布式算法的拟议系统的解释也提供了其他的结构特性和可能的设计选择,在论文的最后一部分讨论作为未来发展的起点的额外见解。
2019-11-15 cs.MA cs.SY eess.SY
Distributed Discontinuous Coupling for Convergence in Networks of Heterogeneous Nonlinear Systems
同步是许多自然和人工复杂网络系统中的重要现象。应用包括神经元网络,机器人中的编队控制和协调,以及电网中的频率同步。在本文中,我们提出了一个分布式的不连续耦合协议,以实现收敛和同步网络的非相同的非线性动力系统。我们表明,同步动力学是一个解决方案的平均节点的向量场,并获得分析估计的临界耦合增益需要实现收敛。数值模拟被用来说明和验证理论结果。
2020-03-23 cs.SY eess.SY
Linear Convergence of Distributed Mirror Descent with Integral Feedback for Strongly Convex Problems
Texas A&M University(德州农工大学)
分布式优化通常需要找到写为局部函数之和的全局目标函数的最小值。一组代理共同工作以最小化全局函数。我们研究了一个连续时间分散镜像下降算法,使用纯粹的局部梯度信息收敛到全局最优解。该算法使用积分反馈的思想来强制代理之间的共识。最近,Sun和Shahrampour(2020)研究了当全局函数是强凸函数但局部函数是凸函数时该算法的渐近收敛。使用控制理论工具,在这项工作中,我们证明了该算法确实达到(局部)指数收敛。我们还提供了一个真实数据集上的数值实验作为验证我们的算法的收敛速度。
2020-11-24 cs.LG cs.SY eess.SY
Event-triggered Dual Gradient Tracking for Distributed Resource Allocation
the Hong Kong University of Science and Technology(香港科技大学);Department of Chemical and Biological Engineering, the Hong Kong University of Science and Technology(香港科技大学化学及生物工程系)
针对不平衡有向网络分布式资源分配的高通信成本问题,提出事件触发双梯度跟踪算法,智能体仅在状态偏差超阈值时通信,理论证明其收敛性并通过实验验证通信量减少且性能相当。
2025-11-17 cs.SY eess.SY math.OC
Distributed Adaptive Time-Varying Optimization with Global Asymptotic Convergence
针对多智能体时变优化,本文提出由死区算法桥接平均估计器与自适应优化器的分布式算法,证明全局渐近收敛并扩展至一般代价函数。
2024-08-03 cs.SY eess.SY math.OC
Convergence of a Distributed Least Squares
在本文中,我们考虑了一个基于最小二乘(LS)的分布式算法建立在传感器网络估计的动力系统的未知参数向量,其中网络中的每个传感器只有部分信息,但允许其邻居进行通信。我们的主要任务是通过建立自适应预测器的累积遗憾的上界和分布式LS估计器的收敛性,将传统LS的著名理论结果推广到当前的分布式情况,与现有的分布式估计文献相比,具有以下关键特征:首先,我们的理论不需要事先强加的独立性,平稳性或高斯性质的系统信号,因此适用于随机系统的反馈。其次,本文所引入的分布式最小二乘估计收敛的合作激励条件是最弱的,这表明即使单个传感器不能用传统的最小二乘估计未知参数,整个网络仍然可以用分布式最小二乘估计完成估计任务。
2022-12-16 cs.SY eess.SY
Distributed Adaptive Newton Methods with Global Superlinear Convergence
研究了对等网络中每个节点通过与相邻节点通信来最小化有限个目标函数和的分布式最优化问题。与现有文献中最快的分布式算法以全局线性或局部超线性速度收敛形成鲜明对比,我们提出了一种具有全局平方收敛速率的分布式自适应牛顿(DAN)算法。我们的核心思想在于设计一个有限时间的集一致性方法与Polyak的自适应步长。此外,我们引入了一种低秩矩阵近似(LA)技术来压缩黑塞矩阵的新息,使得每个节点每次迭代只需要发送维度为$\mathcal{O}(p)$(其中$p$是决策向量的维度)的消息,这在本质上与一阶方法相同。然而,由此产生的DAN-LA收敛到一个最优解的全局超线性率。通过对逻辑斯谛回归问题的数值实验,验证了该方法的优越性.
2022-01-14 cs.DC cs.MA cs.SY
On Stability and Convergence of Distributed Filters
近年来,见证了分布式过滤技术的扩散,其中一个集合的代理在一个ad-hoc网络通信的目的是协同估计和跟踪系统的状态。这些技术构成了现代多智能体系统的使能技术,并在工程界获得了极大的重要性。虽然大多数分布式过滤技术都有一套稳定性和收敛性标准,但所施加的条件被认为是不必要的限制。本文对分布式滤波的稳定性和收敛性的研究范式进行了修正。因此,一般的分布式滤波器的构造和它的估计误差动态公式。所进行的分析表明,实现稳定过滤操作的条件与集中过滤设置中所需的条件相同。最后,在卡尔曼滤波框架中证明了这些概念,并使用仿真实例进行了验证。
2021-02-22 cs.SY eess.SP eess.SY
Distributed State Estimation for Discrete-Time Linear Systems over Directed Graphs: A Measurement Perspective
The Hong Kong University of Science and Technology(香港科技大学);Southeast University(东南大学);Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
本文提出基于有向图的分布式滤波器,利用集体可观测性条件,通过局部信息确定增益参数,并推导了估计误差协方差的上界及收敛率下界,验证了滤波器性能。
2026-03-13 cs.SY eess.SY
A General Proof of Convergence for Adaptive Distributed Beamforming Schemes
National Tsing Hua University(国立清华大学)
通过将自适应分布式波束成形方案重述为局部随机搜索算法,在目标函数连续且所有局部极大值为全局极大值、原点在随机扰动变换范围内是内点这两个充分条件下,证明了算法在概率和均值意义上收敛,并推广到异步方案。
2011-02-09 cs.SY eess.SY
Arbitrarily Fast Switched Distributed Stabilization of Partially Unknown Interconnected Multiagent Systems: A Proactive Cyber Defense Perspective
最近已经开发了一个设计框架,以分布式方式稳定互连的多智能体系统,并系统地捕捉网络物理系统的架构方面。然而,这种控制理论框架导致稳定化协议,该稳定化协议相对于网络攻击是被动的,并且关于保证的弹性水平是保守的。我们将控制层拓扑结构和稳定增益视为自由度,并开发了一个混合控制和网络安全设计框架来解决上述问题。从控制的角度来看,尽管代理层建模的不确定性和扰动,我们提出了一个新的一步一步的过程来设计一组控制子层的控制层拓扑结构的任意快速切换。从积极的网络防御的角度来看,我们提出了一个可满足性模理论公式,以获得一组控制子层结构的安全考虑,并提供这些子层的频繁和快速的突变,使控制层拓扑结构将保持不可预测的对手。我们证明了两层互联多智能体系统的鲁棒输入到状态稳定性,并通过仿真验证了所提出的思想。
2021-11-19 cs.CR cs.SY eess.SY
On Convergence Analysis of Network-GIANT: An approximate Hessian-based fully distributed optimization algorithm
Uppsala University(乌普萨拉大学);University of Padova(帕多瓦大学)
研究针对\(L\)-光滑、\(\mu\)-强凸局部损失函数的近似牛顿型全分布式优化方法Network-GIANT,明确其全局线性收敛率,给出步长参数界限及最优性差距范数上界,通过实验验证理论结果。
2026-07-07 cs.SY eess.SP eess.SY
Convergence of Distributed Randomized PageRank Algorithms
Key Laboratory of Systems and Control, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院系统与控制中心重点实验室);National Center for Mathematics and Interdisciplinary Sciences, Chinese Academy of Sciences(中国科学院交叉数学科学国家研究中心)
本文研究了分布式随机PageRank算法在独立同分布随机化下的收敛性,证明其估计值几乎必然收敛到真实PageRank值。
2013-05-14 cs.SY eess.SY
Distributed Observers for LTI Systems with Finite Convergence Time: A Parameter Estimation-based Approach
提出了一种新的线性定常系统分布式状态估计的求解方法。它依赖于应用程序的参数估计为基础的观察员,其中的状态观测任务被重新制定为一个参数估计问题。与现有的结果相比,我们的解决方案在有限时间内实现收敛,没有高增益的注入,并施加非常弱的假设上的通信图-即存在一个哈密顿行走。该计划被证明是强大的相对于外部干扰和通信延迟。
2020-05-26 cs.SY eess.SY math.DS
Observer-Based Distributed Leader-Follower Tracking Control: A New Perspective and Results
University of Kansas(堪萨斯大学)
本文提出了一种新的视角和方法,通过使跟随者估计领导者输入并开发新的基于观测器的跟踪控制方法,解决了分布式领导者-跟随者跟踪控制问题,并分析了其收敛性质和有效性。
2019-03-31 cs.SY eess.SY
On the Distributed Estimation from Relative Measurements: a Graph-Based Convergence Analysis
对于多智能体系统,基于噪声测量的状态估计构成了与若干应用场景相关的问题。采用标准的最小二乘方法,在这项工作中,我们得到了(集中)的解析解这个问题和两个分布式迭代计划,这使得建立一个连接的收敛行为的共识算法对最优估计和随机矩阵的理论,描述网络系统动态之间的联系。这项研究一方面突出了定义代理节点邻域的拓扑链接的作用,而另一方面允许通过简单的参数调整来优化收敛速度。考虑不同的网络拓扑的数值模拟的理论研究结果进行了验证。
2022-02-21 cs.SY eess.SY
Distributed Nesterov Flows for Multi-agent Optimization
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院);Australian Center for Robotics, School of Aerospace, Mechanical, and Mechatronics Engineering, The University of Sydney(悉尼大学航空航天、机械与机电工程学院澳大利亚机器人中心)
本文提出连续时间分布式Nesterov流,通过Lyapunov方法分析其收敛性,设计新的参数选择并推导离散时间算法,实现更快的收敛速度和更优的收敛率。
2026-08-19 cs.SY eess.SY
Improved Convergence Rate for a Distributed Two-Time-Scale Gradient Method under Random Quantization
我们研究了所谓的分布式双时间尺度梯度法求解凸优化问题的代理网络时,节点之间的通信带宽是有限的,所以节点之间交换的信息必须量化。我们的主要贡献是提供了一种新的分析,从而提高了收敛速度,这种方法相比,现有的作品。特别是,我们表明,该方法收敛速度$O(log_2 k/\sqrt k)$的最优解,当底层的目标函数是强凸和光滑。在我们的分析中的关键技术是考虑一个李雅普诺夫函数,同时捕获的共识和最优性的方法产生的错误的耦合。
2021-05-28 cs.SY eess.SY
Understanding A Class of Decentralized and Federated Optimization Algorithms: A Multi-Rate Feedback Control Perspective
University of Minnesota(明尼苏达大学)
分布式算法在诸如机器学习、信号处理和控制等许多应用中发挥着越来越重要的作用。大量的研究工作致力于开发和分析各种应用的新算法。在这项工作中,我们提供了一个新的视角来理解,分析和设计分布式优化算法。通过镜头的多速率反馈控制,我们表明,广泛的分布式算法,包括流行的分散/联邦计划,可以被视为离散化的某个连续时间反馈控制系统,可能有多个采样率,如分散梯度下降,梯度跟踪,联邦平均。这个关键的观察不仅使我们能够开发一个通用的框架来分析整个算法类的收敛性。更重要的是,它还带来了一种设计新的分布式算法的有趣方式。我们开发了我们的框架背后的理论,并提供了一些例子来强调如何在实践中使用该框架。
2022-11-02 cs.LG cs.SY eess.SY