Linear Convergence of Distributed Compressed Optimization with Equality Constraints
本文研究了具有时空压缩通信和等式约束的分布式强凸优化问题,提出了一种基于分布式滤波器的分布式压缩鞍点算法,证明了其在局部和耦合全局等式约束下均能实现线性收敛,并通过数值仿真验证了有效性。
2025-03-04 cs.SY eess.SY
Distributed Discontinuous Coupling for Convergence in Networks of Heterogeneous Nonlinear Systems
同步是许多自然和人工复杂网络系统中的重要现象。应用包括神经元网络,机器人中的编队控制和协调,以及电网中的频率同步。在本文中,我们提出了一个分布式的不连续耦合协议,以实现收敛和同步网络的非相同的非线性动力系统。我们表明,同步动力学是一个解决方案的平均节点的向量场,并获得分析估计的临界耦合增益需要实现收敛。数值模拟被用来说明和验证理论结果。
2020-03-23 cs.SY eess.SY
Convergence of a Distributed Least Squares
在本文中,我们考虑了一个基于最小二乘(LS)的分布式算法建立在传感器网络估计的动力系统的未知参数向量,其中网络中的每个传感器只有部分信息,但允许其邻居进行通信。我们的主要任务是通过建立自适应预测器的累积遗憾的上界和分布式LS估计器的收敛性,将传统LS的著名理论结果推广到当前的分布式情况,与现有的分布式估计文献相比,具有以下关键特征:首先,我们的理论不需要事先强加的独立性,平稳性或高斯性质的系统信号,因此适用于随机系统的反馈。其次,本文所引入的分布式最小二乘估计收敛的合作激励条件是最弱的,这表明即使单个传感器不能用传统的最小二乘估计未知参数,整个网络仍然可以用分布式最小二乘估计完成估计任务。
2022-12-16 cs.SY eess.SY
A General Proof of Convergence for Adaptive Distributed Beamforming Schemes
National Tsing Hua University(国立清华大学)
通过将自适应分布式波束成形方案重述为局部随机搜索算法,在目标函数连续且所有局部极大值为全局极大值、原点在随机扰动变换范围内是内点这两个充分条件下,证明了算法在概率和均值意义上收敛,并推广到异步方案。
2011-02-09 cs.SY eess.SY
Convergence of Distributed Randomized PageRank Algorithms
Key Laboratory of Systems and Control, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院系统与控制中心重点实验室);National Center for Mathematics and Interdisciplinary Sciences, Chinese Academy of Sciences(中国科学院交叉数学科学国家研究中心)
本文研究了分布式随机PageRank算法在独立同分布随机化下的收敛性,证明其估计值几乎必然收敛到真实PageRank值。
2013-05-14 cs.SY eess.SY
Fully distributed PageRank computation with exponential convergence
Engineering Division of NYU Abu Dhabi(纽约大学阿布扎比分校工程学院)
本文提出一种完全分布式算法用于计算PageRank向量,该算法受匹配追踪启发,具有完全分布式实现、期望收敛性及指数收敛率和低存储需求(每个页面仅需两个标量值)的特点,并通过实验验证了这些发现。
2018-10-22 cs.DC cs.SY eess.SY
Convergence Speed in Distributed Consensus and Control
研究分布式迭代算法在共识和平均问题中的收敛速度,提出固定拓扑下的最优算法和时变拓扑下的多项式时间平均算法。
2009-01-14 cs.SY eess.SY math.OC
Distributed Nesterov Flows for Multi-agent Optimization
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院);Australian Center for Robotics, School of Aerospace, Mechanical, and Mechatronics Engineering, The University of Sydney(悉尼大学航空航天、机械与机电工程学院澳大利亚机器人中心)
本文提出连续时间分布式Nesterov流,通过Lyapunov方法分析其收敛性,设计新的参数选择并推导离散时间算法,实现更快的收敛速度和更优的收敛率。
2026-08-19 cs.SY eess.SY
Improved Convergence Rate for a Distributed Two-Time-Scale Gradient Method under Random Quantization
我们研究了所谓的分布式双时间尺度梯度法求解凸优化问题的代理网络时,节点之间的通信带宽是有限的,所以节点之间交换的信息必须量化。我们的主要贡献是提供了一种新的分析,从而提高了收敛速度,这种方法相比,现有的作品。特别是,我们表明,该方法收敛速度$O(log_2 k/\sqrt k)$的最优解,当底层的目标函数是强凸和光滑。在我们的分析中的关键技术是考虑一个李雅普诺夫函数,同时捕获的共识和最优性的方法产生的错误的耦合。
2021-05-28 cs.SY eess.SY
Exponential convergence under distributed averaging integral frequency control
University of Groningen(格罗宁根大学);University of Cambridge(剑桥大学)
本文研究了分布式平均积分控制器在电力网络最优频率调节中的性能和鲁棒性,构建了严格李雅普诺夫函数以量化闭环系统的指数收敛率,并探讨了通信网络中断对系统稳定性及收敛率的影响。
2017-07-07 cs.SY eess.SY math.OC
Blended Dynamics Approach to Distributed Optimization: Sum Convexity and Convergence Rate
研究了混合动力学方法在分布式最优化问题中的应用,其中全局代价函数由局部费用函数之和给出。优点包括(i)单个费用函数不需要是凸的,只要全局费用函数是强凸的,以及(ii)分布式算法的收敛速度任意地接近于集中式算法的收敛速度。两个特殊的连续时间算法使用比例积分型耦合。一个是“免初始化”的好处,这样代理可以在操作期间加入或离开网络。另一个具有最小量的通信信息。在给出了一个可用于设计分布式算法的一般定理后,我们特别提出了一个分布式重球方法,并讨论了它相对于其他方法的优势。
2021-02-25 cs.SY eess.SY math.OC
Convergence and Synchronization in Networks of Piecewise-Smooth Systems via Distributed Discontinuous Coupling
University of Naples Federico II(那不勒斯费德里科二世大学);University of Bristol(布里斯托大学)
本文研究如何在片状光滑系统网络中实现全局渐近状态同步,提出通过分布式不连续耦合来增强传统扩散耦合协议,并分析耦合增益的阈值及新连通性度量最小密度的重要性。
2020-12-02 cs.SY eess.SY
On Stability and Convergence of Distributed Filters
近年来,见证了分布式过滤技术的扩散,其中一个集合的代理在一个ad-hoc网络通信的目的是协同估计和跟踪系统的状态。这些技术构成了现代多智能体系统的使能技术,并在工程界获得了极大的重要性。虽然大多数分布式过滤技术都有一套稳定性和收敛性标准,但所施加的条件被认为是不必要的限制。本文对分布式滤波的稳定性和收敛性的研究范式进行了修正。因此,一般的分布式滤波器的构造和它的估计误差动态公式。所进行的分析表明,实现稳定过滤操作的条件与集中过滤设置中所需的条件相同。最后,在卡尔曼滤波框架中证明了这些概念,并使用仿真实例进行了验证。
2021-02-22 cs.SY eess.SP eess.SY
Exponential convergence of distributed optimization for heterogeneous linear multi-agent systems
在这项工作中,我们研究了一个分布式的最优输出共识问题的异构线性多智能体系统的代理的目的是达成共识的目的是最小化的私人凸成本的总和。基于输出反馈,采用比例积分(PI)控制技术,提出了一种全分布式控制律。对于具有Lipschitz梯度的强凸代价函数,所设计的控制器在无向连通网络中可以指数收敛。此外,为了消除连续通信的要求,所提出的控制律,然后扩展到周期性和事件触发的通信计划,这也达到指数收敛。最后给出了两个仿真例子来验证所提出的控制算法。
2021-01-12 cs.SY eess.SY math.OC
Stability, Linear Convergence, and Robustness of the Wang-Elia Algorithm for Distributed Consensus Optimization
我们重新审视了J. Wang和N.伊利亚通过基于Lyapunov的分析,我们证明了输入状态稳定的算法相对于一个封闭的不变集组成的最佳平衡和扰动影响算法的动态。在没有扰动的情况下,这一结果意味着局部估计的线性收敛和最优稳态的李雅普诺夫稳定性。此外,我们揭示了与著名的梯度跟踪和分布式积分控制的基本连接。总体而言,我们的研究结果表明,控制理论的方法可以有相当大的影响(分布式)优化,特别是当鲁棒性被认为是。
2022-04-21 cs.SY eess.SY math.OC
Q-linear Convergence of Distributed Optimization with Barzilai-Borwein Step Sizes
大规模系统和机器学习中数据的增长使得分布式优化成为解决不同背景下判定问题的自然吸引力技术。在这样的方法中,每个代理迭代地使用从其邻居接收的信息对其本地目标进行计算,并与相邻代理共享相关信息。虽然基于梯度的方法由于其简单性而被广泛使用,但已知它们具有缓慢的收敛速度。另一方面,虽然牛顿型方法具有更好的收敛性能,但由于计算量和存储量巨大,它们并不适用。在这项工作中,我们介绍了一个分布式拟牛顿法与Barzilai-Borwein步长。我们证明了Q-线性收敛到最优解,给出了算法超线性收敛的条件,并通过数值模拟验证了我们的结果。
2022-06-18 cs.SY eess.SY math.OC
On the Convergence Analysis of Asynchronous Distributed Quadratic Programming via Dual Decomposition
Department of Aerospace Engineering, Texas A&M University(德克萨斯农工大学航空航天工程系)
本文通过切换系统框架分析异步分布式二次规划的收敛性与收敛速率,提出异步更新对偶变量以减少同步延迟,探讨速度与精度的权衡。
2015-06-19 cs.SY eess.SY math.OC
Optimizing Reweighted Belief Propagation for Distributed Likelihood Fusion Problems
Zenuity AB(Zenuity公司);ICTEAM Institute/CORE, Université Catholique de Louvain(天主教鲁汶大学ICTEAM研究所/CORE中心);Electrical Engineering Department, Chalmers University of Technology(查尔姆斯理工大学电气工程系)
本文研究了重加权信念传播在分布式似然融合问题中的应用,通过线性化BP方法推导收敛条件并优化收敛速度,相比标准信念共识方法具有更快的收敛性能。
2018-02-07 cs.SY eess.SY
Distributed Observers for LTI Systems with Finite Convergence Time: A Parameter Estimation-based Approach
提出了一种新的线性定常系统分布式状态估计的求解方法。它依赖于应用程序的参数估计为基础的观察员,其中的状态观测任务被重新制定为一个参数估计问题。与现有的结果相比,我们的解决方案在有限时间内实现收敛,没有高增益的注入,并施加非常弱的假设上的通信图-即存在一个哈密顿行走。该计划被证明是强大的相对于外部干扰和通信延迟。
2020-05-26 cs.SY eess.SY math.DS
On Centralized and Distributed Mirror Descent: Convergence Analysis Using Quadratic Constraints
Northeastern University(东北大学);Johns Hopkins University(约翰斯·霍普金斯大学)
镜像下降(MD)是一种功能强大的一阶优化技术,它包含了包括梯度下降(GD)在内的几种优化算法。在这项工作中,我们开发了一个半定规划(SDP)的框架来分析的收敛速度的MD在集中式和分布式设置下的强凸和非强凸的假设。我们认为MD与动力系统的镜头,并利用二次约束(QC)提供明确的收敛速度的基础上李雅普诺夫稳定性。对于强凸假设下的集中MD,我们给出了一个证明指数收敛速度的SDP.我们证明了SDP总是有一个可行解,恢复最佳GD率作为一个特殊情况。我们补充我们的分析,提供了$O(1/k)$收敛速度凸问题。接下来,我们分析了分布式MD的收敛性,并使用SDP描述了速率。据我们所知,分布MD的数值速率以前没有在文献中报道。我们进一步证明了一个$O(1/k)$收敛速度分布MD在凸设置。我们的强凸问题的数值实验表明,我们的框架证明优越的收敛速度相比,现有的分布式GD率。
2022-01-18 cs.LG cs.SY eess.SY
On Linear Convergence of Distributed Stochastic Bilevel Optimization over Undirected Networks via Gradient Aggregation
Georgia Institute of Technology(佐治亚理工学院);Indian Institute of Technology, Bombay(印度孟买理工学院)
本文提出了一种分布式随机梯度聚合方案,证明在全局强凸性假设下实现线性收敛,扩展了双层优化的理论保证,并通过实验验证了其有效性。
2025-11-23 cs.SY eess.SY math.OC
Convergence and Robustness Bounds for Distributed Asynchronous Shortest-Path
University of Stuttgart(斯图加特大学);ETH Zürich(苏黎世联邦理工学院)
本文针对异步分布式最短路径计算,基于Lyapunov方法推导自适应Bellman-Ford算法的有限时间收敛性与鲁棒性界,并扩展至最可能路径算法。
2026-09-14 cs.SY eess.SY math.OC
Optimal Design of Distributed Inexact Gradient Tracking: Exact Worst-case Convergence Rate and Explicit Parameters
State Key Laboratory of Industrial Control Technology and the College of Control Science and Engineering, Zhejiang University(浙江大学工业控制技术国家重点实验室与控制科学学院)
针对分布式优化算法设计,提出框架以确定DIGing算法的精确最坏情况收敛速率,通过图信号处理与鲁棒控制技术实现子系统解耦,并给出显式参数公式,经数值实验验证。
2026-09-18 cs.SY eess.SY math.OC
Robust Constrained Consensus and Inequality-constrained Distributed Optimization with Guaranteed Differential Privacy and Accurate Convergence
本文协同设计分布式优化与差分隐私噪声机制,提出可在无限迭代下保证精确收敛和 ε-差分隐私的不等式约束优化算法,并给出隐私约束一致性算法。
2024-04-02 cs.SY eess.SY math.OC
Computational Convergence Analysis of Distributed Gradient Tracking for Smooth Convex Optimization Using Dissipativity Theory
University of Illinois, Chicago(伊利诺伊大学芝加哥分校)
本文基于耗散性理论,研究了在目标函数平滑且凸但非强凸的情况下,分布式梯度跟踪方法的$O(1/K)$收敛性,通过构造存储函数和供应率的数值证书,提出了一种新的供应率分析方法,并展示了其在更广泛步长范围内验证收敛性的能力。
2019-03-25 cs.SY eess.SY math.OC
Convergence Analysis of Dual Decomposition Algorithm in Distributed Optimization: Asynchrony and Inexactness
对偶分解广泛应用于多智能体系统的分布式优化中。在实际应用中,由于通信的不完善,如时延和丢包等,对偶分解算法需要允许异步实现。此外,计算误差也存在时,个别代理解决自己的子问题。本文分析了分布式优化中对偶分解算法在通信不精确和子问题求解不精确同时存在的情况下的收敛性。我们发现,不精确性和不精确性之间的相互作用减慢了从$\mathcal{O} ( 1 / k )$到$\mathcal{O} ( 1 / \sqrt{k} )$的收敛速度。具体地说,当步长为常数时,目标函数的值收敛到最优值的邻域,而解收敛到精确最优解的邻域。此外,在$\mathcal{O} ( 1 / \sqrt{k} )$中约束的违反减少。我们的结果推广和统一了现有的只考虑模糊性或不精确性的结果。最后通过数值模拟验证了理论分析的正确性。
2021-03-04 cs.SY eess.SY math.OC
Convergence Analysis of Nonconvex Distributed Stochastic Zeroth-order Coordinate Method
University of North Texas(北得克萨斯大学);Huazhong University of Science and Technology(华中科技大学)
研究了随机分布非凸最优化问题,即最小化由$n$局部费用函数求和形成的全局费用函数。我们解决这样的问题,涉及零阶(ZO)信息交换。本文提出了一种求解随机最优化问题的ZO分布原始-对偶坐标方法。代理近似自己的本地随机ZO预言与坐标与自适应平滑参数。我们表明,该算法实现了一般非凸费用函数的$\mathcal{O}(\sqrt{p}/\sqrt{T})$的收敛速度。我们证明了所提出的算法的效率,通过一个数值例子与现有的国家的最先进的集中式和分布式ZO算法的比较。
2021-10-13 cs.LG cs.SY eess.SY
Linear Convergence of Distributed Mirror Descent with Integral Feedback for Strongly Convex Problems
Texas A&M University(德州农工大学)
分布式优化通常需要找到写为局部函数之和的全局目标函数的最小值。一组代理共同工作以最小化全局函数。我们研究了一个连续时间分散镜像下降算法,使用纯粹的局部梯度信息收敛到全局最优解。该算法使用积分反馈的思想来强制代理之间的共识。最近,Sun和Shahrampour(2020)研究了当全局函数是强凸函数但局部函数是凸函数时该算法的渐近收敛。使用控制理论工具,在这项工作中,我们证明了该算法确实达到(局部)指数收敛。我们还提供了一个真实数据集上的数值实验作为验证我们的算法的收敛速度。
2020-11-24 cs.LG cs.SY eess.SY
Event-triggered Dual Gradient Tracking for Distributed Resource Allocation
the Hong Kong University of Science and Technology(香港科技大学);Department of Chemical and Biological Engineering, the Hong Kong University of Science and Technology(香港科技大学化学及生物工程系)
针对不平衡有向网络分布式资源分配的高通信成本问题,提出事件触发双梯度跟踪算法,智能体仅在状态偏差超阈值时通信,理论证明其收敛性并通过实验验证通信量减少且性能相当。
2025-11-17 cs.SY eess.SY math.OC
Distributed Adaptive Time-Varying Optimization with Global Asymptotic Convergence
针对多智能体时变优化,本文提出由死区算法桥接平均估计器与自适应优化器的分布式算法,证明全局渐近收敛并扩展至一般代价函数。
2024-08-03 cs.SY eess.SY math.OC
Distributed and time-varying primal-dual dynamics via contraction analysis
在本说明中,我们提供了一个总体分析的原始对偶动力学与线性等式约束优化问题使用收缩分析。对于著名的标准版本的问题:我们建立凸下的收敛性和强凸下的收缩率。然后,对于一个典型的分布优化问题,我们使用部分压缩性建立其原始-对偶动力学的全局指数收敛性。作为应用,我们提出了一个新的分布式求解器的最小二乘问题具有相同的收敛保证。最后,对于集中式和分布式原始对偶动态的时变版本,我们利用它们的收缩性质来建立它们的跟踪误差的界限。为了支持我们的分析,我们介绍新的结果收缩理论。
2021-06-19 cs.MA cs.SY eess.SY
Distributed Optimisation With Communication Delays
讨论了有向图上的分布式优化问题。我们从一些众所周知的算法开始,这些算法在代理之间实现共识,包括FROST [1],它具有最快的收敛速度。众所周知,FROST具有线性收敛。然而,FROST只适用于底层网络的固定拓扑结构。此外,其中提出的更新需要节点之间的完全同步的通信。因此,在现实情况下不可避免的节点之间的通信延迟排除了实时实现FROST的可能性。在本文中,我们介绍了一个合作的控制策略,使收敛到最佳的通信延迟的鲁棒性。
2021-02-11 cs.SY eess.SY math.OC
Accelerated Distributed Projected Gradient Descent for Convex Optimization with Clique-wise Coupled Constraints
研究了由团模型的多个群体组成的多智能体系统中一类带耦合约束的分布式凸优化问题。首先,我们提出了一个完全分布式的基于梯度的算法与一个新的运营商的启发凸投影,称为基于投影。接下来,我们仔细检查收敛性能的递减和固定的步长。对于递减问题,在目标函数光滑和约束集紧的假设下,证明了算法收敛到最优解。另外,当目标函数是强单调的时,在不作紧性假设的情况下,证明了严格收敛于唯一解。对于固定步长,在目标函数光滑的假设下,证明了目标残差的非遍历收敛速度为O(1/k).此外,我们将Nesterov的加速方法应用于所提出的算法,并建立了O(1/k^2)的收敛速度。数值实验表明了该方法的有效性。
2022-11-18 cs.SY eess.SY math.OC
Communication-efficient and Differentially-private Distributed Nash Equilibrium Seeking with Linear Convergence
针对有向图上分布式非合作博弈的 NE 求解,本文提出 CDP-NES 框架,通过 Laplacian 噪声与差分压缩同时实现 ε-差分隐私、通信节省和线性收敛。
2024-05-08 cs.GT cs.SY eess.SY
Distributed Stochastic Constrained Composite Optimization over Time-Varying Network with a Class of Communication Noise
研究了一类带有通信噪声的时变网络上分布式随机多智能体约束最优化问题。本文考虑的问题,在复合优化设置,这是更普遍的文献中的噪声网络优化。值得注意的是,现有的主流噪声网络优化方法是基于欧几里德投影。基于Bregman投影的镜像下降格式,提出了一种非欧方法,并研究了其收敛性。这种方法是分布式随机复合镜像下降型方法(DSCMD-N),它提供了一个更通用的算法框架。得到了DSCMD-N的一些新的误差界。据我们所知,这是第一个工作,分析和推导的收敛速度的优化算法在噪声网络优化。在适当的通信噪声条件下,我们还证明了该方法在非光滑凸优化下可以得到一个最优的$O(1/\sqrt{T})$速率。在期望收敛性、高概率收敛性和几乎必然收敛性方面得到了新的收敛结果。
2022-12-19 cs.SY eess.SY math.OC
On Convergence Analysis of Network-GIANT: An approximate Hessian-based fully distributed optimization algorithm
Uppsala University(乌普萨拉大学);University of Padova(帕多瓦大学)
研究针对\(L\)-光滑、\(\mu\)-强凸局部损失函数的近似牛顿型全分布式优化方法Network-GIANT,明确其全局线性收敛率,给出步长参数界限及最优性差距范数上界,通过实验验证理论结果。
2026-07-07 cs.SY eess.SP eess.SY
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
在对等网络分布式优化中,信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式(COLD)算法。通过压缩新息向量,这是决策向量和他们的估计之间的差异,COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度,并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机,包括二进制量化器,我们进一步设计了一种新的动态缩放机制,并获得线性收敛Dyna-COLD。重要的是,我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
Distributed Kalman Filters for Relative Formation Control of Mobile Agents
多智能体编队控制在许多领域都起着重要的作用。在没有绝对定位的情况下,FC系统中的代理依赖于相对于其邻居的相对位置测量。在分布式滤波器设计文献中,相对观测模型是相对未探索的,在FC文献中,不确定性模型很少被考虑。在这篇文章中,我们的目标是弥合这些领域之间的差距,通过探索分布式过滤器量身定制的相对FC群。我们提出了统计鲁棒的数据模型跟踪代理在FC网络中的相对位置,并随后提出了最佳的卡尔曼滤波器集中式和分布式的情况下。我们的模拟突出了这些估计的好处,我们确定未来的研究方向,我们提出的框架的基础上。
2021-10-12 cs.SY eess.SP eess.SY
Distributed Adaptive Newton Methods with Global Superlinear Convergence
研究了对等网络中每个节点通过与相邻节点通信来最小化有限个目标函数和的分布式最优化问题。与现有文献中最快的分布式算法以全局线性或局部超线性速度收敛形成鲜明对比,我们提出了一种具有全局平方收敛速率的分布式自适应牛顿(DAN)算法。我们的核心思想在于设计一个有限时间的集一致性方法与Polyak的自适应步长。此外,我们引入了一种低秩矩阵近似(LA)技术来压缩黑塞矩阵的新息,使得每个节点每次迭代只需要发送维度为$\mathcal{O}(p)$(其中$p$是决策向量的维度)的消息,这在本质上与一阶方法相同。然而,由此产生的DAN-LA收敛到一个最优解的全局超线性率。通过对逻辑斯谛回归问题的数值实验,验证了该方法的优越性.
2022-01-14 cs.DC cs.MA cs.SY