Linear Convergence of Distributed Compressed Optimization with Equality Constraints
本文研究了具有时空压缩通信和等式约束的分布式强凸优化问题,提出了一种基于分布式滤波器的分布式压缩鞍点算法,证明了其在局部和耦合全局等式约束下均能实现线性收敛,并通过数值仿真验证了有效性。
2025-03-04 cs.SY eess.SY
Distributed Discontinuous Coupling for Convergence in Networks of Heterogeneous Nonlinear Systems
同步是许多自然和人工复杂网络系统中的重要现象。应用包括神经元网络,机器人中的编队控制和协调,以及电网中的频率同步。在本文中,我们提出了一个分布式的不连续耦合协议,以实现收敛和同步网络的非相同的非线性动力系统。我们表明,同步动力学是一个解决方案的平均节点的向量场,并获得分析估计的临界耦合增益需要实现收敛。数值模拟被用来说明和验证理论结果。
2020-03-23 cs.SY eess.SY
Distributed Second-order Multi-Agent Optimization over unbalanced network without boundedness of gradients
本文主要研究具有非平衡有向网络的分布式二阶多智能体优化问题。针对这一问题,提出了一种基于局部邻居信息和私有目标函数的分布式算法。通过坐标变换,将闭环系统分解为两个一阶子系统,使其易于处理。在网络强连通性的假设下,证明了在私人目标函数的梯度不被假设为有界的情况下,所有智能体都能协同地收敛到团队目标函数的某个最优解.
2020-05-03 cs.SY eess.SY
Convergence of a Distributed Least Squares
在本文中,我们考虑了一个基于最小二乘(LS)的分布式算法建立在传感器网络估计的动力系统的未知参数向量,其中网络中的每个传感器只有部分信息,但允许其邻居进行通信。我们的主要任务是通过建立自适应预测器的累积遗憾的上界和分布式LS估计器的收敛性,将传统LS的著名理论结果推广到当前的分布式情况,与现有的分布式估计文献相比,具有以下关键特征:首先,我们的理论不需要事先强加的独立性,平稳性或高斯性质的系统信号,因此适用于随机系统的反馈。其次,本文所引入的分布式最小二乘估计收敛的合作激励条件是最弱的,这表明即使单个传感器不能用传统的最小二乘估计未知参数,整个网络仍然可以用分布式最小二乘估计完成估计任务。
2022-12-16 cs.SY eess.SY
Distributed Optimization with Gradient Tracking over Heterogeneous Delay-Prone Directed Networks
针对单向异构有界延迟网络的分布式优化问题,提出鲁棒化加速分布式有向优化(R-ADD-OPT)算法,证明其在梯度步长满足与最大时延相关的范围时可保证节点收敛至最优解,且步长范围可预先计算。
2025-04-16 cs.SY eess.SY
Fully distributed PageRank computation with exponential convergence
Engineering Division of NYU Abu Dhabi(纽约大学阿布扎比分校工程学院)
本文提出一种完全分布式算法用于计算PageRank向量,该算法受匹配追踪启发,具有完全分布式实现、期望收敛性及指数收敛率和低存储需求(每个页面仅需两个标量值)的特点,并通过实验验证了这些发现。
2018-10-22 cs.DC cs.SY eess.SY
Optimal Distributed Voltage Control via Primal Dual Gradient Dynamics
基于逆变器的资源向电力传输网络的快速增加的渗透需要考虑其固有的输出可变性的更复杂的电压控制策略。此外,故障和负载变化影响电力网络上的电压分布。本文提出了一种基于原始对偶梯度动态的最优分布式电压控制方法,该方法优化了分布式无功电源的输出,以保持可接受的电压分布,同时保持操作限制。IEEE测试系统的实例研究验证了该方法的有效性。
2023-02-15 cs.SY eess.SY math.OC
Convergence Speed in Distributed Consensus and Control
研究分布式迭代算法在共识和平均问题中的收敛速度,提出固定拓扑下的最优算法和时变拓扑下的多项式时间平均算法。
2009-01-14 cs.SY eess.SY math.OC
Exponential convergence under distributed averaging integral frequency control
University of Groningen(格罗宁根大学);University of Cambridge(剑桥大学)
本文研究了分布式平均积分控制器在电力网络最优频率调节中的性能和鲁棒性,构建了严格李雅普诺夫函数以量化闭环系统的指数收敛率,并探讨了通信网络中断对系统稳定性及收敛率的影响。
2017-07-07 cs.SY eess.SY math.OC
On the Perturbed Projection-Based Distributed Gradient-Descent Algorithm: A Fully-Distributed Adaptive Redesign
本研究针对带特定形式受扰投影的分布式梯度下降多智能体系统,提出全分布式自适应增益调整方法,可使网络在最小化局部代价的同时,以任意精度逼近最优一致性集。
2025-09-03 cs.SY eess.SY math.OC
Gradient-tracking Based Differentially Private Distributed Optimization with Enhanced Optimization Accuracy
针对差分隐私会降低分布式优化精度的问题,提出时变步长与时变噪声方差的鲁棒梯度跟踪算法,并建立统一收敛分析框架,给出更宽松步长界且揭示智能体交互对精度的影响。
2023-04-26 cs.SY eess.SY math.OC
Blended Dynamics Approach to Distributed Optimization: Sum Convexity and Convergence Rate
研究了混合动力学方法在分布式最优化问题中的应用,其中全局代价函数由局部费用函数之和给出。优点包括(i)单个费用函数不需要是凸的,只要全局费用函数是强凸的,以及(ii)分布式算法的收敛速度任意地接近于集中式算法的收敛速度。两个特殊的连续时间算法使用比例积分型耦合。一个是“免初始化”的好处,这样代理可以在操作期间加入或离开网络。另一个具有最小量的通信信息。在给出了一个可用于设计分布式算法的一般定理后,我们特别提出了一个分布式重球方法,并讨论了它相对于其他方法的优势。
2021-02-25 cs.SY eess.SY math.OC
Gradient Tracking: A Unified Approach to Smooth Distributed Optimization
本文研究了有向图上的经典分布式最优化问题,其中目标函数是光滑局部函数之和。受我们早期工作中提出的隐式跟踪机制的启发,我们从纯原始的角度开发了一个统一的算法框架,即,UGT本质上是一种广义梯度跟踪方法,可以统一现有的大多数定步长分布式优化算法。证明了当全局目标函数是强凸的时,两种变形的UGT都能线性收敛。最后,通过数值实验对UGT的性能进行了评估。
2022-02-20 cs.SY eess.SY math.OC
On Stability and Convergence of Distributed Filters
近年来,见证了分布式过滤技术的扩散,其中一个集合的代理在一个ad-hoc网络通信的目的是协同估计和跟踪系统的状态。这些技术构成了现代多智能体系统的使能技术,并在工程界获得了极大的重要性。虽然大多数分布式过滤技术都有一套稳定性和收敛性标准,但所施加的条件被认为是不必要的限制。本文对分布式滤波的稳定性和收敛性的研究范式进行了修正。因此,一般的分布式滤波器的构造和它的估计误差动态公式。所进行的分析表明,实现稳定过滤操作的条件与集中过滤设置中所需的条件相同。最后,在卡尔曼滤波框架中证明了这些概念,并使用仿真实例进行了验证。
2021-02-22 cs.SY eess.SP eess.SY
Exponential convergence of distributed optimization for heterogeneous linear multi-agent systems
在这项工作中,我们研究了一个分布式的最优输出共识问题的异构线性多智能体系统的代理的目的是达成共识的目的是最小化的私人凸成本的总和。基于输出反馈,采用比例积分(PI)控制技术,提出了一种全分布式控制律。对于具有Lipschitz梯度的强凸代价函数,所设计的控制器在无向连通网络中可以指数收敛。此外,为了消除连续通信的要求,所提出的控制律,然后扩展到周期性和事件触发的通信计划,这也达到指数收敛。最后给出了两个仿真例子来验证所提出的控制算法。
2021-01-12 cs.SY eess.SY math.OC
Stability, Linear Convergence, and Robustness of the Wang-Elia Algorithm for Distributed Consensus Optimization
我们重新审视了J. Wang和N.伊利亚通过基于Lyapunov的分析,我们证明了输入状态稳定的算法相对于一个封闭的不变集组成的最佳平衡和扰动影响算法的动态。在没有扰动的情况下,这一结果意味着局部估计的线性收敛和最优稳态的李雅普诺夫稳定性。此外,我们揭示了与著名的梯度跟踪和分布式积分控制的基本连接。总体而言,我们的研究结果表明,控制理论的方法可以有相当大的影响(分布式)优化,特别是当鲁棒性被认为是。
2022-04-21 cs.SY eess.SY math.OC
Q-linear Convergence of Distributed Optimization with Barzilai-Borwein Step Sizes
大规模系统和机器学习中数据的增长使得分布式优化成为解决不同背景下判定问题的自然吸引力技术。在这样的方法中,每个代理迭代地使用从其邻居接收的信息对其本地目标进行计算,并与相邻代理共享相关信息。虽然基于梯度的方法由于其简单性而被广泛使用,但已知它们具有缓慢的收敛速度。另一方面,虽然牛顿型方法具有更好的收敛性能,但由于计算量和存储量巨大,它们并不适用。在这项工作中,我们介绍了一个分布式拟牛顿法与Barzilai-Borwein步长。我们证明了Q-线性收敛到最优解,给出了算法超线性收敛的条件,并通过数值模拟验证了我们的结果。
2022-06-18 cs.SY eess.SY math.OC
Distributed Stochastic Gradient Method for Non-Convex Problems with Applications in Supervised Learning
在局部目标函数具有Lipschitz连续梯度和Hessian函数的二次连续可微的假设下,提出了一种求解非凸优化问题的分布式随机梯度下降算法.我们提供了充分条件的步长,保证所提出的算法的渐近均方收敛。我们将开发的算法应用到分布式监督学习问题,其中一组网络代理协作训练他们各自的神经网络来识别图像中的手写数字。结果表明,所有代理报告类似的性能,也是一个集中训练的神经网络的性能相媲美。数值结果还表明,所提出的分布式算法允许个别代理识别的数字,即使对应于所有数字的训练数据是不是本地提供给每个代理。
2019-08-19 cs.SY eess.SY math.OC
On the Convergence Analysis of Asynchronous Distributed Quadratic Programming via Dual Decomposition
Department of Aerospace Engineering, Texas A&M University(德克萨斯农工大学航空航天工程系)
本文通过切换系统框架分析异步分布式二次规划的收敛性与收敛速率,提出异步更新对偶变量以减少同步延迟,探讨速度与精度的权衡。
2015-06-19 cs.SY eess.SY math.OC
A Distributed Gradient-based Algorithm for Optimization Problems with Coupled Equality Constraints
University of Virginia(弗吉尼亚大学)
本文提出了一种分布式梯度算法,通过一阶近似和投影解决耦合等式约束下的优化问题,展示了其在计算效率和可扩展性上的优势。
2025-11-24 cs.SY eess.SY math.OC
Distributed Dual Gradient Tracking for Economic Dispatch in Power Systems with Noisy Information
分布式算法是解决电力系统经济调度问题的有效方法。为了实现分布式算法,需要通信网络,使得算法容易受到噪声的影响,这可能导致有害的决策甚至不稳定。在本文中,我们提出了一种基于代理的方法,使一个完全分布式的解决方案的EDP在电力系统与嘈杂的信息交换。通过对梯度跟踪更新的新颖设计和抑制参数的引入,该算法能够有效地缓解噪声的影响,比现有的分布式算法具有更好的鲁棒性。算法的收敛性也建立在标准假设下。此外,提出了一种策略,以加快我们提出的算法。最后,该算法在几个IEEE总线系统上进行了测试,以证明其有效性和可扩展性。
2021-11-17 cs.SY eess.SP eess.SY
Distributed Observers for LTI Systems with Finite Convergence Time: A Parameter Estimation-based Approach
提出了一种新的线性定常系统分布式状态估计的求解方法。它依赖于应用程序的参数估计为基础的观察员,其中的状态观测任务被重新制定为一个参数估计问题。与现有的结果相比,我们的解决方案在有限时间内实现收敛,没有高增益的注入,并施加非常弱的假设上的通信图-即存在一个哈密顿行走。该计划被证明是强大的相对于外部干扰和通信延迟。
2020-05-26 cs.SY eess.SY math.DS
On Centralized and Distributed Mirror Descent: Convergence Analysis Using Quadratic Constraints
Northeastern University(东北大学);Johns Hopkins University(约翰斯·霍普金斯大学)
镜像下降(MD)是一种功能强大的一阶优化技术,它包含了包括梯度下降(GD)在内的几种优化算法。在这项工作中,我们开发了一个半定规划(SDP)的框架来分析的收敛速度的MD在集中式和分布式设置下的强凸和非强凸的假设。我们认为MD与动力系统的镜头,并利用二次约束(QC)提供明确的收敛速度的基础上李雅普诺夫稳定性。对于强凸假设下的集中MD,我们给出了一个证明指数收敛速度的SDP.我们证明了SDP总是有一个可行解,恢复最佳GD率作为一个特殊情况。我们补充我们的分析,提供了$O(1/k)$收敛速度凸问题。接下来,我们分析了分布式MD的收敛性,并使用SDP描述了速率。据我们所知,分布MD的数值速率以前没有在文献中报道。我们进一步证明了一个$O(1/k)$收敛速度分布MD在凸设置。我们的强凸问题的数值实验表明,我们的框架证明优越的收敛速度相比,现有的分布式GD率。
2022-01-18 cs.LG cs.SY eess.SY
CoDGraD: A Code-based Distributed Gradient Descent Scheme for Decentralized Convex Optimization
在本文中,我们考虑了一个大型网络包含许多区域,每个区域都配备了一个工人与一些数据处理和通信能力。对于这样的网络,一些工人可能会成为掉队者,由于故障或严重的延迟计算或通信。为了解决上述离散问题,最近提出了一种编码方案,为每个工人引入一定的冗余,并开发了梯度编码范式来解决凸优化问题时,网络具有一个集中式融合中心。在本文中,我们提出了一个迭代分布式算法,称为基于代码的分布式梯度下降算法(CoDGraD),解决分布式网络上的凸优化问题。在所提出的算法的每次迭代中,一个积极的工人共享编码的局部梯度和近似解的凸优化问题与非离散工人在相邻区域。在本文中,我们还提供了一致性和收敛性分析的CoDGraD算法,我们通过数值模拟来证明其性能。
2022-04-13 cs.SY eess.SY math.OC
Convergence and Optimality of Policy Gradient Methods in Weakly Smooth Settings
University of Toronto(多伦多大学);Vector Institute(向量研究所)
策略梯度方法已被频繁地应用于控制和强化学习中的问题,并取得了巨大的成功,然而现有的收敛分析仍然依赖于非直观的,不切实际的,往往是不透明的条件。特别是,现有的比率是在有限的环境中,在严格的规律性条件下实现的。在这项工作中,我们建立了明确的策略梯度方法的收敛速度,扩展的收敛制度,弱光滑的政策类$L_2$可积梯度。我们提供直观的例子来说明这些新条件背后的洞察力。值得注意的是,我们的分析还表明,在这些假设下,标准策略梯度和自然策略梯度算法的收敛速度是可以实现的。最后,我们为融合策略提供性能保证。
2022-04-07 cs.AI cs.LG cs.SY
A Policy Gradient Framework for Stochastic Optimal Control Problems with Global Convergence Guarantee
Duke University(杜克大学)
针对连续时间随机最优控制问题,提出策略梯度方法,分析其连续时间极限的梯度流,在正则性假设下证明全局收敛性并建立收敛速率,引入局部最优控制函数刻画迭代局部最优性。
2025-04-14 cs.LG cs.SY eess.SY
Variance-Reduced Gradient Estimator for Nonconvex Zeroth-Order Distributed Optimization
School of Advanced Manufacturing and Robotics, Peking University(北京大学先进制造与机器人学院)
本文研究了平滑非凸问题的分布式零阶优化,提出了一种新的方差减少梯度估计器,通过伯努利分布随机更新真实梯度的单个正交方向或在所有维度上计算梯度估计以进行方差校正,结合梯度跟踪机制解决了收敛速度与采样成本的平衡问题。
2026-04-09 cs.MA cs.SY eess.SY
Convergence Analysis of Nonconvex Distributed Stochastic Zeroth-order Coordinate Method
University of North Texas(北得克萨斯大学);Huazhong University of Science and Technology(华中科技大学)
研究了随机分布非凸最优化问题,即最小化由$n$局部费用函数求和形成的全局费用函数。我们解决这样的问题,涉及零阶(ZO)信息交换。本文提出了一种求解随机最优化问题的ZO分布原始-对偶坐标方法。代理近似自己的本地随机ZO预言与坐标与自适应平滑参数。我们表明,该算法实现了一般非凸费用函数的$\mathcal{O}(\sqrt{p}/\sqrt{T})$的收敛速度。我们证明了所提出的算法的效率,通过一个数值例子与现有的国家的最先进的集中式和分布式ZO算法的比较。
2021-10-13 cs.LG cs.SY eess.SY