Distributed Convex Second-Order Optimization for AC/DC Hybrid Distribution Systems within PROcess Orchestration Framework
Andlinger Center for Energy and the Environment, Princeton University(普林斯顿大学安格林格能源与环境中心);Institute for Automation and Applied Informatics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院自动化与应用信息学研究所);Automatic Control Laboratory, EPFL(瑞士联邦理工学院洛桑分校自动控制实验室);Institute for Transport Planning and Systems at ETH Zurich(苏黎世联邦理工学院交通规划与系统研究所);College of New Energy, China University of Petroleum (East China)(中国石油大学(华东)新能源学院);Shandong Engineering Research Center of Power Electronic Technology in Power Systems(山东省电力系统电力电子技术工程研究中心)
针对交直流混合配电网,提出基于凸ALADIN的二阶分布式优化方法,实现局部二次收敛,并利用PROcess Orchestration框架自动化执行,数值验证有效。
2026-09-15 cs.SY eess.SY math.OC
Accelerating Distributed Optimization via Fixed-time Convergent Flows: Extensions to Non-convex Functions and Consistent Discretization
University of Calfornia, Santa Cruz(加州大学圣克鲁兹分校);TCS(塔塔咨询服务公司)
本文提出了一种固定时间收敛的分布式优化算法,用于解决潜在非凸优化问题,结合了固定时间收敛的分布式参数估计方案和固定时间分布式共识方案,扩展到满足Polyak-Łojasiewicz不等式的非凸团队目标函数,并证明了使用欧拉方法离散化后仍保持固定时间收敛性。
2022-05-27 cs.SY eess.SY math.OC
Extended Convex Hull-Based Distributed Optimal Energy Flow of Integrated Electricity-Gas Systems
本文提出基于扩展凸包的方法,将综合电-气系统划分为多区块并凸化非凸燃气传输方程,利用Jacobi-Proximal ADMM算法分布式求解最优能量流,并给出恢复原始非凸问题最优解的充分条件。
2024-01-18 cs.SY eess.SY math.OC
Dynamic Regret Analysis of Safe Distributed Online Optimization for Convex and Non-convex Problems
Northeastern University(东北大学);Texas A&M University(得克萨斯农工大学)
本文讨论了一组未知的线性安全约束的安全分布式在线优化。代理网络的目标是共同最小化一个全球性的,时变的功能,这是只有部分观察到每个单独的代理。因此,代理人必须从事本地通信,以产生一个安全的行动序列与最佳的最小化序列在事后的竞争力,和两个序列之间的差距是通过量化的动态遗憾。我们提出了分布式安全在线梯度下降(D-Safe-OGD)与探索阶段,其中所有的代理估计约束参数协作建立估计可行集,确保在优化阶段的行动选择的安全性。我们证明了对于凸函数,D-Safe-OGD实现了$O(T^{2/3} \sqrt{\log T} + T^{1/3}C_T^*)$的动态遗憾界,其中$C_T^*$表示最佳极小序列的路径长度。我们进一步证明了$O(T^{2/3} \sqrt{\log T} + T^{2/3}C_T^*)$对某些非凸问题的动态遗憾界,这建立了一个安全的分布式算法在非凸设置的第一个动态遗憾界。
2023-02-23 cs.LG cs.SY eess.SY
Accelerated Distributed Projected Gradient Descent for Convex Optimization with Clique-wise Coupled Constraints
研究了由团模型的多个群体组成的多智能体系统中一类带耦合约束的分布式凸优化问题。首先,我们提出了一个完全分布式的基于梯度的算法与一个新的运营商的启发凸投影,称为基于投影。接下来,我们仔细检查收敛性能的递减和固定的步长。对于递减问题,在目标函数光滑和约束集紧的假设下,证明了算法收敛到最优解。另外,当目标函数是强单调的时,在不作紧性假设的情况下,证明了严格收敛于唯一解。对于固定步长,在目标函数光滑的假设下,证明了目标残差的非遍历收敛速度为O(1/k).此外,我们将Nesterov的加速方法应用于所提出的算法,并建立了O(1/k^2)的收敛速度。数值实验表明了该方法的有效性。
2022-11-18 cs.SY eess.SY math.OC
Distributed Coverage Control of Multi-Agent Systems with Load Balancing in Non-convex Environments
在非凸和不确定环境中处理突发事件一直是一个具有挑战性的任务,而多智能体覆盖控制为研究移动机器人网络的部署问题提供了一个强有力的理论框架,以最小化处理随机事件的代价。受分而治之方法的启发,本文提出了一种新的覆盖公式来控制多智能体系统在非凸区域,同时均衡子区域之间的工作量。因此,一个分布式的覆盖控制器的设计,以驱动每个代理朝着所需的配置,最大限度地减少服务成本,通过与旋转分区策略集成。此外,提出了一种循环搜索算法来确定降低服务成本问题的最优解。此外,它被证明,该搜索算法能够近似多智能体系统的最优配置与任意小的公差。最后,通过数值模拟验证了所提出的覆盖控制方法的有效性。
2022-09-04 cs.SY eess.SY math.OC
Computational Convergence Analysis of Distributed Gradient Tracking for Smooth Convex Optimization Using Dissipativity Theory
University of Illinois, Chicago(伊利诺伊大学芝加哥分校)
本文基于耗散性理论,研究了在目标函数平滑且凸但非强凸的情况下,分布式梯度跟踪方法的$O(1/K)$收敛性,通过构造存储函数和供应率的数值证书,提出了一种新的供应率分析方法,并展示了其在更广泛步长范围内验证收敛性的能力。
2019-03-25 cs.SY eess.SY math.OC
On Separable Quadratic Lyapunov Functions for Convex Design of Distributed Controllers
ETH Zürich(苏黎世联邦理工学院);University of Oxford(牛津大学)
本文研究了在指定稀疏模式下设计稳定且最优静态控制器的问题,通过引入可分离二次李雅普诺夫函数的凸限制,改进了传统对角线李雅普诺夫函数的方法,从而提升可行性与性能,并通过数值示例验证了结果。
2019-03-11 cs.SY eess.SY math.OC
Attack-Resilient Distributed Convex Optimization of Linear Multi-Agent Systems Against Malicious Cyber-Attacks over Random Digraphs
研究了随机有向图上异构线性多智能体系统在拒绝服务攻击下的弹性指数分布凸优化问题.随机有向图是由不可靠的网络引起的,而允许非周期性发生的DoS攻击是指智能对手中断通信信道。与现有的许多分布式凸优化算法相比,在网络环境下,由于网络环境的不利影响,可能无法得到全局最优解,从而导致优化算法性能下降甚至失效。上述设置对优化算法设计和指数收敛分析提出了某些技术挑战。在这项工作中,提出了几个弹性算法,使一个团队的代理最小化的总和,当地的非二次费用函数在一个安全可靠的方式与全球指数收敛。受[15]-[18]中的初步工作的启发,研究了对攻击频率和持续时间的显式分析,以保证指数最优解。数值模拟结果证明了所提出的设计的有效性。
2021-05-06 cs.SY eess.SY math.OC
ALADIN-$α$ -- An open-source MATLAB toolbox for distributed non-convex optimization
本文介绍了一个开源的分布式非凸优化软件ALADIN- $α$。ALADIN- $α$是增广拉格朗日交替方向不精确牛顿(ALADIN)算法的定制变体的MATLAB实现。它的用户界面是方便的非凸分布式优化算法的快速原型。包括最近提出的ALADIN的两级变体的改进版本,使分散的非凸优化与减少信息交换。从不同的应用领域,包括化学工程,机器人和电力系统的例子集合巩固了ALADIN- $α$的潜力。
2021-10-04 cs.DC cs.MA cs.SY
Unified Approach to Convex Robust Distributed Control given Arbitrary Information Structures
ETH Zurich(苏黎世联邦理工学院)
本文研究了在有限时间 horizon 内计算线性系统最优线性控制策略的问题,考虑在未知扰动下状态和输入始终在预设安全集内的情况,提出了一种统一方法,将二次不变性等同于有限多个二进制矩阵的测试,以保证在任意信息结构下输出反馈分布式控制问题的凸性。
2019-03-09 cs.SY eess.SY math.OC
Distributed Random Projection Algorithm for Convex Optimization
University of Illinois(伊利诺伊大学)
针对时变网络下的分布式约束凸优化问题,提出分布式随机投影算法,并证明所有智能体迭代几乎必然收敛到最优集,实验表明收敛速度快。
2013-02-14 cs.SY eess.SY math.OC
Zero-Gradient-Sum Algorithms for Distributed Convex Optimization: The Continuous-Time Case
University of Oklahoma(俄克拉荷马大学)
针对固定拓扑无向网络上的无约束可分凸优化问题,提出基于李雅普诺夫函数的连续时间分布式零梯度求和算法,保证渐近收敛到全局最优解,并分析了指数收敛速率与网络拓扑、问题特性及算法参数的关系。
2011-09-26 cs.DC cs.SY eess.SY
Distributed Stochastic Proximal Algorithm on Riemannian Submanifolds for Weakly-convex Functions
Tongji University(同济大学);University of New South Wales(新南威尔士大学);University of Science and Technology of China(中国科学技术大学)
研究欧几里得空间中紧致嵌入子流形上弱凸函数的分布式随机优化问题,利用收缩和黎曼共识协议提出算法框架并分析三种算法,证明其收敛性并给出收敛速率,通过数值实验验证结果。
2026-10-14 cs.SY eess.SY math.OC
Convex Reformulation of LMI-Based Distributed Controller Design with a Class of Non-Block-Diagonal Lyapunov Functions
University of California San Diego(加州大学圣地亚哥分校)
针对连续时间线性时不变系统的分布式状态反馈控制器设计问题,提出基于非块对角Lyapunov函数的凸重构方法,通过稀疏矩阵分解和Finsler引理推导新LMIs,提升控制性能并通过数值示例验证有效性。
2025-11-18 cs.SY eess.SY math.OC
On Centralized and Distributed Mirror Descent: Convergence Analysis Using Quadratic Constraints
Northeastern University(东北大学);Johns Hopkins University(约翰斯·霍普金斯大学)
镜像下降(MD)是一种功能强大的一阶优化技术,它包含了包括梯度下降(GD)在内的几种优化算法。在这项工作中,我们开发了一个半定规划(SDP)的框架来分析的收敛速度的MD在集中式和分布式设置下的强凸和非强凸的假设。我们认为MD与动力系统的镜头,并利用二次约束(QC)提供明确的收敛速度的基础上李雅普诺夫稳定性。对于强凸假设下的集中MD,我们给出了一个证明指数收敛速度的SDP.我们证明了SDP总是有一个可行解,恢复最佳GD率作为一个特殊情况。我们补充我们的分析,提供了$O(1/k)$收敛速度凸问题。接下来,我们分析了分布式MD的收敛性,并使用SDP描述了速率。据我们所知,分布MD的数值速率以前没有在文献中报道。我们进一步证明了一个$O(1/k)$收敛速度分布MD在凸设置。我们的强凸问题的数值实验表明,我们的框架证明优越的收敛速度相比,现有的分布式GD率。
2022-01-18 cs.LG cs.SY eess.SY
Linear Convergence of Distributed Mirror Descent with Integral Feedback for Strongly Convex Problems
Texas A&M University(德州农工大学)
分布式优化通常需要找到写为局部函数之和的全局目标函数的最小值。一组代理共同工作以最小化全局函数。我们研究了一个连续时间分散镜像下降算法,使用纯粹的局部梯度信息收敛到全局最优解。该算法使用积分反馈的思想来强制代理之间的共识。最近,Sun和Shahrampour(2020)研究了当全局函数是强凸函数但局部函数是凸函数时该算法的渐近收敛。使用控制理论工具,在这项工作中,我们证明了该算法确实达到(局部)指数收敛。我们还提供了一个真实数据集上的数值实验作为验证我们的算法的收敛速度。
2020-11-24 cs.LG cs.SY eess.SY
Distributed Optimization of Convex Sum of Non-Convex Functions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种分布式求解方法来优化由多个非凸函数组成的凸函数。每个非凸函数都被一个代理私有地存储,而代理与邻居通信以形成一个网络。我们证明了[1]中提出的耦合一致性和投影梯度下降算法在附加梯度Lipschitz性假设下可以优化非凸函数的凸和。我们进一步讨论了这种分析在分布式优化中提高隐私性的应用。
2016-08-18 cs.DC cs.LG math.OC
Distributed Personalized Gradient Tracking with Convex Parametric Models
我们提出了一种分布式优化算法,用于解决在线个性化优化问题的计算和通信节点的网络,其中每个节点链接到一个特定的用户。假设局部目标函数具有复合结构,并且由已知的时变(工程)部分和未知的(用户特定的)部分组成。关于未知部分,假设具有已知参数(例如,二次)结构,其参数将随着算法的进化而学习。该算法由两个相互交织的组件组成:(i)一个动态梯度跟踪计划,用于寻找局部解估计和(ii)一个递归最小二乘计划,用于估计未知参数,通过用户的噪声反馈的局部解估计。在适当的假设下,该算法表现出有界遗憾。最后,数值例子验证了理论分析。
2021-04-14 cs.SY eess.SY math.OC
Convergence rate of distributed Dykstra's algorithm with sets defined as level sets of convex functions
当某些集合被定义为凸函数的水平集时,我们研究了分布式Dykstra算法的收敛速度。我们进行了数值实验与理论结果进行了比较。
2018-09-25 math.OC
Decomposition of non-convex optimization via bi-level distributed ALADIN
Institute for Automation and Applied Informatics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院自动化与应用信息研究所);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
本文提出了一种通过双层分布式ALADIN算法进行去中心化非凸优化的框架,解决了约束非凸优化中现有算法性能有限或缺乏收敛保证的问题,通过在内层使用去中心化共轭梯度或ADMM方案来求解简化后的凸协调QP,并通过电力系统和机器人案例验证了该框架的性能。
2019-03-27 cs.DC cs.SY eess.SY
Distributed Big-Data Optimization via Block-Iterative Convexification and Averaging
Università del Salento(萨莱诺大学);Purdue University(普渡大学)
本文研究多智能体网络中的分布式大数据非凸优化问题,提出基于块迭代凸化和平均的算法,通过局部优化和通信子集,解决非凸性问题并保证渐近收敛。
2018-05-02 cs.DC cs.SY eess.SY
Accelerated Primal-Dual Algorithm for Distributed Non-convex Optimization
本文研究了非凸问题分布式优化算法的加速收敛问题。我们提出了一个分布式的原始-对偶随机梯度下降~(SGD)配备了“强力球”方法来加速。我们表明,该算法实现了一般光滑(可能非凸)费用函数的线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$。我们通过在MNIST数据集上训练两层全连接神经网络和卷积神经网络,与最先进的分布式SGD算法和集中式SGD算法进行比较,通过数值实验证明了该算法的效率。
2021-10-13 math.OC
Distributed robust adaptive equilibrium computation for generalized convex games
本文考虑了一类广义凸对策,其中每个局中人与凸目标函数、凸不等式约束和凸约束集相关联。参与者的目标是通过与相邻参与者的通信来计算纳什均衡。我们考虑的特殊挑战是,相关的球员的组件功能是未知的先验。研究了两种分布式计算算法,分析了它们在数据传输延迟和网络拓扑动态变化情况下的收敛性质。通过IEEE 30节点测试系统的需求响应验证了算法的性能。我们的技术工具集成了凸分析,变分不等式和同时扰动随机逼近。
2015-09-22 math.OC
A Gradient-Free Distributed Optimization Method for Convex Sum of Non-Convex Cost Functions
本文提出了一种特殊类型的分布式最优化问题,其中代理的局部费用函数(即,全局费用函数)是凸的,但是每个个体可以是非凸的。不同于大多数分布式优化算法利用梯度的优点,考虑的问题是非光滑的,梯度信息是未知的代理。为了解决这一问题,引入了高斯平滑技术,并提出了一种无梯度方法。我们证明了每个代理的最优解近似收敛到最优解的概率为1和平均值,并提供了一个上界的最优性差距,其特征在于之间的差异的函数值的最优解和最优值。通过数值例子和在隐私增强中的应用,证明了该算法的性能。
2021-08-13 math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题,该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和,这些局部目标函数由可微的(可能是非凸的)费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题,提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识,收敛到一组临界点的收敛速度$O(1/T)$。最后,通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Achieving Social Optimum in Non-convex Cooperative Aggregative Games: A Distributed Stochastic Annealing Approach
本文设计了一种求解非凸合作聚集对策的分布式随机退火算法,该算法的费用函数不仅依赖于Agent自身的决策变量,而且依赖于Agent决策变量之和。为了寻求合作聚集博弈的社会最优解,提出了一种分布式随机退火算法,其中局部费用函数是非凸的,Agent之间的通信拓扑是时变的。进一步分析了该算法对社会最优解的弱收敛性。 算例验证了算法的有效性.
2022-04-02 math.OC
On Distributed Online Convex Optimization with Sublinear Dynamic Regret and Fit
在这项工作中,我们考虑一个分布式在线凸优化问题,随时间变化(潜在的敌对)的约束。一组节点共同的目标是最小化全局目标函数,该全局目标函数是局部凸函数的和。目标和约束函数在每次采取行动后局部地显示给节点。当然,这些约束不能立即得到满足。因此,我们重新制定的问题,以满足这些限制在长期内。为此,我们提出了一个分布式的原始-对偶镜像下降的方法,其中原始和对偶更新在本地进行的所有节点。这之后是本地节点通过与直接邻居的通信来共享和混合原始变量。为了量化所提出的算法的性能,我们利用具有挑战性的,但更现实的指标动态遗憾和配合。动态后悔衡量的是与最佳动态策略相比,算法所造成的累积损失。另一方面,拟合度量长期累积的约束违反。在不假设限制性斯莱特的条件下,我们表明,该算法实现了次线性的遗憾和温和的,常用的假设下,适合。
2021-05-05 cs.DC cs.SY eess.SY
Recent theoretical advances in decentralized distributed convex optimization
近年来,分散分布凸优化理论取得了重大进展。已经出现了通信轮和oracle调用的下界,以及达到这两个界限的方法。在本文中,我们专注于如何解释这些结果的基础上的非分布式设置的最佳算法。特别是,我们提供了我们最近的结果,这些结果尚未发表,只能在arXiv预印本中找到详细信息。
2021-11-29 math.OC
Sensitivity-Based Distributed Programming for Non-Convex Optimization
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希·亚历山大大学)
本文提出了一种基于灵敏度的分布式编程方法,用于解决大规模非线性规划问题,通过邻居间通信和并行计算实现非凸问题的局部收敛性分析。
2026-03-27 math.OC
Distributed coordination for nonsmooth convex optimization via saddle-point dynamics
本文考虑连续时间协调算法的代理网络,寻求集体解决一般类的非光滑凸优化问题与固有的分布式结构。我们的算法设计建立在非光滑凸规划的解作为增广拉格朗日量的鞍点的特征上。我们表明,相关的鞍点动力学是渐近正确的,但在一般情况下,不分布,因为存在一个全球罚参数。这促使设计一个不连续的鞍点样算法,享有相同的收敛性能,是完全服从分布式实现。我们的收敛性证明依赖于一个新的全球李雅普诺夫函数的鞍点动态识别。这种新颖性也使我们能够确定温和的凸性和正则性条件的目标函数,保证指数收敛速度的凸优化问题的等式约束的算法。各种例子说明了我们的讨论。
2017-05-16 math.OC
Distributed Convex Optimization With Coupling Constraints Over Time-Varying Directed Graphs
研究了时变多智能体网络上的分布式凸优化问题,其中每个智能体都有自己的决策变量,这些决策变量的设置应使其个体目标最小化,且受局部约束和全局耦合等式约束.在有向图上,提出了一种将推和协议与对偶次梯度方法相结合的分布式算法。在凸性假设下,首先建立了原始变量、对偶变量和约束违反的最优性。然后给出了算法的显式收敛速度。最后,通过对经济调度问题的数值实验,验证了算法的有效性。
2018-05-21 math.OC
Distributed Optimal Gas-Power Flow Using Convex Optimization and ADMM
提出了一种基于凸优化的分布式算法来求解能量耦合配电系统多时段最优气电潮流。在配气系统侧,非凸Weymouth气体流动方程被转化为二次约束。最优气体流量(OGF)子问题的求解采用迭代二阶锥规划方法,其效率比传统的非线性方法高两个数量级。提出了一种基于凸二次规划的起爆方案,该方案有助于找到高质量的起爆点。在配电系统侧,对非凸支路潮流方程进行凸松弛,最优潮流(OPF)子问题转化为二阶锥规划。径向拓扑保证了紧密性。在分布式算法中,OGF和OPF独立求解,并通过交替方向乘子法(ADMM)协调。数值结果证实了显着增强的计算鲁棒性和效率相比,现有的集中式OGPF方法。
2016-10-15 math.OC
Distributed Event-Triggered Algorithm for Convex Optimization with Coupled Constraints
针对一类具有局部集合约束、等式和不等式约束的凸优化问题,提出了一种基于事件触发机制的分布式原始对偶法.与已有的一些分布式算法的逐步减小的步长,我们的算法使用恒定的步长,并实现了一个精确的收敛到最优解的$O(1/k)$收敛速度一般凸目标函数,其中$k>0$是迭代次数.此外,通过采用事件触发通信机制,该算法可以有效地降低通信成本,而不牺牲收敛速度。最后通过数值算例验证了算法的有效性。
2022-10-26 math.OC
Distributed Convex Optimization for Continuous-Time Dynamics with Time-Varying Cost Function
研究了连续时间多智能体系统的时变分布凸优化问题。控制算法的情况下,单积分器和双积分器的动态设计。在每种情况下,提出了两种基于符号函数的不连续算法来解决问题。然后,在双积分动力学的情况下,两个连续的算法的基础上,分别提出了一个时变和固定的边界层连续近似的signum函数。此外,考虑到代理间碰撞的物理代理,一个分布式的群体跟踪行为的凸优化问题的单积分器和双积分器的动态。
2016-09-06 math.OC
A Polyhedral Approximation Framework for Convex and Robust Distributed Optimization
University of Stuttgart(斯图加特大学);University of Lecce(莱切大学)
提出一种名为切割平面共识的分布式算法,通过外部多面体近似约束集,解决对等网络中的凸与鲁棒分布式优化问题,具有可扩展性和容错性。
2013-03-25 cs.DC cs.SY eess.SY
Distributed Difference of Convex Optimization
University of Minnesota(明尼苏达大学)
本文研究有向图下非光滑凸差形式的分布式优化问题,提出基于光滑近似与有限时间近似共识协议的DDC-Consensus算法,并证明其能收敛至驻点且数值实验验证了有效性。
2024-07-23 cs.AI cs.DC cs.SY
Distributed Convex Optimization with Many Convex Constraints
Friedrich-Schiller-University Jena(耶拿弗里德里希-施特劳斯大学)
本文提出一种扩展的ADMM方法,用于解决具有众多凸约束的分布式凸优化问题,继承了ADMM和增广拉格朗日方法的收敛性保证。
2018-04-06 cs.LG cs.NA math.NA
Non-Convex Distributed Optimization
研究了时变多智能体网络上的分布式非凸优化问题。每个节点都可以访问其自己的平滑局部费用函数,并且集体目标是最小化这些函数的和。我们把以前得到的结果推广到非凸函数的情形。在一些附加的技术假设的梯度,我们证明了分布式推和算法的收敛到某个临界点的目标函数。通过利用扰动的更新过程中,我们证明了几乎必然收敛的扰动动力学的局部极小值的全局目标函数。我们的分析表明,这个噪声的过程收敛的速度为$O(1/t)$。
2016-12-03 math.OC math.PR
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来,人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战,并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的,统一的,算法框架,连续凸逼近(SCA)技术的基础上,并行和分布式解决方案的一般类的非凸约束(不可分离的,网络)的问题。所提出的框架统一和概括了现有的几种SCA方法,使他们呼吁并行/分布式实现,同时提供了一个灵活的选择函数逼近,步长时间表,和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法,在Cetraro,意大利,2014年6月23日至27日举行的讲座。这些讲座是:I)连续凸逼近方法:基础; II)并行连续凸逼近方法;和III)分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach
本文研究了具有局部约束的非光滑凸费用函数和的分布式最优化问题。首先,我们提出了一种新的分布式连续时间投影算法,其中每个代理知道其本地费用函数和本地约束集,约束最优化问题。然后证明了算法中的所有智能体在寻找最优解时都能找到相同的最优解,同时保持状态有界。利用非光滑李雅普诺夫函数对微分包含的稳定性进行了全收敛分析。最后,我们提供了一个数值例子来说明。
2016-11-28 math.OC
Distributed Circumferential Coverage Control in Non-Convex Annulus Environments
School of Automation, China University of Geosciences(中国地质大学自动化学院);Hubei Key Laboratory of Advanced Control and Intelligent Automation for Complex Systems(复杂系统先进控制与智能自动化湖北省重点实验室);Engineering Research Center of Intelligent Technology for Geo-Exploration, Ministry of Education(教育部地球探测与智能技术工程研究中心)
本文提出了一种分布式周向覆盖控制方法,通过构建黎曼度量和虚拟分区杆实现非凸环形区域的负载均衡与覆盖控制。
2026-02-06 math.OC
Fenchel Dual Gradient Methods for Distributed Convex Optimization over Time-varying Networks
在现有的大量凸多智能体优化分布式算法中,只有少数算法能保证智能体网络在时变拓扑下的收敛速度,而这又限制了问题的无约束性.出于这一动机,我们开发了一个家庭的分布式Fenchel双梯度法解决约束,强凸,但不一定光滑的多智能体最优化问题随时间变化的无向网络。所提出的算法构造的基础上应用加权梯度法的Fenchel对偶的多智能体最优化问题,并可以实现在一个完全分散的方式。我们表明,所提出的算法驱动所有的代理原始和对偶最优渐近下的最小连通性条件和次线性速率下的标准连通性条件。最后,通过仿真验证了分布式Fenchel对偶梯度法的良好收敛性能.
2018-04-05 math.OC
Convergence Analysis of Noisy Distributed Gradient Descent for Non-convex Optimization -- Saddle Point Escape
University of Melbourne(墨尔本大学)
研究基于共识的分布式梯度下降变体,通过随机扰动局部梯度项使每个智能体以高概率收敛到公共二阶驻点(局部极小点)的邻域,收敛速率与集中式一阶算法相当。
2026-10-08 math.OC
An Enhanced Gradient-Tracking Bound for Distributed Online Stochastic Convex Optimization
在求解分布式在线随机最优化问题时,基于梯度跟踪(GT)的分散方法已成为分散(随机)梯度下降(DSGD)的一种有效可行的替代方法。对GT方法的初步研究表明,GT方法比DSGD方法具有更差的网络依赖率,这与实验结果相矛盾。这一难题最近得到了解决,GT方法的更严格的费率已经建立,这改进了DSGD。在这项工作中,我们建立了更多的增强率的GT方法在线随机凸设置。我们提出了另一种方法来分析GT方法的凸问题和静态图。与以前的分析相比,这种方法使我们能够建立增强的网络依赖率。
2023-01-07 math.OC
An Augmented Lagrangian Coordination-Decomposition Algorithm for Solving Distributed Non-Convex Programs
提出了一种新的增广拉格朗日方法,用于求解分布式框架下具有非线性费用和约束耦合的非凸规划问题。提出的分解算法由两层组成:外层是一个标准的乘子方法,对非线性等式约束进行惩罚,而内层由块坐标下降(BCD)方案组成。基于乘子方法的标准结果和最近的结果在近端正则化BCD技术,它被证明是收敛到一个KKT点的非凸非线性规划下的半代数性假设。数值算例验证了算法的有效性。
2014-07-21 math.OC
An Accelerated Asynchronous Distributed Method for Convex Constrained Optimization Problems
考虑了一类带有局部非线性凸约束的多智能体协作共识最优化问题,其中只有通过边连接的智能体可以直接通信,因此最优共识决策位于这些私有集的交集中.我们开发了一个异步分布式加速原始对偶法来解决所考虑的问题。该计划是第一个异步方法,这类问题的最佳收敛保证,据我们所知。特别是,我们提供了一个最佳的收敛速度的$\mathcal{O(1/K)}$次优,不可行性,共识违反。
2023-02-21 math.OC
On Accelerating Distributed Convex Optimizations
University of Maryland(马里兰大学);École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
研究了一个分布式多智能体凸优化问题。该系统包括多个代理在这个问题中,每个具有一组本地数据点和相关的本地费用函数。代理连接到服务器,并且没有代理间通信。智能体的目标是学习一个参数向量,该参数向量优化其本地成本的总和,而不暴露其本地数据点。原则上,代理可以通过使用传统的分布式梯度-下降法与服务器协作来解决这个问题。然而,当总成本是病态的,梯度-下降法(i)需要大量的迭代收敛,(ii)是非常不稳定的过程噪声。我们提出了一种迭代预处理技术,以减轻有害影响的费用函数的条件分布梯度下降的收敛速度。与传统的预处理技术不同,在我们提出的技术中的预处理矩阵迭代更新,以促进分布式网络上的实现。在分布式环境下,我们证明了该算法的线性收敛性,比传统的自适应梯度下降法具有更高的收敛速率。此外,对于总成本的极小值是唯一的特殊情况,我们的算法超线性收敛。我们证明了我们的算法的优越性能相比,突出的分布式算法解决真正的逻辑斯谛回归问题,并通过一个嘈杂的二次模型仿真神经网络训练,从而标志着该算法的效率分布式解决非凸优化。此外,我们的经验表明,该算法的结果在更快的训练,而不影响泛化性能。
2021-08-19 cs.LG cs.SY eess.SY
Dynamic Regret of Distributed Online Frank-Wolfe Convex Optimization
本文研究了分布式在线凸约束优化问题,在该问题中,多智能体系统中的多个智能体通过与时变网络中的邻居进行通信来协作以最小化全局费用函数。当最优化问题的约束集是高维的、复杂的时,投影运算的计算量往往变得令人望而却步。为了解决这个问题,我们开发了一个分布式的在线Frank-Wolfe优化算法结合梯度跟踪技术。我们严格建立动态遗憾界的建议优化算法为$\mathcal{O}(\sqrt{T(1+H_T)}+D_T)$,这显式地依赖于迭代轮$T$,功能变化$H_T$,和梯度变化$D_T$。最后,在分布式在线岭回归问题的情况下,对理论结果进行了验证和比较。
2023-02-01 math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University(杜克大学)
在本文中,我们考虑的问题,分布式在线凸优化,在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中,我们表明,我们可以消除这种依赖性,假设当地的目标函数是强凸的。更准确地说,我们提出了一个梯度跟踪算法,代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
On the Q-linear convergence of Distributed Generalized ADMM under non-strongly convex function components
求解多智能体网络中的最优化问题已成为一个日益重要的问题,其中每个智能体只有部分知识的问题。本文考虑了最小化$n$凸函数和的问题。我们假设每个函数只有一个智能体知道。我们表明,广义分布式ADMM Q-线性收敛到上述最优化问题的解决方案,如果在所有的目标函数是强凸的,但每个代理已知的功能只允许是凸的。建立Q-线性收敛允许跟踪语句,如果仅保证R-线性收敛,则不能进行跟踪语句。此外,我们建立了广义分布ADMM和P-EXTRA之间的等价性的混合矩阵的子集。这种等价性在P-EXTRA的收敛性方面产生了见解,当过冲以加速收敛时。
2018-05-04 math.OC
On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks
Texas A&M University(德克萨斯农工大学)
随机次梯度法是一种广泛应用于解决机器学习中大规模最优化问题的算法。通常这些问题既不光滑也不凸。最近,Davis等人。[1-2]描述了弱凸情况下随机次梯度方法的收敛性,其中包括许多重要应用(例如,鲁棒相位恢复、盲去卷积、双凸压缩感测和字典学习)。在实践中,分布式实现的投影随机次梯度法(stoDPSM)被用来加快风险最小化。在本文中,我们提出了一个分布式实现的随机次梯度方法的理论保证。具体而言,我们展示了整体收敛的stoDPSM使用莫罗包络平稳性措施。此外,在一个所谓的锐度条件下,我们表明,确定性DPSM(与适当的初始化)线性收敛到尖锐的最小值,使用几何递减的步长。我们提供了数值实验来支持我们的理论分析。
2021-02-23 cs.LG math.OC stat.ML
Two-timescale EXTRA for Distributed Smooth Non-convex Optimization
University of Melbourne(墨尔本大学)
本文针对光滑非凸分布式优化问题,提出引入双步长的双时间尺度EXTRA算法,通过Lyapunov分析证明其到共识一阶稳定点的次线性收敛,并给出离线参数选择方法及数值验证。
2025-09-21 math.OC
Distributed and Asynchronous Algorithms for N-block Convex Optimization with Coupling Constraints
本文首先提出了一种N块PCPM算法来求解同时具有线性和非线性约束的N块凸优化问题,并证明了算法的整体收敛性。数值实验表明,在强二阶最优性条件下,该方法具有线性收敛速率。其次,以线性约束N块凸优化问题为出发点,提出了一种异步N块PCPM算法。数值结果表明,在有界时滞假设下,该方法具有亚线性收敛速率,并且比同步迭代法具有更快的收敛速度,只需更多的短时迭代。
2021-03-25 math.OC