Consensus optimization approach for distributed Kalman filtering: performance recovery of centralized filtering with proofs
本文从分布式优化的角度研究了分布式卡尔曼滤波(DKF)。由于卡尔曼滤波是一个最大后验估计(MAP)问题,而MAP问题是一个二次优化问题,因此我们将DKF问题转化为一个一致性优化问题,从而使得它可以用现有的许多分布式优化算法来求解。提出了一种新的基于对偶上升法的DKF算法,并在较弱的假设条件下证明了该算法的稳定性。通过数值实验对算法的性能进行了评估。
2022-08-19 cs.SY eess.SY math.OC
Affine-coupled Distributed Optimization via Distributed Proximal Jacobian ADMM with Quantized Communication
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Bologna(博洛尼亚大学);KTH Royal Institute of Technology(皇家理工学院);The Hong Kong University of Science and Technology(香港科技大学)
本文提出一种结合集中式近端雅可比交替方向乘子法与有限级量化共识方案的分布式算法,用于解决受限通信带宽下的分布式资源分配优化问题,证明其在凸目标函数下具有亚线性收敛性。
2026-04-16 cs.SY eess.SY math.OC
ALADIN-$α$ -- An open-source MATLAB toolbox for distributed non-convex optimization
本文介绍了一个开源的分布式非凸优化软件ALADIN- $α$。ALADIN- $α$是增广拉格朗日交替方向不精确牛顿(ALADIN)算法的定制变体的MATLAB实现。它的用户界面是方便的非凸分布式优化算法的快速原型。包括最近提出的ALADIN的两级变体的改进版本,使分散的非凸优化与减少信息交换。从不同的应用领域,包括化学工程,机器人和电力系统的例子集合巩固了ALADIN- $α$的潜力。
2021-10-04 cs.DC cs.MA cs.SY
A Fault-Tolerant Distributed Termination Method for Distributed Optimization Algorithms
针对多智能体分布式优化的终止问题,提出一种上界为通信网络直径的全分布式终止方法及容错扩展版本,证明了正确性并通过电网最优潮流问题验证了方法的有效性。
2024-01-29 cs.SY eess.SY math.OC
Analysis of a Distributed Optimization-Based Control Architecture for Inverter-Interfaced Virtual Power Plants
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Science(印度科学学院);University of Minnesota(明尼苏达大学)
针对虚拟电厂中逆变器接口分布式能源,提出一种基于采样数据优化二次控制的大信号稳定性分析方法。
2026-06-16 cs.SY eess.SY math.OC
Resilient Distributed Optimization
本文考虑了一个分布式最优化问题中存在的拜占庭代理能够引入不可信的信息到通信网络。提出了一种基于图冗余和目标冗余的弹性分布式次梯度法。在适当的假设下,该算法使所有非拜占庭智能体的状态渐近收敛到同一最优点。还提供了部分收敛速度结果。
2023-03-20 cs.SY eess.SY math.OC
Gradient Tracking: A Unified Approach to Smooth Distributed Optimization
本文研究了有向图上的经典分布式最优化问题,其中目标函数是光滑局部函数之和。受我们早期工作中提出的隐式跟踪机制的启发,我们从纯原始的角度开发了一个统一的算法框架,即,UGT本质上是一种广义梯度跟踪方法,可以统一现有的大多数定步长分布式优化算法。证明了当全局目标函数是强凸的时,两种变形的UGT都能线性收敛。最后,通过数值实验对UGT的性能进行了评估。
2022-02-20 cs.SY eess.SY math.OC
One-Point Residual Feedback Algorithms for Distributed Online Convex and Non-convex Optimization
针对局部目标为凸或非凸的分布式在线优化问题,提出基于单点残差反馈梯度估计的分布式算法,推导其次线性遗憾界,并通过数值算例验证算法有效性。
2025-03-21 cs.SY eess.SY math.OC
Consensus-based Distributed Optimization Enhanced by Integral Feedback
受积分反馈思想的启发和支持,提出了一种求解局部线性约束凸优化问题的多智能体网络分布式常数增益算法.假设智能体之间的相互作用是由一个无向图,该算法能够实现最优解的指数收敛速度。此外,该算法继承了积分反馈的优点,对通信带宽有较好的要求,对干扰具有较好的鲁棒性。通过解析证明和数值模拟验证了所提出的分布式算法在求解约束最优化问题中的有效性。
2021-11-17 cs.SY eess.SY math.OC
Difference Between Cyclic and Distributed Approach in Stochastic Optimization for Multi-agent System
本文针对多智能体系统中的可分解随机优化问题,综述并比较循环与分布式两类策略下的四种现有方法,重点分析其适用框架与更新规则。
2024-09-08 cs.SY eess.SY math.OC
A Brief Tutorial on Consensus ADMM for Distributed Optimization with Applications in Robotics
该文为分布式优化领域的一致性ADMM简明教程,推导算法并关联相关经典方法,还展示了其在多机器人/多智能体轨迹优化中的应用,可为机器人领域的分布式优化问题提供方法参考。
2024-10-02 cs.SY eess.SY math.OC
Stability, Linear Convergence, and Robustness of the Wang-Elia Algorithm for Distributed Consensus Optimization
我们重新审视了J. Wang和N.伊利亚通过基于Lyapunov的分析,我们证明了输入状态稳定的算法相对于一个封闭的不变集组成的最佳平衡和扰动影响算法的动态。在没有扰动的情况下,这一结果意味着局部估计的线性收敛和最优稳态的李雅普诺夫稳定性。此外,我们揭示了与著名的梯度跟踪和分布式积分控制的基本连接。总体而言,我们的研究结果表明,控制理论的方法可以有相当大的影响(分布式)优化,特别是当鲁棒性被认为是。
2022-04-21 cs.SY eess.SY math.OC
On Linear Convergence of Distributed Stochastic Bilevel Optimization over Undirected Networks via Gradient Aggregation
本文提出了一种分布式随机梯度聚合方案,证明在全局强凸性假设下实现线性收敛,扩展了双层优化的理论保证,并通过实验验证了其有效性。
2025-11-23 cs.SY eess.SY math.OC
Distributed Optimization under Edge Agreement with Application in Battery Network Management
本文研究带局部凸约束的边协议分布式优化问题,提出离散时间算法并证明收敛性,通过电池网络能量管理建立其与分布式模型预测控制的联系。
2024-09-02 cs.SY eess.SY math.OC
Quantized and Distributed Subgradient Optimization Method with Malicious Attack
本文考虑了一个多智能体系统中的分布式最优化问题,其中一部分智能体以对抗的方式行动。具体而言,恶意代理通过向其邻居发送虚假信息来引导代理网络远离最优解,并且在通信过程中消耗大量带宽。我们提出了一个分布式的基于梯度的优化算法,其中的非恶意代理相互交换量化的信息。我们证明了收敛的解决方案的最优解的一个邻域,并在通信受限的环境和恶意代理的存在下得到的解决方案的特点。数值模拟,以说明结果。
2022-06-05 cs.SY eess.SY math.OC
A Distributed Gradient-based Algorithm for Optimization Problems with Coupled Equality Constraints
University of Virginia(弗吉尼亚大学)
本文提出了一种分布式梯度算法,通过一阶近似和投影解决耦合等式约束下的优化问题,展示了其在计算效率和可扩展性上的优势。
2025-11-24 cs.SY eess.SY math.OC
A Distributed Parallel Optimization Algorithm via Alternating Direction Method of Multipliers
乘子交替方向法(ADMM)算法是求解分布式最优化问题(DOP)的常用算法。本文提出了一种新的分布式并行ADMM算法,该算法通过修改现有的分布式顺序ADMM,允许代理以完全分布式和并行的方式更新其局部状态和对偶变量。此外,还说明了变量的更新规则和存储方法。结果表明,所有的智能体可以达成共识,渐近收敛到最优解。此外,全局费用函数将以O(1/k)的速度收敛到最优值。数值算例的仿真结果表明了该算法的有效性。
2021-11-20 cs.SY eess.SY math.OC
Infinite time horizon spatially distributed optimal control problems with pde2path algorithms and tutorial examples
我们使用延拓和分支程序包pde 2 path数值分析了抛物型偏微分方程组的无限时域最优控制问题。其基本思想是从庞特里亚金的最大值原理出发,用两步法求解正则系统。首先,我们找到正则系统的稳定或时间周期状态的分支,即,正则稳态(CSS)和正则周期状态(CPS),然后利用这些结果计算了连接到具有所谓鞍点性质的CSS或CPS的时间依赖正则路径。这是一个时间上的(高维)边值问题,我们在初态用延拓算法求解。我们首先解释算法,然后通过一些示例问题和相关的pde 2 path演示目录来实现。前两个例子处理的分布式浅水湖的最优管理,和植被系统,都与(空间和时间)分布式控制。这些例子显示了所谓的模式化CSS的有趣的分叉,包括模式化的最佳稳态。作为第三个例子,我们讨论了最优边界控制的捕鱼问题的边界渔获量。对于CPS-目标的情况下,我们首先集中在一个ODE玩具模型来解释和验证的方法,然后讨论一个最优的污染缓解PDE模型。
2019-12-23 math.OC
Distributed Kalman-filtering: Distributed optimization viewpoint
School of Robotics, Kwangwoon University(光云大学机器人学院)
本文从分布式优化的角度出发,研究了多传感器通过通信网络连接时的卡尔曼滤波问题,提出了一种基于分布式优化的分布式卡尔曼滤波方法,并通过数值实验评估了其性能。
2019-03-28 cs.MA cs.SY eess.SY
A Tutorial on the Structure of Distributed Optimization Algorithms
本教程系统介绍多智能体分布式优化问题,重点剖析其算法结构,并通过仿真展示基于该结构的算法性质。
2023-09-20 cs.SY eess.SY math.OC
Distributed Optimization with Inexact Oracle
本文研究了使用近似一阶信息的分布式最优化问题。我们假设智能体可以重复调用每个目标函数的不精确一阶预言,并与其随时间变化的邻居交换信息。在这种情况下,我们重新讨论了分布式次梯度方法,并证明了它在平方可和但不可和步长下的次优性。我们还提出了几个条件上的不精确的本地神谕,以确保精确收敛的迭代序列的全球最优解。数值算例验证了算法的有效性。
2022-08-25 cs.SY eess.SY math.OC
Distributed Power Flow and Distributed Optimization -- Formulation, Solution, and Open Source Implementation
以分布式方式解决潮流问题使不同的电网运营商能够计算整体电网状态,而不必共享电网模型这是一个工业界没有现成答案的实际问题。在与德国传输系统运营商合作,我们提出了两个物理上一致的问题配方(可行性,最小二乘)服从两个解决方案的方法从分布式优化(交替方向法的乘数(ADMM),和增广拉格朗日交替方向不精确牛顿法(Aladin));与Aladin有收敛保证分布式潮流问题。此外,我们还提供了用于分布式潮流快速原型(rapidPF)的开放源代码matlab代码,这是一个完全matpower兼容的软件,可以将潮流问题制定为分布式最优化问题,该代码可在https://github.com/KIT-IAI/rapidPF/上获得。我们提出的解决分布式潮流问题的方法是灵活的,模块化的,一致的,可重复的。从53个总线(3个区域)到4662个总线(5个区域)的系统的仿真结果表明,用aladin求解的最小二乘公式在解决潮流问题之前只需要大约六个协调步骤。
2020-11-20 cs.SY eess.SY math.OC
Distributed Optimization for Smart Cyber-Physical Networks
智能设备中嵌入式电子和通信功能以及传感和控制的存在引起了网络物理网络的新概念,其中代理旨在通过本地计算和通信合作解决复杂任务。智能网络中的许多估计、学习、决策和控制任务涉及大规模结构化优化问题的解决方案,其中网络代理仅具有整个问题的部分知识。分布式优化旨在为网络处理器设计本地计算和通信规则,使它们能够在不依赖任何中央单元的情况下协作解决全局优化问题。本调查的目的是介绍分布式优化方法。主要方法,即(原始)共识为基础的,基于对偶和约束交换方法,形式化。提供的基本方案的分析,和国家的最先进的扩展进行审查。
2020-10-27 cs.SY eess.SY math.OC
On modeling and global solutions for d.c. optimization problems by canonical duality theory
本文提出了一个正则d.c.(正则与凸函数之差)规划问题,它可以用来模拟复杂系统中的一般全局最优化问题。结果表明,利用正则对偶理论,可以将一类非凸极小化问题等价地转化为凸区域上的统一凹极大化问题,并在一定条件下易于求解.此外,还对试探性理论进行了详细的证明,证明了试探性理论可用于识别局部极值解。应用举例说明和开放的问题。
2016-07-12 math.OC
Canonical Duality-Triality Theory for Solving General Global Optimization Problems in Complex Systems
利用典型对偶-对偶理论研究了一般非凸最优化问题。证明了指数和与四次多项式和的试探性定理,解决了2003年的一个未解决的问题。该理论可用于寻找全局最优解的全局极小值和局部极值,弥补了全局优化与非凸力学之间的不足。详细的应用程序说明了几个例子。
2014-07-30 math.OC
Systematic Analysis of Distributed Optimization Algorithms over Jointly-Connected Networks
我们认为分布式最优化问题,一组代理一起工作,以优化一个共同的目标,通过与相邻的代理和执行本地计算。对于一个给定的算法,我们使用鲁棒控制的工具,系统地分析了性能的情况下,通信网络是时变的。特别地,我们仅假设网络在有限的时间范围内联合连接(通常称为B连通性),这不需要在每个时刻都连通。当应用到分布式算法DIGing,我们的界限是数量级比文献中提供的更紧。
2020-09-10 cs.SY eess.SY math.OC
Privacy Preservation in Distributed Subgradient Optimization Algorithms
隐私保护在数据采掘和机器学习中正成为一个越来越重要的问题。在本文中,我们考虑分布式次梯度优化算法的隐私保护功能。我们首先表明,一个著名的分布式次梯度同步优化算法,其中所有的代理,使他们的优化更新同时在任何时候,是不是隐私保护的意义上说,恶意代理可以学习其他代理的次梯度渐近。然后,我们提出了一个分布式次梯度投影异步优化算法,而不依赖于任何现有的隐私保护技术,代理之间可以直接交换数据的邻居。与同步算法相比,在新的异步算法中,代理异步地进行优化更新。通过引入投影操作和异步优化机制,保证了异步优化算法的隐私保护性。此外,我们还建立了新提出的算法的最优收敛性。所提出的隐私保护技术为开发其他隐私保护分布式优化算法提供了借鉴。
2015-12-30 cs.DC math.OC
Four strategies to develop canonical dual algorithms for global optimization problems
正则对偶理论为一系列离散和连续的全局优化问题提供了统一的分析解,它可以将非凸原问题转化为凸区域上的凹极大化对偶问题,而不需要对偶间隙。本文证明了在一定条件下,该正则对偶问题等价于标准半定规划(SDP)问题,并利用成熟的软件包进行求解。为了避免使用SDP方法的某些困难,基于无约束方法提出了四种策略,可以用来开发解决一些具有挑战性的问题的算法。四阶多项式基准最优化问题的应用说明。
2012-10-03 math.OC
On quadratic optimization problems and canonical duality theory
DY Gao单独或与他的一些合作者一起应用他的规范对偶理论(CDT)解决了一些带二次约束的二次最优化问题。不幸的是,在我们阅读的几乎所有关于CDT的论文中,都有不清楚的定义,证明中没有令人信服的论点,甚至是错误的结果。本文的目的是用CDT提出的方法严格地处理二次最优化问题,并将所得结果与DY Gao等人在这方面的几篇论文中的结果进行比较。
2018-09-24 math.OC
On the paper "A study on concave optimization via canonical dual function"
本文用反例证明了朱军,S。Tao、黄皮藓D. Gao是错误的,而且,我们在同一篇文章中给出了定理3.1的一个非常简短的证明。
2011-12-07 math.OC
Analysis of Distributed ADMM Algorithm for Consensus Optimization in Presence of Error
ADMM算法是求解凸优化问题的一种常用算法。将该算法应用于分布式共识优化问题,得到了一个完全分布式的迭代解,该解依赖于节点的处理和邻居之间的通信。本地计算通常遭受不同类型的误差,例如,观测或量化噪声,这会降低算法的性能。在这项工作中,我们专注于分析分布式ADMM的一致性优化存在的附加节点误差的收敛行为。我们特别表明,(一个嘈杂的)ADMM在一定条件下线性收敛,并检查相关的收敛点。数值结果证明了所提出的分析的有效性。
2017-01-14 cs.DC math.OC
Canonical Duality Theory for Topology Optimization
本文提出了求解一般非线性弹性结构拓扑优化问题的正则对偶方法。利用有限元法,将这一最具挑战性的问题转化为混合整数非线性规划问题(MINLP),即对于给定的变形,第一级优化问题是典型的线性约束0-1规划问题,而对于给定的结构,第二级优化问题是计算非线性弹性力学中的一般非线性连续极小化问题。研究发现,线弹性结构的一级优化是一个典型的背包问题,在计算机科学中被认为是NP完全问题。然而,通过使用典型的对偶理论,这个著名的问题可以解析地解决,获得精确的整数解。提出了一种扰动正则对偶算法(CDT),并以拓扑优化中的基准问题为例进行了说明。数值结果表明,所提出的CDT方法产生所需的最优结构没有任何灰色元素。大大减少了传统方法中的棋盘格问题。
2017-06-28 cs.DM math.OC
A Novel Canonical Duality Theory for Solving 3-D Topology Optimization Problems
本文介绍了一种数学上正确的和计算功能强大的方法来解决三维拓扑最优化问题。该方法基于Gao在非凸力学和全局优化中发展的正则对偶理论(CDT)。结果表明,拓扑优化中的NP-困难背包问题可以通过一种典型的惩罚对偶(CPD)方法在多项式时间内确定性求解,在每个体积演化过程中获得精确的0-1全局最优解.首次揭示了CPD方法与高纯余能原理的关系。提出了一种线弹性结构三维拓扑优化的CPD算法。基准问题证明了它的新颖性。结果表明,CPD方法不需要任何人工干预,能提供可靠的最优设计,且比著名的BESO和SIMP方法更有效。此外,拓扑优化建模和流行的方法中的计算复杂性和概念/数学错误明确解决。
2018-06-21 math.OC
Impact of Power System Partitioning on the Efficiency of Distributed Multi-Step Optimization
近年来的研究表明,基于模型预测控制(MPC)的多步优化可以有效地协调电力系统中不断增加的分布式可再生能源和存储资源。然而,MPC的计算复杂度通常很高,这限制了它在实际实现中的使用。为了提高预测控制的效率,本文将分布式优化方法应用于预测控制。该方法包括一个分区技术的基础上,谱聚类,确定最佳的系统分区和一个改进的最优条件分解方法,解决了分布式方式的优化问题。IEEE 14节点和118节点系统的仿真结果表明,分布式MPC问题可以解决显着更快,通过使用一个良好的系统分区,这种分区是适用于多个时间步长,而不频繁的变化。
2016-05-31 cs.DC math.OC
Linear convergence of a dual optimization formulation for distributed optimization on directed graphs with unreliable communications
这项工作的基础上,我们最近的工作与定向不可靠的通信图的分布式优化算法。当我们取每个函数的最接近点或当函数光滑时取仿射次量时,我们证明了它的线性收敛。
2018-11-28 math.OC
On Unified Modeling, Canonical Duality-Triality Theory, Challenges and Breakthrough in Optimization
针对多尺度复杂系统中的一般最优化问题,提出了一种统一的模型。从物理学的必要条件和基本原理出发,精确地给出了正则对偶-三重性理论,把传统的对偶理论和流行的方法作为特殊的应用。讨论了NP难问题的两种解释,这对于正确理解和有效解决具有挑战性的现实问题具有重要意义。最后,本文给出了非凸连续优化和混合整数非线性规划的应用实例。对客观性、非线性、拉格朗日量、拉格朗日乘子法等基本概念的误解和混淆进行了分类和讨论。C.从最近的错误挑战中取得突破。泽尼特林内斯库和他的同事们被解决了。本文将弥合应用数学和计算科学的优化和多学科领域之间的显着差距。
2016-06-29 math.OC
On Topology Optimization and Canonical Duality Method
一般材料的拓扑优化问题被正确地表述为一个双层背包问题,该问题在全局优化和计算机科学中被认为是NP难的。利用规范对偶理论(CDT),线性背包问题可以在每次设计迭代中得到全局最优解。唯一性,存在性和NP-困难的讨论。改进的新CDT方法的一般拓扑优化和测试的2-D和3-D的基准问题。数值结果表明,CDT方法在不使用滤波器和其他人工技术的情况下,可以精确地产生0 - 1最优密度分布,几乎没有棋盘格图案。它的性能和新颖性与流行的SIMP和BESO方法进行了比较。此外,还明确指出了文献中的一些数学和概念错误。附录中给出了求解多尺度非凸/离散系统统一问题的正则对偶理论的简要回顾。
2018-06-18 cs.CG math.OC
Distributed Interval Optimization with Stochastic Zeroth-order Oracle
本文研究了一个分布式区间最优化问题,该问题是由一组凸区间值目标函数在全局凸约束下的最优化问题构成的,对应于时变网络上的智能体.首先通过标量化将分布区间最优化问题转化为分布约束最优化问题。然后,设计了一个随机零阶算法来求解重构后的分布问题,并证明了其最优解也是分布区间最优化问题的Pareto最优解.此外,我们构造了算法的显式收敛性和期望下的收敛速度。最后通过数值算例说明了该算法的有效性。
2019-04-30 math.OC
Optimization via Separated Representations and the Canonical Tensor Decomposition
University of Colorado at Boulder(科罗拉多大学博尔德分校)
本文提出一种二次收敛算法,用于在规范格式中寻找张量的最大绝对值元素,通过该算法可全局求解分离形式的非凸多变量函数最大值。
2016-05-19 cs.NA math.NA math.OC
Randomized dual proximal gradient for large-scale distributed optimization
在本文中,我们考虑分布式最优化问题,其中费用函数是可分离的(即,所有共享公共变量的可能非光滑函数的和),并且可以被分成强凸项和凸项。第二项通常用于编码约束或正则化解。我们提出了一个异步的,分布式优化算法在无向拓扑结构,基于最近的梯度更新的对偶问题。我们表明,通过适当的原始变量的选择,对偶问题是可分离的和对偶变量可以堆叠成单独的块。这使我们能够表明,一个分布式的八卦更新,可以通过一个随机块坐标的对偶函数的近端梯度。
2016-09-19 cs.DC math.OC
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来,人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战,并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的,统一的,算法框架,连续凸逼近(SCA)技术的基础上,并行和分布式解决方案的一般类的非凸约束(不可分离的,网络)的问题。所提出的框架统一和概括了现有的几种SCA方法,使他们呼吁并行/分布式实现,同时提供了一个灵活的选择函数逼近,步长时间表,和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法,在Cetraro,意大利,2014年6月23日至27日举行的讲座。这些讲座是:I)连续凸逼近方法:基础; II)并行连续凸逼近方法;和III)分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
A Universal Decomposition for Distributed Optimization Algorithms
在多智能体系统的分布式最优化问题中,每个智能体都知道一个局部函数,必须通过局部梯度估计和与相邻智能体之间的信息通信来找到所有智能体局部函数之和的最小值。我们证明了每个分布式优化算法可以分解为一个集中式最优化方法和一个二阶一致性估计器,有效地分离“优化”和“共识”任务。我们说明了这一事实,提供了许多最近提出的分布式优化算法的分解。相反,我们证明,任何最优化方法,收敛于集中式设置可以结合任何二阶共识估计,形成一个分布式的优化算法,收敛于多智能体设置。最后,我们描述了我们的分解可能会导致一个更系统的算法设计方法。
2022-06-14 math.OC
Online Distributed Optimization on Dynamic Networks
University of Washington(华盛顿大学)
本文提出了一种在存在成本不确定性和切换通信拓扑下的分布式优化方案,通过双对偶子梯度平均算法实现合作最小化成本函数,并分析了网络拓扑对收敛速度的影响。
2014-12-22 cs.DS cs.LG cs.MA
Distributed Optimization of Convex Sum of Non-Convex Functions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种分布式求解方法来优化由多个非凸函数组成的凸函数。每个非凸函数都被一个代理私有地存储,而代理与邻居通信以形成一个网络。我们证明了[1]中提出的耦合一致性和投影梯度下降算法在附加梯度Lipschitz性假设下可以优化非凸函数的凸和。我们进一步讨论了这种分析在分布式优化中提高隐私性的应用。
2016-08-18 cs.DC cs.LG math.OC
dHPR: A Distributed Halpern Peaceman--Rachford Method for Non-smooth Distributed Optimization Problems
本文针对非光滑分布式凸复合优化问题,提出分布式Halpern Peaceman--Rachford(dHPR)方法,通过对称Gauss--Seidel分解实现可并行的去中心化快速求解,经多类正则化优化任务实验验证其性能优越。
2025-11-13 cs.DC cs.MA math.OC
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University(浙江大学);Purdue University(普渡大学)
本文提出了一种新的家庭的原始对偶为基础的分布式算法,光滑,凸,多智能体优化网络,只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析,他们的收敛速度,测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速,速率被证明是最佳的,在这个意义上,它匹配(根据建议的度量)现有的复杂性下界的分布式算法适用于这样一类问题,只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明,该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
A dual ascent algorithm for asynchronous distributed optimization with unreliable directed communications
我们证明了Bof-Carli-Schenato在不可靠通信的有向图上的平均一致性算法具有双重优化解释,该解释可以推广到分布式优化的情况.我们报告我们的数值模拟的分布式优化算法的光滑和非光滑的功能。
2019-02-21 math.OC
Distributed Zero-Order Algorithms for Nonconvex Multi-Agent Optimization
分布式多智能体优化在分布式学习、控制、估计等方面有着广泛的应用。现有的大多数算法假设目标的一阶信息是已知的,并已被分析为凸问题。然而,在某些情况下,目标是非凸的,并且只能在多个点处评估函数值。在本文中,我们考虑非凸多智能体优化的无导数分布式算法,基于零级优化的最新进展。我们开发了两种算法,为不同的设置,提供了详细的分析,他们的收敛行为,并将它们与现有的集中式零级算法和基于梯度的分布式算法进行比较。
2020-06-16 math.OC
A Unified Framework for Continuous-time Unconstrained Distributed Optimization
我们介绍了一类分布式非线性控制系统,被称为流量跟踪器动态,它捕捉的现象,其中的平均状态控制的平均控制输入,没有个别代理直接访问这个平均值。智能体通过非线性观测器更新其对平均值的估计。我们证明,利用适当的梯度反馈的任何分布式控制系统,满足这些条件将导致相应的分布式最优化问题的解决方案。我们发现,许多现有的算法解决分布式优化的实例,这种动态,因此,他们的收敛性能可以遵循其属性。从这个意义上说,所提出的方法建立了一个统一的框架,在连续时间的分布式优化。此外,这种提法使我们能够引入一套新的连续时间分布式优化算法,很容易扩展的图论条件下,这种动态收敛。
2022-11-08 math.OC
Distributed Stochastic Nonsmooth Nonconvex Optimization
分布式一致性优化近年来受到了相当大的关注,已经提出了几个分布式的共识为基础的算法(非光滑)凸和(光滑)非凸目标函数。然而,这些分布式算法对{ \it非凸,非光滑和随机}目标函数的行为是不理解的。这类函数和分布式设置的动机是几个应用程序,包括机器学习和信号处理中的问题。本文提出了第一次收敛性分析的分散随机次梯度方法的这类问题,在网络建模为无向,固定,图。
2019-11-03 math.OC
Distributed Aggregative Optimization over Multi-Agent Networks
本文提出了一种新的分布式优化框架,称为分布式聚合优化,它允许本地目标函数不仅依赖于自己的决策变量,但也对所有其他代理的决策变量的可和函数的平均值。针对这一问题,提出并分析了一种分布式梯度跟踪算法(DGT),该算法的全局目标函数是强凸的,通信图是平衡的和强连通的。结果表明,该算法可以以线性速度收敛到最优变量。最后给出了一个数值例子来验证理论结果。
2020-05-27 math.OC
Distributed Optimization Method Based On Optimal Control
本文提出一种基于最优控制的分布式优化框架,将优化问题转化为最优控制问题,利用最大值原理设计算法,并严格分析了收敛性与超线性收敛速度。
2025-03-31 math.OC
Cybersecurity in Distributed and Fully-Decentralized Optimization: Distortions, Noise Injection, and ADMM
随着机器学习、智能电网调度和物联网协调问题的增长,分布式和完全分散的最优化模型因向优化工具提供计算可扩展性而受到关注。然而,在消费者设备被信任用作分布式计算节点的应用中,受损设备可能会将优化算法暴露于先前文献中尚未研究的网络安全威胁。本文研究了广义分布式最优化问题的潜在攻击向量,重点是交替方向法的乘法器(ADMM),一个流行的凸优化的工具。ADMM问题中的检测和减轻攻击的方法进行了描述,并通过仿真证明了所提出的模型的有效性。完全分散的优化方案,其中节点直接与邻居进行通信,证明了弱点,并讨论了一些潜在的架构,为这些网络提供安全性。
2018-05-28 math.OC
Fast Algorithms for Distributed Optimization and Hypothesis Testing: A Tutorial
我们考虑分布优化和假设检验领域中的几个问题。我们展示了如何获得这些问题的收敛时间,规模与网络中的节点总数线性使用最近的线性时间算法的平均共识问题。
2017-05-22 math.OC