A Proximal Diffusion Strategy for Multi-Agent Optimization with Sparse Affine Constraints
这项工作开发了一个近端的原始-对偶分散策略的多智能体最优化问题,涉及多个耦合仿射约束,其中每个约束可能只涉及一个子集的代理。约束通常是稀疏的,这意味着只有一小部分代理参与其中。这种情况出现在许多应用中,包括分散控制配方,资源分配问题和智能电网。传统的分散式解决方案往往会忽略约束的结构,导致性能下降。相反,我们开发了一个分散的解决方案,利用稀疏结构。在定步长学习条件下,当存在非光滑项时,证明了该算法的渐近收敛,而在光滑项下,该算法以线性速度收敛。我们还研究了算法的性能是如何影响的稀疏性的约束。仿真结果表明了所提出的策略的优越性能。
2019-12-11 math.OC
Optimal Decentralized Composite Optimization for Convex Functions
针对含非光滑正则项的凸函数去中心化复合优化缺乏最优算法的问题,本文提出首个同时达到最优计算与通信复杂度的算法,填补了研究空白,且实验验证了其有效性与高效性。
2024-07-13 math.OC
Recent theoretical advances in decentralized distributed convex optimization
近年来,分散分布凸优化理论取得了重大进展。已经出现了通信轮和oracle调用的下界,以及达到这两个界限的方法。在本文中,我们专注于如何解释这些结果的基础上的非分布式设置的最佳算法。特别是,我们提供了我们最近的结果,这些结果尚未发表,只能在arXiv预印本中找到详细信息。
2021-11-29 math.OC
A Parameter-Free Zeroth-Order Algorithm for Decentralized Stochastic Convex Optimization
MIRIAI(莫斯科信息检索与分析研究所);Appied AI Institute(应用人工智能研究所)
本文提出一种去中心化POEM算法,通过双点平滑和自适应半径与步长规则,实现无需先验知识的去中心化随机凸优化。
2026-03-16 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例,用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地,网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下,我们提出了第一个可证明有效的随机邻近梯度框架,称为ProxGT。具体来说,我们构建和分析ProxGT的几个实例,分别为不同的问题类的兴趣。值得注意的是,我们表明,这些实例的样本复杂性是网络拓扑无关的,并实现线性加速相比,在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机,所提出的方法是最佳的通信步骤的数量。然而,对于目标的所有类,每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique,我们表明,所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
A Convex Information Relaxation for Constrained Decentralized Control Design Problems
我们描述了一个凸规划的方法来计算的下界的最小成本的非经典信息结构的约束分散控制问题。我们考虑的一类问题需要分散输出反馈控制的线性时变系统在一个有限的地平线上,多面体的状态和输入轨迹的约束,和控制器的信息结构的稀疏性约束。由于这种系统的最优控制策略的确定通常在计算上是难以处理的,因此在文献中已经做出了相当大的努力来有效地识别可计算的、尽管是次优的、可行的控制策略。在计算上易于处理的次优界的建设是本说明中开发的技术的主要动机。具体来说,给定一个分散控制问题的非经典信息,我们的特征在于扩展的给定的信息结构,这确保其部分嵌套,同时最大化的最优值的分散控制问题下扩展的信息结构。由此产生的分散控制问题是铸造作为一个无限维凸规划,这是进一步放宽通过部分对偶和限制仿射对偶控制策略。由此产生的问题是一个有限维圆锥规划,其最优值是一个可证明的下界上的最小成本的原始约束分散控制问题。
2019-06-03 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT(莫斯科物理技术学院);Research Center of the Artificial Intelligence Institute, Innopolis University(因诺波利斯大学人工智能研究所);ISP RAS(俄罗斯科学院斯捷克洛夫数学研究所)
本文研究了在时间变化网络上非光滑随机去中心化优化问题,针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法,应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Decentralized Saddle-Point Problems with Different Constants of Strong Convexity and Strong Concavity
大规模鞍点问题出现在机器学习任务中,如GANs和具有仿射约束的线性模型。本文研究了具有强凸-强凹光滑目标的分布鞍点问题,其中复合项的强凸性和强凸性参数(对应于最小变量和最大变量)以及双线性鞍点部分不同.我们考虑两种类型的一阶预言机:确定性(回报梯度)和随机(回报无偏随机梯度)。我们的方法在这两种情况下都有效,并在Oracle调用之间采取了几个共识步骤。
2022-10-03 math.OC
Adaptive Stepsize Selection in Decentralized Convex Optimization
针对去中心化凸优化中现有方法需预先选取步长、依赖全局信息且调参困难的问题,提出一种仅靠邻居通信、无需全局信息的全自适应步长去中心化算法,收敛速率匹配非自适应参数依赖方法的已知最优水平。
2025-07-31 math.OC
Asynchronous Decentralized Successive Convex Approximation
我们研究分散的异步多智能体优化网络,建模为静态(可能有向)图。最优化问题包括最小化一个(可能是非凸的)光滑函数--代理的局部成本之和--加上一个凸的(可能是非光滑的)正则化器,受凸约束。代理可以执行本地计算,以及与他们的近邻在任何时候进行通信,没有任何形式的协调或集中调度;此外,当解决他们的本地子问题,他们可以使用过时的信息,从他们的邻居。我们提出了第一个分布式异步算法,称为ASY-DSCA,收敛于R-线性速率的凸问题的最优解,其目标函数满足一般的误差界条件,这个条件是弱于更常用的强凸性,它是由几个经验的风险函数,不是强凸的,例子包括LASSO和逻辑斯谛回归问题。当目标函数为非凸函数时,ASY-DSCA以次线性速度收敛于问题的稳态解。
2020-01-30 math.OC
Decentralized convex optimization over time-varying graphs: a survey
本文为时变图上的去中心化凸优化综述,梳理了该领域的最新研究成果与相关技术,同时指出了待解决问题并给出未来研究的假设与方向。
2023-04-17 math.OC
Decentralized Asynchronous Non-convex Stochastic Optimization on Directed Graphs
随着多智能体控制和优化技术的兴起,分布式优化技术成为一个越来越重要的研究领域。我们考虑一个分散的随机最优化问题,在图上的代理的目标是异步优化的集体(添加剂)的目标函数组成的代理的个人(可能是非凸的)本地目标函数。每个代理只能访问其自身函数(目标函数之和的一个分量)的梯度的噪声估计。针对这类问题提出了一种异步分布式算法。该算法在异步推和框架下将随机梯度与跟踪相结合,并获得了一般非凸函数的标准次线性收敛速度,与集中式随机梯度下降SGD的速度相匹配。我们使用卷积神经网络对非凸图像分类任务进行的实验验证了我们所提出的算法在不同节点数和图形连接百分比上的收敛性。
2021-10-20 math.OC
A Decentralized Primal-Dual Framework for Non-convex Smooth Consensus Optimization
在这项工作中,我们介绍了ADAPD,$\textbf{A}$ $\textbf{D}$ ecentr $\textbf{A}$ lized $\textbf{P}$ rimal- $\textbf{D}$ ual算法框架解决非凸和光滑的共识最优化问题在网络上的分布式代理。建议的框架依赖于一个新的问题制定,elancialADMM型更新,每个代理首先不精确地解决了一个局部强凸子问题,其选择的任何方法,然后执行邻居通信更新一组对偶变量。我们提出了两种变体,允许一个单一的梯度步骤的原始更新或多个通信的双重更新,利用每次迭代的成本和迭代次数之间的权衡。当多个通信被执行时,ADAPD可以实现理论上最优的通信复杂度结果的非凸和光滑的共识问题。在几个应用程序(包括深度学习应用程序)上进行的数值实验证明了ADAPD优于几种常用的分散式方法。
2023-02-03 math.OC
Decentralized Online Convex Optimization in Networked Systems
我们研究了网络在线凸优化问题,其中每个代理单独决定在每个时间步的行动和代理合作寻求最小化总的全球成本在有限的地平线。全局成本由三种类型的局部成本组成:凸节点成本、时间交互成本和空间交互成本。在决定他们的个人行动,在每一个时间,代理有机会预测本地费用函数的下一个$k$时间步长在$r$跳附近。我们的工作提出了一种新的在线算法,局部预测控制(LPC),它将预测控制推广到多智能体系统。我们发现,LPC实现了竞争比$1 + \tilde{O}(ρ_T^k) + \tilde{O}(ρ_S^r)$在对抗设置,其中$ρ_T$和$ρ_S$是常数在$(0, 1)$的时间和空间的相互作用成本的相对强度增加,分别。这是网络化在线凸优化分散预测控制的第一个竞争比界。此外,我们表明,依赖于$k$和$r$在我们的结果是接近最优的下界的竞争比任何分散的在线算法。
2022-07-13 math.OC
Convex Analysis in Decentralized Stochastic Control, Strategic Measures and Optimal Solutions
本文研究了分散随机控制中由容许的团队策略导出的策略测度集的性质和动态团队问题中的凸性。为了促进凸分析方法,团队问题的战略措施。研究了弱收敛拓扑下的凸性、紧性和Borel可测性等性质,并给出了这些性质成立的充分条件。这些导致最优政策的存在性和结构性结果。它将被证明,这不是经典的团队的战略措施的集合一般是非凸的,但一个放松的集合的极值点由确定性的团队政策,这导致他们的最优性为一个给定的团队问题下的预期成本标准。外部提供的独立的公共随机性的静态团队或私人随机性的动态团队不提高团队的绩效。研究了一类序贯团队问题的凸性问题,给出了包含非经典信息结构团队的序贯团队问题凸性的充要条件。这种分析的影响,确定概率和信息结构依赖的凸性。
2016-10-31 math.OC
Decentralized Approximate Newton Methods for Convex Optimization on Networked Systems
本文提出了一类求解网络系统上凸优化的分散近似牛顿(DEAN)方法,网络系统中的节点仅通过局部相互作用寻求使各自目标函数之和最小的一致性.所提出的DEAN算法允许每个节点重复执行局部近似牛顿更新,这利用跟踪全局牛顿方向和消散节点之间的差异。与大多数现有的二阶方法相比,在较少限制的问题假设下,DEAN算法使节点能够达成共识,可以任意接近最优。此外,对于一个特定的DEAN算法,节点线性收敛到一个显式的误差界的共同的次优解。最后,仿真结果表明DEAN在收敛速度,精度和效率方面具有竞争力的性能。
2020-11-28 math.OC
Convergence results of a nested decentralized gradient method for non-strongly convex problems
研究了求解分布式最优化问题的NEAR-DGD $^+$(Nested Exact Alternating Recursion Distributed Gradient Descent)方法的收敛性。在局部目标函数的强凸性和梯度的Lipschitz连续性的假设下,证明了\cite{BBKW - Near DGD}算法的线性收敛性.本文研究了非强凸性条件下NEAR-DGD $^+$的收敛性。更准确地说,我们建立了以下两种情况下的收敛性结果:(1)当目标函数只假设凸性。(2)当目标函数表示为强凸函数和亏秩矩阵的复合函数时,它属于凸函数和准强凸函数类。数值结果支持收敛结果。
2022-06-27 math.OC
A Decentralized Primal-dual Method for Constrained Minimization of a Strongly Convex Function
我们提出了分散的原始-对偶方法的合作多智能体共识最优化问题在静态和时变通信网络,只允许本地通信。其目标是最小化圆锥约束集上的代理特定的凸函数的总和,因此,最佳的共识决策应该位于这些私人集的交集。在强凸性假设下,我们提供了次优,不可行性和共识违反所需的通信数量方面的收敛速度;检查底层网络拓扑结构对收敛速度的影响。
2022-02-21 math.OC
Perturbed primal-dual dynamics with damping and time scaling coefficients for affine constrained convex optimization problems
在希尔伯特空间中,提出了一类仿射约束凸优化问题的原-对偶动力系统.几个阻尼系数,时间标度系数,和扰动项,因此被认为是。通过构造能量函数,我们研究了阻尼系数和时间尺度系数的不同选择下的收敛速度。我们的结果将无约束凸优化问题的惯性动力学方法推广到了仿射约束凸优化问题。
2021-06-25 math.OC
A Zeroth-Order Variance-Reduced Method for Decentralized Stochastic Non-convex Optimization
本文提出DZOVR算法,结合两点梯度估计、动量方差缩减与梯度跟踪,首次在去中心化随机非凸优化中实现O(dn^{-1}ε^{-3})采样复杂度,并具有网络无关性和线性加速特性。
2023-10-29 math.OC
Decentralized Proximal Method of Multipliers for Convex Optimization with Coupled Constraints
本文提出去中心化近端乘子法(DPMM),通过结合对偶分解与近端点算法求解多智能体网络中带耦合等式与不等式约束的凸优化问题,支持子问题并行非精确求解,并证明了其收敛速率与有效性。
2023-10-24 math.OC
Zeroth-Order Stochastic Coordinate Methods for Decentralized Non-convex Optimization
本文首先提出了一种\underline{Z} eroth- \underline{O} rder c \underline{M} zoom方法来求解分散网络上的随机最优化问题,该问题只有零阶~(ZO)预言反馈。此外,我们还为ZOOM提供了一个简单的机制“powerball”,并提出了ZOOM-PB来加速ZOOM的收敛。与现有的方法相比,我们验证了所提出的算法,通过两个基准的例子在文献中,即黑盒二进制分类和生成对抗性的例子从黑盒DNN,以比较现有的国家的最先进的集中式和分布式ZO算法。数值结果表明,所提出的算法具有更快的收敛速度。
2022-10-10 math.OC
Regularized Jacobi iteration for decentralized convex optimization with separable constraints
我们考虑多智能体,凸优化程序受到可分离的约束,每个代理的约束函数只涉及其本地的决策向量,而所有代理的决策向量耦合通过一个共同的目标函数。我们专注于一个正则化的所谓的雅可比算法分散计算在这样的问题。我们首先考虑的情况下,目标函数是二次的,并提供了一个不动点理论分析表明,该算法收敛到一个最小的集中式问题。此外,我们量化的潜在好处,这样一个迭代方案进行比较,它对缩放投影梯度算法。然后,我们考虑一般情况下,并表明,所有的极限点的建议迭代的最优解的集中问题。所提出的算法的有效性说明了将其应用到电动汽车的最佳充电的问题,在那里,相对于早期的方法,我们显示收敛到一个最佳的充电方案有限,可能很大,数量的车辆。
2017-04-04 math.OC
Non-Smooth Setting of Stochastic Decentralized Convex Optimization Problem Over Time-Varying Graphs
本文针对时变图上去中心化非光滑凸优化问题,提出一种基于l2随机化平滑的无梯度算法,并通过实验验证了其理论收敛性。
2023-09-05 math.OC
Affine Invariant Analysis of Frank-Wolfe on Strongly Convex Sets
当约束集是强凸的时,仿射协变的Frank-Wolfe(FW)算法具有加速的收敛速度。然而,这些结果依赖于范数依赖的假设,通常会招致非仿射不变的界限,与FW的仿射协变性质相矛盾。在这项工作中,我们引入了新的结构假设的问题(如方向平滑),并推导出一个仿射不变,范数独立的分析弗兰克-沃尔夫。基于我们的分析,我们提出了一个仿射不变回溯线搜索。有趣的是,我们发现,典型的回溯线搜索使用平滑的目标函数令人惊讶地收敛到仿射不变的步长,尽管使用仿射依赖规范的步长的计算。这表明我们不一定需要事先知道集合的结构来享受仿射不变的加速率。
2020-11-06 math.OC
Decentralized Optimization with Coupled Constraints
MIPT(莫斯科物理技术学院);Research Center for Artificial Intelligence, Innopolis University(伊诺波利斯大学人工智能研究中心);Skoltech(斯科尔科沃理工学院);Yandex Research(Yandex研究院)
本文研究了带有耦合约束的去中心化优化问题,提出了一种复杂度下界和首个达到下界的算法,实现了线性收敛。
2026-04-20 math.OC
An Optimal Algorithm for Strongly Convex Minimization under Affine Constraints
仿射约束下的最优化问题出现在机器学习的各个领域。我们考虑在仿射约束Kx=b下最小化光滑强凸函数F(x)的问题,并给出了F的梯度和乘K及其转置的计算.我们提供了梯度计算和矩阵乘法数量的下界,以实现给定的准确度。然后,我们提出了一个加速的原始对偶法实现这些下界。我们的算法是这类问题的第一个最优算法。
2022-04-10 math.OC
Design of Robust Decentralized Controllers via Assume-Guarantee Contracts
本文研究了一类离散时变线性系系统的分散控制问题,该系统的状态和输入轨迹均受到加性干扰和多面体约束。底层系统是由一个有限的集合动态耦合的子系统,其中每个子系统被假定为有一个专用的本地控制器。分散的信息表示根据稀疏性约束的状态测量,每个本地控制器可以访问。我们研究了分散控制器的设计,这些控制器在其测量历史中是仿射参数化的。对于具有部分嵌套信息结构的问题,已知在这种受限策略空间上的优化是凸的。凸性,但是,在更一般的(非经典的)信息结构,其中的信息提供给一个本地控制器可以受到控制动作,它不能重建的保证。为了解决这些问题中出现的非凸性,我们提出了一种分散控制设计的方法,这种信息耦合状态被有效地视为干扰,其轨迹被限制为在椭球形的“合同”集的位置,规模和方向的值,共同优化与底层的仿射分散控制策略。我们建立了一个结构性条件的空间允许的合同,有利于联合优化的控制策略和合同集通过半定规划。
2021-08-08 math.OC
Dual approaches to the strongly convex simple function minimization problem under affine restrictions
本文研究了带仿射型约束的强凸优化问题。建立了对偶问题,并利用快速梯度法求解对偶问题。我们利用这种方法的原始-对偶结构来构造原始问题的解。该文件包含了很多不同的技巧,允许推广上述结果,几乎所有的方法,我们想选择解决对偶问题。
2017-06-22 math.OC
Decentralized Resource Allocation via Dual Consensus ADMM
我们考虑一个无向网络的代理,网络的边缘定义的通信链路的资源分配问题。目标是最小化特定于代理的凸目标函数的总和,而代理的决策通过凸圆锥约束耦合。我们推导出两种方法,通过应用交替方向法的乘法器(ADMM)分散共识优化我们的资源分配问题的对偶。这两种方法都是完全并行和分散的,在这个意义上,每个代理只与网络中的邻居交换信息,只需要自己的数据来更新决策。我们证明了所提出的方法的收敛性,并证明了它们的有效性与数值例子。
2019-03-04 math.OC
Decentralized Proximal Optimization Method with Consensus Procedure
针对分散复合优化问题,提出基于加速近向梯度下降并在计算间进行多次共识迭代的方法,证明共识过程适用于复合优化且结构分析简单。
2023-04-07 math.OC
Communication Efficient Curvature Aided Primal-dual Algorithms for Decentralized Optimization
本文给出了求解分散凸组合问题的一族算法。我们考虑设置一个网络的代理,合作最小化一个全球目标函数组成的本地功能加上正则化。通过使用中间共识变量,我们消除了计算曲率引导更新时,代理之间的内部通信循环的需要。一个通用的计划,统一的分析过多的计算选择,包括梯度下降,牛顿更新,和BFGS更新。我们的分析建立了次线性收敛速度速率下的凸目标函数Lipschitz连续梯度,以及线性收敛速率时,进一步假设局部函数是强凸的。此外,我们明确地描述了由于曲率信息的加速度。最后但并非最不重要的是,我们提出了一个异步实现所提出的算法,它消除了对一个中央时钟的需要,与线性收敛速率建立在强凸目标下的预期。我们确定所提出的方法的有效性与基准数据集上的数值实验。
2023-02-11 math.OC
Revisiting Optimal Convergence Rate for Smooth and Non-convex Stochastic Decentralized Optimization
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学);MetaCarbon
分散优化是大规模机器学习中节省通信的有效方法。虽然已经提出了许多算法的理论保证和经验的成功,分散优化的性能限制,特别是网络拓扑结构及其相关的权重矩阵的最优收敛速度的影响,还没有得到充分的理解。虽然(Lu和Sa,2021)最近为非凸随机分散优化提供了一个最优速率,其权重矩阵定义在线性图上,但具有一般权重矩阵的最优速率仍不清楚。本文重新研究了非凸随机分散优化问题,并在一般权矩阵下建立了一个最优收敛速度。此外,我们还建立了非凸损失函数进一步满足Polyak-Lojasiewicz(PL)条件时的最优速率。按照文献中现有的分析路线无法实现这些结果。相反,我们利用环格图承认一般的权重矩阵,同时保持图直径和权重矩阵连通性之间的最佳关系。最后,我们开发了一个新的分散算法,几乎达到上述两个最优速率在额外的温和条件。
2022-10-14 cs.LG math.OC
Decentralized Control of Constrained Linear Systems via Assume-Guarantee Contracts
本文研究了一类离散线性系系统的分散控制问题,系统的状态和输入轨迹受到外部扰动和多面体约束。底层系统是由一个有限的集合动态耦合的子系统,其中每个子系统被假定为有一个专用的本地控制器。分散的信息表示根据稀疏性约束的状态测量,每个本地控制器可以访问。在这种情况下,我们研究的分散控制器的设计,是afferly参数化的测量历史。对于具有部分嵌套信息结构的问题,已知在这样的策略空间上的优化是凸的。凸性,但是,在更一般的(非经典的)信息结构,其中的信息提供给一个本地控制器可能会受到影响的控制动作,它不能访问或重建。为了缓解这些问题中出现的非凸性,我们提出了一种分散控制设计的方法,其中信息耦合状态被有效地视为干扰,其轨迹被约束为在椭球形合同集中取值,其位置,规模和方向与底层仿射分散控制策略联合优化。我们建立了一个自然的结构条件的空间允许的合同,有利于联合优化的控制策略和合同集通过半定规划。
2020-04-07 math.OC
Solution Uniqueness of Convex Piecewise Affine Functions Based Optimization with Applications to Constrained $\ell_1$ Minimization
本文研究了一类带有凸分段仿射函数和一般多面体约束的凸优化问题的解的唯一性。这类问题包含了许多重要的多面体约束$\ell_1$恢复问题所产生的稀疏优化,如基追踪,LASSO,和基追踪去噪,以及多面体规范恢复。通过利用凸分段仿射函数和凸分析工具的最大公式,我们开发了对偶变量的必要和充分的唯一性条件,通过简单而统一的方法,这些条件适用于广泛的$\ell_1$最小化问题下可能的多面体约束。提出了一种有效的线性规划方法来验证解的唯一性条件。本文所得到的结果不仅恢复了文献中已知的解的唯一性条件,通过删除限制性假设,但也产生新的唯一性条件,更广泛的约束$\ell_1$ -极小化问题。
2017-11-16 math.OC
Analysis of Decentralized Stochastic Successive Convex Approximation for composite non-convex problems
本文提出去中心化动量随机SCA(D-MSSCA)算法,其SFO复杂度达𝒪(ε^{-3/2}),与集中式下界持平,解决了去中心化SCA复杂度未知问题。
2024-05-27 eess.SP math.OC
Decentralized Optimization over Tree Graphs
本文提出了一种树型网络上非凸优化的分散算法。我们假设这个网络的每个节点都可以解决小规模的最优化问题和通信近似值函数与它的邻居基于一种新的多扫描通信协议。与现有的非凸优化的并行优化算法相比,网络的节点既不同步也不分配任何中心实体。没有一个节点需要知道整个网络的拓扑结构,但所有节点都知道网络是树结构的。我们讨论的条件下,局部平方收敛速率可以实现。该方法是通过运行分散的异步多扫描协议的径向交流电力网络的案例研究。
2020-10-30 math.OC
Decentralized Constrained Optimization: Double Averaging and Gradient Projection
本文研究了强连通有向图上带凸约束的凸有限和极小化问题。该约束是一个交集的几个凸集,每个已知的只有一个节点。为了解决这个问题,我们提出了一种新的分散投影梯度格式的基础上局部平均和证明其收敛性仅使用局部函数的光滑性。
2021-06-21 cs.DC math.OC
Optimal Decentralized Distributed Algorithms for Stochastic Convex Optimization
我们考虑具有仿射约束的随机凸优化问题,并开发了几种使用原始方法或对偶方法来求解该问题的方法。在原始情况下,我们使用特殊的惩罚技术使初始问题更方便地使用最优化方法。对于凸光滑和强凸光滑目标函数,我们提出了基于不精确邻近步长的相似三角形算法来求解该问题,对于非光滑情况,我们提出了基于梯度滑动算法来求解该问题。我们证明了在光滑凸的情况下,确定性的一阶预言的收敛保证。本文提出并分析了三种新的处理仿射约束随机凸优化问题的方法:SPDSTM,R-RRMA-AC-SA $^2$,和SSTM_sc。SPDSTM是STM的随机原始-对偶修正,它被应用于原泛函在球上强凸且Lipschitz连续的对偶问题。我们将Dvinskikh & Gasnikov(2019)的结果扩展到只有有偏随机预言可用的情况。R-RRMA-AC-SA $^2$是基于Foster等人(2019)的RRMA-AC-SA $^2$重新启动的加速随机方法,SSTM_sc只是强凸问题的随机STM。这两种方法都适用于对偶问题时,原始功能是强凸,光滑,Lipschitz连续的一些球,并使用随机对偶一阶预言。我们分别对无偏和有偏的预言机进行了收敛性分析。最后,我们应用上述所有的结果和方法来解决分散的分布式最优化问题,并讨论所获得的结果的最优性方面的通信轮数和每节点的Oracle调用的数量。
2020-11-11 math.OC
Curvature accelerated decentralized non-convex optimization for high-dimensional machine learning problems
针对多智能体系统高维非凸分布式优化问题,提出利用二阶信息的原始-对偶方法,采用线性成本拟牛顿求解器并每轮仅广播一次本地模型,在保证收敛性的同时显著提升了通信与计算效率。
2025-04-05 math.OC
Decentralized non-convex optimization via bi-level SQP and ADMM
针对分布式非凸优化,提出双层SQP方法,内层用ADMM求解二次问题,具有局部收敛保证,仅需解二次规划,在最优潮流问题上表现优异。
2025-10-17 cs.SY eess.SY math.OC
Decentralized Conjugate Gradient and Memoryless BFGS Methods
本文针对非凸与强凸去中心化优化问题,分别提出带梯度跟踪的新型去中心化共轭梯度法和缩放无记忆BFGS法,证明了相应收敛性,实验显示其在迭代和通信成本上优于现有方法。
2025-01-17 math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside(加州大学河滨分校);Caltech(加州理工学院)
本文提出学习增强去中心化在线优化算法LADO,在去中心化多智能体网络中结合基准策略与机器学习策略,兼顾最坏情况鲁棒性和平均性能,并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Yonsei University(延世大学)
针对无向连通网络上的凸组合最优化问题,提出了一种新的基于CTA(Combine-Then-Adapt)的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长,只需近似求解一系列邻近映射,有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形,我们证明了该算法的O(1/k)收敛速度,如果精确求解邻近映射,则该算法的收敛速度可提高到O(1/k).此外,利用度量次正则性,我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
D-ripALM: A Tuning-friendly Decentralized Relative-Type Inexact Proximal Augmented Lagrangian Method
Sun Yat-sen University(中山大学);Shenzhen Technology University(深圳理工大学);The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
D-ripALM是一种适用于多智能体网络共识凸优化的去中心化算法,通过相对型误差准则提升调优友好性和数值鲁棒性。
2026-02-06 math.OC
Decentralized Convex Optimization on Time-Varying Networks with Application to Wasserstein Barycenters
针对时变网络下仅部分传感器可观测但需平均信号的场景,提出一种适用于非光滑对偶友好分布式优化的一阶方法,证明其Nesterov意义下的非渐近加速收敛率,并验证了在Wasserstein重心问题中的有效性。
2023-07-25 math.OC
A primal-dual flow for affine constrained convex optimization
针对仿射约束凸优化问题,提出了一种新的原始-对偶流。作为标准鞍点系统的一个改进,我们的原始-对偶流被证明具有指数衰减特性,在一个定制的李雅普诺夫函数。然后通过离散化得到两种原-对偶方法,并通过离散化的李雅普诺夫函数建立了全局非遍历线性收敛速率.而不是解决原始变量的子问题,我们应用半光滑牛顿迭代的子问题的乘数,提供了一些额外的属性,如半光滑性和稀疏性。特别地,对线性约束的$l_1$ - $l_2$最小化和基于全变分的图像去噪模型进行了数值试验。
2022-03-20 math.OC
Convexity of Decentralized Controller Synthesis
本文研究去中心化控制问题中控制器集的凸性,证明了控制器集的凸性等价于二次不变性,并进一步探讨了二次不变性对闭环映射集凸性的必要性与充分性。
2014-01-28 cs.SY eess.SY math.OC
A Line-search-free Method for Adaptive Decentralized Optimization
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
本文提出一种无需线搜索的分布式优化方法,通过自适应调整步长实现高效收敛,适用于凸和强凸目标函数,实验显示优于现有方法。
2026-07-23 math.OC
Asynchronous Decentralized Optimization with Constraints: Achievable Speeds of Convergence for Directed Graphs
Chalmers University of Technology(查尔姆斯理工大学)
本文提出了一种异步双平均和梯度投影算法,用于解决有向图中去中心化优化问题,通过引入线性二次PEP方法,实现了无需强凸性假设的收敛速度分析。
2024-01-06 math.OC
Optimal and Practical Algorithms for Smooth and Strongly Convex Decentralized Optimization
我们考虑的任务分散最小化的总和顺利强凸函数存储在网络的节点。对于这个问题,最近已经证明了梯度计算的数量和实现$\varepsilon$精度所需的通信轮数的下界。我们提出了两个新的算法,这个分散的最优化问题,并配备他们的复杂性保证。我们表明,我们的第一种方法是最佳的通信轮数和梯度计算的数量。与现有的最优算法不同,我们的算法不依赖于昂贵的双梯度评估。我们的第二个算法是最佳的通信轮数,没有对数因子。我们的方法依赖于查看两个建议的算法作为向前向后算法的加速变体,以解决与分散最优化问题相关的单调包含。我们还通过数值实验验证了我们的方法相对于最先进算法的有效性。
2020-11-13 math.OC stat.ML
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology(佐治亚理工学院)
本文针对分布式随机最优化问题,提出了一种异步分布式加速随机梯度下降算法,并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$(分别,$\mathcal{O}(1/\sqrtε)$)通信复杂度和$\mathcal{O}(1/ε^2)$(分别,$\mathcal{O}(1/ε)$)用于求解一般凸的采样复杂度(分别,强凸)问题。
2018-09-24 cs.LG math.OC
Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks
Yandex Research(Yandex研究院);MIPT(莫斯科物理技术学院);Innopolis University(因诺波利斯大学);ISP RAS(俄罗斯科学院系统编程研究所);MSU(莫斯科国立大学)
本研究首次为时变网络上非光滑凸分散优化问题建立了通信与次梯度计算复杂度的下界,并提出了匹配这些下界的最优算法,显著提升了理论性能。
2024-05-28 cs.LG math.OC