Centralized and distributed online learning for sparse time-varying optimization
在过去的几年里,在线算法的发展,以跟踪时变系统引起了很多关注,特别是在在线凸优化的框架。同时,稀疏时变优化已经成为一个强大的工具,以处理广泛的应用,从动态压缩传感到简约系统辨识。在大多数关于稀疏时变问题的文献中,假设系统演化的一些先验信息是可用的。相比之下,在本文中,我们提出了一种在线学习方法,它不使用给定的模型,适用于对抗框架。具体来说,我们开发集中式和分布式算法,我们从理论上分析他们的动态遗憾,在网上学习的角度来看。此外,我们提出了数值实验,说明其实际有效性。
2020-01-31 cs.LG math.OC
Distributed Interior-point Method for Loosely Coupled Problems
本文提出了求解松耦合无约束和约束最优化问题的分布式算法。这些问题通常使用基于分解和一阶方法的组合的算法来解决。这些算法通常非常慢,需要多次迭代才能收敛。为了缓解这个问题,我们提出了算法,结合牛顿和内点的方法与邻近分裂方法来解决这些问题。特别地,用于求解无约束松耦合问题的算法基于牛顿法并且利用邻近分裂来分配用于在每次迭代中计算牛顿步长的计算。将该算法与内点法相结合,提出了求解约束松耦合问题的分布式算法。我们还提供了如何有效地实现所提出的方法的指导方针,并简要讨论了所得到的解决方案的属性。
2013-12-19 math.OC
Minimizing Regret of Bandit Online Optimization in Unconstrained Action Spaces
TU Darmstadt(达姆施塔特工业大学);University of British Columbia(不列颠哥伦比亚大学)
本文研究了带零阶预言反馈的在线凸优化问题。特别地,决策者不知道时变费用函数或其梯度的显式表示。在每个时间步,她观察在她选择的动作(零阶预言)处评估的对应费用函数的值。目标是最小化遗憾,也就是说,她积累的成本和静态最优行动之间的差异,她知道的序列的费用函数先验。我们提出了一个新的算法,以尽量减少无约束的行动空间中的遗憾。我们的算法取决于一个经典的思想,一个点估计的梯度的费用函数的基础上,他们的观测值。该算法与问题参数无关。令$T$表示零阶预言机的查询次数,$n$表示问题维数,得到的遗憾率为$O(n^{2/3}T^{2/3})$。此外,我们适应所提出的算法的设置与两点反馈,并证明了适应过程达到理论上的下限$(n^{1/2}T^{1/2})$的遗憾。
2020-05-02 cs.LG math.OC
Prediction-Correction Algorithms for Time-Varying Constrained Optimization
本文发展了在线算法来跟踪时变约束最优化问题的解。特别是,类似于基于Kalman滤波的动力系统方法,所提出的方法涉及预测校正步骤,以可证明地跟踪时变凸问题的最优解的轨迹。现有的预测-校正方法的优点已被证明是无约束的问题,并为设置计算的费用函数的海森的逆是计算负担得起的。本文通过解决约束问题和设计依赖于费用函数的Hessian的一阶预测步骤(并且不需要计算其逆)来解决现有方法的局限性。此外,所提出的方法,以提高现有的预测校正方法的收敛速度时,适用于无约束的问题。数值模拟证实了分析结果,并展示了所提出的算法的性能和好处。所提出的方法的实时控制的能源的实际应用。
2017-05-09 math.OC
A Distributed Continuous-time Modified Newton-Raphson Algorithm
提出了一个求解具有有界Hessian的无约束凸优化问题的连续时间二阶优化算法。我们表明,这种替代算法具有可比的收敛速度的连续时间的牛顿-拉夫逊方法,但在结构上,它是服从一个更有效的分布式实现。我们提出了一个分布式实现我们提出的优化算法,并通过李雅普诺夫分析证明其收敛性。一个数值例子证明了我们的结果。
2021-05-20 math.OC
Distributed Continuous-Time Optimization with Time-Varying Objective Functions and Inequality Constraints
研究了具有时变目标函数和时变非线性不等式约束约束的分布式连续时间最优化问题。与大多数具有时不变目标函数和约束条件的分布式最优化问题不同,本文的最优解是时变的,并形成一条轨迹。为了最小化全局时变目标函数受时变局部约束函数,仅使用局部信息和局部相互作用,我们提出了一种分布式控制算法,由一个滑模部分和基于Hessian的优化部分。在适当的假设条件下,研究了算法对最优解的渐近收敛性。通过仿真实例验证了该方案的有效性。
2020-09-04 math.OC
Distributed generalized Nash equilibrium seeking in aggregative games on time-varying networks
在部分决策信息下,我们设计了第一个在时变通信网络上的聚合博弈中寻求广义Nash均衡的全分布式算法,即,代理不能直接访问集合决策。该算法是通过将动态跟踪集成到投影伪梯度算法中而得到的。收敛性分析依赖于单调算子分裂框架和带误差的Krasnosel'skiii-Mann不动点迭代。
2020-02-11 math.OC
PANDA: A Dual Linearly Converging Method for Distributed Optimization over Time-Varying Undirected Graphs
本文考虑时变网络上的分布式凸优化问题。我们提出了一个对偶方法,R-线性收敛到最优点的代理的目标函数是强凸的,并有Lipschitz连续梯度。所提出的方法需要一半的量的可变交换比基于DIGing的方法,并产生改进的实际性能的经验证明。
2018-04-20 math.OC
Distributed Algorithm Over Time-Varying Unbalanced Topologies for Optimization Problem Subject to Multiple Local Constraints
研究了局部约束可能不同的分布式最优化问题,其全局目标函数由$N$凸函数组成.我们的目的是解决所考虑的最优化问题在一个分布式的方式在随时间变化的不平衡的有向拓扑结构,只使用本地信息,只执行本地计算。为此,综合行随机阵序列和列随机阵序列分析技术,提出了一种新的分布式离散时间算法。此外,对于分布式离散时间算法,它的收敛性的最优解以及它的收敛速度建立在一些温和的假设。最后通过数值模拟验证了理论分析的正确性。
2022-08-25 math.OC
A geometrically converging dual method for distributed optimization over time-varying graphs
本文考虑时变无向网络上的分布式凸优化问题。我们提出了一种对偶方法,主要是平均网络对偶上升(PANDA),这是证明收敛R-线性最优点的代理目标函数是强凸的,并有Lipschitz连续梯度。像对偶分解,PANDA需要一半的量的变量交换每单位的方法的基础上DIGing,并可以提供实际的改进性能的经验证明。
2018-10-12 math.OC
Distributed Convex Optimization for Continuous-Time Dynamics with Time-Varying Cost Function
研究了连续时间多智能体系统的时变分布凸优化问题。控制算法的情况下,单积分器和双积分器的动态设计。在每种情况下,提出了两种基于符号函数的不连续算法来解决问题。然后,在双积分动力学的情况下,两个连续的算法的基础上,分别提出了一个时变和固定的边界层连续近似的signum函数。此外,考虑到代理间碰撞的物理代理,一个分布式的群体跟踪行为的凸优化问题的单积分器和双积分器的动态。
2016-09-06 math.OC
A Distributed Optimization Algorithm over Time-Varying Graphs with Efficient Gradient Evaluations
我们提出了一个算法,分布式优化时变通信网络。我们的算法使用优化的通信轮数和梯度评估之间的比例,以实现快速收敛。迭代收敛到全局优化器的速度与集中式梯度下降相同,当使用最小数量的通信来这样做时,根据梯度评估的数量来测量。此外,迭代收敛在一个接近最佳的速度时,测量的通信轮数。我们比较我们的算法与其他几个已知的算法的分布式目标定位问题。
2020-01-07 math.OC
Distributed Convex Optimization With Coupling Constraints Over Time-Varying Directed Graphs
研究了时变多智能体网络上的分布式凸优化问题,其中每个智能体都有自己的决策变量,这些决策变量的设置应使其个体目标最小化,且受局部约束和全局耦合等式约束.在有向图上,提出了一种将推和协议与对偶次梯度方法相结合的分布式算法。在凸性假设下,首先建立了原始变量、对偶变量和约束违反的最优性。然后给出了算法的显式收敛速度。最后,通过对经济调度问题的数值实验,验证了算法的有效性。
2018-05-21 math.OC
Fenchel Dual Gradient Methods for Distributed Convex Optimization over Time-varying Networks
在现有的大量凸多智能体优化分布式算法中,只有少数算法能保证智能体网络在时变拓扑下的收敛速度,而这又限制了问题的无约束性.出于这一动机,我们开发了一个家庭的分布式Fenchel双梯度法解决约束,强凸,但不一定光滑的多智能体最优化问题随时间变化的无向网络。所提出的算法构造的基础上应用加权梯度法的Fenchel对偶的多智能体最优化问题,并可以实现在一个完全分散的方式。我们表明,所提出的算法驱动所有的代理原始和对偶最优渐近下的最小连通性条件和次线性速率下的标准连通性条件。最后,通过仿真验证了分布式Fenchel对偶梯度法的良好收敛性能.
2018-04-05 math.OC
Distributed Subgradient-based Multi-agent Optimization with More General Step Sizes
一个更广泛的选择步长的分布式次梯度法多智能体最优化问题,为时不变和时变通信拓扑结构进行了探索。删除了文献中常用的步长的平方和要求。仅要求步长为正、为零且不可和。证明了在无约束和有约束的最优化问题中,智能体的估计达到共识,并收敛到最优解与更一般的选择步长。这个想法是为了表明,代理人的估计值的加权平均值接近最优解,但采用不同的方法。在无约束条件下,通过分析加权平均值到最优解的距离变化,证明了加权平均值任意接近于最优解,从而证明了代理估计的加权平均值的最优收敛性.在有约束的情况下,这是通过分析从代理的估计到最优解的距离变化并利用约束的有界性来实现的。然后,由于在两种情况下都达成了共识,因此代理人估计的最佳收敛随之而来。这些结果对强连通时不变图和联合强连通的时变平衡图都是有效的。
2016-01-30 math.OC
A Hybrid Finite-Dimensional RHC for Stabilization of Time-Varying Parabolic Equations
研究了一类时变线性抛物型方程的有限维滚动时域控制镇定问题。研究了无约束滚动时域框架的稳定性和次优性。分析允许选择平方$\ell_1$ -范数作为控制成本。这导致了一个非光滑的无限时域问题,它提供了稳定的最优控制与低数量的主动执行器随着时间的推移。数值实验验证了理论结果,并说明了$\ell_1$ -和$\ell_2$ -控制成本之间的定性差异。
2019-01-08 math.OC
A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks
针对时变有向网络中的分布式在线优化问题,提出TV-HSGT算法,通过混合随机梯度跟踪与方差缩减机制,在无需梯度有界假设下提升动态遗憾界,并在实验中验证其有效性。
2025-08-28 cs.DC cs.LG math.OC
A Distributed Time-Varying Optimization Approach Based on an Event-Triggered Scheme
针对分布式时变优化问题,本文在分布式神经动力学框架下提出事件触发控制器,通过离散时刻通信和积分模态技术降低通信能耗与计算成本,并以电池充电示例验证有效性。
2024-10-25 math.OC
Distributed Optimization over Time-varying Graphs with Imperfect Sharing of Information
我们研究强凸分布最优化问题,其中一组代理有兴趣解决一个可分离的最优化问题合作。在本文中,我们提出并研究了两个时间尺度分散梯度下降算法的一个广泛的类的有损信息共享的时变图。一个时间尺度淡出来自相邻代理的(有损的)传入信息,并且一个时间尺度调节局部损失函数的梯度。对于强凸损失函数,通过适当选择步长,我们证明了智能体的估计以$O(T^{-1/2})$的速度收敛到全局最优状态。这项工作的另一个重要贡献是提供了新的工具来处理随时间变化的图形的平均权重递减。
2022-08-14 math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题,该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和,这些局部目标函数由可微的(可能是非凸的)费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题,提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识,收敛到一组临界点的收敛速度$O(1/T)$。最后,通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Distributed Asynchronous Time-Varying Quadratic Programming with Asynchronous Objective Sampling
针对现有多智能体时变优化无法异步采样目标的问题,提出支持采样、通信和计算全异步的多智能体优化框架,证明其跟踪解时误差有界并解决二次规划开放问题,仿真验证有效性。
2025-08-20 math.OC
Local SGD for Near-Quadratic Problems: Improving Convergence under Unconstrained Noise Conditions
本文提出近似二次性概念,替代Lipschitz Hessian假设,并在无界噪声条件下分析局部SGD,以拓宽其适用问题类别并改进收敛性。
2024-12-18 math.OC
Asynchronous and Distributed Tracking of Time-Varying Fixed Points
本文提出了一个跟踪时变压缩映射不动点的算法框架。跟踪误差的分析结果建立的情况下,其中:(i)基本的收缩自映射在算法的每一步的变化;(ii)只有一个不完美的信息的地图是可用的;和,(iii)该算法是以分布式的方式实现的,与通信延迟和丢包导致异步算法更新。分析结果适用于几类问题,包括时变收缩映射出现的在线和异步实现的基于梯度的方法随时间变化的凸规划。在该领域中,所提出的框架还可以捕获基于反馈的在线算法的操作原理,其中在线梯度步骤被适当地修改以适应来自底层物理或逻辑网络的可操作反馈。提供的应用程序和说明性的数值结果的例子。
2018-09-12 math.OC
Distributed Online Optimization in Time-Varying Unbalanced Networks without Explicit Subgradients
研究了无显式次梯度的时变不平衡有向图上的分布式在线约束最优化问题。与现有算法形成鲜明对比的是,我们设计了一种新的基于共识的分布式在线算法,该算法具有局部随机零阶预言机,然后通过构造行随机阵来重新缩放预言机,旨在解决时变有向图的不平衡性。在温和的条件下,平均动态后悔超过一个时间范围内渐近收敛于一个次线性速率提供的累积变化增长的次线性与特定的顺序。此外,该算法的对应子梯度时,也提供了其动态遗憾界,这反映了我们的算法的收敛性基本上是不受零阶预言。通过对传感器网络中的分布式目标跟踪问题和动态稀疏信号恢复问题的仿真,验证了该算法的有效性。
2022-02-23 math.OC
Passivity-Based Local Design Conditions for Global Optimality in Distributed Convex Optimization
本文利用无源性理论为分布式凸优化建立了仅需局部设计条件的通用框架,使异构智能体无需全局初始化即可实现即插即用的全局最优收敛,并支持有向拓扑扩展。
2025-03-12 cs.SY eess.SY math.OC
Distributed Prediction-Correction ADMM for Time-Varying Convex Optimization
本文提出基于预测-校正框架的对偶正则化ADMM,用于分布式时变凸优化,并通过数值实验证明其在渐近误差和一致性约束违反方面优于非精确梯度法和精确对偶分解方法。
2020-11-17 math.OC
Second-order Guarantees of Distributed Gradient Algorithms
本文考虑网络上的分布光滑非凸无约束优化问题,网络模型为连通图。我们研究了分布式基于梯度的算法在严格鞍点附近的行为。具体来说,我们建立,(i)著名的分布式梯度下降(DGD)算法可能收敛到一个二阶平稳(SoS)解决方案的邻域;和(ii)最近的一类分布式算法的基础上梯度跟踪-实现也有向图-可能收敛到确切的SoS解决方案,从而避免(严格)鞍点。此外,对后一类算法建立了新的一阶临界点的收敛速度结果。
2020-05-25 cs.DC math.OC
Distributed Event-Triggered Bandit Convex Optimization with Time-Varying Constraints
针对带时变约束的分布式赌博机凸优化问题,提出带两点赌博机反馈的事件触发在线原始-对偶算法,在节省通信资源的同时取得与全信息反馈算法相当的性能界,并通过数值算例验证。
2024-06-20 math.OC
Generic Frameworks for Distributed Functional Optimization and Learning over Time-Varying Networks
Georgia Institute of Technology(佐治亚理工学院);Nanjing University of Science and Technology(南京理工大学)
本文提出了一种基于巴纳赫空间的分布式函数优化理论,解决了传统方法在处理函数空间优化问题时的理论和技术不足,并建立了两种算法的收敛理论,为分布式学习提供了新的分析框架。
2025-12-31 math.OC
Finite-Time Convergent Algorithms for Time-Varying Distributed Optimization
本文提出两类有限时间收敛的分布式算法,分别解决无约束时变共识优化和带耦合约束的时变资源分配问题,通过扩展零梯度和对偶变换实现,无需Hessian逆,并用数值实验验证。
2023-09-01 math.OC
FAB: A First-Order AB-based Gradient Algorithm for Distributed Bilevel Optimization over Time-Varying Directed Graphs
Southern University of Science and Technology(南方科技大学);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);School of Artificial Intelligence, Southern University of Science and Technology(南方科技大学人工智能学院);National Center for Applied Mathematics Shenzhen(深圳应用数学国家研究中心);Detection Institute for Advanced Technology Longhua-Shenzhen(深圳龙华先进技术检测研究院)
本文提出一种首次-order分布式梯度算法,结合Push-Pull通信策略和价值函数惩罚法,解决时间变化有向图上的分布式双层优化问题,并建立非渐近收敛性。
2026-05-07 math.OC
On Convergence Rate of a Continuous-Time Distributed Self-Appraisal Model with Time-Varying Relative Interaction Matrices
本文研究了最近提出的一个连续时间分布的自我评价模型,该模型具有$n$个体网络之间的时变相互作用,其特征在于一系列时变相对相互作用矩阵。该模型通过反映评价机制实时描述了个体的社会置信水平的演变。我们首先通过例子表明,当相对相互作用矩阵是随机的(不是双重随机的),社会置信水平的个人可能不会收敛到一个稳定的状态。然后,我们证明了当相对交互作用矩阵是双随机的时,$n$个体的置信水平在适当的假设下都将以指数速度收敛到$1/n$,这表明$1/n$是一个民主的状态,并给出了收敛速度的显式表达式。
2017-03-16 math.OC
A distributed ADMM-like method for resource sharing over time-varying networks
我们考虑合作的多智能体资源共享问题在时变通信网络,只允许本地通信。我们的目标是最小化的总和代理特定的复合凸函数受到圆锥约束,耦合代理的决定。我们提出了一个分布式的原始对偶法DPDA-D解决鞍点公式的共享问题的时变(非)有向通信网络,我们表明,原始对偶序列收敛到一个点定义的原始最优解和一个共识的双重价格的耦合约束。此外,我们提供了收敛速度的次优,不可行性和共识违反代理的双重价格评估;检查底层网络拓扑结构的影响,建议分散算法的收敛速度;并比较DPDA-D与集中式方法的基础上追求去噪和多通道功率分配问题。
2019-08-25 math.OC
Distributed Convex Optimization of Time-Varying Cost Functions with Swarm Tracking Behavior for Continuous-time Dynamics
研究了连续时间多智能体系统中具有群体跟踪行为的分布式凸优化问题。智能体的任务是通过局部交互来驱动其中心跟踪最优轨迹,该最优轨迹使局部时变费用函数之和最小化,同时保持连通性并避免智能体之间的碰撞。每个局部费用函数仅为单个代理所知,并且团队的最优解是时变的。这里考虑两种情况,单积分器动态和双积分器动态。对于每种情况下,提出了一种分布式的群体跟踪行为的凸优化算法,每个代理只依赖于自己的位置和相对位置(和速度在双积分的情况下)之间的本身和它的邻居。结果表明,智能体的中心跟踪最优轨迹,智能体之间的连通性将保持和避免智能体间的碰撞。最后,数值例子进行说明。
2015-07-16 math.OC
A unified framework for distributed optimization algorithms over time-varying directed graphs
在本文中,我们提出了一个框架下,分散的优化算法建议在\cite{JKJJ,MA, NO,NO2}可以被视为在一个统一的方式。更准确地说,我们表明,分布式次梯度下降算法\cite{JKJJ, NO},次梯度推算法\cite{NO2},和分布式算法与行随机阵\cite{MA}可以通过适当的选择一致性矩阵,步长和次梯度从分散次梯度下降提出的\cite{NO}。作为这样的统一理解的结果,我们提供了一个收敛性证明,涵盖了算法在\cite{JKJJ,MA, NO,NO2}下一个新的代数条件,严格弱于传统的图论条件在\cite{NO}。这种统一也使我们能够得到一个新的分布式优化方案。
2021-08-04 math.OC
Distributed Constrained Optimization with Delayed Subgradient Information over Time-Varying Network under Adaptive Quantization
本文研究了时变通信网络中具有延迟次梯度信息的分布式约束最优化问题,其中每个智能体只能与其邻居通信,通信信道具有有限的数据速率.我们提出了一种自适应量化方法来解决这个问题。基于Bregman发散理论,建立了一种带延迟次梯度信息的镜像下降算法。该方法采用非欧几里德Bregman投影算法,从本质上推广了许多经典的基于欧几里德投影的分布式算法。通过所提出的自适应量化方法,可以获得无任何量化误差的最优值。对算法的收敛性进行了综合分析,结果表明,在适当的条件下,可以得到最优的收敛速度$O(1/\sqrt{T})$。最后,数值例子证明了我们的算法和理论结果的有效性。
2021-06-15 math.OC
Time-Varying Distributed Optimization for A Class of Stochastic Multi-Agent Systems
本文首次研究一类随机多智能体系统的时变分布式优化,提出固定时间全局变量估计器与分布式协议,证明跟踪误差均方指数最终有界,并通过仿真验证。
2025-03-17 math.OC
Decentralized convex optimization over time-varying graphs: a survey
本文为时变图上的去中心化凸优化综述,梳理了该领域的最新研究成果与相关技术,同时指出了待解决问题并给出未来研究的假设与方向。
2023-04-17 math.OC
Linear Convergence Rate Analysis of a Class of Exact First-Order Distributed Methods for Weight-Balanced Time-Varying Networks and Uncoordinated Step Sizes
本文分析一类精确分布式一阶方法在时变权重平衡网络与非协调步长下的R-线性收敛性,证明统一Extra、统一DIGing及精确谱梯度方法对此类设置具有高度鲁棒性。
2023-05-12 math.OC
Distributed Nash Equilibrium Seeking for Monotone Generalized Noncooperative Games by a Regularized Penalty Method
本文研究了具有集合约束和共享仿射不等式约束的单调广义非合作对策的分布式Nash均衡求解问题。提出了一种分布式正则化惩罚方法。其思想是使用一个具有时变罚参数的可微罚函数来处理不等式约束。通过引入时变正则化项,解决了单调性假设和时变惩罚项引起的病态问题。证明了该对策的最小范数变分均衡的渐近收敛。数值算例表明了该算法的有效性和效率。
2020-10-25 math.OC
Exact Spectral-Like Gradient Method for Distributed Optimization
自80年代末首次提出以来,谱梯度法一直受到人们的关注,特别是由于其在各种大规模应用中的优异数值性能。然而,到目前为止,它们还没有在分布式优化的上下文中得到充分的探索。在本文中,我们考虑无约束分布式最优化问题,其中$n$节点构成一个任意连接的网络,并合作最小化其局部凸费用函数的总和。在这种情况下,从现有的精确分布式梯度方法的建设,我们提出了一种新的精确分布式梯度法,其中节点的步长设计根据新的规则类似于那些在谱梯度法。我们将所提出的方法称为分布式谱梯度法(DSG)。该方法在节点局部代价和算法步长的标准假设下具有R-线性收敛。我们通过仿真示例说明了该方法的性能。
2019-01-17 math.OC
Distributed Regularized Dual Gradient Algorithm for Constrained Convex Optimization over Time-Varying Directed Graphs
研究了多智能体协作时变网络上的分布式最优化问题,其中每个智能体都有自己的决策变量,这些决策变量的设置应使其个体目标在局部约束和全局耦合约束下最小化.基于推和协议和对偶分解,设计了一种分布式正则化对偶梯度算法,该算法在时变有向图中实现,只需要通信矩阵的列随机性.通过在相应的拉格朗日函数上增加一个二次正则项,我们首先得到了拉格朗日乘子的上界,与大多数基于原-对偶的方法相比,该方法不需要构造包含对偶最优集的紧集.对强凸目标函数,本文方法的收敛速度达到了$\mathcal{O}(\ln T/T)$阶,其中$T$为迭代次数.此外,还给出了约束违反的显式界。最后,通过对网络效用最大化问题的数值计算,验证了算法的有效性。
2018-05-21 math.OC
Distributed Gaussian Learning over Time-varying Directed Graphs
Boston University(波士顿大学);University of Illinois(伊利诺伊大学)
本文提出一种分布式非贝叶斯学习算法,用于高斯噪声下的参数估计,通过显式更新高斯信念参数,证明了收敛率和几乎必然收敛性。
2016-12-07 cs.LG cs.MA cs.SY
Distributed Convex Optimization with Inequality Constraints over Time-varying Unbalanced Digraphs
考虑时变不平衡有向图上带不等式约束的分布凸优化问题,其中代价函数是局部目标之和,图的每个节点只知道其局部目标和不等式约束.虽然有大量的分布式优化文献,但大多数都要求图是平衡的,这是非常限制性的,也是不必要的。最近,不平衡的问题已经得到解决,无论是时不变的图形或无约束优化。这项工作解决了不平衡的集中在一个epigraph形式的约束优化。一个显著的特点是,这个新的想法可以很容易地用来研究时变不平衡有向图。在本地通信下,然后为每个节点设计一个简单的迭代算法。我们证明了,如果图是一致联合强连通的,每个节点渐近收敛到某个公共的最优解。
2016-12-29 cs.DC math.OC
Achieving Geometric Convergence for Distributed Optimization over Time-Varying Graphs
本文研究时变图上的分布式优化问题。对于无向图的情况下,我们介绍了一种分布式算法,称为DIGing,基于分布式不精确梯度法和梯度跟踪技术的组合。DIGing算法使用双随机混合矩阵,并采用固定的步长,然而,驱动所有的代理的迭代到一个全球性的和一致的最小值。当图是有向的,在这种情况下,双随机混合矩阵的实现是不现实的,我们构造了一个算法,将推和协议的DIGing结构,从而获得推-DIGing算法。Push-Diging使用列随机阵和固定步长,但它仍然收敛到一个全局和一致的最小值。在强凸性假设下,只要步长不超过某个上界,我们证明了算法以R-线性(几何)速度收敛。我们建立明确的估计的收敛速度。当图是无向的,它表明,DIGing规模多项式的代理人的数量。我们还提供了一些数值实验来证明所提出的算法的有效性,并验证我们的理论研究结果。
2017-03-20 math.OC
Analysis and Design of First-Order Distributed Optimization Algorithms over Time-Varying Graphs
本文主要研究时变图上分布式一阶优化算法的分析与设计。这种算法的目标是优化全局函数,该全局函数是仅使用局部计算和通信的局部函数的平均值。已经提出了几种不同的算法,实现线性收敛的全局最优值时,局部函数是强凸的。我们提供了一个统一的分析,产生的最坏情况下的线性收敛速率的局部函数的条件数,频谱间隙的图形,和算法的参数的函数。该框架需要解决一个小的半定程序,其大小是固定的,它不依赖于本地功能的数量或其域的尺寸。其结果是一种计算效率高的分布式算法分析方法,可以快速比较,选择和调整算法。最后,我们提出了一个新的算法,我们称之为SVL,这是很容易实现的,并实现了更快的最坏情况下的收敛速度比所有其他已知的算法。
2020-02-14 math.OC
Distributed Stochastic Optimization with Gradient Tracking over Time-Varying Directed Networks
本文提出SAB-TV分布式随机优化方法,在时变有向网络上利用梯度跟踪和行列随机权重实现智能体协同优化,并证明其线性收敛到最优解邻域。
2023-10-30 math.OC
A Slow-Fast Stochastic Framework for Zeroth-Order Distributed Time-Varying Optimization
Sichuan University(四川大学)
研究仅用零阶信息的随机多智能体系统分布式时变优化,构建慢-快随机框架,引入辅助变量和快速子系统生成梯度估计,慢子系统进行优化和一致性,分析收敛性并通过模拟验证,建立界表征参数等对跟踪性能的影响。
2026-07-17 math.OC
An Accelerated Method For Decentralized Distributed Stochastic Optimization Over Time-Varying Graphs
我们考虑一个分布式的随机最优化问题,解决了一个分散的网络的代理与相邻的代理之间只有本地通信。整个系统的目标是最小化一个全局目标函数,该函数是由每个代理持有的局部目标之和。每个局部目标被定义为一个凸光滑随机函数的期望值,并允许代理对该函数的随机梯度进行采样。对于这种设置,我们提出了第一个加速(在Nesterov的加速意义上)的方法,同时达到最佳的对数因子通信和Oracle的复杂性边界光滑强凸分布随机最优化。我们还考虑的情况下,当通信图被允许随时间变化,并获得我们的算法的复杂性界限,这是第一个上复杂性界限,在文献中的设置。
2022-11-09 math.OC
Distributed Time-Varying Coverage Control via Singular Perturbations
本文提出了一种基于奇异摄动理论的分布式时间变化覆盖控制算法,通过双时间尺度分离方法实现机器人对动态密度函数的最优部署跟踪。
2025-12-01 math.OC
Primal-Dual Algorithm for Distributed Constrained Optimization
本文研究了一个分布式约束最优化问题,在网络中连接的多个代理共同最小化受一个全局约束的各个目标函数的总和是分配给代理的局部约束集的交集。基于增广拉格朗日方法,提出了一种包含投影操作的分布式原始对偶法。结果表明,适当地选择恒定的步长,在所有代理的局部估计渐近达成共识的最优解。此外,在时间平均估计的费用函数的值以速率$O(\frac{1}{k})$收敛到无约束问题的最优值。通过这些性质,本文提出的原始对偶法区别于现有的分布式约束优化算法。通过数值模拟验证了理论分析的正确性。
2016-03-06 math.OC
Cryptography-Based Privacy-Preserving Method for Distributed Optimization over Time-Varying Directed Graphs with Enhanced Efficiency
针对分布式优化中的智能体隐私泄露问题,提出基于AES的隐私保护算法,可应用于时变有向网络,满足初始有合法邻居即可保护隐私,强凸光滑目标下线性收敛,经传感器融合仿真验证有效。
2024-05-14 math.OC
Distributed Prediction-Correction Algorithms for Time-Varying Nash Equilibrium Tracking
本文主要研究了动态环境下非合作对策中的时变Nash均衡轨迹跟踪问题。为了解决这个问题,我们提出了一个分布式预测校正算法,称为DPCA,其中每个球员预测未来的战略,根据以前的观察,然后利用预测,有效地跟踪NE轨迹,通过使用一个或多个分布式梯度下降步骤在网络上。我们严格证明,所提出的算法产生的跟踪序列是能够跟踪随时间变化的NE有界误差。我们还表明,跟踪误差可以任意接近零时,采样周期足够小。此外,我们实现了线性收敛的时不变纳什均衡寻求问题作为我们的结果的特殊情况。最后,一个多机器人监控场景的数值模拟验证了所提出的算法的跟踪性能和必要的预测。
2022-12-14 math.DS math.OC
Optimal Distributed Optimization on Slowly Time-Varying Graphs
我们研究最优分布式一阶优化算法时,网络(即,代理之间的通信约束)随时间改变。这个问题是由代理遇到网络故障的情况引起的。我们提供了一个充分条件,保证收敛速度与最佳的(最高对数项)依赖于网络和函数参数,如果网络的变化被约束到一个小的百分比$α$的总迭代次数。我们称这种网络为慢时变网络。此外,我们表明,Nesterov的方法有一个迭代复杂度为$Ω\big( \big(\sqrt{κ_Φ\cdot \barχ} + α\log(κ_Φ\cdot \barχ)\big) \log(1 / \varepsilon)\big)$分散算法,其中$κ_Φ$是条件数的目标函数,和$\barχ$是一个最坏的情况下的通信图序列的条件数的限制。此外,我们提供了一个明确的上界$α$的目标函数和网络拓扑结构的条件数。
2019-11-28 math.OC