Local Differential Privacy via Dynamic Quantization in Distributed Online Stochastic Optimization
Nanjing University of Science and Technology(南京理工大学);Huazhong University of Science and Technology(华中科技大学)
提出一种使用动态随机量化器实现本地差分隐私的分布式在线随机优化算法,在几乎必然收敛到最优解的同时为每个智能体提供(0,δ^i)-本地差分隐私,并适用于有向图网络。
2026-05-28 math.OC
An Enhanced Gradient-Tracking Bound for Distributed Online Stochastic Convex Optimization
在求解分布式在线随机最优化问题时,基于梯度跟踪(GT)的分散方法已成为分散(随机)梯度下降(DSGD)的一种有效可行的替代方法。对GT方法的初步研究表明,GT方法比DSGD方法具有更差的网络依赖率,这与实验结果相矛盾。这一难题最近得到了解决,GT方法的更严格的费率已经建立,这改进了DSGD。在这项工作中,我们建立了更多的增强率的GT方法在线随机凸设置。我们提出了另一种方法来分析GT方法的凸问题和静态图。与以前的分析相比,这种方法使我们能够建立增强的网络依赖率。
2023-01-07 math.OC
Mirror Descent and Constrained Online Optimization Problems
我们考虑下面一类带函数约束的在线最优化问题。设在$n$维向量空间的闭集上给出了一个有限的凸Lipschitz连续非光滑泛函集。问题是在凸Lipschitz连续非光滑约束下极小化泛函的算术平均。此外,允许计算每个泛函的(子)梯度仅一次。本文利用最近提出的自适应镜像下降法,提出了一种求解带约束的在线最优化问题的方法,并给出了最优精度估计。对于相应的非欧结构的情况下,一组$n$维向量躺在标准的$n$维单纯形。
2021-12-29 math.OC
Distributed Online Generalized Nash Equilibrium Tracking for Prosumer Energy Trading Games
随着分布式发电的普及,配电网络中传统的被动消费者正在演变为既能生产能源又能消费能源的“产消者”。在能源过剩和短缺的情况下,与主电网或产消者之间的能源交易是不可避免的。为此,本文研究了对等(P2P)能源交易市场,这是制定为一个广义纳什博弈。我们首先证明了广义纳什均衡(GNE)的存在唯一性。在此基础上,提出了一种分布式在线跟踪算法。证明了该算法的收敛性受学习时间的次线性函数约束,表明该在线算法在实际应用中具有可接受的精度。最后,通过6个微网格的数值算例验证了算法的有效性。
2022-10-05 math.OC
Exponentially convergent distributed Nash equilibrium seeking for constrained aggregative games
研究了聚合对策的分布式纳什均衡求解问题,提出了一种连续时间算法。该算法利用投影梯度博弈动力学和分布式平均跟踪动力学设计,适用于策略集受限和通信图权重均衡的博弈。我们得到了一个指数收敛的算法的纳什均衡。数值例子说明了我们的方法的有效性。
2021-12-06 math.OC
Distributed Online Convex Optimization with Improved Dynamic Regret
在本文中,我们考虑分布式在线凸优化的问题,其中一组代理合作,以在线方式跟踪全局极小值的时变目标函数的总和。具体来说,我们提出了一种新的分布式在线梯度下降算法,依赖于静态优化中使用的梯度跟踪技术的在线适应。我们表明,该算法的动态遗憾界没有明确的时间范围的依赖,因此,可以比现有的界限,特别是对于长期的问题。我们的边界依赖于一个新的正则性度量,该度量量化了每个时刻最佳点处梯度的总变化。此外,当优化近似线性动力学,我们表明,动态遗憾界可以进一步收紧取代的规律性措施,捕获路径长度的优化与累积的预测误差,这可以在这种特殊情况下低得多。我们提出了数值实验来证实我们的理论结果。
2020-10-13 math.OC
A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization
利用在线连续时间Nesterov加速梯度法(OCT-NAG)研究了在线凸优化问题。我们表明,在线版本的布雷格曼拉格朗日产生的连续时间动态实现了恒定的静态遗憾$\frac{c}σ$独立的$T$,提供了一些有界性假设的目标函数和最优解。据作者所知,这是文献中最低的静态遗憾(低于$O(\text{log}(T))$)。我们进一步证明了在相同的假设条件下,该算法的动态遗憾是$O(T)$,这是与现有的方法相媲美。仿真结果验证了该方法的有效性。此外,仿真结果表明,该算法表现出良好的动态遗憾的一些特定的缩放条件。此外,我们考虑所提出的在线优化方法在分布式在线最优化问题中的应用,并表明所提出的算法实现了$O(\sqrt{T})$静态遗憾,这是与现有的分布式在线最优化方法。与这些方法不同的是,该方法既不需要梯度有界性假设,也不需要紧约束集假设,从而允许与文献中不同的目标函数和最优化问题。一个可比的动态后悔。仿真结果表明了分布式算法的有效性和效率。
2020-09-26 math.OC
Distributed Online Optimization in Time-Varying Unbalanced Networks without Explicit Subgradients
研究了无显式次梯度的时变不平衡有向图上的分布式在线约束最优化问题。与现有算法形成鲜明对比的是,我们设计了一种新的基于共识的分布式在线算法,该算法具有局部随机零阶预言机,然后通过构造行随机阵来重新缩放预言机,旨在解决时变有向图的不平衡性。在温和的条件下,平均动态后悔超过一个时间范围内渐近收敛于一个次线性速率提供的累积变化增长的次线性与特定的顺序。此外,该算法的对应子梯度时,也提供了其动态遗憾界,这反映了我们的算法的收敛性基本上是不受零阶预言。通过对传感器网络中的分布式目标跟踪问题和动态稀疏信号恢复问题的仿真,验证了该算法的有效性。
2022-02-23 math.OC
Distributed Online Optimization for Multi-Agent Networks with Coupled Inequality Constraints
本文研究了多智能体网络中受局部集合约束和耦合不等式约束的分布式在线最优化问题,该问题在无线传感器网络、电力系统和插电式电动汽车等领域有着广泛的应用。在该问题中,每一时间步的费用函数都是局部代价函数之和,每个局部代价函数都是逐渐向其对应的agent揭示的,同时每个agent只能访问耦合不等式约束中的局部函数.针对这一问题,本文提出了一种改进的原始对偶法,称为分布式在线原始对偶推和算法(DOPP),该算法不依赖于任何参数有界性假设,适用于不平衡网络。结果表明,所提出的算法是次线性的动态遗憾和违反耦合不等式约束。最后,通过仿真实例验证了理论分析的正确性.
2020-07-11 math.OC
Exponentially Convergent Algorithm Design for Constrained Distributed Optimization via Non-smooth Approach
我们考虑最小化的非光滑目标函数的集合约束的分布式方式的总和。针对这一问题,我们首次提出了一种具有指数收敛速度的分布式算法。通过精确惩罚法,我们将该问题等价地转化为一个没有共识约束的标准分布式问题。然后利用微分包含设计了一个分布式投影次梯度法。此外,我们证明了算法收敛到最优解的强凸目标函数指数。
2020-01-03 math.OC
Distributed Mirror Descent Algorithm with Bregman Damping for Nonsmooth Constrained Optimization
为了有效地解决分布式优化与各种约束和非光滑函数,我们提出了一个分布式镜像下降算法嵌入Bregman阻尼,作为传统的分布式投影算法的推广。事实上,我们的连续时间算法很好地继承了镜像下降方法的良好性能,可以快速计算具有某些特定约束结构的问题的显式解。此外,我们严格证明了我们的算法的收敛性,以及轨迹的有界性和解决方案的准确性。
2021-08-27 math.OC
A Heuristic Alternating Direction Method of Multipliers Framework for Distributed and Centralized Tree-Constrained Optimization: Applications to Hop-Constrained Spanning Tree Multicommodity Flow Design
New Jersey Institute of Technology (NJIT)(新泽西理工学院)
本文提出了一种启发式交替方向乘子法框架,用于解决具有树约束的非凸优化问题,并应用于具有跳数限制的生成树多商品流设计,通过连续松弛和增强拉格朗日方法实现高效求解。
2026-03-08 math.OC
Distributed Mirror Descent for Online Composite Optimization
在本文中,我们考虑了一个在线分布式复合最优化问题的时变多智能体网络,由多个相互作用的节点,其中每个节点的目标函数由两部分组成:一个损失函数,随着时间的推移而变化和正则化函数。这个问题自然会出现在从无线传感器网络到信号处理的许多实际应用中。提出了一类基于近似镜像下降的在线分布式优化算法,该算法利用Bregman散度作为距离度量函数,并将欧氏距离作为特例.在设计算法时,我们考虑了两种标准的信息反馈模型,即全信息反馈和强盗反馈。对于全信息反馈模型,第一个算法得到了一个平均的正则化遗憾的顺序为$\mathcal{O}(1/\sqrt{T})$与总轮数$T$。第二种算法只需要两个预测点处的损失函数的值的信息而不需要梯度信息,实现了与第一种算法相同的平均正则化遗憾。一个分布式在线正则化线性回归问题的仿真结果表明了所提出算法的性能。
2020-04-02 math.OC
Distributed Online Randomized Gradient-Free optimization with Compressed Communication
本文提出OCGT-BF算法,通过压缩通信与单点反馈估计解决分布式在线优化中的通信效率和有限反馈问题,并给出动态遗憾界及实验验证。
2025-05-04 math.OC
Smooth Dynamics for Distributed Constrained Optimization with Heterogeneous Delays
本文从被动性的角度研究了Agent间通信时延下的分布式约束最优化问题。首先,我们提出了一个求解一般凸目标函数的分布式约束优化问题的连续时间算法。通过相位超前补偿保证了系统在一般凸性下的渐近稳定性。不等式约束的处理采用投影自由广义拉格朗日,其原始对偶梯度动力学保持被动性和光滑性,使应用的LaSalle的不变原理中存在的延迟。然后,我们将散射变换到所提出的算法,以提高对未知和异构通信延迟的鲁棒性。最后,一个匹配问题的数值例子来说明结果。
2020-02-28 math.OC
Randomized Gradient-Free Distributed Online Optimization via a Dynamic Regret Analysis
本文考虑了一个在线分布式最优化问题,其中一组代理的局部目标函数随时间变化。此外,目标函数的值被透露给相应的代理后,决定是执行每个时间步。因此,每个代理只能更新决策变量的基础上透露的价值和信息收集的邻居,没有知识的明确表达的目标函数。为了解决这个问题,提出了一种在线无梯度的分布式投影梯度下降(DPGD)算法,其中每个智能体基于两个点值局部逼近梯度。在通信图和目标函数的一些标准假设下,我们给出了动态后悔的界作为最小路径长度、步长和平滑参数的函数。在适当的步长和平滑参数的选择下,我们证明了动态后悔是次线性的持续时间$T$,如果最小路径长度也增长次线性。最后通过数值模拟说明了该算法的有效性。
2021-08-13 math.OC
Primal-Dual Algorithm for Distributed Constrained Optimization
本文研究了一个分布式约束最优化问题,在网络中连接的多个代理共同最小化受一个全局约束的各个目标函数的总和是分配给代理的局部约束集的交集。基于增广拉格朗日方法,提出了一种包含投影操作的分布式原始对偶法。结果表明,适当地选择恒定的步长,在所有代理的局部估计渐近达成共识的最优解。此外,在时间平均估计的费用函数的值以速率$O(\frac{1}{k})$收敛到无约束问题的最优值。通过这些性质,本文提出的原始对偶法区别于现有的分布式约束优化算法。通过数值模拟验证了理论分析的正确性。
2016-03-06 math.OC
Distributed Online Convex Optimization with an Aggregative Variable
研究了多智能体网络中存在聚集变量且没有全局/中心协调器的分布式在线凸优化问题,其中每个智能体只能获得时变全局损失函数的部分信息,因此需要相邻智能体之间进行局部信息交换.受现实中许多应用的启发,所考虑的局部损失函数不仅依赖于它们自己的决策变量,而且依赖于一个聚集变量,例如所有决策变量的平均值。为了解决这个问题,在线分布式梯度跟踪算法(O-DGT)提出了准确的梯度信息,它表明,动态遗憾的上界由三个项:一个次线性项,路径变化项,和梯度变化项。同时,O-DGT算法也分析了随机/噪声梯度,表明预期的动态遗憾有相同的上界的精确梯度的情况下。据我们所知,本文是第一个研究在线凸优化存在的聚集变量,这与传统的情况下,没有聚集变量相比,具有新的特点。最后,数值实验证实了所得到的理论结果。
2020-07-14 math.OC
Personalized Demand Response via Shape-Constrained Online Learning
本文将需求响应任务形式化为一个最优化问题,其特征在于已知时变工程费用和未知(不适)舒适度函数。基于此模型,本文开发了一种基于反馈的投影梯度法,以在线方式解决需求响应问题,其中:i)来自用户的反馈被用来学习(不适)舒适度函数,同时执行算法;和,ii)电量的测量被用来估计已知工程成本的梯度。为了学习未知函数,利用形状约束高斯过程;这种方法允许获得强凸和光滑的估计函数。在线算法的性能进行了分析,使用的指标,如跟踪误差和动态遗憾。一个数值例子来证实的技术成果。
2020-06-12 math.OC
Distributed Online Randomized Gradient-Free Optimization with Compressed Communication
School of Mathematics, Southeast University(东南大学数学学院)
本文提出了一种分布式在线优化框架,通过压缩通信和梯度-free 技术,在有限反馈下实现高效的优化算法。
2025-12-05 math.OC
Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach
本文研究了具有局部约束的非光滑凸费用函数和的分布式最优化问题。首先,我们提出了一种新的分布式连续时间投影算法,其中每个代理知道其本地费用函数和本地约束集,约束最优化问题。然后证明了算法中的所有智能体在寻找最优解时都能找到相同的最优解,同时保持状态有界。利用非光滑李雅普诺夫函数对微分包含的稳定性进行了全收敛分析。最后,我们提供了一个数值例子来说明。
2016-11-28 math.OC
Alternating Direction Method of Multipliers for nonlinear constrained convex problems and applications to distributed resource allocation and constrained machine learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出了一种非线性交替方向乘子法,用于解决非线性约束凸问题,适用于分布式资源分配和约束机器学习,通过保持经典分解结构并利用凸性,实现了更高的通信效率。
2026-02-26 math.OC
Distributed Online Optimization for Multi-Agent Optimal Transport
针对大规模多智能体系统的最优传输问题,提出结合分布式在线原始-对偶 Kantorovich 势估计与近端下降的递归算法,并给出理论收敛框架和数值验证。
2024-09-09 math.OC
Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization
本文研究多主体最优化问题。在非欧Bregman发散的镜像下降算法中引入一个随机无梯度预言,发展了一种分布式随机无梯度镜像下降算法(DRGIMD).在不利用目标函数的次梯度信息的情况下,推广了经典的梯度下降法。该算法是第一个分布式非欧零阶方法,它实现了$O(1/\sqrt{T})$收敛速度,恢复了分布式紧约束凸优化的最优速度。此外,DRFMD算法实现了强凸约束优化情况下的$O(\ln T/T)$收敛速度。该速率匹配最佳已知的非紧凑约束结果。研究了一种分散倒数加权平均逼近序列,并首次将其应用于分布式算法中。同时给出了加权平均算法(DRGFMD-WA)的一类收敛速度。分散加权平均序列的构造技术为分布式算法中极小值的搜索提供了新的思路。
2019-03-11 math.OC
Asymptotic properties of dual averaging algorithm for constrained distributed stochastic optimization
考虑时变随机网络上的约束随机最优化问题,其中智能体在一个共同的约束集下共同最小化目标函数之和.与现有的分布式对偶平均算法主要研究其非渐近性质不同,本文不仅证明了算法的几乎必然收敛和几乎必然收敛的速度,而且证明了算法的渐近正态性和渐近有效性。首先,对于分布在随机网络上的一般约束凸优化问题,证明了可以实现几乎必然一致性,且各智能体的估计收敛于同一最优点。对于线性约束凸优化问题,我们证明了平均对偶序列的镜像映射以概率1识别最优解的积极约束,这有助于我们证明算法的几乎必然收敛率,进而建立算法的渐近正态性.此外,我们还证明了该算法是渐近最优的。据我们所知,这似乎是约束分布优化算法的第一个渐近正态性结果。最后,通过数值算例验证了理论分析的正确性.
2020-09-06 math.OC
Distributed and Inexact Proximal Gradient Method for Online Convex Optimization
本文提出在线分布式近端梯度方法(DPGM),用于时变复合凸优化问题,并证明在通信噪声或量化等非精确条件下,跟踪误差受收敛线性系统上界约束,保证收敛到最优解邻域。
2021-04-01 math.OC
Distributed Nonsmooth Robust Resource Allocation with Cardinality Constrained Uncertainty
研究了具有基数约束不确定性的分布式非光滑鲁棒资源分配问题。全局目标由局部目标组成,局部目标是凸的但非光滑的。每个智能体被约束在其私有凸集中,并且只具有其对应的局部目标的信息。资源分配条件受基数约束的不确定集约束。利用凸优化的对偶理论,给出了鲁棒资源分配问题的对偶问题。针对这一对偶问题,提出了一种分布式原始-对偶投影算法。在理论上,利用微分包含的稳定性理论,进行了收敛性分析。仿真结果表明,该算法能够引导多智能体系统在满足资源分配条件的情况下达到最优解。最后,一个非平凡的仿真结果表明,所提出的算法的有效性。
2019-04-25 math.OC
Asynchronous Distributed Method of Multipliers for Constrained Nonconvex Optimization
研究了一类局部费用函数和约束条件均为非凸的网络上的约束最优化问题。我们提出了一个异步分布式优化算法,依赖于集中式乘法器,其中每个节点唤醒在一个不协调的方式,并执行下降步骤的本地增广拉格朗日或上升步骤的本地乘子向量。这两个阶段由分布式逻辑AND调节,这使得节点能够理解(整个)增广拉格朗日函数的下降何时足够小。我们表明,这种分布式算法是相当于块坐标下降算法的增广拉格朗日最小化,然后更新整个乘子向量。因此,该算法继承了乘数法的收敛性。
2018-03-17 math.OC
Distributed Constrained Optimization over Networked Systems via A Singular Perturbation Method
研究了具有无向连通通信拓扑的网络系统的约束最优化问题。在这项工作中提出的算法利用奇异扰动,动态平均共识,鞍点动力学方法来解决问题的一般类的目标函数和仿射约束在一个完全分布式的方式。结果表明,在互联网络中的代理的私人信息是保证我们提出的策略。严格的分析提供了理论保证的解决方案的最优性。我们将新提出的解决方案应用到能源网络的两个模拟演示。
2017-10-23 math.OC
Improved Dynamic Regret of Distributed Online Multiple Frank-Wolfe Convex Optimization
针对时变多智能体网络中的高维约束在线凸优化,提出分布式在线多重 Frank-Wolfe 算法,免投影并改进动态遗憾界,揭示计算与通信权衡。
2023-09-24 math.OC
Distributed Approximate Newton Algorithms and Weight Design for Constrained Optimization
针对经济调度和线性约束资源分配问题,提出了一类新的近似牛顿最优化方法的分布式近似牛顿算法。我们首先开发的概念,代理实现二阶算法的通信图的最佳边缘加权,并提出了一个凸近似的非凸权重设计问题。接下来,我们建立在最优权重设计开发一个离散的分布式近似牛顿算法,该算法线性收敛到最优解的经济调度问题的未知费用函数和放松的局部框约束。对于满箱约束问题,我们开发了一个连续的分布式近似牛顿算法,该算法受到一阶鞍点方法的启发,并严格证明了其收敛到原始和对偶优化器。这些分布式算法的一个主要特性是,它们只需要代理交换恒定大小的通信消息,这有助于可扩展的实现。仿真结果表明,与一阶鞍点法和梯度下降法的加权策略相比,采用我们的加权设计的分布式近似牛顿算法具有更好的收敛性能.
2019-11-19 math.OC
Distributed Online Optimization with Coupled Inequality Constraints over Unbalanced Directed Networks
本文提出DUST算法,解决非平衡有向网络上带耦合约束的分布式在线凸优化,实现次线性动态遗憾和约束违规,并在电动汽车充电仿真中验证优越性。
2023-09-04 math.OC
Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题,提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法,并通过数值实验验证了方法有效性。
2024-06-20 math.OC
Fully Distributed Adaptive Nash Equilibrium Seeking Algorithm for Constrained Noncooperative Games with Prescribed Performance
针对约束非合作博弈,提出一种全分布式自适应纳什均衡寻求算法,利用自适应惩罚、时变增益和余弦时间转换实现规定时间稳定,并通过电力市场仿真验证。
2024-11-06 math.OC
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley(加州大学伯克利分校)
本文将在线分布式加权对偶平均(DWDA)算法[1]的遗憾分析扩展到动态设置,并为分布式在线凸优化(OCO)算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异,并不显着依赖于时间范围。我们使用动态在线DWDA(D-ODWDA),制定了一个性能保证的分布式在线需求响应方法的供热,通风和空调(HVAC)系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能,并获得需求响应的决定,密切再现集中的最优。
2020-04-17 cs.LG math.OC
Distributed online optimization for heterogeneous linear multi-agent systems with coupled constraints
本文研究异构线性多智能体系统在时变耦合约束下的分布式在线凸优化问题,基于鞍点技术设计了连续时间分布式控制器,实现了常数遗憾界和次线性拟合界,并扩展至事件触发通信机制及验证了其通信噪声容忍能力。
2023-07-02 math.OC
Online distributed algorithms for seeking generalized Nash equilibria in dynamic environments
本文研究动态环境下非合作对策的分布式广义Nash均衡求解问题。博弈中的每一个参与者的目标是最小化其自身的时变费用函数,该费用函数服从于局部动作集。所有局中人的行动集通过一个共享的凸不等式约束耦合。每个参与者只能访问自己的成本函数、自己的集合约束和不等式约束的局部块,并且只能通过连通图与邻居进行通信。此外,参与者并不事先知道他们未来的费用函数。针对这一问题,提出了一种基于一致性算法和原对偶策略的在线分布式算法。该算法的性能是通过使用动态遗憾。在对图和代价函数的适当假设下,证明了如果变分广义Nash均衡序列的偏差在一定的速率内增长,则后悔和对不等式约束的违背都是次线性增长的.仿真结果表明了理论结果的有效性。
2020-04-01 math.OC
Augmented Lagrangian Methods for Time-varying Constrained Online Convex Optimization
本文研究了具有时变损失和约束函数的在线凸优化问题。具体地说,决策者只根据过去的信息来选择顺序决策,同时损失和约束函数随着时间的推移而显现。首先,我们开发了一类基于模型的增广拉格朗日方法(MALM)的时变功能约束OCO(无反馈延迟)。在标准假设下,我们建立了次线性后悔和次线性约束违反MALM。此外,我们扩展MALM处理时变功能约束的OCO与延迟反馈,其中的反馈信息的损失和约束功能透露给决策者的延迟。在没有额外假设的情况下,我们还建立了延迟版本的MALM的次线性后悔和次线性约束违反。最后,给出了在线网络资源分配、在线逻辑斯谛回归和在线二次约束二次规划等约束OCO问题的数值结果,验证了算法的有效性.
2022-05-19 math.OC stat.ML
Robust Distributed Online Prediction
Microsoft Research(微软研究院)
在线预测的标准模型是通过单个处理器对输入进行串行处理。然而,在大规模在线预测问题中,输入以高速率到达,越来越常见的必要性是将计算分布在多个处理器上。一个不平凡的挑战是设计分布式算法在线预测,保持良好的遗憾保证。在\cite{DMB}中,我们提出了DMB算法,这是一个通用的框架,可以将任何串行的基于梯度的在线预测算法转换为分布式算法。而且,对于光滑凸损失函数和随机输入,它的后悔保证是渐近最优的。另一方面,它对分布式环境中常见的许多类型的故障都很脆弱。在这篇配套论文中,我们提出了DMB算法的变体,它对许多类型的网络故障有弹性,并能容忍计算节点的不同性能。
2010-12-07 cs.LG math.OC
A Survey on Distributed Online Optimization and Game
Tongji University(同济大学);Shanghai Research Institute for Intelligent Autonomous Systems(上海智能自主系统研究院);Nanyang Technological University(南洋理工大学);Harvard University(哈佛大学)
分布式在线优化和博弈在过去十年中得到了越来越多的研究,主要是由于其在传感器网络,机器人(例如,分布式目标跟踪和编队控制)、智能电网、深度学习等等。在这些问题中,有一个可以合作的代理网络(即,分布式在线优化)或非协作(即,网络游戏,通过信息交流。在动态甚至对抗环境中,每个代理的局部成本函数往往是时变的。每一次,决策必须由每个代理人根据手头的历史信息做出,而不知道成本函数的未来信息。对于这些问题,目前还缺乏一个全面的调查。本文旨在从问题设置、通信、计算、算法和性能的角度对分布式在线优化和博弈进行全面的概述。此外,还讨论了一些潜在的未来发展方向。
2023-01-21 cs.LG math.OC
Improving Dynamic Regret in Distributed Online Mirror Descent Using Primal and Dual Information
我们考虑分布式在线优化的问题,一组学习者通过动态通信图连接。学习器的目标是以分布式的方式跟踪时变损失函数之和的全局最小值。我们提出了一种新的算法,称为分布式在线镜像下降与多个平均决策和梯度共识(DOMD-MADGC),这是基于镜像下降,但结合了多个共识平均迭代局部梯度以及局部决策。其关键思想是允许局部学习器收集足够量的全局信息,这使它们能够更准确地近似时变全局损失,从而使它们能够随着时间的推移密切跟踪动态全局最小值。我们证明了DOMD-MADGC的动态后悔是由路径长度上界的,路径长度定义为连续最小值之间的累积距离。由此产生的界限改善现有的分布式在线算法的界限,并消除了显式依赖$T$。
2021-12-07 cs.DC math.OC
Centralized and distributed online learning for sparse time-varying optimization
在过去的几年里,在线算法的发展,以跟踪时变系统引起了很多关注,特别是在在线凸优化的框架。同时,稀疏时变优化已经成为一个强大的工具,以处理广泛的应用,从动态压缩传感到简约系统辨识。在大多数关于稀疏时变问题的文献中,假设系统演化的一些先验信息是可用的。相比之下,在本文中,我们提出了一种在线学习方法,它不使用给定的模型,适用于对抗框架。具体来说,我们开发集中式和分布式算法,我们从理论上分析他们的动态遗憾,在网上学习的角度来看。此外,我们提出了数值实验,说明其实际有效性。
2020-01-31 cs.LG math.OC
Distributed online constrained convex optimization with event-triggered communication
本文针对时变不等式约束下的分布式在线凸优化问题,提出一种基于事件触发通信的分布式原始-对偶算法,并建立了动态网络遗憾和累积约束违反界。
2024-05-03 cs.MA math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University(杜克大学)
在本文中,我们考虑的问题,分布式在线凸优化,在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中,我们表明,我们可以消除这种依赖性,假设当地的目标函数是强凸的。更准确地说,我们提出了一个梯度跟踪算法,代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Optimal Distributed Online Prediction using Mini-Batches
Microsoft Research(微软研究院)
在线预测方法通常呈现为在单个处理器上运行的串行算法。然而,在网络规模的预测问题的时代,它是越来越常见的情况下,遇到一个单一的处理器无法跟上输入到达的高速率。在这项工作中,我们提出了\emph{distributed mini-batch}算法,一种将许多串行基于梯度的在线预测算法转换为分布式算法的方法。我们证明了这种方法是渐近最优光滑凸损失函数和随机输入的遗憾界。此外,我们的分析明确考虑到在分布式环境中的节点之间的通信延迟。我们展示了如何使用我们的方法来解决密切相关的分布式随机优化问题,实现了多个处理器的渐近线性加速。最后,我们展示了我们的方法的优点在网络规模的在线预测问题。
2012-01-31 cs.DC cs.LG math.OC
Online Distributed Optimization in Radial Power Distribution Systems: Closed-Form Expressions
集中式最优化方法在管理配电系统操作中的局限性激发了分布式控制和优化算法。然而,现有的分布式优化算法是低效的管理快速变化的现象,导致高度可变的分布式能源(DER)。相关的在线分布式控制方法在其应用中同样受到限制。它们需要数千个时间步来跟踪网络级最优解,导致性能缓慢。我们以前开发了一个在线分布式控制器,利用系统的径向拓扑结构,实现网络级的最优解在几个时间步长。然而,它需要解决一个节点级的非线性规划问题在每个时间步。本文分析了节点级最优化问题的解空间,推导出了决策变量的解析封闭解。通过对节点级最优化问题的理论分析和得到的封闭形式的最优解,消除了在每个分布式代理处嵌入优化求解器的需要,显著降低了计算时间和优化成本。
2021-09-02 cs.SY eess.SY math.OC
One-Point Residual Feedback Algorithms for Distributed Online Convex and Non-convex Optimization
针对局部目标为凸或非凸的分布式在线优化问题,提出基于单点残差反馈梯度估计的分布式算法,推导其次线性遗憾界,并通过数值算例验证算法有效性。
2025-03-21 cs.SY eess.SY math.OC
On Distributed Online Classification in the Midst of Concept Drifts
University of California(加州大学)
在这项工作中,我们分析了分布式在线学习算法在平稳和非平稳环境下的泛化能力。我们推导出界限的过度风险达到每个节点在一个连接的网络的学习者和研究的性能优势,扩散策略有超过个人的非合作处理。我们进行了大量的模拟来说明结果。
2013-01-01 cs.DC cs.LG cs.SI
Competitive Algorithms for Online Budget-Constrained Continuous DR-Submodular Problems
University of Washington(华盛顿大学);Tetration Analytics, Cisco Systems, Inc.(思科系统公司Tetration Analytics部门)
在本文中,我们研究了一类在线最优化问题,其中的目标是最大化一个函数,不一定是凹的,并满足递减收益(DR)的预算约束下的性质。我们分析了一个原始对偶法,称为广义序列算法,我们得到的竞争比的第一界的在线单调DR-次模函数最大化的线性包装约束下匹配的特殊情况下的线性目标函数紧界。
2019-06-30 cs.LG math.OC stat.ML
Continuous-Time Distributed Seeking for Variational Generalized Nash Equilibrium of Online Game
Harbin Institute of Technology(哈尔滨工业大学);City University of Hong Kong(香港城市大学);Southeast University(东南大学)
本文提出两种连续时间分布式变分广义纳什均衡寻求算法,实现常数遗憾界和次线性拟合界,优于在线优化问题和在线游戏的现有标准。同时引入动态事件触发机制以减少通信,保持性能并禁止Zeno行为,且证明通信噪声不影响结果有效性。
2026-04-10 cs.SY eess.SY math.OC
A Distributed Online Algorithm for Promoting Energy Sharing Between EV Charging Stations
近年来,由于可再生能源的波动和充电需求的不可预测性,电动汽车充电站经历了越来越多的供需不匹配。为了降低其运营成本,本文提出了一种分布式在线算法,以促进充电站之间的能量共享。我们从离线和集中式的电动汽车充电站运营问题开始,其目标是最小化长期时间平均总成本。然后,我们开发了一个在线实现方法的基础上的李雅普诺夫优化框架。虽然所提出的在线算法运行在一个预测的方式,我们证明,通过适当选择的参数,时间耦合约束仍然得到满足。我们还提供了离线和在线最优之间的最优性差距的理论界。在此基础上,提出了一种改进的乘子交替方向法(ADMM)迭代截断算法,以实现分布式计算。该算法在保护隐私的同时,适合在线实现。实例分析验证了理论结果的有效性。综合性能进行比较,以证明所提出的方法的优点。
2022-04-17 cs.SY eess.SY math.OC
Online Distributed ADMM on Networks
研究了在线分布式乘子交替方向法。目标是在线性约束下,在决策者网络上分布式优化全局目标函数。全局目标函数由与每个代理相关联的凸费用函数组成。另一方面,当地的费用函数,假设已被分解成两个不同的凸函数,其中之一是揭示了决策者随着时间的推移和一个已知的先验。此外,代理必须通过线性约束在与私有局部变量相关的全局变量上达成共识。在这项工作中,我们将在线ADMM扩展到基于双平均和分布式梯度下降的分布式设置。然后,我们提出了一个性能指标,这样的在线分布式算法和探索的算法所产生的决策序列的性能相比,最好的固定的决定在事后。这种表现指标被称为社交遗憾。一个次线性上界的社会遗憾的算法,然后得到强调的作用,底层网络拓扑结构和某些条件的措施与线性约束。在线分布式ADMM算法,然后施加到一个编队捕获问题,证明了分布式机器人的应用程序,建议的设置。
2015-10-02 cs.DC cs.DS cs.MA
Distributed Online Economic Dispatch with Time-Varying Coupled Inequality Constraints
East China Normal University(华东师范大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Institute of Systems Science, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院系统科学研究所);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
本文提出了一种基于对偶方法和约束跟踪的算法,用于解决具有时间变化耦合不等式约束的分布式在线经济调度问题,证明了算法在动态遗憾和约束违反方面的亚线性收敛性。
2025-12-24 math.OC stat.ME
Adaptive Online Distributed Optimal Control of Very-Large-Scale Robotic Systems
本文提出了一种自适应在线分布式最优控制方法,适用于非常大规模的机器人系统在高度不确定的环境中的最优规划。这种方法是基于最优质量传输理论。它也被看作是一个在线的强化学习和近似动态规划方法在Wasserstein-GMM空间,其中一个新的值泛函定义的基础上的概率密度函数的机器人和随时间变化的障碍地图函数描述不断变化的环境信息。所提出的方法被证明是非常大规模的机器人系统的路径规划问题,其中的近似布局的障碍物在工作空间中的机器人的意见是逐步更新,并与一些现有的国家的最先进的方法进行比较。数值仿真结果表明,该方法在平均行驶距离和能量消耗方面优于其他方法。
2020-03-15 cs.MA math.OC