Enforcing Convergence in Sensitivity-based Distributed Programming via Transformed Primal-Dual Updates
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）
本文提出SBDP+方法，通过结构化的对偶运算设计，解决传统SBDP在子系统耦合强度和结构下收敛性不足的问题，证明了非凸问题在标准正则条件下局部线性收敛，并通过数值实验验证了其在统计学习中的有效性。
2026-05-19 math.OC
Accelerated Distributed Primal-Dual Dynamics using Adaptive Synchronization
本文提出了一种自适应的原始-对偶动力学多智能体系统的分布式优化。所提出的动态结合了自适应同步法，加强了耦合代理的原始变量之间的互连强度，给定的法律加速所提出的动态鞍点解的收敛。由此产生的动态表示为一个反馈互联网络系统，证明是被动的。利用所提出的动态的无源性特性与混合动力系统的LaSalle不变原理，建立鞍点解的渐近收敛和稳定性。进一步分析了原动力学的收敛速率，建立了原动力学的较强收敛界，证明了原动力学在自适应同步下实现了加速收敛。使用L2增益分析和收敛速率和鲁棒性之间的相关性的建议动态的鲁棒性进行量化。通过将其应用于分布式最小二乘和分布式支持向量机问题，证明了所提出的动态的有效性。
2019-05-02 math.OC
Primal-Dual Algorithm for Distributed Reinforcement Learning: Distributed GTD
本文的目标是研究一个分布式版本的梯度时间差（GTD）学习算法的多智能体马尔可夫决策过程（MDP）。时间差分（TD）学习是一种强化学习（RL）算法，其在没有模型知识的情况下针对给定的固定策略学习无限时域折扣费用函数（或值函数）。在分布式RL的情况下，每个代理都通过本地处理接收本地奖励。稀疏通信网络上的信息交换允许代理学习与全局奖励相对应的全局值函数，该全局奖励是局部奖励的总和。本文将该问题转化为一个带有一致约束的约束凸优化问题。然后，我们提出了一个原始-对偶分布式GTD算法，并证明了它几乎必然收敛于最优化问题的一个稳定点集。
2018-08-22 math.OC
A Chebyshev-Accelerated Primal-Dual Method for Distributed Optimization
我们考虑一个分布式最优化问题在网络的代理，旨在最小化一个全球目标函数，这是当地的凸和复合费用函数的总和。为此，我们提出了一个分布式Chebyshev加速原始对偶法，以实现更快的遍历收敛速度。在标准分布式原始对偶法中，向全局最优值（即，相应拉格朗日函数中的鞍点）直接受到表示通信图的拉普拉斯矩阵的特征值的影响。在本文中，我们使用Chebyshev矩阵多项式来生成八卦矩阵，其频谱特性导致更快的收敛速度，同时允许完全分布式的实现。因此，所提出的算法需要更少的梯度更新的成本代理之间的额外的几轮通信。我们说明了所提出的算法在分布式信号恢复问题的性能。我们的模拟表明，如何使用Chebyshev矩阵多项式可以用来提高收敛速度的原始对偶法在通信网络，特别是在网络的频谱特性差，通过贸易的本地计算的通信轮。
2018-10-15 math.OC
Primal-Dual Algorithm for Distributed Constrained Optimization
本文研究了一个分布式约束最优化问题，在网络中连接的多个代理共同最小化受一个全局约束的各个目标函数的总和是分配给代理的局部约束集的交集。基于增广拉格朗日方法，提出了一种包含投影操作的分布式原始对偶法。结果表明，适当地选择恒定的步长，在所有代理的局部估计渐近达成共识的最优解。此外，在时间平均估计的费用函数的值以速率$O(\frac{1}{k})$收敛到无约束问题的最优值。通过这些性质，本文提出的原始对偶法区别于现有的分布式约束优化算法。通过数值模拟验证了理论分析的正确性。
2016-03-06 math.OC
A Fully Parallel Primal-Dual Algorithm for Centralized and Distributed Optimization
本文研究了一类集中式两块可分优化问题，基于单调算子分裂方法，给出了一种固定步长的完全并行原始-对偶离散算法。在该算法中，原始变量以交替的方式更新，类似于乘法器的交替方向法（ADMM）。然而，与诸如乘法器（MM）、ADMM、乘法器的双交替方向法（BiADMM）和原始-对偶不动点（PDFP）算法之类的现有离散时间算法（它们都遭受顺序更新）不同，所有原始和对偶变量在每次更新变量时并行更新，不需要其他变量的更新版本。该算法的一个优点是，它的直接推广到多块优化仍然是收敛的。然后将该方法应用于分布式优化问题，得到了一个完全并行的原-对偶分布式算法。最后，由于ADMM的直接扩展可能会发散多块优化，一个三块优化的数值例子给出了所提出的算法的直接扩展收敛到一个解决方案。
2020-09-29 math.OC
A General Framework of Exact Primal-Dual First Order Algorithms for Distributed Optimization
研究了处理器/代理网络上局部目标凸函数和的最小化问题。这个问题自然需要分布式优化算法，其中代理通过本地计算和与邻居的通信合作解决问题。现有的分布式算法大多只能收敛到最优解的一个邻域内，而最近的一些基于增广拉格朗日和乘子法的算法可以在固定步长下实现精确收敛。然而，这些方法要么收敛速度慢，要么需要在每次迭代最小化。在这项工作中，我们开发了一类分布式的一阶原始-对偶方法，它允许多个原始步骤，每次迭代。这个通用框架使得控制原始对偶法的性能和执行复杂度之间的权衡成为可能。我们表明，强凸和Lipschitz梯度目标函数，这类算法线性收敛到最优解适当的常数步长的选择。仿真结果证实了我们的算法相比，现有的方法的优越性能。
2019-03-29 math.OC
Distributed Model Predictive Control Under Inexact Primal-Dual Gradient Optimization Based on Contraction Analysis
针对一类具有全局耦合约束的离散线性系，提出了一种分布式模型预测控制（DMPC）策略。所研究的DMPC是基于对偶问题的所有子系统，这是解决的原始-对偶梯度优化的分布式方式使用拉普拉斯共识。为了减少计算负担，约束收紧方法被用来提供过早终止的能力，保证DMPC优化的收敛性。首先利用收缩理论分析了离散时间更新动态下的原始-对偶梯度优化算法对非线性目标函数的收敛性。在合理的假设下，可以在不精确解下建立闭环系统的递归可行性和稳定性。通过数值模拟验证了该策略的有效性。
2019-07-23 math.OC
On Primal-Dual Approach for Distributed Stochastic Convex Optimization over Networks
针对网络上的分布式凸优化问题，提出了一种原始-对偶随机梯度预言算法。我们表明，所提出的方法是最佳的通信步骤。此外，我们提出了一种新的分析方法的收敛速率的对偶差距和大偏差的概率。这种分析是基于一种新的技术，允许约束迭代序列和最佳点之间的距离。通过正确选择批量大小，我们可以保证这个距离等于（直到一个常数）起点和解决方案之间的距离。
2019-11-26 math.OC
Distributed Primal-dual Interior-point Methods for Solving Loosely Coupled Problems Using Message Passing
在本文中，我们提出了一个分布式算法求解弦稀疏的松耦合问题，它依赖于原始-对偶内点方法。我们通过使用消息传递在每次迭代中分配计算来实现这一点。与现有的分布式算法相比，该算法需要更少的迭代次数来收敛到具有高精度的解。此外，它是可能的，以计算所需的迭代次数的上限，不像现有的方法，只取决于耦合结构的问题。我们使用一组数值例子来说明我们提出的方法的性能。
2015-06-29 math.OC
A distributed primal-dual interior-point method for loosely coupled problems using ADMM
本文提出了一种求解松耦合凸优化问题的高效分布式算法。该算法是基于原始-对偶内点方法，在该方法中，我们使用乘子的交替方向法（ADMM）计算原始-对偶方向在该方法的每次迭代。这使我们能够加入卓越的原始-对偶内点方法与ADMM的并行性的收敛性能。相对于直接应用于我们问题的ADMM，所得算法具有更优越的计算性能。每个计算代理需要进行的计算量少得多，特别是所有变量的更新都可以用封闭形式表示，而与最优化问题的类型无关。该算法的最昂贵的计算负担发生在原始变量的更新，并可以预先计算在内点方法的每次迭代。我们验证和比较我们的方法ADMM在数值实验。
2015-02-09 math.OC
Primal Recovery from Consensus-Based Dual Decomposition for Distributed Convex Optimization
对偶分解已成功地应用于各种分布式凸优化问题，这些问题由计算和通信节点组成的网络来解决。通常，当费用函数是可分离的，但约束是耦合的，对偶分解方案涉及本地并行次梯度计算和全局次梯度更新执行的主节点。在本文中，我们提出了一个基于共识的对偶分解，以消除需要这样的主节点，仍然使计算节点生成一个近似的对偶解的基础凸优化问题。此外，我们提供了一个原始的恢复机制，让节点有机会接近接近最优的原始解决方案。我们的计划是基于一个恒定的步长选择和对偶和原始目标的收敛实现了一个有界的错误地板依赖于步长和节点之间的共识步骤的数量。
2015-03-26 math.OC
Distributed Primal Outer Approximation Algorithm for Sparse Convex Programming with Separable Structures
提出了一种分布式原始外近似算法（DiPOA），用于求解具有可分离结构的稀疏凸规划（SCP）问题。DiPOA算法的开发包括将最近提出的松弛混合乘子交替方向法（RH-ADMM）算法嵌入到外近似（OA）算法中。我们还提出了两个主要的改进，以控制质量和切割平面的数量，近似非线性函数。特别地，RH-ADMM算法充当DiPOA算法内部的分布式数值引擎。DiPOA利用现代处理器的多核架构来加速优化算法。提出的分布式算法从应用方面使SCP在学习和控制问题中的解决方案具有实用性。本文最后对分布式稀疏逻辑斯谛回归和二次约束最优化问题的DiPOA算法进行了性能分析。最后，本文的结论与国家的最先进的优化求解器的数值比较。
2022-10-13 math.OC
FlexPD: A Flexible Framework Of First-Order Primal-Dual Algorithms for Distributed Optimization
在本文中，我们研究的问题，最小化的凸目标函数，这是局部可用的代理网络中的总和。分布式优化算法使得多个智能体通过本地计算和与邻居的通信来协同解决问题成为可能。近年来，基于拉格朗日的分布式优化算法因其精确的收敛性而受到广泛关注。然而，这些算法中的许多具有缓慢的收敛性或执行起来昂贵。在本文中，我们开发了一个灵活的框架，一阶原始对偶法（FlexPD），它允许多个原始步骤，每次迭代。该框架包括三种算法，FlexPD-F，FlexPD-G和FlexPD-C，可用于具有不同计算和通信限制的各种应用。对于强凸和Lipschitz梯度目标函数，我们建立线性收敛我们提出的框架的最优解。仿真结果证实了我们的框架相比，现有的方法的优越性能。
2020-03-30 math.OC
Linear Convergence of First- and Zeroth-Order Primal-Dual Algorithms for Distributed Nonconvex Optimization
本文研究了利用局部信息交换极小化由局部费用函数之和构成的全局费用函数的分布式非凸最优化问题。我们首先考虑一个分布式的一阶原始对偶法。我们证明了，如果每个局部代价函数是光滑的，并且在全局费用函数满足Polyak-Striojasiewicz条件的条件下线性收敛到全局最优值，则它次线性收敛到一个稳定点.这个条件比强凸性弱，强凸性是证明分布式优化算法线性收敛的标准条件，全局最小值不一定唯一。出于梯度不可用的情况下，我们提出了一个分布式零阶算法，来自考虑的一阶算法通过使用确定性梯度估计，并表明它具有相同的收敛性能，考虑的一阶算法在相同的条件下。通过数值模拟说明了理论结果。
2021-08-25 math.OC
Primal-Dual Distributed Temporal Difference Learning
针对一类多智能体马尔可夫决策过程（MDP），研究了梯度时间差（GTD）学习算法的分布式版本。时间差分学习是一种强化学习算法，它在不需要模型知识的情况下，针对给定的固定策略学习一个无限时域的折扣费用函数（或价值函数）。在多代理MDP中，每个代理通过本地处理接收本地奖励。智能体通过稀疏和随机网络进行通信，以学习与局部奖励聚合相对应的全局值函数。本文将全局值函数的估计问题转化为一个约束凸优化问题。然后，我们提出了一个随机原始-对偶分布式算法来解决它，并证明了该算法收敛于一组解的最优化问题。
2020-04-28 math.OC
A New Randomized Block-Coordinate Primal-Dual Proximal Algorithm for Distributed Optimization
本文提出了一种新的原始对偶法TriPD，用于极小化一个Lipschitz可微凸函数和两个可能非光滑的凸函数之和，其中一个凸函数由一个线性映射组成.我们设计了一个随机块坐标版本的算法收敛在相同的步长条件下的完整算法。它表明，无论是原来的，以及块坐标计划功能线性收敛速率时，所涉及的功能是分段线性二次，或当他们满足一定的二次增长条件（这是弱于强凸性）。此外，我们将开发的算法应用到图上的多智能体优化问题，从而获得新的同步和异步分布式方法。所提出的算法是完全分布式的意义上说，每个代理的更新和步长只依赖于本地信息。事实上，不需要事先进行全球协调。最后，我们展示了我们的算法在分布式编队控制中的应用。
2019-09-30 math.OC
Multiple Approximate-Response Agents (MARA): Fast Near-Optimal Primal Recovery for Distributed Optimization
Flatiron Institute（Flatiron研究所）；Amazon（亚马逊）；Stanford University（斯坦福大学）
本文提出MARA方法，通过并行生成多个近优 primal 响应，快速减少对偶不可行性，提升分布式优化的收敛速度与解的质量。
2026-05-08 math.OC
Primal-dual algorithm for distributed optimization: A dissipativity-based perspective
University of Notre Dame（圣母大学）
本文提出了一种基于耗散性的连续时间对偶算法，用于在非平衡有向图上解决非凸分布式优化问题，并通过选择增益或设计网络拓扑实现指数收敛。
2026-02-06 math.OC
DISH: A Distributed Hybrid Primal-Dual Optimization Framework to Utilize System Heterogeneity
针对多智能体网络中分布式共识优化未能利用计算异构性的问题，提出DISH混合原始-对偶框架，允许异构本地更新，并在一般网络拓扑下保证线性收敛。
2022-06-08 math.OC
Asymptotic Properties of Primal-Dual Algorithm for Distributed Stochastic Optimization Over Random Networks
本文研究了一个分布的随机最优化问题在随机网络上的不完全通信受一个全局约束，这是分配给代理的局部约束集的交集。全局成本函数是局部费用函数的和，每个局部成本函数是随机费用函数的期望。将增广拉格朗日方法与投影方法相结合，提出了一种基于随机逼近的分布式原始对偶法。每个智能体通过使用本地观测值和来自邻居的信息来更新其估计。对于约束问题，首先证明估计几乎必然有界（a.s.），然后证明了算法收敛于最优解集a.s.在无约束条件下，证明了算法的渐近正态性和有效性.仿真结果表明了随机网络、通信噪声和梯度误差对算法性能的影响。最后，通过数值模拟验证了理论分析的正确性。
2016-07-22 math.OC
Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization
针对一类带仿射等式约束的凸优化问题，提出了一种带阻尼系数的连续时间原-对偶加速算法。本文分析了该方法中参数的临界值，并证明了通过选择合适的参数，以对偶间隙函数表示的收敛速率为$O(\tfrac{1}{t^2})$。据我们所知，这是第一个连续时间的原始-对偶加速方法，可以获得最优的速度。然后将该方法应用于两个网络最优化问题，一个带一致性约束的分布式最优化问题和一个分布式扩展单变量最优化问题，得到了两种不同的分布式算法。最后，通过数值模拟验证了该方法的有效性.
2022-02-15 math.OC
A Primal-Dual SGD Algorithm for Distributed Nonconvex Optimization
考虑了利用局部信息交换极小化由多个$n$局部费用函数之和构成的全局费用函数的分布式非凸最优化问题。这个问题是许多具有数据并行性的机器学习技术的重要组成部分，例如深度学习和联邦学习。本文提出了一种分布式的原始-对偶随机梯度下降（SGD）算法，适用于任意连接的通信网络和任何光滑（可能非凸）的费用函数。证明了该算法对一般非凸费用函数具有线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$，对全局代价函数满足Polyak--P-Jasiewicz（P-Jasiewicz）条件具有线性加速收敛速度$\mathcal{O}(1/(nT))$，其中$T$为迭代总次数.我们还表明，具有常数参数的该算法的输出线性收敛到全局最优值的附近。我们通过数值实验证明了我们的算法的效率与基线集中式SGD和最近提出的分布式SGD算法相比。
2022-01-07 math.OC
A primal-dual method for conic constrained distributed optimization problems
我们认为合作的多智能体共识最优化问题在一个无向网络的代理，只有那些代理连接的边缘可以直接沟通。目标是最小化代理特定的复合凸函数的总和在代理特定的私人圆锥约束集，因此，最佳的共识决策应该在于这些私人集的交集。我们提供的收敛速度都在次优，不可行性和共识违反;检查底层网络拓扑结构的影响，建议分散算法的收敛速度;并展示如何扩展这些方法来处理时变通信网络和解决问题的资源共享的限制。
2016-07-08 math.OC
New Primal-Dual Proximal Algorithm for Distributed Optimization
我们考虑一个网络的代理人，每个都有自己的私人成本组成的两个可能的非光滑的凸函数，其中之一是由一个线性算子的总和。在每次迭代中，每个代理执行本地计算，并且只能与其邻居通信。目标是最小化私有费用函数的总和，并在图上达成共识。我们提出了一个原始对偶法的基础上\emph{Asymmetric Forward-Backward-Adjoint}（AFBA），一个新的运营商分裂技术最近推出的两位作者。我们的算法包括Chambolle和Pock的方法作为一个特殊情况，并具有线性收敛速率时，费用函数分段线性二次。我们表明，我们的分布式算法很容易实现，而不需要执行矩阵求逆或内部循环。我们通过计算实验证明如何选择我们的算法的参数可以导致更大的步长，并产生更好的性能。
2017-03-12 math.OC
Evaluation of Communication Issues in Primal-Dual-Based Distributed Energy Resource Management Systems (DERMS)
本研究针对基于原始-对偶的分布式能源资源管理系统（DERMS），评估其通信系统中丢包、链路故障、延迟等常见问题的严重程度上限，通过含2000节点的实际馈线及控制多台光伏与储能设备的DERMS仿真，发现信息流越靠近末端DER，系统通信抗扰性越弱，可为通信基建投资规格提供参考。
2023-05-05 math.OC
An exponentially stable discrete-time primal-dual algorithm for distributed constrained optimization
本文通过融合Arrow-Hurwicz-Uzawa原始-对偶梯度法与Wang-Elia方法，提出一种分布式约束优化算法，并利用时间尺度分离、Lyapunov理论和小增益原理证明其半全局指数稳定性与线性收敛性。
2025-03-09 math.OC
A Smooth Double Proximal Primal-Dual Algorithm for a Class of Distributed Nonsmooth Optimization Problem
本文研究了一类分布式非光滑凸一致最优化问题。成本函数是局部费用函数的和，这些成本函数是凸的但非光滑的。每个局部费用函数由一个二次可微凸函数和两个下半连续凸函数组成。我们称这个问题为单光滑加双非光滑（SSDN）问题。在较弱的条件下，提出了一种分布式双邻近原-对偶优化算法。双邻近算子的设计是为了解决这两个非光滑函数之和的不可逼近性所带来的困难。此外，它还可以保证所提出的算法是局部Lipschitz连续的。在双邻近算子中引入一个辅助变量来估计第二类非光滑函数的次梯度。理论上，我们利用李雅普诺夫稳定性理论进行收敛性分析。结果表明，该算法能使状态在最优点达到一致.最后给出了非平凡的仿真结果，验证了该算法的有效性。
2018-08-16 math.OC
Push-Pull Based Distributed Primal-Dual Algorithm for Coupled Constrained Convex Optimization in Multi-Agent Networks
本文研究多智能体网络中的分布式耦合约束凸优化问题，基于推拉方法提出一种保护隐私的分布式原始-对偶算法，并证明其在Slater条件下收敛于Lagrange函数鞍点。
2023-10-24 math.OC
Distributed Asynchronous Primal-Dual Optimization for Supply-Chain Networks
针对不可靠通信和无界延迟下的分布式供应链流分配问题，提出全异步原始-对偶算法 DAPD-SCO，证明其 $O(K^{-1/2})$ 鞍点收敛速率，并在仿真中展现更低开销与更强鲁棒性。
2025-05-29 math.OC
How a Small Amount of Data Sharing Benefits Distributed Optimization and Learning : The Upside of Data Heterogeneity
本文分析少量数据共享对分布式原始及原始-对偶优化的影响，证明数据异质性可加速后者，并提出仅共享1%数据即可显著提升收敛的元算法。
2025-05-16 math.OC
Distributed Regularized Primal-Dual Method: Convergence Analysis and Trade-offs
研究了可分目标函数全局不等式约束分布式优化问题的确定性和随机原始-对偶次梯度算法。在这两种算法中，拉格朗日乘子的范数通过用二次正则化项增广相应的拉格朗日函数来控制。具体来说，我们表明，当每个算法的步长满足一定的限制，拉格朗日乘子的范数是上界的表达式，是成反比的正则化参数。我们使用这个结果来计算拉格朗日函数的次梯度的上界。对于确定性算法，我们证明了达到最优目标值的收敛速度。在随机最优化的情况下，我们同样证明了收敛速度的期望和高概率，使用有界鞅差的方法。对于这两种算法，我们证明了一个权衡之间的收敛速度和约束违反的衰减速率，在这个意义上说，提高收敛速度减缓约束违反的衰减速率，反之亦然。我们证明了我们提出的算法的收敛性数值分布回归铰链和逻辑损失函数在不同的图形结构。
2017-06-19 math.OC
Rate analysis of inexact dual first order methods: Application to distributed MPC for network systems
在本文中，我们提出并分析了两个对偶方法的基础上不精确的梯度信息和平均，产生近似原始解光滑凸优化问题。使用拉格朗日乘数将复杂的约束移动到成本中。对偶问题的解决是基于近似梯度的不精确一阶方法，我们证明了这些方法的次线性收敛速率。特别是，我们提供了，第一次，估计原始可行性违反和原始和对偶次优生成的近似原始和对偶解。此外，我们用一个并行坐标下降算法近似地解决了内部问题，并证明了它具有线性收敛速率。在我们的分析中，我们依赖于Lipschitz性质的对偶函数和不精确的对偶梯度。此外，我们将这些方法应用于网络系统的分布式模型预测控制。通过收紧复杂的约束条件，我们也能够确保所提出的算法产生的近似解的原始可行性。我们得到了一个分布式控制策略，具有以下特点：状态和输入约束得到满足，工厂的稳定性得到保证，而次优解的迭代次数可以精确地确定。
2013-02-13 math.OC
Projected Primal-Dual Gradient Flow of Augmented Lagrangian with Application to Distributed Maximization of the Algebraic Connectivity of a Network
本文提出了一种求解不一定是严格凸的凸优化问题的增广拉格朗日投影原始-对偶梯度流。优化变量由一个在其切锥上具有可计算投影运算的凸集以及等式约束约束。作为\cite{niederlander2016distributed}中分析的补充，我们证明了投影的动力系统收敛于鞍点之一，从而找到了一个最优解。此外，考虑了通过优化每个节点（基站）的端口增益来分布式地最大化无向网络的代数连通度的问题。将原来的半定规划（SDP）问题松弛为一个非线性规划（NP）问题，并通过上述投影动力系统求解。数值例子表明，上述算法收敛到最优解之一。松弛的效果说明经验与数值例子。提出了一种方法，使达到平衡所需的迭代次数被抑制。用数值例子说明了算法的每次迭代的复杂性。
2018-10-30 math.OC
Distributed Optimization Using the Primal-Dual Method of Multipliers
在本文中，我们提出了原始-对偶乘数法（PDMM）的分布优化图。特别是，我们优化的凸函数定义在一个图，其中图中的每一个边缘进行线性等式约束的总和。在设计新算法时，构造了一个增广的原始-对偶拉格朗日函数，它可以平滑地捕捉图的拓扑结构。结果表明，鞍点的构造函数提供了原问题的最优解。在同步更新和异步更新两种情况下，PDMM对一般闭函数、真函数和凸函数都具有O（1/K）的收敛速度（K表示迭代次数）.通过分布平均实验，研究了PDMM的其他性能，如不同参数设置下的收敛速度和对传输失败的恢复能力。
2017-02-02 cs.DC math.OC
Adaptive Primal-Dual Control for Distributed Energy Resource Management
针对原始-对偶 DERMS 步长需手动整定的问题，提出自适应步长整定与服务优先级方法，并在真实馈线仿真中验证其电网服务质量优于手动整定。
2023-04-24 math.OC
A primal-dual perspective for distributed TD-learning
AAAI Press（AAAI出版社）
针对网络化多智能体MDP，提出基于零空间约束原始-对偶ODE动力学的分布式TD学习算法，支持多种步长与观测模型，且无需双随机矩阵网络假设。
2025-05-13 cs.LG math.OC
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法，用于求解约束双线性鞍点问题，实现$O(1/t^2)$收敛率，并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
Optimal Distributed Voltage Control via Primal Dual Gradient Dynamics
基于逆变器的资源向电力传输网络的快速增加的渗透需要考虑其固有的输出可变性的更复杂的电压控制策略。此外，故障和负载变化影响电力网络上的电压分布。本文提出了一种基于原始对偶梯度动态的最优分布式电压控制方法，该方法优化了分布式无功电源的输出，以保持可接受的电压分布，同时保持操作限制。IEEE测试系统的实例研究验证了该方法的有效性。
2023-02-15 cs.SY eess.SY math.OC
On the Sublinear Regret of Distributed Primal-Dual Algorithms for Online Constrained Optimization
本文介绍了基于共识的原始-对偶分布式在线优化方法，其中时变系统目标函数$f_t(\mathbf{x})$被给定为局部代理的目标函数之和，即，$f_t(\mathbf{x}) = \sum_i f_{i,t}(\mathbf{x}_i)$，并且系统约束函数$\mathbf{g}(\mathbf{x})$被给出为本地代理的约束函数之和，即，$\mathbf{g}(\mathbf{x}) = \sum_i \mathbf{g}_i (\mathbf{x}_i) \preceq \mathbf{0}$。在每一阶段，每个代理承诺的自适应决策，只属于过去和本地可用的信息，并招致一个新的成本函数，反映在环境中的变化。我们的算法使用加权平均的迭代每个代理保持局部估计的全局约束和对偶变量。我们表明，该算法实现了遗憾的顺序$O(\sqrt{T})$的时间范围$T$，在场景中，当底层通信拓扑是时变的，联合连接。后悔的成本函数值以及约束违反方面进行测量。在无线多跳网络中，不确定信道速率的在线路由的数值结果来说明所提出的算法的性能。
2017-05-31 math.OC
Gradient Primal-Dual Algorithm Converges to Second-Order Stationary Solutions for Nonconvex Distributed Optimization
本文研究了求解一类线性约束非凸优化问题的两种一阶原始-对偶算法：梯度原始对偶法（GPDA）和乘子的梯度交替方向法（GADMM）。我们表明，随机初始化的原始和对偶变量，这两种算法都能够计算二阶稳态解（SS 2）的概率为1。这是第一个证明原始对偶法在只利用一阶信息时也能求出ss 2的结果，它也推广了现有的只利用一阶信息的原始对偶算法的结果.我们的结果的一个重要含义是，它也产生了第一个整体收敛结果的ss 2，两类无约束分布式非凸学习问题的多智能体网络。
2018-02-25 cs.IT math.IT math.OC
FedHybrid: A Hybrid Primal-Dual Algorithm Framework for Federated Optimization
针对联邦网络中客户端计算能力异构的问题，提出允许客户端自主选择梯度或牛顿更新的原始-对偶算法框架FedHybrid，并在强凸条件下证明了其线性收敛速率。
2021-07-12 math.OC
The primal-dual hybrid gradient method reduces to a primal method for linearly constrained optimization problems
本文证明了对于线性约束最优化问题，Chambolle和Pock [3]分析的原始-对偶混合梯度算法可以写成完全原始算法。这使我们能够证明收敛的迭代，即使在退化的情况下，当线性系是不一致的，或当强对偶不成立。我们还获得了新的收敛速度，似乎改善现有的文献中。对于一个分散的分布式优化，我们表明，新的计划是更有效的比原来的。
2019-05-24 math.OC
Accelerated Voltage Regulation in Multi-Phase Distribution Networks Based on Hierarchical Distributed Algorithm
我们提出了一个分层分布式算法来解决最优潮流（OPF）的问题，旨在调度可控分布式能源（DER）的电压调节以最小的成本。所提出的算法具有前所未有的可扩展性，大型多相配电网络，通过共同探索的树/子树结构的大型径向配电网络和结构的线性化配电潮流（LinDistFlow）模型，以获得一个分层的，分布式的实施的原始-对偶梯度算法，解决OPF。所提出的实现显着降低了计算负荷相比，中央协调的实施相同的原始对偶法，而不损害最优性。对4,521节点试验馈线的数值结果表明，该算法通过减少和分散计算量，使收敛速度比集中协调原始对偶法提高10倍以上。
2019-06-26 math.OC
Derivation and Analysis of the Primal-Dual Method of Multipliers Based on Monotone Operator Theory
在本文中，我们提出了一个新的推导现有的基于节点的算法，分布式优化称为原始对偶方法的乘数（PDMM）。与其最初的推导相反，在这项工作中，单调算子理论被用来连接PDMM与其他一阶方法，如道格拉斯-Rachford分裂和交替方向法的乘法器，从而提供洞察该计划的操作。特别是，我们展示了PDMM如何结合提升的对偶形式与Escheman-Rachford分裂，以消除每次迭代节点之间的协作需要。在强凸性和函数光滑性的假设下，我们给出了一般函数类强原收敛的充分条件，并引入了原几何收敛界.最后，我们介绍了一个分布式的几何收敛的情况下，参数选择的方法，只需要有限的传输，无论网络拓扑结构来实现。
2017-11-06 math.OC
A Universally Optimal Primal-Dual Method for Minimizing Heterogeneous Compositions
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种通用最优的对偶方法，用于最小化异构组合问题，通过构造新的常数来结合不同结构的优势，从而实现最优分析。
2026-01-14 math.OC
NESTT: A Nonconvex Primal-Dual Splitting Method for Distributed and Stochastic Optimization
Iowa State University（爱荷华州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）
我们研究了一个随机和分布式算法的非凸问题，其目标包括一个总和的$N$非凸$L_i/N$ -光滑函数，加上一个非光滑正则化。提出的NonconvEx原始-对偶分裂（NESTT）算法将问题分解为$N$子问题，并利用基于增广拉格朗日的原始-对偶方案以分布式和随机的方式求解。通过特殊的非均匀采样，NESTT的一个版本使用$\mathcal{O}((\sum_{i=1}^N\sqrt{L_i/N})^2/ε)$梯度评估来实现$ε$ -稳态解，其可以比（邻近的）梯度下降方法好$\mathcal{O}(N)$倍。对于带多面体约束的非凸二次$\ell_1$惩罚问题，也达到了Q-线性收敛速率.此外，我们揭示了原始对偶的方法和一些原始的方法，如IAG/SAG/SAGA之间的根本联系。
2016-11-07 cs.LG math.OC stat.ML
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization
使用大数据的机器学习通常涉及大型最优化模型。对于机器集群上的分布式优化，所有模型参数（优化变量）的频繁通信和同步可能非常昂贵。一个有前途的解决方案是使用参数服务器来存储模型参数的不同子集，并使用本地数据集在不同的机器上异步更新它们。本文研究了具有凸损失函数的大型线性模型的分布式优化问题，提出了一类特别适合于参数服务器异步分布式实现的随机原-对偶块协调算法.特别是，我们的工作与鞍点制定这样的问题，它允许同时数据和模型分区，并利用其结构的双随机坐标优化与方差减少（DSCOVR）。与其他一阶分布式算法相比，我们表明，DSCOVR可能需要更少的整体计算和通信量，和更少或没有同步。我们讨论了DSCOVR算法的实现细节，并在工业分布式计算系统上进行了数值实验。
2017-10-13 math.OC stat.ML
A distributed ADMM-like method for resource sharing over time-varying networks
我们考虑合作的多智能体资源共享问题在时变通信网络，只允许本地通信。我们的目标是最小化的总和代理特定的复合凸函数受到圆锥约束，耦合代理的决定。我们提出了一个分布式的原始对偶法DPDA-D解决鞍点公式的共享问题的时变（非）有向通信网络，我们表明，原始对偶序列收敛到一个点定义的原始最优解和一个共识的双重价格的耦合约束。此外，我们提供了收敛速度的次优，不可行性和共识违反代理的双重价格评估;检查底层网络拓扑结构的影响，建议分散算法的收敛速度;并比较DPDA-D与集中式方法的基础上追求去噪和多通道功率分配问题。
2019-08-25 math.OC
Primal-dual methods for large-scale and distributed convex optimization and data analytics
增广拉格朗日方法（ALM）是一种经典的优化工具，其通过相对于原始（原始）变量找到一系列“较容易”（通常无约束）子问题的解来解决给定的“困难”（约束）问题，其中约束满足通过所谓的对偶变量来控制。ALM在如何解决原始子问题方面非常灵活，从而产生了大量不同的原始对偶方法。近年来，应用层组播机制在各种大规模分布式应用中取得了巨大的成功。此外，出现了几个重大进展，主要是在精确的复杂性结果方面的计算和通信成本的存在下，不精确的更新和设计和分析的新的分布式共识优化的最佳方法。我们提供了一个教程式的介绍ALM及其变种解决凸优化问题的大规模和分布式设置。我们描述了算法分析和设计的控制理论工具，调查最近的结果，并在两个新兴应用的背景下提供新的见解：联邦学习和分布式能源交易。
2020-04-15 cs.IT math.IT math.OC
Exponential Convergence of Augmented Primal-dual Gradient Algorithms for Partially Strongly Convex Functions
本文证明了增广原始-对偶梯度算法在部分强凸函数下可实现全局指数收敛，并将该结果推广到分布式优化中的受限割线不等式条件，统一了多类算法的收敛性分析。
2025-03-11 math.OC
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University（浙江大学）；Purdue University（普渡大学）
本文提出了一种新的家庭的原始对偶为基础的分布式算法，光滑，凸，多智能体优化网络，只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析，他们的收敛速度，测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速，速率被证明是最佳的，在这个意义上，它匹配（根据建议的度量）现有的复杂性下界的分布式算法适用于这样一类问题，只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明，该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
An Accelerated Primal Dual Algorithm with Backtracking for Decentralized Constrained Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；Rutgers University（罗格斯大学）
本文提出了一种带回溯的分布式加速对偶算法，用于解决去中心化约束优化问题，实现了最优收敛速率。
2026-03-05 math.OC
A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features
Kuwait University（科威特大学）；Michigan State University（密歇根州立大学）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）
本文研究了多智能体共享最优化问题，其目标函数是光滑局部函数加上一个耦合所有智能体的凸（可能是非光滑）函数的和。这种情况出现在许多机器学习和工程应用中，例如分布式特征和资源分配的回归。我们将这个问题转化为一个等价的鞍点问题，这个问题可以用分散的方法解决。然后，我们提出了一个近似的原始对偶法，并建立了它的线性收敛的最优解的局部函数是强凸的。据我们所知，这是第一个线性收敛的分散算法的多智能体共享问题的一般凸（可能是非光滑的）耦合函数。
2020-06-15 cs.LG math.OC
