A Decentralized Primal-dual Method for Constrained Minimization of a Strongly Convex Function
我们提出了分散的原始-对偶方法的合作多智能体共识最优化问题在静态和时变通信网络，只允许本地通信。其目标是最小化圆锥约束集上的代理特定的凸函数的总和，因此，最佳的共识决策应该位于这些私人集的交集。在强凸性假设下，我们提供了次优，不可行性和共识违反所需的通信数量方面的收敛速度;检查底层网络拓扑结构对收敛速度的影响。
2022-02-21 math.OC
A Decentralized Primal-Dual Framework for Non-convex Smooth Consensus Optimization
在这项工作中，我们介绍了ADAPD，$\textbf{A}$ $\textbf{D}$ ecentr $\textbf{A}$ lized $\textbf{P}$ rimal- $\textbf{D}$ ual算法框架解决非凸和光滑的共识最优化问题在网络上的分布式代理。建议的框架依赖于一个新的问题制定，elancialADMM型更新，每个代理首先不精确地解决了一个局部强凸子问题，其选择的任何方法，然后执行邻居通信更新一组对偶变量。我们提出了两种变体，允许一个单一的梯度步骤的原始更新或多个通信的双重更新，利用每次迭代的成本和迭代次数之间的权衡。当多个通信被执行时，ADAPD可以实现理论上最优的通信复杂度结果的非凸和光滑的共识问题。在几个应用程序（包括深度学习应用程序）上进行的数值实验证明了ADAPD优于几种常用的分散式方法。
2023-02-03 math.OC
A primal-dual flow for affine constrained convex optimization
针对仿射约束凸优化问题，提出了一种新的原始-对偶流。作为标准鞍点系统的一个改进，我们的原始-对偶流被证明具有指数衰减特性，在一个定制的李雅普诺夫函数。然后通过离散化得到两种原-对偶方法，并通过离散化的李雅普诺夫函数建立了全局非遍历线性收敛速率.而不是解决原始变量的子问题，我们应用半光滑牛顿迭代的子问题的乘数，提供了一些额外的属性，如半光滑性和稀疏性。特别地，对线性约束的$l_1$ - $l_2$最小化和基于全变分的图像去噪模型进行了数值试验。
2022-03-20 math.OC
Bundle EXTRA for Decentralized Optimization
Southern University of Science and Technology（南方科技大学）；State Key Laboratory of Autonomous Intelligent Unmanned Systems（无人系统智能控制全国重点实验室）；Southeast University（东南大学）
本文提出一种全新的Bundle EXTRA方法，通过引入多切口束模型改进原始更新步骤，提升收敛速度和鲁棒性。
2026-03-30 math.OC
Generalized Affine Scaling Algorithms for Linear Programming Problems
内点法是求解线性规划问题的一种常用方法。在这项工作中，我们提出了两个原始仿射尺度算法，以实现更快的收敛，在解决线性规划问题。在第一个算法中，我们集成Nesterov的重新启动策略的原始仿射尺度方法与一个额外的参数，这反过来又推广了原始仿射尺度方法。给出了考虑长步长的广义算法的收敛性证明。我们还证明了原始和对偶序列的收敛性没有退化的假设。这个收敛性结果推广了仿射尺度方法的原有收敛性结果，并暗示了一类新方法的存在。然后，我们引入了第二个算法，以加快收敛速度的广义算法，通过集成非线性级数变换技术。数值结果表明，所提出的算法优于原始仿射尺度方法。
2019-10-12 math.OC
A Primal-Dual Framework for Decentralized Stochastic Optimization
我们认为分散的凸优化问题，多个代理必须合作最小化的累积目标函数，每个本地功能表示为一个经验平均值的数据相关的损失。最先进的分散优化方法依赖于梯度跟踪，其中通过双随机混合矩阵强制共识。这种混合矩阵的构造并不简单，甚至在优化算法开始之前就需要协调。本文提出了一个分散随机最优化的原始-对偶框架，避免了需要这样的双随机阵。相反，维护对偶变量以跟踪邻居之间的不一致。所提出的框架是灵活的，用于开发SAGA，L-SVRG，SVRG++和SEGA算法的分散变体。使用一个统一的证明，我们建立了这些分散的变种的甲骨文复杂性是$O(1/ε)$，匹配的复杂性界限得到的集中式的变种。此外，我们还提出了一个分散的原始-对偶加速SVRG算法实现$O(1/\sqrtε)$ oracle复杂度，再次匹配的集中式加速SVRG的界限。数值试验的算法建立其优越的性能相比，方差减少梯度跟踪算法。
2020-12-13 cs.DC math.OC
Communication Efficient Curvature Aided Primal-dual Algorithms for Decentralized Optimization
本文给出了求解分散凸组合问题的一族算法。我们考虑设置一个网络的代理，合作最小化一个全球目标函数组成的本地功能加上正则化。通过使用中间共识变量，我们消除了计算曲率引导更新时，代理之间的内部通信循环的需要。一个通用的计划，统一的分析过多的计算选择，包括梯度下降，牛顿更新，和BFGS更新。我们的分析建立了次线性收敛速度速率下的凸目标函数Lipschitz连续梯度，以及线性收敛速率时，进一步假设局部函数是强凸的。此外，我们明确地描述了由于曲率信息的加速度。最后但并非最不重要的是，我们提出了一个异步实现所提出的算法，它消除了对一个中央时钟的需要，与线性收敛速率建立在强凸目标下的预期。我们确定所提出的方法的有效性与基准数据集上的数值实验。
2023-02-11 math.OC
Decentralized Stochastic Optimization over Unreliable Networks via Two-timescales Updates
本文针对带宽受限且不可靠网络中的去中心化优化问题，提出双时间尺度压缩原始-对偶（TiCoPD）算法，通过压缩共享差分项提升通信效率和鲁棒性，并证明其在光滑非凸目标下收敛到稳定解。
2025-07-04 math.OC
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿（PD-QN）方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新，以找到增广拉格朗日的最优点。通过优化增广拉格朗日量，PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新，近似二阶信息，以减少相对于对偶方法的计算负担，并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率，数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
An Accelerated Primal Dual Algorithm with Backtracking for Decentralized Constrained Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；Rutgers University（罗格斯大学）
本文提出了一种带回溯的分布式加速对偶算法，用于解决去中心化约束优化问题，实现了最优收敛速率。
2026-03-05 math.OC
Decentralized Algorithms for Wasserstein Barycenters
本文从计算和统计两个方面研究离散概率测度的Wasserstein重心问题。统计重点是估计样本量的措施，必要的计算近似Fréchet平均值（重心）的概率分布与给定的精度。对于经验风险最小化方法，还研究了正则化的问题，并提出了一种新的正则化，与二次正则化相比，它有助于更好的复杂性界限。计算的重点是开发用于计算Wasserstein重心的算法：可以以分散方式执行的原始和对偶算法。对偶方法的动机是熵正则化Wasserstein距离及其导数的对偶公式化的封闭形式，而原始公式化仅在某些情况下具有封闭形式的表达，例如，Gaussian measures.此外，与返回熵正则化Wasserstein距离的梯度的原始预言机相比，可以以更便宜的价格计算返回熵正则化Wasserstein距离的对偶表示的梯度的对偶预言机。在这种情况下，双oracle调用的数量也将更少，即，原始神谕调用次数的平方根。这解释了一阶对偶方法在Wasserstein重心问题中的成功应用。
2021-10-25 math.OC
Decentralized optimization with affine constraints over time-varying networks
针对时变网络上带局部仿射约束的分布式优化问题，通过推广ADOM算法提出首个线性收敛算法，并证明其通信与预言机复杂度下界，达到一阶方法最优速率。
2023-09-06 math.OC
Generalized Affine Programming & Duality Gap with non-Division Rings
经典的原始-对偶仿射规划发生在有限维实向量空间上。这导致美丽的对偶理论，连接原始最大化问题和对偶最小化问题的最优解。这些结果包括存在对偶定理，保证最优解的任何可行的有界程序;和强对偶定理，这意味着原始和对偶程序的最优解必须有相同的目标值。在经典仿射规划的一个普通推广中，我们看到当标量环是整数时，强对偶不成立。经典的仿射规划的结果，以有序除环的扩展进行了探讨。本文用有序环（不一定是可除的）来描述仿射规划的广义集，并对存在对偶定理或强对偶定理不成立的环进行了分类。
2015-04-09 math.OC
Interior point methods in optimal control problems of affine systems: Convergence results and solving algorithms
本文针对控制仿射的最优控制问题提出内点方法，通过求解微分代数方程边值问题实现收敛，并给出原始及原始-对偶算法及数值验证。
2023-08-31 math.OC
The primal-dual hybrid gradient method reduces to a primal method for linearly constrained optimization problems
本文证明了对于线性约束最优化问题，Chambolle和Pock [3]分析的原始-对偶混合梯度算法可以写成完全原始算法。这使我们能够证明收敛的迭代，即使在退化的情况下，当线性系是不一致的，或当强对偶不成立。我们还获得了新的收敛速度，似乎改善现有的文献中。对于一个分散的分布式优化，我们表明，新的计划是更有效的比原来的。
2019-05-24 math.OC
Globally-Constrained Decentralized Optimization with Variable Coupling
针对网络化场景下未被充分研究的含变量耦合的全局约束分散优化问题，本文提出结合虚拟队列技术与原始-对偶-原始框架的分散投影原始-对偶算法，证明其O(1/k)收敛速率并通过实验验证性能。
2025-11-19 math.OC
Primal-Dual First-Order Methods for Affinely Constrained Multi-Block Saddle Point Problems
研究了凸凹鞍点问题$\min_{\mathbf{x}}\max_{\mathbf{y}}Φ(\mathbf{x},\mathbf{y})$，其中决策变量$\mathbf{x}$和/或$\mathbf{y}$具有多块结构和仿射耦合约束，且$Φ(\mathbf{x},\mathbf{y})$具有一定的可分结构.虽然这类问题的最小化对应已经在ADMM的主题下得到了广泛的研究，但这类极大极小问题却很少被研究。本文提出了$ε$ -鞍点的概念，并在此基础上分析了几种算法的收敛速度。当$\mathbf{x}$和$\mathbf{y}$中只有一个具有多块和仿射约束时，提出了ADMM的几种自然扩展来解决这个问题。根据块的数量和平滑的程度，$\mathcal{O}(1/T)$或$\mathcal{O}(1/\sqrt{T})$收敛速度推导出我们的算法。当$\mathbf{x}$和$\mathbf{y}$都有多个块和仿射约束时，提出了一种新的算法--乘子的外梯度法（EGMM）。在期望的平滑条件下，可以保证$\mathcal{O}(1/T)$收敛速率，而不管$\mathbf{x}$和$\mathbf{y}$中的块的数量。在多块最优化问题中，对EGMM（完全原-对偶方法）和ADMM（近似对偶方法）进行了深入的比较，以说明EGMM的优越性。
2023-03-16 math.OC
A Stochastic Optimization Approach to Control-Affine Optimal Control Problems
U2IS, ENSTA, Institut Polytechnique de Paris（巴黎理工学院）；L2S, Inria, Université Paris-Saclay, CentraleSupelec（巴黎萨克雷大学）；Inria, École Normale Supérieure, PSL Research University（巴黎文理研究大学）
针对环面上仅通过样本访问的控制仿射最优控制问题，提出兼容随机优化的对偶、原始及原始-对偶公式，证明随机一阶方法收敛，并引入可计算性能上界度量，初步验证有效。
2026-09-25 math.OC
Model-Free Feedback Constrained Optimization Via Projected Primal-Dual Zeroth-Order Dynamics
本文提出了一种无模型反馈求解方法来求解一般的约束最优化问题，而不需要知道目标函数和约束函数的具体表达式。这种求解方法被称为投影原-对偶零阶动力学（P-PDZD），并基于投影原-对偶梯度动力学和极值搜索控制。特别地，P-PDZD方法可以被解释为无模型控制器，其仅使用输出反馈自主地驱动未知系统到最优化问题的解。的P-PDZD可以正确地处理硬和渐近约束，我们开发的分散版本的P-PDZD时，适用于多智能体系统。证明了P-PDZD具有半全局实用渐近稳定性和结构鲁棒性。然后将分散P-PDZD应用于具有方形探测信号的配电系统的最优电压控制问题，仿真结果验证了P-PDZD方法的最优性、鲁棒性和自适应性。
2022-06-22 math.OC
A Decentralized Second-Order Method for Dynamic Optimization
本文考虑分散动态最优化问题，其中网络节点试图在实时方案中最小化一系列时变目标函数。在每个时隙，节点可以访问瞬时全局目标函数的不同和，并且它们只允许与它们的邻居交换信息。本文发展了精确二阶法（ESOM）在分散求解动态最优化问题中的应用。提出的动态ESOM算法通过原始下降和对偶上升对瞬时共识最优化问题的增广拉格朗日函数进行二次近似。动态ESOM的收敛性分析表明，当局部函数是强凸的且具有Lipschitz连续梯度时，原、对偶误差序列的李雅普诺夫函数线性收敛到一个误差界.数值结果表明，所提出的方法产生的迭代序列是能够跟踪序列的最优参数。
2016-03-26 math.OC
Dual approaches to the strongly convex simple function minimization problem under affine restrictions
本文研究了带仿射型约束的强凸优化问题。建立了对偶问题，并利用快速梯度法求解对偶问题。我们利用这种方法的原始-对偶结构来构造原始问题的解。该文件包含了很多不同的技巧，允许推广上述结果，几乎所有的方法，我们想选择解决对偶问题。
2017-06-22 math.OC
Optimal Decentralized Distributed Algorithms for Stochastic Convex Optimization
我们考虑具有仿射约束的随机凸优化问题，并开发了几种使用原始方法或对偶方法来求解该问题的方法。在原始情况下，我们使用特殊的惩罚技术使初始问题更方便地使用最优化方法。对于凸光滑和强凸光滑目标函数，我们提出了基于不精确邻近步长的相似三角形算法来求解该问题，对于非光滑情况，我们提出了基于梯度滑动算法来求解该问题。我们证明了在光滑凸的情况下，确定性的一阶预言的收敛保证。本文提出并分析了三种新的处理仿射约束随机凸优化问题的方法：SPDSTM，R-RRMA-AC-SA $^2$，和SSTM_sc。SPDSTM是STM的随机原始-对偶修正，它被应用于原泛函在球上强凸且Lipschitz连续的对偶问题。我们将Dvinskikh & Gasnikov（2019）的结果扩展到只有有偏随机预言可用的情况。R-RRMA-AC-SA $^2$是基于Foster等人（2019）的RRMA-AC-SA $^2$重新启动的加速随机方法，SSTM_sc只是强凸问题的随机STM。这两种方法都适用于对偶问题时，原始功能是强凸，光滑，Lipschitz连续的一些球，并使用随机对偶一阶预言。我们分别对无偏和有偏的预言机进行了收敛性分析。最后，我们应用上述所有的结果和方法来解决分散的分布式最优化问题，并讨论所获得的结果的最优性方面的通信轮数和每节点的Oracle调用的数量。
2020-11-11 math.OC
Decentralized Electric Vehicle Charging Control via a Novel Shrunken Primal Multi-Dual Subgradient (SPMDS) Algorithm
大量电动汽车（EV）的充电过程需要协调和控制，以减轻其对配电网的影响并提供各种电网服务。然而，现有EV充电控制范例的可扩展性受到EV数量或配电网络维度的限制，这在很大程度上削弱了EV的聚合服务能力和适用性。为了克服可扩展性障碍，本文以填谷服务的最优调度问题为动机，（1）提出了一种新的基于EV分组的降维方法（原始决策变量）和建立电压（2）提出了一种新的分散收缩原始多重对偶次梯度算法（SPMDS）优化算法来解决这个降维问题。所提出的基于SPMDS的控制框架不需要EV之间的通信，在原始次梯度更新中减少了超过43%的计算成本，并且在双次梯度更新中减少了高达68%的计算成本。通过对改进的IEEE 13节点测试馈线和改进的IEEE 123节点测试馈线的仿真，证明了所提出的算法的效率和有效性。
2020-03-31 cs.SY eess.SY math.OC
Resource-aware Exact Decentralized Optimization Using Event-triggered Broadcasting
这项工作解决了分散的最优化问题，一组代理与耦合的私人目标函数一起工作，以准确地优化本地利益的总和。在将分散式问题建模为等式约束的集中式问题后，我们利用线性化增广拉格朗日方法（LALM）设计了一个事件触发的分散式算法，该算法只需要在通用时刻进行轻度本地计算，并在零星触发时刻进行对等通信。每个代理的触发时刻通过比较真实和广播原始变量之间的偏差与某些触发阈值来本地确定。假设阈值随时间可求和，我们建立了触发行为对原始-对偶残差影响的新上界。在此基础上，对非光滑凸问题，保证了$O(\frac{1}{k})$与周期算法具有相同的收敛速度。对于强凸和光滑问题，进一步建立了更强的收敛性结果，即迭代线性收敛于指数衰减的触发阈值。通过对两个常见的最优化问题的分析比较，验证了该策略在开发通信资源方面的性能和优越性。
2020-03-17 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统，并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层，建立了一个新的指数衰减的李雅普诺夫函数，在离散层，依次考虑了连续模型的隐式、半隐式和显式数值离散，从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外，通过一个定制的离散李雅普诺夫函数，证明了非遍历收敛速度的原始-对偶间隙，原始目标残差和可行性违反。此外，我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
Decentralized Optimization with Mixed Affine Constraints
MIRIAI, Moscow, Russia（MIRIAI）；Innopolis University, Innopolis, Russia（因诺波利斯大学）；HDI Lab, HSE University, Moscow, Russia（高等经济大学）
本文提出了一种混合仿射约束下的去中心化优化算法，针对强凸情形实现了最优收敛速度，并为其他情况提供了近最优方法。
2026-02-04 math.OC
SPARKLE: A Unified Single-Loop Primal-Dual Framework for Decentralized Bilevel Optimization
Peking University（北京大学）；IBM Research（IBM研究院）；University of Pennsylvania（宾夕法尼亚大学）；National Engineering Labratory for Big Data Analytics and Applications（国家大数据分析与应用工程实验室）；AI for Science Institute（科学智能研究所）
本文提出SPARKLE，一种统一的单循环原始-对偶框架，用于去中心化双层优化，支持灵活集成多种异质性校正策略并混合上下层求解方法，实现最先进收敛速率。
2024-12-17 cs.LG math.OC stat.ML
Theoretical Analysis of Primal-Dual Algorithm for Non-Convex Stochastic Decentralized Optimization
Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）；NTT Communication Science Laboratories（NTT通信科学实验室）
近年来，去中心化学习已经成为一种强大的工具，不仅用于大规模机器学习，还用于保护隐私。去中心化学习的一个关键挑战是每个节点所持有的数据分布在统计上是异构的。为了解决这一问题，人们提出了一种称为边缘一致性学习（ECL）的原始对偶法，实验表明该算法对数据分布的异质性具有很好的鲁棒性。然而，仅当目标函数是凸的时才提供ECL的收敛速度，并且在目标函数是非凸的标准机器学习设置中尚未示出。此外，ECL对数据分布的异质性具有鲁棒性的直观原因尚未研究。本文首先研究了ECL和Gossip算法之间的关系，证明了ECL的更新公式可以看作是对Gossip算法中局部随机梯度的修正。然后，我们提出了广义ECL（G-ECL），它包含ECL作为一种特殊情况，并提供了收敛速度的G-ECL在（强）凸和非凸设置，这不依赖于数据分布的异质性。通过模拟实验，我们证明了G-ECL和ECL的数值结果与G-ECL的收敛速度一致。
2022-09-22 cs.LG math.OC
Cloud-Based Centralized/Decentralized Multi-Agent Optimization with Communication Delays
我们提出并分析了一个计算混合架构进行多智能体优化。所考虑的最优化问题具有凸的目标函数和约束函数，并具有温和的光滑条件。对于这样的问题，我们提供了一个原始对偶法实现的混合体系结构，其中包括一个分散的网络代理集中的信息偶尔注入，我们建立其收敛性。为了实现这一点，中央云计算机聚集全局信息，基于该信息执行对偶变量的计算，然后将更新的对偶变量分发给代理。代理更新它们的（原始）状态变量，并且还在它们自己之间通信，每个代理与其一些邻居共享和接收状态信息。在整个过程中，与云的通信不被假设为同步或瞬时的，并且在系统的建模和分析中明确考虑了通信延迟。实验结果支持的理论发展。
2015-08-25 math.OC
Communication-Efficient Algorithms for Decentralized and Stochastic Optimization
Georgia Institute of Technology（佐治亚理工学院）
针对多智能体网络上的非光滑随机最优化问题，提出了一类新的分散一阶方法。考虑到通信是分散优化的主要瓶颈，本文的主要目标是开发算法框架，可以显着减少节点间通信的数量。我们首先提出了一种分散的原始-对偶方法，可以找到一个$ε$ -解决方案，无论是在功能最优性差距和可行性残差在$O(1/ε)$节点间的通信轮时，目标函数是凸的和当地的原始子问题得到解决。我们的主要贡献是提出了一类新的分散原始-对偶型算法，即分散通信滑动（DCS）方法，它可以跳过节点间的通信，而代理解决原始子问题迭代通过线性化的本地目标函数。通过采用DCS，代理仍然可以在$O(1/ε)$中找到$ε$ -解决方案（分别为，$O(1/\sqrtε)$）通信循环用于一般凸函数（分别，强凸函数），同时保持$O(1/ε^2)$（分别，$O(1/ε)$），其约束于节点内次梯度评估的总数。我们还提出了一个随机对应的这些算法，表示SDCS，解决随机最优化问题的目标函数不能准确评估。与现有的分散非光滑和随机最优化的结果相比，我们可以减少数量级的节点间的通信轮的总数，同时仍然保持最佳的复杂性范围内的节点内的随机次梯度评价。次梯度估计的界限实际上与集中式非光滑和随机最优化所需的界限相当。
2017-02-04 cs.LG math.OC
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method
NYU（纽约大学）；Rutgers University（罗格斯大学）；MIT（麻省理工学院）
我们介绍了一个框架下的分散优化设置，局部函数是光滑的，强凸的设计原始方法。我们的方法包括近似求解加速增广拉格朗日方法引起的一系列子问题，从而提供了一种系统的方法来推导几个著名的分散算法，包括EXTRA arXiv：1404.6264和SSDA arXiv：1702.08704。当与加速梯度下降相结合时，我们的框架产生了一种新的原始算法，其收敛速度是最佳的，并且与最近导出的下界相匹配。我们提供的实验结果表明，所提出的算法对高度病态的问题的有效性。
2020-06-11 cs.LG math.OC
Decentralized Stochastic Control of Distributed Energy Resources
我们考虑分散控制的辐射状配电系统与可控光伏逆变器和能量存储资源。对于这样的系统，我们研究的问题，设计完全分散的控制器，最大限度地减少平衡需求的预期成本，同时保证满足个人资源和配电系统电压约束。采用线性逼近的支路流模型，我们制定了这个问题的分散干扰反馈控制器的设计，最大限度地减少期望值的凸二次费用函数，受到鲁棒凸二次约束的系统状态和输入。由于这些问题是，在一般情况下，计算上难以处理的，我们推导出一个易于处理的内部近似这个分散控制问题，这使得有效的计算的仿射控制策略，通过有限维圆锥规划的解决方案。作为仿射政策，在一般情况下，次优的家庭考虑的系统，我们提供了一个有效的方法来约束他们的次优通过另一个有限维锥规划的最优解。一个12 kV辐射状配电系统的案例研究表明，分散仿射控制器可以执行接近最优。
2017-05-02 math.OC
A Proximal Diffusion Strategy for Multi-Agent Optimization with Sparse Affine Constraints
这项工作开发了一个近端的原始-对偶分散策略的多智能体最优化问题，涉及多个耦合仿射约束，其中每个约束可能只涉及一个子集的代理。约束通常是稀疏的，这意味着只有一小部分代理参与其中。这种情况出现在许多应用中，包括分散控制配方，资源分配问题和智能电网。传统的分散式解决方案往往会忽略约束的结构，导致性能下降。相反，我们开发了一个分散的解决方案，利用稀疏结构。在定步长学习条件下，当存在非光滑项时，证明了该算法的渐近收敛，而在光滑项下，该算法以线性速度收敛。我们还研究了算法的性能是如何影响的稀疏性的约束。仿真结果表明了所提出的策略的优越性能。
2019-12-11 math.OC
Consensus-based Distributed Discrete Optimal Transport for Decentralized Resource Matching
最优输运已被广泛用于资源匹配中，以通过将源匹配到目标来提高资源使用的效率。然而，对于大规模问题，它需要大量的计算和存储空间。在本文中，我们采取了基于共识的方法分散离散最优输运问题，并开发了完全分布式算法与乘子的交替方向法。我们表明，我们的算法保证一定程度的效率和隐私，除了分布式的性质。通过研究线性效用函数下离散最优输运的原问题和对偶问题，我们进一步导出了原算法和对偶算法，并证明了它们之间的等价性。通过数值实验，验证了原算法和对偶算法的收敛性、在线适应性和等价性。我们的算法反映了源和目标之间的讨价还价的数量和价格的转移资源，并揭示了一个平均原则，可用于调节资源市场，提高资源效率。
2019-04-08 cs.DC math.OC
Decentralized Optimization with Cross-Coupled Mixed Affine Constraints
本文研究带交叉耦合混合仿射约束的分散式优化，提出加速方法并给出匹配极小极大保证，实验验证了通道几何与网络条件的影响。
2026-09-29 cs.LG math.OC
A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features
Kuwait University（科威特大学）；Michigan State University（密歇根州立大学）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）
本文研究了多智能体共享最优化问题，其目标函数是光滑局部函数加上一个耦合所有智能体的凸（可能是非光滑）函数的和。这种情况出现在许多机器学习和工程应用中，例如分布式特征和资源分配的回归。我们将这个问题转化为一个等价的鞍点问题，这个问题可以用分散的方法解决。然后，我们提出了一个近似的原始对偶法，并建立了它的线性收敛的最优解的局部函数是强凸的。据我们所知，这是第一个线性收敛的分散算法的多智能体共享问题的一般凸（可能是非光滑的）耦合函数。
2020-06-15 cs.LG math.OC
A primal-dual method for conic constrained distributed optimization problems
我们认为合作的多智能体共识最优化问题在一个无向网络的代理，只有那些代理连接的边缘可以直接沟通。目标是最小化代理特定的复合凸函数的总和在代理特定的私人圆锥约束集，因此，最佳的共识决策应该在于这些私人集的交集。我们提供的收敛速度都在次优，不可行性和共识违反;检查底层网络拓扑结构的影响，建议分散算法的收敛速度;并展示如何扩展这些方法来处理时变通信网络和解决问题的资源共享的限制。
2016-07-08 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度，但不需要知道目标函数的平滑度。在线搜索部分，它使用动态递减的参数，并产生近似的Lipschitz常数与适度的大小。此外，基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计，建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Decentralized Charging Control of Electric Vehicles in Residential Distribution Networks
电动汽车（EV）充电可能会对配电网络产生负面影响，超过设备热额定值并导致电压降至标准范围以下。在本文中，我们开发了一种分散的EV充电控制方案，以实现“山谷填充”（即，整平夜间充电期间的需求曲线），同时满足异构的个人充电需求并满足配电网约束。该问题是一个目标函数不可分离且带有强耦合不等式约束的最优化问题。我们提出了一种新的收缩原始-对偶次梯度（SPDS）算法来支持分散控制方案，推导出保证其收敛的条件，并验证其有效性和收敛性与一个代表性的配电网络模型。
2017-10-16 math.OC
Multi-Agent Reinforcement Learning via Double Averaging Primal-Dual Optimization
Chinese University of Hong Kong（香港中文大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Minnesota（明尼苏达大学）
尽管单智能体强化学习取得了成功，但由于智能体之间的复杂交互，多智能体强化学习（MARL）仍然具有挑战性。受传感器网络、群机器人和电网等分散式应用的启发，我们研究了MARL中的策略评估，在MARL中，具有联合观察状态-动作对和私有局部奖励的代理合作学习给定策略的值。在本文中，我们提出了一个双平均方案，每个代理迭代执行平均在空间和时间，分别将相邻的梯度信息和本地奖励信息。我们证明了该算法以全局几何速度收敛到最优解。特别是，这样的算法是建立在原始-对偶的均方投影贝尔曼误差最小化问题，这引起了一个分散的凸-凹鞍点问题的重新制定。据我们所知，提出的双重平均原始-对偶优化算法是第一个实现快速有限时间收敛的分散凹凸鞍点问题。
2019-01-09 cs.LG math.OC stat.ML
Primal-dual optimization conditions for the robust sum of functions with applications
本文将对偶问题与DOI 10.1007/s11228-019-00515-2中引入的鲁棒和函数的任意线性扰动的最小化相关联。在适当的对偶性假设下，给出了原始最优解的存在性定理，刻画了原始-对偶最优集、原始最优集和对偶最优集的特征，并给出了鲁棒和函数的次微分公式.应用这些结果得到了次仿射函数（一类包含仿射函数的函数）的鲁棒和的简单公式，并得到了不相容凸不等式组存在最佳近似解的条件.
2019-11-06 math.OC
Exponential Stability of Partial Primal-Dual Gradient Dynamics with Nonsmooth Objective Functions
本文研究了求解$ \min\limits_{x\in X,y\inΩ}\ f({x})+h(y),\ \textit{s.t.}\ A{x}+By=C $形式的凸优化问题的连续时间部分原始-对偶梯度动力学（P-PDGD），其中$ f({x}) $是强凸光滑的，而$ h(y) $是强凸非光滑的.包括仿射等式和集合约束。我们证明了P-PDGD的指数稳定性，并给出了衰减率的界。此外，它也表明，衰减率可以通过设置步长进行调节。
2020-03-17 math.OC
Decentralized convex optimization under affine constraints for power systems control
现代电力系统正处于持续的巨大变化过程中。分布式发电、能量存储和可控需求的日益普及需要引入一种新的控制范式，这种范式不依赖于集中式方法所需的大量信息交换。分布式算法可以仅依赖于有限的邻域信息来获得各种最优化问题的最优解，如最优潮流，机组组合等。作为这些问题的推广，我们考虑了在耦合$\sum_{k=1}^l (A^k x^k - b^k) \leq 0$和共享$\tilde{A} \tilde{x} - \tilde{b} \leq 0$仿射约束下光滑凸部分可分函数$f = \sum_{k=1}^l f^k(x^k,\tilde x)$的分散极小化问题，其中关于$A^k$和$b^k$的信息仅可用于计算网络的第$k$节点。以分布式方式处理耦合约束的一种方法是使用通信图的拉普拉斯矩阵和辅助变量以分布式友好的形式重写它们（Khamisov，CDC，2017）。而不是使用这种方法，我们重新制定的约束最优化问题作为一个鞍点问题（SPP），并利用共识约束技术，使其分布友好。然后，我们提供了一个国家的最先进的SPP求解算法应用于这个SPP的复杂性分析。
2022-03-30 math.OC
Decentralized Feature-Distributed Optimization for Generalized Linear Models
研究了广义线性模型的“全对一”分散学习问题。每个样本的特征被划分在连接的网络中的多个协作代理之间，但是只有一个代理观察响应变量。为了解决正则化的经验风险最小化，在这个分布式设置，我们应用Chambolle-Pock原始对偶法的一个等价的鞍点制定的问题。原始和对偶迭代要么是封闭形式的，要么是标量凸函数的坐标最小化。我们建立了经验风险最小化的收敛速度的损失函数（Lipschitz和平方根Lipschitz）的两个不同的假设下，并显示它们如何依赖于设计矩阵和网络的拉普拉斯算子的特性。
2021-10-28 cs.MA math.OC stat.ML
Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization
针对一类带仿射等式约束的凸优化问题，提出了一种带阻尼系数的连续时间原-对偶加速算法。本文分析了该方法中参数的临界值，并证明了通过选择合适的参数，以对偶间隙函数表示的收敛速率为$O(\tfrac{1}{t^2})$。据我们所知，这是第一个连续时间的原始-对偶加速方法，可以获得最优的速度。然后将该方法应用于两个网络最优化问题，一个带一致性约束的分布式最优化问题和一个分布式扩展单变量最优化问题，得到了两种不同的分布式算法。最后，通过数值模拟验证了该方法的有效性.
2022-02-15 math.OC
A frugal primal-dual splitting with minimal lifting over arbitrary rooted trees
National key laboratory（国家重点实验室）；College of Science, National University of Defense Technology（国防科技大学理学院）
研究解决结构化单调包含问题，提出具有最小提升的节俭原始对偶分裂方法，通过在树状图上定义节点和边实现，该方法灵活性高，能扩展相关分裂方法，解决一类凸最小化问题并推导收敛率。
2026-08-17 math.OC
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来，由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展，异步（异步）并行计算方法激增。在优化问题中，大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新（BCU）的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行，成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题，Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反，仅假设凸性，我们表明，所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外，我们建立了遍历$O(1/k)$收敛结果，其中$k$是迭代次数。数值实验表明，该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
Distributed Primal Outer Approximation Algorithm for Sparse Convex Programming with Separable Structures
提出了一种分布式原始外近似算法（DiPOA），用于求解具有可分离结构的稀疏凸规划（SCP）问题。DiPOA算法的开发包括将最近提出的松弛混合乘子交替方向法（RH-ADMM）算法嵌入到外近似（OA）算法中。我们还提出了两个主要的改进，以控制质量和切割平面的数量，近似非线性函数。特别地，RH-ADMM算法充当DiPOA算法内部的分布式数值引擎。DiPOA利用现代处理器的多核架构来加速优化算法。提出的分布式算法从应用方面使SCP在学习和控制问题中的解决方案具有实用性。本文最后对分布式稀疏逻辑斯谛回归和二次约束最优化问题的DiPOA算法进行了性能分析。最后，本文的结论与国家的最先进的优化求解器的数值比较。
2022-10-13 math.OC
Two-stage stochastic algorithm for solving large-scale (non)-convex separable optimization problems under affine constraints
Université Paris-Saclay, CNRS, CentraleSupélec, Inria, Laboratoire des Signaux et Systèmes（巴黎萨克雷大学）；Fédération de Mathématiques de CentraleSupélec France（中央理工-高等电力学院数学联合会）；EDF R&D（法国电力集团研发中心）；Inria, Ecole Normale Supérieure, PSL Research University（法国国家信息与自动化研究所）
本文提出了一种两阶段随机算法，用于求解带仿射约束的大规模（非）凸分离优化问题，在凸情况下达到ε-最优解，非凸情况下获得近似解。
2026-02-06 math.OC
Masking Primal and Dual Models for Data Privacy in Network Revenue Management
我们研究了一个协作收入管理问题，其中多个分散的各方同意分享他们的一些能力。这种合作是通过构建一个大型的数学规划模型提供给所有各方。然后，各方在其各自的容量控制系统中使用该模型的解。然而，在这种情况下，各方主要关心的是其输入数据的隐私以及其各自的最优解。我们首先重新制定了一个一般的线性规划模型，可用于广泛的网络收入管理问题。然后，我们解决了数据隐私问题的重新制定的模型，并提出了一种基于解决一个等效的数据隐私模型通过随机变换与输入屏蔽。我们的主要结果表明，解决数据私有模型后，每一方可以安全地访问自己的最优容量控制决策。我们还讨论了在考虑多方设置转换的问题的安全性。我们进行模拟实验来支持我们的结果，并评估所提出的数据私有模型的计算效率。我们的工作提供了一种分析方法和见解，了解如何在网络问题中管理共享资源，同时确保数据隐私。构建和解决协作网络问题需要各方之间的信息交换，这在实践中可能是不可能的。包括数据隐私的分散协作网络收益管理问题与能力共享是新的文献和相关的实践。
2021-12-29 math.OC
Graph topology invariant gradient and sampling complexity for decentralized and stochastic optimization
分散式多智能体优化中的一个基本问题是梯度/采样复杂度和通信复杂度之间的权衡。我们提出了新的算法，其梯度和采样的复杂性是图形拓扑不变的，而他们的通信复杂性保持最佳。对于凸光滑确定性问题，我们提出了一个原始对偶滑动（PDS）算法，计算$ε$ -解决方案与$O((\tilde{L}/ε)^{1/2})$梯度和$O((\tilde{L}/ε)^{1/2}+\|\mathcal{A}\|/ε)$通信复杂性，其中$\tilde{L}$是光滑参数的目标和$\mathcal{A}$是相关的图形拉普拉斯算子或转置的通信网络的定向关联矩阵。在$μ$-强凸性下，结果可分别改进为$O((\tilde{L}/μ)^{1/2}\log(1/ε))$和$O((\tilde{L}/μ)^{1/2}\log(1/ε) + \|\mathcal{A}\|/ε^{1/2})$.我们还提出了一个随机变量，原始对偶滑动（SPDS）算法的随机梯度问题。SPDS算法利用小批量技术，使代理同时执行采样和通信。它计算具有$O((\tilde{L}/ε)^{1/2} + (σ/ε)^2)$采样复杂度的随机$ε$ -解，该解可以改进为具有强凸性的$O((\tilde{L}/μ)^{1/2}\log(1/ε) + σ^2/ε)$。这里$σ^2$是方差。SPDS的通信复杂度与确定性情形相同。所有上述梯度和采样复杂度都与集中式凸光滑优化的复…
2021-01-13 math.OC
An Optimal Algorithm for Strongly Convex Minimization under Affine Constraints
仿射约束下的最优化问题出现在机器学习的各个领域。我们考虑在仿射约束Kx=b下最小化光滑强凸函数F（x）的问题，并给出了F的梯度和乘K及其转置的计算.我们提供了梯度计算和矩阵乘法数量的下界，以实现给定的准确度。然后，我们提出了一个加速的原始对偶法实现这些下界。我们的算法是这类问题的第一个最优算法。
2022-04-10 math.OC
On the Exponential Stability of Primal-Dual Gradient Dynamics
连续时间原-对偶梯度动力学是一种寻找最优化问题拉格朗日函数鞍点的动力学，在系统与控制中有着广泛的应用。虽然这种动力学的全局渐近稳定性已经得到了很好的研究，但很少研究它们是否是全局指数稳定的。本文研究了具有仿射等式或不等式约束的强凸光滑目标凸优化问题的原始-对偶梯度动力学，证明了这类动力学的全局指数稳定性.提供了衰减率的界限。
2018-06-26 math.OC
A distributed primal-dual algorithm for computation of generalized Nash equilibria with shared affine coupling constraints via operator splitting methods
University of Toronto（多伦多大学）
本文提出了一种分布式对偶算法，用于计算网络系统中非合作博弈的广义纳什均衡。在考虑的博弈中，不仅每个玩家的局部目标函数依赖于其他玩家的决策，而且所有玩家的可行决策集还通过一个全局共享的仿射不等式约束相互耦合。通过采用变分广义纳什均衡（即变分不等式的解）作为广义纳什均衡的细化，我们引入了一种分布式算法，使玩家能够通过分布式方式寻找它。每个玩家只需要知道其局部目标函数、局部可行集以及仿射约束的一个局部块。同时，每个玩家只需要通过干扰图观察其局部目标函数显式依赖的决策，并通过乘数图与邻居分享与乘数相关的信息。通过对偶分析和变量增广，我们将问题重新表述为寻找单调算子之和的零点。我们的分布式对偶算法基于前向-后向算子分裂方法。在某些温和的假设下，我们证明了该算法在固定步长下收敛到变分广义纳什均衡。然后还引入并分析了具有惯性的分布式算法以寻找变分广义纳什均衡。最后，通过网络Cournot竞争的数值模拟来说明该算法的效率和性能。
2017-03-15 cs.GT cs.SY eess.SY
