Technical Report: Distributed Asynchronous Large-Scale Mixed-Integer Linear Programming via Saddle Point Computation
我们通过分布式异步鞍点计算求解大规模混合整数线性规划。这是由于MILP能够在多代理自治中建模问题，例如，多机器人系统中具有避碰约束的任务分配和轨迹规划问题。为了解决MILP，我们放松它与非线性程序近似，其精度收紧代理的数量增加相对于耦合约束的数量。接下来，我们形成一个等价的拉格朗日鞍点问题，然后在原始空间和对偶空间中正则化拉格朗日，以创建一个正则化的拉格朗日是强凸-强凹的。然后，我们开发了一个并行算法来计算正则化拉格朗日的鞍点。该算法将问题划分为原始或对偶决策变量的标量或子向量块，并且在原始和对偶变量的计算和通信中显示出容忍冗余。给出了收敛到鞍点的次优界和收敛速度。次优性界包括（i）正则化拉格朗日量引起的正则化误差和（ii）原始MILP和其松弛形式的解之间的次优性间隙。仿真结果说明了这些理论在实践中的发展，并表明松弛和正则化一起得到的解决方案的质量只有轻微的影响。
2022-11-21 math.OC
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来，由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展，异步（异步）并行计算方法激增。在优化问题中，大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新（BCU）的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行，成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题，Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反，仅假设凸性，我们表明，所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外，我们建立了遍历$O(1/k)$收敛结果，其中$k$是迭代次数。数值实验表明，该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
An Accelerated Asynchronous Distributed Method for Convex Constrained Optimization Problems
考虑了一类带有局部非线性凸约束的多智能体协作共识最优化问题，其中只有通过边连接的智能体可以直接通信，因此最优共识决策位于这些私有集的交集中.我们开发了一个异步分布式加速原始对偶法来解决所考虑的问题。该计划是第一个异步方法，这类问题的最佳收敛保证，据我们所知。特别是，我们提供了一个最佳的收敛速度的$\mathcal{O(1/K)}$次优，不可行性，共识违反。
2023-02-21 math.OC
A Coordinate Descent Primal-Dual Algorithm and Application to Distributed Asynchronous Optimization
本文提出一种基于随机坐标下降的对偶优化算法，用于解决分布式异步优化问题，通过随机更新坐标实现共识。
2015-09-30 cs.DC cs.NA cs.SY
A Class of Randomized Primal-Dual Algorithms for Distributed Optimization
基于[Combettes，Pesquet，2014]中最近提出的随机块坐标向前-向后算法的预处理版本，设计了块坐标原始对偶法的几个变体，以解决各种单调包含问题。这些方法依赖于扫描块的变量，这些变量在每次迭代时根据随机规则被激活，并且它们允许在所涉及的操作符的评估中出现随机误差。然后，利用该框架推导出求解复合凸变分问题的块坐标原-对偶近似算法。所得到的算法实现可以用于降低计算复杂性和存储器需求。此外，我们表明，所提出的方法可用于开发新的异步分布式原始对偶法在多代理的上下文中。
2014-10-25 math.OC
Asynchronous Decentralized Stochastic Optimization in Heterogeneous Networks
我们认为，预期的风险最小化多代理系统组成的不同子集的代理操作没有一个共同的时间尺度。网络中的每个个体负责最小化全局目标函数，该全局目标函数是网络中每个代理的统计平均损失函数之和的平均值。由于代理人不被假设为观察来自相同分布的数据，所有代理人寻求共同行动的假设被违反，因此共识约束的假设被违反。因此，我们考虑非线性网络的邻近约束，激励附近的节点作出决定，这些决定是彼此接近，但不一定一致。此外，代理不被假定为在共同的时间索引上接收它们顺序到达的观测，因此寻求以异步方式学习。提出了一种异步随机变体的阿罗-赫维茨鞍点方法来解决这个问题，该方法通过交替原始随机下降步骤和拉格朗日乘子更新来惩罚代理之间的差异。这个工具导致了一个实现，允许每个代理只与本地信息异步操作，并与邻居进行消息传递。我们的主要结果建立，该方法产生的预期收敛的原始次优性和约束违反半径的大小$\mathcal{O}(\sqrt{T})$和$\mathcal{O}(T^{3/4})$，分别。通过自适应通信定价机制管理用户信道干扰的异步操作的无线网络的实证评估表明，我们的理论结果转化为实践。
2017-12-09 math.OC
Distributed Primal-dual Optimization for Heterogeneous Multi-agent Systems
异构网络包括在计算、存储和通信方面具有不同能力的代理。在这样的设置中，它是至关重要的因素，在允许代理选择适当的更新方案的操作特性，以便更好地分配计算任务，更有效地利用网络。考虑多智能体协作极小化局部强凸目标和的最优化问题。我们提出了一个异步分布式原始对偶协议，它允许原始更新步骤是代理依赖的（代理可以选择一阶或牛顿更新）。我们的分析引入了一个统一的框架，这种混合优化方案，并建立了全局线性收敛的期望，强凸目标和一般代理激活计划。在真实数据集上的数值实验证明了该算法的优越性。
2022-09-02 math.OC
Asynchronous and Stochastic Distributed Resource Allocation
针对异步随机场景下的分布式资源分配问题，提出异步随机原始-对偶（Asyn-PD）算法，证明其以O(1/t)速率收敛，数值实验验证其优于同步算法。
2025-09-01 math.OC stat.ML
An Asynchronous Approximate Distributed Alternating Direction Method of Multipliers in Digraphs
在这项工作中，我们考虑异步分布式最优化问题，其中每个节点都有自己的凸费用函数，可以直接与它的邻居，由一个有向通信拓扑（有向图或有向图）。首先，我们重新制定的最优化问题，使交替方向法的乘数（ADMM）可以利用。在此基础上，提出了一种基于有限时间异步近似比率一致性的多节点凸最优化问题的求解算法--异步近似分布式乘子交替方向法（AsyAD-ADMM），该算法中每个节点进行迭代计算，并与相邻节点异步交换信息.更具体地说，在AsyAD-ADMM的每次迭代中，每个节点为原始变量之一求解局部凸优化问题，并利用有限时间异步近似共识协议来获得接近最优值的另一变量的值，因为第二原始变量的费用函数是不可分解的。如果各个费用函数是凸的但不一定是可微的，则所提出的算法以$\mathcal{O}(1/k)$的速率收敛，其中$k$是迭代计数器。AsyAD-ADMM的功效是通过一个分布式最小二乘最优化问题的概念验证与不同的性能影响因素的调查。
2021-04-24 cs.DC math.OC
Conservative Signal Processing Architectures For Asynchronous, Distributed Optimization Part II: Example Systems
本文提供了各种同步和异步信号处理系统进行优化的例子，利用在前面的文件中开发的框架和元素。该论文的一般策略是对适用于一类凸和非凸最优化问题的平稳性条件进行线性变换，从而得到对相关原始和对偶决策变量的线性叠加进行运算的算法。本文中的例子解决了各种具体的最优化问题，包括LASSO问题，最小最大最优滤波器设计，分散训练的支持向量机分类器，稀疏滤波器设计的声学均衡。在适当的情况下，多个算法解决相同的最优化问题，说明了使用的基础框架，在设计各种不同类别的算法。例子中附有数值模拟和收敛性的讨论。
2015-03-04 math.OC
Projective Splitting as a Warped Proximal Algorithm
我们证明了P.L. Combettes和J. Eckstein在他们的2018年数学课程中。论文可以被看作是最近提出的翘曲邻近算法的实例。
2021-06-04 math.OC
A New Randomized Block-Coordinate Primal-Dual Proximal Algorithm for Distributed Optimization
本文提出了一种新的原始对偶法TriPD，用于极小化一个Lipschitz可微凸函数和两个可能非光滑的凸函数之和，其中一个凸函数由一个线性映射组成.我们设计了一个随机块坐标版本的算法收敛在相同的步长条件下的完整算法。它表明，无论是原来的，以及块坐标计划功能线性收敛速率时，所涉及的功能是分段线性二次，或当他们满足一定的二次增长条件（这是弱于强凸性）。此外，我们将开发的算法应用到图上的多智能体优化问题，从而获得新的同步和异步分布式方法。所提出的算法是完全分布式的意义上说，每个代理的更新和步长只依赖于本地信息。事实上，不需要事先进行全球协调。最后，我们展示了我们的算法在分布式编队控制中的应用。
2019-09-30 math.OC
Asynchronous Distributed Optimization via ADMM with Efficient Communication
针对带宽有限且存在处理延迟的异步分布式优化问题，提出结合ADMM与有限时间量化平均的分布式算法，证明了在凸且不一定可微条件下的 $O(1/k)$ 收敛率，并验证了其运行优势。
2023-09-08 cs.SY eess.SY math.OC
Distributed Asynchronous Mixed-Integer Linear Programming with Feasibility Guarantees
本文提出一种分布式异步鞍点计算方法求解混合整数线性规划，通过线性规划松弛、正则化Lagrangian及并行算法，保证解的可行性且对异步通信具有容忍度。
2024-09-27 math.OC
Scheduled-Asynchronous Distributed Algorithm for Optimal Power Flow
最优潮流（OPF）问题是一类非凸的大规模最优化问题，在电力网络中有着重要的应用。本文提出了调度异步算法来解决分布式半定规划（SDP）的最优潮流问题。在这个公式中，每个代理寻求解决一个局部最优化与自己的费用函数，物理约束的节点功率注入，电压，和它所连接的线路的功率流，并与邻居共享的变量的决策约束，以确保所获得的解决方案的一致性。在调度异步算法中，电网络中的每对连接节点以交替的方式更新它们的局部变量。这种策略是异步的，在这个意义上，不需要时钟同步，并依赖于一个方向的电网络，规定了精确的排序节点更新。我们建立了原-对偶优化器的渐近收敛性质时，方向是非循环的。鉴于网络方向的收敛速度的依赖性，我们还开发了一个分布式图着色算法，找到一个方向的直径最多为5的电网络的几何度分布。仿真说明了我们的结果在各种IEEE总线测试用例。
2017-10-08 math.OC
Primal-dual algorithm for distributed optimization: A dissipativity-based perspective
University of Notre Dame（圣母大学）
本文提出了一种基于耗散性的连续时间对偶算法，用于在非平衡有向图上解决非凸分布式优化问题，并通过选择增益或设计网络拓扑实现指数收敛。
2026-02-06 math.OC
Distributed deterministic asynchronous algorithms in time-varying graphs through Dykstra splitting
考虑这样一种设置，图的每个顶点都有一个函数，并且通信只能发生在由边连接的顶点之间。我们希望最小化这些函数的和。对于每个函数都是强凸二次函数和凸函数之和的情形，我们提出了Dykstra算法的一个分布式版本.优化双目标函数的计算可以在没有全局时钟的情况下异步运行，并且可以在没有中央控制器的情况下以分布式方式运行。收敛到原始最小值是确定性的，而不是概率性的，并且只要在每个周期中，发生双向通信的边连接所有顶点，就可以保证收敛到原始最小值。我们还将研究一个加速算法，以及当节点上的函数不是强凸函数时的算法。
2018-11-28 math.OC
Distributed Optimization Using the Primal-Dual Method of Multipliers
在本文中，我们提出了原始-对偶乘数法（PDMM）的分布优化图。特别是，我们优化的凸函数定义在一个图，其中图中的每一个边缘进行线性等式约束的总和。在设计新算法时，构造了一个增广的原始-对偶拉格朗日函数，它可以平滑地捕捉图的拓扑结构。结果表明，鞍点的构造函数提供了原问题的最优解。在同步更新和异步更新两种情况下，PDMM对一般闭函数、真函数和凸函数都具有O（1/K）的收敛速度（K表示迭代次数）.通过分布平均实验，研究了PDMM的其他性能，如不同参数设置下的收敛速度和对传输失败的恢复能力。
2017-02-02 cs.DC math.OC
A Nonlinear Bregman Primal-Dual Framework for Optimizing Nonconvex Infimal Convolutions
本文研究非凸、非光滑复合最优化问题的优化问题，其目标是一个非线性映射和一个非光滑非凸函数的复合，可以写成一个下卷积（inf-conv）。为了解决这个问题类，我们建议重新制定的问题，利用其inf-conv结构，并推导出一个块坐标下降方案的Bregman增广拉格朗日，可以异步实施。我们证明了我们的计划收敛到固定点的原始模型的特定选择的罚参数。我们的框架包括各种现有的算法作为特殊情况下，如DC-规划，$k$ -均值聚类和ADMM与非线性算子，当一个特定的目标函数和下卷积分解（下反卷积）被选中。在说明性的实验中，我们提供的证据，我们的算法表现良好的低目标值和鲁棒性对初始化，相比DC编程或$k$ -手段算法。
2018-03-27 math.OC
Communication Efficient Curvature Aided Primal-dual Algorithms for Decentralized Optimization
本文给出了求解分散凸组合问题的一族算法。我们考虑设置一个网络的代理，合作最小化一个全球目标函数组成的本地功能加上正则化。通过使用中间共识变量，我们消除了计算曲率引导更新时，代理之间的内部通信循环的需要。一个通用的计划，统一的分析过多的计算选择，包括梯度下降，牛顿更新，和BFGS更新。我们的分析建立了次线性收敛速度速率下的凸目标函数Lipschitz连续梯度，以及线性收敛速率时，进一步假设局部函数是强凸的。此外，我们明确地描述了由于曲率信息的加速度。最后但并非最不重要的是，我们提出了一个异步实现所提出的算法，它消除了对一个中央时钟的需要，与线性收敛速率建立在强凸目标下的预期。我们确定所提出的方法的有效性与基准数据集上的数值实验。
2023-02-11 math.OC
DADAO: Decoupled Accelerated Decentralized Asynchronous Optimization
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Mila（米拉研究所）；Concordia University（康考迪亚大学）
本文提出 DADAO，一种用独立泊松点过程解耦计算与通信的去中心化异步一阶算法，在强凸光滑分布式优化中同时取得计算与通信加速。
2023-12-06 cs.AI cs.DC math.OC
Economic Properties of Multi-Product Supply Chains
我们将多产品供应链（SC）解释为协调市场;在这种解释下，SC最优化问题是一个市场出清问题，将资源和相关的经济价值（价格）分配给不同的利益相关者（供应商，消费者，运输和加工技术）。市场解释使我们能够建立基本属性，解释物理资源（原始变量）和相关的经济价值（对偶变量）如何在SC中流动。我们使用对偶理论来解释为什么通过强迫利益相关者参与来激励市场（例如，通过强加需求满足或服务提供约束）产生人为的价格行为、低效的分配和经济损失。为了克服这些问题，我们探索市场激励机制，使用出价;在这里，我们引入了利益相关者图（基于产品的供应链表示）的概念，并表明这种表示使我们能够自然地确定激活市场的最低出价。这些结果提供了指导方针，以设计SC配方，适当地补偿利益相关者和设计政策，促进市场交易。结果表明，使用城市废物管理问题的10万居民的城市。
2020-07-02 econ.TH math.OC
Consensus Planning with Primal, Dual, and Proximal Agents
Amazon Supply Chain Optimization Technologies（亚马逊供应链优化技术）
本文提出了一种允许不同类型的智能体协调的共识规划算法，结合了ADMM-like、对偶上升和线性化ADMM更新，实现了次线性及线性收敛性，并提供了实证结果。
2025-11-21 cs.MA math.OC
Asynchronous Accelerated Proximal Stochastic Gradient for Strongly Convex Distributed Finite Sums
本文研究了$n$节点网络上强凸函数和的极小化问题。我们提出了分散和异步算法ADFS来解决的情况下，当地的功能本身是有限和$m$组件。当局部函数光滑时，ADFS线性收敛，并且在单机上执行时与最知名的有限和算法的速度相匹配。在几台机器上，ADFS享受$O (\sqrt{n})$或$O(n)$的加速，这取决于前导复杂度项，只要网络的直径相对于$m$不是太大。这也导致了$\sqrt{m}$的速度超过了最先进的分布式批处理方法，这是有限和算法的预期速度。在通信时间和网络参数方面，ADFS规模以及最佳分布式批处理算法。作为一个侧面的贡献，我们给出了一个广义版本的加速近端坐标梯度算法使用任意采样，我们适用于一个精心挑选的对偶问题，以获得ADFS。然而，ADFS使用原始邻近更新，仅需要解决许多标准机器学习应用程序的一维问题。最后，ADFS可以制定为非光滑的目标具有同样良好的缩放性能。我们说明了改进的ADFS国家的最先进的方法与模拟。
2019-07-17 cs.DC math.OC
A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance
Department of Computer Science University of Konstanz（康斯坦茨大学计算机科学系）；Department of Economics University of St.Gallen（圣加尔登大学经济学系）
本文提出PGDA-RL算法，结合正则化线性规划与随机逼近理论，解决正则化马尔可夫决策过程，实现双时间尺度分解与在线策略更新，证明其收敛性与有限时间保证。
2026-04-14 cs.LG math.OC
Asynchronous Distributed Optimization via Randomized Dual Proximal Gradient
Università del Salento（萨伦托大学）
本文提出基于对偶问题的近似梯度方法，通过选择合适的原变量副本，使对偶问题分离，并开发异步算法以实现非重叠块的分布式优化。
2016-06-24 cs.SY eess.SY math.OC
Asynchronous Push-sum Dual Gradient Algorithm in Distributed Model Predictive Control
针对有向网络上带全局约束的分布式系统DMPC问题，提出异步push-sum对偶梯度算法，证明了R-线性收敛并保证闭环系统稳定性。
2025-11-05 cs.SY eess.SY math.OC
A Communication Efficient Quasi-Newton Method for Large-scale Distributed Multi-agent Optimization
针对大规模多智能体凸组合优化问题，提出了一种通信效率高的拟牛顿法。我们假设设置的代理网络，合作解决一个全球性的最小化问题，强凸的本地费用函数增强了非光滑凸正则化。通过引入一致性变量，我们得到了一个块对角Hessian，从而消除了在近似客观曲率信息时对额外通信的需要。此外，通过存储维度为$d$的向量对$c$，我们降低了现有原始-对偶拟牛顿法从$\mathcal{O}(d^3)$到$\mathcal{O}(cd)$的计算成本。一个异步实现，消除了协调的需要。建立了算法的全局线性收敛速率，并通过实际数据验证了算法的有效性。
2022-02-17 math.OC
Decentralized Consensus Optimization with Asynchrony and Delays
我们提出了一个异步的，分散的共识优化算法。该算法运行在一个网络中的代理与他们的邻居进行通信，并执行本地计算。在所提出的算法中，每个代理可以独立地计算和通信在不同的时间，不同的持续时间，与它的信息，即使从它的邻居的最新信息还不可用。这种异步算法减少了代理由于通信延迟或因为它们的邻居较慢而浪费的空闲时间。它还消除了对用于同步的全局时钟的需要。在数学上，该算法涉及原始变量和对偶变量，使用固定的步长参数，并证明收敛到精确解下有界延迟假设和随机代理假设。当同步运行时，该算法的性能以及现有的竞争同步算法，如PG-EXTRA，没有同步发散。数值实验证实了理论研究结果，并说明所提出的算法的性能。
2017-03-02 cs.DC cs.MA math.OC
Randomized dual proximal gradient for large-scale distributed optimization
在本文中，我们考虑分布式最优化问题，其中费用函数是可分离的（即，所有共享公共变量的可能非光滑函数的和），并且可以被分成强凸项和凸项。第二项通常用于编码约束或正则化解。我们提出了一个异步的，分布式优化算法在无向拓扑结构，基于最近的梯度更新的对偶问题。我们表明，通过适当的原始变量的选择，对偶问题是可分离的和对偶变量可以堆叠成单独的块。这使我们能够表明，一个分布式的八卦更新，可以通过一个随机块坐标的对偶函数的近端梯度。
2016-09-19 cs.DC math.OC
Design of Distributed Controllers Seeking Optimal Power Flow Solutions Under Communication Constraints
本文重点研究了具有分布式能源（DER）的配电网络，并开发了驱动DER输出功率的控制器，以解决时变交流最优潮流（OPF）问题。控制器的设计是基于正则化拉格朗日函数的原始-对偶型方法，以及交流潮流方程的线性逼近。收敛和OPF解决方案跟踪能力被建立，同时确认：i）通信分组丢失，以及ii）控制信号的部分更新。后一种情况是特别相关的，因为它使得能够实现控制器的异步操作，其中DER设定点基于本地电压测量以快速时间尺度更新，并且基于通信约束在网络状态的信息可用时利用该信息。作为一个应用程序，本文认为配电系统具有高渗透水平的光伏系统，并表明，所提出的框架提供快速的电压调节能力，同时使近实时的追求AC OPF解决方案。
2016-12-22 math.OC
A Bregman Splitting Algorithm for Distributed Optimization over Networks
我们考虑分布式最优化问题，其中一组代理是通过对等通信网络协作寻求全局最优值。该问题出现在各种应用领域，如资源分配，传感器融合和分布式学习。我们提出了一个通用的高效分布式算法-分布式前向-后向Bregman分裂（D-FBBS）-同时解决上述原始问题，以及它的双重Bregman方法和运营商分裂的基础上。该算法允许代理异步通信，从而使自己的随机网络。该算法属于一般的邻近点法，在处理固定网络时，与现有的一些著名算法有着密切的联系。然而，我们将表明，它通常是不同于现有的，由于其在处理随机网络的有效性。在适当的假设下，我们分别建立了D-FBBS及其不精确形式（ID-FBBS）在固定网络上的非遍历收敛速度为O（1/k）的不动点残差收敛速度和随机网络上的遍历收敛速度为O（1/k）的不动点残差收敛速度.我们还将该算法应用到传感器融合问题，以显示其优越的性能相比，现有的方法。
2016-08-29 math.OC
Communication-efficient distributed optimization with adaptability to system heterogeneity
本文提出最小通信成本的分布式异步原始-对偶算法，支持不等量局部计算与本地超参数调节，证明其期望线性收敛并验证可适应系统异构、节省计算通信与运行时间。
2023-12-08 math.OC
Distributed Constraint-Coupled Optimization: Harnessing ADMM-consensus for robustness
本文针对智能体网络中的分布式约束耦合优化问题，提出一种基于原始-对偶架构的新算法，利用时间尺度分离理论证明其线性收敛，并验证了其在异步通信和丢包场景下的鲁棒性以及在微电网辅助服务中的有效性。
2025-02-10 cs.DC math.OC
Global Optimization of Flexible District Heating Networks
TU Darmstadt（达姆施塔特工业大学）
本文针对区域供热网络的多时间步长运行全局优化问题，提出改进的空间分支定界算法及时间分解方法，可高效求解含循环的网络实例，在小型网络上时间分解方法能快速得到最优解。
2026-08-19 math.OC
Lagrangian Relaxation for Continuous-Time Optimal Control of Coupled Hydrothermal Power Systems Including Storage Capacity and a Cascade of Hydropower Systems with Time Delays
针对带时滞梯级水电的耦合水火储电力系统无法用经典动态规划求解连续时间最优控制的问题，提出新型连续时间约束拉格朗日松弛法，结合有限内存束法、HJB PDE求解器等实现高效近似最优控制，经乌拉圭电力系统验证有效。
2024-04-11 math.OC
