A Proof of Convergence For the Alternating Direction Method of Multipliers Applied to Polyhedral-Constrained Functions
给出了乘子交替方向法收敛性的一般证明。ADMM是一种优化算法，由于其解决大规模和/或分布式问题的能力，最近变得非常流行。我们证明了ADMM产生的序列收敛到一个最优的原始-对偶最优解。我们假设定义成本f（x）+ g（y）的函数f和g是实值的，但被约束为位于多面体集合X和Y上。我们的证明是[Bertsekas 97，Bottle 11]证明的推广。
2011-12-10 math.OC
An Accelerated Linearized Alternating Direction Method of Multipliers
提出了一种新的加速线性化乘子交替方向法（ADMM）的框架。该方法的基本思想是在线性化ADMM中加入多步加速方案。我们证明了，对于求解一类带线性约束的凸复合优化问题，AADMM的收敛速率优于线性化ADMM，因为它们依赖于光滑分量的Lipschitz常数。此外，AADMM能够处理的情况下，可行域是无界的，只要相应的鞍点问题有一个解决方案。并提出了一种实用的回溯算法。
2014-02-11 math.OC
A Partially Inexact Alternating Direction Method of Multipliers and its Iteration-Complexity Analysis
提出了一种计算线性约束凸优化问题近似解的乘子部分不精确交替方向法。该方法允许第一子问题采用相对近似准则进行非精确求解，而在第二子问题中加入邻近项以简化问题，并在拉格朗日乘子的更新规则中加入步长参数以提高计算性能.建立了该方法的点态和遍历迭代复杂性界。据我们所知，这是第一次，复杂性的结果与相对误差标准的不精确的ADMM进行了分析。一些初步的数值实验报告，以说明新方法的优点。
2018-05-18 math.OC
Iteration-complexity analysis of a generalized alternating direction method of multipliers
分析了求解线性约束凸问题的广义乘子交替方向法（G-ADMM）的迭代复杂性。这个ADMM的变种，这是首先提出的Bertsekas和Eckstein，引入了一个松弛因子$α\in (0,2)$到第二个ADMM子问题。我们的方法是证明G-ADMM是一个具有特殊性质的混合近似外梯度框架的实例，并且作为副产品，我们得到了G-ADMM与$α\in (0,2]$的遍历迭代复杂性，改进和补充了文献中的相关结果.此外，我们还提出了逐点迭代复杂性的G-ADMM。
2017-05-17 math.OC
A Stochastic Alternating Direction Method of Multipliers for Non-smooth and Non-convex Optimization
乘子的交替方向法（ADMM）是一种常用的一阶方法，具有简单、高效等优点。然而，与其他邻近分裂方法类似，当要解决的最优化问题规模变大时，ADMM的性能会显着下降。本文考虑将ADMM与一类方差缩减的随机梯度相结合来求解大规模非凸非光滑最优化问题。在目标函数满足Kurdyka-Lojasiewicz（KL）性质的额外假设下，证明了生成序列的整体收敛.数值实验上的图形引导融合Lasso和计算机断层扫描，以证明所提出的方法的性能。
2020-12-14 math.OC
On the O(1/k) Convergence of Asynchronous Distributed Alternating Direction Method of Multipliers
我们考虑一个网络的代理，合作解决一个全球性的最优化问题，其中的目标函数是私人已知的本地目标函数的代理和决策变量通过线性约束耦合的总和。最近的文献集中在这种配方的特殊情况下，并研究了他们的分布式解决方案，通过次梯度为基础的方法与O（1/sqrt（k））的收敛速率（其中k是迭代次数）或交替方向法的乘法器（ADMM）为基础的方法，这需要一个同步的实现和全球已知的代理顺序。在本文中，我们提出了一种新的异步ADMM为基础的分布式方法的一般配方，并表明它的收敛速度为O（1/k）。
2013-07-31 math.OC
Convergence analysis on the alternating direction method of multipliers for the cosparse optimization problem
本文研究乘子交替方向法（ADMM）求解余稀疏优化问题的收敛性，通过引入辅助变量构建变分不等式表示，并在遍历意义下证明了O(1/t)的最坏情况收敛率。
2023-11-22 math.OC
Alternating Direction Method of Multipliers for Truss Topology Optimization with Limited Number of Nodes: A Cardinality-Constrained Second-Order Cone Programming Approach
本文讨论了柔度最小化桁架，其中可用节点的数量是有限的。结果表明，这个最优化问题可以转化为一个具有基数约束的二阶锥规划问题。我们提出了一个简单的启发式的基础上交替方向的乘数方法。所提出的方法的效率进行了比较与基于混合整数二阶锥规划的全局优化方法。数值实验表明，该方法往往找到一个解决方案，具有良好的目标值与小的计算成本。
2017-12-09 math.OC
Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems
带乘子的交替方向法（ADMM）是解决图像与信号处理和机器学习领域中各种凸或非凸组合问题的最有效和最成功的方法之一。在凸的设置，许多收敛性的结果已经建立了ADMM以及它的品种。然而，由于不存在凸性，非凸ADMM的收敛性分析通常是非常困难的。在本文中，我们研究的Bregman修改的ADMM（BADMM），其中包括传统的ADMM作为一个特殊的情况下，往往会导致改进的算法的性能。在一定的假设下，我们证明了由BADMM产生的迭代序列收敛到相关增广拉格朗日函数的一个稳定点。所得到的结果强调了ADMM在非凸设置下的应用的可行性。
2014-12-05 math.OC
A Linear Convergence Result for the Jacobi-Proximal Alternating Direction Method of Multipliers
Sungkyunkwan University（成均馆大学）
本文证明了在成本函数强凸且光滑的情况下，Jacobi-近端交替方向乘数法具有线性收敛性。
2025-12-05 math.OC
Convergence Analysis of Alternating Direction Method of Multipliers for a Family of Nonconvex Problems
乘子交替方向法（ADMM）在求解大规模线性约束最优化问题（凸或非凸）中有着广泛的应用。然而，当目标函数为非凸函数时，该算法的理论认识普遍缺乏。在本文中，我们分析了ADMM解决某些非凸的共识和共享问题的收敛性，并表明，经典的ADMM收敛到固定的解决方案，提供增广拉格朗日的罚参数选择足够大。对于共享问题，我们证明了ADMM是收敛的，无论可变块的数量。我们的分析不施加任何假设的算法产生的迭代，并广泛适用于许多ADMM变种，涉及近端更新规则和各种灵活的块选择规则。
2015-11-30 math.OC
An inertial alternating direction method of multipliers for solving a two-block separable convex minimization problem
乘子的交替方向法（ADMM）是求解信号和图像处理中出现的许多凸极小化模型的广泛使用的方法。本文提出了一个求解带线性等式约束的两块可分凸极小化问题的惯性ADMM。该算法是利用惯性Douglas-Rachford分裂算法对原问题的对偶问题进行分裂得到的。在无限维希尔伯特空间中研究了该算法的收敛性。此外，我们将该算法应用于鲁棒主成分追踪问题，并将其与其他最先进的算法进行比较。数值结果表明了该算法的优越性。
2021-04-01 math.OC
An adaptive linearized alternating direction multiplier method with a relaxation step for convex programming
针对凸优化中邻近矩阵正定导致迭代步长小的问题，提出带松弛步的自适应线性化交替方向乘子法，动态选择邻近矩阵以增大步长并加速收敛，理论证明全局收敛且数值实验验证有效。
2024-04-26 math.OC
Sensitivity Assisted Alternating Directions Method of Multipliers for Distributed Optimization and Statistical Learning
本文研究了用交替方向乘子法（ADMM）进行分布式模型拟合的问题。ADMM将学习问题分成几个较小的子问题，通常是通过划分数据样本。不同的子问题可以通过由主节点协调的一组工作计算节点并行求解，并且子问题被重复求解直到收敛。在每次迭代中，工作节点必须解决一个凸优化问题，其难度随着问题的大小而增加。在本文中，我们提出了一个灵敏度辅助ADMM算法，利用参数的灵敏度，使子问题的解决方案可以近似使用切向预测，从而减轻计算负担，计算一个线性解决。我们研究了所提出的灵敏度辅助ADMM算法的收敛性。该算法的数值性能示出了一个非线性参数估计问题，和一个多层感知器学习问题。
2022-03-03 math.OC
The exact worst-case convergence rate of the alternating direction method of multipliers
本文利用半正定规划性能估计推导了乘子交替方向法（ADMM）的非渐近收敛速率，证明了在强凸性下其全局线性收敛当且仅当对偶目标满足PL不等式，并给出了线性收敛速率因子的显式公式及两种新场景下的R-线性收敛分析。
2023-05-24 math.OC
A Generalized Alternating Direction Method of Multipliers with Semi-Proximal Terms for Convex Composite Conic Programming
本文提出了一种带半邻近项的广义乘子交替方向法（ADMM），用于求解一类凸复合锥最优化问题，其中有些问题是高维的，具有中等精度.我们的主要动机是，这种方法，加上适当选择的半邻近项，如最近的对称高斯-赛德尔技术的进步所产生的，是适用于解决这些问题。此外，所提出的方法，放松原始和对偶变量在一个自然的方式与一个松弛因子的间隔$(0,2)$，有可能提高经典的ADMM的性能。对各种双非负半定规划问题，无论有无不等式约束，进行了广泛的数值实验。结果表明，所有这些多块问题都可以逐次求解，且松弛步长的优势是明显的。
2018-01-16 math.OC
A Heuristic Alternating Direction Method of Multipliers Framework for Distributed and Centralized Tree-Constrained Optimization: Applications to Hop-Constrained Spanning Tree Multicommodity Flow Design
New Jersey Institute of Technology (NJIT)（新泽西理工学院）
本文提出了一种启发式交替方向乘子法框架，用于解决具有树约束的非凸优化问题，并应用于具有跳数限制的生成树多商品流设计，通过连续松弛和增强拉格朗日方法实现高效求解。
2026-03-08 math.OC
Iterative Complexity and Its Applications of Linearized Generalized Alternating Direction Method of Multipliers with Multi-block Case
考虑了一类带线性约束的多块可分凸优化问题，其中目标函数是m个无重叠变量的凸函数之和.线性化的广义乘子交替方向法（L-GADMM）对两块可分凸规划问题特别有效，并证明了当两块变量交替更新时，其收敛性.然而，L-GADMM的扩展（m>=3）的收敛性和一些实际应用仍处于起步阶段。本文将该算法推广到目标函数由m块凸函数之和组成的一般情况。理论上，我们证明了新算法的整体收敛性，并建立了算法在遍历和非遍历意义下的最坏情况下的收敛速度。通过对相关阵标定的数值结果进一步证明了新方法的有效性。
2022-04-12 math.OC
Decentralized Quadratically Approximated Alternating Direction Method of Multipliers
本文考虑了一个最优化问题，即目标函数的各分量在网络的不同节点上都是可用的，并且只允许节点与它们的邻居交换信息。分散交替乘数法（DADMM）是一个完善的迭代法解决这类问题，然而，DADMM的实施需要解决每个节点的每次迭代的优化子问题。这个过程对于节点来说通常是计算上昂贵的。我们引入了一个分散的二次近似的ADMM（DQM），降低了计算复杂性的DADMM通过最小化的二次近似的目标函数。尽管DQM连续最小化近似的成本，它收敛到最佳的参数在一个线性的速度是相同的收敛速度的DADMM。此外，我们表明，随着时间的推移的线性收敛系数DQM接近DADMM。数值结果验证了DQM的有效性。
2015-10-26 math.OC
A Majorized-Generalized Alternating Direction Method of Multipliers for Convex Composite Programming
目标函数包含两个块且每个块为非光滑+光滑形式的线性约束凸组合规划问题在许多应用领域中经常出现。如果两个光滑项都是二次项，则利用基于对称高斯-赛德尔（sGS）技术的乘子邻近交替方向法（ADMM）可以有效地解决该问题。然而，在非二次情形下，SGS技术不能再使用，这导致非光滑+光滑的可分离结构不得不被忽略。在本文中，我们提出了一个广义ADMM，特别是使用优化技术，使相应的子问题更适合于有效的计算。在适当的条件下，证明了$(0,2)$中松弛因子的整体收敛.应用该算法求解了一类模拟凸复合最优化问题和一类稀疏协方差阵逆估计问题，结果表明该算法的有效性是明显的。
2021-11-24 math.OC
An Alternating Direction Method of Multipliers with the BFGS Update for Structured Convex Quadratic Optimization
乘子交替方向法是求解大范围凸问题的一种有效方法。在每次迭代中，经典的ADMM精确地解决了两个子问题。然而，在许多应用中，获得子问题的精确解是昂贵的或不可能的。为了克服这一困难，在子问题中加入了一些近似项。这类方法通常近似地解决原始子问题，因此需要更多的迭代。这一事实促使我们考虑，一个特殊的近端项可以导致一个更好的结果作为经典的ADMM。在本文中，我们提出了一个近端ADMM的正则化矩阵在近端项是由BFGS更新（或有限内存BFGS）在每次迭代。这些类型的矩阵使用目标函数的二阶信息。在一定的假设条件下证明了该方法的收敛性。数值结果表明，建议的近端ADMM的有效性。
2019-03-06 math.OC
Alternating Direction Method of Multipliers with Variable Metric Indefinite Proximal Terms for Convex Optimization
研究了线性约束凸优化问题的变尺度不定邻近项乘子邻近交替方向法。由于该方法的子问题易于求解，因此在许多应用领域中起着重要的作用。最近的研究表明，具有固定不定近似项的近似ADMM比具有半正定项的近似ADMM收敛速度快，且仍具有整体收敛的性质。另一方面，Gu和Yamashita研究了变度量半定邻近ADMM，其邻近项由BFGS更新生成。他们报告说，一个稍微不定矩阵也使算法在他们的数值实验中工作得很好。基于这一事实，我们考虑了一个变度量的不定邻近ADMM，并给出了关于邻近项的整体收敛的充分条件。此外，我们提出了一个新的不定邻近项的基础上的BFGS更新，可以满足条件的整体收敛。
2019-06-28 math.OC
Faster and Non-ergodic O(1/K) Stochastic Alternating Direction Method of Multipliers
研究了线性等式约束下的随机凸优化问题。传统的乘子随机交替方向法及其Nesterov加速方案只能达到O（1/ \sqrt{K}）的收敛速度，其中K为迭代次数.通过引入方差缩减（VR）技术，使算法的收敛速度提高到O（1/K）。在本文中，我们提出了一个新的随机ADMM精心集成Nesterov的外推和VR技术。我们证明了我们的算法可以达到非遍历的O（1/K）收敛速度，这是可分线性约束非光滑凸问题的最优收敛速度，而基于VR的ADMM方法的收敛速度实际上是非遍历意义下的紧O（1/ \sqrt{K}）.据我们所知，这是第一个工作，实现了真正的加速，随机收敛速度的约束凸问题。实验结果表明，我们的算法是显着的速度比现有的国家的最先进的随机ADMM方法。
2017-04-22 math.OC
Online Alternating Direction Method of Multipliers for Online Composite Optimization
本文提出在线半近端交替方向乘子法，在温和条件下实现O(√N)目标与约束遗憾，并解决子问题不可解性，通过数值实验验证其有效性。
2024-02-08 math.OC
An Adaptive Alternating Direction Method of Multipliers
乘子交替方向法是求解线性约束凸优化问题的一种有效分裂算法。鉴于它的普及性和适用性，越来越多的注意力被吸引到非凸设置ADMM。非凸函数最小化问题的最新研究包括对目标函数的各种假设组合，特别是包括Lipschitz梯度假设。我们考虑的情况下，目标是一个强凸函数和一个弱凸函数。为此，我们提出并研究了自适应版本的ADMM，它采用了广义概念的凸性和不同的罚参数适应的凸性常数的功能。我们证明了自然假设下的计划收敛。为此，我们采用最近的自适应道格拉斯-Rachford算法，通过重温著名的对偶关系之间的经典ADMM和道格拉斯-Rachford分裂算法，推广这种连接到我们的设置。我们说明了我们的方法，有关和比较的替代品，并通过数值实验的信号去噪问题。
2022-08-17 math.OC
DQM: Decentralized Quadratically Approximated Alternating Direction Method of Multipliers
本文考虑分散共识最优化问题，其中网络的节点可以访问全局目标函数的不同和。节点通过只与邻居交换信息来合作以最小化全局目标。交替方向乘法（DADMM）的分散版本是解决这类问题的常用方法。DADMM对最优目标具有线性收敛速率，但其实现需要在每次迭代中求解凸优化问题。这在计算上可能是昂贵的，并且可能导致大的总体收敛时间。本文提出了一种分散的二次近似ADMM算法（DQM），它最小化DADMM在每次迭代中最小化的目标函数的二次近似。随之而来的减少计算时间的收敛性能的影响最小。收敛仍然以线性速率进行，并具有与DADMM线性收敛速率常数渐近等价的保证常数。数值结果表明，相对于DADMM和其他替代品的逻辑斯谛回归问题的DQM的优势。
2015-08-09 math.OC
Distributed Nash Equilibrium Seeking under Partial-Decision Information via the Alternating Direction Method of Multipliers
在本文中，我们考虑在一般连通网络上的多人博弈中寻找纳什均衡的问题。该模型与传统设置的不同之处在于，参与者具有关于其对手的动作的部分信息，并且通信图不一定与参与者的成本依赖图相同。我们开发了一个相对快速的算法框架内的不精确ADMM，基于本地的球员之间的信息交换。在固定步长下证明了算法收敛于Nash均衡，并分析了算法的收敛速度。数值模拟说明了它的好处相比，一个基于共识的梯度型算法，减少步长。
2019-02-09 math.OC
On the dual step length of the alternating direction method of multipliers
乘子交替方向法是求解线性约束可分凸优化问题的一种最常用的优化方法。当对偶步长小于黄金分割比时，ADMM的收敛性可以得到保证，而大量的数值证据表明，更大的对偶步长往往会加速收敛。同时证明了在某些特殊情况下，即目标函数中的可分函数之一为线性，或两者均为二次加上某些附加假设，对偶步长可以扩大到小于2。然而，目前还不清楚黄金比例是否可以超过一般凸设置。本文利用性能估计框架分析了ADMM的收敛性，并通过数值和符号计算，构造了一个反例，指出当双步长超过黄金分割比时，传统的ADMM度量可能会失去单调性，排除了在传统分析框架下突破黄金分割比的可能性。
2020-06-20 math.OC
Half-Quadratic Alternating Direction Method of Multipliers for Robust Orthogonal Tensor Approximation
具有一个或多个列正交因子矩阵的高阶张量标准多元分解（CPD）是近年来研究较多的一类分解。然而，大多数现有的模型惩罚噪声，如果发生，通过采用最小二乘损失，这可能是敏感的非高斯噪声或离群值，导致潜在因素的偏差估计。本文基于最大后验估计，得到了一个具有柯西损失的鲁棒正交张量CPD模型，该模型对重尾噪声和野值具有较好的抵抗性。通过研究模型的半二次性质，提出了一种求解该模型的新方法--半二次乘子交替方向法（HQ-ADMM）。HQ-ADMM中涉及的每个子问题都有一个封闭形式的解。由于柯西损失的一些很好的性质，我们表明，该算法产生的整个序列全局收敛到所考虑的问题的一个稳定点。模拟数据和真实数据的数值实验表明了该模型和算法的有效性和鲁棒性。
2020-05-11 math.OC
A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization
考虑多面体上非凸可微函数的极小化问题。一个流行的原始-对偶一阶方法是对增广拉格朗日函数进行梯度投影迭代，然后使用约束残差更新对偶乘子向量。然而，数值例子表明，这种方法可以表现出“振荡”，可能不会收敛。在本文中，我们提出了一个接近的交替方向法的乘法器的多块版本的这个问题。该方法的显著特征是引入了“平滑”（即，指数加权）原始迭代序列，并且在每次迭代时，将以当前平滑原始迭代为中心的二次邻近项包含到增广拉格朗日函数中。在每次迭代中，得到的近端增广拉格朗日函数被不精确地最小化（经由梯度投影步骤），而使用线性约束的残差来更新对偶乘子向量。当原始和对偶步长足够小时，我们证明了适当的“平滑”可以稳定“振荡”，并且新的近似ADMM算法的迭代在一些温和的正则性条件下收敛到一个稳定点。当目标函数为二次函数时，证明了算法的线性收敛性.我们的证明是基于一个新的势函数和一个新的使用误差界。
2020-08-04 math.OC
Nonconvex Generalization of Alternating Direction Method of Multipliers for Nonlinear Equality Constrained Problems
经典的乘子交替方向法是求解线性等式约束问题的一种常用方法。在本文中，我们将ADMM自然地扩展到非线性等式约束问题，称为neADMM。neADMM的难点在于求解非凸子问题。我们提供了全球最优解，他们在两个重要的应用。合成和真实世界的数据集上的实验表明，我们提出的neADMM在现有的状态的开始方法的出色的性能和可扩展性。
2021-03-16 cs.SI math.OC
Alternating Direction Method of Multipliers for A Class of Nonconvex and Nonsmooth Problems with Applications to Background/Foreground Extraction
在本文中，我们研究了一个通用的最优化模型，它涵盖了现有的模型在成像科学中的许多应用的大类。为了解决由此产生的可能的非凸，非光滑和非Lipschitz最优化问题，我们适应交替方向法的乘法器（ADMM）与一般的双步长求解包含三个变量块的重新制定，并分析其收敛性。我们发现，对于任何双步长小于黄金分割比，存在一个可计算的阈值，这样，如果罚参数被选择在这样的阈值以上，从而产生的序列由我们的ADMM是有界的，那么该序列的聚类点给出了一个固定点的非凸最优化问题。我们通过专门为ADMM构建的势函数实现这一点。此外，如果这个特殊的势函数是一个Kurdyka-Schojasiewicz函数，我们建立了整个序列的整体收敛。此外，我们提出了一个简单的策略初始化算法，以保证序列的有界性。最后，我们进行了数值实验，比较我们的ADMM与[5]中提出的近端交替线性化最小化（PALM）的背景/前景提取问题与真实数据。数值结果表明，我们的ADMM与非平凡的对偶步长是有效的。
2016-09-29 math.OC
Alternating Direction Method of Multipliers for Decomposable Saddle-Point Problems
鞍点问题出现在各种环境中，包括机器学习、零和随机对策和回归问题。本文考虑可分解鞍点问题，研究了乘子交替方向法在这类鞍点问题中的推广。该算法不是直接求解原鞍点问题，而是利用可分解结构求解较小的鞍点问题。在一个较弱的假设下，我们证明了该算法对凸-凹鞍点问题的收敛性。我们还提供了一个充分条件的假设成立。我们证明了鞍点交替方向法的乘法器的收敛性与数值例子的通信信道中的功率分配问题和网络路由问题的对抗成本。
2022-12-27 cs.GT math.OC
An Alternating Direction Method of Multipliers for Utility-based Shortfall Risk Portfolio Optimization
School of Data Science, Fudan University（复旦大学数据科学学院）；Department of Industrial and Systems Engineering, University of Minnesota（明尼苏达大学工业与系统工程系）
针对基于效用短缺风险的投资组合优化问题，提出结合样本平均近似与交替方向乘子法的快速可扩展算法，并设计半光滑牛顿法处理高维投影子问题，实现超线性收敛与显著加速。
2026-09-14 math.OC
Parallelizable Riemannian Alternating Direction Method of Multipliers for Non-convex Pose Graph Optimization
Beihang University（北京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出了一种可并行化的黎曼交替方向乘子法，用于高效解决非凸位姿图优化问题，通过引入等式约束和闭式解保证稳定性与收敛性，实验证明其在大规模SLAM任务中的优越性能。
2026-01-22 math.OC
Optimal parameter selection for the alternating direction method of multipliers (ADMM): quadratic problems
乘子的交替方向法（ADMM）已成为一种强大的技术，用于大规模结构优化。尽管ADMM的收敛性能的许多最近的结果，算法参数的收敛时间的方法的影响的定量表征仍然缺乏。在本文中，我们找到了最佳的算法参数，最小化的ADMM迭代的收敛因子的上下文中的l2-正则化的最小化和约束二次规划。数值例子表明，我们的参数选择规则显着优于现有的替代品在文献中。
2014-04-12 math.DS math.OC
Local Linear Convergence of the Alternating Direction Method of Multipliers for Semidefinite Programming under Strict Complementarity
Harvard University（哈佛大学）；University of Houston（休斯顿大学）
本文研究了交替方向乘子法在半正定规划中的局部线性收敛性，证明在严格互补性条件下，ADMM可实现局部线性收敛，且通过实验验证了其在多种SDP实例中的有效性。
2026-11-13 math.OC
Asynchronous Distributed Optimization using a Randomized Alternating Direction Method of Multipliers
考虑一组网络代理赋予私人成本函数，并寻求找到一个共识的最小化的总成本。介绍了一类新的随机异步分布优化方法。该方法将标准的交替方向乘法器（ADMM）推广到异步设置，其中网络的隔离组件以不协调的方式被激活。该算法依赖于引入随机高斯-赛德尔迭代的道格拉斯-Rachford运营商寻找两个单调运营商的总和的零。收敛到所寻求的极小提供温和的连接条件下。数值结果支持我们的主张。
2013-03-12 cs.DC math.OC
An Inexact Alternating Direction Method of Multipliers for Constrained Parabolic Optimal Distributed Control Problems
Jilin University（吉林大学）；Lanzhou University（兰州大学）；Beijing University of Post and Telecommunications（北京邮电大学）；Key Laboratory of Mathematics and Information Networks (Beijing University of Posts and Telecommunications), Ministry of Education（教育部数学与信息网络重点实验室（北京邮电大学））
本文提出了一种近似交替方向乘子法，用于求解带约束的抛物最优分布控制问题，通过解耦控制约束和非光滑目标函数，提高了计算效率和实用性。
2026-02-28 math.OC
Accelerated linearized alternating direction method of multipliers with Nesterov extrapolation
针对两块线性约束复合凸优化问题，本文利用 Nesterov 外推提出两类加速线性化 ADMM，在强凸与 Lipschitz 梯度条件下取得 O(1/k^2) 非遍历收敛率。
2024-05-10 math.OC
An Accelerated Proximal Alternating Direction Method of Multipliers for Optimal Decentralized Control of Uncertain Systems
针对$\boldsymbol{\rm H_2}$保代价最优分散控制的稳定性问题，将其转化为锥规划问题后提出加速近端交替方向乘子法，通过Halpern不动点迭代提升收敛速度，实验表明其性能优于CVXOPT和SCS算法。
2024-02-02 math.OC
Alternating Direction Method of Multipliers for Sparse Principal Component Analysis
我们考虑由d 'Aspremont等人在（d' Aspremont等人SIAM Rev 49：434-448，2007）中提出的稀疏主成分分析的凸松弛。这种凸松弛是一个非光滑半定规划问题，其中所需矩阵的$\ell_1$范数被施加在目标函数或约束中，以提高所得矩阵的稀疏性。稀疏主成分是通过对得到的稀疏矩阵进行秩一分解而得到的。我们提出了一个基于变量分裂技术和增广拉格朗日框架的交替方向法来求解这个非光滑半定规划问题。与（d 'Aspremont et al. SIAM Rev 49：434-448，2007）中提出的近似求解原始半定规划问题的对偶问题的一阶方法相比，我们的方法直接处理原始问题并精确求解，这保证了所得矩阵是稀疏矩阵。证明了该方法的整体收敛结果。数值结果的合成问题和实际应用中的分类文本数据和参议院投票数据的报告，以证明我们的方法的有效性。
2011-11-29 math.OC
Fully Distributed Alternating Direction Method of Multipliers in Digraphs via Finite-Time Termination Mechanisms
在这项工作中，我们考虑分布式最优化问题，其中每个节点都有自己的凸费用函数，可以直接与它的邻居，所确定的有向通信拓扑结构（有向图或有向图）。首先，我们重新制定的最优化问题，使交替方向法的乘数（ADMM）可以利用。在此基础上，提出了一种多节点凸最优化问题的分布式乘子交替方向法（D-ADMM-FTERC），每个节点进行迭代计算，并与相邻节点进行信息交换。在D-ADMM-FTERC的每次迭代中，每个节点解决原始变量之一的局部凸优化问题，并利用有限时间精确一致性协议来获得另一个变量的最优值，因为第二原始变量的费用函数是不可分解的。由于D-ADMM-FTERC需要知道网络中节点数的上界，因此我们进一步提出了一种新的算法，称为全D-ADMM瞬时分布式终止（FD-ADMM-FTDT）算法，该算法不需要任何全局信息。如果各个费用函数是凸的并且不一定是可微的，则所提出的算法以O（1/k）的速率收敛，其中k是迭代计数器。此外，如果全局目标函数是强凸和光滑的，所提出的算法具有“近似”R-线性收敛速率。FD-ADMM-FTDT的有效性通过分布式L1正则化逻辑斯谛回归优化示例来证明。此外，与其他国家的最先进的算法的比较提供了对大规模网络显示优越的精度和时间效率的性能FD-ADMM-FTDT。
2021-10-06 math.OC
Decision Making under Cumulative Prospect Theory: An Alternating Direction Method of Multipliers
针对累积前景理论下的决策优化问题，提出首个基于交替方向乘子法并具理论保证的数值方法，通过动态规划和改进算法求解子问题，证明了收敛性并利用真实数据验证了有效性。
2024-04-26 math.OC
Linear Rate Convergence of the Alternating Direction Method of Multipliers for Convex Composite Quadratic and Semi-Definite Programming
对求解线性约束凸组合最优化问题的乘子交替方向法的线性速度收敛性进行了全面的分析.在一定的误差界条件下，我们建立了一个更一般的半邻近ADMM的全局线性收敛速率，其对偶步长被限制在开区间$(0, (1+\sqrt{5})/2)$内。在我们的分析中，我们既不假设强凸性，也不假设严格互补性，除了一个误差界条件，这对凸复合二次规划自动成立。这种半近似ADMM包含了经典ADMM的优点，不仅解决了经典ADMM中子问题的潜在不可解性问题，而且具有高效处理多块凸优化问题的能力.我们将用凸复合二次规划和二次半定规划作为重要的应用来证明所得结果的意义。利用二阶变分分析中的新颖性，通过二阶充分最优性条件和严格的Robinson约束规格，对非线性凸半定最优化问题的孤立镇定性进行了完整的刻画，证明了半近似ADMM应用于两块和多块凸二次半定规划时的线性速度收敛性.
2015-08-10 math.OC
Symmetric Gauss-Seidel Technique Based Alternating Direction Methods of Multipliers for Transform Invariant Low-Rank Textures Problem
变换不变的低秩纹理，被称为TILT，可以准确和鲁棒地从用户指定的2D窗口中提取3D中的纹理或几何信息，尽管有显著的损坏和扭曲。结果发现，该任务的特点，在理论上和数值上，通过解决一系列的矩阵核范数和$\ell_1$ -范数涉及凸极小化问题。为解决这一问题，通常采用Gauss-Seidel方法对乘子交替方向法（ADMM）进行直接推广，在实际应用中取得了很好的数值效果，但其收敛性没有理论保证。在本文中，我们解决了这个困境，使用新的对称高斯-赛德尔（sGS）为基础的ADMM开发的李，孙\和Toh（Math. Prog. 2016）。的sGS-ADMM是保证收敛，我们将证明在本文中，它也是实际有效的比直接扩展ADMM。当SGS技术被应用到这个特定的问题，我们表明，只有一个变量需要重新更新，这种更新几乎不施加任何过多的计算成本。Li，Sun \& Toh（arXiv：1703.06629）的sGS分解定理建立了sGS-ADMM和经典ADMM之间的等价性，并增加了一个半邻近项，因此收敛性结果可以直接得到.大量的实验表明，sGS-ADMM及其广义变体具有优越的数值效率比直接扩展的ADMM。
2018-01-03 math.OC
Alternating direction method of multipliers for regularized multiclass support vector machines
支持向量机（SVM）最初是为二进制分类而设计的。大量的工作已经投入到推广的二进制支持向量机多类支持向量机（MSVM），这是更复杂的问题。最初，MSVM通过考虑它们的对偶公式来求解，这些对偶公式是二次规划并且可以通过标准二阶方法来求解。然而，具有正则化器的MSVM的迭代通常更难以公式化，并且求解起来在计算上非常昂贵。本文重点研究了几种正则化的最小支持向量机，并将交替方向乘子法（ADMM）推广到这几种最小支持向量机上。使用分裂技术，所有考虑的MSVMs都被写成两块凸规划，ADMM对此具有全局收敛性保证。模拟数据和真实数据的数值实验表明了算法的高效性和准确性。
2015-11-30 math.OC stat.ML
Alternating Direction Method of Multipliers for nonlinear constrained convex problems and applications to distributed resource allocation and constrained machine learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出了一种非线性交替方向乘子法，用于解决非线性约束凸问题，适用于分布式资源分配和约束机器学习，通过保持经典分解结构并利用凸性，实现了更高的通信效率。
2026-02-26 math.OC
A Convergent Semi-Proximal Alternating Direction Method of Multipliers for Recovering Internet Traffics from Link Measurements
单纯从链路测量中恢复大规模的互联网流量数据是一个挑战。随着问题规模的快速增长，恢复精度和计算成本将变得非常困难。在这项工作中，我们提出了一个新的稀疏低秩恢复（SLRR）模型和它的Schur补基于半邻近乘子交替方向法（SCB-spADMM）求解器。我们的方法主要有以下两个方面。首先，我们充分利用空间低秩属性和交通数据的稀疏性，这在文献中几乎没有考虑。该模型可以分解为一系列子问题，这些子问题只与某个时间段内的交通量有关。因此，模型规模显著减小。其次，我们建立了一个全局收敛的ADMM型算法的启发[李等人，数学课程，155（2016）]求解SLRR模型。在每次迭代中，所有中间变量的最优解都可以解析计算，这使得算法快速准确。此外，由于SLRR模型的可分性，有可能设计一个并行算法，以进一步减少计算时间。在经典数据集Abilene和GEANT上的数值结果表明，该方法以较低的计算代价获得了最佳的精度.此外，在我们新发布的大规模华为源-目的地（HOD）网络流量中，我们的方法完美地达到了秒级反馈，满足了实际场景的基本要求。
2021-02-05 math.OC
An Alternating Direction Method of Multipliers for Topology Optimization
Czech Technical University in Prague（布拉格捷克理工大学）；Argonne National Lab（阿贡国家实验室）
本文针对拓扑优化中受PDE约束、TV正则化的整数优化问题，采用ADMM框架分解为子问题求解，利用增广拉格朗日保证一致性并促进收敛。
2026-10-07 cs.NA math.NA math.OC
A Distributed Parallel Optimization Algorithm via Alternating Direction Method of Multipliers
乘子交替方向法（ADMM）算法是求解分布式最优化问题（DOP）的常用算法。本文提出了一种新的分布式并行ADMM算法，该算法通过修改现有的分布式顺序ADMM，允许代理以完全分布式和并行的方式更新其局部状态和对偶变量。此外，还说明了变量的更新规则和存储方法。结果表明，所有的智能体可以达成共识，渐近收敛到最优解。此外，全局费用函数将以O（1/k）的速度收敛到最优值。数值算例的仿真结果表明了该算法的有效性。
2021-11-20 cs.SY eess.SY math.OC
On convergence rates of proximal alternating direction method of multipliers
本文从适定凸优化和不适定逆问题两个角度，研究希尔伯特空间中近似ADMM的收敛速度，得到改进的非遍历收敛率和噪声相关的正则化收敛结果。
2023-10-09 cs.NA math.NA math.OC
Bregman Alternating Direction Method of Multipliers
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
镜像下降算法（MDA）通过使用Bregman散度代替平方欧几里德距离来推广梯度下降。在本文中，我们同样推广的交替方向法的乘法器（ADMM）Bregman ADMM（BADMM），它允许选择不同的Bregman分歧，利用问题的结构。BADMM为ADMM及其变体提供了一个统一的框架，包括广义ADMM，不精确ADMM和Bethe ADMM。我们建立了BADMM的整体收敛和$O(1/T)$迭代复杂性。在某些情况下，BADMM可以比ADMM快$O(n/\log(n))$倍。在求解大批量运输问题的线性规划问题时，BADMM具有大规模并行性，易于在GPU上运行。BADMM比高度优化的商业软件Guidelines快几倍。
2014-07-08 cs.LG math.OC stat.ML
Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization
本文研究了非凸优化问题的随机交替方向法（ADMM），基于不同的方差约化随机梯度，提出了三类方差约化的非凸随机ADMM。具体来说，第一类称为非凸随机方差降低梯度ADMM（SVRG-ADMM），使用多阶段计划，逐步减少随机梯度的方差。第二种是非凸随机平均梯度ADMM（SAG-ADMM），它还使用了在前一次迭代中估计的旧梯度。第三种称为SAGA-ADMM，是SAG-ADMM方法的扩展。此外，在适当的条件下，我们建立了所提方法的$O(1/ε)$的迭代复杂度界，以获得非凸优化问题的$ε$ -平稳解.特别是，我们提供了一个通用的框架来分析这些非凸随机ADMM方法的迭代复杂性与方差减少。最后，数值实验验证了本文方法的有效性.
2017-07-26 math.OC stat.ML
