ADMM for combinatorial graph problems
本文研究了一类一般的组合图问题，包括MAX-CUT和社区检测问题，将其转化为非凸约束下的二次目标问题，并通过乘子的交替方向法（ADMM）求解.我们提出两个重新表述：一个使用向量变量和二进制约束，和其他进一步重新制定Burer-Monteiro形式为更简单的子问题。尽管非凸约束，我们证明了ADMM迭代收敛到一个稳定点，在这两个配方，在温和的假设。此外，最近的工作表明，在后一种形式中，当矩阵因子足够宽时，具有高概率的局部最优值也是全局最优值。为了证明我们的算法的可扩展性，我们包括最大切割，社区检测，图像分割基准和模拟的例子。
2018-05-27 math.OC
ADMM for Nonconvex Optimization under Minimal Continuity Assumption
本文提出IPDS-ADMM算法，在仅要求目标函数单块连续的宽松条件下求解多块非凸复合优化问题，通过递增惩罚与递减平滑策略，实现了O(ε^{-3})的预言机复杂度，并在稀疏PCA实验中验证了有效性。
2025-03-31 math.OC
Relative-error inertial-relaxed inexact versions of Douglas-Rachford and ADMM splitting algorithms
本文导出了求解极大单调算子的Douglas-Rachford分裂法和求解凸优化的乘子交替方向法的新的不精确变形。该分析是基于一个新的不精确版本的邻近点法，其中包括一个惯性步骤和超松弛。我们应用我们的新的不精确ADMM方法LASSO和逻辑斯谛回归问题，并获得更好的计算性能比以前的不精确ADMM方法。
2019-04-23 math.OC
Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights
本文对具有二次耦合项的不可分极小化模型建立了乘子的近似交替方向法（ADMM）和块坐标下降法（BCD）的收敛性.本文提出的新的收敛结果回答了几个开放的问题，一直是相当多的讨论的主题。我们首先扩展2块近端ADMM线性约束的凸优化与耦合二次目标函数，理论上的理解是目前缺乏的一个领域，并证明了由近端ADMM产生的序列逐点收敛到一个原始-对偶解决方案对。将随机置换ADMM（RPADMM）应用于不可分多块凸优化，并证明了其对一类不可分二次规划问题的期望收敛性。当线性约束消失时，2-块邻近ADMM和RPADMM退化为2-块循环邻近BCD方法和随机排列BCD（RPBCD）。我们的研究提供了第一个2-块循环邻近BCD的收敛结果，而不假设迭代的有界性。我们还从理论上建立了凸二次优化的多块RPBCD的期望收敛性结果。此外，我们证明了RPBCD可能有一个更差的收敛速度比循环接近BCD 2块凸二次极小化问题。虽然RPADMM和RPBCD的结果仅限于二次极小化模型，但它们提供了一些有趣的见解：1）随机置换使ADMM和BCD对多块凸极小化问题更具鲁棒性; 2）循环BCD对“好”问题的性能可能优于RPBCD，因此RPBCD在求解一般凸优化问题时应谨慎应用。
2017-03-15 math.OC
Convergence analysis of a relaxed inertial alternating minimization algorithm with applications
乘子交替方向法是求解线性等式约束凸可分极小化问题的一种常用方法。将两块ADMM推广到三块ADMM并不是简单的，因为三块ADMM一般不收敛。已经开发了三块ADMM的许多变体，并保证收敛。交替极小化算法（AMA）是求解线性等式约束凸可分极小化问题的一种重要算法。AMA算法是由Tseng首先提出的，它等价于应用于相应对偶问题的前后向分裂算法。在本文中，我们设计了一个变种的三块AMA，这是通过采用惯性扩展的三算子分裂算法的对偶问题。与三分块ADMM相比，该算法的第一个子问题只需要最小化拉格朗日函数。作为副产品，我们得到了一个放松的戴维斯和尹算法。在对参数较弱的条件下，证明了算法在无限维希尔伯特空间中的收敛性.最后，我们进行了数值实验的稳定的主成分追踪（SPCP），以验证所提出的算法的效率和有效性。
2021-05-07 math.OC
On Convergence of Heuristics Based on Douglas-Rachford Splitting and ADMM to Minimize Convex Functions over Nonconvex Sets
近年来，基于Douglas-Rachford分裂算法和乘子的交替方向法（ADMM）的算法在非凸集上最小化凸函数方面取得了经验性的成功，但对它们的理论认识还没有得到很大的提高。在本文中，我们研究这些算法的收敛性。首先，我们刻画了非凸约束集上涉及凸费用函数的极小化问题的最优解。我们证明了这些最优解与非凸Douglas-Rachford算子的不动点集有关.其次，我们建立了Douglas-Rachford分裂启发式收敛于一个点或其聚点形成非空紧连通集的充分条件。在启发式收敛到一个点的情况下，我们建立了该点是最优解的充分条件。然后，我们讨论了如何ADMM启发式可以构造从道格拉斯-Rachford分裂算法。我们表明，不同于在凸的情况下，在我们的非凸设置的算法是不等价的，彼此之间有一个相当复杂的关系。最后，我们对ADMM启发式算法的收敛性进行了评论，并将其与Douglas-Rachford分裂启发式算法进行了比较。
2019-02-08 math.OC
Inexact indefinite proximal ADMMs for 2-block separable convex programs and applications to 4-block DNNSDPs
本文研究了带线性约束的两块可分凸极小化问题，对于这类问题，用乘子的交替方向法（ADMM）求其子问题的精确解是不可能的或代价太高.这类结构化凸极小化问题通常出现在具有线性约束的三块或四块可分凸优化问题的两块重组求解中，或者出现在图像处理中的约束全变差超分辨率图像重建问题中。针对这些问题，我们提出了一种步长为$τ\in\!(0,\frac{\sqrt{5}+1}{2})$的非精确不确定邻近ADMM，并利用两个易于实现的不精确准则来控制子问题的解的精度，在不确定邻近项的温和假设下证明了算法的收敛性.我们将所提出的不精确不定近似ADMM应用于具有线性约束的三块或四块可分凸极小化问题，这些问题来自于一类重要的具有多个线性等式和/或不等式约束的双非负半定规划（DNNSDP）问题的对偶.数值结果表明，基于绝对误差准则的非精确不定邻近ADMM算法无论在迭代次数还是计算时间上，都与不保证收敛的步长为$τ=1.618$的直接扩展多块ADMM算法具有相当的性能.
2015-07-29 math.OC
An Efficient ADMM Method for Ratio-Type Nonconvex and Nonsmooth Minimization in Sparse Recovery
本文针对非凸非光滑的比率型稀疏恢复问题，提出了一种高效的ADMM方法，在理论上证明了收敛性，并通过实验验证了其在稀疏恢复和神经网络稀疏化中的优越性能。
2025-09-26 math.OC
On the Sublinear Convergence Rate of Multi-Block ADMM
乘子交替方向法（ADMM）是求解结构凸优化问题的一种常用方法。尽管它在实践中的成功，标准的ADMM的收敛性能最小化的总和$N$ $(N\geq 3)$凸函数与$N$块变量连接的线性约束，一直不清楚很长一段时间。本文在其中一个函数是凸的（不一定是强凸的）而另一个$N-1$函数是强凸的条件下，给出了求解$N$ -块$(N\geq 3)$凸极小化问题的标准ADMM的收敛性和收敛速度结果.具体地，在这种情况下，ADMM被证明在一定遍历意义上以速率$O(1/t)$收敛，并且在非遍历意义上以速率$o(1/t)$收敛，其中$t$表示迭代次数。作为一个副产品，我们还提供了一个简单的证明$O(1/t)$收敛速度的两块ADMM的客观误差和约束违反，没有假设任何条件的惩罚参数和强凸性的功能。
2015-07-09 math.OC
Convergence analysis of the direct extension of ADMM for multiple-block separable convex minimization
近年来，交替方向乘子法（ADMM）在许多领域得到了有效的应用，但当直接将其推广到目标函数为无耦合变量的$m\ge 3$函数的可分凸极小化问题的多块情形时，收敛性并不能得到保证.这一事实极大地推动了研究各种条件的模型和算法的参数，可以确保收敛的直接扩展的ADMM（简称为“e-ADMM”）。尽管在非常强的条件下（例如，至少$(m-1)$函数应该是强凸的），其他一些则集中在$m$的特殊情况下，在相对较温和的条件下，假设只有一个函数是强凸的。我们专注于扩展的收敛性分析，从$m=3$的情况下，更一般的情况下，$m\ge3$。也就是说，我们显示的情况下，$m\ge 3$与假设只有$(m-2)$功能是强凸的e-ADMM的收敛性，并建立其收敛速度在不同的情况下，如最坏情况下的收敛速度衡量的迭代复杂性和渐近线性收敛速率更强的假设。因此，收敛的e-ADMM的一般情况下的$m\ge 4$证明，这一结果似乎仍然是未知的，即使它是直观的情况下的$m=3$已知的结果。即使对于特殊情况的$m=3$，我们的收敛结果比现有的结果，特别是$m=3$的情况下导出的更一般。
2016-11-14 math.OC
Fast convergence of dynamical ADMM via time scaling of damped inertial dynamics
在本文中，我们提出了一个二阶时间连续动态系统的快速收敛保证，以解决仿射约束的结构凸极小化问题的希尔伯特设置。该系统是与增广拉格朗日制定的最小化问题。相应的动力学发挥作用的三个一般的时变参数，每个特定的属性，并分别与粘性阻尼，外推和时间缩放。通过适当地调整这些参数，我们开发了一个李雅普诺夫分析，它提供了快速收敛性能的值和可行性差距。这些结果自然会为开发相应的加速ADMM算法铺平道路，通过时间离散化获得。
2021-03-23 math.OC
Bregman Proximal Linearized ADMM for Minimizing Separable Sums Coupled by a Difference of Functions
本文提出一种结合Bregman距离的线性化ADMM分裂算法，用于求解由函数差耦合的非凸非光滑可分离复合优化问题，并证明了其子序列及全序列收敛性，在鲁棒PCA和最优潮流问题上验证了有效性。
2024-09-30 math.OC
On the Global Linear Convergence of the ADMM with Multi-Block Variables
乘子的交替方向法（ADMM）已广泛用于求解结构凸优化问题。特别地，ADMM可以求解最小化具有由一些线性约束链接的$N$ -块变量的$N$凸函数的和的凸规划。虽然文献中已经很好地建立了$N=2$的ADMM的收敛性，但是对于$N \ge 3$的ADMM是否仍然收敛仍然是一个长期的开放问题。最近，在[3]中表明，如果没有进一步的条件，$N\ge 3$的ADMM实际上可能无法收敛。在本文中，我们表明，在一些易于验证和合理的条件下，全球线性收敛的ADMM时，$N\geq 3$仍然可以保证，这是很重要的，因为ADMM是一种流行的方法来解决大规模的多块最优化模型，并在实践中执行得很好，即使当$N\ge 3$。我们的研究旨在为这一现象提供解释。
2015-05-24 math.OC
Parallel ADMM for robust quadratic optimal resource allocation problems
提出了一种交替方向法乘子（ADMM）求解器，用于求解具有可分离凸二次成本约束和线性耦合约束的资源最优分配问题。我们描述了一个并行实现的求解器上的图形处理单元（GPU）使用定制的四次函数极小。鲁棒性最优能量管理在混合动力电动汽车的应用程序进行了描述，并提出了数值模拟的并行GPU实现的计算时间与那些等效的串行实现的比较结果。
2019-07-08 math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
A three-operator splitting perspective of a three-block ADMM for convex quadratic semidefinite programming and extensions
凸二次半定规划问题是一个带有耦合线性等式约束的3块可分凸优化问题，近年来，针对凸二次半定规划问题，提出了几种收敛的多块变分交替方向法（ADMM），并通过其对偶求解了该问题.在这些ADMM型算法中，[Chang等人，神经计算机二百一十四：575- 586（2016）]具有一个特殊的特征，即增广拉格朗日函数不必相对于与目标函数的二次项相对应的块变量被最小化。在本文中，我们奠定了这种现象的理论基础，通过解释这个修改后的3块ADMM作为一个实现的3算子分裂框架。基于这一观点，我们能够将这种修改的3块ADMM扩展为广义3块ADMM，它不仅适用于更一般的凸复合二次规划设置，而且还承认实现更好的数值性能的潜力。
2018-07-05 math.OC
Parameter Insensitivity in ADMM-Preconditioned Solution of Saddle-Point Problems
考虑线性鞍点问题的求解，将乘子交替方向法（ADMM）作为广义最小残差法（GMRES）的预条件子。我们表明，使用理论界和经验结果，ADMM是非常不敏感的参数选择与Krylov子空间加速。我们证明了ADMM-GMRES可以始终收敛，无论确切的参数选择，$ε$ -精确的解决方案的$κ$条件问题的$O(κ^{2/3}\logε^{-1})$迭代。加速方法被应用于随机生成的问题，以及在SDPLIB测试套件中的半定程序的边界点解的牛顿方向计算。实证结果证实了这个参数的不敏感性，并建议略有改善的迭代界的$O(\sqrtκ\logε^{-1})$。
2016-04-27 math.OC
Distributed Linearized ADMM for Network Cost Minimization
在这项工作中，我们研究了一般的网络成本最小化问题，其中每个节点有一个本地决策向量，以确定。每个节点产生的成本取决于其决策向量，并且每个链路也产生的成本取决于其两个端结点的决策向量。所有节点合作以最小化整体网络成本。网络代价最小化问题在多智能体系统的分布式信号处理和控制中有着广泛的应用。为了获得一个分散的算法制定的问题，我们诉诸于分布式交替方向法的乘法器（DADMM）。然而，DADMM的每次迭代涉及在每个节点处求解局部最优化问题，在许多情况下导致难以处理的计算负担。因此，我们提出了一个分布式线性ADMM（DLADMM）算法的网络成本最小化。在DLADMM中，每次迭代只涉及闭合形式的计算，并避免了局部最优化问题，这大大降低了计算复杂性相比，DADMM。证明了当局部费用函数为凸函数且具有Lipschitz连续梯度时，DLADMM收敛于最优点。如果局部费用函数是进一步强凸的，DLADMM的线性收敛速率也成立。数值实验证实了DLADMM的有效性，我们观察到，DLADMM有类似的收敛性能DADMM，而前者享有更低的计算开销。网络拓扑结构，连通性和算法参数的影响也通过仿真研究。
2017-02-24 math.OC
Tight Linear Convergence Rate Bounds for Douglas-Rachford Splitting and ADMM
Douglas-Rachford分裂和乘子的交替方向法（ADMM）可用于求解由两个函数之和组成的凸优化问题。这些算法的收敛速度估计最近受到了广泛的关注。特别是，线性收敛速率已被几位作者在各种假设下证明。一组这样的假设是强凸性和光滑的函数之一，在最小化问题。作者最近为这类问题提供了一个线性收敛速率界。在本文中，我们表明，这个速率界是紧的许多算法参数的选择。
2015-03-03 math.OC
Convergence Rate of Distributed ADMM over Networks
提出了一种基于乘子交替方向法的分布式算法，利用网络通信来最小化局部已知凸函数之和。这种最优化问题出现在分布式机器学习和统计估计中的许多应用中。我们表明，当函数是凸的，目标函数值和可行性违反率$O(\frac{1}{T})$，其中$T$是迭代次数收敛。然后，我们表明，如果函数是强凸的，并有Lipschitz连续梯度，我们的算法产生的序列线性收敛到最优解。特别地，可以用$O(\sqrt{κ_f} \log (1/ε))$迭代来计算$ε$最优解，其中$κ_f$是问题的条件数.我们的分析还突出了网络结构的收敛速度，通过最大和最小度的节点，以及网络的代数连接。
2016-01-02 math.OC
Optimal parameter selection for the alternating direction method of multipliers (ADMM): quadratic problems
乘子的交替方向法（ADMM）已成为一种强大的技术，用于大规模结构优化。尽管ADMM的收敛性能的许多最近的结果，算法参数的收敛时间的方法的影响的定量表征仍然缺乏。在本文中，我们找到了最佳的算法参数，最小化的ADMM迭代的收敛因子的上下文中的l2-正则化的最小化和约束二次规划。数值例子表明，我们的参数选择规则显着优于现有的替代品在文献中。
2014-04-12 math.DS math.OC
Dynamic Sharing Through the ADMM
在本文中，我们研究了一个动态版本的共享问题，其中一个动态系统费用函数组成的时变局部成本的子系统和整个系统的共享时变成本最小化。提出了一种动态交替方向法乘子法（ADMM），用于在线跟踪动态最优化问题的变化最优点。我们分析了动态ADMM的收敛性质，并表明，在几个标准的技术假设下，动态ADMM的迭代线性收敛到一些邻域的时变最优点。这些邻域的大小取决于动态目标函数的漂移：动态目标函数随时间的变化越剧烈，这些邻域的大小就越大。我们还研究了漂移对动态ADMM稳态收敛行为的影响。最后，两个数值例子，即动态共享问题和动态最小绝对收缩和选择算子（LASSO），证实了所提出的动态ADMM的有效性。结果表明，动态ADMM能快速、准确地跟踪时变最优点。对于动态LASSO，动态ADMM具有竞争力的性能相比，基准离线优化器，而前者具有显着的计算优势，后者。
2017-03-14 math.OC
A Safeguarded Accelerated Proximal ADMM Algorithm for Solving Structured Cardinality Penalized Optimization Problems
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）
本文针对结构化基数惩罚优化问题，提出带保障加速近端ADMM算法，证明其收敛性并建立收敛速率，经信号与图像去噪实验验证了有效性。
2026-10-14 math.OC
Solving Minimax Problems with Bilinear Objectives with ADMM
Meta
本文提出利用ADMM求解双线性目标的极小极大问题，通过将近端算子转化为置信区域的广义投影，实现了算法的高效求解，并讨论了收敛性。
2026-04-22 math.OC stat.ME
A Convergent ADMM Algorithm for Grain Boundary Energy Minimization
The Hong Kong University of Science and Technology（香港科技大学）；Shenzhen University（深圳大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（港深创新研究院）
研究材料科学中晶界能量最小化的约束问题，用递增惩罚参数修改ADMM算法，分析其收敛性，证明序列极限性质及目标函数拟凸性，通过数值例子验证算法收敛并比较不同方法结果。
2026-07-22 cs.NA math.NA math.OC
Decentralized Resource Allocation via Dual Consensus ADMM
我们考虑一个无向网络的代理，网络的边缘定义的通信链路的资源分配问题。目标是最小化特定于代理的凸目标函数的总和，而代理的决策通过凸圆锥约束耦合。我们推导出两种方法，通过应用交替方向法的乘法器（ADMM）分散共识优化我们的资源分配问题的对偶。这两种方法都是完全并行和分散的，在这个意义上，每个代理只与网络中的邻居交换信息，只需要自己的数据来更新决策。我们证明了所提出的方法的收敛性，并证明了它们的有效性与数值例子。
2019-03-04 math.OC
Generalized Symmetric ADMM for Separable Convex Optimization
乘子的交替方向法（ADMM）已被证明是求解线性约束可分凸优化的有效方法。本文提出了一种求解多块可分凸规划问题的广义对称ADMM（GS-ADMM），该算法以适当的步长两次更新Lagrange乘子。该GS-ADMM将数据划分为两个组变量，使得一个组由$p$块变量组成，而另一个组具有$q$块变量，其中$p \ge 1$和$q \ge 1$是两个整数。两个分组变量在{ \it Gauss-Seidel}方案中更新，而每个组内的变量在{ \it Jacobi}方案中更新，这将使其对于大数据设置非常有吸引力。通过在子问题中加入适当的近似项，我们指定了步长的取值范围，以保证GS-ADMM在最坏情况下以$O(1/t)$遍历收敛速度全局收敛。事实证明，我们的收敛域的步长是显着大于文献中的其他收敛域。因此，GS-ADMM在选择和使用更大的对偶变量步长方面更灵活和有吸引力。此外，还讨论和分析了GS-ADMM的两种特殊情况，即允许使用零惩罚项。通过对统计学习中稀疏矩阵最小化问题的数值实验，与现有方法进行了比较，结果表明该方法是有效的.
2018-12-10 math.OC
Global Convergence of Unmodified 3-Block ADMM for a Class of Convex Minimization Problems
UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Minnesota（明尼苏达大学）
乘子的交替方向法（ADMM）由于其优越的实用性能而被成功地应用于求解结构凸优化问题。2-块ADMM的收敛性质在文献中已经被广泛研究。具体地说，它已被证明，2块ADMM全局收敛的任何惩罚参数$γ>0$。在这个意义上，2块ADMM允许参数自由，即，在实现该算法时不需要限制参数的值以确保收敛。然而，对于3块ADMM，Chen \etal \cite{Chen-admm-failure-2013}最近构造了一个反例，表明如果不施加进一步的条件，它可以发散。已有的关于保证3-块ADMM收敛的充分条件的研究结果通常要求$γ$小于某个界，而这个界要么很难计算，要么太小而不能使其成为一个实用的算法.在本文中，我们证明了3-块ADMM在任意罚参数$γ>0$下仍然全局收敛，如果目标函数中的第三个函数$f_3$是光滑的，强凸的，并且它的条件数在$[1,1.0798)$中，以及其它一些温和的条件.这一要求涵盖了一类重要的问题，在本文中被称为正则化最小二乘分解（RLSD）。
2018-01-17 cs.LG math.OC stat.ML
On the Linear Convergence of the ADMM in Decentralized Consensus Optimization
在分散式共识优化中，连接的代理网络协作地最小化它们在公共决策变量上的局部目标函数的和，其中它们的信息交换在邻居之间受到限制。为此，可以首先获得问题的重新表述，然后应用乘子的交替方向法（ADMM）。该方法采用迭代计算在各个代理和邻居之间的信息交换。据观察，这种方法收敛迅速，被认为是强大的。本文对具有强凸局部目标函数的分散一致最优化问题建立了它的线性收敛速率。根据网络拓扑结构、局部目标函数的性质和算法参数，给出了算法的理论收敛速度。这一结果不仅是性能保证，也是加快ADMM收敛的指导方针。
2014-11-30 math.OC
D-ADMM: A Communication-Efficient Distributed Algorithm For Separable Optimization
本文提出了一种分布式算法--分布式乘子交替方向法（D-ADMM），用于求解由多个节点或代理组成的网络中的可分离最优化问题。在一个可分离的最优化问题中，在每个节点上都有一个私有的费用函数和一个私有的约束集。目标是最小化所有费用函数的和，将解约束在所有约束集的交集中。D-ADMM被证明收敛时，网络是二分或当所有的功能是强凸的，虽然在实践中，收敛观察，即使当这些条件不满足。我们使用D-ADMM来解决信号处理和控制中的以下问题：平均一致性，压缩感知和支持向量机。我们的模拟表明，D-ADMM需要更少的通信比国家的最先进的算法，以达到给定的精度水平。例如，在传感器网络中，具有低通信要求的算法是重要的，其中传感器通常是电池供电的，并且通信是最耗能的操作。
2013-04-22 math.OC
On the Q-linear convergence of Distributed Generalized ADMM under non-strongly convex function components
求解多智能体网络中的最优化问题已成为一个日益重要的问题，其中每个智能体只有部分知识的问题。本文考虑了最小化$n$凸函数和的问题。我们假设每个函数只有一个智能体知道。我们表明，广义分布式ADMM Q-线性收敛到上述最优化问题的解决方案，如果在所有的目标函数是强凸的，但每个代理已知的功能只允许是凸的。建立Q-线性收敛允许跟踪语句，如果仅保证R-线性收敛，则不能进行跟踪语句。此外，我们建立了广义分布ADMM和P-EXTRA之间的等价性的混合矩阵的子集。这种等价性在P-EXTRA的收敛性方面产生了见解，当过冲以加速收敛时。
2018-05-04 math.OC
A Schur Complement Based Semi-Proximal ADMM for Convex Quadratic Conic Programming and Extensions
本文设计了一种高效收敛的乘子{半近似}交替方向法（ADMM），用于求解凸二次圆锥规划及相关问题的中低精度解.对于这类问题，收敛的两块半近似ADMM可以直接求解其原始形式。然而，它是已知的，它是更有效的应用直接扩展的多块半邻近ADMM，虽然它的收敛性不能保证，这些问题的对偶形式。自然地，人们可能会问以下问题：可以构造比直接扩展的半邻近ADMM更有效的收敛的多块半邻近ADMM吗？事实上，对于具有4块约束的线性圆锥规划，这在Sun，Toh和Yang的最近论文中已经被证明是可以实现的[arXiv预印本arXiv：1404.5378，（2014）]。受上述工作的启发，结合凸二次锥规划，我们提出了一种基于Schur补的收敛半近似ADMM，用于求解具有耦合线性等式约束的凸规划问题，其目标函数是两个真闭凸函数加上任意数量的凸二次或线性函数的和.我们的收敛半近似ADMM是特别适合于解决凸二次半定规划（QSDP）的约束组成的线性等式，一个半正定锥和一个简单的凸多面体集。我们所提出的算法的效率证明了各种例子，包括QSDP的数值实验。
2014-09-09 math.OC
Distributed optimization on directed graphs based on inexact ADMM with partial participation
针对有向图网络中的分布式成本函数求和最小化问题，提出基于非精确 ADMM 与部分参与机制的分布式优化算法，在标准假设下证明了线性收敛性，其收敛速率优于 Push-DIGing 且显著节省计算与通信开销。
2023-04-01 math.OC
Activity Identification and Local Linear Convergence of Douglas--Rachford/ADMM under Partial Smoothness
凸优化在大多数定量科学学科中已经变得无处不在，包括变分图像处理。近似分裂算法是解决此类结构化凸优化问题的常用算法。在这类算法中，道格拉斯-Rachford（DR）和交替方向法的乘法器（ADMM）的设计，以最小化两个正常的下半连续凸函数的邻近算子是容易计算的和。这项工作的目标是了解的局部收敛行为的DR（resp。ADMM）时所涉及的功能（分别为它们的Legendre-Fenchel共轭）此外是部分光滑的。更准确地说，当两个功能（分别）。他们的共轭）是部分光滑相对于各自的流形，我们表明，DR（resp. ADMM）在有限时间内识别这些流形。当这些流形是仿射流形或线性流形时，我们证明了DR/ADMM是局部线性收敛的。当$J$和$G$是局部多面体时，我们证明了最优收敛半径是由所识别流形的切空间之间的Friedrichs角的余弦给出的.这是说明了几个具体的例子和支持的数值实验。
2015-07-31 math.OC
A Three-Operator Splitting Scheme Derived from Three-Block ADMM
本研究提出一种由三块ADMM推导的新型三算子分裂方法，拓展了Douglas-Rachford分裂技术，数值测试显示其鲁棒性好、可支持大步长，且两函数定义域正交时任意正步长下均收敛。
2025-10-02 math.OC
Distributed Synthesis Using Accelerated ADMM
针对受外界干扰的大规模连续时间系统，提出了一种凸分布优化算法来综合鲁棒控制器。给定一个大规模的系统，而不是解决较大的集中式综合任务，我们分解成一组较小的综合问题的局部子系统与给定的互连拓扑结构。因此，合成问题被约束到由互连拓扑结构决定的稀疏模式。为此，对于每个子系统，我们解决了一个局部耗散不等式，然后检查整个系统的小增益条件。为了最小化干扰的影响，我们考虑了$\mathrm{H}_\infty$综合问题。我们使用加速交替方向法乘法器（ADMM）的分布式综合方法的实例与收敛速度$O(\frac{1}{k^2})$与$k$是迭代次数。
2018-02-28 math.OC
A Bregman proximal linearized ADMM for fractional programming with nonlinear coupling constraints
China University of Mining and Technology（中国矿业大学）；RMIT University（皇家墨尔本理工大学）；Guangxi Minzu University（广西民族大学）
本文针对带非线性耦合约束的非凸分式规划问题，提出Bregman邻近线性化ADMM，证明其收敛性与收敛速率，数值实验验证了算法有效性。
2026-10-09 math.OC
SDP-based bounds for graph partition via extended ADMM
研究了两个NP完全图划分问题：$k$ -均分问题和带背包约束的图划分问题（GPKC）.我们引入了具有非负约束的紧SDP松弛来得到下界，SDP松弛用一种扩展的乘子交替方向法（ADMM）求解。通过这种方式，我们获得了高质量的下界$k$ -均分的大型实例高达$n =1000$顶点在短短的五分钟内和GPKC问题高达$n=500$顶点在短短的一个小时内。另一方面，由于内存需求，内点方法无法从$n=300$求解实例。我们还设计了算法从SDP解生成上界，使我们的上界比文献中提出的其他方法更紧，计算费用低。
2022-03-22 math.OC
Local Convergence Properties of Douglas--Rachford and ADMM
Douglas-Rachford（DR）和乘子的交替方向法（ADMM）是两种用于极小化两个真下半连续凸函数之和的邻近分裂算法，其邻近算子易于计算。这项工作的目标是了解当地的线性收敛行为的DR/ADMM时，所涉及的功能，而且部分光滑。更确切地说，当这两个功能是部分光滑的相对于各自的光滑子流形，我们表明DR/ADMM（i）确定这些流形在有限时间内;（ii）进入局部线性收敛制度。当两个函数都是局部多面体时，我们证明了最优收敛半径是由所确定子流形的切空间之间的Friedrichs角的余弦给出的。在这两个函数都是多面体的情况下，我们还给出了DR有限收敛的充分条件。通过几个具体的例子说明了所得结果，并得到了数值实验的支持。
2017-03-06 math.OC
Solving Multiple-Block Separable Convex Minimization Problems Using Two-Block Alternating Direction Method of Multipliers
Nanjing University（南京大学）；University of Minnesota（明尼苏达大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出将多块问题转换为双块问题以提升ADMM求解效率，推导出O(1/ε)迭代复杂度，并通过数值实验验证该方法在基追踪、鲁棒主成分分析等任务中的优越性。
2013-08-24 cs.NA math.NA math.OC
ADMM for Convex Quadratic Programs: Q-Linear Convergence and Infeasibility Detection
本文分析了乘子的交替方向法（ADMM）求解具有线性等式和界约束的凸二次规划问题的收敛性。ADMM公式在等式约束QP和边界上的投影之间交替。在（i）目标投影到等式约束零空间上的Hessian（约化Hessian）的正定性和（ii）线性无关约束规格保持在最优解的假设下，我们得到了每次迭代收敛到解的收敛速率的上界.特别是，我们提供了一个明确的表征的收敛速率方面：（a）的特征值的减少海森，（b）之间的弗里德里希角的余弦的子空间跨越的等式约束和子空间跨越的梯度的组件，是积极的解决方案和（c）的距离不活动的组件的解决方案从边界。使用这种分析，我们表明，如果QP是可行的，迭代收敛在Q-线性速率，并规定ADMM步长参数的最佳设置。对于不可行的QP，我们证明了ADMM中的原始变量收敛于由等式约束定义的超平面和由边界定义的凸集之间的欧几里得距离的最小值。约束的乘数示出发散沿范围空间的等式约束。利用这种特性，我们还提出了ADMM的终止标准。最后通过数值算例对理论进行了实验验证。
2015-10-02 math.OC
A Bregman ADMM for Bethe variational problem
针对图模型和统计物理中的Bethe变分问题（BVP），提出带非线性对偶更新的Bregman ADMM，解决非凸非利普希茨问题，保证收敛且局部极小值严格正，具高可分离性与并行性，还可扩展至量子BVP并开源。
2025-11-18 math.OC
ADMM-MCP Framework for Sparse Recovery with Global Convergence
在压缩感知中，稀疏信号重构的l0范数最小化是NP难的。最近的工作表明，与最佳凸松弛（l1-范数）相比，非凸惩罚可以更好地逼近l0-范数，并且可以基于更少的观测来重构信号。本文利用极小极大凹罚函数对原问题进行了松弛。然后采用交替方向乘子法（ADMM）和改进的迭代硬阈值法进行求解。在一定的合理假设下，证明了该方法的全局收敛性。并对参数设置进行了讨论。最后，通过仿真和与几种现有算法的比较，验证了该方法的有效性。
2018-05-02 eess.SP math.OC
Adaptive Riemannian ADMM for Nonsmooth Optimization: Optimal Complexity without Smoothing
针对紧致黎曼子流形上的光滑与非光滑凸复合优化问题，提出无需平滑非光滑项的自适应 ARADMM，每次迭代仅需一次梯度求值和一次近端更新，并达到 O(ε^-3) 的最优 KKT 复杂度。
2025-10-21 math.OC
Symmetric Gauss-Seidel Technique Based Alternating Direction Methods of Multipliers for Transform Invariant Low-Rank Textures Problem
变换不变的低秩纹理，被称为TILT，可以准确和鲁棒地从用户指定的2D窗口中提取3D中的纹理或几何信息，尽管有显著的损坏和扭曲。结果发现，该任务的特点，在理论上和数值上，通过解决一系列的矩阵核范数和$\ell_1$ -范数涉及凸极小化问题。为解决这一问题，通常采用Gauss-Seidel方法对乘子交替方向法（ADMM）进行直接推广，在实际应用中取得了很好的数值效果，但其收敛性没有理论保证。在本文中，我们解决了这个困境，使用新的对称高斯-赛德尔（sGS）为基础的ADMM开发的李，孙\和Toh（Math. Prog. 2016）。的sGS-ADMM是保证收敛，我们将证明在本文中，它也是实际有效的比直接扩展ADMM。当SGS技术被应用到这个特定的问题，我们表明，只有一个变量需要重新更新，这种更新几乎不施加任何过多的计算成本。Li，Sun \& Toh（arXiv：1703.06629）的sGS分解定理建立了sGS-ADMM和经典ADMM之间的等价性，并增加了一个半邻近项，因此收敛性结果可以直接得到.大量的实验表明，sGS-ADMM及其广义变体具有优越的数值效率比直接扩展的ADMM。
2018-01-03 math.OC
Understanding the convergence of the preconditioned PDHG method: a view of indefinite proximal ADMM
原对偶混合梯度算法是求解极小极大问题的一种常用算法，在许多领域都有着广泛的应用。为了提高PDHG算法在不同应用场景下的适用性和效率，重点研究了预处理PDHG（PrePDHG）算法，该算法是一个涵盖PDHG、乘子交替方向法（ADMM）等方法的框架。在关键参数不能进一步改进的情况下，给出了PrePDHG的最优收敛条件，填补了PrePDHG收敛性理论的空白，并得到了PrePDHG的遍历和非遍历次线性收敛速度.通过建立PrePDHG和不定近端ADMM之间的等价性，实现了理论分析。此外，我们还讨论了PrePDHG中邻近矩阵的各种选择，并得到了一些有趣的结果。例如，将对角PrePDHG的收敛条件改进为紧收敛，将平衡增广拉格朗日方法的对偶步长由$1$扩大为$4/3$，并探索了一种对称Gauss-Seidel迭代的平衡增广拉格朗日方法.通过对矩阵对策、Birkhoff多面体投影、推土机距离和CT重建的数值计算，验证了PrePDHG的有效性和优越性。
2023-01-08 math.OC
Stochastic Modified Equations for Continuous Limit of Stochastic ADMM
School of Data Science and Department of Mathematics, City University of Hong Kong（香港城市大学数据科学学院及数学系）；Peking University（北京大学）；Department of EECS, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系）；Department of Mathematics Stanford University（斯坦福大学数学系）；City University of Hong Kong（香港城市大学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
随机交替方向法及其变体（线性化ADMM、基于梯度的ADMM）在现代大规模机器学习问题中起着关键作用。一个例子是正则化经验风险最小化问题。在这项工作中，我们把不同的变种随机ADMM到一个统一的形式，其中包括标准的，线性化的和基于梯度的ADMM与松弛，并通过连续时间模型的方法研究他们的动态。我们采用随机修正方程（SME）的数学框架，证明了随机ADMM的动力学在弱逼近意义下可由一类带小噪声参数的随机微分方程逼近.连续时间分析将揭示对离散时间算法的行为的重要分析见解，这是不平凡的，否则获得。例如，我们可以精确地描述解路径的波动性，并确定最佳的停时，以最小化解路径的方差。
2020-03-07 cs.LG math.OC stat.ML
On Distributed Nonconvex Optimisation Via Modified ADMM
针对多智能体网络中的非凸非光滑分散优化问题，提出一种带多轮信息聚合内循环的改进 ADMM 框架，并证明其在循环次数对数增长时渐近收敛至驻点。
2023-12-07 math.OC
Asynchronous Distributed Optimization over Lossy Networks via Relaxed ADMM: Stability and Linear Convergence
在这项工作中，我们专注于最小化的凸费用函数的总和在一个分布式的方式在对等网络的问题。特别是，我们感兴趣的情况下，节点之间的通信容易失败，代理之间不同步。我们解决这个问题，提出了一个修改版本的放松ADMM，这对应于适用于对偶的Cumberman-Rachford分裂方法。利用算子理论的结果，我们能够证明所提出的算法的几乎必然收敛的通信损失和节点激活事件的分布的一般假设。通过进一步假设费用函数是强凸的，我们证明了算法平均线性收敛到最优解的一个邻域，并给出了算法收敛速度的一个上界.最后，我们提出了数值结果测试所提出的方法在不同的情况下。
2020-07-23 math.OC
Dealing with inequality constraints in large-scale semidefinite relaxations for graph coloring and maximum clique problems
本文扩展了用于标准形式SDP的ADMM算法以处理一般形式中的不等式约束，在图着色和最大团等组合问题的SDP松弛中表现出优于SDPNAL+的性能，并证明通过后处理可从不准确对偶解恢复有效界限。
2023-11-24 math.OC
Convergence for nonconvex ADMM, with applications to CT imaging
本文针对非凸ADMM算法，在受限强凸假设下提出无需光滑性的收敛性理论，并通过不可微示例和CT图像重建模拟验证了其有效性。
2024-02-06 math.OC
Distributed ADMM with linear updates over directed networks
本文针对有向网络提出一种具有线性更新的分布式ADMM算法，在目标函数光滑强凸时实现几何收敛，并通过不强制精确一致性显著提升收敛速度。
2023-09-20 cs.SY eess.SY math.OC
On Partly Smoothness, Activity Identification and Faster Algorithms of $L_1$ over $L_2$ Minimization
本文研究$L_1/L_2$最小化的部分光滑性，证明ADMM$_p$可有限步识别活动流形，提出结合半光滑牛顿法的混合算法，提升了稀疏恢复的收敛速度与性能。
2024-01-27 math.OC
Efficient Dual ADMMs for Sparse Compressive Sensing MRI Reconstruction
磁共振成像（MRI）是一种用于疾病诊断成像的医学成像技术，但其图像质量可能会受到较长的采集时间的影响。基于压缩感知（CS）的重建策略可以大大减少重建时间，但它需要有效的重建算法来产生高质量和可靠的图像。本文主要研究CS-MRI稀疏重建算法的改进，特别是考虑了一个由小波变换的全变差正则项和$\ell_1$ -范数项之和构成的非光滑凸极小化问题。针对对偶问题的部分动机是对偶变量涉及相对低维的子空间。而不是像往常一样解决的原始模型，我们把我们的注意力转向其相关的对偶模型组成的三个可变块和两个可分离的非光滑函数块。然而，必须避免直接扩展的乘子交替方向法（ADMM），因为它可能是发散的，尽管它通常在数值上表现良好。为了解决这个问题，我们采用了对称高斯-赛德尔（SGS）技术为基础的ADMM。与直接推广的ADMM相比，该方法只需要增加一次迭代，但理论上可以保证其收敛性。此外，我们还提出了ADMM的一个广义变体，因为这种方法在过去几年中已经被证明是有效的解决半定规划。最后，在不同的采样模式和采样率下，我们对模拟和真实的MRI图像进行了大量的MRI重建实验。数值结果表明，所提出的算法具有较高的重建精度和较快的计算速度。
2021-11-24 math.OC
