Iteration-complexity of a Jacobi-type non-Euclidean ADMM for multi-block linearly constrained nonconvex programs
建立了求解多块线性约束非凸规划的Jacobi型非欧近似乘子交替方向法的迭代复杂性。这种ADMM变体的子问题可以并行求解，因此该方法具有很大的潜力，以解决大规模的多块线性约束非凸规划。此外，我们的分析允许拉格朗日乘子更新的松弛因子的间隔（0，2）。
2017-05-20 math.OC
Convergence Analysis and Design of Multi-block ADMM via Switched Control Theory
Northeastern University（东北大学）
本文通过切换控制理论分析多块ADMM的收敛性，提出线性矩阵不等式条件以确保任意序列下的收敛性，并通过半正定规划验证了方法的有效性。
2018-03-03 cs.SY eess.SY math.OC
A corrected semi-proximal ADMM for multi-block convex optimization and its application to DNN-SDPs
本文提出了一种修正的半近似乘子交替方向法（alternating direction method of multiplers，ADMM），用于求解一般的线性约束$p$ -块$(p\!\ge 3)$凸优化问题，旨在解决几乎所有现有的直接扩展ADMM的修正版本，虽然有收敛保证，但性能往往比没有收敛保证的直接扩展ADMM本身差得多的困境.具体地说，在每次迭代中，我们使用步长至少为$1$的多块半邻近ADMM作为预测步长，生成一个好的预测点，然后对预测点的中间$(p\!-\!2)$块进行尽可能小的校正。其中，多块半邻近ADMM的步长由当前半邻近ADMM步骤对于上一个校正步骤产生的步骤的不可行性比率自适应地确定。对于所提出的修正半近似ADMM，我们在一个温和的假设下建立了全局收敛性结果，并将其应用于一类重要的具有多个线性等式和/或不等式约束的双非负半定规划（DNN-SDP）问题.我们广泛的数值试验表明，修正的半近端ADMM优于直接扩展ADMM与步长$τ=1.618$和多块ADMM与高斯回代\cite{HTY12,HY13}。它在与直接扩展ADMM相当的计算时间内，对$70\%$测试实例所需迭代次数最少，对约1000个$40\%$测试问题，其迭代次数仅为多块高斯回代ADMM的迭代次数之和$67\%$.
2015-02-11 math.OC
On the Global Linear Convergence of the ADMM with Multi-Block Variables
乘子的交替方向法（ADMM）已广泛用于求解结构凸优化问题。特别地，ADMM可以求解最小化具有由一些线性约束链接的$N$ -块变量的$N$凸函数的和的凸规划。虽然文献中已经很好地建立了$N=2$的ADMM的收敛性，但是对于$N \ge 3$的ADMM是否仍然收敛仍然是一个长期的开放问题。最近，在[3]中表明，如果没有进一步的条件，$N\ge 3$的ADMM实际上可能无法收敛。在本文中，我们表明，在一些易于验证和合理的条件下，全球线性收敛的ADMM时，$N\geq 3$仍然可以保证，这是很重要的，因为ADMM是一种流行的方法来解决大规模的多块最优化模型，并在实践中执行得很好，即使当$N\ge 3$。我们的研究旨在为这一现象提供解释。
2015-05-24 math.OC
Iteration Complexity Analysis of Multi-Block ADMM for a Family of Convex Minimization without Strong Convexity
乘子交替方向法因其优越的实用性能而被广泛应用于求解结构凸优化问题。然而，在理论方面，[7]中示出了一个反例，该反例表明用于最小化具有由线性约束链接的$N$块变量的$N$ $(N\geq 3)$凸函数的和的多块ADMM可能发散。因此，进一步研究输入侧上的充分条件以保证多块ADMM的收敛性是非常有意义的。现有的结果通常需要强凸性的部分目标。在本文中，我们提出的收敛性和收敛速度的多块ADMM适用于解决某些$N$块$(N\geq 3)$凸极小化问题，而不需要强凸性。具体地说，我们证明了以下两个结果：（1）多块ADMM通过对原问题求解一个相关的扰动，在$O(1/ε^2)$迭代内返回一个$ε$ -最优解;（2）当多块ADMM被应用于解决某个共享问题时，多块ADMM在$O(1/ε)$迭代内返回$ε$最优解，在增广拉格朗日函数满足Kurdyka-Lojasiewicz性质的条件下，该性质基本上覆盖了除某些病态情况外的大多数凸优化模型.
2015-05-19 math.OC
Inexact indefinite proximal ADMMs for 2-block separable convex programs and applications to 4-block DNNSDPs
本文研究了带线性约束的两块可分凸极小化问题，对于这类问题，用乘子的交替方向法（ADMM）求其子问题的精确解是不可能的或代价太高.这类结构化凸极小化问题通常出现在具有线性约束的三块或四块可分凸优化问题的两块重组求解中，或者出现在图像处理中的约束全变差超分辨率图像重建问题中。针对这些问题，我们提出了一种步长为$τ\in\!(0,\frac{\sqrt{5}+1}{2})$的非精确不确定邻近ADMM，并利用两个易于实现的不精确准则来控制子问题的解的精度，在不确定邻近项的温和假设下证明了算法的收敛性.我们将所提出的不精确不定近似ADMM应用于具有线性约束的三块或四块可分凸极小化问题，这些问题来自于一类重要的具有多个线性等式和/或不等式约束的双非负半定规划（DNNSDP）问题的对偶.数值结果表明，基于绝对误差准则的非精确不定邻近ADMM算法无论在迭代次数还是计算时间上，都与不保证收敛的步长为$τ=1.618$的直接扩展多块ADMM算法具有相当的性能.
2015-07-29 math.OC
On the Sublinear Convergence Rate of Multi-Block ADMM
乘子交替方向法（ADMM）是求解结构凸优化问题的一种常用方法。尽管它在实践中的成功，标准的ADMM的收敛性能最小化的总和$N$ $(N\geq 3)$凸函数与$N$块变量连接的线性约束，一直不清楚很长一段时间。本文在其中一个函数是凸的（不一定是强凸的）而另一个$N-1$函数是强凸的条件下，给出了求解$N$ -块$(N\geq 3)$凸极小化问题的标准ADMM的收敛性和收敛速度结果.具体地，在这种情况下，ADMM被证明在一定遍历意义上以速率$O(1/t)$收敛，并且在非遍历意义上以速率$o(1/t)$收敛，其中$t$表示迭代次数。作为一个副产品，我们还提供了一个简单的证明$O(1/t)$收敛速度的两块ADMM的客观误差和约束违反，没有假设任何条件的惩罚参数和强凸性的功能。
2015-07-09 math.OC
Global Convergence of Unmodified 3-Block ADMM for a Class of Convex Minimization Problems
UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Minnesota（明尼苏达大学）
乘子的交替方向法（ADMM）由于其优越的实用性能而被成功地应用于求解结构凸优化问题。2-块ADMM的收敛性质在文献中已经被广泛研究。具体地说，它已被证明，2块ADMM全局收敛的任何惩罚参数$γ>0$。在这个意义上，2块ADMM允许参数自由，即，在实现该算法时不需要限制参数的值以确保收敛。然而，对于3块ADMM，Chen \etal \cite{Chen-admm-failure-2013}最近构造了一个反例，表明如果不施加进一步的条件，它可以发散。已有的关于保证3-块ADMM收敛的充分条件的研究结果通常要求$γ$小于某个界，而这个界要么很难计算，要么太小而不能使其成为一个实用的算法.在本文中，我们证明了3-块ADMM在任意罚参数$γ>0$下仍然全局收敛，如果目标函数中的第三个函数$f_3$是光滑的，强凸的，并且它的条件数在$[1,1.0798)$中，以及其它一些温和的条件.这一要求涵盖了一类重要的问题，在本文中被称为正则化最小二乘分解（RLSD）。
2018-01-17 cs.LG math.OC stat.ML
A Derandomized Algorithm for RP-ADMM with Symmetric Gauss-Seidel Method
对于多块乘子交替方向法（ADMM），其中目标函数可以分解为多个块分量，我们证明了采用块对称Gauss-Seidel迭代，算法将快速收敛。该方法将在原始更新中应用块对称Gauss-Seidel迭代，并且可以根据Richard迭代导出线性校正。我们还建立了线性系的线性收敛速率。
2017-05-23 math.OC
A Flexible ADMM Algorithm for Big Data Applications
我们提出了一个灵活的交替方向法（F-ADMM）算法求解最优化问题，涉及强凸的目标函数，可分为$n \geq 2$块，受到（不可分）线性等式约束。F-ADMM算法使用Gauss-Seidel方案来更新变量块，并将正则化项添加到F-ADMM中产生的每个子问题。我们证明，在共同的假设下，F-ADMM是全局收敛的。我们还提出了一个特殊的情况下，F-ADMM是部分并行化，这使得它在大数据设置有吸引力。特别地，我们将数据划分为组，以便每个组由多个变量块组成。通过将F-ADMM应用于数据的这种划分，并使用特定的正则化矩阵，我们获得了混合ADMM（H-ADMM）算法：分组数据以Gauss-Seidel方式更新，每组内的块以Jacobi方式更新。H-ADMM的收敛性直接由F-ADMM的收敛性得出。此外，H-ADMM的一个特殊情况可以应用于凸函数，而不是强凸函数。我们提出了数值实验来证明这种算法的实际优势。
2015-03-21 math.OC
Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights
本文对具有二次耦合项的不可分极小化模型建立了乘子的近似交替方向法（ADMM）和块坐标下降法（BCD）的收敛性.本文提出的新的收敛结果回答了几个开放的问题，一直是相当多的讨论的主题。我们首先扩展2块近端ADMM线性约束的凸优化与耦合二次目标函数，理论上的理解是目前缺乏的一个领域，并证明了由近端ADMM产生的序列逐点收敛到一个原始-对偶解决方案对。将随机置换ADMM（RPADMM）应用于不可分多块凸优化，并证明了其对一类不可分二次规划问题的期望收敛性。当线性约束消失时，2-块邻近ADMM和RPADMM退化为2-块循环邻近BCD方法和随机排列BCD（RPBCD）。我们的研究提供了第一个2-块循环邻近BCD的收敛结果，而不假设迭代的有界性。我们还从理论上建立了凸二次优化的多块RPBCD的期望收敛性结果。此外，我们证明了RPBCD可能有一个更差的收敛速度比循环接近BCD 2块凸二次极小化问题。虽然RPADMM和RPBCD的结果仅限于二次极小化模型，但它们提供了一些有趣的见解：1）随机置换使ADMM和BCD对多块凸极小化问题更具鲁棒性; 2）循环BCD对“好”问题的性能可能优于RPBCD，因此RPBCD在求解一般凸优化问题时应谨慎应用。
2017-03-15 math.OC
A Unified Algorithmic Framework of Symmetric Gauss-Seidel Decomposition based Proximal ADMMs for Convex Composite Programming
针对凸组合最优化问题，给出了几种基于对称Gauss-Seidel分解的多块邻近交替方向法的推广.所提出的方法统一和完善了许多建设性的技术，分别开发的多块ADMM型算法的计算效率。具体而言，优化增广拉格朗日函数，不定邻近项，不精确对称高斯-赛德尔分解定理，近似求解子问题的容差准则，以及大的对偶步长，都被纳入一个算法框架，我们命名为sGS-imiPADMM。从近年来多块ADMM的收敛变体的流行，特别是对于高维多块凸复合锥规划问题，本文提出的统一，以及相应的收敛性结果，可能有很大的潜力，促进许多多块ADMM在各种问题设置的实施。
2019-04-04 math.OC
Cloud-based computational model predictive control using a parallel multi-block ADMM approach
求解大规模非凸系统或在每个采样步骤具有实时性要求的系统的计算量大已被认为是阻碍非线性模型预测控制（NMPC）更广泛应用的原因之一。为了提高具有输入非线性的NMPC的实时性，我们设计了一种基于云的计算模型预测控制（MPC）方案，该方案采用了一种精心设计的并行多块交替方向法乘法器（ADMM）算法。这种新的并行多块ADMM算法是针对解决具有非线性约束的非凸问题的计算问题而设计的。
2022-04-16 cs.SY eess.SY math.OC
Scalable Preconditioning of Block-Structured Linear Algebra Systems using ADMM
本文研究了块结构线性代数系统的迭代解法。这些系统是参数估计、最优控制、网络优化和随机规划等许多问题的核心计算瓶颈。我们的方法使用的Krylov求解器（GMRES），是预处理的交替方法的乘数（ADMM）。我们发现，这种ADMM-GMRES方法克服了著名的舒尔互补分解的问题，表现出高度的耦合的可扩展性问题。使用随机最优潮流问题中出现的线性系，包含多达200万个总变量和4,000个耦合变量，证明了该方法的有效性。我们发现ADMM-GMRES比Schur补分解快了近数量级。此外，我们证明了该方法是强大的增广拉格朗日罚参数的选择，这是一个关键的优势，直接使用ADMM。
2019-04-24 math.OC
ADMM for Block Circulant Model Predictive Control
University of Oxford（牛津大学）
本文针对具有循环对称性的大型动态系统模型预测控制问题，提出了一种复数坐标变换，将有限时间最优控制问题块对角化并截断，进而开发出一种改进的交替方向乘子法（ADMM）算法，用于求解具有块循环块的通用约束二次规划问题，并通过两个模拟示例验证了该变换显著提高了计算速度。
2019-04-08 cs.SY eess.SY math.OC
A Decentralized Multi-block ADMM for Demand-side Primary Frequency Control using Local Frequency Measurements
我们考虑由智能和灵活的负载提供的电网中的需求侧一次频率控制：负载改变消耗以匹配发电并帮助电网，同时最大限度地减少消费者因消耗变化而产生的负效用。这个问题的对偶公式已经由Zhao等人以分散的方式解决了，对于消费者非效用，消费者非效用相对于消费变化是连续可微的。在这项工作中，我们提出了一个分散的多块交替方向乘法器（DM-ADMM）算法来解决这个问题。与Zhao等人的双上升算法相反，所提出的DM-ADMM算法不要求负效用是连续可微的;这允许负效用函数对可能非常常见的消费者行为进行建模。在这项工作中，我们证明了DM-ADMM算法在确定性设置（即，当负载可以从频率测量准确地估计消耗-产生失配时）。我们测试的DM-ADMM算法在模拟中的性能，我们比较（适用时）与以前提出的解决方案的双重制定。我们还提出了一个以前提出的ADMM算法，其结果是以前没有报道的数值结果。
2019-04-06 math.OC
Managing Randomization in the Multi-Block Alternating Direction Method of Multipliers for Quadratic Optimization
乘子的交替方向法（ADMM）在求解大规模和目标可分约束优化问题中得到了广泛的关注。然而，ADMM的两块可变结构仍然限制了该方法的实际计算效率，因为即使对于线性和凸二次规划也至少需要一次大的矩阵分解。这个缺点可以通过在原始最优化问题中强制决策变量的多块结构来克服。不幸的是，具有两个以上块的多块ADMM不能保证收敛。另一方面，已经取得了两个积极的发展：第一，如果在每个循环回路中，一个随机置换的多个块的更新顺序，然后该方法收敛于期望求解任何线性方程组与任何数量的块。其次，即使当目标函数不可分时，这种随机排列的ADMM也适用于等式约束的凸二次规划。本文的目的是双重的。首先，我们通过开发随机组装的循环ADMM（RAC-ADMM），其中每个块中的决策变量是随机组装的，增加了更多的随机性到ADMM。我们讨论了RAC-ADMM的理论性质，并显示随机组装时，它会帮助和伤害，并制定了一个标准，以保证它几乎肯定收敛。其次，在RAC-ADMM理论的指导下，我们对随机生成的和大规模的基准二次最优化问题进行了多次数值测试，包括连续的、二进制的图划分和二次分配问题，以及选定的机器学习问题。数值实验表明，采用变量分组策略的RAC-ADMM在求解大多数二次最优化问题时，能显著提高计算效率。
2020-03-23 math.OC
An accelerated semi-proximal ADMM with applications to multi-block sparse optimization problems
本文提出一种加速的半近端ADMM（AsPADMM），通过外推和递增惩罚参数实现O(1/K)非遍历收敛，并应用于多块稀疏优化，显著提升收敛速度。
2025-05-27 math.OC
An Extended ADMM for 3-Block Nonconvex Nonseparable Problems with Applications
本文提出一种遵循1→3→2→3块坐标下降顺序的三块ADMM，用于求解非凸不可分问题，基于Kurdyka-Łojasiewicz性质证明收敛性，并通过鲁棒主成分分析和非负矩阵补全实验验证其高效性。
2024-09-20 cs.IT math.IT math.OC
Convergence analysis of a relaxed inertial alternating minimization algorithm with applications
乘子交替方向法是求解线性等式约束凸可分极小化问题的一种常用方法。将两块ADMM推广到三块ADMM并不是简单的，因为三块ADMM一般不收敛。已经开发了三块ADMM的许多变体，并保证收敛。交替极小化算法（AMA）是求解线性等式约束凸可分极小化问题的一种重要算法。AMA算法是由Tseng首先提出的，它等价于应用于相应对偶问题的前后向分裂算法。在本文中，我们设计了一个变种的三块AMA，这是通过采用惯性扩展的三算子分裂算法的对偶问题。与三分块ADMM相比，该算法的第一个子问题只需要最小化拉格朗日函数。作为副产品，我们得到了一个放松的戴维斯和尹算法。在对参数较弱的条件下，证明了算法在无限维希尔伯特空间中的收敛性.最后，我们进行了数值实验的稳定的主成分追踪（SPCP），以验证所提出的算法的效率和有效性。
2021-05-07 math.OC
A Three-Operator Splitting Scheme Derived from Three-Block ADMM
本研究提出一种由三块ADMM推导的新型三算子分裂方法，拓展了Douglas-Rachford分裂技术，数值测试显示其鲁棒性好、可支持大步长，且两函数定义域正交时任意正步长下均收敛。
2025-10-02 math.OC
On the Equivalence of Inexact Proximal ALM and ADMM for a Class of Convex Composite Programming
本文证明了对于一类线性约束凸复合最优化问题，基于（不精确）对称Gauss-Seidel的优化多块近似交替方向法（ADMM）等价于{ \em不精确}近似增广拉格朗日方法（ALM）.这种等价性不仅为理解某些ADMM类算法提供了新的视角，而且为实现它们以获得更好的计算效率提供了有意义的指导。即使对于两个块的情况下，这种等价的副产品是由经典的ADMM产生的整个序列的收敛，其步长超过了$(1+\sqrt{5})/2$的常规上界，如果目标的一部分是线性的。这正是问题的设置，其中第一次收敛分析的ADMM进行了Gabay和Mercier在1976年，但即使在明显更强的假设，只有收敛的原始序列是已知的。一组说明性的例子来证明我们的结果可以用于应用的广度。通过求解大量线性和凸二次半定规划问题的数值实验，说明了本文所建立的理论结果对相应的实际实现的改进.
2019-01-28 math.OC
Extensions of ADMM for Separable Convex Optimization Problems with Linear Equality or Inequality Constraints
由Glowinski和Marrocco提出的乘子的交替方向法（ADMM）是求解线性等式约束的两块可分凸优化问题的一个基准算法。它已经从各种角度进行了修改，指定和概括，以解决更具体或更复杂的应用问题。尽管它的通用性和惊人的普及，它仍然是未知的ADMM是否可以扩展到可分离的凸优化问题的线性不等式约束的约束。本文为如何将ADMM推广到两块和多块（两块以上）可分凸优化问题和线性不等式约束奠定了基础。从高层次和方法的角度来看，我们提出了一个统一的框架，算法设计和路线图的收敛性分析的背景下，变分不等式，基于它是可能的设计一系列具体的ADMM为基础的算法，可证明收敛的预测-校正结构。所提出的算法框架和收敛性分析路线图适用于各种具有不同可分性的凸优化问题，其中既可以包含线性等式约束，也可以包含线性不等式约束.分析是全面的，但可以提出初等数学，因此一般可以理解。
2021-07-14 math.OC
AI-Assisted Discovery and Construction of a Counterexample to the Convergence of Three-Block ADMM with the Identity Matrix as its Third Constraint Block
School of Mathematical Sciences, East China Normal University（华东师范大学数学科学学院）
该研究借助AI工具构造出以单位矩阵为第三约束块的三块ADMM的收敛反例，还分析了乘子松弛对收敛性的影响，对比了不同AI工具在数学研究中的表现。
2026-08-17 cs.AI math.OC
Localized Wavefield Inversion (LWI): an Adaptation of Multi-Block ADMM for Localized FWI
全波形反演（FWI）是一种高分辨率和计算密集型成像技术，用于重建波传播的计算模型中的未知参数;然而，对于某些应用，仅需要该介质的一部分的精确模型。为了减少这类问题的计算负担，提出了面向目标的FWI，其中使用介质或波动方程的局部化求解器的部分上的重定基准数据。另一方面，FWI的经典公式遭受非线性和不适定性，这使得FWI敏感的初始模型，数据的低频内容，和有限的照明。在这项研究中，我们提出了一个本地化版本的交替方向法的乘法器（ADMM）为基础的FWI方法，这是提出来解决这些问题，在经典的FWI。在我们的本地化FWI或LWI，介质被分解成几个子域，其中一些是更新的，而其他的是保持固定的基础上的适应多块ADMM，这是一个强大的算法求解逆问题的分解和块可分离性。对Marmousi模型的延时应用的数值试验证实了计算效率和对背景速度模型误差的鲁棒性。
2022-03-24 math.OC
An Adaptive Proximal ADMM for Nonconvex Linearly Constrained Composite Programs
Oregon State University（俄勒冈州立大学）；Texas A&M University（德克萨斯农工大学）；Georgia Institute of Technology（佐治亚理工学院）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种自适应近端交替方向乘子法解决线性约束复合优化问题，假设目标函数光滑部分弱凸，非光滑部分凸且块分离。方法自适应于所有参数，允许每个块近端子问题近似求解，通过迭代步骤和自适应测试确定是否更新拉格朗日乘子和惩罚参数，无需约束矩阵秩假设，证明在迭代次数上达到最优复杂度。
2026-04-30 math.OC
On a Randomized Multi-Block ADMM for Solving Selected Machine Learning Problems
Stanford University（斯坦福大学）；The University of Edinburgh（爱丁堡大学）；Oracle Labs（甲骨文实验室）
乘法器的交替方向法（ADMM）由于其相对简单的特点，在解决大规模机器学习和信号处理问题中得到了广泛的关注。然而，经典ADMM的两块结构仍然限制了实际问题的规模。当通过变量分裂强制形成两块以上的结构时，收敛速度大大减慢，这与实际情况是一致的。最近，随机组装循环多块ADMM（RAC-MBADMM）的作者提出了解决一般的凸和非凸二次最优化问题，其中的块的数量可以去大于2，使每个子问题具有较小的规模，可以更有效地解决。在本文中，我们将这种方法应用于解决一些与凸二次优化相关的机器学习问题，如线性回归，LASSO，弹性网络和SVM。我们证明了该算法在标准的统计数据假设下线性收敛于期望。我们使用我们的通用求解器进行多个数值测试，解决合成和大规模的基准问题。我们的研究结果表明，RAC-MBADMM可以显着优于，在解决时间和质量，其他优化算法/代码来解决这些机器学习问题，并匹配的最佳定制的方法，如Glmnet或LIBSVM的性能。在某些问题区域，RAC-MBADMM甚至实现了优于定制方法的性能。
2020-03-20 cs.LG math.OC stat.ML
Convergence analysis of the direct extension of ADMM for multiple-block separable convex minimization
近年来，交替方向乘子法（ADMM）在许多领域得到了有效的应用，但当直接将其推广到目标函数为无耦合变量的$m\ge 3$函数的可分凸极小化问题的多块情形时，收敛性并不能得到保证.这一事实极大地推动了研究各种条件的模型和算法的参数，可以确保收敛的直接扩展的ADMM（简称为“e-ADMM”）。尽管在非常强的条件下（例如，至少$(m-1)$函数应该是强凸的），其他一些则集中在$m$的特殊情况下，在相对较温和的条件下，假设只有一个函数是强凸的。我们专注于扩展的收敛性分析，从$m=3$的情况下，更一般的情况下，$m\ge3$。也就是说，我们显示的情况下，$m\ge 3$与假设只有$(m-2)$功能是强凸的e-ADMM的收敛性，并建立其收敛速度在不同的情况下，如最坏情况下的收敛速度衡量的迭代复杂性和渐近线性收敛速率更强的假设。因此，收敛的e-ADMM的一般情况下的$m\ge 4$证明，这一结果似乎仍然是未知的，即使它是直观的情况下的$m=3$已知的结果。即使对于特殊情况的$m=3$，我们的收敛结果比现有的结果，特别是$m=3$的情况下导出的更一般。
2016-11-14 math.OC
An Efficient Inexact Symmetric Gauss-Seidel Based Majorized ADMM for High-Dimensional Convex Composite Conic Programming
本文提出了一种求解一类高维凸复合锥最优化问题的不精确多块ADMM型一阶方法。该方法的设计结合了一个不精确的2块优化半邻近ADMM和最近的进展不精确对称高斯-赛德尔（SGS）技术解决多块凸复合二次规划，其目标包含一个非光滑项只涉及第一块变量。我们提出的方法的一个显著特点是（sGS-imsPADMM）的一个优点是，它只需要一个周期的不精确sGS方法，而不是一个未知数的周期，以解决所涉及的每个子问题。通过一些简单和可实现的容错准则，可以大大减少求解子问题的成本，并且每个sGS周期的前向扫描中的许多步骤通常可以跳过，这进一步有助于所提出的方法的效率。证明了算法的整体收敛和非遍历意义下的迭代复杂性，并对高维线性和凸二次SDP问题进行了初步的数值实验，这些问题具有大量的线性等式和不等式约束.结果表明，对于绝大多数测试问题，sGS-imsPADMM比直接扩展的多块ADMM快2 ~ 3倍，其积极步长为1.618，是目前求解多块线性和二次SDP问题的一阶方法中的基准，但其收敛性不能保证。
2016-03-17 math.OC
Generalized Symmetric ADMM for Separable Convex Optimization
乘子的交替方向法（ADMM）已被证明是求解线性约束可分凸优化的有效方法。本文提出了一种求解多块可分凸规划问题的广义对称ADMM（GS-ADMM），该算法以适当的步长两次更新Lagrange乘子。该GS-ADMM将数据划分为两个组变量，使得一个组由$p$块变量组成，而另一个组具有$q$块变量，其中$p \ge 1$和$q \ge 1$是两个整数。两个分组变量在{ \it Gauss-Seidel}方案中更新，而每个组内的变量在{ \it Jacobi}方案中更新，这将使其对于大数据设置非常有吸引力。通过在子问题中加入适当的近似项，我们指定了步长的取值范围，以保证GS-ADMM在最坏情况下以$O(1/t)$遍历收敛速度全局收敛。事实证明，我们的收敛域的步长是显着大于文献中的其他收敛域。因此，GS-ADMM在选择和使用更大的对偶变量步长方面更灵活和有吸引力。此外，还讨论和分析了GS-ADMM的两种特殊情况，即允许使用零惩罚项。通过对统计学习中稀疏矩阵最小化问题的数值实验，与现有方法进行了比较，结果表明该方法是有效的.
2018-12-10 math.OC
Randomized Primal-Dual Proximal Block Coordinate Updates
University of Minnesota（明尼苏达大学）；University of Alabama（阿拉巴马大学）
本文提出了一种随机对偶近似代理块坐标更新框架，用于解决一般多块凸优化问题，证明了在目标函数和线性约束耦合下的O(1/t)收敛性，扩展了现有算法的收敛性质。
2017-01-24 cs.NA math.NA math.OC
Dual Descent ALM and ADMM
针对非凸约束优化，提出将对偶上升反转为对偶下降的原始-对偶算法（SDD-ADMM和UDD-ALM），分别达到最优或改进的迭代复杂度，并解决ADMM的长期局限。
2023-11-17 math.OC
Linearized ADMM for Non-convex Non-smooth Optimization with Convergence Analysis
线性化乘子交替方向法（ADMM）作为ADMM的一种扩展，在信号处理、机器学习、通信等领域中被广泛应用于求解线性约束问题。尽管它在非凸优化问题中有着广泛的应用，但对于大量非凸、非光滑的目标函数，它的理论收敛性保证仍然是一个悬而未决的问题。在本文中，我们提出了一个两块线性ADMM和多块并行线性ADMM的非凸和非光滑的目标问题。在数学上，我们提出的算法可以收敛到更广泛的一类目标函数较不严格的假设下，与以前的作品。此外，我们提出的算法可以并行更新耦合变量和工作的限制较少的非凸问题，传统的ADMM可能有困难，在解决子问题。
2017-11-01 cs.IT math.IT math.OC
A Local Analysis of Block Coordinate Descent for Gaussian Phase Retrieval
Stanford University（斯坦福大学）
本文研究了非凸问题中块坐标下降法的收敛性，通过高斯相位恢复问题的特殊结构，证明了该方法在确定性初始化下以线性速率收敛到全局极小值。
2017-12-06 cs.IT cs.NA math.IT
A Convergent 3-Block Semi-Proximal Alternating Direction Method of Multipliers for Conic Programming with $4$-Type of Constraints
本文的目的是设计一个有效的和收敛的交替方向法的乘数（ADMM）的解决方案，中等精度的圆锥规划问题的约束条件包括线性等式，线性不等式，非多面体锥和多面体锥。对于这类问题，可以将直接扩展的ADMM应用于其对偶，其可以写成目标函数中具有四个可分离块和耦合线性方程约束的凸规划的形式。事实上，直接扩展的ADMM，虽然可能在理论上发散，往往表现得更好的数值比它的许多变种理论收敛保证。理想情况下，人们应该找到一个收敛的变种，它至少是一样有效的直接扩展ADMM在实践中。我们实现了这一目标，通过设计一个收敛的半邻近ADMM（称为sPADMM 3c方便）的凸规划问题有三个可分离的块的目标函数的第三部分是线性的。在每次迭代时，所提出的sPADMM 3c采用一个特殊的块坐标下降（BCD）循环，其阶为$1 \rightarrow 3 \rightarrow 2 \rightarrow 3$，而不是在非收敛的直接扩展的$3$ -块ADMM中使用的通常的$1 \rightarrow 2 \rightarrow 3$ Gauss-Seidel BCD循环，用于更新可变块。对一类重要的带线性等式和/或不等式约束的双非负半定规划（SDP）问题的数值试验表明，对于绝大多数约为$550$的大规模问题，我们的收敛方法至少比单位步长的直接扩展ADMM快$20%$.
2014-12-01 math.OC
A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization
本文提出了一种求解线性约束$2$ -块凸组合最优化问题的带不定邻近项的优化交替方向乘子法（ADMM），目标块为一个非光滑凸函数与一个光滑凸函数之和，$\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$。通过适当地选择不定邻近项，我们证明了所提出的方法对于步长$τ\in (0, (1+\sqrt{5})/2)$的整体收敛和$O(1/k)$遍历迭代复杂性。计算的好处，而不是目前的要求，半正定的ADMM框架内使用不确定的邻近项的数值也证明了。这为提高ADMM及其相关方法的实际性能开辟了一条新的途径。
2015-06-23 math.OC
Multi-block ADMM Heuristics for Mixed-Binary Optimization on Classical and Quantum Computers
目前，通过量子启发式方法，在当前有噪声的量子设备上解决组合优化问题被提倡用于（并且限于）具有等式约束的二进制多项式优化。这是通过使用，例如，变分量子本征求解器（VQE）和量子近似优化算法（QAOA）。我们提出了一种基于分解的方法，以扩大目前的方法的适用性，“二次加凸”混合二元优化（MBO）问题，从而解决了广泛的现实世界的优化问题。在MBO框架中，我们证明了交替方向乘法（ADMM）可以将MBO分解为一个二元无约束问题（可以用量子算法解决）和连续约束凸子问题（可以用经典优化求解器廉价解决）。然后，通过在Qiskit（一个开源量子计算软件开发框架）中实现的量子线路上使用VQE和QAOA进行模拟，在几个优化问题上获得的数值结果显示了该方法的有效性。
2021-02-03 math.OC quant-ph
Automating Reformulation for Parallel ADMM
DAMO Academy, Alibaba Group (U.S.) Inc.（达摩院，阿里巴巴集团（美国）有限公司）；Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
本文提出自动流程将通用多块问题转化为适合并行ADMM的二块形式，通过构建耦合图、边细分 bipartization 和生成独立子问题，提升并行性能。
2026-03-19 math.OC
ADMM for Nonconvex Optimization under Minimal Continuity Assumption
本文提出IPDS-ADMM算法，在仅要求目标函数单块连续的宽松条件下求解多块非凸复合优化问题，通过递增惩罚与递减平滑策略，实现了O(ε^{-3})的预言机复杂度，并在稀疏PCA实验中验证了有效性。
2025-03-31 math.OC
Parallel Multi-Block ADMM with o(1/k) Convergence
对求解凸问题的交替方向法（ADMM）提出了一种并行分布式扩展：在$\sum_{i=1}^N A_i x_i=c, x_i\in \mathcal{X}_i$约束下极小化$\sum_{i=1}^N f_i(x_i)$。该算法将原问题分解为N个更小的子问题，并在每次迭代中并行求解。这种雅可比型算法非常适合于分布式计算，特别适合于解决某些大规模问题。本文介绍了一些新的结果。首先，证明了如果矩阵$A_i$相互近似正交且具有满列秩，则将ADMM从经典的Gauss-Seidel设置直接扩展到Jacobian设置，从2个块扩展到N个块，将保持收敛。其次，对于一般矩阵$A_i$，本文提出在N个子问题中加入不同种类的邻近项，使得子问题可以灵活有效地求解，并且算法以o（1/k）的速度全局收敛。第三，我们引入了一个简单的技术，以改善现有的收敛速度从O（1/k）到O（1/k）。在实践中，我们的收敛定理中的一些条件是保守的。因此，我们引入了一种策略，用于动态调整算法中的参数，从而在实践中大大加速收敛。数值结果表明，所提出的方法与现有的几种并行算法相比，效率。我们实现了我们的算法在亚马逊EC2，按需公共计算云，并报告其性能非常大规模的基础上追求问题的分布式数据。
2014-03-19 math.OC
Convergence Analysis of Alternating Direction Method of Multipliers for a Family of Nonconvex Problems
乘子交替方向法（ADMM）在求解大规模线性约束最优化问题（凸或非凸）中有着广泛的应用。然而，当目标函数为非凸函数时，该算法的理论认识普遍缺乏。在本文中，我们分析了ADMM解决某些非凸的共识和共享问题的收敛性，并表明，经典的ADMM收敛到固定的解决方案，提供增广拉格朗日的罚参数选择足够大。对于共享问题，我们证明了ADMM是收敛的，无论可变块的数量。我们的分析不施加任何假设的算法产生的迭代，并广泛适用于许多ADMM变种，涉及近端更新规则和各种灵活的块选择规则。
2015-11-30 math.OC
Accelerating Multi-Block Constrained Optimization Through Learning to Optimize
University of Maryland（马里兰大学）
针对多块ADMM不保证收敛及MPALM对惩罚参数敏感的问题，提出基于监督学习的L2O方法自适应选择超参数，在Lasso和最优传输问题上优于现有替代方案，适用于一般线性约束复合优化。
2024-09-25 cs.LG math.OC
On the Efficiency of Random Permutation for ADMM and Coordinate Descent
随机置换被观察到对于优化算法是强大的：对于多块ADMM（乘法器的交替方向法），而经典的循环版本发散，随机置换版本在实践中收敛;对于BCD（块坐标下降），随机置换版本通常比其他版本更快。本文通过分析求解线性方程组的随机置换ADMM（RP-ADMM）和求解无约束二次型问题的随机置换BCD（RP-BCD），从理论上证明了随机置换对ADMM和BCD的积极影响。首先，我们证明了RP-ADMM解线性方程组的期望收敛性。关键技术结果是RP-BCD的期望更新矩阵的频谱位于$(-1/3, 1)$中，而不是典型的范围$(-1, 1)$。其次，我们建立了求解线性方程组的RP-ADMM和求解无约束二次方程组的RP-BCD的期望收敛速度。RP-BCD的预期速率比循环BCD的最差情况速率好$O(n)$倍，因此在RP-BCD和循环BCD之间建立了至少$O(n)$的差距。为了分析RP-BCD，我们提出了一个新的矩阵AM-GM（代数平均-几何平均）不等式的猜想，并证明了它的一个弱形式.
2019-01-01 math.OC
Block Decomposable Methods for Large-Scale Optimization Problems
Texas A&M University（德克萨斯A&M大学）
本论文提出了一种新的近端ADMM算法和两种BCD方法，解决了大规模优化问题中的关键挑战，并在动态误差环境下展示了优越性能。
2026-01-13 cs.LG math.OC
Multi-Block Nonconvex Nonsmooth Proximal ADMM: Convergence and Rates under Kurdyka-Łojasiewicz Property
在本文中，我们考虑了一个多块广义交替方向乘子法（GADMM）算法，用于最小化线性约束可分非凸和可能非光滑优化问题。GADMM通过在每个原始更新中包括邻近项和在对偶更新中包括超松弛参数来推广经典ADMM。证明了序列的任一极限点都是临界点。通过引入一个修正的增广拉格朗日量，我们证明了GADMM产生的序列是有界的，并且连续项之差的范数趋近于零。在强{K}性质下，证明了GADMM序列具有有限长度且收敛于一个稳定点，并给出了其收敛速度.给定一个适当的下半连续函数$f:\mathbb R^n\to\mathbb R$和一个临界点$x^*\in\mathbb R^n$，{K}性质断言存在一个连续凹单调递增函数$ψ$，使得在$x^*$周围它保持$ψ'(f(x)-f(x^*))\cdot{\rm dist}(0,\partial f(x))\ge 1$。当$ψ(s)=s^{1-θ}$与$θ\in[0,1]$一起使用时，这等效于$|f(x)-f(x^*)|^θ{\rm dist}(0,\partial f(x))^{-1}$以保持围绕$x^*$的边界。我们表明，如果$θ=0$，由GADMM产生的序列收敛在有限数量的迭代。如果是$θ\in(0,1/2]$，则收敛速率为$cQ^{k}$，其中$c>0$、$Q\in(0,1)$和$k\in\mathbb N$是迭代次数。如果为$θ\in(1/2,1]$，则为…
2021-09-01 math.OC
Convergence Analysis of Generalized ADMM with Majorization for Linearly Constrained Composite Convex Optimization
本文将Xiao等[{ \tt Math. Prog.计算：2018}]针对两块线性约束复合凸规划问题，其中每个块都是“非光滑+二次”形式.然而，在非二次（但光滑）的情况下，这种方法可能会失败，除非不再使用“非光滑+光滑”的有利结构。本文旨在弥补这一缺陷，采用优化技术来逼近增广拉格朗日函数，从而将相应的子问题分解为若干个小问题，然后分别求解。此外，最近的对称高斯-赛德尔（SGS）分解定理保证了更大的子问题和这些较小的之间的等价性。本文着重于收敛性分析，即，我们证明所提出的方法产生的序列全局收敛到Karush-Kuhn-Tucker点所考虑的问题。最后，通过对一类模拟凸组合最优化问题的数值实验，验证了该方法的有效性。
2022-04-04 math.OC
Primal-Dual First-Order Methods for Affinely Constrained Multi-Block Saddle Point Problems
研究了凸凹鞍点问题$\min_{\mathbf{x}}\max_{\mathbf{y}}Φ(\mathbf{x},\mathbf{y})$，其中决策变量$\mathbf{x}$和/或$\mathbf{y}$具有多块结构和仿射耦合约束，且$Φ(\mathbf{x},\mathbf{y})$具有一定的可分结构.虽然这类问题的最小化对应已经在ADMM的主题下得到了广泛的研究，但这类极大极小问题却很少被研究。本文提出了$ε$ -鞍点的概念，并在此基础上分析了几种算法的收敛速度。当$\mathbf{x}$和$\mathbf{y}$中只有一个具有多块和仿射约束时，提出了ADMM的几种自然扩展来解决这个问题。根据块的数量和平滑的程度，$\mathcal{O}(1/T)$或$\mathcal{O}(1/\sqrt{T})$收敛速度推导出我们的算法。当$\mathbf{x}$和$\mathbf{y}$都有多个块和仿射约束时，提出了一种新的算法--乘子的外梯度法（EGMM）。在期望的平滑条件下，可以保证$\mathcal{O}(1/T)$收敛速率，而不管$\mathbf{x}$和$\mathbf{y}$中的块的数量。在多块最优化问题中，对EGMM（完全原-对偶方法）和ADMM（近似对偶方法）进行了深入的比较，以说明EGMM的优越性。
2023-03-16 math.OC
A primal-dual fixed point algorithm for multi-block convex minimization
本文推广了文献[5]中提出的一种原始-对偶不动点算法（PDFP）来求解信号处理和成像科学中出现的两类可分离多块最小化问题。这项工作显示了应用PDFP算法的多块问题的灵活性，并说明如何实际和完全解耦的计划，可以得出，特别是对于大规模问题的并行实现。并与乘子的交替方向法（ADMM）进行了比较。通过带约束的稀疏正则化最小二乘模型的经典算例，我们展示了如何通过不同的方法将问题分解得到不同的算法。特别是，对于一类线性约束问题，这是非常感兴趣的多块ADMM的上下文中，可以解决PDFP的收敛性保证。最后，通过实验验证了PDFP算法所得到的几种方案的性能。
2016-02-01 math.OC
An inertial alternating direction method of multipliers for solving a two-block separable convex minimization problem
乘子的交替方向法（ADMM）是求解信号和图像处理中出现的许多凸极小化模型的广泛使用的方法。本文提出了一个求解带线性等式约束的两块可分凸极小化问题的惯性ADMM。该算法是利用惯性Douglas-Rachford分裂算法对原问题的对偶问题进行分裂得到的。在无限维希尔伯特空间中研究了该算法的收敛性。此外，我们将该算法应用于鲁棒主成分追踪问题，并将其与其他最先进的算法进行比较。数值结果表明了该算法的优越性。
2021-04-01 math.OC
Accelerated linearized alternating direction method of multipliers with Nesterov extrapolation
针对两块线性约束复合凸优化问题，本文利用 Nesterov 外推提出两类加速线性化 ADMM，在强凸与 Lipschitz 梯度条件下取得 O(1/k^2) 非遍历收敛率。
2024-05-10 math.OC
Alternating Direction Method of Multipliers for nonlinear constrained convex problems and applications to distributed resource allocation and constrained machine learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出了一种非线性交替方向乘子法，用于解决非线性约束凸问题，适用于分布式资源分配和约束机器学习，通过保持经典分解结构并利用凸性，实现了更高的通信效率。
2026-02-26 math.OC
Two-step Fixed-point proximity algorithms for multi-block separable convex problems
多块可分凸问题近年来受到了广泛的关注。这类最优化问题最小化具有线性约束的可分凸目标函数。算法的挑战来自于这样一个事实，即经典的交替方向法的乘法器（ADMM）的问题是不一定收敛。然而，据观察，ADMM在数值上优于它的许多变种，保证理论收敛。本文的目标是发展收敛和计算效率高的算法来解决多块可分凸问题。首先，我们利用目标函数中凸函数的邻近算子刻画了最优化问题的解。然后，我们设计了一个两步的不动点迭代计划解决这些问题的基础上的特征。进一步证明了迭代格式的收敛性，并证明了它在遍历意义和部分原始-对偶间隙意义下具有O（1/k）的收敛速度，其中k表示迭代次数.此外，我们推导出具体的两步不动点邻近算法（2SFPPA）从建议的迭代计划，并建立其整体收敛。数值实验表明，解决稀疏MRI问题的数值效率建议2SFPPA。
2016-08-17 math.OC
A Linear Convergence Result for the Jacobi-Proximal Alternating Direction Method of Multipliers
本文证明了在成本函数强凸且光滑的情况下，Jacobi-近端交替方向乘数法具有线性收敛性。
2025-12-05 math.OC
Convolutional Dictionary Learning: Acceleration and Convergence
The University of Michigan（密歇根大学）
本文提出一种无需参数调整的块近端梯度方法（BPG-M）用于卷积字典学习，通过多块更新和加速技术，实现比ADMM更稳定收敛且更低内存消耗，并在图像去噪中表现更优。
2017-08-25 cs.LG math.OC
