On the Linear Convergence of the Alternating Direction Method of Multipliers
本文分析了乘子交替方向法求解两个或多个具有线性约束的非光滑凸可分函数之和的收敛速度。ADMM的先前分析通常假设目标函数是仅定义在两个可分离变量块上的两个凸函数的和，即使该算法在三个或更多块的数值实验中工作良好。此外，没有目标函数中没有强凸性的ADMM的收敛速率分析。本文证明了极小化任意多个凸可分函数之和的ADMM的全局线性收敛。这一结果解决了块数大于2或不存在强凸性时ADMM收敛性的一个关键问题。它也意味着线性收敛的ADMM的几个当代应用，包括LASSO，集团LASSO和稀疏集团LASSO没有任何强的凸性假设。我们的证明是基于估计的距离从一个双可行解的最佳的双解决方案集的范数的某个最近的残差，并要求双步长足够小。
2013-03-26 math.OC math.ST stat.TH
Structured Sparsity via Alternating Direction Methods
Columbia University（哥伦比亚大学）
我们考虑一类稀疏学习问题，在高维特征空间正则化的结构稀疏诱导规范，其中包括先验知识的组结构的功能。由于正则化项的非光滑性和不可分离性，这类问题常常对优化算法提出相当大的挑战。在本文中，我们专注于两个常用的稀疏诱导正则化项，重叠组Lasso惩罚$l_1/l_2$ -范数和$l_1/l_\infty$ -范数。我们提出了一个统一的框架，基于增广拉格朗日方法，在此框架下，这两种类型的正则化及其变体的问题可以有效地解决。作为该框架的核心构建块，我们开发了新的算法，使用交替的部分线性化/分裂技术，我们证明了这些算法的加速版本需要$O(\frac{1}{\sqrtε})$迭代，以获得$ε$ -最优解。为了证明我们的算法的效率和相关性，我们在一组数据集上进行了测试，并将其应用于两个现实问题，以比较两种规范的相对优点。
2011-12-15 cs.AI math.OC stat.ML
Variable Metric Composite Proximal Alternating Linearized Minimization for Nonconvex Nonsmooth Optimization
本文提出了一个最小化两个块变量的目标函数的近似算法，该目标函数由三项组成：1）光滑函数; 2）非光滑函数，它是一个严格递增的凹可微函数和一个凸非光滑函数的组合; 3）耦合两个块变量的光滑函数。我们提出了一个变尺度复合近似交替线性化极小化（CPALM）来解决这类问题。建立在强大的Kurdyka-Eschojasiewicz属性，我们得到的收敛性分析，并建立由CPALM生成的每个有界序列全局收敛到一个临界点。我们证明了CPALM方法的并行磁共振图像重建问题。数值结果表明了该方法的可行性和有效性。
2022-09-14 math.OC
Bregman Proximal Linearized ADMM for Minimizing Separable Sums Coupled by a Difference of Functions
本文提出一种结合Bregman距离的线性化ADMM分裂算法，用于求解由函数差耦合的非凸非光滑可分离复合优化问题，并证明了其子序列及全序列收敛性，在鲁棒PCA和最优潮流问题上验证了有效性。
2024-09-30 math.OC
Augmented Lagrangian-Based Decomposition Methods with Non-Ergodic Optimal Rates
本文提出了两种新的乘子交替方向法（ADMM）和两种并行原-对偶分解算法来求解一类广泛的约束凸优化问题。我们的方法依赖于一个新的组合的增广拉格朗日框架，部分交替/线性化计划，Nesterov的加速技术，和自适应策略。与现有的ADMM变体相比，所提出的算法具有以下新功能。首先，它们在原始变量上有一个Nesterov的加速步骤，而不是像几个ADMM变体那样的对偶变量。第二，他们拥有一个最佳的$O(\frac{1}{k})$收敛速度保证在非遍历意义下，没有任何光滑或强凸型假设，其中$k$是迭代计数器。当一个目标项是强凸的，我们的算法实现了最佳的$O(\frac{1}{k^2})$ -非遍历率。第三，由于第二子问题中的线性化步骤，我们的方法具有比标准ADMM更好的每次迭代复杂度。第四，我们提供了一组条件来推导算法参数的更新规则，并给出了一个具体的更新这些参数作为一个例子。最后，当目标函数是可分离的，我们的方法可以自然地以并行方式实现。我们还研究了我们的方法的两个扩展和现有的原始对偶方法的连接。我们通过不同的数值例子验证我们的理论发展，并比较我们的方法与一些现有的国家的最先进的算法。
2018-06-13 math.OC
Variants of alternating minimization method with sublinear rates of convergence for convex optimization
交替极小化（AM）方法是求解变量由两个块组成的凸函数极小化问题的一种基本方法。如何有效地求解每一个子问题是应用AM方法时最关心的问题。在本文中，我们调查这一任务，并设计了两个新的变体的AM方法借用近端线性化技术。第一种变式非常适合于一半子问题难以求解而另一半子问题可以直接计算的情况。第二种变体是为并行计算而设计的。这两种方法在每个迭代步骤中都具有简单性的特点。从理论上讲，在邻近算子的帮助下，我们首先将新的和现有的AM变体写成统一的表达式，然后证明它们在非常小的假设下具有次线性收敛速度。
2015-01-15 math.OC
Decentralized Quadratically Approximated Alternating Direction Method of Multipliers
本文考虑了一个最优化问题，即目标函数的各分量在网络的不同节点上都是可用的，并且只允许节点与它们的邻居交换信息。分散交替乘数法（DADMM）是一个完善的迭代法解决这类问题，然而，DADMM的实施需要解决每个节点的每次迭代的优化子问题。这个过程对于节点来说通常是计算上昂贵的。我们引入了一个分散的二次近似的ADMM（DQM），降低了计算复杂性的DADMM通过最小化的二次近似的目标函数。尽管DQM连续最小化近似的成本，它收敛到最佳的参数在一个线性的速度是相同的收敛速度的DADMM。此外，我们表明，随着时间的推移的线性收敛系数DQM接近DADMM。数值结果验证了DQM的有效性。
2015-10-26 math.OC
An Extragradient-Based Alternating Direction Method for Convex Minimization
本文考虑了两个凸函数在线性连接约束下之和的极小化问题。经典的交替方向型方法通常假设两个凸函数具有相对容易的邻近映射。然而，统计学、图像处理等领域中的许多问题都具有这样的结构：当两个函数中的一个函数具有容易的邻近映射时，另一个函数是光滑凸的，但不具有容易的邻近映射。因此，不能应用经典的交替方向法。针对这一问题，本文提出了一种基于外梯度的交替方向法。在光滑函数具有Lipschitz连续梯度的假设下，我们证明了所提出的方法在$O(1/ε)$迭代内返回$ε$ -最优解。我们应用所提出的方法来解决一个新的统计模型称为融合逻辑斯谛回归。我们的数值实验表明，所提出的方法在解决测试问题时表现得很好。我们还测试了所提出的方法的性能，通过解决套索问题所产生的统计和比较的结果与现有的几个有效的解决这个问题，结果是非常令人鼓舞的。
2015-07-09 math.OC stat.ML
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
Convergence analysis of a relaxed inertial alternating minimization algorithm with applications
乘子交替方向法是求解线性等式约束凸可分极小化问题的一种常用方法。将两块ADMM推广到三块ADMM并不是简单的，因为三块ADMM一般不收敛。已经开发了三块ADMM的许多变体，并保证收敛。交替极小化算法（AMA）是求解线性等式约束凸可分极小化问题的一种重要算法。AMA算法是由Tseng首先提出的，它等价于应用于相应对偶问题的前后向分裂算法。在本文中，我们设计了一个变种的三块AMA，这是通过采用惯性扩展的三算子分裂算法的对偶问题。与三分块ADMM相比，该算法的第一个子问题只需要最小化拉格朗日函数。作为副产品，我们得到了一个放松的戴维斯和尹算法。在对参数较弱的条件下，证明了算法在无限维希尔伯特空间中的收敛性.最后，我们进行了数值实验的稳定的主成分追踪（SPCP），以验证所提出的算法的效率和有效性。
2021-05-07 math.OC
A Non-monotone Alternating Updating Method for A Class of Matrix Factorization Problems
在本文中，我们考虑了一个通用的矩阵分解模型，它涵盖了一大类现有的模型，在机器学习和成像科学等领域的许多应用。为了解决这一可能的非凸、非光滑和非Lipschitz问题，我们提出了一种基于势函数的非单调交替更新方法。我们的方法本质上是通过不精确地最小化这个势函数来依次更新两个变量块，并使用显式公式更新另一个辅助变量块。我们的势函数的特殊结构，使我们能够利用有效的非负矩阵分解的计算策略，执行交替最小化的两个块的变量。一个合适的线搜索准则也被纳入，以提高数值性能。在适当的条件下，证明了线性搜索准则的定义，并证明了生成的序列是有界的，且序列的任一聚点都是平稳点。最后，我们使用真实数据集进行了一些数值实验，比较我们的方法与现有的一些有效的方法，非负矩阵分解和矩阵完成。数值结果表明，我们的方法可以优于这些方法为这些特定的应用。
2018-05-15 math.OC stat.ML
Extended alternating structure-adapted proximal gradient algorithm for nonconvex nonsmooth problems
针对非凸非光滑优化中多块不可分离耦合结构，提出扩展的交替结构自适应近端算法（eASAP），利用分块受限近端正则性并分析全局收敛与次线性速率，在多模态数据融合中表现优异。
2024-06-25 math.OC
A new primal-dual algorithm for minimizing the sum of three functions with a linear operator
Michigan State University（密歇根州立大学）
本文提出一种新的对偶算法，用于最小化三个函数之和及其线性算子，该算法包含经典算法为特例，证明了收敛性并具有O(1/k)的收敛率，且参数范围更广、效率更高。
2018-01-29 cs.NA math.NA math.OC
Accelerated first-order primal-dual proximal methods for linearly constrained composite convex programming
University of Alabama（阿拉巴马大学）
本文提出两种加速方法解决线性约束的复合凸优化问题，通过线性化和近似项简化子问题，实现O(1/t)或O(1/t²)收敛性，优于现有方法。
2016-06-29 cs.NA math.NA math.OC
Inertial Stochastic PALM (iSPALM) and Applications in Machine Learning
最小化非光滑和非凸函数的惯性算法作为惯性近似交替线性化最小化算法（iPALM）已经证明了它们在计算时间方面优于它们的非惯性变体。在成像和机器学习的许多问题中，目标函数具有特殊的形式，涉及大量的数据，这鼓励了随机算法的应用。虽然基于随机梯度下降的算法仍然在大多数应用中使用，但最近也提出了用于最小化非光滑和非凸函数的随机算法。在本文中，我们推导出一个惯性变种的随机PALM算法与方差减少梯度估计，称为iSPALM，并证明了线性收敛的算法在一定的假设。我们的惯性方法可以被看作是广泛用于加速和稳定优化算法的动量方法的推广，特别是在机器学习中，非光滑问题。数值实验学习所谓的近端神经网络的权重和Student-t混合模型的参数表明，我们的新算法优于随机PALM和它的确定性同行。
2020-12-21 cs.NA math.NA math.OC
Alternating Iteratively Reweighted $\ell_1$ and Subspace Newton Algorithms for Nonconvex Sparse Optimization
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；School of Mathematics and Statistics, Henan University（河南大学数学与统计学院）；Center for Applied Mathematics of Henan Province, Henan University（河南大学河南省应用数学中心）
本文提出一种交替重加权 $\ell_1$ 与子空间牛顿的混合算法，用于非凸稀疏优化，证明全局收敛及局部线性/二次速率，实验显示优于现有方法。
2025-03-30 cs.LG math.OC
A Binary Characterization Method for Shape Convexity and Applications
Henan University（河南大学）；Hong Kong Baptist University（香港浸会大学）
凸性先验是人类视觉和形状补偿的主要线索之一，在图像处理、计算机视觉等领域有着重要的应用。本文主要研究凸体的特征化方法及其在图像处理中的应用。本文提出了一种用二元函数表示凸对象的新方法，即区域的凸性等价于其指示函数上的一个简单的二次不等式约束。模型首先提出了结合这一结果的图像分割与凸性先验和凸包计算的一个给定的集合有和没有噪声。然后，将这些模型归结为一个具有二次不等式的二元函数的一般优化问题。提出了一种基于线性化技术的数值算法，线性化后的问题用保收敛的乘子交替方向逼近法求解。数值实验表明，所提出的图像分割和凸包计算方法在精度和计算时间上是有效的。
2022-10-04 cs.CV math.OC
A Unified Bregman Alternating Minimization Algorithm for Generalized DC Programming with Application to Imaging Data
针对广义DC规划的非凸与不可分性，提出统一Bregman交替最小化算法（UBAMA），通过交替更新块变量、Fenchel-Young不等式近似和Bregman近端正则化简化子问题，并证明了其全局收敛性与局部收敛速率。
2023-08-04 math.OC
Fast First-Order Methods for Stable Principal Component Pursuit
稳定主成分追踪（Stable Principal Component Pursuit，SPCP）问题是一个非光滑的凸优化问题，理论和实践都证明了该问题的解可以恢复被高斯噪声污染的矩阵的低秩和稀疏分量。在本文中，我们将展示如何快速的一阶方法可以非常有效地应用到这个问题。具体而言，我们表明，子问题时，应用最佳梯度法的Nesterov，交替线性化方法和交替方向增广拉格朗日方法的SPCP问题要么有封闭形式的解决方案，或有解决方案，可以得到非常温和的努力。除了一个分析的方法，要求至少有一个非光滑项的目标函数被平滑，并获得一个eps-最优解的SPCP问题在O（1/eps）迭代。该方法直接适用于完全非光滑的目标函数，并证明了该方法在较弱的条件下对所用的参数序列是收敛的。我们的初步计算测试表明，后者的方法，虽然其复杂性是未知的，是最快的，大大优于现有的方法的SPCP问题。据我们所知，一个算法的SPCP问题，具有O（1/eps）的迭代复杂性，并有一个每次迭代的复杂性等于一个奇异值分解的第一次。
2011-07-07 math.OC
Local Linear Convergence of the ADMM/Douglas--Rachford Algorithms without Strong Convexity and Application to Statistical Imaging
Georg-August Universität Göttingen（哥廷根大学）；Institut für Numerische und Angewandte Mathematik, Universität Göttingen（哥廷根大学数值与应用数学研究所）；Institute for Mathematical Stochastics and Felix Bernstein Institute for Mathematical Statistics in the Biosciences, Georg-August Universität Göttingen（哥廷根大学数学随机学与生物科学费利克斯·伯恩斯坦数学统计研究所）
本文研究了在无强凸性条件下，ADMM和Douglas--Rachford算法在统计成像中的局部线性收敛性，通过duality和强度度量子正则性证明了算法的收敛性，并展示了其在图像去卷积和去噪中的应用。
2016-03-15 cs.NA math.NA math.OC
Frank-Wolfe Splitting via Augmented Lagrangian Method
MILA；DIRO；Université de Montréal（蒙特利尔大学）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
在凸集的交集上最小化函数是优化中的一个重要任务，通常比在每个单独的约束集上最小化它更具挑战性。虽然传统的方法，如弗兰克-沃尔夫（FW）或近似梯度下降假设访问一个线性或二次预言的交集，分裂技术利用每个集的结构，只需要访问的预言的个人约束。在这项工作中，我们开发和分析的弗兰克-沃尔夫增广拉格朗日（FW-AL）算法，一种方法，用于最小化一个光滑函数相关的凸紧集的“线性一致性”的约束，只需要访问一个线性最小化预言的个人约束。它基于增广拉格朗日方法（ALM），也称为乘数方法，但与大多数现有的分裂方法不同，它只需要访问线性（而不是二次）最小化神谕。利用Frank-Wolfe分析的最新进展和乘子算法的交替方向法证明了FW-AL在一般凸紧集上的次线性收敛速度和在多面体上的线性收敛速率.
2018-04-09 cs.LG math.OC stat.ML
A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization
块坐标下降法（BCD）是求解多个块变量的连续函数f最小值问题的一种常用方法。在该方法的每次迭代中，优化单个变量块，而其余变量保持固定。为了保证BCD方法的收敛性，每次迭代中需要精确求解待优化的子问题，使其具有唯一的最优解。不幸的是，这些要求对于许多实际场景来说往往过于严格。在本文中，我们研究了另一种不精确的BCD方法，该方法通过连续最小化f的一系列逼近来更新可变块，这些逼近要么是f的局部紧上界，要么是f的严格凸局部逼近。我们专注于一个相当广泛的一类这样的方法，特别是对于其中的目标函数是不可微或非凸的情况下，其收敛特性的特征。我们的结果统一和推广了许多经典算法如BCD方法、凸函数差分（DC）方法、期望最大化（EM）算法以及交替邻近最小化算法的收敛性结果.
2012-09-11 math.OC
An adaptive proximal safeguarded augmented Lagrangian method for nonsmooth DC problems with convex constraints
Institute of Mathematics, University of Würzburg（维尔茨堡大学数学研究所）
本文提出一种自适应近端保护增广拉格朗日方法，用于求解带有凸约束的非光滑DC问题，证明了在修改的Slater约束资格下，原变量和对偶变量收敛到广义KKT点。
2026-03-30 math.OC
Communication-Censored-ADMM for Electric Vehicle Charging in Unbalanced Distribution Grids
我们提出了一种基于乘法器的交替方向法（ADMM）算法，用于协调电动汽车（EV）的充电和放电，以管理电网电压，同时最大限度地减少EV使用时间的能源成本。我们证明，通过包括通信审查的策略，该算法保持其解决方案的完整性，同时减少对等通信。通过对一个典型的不平衡两节点电路的案例研究，我们证明了我们提出的通信删失ADMM（CC-ADMM）EV充电策略与基准ADMM方法相比，可减少高达80%的点对点通信。
2022-07-26 math.OC
Dynamic Resource Allocation to Minimize Concave Costs of Shortfalls
本文研究随机资源随时间分配给多用户时如何最小化由长期平均短缺引起的凹成本，针对用户平均消耗率已知和未知两种情形分别提出近似或精确的高效算法。
2023-12-01 math.OC
Fast and Provable ADMM for Learning with Generative Priors
EPFL（洛桑联邦理工学院）
在这项工作中，我们提出了一个（线性化）交替方向乘法（ADMM）算法最小化凸函数的非凸约束。我们专注于特殊的情况下，这种约束产生的规格，一个变量应该位于一个神经网络的范围。这是由于最近生成对抗网络（GANs）在压缩感知、去噪和对抗对抗示例的鲁棒性等任务中的成功应用。我们的算法的衍生率的特征在于某些几何性质的发电机网络，我们持有前馈架构，在温和的假设。与梯度下降（GD）不同，它可以有效地处理非光滑目标，以及利用有效的部分最小化过程，因此在许多实际情况下更快。
2019-07-07 cs.LG math.OC stat.ML
Low-Rank Factorization for Rank Minimization with Nonconvex Regularizers
A. Sagan J. Mitchell
秩最小化在机器学习应用中是令人感兴趣的，例如推荐系统和鲁棒主成分分析。最小化秩最小化问题的凸松弛，核范数，是一种有效的技术来解决问题的强性能保证。然而，非凸松弛比核范数具有更小的估计偏差，并且可以更准确地减少噪声对测量的影响。我们开发了有效的算法的基础上，迭代重加权核范数计划，同时也利用低秩因子分解的半定规划提出的Burer和Monteiro。我们证明了收敛性和计算显示的优势，凸松弛和交替最小化方法。此外，我们的算法的每次迭代的计算复杂性是与其他国家的最先进的算法，使我们能够快速找到解决方案的大型矩阵的秩最小化问题。
2021-03-28 cs.LG math.OC
Stochastic ADMM for Nonsmooth Optimization
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个随机设置的非光滑凸可分目标函数的线性等式约束的优化问题。为了解决这类问题，我们提出了一种随机交替方向乘法（ADMM）算法。我们的算法适用于更一般的一类非光滑凸函数，不一定有一个封闭的形式的解决方案，通过最小化增广函数直接。我们还证明了我们的算法的收敛速度下的各种结构假设的随机函数：$O(1/\sqrt{t})$凸函数和$O(\log t/t)$强凸函数。与以往文献相比，我们建立了ADMM算法的收敛速度，首次，在目标值和可行性违反。
2013-01-22 cs.LG math.OC stat.ML
Mirror Prox Algorithm for Multi-Term Composite Minimization and Semi-Separable Problems
在本文中，我们开发了一个复合版本的镜像Prox算法求解凹凸鞍点问题和单调变分不等式的特殊结构，允许覆盖鞍点/变分类比通常所谓的“复合最小化”（最小化的总和的一个易于处理的非光滑和一般类型的光滑凸函数“好像”没有非光滑的组件在所有）。我们证明，复合镜近端继承了有利的（和不可改进的已经在大规模的双线性鞍点的情况下）$O(1/ε)$效率估计其原型。我们表明，所提出的方法可以自然地应用到拉索型问题与几个惩罚条款（例如，共同作用$\ell_1$和核范数正则化）和交替方向的方法中考虑的结构的问题，这意味着在这两种情况下的方法与$O(ε^{-1})$复杂性界限。
2014-05-21 cs.CC math.OC
A Simple Effective Heuristic for Embedded Mixed-Integer Quadratic Programming
在本文中，我们提出了一个快速优化算法，近似最小化凸二次函数的交叉仿射和可分离的约束（即，可能非凸实数集的笛卡儿积）。这类问题包含了混合整数二次规划等NP难问题。我们的启发式是基于一个变化的交替方向法的乘法器（ADMM），一个算法解决凸优化问题。我们讨论了有利的计算方面，我们的算法，这使得它能够快速运行，即使在非常温和的计算平台，如嵌入式处理器。我们给出了几个例子，其中近似解应该很快找到，如混合动力电动汽车传动系统的管理和开关模式电源转换器的控制。我们的数值实验表明，我们的方法是非常有效的，在寻找一个可行的点与小的目标值，事实上，我们发现，在许多情况下，它发现的整体解决方案。
2015-09-28 math.OC
Global convergence and acceleration of projection methods for feasibility problems involving union convex sets
本文针对并凸集可行性问题建立经典投影算法的全局收敛理论，并据此推导稀疏仿射可行性与含 $P$-矩阵线性互补问题的收敛条件，同时提出有收敛保证且数值上更高效的加速算法。
2023-07-15 math.OC
DN-ADMM: Distributed Newton ADMM for Multi-agent Optimization
在多智能体网络中，我们考虑最小化一个目标函数的问题，该目标函数表示为私有凸函数和光滑函数的和，以及一个（可能）不可微的凸正则化。基于乘子的交替方向法（ADMM）框架，通过对可微部分的原始更新调用近似牛顿迭代，提出了一种新的分布式二阶方法.为了实现分布式实现，总的黑塞矩阵被分成对角分量（本地可计算）和非对角分量（需要相邻代理之间的通信）。随后，Hessian逆近似的截断泰勒展开$K$条款：这相当于完全分布式更新需要$K$分布式通信轮。在强凸函数和Lipschitz连续梯度的假设下，我们证明了问题的原始-对偶最优解的全局线性收敛.数值实验表明，该方法的优点与国家的最先进的方法相比。
2021-09-29 math.OC
An inexact LPA for DC composite optimization and application to matrix completions with outliers
针对DC复合优化问题，提出非精确线性化近端算法（iLPA），在KL性质下证明收敛性，并应用于含离群值矩阵补全，数值实验验证其高效性。
2025-10-07 math.OC stat.ML
