Adaptive Riemannian ADMM for Nonsmooth Optimization: Optimal Complexity without Smoothing
针对紧致黎曼子流形上的光滑与非光滑凸复合优化问题，提出无需平滑非光滑项的自适应 ARADMM，每次迭代仅需一次梯度求值和一次近端更新，并达到 O(ε^-3) 的最优 KKT 复杂度。
2025-10-21 math.OC
A Single-loop Stochastic Riemannian ADMM for Nonsmooth Composite Optimization
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出MARS-ADMM，一种单环随机黎曼ADMM算法，实现非光滑优化的近最优复杂度，优于现有方法并达到确定性优化的最优水平。
2026-09-30 math.OC
ADMM for Nonsmooth Composite Optimization under Orthogonality Constraints
针对正交约束下含光滑、凹与弱凸项的非凸非光滑复合优化，提出 OADMM 及其 EP、RR 变体，并证明遍历与 KL 条件下的非遍历收敛保证。
2025-01-11 math.OC
Multiblock ADMM for nonsmooth nonconvex optimization with nonlinear coupling constraints
University of Mons（蒙斯大学）；Huawei Belgium Research Center (BeRC)（华为比利时研究中心）
本文提出一种多块ADMM方法，结合优化最小化更新各原始变量块，用于求解带非线性耦合约束的非光滑非凸优化问题，并证明了收敛性、迭代复杂度及初步数值效果。
2023-12-02 cs.LG math.OC
An Accelerated Stochastic ADMM for Nonconvex and Nonsmooth Finite-Sum Optimization
本文提出加速随机ADMM算法ASVRG-ADMM，针对非凸非光滑有限和优化问题，建立了次线性收敛速率，并在KL性质下证明其线性收敛，实验验证其优于现有方法。
2023-07-03 math.OC
Zeroth-Order Stochastic Alternating Direction Method of Multipliers for Nonconvex Nonsmooth Optimization
University of Pittsburgh（匹兹堡大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；JD Finance America Corporation（京东金融美国公司）
交替方向乘子法（ADMM）是机器学习中求解组合和约束问题的一种常用优化工具。然而，在许多机器学习问题中，如黑箱攻击和强盗反馈，ADMM可能会失败，因为这些问题的显式梯度很难或不可行获得。零阶（无梯度）优化方法由于只需要目标函数值，可以有效地解决这些问题。近年来，虽然出现了一些零阶ADMM方法，但它们都是建立在目标函数的凸性上的。显然，这些现有的零阶方法在许多应用中是有限的。因此，在本文中，我们提出了一类快速零阶随机ADMM方法（即，ZO-SVRG-ADMM和ZO-SAGA-ADMM）求解具有多个非光滑罚函数的非凸问题。证明了ZO-SVRG-ADMM和ZO-SAGA-ADMM都具有$O(1/T)$的收敛速度，其中$T$表示迭代次数.特别是，我们的方法不仅达到了非凸优化的最佳收敛速度$O(1/T)$，而且能够有效地解决许多复杂的机器学习问题，多个正则化的惩罚和约束。最后，我们对黑盒深度神经网络进行了黑盒二进制分类和结构化对抗攻击的实验，以验证我们的算法的效率。
2019-07-30 cs.CV math.OC stat.ML
An Efficient ADMM Method for Ratio-Type Nonconvex and Nonsmooth Minimization in Sparse Recovery
本文针对非凸非光滑的比率型稀疏恢复问题，提出了一种高效的ADMM方法，在理论上证明了收敛性，并通过实验验证了其在稀疏恢复和神经网络稀疏化中的优越性能。
2025-09-26 math.OC
The ADMM-PINNs Algorithmic Framework for Nonsmooth PDE-Constrained Optimization: A Deep Learning Approach
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；The University of Hong Kong（香港大学）；Nankai University（南开大学）
本文提出结合 ADMM 与 PINNs 的算法框架，通过解耦 PDE 约束与非光滑正则化项，将 PINNs 扩展至非光滑 PDE 约束优化问题，实现无网格高效求解。
2024-07-28 cs.LG math.OC
Global Convergence of ADMM in Nonconvex Nonsmooth Optimization
在本文中，我们分析了交替方向法的乘数（ADMM）的收敛性最小化一个非凸的和可能的非光滑的目标函数，$ϕ(x_0,\ldots,x_p,y)$，耦合线性等式约束。我们的ADMM更新每个原始变量$x_0,\ldots,x_p,y$，然后更新对偶变量。我们将变量$y$从$x_i$中分离出来，因为它在我们的分析中具有特殊的作用。所开发的收敛保证涵盖了各种非凸函数，如分段线性函数，$\ell_q$准范数，Schatten-$q$准范数（$0<q<1$），极小极大凹罚（MCP），和光滑剪切绝对偏差（SCAD）的罚款。它还允许非凸约束，如紧致流形（例如，球面、Stiefel和Grassman流形）和线性互补约束。而且，$x_0$ -块几乎可以是任何下半连续函数.通过应用我们的分析，我们表明，第一次，几个ADMM算法应用于解决非凸模型的统计学习，流形上的优化，矩阵分解保证收敛。我们的研究结果提供了充分条件ADMM收敛于（凸或非凸）monotropic程序与三个或更多的块，因为它们是我们的模型的特殊情况。ADMM被认为是增广拉格朗日方法（ALM）的一个变体。我们提出了一个简单的例子来说明如何ADMM收敛，但ALM发散有界罚参数$β$。通过这个例子和本文的其他分析表明，ADMM可能是一个更好的选择比ALM一些非凸\emph{nonsmooth}问题，因为ADMM不仅更容易实现，它也更有可能收敛的有关情…
2018-05-30 cs.NA math.NA math.OC
Proximal ADMM for Nonconvex and Nonsmooth Optimization
通过使节点或代理解决小规模的子问题，以实现协调，分布式算法的青睐，许多网络系统的高效和可扩展的计算。虽然对于凸问题，大量的分布式算法是可用的，更广泛的非凸的结果是非常缺乏的。针对一类非凸非光滑问题，提出了一种分布式算法，该问题的特征在于：i）由独立和复合目标分量构成的非凸目标，ii）局部有界凸约束，iii）耦合线性约束.这个问题直接源于智能建筑，在其他领域也很广泛。为了提供一个具有收敛保证的分布式算法，我们对乘子的交替方向法进行了改进，提出了一种近似的乘子交替方向法。具体来说，注意到的主要困难，建立收敛的非凸和非光滑最优化ADMM框架内是假设的有界性的双重更新，我们建议更新的对偶变量在折扣的方式。这导致建立一个所谓的充分下降和下界的李雅普诺夫函数，这是建立收敛性的关键。我们证明了该方法收敛于某些近似稳定点。此外，我们还通过一个数值例子展示了该方法的有效性和性能，并将其具体应用于智能建筑中的多区域供暖、通风和空调（HVAC）控制。
2022-08-23 cs.DC math.OC
Stochastic momentum ADMM for nonconvex and nonsmooth optimization with application to PnP algorithm
本文提出单循环随机动量ADMM（SMADMM），以最优复杂度解决非凸非光滑优化，并集成即插即用先验形成PnP-SMADMM，实验证明其在分类、CT重建和相位恢复中优于现有方法。
2025-04-20 cs.NA math.NA math.OC
Alternating Direction Method of Multipliers for A Class of Nonconvex and Nonsmooth Problems with Applications to Background/Foreground Extraction
在本文中，我们研究了一个通用的最优化模型，它涵盖了现有的模型在成像科学中的许多应用的大类。为了解决由此产生的可能的非凸，非光滑和非Lipschitz最优化问题，我们适应交替方向法的乘法器（ADMM）与一般的双步长求解包含三个变量块的重新制定，并分析其收敛性。我们发现，对于任何双步长小于黄金分割比，存在一个可计算的阈值，这样，如果罚参数被选择在这样的阈值以上，从而产生的序列由我们的ADMM是有界的，那么该序列的聚类点给出了一个固定点的非凸最优化问题。我们通过专门为ADMM构建的势函数实现这一点。此外，如果这个特殊的势函数是一个Kurdyka-Schojasiewicz函数，我们建立了整个序列的整体收敛。此外，我们提出了一个简单的策略初始化算法，以保证序列的有界性。最后，我们进行了数值实验，比较我们的ADMM与[5]中提出的近端交替线性化最小化（PALM）的背景/前景提取问题与真实数据。数值结果表明，我们的ADMM与非平凡的对偶步长是有效的。
2016-09-29 math.OC
Convergence rates for an inexact linearized ADMM for nonsmooth nonconvex optimization with nonlinear equality constraints
针对带非线性等式约束的非光滑非凸双块优化问题，提出一种非精确线性化ADMM算法，通过线性化与动态正则化构建易解子问题，利用Lyapunov论证证明其$\mathcal{O}(ε^{-2})$迭代复杂度及在KL条件下的全局收敛性。
2025-03-02 math.OC
A Riemannian ADMM
University of Minnesota（明尼苏达大学）；Rice University（莱斯大学）；University of Chicago（芝加哥大学）
针对机器学习与统计学中一类目标为光滑与非光滑函数之和的黎曼优化问题，提出黎曼交替方向乘子法，分析其ε-平稳点迭代复杂度，填补非凸约束集与非光滑目标函数场景的ADMM空白。
2024-11-25 cs.LG math.OC
Multi-Block Nonconvex Nonsmooth Proximal ADMM: Convergence and Rates under Kurdyka-Łojasiewicz Property
在本文中，我们考虑了一个多块广义交替方向乘子法（GADMM）算法，用于最小化线性约束可分非凸和可能非光滑优化问题。GADMM通过在每个原始更新中包括邻近项和在对偶更新中包括超松弛参数来推广经典ADMM。证明了序列的任一极限点都是临界点。通过引入一个修正的增广拉格朗日量，我们证明了GADMM产生的序列是有界的，并且连续项之差的范数趋近于零。在强{K}性质下，证明了GADMM序列具有有限长度且收敛于一个稳定点，并给出了其收敛速度.给定一个适当的下半连续函数$f:\mathbb R^n\to\mathbb R$和一个临界点$x^*\in\mathbb R^n$，{K}性质断言存在一个连续凹单调递增函数$ψ$，使得在$x^*$周围它保持$ψ'(f(x)-f(x^*))\cdot{\rm dist}(0,\partial f(x))\ge 1$。当$ψ(s)=s^{1-θ}$与$θ\in[0,1]$一起使用时，这等效于$|f(x)-f(x^*)|^θ{\rm dist}(0,\partial f(x))^{-1}$以保持围绕$x^*$的边界。我们表明，如果$θ=0$，由GADMM产生的序列收敛在有限数量的迭代。如果是$θ\in(0,1/2]$，则收敛速率为$cQ^{k}$，其中$c>0$、$Q\in(0,1)$和$k\in\mathbb N$是迭代次数。如果为$θ\in(1/2,1]$，则为…
2021-09-01 math.OC
Linearized ADMM for Non-convex Non-smooth Optimization with Convergence Analysis
线性化乘子交替方向法（ADMM）作为ADMM的一种扩展，在信号处理、机器学习、通信等领域中被广泛应用于求解线性约束问题。尽管它在非凸优化问题中有着广泛的应用，但对于大量非凸、非光滑的目标函数，它的理论收敛性保证仍然是一个悬而未决的问题。在本文中，我们提出了一个两块线性ADMM和多块并行线性ADMM的非凸和非光滑的目标问题。在数学上，我们提出的算法可以收敛到更广泛的一类目标函数较不严格的假设下，与以前的作品。此外，我们提出的算法可以并行更新耦合变量和工作的限制较少的非凸问题，传统的ADMM可能有困难，在解决子问题。
2017-11-01 cs.IT math.IT math.OC
ADMM and Accelerated ADMM as Continuous Dynamical Systems
最近，人们对使用动力系统的工具来分析简单优化算法（如梯度下降和加速变量）的行为越来越感兴趣。本文加强了这种联系，推导出的微分方程模型的连续极限产生的迭代序列的交替方向法的乘数，以及加速的变化。我们采用李雅普诺夫直接法分析了动力系统临界点的稳定性，并得到了相应的收敛速度。
2018-08-01 math.DS math.OC
Consensus ADMM for Inverse Problems Governed by Multiple PDE Models
乘子交替方向法（ADMM）提供了一种求解多个偏微分方程（PDE）正演模型和非光滑正则化反问题的自然方法。ADMM允许将这些大规模的逆问题拆分为更小、更简单的子问题，从而提供计算效率高的求解器。特别是，我们采用大规模的二阶最优化方法来解决完全解耦的Tikhonov正则化反问题，从每个PDE正演模型。我们使用快速近似方法来处理非光滑正则化项。在这项工作中，我们讨论了几个适应（如选择的共识规范）需要保持一致性与下划线的无限维问题。我们提出了两个成像应用程序的启发电阻抗层析成像和定量光声层析成像，以证明所提出的方法的有效性。
2021-04-28 cs.NA math.NA math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降（SGD）方法，提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外，基于局部误差界条件，我们建立了该方法的线性收敛性，以获得非凸优化的稳定点。特别地，我们证明了不仅生成的序列线性收敛到问题的一个稳定点，而且相应的目标值序列也线性收敛。最后，数值实验验证了该方法的有效性.据我们所知，它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
Bregman Proximal Linearized ADMM for Minimizing Separable Sums Coupled by a Difference of Functions
本文提出一种结合Bregman距离的线性化ADMM分裂算法，用于求解由函数差耦合的非凸非光滑可分离复合优化问题，并证明了其子序列及全序列收敛性，在鲁棒PCA和最优潮流问题上验证了有效性。
2024-09-30 math.OC
On Distributed Nonconvex Optimisation Via Modified ADMM
针对多智能体网络中的非凸非光滑分散优化问题，提出一种带多轮信息聚合内循环的改进 ADMM 框架，并证明其在循环次数对数增长时渐近收敛至驻点。
2023-12-07 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化，提出一种保证变量可行性的光滑加速投影梯度方法，通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率，并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Convergence Analysis of Generalized ADMM with Majorization for Linearly Constrained Composite Convex Optimization
本文将Xiao等[{ \tt Math. Prog.计算：2018}]针对两块线性约束复合凸规划问题，其中每个块都是“非光滑+二次”形式.然而，在非二次（但光滑）的情况下，这种方法可能会失败，除非不再使用“非光滑+光滑”的有利结构。本文旨在弥补这一缺陷，采用优化技术来逼近增广拉格朗日函数，从而将相应的子问题分解为若干个小问题，然后分别求解。此外，最近的对称高斯-赛德尔（SGS）分解定理保证了更大的子问题和这些较小的之间的等价性。本文着重于收敛性分析，即，我们证明所提出的方法产生的序列全局收敛到Karush-Kuhn-Tucker点所考虑的问题。最后，通过对一类模拟凸组合最优化问题的数值实验，验证了该方法的有效性。
2022-04-04 math.OC
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
An accelerated semi-proximal ADMM with applications to multi-block sparse optimization problems
本文提出一种加速的半近端ADMM（AsPADMM），通过外推和递增惩罚参数实现O(1/K)非遍历收敛，并应用于多块稀疏优化，显著提升收敛速度。
2025-05-27 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Distributed Synthesis Using Accelerated ADMM
针对受外界干扰的大规模连续时间系统，提出了一种凸分布优化算法来综合鲁棒控制器。给定一个大规模的系统，而不是解决较大的集中式综合任务，我们分解成一组较小的综合问题的局部子系统与给定的互连拓扑结构。因此，合成问题被约束到由互连拓扑结构决定的稀疏模式。为此，对于每个子系统，我们解决了一个局部耗散不等式，然后检查整个系统的小增益条件。为了最小化干扰的影响，我们考虑了$\mathrm{H}_\infty$综合问题。我们使用加速交替方向法乘法器（ADMM）的分布式综合方法的实例与收敛速度$O(\frac{1}{k^2})$与$k$是迭代次数。
2018-02-28 math.OC
Accelerated Stochastic ADMM with Variance Reduction
Computer Science Institute, Zhejiang University（浙江大学计算机学院）；Department of Respiratory Diseases, The First Affiliated Hospital, College of Medicine Zhejiang University（浙江大学医学院附属第一医院呼吸科）
本文提出了一种加速的随机ADMM算法，结合方差减少技术，实现更快的收敛速度，并理论分析其收敛率，证明其对光滑常数的依赖是最佳的。
2023-04-23 cs.NA math.NA math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms
针对非凸优化中DRS和ADMM受病态条件与问题规模限制的问题，提出两种结合拟牛顿方向的线搜索算法，保留原收敛性且提升收敛速度与鲁棒性，采用Broyden方向可实现超线性收敛。
2021-11-03 math.OC
Perturbed Proximal Gradient ADMM for Nonconvex Composite Optimization
PPG-ADMM通过引入扰动机制解决非凸复合优化问题，实现子线性收敛并提供更强的最优性保证。
2026-01-05 math.OC
Accelerated ADMM: Automated Parameter Tuning and Improved Linear Convergence
Università di Bologna（博洛尼亚大学）；University of Stuttgart（斯图加特大学）
本文提出了一种改进的加速ADMM算法，通过自动参数调节和积分二次约束方法，提升了强凸问题的线性收敛速率，并在LASSO回归中得到验证。
2026-07-31 cs.SY eess.SY math.OC
Accelerated forward-backward method with fast convergence rate for nonsmooth convex optimization beyond differentiability
提出了一种快速收敛速度的向前向后加速算法，用于求解闭凸集上可分解非光滑凸函数的极小值，并将其命名为光滑加速邻近梯度（SAPG）算法.该算法结合了平滑方法和外推$\frac{k-1}{k+α-1}$和$α>3$的邻近梯度算法。平滑参数$μ_k$的更新规则是一个聪明的方案，并保证了整体收敛速度的$o(\ln^σk/k)$与$σ\in(\frac{1}{2},1]$的目标函数值。证明了该序列收敛于问题的最优解。此外，我们在SAPG算法中引入了一个误差项，得到了非精确平滑加速邻近梯度算法。在误差可和条件下，我们得到了与SAPG算法相同的收敛结果。最后通过数值实验验证了该算法的有效性。
2021-10-04 math.OC
ADMM for Structured Fractional Minimization
Peng Cheng Laboratory（鹏城实验室）
本文提出首个针对结构化分数最小化问题的交替方向乘子法FADMM，通过两种变体（Dinkelbach和二次变换）实现线性化近端分解，在O(1/ε³)复杂度内收敛到ε-近似临界点，并在多个实际应用中验证有效性。
2025-03-31 cs.LG cs.NA math.NA
Convergence on a symmetric accelerated stochastic ADMM with larger stepsizes
本文提出了一种求解带线性约束的可分离凸优化问题的对称加速随机交替方向法（SAS-ADMM）。目标函数是一个可能非光滑的凸函数与多个光滑凸函数的平均函数之和。我们提出的算法结合了ADMM的思想和加速随机梯度法的技术，可能与方差减少来解决光滑子问题。SAS-ADMM的一个主要特点是它的对偶变量在分离的原始变量的每次更新之后对称地更新，与标准的确定性或随机ADMM相比，这使得对偶变量的收敛区域更大、更灵活。证明了这种新的随机最优化算法具有遍历期望收敛性和O（1/T）的收敛速度，其中T是外迭代次数.初步实验表明，该算法对于解决大数据应用中的可分离最优化问题是非常有效的。最后，在附录中讨论了算法的3块扩展及其加速随机增广拉格朗日方法的变体。
2021-12-19 cs.NA math.NA math.OC
A Distributed Accelerated Preconditioned ADMM for Solving Quadratically Regularized Optimal Transport on Bipartite Graphs
Sun Yat-sen University（中山大学）
针对二部图上二次正则化最优传输问题，提出分布式加速预条件ADMM（DAP-ADMM），实现全局收敛与非遍历O(1/k)界，并通过无求解器投影和自适应惩罚机制加速收敛。
2026-10-08 cs.DC math.OC
Stochastic smoothing accelerated gradient method for general constrained nonsmooth convex composite optimization
Beijing Jiaotong University（北京交通大学）
本文提出了一种随机平滑加速梯度方法，用于解决一般约束非光滑凸复合优化问题，通过可变样本大小实现最优迭代和SFO复杂度。
2026-01-31 math.OC
Penalty-Based Smoothing and Accelerated Inertial Dynamics for Convex Supremum Optimization
University of Limoges（利摩日大学）；Universidad de O’Higgins（奥希金斯大学）；Universidad de Chile（智利大学）
本文提出了一种基于惩罚的平滑方法，用于加速非光滑凸函数的优化，并通过惯性动力学实现加速收敛。
2026-10-30 math.OC
Smoothing Accelerated Proximal Gradient Method with Fast Convergence Rate for Nonsmooth Multi-objective Optimization
本文提出带外推项的平滑加速近端梯度法（SAPGM）求解非光滑多目标优化，通过引入特定外推项将收敛速率提升至 $o(\ln^σk/k)$，并证明迭代序列收敛到Pareto最优解，数值实验验证了方法有效性。
2024-10-18 math.OC
A Smoothing Accelerated Proximal Gradient Method with Nonmonotone Backtracking Strategy for Convex Nonsmooth Composite Multiobjective Optimization
Sichuan University（四川大学）
针对含两个非光滑项的复合多目标优化问题，提出基于 Lipschitz 估计与平滑因子联动回溯的平滑加速近似梯度算法，证明弱 Pareto 收敛性与收敛速率，实验显示其效率优于次梯度算法。
2026-10-27 math.OC
A Safeguarded Accelerated Proximal ADMM Algorithm for Solving Structured Cardinality Penalized Optimization Problems
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）
本文针对结构化基数惩罚优化问题，提出带保障加速近端ADMM算法，证明其收敛性并建立收敛速率，经信号与图像去噪实验验证了有效性。
2026-10-14 math.OC
LEAF: A Learning-Enabled ADMM Framework for Accelerated Convex Optimization
University of Central Florida（中佛罗里达大学）
提出LEAF框架，通过输入凸神经网络学习Moreau包络来加速凸优化，降低模型复杂度并保持收敛性，实验显示比最先进求解器快一个数量级。
2026-06-08 cs.LG cs.SY eess.SY
Nonconvex Zeroth-Order Stochastic ADMM Methods with Lower Function Query Complexity
University of Pittsburgh（匹兹堡大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Duke University（杜克大学）；University of Maryland College Park（马里兰大学帕克分校）
针对非凸有限和与在线问题，本文提出 ZO-SPIDER-ADMM 和 ZOO-ADMM+，降低函数查询复杂度，并在黑盒对抗攻击实验中验证效率。
2023-12-11 cs.LG math.OC stat.ML
Accelerated Nonconvex ADMM with Self-Adaptive Penalty for Rank-Constrained Model Identification
本文针对秩约束模型辨识问题，提出一种基于增广拉格朗日函数一阶分析的自适应惩罚更新策略，并结合Anderson加速方案，有效加速了非凸ADMM的收敛并降低了对惩罚参数调节的依赖。
2023-09-08 cs.SY eess.SY math.OC
On the Duality Gap Convergence of ADMM Methods
本文提供了一个对偶间隙收敛分析的标准ADMM以及线性化版本的ADMM。结果表明，在适当的条件下，这两种方法实现线性收敛。然而，标准ADMM实现了比线性化ADMM更快的加速收敛速度。一个简单的数值例子来说明收敛行为的差异。
2015-09-08 math.OC
Convergence analysis of accelerated algorithms via a mixed-order dynamical system for separable nonsmooth convex optimization
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, School of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院，统计智能计算与监测重庆市重点实验室）
本文研究了混合阶动态系统衍生的两种算法，用于解决包含两个非光滑复合结构目标函数的线性等式约束凸优化问题，提出新的双变量算法和分裂算法，并证明其非平稳收敛性及强收敛性。
2026-03-24 math.OC
An Accelerated Linearized Alternating Direction Method of Multipliers
提出了一种新的加速线性化乘子交替方向法（ADMM）的框架。该方法的基本思想是在线性化ADMM中加入多步加速方案。我们证明了，对于求解一类带线性约束的凸复合优化问题，AADMM的收敛速率优于线性化ADMM，因为它们依赖于光滑分量的Lipschitz常数。此外，AADMM能够处理的情况下，可行域是无界的，只要相应的鞍点问题有一个解决方案。并提出了一种实用的回溯算法。
2014-02-11 math.OC
An accelerated minimax algorithm for convex-concave saddle point problems with nonsmooth coupling function
在这项工作中，我们的目标是解决一个凹凸鞍点问题，凹凸耦合函数是光滑的一个变量和非光滑的，并不假设是线性的。这个问题是增加了一个非光滑正则化的光滑组件。我们提出并研究了一种名为OGAProx的新型算法，该算法由平滑变量中的乐观梯度上升步骤与正则化器的近端步骤耦合组成，并且与耦合函数的非平滑分量中的{近端步骤}交替。我们考虑了与所研究的鞍点问题相关的凸-凹、凸-强凹和强凸-强凹情形。关于迭代，我们得到（弱）收敛，收敛速度的顺序$ \mathcal{O}(\frac{1}{K}) $和线性收敛像$\mathcal{O}(θ^{K})$与$ θ< 1 $，分别。在函数值方面，我们分别得到了$ \mathcal{O}(\frac{1}{K}) $，$ \mathcal{O}(\frac{1}{K^{2}}) $和$ \mathcal{O}(θ^{K}) $与$ θ< 1 $阶的遍历收敛速度.我们验证了我们的理论考虑非光滑线性鞍点问题，多核支持向量机的训练和分类问题，将极大极小组公平。
2021-08-06 math.OC
A Dual ADMM Framework for Inverse Parameter Identification in Elliptic Variational Inequalities
Cadi Ayyad University（卡迪·阿亚德大学）；Ecole Normale Supérieure, Université Sidi Mohamed Ben Abdellah（西迪穆罕默德·本阿卜拉赫大学高等师范学院）；Sidi Mohamed Ben Abdellah University（西迪穆罕默德·本阿卜拉赫大学）
针对第二类椭圆变分不等式控制的逆参数识别问题，提出一种基于增广拉格朗日与交替方向乘子法（ADMM）的对偶框架，利用Fenchel对偶处理非光滑边界项，实现Robin系数的高效重建。
2026-06-23 math.OC
Learning-Accelerated ADMM for Distributed Optimal Power Flow
National Renewable Energy Laboratory（国家可再生能源实验室）；University of Colorado at Boulder（科罗拉多大学博尔德分校）
提出了一种新的数据驱动的方法，以加快收敛的交替方向法的乘数（ADMM）求解分布式直流最优潮流（DC-OPF）的线路之间的独立的网络分区共享。该方法利用给定系统在不同负载下ADMM轨迹的先前观测值，训练递归神经网络（RNN）来预测对偶变量和共识变量的收敛值。给出了一种新的系统负载实现，少量的初始ADMM迭代作为输入，以推断收敛值，并直接注入到迭代。我们的经验表明，这些值到ADMM迭代的在线注入加速收敛的分区14，118和2848总线测试系统在不同的负载情况下的一个重要因素。所提出的方法有几个优点：它保持了共识ADMM中固有的私有决策变量的安全性;推理速度快，因此可以用于在线设置; RNN生成的预测可以显着提高收敛时间，但通过构造，永远不会导致不可行的ADMM子问题;它可以很容易地集成到现有的软件实现中。虽然我们专注于ADMM制定分布式DC-OPF在本文中，所提出的想法自然扩展到其他分布式最优化问题。
2020-09-15 cs.LG cs.SY eess.SY
Primal-dual extragradient methods for nonlinear nonsmooth PDE-constrained optimization
本文研究了Chambolle-Pock原始对偶法在求解函数空间间非线性算子的非光滑最优化问题中的推广。在包括相应原-对偶最优性条件的度量规律性在内的技术条件下，证明了局部收敛性。我们还表明收敛Nesterov型加速变量提供的功能的一部分是强凸的。我们证明了加速算法的适用性，$L^1$ -和$L^\infty$ -拟合项以及状态约束最优控制问题的反问题的例子，在引入（任意小，仍然不光滑）Moreau-Yosida正则化后，可以保证收敛。数值算例验证了这一点。
2017-03-15 math.OC
ADMM for Multiaffine Constrained Optimization
本文扩展了乘子交替方向法的适用范围。具体而言，我们表明，ADMM，当用于解决问题的多仿射约束，满足一定的可验证的假设，收敛到一组约束的固定点，如果增广拉格朗日的罚参数是足够大的。当Kurdyka-Kjojasiewicz（K-K）性质成立时，这一点被加强到收敛到一个单一的约束驻点.我们的分析适用于我们必须尽可能弱的假设。它适用于涉及非凸和/或非光滑目标项的问题，以及可能涉及多个（三个或更多）变量块的多仿射约束。为了说明我们的结果的适用性，我们描述的例子，包括非负矩阵分解，稀疏学习，风险平价投资组合选择，凸问题的非凸公式，和神经网络训练。在每一种情况下，我们的ADMM方法只遇到具有封闭形式解的子问题。
2019-10-22 math.OC
ADMM and Linearized ADMM for Weakly Convex Minimization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Southern Methodist University（南方卫理公会大学）
针对光滑凸项加弱凸非光滑项的优化问题，提出 ADMM 及线性化 LADMM 分裂算法，证明收敛到方向稳定解，实验验证高效且解质量与基线相当。
2026-09-14 math.OC
Halpern-Accelerated Majorized ADMM with Optimal Non-Ergodic Convergence under Degenerate Preconditioning
Dongguan University of Technology（东莞理工学院）；Peking University（北京大学）；Northeastern University（东北大学）
本文提出一种Halpern加速的majorized ADMM，允许不定近端项，在退化预条件下实现最优非遍历收敛，并通过数值实验验证其残差衰减与优势。
2026-10-01 cs.NA math.NA math.OC
