A version of the inexact Levenberg-Marquardt method for constrained nonsmooth equations
本文提出了一种变形的投影不精确Levenberg-Marquardt方法（ILMM）求解约束非光滑方程。由于到可行集的正交投影可能是计算昂贵的，我们提出了一个本地ILMM可行的不精确的投影。利用半光滑性假设和弱于标准满秩假设的误差界条件，我们建立了它的收敛性结果，包括速度的结果。最后给出了一些计算结果，以说明新格式的优点。
2021-05-04 math.OC
Inexact indefinite proximal ADMMs for 2-block separable convex programs and applications to 4-block DNNSDPs
本文研究了带线性约束的两块可分凸极小化问题，对于这类问题，用乘子的交替方向法（ADMM）求其子问题的精确解是不可能的或代价太高.这类结构化凸极小化问题通常出现在具有线性约束的三块或四块可分凸优化问题的两块重组求解中，或者出现在图像处理中的约束全变差超分辨率图像重建问题中。针对这些问题，我们提出了一种步长为$τ\in\!(0,\frac{\sqrt{5}+1}{2})$的非精确不确定邻近ADMM，并利用两个易于实现的不精确准则来控制子问题的解的精度，在不确定邻近项的温和假设下证明了算法的收敛性.我们将所提出的不精确不定近似ADMM应用于具有线性约束的三块或四块可分凸极小化问题，这些问题来自于一类重要的具有多个线性等式和/或不等式约束的双非负半定规划（DNNSDP）问题的对偶.数值结果表明，基于绝对误差准则的非精确不定邻近ADMM算法无论在迭代次数还是计算时间上，都与不保证收敛的步长为$τ=1.618$的直接扩展多块ADMM算法具有相当的性能.
2015-07-29 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题，提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明，该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此，该复杂性界限概括了[Bellavia，Gurioli，Morini和Toint，2018]为光滑非凸问题的不精确方法提供的复杂性界限，并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
An inexact augmented Lagrangian method for nonsmooth optimization on Riemannian manifold
考虑了黎曼流形上的一个非光滑最优化问题，其目标函数是一个可微分支与一个非光滑凸函数之和.我们提出了一个流形不精确增广拉格朗日方法（MIALM）所考虑的问题。这个问题被重新表述为一个可分离的形式。利用Moreau包络，我们得到了一个光滑的子问题在所提出的方法的每一个迭代。理论上，在适当的假设下，证明了该方法收敛于临界点。特别地，在迭代子问题的近似全局极小值可得的条件下，证明了原问题收敛于全局极小值。数值实验表明，MIALM是一个有竞争力的方法相比，一些现有的方法。
2019-11-29 math.OC
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法（PL-ADMM）来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长，将该算法推广。证明了该方法生成的序列是有界的，其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下，我们证明了序列具有有限长度从而收敛，并且我们驱动了它的收敛速度。
2021-07-03 math.OC
Speeding Up Nonsmooth Bayesian MCMC Sampling via Inexact Proximal Unadjusted Langevin Algorithm
KU Leuven（荷语鲁汶大学）；University of Antwerp（安特卫普大学）
本文研究了从具有非光滑复合势的后验分布中采样的问题，提出了一种不精确的近端无调整 Langevin 算法（iPULA），该算法通过可控的近似替代精确的近端步骤，利用Moreau包络体平滑势，并允许通过不精确的近端计算来近似梯度，从而在非光滑情况下实现非渐近收敛性保证，并在医学图像重建任务中验证了其有效性。
2026-05-17 math.OC
Using Subproblem Objective Gaps in Inexact Augmented Lagrangian and ADMM Algorithms, with Applications to Stochastic Mixed Integer Programming
Rutgers University（罗格斯大学）
研究随机混合整数规划问题，利用“部分强凸性”引理，在不精确增广拉格朗日和交替方向乘子法中用子问题目标间隙计算拉格朗日界，改进求解子问题准则，收敛分析更简单，且弗兰克 - 沃尔夫变体选择更自由。
2026-08-24 math.OC
A New Inexact Gradient Descent Method with Applications to Nonsmooth Convex Optimization
本文提出一种新的非精确梯度法（IGD），在KL性质下保证收敛到稳定点，并将其应用于设计非精确邻近点法和非精确增广拉格朗日法，数值实验表明其优于现有非光滑凸优化算法。
2024-01-12 math.OC
Distributed Derivative-Free Optimization Using Inexact ADMM and Trust-Region Methods
针对高维黑盒设置，提出一种基于双层ADMM框架与无导数信赖域求解器的分布式非凸无导数优化方法，通过不精确求解子问题提升计算效率，并证明了其理论收敛性与优越性能。
2025-10-31 math.OC
On the Equivalence of Inexact Proximal ALM and ADMM for a Class of Convex Composite Programming
本文证明了对于一类线性约束凸复合最优化问题，基于（不精确）对称Gauss-Seidel的优化多块近似交替方向法（ADMM）等价于{ \em不精确}近似增广拉格朗日方法（ALM）.这种等价性不仅为理解某些ADMM类算法提供了新的视角，而且为实现它们以获得更好的计算效率提供了有意义的指导。即使对于两个块的情况下，这种等价的副产品是由经典的ADMM产生的整个序列的收敛，其步长超过了$(1+\sqrt{5})/2$的常规上界，如果目标的一部分是线性的。这正是问题的设置，其中第一次收敛分析的ADMM进行了Gabay和Mercier在1976年，但即使在明显更强的假设，只有收敛的原始序列是已知的。一组说明性的例子来证明我们的结果可以用于应用的广度。通过求解大量线性和凸二次半定规划问题的数值实验，说明了本文所建立的理论结果对相应的实际实现的改进.
2019-01-28 math.OC
Faster Stochastic ADMM for Nonsmooth Composite Convex Optimization in Hilbert Space
School of Mathematics and Statistics, Lanzhou University（兰州大学数学与统计学院）；School of Mathematics, Jilin University（吉林大学数学学院）
本文提出一种随机交替方向乘子法用于解决Hilbert空间中非光滑复合和随机凸优化问题，证明了在强凸情况下算法的强收敛性，并展示了在强凸和一般凸情况下功能值和可行性违反的更快非平稳收敛率。
2026-05-15 math.OC
An Efficient Inexact Symmetric Gauss-Seidel Based Majorized ADMM for High-Dimensional Convex Composite Conic Programming
本文提出了一种求解一类高维凸复合锥最优化问题的不精确多块ADMM型一阶方法。该方法的设计结合了一个不精确的2块优化半邻近ADMM和最近的进展不精确对称高斯-赛德尔（SGS）技术解决多块凸复合二次规划，其目标包含一个非光滑项只涉及第一块变量。我们提出的方法的一个显著特点是（sGS-imsPADMM）的一个优点是，它只需要一个周期的不精确sGS方法，而不是一个未知数的周期，以解决所涉及的每个子问题。通过一些简单和可实现的容错准则，可以大大减少求解子问题的成本，并且每个sGS周期的前向扫描中的许多步骤通常可以跳过，这进一步有助于所提出的方法的效率。证明了算法的整体收敛和非遍历意义下的迭代复杂性，并对高维线性和凸二次SDP问题进行了初步的数值实验，这些问题具有大量的线性等式和不等式约束.结果表明，对于绝大多数测试问题，sGS-imsPADMM比直接扩展的多块ADMM快2 ~ 3倍，其积极步长为1.618，是目前求解多块线性和二次SDP问题的一阶方法中的基准，但其收敛性不能保证。
2016-03-17 math.OC
Nonsmooth Riemannian optimization with inexact manifold primitives via bundle methods
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种非光滑几何凸优化的近似包方法，通过引入子梯度和近似原语，建立了首个依赖于子梯度和近似原语的oracle复杂度界，实现了通用目标的次线性收敛和线性收敛。
2026-04-29 math.OC
Stochastic ADMM with batch size adaptation for nonconvex nonsmooth optimization
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出了一种自适应批量大小的SADMM方法，通过动态调整批量大小来解决非凸非光滑优化中的方差降低与计算成本之间的权衡，并验证了其有效性。
2025-09-06 math.OC
An Inexact Trust-Region Method for Structured Nonsmooth Optimization with Application to Risk-Averse Stochastic Programming
Sandia National Laboratories（桑迪亚国家实验室）
本文提出一种近似信任区域方法，用于解决包含光滑函数、非光滑凸函数及光滑函数与有限值支撑函数的组合的优化问题，并在风险厌恶随机规划中应用。方法允许使用不精确的函数值和导数信息，可解决由偏微分方程等约束的无限维问题，证明了方法的全局收敛性。
2026-10-22 math.OC
Adaptive Riemannian ADMM for Nonsmooth Optimization: Optimal Complexity without Smoothing
针对紧致黎曼子流形上的光滑与非光滑凸复合优化问题，提出无需平滑非光滑项的自适应 ARADMM，每次迭代仅需一次梯度求值和一次近端更新，并达到 O(ε^-3) 的最优 KKT 复杂度。
2025-10-21 math.OC
On the Oracle Complexity of a Riemannian Inexact Augmented Lagrangian Method for Riemannian Nonsmooth Composite Problems
本文研究黎曼非光滑复合优化，证明带经典对偶更新的 RiAL 方法通过非精确内子问题求解仅需 O(ε^{-3}) 次一阶预言机调用即可找到 ε-稳定点，达到已知最优复杂度。
2024-10-02 math.OC
A Single-loop Stochastic Riemannian ADMM for Nonsmooth Composite Optimization
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出MARS-ADMM，一种单环随机黎曼ADMM算法，实现非光滑优化的近最优复杂度，优于现有方法并达到确定性优化的最优水平。
2026-09-30 math.OC
A Learning-Based Inexact ADMM for Solving Quadratic Programs
School of Mathematics and Statistics, Nanjing University of Information Science and Technology（南京信息工程大学数学与统计学院）
本文提出用参数高效LSTM学习近似子问题解的神经加速非精确ADMM，证明其原对偶收敛性，并在QP求解中取得更高精度及相对Gurobi、SCS、OSQP最高7倍、28倍、22倍加速。
2026-11-03 math.OC
ADMM for Nonsmooth Composite Optimization under Orthogonality Constraints
针对正交约束下含光滑、凹与弱凸项的非凸非光滑复合优化，提出 OADMM 及其 EP、RR 变体，并证明遍历与 KL 条件下的非遍历收敛保证。
2025-01-11 math.OC
An Accelerated Stochastic ADMM for Nonconvex and Nonsmooth Finite-Sum Optimization
本文提出加速随机ADMM算法ASVRG-ADMM，针对非凸非光滑有限和优化问题，建立了次线性收敛速率，并在KL性质下证明其线性收敛，实验验证其优于现有方法。
2023-07-03 math.OC
Distributed optimization on directed graphs based on inexact ADMM with partial participation
针对有向图网络中的分布式成本函数求和最小化问题，提出基于非精确 ADMM 与部分参与机制的分布式优化算法，在标准假设下证明了线性收敛性，其收敛速率优于 Push-DIGing 且显著节省计算与通信开销。
2023-04-01 math.OC
Convergence Analysis of an Inexact Proximal Trust-Region Method
Sandia National Laboratories（桑迪亚国家实验室）；Oregon State University（俄勒冈州立大学）
本文提出并分析了一种非精确近端信赖域算法，用于求解光滑非凸与非光滑凸函数之和的最小化问题，通过允许近端算子非精确评估保证全局收敛，并在PDE约束优化中验证了其有效性。
2026-09-23 math.OC
Convergence rates for an inexact linearized ADMM for nonsmooth nonconvex optimization with nonlinear equality constraints
针对带非线性等式约束的非光滑非凸双块优化问题，提出一种非精确线性化ADMM算法，通过线性化与动态正则化构建易解子问题，利用Lyapunov论证证明其$\mathcal{O}(ε^{-2})$迭代复杂度及在KL条件下的全局收敛性。
2025-03-02 math.OC
An Inexact Proximal Framework for Nonsmooth Riemannian Difference-of-Convex Optimization
本文提出不精确黎曼近端DC（iRPDC）框架，用于求解含非光滑DC项的非光滑黎曼优化问题，首次建立与$\ell_0$正则化的等价性，并实现匹配最优的$\mathcal{O}(\epsilon^{-3})$整体复杂度，在稀疏PCA上验证了有效性。
2025-09-10 math.OC
An Efficient ADMM Method for Ratio-Type Nonconvex and Nonsmooth Minimization in Sparse Recovery
本文针对非凸非光滑的比率型稀疏恢复问题，提出了一种高效的ADMM方法，在理论上证明了收敛性，并通过实验验证了其在稀疏恢复和神经网络稀疏化中的优越性能。
2025-09-26 math.OC
Inexact alternating direction multiplier methods for separable convex optimization
本文提出了一种非精确交替方向乘子法（ADMMs），用于求解一般的可分凸优化问题，其目标函数为光滑项和非光滑项之和，且带有线性约束.该方法包括线性化子问题，一个回代步骤，梯度或加速梯度技术。建立了整体收敛。当ADMM子问题没有封闭形式解或子问题的解是昂贵的时，该方法特别有用。基于图像重建问题的数值实验表明了所提方法的有效性。
2016-04-08 math.OC
A FE-inexact heterogeneous ADMM for Elliptic Optimal Control Problems with {$L^1$}-Control Cost
研究了具有$L^1$ -控制代价的椭圆型偏微分方程约束最优控制问题（$L^1$ -EOCP）.在求解$L^1$ -EOCP问题中，原始-对偶有效集（PDAS）方法是一种特殊的半光滑牛顿（SSN）方法。然而，一般来说，求解牛顿方程是昂贵的。受交替方向乘子法（ADMM）成功的启发，我们考虑将ADMM推广到$L^1$ -EOCP。为了离散$L^1$ -EOCP，考虑了分段线性有限元（FE）。然而，与有限维$l^1$ -范数不同，离散化的$L^1$ -范数不具有解耦形式.为了克服这一困难，一个有效的方法是利用节点求积公式近似离散的$L^1$ -范数和$L^2$ -范数。证明了这些逼近步骤不会改变误差估计的阶。为了解决离散化问题，提出了一种非精确异构ADMM（ihADMM）.与经典的ADMM不同，ihADMM在两个子问题中分别采用两种不同的加权内积来定义增广拉格朗日函数。受益于这种不同的加权技术，ihADMM的两个子问题可以有效地实现。此外，还给出了ihADMM算法的整体收敛和迭代复杂性的理论结果$o(1/k)$.为了获得更精确的解，还提出了一种两阶段策略，其中原始-对偶有效集（PDAS）方法被用作ihADMM的后处理器。数值结果不仅证实了误差估计，而且还表明ihADMM和两阶段策略是高效的。
2017-09-03 math.OC
An inexact restoration-nonsmooth algorithm with variable accuracy for stochastic nonsmooth convex optimization problems in machine learning and stochastic linear complementarity problems
研究目标函数为非光滑凸数学期望形式的无约束最优化问题。所提出的方法近似预期的目标函数与样本平均函数使用不精确恢复为基础的适应样本量。根据不精确恢复以自适应方式选择样本量。该算法使用线搜索，并假设相对于当前近似函数的下降方向。我们能证明。在标准假设下的收敛性。对两类问题，机器学习损失函数训练分类器和随机线性互补性问题的数值结果证明了该方案的有效性.
2022-11-02 cs.NA math.NA math.OC
Federated Learning via Inexact ADMM
Beijing Jiaotong University（北京交通大学）；Imperial College London（伦敦帝国理工学院）
本文针对联邦学习优化效率问题，提出一种非精确ADMM算法，在温和条件下实现收敛，兼具计算与通信效率并能对抗滞后效应，数值性能优于现有主流联邦学习算法。
2023-09-24 cs.LG math.OC
Inexact Zeroth-Order Nonsmooth and Nonconvex Stochastic Composite Optimization and Applications
King’s College London（伦敦国王学院）；Yale University（耶鲁大学）
本文提出了一种近似零阶方法，用于解决非光滑非凸随机复合优化问题，并展示了其在广泛问题中的应用，超越了现有方法的局限性。
2025-12-10 math.OC
Implementation of the ADMM to Parabolic Optimal Control Problems with Control Constraints and Beyond
具有控制约束的抛物型最优控制问题无论从理论分析还是算法设计的角度来看都是具有挑战性的。从概念上讲，众所周知的交替方向法的乘法器（ADMM）可以直接应用于这样的问题。这种直接ADMM应用的一个有吸引力的优点是，控制约束可以从抛物线PDE约束中解脱出来;因此，这两个固有的不同约束可以在迭代中单独处理。在ADMM的每一次迭代中，主要的计算是求解一个无约束抛物型最优控制问题。由于离散化后的高维性，每次迭代时的无约束抛物型最优控制问题只能通过内部实现某种数值格式来不精确求解，因此需要两层嵌套迭代格式。然后，重要的是要找到一个容易实现的和有效的不精确性准则来执行内部迭代，并严格证明所得到的两层嵌套迭代方案的整体收敛性。为了有效地实现ADMM，我们提出了一个不精确的标准，这是独立的网格步长的离散化，它可以自动执行，而不需要设置经验感知的恒定精度先验。不精确性准则使我们能够将无约束最优控制问题求解到中等甚至低精度，从而显著地节省了计算量，但仍能严格保证整个两层嵌套迭代格式的收敛性.这个ADMM实现的效率是有希望的初步数值结果验证。我们的方法也可以扩展到其他线性偏微分方程，如椭圆方程和双曲型方程约束的最优控制问题。
2020-05-04 math.OC
Inexact Limited Memory Bundle Method
University of Turku（图尔库大学）
本文提出了一种新的不精确有限记忆束法，用于解决大规模非光滑非凸优化问题，证明了该方法能全局收敛到近似 stationary 点，并通过不同噪声水平的实验展示了其在精确和噪声数据中的有效性。
2026-04-09 math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题，提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法，证明了不同参数下的收敛性与收敛速率，并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
Alternating Direction Method of Multipliers for A Class of Nonconvex and Nonsmooth Problems with Applications to Background/Foreground Extraction
在本文中，我们研究了一个通用的最优化模型，它涵盖了现有的模型在成像科学中的许多应用的大类。为了解决由此产生的可能的非凸，非光滑和非Lipschitz最优化问题，我们适应交替方向法的乘法器（ADMM）与一般的双步长求解包含三个变量块的重新制定，并分析其收敛性。我们发现，对于任何双步长小于黄金分割比，存在一个可计算的阈值，这样，如果罚参数被选择在这样的阈值以上，从而产生的序列由我们的ADMM是有界的，那么该序列的聚类点给出了一个固定点的非凸最优化问题。我们通过专门为ADMM构建的势函数实现这一点。此外，如果这个特殊的势函数是一个Kurdyka-Schojasiewicz函数，我们建立了整个序列的整体收敛。此外，我们提出了一个简单的策略初始化算法，以保证序列的有界性。最后，我们进行了数值实验，比较我们的ADMM与[5]中提出的近端交替线性化最小化（PALM）的背景/前景提取问题与真实数据。数值结果表明，我们的ADMM与非平凡的对偶步长是有效的。
2016-09-29 math.OC
Probabilistic Verification of Approximate Algorithms with Unstructured Errors: Application to Fully Inexact Generalized ADMM
我们分析了一个近似的，完全不精确的，ADMM算法下添加剂，确定性和概率误差模型的收敛性。我们考虑了广义ADMM格式，该格式是由广义拉格朗日罚函数加上（平滑）自适应度量二次近似扰动而得到的。我们得到明确的确定性和概率收敛上界的下C2非凸的情况下，以及凸的情况下Lipschitz连续性条件。我们还提出了更实际的条件下，近似ADMM收敛到一个次优解的近似误差是保证与高概率。我们考虑统计和动态非结构化的条件均值独立有界差错序列。我们使用模拟和实际软件以及算法计算扰动来验证我们的结果。我们将该算法应用于一个合成的LASSO和鲁棒回归与k-支持范数正则化问题，并在不同的计算噪声水平下测试我们提出的界限。与经典的收敛结果相比，自适应概率界在预测不同误差源下与最优集的距离和寄生残差方面更准确。
2022-10-05 eess.SP math.OC
Multiblock ADMM for nonsmooth nonconvex optimization with nonlinear coupling constraints
University of Mons（蒙斯大学）；Huawei Belgium Research Center (BeRC)（华为比利时研究中心）
本文提出一种多块ADMM方法，结合优化最小化更新各原始变量块，用于求解带非线性耦合约束的非光滑非凸优化问题，并证明了收敛性、迭代复杂度及初步数值效果。
2023-12-02 cs.LG math.OC
An Inexact Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
GERAD and Department of Mathematics and Industrial Engineering, Polytechnique Montréal（蒙特利尔高等商学院数学与工业工程系、GERAD）
该研究针对非光滑正则化优化问题，提出iR2N方法，可对光滑函数与下半连续近端有界函数之和进行不精确评估，通过近似最小化相关模型及正则项实现全局收敛，实验验证了其有效性与灵活性，能减少计算量。
2026-07-17 math.OC
Inexact-Proximal Accelerated Gradient Method for Stochastic Nonconvex Constrained Optimization Problems
具有非线性约束的随机非凸最优化问题在智能交通、网络安全和智能电网等领域有着广泛的应用。本文首先提出了一种非精确邻近加速梯度法来求解一类非凸随机复合最优化问题，其中目标函数为光滑函数和非光滑函数之和，约束函数为确定性函数，且每次迭代时非光滑部分的邻近映射的解是不精确计算的.我们证明了一个渐进的次线性收敛速度收敛速率随机设置使用增加的样本大小考虑在邻近的操作员的错误减少在一个适当的速度。然后，我们定制所提出的方法来解决随机非凸最优化问题与非线性约束，并证明了收敛速度保证。数值结果表明了该算法的有效性。
2021-07-07 math.OC
An Optimization Framework with Flexible Inexact Inner Iterations for Nonconvex and Nonsmooth Programming
Dalian University of Technology（大连理工大学）
近年来，许多视觉和学习任务已经（重新）制定为非凸和非光滑规划（NNPs）。虽然已经提出了一些算法，为特定的问题，设计快速和灵活的优化方案的理论保证是一个具有挑战性的任务一般NNPs。非精确内迭代算法的收敛性问题还不清楚，但它在某些特殊情况下是有用的。基于这些实践经验，本文设计了一种新的算法框架，命名为不精确邻近交替方向法（iPad）求解一般NNPs。我们证明，任何数值算法可以被纳入iPad解决子问题和由此产生的混合计划的收敛性可以始终保证由一系列简单的错误条件。除了理论上的保证之外，对合成数据和真实数据的数值实验进一步证明了我们的iPad框架在实际应用中的优越性和灵活性。
2017-06-30 cs.CV math.OC
A nonsmooth optimization technique in domains of positivity
本文给出了一类特殊的Hadamard流形上的凸优化的非光滑邻近点方法，称之为齐次正性域。该方法是基于Rham分解定理在对称空间中的特殊化，适用于计算凸函数的极小值。齐次域的积极性在这项工作中被认为是那些特别可约类型的意义上介绍和大量讨论沿文件。该技术的一般方面示出的收敛性分析的方法，整体收敛的两个版本的精确和不精确的，在特定的假设下，一个下界的不精确版本的外迭代的数量。
2016-01-06 math.OC
The ADMM-PINNs Algorithmic Framework for Nonsmooth PDE-Constrained Optimization: A Deep Learning Approach
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；The University of Hong Kong（香港大学）；Nankai University（南开大学）
本文提出结合 ADMM 与 PINNs 的算法框架，通过解耦 PDE 约束与非光滑正则化项，将 PINNs 扩展至非光滑 PDE 约束优化问题，实现无网格高效求解。
2024-07-28 cs.LG math.OC
Stochastic ADMM for Nonsmooth Optimization
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个随机设置的非光滑凸可分目标函数的线性等式约束的优化问题。为了解决这类问题，我们提出了一种随机交替方向乘法（ADMM）算法。我们的算法适用于更一般的一类非光滑凸函数，不一定有一个封闭的形式的解决方案，通过最小化增广函数直接。我们还证明了我们的算法的收敛速度下的各种结构假设的随机函数：$O(1/\sqrt{t})$凸函数和$O(\log t/t)$强凸函数。与以往文献相比，我们建立了ADMM算法的收敛速度，首次，在目标值和可行性违反。
2013-01-22 cs.LG math.OC stat.ML
Multi-Agent Distributed Optimization via Inexact Consensus ADMM
National Taiwan University of Science and Technology（台湾科技大学）；University of Minnesota（明尼苏达大学）；East China Normal University（华东师范大学）
本文提出低复杂度算法，通过在ADMM更新中引入近似步骤，显著降低大规模共识ADMM的计算成本，且在凸性假设下保证收敛性。
2014-09-11 cs.SY eess.SY math.OC
Gradient Sampling Methods with Inexact Subproblem Solutions and Gradient Aggregation
梯度采样（GS）已被证明是一种有效的方法来最小化的目标函数，可能是非凸和/或非光滑的。当代GS方法的计算成本最高的部分是需要在每次迭代中求解凸二次子问题。在本文中，提出了一种策略，允许使用这些子问题的不精确的解决方案，其中，证明了在该文件中，可以被纳入没有损失的理论收敛保证。数值实验表明，利用不精确的子问题的解决方案，可以不断减少所需的GS方法的计算量。此外，提出了一种策略，用于聚合梯度信息后，子问题得到解决（可能不准确），已被利用在捆绑方法非光滑最优化。它被证明是可以引入的聚合计划，而不会失去理论上的收敛保证。数值实验表明，将这种梯度聚合方法大大减少了GS方法所需的计算工作量。
2021-08-06 math.OC
Inexact proximal methods for weakly convex functions
本文提出不精确近端方法求解光滑与弱凸非光滑函数之和的稳定点，基于连续映射求零点框架，证明了近端点法与近端梯度法在KL性质下的全局收敛性与构造性收敛速率。
2023-08-04 math.OC
Multi-Block Nonconvex Nonsmooth Proximal ADMM: Convergence and Rates under Kurdyka-Łojasiewicz Property
在本文中，我们考虑了一个多块广义交替方向乘子法（GADMM）算法，用于最小化线性约束可分非凸和可能非光滑优化问题。GADMM通过在每个原始更新中包括邻近项和在对偶更新中包括超松弛参数来推广经典ADMM。证明了序列的任一极限点都是临界点。通过引入一个修正的增广拉格朗日量，我们证明了GADMM产生的序列是有界的，并且连续项之差的范数趋近于零。在强{K}性质下，证明了GADMM序列具有有限长度且收敛于一个稳定点，并给出了其收敛速度.给定一个适当的下半连续函数$f:\mathbb R^n\to\mathbb R$和一个临界点$x^*\in\mathbb R^n$，{K}性质断言存在一个连续凹单调递增函数$ψ$，使得在$x^*$周围它保持$ψ'(f(x)-f(x^*))\cdot{\rm dist}(0,\partial f(x))\ge 1$。当$ψ(s)=s^{1-θ}$与$θ\in[0,1]$一起使用时，这等效于$|f(x)-f(x^*)|^θ{\rm dist}(0,\partial f(x))^{-1}$以保持围绕$x^*$的边界。我们表明，如果$θ=0$，由GADMM产生的序列收敛在有限数量的迭代。如果是$θ\in(0,1/2]$，则收敛速率为$cQ^{k}$，其中$c>0$、$Q\in(0,1)$和$k\in\mathbb N$是迭代次数。如果为$θ\in(1/2,1]$，则为…
2021-09-01 math.OC
A Nonsmooth Dynamical Systems Perspective on Accelerated Extensions of ADMM
最近，人们对连续时间动力系统和最优化方法之间的联系产生了极大的兴趣，特别是在光滑和无约束问题的加速方法方面。在本文中，我们将这一观点扩展到非光滑和约束问题，通过获得微分包含与新的加速变体的交替方向法的乘法器（ADMM）。通过李雅普诺夫分析，我们得出这些动力系统在不同的设置，说明了一个有趣的衰减与常数阻尼策略之间的权衡收敛速度。我们还得到修改后的方程捕捉细粒度的细节，这些方法，提高了稳定性和保持领先的顺序收敛速度。将一般的非线性等式和不等式约束与奇异扰动理论相结合，推广到一般的非线性等式和不等式约束。
2023-01-17 math.OC stat.ML
Proximal ADMM for Nonconvex and Nonsmooth Optimization
通过使节点或代理解决小规模的子问题，以实现协调，分布式算法的青睐，许多网络系统的高效和可扩展的计算。虽然对于凸问题，大量的分布式算法是可用的，更广泛的非凸的结果是非常缺乏的。针对一类非凸非光滑问题，提出了一种分布式算法，该问题的特征在于：i）由独立和复合目标分量构成的非凸目标，ii）局部有界凸约束，iii）耦合线性约束.这个问题直接源于智能建筑，在其他领域也很广泛。为了提供一个具有收敛保证的分布式算法，我们对乘子的交替方向法进行了改进，提出了一种近似的乘子交替方向法。具体来说，注意到的主要困难，建立收敛的非凸和非光滑最优化ADMM框架内是假设的有界性的双重更新，我们建议更新的对偶变量在折扣的方式。这导致建立一个所谓的充分下降和下界的李雅普诺夫函数，这是建立收敛性的关键。我们证明了该方法收敛于某些近似稳定点。此外，我们还通过一个数值例子展示了该方法的有效性和性能，并将其具体应用于智能建筑中的多区域供暖、通风和空调（HVAC）控制。
2022-08-23 cs.DC math.OC
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Distributed Inexact Successive Convex Approximation ADMM: Analysis-Part I
在这两部分的工作中，我们提出了一个算法框架来解决非凸问题，其目标函数是一些光滑的分量函数加上凸（可能非光滑）或/和光滑（可能非凸）正则化函数的总和。该算法结合了现有的几种方法，如交替方向乘法器（ADMM），连续凸逼近（SCA），分布式和异步算法，不精确的梯度法的想法。然而，不同于现有的方法，所提出的框架是足够灵活的，以纳入一类非凸目标函数，允许分布式操作与不融合中心，并包括方差减少的方法作为特殊情况。值得注意的是，所提出的算法是强大的随机，确定性和对抗性来源所产生的不确定性。本文的第一部分在非常温和的假设下开发了算法的两个变体，并建立了一阶收敛速度保证。这里开发的证明允许一般的错误和延迟，为不同的方差减少，异步和随机实现铺平了道路，在第二部分中概述和评估。
2019-07-21 cs.DC math.OC stat.ML
Global Convergence of ADMM in Nonconvex Nonsmooth Optimization
在本文中，我们分析了交替方向法的乘数（ADMM）的收敛性最小化一个非凸的和可能的非光滑的目标函数，$ϕ(x_0,\ldots,x_p,y)$，耦合线性等式约束。我们的ADMM更新每个原始变量$x_0,\ldots,x_p,y$，然后更新对偶变量。我们将变量$y$从$x_i$中分离出来，因为它在我们的分析中具有特殊的作用。所开发的收敛保证涵盖了各种非凸函数，如分段线性函数，$\ell_q$准范数，Schatten-$q$准范数（$0<q<1$），极小极大凹罚（MCP），和光滑剪切绝对偏差（SCAD）的罚款。它还允许非凸约束，如紧致流形（例如，球面、Stiefel和Grassman流形）和线性互补约束。而且，$x_0$ -块几乎可以是任何下半连续函数.通过应用我们的分析，我们表明，第一次，几个ADMM算法应用于解决非凸模型的统计学习，流形上的优化，矩阵分解保证收敛。我们的研究结果提供了充分条件ADMM收敛于（凸或非凸）monotropic程序与三个或更多的块，因为它们是我们的模型的特殊情况。ADMM被认为是增广拉格朗日方法（ALM）的一个变体。我们提出了一个简单的例子来说明如何ADMM收敛，但ALM发散有界罚参数$β$。通过这个例子和本文的其他分析表明，ADMM可能是一个更好的选择比ALM一些非凸\emph{nonsmooth}问题，因为ADMM不仅更容易实现，它也更有可能收敛的有关情…
2018-05-30 cs.NA math.NA math.OC
Two Innovations in Inexact Augmented Lagrangian Methods for Convex Optimization
本文提出凸规划不精确增广拉格朗日方法的两项创新：基于相对误差准则自适应调整乘子松弛量，以及利用近端梯度法变体改进子问题求解，并验证了其在 LASSO 问题上的有效性。
2025-09-16 math.OC
