Convergence rate bounds for a proximal ADMM with over-relaxation stepsize parameter for solving nonconvex linearly constrained problems
本文建立了求解非凸线性约束最优化问题的一种近似交替方向法（ADMM）的收敛速度界。近端ADMM的变体允许包含属于间隔$(0,2)$的超松弛步长参数。据我们所知，文献中所有相关的论文都只考虑了超松弛因子位于区间$(0,(1+\sqrt{5})/2)$的情况。
2017-11-03 math.OC
Inertial Proximal Incremental Aggregated Gradient Method
在本文中，我们介绍了一个惯性版本的近端增量聚合梯度法（PIAG）的光滑凸分量函数和一个可能的非光滑凸正则化函数的总和最小化。在理论上，我们证明了在步长不大于一个常数的条件下，惯性近似增量聚集收敛（iPIAG）方法在严格弱于强凸性的二次增长条件下具有全局线性收敛.此外，我们提出了两个数值实验表明，iPIAG优于原来的PIAG。
2017-12-18 math.OC
A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems
本文描述并建立了求解目标函数为$f+h$形式的非凸复合极小化问题的双加速非精确邻近点（D-AIPP）方法的迭代复杂性，其中$f$是梯度为Lipschitz连续的（可能非凸）可微函数，$h$是有界区域的闭凸函数. D-AIPP执行两种类型的迭代，即内部迭代和外部迭代。其外迭代对应于加速的不精确邻近点格式。它的内迭代是由加速复合梯度法执行的，用于不精确地求解在外迭代期间产生的凸邻近子问题。因此，D-AIPP采用内部加速度和外部加速度。
2018-12-18 math.OC
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法（PL-ADMM）来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长，将该算法推广。证明了该方法生成的序列是有界的，其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下，我们证明了序列具有有限长度从而收敛，并且我们驱动了它的收敛速度。
2021-07-03 math.OC
A relaxed proximal point algorithm with double-inertial effects for nonconvex equilibrium problems
针对非凸平衡问题，提出一种带双惯性效应的松弛邻近点算法，证明迭代序列全局收敛并统一已有结果，且通过数值试验验证理论结论。
2025-02-16 math.OC
On the Iteration Complexity of Smoothed Proximal ALM for Nonconvex Optimization Problem with Convex Constraints
众所周知，求解非凸无约束最优化问题的迭代复杂度的下界是$Ω(1/ε^2)$，当目标函数光滑时，可以用标准梯度下降算法达到。这个下界对于非凸约束问题仍然成立，而一阶方法是否能达到这个下界仍然是未知的。在本文中，我们表明，一个简单的单循环一阶算法称为平滑邻近增广拉格朗日方法（ALM）可以实现这样的迭代复杂度下界。关键的技术贡献是一个强大的局部误差界的一般凸约束问题，这是独立的利益。
2022-11-01 math.OC
A Nonconvex Proximal Splitting Algorithm under Moreau-Yosida Regularization
我们解决高度非凸，非光滑的复合最优化问题，其目标包括一个Moreau-Yosida正则化项。经典的非凸邻近分裂算法，如非凸ADMM，对这样的问题类缺乏收敛性。为了克服这一困难，在这项工作中，我们考虑一个提升的Moreau-Yosida正则化模型的变体，并提出了一种新的多块原始对偶法，本质上稳定的双块。我们提供了一个全收敛分析，我们的算法，并确定各自的最优资格下，原始模型的平稳收敛。在数值上，我们证明了Moreau-Yosida正则化模型的相关性以及我们的算法在鲁棒回归以及联合特征选择和半监督学习上的效率。
2018-02-26 math.OC
Adaptive Barzilai-Borwein Proximal Gradient Method for Nonconvex Optimization
China Agricultural University（中国农业大学）
本文提出用于非凸优化的自适应Barzilai-Borwein邻近梯度方法（AdaBBNC），将BB步长策略扩展至复合非凸优化问题，证明其迭代复杂度为O(ε⁻²)，实验显示其在病态问题中表现更优。
2026-08-25 math.OC
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中，我们适应近似增量聚合梯度法的鞍点问题，这是由解耦线性变换的正则化经验风险极小化模型。首先，提出了带外推的原始-对偶近端增量聚集（PD-PIAG）方法。证明了平均迭代序列的原对偶间隙次线性收敛于0，且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下，证明了迭代序列线性收敛于鞍点。然后，我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下，证明了迭代序列的原始-对偶间隙是次线性收敛的。
2019-11-13 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大（因此非光滑）问题的稳定点，通过应用著名的算法，以复合光滑近似的原始问题。更具体地说，在不受约束的（resp。约束）的情况下，原问题的近似稳定点，通过应用，其复合光滑近似，加速不精确的邻近点（分别）。二次罚分）的方法在以前的文件中提出的作者。迭代的复杂性界限，这两个平滑计划也成立。最后，数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
Inertial Bregman Proximal Gradient Algorithm For Nonconvex Problem with Smooth Adaptable Property
本文研究了两个非凸函数之和的极小化问题：一个是可微的且满足光滑适应性。光滑适应性，也称为相对光滑条件，比全局梯度Lipschitz连续性弱。我们分析了一个惯性版本的Bregman邻近梯度（BPG）算法，并证明其平稳收敛。此外，我们还证明了惯性算法的次线性收敛性。此外，如果目标函数满足Kurdyka-Schojasiewicz（KL）性质，还可以保证其整体收敛到目标函数的临界点.
2019-04-09 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成，该目标函数是一个光滑项和一个（凸）非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广，如近端牛顿和拟牛顿法。在本文中，我们提出了一个正则化的近似拟牛顿法，其主要特点是：（a）该方法全局收敛到稳定点，（b）全局化由正则化参数控制，不需要线搜索，（c）该方法可以基于简单的观察而非常有效地实现，该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明，该方法优于现有的几种方法。
2022-10-14 math.OC
Inertial Proximal Alternating Linearized Minimization (iPALM) for Nonconvex and Nonsmooth Problems
本文研究了半代数数据的非凸非光滑最优化问题，其中变量向量被分成若干个变量块。该问题由整个变量向量的一个光滑函数和每个块的非光滑函数之和组成。我们分析了惯性版本的近端交替线性化最小化（PALM）算法，并证明其整体收敛的临界点的目标函数在手。我们说明了我们的理论研究结果，提出的数字实验盲图像反卷积，稀疏非负矩阵分解和字典学习，这表明所提出的方法的可行性和有效性。
2017-02-08 math.OC
A splitting proximal point method for Nash-Cournot equilibrium models involving nonconvex cost functions
与凸情形不同，非凸Nash-Cournot寡头均衡问题的局部平衡点不一定是全局平衡点。找到这样一个局部的平衡点甚至是这个问题的一个稳定点并不是一件容易的事。本文讨论了具有非凸费用函数的Nash-Cournot均衡模型的一种数值方法。我们发展了一个局部方法来计算这类问题的一个稳定点。证明了算法的收敛性，并在一定的假设下估计了算法的复杂度。数值例子来说明所提出的算法的收敛行为。
2011-05-13 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地，目标函数具有$f + h$的形式，其中$f$是梯度为Lipschitz连续的可微函数，而$h$是具有有界域的闭凸函数。该方法，基本上，包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度（ACG）方法。结果表明，该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后，数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
An interior proximal gradient method for nonconvex optimization
针对带光滑不等式约束的非凸结构化最小化问题，提出结合内点法与近似梯度的算法，弥补两类方法的缺陷，推导了非凸情形下的收敛性，还改进了回溯技术无需步长上界。
2024-01-29 math.OC
A Refined Proximal Algorithm for Nonconvex Multiobjective Optimization in Hilbert Spaces
本文针对希尔伯特空间中的非凸多目标优化问题，基于Mordukhovich极限次微分定义新的帕累托临界点，建立必要最优性条件，并据此提出改进的向量近端点算法，给出详细收敛性分析，显著扩展了已有研究。
2024-03-14 math.OC
Stochastic Proximal Gradient Methods for Nonconvex Problems in Hilbert Spaces
对于有限维问题，随机逼近方法长期以来被用于求解随机最优化问题。它们在无穷维问题上的应用还不太清楚，特别是对于非凸目标。本文给出了应用于希尔伯特空间的随机邻近梯度法的收敛性结果，该方法是由具有随机输入和系数的偏微分方程（PDE）约束的最优化问题引起的.本文研究了非凸非光滑问题的随机算法，其中非光滑部分是凸的，非凸部分是期望，且期望具有Lipschitz连续梯度。优化变量是希尔伯特空间的元素。证明了该算法产生的随机序列的强极限点几乎必然收敛到平稳点。我们证明了随机近端梯度算法的跟踪型功能的$L^1$ -惩罚项约束的半线性PDE和框约束，其中输入项和系数是受不确定性。我们验证的条件，确保算法的收敛性，并显示模拟。
2021-01-13 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
A Stronger Convergence Result on the Proximal Incremental Aggregated Gradient Method
研究了最小化一个非光滑凸函数与一个光滑分量函数之和的邻近增量聚集梯度（PIAG）方法的收敛速度.在每次迭代时，PIAG方法沿着通过在最后$K$迭代中至少一次递增地更新分量函数的梯度而形成的聚合梯度移动，并且相对于非光滑函数采取最接近的步骤。我们表明，PIAG算法达到迭代的复杂性，线性增长的条件数的问题和延迟参数$K$。这改进了文献中PIAG算法之前最著名的全局线性收敛速率，该收敛速度对$K$具有二次依赖性。
2016-11-23 math.OC
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题，本文结合两步惯性外推与Bregman距离，基于PALM提出新型迭代算法，证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
On the efficient computation of proximal operators of affine-constrained nonconvex functions
National University of Singapore（新加坡国立大学）；The University of Chicago（芝加哥大学）；Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹与分析研究所）；Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院应用数学研究所）
本文提出了一种统一的对偶可表示框架，用于高效计算具有仿射约束的非凸函数的proximal算子，通过建立对偶问题和验证正则性条件，实现了快速收敛的优化方法。
2026-02-27 math.OC
An inexact proximal MM method for a class of nonconvex composite image reconstruction models
针对脉冲噪声去除的非凸非光滑图像重建问题，提出带非精确准则的近端MM算法并证明其收敛性，在图像去模糊与修复任务中验证了算法效率。
2024-03-26 math.OC
Proximal-Like Incremental Aggregated Gradient Method with Linear Convergence under Bregman Distance Growth Conditions
我们引入了一个统一的算法框架，称为近似增量聚合梯度（PLIAG）方法，用于最小化一个凸函数的和，该函数由可加的相对光滑的凸分量和适当的下半连续凸正则化函数组成，在一个抽象的可行集，其几何形状可以通过使用Legendre函数的域来捕获。PLIAG方法包括文献中的许多现有算法作为特例，例如近端梯度法、Bregman近端梯度法（也称为NoLips算法）、增量聚合梯度法、增量聚合近端法和近端增量聚合梯度法。它还包括一些新的有趣的迭代方案。首先，我们证明了PLIAG方法是全局次线性收敛的，而不需要一个增长条件，这扩展了次线性收敛结果的近似梯度算法的增量聚集型一阶方法。然后，通过在下降引理中嵌入Bregman距离增长条件，构造一个特殊的Lyapunov函数，证明了PLIAG方法在步长不大于某个正常数的条件下，在函数值和Bregman距离两方面都是全局线性收敛的.本文导出的这些收敛结果都是在文献中的标准假设之外建立的（即，而不需要目标的光滑部分的强凸性和Lipschitz梯度连续性）。当专门针对许多现有的算法，我们的结果恢复或补充其收敛结果严格较弱的条件下。
2019-08-09 math.OC
Complexity of Proximal augmented Lagrangian for nonconvex optimization with nonlinear equality constraints
我们分析了非线性等式约束非凸优化的近端增广拉格朗日（近端AL）框架的最坏情况的复杂性。当近似的一阶（二阶）最优点在子问题中得到，一阶$ε$在$\mathcal{O}(1/ ε^{2 - η})$外部迭代中，可以保证原始问题的（二阶）最优点（其中$η$是用户定义的参数，$η\in[0,2]$用于一阶结果，$η\in [1,2]$用于二阶结果）当邻近项系数$β$和惩罚参数$ρ$分别满足$β= \mathcal{O}(ε^η)$和$ρ= Ω(1/ε^η)$时。我们还研究了使用牛顿共轭梯度算法求解子问题时的总迭代复杂度和运算复杂度。最后，我们讨论了一个自适应方案，用于确定满足分析要求的参数$ρ$的值。
2020-09-01 math.OC
A Variational Approach on Level sets and Linear Convergence of Variable Bregman Proximal Gradient Method for Nonconvex Optimization Problems
针对一类非光滑非凸最优化问题的变Bregman近似梯度（VBPG）方法，在水平集上提出了一种新的变分方法.利用这种新方法，我们可以将Bregman邻近映射及其相应的Bregman邻近映射、Bregman邻近间隙函数的概念推广到非凸情形.这些映射和功能的属性进行检查。本文工作的目的是为VBPG进一步设计和分析更一般的非凸最优化问题提供一个坚实的基础。另一个目的是提供一个统一的理论，线性收敛的VBPG与近端梯度法特别感兴趣。我们实现上述目标的分析的中心是水平集和次微分方面的误差界（水平集次微分误差界）及其与其他水平集误差界的联系。因此，我们取得了一些积极成果。这些新建立的结果不仅使我们能够表明，由VBPG产生的序列的任何积累至少是一个临界点的极限次微分，甚至是一个临界点的近端次微分与一个固定的Bregman函数在每次迭代，但也提供了一个新的视角，使我们能够探索许多已知的充分条件之间的内在联系线性收敛的各种一阶方法。一路上，我们能够推导出一些可验证的条件水平集误差界举行，获得VBPG的线性收敛，并推导出必要条件和充分条件的线性收敛相对于水平集的非光滑和非凸最优化问题。
2019-09-04 math.OC
Inexact proximal DC Newton-type method for nonconvex composite functions
针对目标为光滑函数加非光滑DC函数的DC优化问题，提出结合近似DC算法与非精确近似牛顿法的非精确近似DC牛顿型方法，证明全局收敛性，设计高效缩放近似映射求解方案，实验验证其优于现有方法。
2023-08-29 math.OC
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点（QP-AIPP）的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题，其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体，反过来，解决了一个给定的惩罚子问题，产生一系列的近端子问题，然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是，在前者的近端子问题总是凸的，而在后者的不一定是凸的，由于事实上，他们的prox参数选择尽可能积极，以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上，一些关键的收敛不等式。其结果是，该变体生成一系列的近端子问题，其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后，数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法（DP.ADMM），其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括：（i）部分邻近增广拉格朗日（AL）更新的序列，（ii）欠松弛拉格朗日乘子更新，以及（iii）检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下，对阻尼因子和欠松弛因子有一定的要求，证明了对于给定的数值公差$\varepsilon>0$，DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是，该方法的收敛性，而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
Variable Metric Composite Proximal Alternating Linearized Minimization for Nonconvex Nonsmooth Optimization
本文提出了一个最小化两个块变量的目标函数的近似算法，该目标函数由三项组成：1）光滑函数; 2）非光滑函数，它是一个严格递增的凹可微函数和一个凸非光滑函数的组合; 3）耦合两个块变量的光滑函数。我们提出了一个变尺度复合近似交替线性化极小化（CPALM）来解决这类问题。建立在强大的Kurdyka-Eschojasiewicz属性，我们得到的收敛性分析，并建立由CPALM生成的每个有界序列全局收敛到一个临界点。我们证明了CPALM方法的并行磁共振图像重建问题。数值结果表明了该方法的可行性和有效性。
2022-09-14 math.OC
An implementable proximal-type method for computing critical points to minimization problems with a nonsmooth and nonconvex constraint
本文提出一种可实现的近端型方法，用于求解含非光滑非凸目标及约束的优化问题，通过有限凸模型逐点最小值构建非凸模型，在统一框架下计算满足必要最优性条件的模型临界点。
2024-09-25 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法，在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛，无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先，我们提出了一个分散的近端随机梯度跟踪方法（DProxSGT）的非凸随机复合问题，数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本，我们扩展DProxSGT的压缩方法，通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新，这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数（但不是对每个样本函数）的平滑条件，所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明，我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能，并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC
A smoothed proximal trust-region algorithm for nonconvex optimization problems with $L^p$-regularization, $p\in (0,1)$
本文针对$p\in(0,1)$的$L^p$-正则化非凸优化问题，提出一种基于广义柯西点和光滑近似的近端信赖域算法，并证明了收敛性及数值有效性。
2025-08-21 math.OC
A proximal subgradient algorithm with extrapolation for structured nonconvex nonsmooth problems
本文针对一类结构化非凸非光滑优化问题，提出一种带外推的近端次梯度算法，证明其子序列收敛及在KL性质下的全局收敛性，并通过非凸正则化最小二乘和含分布式能源的最优潮流实验验证了算法性能。
2023-03-19 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文提出两种黎曼流形上的近端梯度下降上升算法，解决非光滑非凸-非凹极小极大问题，证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
An Adaptive Proximal Point Method for Nonsmooth and Nonconvex Optimization on Hadamard Manifolds
针对完备黎曼流形上的非光滑非凸复合优化问题，提出两种自适应邻近点方法变体（分别利用或无需光滑部分梯度的Lipschitz常数），分析复杂度与收敛性并通过数值实验验证有效性。
2025-11-18 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法，结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度，用于求解大规模非凸非光滑优化问题，并证明其收敛性，通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
The Boosted Double-Proximal Subgradient Algorithm for Nonconvex Optimization
本文提出BDSA算法解决一般结构化非光滑非凸优化问题，结合次梯度与近端步骤并集成线搜索，在Kurdyka--Lojasiewicz性质下证明收敛性并分析收敛速率，实验验证其逃离非最优临界点的能力及实际应用有效性。
2023-06-29 math.OC
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中，我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推（BPGe）。该算法扩展并加速了Bregman近似梯度算法（BPG），它绕过了近似梯度算法（PG）所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法（PGe）具有更高的通用性，并且由于外推步骤的存在，BPGe比BPG算法收敛更快。通过对收敛性的分析，证明了在适当选取参数的情况下，BPGe产生的序列的任何极限点都是问题的平稳点。此外，在Kurdyka-{K}ojasiewicz性质的假设下，证明了BPGe生成的序列整体收敛于一个平稳点.最后，为了说明新方法BPGe的潜力，我们将其应用于两个重要的实际问题，出现在许多基本的应用（不满足全局Lipschitz梯度连续性假设）：泊松线性逆问题和二次逆问题。在测试中，加速的BPGe算法显示出更快的收敛结果，给出了一个有趣的新算法。
2019-04-25 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg（维尔茨堡大学）；University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种近端有限记忆拟牛顿方法，用于求解可微函数与非光滑函数之和的最小化问题，通过自适应更新正则化参数实现全局收敛，并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
Inertial Proximal Difference-of-Convex Algorithm with Convergent Bregman Plug-and-Play for Nonconvex Imaging
针对现有凸差算法难以处理非凸项、收敛慢的问题，提出带收敛Bregman即插即用的惯性近端凸差算法iBPDCA及其变体，理论保证收敛，在成像任务上性能优于现有最优方法。
2024-09-18 math.OC
Asymptotic Analysis of Gradient Mapping-type Stationarity Measure for the Sum of Nonconvex Nonsmooth Functions and Applications to Proximal Gradient-type Algorithms
Institute of Science Tokyo（东京科学大学）
本文针对非凸非光滑函数和提出梯度映射型平稳性测度并做渐近分析，将其应用于邻近梯度算法，解决了一个开放问题并提出带非单调线搜索的邻近变量平滑算法。
2026-09-09 math.OC
An Adaptive Proximal ADMM for Nonconvex Linearly Constrained Composite Programs
Oregon State University（俄勒冈州立大学）；Texas A&M University（德克萨斯农工大学）；Georgia Institute of Technology（佐治亚理工学院）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种自适应近端交替方向乘子法解决线性约束复合优化问题，假设目标函数光滑部分弱凸，非光滑部分凸且块分离。方法自适应于所有参数，允许每个块近端子问题近似求解，通过迭代步骤和自适应测试确定是否更新拉格朗日乘子和惩罚参数，无需约束矩阵秩假设，证明在迭代次数上达到最优复杂度。
2026-04-30 math.OC
Extended alternating structure-adapted proximal gradient algorithm for nonconvex nonsmooth problems
针对非凸非光滑优化中多块不可分离耦合结构，提出扩展的交替结构自适应近端算法（eASAP），利用分块受限近端正则性并分析全局收敛与次线性速率，在多模态数据融合中表现优异。
2024-06-25 math.OC
A proximal minimization algorithm for structured nonconvex and nonsmooth problems
我们提出了一个最小化的目标函数由三个summands组成的近似算法：一个非光滑函数的组成与一个线性算子，另一个非光滑函数，每个非光滑的summands取决于一个独立的块变量，和一个光滑函数耦合的两个块变量。该算法是一种完全分裂方法，即非光滑函数通过其邻近算子处理，光滑函数通过梯度步长处理，线性算子通过矩阵乘向量处理。给出了生成序列有界性的充分条件，并证明了生成序列的任一聚点都是极小化问题的KKT点。在Kurdyka-Schojasiewicz性质下，证明了迭代的整体收敛，并得到了迭代的收敛速度.
2020-07-31 math.OC
Global Convergence Rate of Proximal Incremental Aggregated Gradient Methods
我们专注于最小化光滑分量函数（其中和是强凸的）和非光滑凸函数的和的问题，这出现在机器学习中的正则化经验风险最小化和无线传感器网络和智能电网中的分布式约束优化。我们考虑解决这个问题，使用近端增量聚合梯度（PIAG）的方法，在每次迭代移动沿聚合梯度（根据确定性顺序递增更新梯度的分量函数形成），并采取一个接近的步骤，相对于非光滑函数。虽然这种方法的收敛性能与随机订单（在更新梯度的分量函数）进行了研究，本文，据我们所知，是第一个研究，建立了收敛速度性能的PIAG方法的任何确定性的顺序。特别是，我们表明，PIAG算法是全局收敛的线性速率提供的步长是足够小的。我们明确地确定了收敛速率和相应的步长，以实现这一收敛速度。我们的研究结果改善了最佳已知的条件数依赖的增量聚合梯度法用于最小化的总和光滑函数的收敛速度。
2016-08-04 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地，非光滑部分可能是非凸的。为了解决非凸性，我们开发了一个概念，强的正则性，这是相关的单点属性，Lipschitz连续性，和单调性的相关的邻近算子，我们验证它在各种类型的功能，包括弱凸函数，指示函数的邻近光滑集，和两个特定的球相关的非凸非光滑函数。在这种情况下，我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者，所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性，设计了一种投影半光滑牛顿法，用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的，一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件，我们建立了局部超线性收敛.数值实验表明，我们所提出的方法相比，国家的最先进的有效性。
2023-03-09 math.OC
A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization
考虑多面体上非凸可微函数的极小化问题。一个流行的原始-对偶一阶方法是对增广拉格朗日函数进行梯度投影迭代，然后使用约束残差更新对偶乘子向量。然而，数值例子表明，这种方法可以表现出“振荡”，可能不会收敛。在本文中，我们提出了一个接近的交替方向法的乘法器的多块版本的这个问题。该方法的显著特征是引入了“平滑”（即，指数加权）原始迭代序列，并且在每次迭代时，将以当前平滑原始迭代为中心的二次邻近项包含到增广拉格朗日函数中。在每次迭代中，得到的近端增广拉格朗日函数被不精确地最小化（经由梯度投影步骤），而使用线性约束的残差来更新对偶乘子向量。当原始和对偶步长足够小时，我们证明了适当的“平滑”可以稳定“振荡”，并且新的近似ADMM算法的迭代在一些温和的正则性条件下收敛到一个稳定点。当目标函数为二次函数时，证明了算法的线性收敛性.我们的证明是基于一个新的势函数和一个新的使用误差界。
2020-08-04 math.OC
PANTR: A proximal algorithm with trust-region updates for nonconvex constrained optimization
本文提出PANTR算法，结合前向-后向迭代与信赖域子问题求解非凸约束优化，利用线性牛顿近似和约束结构加速更新，并在非线性模型预测控制中验证了其有效性。
2023-06-29 math.OC
Iteration Bounds for Finding the $ε$-Stationary Points for Structured Nonconvex Optimization
在本文中，我们研究了近端条件梯度（CG）和近端梯度投影型算法的块结构约束非凸优化模型，这是自然产生的张量数据分析。首先，我们引入了一个新的概念，$ε$ -平稳性，这是适用于所考虑的结构化问题。%，与其他类似的解决方案概念相比。然后，我们提出了两种类型的一阶算法的模型的基础上的邻近条件梯度（CG）方法和邻近梯度投影法分别。如果非凸目标函数是数学期望的形式，我们讨论了如何加入随机抽样以避免精确计算期望。对于一般块优化模型，根据块坐标下降（BCD）或最大块改进（MBI）更新规则对每个块执行邻近子程序。如果目标$f$的非凸部分的梯度满足$\| \nabla f(x) - \nabla f(y)\|_q \le M \|x-y\|_p^δ$，其中$δ=p/q$与$1/p+1/q=1$，那么我们证明了新算法在寻找$ε$ -平稳解时具有$O(1/ε^q)$的总迭代复杂度界.如果$f$是凹的，则迭代复杂度降低到$O(1/ε)$。张量逼近问题的数值实验表明，新的解决方案的算法有前途的性能。
2014-10-15 math.OC
A Bregman Proximal Stochastic Gradient Method with Extrapolation for Nonconvex Nonsmooth Problems
针对可微部分缺乏全局Lipschitz连续梯度的非凸非光滑优化问题，提出带外推的Bregman近端随机梯度方法（BPSGE），在方差减少框架下分析其收敛性与复杂度，并通过实验验证其加速效果。
2024-01-04 math.OC
