Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估，我们使用近似的邻近点，由于捆绑策略，以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值，并报告一些初步的数值结果。
2020-03-06 math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
FGV/EMAp（巴西圣保罗基金会应用数学学院）；Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester（罗切斯特大学戈根数据科学与人工智能研究所及计算机系）；School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）
本文提出两种通用方法，用于解决凸和强凸混合复合优化问题，无需参数且无需最优值知识，具有高效的复杂度界。
2025-11-20 math.OC
Proximal Algorithms for a class of abstract convex functions
该研究基于抽象凸性与广义次梯度定义抽象近端算子，提出三种适用于一类非凸优化问题的算法，并证明其全局收敛性。
2024-02-28 math.OC
Alternating Direction Method of Multipliers with Variable Metric Indefinite Proximal Terms for Convex Optimization
研究了线性约束凸优化问题的变尺度不定邻近项乘子邻近交替方向法。由于该方法的子问题易于求解，因此在许多应用领域中起着重要的作用。最近的研究表明，具有固定不定近似项的近似ADMM比具有半正定项的近似ADMM收敛速度快，且仍具有整体收敛的性质。另一方面，Gu和Yamashita研究了变度量半定邻近ADMM，其邻近项由BFGS更新生成。他们报告说，一个稍微不定矩阵也使算法在他们的数值实验中工作得很好。基于这一事实，我们考虑了一个变度量的不定邻近ADMM，并给出了关于邻近项的整体收敛的充分条件。此外，我们提出了一个新的不定邻近项的基础上的BFGS更新，可以满足条件的整体收敛。
2019-06-28 math.OC
Fast proximal algorithms for nonsmooth convex optimization
在\cite{Ouorou2019}中，我们利用Nesterov快速梯度概念\cite{Nesterov1983}对凸函数的Moreau-Yosida正则化进行了研究，在此基础上，我们设计了新的非光滑凸优化的近似算法。这些算法不需要捆绑机制来更新稳定中心，同时保持\cite{Ouorou2019}中建立的复杂度估计。我们报告了一些初步的计算结果，一些学术测试问题，给出了第一次估计他们的性能与经典的近端聚束法。
2020-03-19 math.OC
Proximal methods for minimizing the sum of a convex function and a composite function
本文将\cite{Nesterov2007a}和\cite{Nesterov2007b}中提出的算法方案推广到复合目标函数和凸函数之和的最小化问题。给出了两个邻近点型格式，并研究了它们的整体收敛性。在一定的利普希茨条件和非退化条件下，估计了最坏情况下的复杂性界.然后对算法进行加速，使其在强凸情形下具有更快的收敛速度。
2011-05-02 math.OC
Proximal Activation of Smooth Functions in Splitting Algorithms for Convex Image Recovery
结构化凸优化问题通常涉及光滑和非光滑函数的混合。通常的做法是通过梯度激活光滑函数，通过邻近算子激活非光滑函数。我们表明，虽然直观自然，这种方法不一定是最有效的数值，特别是，激活所有的功能近端可能是有利的。为了使这一观点可行的计算，我们推导出一些新的例子，邻近算子的光滑凸函数在应用中产生的。一个新的变分模型放松不一致凸可行性问题也研究在所提出的框架。几个数值图像恢复的应用程序，比较完全接近与混合近端/梯度实现几个分裂算法的行为。
2019-09-09 math.OC
A primal dual formulation through a proximal approach for non-convex variational optimization
本文开发了一个原始对偶制定的原始近似方法适用于一个大类的非凸模型的变分法。通过标准工具的泛函分析，凸分析和对偶理论的结果，并施加到Ginzburg-Landau型模型。最后，在最后两节中，我们给出了模型的最优性条件和另一个对偶原理。
2021-07-25 math.OC
Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization
考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度（FDPG）方法以速率$O(1/k^2)$减小对偶函数，从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法，保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联，所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。
2016-09-29 math.OC
Inexact proximal $ε$-subgradient methods for composite convex optimization problems
我们提出了两个近似版本的近端次梯度法最小化两个凸函数（不一定是可微的）的总和。该算法涉及，在每次迭代中，不精确的评价的近端运营商和近似次梯度的功能（即：的$ε$ -次梯度）。这些方法使用不同的误差标准来近似近端算子。我们提供了一个分析的收敛性和收敛速率这些方法的属性，考虑到各种步长规则，包括两个，递减和恒定步长。对于其中一个函数是光滑的情况，我们提出了一个不精确的加速版本的邻近梯度法，并证明了最佳的收敛速度的函数值可以实现。
2019-07-11 math.OC
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知，我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法，一般的随机和有限和最优化问题，具有相同或更高的收敛复杂性相比，目前最好的结果为无约束的问题设置。在一个数值实验中，我们比较我们的算法与当前国家的最先进的确定性算法，并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
A parameterized proximal point algorithm for separable convex optimization
本文提出了求解一类线性和凸约束可分凸规划问题的参数化邻近点法（P-PPA）。该算法是全局收敛的，最坏情况下的收敛速度为O（1/t）收敛速度，其中t表示迭代次数.通过合理选择算法参数，对一个由统计学习引起的稀疏最优化问题的数值实验表明，该算法的性能明显优于其他最先进的方法，如交替方向法和松弛邻近点法.
2018-12-10 math.OC
On proximal subgradient splitting method for minimizing the sum of two nonsmooth convex functions
当目标函数为两个不可微的凸函数之和时，本文提出了一种近似前后分裂迭代法，用于求解希尔伯特空间中的非光滑最优化问题.建议的迭代，这将被称为邻近次梯度分裂方法，扩展了经典的次梯度迭代的重要类别的问题，利用添加剂结构的目标函数。在适当的假设条件下，利用不同的步长证明了所生成序列的弱收敛性。此外，我们分析了迭代的复杂性。
2016-01-12 math.OC
Dykstra splitting and an approximate proximal point algorithm for minimizing the sum of convex functions
我们表明，Dykstra的分裂投影到交集的凸集可以扩展到最小化的总和凸函数和正则二次。我们给出的条件，收敛到原始极小，使多个凸函数可以最小化的时间，凸函数不一定是在一个循环的方式进行采样，和SHQP策略的问题，涉及到一个以上的凸集的交集可以应用。当和不涉及正则化二次型时，我们讨论了一种近似邻近点方法结合Dykstra分裂来最小化这个和。
2017-09-27 math.OC
Hierarchical Convex Optimization by the Hybrid Steepest Descent Method with Proximal Splitting Operators -- Enhancements of SVM and Lasso
现代邻近分裂方法的突破性思想使我们能够将多个非光滑凸函数叠加的所有极小元的集合表示为可计算非扩张算子的不动点集。在本文中，我们提出了实用的算法策略的分层凸优化问题，需要进一步的战略选择的最理想的向量从标准的凸优化的解决方案。所提出的算法是通过将混合最速下降法应用于通过邻近分裂艺术设计的特殊非扩张算子而建立的。我们还提出了应用所提出的策略，以某些未开发的层次增强的支持向量机和Lasso估计。
2022-06-30 math.OC
A Schur Complement Based Semi-Proximal ADMM for Convex Quadratic Conic Programming and Extensions
本文设计了一种高效收敛的乘子{半近似}交替方向法（ADMM），用于求解凸二次圆锥规划及相关问题的中低精度解.对于这类问题，收敛的两块半近似ADMM可以直接求解其原始形式。然而，它是已知的，它是更有效的应用直接扩展的多块半邻近ADMM，虽然它的收敛性不能保证，这些问题的对偶形式。自然地，人们可能会问以下问题：可以构造比直接扩展的半邻近ADMM更有效的收敛的多块半邻近ADMM吗？事实上，对于具有4块约束的线性圆锥规划，这在Sun，Toh和Yang的最近论文中已经被证明是可以实现的[arXiv预印本arXiv：1404.5378，（2014）]。受上述工作的启发，结合凸二次锥规划，我们提出了一种基于Schur补的收敛半近似ADMM，用于求解具有耦合线性等式约束的凸规划问题，其目标函数是两个真闭凸函数加上任意数量的凸二次或线性函数的和.我们的收敛半近似ADMM是特别适合于解决凸二次半定规划（QSDP）的约束组成的线性等式，一个半正定锥和一个简单的凸多面体集。我们所提出的算法的效率证明了各种例子，包括QSDP的数值实验。
2014-09-09 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题，建立迭代复杂度，发现与条件梯度的对偶性，并验证其优于次梯度方法。
2025-09-25 math.OC
Iteration-complexity of a Rockafellar's proximal method of multipliers for convex programming based on second-order approximations
研究了求解带不等式约束的光滑凸规划问题的基于Rockafellar近似乘子法（PMM）的一种新的原始对偶法的迭代复杂性.在每一步中，要么一个步骤的Rockafellar的PMM的二阶模型的问题进行计算或放松extragradiation步骤。由此产生的算法是一个（大步）放松的混合近端外梯度（r-HPE）方法的乘法器，它结合了Rockafellar的PMM与r-HPE方法。
2016-02-22 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度，提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
On the Linear Convergence of the Approximate Proximal Splitting Method for Non-Smooth Convex Optimization
考虑最小化两个凸函数之和的问题，其中一个是光滑的，另一个是非光滑的。在本文中，我们介绍了一般类的近似邻近分裂（APS）方法来解决这样的极小化问题。APS类中的方法包括许多众所周知的算法，例如用于光滑凸优化的邻近分裂方法（PSM）、块坐标下降法（BCD）和近似梯度投影法。在局部误差有界的假设下，证明了APS方法的线性收敛.由于后者是已知的压缩感知和稀疏组LASSO问题，我们的分析意味着线性收敛的BCD方法对这些问题没有强凸性假设。
2014-04-21 math.OC
Stochastic Approximation Proximal Method of Multipliers for Convex Stochastic Programming
本文考虑了闭凸集上的凸期望函数的极小化问题，该问题带有一组不等式凸期望约束。提出了一种新的随机逼近型算法，即随机逼近邻近乘子法（PMMSopt）来求解这一凸随机最优化问题.本文分析了求解凸随机最优化问题的一种随机逼近近似乘子方法的缺点。在温和的条件下，我们表明，该算法具有${\rm O}(T^{-1/2})$收敛速率，在最优性差距和约束违反，如果在算法中的参数选择适当，当目标和约束函数一般是凸的，其中$T$表示迭代次数。此外，我们表明，至少$1-e^{-T^{1/4}}$概率，该算法有不超过${\rm O}(T^{-1/4})$客观遗憾和不超过${\rm O}(T^{-1/8})$约束违反遗憾。据我们所知，这是第一次，这样一个近似的方法求解期望约束随机最优化在文献中。
2020-09-13 math.OC
A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization
本文提出了一种求解线性约束$2$ -块凸组合最优化问题的带不定邻近项的优化交替方向乘子法（ADMM），目标块为一个非光滑凸函数与一个光滑凸函数之和，$\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$。通过适当地选择不定邻近项，我们证明了所提出的方法对于步长$τ\in (0, (1+\sqrt{5})/2)$的整体收敛和$O(1/k)$遍历迭代复杂性。计算的好处，而不是目前的要求，半正定的ADMM框架内使用不确定的邻近项的数值也证明了。这为提高ADMM及其相关方法的实际性能开辟了一条新的途径。
2015-06-23 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法（iPADMM）.我们发现，优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的，并表现出线性收敛速率下的局部误差界条件。在此基础上，我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果，该算法是针对多块复合凸优化问题而设计的。此外，我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性，也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
Contracting Proximal Methods for Smooth Convex Optimization
在本文中，我们提出了新的光滑凸优化的加速方法，称为收缩邻近方法。在这些方法的每一步，我们都需要最小化目标函数的压缩版本，该目标函数由Bregman散度形式的正则化项增强。我们提供了整体收敛分析的一般计划承认不精确的解决辅助子问题。在使用高阶张量方法的情况下，我们证明了凸和一致凸复合目标函数的加速效果。因此，我们的构造解释了从一开始的任何阶的方法的加速。在最坏情况下的复杂性界的对数因子的限制下，由于计算收缩的邻近步骤的Oracle的调用的数量的增加。
2021-05-20 math.OC
Incremental proximal gradient scheme with penalization for constrained composite convex optimization problems
本文研究了凸可微函数的极小元集约束下的凸函数有限和的极小化问题。为了解决这一问题，提出了一种将增量最近梯度法与平滑惩罚技术相结合的算法。我们证明了生成的迭代序列收敛到最优化问题的最优解，只要满足通过约束函数的Fenchel共轭表示的条件。最后，通过数值实验说明了该方法的功能，解决图像修复问题和广义Heron问题与最小二乘约束。
2020-04-20 math.OC
Exact worst-case convergence rates of the proximal gradient method for composite convex minimization
研究了逼近梯度法极小化光滑强凸函数与非光滑凸函数之和的最坏情况下的收敛速度。我们建立了精确的最坏情况下的收敛速度的近端梯度法在此设置为任何步长和不同的标准性能指标：目标函数的准确性，距离最优和剩余梯度范数。证明方法依赖于最近的发展，在性能估计的一阶方法的基础上半定规划。在近端梯度法的情况下，这种方法允许获得精确的和非渐近的最坏情况下的保证，在概念上非常简单，虽然显然是新的。在此过程中，我们讨论了如何用较弱的假设来代替强凸性，同时保持相应的收敛速度。我们还建立了相同的固定步长的政策是最佳的所有三个性能指标。最后，我们扩展最近的结果，最坏情况下的行为梯度下降精确线搜索到近端的情况。
2020-02-29 math.OC
Splitting Proximal Point Algorithms for the Sum of Prox-Convex Functions
Great Bay University（大湾区大学）；Great Bay Institute for Advanced Study（大湾区高等研究院）；Instituto Federal do Piauí（皮奥伊联邦学院）；Universidad de Tarapacá（塔拉帕卡大学）；Electric Power University（电力大学）
本文提出两种分裂近端点算法用于求解近似凸函数和的最小化问题，并通过理论分析和实验验证了其收敛性与有效性。
2026-01-11 math.OC
A proximal difference-of-convex algorithm with extrapolation
研究了一类水平有界的凸差分最优化问题，其目标函数为一个具有Lipschitz梯度的光滑凸函数、一个正常的闭凸函数和一个连续的凹函数之和.虽然这类问题可以通过经典的凸差分算法（DCA）[26]来解决，但该算法的子问题的难度在很大程度上取决于DC分解的选择。更简单的子问题可以通过使用[27]中描述的特定DC分解来获得。这种分解已经在许多工作中提出，如[18]，我们将所得DCA称为近端DCA。虽然子问题更简单，但当目标的凹部是空的时，近端DCA与近端梯度算法相同，因此在实践中可能很慢。在本文中，激励的外推技术，以加速近端梯度算法在凸设置，我们考虑了近端差分凸算法与外推可能加速近端DCA。我们表明，我们的算法生成的序列的任何聚类点是DC最优化问题的一个稳定点的外推参数的一个相当一般的选择：特别是，参数可以选择在FISTA固定重启[15]。此外，通过假设目标函数的Kurdyka-Schojasiewicz性质和凹部分的可微性，我们建立了由我们算法产生的序列的整体收敛性，并分析了它的收敛速度。我们在两个凸差分正则化最小二乘模型上的数值实验表明，我们的算法通常优于[17]中提出的邻近DCA和一般的迭代收缩和阈值算法。
2017-06-22 math.OC
Inexact indefinite proximal ADMMs for 2-block separable convex programs and applications to 4-block DNNSDPs
本文研究了带线性约束的两块可分凸极小化问题，对于这类问题，用乘子的交替方向法（ADMM）求其子问题的精确解是不可能的或代价太高.这类结构化凸极小化问题通常出现在具有线性约束的三块或四块可分凸优化问题的两块重组求解中，或者出现在图像处理中的约束全变差超分辨率图像重建问题中。针对这些问题，我们提出了一种步长为$τ\in\!(0,\frac{\sqrt{5}+1}{2})$的非精确不确定邻近ADMM，并利用两个易于实现的不精确准则来控制子问题的解的精度，在不确定邻近项的温和假设下证明了算法的收敛性.我们将所提出的不精确不定近似ADMM应用于具有线性约束的三块或四块可分凸极小化问题，这些问题来自于一类重要的具有多个线性等式和/或不等式约束的双非负半定规划（DNNSDP）问题的对偶.数值结果表明，基于绝对误差准则的非精确不定邻近ADMM算法无论在迭代次数还是计算时间上，都与不保证收敛的步长为$τ=1.618$的直接扩展多块ADMM算法具有相当的性能.
2015-07-29 math.OC
On the Asymptotic Behavior of the Douglas-Rachford and Proximal-Point Algorithms for Convex Optimization
作者在（Banjac等人，2019）最近表明，道格拉斯-拉赫福德算法提供了一类凸优化问题的不可行性证明。特别是，他们证明了算法生成的连续迭代之间的差异收敛于原始和对偶强不可行性的证明。他们的结果显示在有限维欧几里德设置和特定结构的约束集。本文将这一结果推广到实希尔伯特空间和一般非空闭凸集。此外，我们表明，适用于该问题的最优性条件集的邻近点法产生类似的不可行性证书。
2020-12-10 math.OC
A Globally Convergent Proximal Newton-Type Method in Nonsmooth Convex Optimization
本文提出并证明了一个新的近似牛顿型算法，以解决广泛的一类非光滑复合凸优化问题，没有强凸性假设。基于变分分析的先进概念和技术，我们建立了该算法的整体收敛以及超线性和二次收敛率的局部收敛的可实现结果.对于某些结构化问题，所得到的局部收敛条件不要求相应的Hessian映射的局部Lipschitz连续性，而这是文献中用来保证邻近Newton型的其他算法的超线性收敛的一个重要假设.通过求解$l_1$正则化逻辑斯谛回归模型的数值实验，说明了该算法应用于实际问题的可行性。
2022-02-28 math.OC
Alternating Proximal Point Algorithm with Gradient Descent and Ascent Steps for Convex-Concave Saddle-Point Problems
本文提出一种带梯度下降与上升步的交替邻近点算法，用于求解具有光滑耦合函数和两个正则化函数的凸-凹鞍点问题，并证明了迭代序列、遍历极小极大间隙函数及函数值的弱收敛性与线性收敛性。
2023-10-31 math.OC
Convergence Analysis of a Proximal Point Algorithm for Minimizing Differences of Functions
对于凸优化问题，已知几种优化方案。然而，求解非凸最优化问题的数值算法仍然不发达。通过考虑可表示为凸函数的差的函数类，在凸性的超越上取得了进展。本文提出了一种广义的邻近点法，用于极小化非凸函数与凸函数之差。在目标函数满足Kurdyka-Schojasiewicz性质的主要假设下，我们还研究了该算法的收敛性结果。
2015-06-25 math.OC
Majorized Semi-proximal Alternating Coordinate Method for Nonsmooth Convex-Concave Minimax Optimization
极小极大最优化问题是现代机器学习和传统研究领域中产生的一类重要的最优化问题。虽然已经有许多数值算法求解光滑凹凸极大极小问题，数值算法非光滑凹凸极大极小问题是非常罕见的。针对一类结构化非光滑凹凸极大极小问题，提出了一种有效的数值算法。提出了一种优化半邻近交替坐标法（mspACM），采用优化二次凸凹函数逼近目标函数的光滑部分，并在每个子问题中加入半邻近项.这种构造使得每次迭代的子问题都是可解的，甚至当巧妙地选择半邻近项时很容易求解。在较弱的假设下证明了算法mspACM的整体收敛性，而不需要强的凸性条件.在解映射的局部度量次正则性下，证明了算法mspACM具有线性收敛速率.初步的数值结果报告，以验证算法mspACM的效率。
2020-12-21 math.OC
Primal-dual proximal splitting and generalized conjugation in non-smooth non-convex optimization
我们证明了困难的非凸非光滑最优化问题，如纳什均衡问题和各向异性以及各向同性Potts分割模型，可以写在广义共轭的凸泛函。这些，反过来，可以制定为鞍点问题，涉及凸非光滑泛函和一般光滑，但非双线性耦合项。然后，我们表明，通过详细的收敛性分析，概念上简单的扩展的原始-对偶邻近Chambolle和Pock分裂方法是适用于解决这些问题。在充分的局部强凸性假设的泛函-但仍然与非双线性耦合项-我们甚至证明了局部线性收敛的方法。我们说明这些理论结果数值上的上述示例问题。
2020-03-19 math.OC
Inexact proximal methods for weakly convex functions
本文提出不精确近端方法求解光滑与弱凸非光滑函数之和的稳定点，基于连续映射求零点框架，证明了近端点法与近端梯度法在KL性质下的全局收敛性与构造性收敛速率。
2023-08-04 math.OC
Linear Convergence Rate Analysis of Proximal Generalized ADMM for Convex Composite Programming
近似广义乘子交替方向法（p-GADMM）对于求解高维到中等精度的凸复合规划问题是非常有效的。这种方法的整体收敛已由Xiao，Chen & Li [Math. Program.计算：2018]，但没有给出其收敛速度。人们可能想当然地认为，通过模仿近似ADMM可以很容易地证明收敛速度，但我们发现松弛点肯定会给理论分析带来许多困难。本文研究了它的收敛性，证明了p-GADMM产生的序列在一定条件下具有Q-线性收敛速率.我们要注意的是，子问题的邻近项必须是正定的，这在大多数实际实现中是非常常见的，尽管它似乎有点强。
2022-08-18 math.OC
Computing proximal points of convex functions with inexact subgradients
定位邻近点是许多最小化算法的组成部分。本文主要研究在不精确的预言下，如何求出凸函数在某一点的逼近点。我们的方法假设精确的函数值在手边，但精确的子梯度要么不可用，要么没有用。我们使用近似次梯度来建立目标函数的模型，并证明了该方法在可接受的误差范围内收敛到真实的收敛点。在每个步骤$k$中使用的次梯度$g_k$是这样的，即从$g_k$到当前迭代点处的目标函数的真次微分的距离由某个固定的$\varepsilon>0.$限定。该算法包括应用于近似次梯度的新颖的倾斜校正步骤。
2016-11-02 math.OC
Nonlinear Convex Optimization: From Relaxed Proximal Point Algorithm to Prediction Correction Method
本文将松弛近端点算法和预测校正方法扩展至非线性约束凸问题，通过定制可变近端矩阵，证明了两种方法的序列收敛性及$O(1/t)$收敛速率，并获得数值实验验证。
2023-07-27 math.OC
Extending Linear Convergence of the Proximal Point Algorithm: The Quasar-Convex Case
School of Science, Great Bay University（大湾大学理学院）；Great Bay Institute for Advanced Study（大湾高等研究院）；Instituto Federal do Piauí（皮奥伊联邦学院）；Instituto de Alta investigación (IAI), Universidad de Tarapacá（塔拉帕卡大学高级研究所）；Instituto Nacional de Matemática Pura e Aplicada (IMPA)（巴西纯粹与应用数学国家研究所）
本文研究quasar-凸函数的proximity算子性质，证明proximal点算法在quasar-凸情况下能收敛到全局极小值，并在特定条件下达到线性收敛速率。
2026-04-14 math.OC
SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization
介绍了一种新的随机近似交替线性化极小化算法SPRING，用于求解一类非光滑非凸优化问题。由于数据采集和计算能力的进步，大规模成像问题变得越来越普遍。受随机最优化方法成功的启发，我们提出了一个随机变体的邻近交替线性化最小化（PALM）算法\cite{bolte2014proximal}。我们提供了整体收敛保证，表明我们提出的方法与方差减少的随机梯度估计，如SAGA \cite{SAGA}和SARAH \cite{sarah}，实现了最先进的甲骨文复杂性。我们还证明了我们的算法的有效性，通过几个数值例子，包括稀疏非负矩阵分解，稀疏主成分分析，盲图像反卷积。
2021-01-19 math.OC
Inertial Proximal Incremental Aggregated Gradient Method
在本文中，我们介绍了一个惯性版本的近端增量聚合梯度法（PIAG）的光滑凸分量函数和一个可能的非光滑凸正则化函数的总和最小化。在理论上，我们证明了在步长不大于一个常数的条件下，惯性近似增量聚集收敛（iPIAG）方法在严格弱于强凸性的二次增长条件下具有全局线性收敛.此外，我们提出了两个数值实验表明，iPIAG优于原来的PIAG。
2017-12-18 math.OC
Local convergence of an inexact proximal algorithm for weakly convex functions
针对弱凸函数提出一种非精确近端点算法变体，利用Moreau envelope证明其局部收敛性并给出复杂度结果，提升了算法在优化场景中的通用性与适用性。
2023-08-03 math.OC
A single cut proximal bundle method for stochastic convex composite optimization
本文针对期望函数与闭凸复合函数之和的优化问题，提出了首个能处理连续分布的随机复合近邻束（SCPB）方法，并在参数已知或未知时分别证明其最优复杂度保证，实验表明其显著优于RSA方法。
2023-10-20 math.OC
The proximal point method revisited
在这个简短的调查中，我重温了近点法在大规模优化中的作用。我专注于最近的三个例子：一个近端引导次梯度方法弱凸随机逼近，最小化的凸函数和光滑映射的组合的线性算法，催化剂通用加速正则化经验风险最小化。
2017-12-17 math.OC
A Symplectic Discretization Based Proximal Point Algorithm for Convex Minimization
该研究通过辛欧拉方法离散常微分方程系统，提出辛邻近点算法SPPA，证明其收敛速率，指出现有加速邻近点算法为其特例，且附加假设下收敛速率更优。
2024-12-12 math.OC
New Proximal Newton-Type Methods for Convex Optimization
本文对复合形式的凸优化问题提出了新的近似牛顿型方法。应用包括模型预测控制（MPC）和嵌入式MPC。我们的新方法在计算上是有吸引力的，因为它们不需要在每次迭代时评估Hessian，同时保持快速的收敛速度。更具体地说，我们证明了整体收敛性的保证和超线性收敛是在附近的最优解。我们还结合拟牛顿和不精确子问题求解方案，开发了几种实用的变型，并在一定条件下为它们提供了理论保证。在真实数据集上的实验结果证明了新方法的有效性和效率。
2020-07-18 math.OC
On the Iteration Complexity of Smoothed Proximal ALM for Nonconvex Optimization Problem with Convex Constraints
众所周知，求解非凸无约束最优化问题的迭代复杂度的下界是$Ω(1/ε^2)$，当目标函数光滑时，可以用标准梯度下降算法达到。这个下界对于非凸约束问题仍然成立，而一阶方法是否能达到这个下界仍然是未知的。在本文中，我们表明，一个简单的单循环一阶算法称为平滑邻近增广拉格朗日方法（ALM）可以实现这样的迭代复杂度下界。关键的技术贡献是一个强大的局部误差界的一般凸约束问题，这是独立的利益。
2022-11-01 math.OC
Proximal Alternating Penalty Algorithms for Constrained Convex Optimization
本文提出了两种新的近似交替罚算法来求解一类广泛的约束凸优化问题。我们的方法主要依赖于一个新的组合的经典的二次惩罚，交替最小化，Nesterov的加速，和参数的自适应策略。第一个算法的目的是解决一般的和可能的非光滑约束凸问题，而不需要任何Lipschitz梯度连续性或强凸性，同时实现最著名的$O(\frac{1}{k})$ -收敛速度在非遍历意义上，其中$k$是迭代计数器。第二个算法也被设计来解决非强凸，但半强凸问题。该算法在原始约束问题上能达到最佳的$O(\frac{1}{k^2})$ -收敛速度。这样的速率在两种情况下获得：（i）仅在强凸项的π序列上求平均，或（ii）使用该项的两个邻近算子而不求平均。在这两种算法中，我们允许一个线性化的第二子问题，使用相应的目标项的邻近算子。然后，我们定制我们的方法来解决不同的凸问题，并导致新的变种。作为一个副产品，这些算法保持相同的收敛保证，在我们的主要算法。我们通过不同的数值例子验证我们的理论发展，并比较我们的方法与一些现有的国家的最先进的算法。
2018-09-19 math.OC
Union Averaged Operators with Applications to Proximal Algorithms for Min-Convex Functions
本文引入并研究了一类结构集值算子，称之为并平均非扩张算子。在其定义域中的每一点上，这样的算子的值可以表示为单值平均非扩张算子的有限并。我们调查的各种结构性质的类，并显示，特别是，是封闭的工会，凸组合，和成分，他们的不动点迭代是局部收敛强不动点周围。然后，我们系统地应用我们的结果来分析近端算法的情况下，工会平均非扩张算子自然出现。特别地，我们考虑了两个函数之和的极小化问题，其中第一个函数是凸函数，第二个函数可以表示为多个凸函数的最小值。
2018-10-17 math.OC
On proximal augmented Lagrangian based decomposition methods for dual block-angular convex composite programming problems
对于具有对偶块角结构的凸复合规划问题，我们设计了基于非精确近似增广拉格朗日分解方法。我们的方法特别适合于凸二次规划问题所产生的随机规划模型。算法框架是基于在[Chen，Sun，Toh，Math. Prog. 161：237--270]的目标问题的对偶，以及最近开发的对称高斯-赛德尔分解定理的应用解决一个邻近的多块凸复合二次规划问题。算法设计中的关键问题首先是设计合适的近似项来分解目标问题的对偶变量块的计算，使每次迭代中的子问题更容易求解，其次是开发新的数值格式来有效地求解分解的子问题。我们的不精确增广拉格朗日分解方法有保证的收敛性。我们提出了一个应用所提出的算法的双重非负松弛的无容量限制的设施定位问题，以及两阶段的随机最优化问题。我们进行了大量的数值实验，以评估我们的方法对国家的最先进的求解器，如Guidelines和MOSEK的性能。此外，我们提出的算法也毫不逊色于著名的渐进式对冲算法的Rockafellar和Wets。
2023-03-13 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
Q-Linear Convergence of the Proximal Augmented Lagrangian Method for Non-Convex Conic Programming
本文分析了近端增广拉格朗日方法在非凸锥规划中的局部收敛性，仅依赖二阶充分性条件和乘子映射平静性，证明了非精确版本的Q-线性收敛速率且不要求乘子唯一性。
2025-09-15 math.OC
