Inexact Proximal Newton methods in Hilbert spaces
我们考虑近似牛顿方法的更新步骤的不精确计算。为此，我们引入了两个不精确的标准，表征这些更新步骤的足够的精度，并借助这些调查的整体收敛和局部加速我们的方法。的不精确性标准的设计是足够的希尔伯特空间的框架，我们发现自己，而传统的不精确性标准，从光滑牛顿或有限维近似牛顿方法似乎是低效的，在这种情况下。在函数空间中考虑一个简单的模型问题，展示了该方法的性能和它的增益的有效性与确切的情况相比。
2022-04-26 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题，提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN，分别建立了全局/局部线性收敛与局部超线性收敛性质，并通过数值实验验证了其有效性。
2025-02-10 math.OC
Local convergence analysis of a proximal Gauss-Newton method under a majorant condition
本文研究了求解惩罚非线性最小二乘问题的近似高斯-牛顿法。在惩罚最小二乘问题所对应的函数的导数满足优势条件的假设下，得到了一个局部收敛分析。我们的分析提供了一个明确的关系之间的优势功能和功能与惩罚最小二乘问题。两个重要的特殊情况下的收敛性也来自。
2013-04-24 math.OC
Proximal determination of convex functions
通过凸函数的邻近映射，给出了凸函数的比较原理。因此，我们证明了邻近算子的范数决定了一个凸函数直到一个常数。给出了Lipschitzianity的一个新的近似算子刻画。
2020-07-29 math.OC
On Quasi-Newton Forward--Backward Splitting: Proximal Calculus and Convergence
我们介绍了一个框架，拟牛顿向前-向后分裂算法（近拟牛顿法）与对角$\pm$秩- $r$对称正定矩阵引起的度量。这种特殊类型的度量允许对近端映射进行高效评估。这种效率的关键是在新的度量的一般邻近演算。通过使用对偶性，导出了将秩- $r$修改度量中的邻近映射与原始度量相关联的公式。我们还描述了一个大类的函数的邻近计算的有效实现，实现利用分段线性性质的对偶问题。然后，我们将这些结果加速复合凸最小化问题，从而导致优雅的拟牛顿法，我们证明收敛。该算法进行了测试的几个数值例子，并在文献中的替代品的全面列表进行比较。我们的拟牛顿分裂算法与规定的度量相比，优于国家的最先进的。该算法具有广泛的应用，包括信号处理，稀疏恢复，机器学习和分类，仅举几例。
2018-11-22 math.OC
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法，其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”（IMRO）格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题，在许多应用中出现，包括稀疏恢复压缩感知，机器学习和统计。我们的数值实验表明，所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种，显示它匹配已知的最佳界限。
2017-01-19 math.OC
A Globally Convergent Proximal Newton-Type Method in Nonsmooth Convex Optimization
本文提出并证明了一个新的近似牛顿型算法，以解决广泛的一类非光滑复合凸优化问题，没有强凸性假设。基于变分分析的先进概念和技术，我们建立了该算法的整体收敛以及超线性和二次收敛率的局部收敛的可实现结果.对于某些结构化问题，所得到的局部收敛条件不要求相应的Hessian映射的局部Lipschitz连续性，而这是文献中用来保证邻近Newton型的其他算法的超线性收敛的一个重要假设.通过求解$l_1$正则化逻辑斯谛回归模型的数值实验，说明了该算法应用于实际问题的可行性。
2022-02-28 math.OC
A Riemannian Proximal Newton Method
本文将黎曼近端牛顿法推广到嵌入子流形上求解带 L1 正则项的优化问题，基于 Weingarten 和半光滑分析证明其局部二次收敛性，并提出与近端梯度法串联的混合版本以实现全局收敛。
2024-04-03 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
提出两种基于不同近似二阶稳定点定义的二阶方法，用于求解\(\ell_1\)正则化复合优化问题，并分析其迭代复杂度、操作复杂度及局部超线性收敛率，数值实验验证了有效性。
2026-09-10 math.OC
Newton acceleration on manifolds identified by proximal-gradient methods
已知近似方法用于识别非光滑最优化问题的底层子结构。更重要的是，在许多有趣的情况下，邻近算子的输出与其结构一起出现，而不需要额外的成本，一旦它与极小化器的结构相匹配，收敛性就会得到改善。然而，它是不可能的，在一般情况下，知道当前的结构是否是最终的或没有;这样的高度有价值的信息，必须自适应地利用。要做到这一点，我们把自己的情况下，近端梯度法可以识别流形的可微性的非光滑目标。利用这种流形识别，我们表明，黎曼牛顿类方法可以与近端梯度步骤交织在一起，以大大提高收敛性。证明了算法在求解非退化、非光滑、非凸最优化问题时的超线性收敛性。我们提供了数值例子的最优化问题正则化的$\ell_1$ -范数或跟踪范数。
2022-05-25 math.OC
Weak Proximal Newton Oracles for Composite Convex Optimization
Technion - Israel Institute of Technology（以色列理工学院）
本文提出弱近端牛顿 oracle 方法，通过稀疏结构优化提升高维复合凸优化的收敛效率。
2025-12-17 math.OC
Convergence rates of proximal gradient methods via the convex conjugate
给出了复合凸极小化问题的邻近梯度法和加速邻近梯度法的$O(1/k)$和$O(1/k^2)$收敛速度的新证明。新证明的关键是通过目标函数的凸共轭构造一个上界。
2018-01-09 math.OC
Projective splitting with backward, half-forward and proximal-Newton steps
本文提出一种投影分裂算法，用于求解具有四块内部结构的多项复合单调包含问题，结合后向、半前向和近端牛顿步，并证明了算法的弱收敛性。
2024-05-06 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法，在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛，无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg（维尔茨堡大学）；University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种近端有限记忆拟牛顿方法，用于求解可微函数与非光滑函数之和的最小化问题，通过自适应更新正则化参数实现全局收敛，并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法，用于求解实希尔伯特空间中的光滑单调变分不等式，具备更优的迭代复杂度，且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
On the Convergence of Newton-type Proximal Gradient Method for Multiobjective Optimization Problems
针对Ansary提出的NPGMO缺乏收敛性证明的问题，本文构建分析框架，在强凸性假设下证明其二次终止、超线性收敛与二次收敛性质。
2023-08-20 math.OC
A Unified Zeroth-Order Proximal Newton-Type Framework for Composite Optimization
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种无导数的近似牛顿型算法框架，用于解决复合优化问题，该问题可表示为黑盒函数与已知正则化项之和。研究建立了在非凸和强凸情况下，算法达到ε-最优解的迭代和oracle复杂度界，并基于Dennis--Moré条件证明了局部R超线性收敛性。
2026-05-07 math.OC
Global non-asymptotic super-linear convergence rates of regularized proximal quasi-Newton methods on non-smooth composite problems
本文提出两种基于SR1更新的正则化近端拟牛顿方法求解非光滑凸复合问题，首次证明其具有与初始化无关的全局非渐近超线性收敛速率，并在机器学习应用中验证了理论性质。
2024-11-21 math.OC
Curvature Recycling Douglas-Rachford Splitting: Transported Quasi-Newton Models for Expensive Smooth Proximal Subproblems
Industrial Mathematics LLC（工业数学有限责任公司）
研究在\(f\)光滑但求值昂贵、\(g\)非光滑的\(\min_x f(x)+g(x)\)问题中，提出曲率循环DRS方法，通过传输残差、重用模型等操作，实现全局线性收敛与局部超线性减少，实验表明该方法能大幅减少昂贵梯度调用。
2026-07-28 math.OC
A Convergent $3$-Block Semi-Proximal ADMM for Convex Minimization Problems with One Strongly Convex Block
本文提出了一种求解$3$ -块可分凸极小化问题的半近似交替方向法（ADMM），目标函数的第二个块为强凸函数，约束为一个耦合线性方程组.通过适当地选择半邻近项，我们建立了所提出的半邻近ADMM的步长$τ\in (0, (1+\sqrt{5})/2)$和罚参数$σ\in (0, +\infty)$的整体收敛。具体地，如果$σ>0$小于某个阈值并且线性方程约束中的第一和第三线性算子是单射的，则可以丢弃所有三个添加的半邻近项，并且因此，收敛的$3$块半邻近ADMM简化为具有$τ\in (0, (1+\sqrt{5})/2)$的直接扩展的$3$块ADMM。
2014-10-29 math.OC
The Bregman proximal average
我们提供了一个近似的平均值与一个$1$强制勒让德函数。在Bregman距离的意义下，邻近平均的Bregman包络是单个函数的Bregman包络的凸组合。平均的Bregman邻近映射是各个函数的凸化邻近映射的凸组合。变分分析的技术提供了Bregman近似平均的关键。
2022-02-23 math.OC
An Inexact Regularized Proximal Newton Method without Line Search
针对光滑函数与凸非光滑函数之和的最小化问题，提出一种无需线搜索、依据上次迭代成败更新正则化参数的 IRPNM，并证明其全局与超线性收敛性。
2024-04-08 math.OC
Convex programming with fast proximal and linear operators
我们提出了Epperly，一般凸规划使用快速线性和邻近算子的系统。与现有的凸规划框架一样，用户使用数学表达式的自然语法来指定凸优化问题，以通过有纪律的凸规划规则保证凸性的方式组合函数。给定这样的输入，Epperly编译器将最优化问题转换为数学上等价的形式，仅由具有有效近似运算符的函数组成-我们将这种中间表示称为仿射形式。通过将问题简化为这种形式，Epperly可以使用快速近似和线性算子的大型库来解决一般凸问题;统计和机器学习中许多流行问题的数值示例表明，与基于圆锥解算器的现有方法相比，这通常会将运行时间提高数量级或更多。
2015-11-16 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估，我们使用近似的邻近点，由于捆绑策略，以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值，并报告一些初步的数值结果。
2020-03-06 math.OC
Universal subgradient and proximal bundle methods for convex and strongly convex hybrid composite optimization
本文提出两种通用方法，用于解决凸和强凸混合复合优化问题，无需参数且无需最优值知识，具有高效的复杂度界。
2025-11-20 math.OC
A nonmonotone proximal quasi-Newton method for multiobjective optimization
针对无约束凸多目标复合优化问题，提出一种非单调邻近拟牛顿法，通过最小化海森近似与非光滑项变化的最大标量化确定搜索方向，结合非单调线搜索，证明其收敛至Pareto最优解且具局部超线性收敛率，实验验证了其可行性与有效性。
2023-10-03 math.OC
Proximal Algorithms for a class of abstract convex functions
该研究基于抽象凸性与广义次梯度定义抽象近端算子，提出三种适用于一类非凸优化问题的算法，并证明其全局收敛性。
2024-02-28 math.OC
Alternating Direction Method of Multipliers with Variable Metric Indefinite Proximal Terms for Convex Optimization
研究了线性约束凸优化问题的变尺度不定邻近项乘子邻近交替方向法。由于该方法的子问题易于求解，因此在许多应用领域中起着重要的作用。最近的研究表明，具有固定不定近似项的近似ADMM比具有半正定项的近似ADMM收敛速度快，且仍具有整体收敛的性质。另一方面，Gu和Yamashita研究了变度量半定邻近ADMM，其邻近项由BFGS更新生成。他们报告说，一个稍微不定矩阵也使算法在他们的数值实验中工作得很好。基于这一事实，我们考虑了一个变度量的不定邻近ADMM，并给出了关于邻近项的整体收敛的充分条件。此外，我们提出了一个新的不定邻近项的基础上的BFGS更新，可以满足条件的整体收敛。
2019-06-28 math.OC
Fast proximal algorithms for nonsmooth convex optimization
在\cite{Ouorou2019}中，我们利用Nesterov快速梯度概念\cite{Nesterov1983}对凸函数的Moreau-Yosida正则化进行了研究，在此基础上，我们设计了新的非光滑凸优化的近似算法。这些算法不需要捆绑机制来更新稳定中心，同时保持\cite{Ouorou2019}中建立的复杂度估计。我们报告了一些初步的计算结果，一些学术测试问题，给出了第一次估计他们的性能与经典的近端聚束法。
2020-03-19 math.OC
Proximal methods for minimizing the sum of a convex function and a composite function
本文将\cite{Nesterov2007a}和\cite{Nesterov2007b}中提出的算法方案推广到复合目标函数和凸函数之和的最小化问题。给出了两个邻近点型格式，并研究了它们的整体收敛性。在一定的利普希茨条件和非退化条件下，估计了最坏情况下的复杂性界.然后对算法进行加速，使其在强凸情形下具有更快的收敛速度。
2011-05-02 math.OC
Proximal Activation of Smooth Functions in Splitting Algorithms for Convex Image Recovery
结构化凸优化问题通常涉及光滑和非光滑函数的混合。通常的做法是通过梯度激活光滑函数，通过邻近算子激活非光滑函数。我们表明，虽然直观自然，这种方法不一定是最有效的数值，特别是，激活所有的功能近端可能是有利的。为了使这一观点可行的计算，我们推导出一些新的例子，邻近算子的光滑凸函数在应用中产生的。一个新的变分模型放松不一致凸可行性问题也研究在所提出的框架。几个数值图像恢复的应用程序，比较完全接近与混合近端/梯度实现几个分裂算法的行为。
2019-09-09 math.OC
A primal dual formulation through a proximal approach for non-convex variational optimization
本文开发了一个原始对偶制定的原始近似方法适用于一个大类的非凸模型的变分法。通过标准工具的泛函分析，凸分析和对偶理论的结果，并施加到Ginzburg-Landau型模型。最后，在最后两节中，我们给出了模型的最优性条件和另一个对偶原理。
2021-07-25 math.OC
A Proximal Quasi-Newton Trust-Region Method for Nonsmooth Regularized Optimization
我们提出了一个置信域方法来最小化光滑项$f$和非光滑项$h$之和，这两个项都可以是非凸的。我们的方法的每一次迭代最小化一个可能的非凸模型的$f + h$的信任区域。该模型与$f + h$在数值和次微分上一致。当$f$满足一个光滑条件，特别是当它具有Lipschitz连续梯度，并且$h$是适当的下半连续时，我们建立了整体收敛到一阶稳定点的条件.要求$h$的模型是适当的、下半连续的和有界的。在这些弱的假设下，我们建立了一个最坏情况下的$O(1/ε^2)$迭代复杂性界匹配的最佳已知的复杂性界的标准置信域光滑优化方法。我们详细介绍了一个特殊的情况下，命名为TR-PG，在其中我们使用有限记忆拟牛顿模型的$f$和计算一个步骤与邻近梯度法，从而产生一个实用的邻近拟牛顿法。我们建立了类似的收敛性和复杂性界的二次正则化变量，命名为R2，并提供了一个解释为近端梯度法与自适应步长的非凸问题。R2也可以用于计算置信域方法内部的步骤，从而产生名为TR-R2的实现。我们描述了我们的Julia实现和报告的数值结果从稀疏优化和信号处理的反问题。TR-PG和TR-R2都表现出良好的性能，并与两种基于凸模型的线性逼近拟牛顿法相比较。
2021-08-03 math.OC
Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization
考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度（FDPG）方法以速率$O(1/k^2)$减小对偶函数，从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法，保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联，所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。
2016-09-29 math.OC
Inexact proximal $ε$-subgradient methods for composite convex optimization problems
我们提出了两个近似版本的近端次梯度法最小化两个凸函数（不一定是可微的）的总和。该算法涉及，在每次迭代中，不精确的评价的近端运营商和近似次梯度的功能（即：的$ε$ -次梯度）。这些方法使用不同的误差标准来近似近端算子。我们提供了一个分析的收敛性和收敛速率这些方法的属性，考虑到各种步长规则，包括两个，递减和恒定步长。对于其中一个函数是光滑的情况，我们提出了一个不精确的加速版本的邻近梯度法，并证明了最佳的收敛速度的函数值可以实现。
2019-07-11 math.OC
A proximal dual semismooth Newton method for computing zero-norm penalized QR estimator
本文研究了高维零范数惩罚分位数回归估计的计算问题，定义为零范数惩罚校验损失函数的全局极小值。为了寻求一个理想的近似估计，我们重新制定这个NP难的问题作为一个等价的增广Lipschitz最优化问题，并利用其耦合结构，提出了一个多阶段的凸松弛方法（MSCRA\_PPA），其中每一步解决不精确的加权$\ell_1$ -正则化检查损失最小化问题的近似对偶半光滑牛顿方法。在强凸性约束条件下，通过建立各参数估计的误差界和统计意义下的线性收敛速度，为MSCRA PPA提供了理论保证.对模拟数据和实际数据的数值比较表明，MSCRA PPA不仅具有相当甚至更好的估计性能，而且所需的CPU时间要少得多。
2020-11-22 math.OC
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知，我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法，一般的随机和有限和最优化问题，具有相同或更高的收敛复杂性相比，目前最好的结果为无约束的问题设置。在一个数值实验中，我们比较我们的算法与当前国家的最先进的确定性算法，并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
A parameterized proximal point algorithm for separable convex optimization
本文提出了求解一类线性和凸约束可分凸规划问题的参数化邻近点法（P-PPA）。该算法是全局收敛的，最坏情况下的收敛速度为O（1/t）收敛速度，其中t表示迭代次数.通过合理选择算法参数，对一个由统计学习引起的稀疏最优化问题的数值实验表明，该算法的性能明显优于其他最先进的方法，如交替方向法和松弛邻近点法.
2018-12-10 math.OC
On proximal subgradient splitting method for minimizing the sum of two nonsmooth convex functions
当目标函数为两个不可微的凸函数之和时，本文提出了一种近似前后分裂迭代法，用于求解希尔伯特空间中的非光滑最优化问题.建议的迭代，这将被称为邻近次梯度分裂方法，扩展了经典的次梯度迭代的重要类别的问题，利用添加剂结构的目标函数。在适当的假设条件下，利用不同的步长证明了所生成序列的弱收敛性。此外，我们分析了迭代的复杂性。
2016-01-12 math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题，该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和，这些局部目标函数由可微的（可能是非凸的）费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题，提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识，收敛到一组临界点的收敛速度$O(1/T)$。最后，通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
QPALM: A Newton-type Proximal Augmented Lagrangian Method for Quadratic Programs
提出了一种基于增广拉格朗日算子的一般凸二次规划的近似求解方法，该方法采用半光滑牛顿迭代和精确线搜索求解内部子问题。在这种情况下，精确的线搜索减少到寻找一个一维单调，分段仿射函数的零，可以非常有效地进行。我们的算法需要在每次迭代中求解线性系，但由于要分解的矩阵取决于积极约束，因此可以像积极集方法一样采用有效的稀疏分解更新。原始残差和对偶残差都可以被强制降低到严格的公差，否则可以从中间迭代中检测到不可行性。一个C实现所提出的算法进行测试和基准对其他国家的最先进的QP求解器的各种各样的问题数据，并显示对这些求解器比较有利。
2019-11-07 math.OC
Dykstra splitting and an approximate proximal point algorithm for minimizing the sum of convex functions
我们表明，Dykstra的分裂投影到交集的凸集可以扩展到最小化的总和凸函数和正则二次。我们给出的条件，收敛到原始极小，使多个凸函数可以最小化的时间，凸函数不一定是在一个循环的方式进行采样，和SHQP策略的问题，涉及到一个以上的凸集的交集可以应用。当和不涉及正则化二次型时，我们讨论了一种近似邻近点方法结合Dykstra分裂来最小化这个和。
2017-09-27 math.OC
Hierarchical Convex Optimization by the Hybrid Steepest Descent Method with Proximal Splitting Operators -- Enhancements of SVM and Lasso
现代邻近分裂方法的突破性思想使我们能够将多个非光滑凸函数叠加的所有极小元的集合表示为可计算非扩张算子的不动点集。在本文中，我们提出了实用的算法策略的分层凸优化问题，需要进一步的战略选择的最理想的向量从标准的凸优化的解决方案。所提出的算法是通过将混合最速下降法应用于通过邻近分裂艺术设计的特殊非扩张算子而建立的。我们还提出了应用所提出的策略，以某些未开发的层次增强的支持向量机和Lasso估计。
2022-06-30 math.OC
A Schur Complement Based Semi-Proximal ADMM for Convex Quadratic Conic Programming and Extensions
本文设计了一种高效收敛的乘子{半近似}交替方向法（ADMM），用于求解凸二次圆锥规划及相关问题的中低精度解.对于这类问题，收敛的两块半近似ADMM可以直接求解其原始形式。然而，它是已知的，它是更有效的应用直接扩展的多块半邻近ADMM，虽然它的收敛性不能保证，这些问题的对偶形式。自然地，人们可能会问以下问题：可以构造比直接扩展的半邻近ADMM更有效的收敛的多块半邻近ADMM吗？事实上，对于具有4块约束的线性圆锥规划，这在Sun，Toh和Yang的最近论文中已经被证明是可以实现的[arXiv预印本arXiv：1404.5378，（2014）]。受上述工作的启发，结合凸二次锥规划，我们提出了一种基于Schur补的收敛半近似ADMM，用于求解具有耦合线性等式约束的凸规划问题，其目标函数是两个真闭凸函数加上任意数量的凸二次或线性函数的和.我们的收敛半近似ADMM是特别适合于解决凸二次半定规划（QSDP）的约束组成的线性等式，一个半正定锥和一个简单的凸多面体集。我们所提出的算法的效率证明了各种例子，包括QSDP的数值实验。
2014-09-09 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题，建立迭代复杂度，发现与条件梯度的对偶性，并验证其优于次梯度方法。
2025-09-25 math.OC
Iteration-complexity of a Rockafellar's proximal method of multipliers for convex programming based on second-order approximations
研究了求解带不等式约束的光滑凸规划问题的基于Rockafellar近似乘子法（PMM）的一种新的原始对偶法的迭代复杂性.在每一步中，要么一个步骤的Rockafellar的PMM的二阶模型的问题进行计算或放松extragradiation步骤。由此产生的算法是一个（大步）放松的混合近端外梯度（r-HPE）方法的乘法器，它结合了Rockafellar的PMM与r-HPE方法。
2016-02-22 math.OC
Error bound conditions and convergence of optimization methods on smooth and proximally smooth manifolds
对于非凸约束最优化问题$\min_{x \in S} f(x)$，在光滑集$S = \{x \in R^n : g(x) = 0 \}, \; g : R^n \rightarrow R^m$和光滑函数$f$的情况下，分析了梯度投影算法收敛到稳定点的收敛性.我们提出了新的误差界（EB）条件的梯度投影法，导致收敛域的牛顿法。我们证明，这些EB条件是典型的一类最优化问题。通过切换到牛顿法，可以达到算法的高收敛速度。
2019-12-10 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度，提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
Proximal Stochastic Newton-type Gradient Descent Methods for Minimizing Regularized Finite Sums
本文将Jascha \cite{sohl2014fast}和Lee \cite{lee2012proximal}最近的两个完全不同的工作分别推广和统一为一个，提出了优化两个凸函数（一个是大量光滑凸函数的平均值，另一个是非光滑凸函数）和的\textbf{prox} s \textbf{to}随机\textbf{N}牛顿型梯度（PROXTONE）方法.虽然最近提出的一组邻近随机梯度方法，包括MISO，Prox-SDCA，Prox-SVRG和SAG，以线性速率收敛，但PROXTONE包含二阶信息以获得更强的收敛结果，它不仅在目标函数的值中实现线性收敛速率，而且在\emph{solution}中也实现线性收敛速率。证明简单直观，所得结果和技巧可作为研究二阶信息近似随机方法的一个开端。
2014-10-29 math.OC
On the Linear Convergence of the Approximate Proximal Splitting Method for Non-Smooth Convex Optimization
考虑最小化两个凸函数之和的问题，其中一个是光滑的，另一个是非光滑的。在本文中，我们介绍了一般类的近似邻近分裂（APS）方法来解决这样的极小化问题。APS类中的方法包括许多众所周知的算法，例如用于光滑凸优化的邻近分裂方法（PSM）、块坐标下降法（BCD）和近似梯度投影法。在局部误差有界的假设下，证明了APS方法的线性收敛.由于后者是已知的压缩感知和稀疏组LASSO问题，我们的分析意味着线性收敛的BCD方法对这些问题没有强凸性假设。
2014-04-21 math.OC
Stochastic Approximation Proximal Method of Multipliers for Convex Stochastic Programming
本文考虑了闭凸集上的凸期望函数的极小化问题，该问题带有一组不等式凸期望约束。提出了一种新的随机逼近型算法，即随机逼近邻近乘子法（PMMSopt）来求解这一凸随机最优化问题.本文分析了求解凸随机最优化问题的一种随机逼近近似乘子方法的缺点。在温和的条件下，我们表明，该算法具有${\rm O}(T^{-1/2})$收敛速率，在最优性差距和约束违反，如果在算法中的参数选择适当，当目标和约束函数一般是凸的，其中$T$表示迭代次数。此外，我们表明，至少$1-e^{-T^{1/4}}$概率，该算法有不超过${\rm O}(T^{-1/4})$客观遗憾和不超过${\rm O}(T^{-1/8})$约束违反遗憾。据我们所知，这是第一次，这样一个近似的方法求解期望约束随机最优化在文献中。
2020-09-13 math.OC
A Majorized ADMM with Indefinite Proximal Terms for Linearly Constrained Convex Composite Optimization
本文提出了一种求解线性约束$2$ -块凸组合最优化问题的带不定邻近项的优化交替方向乘子法（ADMM），目标块为一个非光滑凸函数与一个光滑凸函数之和，$\min_{x \in {\cal X}, \; y \in {\cal Y}}\{p(x)+f(x) + q(y)+g(y)\mid A^* x+B^* y = c\}$。通过适当地选择不定邻近项，我们证明了所提出的方法对于步长$τ\in (0, (1+\sqrt{5})/2)$的整体收敛和$O(1/k)$遍历迭代复杂性。计算的好处，而不是目前的要求，半正定的ADMM框架内使用不确定的邻近项的数值也证明了。这为提高ADMM及其相关方法的实际性能开辟了一条新的途径。
2015-06-23 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
