Proximal Diagonal Newton Methods for Composite Optimization Problems
本文提出一种基于对角度量的近端牛顿型方法，用于求解复合优化问题，理论分析与数值实验表明其在非凸情形下优于近端梯度法。
2023-10-10 math.OC
Proximal Quasi-Newton Methods for Multiobjective Optimization Problems
针对无约束多目标最优化问题（简称UMOP），提出了几种新的近似拟牛顿法，其中每个目标函数是一个二次连续可微强凸函数和一个适当的下连续凸但不一定是可微函数之和.我们提出了近似BFGS方法，近似自缩放BFGS方法，和近似黄BFGS方法（UMOP）与线搜索和没有线搜索的情况下。在温和的假设下，我们证明了由这些算法产生的序列的每个聚点，如果存在的话，是（UMOP）的Pareto平稳点。此外，我们还介绍了它们在约束多目标最优化问题和鲁棒多目标最优化问题中的应用。特别地，对于鲁棒多目标最优化问题，我们证明了近似拟牛顿算法的子问题可以看作是带二次不等式约束的二次极小化问题。数值实验也验证了所提出的近似拟牛顿法的有效性。
2022-04-07 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成，该目标函数是一个光滑项和一个（凸）非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广，如近端牛顿和拟牛顿法。在本文中，我们提出了一个正则化的近似拟牛顿法，其主要特点是：（a）该方法全局收敛到稳定点，（b）全局化由正则化参数控制，不需要线搜索，（c）该方法可以基于简单的观察而非常有效地实现，该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明，该方法优于现有的几种方法。
2022-10-14 math.OC
Riemannian Proximal Gradient Methods (extended version)
在欧氏空间中，近似梯度法及其加速算法是求解目标可分解的最优化问题的一类有效算法。在本文中，我们发展了一个黎曼近似梯度法（RPG）和它的加速变体（ARPG）类似的问题，但限制在一个流形上。在适当的假设下证明了RPG的整体收敛性，并基于收缩凸性的概念证明了RPG的O（1/k）收敛性.如果假定目标函数服从RimannianKurdyka-Lojasiewicz（KL）性质，则进一步证明了RPG生成的序列收敛于单个平稳点.在欧几里德设置，局部收敛速度可以建立，如果目标函数满足黎曼KL性质的指数。此外，我们已经表明，限制的半代数函数的Stiefel流形满足黎曼KL性质，其中包括例如著名的稀疏PCA问题。随机和合成数据的数值实验进行了测试所提出的RPG和ARPG的性能。
2021-05-30 math.OC
Inexact Proximal Newton methods in Hilbert spaces
我们考虑近似牛顿方法的更新步骤的不精确计算。为此，我们引入了两个不精确的标准，表征这些更新步骤的足够的精度，并借助这些调查的整体收敛和局部加速我们的方法。的不精确性标准的设计是足够的希尔伯特空间的框架，我们发现自己，而传统的不精确性标准，从光滑牛顿或有限维近似牛顿方法似乎是低效的，在这种情况下。在函数空间中考虑一个简单的模型问题，展示了该方法的性能和它的增益的有效性与确切的情况相比。
2022-04-26 math.OC
Loopless Proximal Riemannian Gradient EXTRA for Distributed Optimization on Compact Manifolds
School of Intelligent Engineering, Sun Yat-Sen University（中山大学智能工程学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Department of Mechanical Engineering, University of Victoria（维多利亚大学机械工程系）；The Key Laboratory of Autonomous Intelligent Unmanned Systems, Harbin Institute of Technology（哈尔滨工业大学自主智能无人系统重点实验室）
本文提出PR-EXTRA算法，用于在紧致流形上求解分布式复合优化问题，通过单次通信和局部梯度计算实现次线性收敛。
2026-03-09 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题，提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN，分别建立了全局/局部线性收敛与局部超线性收敛性质，并通过数值实验验证了其有效性。
2025-02-10 math.OC
A Riemannian Accelerated Proximal Gradient Method
针对流形上的非光滑优化问题，提出统一的黎曼加速近端梯度方法，在测地凸和强凸情形下建立加速收敛速率，并引入保护机制保证非凸全局收敛，数值实验验证了理论加速。
2025-09-26 math.OC
Local convergence analysis of a proximal Gauss-Newton method under a majorant condition
本文研究了求解惩罚非线性最小二乘问题的近似高斯-牛顿法。在惩罚最小二乘问题所对应的函数的导数满足优势条件的假设下，得到了一个局部收敛分析。我们的分析提供了一个明确的关系之间的优势功能和功能与惩罚最小二乘问题。两个重要的特殊情况下的收敛性也来自。
2013-04-24 math.OC
A Proximal Gradient Framework for Composite Multiobjective Optimization on Riemannian Manifolds
Faculty of Economics and Business Administration, Tokyo Metropolitan University（东京都立大学经济商学院）
本文提出了一种用于流形上复合优化问题的Riemannian多目标近似梯度方法（RMPGM），直接处理向量值目标并保证全局收敛到Pareto stationary点，具有O(1/k)收敛速度。进一步开发了两种变体以提高实用性和性能：允许在子问题求解中控制近似程度的不精确RMPGM，以及自适应调整惩罚参数的信赖域RMPGM，达到O(ε^{-2})迭代复杂度。数值实验表明，所提方法在性能上优于基于次梯度的基线方法。
2026-05-16 math.OC
On Quasi-Newton Forward--Backward Splitting: Proximal Calculus and Convergence
我们介绍了一个框架，拟牛顿向前-向后分裂算法（近拟牛顿法）与对角$\pm$秩- $r$对称正定矩阵引起的度量。这种特殊类型的度量允许对近端映射进行高效评估。这种效率的关键是在新的度量的一般邻近演算。通过使用对偶性，导出了将秩- $r$修改度量中的邻近映射与原始度量相关联的公式。我们还描述了一个大类的函数的邻近计算的有效实现，实现利用分段线性性质的对偶问题。然后，我们将这些结果加速复合凸最小化问题，从而导致优雅的拟牛顿法，我们证明收敛。该算法进行了测试的几个数值例子，并在文献中的替代品的全面列表进行比较。我们的拟牛顿分裂算法与规定的度量相比，优于国家的最先进的。该算法具有广泛的应用，包括信号处理，稀疏恢复，机器学习和分类，仅举几例。
2018-11-22 math.OC
An Inexact Riemannian Proximal Momentum Variance-Reduced Method: Complexity Bounds and KL Sequential Convergence
South China Agricultural University（华南农业大学）
针对紧嵌入子流形上的有限和非光滑复合问题，提出不精确黎曼邻近动量方差缩减方法，建立其复杂度界，并基于普通逐点KL性质推导带记忆的条件期望下降抽象KL原理，证明序列收敛性与速率。
2026-08-18 math.OC
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法，其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”（IMRO）格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题，在许多应用中出现，包括稀疏恢复压缩感知，机器学习和统计。我们的数值实验表明，所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种，显示它匹配已知的最佳界限。
2017-01-19 math.OC
A Globally Convergent Proximal Newton-Type Method in Nonsmooth Convex Optimization
本文提出并证明了一个新的近似牛顿型算法，以解决广泛的一类非光滑复合凸优化问题，没有强凸性假设。基于变分分析的先进概念和技术，我们建立了该算法的整体收敛以及超线性和二次收敛率的局部收敛的可实现结果.对于某些结构化问题，所得到的局部收敛条件不要求相应的Hessian映射的局部Lipschitz连续性，而这是文献中用来保证邻近Newton型的其他算法的超线性收敛的一个重要假设.通过求解$l_1$正则化逻辑斯谛回归模型的数值实验，说明了该算法应用于实际问题的可行性。
2022-02-28 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文提出两种黎曼流形上的近端梯度下降上升算法，解决非光滑非凸-非凹极小极大问题，证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
New Proximal Newton-Type Methods for Convex Optimization
本文对复合形式的凸优化问题提出了新的近似牛顿型方法。应用包括模型预测控制（MPC）和嵌入式MPC。我们的新方法在计算上是有吸引力的，因为它们不需要在每次迭代时评估Hessian，同时保持快速的收敛速度。更具体地说，我们证明了整体收敛性的保证和超线性收敛是在附近的最优解。我们还结合拟牛顿和不精确子问题求解方案，开发了几种实用的变型，并在一定条件下为它们提供了理论保证。在真实数据集上的实验结果证明了新方法的有效性和效率。
2020-07-18 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
提出两种基于不同近似二阶稳定点定义的二阶方法，用于求解\(\ell_1\)正则化复合优化问题，并分析其迭代复杂度、操作复杂度及局部超线性收敛率，数值实验验证了有效性。
2026-09-10 math.OC
Newton acceleration on manifolds identified by proximal-gradient methods
已知近似方法用于识别非光滑最优化问题的底层子结构。更重要的是，在许多有趣的情况下，邻近算子的输出与其结构一起出现，而不需要额外的成本，一旦它与极小化器的结构相匹配，收敛性就会得到改善。然而，它是不可能的，在一般情况下，知道当前的结构是否是最终的或没有;这样的高度有价值的信息，必须自适应地利用。要做到这一点，我们把自己的情况下，近端梯度法可以识别流形的可微性的非光滑目标。利用这种流形识别，我们表明，黎曼牛顿类方法可以与近端梯度步骤交织在一起，以大大提高收敛性。证明了算法在求解非退化、非光滑、非凸最优化问题时的超线性收敛性。我们提供了数值例子的最优化问题正则化的$\ell_1$ -范数或跟踪范数。
2022-05-25 math.OC
Weak Proximal Newton Oracles for Composite Convex Optimization
本文提出弱近端牛顿 oracle 方法，通过稀疏结构优化提升高维复合凸优化的收敛效率。
2025-12-17 math.OC
Projective splitting with backward, half-forward and proximal-Newton steps
本文提出一种投影分裂算法，用于求解具有四块内部结构的多项复合单调包含问题，结合后向、半前向和近端牛顿步，并证明了算法的弱收敛性。
2024-05-06 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法，在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛，无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg（维尔茨堡大学）；University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种近端有限记忆拟牛顿方法，用于求解可微函数与非光滑函数之和的最小化问题，通过自适应更新正则化参数实现全局收敛，并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法，用于求解实希尔伯特空间中的光滑单调变分不等式，具备更优的迭代复杂度，且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
Convergence analysis of the Riemannian proximal gradient method with inexact oracle
Shenzhen University（深圳大学）；Sun Yat-sen University（中山大学）；Guangdong Polytechnic Normal University（广东技术师范大学）
将不精确一阶oracle概念推广到黎曼优化，分析带有该oracle的黎曼近端梯度方法（RPG-IO）的全局收敛性，并基于KL性质证明迭代序列收敛到稳定点及收敛速率。
2026-06-25 math.OC
On the Convergence of Newton-type Proximal Gradient Method for Multiobjective Optimization Problems
针对Ansary提出的NPGMO缺乏收敛性证明的问题，本文构建分析框架，在强凸性假设下证明其二次终止、超线性收敛与二次收敛性质。
2023-08-20 math.OC
A Unified Zeroth-Order Proximal Newton-Type Framework for Composite Optimization
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种无导数的近似牛顿型算法框架，用于解决复合优化问题，该问题可表示为黑盒函数与已知正则化项之和。研究建立了在非凸和强凸情况下，算法达到ε-最优解的迭代和oracle复杂度界，并基于Dennis--Moré条件证明了局部R超线性收敛性。
2026-05-07 math.OC
Global non-asymptotic super-linear convergence rates of regularized proximal quasi-Newton methods on non-smooth composite problems
本文提出两种基于SR1更新的正则化近端拟牛顿方法求解非光滑凸复合问题，首次证明其具有与初始化无关的全局非渐近超线性收敛速率，并在机器学习应用中验证了理论性质。
2024-11-21 math.OC
Curvature Recycling Douglas-Rachford Splitting: Transported Quasi-Newton Models for Expensive Smooth Proximal Subproblems
Industrial Mathematics LLC（工业数学有限责任公司）
研究在\(f\)光滑但求值昂贵、\(g\)非光滑的\(\min_x f(x)+g(x)\)问题中，提出曲率循环DRS方法，通过传输残差、重用模型等操作，实现全局线性收敛与局部超线性减少，实验表明该方法能大幅减少昂贵梯度调用。
2026-07-28 math.OC
Proximal calculus on Riemannian manifolds, with applications to fixed point theory
我们引入了一个近似次微分，并发展了一个演算的非光滑函数定义在任何黎曼流形$M$。本文给出了这一理论的几个应用：1）距离函数对$M$的闭子集$C$的可微性和几何性质，2）$M$上非光滑函数的可解性和隐函数定理，3）$M$上三个不同点存在外接圆中心的条件，4）$M$上三个不同点存在外接圆中心的条件，5）$M$上三个不同点存在外接圆中心的条件。特别是4）定义在$M$上的扩张映射和非扩张映射的不动点定理以及这类映射的某些扰动。
2004-03-26 math.DG math.OC
An Inexact Regularized Proximal Newton Method without Line Search
针对光滑函数与凸非光滑函数之和的最小化问题，提出一种无需线搜索、依据上次迭代成败更新正则化参数的 IRPNM，并证明其全局与超线性收敛性。
2024-04-08 math.OC
A Decentralized Proximal Gradient Tracking Algorithm for Composite Optimization on Riemannian Manifolds
针对黎曼子流形上的复合优化问题，提出去中心化近端梯度跟踪算法，充分利用复合结构，将收敛迭代复杂度降至$\mathcal{O}(ε^{-2})$，数值实验验证了其高效性。
2024-01-21 math.OC
Community Detection by a Riemannian Projected Proximal Gradient Method
社区发现在理解和利用复杂系统的结构方面起着重要的作用。已经开发了许多使用模块化最大化或其他技术进行社区发现的算法。本文将社区发现问题转化为紧致Stiefel流形上的约束非光滑优化问题。提出了一种黎曼投影邻近梯度法并用于求解该问题。据我们所知，这是第一次尝试使用黎曼优化的社区发现问题。在合成基准测试和真实网络上的数值实验结果表明，该算法是有效的，性能优于几个最先进的算法。
2020-09-25 cs.SI math.OC
A nonmonotone proximal quasi-Newton method for multiobjective optimization
针对无约束凸多目标复合优化问题，提出一种非单调邻近拟牛顿法，通过最小化海森近似与非光滑项变化的最大标量化确定搜索方向，结合非单调线搜索，证明其收敛至Pareto最优解且具局部超线性收敛率，实验验证了其可行性与有效性。
2023-10-03 math.OC
A Proximal Quasi-Newton Trust-Region Method for Nonsmooth Regularized Optimization
我们提出了一个置信域方法来最小化光滑项$f$和非光滑项$h$之和，这两个项都可以是非凸的。我们的方法的每一次迭代最小化一个可能的非凸模型的$f + h$的信任区域。该模型与$f + h$在数值和次微分上一致。当$f$满足一个光滑条件，特别是当它具有Lipschitz连续梯度，并且$h$是适当的下半连续时，我们建立了整体收敛到一阶稳定点的条件.要求$h$的模型是适当的、下半连续的和有界的。在这些弱的假设下，我们建立了一个最坏情况下的$O(1/ε^2)$迭代复杂性界匹配的最佳已知的复杂性界的标准置信域光滑优化方法。我们详细介绍了一个特殊的情况下，命名为TR-PG，在其中我们使用有限记忆拟牛顿模型的$f$和计算一个步骤与邻近梯度法，从而产生一个实用的邻近拟牛顿法。我们建立了类似的收敛性和复杂性界的二次正则化变量，命名为R2，并提供了一个解释为近端梯度法与自适应步长的非凸问题。R2也可以用于计算置信域方法内部的步骤，从而产生名为TR-R2的实现。我们描述了我们的Julia实现和报告的数值结果从稀疏优化和信号处理的反问题。TR-PG和TR-R2都表现出良好的性能，并与两种基于凸模型的线性逼近拟牛顿法相比较。
2021-08-03 math.OC
A proximal dual semismooth Newton method for computing zero-norm penalized QR estimator
本文研究了高维零范数惩罚分位数回归估计的计算问题，定义为零范数惩罚校验损失函数的全局极小值。为了寻求一个理想的近似估计，我们重新制定这个NP难的问题作为一个等价的增广Lipschitz最优化问题，并利用其耦合结构，提出了一个多阶段的凸松弛方法（MSCRA\_PPA），其中每一步解决不精确的加权$\ell_1$ -正则化检查损失最小化问题的近似对偶半光滑牛顿方法。在强凸性约束条件下，通过建立各参数估计的误差界和统计意义下的线性收敛速度，为MSCRA PPA提供了理论保证.对模拟数据和实际数据的数值比较表明，MSCRA PPA不仅具有相当甚至更好的估计性能，而且所需的CPU时间要少得多。
2020-11-22 math.OC
QPALM: A Newton-type Proximal Augmented Lagrangian Method for Quadratic Programs
提出了一种基于增广拉格朗日算子的一般凸二次规划的近似求解方法，该方法采用半光滑牛顿迭代和精确线搜索求解内部子问题。在这种情况下，精确的线搜索减少到寻找一个一维单调，分段仿射函数的零，可以非常有效地进行。我们的算法需要在每次迭代中求解线性系，但由于要分解的矩阵取决于积极约束，因此可以像积极集方法一样采用有效的稀疏分解更新。原始残差和对偶残差都可以被强制降低到严格的公差，否则可以从中间迭代中检测到不可行性。一个C实现所提出的算法进行测试和基准对其他国家的最先进的QP求解器的各种各样的问题数据，并显示对这些求解器比较有利。
2019-11-07 math.OC
Understanding Riemannian Acceleration via a Proximal Extragradient Framework
Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）
我们有助于推进黎曼加速梯度法的理解。特别是，我们重新加速混合近端外梯度（A-HPE），获得欧几里德加速方法\citep{monteiro2013accelerated}的一个强大的框架。在A-HPE的基础上，我们提出并分析了黎曼A-HPE。我们分析的核心由两个关键部分组成：（i）对欧几里得A-HPE本身的一系列新见解;以及（ii）对黎曼几何引起的度量失真的仔细控制。我们说明了我们的框架，通过获得一些现有的和新的黎曼加速梯度法的特殊情况下，同时表征其加速我们的主要结果的推论。
2022-02-10 cs.LG math.OC stat.ML
Error bound conditions and convergence of optimization methods on smooth and proximally smooth manifolds
对于非凸约束最优化问题$\min_{x \in S} f(x)$，在光滑集$S = \{x \in R^n : g(x) = 0 \}, \; g : R^n \rightarrow R^m$和光滑函数$f$的情况下，分析了梯度投影算法收敛到稳定点的收敛性.我们提出了新的误差界（EB）条件的梯度投影法，导致收敛域的牛顿法。我们证明，这些EB条件是典型的一类最优化问题。通过切换到牛顿法，可以达到算法的高收敛速度。
2019-12-10 math.OC
Proximal Stochastic Newton-type Gradient Descent Methods for Minimizing Regularized Finite Sums
本文将Jascha \cite{sohl2014fast}和Lee \cite{lee2012proximal}最近的两个完全不同的工作分别推广和统一为一个，提出了优化两个凸函数（一个是大量光滑凸函数的平均值，另一个是非光滑凸函数）和的\textbf{prox} s \textbf{to}随机\textbf{N}牛顿型梯度（PROXTONE）方法.虽然最近提出的一组邻近随机梯度方法，包括MISO，Prox-SDCA，Prox-SVRG和SAG，以线性速率收敛，但PROXTONE包含二阶信息以获得更强的收敛结果，它不仅在目标函数的值中实现线性收敛速率，而且在\emph{solution}中也实现线性收敛速率。证明简单直观，所得结果和技巧可作为研究二阶信息近似随机方法的一个开端。
2014-10-29 math.OC
General Proximal Quasi-Newton Methods based on model functions for nonsmooth nonconvex problems
本文提出一种由连续矩阵生成器更新可变度量、基于局部模型函数和回溯线搜索的通用邻近拟牛顿法，用于非光滑非凸优化，并证明其聚点稳定性及 KL 性质下的全局收敛性。
2025-07-25 math.OC
Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression
本文提出对偶牛顿近端点算法PPDNA求解带偏置项的L1正则化逻辑回归，利用二阶稀疏性降低子问题计算成本，并设计自适应筛选AS策略生成解路径，实验验证其优于现有二阶算法。
2023-10-30 math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中，我们使用近似三次正则化牛顿方法（PCNM）优化光滑凸函数和非光滑凸函数的总和，其中我们使用不精确梯度和Hessian，以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体，并证明了这两种变体可以达到与精确情况相同的收敛速度，前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时，在数据源源不断的在线随机设置中，我们给出了所提出的算法的总体复杂度，并表明它们与随机梯度下降一样具有竞争力。此外，我们给出了所提出的算法在有限和设置的整体复杂性，并表明它是最先进的方差减少算法的竞争力。最后，我们提出了一个有效的算法的立方正则二阶子问题，它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
OFF Newton-type Methods for Unconstrained Optimization with Inexact Derivatives
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
本文提出了一种无需目标函数的近端牛顿方法变体，用于非凸复合优化问题，以及用于无约束优化问题的正则化牛顿方法，利用近似梯度和Hessian。理论分析证明，所提出算法的全局和局部收敛速度与精确计算目标函数和导数时的结果一致。为了验证理论假设的实际适用性，采用了一种惰性梯度策略来提供一种可验证的方案以满足近似梯度的精度要求。对于有限和优化问题，进一步开发了一种自适应采样策略以消除样本大小与梯度估计之间的循环依赖。所提出的算法被证明在期望下可以实现局部超线性和二次收敛。此外，我们还提出了一个使用近似导数的无约束优化的正则化牛顿和负曲率算法，用于定位近似二阶 stationary 点。所开发算法的最坏情况迭代和（样本）操作复杂度与现有文献中的最优结果一致。
2026-10-23 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地，非光滑部分可能是非凸的。为了解决非凸性，我们开发了一个概念，强的正则性，这是相关的单点属性，Lipschitz连续性，和单调性的相关的邻近算子，我们验证它在各种类型的功能，包括弱凸函数，指示函数的邻近光滑集，和两个特定的球相关的非凸非光滑函数。在这种情况下，我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者，所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性，设计了一种投影半光滑牛顿法，用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的，一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件，我们建立了局部超线性收敛.数值实验表明，我们所提出的方法相比，国家的最先进的有效性。
2023-03-09 math.OC
Damped Newton's Method on Riemannian Manifolds
给出了一种求解黎曼坐标下向量场奇异性的阻尼牛顿法，并研究了其整体收敛性。它是确保由所提出的方法产生的序列减少到一个由经典的牛顿法的黎曼版本产生的序列经过有限次迭代，因此其收敛速度是超线性/二次。数值实验表明，阻尼牛顿法在迭代次数和计算时间上都优于牛顿法。
2018-07-19 math.OC
Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold
The University of Iowa（爱荷华大学）；University of California（加利福尼亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
由于在实践中的广泛应用，黎曼优化引起了人们的广泛关注。在文献中已经研究了黎曼随机一阶算法来解决黎曼流形上的大规模机器学习问题。然而，现有的大多数黎曼随机算法要求目标函数是可微的，并且它们不适用于目标函数是非光滑的情况。本文给出了Stiefel流形上极小化非光滑函数的两种黎曼随机逼近梯度法。这两种方法，称为R-ProxSGD和R-ProxSPB，是近端SGD和近端SpiderBoost在欧几里得设置到黎曼设置的推广。分析了算法的增量一阶预言（IFO）复杂度。具体地，R-ProxSPB算法在在线情况下找到具有$Ø(ε^{-3})$ IFO的$ε$ -平稳点，并且在有限和情况下找到具有$n$的$Ø(n+\sqrt{n}ε^{-2})$ IFO的$ε$-平稳点，其中$n$是目标中的被加数。在线稀疏PCA和鲁棒低秩矩阵补全的实验结果表明，我们提出的方法显着优于现有的方法，使用黎曼次梯度信息。
2022-03-21 cs.LG math.OC stat.ML
The Intrinsic Riemannian Proximal Gradient Method for Nonconvex Optimization
Norwegian University of Science and Technology（挪威科技大学）；RWTH Aachen University（亚琛工业大学）；Universität Potsdam（波茨坦大学）
研究非凸优化问题，提出黎曼流形上近端梯度法的内在变体，该方法基于前向后分裂，使用流形上近端映射，无需嵌入，研究了收敛性质并展示其在非凸或非嵌入问题上的数值性能。
2026-07-16 cs.NA math.DG math.NA
A Newton-Type Proximal Gradient Method for Nonlinear Multi-objective Optimization Problems
针对光滑与非光滑函数之和构成的无约束凸多目标优化问题，提出一种无需预设参数或目标排序的 Newton 型邻近梯度法，并证明其全局收敛性。
2022-05-09 math.OC
An Inexact Proximal Framework for Nonsmooth Riemannian Difference-of-Convex Optimization
本文提出不精确黎曼近端DC（iRPDC）框架，用于求解含非光滑DC项的非光滑黎曼优化问题，首次建立与$\ell_0$正则化的等价性，并实现匹配最优的$\mathcal{O}(\epsilon^{-3})$整体复杂度，在稀疏PCA上验证了有效性。
2025-09-10 math.OC
Adaptive sieving with semismooth Newton proximal augmented Lagrangian algorithm for multi-task Lasso problems
本文提出自适应筛选结合半光滑牛顿近端增广拉格朗日算法，高效求解多任务Lasso问题，利用稀疏性缩减子问题维度，在合成与真实数据上优于现有求解器。
2025-04-21 math.OC
Proximal methods for structured nonsmooth optimization over Riemannian submanifolds
本文针对黎曼子流形上含DC函数和弱凸项的结构化非光滑优化问题，提出流形邻近梯度-次梯度算法MPGSA及其增强版本，证明其收敛性并验证了数值效率。
2025-11-06 math.OC
A Proximal Point Dual Newton Algorithm for Solving Group Graphical Lasso Problems
无向图模型在学习大量变量之间的条件独立结构方面特别流行，其中观测值独立且相同地从同一分布中提取。然而，许多现代统计问题涉及分类数据或时变数据，它们可能遵循不同但相关的基本分布。为了同时学习相关图形模型的集合，已经提出了各种联合图形模型，其引起图形中的稀疏性和图形之间的相似性。在本文中，我们的目标是提出一个可实现的近点对偶牛顿算法（PPDNA）解决组图形Lasso模型，鼓励共享模式的稀疏跨图。虽然群图形Lasso正则化子是非多面体的，但我们提出的方法PPDNA的渐近超线性收敛可以通过利用与群图形Lasso模型相关联的Karush-Kuhn-Tucker解映射的局部Lipschitz连续性来获得。在实际数据集上的数值实验表明，PPDNA求解群图Lasso模型具有高效性和鲁棒性。
2020-08-17 math.OC
A Semismooth Newton-Based Proximal Augmented Lagrangian Method for Joint Estimation of Multiple Gaussian Graphical Models with Clustered Structure
School of Mathematics and Statistics, Fuzhou University（福州大学数学与统计学院）；Center for Applied Mathematics of Fujian Province, School of Mathematics and Statistics, Fuzhou University（福建省应用数学中心，福州大学数学与统计学院）
针对多个聚类高斯图模型的联合估计问题，提出一种近端增广拉格朗日方法，利用半光滑牛顿法求解子问题，实现超线性收敛并降低计算复杂度。
2026-06-15 math.OC
A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction
本文针对弱凸复合优化问题提出了一种结合方差缩减机制和不精确半光滑牛顿框架的可实现随机近端点算法，证明了其考虑步长不精确性的收敛性，并在数值实验中展现出优于其他方法的鲁棒性。
2024-03-26 math.OC stat.ML
