A Semismooth Newton Method for Support Vector Classification and Regression
支持向量机是机器学习中一种重要的基础技术。本文采用半光滑牛顿法求解两种典型的支持向量机模型：L2损失SVC模型和ε-L2损失SVR模型。半光滑牛顿法在最优化领域有着广泛的应用。半光滑牛顿法的一个共同的信念是它的快速收敛速度以及高计算复杂性。本文的贡献在于通过探索模型的稀疏结构，在保持平方收敛速率的同时，显著降低了计算复杂度。大量的数值实验证明了半光滑牛顿法的优异性能，特别是对于样本数据量巨大的问题（对于具有19996个特征和1355191个样本的news20.binary问题，只需3秒）。特别是，对于ε-L2损失SVR模型，半光滑牛顿方法的性能明显优于领先的求解器，包括DCD和TRON。
2019-03-01 math.OC
A globalized inexact semismooth Newton method for strongly convex optimal control problems
Universität Würzburg（维尔茨堡大学）
本文提出一种全局化的近似半光滑牛顿方法，用于解决强凸最优控制问题，在希尔伯特空间中证明了算法的全局强收敛性及局部超线性收敛性。
2026-03-25 math.OC
On the application of the semismooth* Newton method to variational inequalities of the second kind
本文首先简要介绍了最近发展的半光滑牛顿法的一般包含的解决方案。然后将此方法应用于一类第二类变分不等式。其结果是，得到一个可实现的算法表现出局部超线性收敛。此后，我们提出了几个全局收敛的混合算法，其中一个结合半光滑 * 牛顿法与选择的分裂算法的解决单调变分不等式。他们的效率是由大量的数值实验记录。
2020-07-22 math.OC
A Semismooth Newton-Type Method for the Nearest Doubly Stochastic Matrix Problem
研究了Jacobi矩阵的可微性和非奇异性均失效的最近邻双随机阵问题的半光滑Newton型方法。该问题的最优性条件被表示为一个强半光滑函数组。我们表明，所谓的局部误差界条件不适用于这个系统。因此，牛顿型方法的保证收敛速度至多是超线性的。通过利用问题的结构，我们构造了一个修改的两步半光滑牛顿法，保证在每次迭代的非奇异雅可比矩阵，并收敛到最近的双随机阵二次。据我们所知，这是第一个牛顿型的方法，收敛$Q$ -二次在没有局部误差的限制条件。
2021-07-20 math.OC
Bilinear control of semilinear elliptic PDEs: Convergence of a semismooth Newton method
本文针对半线性椭圆PDE的双线性控制问题，分析了半光滑牛顿方法，证明了状态方程解的存在唯一性、最优性条件，并证明了该方法在无间隙二阶充分条件和严格互补条件下的超线性收敛性。
2024-03-05 math.OC
Convergence analysis of the semismooth Newton method for sparse control problems governed by semilinear elliptic equations
本文证明在二阶充分条件和严格互补条件下，半光滑牛顿法求解半线性椭圆方程稀疏最优控制问题具有超线性收敛性，允许盒式约束和稀疏项。
2024-02-27 math.OC
A distributed semismooth Newton based augmented Lagrangian method for distributed optimization
School of Mathematics, Southwest Jiaotong University（西南交通大学数学学院）；School of Computer and Computing Science, Hangzhou City University（杭州城市大学计算机与计算科学学院）；Institute of Mathematics, Zhejiang Wanli University（浙江万里大学数学学院）
本文提出了一种分布式半光滑牛顿基于增广拉格朗日方法，用于高效解决网络上的优化问题，通过分布式加速近端梯度方法提升计算效率。
2026-02-27 cs.LG cs.NA math.NA
On a semismooth* Newton method for solving generalized equations
本文导出了求解广义方程的一种牛顿型方法，其中线性化处理涉及广义方程的单值部分和多值部分。该方法是基于半光滑${}^*$的新概念，加上适当的正则性条件，确保局部超线性收敛。一个可实施的版本的新方法是来自一类通用电气公司，经常出现在优化和平衡模型。
2019-04-19 math.OC
An Investigation on Semismooth Newton based Augmented Lagrangian Method for Image Restoration
增广拉格朗日方法（Augmented Lagrangian method，又称乘子法）是现代信号处理、成像、最优控制等领域中解决光滑或非光滑变分问题的一种重要而有力的最优化方法，但往往需要同时求解耦合和非线性系统，具有很大的挑战性。本文提出了几种半光滑牛顿法来解决图像复原中的非线性子问题，从而产生了几种高效的、有竞争力的图像处理算法。通过分析相应函数的度量下界，给出了所提出的增广拉格朗日方法的整体收敛和局部线性收敛速率.
2021-08-28 math.OC
A Semismooth Newton Method for Tensor Eigenvalue Complementarity Problem
本文研究了与多项式最优化最优性条件密切相关的张量特征值互补性问题，以及一类具有非凸过程的微分包含.通过引入一个NCP函数，我们将张量特征值互补性问题转化为一个非线性方程组。我们证明了该函数是强半光滑的，但不可微，在这种情况下经典的平滑方法无法适用。进一步，我们提出了求解张量特征值互补性问题的阻尼半光滑牛顿法。给出了一种新的求广义Jocobian中一个元的方法，在较弱的假设下，它是B-次微分的一个元。结果表明，阻尼半光滑牛顿法的收敛性得到了现有结果的保证。数值实验也表明我们的方法是有效的和有前途的。
2015-10-29 math.OC
A Semismooth Newton based Augmented Lagrangian Method for Nonsmooth Optimization on Matrix Manifolds
研究了一类具有非光滑目标函数和非线性约束的流形最优化问题的增广拉格朗日方法。在流形上线性依赖为常数的条件下，证明了该方法收敛于非光滑流形最优化问题的一个稳定点。此外，我们提出了一个全球化的半光滑牛顿方法，有效地解决流形上的增广拉格朗日子问题。在适当的条件下，证明了流形半光滑牛顿法的局部超线性收敛。我们还证明了子流形上的半光滑性可以继承于环境流形上的半光滑性。最后，压缩模式和（约束）稀疏主成分分析的数值实验说明了所提出的方法的优点。
2022-07-19 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法，结合近端梯度法保证全局收敛，利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛，并通过等式约束二次规划计算 Newton 方向，注重高效数值实现。
2025-01-24 math.OC
A Stochastic Semismooth Newton Method for Nonsmooth Nonconvex Optimization
在这项工作中，我们提出了一个全球化的随机半光滑牛顿法解决随机最优化问题，涉及光滑非凸和非光滑凸项的目标函数。我们假设只有噪声梯度和Hessian信息的光滑部分的目标函数是通过调用随机一阶和二阶预言。所提出的方法可以看作是一个混合的方法相结合的随机半光滑牛顿步骤和随机邻近梯度步骤。引入两个不精确的增长条件来监控半光滑牛顿步的收敛性和可接受性，并表明该算法全局收敛到预期的平稳点。此外，在标准假设下，利用随机矩阵浓度不等式，我们证明了该方法局部地转化为一个纯随机半光滑牛顿法，并且以高概率r-超线性收敛.我们提出的数值结果和比较$\ell_1$正则化逻辑斯谛回归和非凸二进制分类，证明了我们的算法的效率。
2018-03-09 math.OC stat.ML
Semismooth Newton Methods for Risk-Averse Markov Decision Processes
提出基于半光滑牛顿方法的通用算法框架，用于求解风险厌恶马尔可夫决策过程，设计了三种具有收敛保证的方法，并揭示风险厌恶策略迭代本质上是半光滑牛顿方法，从而解释其优越收敛性。
2025-01-23 math.OC
On the application of the SCD semismooth* Newton method to variational inequalities of the second kind
本文首先描述了SCD（含导数的子空间）映射和求解一般包含的SCD半光滑牛顿法。然后将此方法应用于一类第二类变分不等式。其结果是，得到一个可实现的算法表现出局部超线性收敛。此后，我们提出了几个全局收敛的混合算法，其中一个结合SCD半光滑 * 牛顿方法与选择的分裂算法的解决单调变分不等式。最后，我们证明了这些方法之一的效率，通过古诺-纳什均衡，建模为变分不等式的第二类，其中一个承认真正大量的球员（公司）和生产的商品。
2021-12-15 math.OC
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
本文考虑高维非凸平方根损失回归问题，并提出了一种近似优化最小化算法。我们的关键思想，使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质，证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
An efficient semismooth Newton-AMG-based inexact primal-dual algorithm for generalized transport problems
本文研究了求解一类最优质量输运问题的有效最优化方法。从动力系统的时间离散化出发，提出了一种非精确原始对偶法，并利用李雅普诺夫函数工具，对函数残差和可行性破坏建立了全局（超）线性收敛速率.该算法包含一个内部问题，具有较强的半光滑性，并激励使用半光滑牛顿迭代。通过探索问题本身的隐藏结构，将Newton迭代产生的线性系等价转化为图Laplacian系统，提出了一种鲁棒代数多重网格方法，并利用著名的Xu-Zikatanov恒等式进行了分析.最后，数值实验验证了我们的方法的有效性。
2022-07-28 math.OC
A globally convergent and locally quadratically convergent modified B-semismooth Newton method for $\ell_1$-penalized minimization
本文研究了一类带$\ell_1$ -罚项的非线性严格凸泛函的有效极小化问题。这样的最小化问题出现在广泛的应用，如吉洪诺夫正则化的（非）线性反问题的稀疏约束。在（2015 Inverse Problems（31）025005）中，针对线性反问题的$\ell_1$ -Tikhonov正则化，提出了一种全局化的Bouligand-semismooth Newton方法。然而，为了证明整体收敛，必须对迭代序列的聚点进行技术假设。在这里，我们将这种方法推广到一般的非线性问题，并提出了一个修改的半光滑牛顿法的整体收敛证明，没有任何额外的要求。此外，在一个技术假设下，完整的牛顿步骤最终被接受，并实现局部平方收敛。图像去模糊和鲁棒回归的数值算例验证了该方法的有效性。
2016-04-11 math.OC
A Semismooth Newton Method for Fast, Generic Convex Programming
我们介绍了Newton-ADMM，一种快速锥优化方法。其基本思想是将乘子的交替方向法（ADMM）产生的连续迭代的残差看作一组不动点方程，然后使用非光滑牛顿法求解;我们将其基本思想应用于分裂锥求解器（SCS），这是一种解决一般圆锥曲线最优化问题的最先进方法。我们从理论上证明，通过扩展半光滑算子的理论，牛顿ADMM收敛迅速（即，二次）的解决方案;经验上，牛顿ADMM是显着快于SCS的一些问题。该方法也基本上没有调整参数，在适当的时候生成原始或对偶不可行性的证书，并且可以专门用于解决特定的凸问题。
2017-06-20 math.OC
Dynamic Programming Through the Lens of Semismooth Newton-Type Methods (Extended Version)
策略迭代和值迭代是许多（近似）动态规划方法的核心。对于有限状态空间和有限动作空间的马尔可夫决策过程，我们证明了它们是求解Bellman方程的半光滑牛顿型方法的实例。特别地，我们证明了策略迭代等价于精确半光滑牛顿法，并具有局部平方收敛速率。这一发现得到了控制和运筹学领域的大量数值证据的证实，这些证据证实了即使在政策数量巨大的情况下，政策迭代通常也只需要很少的迭代就可以实现收敛。然后，我们表明，值迭代是一个实例的不动点迭代法。本着这种精神，我们开发了一种新的本地加速版本的值迭代与整体收敛保证和可以忽略不计的额外计算成本。
2022-06-24 math.OC
SSNCVX: A primal-dual semismooth Newton method for convex composite optimization problem
本文提出统一的半光滑牛顿法框架 SSNCVX 求解凸复合优化问题，通过增广拉格朗日对偶重构为鞍点问题，以单循环结构同时更新原始和对偶变量，在基准数据集上展现出优于现有求解器的鲁棒性与效率。
2025-09-15 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地，非光滑部分可能是非凸的。为了解决非凸性，我们开发了一个概念，强的正则性，这是相关的单点属性，Lipschitz连续性，和单调性的相关的邻近算子，我们验证它在各种类型的功能，包括弱凸函数，指示函数的邻近光滑集，和两个特定的球相关的非凸非光滑函数。在这种情况下，我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者，所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性，设计了一种投影半光滑牛顿法，用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的，一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件，我们建立了局部超线性收敛.数值实验表明，我们所提出的方法相比，国家的最先进的有效性。
2023-03-09 math.OC
A sparse semismooth Newton based augmented Lagrangian method for large-scale support vector machines
Sichuan University（四川大学）；Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
支持向量机（SVM）是一种成功的建模和预测工具，有着广泛的应用。以往的工作已经证明了支持向量机在处理高维、低样本量问题上的优越性。然而，随着样本量的增加，支持向量机的数值计算困难将变得更加严重。虽然支持向量机的求解器有很多，但只有少数是利用支持向量机的特殊结构来设计的。本文提出了一种高效的稀疏半光滑牛顿增广拉格朗日方法来求解一个带有线性等式约束和简单盒子约束的大规模凸二次规划问题。利用原-对偶误差界结果，保证了增广拉格朗日方法的快速局部收敛速度。此外，该算法利用半光滑牛顿法求解问题的二阶稀疏性，可以有效地解决上述困难问题。最后，数值比较表明，该算法优于当前国家的最先进的求解器的大规模支持向量机。
2021-02-03 cs.LG cs.NA math.NA
Semismooth Newton Method for Boundary Bilinear Control
针对边界双线性作用的半线性椭圆约束最优控制问题，分析状态方程与最优性条件，并证明半光滑 Newton 方法在严格互补和无间隙二阶充分条件下超线性收敛。
2024-03-02 math.OC
Semismooth Newton-type method for bilevel optimization: Global convergence and extensive numerical experiments
我们考虑标准的乐观双层最优化问题，特别是上层和下层的约束可以耦合。通过引入下层值函数，将问题转化为对值函数约束进行惩罚的单层最优化问题。对于治疗后一个问题，我们开发了一个框架，不依赖于直接计算的较低级别的值函数或其衍生物。对于每个罚参数，该框架导致半光滑方程组。这使我们能够将半光滑牛顿法扩展到双层优化。除了该方法的整体收敛性质外，我们还着重于半光滑方程组解的局部超线性收敛。为此，我们制定了一个适当的CD-正则性假设，并推导出充分的条件，使它得到满足。此外，我们开发的条件，以保证解决方案的半光滑系统是一个局部解决方案的双层最优化问题。对文献中的非线性双层最优化问题的$124$实例进行了大量的数值实验，结果表明该方法具有显著的性能，只需考虑少量的罚参数.
2019-12-15 math.OC
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
平方根Lasso问题被证明是鲁棒回归问题。此外，具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难，提出了一种基于对偶半光滑牛顿（SSN）的增广拉格朗日方法（ALM），即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时，广义雅可比矩阵的正定性是非常重要的。因此，我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中，我们充分利用了二阶稀疏性，从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
An efficient primal dual semismooth Newton method for semidefinite programming
提出SSNCP半光滑牛顿法求解半定规划，通过校正步保证光滑性，实现全局收敛和局部超线性收敛，复杂度为ε^-3/2，在Mittelmann基准上优于现有求解器。
2025-04-23 math.OC
Reformulation of the M-stationarity conditions as a system of discontinuous equations and its solution by a semismooth Newton method
我们表明，Mordukhovich平稳系统与互补约束的数学规划（MPCC）可以等价地写为一个系统的不连续方程，可以解决一个半光滑牛顿法。我们表明，由此产生的算法可以被解释为一个积极的集策略MPCC。在适当的二阶条件下，该方法的局部快速收敛性得到了保证。在线性二次MPCC的情况下，LICQ类型的约束规格可以由依赖于基础乘数的较弱条件代替。我们讨论了一个合适的全球化战略，我们的方法。一些数值结果，以说明我们的理论研究结果。
2020-11-02 math.OC
A dual based semismooth Newton method for a class of sparse Tikhonov regularization
众所周知，Tikhonov正则化是求解不适定问题最常用的方法之一。最广泛应用的方法之一是基于构建一个新的数据集，其样本量大于原始数据集。扩大的样本量可能会带来额外的计算困难。本文的目的是充分利用Tikhonov正则化，在不破坏数据集结构的情况下，发展一种基于对偶的半光滑牛顿（DSSN）方法。从理论的角度，我们将表明，\blue{the DSSN method is a globally convergent method with at least R-superlinear rate of convergence.}在数值计算方面，我们评估的DSSN方法的性能，通过解决一类稀疏Tikhonov正则化与高维数据集。
2020-12-10 math.OC
A Semismooth Newton Stochastic Proximal Point Algorithm with Variance Reduction
本文针对弱凸复合优化问题提出了一种结合方差缩减机制和不精确半光滑牛顿框架的可实现随机近端点算法，证明了其考虑步长不精确性的收敛性，并在数值实验中展现出优于其他方法的鲁棒性。
2024-03-26 math.OC stat.ML
LeAP-SSN: A Semismooth Newton Method with Global Convergence Rates
本文提出无参数全局化的半光滑牛顿法LeAP-SSN，结合自适应Levenberg–Marquardt正则化与回溯策略，在凸、非凸及Polyak–Łojasiewicz条件下分别获得O(1/k)、O(1/√k)和线性收敛速率，并兼具超线性局部收敛性。
2025-08-22 math.OC
Semismooth Newton Augmented Lagrangian Algorithm for Adaptive Lasso Penalized Least Squares in Semiparametric Regression
Henan University（河南大学）；Anhui University（安徽大学）
本文提出了一种半光滑牛顿增广拉格朗日算法用于半参数回归中的适应性Lasso惩罚最小二乘方法，以实现变量选择与估计的高效求解。
2026-01-04 math.OC stat.ME
A Globalized Semismooth Newton Method for Prox-regular Optimization Problems
针对非凸非光滑prox-正则复合优化问题，提出全局化半光滑牛顿法，证明其收敛性与超线性收敛速率，数值实验显示其在两类正则化问题上性能与现有二阶方法相当。
2025-09-06 math.OC
A Semismooth-Newton's-Method-Based Linearization and Approximation Approach for Kernel Support Vector Machines
Beijing Institute of Technology（北京理工大学）
支持向量机（SVM）是最流行和性能最好的分类算法之一。已经提出了各种方法来减少在使用核支持向量机基于大规模数据集进行训练和预测时的高计算和存储成本。线性化框架是一种流行的框架，它成功地在$L_1$ -损失核支持向量机和$L_1$ -损失线性支持向量机之间架起了一座桥梁。对于线性支持向量机，最近提出了一种半光滑牛顿法。它被证明是非常有竞争力的，并具有较低的计算成本。因此，一个自然的问题是，是否有可能开发一个快速的半光滑牛顿算法的核支持向量机。基于这一问题和线性化框架的思想，本文以$L_2$ -损失核SVM为研究对象，提出了一种基于半光滑牛顿法的线性化和逼近方法，其主要思想是首先建立一个等价的线性SVM，然后利用Nyström方法对核矩阵进行逼近，得到一个约简的线性SVM。最后，采用快速半光滑牛顿法求解约简线性支持向量机。对核矩阵的逼近问题进行了理论分析。所提出的方法的优点是，它保持了较低的计算成本，并保持了快速的收敛速度。大量的数值实验结果验证了所提出的方法在预测精度和速度方面的有效性。
2020-07-21 cs.LG math.OC
An Efficient Semismooth Newton Method for Adaptive Sparse Signal Recovery Problems
我们知道，压缩感知可以建立稳定的稀疏恢复结果，从高度欠采样的数据下，一个有限的等距属性条件。然而，在现实中，许多问题是相互关联的，绝大多数传统方法可能效果不佳。最近，研究表明，使用$\ell_1$ -和$\ell_2$ -范数之间的差异作为正则化总是具有优越的性能。在本文中，我们提出了一个自适应的$\ell_p$ - $\ell_{1-2}$模型，其中$\ell_p$ -范数与$p\geq 1$测量数据的保真度和$\ell_{1-2}$ -长期措施的稀疏性。该模型具有处理不同类型噪声的能力，即使在高相干条件下也能提取稀疏特性。我们使用一个近似的优化最小化技术来处理非凸正则项，然后采用半光滑牛顿方法来解决相应的凸松弛子问题。证明了在一定的技术假设下，半光滑牛顿法产生的子问题序列具有快速的局部收敛速度。最后通过数值实验验证了模型的优越性和算法的先进性。
2021-11-24 math.OC
Finding global solutions of some inverse optimal control problems using penalization and semismooth Newton methods
针对一类特殊的椭圆型最优控制问题，提出了一种求解其参数辨识问题的方法。通过下层问题的最优值函数将双层问题重新表述。重新表述的问题是非凸的，违反了标准的正则性条件，如罗宾逊的CQ。通过放松约束，问题可以分解成一个家庭的凸问题，这是一个解决算法的基础。分析了算法的收敛性。结果表明，惩罚方法可以用来解决这个家庭的问题，同时保持收敛速度。对于一个例子的问题，使用的身份作为罚函数允许通过半光滑牛顿法的解决方案。数值结果。我们的方法来解决一个非凸问题的全局最优性的困难和局限性进行了讨论。
2022-03-01 math.OC
A proximal dual semismooth Newton method for computing zero-norm penalized QR estimator
本文研究了高维零范数惩罚分位数回归估计的计算问题，定义为零范数惩罚校验损失函数的全局极小值。为了寻求一个理想的近似估计，我们重新制定这个NP难的问题作为一个等价的增广Lipschitz最优化问题，并利用其耦合结构，提出了一个多阶段的凸松弛方法（MSCRA\_PPA），其中每一步解决不精确的加权$\ell_1$ -正则化检查损失最小化问题的近似对偶半光滑牛顿方法。在强凸性约束条件下，通过建立各参数估计的误差界和统计意义下的线性收敛速度，为MSCRA PPA提供了理论保证.对模拟数据和实际数据的数值比较表明，MSCRA PPA不仅具有相当甚至更好的估计性能，而且所需的CPU时间要少得多。
2020-11-22 math.OC
Solving the OSCAR and SLOPE Models Using a Semismooth Newton-Based Augmented Lagrangian Method
八边形收缩和聚类回归算法（OSCAR），配备了$\ell_1$ -范数和成对$\ell_{\infty}$ -范数正则化器，是高维数据分析中特征选择和分组的有用工具。由于所涉及的正则化子的非光滑性和不可分离性，OSCAR对高维和/或大样本量数据提出的计算挑战尚未得到很好的解决。在本文中，我们成功地解决了这个数值挑战，提出了一个稀疏的半光滑牛顿为基础的增广拉格朗日方法来解决更一般的SLOPE（排序L-one惩罚估计）模型。通过适当利用增广拉格朗日子问题中半光滑牛顿系统的广义雅可比矩阵的稀疏性和低秩性，我们证明了如何大大降低计算复杂性.我们的算法在高维统计回归环境中具有显著的优势。在真实数据集上进行的数值实验表明，该算法在速度和鲁棒性方面都远远优于现有的基于一阶迭代格式的最新算法，包括广泛使用的加速邻近梯度法（APG）和乘子的交替方向法（ADMM）.
2018-03-28 math.OC
On the local convergence of the semismooth Newton method for composite optimization
本文研究复合优化中半光滑牛顿法的局部收敛性，通过等价刻画非奇异性条件并证明残差映射的光滑性，提出了一种利用活动流形结构的概念算法，实现了超线性收敛。
2023-07-28 math.OC
An Augmented Lagrangian Primal-Dual Semismooth Newton Method for Multi-Block Composite Optimization
本文针对带线性约束的多块凸复合优化问题，提出基于可微增广拉格朗日函数的ALPDSN半光滑牛顿法，证明其全局收敛与超线性收敛速率，数值实验验证了方法的高效性与鲁棒性。
2024-05-16 math.OC
A Semismooth Newton-Based Proximal Augmented Lagrangian Method for Joint Estimation of Multiple Gaussian Graphical Models with Clustered Structure
School of Mathematics and Statistics, Fuzhou University（福州大学数学与统计学院）；Center for Applied Mathematics of Fujian Province, School of Mathematics and Statistics, Fuzhou University（福建省应用数学中心，福州大学数学与统计学院）
针对多个聚类高斯图模型的联合估计问题，提出一种近端增广拉格朗日方法，利用半光滑牛顿法求解子问题，实现超线性收敛并降低计算复杂度。
2026-06-15 math.OC
A quadratically convergent semismooth Newton method for nonlinear semidefinite programming without generalized Jacobian regularity
Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院应用数学研究所）；School of Mathematical Sciences, University of Chinese Academy of Science（中国科学院大学数学科学学院）；School of Data Science, Fudan University（复旦大学数据科学系）
本文提出一种无需广义雅可比正则性条件的非线性半正定规划二次收敛半光滑牛顿方法，通过引入弱二阶条件和弱严格罗宾逊约束资格，解决了退化问题并实现了超线性收敛。
2024-11-25 math.OC
Skip the Hessian, Keep the Rates: Globalized Semismooth Newton with Lazy Hessian Updates
Weierstrass Institute（韦伊尔斯特拉斯研究所）
本文提出了一种无需每次迭代计算Hessian的半光滑牛顿方法，通过惰性更新策略实现高效的全局和超线性收敛，适用于具有非光滑导数的优化问题。
2026-11-10 math.OC
A linesearch-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
School of Data Science (SDS), The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳数据科学学院）；IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系）
本文提出了一种基于线搜索的光滑牛顿方法，用于解决非光滑非凸复合优化问题，通过自适应参数估计技术提高效率并简化收敛分析。
2026-02-13 math.OC
Adaptive sieving with semismooth Newton proximal augmented Lagrangian algorithm for multi-task Lasso problems
本文提出自适应筛选结合半光滑牛顿近端增广拉格朗日算法，高效求解多任务Lasso问题，利用稀疏性缩减子问题维度，在合成与真实数据上优于现有求解器。
2025-04-21 math.OC
A highly efficient semismooth Newton augmented Lagrangian method for solving Lasso problems
我们开发了一个快速和强大的算法来解决大规模的凸复合最优化模型，重点是$\ell_1$ -正则化最小二乘回归（Lasso）问题。尽管事实上，存在大量的求解器在文献中的Lasso问题，我们发现，没有求解器可以有效地处理困难的大规模回归问题的真实数据。利用已有的误差界结果实现了增广拉格朗日算法的渐近超线性收敛性质，并通过半光滑牛顿法利用问题的二阶稀疏性，提出了一种称为{ \sc Ssnal}的算法，有效地解决了上述困难问题.在Lasso问题自动成立的非常温和的条件下，由{ \sc Ssnal}生成的原始和对偶迭代序列都具有快速的线性收敛速率，甚至可以是超线性的渐近收敛.我们的方法和一些国家的最先进的求解器，在真实的数据集之间的数值比较，展示了我们提出的算法在解决困难的大规模Lasso问题的高效率和鲁棒性。
2017-05-03 math.OC
A Semismooth Newton Augmented Lagrangian Method for Sparse Spectral Risk Optimization
School of Data Science, Fudan University（复旦大学数据学院）；Department of Applied Mathematics, The Hong Kong Polytechnic University（香港理工大学应用数学系）
针对谱风险度量优化问题的挑战，提出用半光滑牛顿子问题求解器的相对不精确近端增广拉格朗日方法，利用对偶和莫罗包络性质简化计算，数值结果显示该方法运行时间低，能产生可比平稳性残差和稀疏解。
2026-07-08 math.OC
SDPNAL$+$: A Majorized Semismooth Newton-CG Augmented Lagrangian Method for Semidefinite Programming with Nonnegative Constraints
在本文中，我们提出了一个优化的半光滑Newton-CG增广拉格朗日方法，称为SDPNAL $+$，半定规划（SDP）的部分或全部非负约束的矩阵变量。SDPNAL $+$是由Zhao、Sun和Toh [SIAM Journal on Optimization，20（2010），pp.~ 1737--1765]来求解一般的SDP。SDPNAL工程非常有效的非退化的SDPs，但可能会遇到数值困难退化的。在这里，我们通过采用优化的半光滑牛顿-CG增广拉格朗日方法结合Sun，Toh和Yang最近引入的收敛的3块交替方向乘数方法来解决这个数值困难[arXiv预印本arXiv：1404.5378，（2014）]。对各种有无非负约束的大规模SDP的数值结果表明，所提出的方法不仅速度快，而且在获得精确解方面具有鲁棒性。它的性能明显优于其他两种基于竞争性公开可用的一阶方法的代码：（1）基于乘数的交替方向方法求解器，由Wen，Goldfarb和Yin [Mathematical Programming Computation，2（2010），pp.~ 203 - 230]和（2）Monteiro，Ortiz和Svaiter的称为2 EBD-HPE的两个简单块分解混合近端外梯度方法[数学编程计算，（2013），pp. 1 - 48]。与这两个代码相比，我们能够有效地解决SDPNAL中测试的二次分配问题的松…
2014-06-04 math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题，提出一种嵌入半光滑牛顿步的信赖域型法映射方法，证明其全局与局部超线性收敛性，拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
Sparse Quadratically Constrained Quadratic Programming via Semismooth Newton Method
本文提出一种基于P-稳定性和半光滑牛顿法的直接求解稀疏二次约束二次规划问题的高效算法，具有低计算复杂度和局部二次收敛性，数值实验验证了其准确性与效率。
2025-10-08 math.OC
Nonlinear optimized Schwarz preconditioner for elliptic optimal control problems
本文提出了一种基于区域分解的非线性预处理迭代法，用于求解非线性、非光滑椭圆最优控制问题，该问题具有非线性反应项、$L^1$正则化和控制函数的盒约束。该方法通过将半光滑牛顿法应用于并行优化Schwarz迭代的不动点方程而得到。作为概念的证明，数值实验上进行两个子域，以及一个多子域测试用例。结果表明，只要选择合适的Robin参数和良好的连续化策略，相对于直接将半光滑牛顿法应用于全最优化问题，新方法在鲁棒性和效率上都有很大的提高.
2021-04-01 cs.NA math.NA math.OC
Semismooth Newton methods for degenerate polyhedral projection
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院应用数学研究所）；Fudan University（复旦大学）
研究退化多面体投影问题的对偶半光滑牛顿法，利用对偶表示非唯一性，引入原对偶提升投影等价集，建立位移界，开发不精确对偶SSN方法及全局化版本，具全局收敛和局部超线性收敛性，数值实验证其在高度退化设置下的鲁棒性。
2026-07-15 math.OC
Composite Optimization with Indicator Functions: Stationary Duality and a Semismooth Newton Method
针对含正区间指示函数的强凸复合优化，本文构造等价 ℓ0 稀疏对偶问题，并提出兼具全局与局部超线性收敛的低复杂度对偶半光滑 Newton 方法。
2025-06-10 math.OC
An asymptotically superlinearly convergent semismooth Newton augmented Lagrangian method for Linear Programming
基于强大的邻接点方法（IPM）的商业求解器，如Gueldman和Mosek，在解决大规模线性规划（LP）问题方面取得了巨大的成功。这些求解器的高效率关键取决于问题数据的稀疏性和先进的矩阵分解技术。对于具有密集（可能结构化）的数据矩阵$A$或其对应的正规矩阵$AA^T$具有密集的乔莱斯基因子（即使具有重新排序）的大规模LP问题，这些求解器可能需要在每个邻近点迭代中的过度计算成本和/或极其繁重的存储器使用。不幸的是，自然疗法，即，使用基于迭代法的IPM解算器虽然可以避免系数矩阵及其因式分解的显式计算，但是由于在每个相邻点迭代中出现的大规模正规方程的固有极端病态，实际上是不可行的。为了给求解大规模线性规划问题提供一个更好的选择，我们提出了一种基于半光滑牛顿的非精确邻近增广拉格朗日（{ \sc Snipal}）方法.与经典的IPM不同，在{ \sc Snipal}的每次迭代中，迭代法可以有效地求解更简单但条件更好的半光滑牛顿线性系.此外，{ \sc Snipal}不仅具有快速的渐近超线性收敛，而且还被证明具有有限终止性质。与Guidelines的数值比较表明，{ \sc Snipal}在处理大规模LP问题时具有令人鼓舞的潜力，其中约束矩阵$A$具有密集表示或$AA^T$具有密集因式分解，即使具有适当的重新排序。
2020-03-19 math.OC
