A non-monotone smoothing Newton algorithm for solving the system of generalized absolute value equations
针对广义绝对值方程组（GAVE）求解问题，本文提出带非单调线搜索的光滑牛顿算法，在更弱假设下实现全局和局部二次收敛，数值实验验证了其可行性与高效性。
2021-11-27 cs.NA math.NA math.OC
A smoothing extended sequential quadratic method for difference-of-convex optimization over a convex composite inequality constraint
the Hong Kong Polytechnic University（香港理工大学）；Sichuan Normal University（四川师范大学）
提出一种平滑扩展序列二次方法求解差凸目标与凸复合不等式约束问题，通过平滑近似和参数更新实现O(ε^{-3})迭代复杂度，并证明凸情形下序列收敛及局部收敛率。
2026-06-12 math.OC
Solving Quadratic Multi-Leader-Follower Games by Smoothing the Follower's Best Response
利用非光滑最佳响应函数得到了一类二次多领导者-跟随者对策的纳什均衡。为了克服非平滑的挑战，我们追求一个平滑的方法，从而在一个光滑的纳什均衡问题的重新制定。对于所有的光滑参数，证明了解的存在唯一性。这些平滑参数的递减序列的纳什均衡存在的积累点，我们表明，这些候选人满足s-平稳性的条件，是纳什均衡的多领导者，追随者的游戏。最后，我们提出了一个更新的领导变量的有效计算和数值比较非光滑牛顿和次梯度方法。
2020-04-29 econ.TH math.OC
A Smoothing Newton Method for Rank-one Matrix Recovery
Department of Mathematics at Brandeis University（布兰迪大学数学系）
针对相位恢复中现有BWGD算法不稳定、理论收敛性证明有局限的问题，研究者揭示其非光滑非凸目标下的牛顿法本质，提出光滑化正则框架，得到兼具稳定与严格超线性收敛保证的方法，合成数据实验验证了其优势。
2025-07-30 cs.LG math.OC stat.ML
A global linear and local superlinear/quadratic inexact non-interior continuation method for variational inequalities
我们使用的概念，障碍为基础的平滑近似介绍[ C。B. Chua和Z. Li，A barrier-based smoothing邻近点法for NCP over closed凸锥，SIOPT 23（2），2010]，以扩展[B. Chen和N. Xiu，A global linear and local quadratic non-interior continuation method for nonlinear互补性问题based on Chen-Mangasarian smoothing functions，SIOPT 9（3），1999]到一般闭凸集上变分不等式的不精确非内部连续方法.为了处理高维问题，该方法中涉及的牛顿方程是不精确求解的。在适当的假设下，证明了该方法具有全局线性收敛性和局部超线性/平方收敛性.我们将此方法应用于非负正交图、半正定锥、多面体集、矩阵算子范数锥的上图和矩阵核范数锥的上图。
2020-03-05 math.OC
Adaptive Multilevel Newton: A Quadratically Convergent Optimization Method
UniDistance Suisse（瑞士远程大学）；Oxford University（牛津大学）；Imperial College London（伦敦帝国学院）
本文提出了一种自适应多级牛顿法，通过自动切换至全牛顿法实现二次收敛，实验证实其在强凸问题中优于传统牛顿法和梯度下降法。
2026-03-04 math.OC
Multigrid preconditioning of linear systems for semismooth Newton methods applied to optimization problems constrained by smoothing operators
Department of Mathematics and Statistics, University of Maryland, Baltimore County（马里兰大学巴尔的摩分校数学与统计系）
针对控制变量带盒约束的平滑算子约束线性二次优化问题，提出一种多重网格预处理器，使得半光滑牛顿法迭代次数随网格细化而减少。
2013-11-07 cs.NA math.NA math.OC
Self-concordant smoothing in proximal quasi-Newton algorithms for large-scale convex composite optimization
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
本文提出了一种自相容平滑方法，用于大规模凸复合优化问题，通过变量度量选择和步长规则提升 proximal 反向牛顿算法的效率，并在过参数化模型中有效应用。
2025-11-27 cs.LG math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对大型语言模型预训练优化器Muon，证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性，其样本复杂度达最优，且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Inexact Newton method for minimization of convex piecewise quadratic functions
研究了凸分段二次函数数值极小化问题的一种不精确牛顿型方法，并分析了其收敛性。早些时候，一个类似的方法被成功地应用于优化问题中出现的数值网格生成。该方法可用于计算线性方程的欠定组的最小范数非负解，也可用于求凸多面体间的距离。该方法的性能进行了测试，使用的样本数据从NETLIB家庭的佛罗里达大学的稀疏矩阵收集以及准随机数据。
2019-01-10 math.OC
Newton-PIPG: A Fast Hybrid Algorithm for Quadratic Programs in Optimal Control
Newton-PIPG结合PIPG与牛顿法求解最优控制中的二次规划，兼具全局收敛与局部二次收敛，利用稀疏性加速，实验显示高精度与低耗时。
2025-03-28 math.OC
A Parallelizable Dual Smoothing Method for Large Scale Convex Regression Problems
凸回归（CR）是一种将凸函数拟合到有限个观测值的方法。它出现在不同领域的各种应用中，如统计学，运筹学，经济学和电气工程。最小二乘（LS）估计量可以通过求解二次规划（QP）来计算，是一种直观的凸回归方法，具有已经建立的强有力的理论保证。另一方面，由于QP公式中的约束的数量在观察到的数据点的数量上二次地增加，所以使用传统的内点方法求解QP很快变得不切实际。为了解决这个问题，我们提出了一种基于双重平滑的一阶方法，该方法通过并行化仔细管理内存使用，以便在实践中有效地计算大规模CR实例的LS估计量。
2016-08-07 math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）
本文提出了一种统一框架，用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长，分析了其全局收敛性及收敛速率，并通过数值结果验证了其有效性。
2026-04-22 math.OC
A Damped Newton Method Achieves Global $O\left(\frac{1}{k^2}\right)$ and Local Quadratic Convergence Rate
在本文中，我们提出了第一步的牛顿法的快速全局收敛和局部收敛的保证。特别地，a）我们证明了$O\left( \frac 1 {k^2} \right)$全局速率，其匹配Polyak和Nesterov（2006）的三次正则化牛顿方法以及Mishchenko（2021）和Doikov和Nesterov（2021）的正则化牛顿方法的最新全局速率，b）我们证明了局部二次速率，其匹配二阶方法的最知名局部速率，我们的步长公式简单、明确，不需要求解任何子问题。我们的收敛性证明下的仿射不变性假设密切相关的自我和谐的概念。最后，我们的方法具有竞争力的性能相比，现有的基线，共享相同的快速整体收敛保证。
2022-10-31 math.OC
A globally convergent and locally quadratically convergent modified B-semismooth Newton method for $\ell_1$-penalized minimization
本文研究了一类带$\ell_1$ -罚项的非线性严格凸泛函的有效极小化问题。这样的最小化问题出现在广泛的应用，如吉洪诺夫正则化的（非）线性反问题的稀疏约束。在（2015 Inverse Problems（31）025005）中，针对线性反问题的$\ell_1$ -Tikhonov正则化，提出了一种全局化的Bouligand-semismooth Newton方法。然而，为了证明整体收敛，必须对迭代序列的聚点进行技术假设。在这里，我们将这种方法推广到一般的非线性问题，并提出了一个修改的半光滑牛顿法的整体收敛证明，没有任何额外的要求。此外，在一个技术假设下，完整的牛顿步骤最终被接受，并实现局部平方收敛。图像去模糊和鲁棒回归的数值算例验证了该方法的有效性。
2016-04-11 math.OC
Newton Method for Soft Quadratic Surface Support Vector Machine with 0-1 Loss Function
School of Mathematical Sciences, Harbin Normal University（哈尔滨师范大学数学科学学院）
本文提出一种非凸不连续的核函数-free软二次曲面支持向量机模型，基于该模型建立了一阶和二阶最优性条件，并设计了基于 stationary 方程的牛顿法，证明其在二阶充分条件下的局部二次收敛性，实验表明其在分类准确性和计算效率上优于其他方法。
2026-05-10 math.OC
Finite Newton-Step Generation via Subspace Quasi-Newton Methods for Quadratic Problems
Linköping University（林雪平大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究针对严格凸二次问题，提出利用子空间拟牛顿法，通过至多两个方向的曲率信息（或梯度差恢复的Hessian作用）有限生成牛顿步的构造性方法，用于识别充分曲率信息。
2026-09-03 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化，而最近的随机凸优化主要居住在光滑，无约束，强凸制度。自然，有一个迫切需要解决的非光滑性，缺乏强凸性，并存在约束。因此，本文提出了一个拟牛顿框架，可以处理仅仅是凸和可能的非光滑（但光滑）的随机凸问题。我们提出了一个框架，结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新（rsL-BFGS），生成一个序列的海森近似，可以容纳非光滑凸目标，利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下，所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度，而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$，其中$κ$是条件数，$m\geq 1$。在非平滑（但可平滑）区域，使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数，我们还提供了次线性率;（iii）在仅仅凸，但光滑的设置，正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时，正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Quasi-Newton methods for minimizing a quadratic function subject to uncertainty
研究在梯度误差下最小化二次函数的拟牛顿方法，发现大误差时无记忆方法优于BFGS，基于机会约束的模型精度略高但成本更高。
2025-02-25 math.OC
Parallel Newton methods for the continuous quadratic knapsack problem: A Jacobi and Gauss-Seidel tale
Federal University of Espírito Santo（圣埃斯皮里图联邦大学）；Universidade Estadual de Campinas（坎皮纳斯州立大学）
本文提出了一种改进的半光滑牛顿方法用于连续二次背包问题，通过引入Condat的初始乘数猜测和灵活的并行变体，提高了算法效率和可扩展性。
2026-11-10 math.OC
Exact linesearch limited-memory quasi-Newton methods for minimizing a quadratic function
本文针对海森矩阵正定的二次函数最小化问题，提出一类有限内存拟牛顿近似方法，结合约化海森框架实现精确运算下有限步终止，通过CUTEst测试集验证性能，并给出一般无约束优化下Broyden类海森近似的紧凑表示。
2020-11-15 math.OC
On exact linesearch quasi-Newton methods for minimizing a quadratic function
本文研究求解Hessian正定的二次函数极小值问题的精确线性搜索拟牛顿法。通过将共轭梯度法解释为一种特殊的精确线性搜索拟牛顿法，给出了精确线性搜索拟牛顿法产生与共轭梯度法平行的搜索方向的充要条件.我们还分析了更新矩阵，并给出了一个完整的描述秩一更新矩阵，使搜索方向平行的共轭梯度法。特别地，我们刻画了保持拟牛顿矩阵正定性的一类对称秩一更新矩阵。这与经典的秩一更新相反，在经典的秩一更新中，在选择矩阵时没有自由，并且不能保持正定性。分析扩展到搜索方向是平行的预处理共轭梯度法在一个简单的方式。
2017-08-22 math.OC
Global and Quadratic Convergence of Newton Hard-Thresholding Pursuit
基于硬阈值原理的算法已经得到了很好的研究，在压缩感知和更一般的稀疏约束优化中具有合理的理论保证。在现有的经验研究中广泛观察到，当使用限制性牛顿步骤（作为去偏步骤）时，硬阈值算法倾向于在显著低的迭代次数中满足停止条件，并且非常有效。因此，由此获得的牛顿硬阈值算法要求更强的理论保证比他们简单的硬阈值对应。本文提供了一个理论上的理由，使用限制牛顿步骤。我们建立了稀疏约束优化的理论和算法-牛顿硬约束追踪算法（NHTP）。我们的主要结果表明，NHTP是二次收敛的限制强凸性和光滑的标准假设下。在一个较弱的假设条件下，我们证明了算法的整体收敛到一个稳定点.在压缩感知的特殊情况下，NHTP有效地减少了一些现有的硬阈值算法与牛顿步骤。因此，我们的快速收敛结果证明了为什么这些算法比没有牛顿步骤的性能更好。在压缩感知和稀疏逻辑斯谛回归中，NHTP在合成数据和真实数据上的有效性得到了证明。
2020-04-05 math.OC
A semi-smooth Newton method for solving convex quadratic programming problem under simplicial cone constraint
研究了单纯锥约束凸二次规划问题。该问题的最优性条件是一个线性互补性问题。在适当的条件下，这一事实导致了单纯锥约束凸二次规划问题与非光滑方程组的唯一解问题的等价性.它表明，半光滑牛顿法适用于这个非光滑的方程组总是定义良好，并在一个温和的假设下，单纯锥的方法产生一个序列，线性收敛到它的解决方案。此外，我们还证明了生成序列对任意起点是有界的，并给出了该序列的任意聚点的计算公式。数值结果表明，这种方法实现了精确的解决方案，在几个迭代大的问题。
2015-03-10 math.OC
A Newton-Fixed Point Homotopy Algorithm For Nonlinear Complementarity Problems With Generalized Monotonicity
本文研究了非线性方程组Newton-不动点同伦算法的概率一整体收敛，提出了求解具有广义单调性的NCP正则光滑方程的概率一同伦算法。我们的结果为发展求解非线性方程组和互补性问题的新的计算方法提供了理论基础。一些初步的数值实验表明，我们的NFPH方法是有用的和有前途的困难的非线性问题。
2012-07-05 math.OC
Sparse Quadratically Constrained Quadratic Programming via Semismooth Newton Method
本文提出一种基于P-稳定性和半光滑牛顿法的直接求解稀疏二次约束二次规划问题的高效算法，具有低计算复杂度和局部二次收敛性，数值实验验证了其准确性与效率。
2025-10-08 math.OC
Strong Metric (Sub)regularity of KKT Mappings for Piecewise Linear-Quadratic Convex-Composite Optimization
本文研究了凸复合优化问题的牛顿法和拟牛顿法的局部收敛理论：极小化f（x）：=h（c（x）），其中h是无穷值正常凸函数，c是C^2光滑的.我们专注于的情况下，h是无限值分段线性二次和凸。这些问题包括非线性规划、极小极大优化、非高斯噪声下的非线性动力学估计以及许多现代大规模数据分析和机器学习方法。我们的方法嵌入到一个广义方程的凸复合最优化问题的最优性条件。建立了相应的集值映射的强度量次正则性和强度量正则性的条件。这使我们能够扩展牛顿和拟牛顿法的经典收敛到更广泛的一类非有限值分段线性二次凸复合最优化问题。特别是，我们建立了局部平方收敛的牛顿法的条件下，平行于那些在非线性规划时，h是非有限值分段线性。
2018-06-17 math.OC
On the connection between the conjugate gradient method and quasi-Newton methods on quadratic problems
众所周知，共轭梯度法和拟牛顿法使用来自单参数Broyden更新族的任何定义良好的更新矩阵，产生具有正定Hessian的二次问题的相同迭代。这种等价性对任何拟牛顿法都不成立。我们精确地定义了拟牛顿法中的更新矩阵的条件。我们证明了关键的事实是，每个更新矩阵的范围在于由共轭梯度法定义的Krylov子空间的最后两个维度，并满足拟牛顿条件。在基于一个获得相互共轭搜索方向的充分条件的框架下，我们证明了单参数Broyden族是完备的.与共轭梯度法相比，拟牛顿法得到的Broyden参数和搜索方向的非零尺度之间存在一一对应关系.此外，我们还证明了在具有正定Hessian的二次问题上，单参数Broyden族的更新矩阵几乎总是定义良好的。唯一的例外是当使用对称秩一更新并且在同一迭代中采用单位步长时。在这种情况下，Broyden参数变为undefined。
2014-07-04 math.OC
Optimization Outperforms Unscented Techniques for Nonlinear Smoothing
本文将优化型卡尔曼平滑器 OKS 与无迹卡尔曼平滑技术比较，证明在高度非线性及含噪场景下优化方法性能更优。
2025-10-04 math.OC
QPALM: A Newton-type Proximal Augmented Lagrangian Method for Quadratic Programs
提出了一种基于增广拉格朗日算子的一般凸二次规划的近似求解方法，该方法采用半光滑牛顿迭代和精确线搜索求解内部子问题。在这种情况下，精确的线搜索减少到寻找一个一维单调，分段仿射函数的零，可以非常有效地进行。我们的算法需要在每次迭代中求解线性系，但由于要分解的矩阵取决于积极约束，因此可以像积极集方法一样采用有效的稀疏分解更新。原始残差和对偶残差都可以被强制降低到严格的公差，否则可以从中间迭代中检测到不可行性。一个C实现所提出的算法进行测试和基准对其他国家的最先进的QP求解器的各种各样的问题数据，并显示对这些求解器比较有利。
2019-11-07 math.OC
Complexity of the Regularized Newton Method
一般来说，牛顿法寻找一个无约束极小的严格凸函数，不收敛于任何起点。介绍并研究了阻尼正则化牛顿法（DRNM）。它对任何严格凸函数全局收敛，其中在$R^n$中具有极小值。局部DRNM以二次速率收敛。我们的特点的最小化，二次率发生的邻域。在此基础上，我们估计的DRNM的步骤数需要找到一个$\varepsilon$ -近似的极小。
2017-06-26 math.OC
A Newton--Kleinman Iteration for Infinite-Dimensional Linear-Quadratic Optimal Control
Institute of Mathematics, Technische Universität Ilmenau（尹尔瑙工业大学数学研究所）
本文提出一种针对无限维线性二次最优控制的Newton--Kleinman迭代，通过线性化Lur'e恒等式并采用预解式归一化处理无界控制，保证稳定性和单调收敛，并在有限维情形恢复经典迭代，适用于圆柱尾流和弹性问题。
2026-10-05 math.OC
On the Convergence of Newton-type Proximal Gradient Method for Multiobjective Optimization Problems
针对Ansary提出的NPGMO缺乏收敛性证明的问题，本文构建分析框架，在强凸性假设下证明其二次终止、超线性收敛与二次收敛性质。
2023-08-20 math.OC
A structured modified Newton approach for solving systems of nonlinear equations arising in interior-point methods for quadratic programming
针对二次规划内点法中障碍子问题的非线性方程组，提出保留 Jacobian 非零结构的低秩修正牛顿法，并通过理论结果、数值实验及两种启发式策略验证其性能。
2023-05-03 math.OC
Convergence Analysis of Newton Methods for Nonlinear Optimal Control Problems
School of Mathematics, Sichuan University（四川大学数学学院）；School of Mathematical Sciences, Sichuan Normal University（四川师范大学数学科学学院）
本文针对非线性最优控制问题，通过将二阶强制性与矩阵Riccati方程可解性等价，建立了牛顿法在L∞和L2空间中的局部二次收敛性，并给出收敛邻域估计和数值验证。
2026-09-25 math.OC
Quasi-Quadratic Gradient: A New Direction for Accelerating the BFGS Method in Quasi-Newton Optimization
本文提出准二次梯度，通过利用局部二次曲率改进搜索路径，使BFGS方法收敛速度显著提升且保持计算效率。
2026-04-27 cs.AI math.OC
A Semismooth Newton-Type Method for the Nearest Doubly Stochastic Matrix Problem
研究了Jacobi矩阵的可微性和非奇异性均失效的最近邻双随机阵问题的半光滑Newton型方法。该问题的最优性条件被表示为一个强半光滑函数组。我们表明，所谓的局部误差界条件不适用于这个系统。因此，牛顿型方法的保证收敛速度至多是超线性的。通过利用问题的结构，我们构造了一个修改的两步半光滑牛顿法，保证在每次迭代的非奇异雅可比矩阵，并收敛到最近的双随机阵二次。据我们所知，这是第一个牛顿型的方法，收敛$Q$ -二次在没有局部误差的限制条件。
2021-07-20 math.OC
On the quadratic convergence of Newton's method for Mean Field Games with non-separable Hamiltonian
本文证明牛顿法在具有不可分离哈密顿量的演化平均场博弈系统中具有二次收敛性，并推广至可分离哈密顿量的非局部耦合情形。
2024-03-18 math.AP math.OC
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行，我们使用较低级别的价值函数重新制定的双层计划，并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下，我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法，以解决该方法的缺点，然后提出，导致替代品，如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子，从最近发布的双层优化库（BOLIB）比较我们的方法在不同的情况下的性能，并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
Flexible Modification of Gauss-Newton Method and Its Stochastic Extension
基于解的残差上界和二次正则化思想，提出了一种新的求解非线性方程组的Gauss-Newton方法。我们得到了这种方法的整体收敛界，并在自然非退化的假设下，我们提出了局部平方收敛的结果。我们发展了Gauss-Newton方法的随机最优化算法，并利用弱增长条件（WGC）和Polyak-Lojasiewicz（PL）不等式证明了这些算法的次线性和线性收敛速率。我们证明了在WGC和PL条件下，随机环境下的高斯-牛顿法可以有效地找到与确定性最优化方法的收敛速度相当的解。所提出的方法统一了大多数实际使用的高斯-牛顿法修正，并可以很容易地在它们之间插值，提供了灵活方便的方法，易于使用标准的凸优化技术来实现。
2021-05-03 math.OC
Convergence Analysis of an Inexact Feasible Interior Point Method for Convex Quadratic Programming
本文讨论凸二次规划的不精确可行内点算法的两种变型。我们将考虑两个不同的邻域：一个（小）诱导使用欧几里德范数产生一个短的步骤算法和一个对称的诱导使用无穷范数产生一个（实用）长的步骤算法。这两种算法都允许不精确地求解牛顿方程组。对于这两种算法，我们将提供牛顿方程中可接受的误差水平的条件，并建立最坏情况下的复杂性结果。
2012-08-29 math.OC
A Semismooth Newton Method for Tensor Eigenvalue Complementarity Problem
本文研究了与多项式最优化最优性条件密切相关的张量特征值互补性问题，以及一类具有非凸过程的微分包含.通过引入一个NCP函数，我们将张量特征值互补性问题转化为一个非线性方程组。我们证明了该函数是强半光滑的，但不可微，在这种情况下经典的平滑方法无法适用。进一步，我们提出了求解张量特征值互补性问题的阻尼半光滑牛顿法。给出了一种新的求广义Jocobian中一个元的方法，在较弱的假设下，它是B-次微分的一个元。结果表明，阻尼半光滑牛顿法的收敛性得到了现有结果的保证。数值实验也表明我们的方法是有效的和有前途的。
2015-10-29 math.OC
A Unified Zeroth-Order Proximal Newton-Type Framework for Composite Optimization
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种无导数的近似牛顿型算法框架，用于解决复合优化问题，该问题可表示为黑盒函数与已知正则化项之和。研究建立了在非凸和强凸情况下，算法达到ε-最优解的迭代和oracle复杂度界，并基于Dennis--Moré条件证明了局部R超线性收敛性。
2026-05-07 math.OC
Sharpened Quasi-Newton Methods: Faster Superlinear Rate and Larger Local Convergence Neighborhood
非渐近分析的拟牛顿法获得牵引最近。特别是，一些工作已经建立了一个非渐近超线性率$\mathcal{O}((1/\sqrt{t})^t)$的（经典）BFGS方法，利用这一事实，其牛顿方向近似的误差接近零。此外，最近提出了BFGS的贪婪变体，其通过直接逼近Hessian而不是Newton方向来加速其收敛，并且实现了快速的局部平方收敛速率。唉，与BFGS为局部超线性速率所需的迭代次数相比，Greedy-BFGS的局部平方收敛需要更多的更新。这是由于在Greedy-BFGS中，Hessian被直接近似，并且牛顿方向近似可能不如BFGS的方向近似准确。在本文中，我们关闭这一差距，并提出了一种新的BFGS方法，具有两全其美，因为它利用了BFGS和贪婪BFGS的近似思想，以适当的近似牛顿方向和黑塞矩阵同时。我们的理论结果表明，我们的方法在收敛速度方面优于BFGS和Greedy-BFGS，而它达到了它的平方收敛速率与Greedy-BFGS相比，更少的步骤。各种数据集上的数值实验也证实了我们的理论发现。
2022-06-16 math.OC
Adaptive Multilevel Newton: A Quadratically Convergent Optimization Method
UniDistance Suisse（瑞士远程教育大学）；Imperial College（帝国理工学院）
自适应多级牛顿法通过自动切换到完全牛顿法，实现强凸函数的二次收敛，优于传统牛顿法和梯度下降法。
2026-02-24 cs.NA math.NA math.OC
Generalized Kalman Smoothing: Modeling and Algorithms
状态空间平滑在科学和工程中有许多应用。在线性和高斯假设下，平滑估计可以使用有效的递归来获得，例如Rauch-Tung-Striebel和Mayne-Fraser算法。这样的计划是等价的线性代数技术，最小化的凸二次目标函数的结构引起的动态模型。这些经典的公式在许多重要的情况下都有不足之处。例如，当数据中存在离群值时，使用二次惩罚获得的平滑器可能会失败，并且无法跟踪脉冲输入和突然的状态变化。受这些缺点的启发，在过去的几年中，已经提出了广义卡尔曼平滑公式，用更合适的，通常是非光滑的，凸函数代替二次模型。与经典模型相比，这些通用估计器需要使用迭代算法，并且这些算法已经受到控制，信号处理，机器学习和优化社区的越来越多的关注。在这项调查中，我们表明，优化的观点提供了控制和信号处理社区的新的建模和推理框架的发展动力系统的巨大自由。我们讨论动态系统的一般统计模型，充分利用非光滑凸惩罚和约束，并提供信号处理和机器学习中的重要模型的链接。我们还调查这些配方的优化技术，密切关注动态问题结构。建模的概念和算法的数值例子说明。
2016-09-25 math.OC stat.ML
Smoothing SQP methods for solving degenerate nonsmooth constrained optimization problems with applications to bilevel programs
我们考虑退化的非光滑和非凸最优化问题的标准约束规格，如广义Mangasarian Fromovitz约束规格（GMFCQ）可能不成立。利用具有梯度一致性的光滑函数逼近非光滑函数，在精确罚框架下提出了一种光滑序列二次规划（SQP）算法.证明了在乘子序列和精确罚参数序列有界的条件下，由光滑SQP算法生成的迭代序列的一个选定子序列的任何聚点都是Clarke平稳点.此外，我们提出了一个新的条件称为弱广义Mangasarian Fromovitz约束规格（WGMFCQ），是弱于GMFCQ。我们证明了WGMFCQ的扩展版本保证了乘子序列和精确罚参数序列的有界性，从而保证了光滑SQP算法的整体收敛。我们证明了WGMFCQ可以满足GMFCQ从来没有举行的双层计划。初步的数值实验表明，该算法对求解退化非光滑最优化问题（如简单双层规划）是有效的。
2014-06-03 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题，提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN，分别建立了全局/局部线性收敛与局部超线性收敛性质，并通过数值实验验证了其有效性。
2025-02-10 math.OC
Proximal Quasi-Newton Methods for Multiobjective Optimization Problems
针对无约束多目标最优化问题（简称UMOP），提出了几种新的近似拟牛顿法，其中每个目标函数是一个二次连续可微强凸函数和一个适当的下连续凸但不一定是可微函数之和.我们提出了近似BFGS方法，近似自缩放BFGS方法，和近似黄BFGS方法（UMOP）与线搜索和没有线搜索的情况下。在温和的假设下，我们证明了由这些算法产生的序列的每个聚点，如果存在的话，是（UMOP）的Pareto平稳点。此外，我们还介绍了它们在约束多目标最优化问题和鲁棒多目标最优化问题中的应用。特别地，对于鲁棒多目标最优化问题，我们证明了近似拟牛顿算法的子问题可以看作是带二次不等式约束的二次极小化问题。数值实验也验证了所提出的近似拟牛顿法的有效性。
2022-04-07 math.OC
Adaptive Newton Sketch: Linear-time Optimization with Quadratic Convergence and Effective Hessian Dimensionality
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
对于具有自协调、复合、强凸目标函数的凸优化问题，提出了一个具有平方收敛速率的随机算法。我们的方法是基于执行一个近似的牛顿步骤，使用一个随机投影的Hessian。我们的第一个贡献是表明，在每次迭代中，嵌入维数（或草图大小）可以小到黑塞矩阵的有效维数。利用这一新的基本结果，我们设计了一个算法的草图大小成比例的有效尺寸，并表现出二次收敛速率。这一结果大大改善了经典的线性平方收敛速率的国家的最先进的子采样牛顿方法。然而，在大多数实际情况下，事先并不知道有效尺寸，这就产生了一个问题，即如何在保持平方收敛速率的同时选取与有效尺寸一样小的草图尺寸。因此，我们的第二个和主要的贡献是提出一个自适应草图尺寸算法与平方收敛速率，不需要先验知识或估计的有效尺寸：在每次迭代中，它开始与一个小的草图尺寸，并增加它，直到二次进度实现。重要的是，我们表明，嵌入维数保持成比例的有效尺寸在整个路径，我们的方法实现了最先进的计算复杂性解决凸优化方案的强凸组件。
2021-05-15 cs.LG math.OC
Convergence rates of Newton's method for strongly self-concordant minimization
本文针对强自协调函数这一自协调子类的牛顿法局部收敛性展开研究，证明其二次收敛速率优于一般自协调函数，收敛区域更大，填补了相关理论研究的空白。
2025-07-31 math.OC
Stochastic Newton and Cubic Newton Methods with Simple Local Linear-Quadratic Rates
KAUST（阿卜杜拉国王科技大学）
我们提出了两个新的非常简单的随机二阶方法，用于最小化非常大量的充分光滑和强凸函数的平均值。第一种是牛顿法（SN）的随机变体，第二种是三次正则化牛顿法（SCN）的随机变体。我们建立了局部线性二次收敛结果。与现有的二阶方法的随机变量不同，这些方法需要在每次迭代中评估大量的梯度和/或Hessian以保证收敛，我们的方法没有这个缺点。例如，我们的方法在每次迭代中的最简单的变体只需要计算{ \em single}随机选择的函数的梯度和Hessian。与大多数现有的随机牛顿和拟牛顿方法相比，我们的方法保证了局部收敛速度比一阶预言机，并适应问题的曲率。有趣的是，我们的方法不是无偏的，所以我们的理论为设计新的随机方法提供了新的直觉。
2019-12-03 cs.LG math.OC stat.ML
Theoretical smoothing frameworks for nonsmooth simple bilevel problems
针对简单双层规划中最优值函数非光滑导致算法受限的问题，本文提出二次正则化与熵正则化两种平滑框架，并证明其在相应条件下满足梯度一致性，从而保证全局子序列收敛至驻点。
2025-06-07 math.OC
Generalized Metric Subregularity with Applications to High-Order Regularized Newton Methods
该研究提出广义度量次正则性概念并构建扩展收敛框架，同时设计带动量步的高阶正则化牛顿法，证明其收敛性并在非凸过参数化压缩感知中实现全局二次局部收敛。
2024-06-19 math.OC
