Dictionary Learning Based Regularization in Quantitative MRI: A Nested Alternating Optimization Framework
针对定量磁共振成像中的非线性逆问题，提出基于字典学习的嵌套交替优化正则化方法，分析其收敛性并通过实验验证了应用潜力与现存挑战。
2025-06-13 math.OC
Accelerating Adaptive Cubic Regularization of Newton's Method via Random Sampling
在本文中，我们考虑一个无约束的最优化模型的目标是一个可能的非凸函数的大量的总和，虽然总体上的目标被假定为光滑和凸的。我们尝试使用牛顿法的立方正则化框架来求解这种模型。众所周知，三次正则化的关键是它对Hessian信息的利用，这对于大规模问题来说可能是计算昂贵的。为了解决这个问题，我们通过子采样来近似Hessian矩阵。特别是，我们建议通过\textit{uniformly} \/或\textit{non-uniformly} \/对目标的分量进行子采样来计算近似的Hessian矩阵。基于这种采样策略，我们提出了加速自适应三次正则化方法，并给出了$O(ε^{-1/3})$算法的全局迭代复杂度的理论保证，该算法的全局迭代复杂度与基于\textit{full} \/ Hessian信息的加速三次正则化算法\cite{Jiang-2017-Unified}的全局迭代复杂度相匹配.有趣的是，我们表明，在最坏的情况下，我们的算法仍然达到了$O\left(\log(ε^{-1})ε^{-5/6}\right)$迭代复杂度的界限。正则化逻辑斯谛回归问题的性能所提出的方法在几个真实的数据集上的历元计数方面显示出明显的加速效果。
2022-03-12 math.OC
Cubic Regularization Technique of the Newton Method for Vector Optimization
本研究针对无约束向量优化问题提出无凸性假设的牛顿法三次正则化技术，无需线搜索即可实现$O(k^{-2/3})$全局收敛与局部q-二次收敛，能生成弱有效点并推导了下降步参数条件，通过测试算例验证了性能。
2025-05-17 math.OC
On global minimizers of quadratic functions with cubic regularization
在本文中，我们分析了最小化一个二次函数与三次正则化项的问题，在许多无约束和约束的优化方法，在过去几年中提出的一些理论性质。首先，我们表明，任何固定点，这不是一个整体的解决方案，它是可能的计算，在封闭的形式，一个新的点，一个较小的目标函数值。然后，我们证明了一个全局极小可以通过计算有限个稳定点。最后，我们将这些结果推广到平稳条件近似满足的情况，讨论了一些可能的算法应用。
2018-08-31 math.OC
A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization
在本文中，我们提出了一个统一的两阶段计划的凸优化加速：（1）自适应三次正则化方法与精确/不精确黑塞矩阵，（2）自适应梯度方法，没有任何知识的Lipschitz常数的梯度或海塞矩阵。这是通过在其进展过程中调整算法$\textit{adaptively}$中使用的参数来实现的，这可以被视为对文献中现有算法的放松。在子问题可近似求解的假设下，我们建立了三个新算法的总体迭代复杂度界，以获得$ε$ -近似解.具体来说，我们证明了具有精确/不精确Hessian矩阵的自适应三次正则化方法都实现了$O\left( 1 / ε^{1/3} \right)$量级的迭代复杂度，这与[Nesterov-2008-Accelerating]中提出的原始加速三次正则化方法的迭代复杂度相匹配，假设精确Hessian信息和Lipschitz常数的可用性，并且子问题被求解为最优。在相同的两阶段自适应加速框架下，梯度方法实现了$O\left( 1 / ε^{1/2} \right)$量级的迭代复杂度，这是已知的最佳可能的（参见图1）。Nesterov-2013-Introductory）。我们的数值实验结果表明，在一组正则化的逻辑斯谛回归的情况下，三次正则化的自适应牛顿方法显示出明显的加速效果。
2017-12-27 math.OC
Minimizing Uniformly Convex Functions by Cubic Regularization of Newton Method
本文研究了求解一致凸复合极小化问题的三次正则化牛顿法的迭代复杂性。我们引入了一定程度的二阶条件数的概念，并证明了线性收敛速率的正则化参数的自适应估计的方法在非退化的情况下。该算法自动实现最佳的可能的全局复杂性界之间的不同问题类的一致凸目标函数与Hölder连续的Hessian的光滑部分的目标。作为我们的发展的副产品，我们证明了一个直观合理的结果，牛顿方法的全局迭代复杂性总是优于梯度法的类强凸函数一致有界的二阶导数。
2021-05-19 math.OC
Convergence analysis of a regularized Newton method with generalized regularization terms for convex optimization problems
针对无约束凸优化问题，提出带广义正则项的通用正则化牛顿法框架，涵盖多种现有及新型RNM，证明其具有与三次RNM一致的全局$\u2a7c(k^{-2})$和局部超线性收敛性。
2024-07-10 math.OC
An Adaptive Cubic Regularization quasi-Newton Method on Riemannian Manifolds
本文提出一种自适应三次正则化拟牛顿方法，用于求解黎曼无约束非凸优化问题，在目标函数梯度和 Hessian 矩阵未知时依然适用，并具备良好的迭代复杂度理论保证与数值表现。
2024-02-19 math.OC
First- and Second-Order Stochastic Adaptive Regularization with Cubics: High Probability Iteration and Sample Complexity
本文为两种随机自适应三次正则化（SARC）算法（一阶和二阶）建立了高概率迭代与样本复杂度界，证明其在随机优化中优于其他自适应方法。
2025-04-21 math.OC
An accelerated first-order method with complexity analysis for solving cubic regularization subproblems
我们提出了一个一阶的方法来解决三次正则化子问题（CRS）的基础上一个新的重新制定。该方法是一个有约束的凸优化问题，其可行域允许一个易于计算的投影。我们的重新制定需要计算的最小特征值的海森。为了避免昂贵的计算精确的最小特征值，我们开发了一个替代问题的确切的最小特征值被替换为一个近似。然后，我们应用一阶方法，如Nesterov的加速投影梯度法（APG）和投影Barzilai-Borwein方法来解决代理问题。作为我们的主要理论贡献，我们表明，当一个$ε$ -近似的最小特征值计算的Lanczos方法和代理问题近似解决APG，我们的方法返回一个$ε$ -近似解方案CRS在$\tilde O(ε^{-1/2})$矩阵向量乘法（其中$\tilde O(\cdot)$隐藏的对数因子）。数值实验表明，我们的方法是可比的，优于Krylov子空间方法在容易和困难的情况下，分别。我们进一步实现我们的方法作为自适应立方正则化方法的子问题求解器，数值结果表明，我们的算法是最先进的算法相媲美。
2021-06-02 math.OC
A Line-Search Algorithm Inspired by the Adaptive Cubic Regularization Framework and Complexity Analysis
自适应正则化框架使用立方已经成为一种替代线搜索和信赖域算法的光滑非凸优化，具有最佳的复杂性之间的二阶方法。在本文中，我们提出并分析了使用迭代相关的缩放范数的自适应正则化框架，使用立方。在这样的缩放范数内，所获得的方法表现为沿着拟牛顿方向的线搜索算法，并具有特殊的回溯策略。在适当的假设下，新算法具有与基于三次函数的自适应正则化算法相同的收敛性和复杂性。该算法的二阶版本可以提高找到一个近似的一阶稳定点的复杂性是最佳的。以类似的方式，使用相同的缩放范数来定义信赖域邻域，我们证明了信赖域算法的行为是一个线搜索算法。在一组大规模最优化问题上显示了所得到算法的良好潜力。
2018-05-29 math.OC
Adaptive regularization with cubics on manifolds
自适应三次正则化（ARC）是一种无约束、非凸优化算法。类似于流行的信赖域方法，它的迭代可以被认为是近似的，安全的牛顿步骤。对于具有Lipschitz连续Hessian的费用函数，ARC具有最佳迭代复杂度，因为它在$O(1/\varepsilon^{1.5})$迭代中产生梯度小于$\varepsilon$的迭代。对于相同的价格，它也可以保证最小特征值大于$-\varepsilon^{1/2}$的Hessian。本文研究了ARC在黎曼流形上的推广。特别是，我们概括的迭代复杂性的结果，这个更丰富的框架。我们的核心贡献在于识别适当的流形特定的假设，使我们能够确保这些复杂性的保证时，使用指数映射和使用一般收缩。本文的一个重要部分是专门研究这些假设-相关的超越ARC-并提供用户友好的充分条件，他们。数值实验是令人鼓舞的。
2020-05-16 math.OC
Adaptive Stochastic Variance Reduction for Subsampled Newton Method with Cubic Regularization
Nesterov和Polyak的三次正则化牛顿法由于其能够找到具有二阶保证的近似局部解而在非凸优化中越来越受欢迎。最近的一些工作扩展了这种方法的设置，最小化N个光滑函数的平均值，通过替换精确的梯度和海森与子采样近似。它已被证明，总海森样本的复杂性可以减少到次线性N每迭代利用随机方差减少技术。本文提出了一种基于三次正则化的下采样Newton方法的自适应方差缩减方案，并证明了在一阶和二阶保证下，寻找（ε，ε^{1/2}）-近似局部解的Hessian样本复杂度为O（N + N^{2/3}ε^{-3/2}）.此外，我们表明，相同的Hessian样本复杂性保留固定的样本量，如果使用精确的梯度。我们的分析技术是不同的，从以前的作品中，我们不依赖于基于矩阵浓度不等式的高概率界。相反，我们推导并利用随机矩阵的平均值的3阶和4阶矩的界，它们本身是独立的。
2018-11-28 math.OC
A scalable sequential adaptive cubic regularization algorithm for optimization with general equality constraints
School of Mathematics and Statistics, Henan Normal University（河南师范大学数学与统计学院）；Instituto de Matemática e Estatística, Universidade Federal de Goiás（戈亚斯联邦大学数学与统计研究所）；Mathematics and Science College, Shanghai Normal University（上海师范大学数理学院）
本文提出SSARC_qK算法，扩展了ARC_qK方法以处理非线性优化中的通用等式约束，通过复合步法和约简Hessian方法解决子问题，实现全局收敛性。
2026-03-15 math.OC
On the Quadratic Convergence of the Cubic Regularization Method under a Local Error Bound Condition
本文考虑求二次连续可微函数极小值的三次正则化方法。虽然CR方法被广泛认为是一个全局收敛的变种牛顿法具有优越的迭代复杂性，其局部平方收敛现有的结果需要一个严格的非退化条件。我们证明了在比现有的非退化条件弱得多的局部误差界（EB）条件下，由CR方法产生的迭代序列至少Q-二次收敛到二阶临界点.这表明，增加一个立方正则化不仅装备牛顿法与显着的整体收敛性质，但也使它能够二次收敛，即使在退化的解决方案的存在。作为一个副产品，我们表明，没有假设凸性，建议EB条件是等价的二次增长条件，这可能是独立的利益。为了证明我们的收敛性分析的有用性和相关性，我们专注于两个具体的非凸最优化问题，出现在相位恢复和低秩矩阵恢复，分别证明，以压倒性的概率，由CR方法解决这两个问题所产生的迭代序列至少Q-二次收敛到一个全局最小值。我们还提出了CR方法应用于解决这两个问题时的数值结果，以支持和补充我们的理论发展。
2018-01-29 math.OC
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah（犹他大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；JD company（京东公司）
梯度下降-上升（GDA）算法是一种广泛使用的极小极大优化算法。然而，GDA已被证明收敛到非凸极大极小优化的稳定点，这是次优的局部极大极小点相比。在这项工作中，我们开发了三次正则化（CR）型算法，全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后，受经典的三次正则化算法的启发，提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax，并利用其内在的势函数给出了一个全面的收敛性分析.具体地说，我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度，并描述其迭代复杂性。此外，我们提出了一个基于GDA的求解器，用于解决Cubic-LocalMinimax算法中涉及的立方子问题，达到一定的预定义精度，并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外，我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化，并在随机子采样下的样本复杂性。实验结果表明，我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
A Cubic Regularization Method for Multiobjective Optimization
本文提出非凸无约束多目标优化的三次正则化方法，通过非单调线搜索联合调节正则化参数与导数近似精度，并给出迭代复杂度、函数求值复杂度及全局与局部收敛结果。
2025-06-09 math.OC
Adaptive Cubic Regularization Methods with Dynamic Inexact Hessian Information and Applications to Finite-Sum Minimization
我们考虑用三次自适应正则化方法解决非凸最优化问题，并提出了一个新的变种的基础上动态选择不精确的Hessian信息。给出了所提出的方法的理论分析。ARC框架的关键属性，由最佳的最坏情况下的功能/衍生物的评估范围的第一和第二阶临界点，得到保证。基于子采样Hessian的大规模有限和最小化的应用进行了讨论和分析，在确定性和概率的方式，并配备了合成和真实数据集的数值实验。
2019-12-03 cs.NA math.NA math.OC
Sample Efficient Stochastic Variance-Reduced Cubic Regularization Method
University of California, Los Angeles（加州大学洛杉矶分校）
提出了一种有效的随机方差缩减三次正则化（Lite-SVRC）算法，用于求解非凸优化问题的局部极小值.与现有的基于三次正则化的方法相比，该算法实现了更低的黑塞矩阵计算的样本复杂度。在我们的分析的核心是选择一个恒定的批量大小的黑塞矩阵计算在每次迭代和随机方差减少技术。详细地，对于具有$n$分量函数的非凸函数，Lite-SVRC收敛到$\tilde{O}(n+n^{2/3}/ε^{3/2})$ Hessian样本复杂度内的局部极小值值，这比所有现有的基于立方正则化的方法更快。在真实数据集上对不同的非凸最优化问题进行了数值实验，验证了我们的理论结果。
2018-11-29 cs.LG math.OC stat.ML
Cubic NK-SVD: An Algorithm for Designing Parametric Dictionary in Frequency Estimation
本文提出三次牛顿化K-SVD参数字典学习算法，通过在牛顿细化中引入三次正则化提升线谱频率估计精度与收敛性，并首次给出高阶正则化BCD框架下的收敛性分析，在SMV和MMV场景中优于现有方法。
2025-05-09 math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization
University of Florida（佛罗里达大学）；Korea Institute of Industrial Technology (KITECH)（韩国产业技术研究院）
我们专注于最小化机器学习问题中通常出现的非凸有限和函数。为了解决这个问题，自适应三次正则化牛顿法已经显示出其强大的整体收敛保证和逃离严格鞍点的能力。该方法使用类似置信域的方案来确定迭代是否成功，并且仅在迭代成功时更新。在本文中，我们提出了一种算法相结合的负曲率与自适应立方正则牛顿方法更新，即使在不成功的迭代。我们称这种新方法为负曲率随机自适应三次正则化（SANC）。与以前的方法不同，为了获得随机梯度和Hessian估计量，SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法在解决大规模机器学习问题时更加实用。据我们所知，这是第一个方法，结合负曲率方法与自适应三次正则化牛顿法。最后，我们提供了实验结果，包括神经网络的问题，支持我们的方法的效率。
2019-06-27 cs.LG math.OC
Inexact Adaptive Cubic Regularization Algorithms on Riemannian Manifolds and Application
本文在一般黎曼流形上提出一种基于非精确梯度和Hessian的自适应三次正则化算法，给出近似二阶最优性的迭代复杂度，并将其应用于Stiefel流形上的联合对角化问题，数值实验表明其优于非精确信赖域算法。
2024-05-04 cs.NA math.NA math.OC
Sub-sampled Cubic Regularization for Non-convex Optimization
ETH Zurich（苏黎世联邦理工学院）
我们考虑的非凸函数，通常出现在机器学习的最小化。具体来说，我们把我们的注意力集中在称为立方正则化的信赖域方法的变体。这种方法是特别有吸引力的，因为它逃避严格的鞍点，它提供了更强的收敛保证比一阶和二阶以及经典的信赖域方法。然而，它具有很高的计算复杂性，这使得它不适合大规模学习。在这里，我们提出了一种新的方法，使用子采样，以降低这种计算成本。通过使用浓度不等式，我们提供了一个采样方案，提供足够准确的梯度和Hessian近似，以保持强大的全局和局部收敛保证立方正则化方法。据我们所知，这是第一个工作，给出了全局收敛保证的子采样变量的三次正则化的非凸函数。此外，我们提供了实验结果支持我们的理论。
2017-07-01 cs.LG math.OC stat.ML
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong（香港大学）
三次正则化方法（CR）及其自适应方法（ARC）是求解无约束非凸优化问题的常用牛顿型方法，由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法（ARCm），以提高收敛性能。在适当选择动量步长的情况下，证明了ARCm的整体收敛，并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明，所提出的ARCm显着优于最先进的三次正则化方法（例如，CR、基于动量的CR、ARC）和置信域方法。特别地，ARCm所需的迭代次数比实验中最具竞争力的方法（ARC）所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
Stochastic Recursive Variance-Reduced Cubic Regularization Methods
University of California, Los Angeles（加州大学洛杉矶分校）
随机方差缩减立方正则化（SVRC）算法由于其改进的梯度/Hessian复杂性（即，随机梯度/Hessian预言机的查询数量），以找到非凸有限和优化的局部极小值。然而，目前还不清楚现有的SVRC算法是否可以进一步改进。此外，在现有的SVRC算法中采用的半随机Hessian估计器，防止使用基于Hessian向量乘积的快速三次子问题求解器，这使得SVRC算法在计算上难以处理高维问题。在本文中，我们首先提出了一个随机递归方差减少三次正则化方法（SRVRC）使用递归更新的半随机梯度和Hessian估计。该算法在寻找$(ε, \sqrtε)$ -近似局部极小值方面具有改进的梯度和Hessian复杂度，性能优于现有的SVRC算法。在SRVRC的基础上，进一步提出了一种无Hessian的SRVRC算法，即SRVRC $_{\text{free}}$，它只需要随机梯度和Hessian向量积的计算，并达到了$\tilde O(dnε^{-2} \land dε^{-3})$的运行复杂度，其中$n$是有限和结构中分量函数的个数，$d$是问题维数，$ε$是优化精度.这优于Tripuraneni等人在2018年提出的随机三次正则化算法实现的最著名的运行时复杂度$\tilde O(dε^{-3.5})$。
2019-10-11 cs.LG math.OC stat.ML
Scalable adaptive cubic regularization methods
自适应三次正则化（ARC）方法用于无约束优化计算线性系的步骤，涉及Levenberg-Marquardt方法和信赖域方法的精神中的移位Hessian。标准的方法包括在执行迭代搜索的转变类似于解决长期方程的信赖域方法。这种搜索需要在每次迭代时计算试探性移位海森的Cholesky分解，这限制了可以合理考虑的问题的大小。我们提出了一个可扩展的实施ARC命名为ARCqK，我们解决了一组移位系统同时通过适当修改的共轭梯度（CG）方法的Lanczos制定。在求解具有n个变量的问题的ARCqK的每次迭代中，选择m << n个移位参数的范围。CG中超出Lanczos过程的计算开销是十三个标量操作，以更新长度为m的五个向量和每个移位值的两个n向量更新。CG变体每次迭代仅需要一个Hessian向量积和一个点积，与移位参数的数量无关。与不适当的移位参数相对应的求解被提前中断。所有移位系统都不精确求解。这种适度的成本使我们的实现可扩展，适合大规模的问题。我们提供了一个新的分析不精确ARC方法，包括其最坏情况下的评估复杂性，全球和渐近收敛。我们描述了我们的实现，并提供初步的数值观察，证实，对于大小至少为100的问题，我们的实施ARCqK是更有效的比一个经典的Steihaug-Toint置信域方法。最后，我们将我们的收敛结果推广到不精确Hessians和非线性最小二乘问题。
2021-03-30 math.OC
Faster Riemannian Newton-type Optimization by Subsampling and Cubic Regularization
University of Manchester（曼彻斯特大学）
这项工作是约束大规模非凸优化的约束集意味着一个流形结构。解决这些问题在许多基础机器学习任务中非常重要。黎曼最优化的最新进展使方便的恢复解决方案，适应流形上的无约束优化算法。然而，扩大规模，同时保持稳定的收敛速度和处理鞍点仍然具有挑战性。提出了一种新的二阶黎曼优化算法，旨在提高收敛速度和减少计算量。它增强了黎曼信赖域算法，该算法通过子采样和立方正则化技术的混合来探索曲率信息以逃离鞍点。我们进行了严格的分析来研究所提出算法的收敛行为。我们还进行了大量的实验，以评估它的基础上两个一般的机器学习任务，使用多个数据集。所提出的算法表现出改进的计算速度和收敛行为相比，一个大的国家的最先进的黎曼优化算法。
2023-02-22 cs.LG math.OC
Stochastic Cubic Regularization for Fast Nonconvex Optimization
University of California, Berkeley（加州大学伯克利分校）
本文提出了一个经典算法的随机变体-正则化牛顿法[Nesterov and Polyak 2006]。该算法有效地逃脱鞍点，并找到近似的局部极小值一般光滑，非凸函数在只有$\mathcal{\tilde{O}}(ε^{-3.5})$随机梯度和随机海森向量积的评价。后者可以像随机梯度一样有效地计算。这改进了随机梯度下降的$\mathcal{\tilde{O}}(ε^{-4})$速率。我们的速度匹配最著名的结果，找到当地的最小值，而不需要任何微妙的加速或方差减少技术。
2017-12-05 cs.LG math.OC stat.ML
Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions
NAG Ltd（NAG有限公司）
本文提出ARC算法的随机子空间变体，仅利用导数的低维投影计算步长，在保持最优全局收敛速率的同时提升可扩展性，并可自适应低秩函数的真实秩。
2025-01-16 cs.LG cs.NA math.NA
Cubic Regularization is the Key! The First Accelerated Quasi-Newton Method with a Global Convergence Rate of $O(k^{-2})$ for Convex Functions
本文通过将立方正则化牛顿方法作为外层框架并结合拟牛顿不精确 Hessian 近似，提出了首个对一般凸函数具有全局收敛速率 $O(k^{-2})$ 的加速拟牛顿方法，在特定条件下可达 $O(k^{-3})$，并引入自适应版本以提升实用性。
2023-05-29 math.OC
Stochastic Variance-Reduced Cubic Regularization for Nonconvex Optimization
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
三次正则化（CR）是一种最优化方法，由于其能够逃逸鞍点并收敛于非凸优化的二阶稳定解而受到广泛关注。然而，CR遇到了一个高样本复杂度的问题，有限和问题，大的数据大小。已提出CR的各种不精确变体以改善样本复杂性。本文提出了一种随机抽样下的随机方差缩减的正则化方法，并研究了它的收敛性保证和样本复杂度。我们表明，SVRC实现$ε$精度内的二阶稳态解的迭代复杂度为$O(ε^{-3/2})$，这与CR类型方法的最新结果相匹配。此外，我们提出的方差缩减方案显着降低了每次迭代样本的复杂度。我们的SVRC得到的总Hessian样本复杂度是${\Oc}(N^{2/3} ε^{-3/2})$，它比最先进的结果好$O(N^{2/15})$倍。我们还研究了我们的SVRC下的随机不放回抽样方案，它产生了较低的每次迭代的样本复杂度，因此证明了其实用性。
2018-10-09 cs.LG math.OC stat.ML
Cubic Regularization with Momentum for Nonconvex Optimization
Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）；Georgia Institute of Technology（佐治亚理工学院）
动量是一种在实际训练中用于加速收敛的常用技术，其对一阶算法收敛保证的影响已得到充分研究。然而，这样一个成功的加速技术还没有被提出用于非凸优化的二阶算法。在本文中，我们将动量格式应用于三次正则化（CR）牛顿法，并探索加速的潜力。我们对各种非凸最优化问题的数值实验表明，动量格式可以大大促进三次正则化的收敛，甚至比Nesterov的加速方案CR。理论上，我们证明了CR在动量下达到了最好的收敛速度到非凸优化的二阶稳定点。此外，我们研究了所提出的算法求解问题满足误差界条件，并建立了一个局部平方收敛速率。然后，特别是有限和问题，我们表明，该算法可以允许计算不精确，降低了整体样本的复杂性，而不会降低收敛速度。
2019-06-27 cs.LG math.OC stat.ML
Cubic-quartic regularization models for solving polynomial subproblems in third-order tensor methods
本文提出CQR框架，通过序列局部三次-四次模型高效求解三阶张量方法中的非凸三次多项式子问题，给出全局最小化器的最优性条件并转化为可解割线方程，实现最优评估复杂度，数值实验表明在典型及病态子问题上具有竞争力。
2023-12-22 cs.NA math.NA math.OC
Convergence of Cubic Regularization for Nonconvex Optimization under KL Property
The Ohio State University（俄亥俄州立大学）
三次正则化牛顿法（CR）是求解非凸最优化问题的一种保证二阶稳定解的常用算法。然而，现有的理解CR的收敛速度的条件下，特殊类型的几何性质的目标函数。本文利用非凸目标函数普遍存在的Kurdyka-Lojasiewicz（KL）性质，研究了CR的渐近收敛速度.具体地，我们刻画了CR的各种最优性测度的渐近收敛速度，包括函数值间隙、变距离间隙、梯度范数和黑塞矩阵的最小特征值.我们的研究结果充分刻画了这些最优性措施在KL属性的全参数范围内的各种收敛行为。此外，我们还证明了在KL性质下，CR算法的渐近收敛速度比一阶梯度下降算法的收敛速度要快。
2018-08-22 cs.LG math.OC stat.ML
A Tight SDP Relaxation for the Cubic-Quartic Regularization Problem
Xiangtan University（湘潭大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of California San Diego（加州大学圣地亚哥分校）；Hong Kong Baptist University（香港浸会大学）
本文针对三次-四次正则化（CQR）问题提出结构化半定规划（SDP）松弛方法，证明其紧性条件，给出检测紧性与求全局极小解的算法，数值实验表明该方法有效且高效，可在充分条件下多项式时间全局求解CQR问题。
2026-08-21 math.OC
Approximate Secular Equations for the Cubic Regularization Subproblem
The University of Hong Kong（香港大学）；Musketeers Foundation Institute of Data Science（火枪手基金会数据科学研究所）
三次正则化方法是求解无约束非凸优化的一种常用算法。在每次迭代中，CR解决了一个三次正则化的二次问题，称为三次正则化子问题（CRS）。求解CRS的一种方法依赖于求解久期方程，其计算瓶颈在于计算黑塞矩阵的所有特征值。在本文中，我们提出并分析了一种新的CRS求解器的基础上近似的长期方程，它只需要一些海森特征值，因此更有效。两个近似的长期方程（ASE）的开发。对于这两个方程，我们首先研究了它们的根的存在唯一性，然后建立了它们的根与标准久期方程的根之间的距离的上界。这样的上界又可以用来限制基于ASE的近似CRS解到真实CRS解的距离，从而为我们的CRS求解器提供了理论保证。我们的CRS求解器的一个理想特性是它只需要矩阵向量乘法而不需要矩阵求逆，这使得它特别适合无约束非凸优化的高维应用，例如低秩恢复和深度学习。模拟和真实数据集的数值实验进行了研究建议CRS求解器的实际性能。实验结果表明，所提出的求解器优于两个国家的最先进的方法。
2022-09-27 cs.LG cs.NA math.NA
Regularized Step Directions in Nonlinear Conjugate Gradient Methods
本文提出CGM的混合三次正则化方法，利用Shanno的无记忆BFGS重新表述推导出计算量同级的新正则化步长方向，在更少假设下实现全局收敛，数值实验表明其减少了迭代次数与运行时间。
2024-08-28 math.OC stat.CO
Regularized methods via cubic model subspace minimization for nonconvex optimization
针对非凸优化自适应三次正则化方法的试探步计算问题，提出低维子空间重复利用的三次模型最小化新方法，辅以正则化牛顿步，保留经典方法最坏情况复杂度，实验表明其相比标准实现优势显著。
2024-11-28 cs.NA math.NA math.OC
Universal regularization methods - varying the power, the smoothness and the accuracy
自适应立方正则化方法已经成为光滑非凸优化的线性搜索和信赖域的可靠替代方法，具有二阶方法中的最佳复杂性。在这里，我们考虑一个通用的/新的一类自适应正则化方法，使用一阶或高阶局部泰勒模型的目标正则化的（ny）权力的步长和应用于凸约束最优化问题。我们调查的最坏情况下的评估复杂性/这些算法的全局收敛速率，当足够的平滑度的目标可能是未知的，甚至可能是缺席。我们发现，这些方法准确地反映了其复杂性的平滑程度的目标，并满足越来越好的界限，提高精度的模型。边界的变化连续和鲁棒性的正则化功率和模型的准确性和平滑度的目标。
2018-11-16 math.OC
Scalable Second-Order Optimization Algorithms for Minimizing Low-rank Functions
本文提出三次正则化算法的随机子空间变体，依据投影二阶导数矩阵的秩自适应确定子空间规模，在低秩函数优化中保持最优全局收敛速率并提升可扩展性。
2025-01-08 math.OC
Global convergence rate analysis of unconstrained optimization methods based on probabilistic models
我们提出了整体收敛率的线搜索法，这是基于随机的一阶模型和方向，其质量是保证只有一定的概率。我们表明，在准确性的顺序，这样的方法的评估复杂性是相同的，它的同行使用确定性的准确模型;使用概率模型只增加了一个常数的复杂性，这取决于模型的概率是好的。在凸和强凸情形下，我们推广和改进了这些结果。我们还分析了一个概率立方正则化的变体，它允许近似的概率二阶模型，并显示出比概率一阶方法更好的复杂性界限;同样，作为精度的函数，概率立方正则化界限与确定性情况下的（最佳）顺序相同。
2017-01-05 math.OC
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced（加州大学默塞德分校）
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题，提出有限内存对称秩一拟牛顿法（允许不定海森近似）及改进自适应正则化三次方法，在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
Matching the Lower Bounds: Stochastic Contracting Cubic Newton and Its Optimal Acceleration
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；MIRAI（MIRAI研究所）
针对凸随机优化，提出Stochastic Contracting Cubic Newton法及加速变体，二者收敛率分别匹配Agafonov等2024年提出的对应下界，实现了理论下界的最优匹配。
2026-10-14 math.OC
Breaking the Odd Cycle: Regularization and First-Order Optimization for the Maximum $s$-Plex Problem
Università di Padova（帕多瓦大学）；Universität Wien（维也纳大学）
针对最大 $s$-plex 问题，提出正则化连续公式与块坐标一阶方法，结合 away-step Frank-Wolfe 和分数 $b$-匹配优化，避免伪解并快速找到高质量解。
2026-10-08 math.OC
Global Optimality Characterizations and Algorithms for Minimizing Quartically-Regularized Third-Order Taylor Polynomials
University of Oxford（牛津大学）
研究最小化四次正则化三阶泰勒多项式问题，通过建立全局最优性条件，开发对角张量方法（DTM），证明其收敛性及复杂度，在特殊结构问题上性能优越，为优化问题提供了新算法和理论依据。
2026-07-23 cs.NA math.NA math.OC
A line search filter sequential adaptive cubic regularisation algorithm for nonlinearly constrained optimization
本文提出一种线搜索过滤序列自适应三次正则化算法，通过复合步与投影矩阵处理非线性等式约束，并利用过滤技术避免罚参数选择困难，证明了全局收敛性并给出数值验证。
2025-05-11 math.OC
A Sequential Cubic Programming Method with Second-Order Complexity Guarantees for Equality Constrained Optimization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出一种基于序列三次规划框架的新方法，通过将约束雅可比分解为法向和切向分量，结合三次正则化子问题求解，实现全局收敛到二次 stationary 点和局部二次收敛，取得梯度、二次 stationary 和约束违反的最优复杂性界。
2026-04-03 math.OC
Active-set Newton-MR methods for nonconvex optimization problems with bound constraints
本文针对带界约束的非凸优化问题提出活动集 Newton-MR 方法，在面内用 MINRES 近似牛顿方向，在面间采用 SPG 或三次正则化策略，并给出预言机调用复杂度上界，数值实验表明 MINRES 优于 CG。
2025-08-28 math.OC
Stochastic Second-order Methods for Non-convex Optimization with Inexact Hessian and Gradient
The University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）
置信域和三次正则化方法在小规模非凸优化中表现出良好的性能，显示出逃离鞍点的能力。这些方法的每次迭代都涉及梯度、Hessian和函数值的计算，以获得搜索方向并调整半径或三次正则化参数。然而，在训练深度网络等大规模问题中，精确计算这些量过于昂贵。本文研究了一类随机置信域和三次正则化方法在梯度、Hessian和函数值计算不精确的情况下，证明了实现$ε$ -近似二阶最优性的迭代复杂度与以前的工作在梯度和函数值计算精确的情况下是相同量级的.有限和极小化问题中不精确性的温和条件可以通过随机抽样得到。我们表明，与以前的二阶方法相比，该算法在训练卷积神经网络方面表现良好。
2018-09-26 cs.LG math.OC stat.ML
First-Order Methods for Nonconvex Quadratic Minimization
我们考虑最小化的不定二次与信赖域（范数）约束或立方正则化。尽管这些问题的非凸性，我们证明，在温和的假设下，梯度下降收敛到他们的整体解决方案，并给出了一个非渐近收敛速率的三次变量。我们还考虑Krylov子空间的解决方案，并建立信任域和正则化问题的解决方案的急剧收敛保证。我们的速率反映了这些方法在凸二次和特征向量问题上的行为，突出了它们的可扩展性。当我们使用Krylov子空间解来近似正则化牛顿步时，我们的结果恢复了已知的最强收敛保证，以近似一般光滑非凸函数的二阶稳定点。
2020-03-10 math.OC
On Optimal Regularization Parameters via Bilevel Learning
University of Bath（巴斯大学）
针对线性逆问题中双层学习所得正则化参数需为正的问题，本文提出更精确刻画最优参数正性的新条件，并通过小规模与高维数值实验验证。
2024-01-22 cs.LG math.OC
Cubic regularized subspace Newton for non-convex optimization
University of Basel（巴塞尔大学）；EPFL（洛桑联邦理工学院）
本文提出SSCN方法，在随机子空间中应用三次正则化以降低二阶优化的计算复杂度，并证明其收敛速率匹配三次正则化，实验显示显著加速。
2025-02-27 cs.LG cs.NA math.NA
A Novel Fast Exact Subproblem Solver for Stochastic Quasi-Newton Cubic Regularized Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；SAS Institute（SAS研究所）
在这项工作中，我们描述了一种使用有限记忆拟牛顿（LQN）矩阵进行大规模非凸无约束优化的三次自适应正则化（ARC）方法。ARC方法是一个相对较新的优化策略家族，它利用正则化（CR）项代替信任域和线搜索。LQN方法提供了一个大规模的替代使用显式二阶信息，通过采取相同的输入流行的一阶方法，如随机梯度下降（SGD）。精确求解CR子问题需要牛顿法，但使用LQN矩阵的内部结构的属性，我们能够找到CR子问题的精确解，以无矩阵的方式，提供大的加速比和扩展到现代尺寸的要求。此外，我们扩大了以前的ARC工作，并明确地将一阶更新到我们的算法。我们提供了使用SR1更新时的实验结果，与Adam和深度神经网络（DNN）上的其他二阶优化器相比，这些结果显示出显著的速度提升和竞争性能。我们发现，我们的新方法ARCLQN与具有最小调整的现代优化器相比，这是二阶方法的常见痛点。
2022-04-19 cs.LG math.OC stat.ML
