An Adaptive Cubic Regularization quasi-Newton Method on Riemannian Manifolds
本文提出一种自适应三次正则化拟牛顿方法，用于求解黎曼无约束非凸优化问题，在目标函数梯度和 Hessian 矩阵未知时依然适用，并具备良好的迭代复杂度理论保证与数值表现。
2024-02-19 math.OC
Adaptive Newton Method for Empirical Risk Minimization to Statistical Accuracy
University of Pennsylvania（宾夕法尼亚大学）
我们考虑大规模数据集的经验风险最小化。我们引入Ada Newton作为自适应算法，它使用具有自适应样本大小的牛顿方法。Ada Newton的主要思想是将训练集的大小增加一个大于1的因子，使得当前训练集的最小化变量位于下一个训练集的最优参数的局部邻域中。这允许利用牛顿方法的二次收敛特性，并且仅用牛顿方法的一次迭代就达到每个训练集的统计精度。我们从理论上和经验上证明，Ada Newton可以在每次迭代中将训练集的大小增加一倍，以实现整个训练集的统计准确性，大约两次通过数据集。
2016-05-24 cs.LG math.OC
Full Waveform Inversion with Adaptive Regularization
正则化是求解地学领域中各种不适定非线性反问题必不可少的方法。合适的正则化的基础是由正则化器表示的先验，它可以是非自适应的或自适应的（数据驱动的）。在本文中，我们提出了一般的黑箱正则化算法来解决非线性反问题，如全波形反演（FWI），它承认经验先验，自适应地确定了复杂的去噪算法。非线性反问题的解决，通过一个近似牛顿方法，它概括了传统的牛顿步骤，以这样一种方式涉及的梯度/次梯度（可能不可微）正则化函数通过操作员分裂和邻近映射。此外，它需要考虑正则化最小二乘最优化问题中的黑塞矩阵。我们提出了两种不同的分裂算法，这项任务。在第一，我们计算牛顿搜索方向的迭代法的基础上的一阶广义迭代收缩阈值算法（ISTA），因此牛顿ISTA（NISTA）。迭代只需要海森矢量积来计算非线性目标函数的二次近似的梯度步长。第二个依赖于交替方向法的乘法器（ADMM），因此牛顿ADMM（NADMM），其中的最小二乘优化子问题和正则化子问题的复合解耦通过辅助变量，并在交替模式下解决。我们比较NISTA和NADMM数值求解全波形反演与BM三维正则化。测试结果表明，这两种算法都取得了可喜的成果。然而，NADMM显示出更快的收敛速度比牛顿ISTA时，使用L-BFGS解决牛顿系统。
2020-01-27 math.OC
An Efficient Semismooth Newton Method for Adaptive Sparse Signal Recovery Problems
我们知道，压缩感知可以建立稳定的稀疏恢复结果，从高度欠采样的数据下，一个有限的等距属性条件。然而，在现实中，许多问题是相互关联的，绝大多数传统方法可能效果不佳。最近，研究表明，使用$\ell_1$ -和$\ell_2$ -范数之间的差异作为正则化总是具有优越的性能。在本文中，我们提出了一个自适应的$\ell_p$ - $\ell_{1-2}$模型，其中$\ell_p$ -范数与$p\geq 1$测量数据的保真度和$\ell_{1-2}$ -长期措施的稀疏性。该模型具有处理不同类型噪声的能力，即使在高相干条件下也能提取稀疏特性。我们使用一个近似的优化最小化技术来处理非凸正则项，然后采用半光滑牛顿方法来解决相应的凸松弛子问题。证明了在一定的技术假设下，半光滑牛顿法产生的子问题序列具有快速的局部收敛速度。最后通过数值实验验证了模型的优越性和算法的先进性。
2021-11-24 math.OC
Adaptive Regularized Newton Method with Inexact Hessian
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Innopolis University（伊诺波利斯大学）
本文提出了一种自适应正则化牛顿法，通过使用近似Hessian和Bregman散度，降低计算成本并实现非凸和凸问题的全局收敛。
2025-12-09 math.OC
Adaptive Sampling Quasi-Newton Methods for Derivative-Free Stochastic Optimization
我们考虑随机零阶最优化问题，它出现在设置从模拟优化强化学习。我们提出了一种自适应采样拟牛顿法，我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们采用修改后的版本的范数检验和内积拟牛顿检验来控制样本量中使用的随机逼近。我们提供了初步的数值实验来说明所提出的方法的潜在性能优势。
2019-10-29 math.OC stat.ML
Adaptive Stochastic Variance Reduction for Subsampled Newton Method with Cubic Regularization
Nesterov和Polyak的三次正则化牛顿法由于其能够找到具有二阶保证的近似局部解而在非凸优化中越来越受欢迎。最近的一些工作扩展了这种方法的设置，最小化N个光滑函数的平均值，通过替换精确的梯度和海森与子采样近似。它已被证明，总海森样本的复杂性可以减少到次线性N每迭代利用随机方差减少技术。本文提出了一种基于三次正则化的下采样Newton方法的自适应方差缩减方案，并证明了在一阶和二阶保证下，寻找（ε，ε^{1/2}）-近似局部解的Hessian样本复杂度为O（N + N^{2/3}ε^{-3/2}）.此外，我们表明，相同的Hessian样本复杂性保留固定的样本量，如果使用精确的梯度。我们的分析技术是不同的，从以前的作品中，我们不依赖于基于矩阵浓度不等式的高概率界。相反，我们推导并利用随机矩阵的平均值的3阶和4阶矩的界，它们本身是独立的。
2018-11-28 math.OC
Adaptive sieving with semismooth Newton proximal augmented Lagrangian algorithm for multi-task Lasso problems
本文提出自适应筛选结合半光滑牛顿近端增广拉格朗日算法，高效求解多任务Lasso问题，利用稀疏性缩减子问题维度，在合成与真实数据上优于现有求解器。
2025-04-21 math.OC
Accelerating Adaptive Cubic Regularization of Newton's Method via Random Sampling
在本文中，我们考虑一个无约束的最优化模型的目标是一个可能的非凸函数的大量的总和，虽然总体上的目标被假定为光滑和凸的。我们尝试使用牛顿法的立方正则化框架来求解这种模型。众所周知，三次正则化的关键是它对Hessian信息的利用，这对于大规模问题来说可能是计算昂贵的。为了解决这个问题，我们通过子采样来近似Hessian矩阵。特别是，我们建议通过\textit{uniformly} \/或\textit{non-uniformly} \/对目标的分量进行子采样来计算近似的Hessian矩阵。基于这种采样策略，我们提出了加速自适应三次正则化方法，并给出了$O(ε^{-1/3})$算法的全局迭代复杂度的理论保证，该算法的全局迭代复杂度与基于\textit{full} \/ Hessian信息的加速三次正则化算法\cite{Jiang-2017-Unified}的全局迭代复杂度相匹配.有趣的是，我们表明，在最坏的情况下，我们的算法仍然达到了$O\left(\log(ε^{-1})ε^{-5/6}\right)$迭代复杂度的界限。正则化逻辑斯谛回归问题的性能所提出的方法在几个真实的数据集上的历元计数方面显示出明显的加速效果。
2022-03-12 math.OC
Adaptive Multilevel Newton: A Quadratically Convergent Optimization Method
UniDistance Suisse（瑞士远程教育大学）；Imperial College（帝国理工学院）
自适应多级牛顿法通过自动切换到完全牛顿法，实现强凸函数的二次收敛，优于传统牛顿法和梯度下降法。
2026-02-24 cs.NA math.NA math.OC
Quasi-Newton Methods: Superlinear Convergence Without Line Searches for Self-Concordant Functions
我们考虑使用曲率自适应步长梯度为基础的迭代法，包括拟牛顿法，最小化自协调函数，扩展的方法首先提出的牛顿法Nesterov。这个步长有一个可以解析计算的简单表达式;因此，不需要行搜索。我们证明了在BFGS方法（和拟牛顿方法在Broyden凸类的其他DFP方法）中使用这个步长会导致强凸自协调函数的超线性收敛。我们目前的数值实验比较梯度下降和BFGS方法使用曲率自适应步长的传统方法确定性逻辑斯谛回归问题，和版本的随机梯度下降随机最优化问题。
2018-08-09 math.OC
An Adaptive Decentralized Quasi-Newton Method with Stepsizes Independent of the Local-Update Budget
School of Mathematics, Nanjing University of Aeronautics and Astronautics（南京航空航天大学数学学院）
提出自适应去中心化拟牛顿方法（AdaDQN），通过Majorization-Minimization视角和鲁棒不精确算法框架，引入保护性共识感知终止准则和事件触发通信，克服了多局部更新方法中步长必须与局部更新次数成反比的理论瓶颈。
2026-08-11 math.OC
Distributed Adaptive Greedy Quasi-Newton Methods with Explicit Non-asymptotic Convergence Bounds
本文提出一种无需线搜索的自适应贪婪拟牛顿方法，建立显式非渐近全局与局部超线性收敛界，并将其扩展为通信代价与一阶方法相当的分布式版本。
2023-11-30 cs.DC math.OC
Exploiting Local Convergence of Quasi-Newton Methods Globally: Adaptive Sample Size Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了拟牛顿法在求解大型数据集上的经验风险最小化问题中的应用。传统的确定性和随机拟牛顿法可以用来解决这类问题，然而，众所周知，它们的整体收敛速度可能并不比一阶方法好，并且它们的局部超线性收敛只出现在学习过程的末尾。在本文中，我们使用自适应样本量计划，利用拟牛顿法的超线性收敛的全球和整个学习过程。提出的自适应样本量算法的主要思想是从一个小的数据点子集开始，在其统计精度范围内求解其对应的ERM问题，然后几何地扩大样本量，并使用较小集合对应的问题的最优解作为初始点来求解后续的具有更多样本的ERM问题。我们表明，如果初始的样本量是足够大的，我们使用拟牛顿法来解决每个子问题，子问题可以解决超线性快速（最多三次迭代后），因为我们保证迭代总是停留在一个邻域内，拟牛顿法超线性收敛。不同数据集上的数值实验证实了我们的理论结果，并证明了我们的方法的计算优势。
2021-10-26 cs.LG math.OC
Riemannian Adaptive Regularized Newton Methods with Hölder Continuous Hessians
本文提出统一 RTR 与 RAR 的黎曼自适应正则化 Newton 框架，在 Hölder 连续 Hessian、收缩和非精确求解条件下证明了尖锐的迭代与 Hessian-向量积复杂度。
2025-05-13 math.OC
Adaptive Quasi-Newton and Anderson Acceleration Framework with Explicit Global (Accelerated) Convergence Rates
针对拟牛顿和Anderson加速方法全局收敛率长期缺失的问题，提出自适应框架，在温和假设下获得融合梯度下降与三次正则化牛顿法的显式非渐近收敛率，并含凸函数加速版本，数值实验优于l-BFGS。
2023-11-14 cs.NA math.NA math.OC
Adaptive FISTA for Non-convex Optimization
在本文中，我们提出了一个自适应外推近端梯度法，这是基于加速近端梯度法（也称为FISTA），但我们局部优化外推参数进行精确（或不精确）线搜索。结果表明，在某些情况下，该算法等价于一类SR 1（单位减秩1）逼近拟牛顿法。收敛性证明在一般的非凸设置，因此，作为一个副产品，我们也获得了新的收敛保证近端拟牛顿法。稀疏正则化非线性反问题的数值实验表明了新方法的有效性。
2019-06-30 math.OC
Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Argonne National Laboratory（阿贡国家实验室）
考虑了无梯度信息的无约束随机最优化问题。这些问题出现在从无导数模拟优化到强化学习的设置中。我们提出了一种自适应采样拟牛顿法，我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们开发了修改后的版本的范数测试和内积拟牛顿测试，以控制在随机逼近中使用的样本大小，并提供整体收敛结果的最优解的邻域。我们提出了模拟最优化问题的数值实验来说明所提出的算法的性能。当与经典的零阶随机梯度法相比，我们观察到，我们的策略，适应样本大小显着提高性能的随机函数评估所需的数量。
2021-09-24 cs.AI math.OC stat.ML
HONES: A Fast and Tuning-free Homotopy Method For Online Newton Step
在这篇文章中，我们开发和分析同伦延拓方法，简称HONES，用于解决在线牛顿步骤中的序列广义投影，以及称为序列标准二次规划的广义问题。HONES是快速的，无调谐，无误差（直到机器误差）和自适应的解决方案稀疏。这是证实了认真的理论分析和大量的实验合成和真实的数据。
2017-10-24 math.OC
Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods
EPFL（洛桑联邦理工学院）
本文提出了一种通用的、自适应的二阶方法来极小化二阶光滑、凸函数。当预言机反馈是随机的且方差为$σ^2$时，该算法达到了$O(σ/ \sqrt{T})$收敛，当预言机反馈是确定性的时，该算法收敛到$O( 1 / T^3)$，其中$T$是迭代次数.我们的方法还内插这些速率，而不知道的性质的预言先验，这是使一个无参数的自适应步长，是无视的知识的平滑模量，方差界和直径的约束集。据我们所知，这是第一个通用的算法，这样的全球保证在二阶优化文献。
2022-12-12 cs.LG math.OC stat.ML
Semismooth Newton Augmented Lagrangian Algorithm for Adaptive Lasso Penalized Least Squares in Semiparametric Regression
Henan University（河南大学）；Anhui University（安徽大学）
本文提出了一种半光滑牛顿增广拉格朗日算法用于半参数回归中的适应性Lasso惩罚最小二乘方法，以实现变量选择与估计的高效求解。
2026-01-04 math.OC stat.ME
An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
ELLIS Institute Tübingen（埃利斯研究所蒂宾根分所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；Meta
本文提出一种基于非负损失平方根重构的自适应随机梯度方法，利用高斯-牛顿或Levenberg-Marquardt步长实现自动步长调节，在凸与非凸情形下均具有严格收敛保证且无需Lipschitz常数。
2024-07-05 cs.LG math.OC
Inexact Newton-CG Algorithms With Complexity Guarantees
我们考虑一个最近开发的牛顿CG算法的非凸问题\citep{royer2018newton}，其中不精确的估计的梯度和Hessian信息用于各种步骤的变种。在一定条件下的不精确措施，我们推导出迭代复杂性界实现$ε$ -近似二阶最优匹配最佳已知的下界。我们对梯度的不精确条件是自适应的，允许在具有大梯度的区域中的粗略精度。我们描述了我们的方法的两个变体，其中一个是自适应地选择沿计算搜索方向的步长，另一个是预定义的步长。为了获得二阶最优性，我们的算法将在某些步骤上使用负曲率方向。这些方向可以使用某种随机算法以高概率获得。从这个意义上说，我们所有的结果在算法的运行中具有很高的概率。我们在几个机器学习模型上根据经验评估了我们提出的算法的性能。
2022-04-11 math.OC
LeAP-SSN: A Semismooth Newton Method with Global Convergence Rates
本文提出无参数全局化的半光滑牛顿法LeAP-SSN，结合自适应Levenberg–Marquardt正则化与回溯策略，在凸、非凸及Polyak–Łojasiewicz条件下分别获得O(1/k)、O(1/√k)和线性收敛速率，并兼具超线性局部收敛性。
2025-08-22 math.OC
adaQN: An Adaptive Quasi-Newton Algorithm for Training RNNs
Northwestern University（西北大学）
递归神经网络（RNN）是一种功能强大的模型，在几个模式识别问题上具有出色的性能。然而，由于众所周知的“消失/爆炸”梯度问题，RNN的训练是一项计算困难的任务。提出的用于训练RNN的算法要么不利用（或有限）曲率信息并且具有廉价的每次迭代复杂度，要么试图以增加每次迭代成本为代价获得显著的曲率信息。前一组包括对角缩放的一阶方法，如ADAGRAD和ADAM，而后者包括二阶算法，如Hessian-Free Newton和K-FAC。在本文中，我们提出了adaQN，一种用于训练RNN的随机拟牛顿算法。我们的方法保留了低的每次迭代成本，同时允许通过随机L-BFGS更新方案的非对角缩放。该方法采用了一种新的L-BFGS缩放初始化方案，并在存储和保留L-BFGS曲率对是明智的。我们在两个语言建模任务上进行了数值实验，结果表明adaQN与流行的RNN训练算法相比具有竞争力。
2016-02-23 cs.LG math.OC stat.ML
Adaptive Newton Sketch: Linear-time Optimization with Quadratic Convergence and Effective Hessian Dimensionality
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
对于具有自协调、复合、强凸目标函数的凸优化问题，提出了一个具有平方收敛速率的随机算法。我们的方法是基于执行一个近似的牛顿步骤，使用一个随机投影的Hessian。我们的第一个贡献是表明，在每次迭代中，嵌入维数（或草图大小）可以小到黑塞矩阵的有效维数。利用这一新的基本结果，我们设计了一个算法的草图大小成比例的有效尺寸，并表现出二次收敛速率。这一结果大大改善了经典的线性平方收敛速率的国家的最先进的子采样牛顿方法。然而，在大多数实际情况下，事先并不知道有效尺寸，这就产生了一个问题，即如何在保持平方收敛速率的同时选取与有效尺寸一样小的草图尺寸。因此，我们的第二个和主要的贡献是提出一个自适应草图尺寸算法与平方收敛速率，不需要先验知识或估计的有效尺寸：在每次迭代中，它开始与一个小的草图尺寸，并增加它，直到二次进度实现。重要的是，我们表明，嵌入维数保持成比例的有效尺寸在整个路径，我们的方法实现了最先进的计算复杂性解决凸优化方案的强凸组件。
2021-05-15 cs.LG math.OC
Large Scale Empirical Risk Minimization via Truncated Adaptive Newton Method
University of Pennsylvania（宾夕法尼亚大学）
我们考虑大规模的经验风险最小化（ERM）问题，其中问题的维度和变量的大小都很大。在这些情况下，大多数二阶方法是不可行的，因为在所有样本上计算Hessian和在高维中计算其逆的成本都很高。在本文中，我们提出了一种新的自适应样本量的二阶方法，它降低了计算的海森通过解决一系列的ERM问题对应的一个子集的样本，并使用截断的特征值分解，降低了计算的海森逆的成本。我们表明，虽然我们几何增加的训练集的大小在每个阶段，一个单一的迭代截断牛顿法是足够的，以解决新的ERM在其统计精度。此外，对于大量的样本样本个数，我们被允许在每个阶段的训练集的大小增加一倍，所提出的方法随后达到统计精度的完整的训练集大约在两个有效的通过。除了这个理论结果，我们经验表明，一些众所周知的数据集，建议截断自适应样本量算法优于随机替代解决ERM问题。
2017-05-22 cs.LG math.OC stat.ML
Distributed Adaptive Newton Methods with Global Superlinear Convergence
研究了对等网络中每个节点通过与相邻节点通信来最小化有限个目标函数和的分布式最优化问题。与现有文献中最快的分布式算法以全局线性或局部超线性速度收敛形成鲜明对比，我们提出了一种具有全局平方收敛速率的分布式自适应牛顿（DAN）算法。我们的核心思想在于设计一个有限时间的集一致性方法与Polyak的自适应步长。此外，我们引入了一种低秩矩阵近似（LA）技术来压缩黑塞矩阵的新息，使得每个节点每次迭代只需要发送维度为$\mathcal{O}(p)$（其中$p$是决策向量的维度）的消息，这在本质上与一阶方法相同。然而，由此产生的DAN-LA收敛到一个最优解的全局超线性率。通过对逻辑斯谛回归问题的数值实验，验证了该方法的优越性.
2022-01-14 cs.DC cs.MA cs.SY
Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室（BRAIn Lab））；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（人工智能 Mohamed bin Zayed 大学）；Innopolis University（Innopolis 大学）
本文提出一种统一框架，通过预条件矩阵范数概括了最速下降、拟牛顿和自适应方法，系统研究了仿射和尺度不变性，并引入了MuAdam和MuAdam-SANIA两种新方法，实验表明其在某些情况下优于现有方法。
2026-05-16 cs.LG math.OC
Adaptive system optimization using random directions stochastic approximation
University of Maryland（马里兰大学）；Indian Institute of Science（印度科学学院）
我们提出了新的算法模拟优化使用随机方向随机逼近（RDSA）。这些包括一阶（梯度）以及二阶（牛顿）计划。我们将连续值以及离散值扰动到我们的算法。前者被选择为独立同分布（i.i.d.）对称、均匀分布的随机变量（r.v.），而后者是I.I.D.，不对称，伯努利r.v.s.我们的牛顿算法，一个新的海森估计方案，需要N维扰动和三个损失测量每次迭代，而同时扰动牛顿搜索算法[1]需要2N维扰动和四个损失测量每次迭代。我们证明了梯度和Hessian估计的无偏性和一阶和二阶格式的渐近（强）收敛性。我们还提供了渐近正态性结果，特别是证明了Newton RDSA方法的非对称Bernoulli变式优于[1]的2SPSA。数值实验验证了理论结果。
2015-08-08 cs.LG math.OC
An adaptive projected Newton non-conforming dual approach for trust-region reduced basis approximation of PDE-constrained parameter optimization
在这方面的贡献，我们设备和分析的非协调对偶方法的置信域减少基础（TR-RB）逼近的PDE约束参数最优化，最近已在[Keil等人。偏微分方程约束优化的自适应置信域缩减基逼近的非协调对偶方法。arXiv：2006.09297，2020]。所提出的方法使用模型降阶技术的参数化偏微分方程显着减少的参数最优化的计算需求，在大规模或多尺度应用的背景下，偏微分方程的约束。自适应TR方法允许沿着优化路径相对于参数空间局部化减少，而不会在离线阶段浪费不必要的资源。改进的变体采用投影牛顿法来解决每个TR步骤内的局部最优化问题，以受益于高收敛速度。这意味着新的战略，在建设的RB空间，以及估计的近似海森。此外，我们提出了一个新的证明收敛的TR-RB方法的基础上无限维的参数，不限于特定情况下的RB近似，并提供了一个后验误差估计的最佳参数的近似。数值实验证明了所提出方法的有效性。
2020-12-21 cs.NA math.NA math.OC
Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization
University of Florida（佛罗里达大学）；Korea Institute of Industrial Technology (KITECH)（韩国产业技术研究院）
我们专注于最小化机器学习问题中通常出现的非凸有限和函数。为了解决这个问题，自适应三次正则化牛顿法已经显示出其强大的整体收敛保证和逃离严格鞍点的能力。该方法使用类似置信域的方案来确定迭代是否成功，并且仅在迭代成功时更新。在本文中，我们提出了一种算法相结合的负曲率与自适应立方正则牛顿方法更新，即使在不成功的迭代。我们称这种新方法为负曲率随机自适应三次正则化（SANC）。与以前的方法不同，为了获得随机梯度和Hessian估计量，SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法在解决大规模机器学习问题时更加实用。据我们所知，这是第一个方法，结合负曲率方法与自适应三次正则化牛顿法。最后，我们提供了实验结果，包括神经网络的问题，支持我们的方法的效率。
2019-06-27 cs.LG math.OC
An Inexact Riemannian Gradient Descent Algorithm on the Stiefel Manifold with One Newton-Schulz Iteration
School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）
本文提出一种Stiefel流形上带一次Newton-Schulz迭代的不精确黎曼梯度下降算法，可保证收敛性，性能优于同类算法，还提出其随机版本且表现优异。
2026-08-25 math.OC
PANDA: A Matrix-Free Differentiable NMPC Solver via Proximal Averaged Quasi-Newton with Adaptive Linesearch Algorithm
Jilin University（吉林大学）；Tongji University（同济大学）
研究针对可微NMPC的计算与内存成本问题，提出PANDA无矩阵求解器，通过前向的近端梯度迭代加拟牛顿加速、反向的隐式求导及Krylov子空间迭代等方法，在非凸拖车NMPC任务上实现更快计算、更低内存开销且保持模仿学习性能。
2026-08-19 cs.SY eess.SY math.OC
Minimizing Uniformly Convex Functions by Cubic Regularization of Newton Method
本文研究了求解一致凸复合极小化问题的三次正则化牛顿法的迭代复杂性。我们引入了一定程度的二阶条件数的概念，并证明了线性收敛速率的正则化参数的自适应估计的方法在非退化的情况下。该算法自动实现最佳的可能的全局复杂性界之间的不同问题类的一致凸目标函数与Hölder连续的Hessian的光滑部分的目标。作为我们的发展的副产品，我们证明了一个直观合理的结果，牛顿方法的全局迭代复杂性总是优于梯度法的类强凸函数一致有界的二阶导数。
2021-05-19 math.OC
Convergence of Newton-MR under Inexact Hessian Information
最近，人们对设计经典Newton-CG的变体产生了浓厚的兴趣，其中（强）凸函数的Hessian被合适的近似所取代。这主要是由许多机器学习应用中出现的大规模有限和最小化问题所激发的。超越凸性，不精确的Hessian信息最近也被认为是在算法的背景下，如信赖域或（自适应）立方正则化一般非凸问题。在这里，我们这样做的Newton-MR，这扩展了经典的Newton-CG的应用范围以外的凸性不变凸问题。不同于牛顿-CG的收敛性分析，它依赖于在Löwner偏序意义下的保谱Hessian近似，我们的工作在这里从矩阵扰动理论来估计精确和近似黑塞矩阵的子空间之间的距离。数值实验表明，这种海森近似的弹性很大程度上，相当于一个高效的算法在大规模的问题。
2020-07-10 math.OC
An Adaptive, Parallel, and Inexact Newton Method for Large-scale Nonlinear Optimal Control
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Georgia Institute of Technology（佐治亚理工学院）
提出自适应重叠时间分解（AOTD），一种并行SQP方法，在线调整重叠大小和求解精度，无需预设重叠，在电力系统与Burgers PDE最优控制问题上，计算量较最佳固定重叠变体减少约2.5倍。
2026-09-29 cs.SY eess.SY math.OC
Stochastic Gauss-Newton Algorithms for Online PCA
本文提出了一种随机高斯-牛顿（SGN）算法来研究在线主成分分析（OPCA）问题。与现有的OPCA求解器相比，SGN对输入数据和算法参数的变化具有更好的鲁棒性。此外，转向基于近似目标函数的数据流的评估，我们开发了一种新的自适应步长SGN策略（AdaSGN），它不需要输入数据的先验知识，并通过数值计算说明其性能与SGN采用手动调整的递减步长。在不假设特征间隙为正的情况下，利用扩散逼近论，我们还建立了SGN在给定步长下的全局收敛速度和最优收敛速度。
2022-10-24 math.OC
Homogeneous second-order descent framework: a fast alternative to Newton-type methods
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
本文提出基于广义同质模型的同质二阶下降框架（HSODF），用于非凸和凸优化。HSODF通过极值对称特征值过程解决广义同质模型，适用于病态问题，并能恢复信任区域方法等经典二阶方法，保持迭代复杂度。
2026-06-26 math.OC
Newton methods beyond Hessian Lipschitz continuity: A nonlinear preconditioning approach
KU Leuven（荷语鲁汶大学）
本文提出非线性预处理牛顿方法，通过变换优化映射扩展非线性预处理思想至二阶设置，放宽Hessian Lipschitz连续性假设，实现局部超线性和二次收敛，并提出正则化变体与自适应版本。
2026-05-12 math.OC
Non asymptotic analysis of Adaptive stochastic gradient algorithms and applications
在随机最优化中，顺序处理大样本的常用工具是考虑著名的随机梯度算法。然而，由于每个方向的步骤序列是相同的，这可能会导致在病态问题的情况下，在实践中的不良结果。为了克服这一点，自适应梯度算法，如Adagrad或随机牛顿算法应优先考虑。本文对强凸目标的自适应梯度算法进行了非渐近性分析。所有的理论结果都适用于Adagrad算法和随机牛顿算法的线性回归和正则化广义线性模型。
2023-03-01 math.OC math.PR math.ST
Newton acceleration on manifolds identified by proximal-gradient methods
已知近似方法用于识别非光滑最优化问题的底层子结构。更重要的是，在许多有趣的情况下，邻近算子的输出与其结构一起出现，而不需要额外的成本，一旦它与极小化器的结构相匹配，收敛性就会得到改善。然而，它是不可能的，在一般情况下，知道当前的结构是否是最终的或没有;这样的高度有价值的信息，必须自适应地利用。要做到这一点，我们把自己的情况下，近端梯度法可以识别流形的可微性的非光滑目标。利用这种流形识别，我们表明，黎曼牛顿类方法可以与近端梯度步骤交织在一起，以大大提高收敛性。证明了算法在求解非退化、非光滑、非凸最优化问题时的超线性收敛性。我们提供了数值例子的最优化问题正则化的$\ell_1$ -范数或跟踪范数。
2022-05-25 math.OC
An Adaptive Penalty Method for Inequality Constrained Minimization Problems
原始-对偶有效集方法被认为是惩罚公式序列的极限。使用这个角度来看，我们提出了一个惩罚的方法，自适应地成为有效集的方法，作为残差的减少。自适应罚方法（APM）结合了两种方法的主要优点，即罚方法易于实现和有效集方法固有的不等式约束的精确施加。该方案可以被认为是一个拟牛顿法，其中雅可比矩阵近似使用罚参数。这个空间变化的参数在每次迭代中通过求解辅助问题来选择。
2022-01-07 math.OC
Inexact Non-Convex Newton-Type Methods
为了解决大规模非凸问题，我们提出了置信域和自适应立方正则化方法的不精确变体，其中，为了提高效率，结合各种近似。特别地，除了近似子问题解决之外，Hessian和梯度都被适当地近似。使用相当温和的条件，这样的近似，我们表明，我们提出的不精确的方法实现类似的最佳最坏情况下的迭代复杂性的确切的同行。我们提出的算法，以及它们各自的理论分析，不需要任何不可知的问题相关的量的知识，因此很容易在实践中实现。在有限和问题的背景下，我们探索随机子采样方法作为构建梯度和Hessian近似的方法，并在一些真实数据集上检验我们的算法的经验性能。
2018-02-20 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Nonmonotone Coderivative-Based Newton Methods for Nonsmooth Optimization with Machine Learning Applications
Wayne State University（韦恩州立大学）
针对非光滑优化中二阶信息利用困难的问题，提出基于余导数的牛顿框架，结合自适应正则化与非单调线搜索，实现全局及局部超线性收敛，并在Lasso、逻辑Lasso和SVM上验证了高效性与鲁棒性。
2026-10-08 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University（俄勒冈州立大学）；Catholic Pontifical University（天主教宗座大学）；Federal University of Delta do Parnaíba（帕纳伊巴三角洲联邦大学）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种正则化Hessian自由牛顿型方法，用于优化具有Lipschitz连续Hessian的光滑凸函数，通过有限差分构造近似Hessian并自适应选择正则化参数，实现全局$\mathcal{O}(k^{-2})$收敛，且在部分问题上计算效率更高。
2026-04-30 math.OC
Blended Cured Quasi-Newton for Geometric Optimization
在二维或三维网格上优化变形能是物理模拟和几何处理中常见的关键问题。我们提出了三个新的改进，以最先进的：一个障碍意识线搜索过滤器，治愈阻塞下降步骤，由于元素障碍条款，使快速进展;能源代理模型，自适应地融合了索伯列夫（逆拉普拉斯处理的）梯度和L-BFGS下降以获得两者的优点，同时避免L-BFGS在几何优化任务中的当前限制;以及特征梯度范数，其提供了鲁棒的且在很大程度上与网格和能量无关的收敛准则，该准则在算法暂时减慢其进展时避免错误终止。这些改进共同构成了混合固化拟牛顿（BCQN），一种新的几何优化算法的基础。在各种规模的问题，我们表明，BCQN通常是最快和最强大的方法，使一些以前棘手的问题实际，同时提供了一个数量级的改善，在其他。
2018-01-31 math.OC
Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression
本文提出对偶牛顿近端点算法PPDNA求解带偏置项的L1正则化逻辑回归，利用二阶稀疏性降低子问题计算成本，并设计自适应筛选AS策略生成解路径，实验验证其优于现有二阶算法。
2023-10-30 math.OC
OFF Newton-type Methods for Unconstrained Optimization with Inexact Derivatives
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
本文提出了一种无需目标函数的近端牛顿方法变体，用于非凸复合优化问题，以及用于无约束优化问题的正则化牛顿方法，利用近似梯度和Hessian。理论分析证明，所提出算法的全局和局部收敛速度与精确计算目标函数和导数时的结果一致。为了验证理论假设的实际适用性，采用了一种惰性梯度策略来提供一种可验证的方案以满足近似梯度的精度要求。对于有限和优化问题，进一步开发了一种自适应采样策略以消除样本大小与梯度估计之间的循环依赖。所提出的算法被证明在期望下可以实现局部超线性和二次收敛。此外，我们还提出了一个使用近似导数的无约束优化的正则化牛顿和负曲率算法，用于定位近似二阶 stationary 点。所开发算法的最坏情况迭代和（样本）操作复杂度与现有文献中的最优结果一致。
2026-10-23 math.OC
A Regularized Semi-Smooth Newton Method With Projection Steps for Composite Convex Programs
本文的目的是研究如何弥补复合凸规划的一阶和二阶序型方法之间的差距。我们的主要意见是：i）许多著名的算子分裂方法，如前向后分裂（FBS）和Douglas-Rachford分裂（DRS），实际上定义了一个不动点映射; ii）复合凸规划的最优解与由不动点映射导出的非线性方程组的解是等价的。求解这类非线性方程组使我们能够发展二阶序型方法。虽然这些非线性方程可能是不可微的，但它们往往是半光滑的，并且由于单调性，它们的广义雅可比矩阵是半正定的。结合正则化方法和已知的超平面投影技术，我们提出了一种自适应半光滑牛顿法，并证明了其收敛性。对$\ell_1$ -极小化问题的初步数值结果表明，我们的二序型算法能够达到超线性或平方收敛.
2016-09-24 math.OC
A Quasi-Newton Subspace Trust Region Algorithm for nonmonotone variational inequalities in adversarial learning over box constraints
针对盒约束非凸非凹极小-极大优化对应的非单调变分不等式问题，提出拟牛顿子空间信赖域算法，证明其全局收敛性，并通过眼部图像分割的混合GAN实验验证了其求解大规模问题的效率与有效性。
2024-04-16 math.OC
Augmented Newton Method for Optimization: Global Linear Rate and Momentum Interpretation
本文提出了求解无约束极小化问题的两种变形牛顿法。我们的方法利用优化技术，如罚款和增广拉格朗日方法，以产生新的变种的牛顿法，即罚款牛顿法和增广牛顿法。在这样做时，我们恢复几个著名的现有的牛顿方法的变种，如阻尼牛顿，Levenberg和Levenberg-Marquardt方法的特殊情况。此外，所提出的增广牛顿法可以解释为自适应重球动量的牛顿法。我们提供了整体收敛的结果，所提出的方法在温和的假设下，适用于各种各样的问题。所提出的方法可以被视为Karimireddy等人结果的惩罚和增广扩展。al [24].
2022-05-23 cs.LG cs.NA math.NA
A linesearch-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
School of Data Science (SDS), The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳数据科学学院）；IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系）
本文提出了一种基于线搜索的光滑牛顿方法，用于解决非光滑非凸复合优化问题，通过自适应参数估计技术提高效率并简化收敛分析。
2026-02-13 math.OC
