Inexact Newton method for minimization of convex piecewise quadratic functions
研究了凸分段二次函数数值极小化问题的一种不精确牛顿型方法，并分析了其收敛性。早些时候，一个类似的方法被成功地应用于优化问题中出现的数值网格生成。该方法可用于计算线性方程的欠定组的最小范数非负解，也可用于求凸多面体间的距离。该方法的性能进行了测试，使用的样本数据从NETLIB家庭的佛罗里达大学的稀疏矩阵收集以及准随机数据。
2019-01-10 math.OC
A globalized inexact semismooth Newton method for strongly convex optimal control problems
Universität Würzburg（维尔茨堡大学）
本文提出一种全局化的近似半光滑牛顿方法，用于解决强凸最优控制问题，在希尔伯特空间中证明了算法的全局强收敛性及局部超线性收敛性。
2026-03-25 math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）
本文提出了一种统一框架，用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长，分析了其全局收敛性及收敛速率，并通过数值结果验证了其有效性。
2026-04-22 math.OC
An Inexact Newton-like conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性方程组的不精确Newton型条件梯度法。利用一般的优势条件，证明了新方法的局部收敛和收敛速度。给出了这一条件的两个应用：一个是导数满足Holder-like条件的函数，另一个是满足Smale条件的函数，其中包括大量的解析函数.文中还给出了一些数值实验，说明了该方法对中大型问题的适用性。
2017-05-22 math.OC
A path-following inexact Newton method for PDE-constrained optimal control in BV (extended version)
我们研究了一个偏微分方程约束的最优控制问题，该问题涉及有界变差函数作为控制，并在目标中包含控制的TV值。我们应用路径跟踪不精确牛顿方法平滑TV的时间和添加$H^1$正则化所产生的问题。我们证明了在无限维设置，首先，这些辅助问题的解决方案收敛到原问题的解决方案，第二，不精确牛顿法享有快速局部收敛时，应用到最优性系统，其中控制出现的伴随状态的隐函数的重新制定。我们证明了一个有限元近似的收敛性，提供了一个全球化的预处理不精确牛顿方法作为离散辅助问题的求解器，并将其嵌入到一个不精确的路径跟踪计划。我们构造了一个二维的测试问题与完全显式的解决方案，并提出了数值结果来说明该方法的准确性和鲁棒性。这是一个扩展版本的相应期刊文章出现在“计算优化和应用”。它包含了一些在期刊版本中被省略的证明。
2022-03-30 math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中，我们使用近似三次正则化牛顿方法（PCNM）优化光滑凸函数和非光滑凸函数的总和，其中我们使用不精确梯度和Hessian，以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体，并证明了这两种变体可以达到与精确情况相同的收敛速度，前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时，在数据源源不断的在线随机设置中，我们给出了所提出的算法的总体复杂度，并表明它们与随机梯度下降一样具有竞争力。此外，我们给出了所提出的算法在有限和设置的整体复杂性，并表明它是最先进的方差减少算法的竞争力。最后，我们提出了一个有效的算法的立方正则二阶子问题，它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
An Inexact Semi-smooth Newton Method on Riemannian Manifolds with Application to Duality-based Total Variation Denoising
本文提出黎曼流形上的非精确半光滑牛顿方法，用于求解非光滑原始-对偶最优性系统，并证明其不受曲率符号影响的局部收敛性，且在类 l2-TV 去噪实验中验证了超线性收敛。
2021-08-16 math.OC
An efficient semismooth Newton-AMG-based inexact primal-dual algorithm for generalized transport problems
本文研究了求解一类最优质量输运问题的有效最优化方法。从动力系统的时间离散化出发，提出了一种非精确原始对偶法，并利用李雅普诺夫函数工具，对函数残差和可行性破坏建立了全局（超）线性收敛速率.该算法包含一个内部问题，具有较强的半光滑性，并激励使用半光滑牛顿迭代。通过探索问题本身的隐藏结构，将Newton迭代产生的线性系等价转化为图Laplacian系统，提出了一种鲁棒代数多重网格方法，并利用著名的Xu-Zikatanov恒等式进行了分析.最后，数值实验验证了我们的方法的有效性。
2022-07-28 math.OC
Convergence of Newton-MR under Inexact Hessian Information
最近，人们对设计经典Newton-CG的变体产生了浓厚的兴趣，其中（强）凸函数的Hessian被合适的近似所取代。这主要是由许多机器学习应用中出现的大规模有限和最小化问题所激发的。超越凸性，不精确的Hessian信息最近也被认为是在算法的背景下，如信赖域或（自适应）立方正则化一般非凸问题。在这里，我们这样做的Newton-MR，这扩展了经典的Newton-CG的应用范围以外的凸性不变凸问题。不同于牛顿-CG的收敛性分析，它依赖于在Löwner偏序意义下的保谱Hessian近似，我们的工作在这里从矩阵扰动理论来估计精确和近似黑塞矩阵的子空间之间的距离。数值实验表明，这种海森近似的弹性很大程度上，相当于一个高效的算法在大规模的问题。
2020-07-10 math.OC
Inexact Newton-CG Algorithms With Complexity Guarantees
我们考虑一个最近开发的牛顿CG算法的非凸问题\citep{royer2018newton}，其中不精确的估计的梯度和Hessian信息用于各种步骤的变种。在一定条件下的不精确措施，我们推导出迭代复杂性界实现$ε$ -近似二阶最优匹配最佳已知的下界。我们对梯度的不精确条件是自适应的，允许在具有大梯度的区域中的粗略精度。我们描述了我们的方法的两个变体，其中一个是自适应地选择沿计算搜索方向的步长，另一个是预定义的步长。为了获得二阶最优性，我们的算法将在某些步骤上使用负曲率方向。这些方向可以使用某种随机算法以高概率获得。从这个意义上说，我们所有的结果在算法的运行中具有很高的概率。我们在几个机器学习模型上根据经验评估了我们提出的算法的性能。
2022-04-11 math.OC
Inexact Non-Convex Newton-Type Methods
为了解决大规模非凸问题，我们提出了置信域和自适应立方正则化方法的不精确变体，其中，为了提高效率，结合各种近似。特别地，除了近似子问题解决之外，Hessian和梯度都被适当地近似。使用相当温和的条件，这样的近似，我们表明，我们提出的不精确的方法实现类似的最佳最坏情况下的迭代复杂性的确切的同行。我们提出的算法，以及它们各自的理论分析，不需要任何不可知的问题相关的量的知识，因此很容易在实践中实现。在有限和问题的背景下，我们探索随机子采样方法作为构建梯度和Hessian近似的方法，并在一些真实数据集上检验我们的算法的经验性能。
2018-02-20 math.OC
Inexact Tensor Methods and Their Application to Stochastic Convex Optimization
在目标导数信息不精确的情况下，提出了一般的非加速和加速张量方法，分析了它们的收敛速度。此外，我们提供的条件，在每个衍生物是足够的每个算法，以达到所需的精度的不精确性。作为推论，我们提出了随机张量方法的凸优化，并获得足够的小批量的每个衍生物。
2022-12-21 math.OC
Inexact Bregman Sparse Newton Method for Efficient Optimal Transport
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳数据科学学院）
本文提出近似Bregman稀疏牛顿方法，通过半对偶子问题序列框架高效求解精确最优传输问题，结合稀疏牛顿求解器和Hessian稀疏化策略，提升计算效率与精度。
2026-11-03 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法，在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛，无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Distributed Inexact Newton Method with Adaptive Step Sizes
本文提出带自适应步长的分布式非精确牛顿法DINAS，可求解两类分布式优化问题，具备收敛速率优势且减少全局参数需求，实验表现优于现有方法，还首次给出相关非精确牛顿法的收敛性分析。
2025-01-14 math.OC
Worst-case convergence analysis of inexact gradient and Newton methods through semidefinite programming performance estimation
我们提供了新的工具，最坏情况下的性能分析的梯度（或最速下降）的柯西光滑强凸函数的方法，和牛顿法的自协调函数，包括不精确的搜索方向的情况下。该分析使用半定规划性能估计，如Drori和Teboulle [数学规划，145（1-2）：451-482，2014]所开创的，并扩展了作者[Optimization Letters，11（7），1185-1199，2017]柯西方法的最新性能估计结果。为了说明工具的适用性，我们展示了一个新的复杂性分析的短步骤内点方法使用不精确的搜索方向。作为这个框架中的一个例子，我们概述了如何对Abernethy和Hazan最近的内点方法进行严格的最坏情况复杂性分析[PMLR，48：2520-2528，2016]。
2020-06-22 math.OC
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法，用于求解实希尔伯特空间中的光滑单调变分不等式，具备更优的迭代复杂度，且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
Inexact and Implementable Accelerated Newton Proximal Extragradient Method for Convex Optimization
本文研究非精确 Hessian 下的加速牛顿近端 extragradient 方法（IA-NPE），通过动态平衡计算成本与收敛进度并证明线搜索鲁棒性，保持了近最优复杂度，且数值实验表明其优于现有二阶方法。
2024-02-19 math.OC
OFF Newton-type Methods for Unconstrained Optimization with Inexact Derivatives
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
本文提出了一种无需目标函数的近端牛顿方法变体，用于非凸复合优化问题，以及用于无约束优化问题的正则化牛顿方法，利用近似梯度和Hessian。理论分析证明，所提出算法的全局和局部收敛速度与精确计算目标函数和导数时的结果一致。为了验证理论假设的实际适用性，采用了一种惰性梯度策略来提供一种可验证的方案以满足近似梯度的精度要求。对于有限和优化问题，进一步开发了一种自适应采样策略以消除样本大小与梯度估计之间的循环依赖。所提出的算法被证明在期望下可以实现局部超线性和二次收敛。此外，我们还提出了一个使用近似导数的无约束优化的正则化牛顿和负曲率算法，用于定位近似二阶 stationary 点。所开发算法的最坏情况迭代和（样本）操作复杂度与现有文献中的最优结果一致。
2026-10-23 math.OC
On the acceleration of forward-backward splitting via an inexact Newton method
提出了一种求解两个凸函数之和的前向后截断牛顿法（FBTN），其中一个凸函数是光滑的。与其他近端牛顿方法不同，我们的方法不涉及可变度量的就业，而是基于重新制定的原始问题的连续可微函数的无约束极小化，向前向后包络（FBE）。我们引入了一个广义Hessian的FBE对称的广义雅可比矩阵的非线性方程组的最优性条件的问题。这使得共轭梯度法（CG）的就业有效地解决所产生的（正则化）线性系，这可能是不精确的。CG的使用防止了完整的（广义）雅可比矩阵的计算，因为它只需要（广义）方向导数。所得到的算法是全局（渐进）收敛，$Q$ -线性误差界条件下，并高达$Q$ -超线性和$Q$ -二次在可能的非孤立极限点的正则性假设。
2018-11-07 math.OC
An inexact perturbed path-following method for Lagrangian decomposition in large-scale separable convex optimization
本文在拉格朗日对偶分解的框架下，提出了一种求解大规模结构凸优化问题的不精确扰动路径跟踪算法。与文献中考虑的确切版本不同，我们允许一个解决原始问题不精确到一个给定的精度。不精确扰动算法允许使用近似黑塞矩阵和近似梯度向量来计算对偶问题的牛顿型方向。该算法分为两个阶段。第一阶段利用不精确扰动阻尼牛顿型迭代计算初始点，而第二阶段利用不精确扰动全步牛顿型迭代执行路径跟踪算法。我们分析了这两个阶段的收敛性，并估计了最坏情况下的复杂度。作为一种特殊情况，导出了拉格朗日松弛的精确路径跟踪算法，并估计了其最坏情况的复杂度。该变体与先前已知的方法相比具有一些差异。实施细节进行了讨论和数值结果报告。
2011-09-15 math.OC
Primal-Dual Inexact Newton-MR for Nonconvex Optimization with Equality Constraints
School of Mathematics and Physics, The University of Queensland（昆士兰大学数理学院）
针对带等式约束的非凸优化，提出一种基于共轭残差法的非精确原始-对偶牛顿方法，直接处理子问题非正定性，避免有害正则化，并具有全局收敛保证和良好实证表现。
2026-09-10 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Inexact Regularized Quasi-Newton Algorithm for Solving Monotone Variational Inequality Problems
针对单调变分不等式求解问题，提出一种结合新型价值函数与超平面全局化技术的非精确正则化拟牛顿算法，具备无正则性假设下的全局收敛性，数值实验验证了其效率。
2025-05-18 math.OC
An Inexact Riemannian Gradient Descent Algorithm on the Stiefel Manifold with One Newton-Schulz Iteration
School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）
本文提出一种Stiefel流形上带一次Newton-Schulz迭代的不精确黎曼梯度下降算法，可保证收敛性，性能优于同类算法，还提出其随机版本且表现优异。
2026-08-25 math.OC
An Inexact Regularized Proximal Newton Method without Line Search
针对光滑函数与凸非光滑函数之和的最小化问题，提出一种无需线搜索、依据上次迭代成败更新正则化参数的 IRPNM，并证明其全局与超线性收敛性。
2024-04-08 math.OC
Exploring Jacobian Inexactness in Second-Order Methods for Variational Inequalities: Lower Bounds, Optimal Algorithms and Quasi-Newton Approximations
针对变分不等式，研究二阶方法中雅可比不精确性的影响，建立下界并提出最优算法，引入拟牛顿近似降低辅助问题求解成本，实现全局次线性收敛，并扩展至高阶导数情形。
2024-05-28 math.OC
Distributed Inexact Damped Newton Method: Data Partitioning and Load-Balancing
Lehigh University（里海大学）
本文研究了在分布式环境下实现的不精确转储牛顿法。我们从原始的DiSCO算法开始[Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss，Yushan Zhang and Lin Xiao，2015]。我们将证明这种算法可能无法很好地扩展，并提出一种算法修改，这将导致更少的通信，更好负载均衡和更有效的计算。我们进行了数值实验，正则化的经验损失最小化的情况下描述的273 GB的数据集。
2016-03-16 cs.LG math.OC
Newton-MR: Inexact Newton Method With Minimum Residual Sub-problem Solver
University of Queensland（昆士兰大学）；The Centre for Information Resilience（信息弹性中心）；International Computer Science Institute（国际计算机科学研究所）；Stanford University（斯坦福大学）；University of California at Berkeley（加州大学伯克利分校）
我们考虑一个变种的不精确牛顿法，称为牛顿MR，其中的最小二乘法的子问题近似求解使用最小残差方法。通过构造，牛顿-MR可以很容易地应用于一类称为不变凸的非凸问题的无约束优化，其中包含凸性作为子类。对于不变凸优化问题，取代经典的关于梯度和Hessian的Lipschitz连续性假设，在一个较弱的Hessian和梯度的联合正则性概念下，可以保证Newton-MR的整体收敛.我们还得到了Newton-MR问题无关的局部收敛到极小点集。我们证明了快速局部/整体收敛可以保证一个新的不精确条件下，据我们所知，这是远远弱于以前的相关工作。数值结果表明，与其他几个牛顿型的替代品在一些机器学习问题的性能相比，牛顿-MR。
2022-05-06 cs.LG math.OC
An Efficient Inexact Newton-CG Algorithm for the Smallest Enclosing Ball Problem of Large Dimensions
本文研究了在积$mn$较大的情况下，计算$\mathbb{R}^n,$中的一组$m$球的最小包围球（SEB）的问题.我们首先近似的不可微SEB问题的对数指数聚集函数，然后提出了一个计算效率高的不精确牛顿CG算法的平滑逼近问题，利用其特殊的（近似）稀疏结构。与经典Newton-CG算法的主要区别在于，该算法对梯度和Hessian向量积的计算是不精确的，这使得该算法能够求解大规模的SEB问题.我们给出了一个不精确计算梯度/Hessian的自适应准则，并证明了算法的整体收敛性。我们使用经典的Newton-CG算法以及[Zhou. {et al.}在Comput。Opt.\& Appl. 30，147- 160（2005）]作为基准。
2015-09-22 cs.CG math.OC
On the (linear) convergence of Generalized Newton Inexact ADMM
本文提出GeNI-ADMM统一框架，分析非精确ADMM的收敛性，给出标准与强凸下的速率，并解决随机化加速变体的收敛开放问题。
2025-06-18 math.OC
Efficiency and Convergence Insights in Large-Scale Optimization Using the Improved Inexact-Newton-Smart Algorithm and Interior-Point Framework
本文对比评估大规模非线性优化中改进INS算法与原对偶内点框架的性能，发现内点法效率、精度、稳定性更优可作基准，调优后的INS可作为适配特定问题结构的替代方案。
2025-11-15 math.OC
Adaptive Regularized Newton Method with Inexact Hessian
本文提出了一种自适应正则化牛顿法，通过使用近似Hessian和Bregman散度，降低计算成本并实现非凸和凸问题的全局收敛。
2025-12-09 math.OC
Inexact Newton Methods for Stochastic Nonconvex Optimization with Applications to Neural Network Training
本文研究了随机不精确牛顿方法，并考虑了它们在非凸情形下的应用。在[R]工作的基础上，博拉普拉加达河H. Byrd和J. Nocedal，IMA数值分析杂志，39（2018），pp. 545- 578]我们得到了随机低秩Newton方法和随机不精确Newton-Krylov方法在期望值下的收敛速度的界。这些界限量化了在对Hessian和梯度进行二次采样、近似牛顿线性求解以及选择正则化和步长参数时所产生的误差。我们将这些方法部署在MNIST和CIFAR 10数据集的卷积自编码器训练中。数值结果表明，相对于一阶方法，这些随机不精确牛顿方法往往收敛速度更快，更节省成本，更好的推广。
2019-07-31 cs.NA math.NA math.OC
A Note on Inexact Condition for Cubic Regularized Newton's Method
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文考虑了不精确的正则化牛顿法（CR），它已被证明在\cite{Cartis2011a}中实现了与精确CR \citep{Nesterov2006}相同的阶级收敛速度。然而，\cite{Cartis2011a}中的不精确条件由于其对未来迭代变量的依赖性而不可实现。本文通过证明非凸优化在仅依赖于当前最优解的不精确自适应条件下具有相同的收敛速度来解决这个问题。我们的证明控制了函数值在总迭代中的充分减少，而不是像以前的研究中使用的每次迭代，这在其他情况下可能是独立的。
2018-08-22 cs.LG math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题，提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法，证明了不同参数下的收敛性与收敛速率，并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
Inexact Newton-type Methods for Optimisation with Nonnegativity Constraints
针对带非负约束的大规模非凸优化问题，本文扩展双度量投影框架，通过非精确求解子问题与非正曲率方向适配大规模非凸场景，实现了当前最优收敛速率与优异实际性能。
2024-05-20 math.OC
An Inexact Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
GERAD and Department of Mathematics and Industrial Engineering, Polytechnique Montréal（蒙特利尔高等商学院数学与工业工程系、GERAD）
该研究针对非光滑正则化优化问题，提出iR2N方法，可对光滑函数与下半连续近端有界函数之和进行不精确评估，通过近似最小化相关模型及正则项实现全局收敛，实验验证了其有效性与灵活性，能减少计算量。
2026-07-17 math.OC
Exact and Inexact Subsampled Newton Methods for Optimization
本文研究了随机最优化问题的解，其中梯度和Hessian的近似是通过子采样获得的。我们首先考虑采用这些近似的牛顿式方法，并讨论如何协调梯度和Hessian的精度，以产生预期的超线性收敛速率。本文的第二部分分析了一种不精确牛顿法，该方法使用共轭梯度（CG）方法近似求解线性系，并且对Hessian而不是梯度（梯度假设是精确的）进行采样。我们提供了一个复杂性分析，这种方法的基础上的CG迭代的性质和质量的Hessian近似，并比较它与一种方法，采用随机梯度迭代，而不是CG方法。我们报告了初步的数值结果，说明了基于逻辑斯谛回归的机器学习应用程序的不精确子采样牛顿方法的性能。
2016-09-27 math.OC stat.ML
Local convergence analysis of inexact Newton-like methods under majorant condition
IME/UFG（联邦戈亚斯大学数学与统计研究所）
提出在主导条件下求解非线性方程的不精确牛顿类方法的局部收敛性分析，估计收敛半径并建立主导函数与非线性算子之间的关系。
2008-07-24 cs.NA math.NA math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University（俄勒冈州立大学）；Catholic Pontifical University（天主教宗座大学）；Federal University of Delta do Parnaíba（帕纳伊巴三角洲联邦大学）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种正则化Hessian自由牛顿型方法，用于优化具有Lipschitz连续Hessian的光滑凸函数，通过有限差分构造近似Hessian并自适应选择正则化参数，实现全局$\mathcal{O}(k^{-2})$收敛，且在部分问题上计算效率更高。
2026-04-30 math.OC
On the global convergence of the inexact semi-smooth Newton method for absolute value equation
IME/UFG（巴西戈亚斯联邦大学数学研究所）
本文研究了求解绝对值方程的不精确非光滑牛顿方法的全局收敛性，证明了在合适条件下具有全局Q-线性收敛性，并通过数值实验验证了该方法的实用性。
2015-11-12 cs.NA math.NA math.OC
iNALM: An inexact Newton Augmented Lagrangian Method for Zero-One Composite Optimization
本文针对零一复合优化问题，首次提出其二阶最优性条件，结合活动集识别技术设计非精确牛顿增广拉格朗日方法iNALM，证明其收敛性并通过实验验证了该方法在速度和精度上的优势。
2023-06-15 math.OC
Inexact Tensor Methods with Dynamic Accuracies
本文研究了求解复合目标凸优化问题的不精确高阶张量方法。在这种方法的每一步，我们使用辅助问题的近似解，由函数值中的残差的界定义。我们提出了两种动态的策略来选择内部精度：第一种是递减为$1/k^{p + 1}$，其中$p \geq 1$是方法的阶数，$k$是迭代计数器;第二种方法是使用目标目标的最后一个进度作为内部精度。我们表明，不精确张量方法与这些策略实现了相同的整体收敛率在无误差的情况下。对于第二种方法，我们还建立了局部超线性率（$p \geq 2$），并提出了加速计划。最后，我们给出了几种方法和不同精度策略的各种机器学习问题的计算结果。
2020-12-21 math.OC
An inexact $q$-order regularized proximal Newton method for nonconvex composite optimization
本文提出一种不精确$q$阶正则化近端牛顿法（含三次正则化特例），用于非凸复合优化，证明其迭代收敛至稳定点或二阶稳定点，并给出局部超线性收敛速率，首次实现实用不精确CR方法的$Q$-二次收敛。
2025-05-24 math.OC
An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization
我们研究了一个牛顿式的方法来最小化一个目标函数，该目标函数是一个光滑的凸函数和一个l-1正则项的总和。该方法有时在文献中称为近似牛顿法，通过最小化目标函数的分段二次模型来计算步长。为了使这种方法在实践中有效，必须不精确地执行这种内部最小化。在本文中，我们给出了保证整体收敛和控制迭代局部收敛速率的不精确条件。我们的不精确条件是基于一个半光滑函数，它代表了问题的最优性条件的（连续）度量，并且体现了软阈值迭代。我们仔细考虑的算法内部最小化，并报告数值结果的两个测试集起源于机器学习。
2013-09-13 math.OC
An Inexact Projected Regularized Newton Method for Fused Zero-norms Regularization Problems
针对带盒约束的融合零范数正则化问题，本文提出近端梯度与不精确投影正则化牛顿的混合算法，证明其收敛性并建立超线性收敛速率，数值实验验证了模型与算法的优越性。
2023-12-25 math.OC
Practical Regularized Quasi-Newton Methods with Inexact Function Values
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出了一种噪声容忍的正则化拟牛顿方法，通过结合正则化参数更新规则和AdaGrad-Norm方法，实现了在存在误差的情况下达到一阶 stationary 点的全局收敛率，并在多个基准测试中展示了更高的稳健性和效率。
2026-10-14 math.OC
Decentralized Inexact Cubic Newton Method with Consensus Procedure
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Trusted AI Research Center, RAS（俄罗斯科学院可信人工智能研究中心）；Innopolis University（因诺波利斯大学）
本文研究了去中心化的二次优化问题，提出了一种适用于凸优化的去中心化三次牛顿方法，并开发了能够准确跟踪共识和局部迭代不一致性的理论。该方法在L1梯度光滑性和L2Hessian Lipschitz连续性假设下，与精确三次牛顿方法具有相同的迭代复杂度，并通过额外的多项式对数通信轮次开销达到所需的共识精度。此外，还提出了适用于强凸目标的加速去中心化三次牛顿方法，其迭代复杂度与精确加速三次牛顿方法一致。最后，尽管通用方法需要交换完整的d×dHessian矩阵，但通过仅传输向量的方式实现了在高维情况下更实用的实现。
2026-05-21 math.OC
On Inexact Solution of Auxiliary Problems in Tensor Methods for Convex Optimization
本文研究了用$p$ -阶张量方法求解具有$ν$ -Hölder连续$p$阶导数的凸函数无约束极小化问题中的辅助问题.这种类型的辅助问题对应于目标的$p$阶泰勒近似的$(p+ν)$阶正则化的最小化。对于$p=3$的情况下，我们考虑使用梯度方法与Bregman距离。当正则化参数足够大时，我们证明了所提方法最多只需要$\mathcal{O}(\log(ε^{-1}))$迭代就可以找到张量模型的一个合适的近似稳定点或原目标函数的一个$ε$ -近似稳定点.
2021-06-03 math.OC
Advancing the lower bounds: An accelerated, stochastic, second-order method with optimal adaptation to inexactness
提出一种对梯度和Hessian不精确性鲁棒的加速随机二阶方法，建立理论下界并证明最优收敛，同时引入张量推广以匹配非随机情形下的Nesterov加速张量方法。
2024-05-26 math.OC
Inexact Gauss-Newton methods with matrix approximation by sampling for nonlinear least-squares and systems
本研究开发并分析了用于非线性最小二乘与方程组的随机不精确Gauss-Newton方法，通过矩阵采样构建随机模型，推导了最坏情况期望迭代次数以指导采样策略，并给出了数值验证结果。
2024-12-08 cs.NA math.NA math.OC
Inexact Newton Methods for Solving Generalized Equations on Riemannian Manifolds
本文研究了利用度量正则性求解黎曼流形上广义方程的不精确牛顿方法，在无额外几何假设下证明了其线性和二次局部收敛性及半局部收敛性，并应用于求解向量场奇点与受约束的黎曼质心KKT系统。
2024-09-24 cs.NA math.NA math.OC
An Inexact Variable Metric Proximal Point Algorithm for Generic Quasi-Newton Acceleration
我们提出了一个不精确的可变度量邻近点算法，以加速基于梯度的优化算法。所提出的方案，称为QNing可以显着地应用于增量一阶方法，如随机方差减少梯度下降算法（SVRG）和其他随机增量优化算法。QNing也与复合目标兼容，这意味着当目标涉及稀疏诱导正则化时，它能够提供精确的稀疏解。当与有限内存BFGS规则相结合时，QNing对于解决高维优化问题特别有效，同时对于强凸问题具有最坏情况下的线性收敛速度。我们目前的实验结果，QNing提供了显着的改进竞争的方法，训练机器学习方法的大样本和高维度。
2019-01-29 math.OC stat.ML
