Weighted iteration complexity of the sPADMM on the KKT residuals for convex composite optimization
本文针对凸复合最优化问题，建立了基于sPADMM（半邻近交替方向法）的KKT残差的$\mathcal{O}({1}/{k})$加权迭代复杂度.这个结果，这是来自一个新的广义HPE（混合近端额外梯度）迭代公式的帮助下，第一次填补了一个大的步长和它的许多近端变量的经典ADMM的遍历迭代复杂性的空白。
2016-11-10 math.OC
A remark on the convergence of the Douglas-Rachford iteration in a non-convex setting
利用构造的李雅普诺夫函数，证明了$\mathbb R^d$中关于球面和直线的Douglas-Rachford迭代是鲁棒$\mathcal{KL}$稳定的.这意味着一个收敛是强于紧集上的一致收敛性。
2016-09-28 math.OC
Convergence of the Gauss-Newton method for convex composite optimization under a majorant condition
在初始点为拟正则点的假设下，利用优势条件给出了求解凸复合最优化问题的推广Gauss-Newton方法的一个新的半局部收敛性分析.在这个分析中，收敛的条件和证明被简化，通过使用一个简单的优势条件来定义区域，高斯-牛顿序列是“良好的表现”。
2011-07-19 math.OC
Damped Newton's Method on Riemannian Manifolds
给出了一种求解黎曼坐标下向量场奇异性的阻尼牛顿法，并研究了其整体收敛性。它是确保由所提出的方法产生的序列减少到一个由经典的牛顿法的黎曼版本产生的序列经过有限次迭代，因此其收敛速度是超线性/二次。数值实验表明，阻尼牛顿法在迭代次数和计算时间上都优于牛顿法。
2018-07-19 math.OC
Polynomial iteration complexity of a path-following smoothing Newton method for symmetric cone programming
Institute of Mathematics, Hebei University of Technology（河北工业大学数学研究所）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and the University of Chinese Academy of Sciences（中国科学院数学与系统科学研究院、中国科学院大学数学科学学院）；School of Mathematical Sciences and LPMC, Nankai University（南开大学数学科学学院）
本文提出了一种路径跟踪平滑牛顿方法，通过引入缩减的障碍augmented Lagrangian函数，解决了对称锥编程中平滑牛顿方法的多项式迭代复杂性问题，证明了该方法的迭代复杂度与内点法一致。
2026-05-21 math.OC
Iteration complexity of the Difference-of-Convex Algorithm for unconstrained optimization: a simple proof
NAXYS, University of Namur（NAXYS，南特大学）
本文通过简单证明，展示了差分凸算法在无约束优化中的迭代复杂度及收敛速率分析。
2026-01-22 math.OC
Inexact Newton method for minimization of convex piecewise quadratic functions
研究了凸分段二次函数数值极小化问题的一种不精确牛顿型方法，并分析了其收敛性。早些时候，一个类似的方法被成功地应用于优化问题中出现的数值网格生成。该方法可用于计算线性方程的欠定组的最小范数非负解，也可用于求凸多面体间的距离。该方法的性能进行了测试，使用的样本数据从NETLIB家庭的佛罗里达大学的稀疏矩阵收集以及准随机数据。
2019-01-10 math.OC
Non-optimality of conical parts for Newton's problem of minimal resistance in the class of convex bodies and the limiting case of infinite height
我们考虑牛顿的最小阻力问题，特别是我们解决的问题所产生的限制，如果高度趋于无穷大。我们建立的解决方案的存在性和缺乏径向对称的解决方案。此外，我们表明，某些圆锥部分包含在边界的凸体抑制最优性的经典牛顿问题的有限高度。这一结果被应用到某些机构在文献中考虑，这被证明是最佳的经典牛顿问题，我们表明，他们不是。
2021-05-11 math.OC
Forward-backward truncated Newton methods for convex composite optimization
针对复合形式的凸非光滑最优化问题，提出了两种近似Newton-CG方法。该算法是基于一个重新制定的原始非光滑问题的无约束极小化的连续可微函数，即向前向后包络（FBE）。第一个算法是基于一个标准的线搜索策略，而第二个结合了相应的一阶方法的全局效率估计，同时实现快速的渐近收敛率。此外，它们在计算上是有吸引力的，因为每个牛顿迭代需要通常小维度的线性系的近似解。
2014-02-28 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
Analysis of Newton-Raphson Consensus for multi-agent convex optimization under asynchronous and lossy communications
我们扩展了一个多代理凸优化算法牛顿-拉夫森共识的网络场景，涉及定向，异步和有损通信。我们从理论上分析了算法的稳定性和性能，特别是，提供充分条件，保证局部指数收敛的节点状态的全局集中式极小，即使在存在数据包丢失。最后，我们补充的理论分析与数值模拟，比较性能的牛顿-拉夫森共识对异步实现的分布式次梯度方法从开源数据库中提取的真实数据集。
2017-04-20 math.OC
A Semismooth Newton Method for Fast, Generic Convex Programming
我们介绍了Newton-ADMM，一种快速锥优化方法。其基本思想是将乘子的交替方向法（ADMM）产生的连续迭代的残差看作一组不动点方程，然后使用非光滑牛顿法求解;我们将其基本思想应用于分裂锥求解器（SCS），这是一种解决一般圆锥曲线最优化问题的最先进方法。我们从理论上证明，通过扩展半光滑算子的理论，牛顿ADMM收敛迅速（即，二次）的解决方案;经验上，牛顿ADMM是显着快于SCS的一些问题。该方法也基本上没有调整参数，在适当的时候生成原始或对偶不可行性的证书，并且可以专门用于解决特定的凸问题。
2017-06-20 math.OC
Minimizing Uniformly Convex Functions by Cubic Regularization of Newton Method
本文研究了求解一致凸复合极小化问题的三次正则化牛顿法的迭代复杂性。我们引入了一定程度的二阶条件数的概念，并证明了线性收敛速率的正则化参数的自适应估计的方法在非退化的情况下。该算法自动实现最佳的可能的全局复杂性界之间的不同问题类的一致凸目标函数与Hölder连续的Hessian的光滑部分的目标。作为我们的发展的副产品，我们证明了一个直观合理的结果，牛顿方法的全局迭代复杂性总是优于梯度法的类强凸函数一致有界的二阶导数。
2021-05-19 math.OC
A globalized inexact semismooth Newton method for strongly convex optimal control problems
Universität Würzburg（维尔茨堡大学）
本文提出一种全局化的近似半光滑牛顿方法，用于解决强凸最优控制问题，在希尔伯特空间中证明了算法的全局强收敛性及局部超线性收敛性。
2026-03-25 math.OC
Iteration-complexity of a Rockafellar's proximal method of multipliers for convex programming based on second-order approximations
研究了求解带不等式约束的光滑凸规划问题的基于Rockafellar近似乘子法（PMM）的一种新的原始对偶法的迭代复杂性.在每一步中，要么一个步骤的Rockafellar的PMM的二阶模型的问题进行计算或放松extragradiation步骤。由此产生的算法是一个（大步）放松的混合近端外梯度（r-HPE）方法的乘法器，它结合了Rockafellar的PMM与r-HPE方法。
2016-02-22 math.OC
On the Iteration Complexity of Smoothed Proximal ALM for Nonconvex Optimization Problem with Convex Constraints
众所周知，求解非凸无约束最优化问题的迭代复杂度的下界是$Ω(1/ε^2)$，当目标函数光滑时，可以用标准梯度下降算法达到。这个下界对于非凸约束问题仍然成立，而一阶方法是否能达到这个下界仍然是未知的。在本文中，我们表明，一个简单的单循环一阶算法称为平滑邻近增广拉格朗日方法（ALM）可以实现这样的迭代复杂度下界。关键的技术贡献是一个强大的局部误差界的一般凸约束问题，这是独立的利益。
2022-11-01 math.OC
New Proximal Newton-Type Methods for Convex Optimization
本文对复合形式的凸优化问题提出了新的近似牛顿型方法。应用包括模型预测控制（MPC）和嵌入式MPC。我们的新方法在计算上是有吸引力的，因为它们不需要在每次迭代时评估Hessian，同时保持快速的收敛速度。更具体地说，我们证明了整体收敛性的保证和超线性收敛是在附近的最优解。我们还结合拟牛顿和不精确子问题求解方案，开发了几种实用的变型，并在一定条件下为它们提供了理论保证。在真实数据集上的实验结果证明了新方法的有效性和效率。
2020-07-18 math.OC
A Globally Convergent Proximal Newton-Type Method in Nonsmooth Convex Optimization
本文提出并证明了一个新的近似牛顿型算法，以解决广泛的一类非光滑复合凸优化问题，没有强凸性假设。基于变分分析的先进概念和技术，我们建立了该算法的整体收敛以及超线性和二次收敛率的局部收敛的可实现结果.对于某些结构化问题，所得到的局部收敛条件不要求相应的Hessian映射的局部Lipschitz连续性，而这是文献中用来保证邻近Newton型的其他算法的超线性收敛的一个重要假设.通过求解$l_1$正则化逻辑斯谛回归模型的数值实验，说明了该算法应用于实际问题的可行性。
2022-02-28 math.OC
Theoretical analysis of the randomized subspace regularized Newton method for non-convex optimization
本文提出随机子空间正则化牛顿法用于非凸优化，证明其全局收敛且速率与完整正则化牛顿法相同，并给出局部线性收敛速率及Hessian秩亏时的超线性收敛结果。
2025-09-20 math.OC
From Convex Optimization to MDPs: A Review of First-Order, Second-Order and Quasi-Newton Methods for MDPs
本文综述了求解马尔可夫决策过程的经典算法与凸优化中基于梯度的经典算法之间的联系。其中一些联系可以追溯到20世纪80年代，但近年来它们的发展势头越来越大，并导致了求解MDP的更快算法。特别地，用于求解MDP的两个最流行的方法，值迭代和策略迭代，可以链接到凸优化中的一阶和二阶方法。此外，最近的结果在拟牛顿法导致新的算法MDP，如安德森加速。通过将MDP的算法明确地分为一阶、二阶和拟牛顿法，我们希望能更好地理解这些算法，并进一步扩展这种类比，以帮助基于凸优化的最新进展开发新的MDP算法。
2021-11-25 math.OC
Iteration Complexity Analysis of Multi-Block ADMM for a Family of Convex Minimization without Strong Convexity
乘子交替方向法因其优越的实用性能而被广泛应用于求解结构凸优化问题。然而，在理论方面，[7]中示出了一个反例，该反例表明用于最小化具有由线性约束链接的$N$块变量的$N$ $(N\geq 3)$凸函数的和的多块ADMM可能发散。因此，进一步研究输入侧上的充分条件以保证多块ADMM的收敛性是非常有意义的。现有的结果通常需要强凸性的部分目标。在本文中，我们提出的收敛性和收敛速度的多块ADMM适用于解决某些$N$块$(N\geq 3)$凸极小化问题，而不需要强凸性。具体地说，我们证明了以下两个结果：（1）多块ADMM通过对原问题求解一个相关的扰动，在$O(1/ε^2)$迭代内返回一个$ε$ -最优解;（2）当多块ADMM被应用于解决某个共享问题时，多块ADMM在$O(1/ε)$迭代内返回$ε$最优解，在增广拉格朗日函数满足Kurdyka-Lojasiewicz性质的条件下，该性质基本上覆盖了除某些病态情况外的大多数凸优化模型.
2015-05-19 math.OC
An adaptive Newton algorithm for optimal control problems with application to optimal electrode design
本文提出了一种求解非线性约束最优化问题的自适应牛顿型方法，其中约束是用有限元法离散的偏微分方程组。自适应策略是基于一个面向目标的离散化和迭代误差的后验误差估计。迭代误差源于牛顿型方法对一阶非线性系统最优性条件的不精确解。这种策略允许平衡两个错误，并获得有效的停止标准的牛顿迭代。该算法在粗网格上搜索最佳点，只有当离散化误差占主导地位时，粗网格才被细化。使用可计算的误差指标的网格细化本地导致一个高度有效解的过程。该算法的性能示出了几个例子，特别是在神经科学中的应用：神经网络研究的最佳电极设计。
2017-06-02 math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）
本文提出了一种统一框架，用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长，分析了其全局收敛性及收敛速率，并通过数值结果验证了其有效性。
2026-04-22 math.OC
Iteration complexity analysis of dual first order methods for conic convex programming
本文详细分析了求解锥凸问题的对偶一阶方法的迭代复杂性。当难以投影到凸约束描述的原始可行集上时，利用拉格朗日松弛法处理复杂的约束，然后利用对偶一阶算法求解相应的对偶问题。我们给出了对偶一阶算法（对偶梯度算法和快速梯度算法）的收敛性分析：我们提供了次线性或线性估计的原始次最优性和可行性违反所产生的近似原始解决方案。我们的分析依赖于Lipschitz性质的对偶函数的梯度或误差界的双重性质。此外，迭代复杂性分析是基于两种类型的近似原始解：最后原始序列或平均原始序列。
2015-03-13 math.OC
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法，用于求解实希尔伯特空间中的光滑单调变分不等式，具备更优的迭代复杂度，且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
Decentralized Approximate Newton Methods for Convex Optimization on Networked Systems
本文提出了一类求解网络系统上凸优化的分散近似牛顿（DEAN）方法，网络系统中的节点仅通过局部相互作用寻求使各自目标函数之和最小的一致性.所提出的DEAN算法允许每个节点重复执行局部近似牛顿更新，这利用跟踪全局牛顿方向和消散节点之间的差异。与大多数现有的二阶方法相比，在较少限制的问题假设下，DEAN算法使节点能够达成共识，可以任意接近最优。此外，对于一个特定的DEAN算法，节点线性收敛到一个显式的误差界的共同的次优解。最后，仿真结果表明DEAN在收敛速度，精度和效率方面具有竞争力的性能。
2020-11-28 math.OC
Convergence Rate Improvement of Richardson and Newton-Schulz Iterations
快速收敛、精确、计算高效、可并行化和鲁棒的矩阵求逆和参数估计算法在许多时间关键和精度关键的应用中是必需的，例如系统辨识、信号和图像处理、网络和大数据分析、机器学习以及许多其他应用。为了进一步提高高阶Newton-Schulz迭代法的收敛速度，本文提出了一种新的复合幂级数展开法，该展开法可以在具有不同计算能力的并行机上同时计算。新的扩展被集成到理查森迭代，并导致显着的收敛速度的改善。通过估计误差的显式瞬态模型和模拟来量化改进。此外，推导出了Richardson迭代法和Newton-Schulz迭代法结合复合展开式的递推计算方法。此外，本文还将统一分解方法发展为幂级数展开的工具包，从而得到一类新的计算效率高的Newton-Schulz算法。
2020-08-26 cs.NA math.NA math.OC
SingCubic: Cyclic Incremental Newton-type Gradient Descent with Cubic Regularization for Non-Convex Optimization
本文将~ \cite{shi2015large}和~ \cite{cartis2012adaptive}最近两个完全不同的工作推广统一为一个，提出了一种优化非凸函数的循环增量牛顿型梯度下降三次正则化方法（SingCubic）.通过SingCubic的迭代，保持并求解了一个利用Hessian信息的三次正则化全局二次逼近。初步的数值实验表明，令人鼓舞的性能SingCubic算法相比，基本的增量或随机牛顿型实现。本文的结果和方法对基于三次正则化的增量牛顿型梯度下降法的研究具有一定的启发意义。本文提出的方法和原理可用于逻辑斯谛回归、自动编码器训练、独立成分分析、伊辛模型/Hopfield网络训练、多层感知器、深度卷积网络训练等。我们将很快开源部分实现。
2020-02-17 math.OC
An Inexact Riemannian Gradient Descent Algorithm on the Stiefel Manifold with One Newton-Schulz Iteration
School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）
本文提出一种Stiefel流形上带一次Newton-Schulz迭代的不精确黎曼梯度下降算法，可保证收敛性，性能优于同类算法，还提出其随机版本且表现优异。
2026-08-25 math.OC
Distributed Gradient-Regularized Newton Method: Scheduled Consensus and O(epsilon^{-1}) Global Iteration Complexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出了一种完全去中心化的二次优化方法DisGrem，用于解决网络上的凸共识优化问题。该方法通过两阶段 gossip-mixing 机制进行通信，结合消失梯度范数正则化和特征值位移稳定器，实现了O(epsilon^{-1})的迭代复杂度，匹配中心化正则化牛顿方法的收敛速度，无需线搜索或步长调整。
2026-05-19 math.OC
Convergence analysis of a regularized Newton method with generalized regularization terms for convex optimization problems
针对无约束凸优化问题，提出带广义正则项的通用正则化牛顿法框架，涵盖多种现有及新型RNM，证明其具有与三次RNM一致的全局$\u2a7c(k^{-2})$和局部超线性收敛性。
2024-07-10 math.OC
A generalization of the Newton-based matrix splitting iteration method for generalized absolute value equations
本文推广牛顿型矩阵分裂迭代法求解广义绝对值方程，在温和条件下保证收敛到唯一解，并给出更弱的收敛条件，数值实验验证了有效性。
2023-09-18 cs.NA math.NA math.OC
Strong Metric (Sub)regularity of KKT Mappings for Piecewise Linear-Quadratic Convex-Composite Optimization
本文研究了凸复合优化问题的牛顿法和拟牛顿法的局部收敛理论：极小化f（x）：=h（c（x）），其中h是无穷值正常凸函数，c是C^2光滑的.我们专注于的情况下，h是无限值分段线性二次和凸。这些问题包括非线性规划、极小极大优化、非高斯噪声下的非线性动力学估计以及许多现代大规模数据分析和机器学习方法。我们的方法嵌入到一个广义方程的凸复合最优化问题的最优性条件。建立了相应的集值映射的强度量次正则性和强度量正则性的条件。这使我们能够扩展牛顿和拟牛顿法的经典收敛到更广泛的一类非有限值分段线性二次凸复合最优化问题。特别是，我们建立了局部平方收敛的牛顿法的条件下，平行于那些在非线性规划时，h是非有限值分段线性。
2018-06-17 math.OC
A $\operatorname{prox}$-Based Semi-Smooth Newton Method for Convex Variational Problems
University of Freiburg（弗赖堡大学）；George Mason University（乔治梅森大学）；Technical University of Berlin（柏林工业大学）
提出一种基于近端算子的半光滑牛顿法，适用于有限元离散的广泛非光滑凸变分问题，具有全局适定性和局部超线性收敛性。
2026-06-25 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化，而最近的随机凸优化主要居住在光滑，无约束，强凸制度。自然，有一个迫切需要解决的非光滑性，缺乏强凸性，并存在约束。因此，本文提出了一个拟牛顿框架，可以处理仅仅是凸和可能的非光滑（但光滑）的随机凸问题。我们提出了一个框架，结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新（rsL-BFGS），生成一个序列的海森近似，可以容纳非光滑凸目标，利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下，所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度，而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$，其中$κ$是条件数，$m\geq 1$。在非平滑（但可平滑）区域，使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数，我们还提供了次线性率;（iii）在仅仅凸，但光滑的设置，正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时，正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Senior Thesis for Haverford College Convex Optimization, Newton's Method and Interior Point Method
本文由四个一般部分组成：凸集、凸函数、凸优化和邻域点算法。首先介绍了凸集的定义，并给出了本文后面要用到的三个常见凸集的例子，然后证明了重要的分离定理和支撑超平面定理。进入凸函数，除了给出定义外，我还将证明函数凸性的一阶和二阶条件，然后介绍几个例子，这些例子将在后面的凸优化问题中使用。接下来，我将给出凸优化问题的正式定义，并证明它们所具有的一些特征，包括解的存在性（通过最优性准则）和唯一性。我还将生成两个凸优化问题，其中一个不能简单地解决，需要额外的技能。之后，我将引入对偶性，以便构造邻点法。在最后一节中，我将首先介绍下降法和牛顿法，它们是邻域点法的基础。然后，我将展示如何使用对数障碍函数和中心路径来建立通道点方法。
2020-09-24 math.OC
Faster stochastic cubic regularized Newton methods with momentum
本文提出带动量方差缩减的更快随机三次正则化牛顿方法，通过低误差梯度估计和动量海森估计降低计算成本，并在温和假设下证明迭代复杂度，实验表明其性能接近确定性CRN方法且显著优于一阶方法。
2025-07-17 math.OC
Linesearch Newton-CG methods for convex optimization with noise
本文研究了严格凸无约束最优化问题的线性Newton-CG方法的数值解。我们专注于方法采用不精确的评估的目标函数和不精确的，可能是随机的梯度和海森估计。导数估计不需要在每次迭代时满足适当的精度要求，但具有足够高的概率。关于目标函数的评估，我们首先假设目标函数评估中的噪声在绝对值上是有界的。然后，我们分析的情况下，误差满足规定的动态精度要求。我们提供了这两种情况下的复杂性分析，并得出预期的迭代复杂性界限。最后，我们集中在有限和最小化的特定情况下，这是典型的机器学习应用程序。
2022-05-13 math.OC
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战，鞍点可能有很多，并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法，修改更新的牛顿法，通过取代负特征值的海森由其绝对值，并使用截断版本的结果矩阵来占目标的曲率。所示的方法，以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代，其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上，证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
A Framework for Generalising the Newton Method and Other Iterative Methods from Euclidean Space to Manifolds
牛顿迭代法是一种在欧几里得空间上最小化费用函数的常用方法。各种概括的费用函数定义在流形上出现在文献中。在每种情况下，广义牛顿迭代的收敛速度需要从第一原理建立。本文提出了一个框架，广义迭代法从欧几里得空间流形，确保局部收敛率被保留。它适用于计算函数的坐标无关性质（例如零或局部极小值）的任何（无记忆）迭代法。流形上所有可能的牛顿方法都被认为是在这个框架下。坐标的变化，而不是任何黎曼结构，在提升牛顿方法到流形中发挥了自然的作用。该框架还提供了新的见解一般的牛顿方法的设计。
2014-04-04 math.OC
Systematic Review of Newton-Schulz Iterations with Unified Factorizations : Integration in the Richardson Method and Application to Robust Failure Detection in Electrical Networks
在统一的框架下，按时间顺序系统地介绍了Newton-Schulz迭代和Durand迭代的收敛性分析和因式分解。给出了算法的阶数和因子分解的选择以及集成到Richardson迭代中的实用建议。本文将Newton-Schulz迭代法和Richardson迭代法的最简单组合应用于通过估计电网信号的频率成分来进行故障检测的参数估计问题。该检测是在模拟软件故障的真实数据上进行的，这导致了秩亏信息矩阵。提出了秩亏矩阵的鲁棒预处理方法，并通过与标准LU分解方法的比较，证明了该方法的有效性。
2022-08-08 cs.NA math.DS math.NA
Riemannian Stochastic Variance-Reduced Cubic Regularized Newton Method for Submanifold Optimization
我们提出了一个随机方差缩减的三次正则牛顿算法来优化欧几里得空间的黎曼子流形上的有限和问题。该算法需要在每个历元开始时进行全梯度和Hessian更新，同时在每个历元内的迭代中进行随机方差减少更新。计算了$O(ε^{-3/2})$的迭代复杂度，得到了一个$(ε,\sqrtε)$ -二阶稳定点，即，当流形嵌入在欧几里得空间中时，建立了黎曼梯度范数上界为$ε$，黎曼Hessian最小特征值下界为$-\sqrtε$的点.此外，本文提出了一个计算上更吸引人的修改算法，只需要一个不精确的解决方案的立方正则牛顿子问题具有相同的迭代复杂度。该算法进行了评估，并与其他三个黎曼二阶方法在两个数值研究估计的逆尺度矩阵的多元t-分布的对称正定矩阵的流形上，估计球形流形上的线性分类器的参数。
2022-07-21 math.OC
A semi-smooth Newton method for solving convex quadratic programming problem under simplicial cone constraint
研究了单纯锥约束凸二次规划问题。该问题的最优性条件是一个线性互补性问题。在适当的条件下，这一事实导致了单纯锥约束凸二次规划问题与非光滑方程组的唯一解问题的等价性.它表明，半光滑牛顿法适用于这个非光滑的方程组总是定义良好，并在一个温和的假设下，单纯锥的方法产生一个序列，线性收敛到它的解决方案。此外，我们还证明了生成序列对任意起点是有界的，并给出了该序列的任意聚点的计算公式。数值结果表明，这种方法实现了精确的解决方案，在几个迭代大的问题。
2015-03-10 math.OC
Newton-type Alternating Minimization Algorithm for Convex Optimization
本文提出了求解结构化非光滑凸优化问题的NAMA（Newton-type Alternating Minimization Algorithm）算法，其中两个函数之和是极小化的，其中一个是强凸函数，另一个是由一个线性映射组成的.所提出的算法是一个线搜索法在一个连续的，实值的，精确罚函数相应的对偶问题，这是计算通过评估增广拉格朗日在原始点交替最小化。因此，NAMA依赖于与经典交替最小化算法（AMA）完全相同的计算，AMA也称为双近端梯度法。在标准假设下，该算法具有强收敛性，而在较弱的附加假设下，只要搜索方向按拟牛顿公式选取，则算法的渐近收敛是超线性的.由于其简单性，所提出的方法是非常适合于嵌入式应用程序和大规模的问题。实验结果表明，NAMA算法中使用有限内存方向大大提高了收敛速度。
2018-03-14 math.OC
Newton-Raphson Consensus for Distributed Convex Optimization
本文研究了在可分性假设下的分布式无约束凸优化问题，该框架中，网络的每个代理被赋予局部私有多维凸成本，受到通信约束，并且想要协作以计算局部成本之和的最小化者。我们提出了一种设计方法，结合平均共识算法和时间尺度的想法分离。在适当的假设下，证明了该策略是全局收敛于真极小点的。直观地说，该程序让代理分布式计算和顺序更新的近似牛顿-拉夫森方向通过适当的平均共识比率。我们用数值模拟表明，这种策略的收敛速度与其他优化策略，如乘数的交替方向法。最后，我们提出了一些替代策略，权衡通信和计算的要求与收敛速度。
2015-11-04 math.OC
Convergence of Newton-MR under Inexact Hessian Information
最近，人们对设计经典Newton-CG的变体产生了浓厚的兴趣，其中（强）凸函数的Hessian被合适的近似所取代。这主要是由许多机器学习应用中出现的大规模有限和最小化问题所激发的。超越凸性，不精确的Hessian信息最近也被认为是在算法的背景下，如信赖域或（自适应）立方正则化一般非凸问题。在这里，我们这样做的Newton-MR，这扩展了经典的Newton-CG的应用范围以外的凸性不变凸问题。不同于牛顿-CG的收敛性分析，它依赖于在Löwner偏序意义下的保谱Hessian近似，我们的工作在这里从矩阵扰动理论来估计精确和近似黑塞矩阵的子空间之间的距离。数值实验表明，这种海森近似的弹性很大程度上，相当于一个高效的算法在大规模的问题。
2020-07-10 math.OC
Cubic Regularized Newton Method for Saddle Point Models: a Global and Local Convergence Analysis
提出了一种求解凸凹鞍点问题的三次正则化牛顿（CRN）方法。在每次迭代中，构造并求解一个三次正则化的鞍点子问题，为迭代算法提供搜索方向。当鞍点函数为梯度Lipschitz函数和强凸-强凹函数时，通过适当选择步长，证明了该方法以全局线性和局部超线性收敛速率收敛到鞍点.在函数仅仅是凹凸的情况下，我们提出了一种同伦延拓（或路径跟踪）方法。在Lipschitz型误差界条件下，利用同伦延拓方法给出了$ε$的迭代复杂度界，并在含有参数$θ$（$0<θ<1$）的Hölderian型误差界条件下，得到了迭代复杂度界为$\mathcal{O}\left(\left(1/ε\right)^{\frac{1-θ}{θ^2}}\right)$.
2020-08-22 math.OC
Beyond Polytopes: Damped Newton Frank--Wolfe Methods over Compact Convex Sets
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
针对紧凸集上带正定 Hessian 的凸优化，提出阻尼牛顿 Frank--Wolfe 方法，结合残差回溯与切换规则，实现全局线性及局部高阶收敛，实验验证其稳健性与最优性能。
2026-09-29 math.OC
Iteration Complexity of Fixed-Step Methods by Nesterov and Polyak for Convex Quadratic Functions
本文考虑了Polyak的动量法和Nesterov的加速梯度法，这两种方法都没有线搜索，但具有固定的步长，适用于严格凸的二次函数，假设使用了精确的梯度，并且已知黑塞矩阵的极值特征值的上界和下界。简单的二维算例表明，迭代到最优解的欧氏距离是非单调的。在这种情况下，一个明确的界限，以保证减少的欧氏距离的最优解的一个因素$\varepsilon$所需的迭代次数。对于这两种方法的界限是最佳的常数因子，它补充了早期的渐近最优结果的动量法，它建立了另一个链接的动量法和Nesterov的加速梯度法。
2022-12-13 math.OC
Block cubic Newton with greedy selection
University of Rome “Tor Vergata”（罗马托维加塔大学）
提出一种二阶块坐标下降法，通过贪心规则选择变量块并利用立方模型近似更新，证明非凸问题全局收敛并给出最坏情况迭代复杂度。
2026-06-12 math.OC
Weak Proximal Newton Oracles for Composite Convex Optimization
Technion - Israel Institute of Technology（以色列理工学院）
本文提出弱近端牛顿 oracle 方法，通过稀疏结构优化提升高维复合凸优化的收敛效率。
2025-12-17 math.OC
Cubic Regularization is the Key! The First Accelerated Quasi-Newton Method with a Global Convergence Rate of $O(k^{-2})$ for Convex Functions
本文通过将立方正则化牛顿方法作为外层框架并结合拟牛顿不精确 Hessian 近似，提出了首个对一般凸函数具有全局收敛速率 $O(k^{-2})$ 的加速拟牛顿方法，在特定条件下可达 $O(k^{-3})$，并引入自适应版本以提升实用性。
2023-05-29 math.OC
SSNCVX: A primal-dual semismooth Newton method for convex composite optimization problem
本文提出统一的半光滑牛顿法框架 SSNCVX 求解凸复合优化问题，通过增广拉格朗日对偶重构为鞍点问题，以单循环结构同时更新原始和对偶变量，在基准数据集上展现出优于现有求解器的鲁棒性与效率。
2025-09-15 math.OC
On proximal subgradient splitting method for minimizing the sum of two nonsmooth convex functions
当目标函数为两个不可微的凸函数之和时，本文提出了一种近似前后分裂迭代法，用于求解希尔伯特空间中的非光滑最优化问题.建议的迭代，这将被称为邻近次梯度分裂方法，扩展了经典的次梯度迭代的重要类别的问题，利用添加剂结构的目标函数。在适当的假设条件下，利用不同的步长证明了所生成序列的弱收敛性。此外，我们分析了迭代的复杂性。
2016-01-12 math.OC
