A Global Version of the Newton Method for Finding a Singularity of the Nonsmooth Vector Fields on Riemannian Manifolds
本文讨论了非光滑向量场的一个奇异性算法。首先，我们讨论文[1]中提出的牛顿法求解上述问题的主要结果。结合这种方法与非单调线搜索策略，我们提出了一个全球版本的牛顿方法。最后，数值实验说明所提出的计划的实际优势。
2020-06-02 math.OC
An Inexact Semi-smooth Newton Method on Riemannian Manifolds with Application to Duality-based Total Variation Denoising
本文提出黎曼流形上的非精确半光滑牛顿方法，用于求解非光滑原始-对偶最优性系统，并证明其不受曲率符号影响的局部收敛性，且在类 l2-TV 去噪实验中验证了超线性收敛。
2021-08-16 math.OC
Riemannian Newton-type methods for joint diagonalization on the Stiefel manifold with application to independent component analysis
非交换对称矩阵的联合对角化是独立分量分析中的一个重要过程。这个问题可以表述为Stiefel流形上的一个最优化问题，可以使用黎曼优化技术来解决。在现有的优化技术中，本研究利用黎曼牛顿法求解Stiefel流形上的联合对角化问题，该方法具有平方收敛。特别地，所得到的牛顿方程可以通过Kronecker积和vec和veck算子有效地求解，这将方程的维数降低到Stiefel流形的维数。数值实验表明，该方法提高了该问题近似解的精度。所提出的方法也适用于独立分量分析的图像分离问题。所提出的牛顿方法进一步导致了一个新的和快速的黎曼信赖域牛顿方法的联合对角化问题。
2022-02-25 math.OC
Adaptive Regularized Newton Method for Riemannian Optimization
黎曼流形上的优化问题广泛应用于特征值计算、密度泛函理论、玻色-爱因斯坦凝聚、低秩最近相关、图像配准和信号处理等领域。本文提出了一种自适应正则化牛顿方法，该方法在保持黎曼流形约束的前提下，利用欧几里得空间中的二阶泰勒展开逼近原目标函数。正则化项的目标函数的子问题，使我们能够建立一个柯西点的条件作为标准的信赖域方法证明整体收敛。子问题可以不精确地解决，无论是一阶方法或修改的黎曼牛顿法。在后一种情况下，它可以进一步利用负曲率方向。在较弱的条件下，保证了算法的整体收敛和超线性局部收敛。大量的计算实验和与其他国家的最先进的方法的比较表明，该算法是非常有前途的。
2017-08-07 math.OC
A restricted memory quasi-Newton bundle method for nonsmooth optimization on Riemannian manifolds
Guangxi University（广西大学）；Xiamen University（厦门大学）；Guangxi Minzu University（广西民族大学）
本文提出了一种用于在Riemann流形上最小化局部Lipschitz连续函数的受限记忆拟牛顿束法，通过Riemannian版本的拟牛顿更新公式近似目标函数的曲率信息，并利用Riemannian子梯度聚合技术减少二次规划子问题的计算量，最终通过数值实验验证了该方法的有效性。
2026-05-01 math.OC
SingCubic: Cyclic Incremental Newton-type Gradient Descent with Cubic Regularization for Non-Convex Optimization
本文将~ \cite{shi2015large}和~ \cite{cartis2012adaptive}最近两个完全不同的工作推广统一为一个，提出了一种优化非凸函数的循环增量牛顿型梯度下降三次正则化方法（SingCubic）.通过SingCubic的迭代，保持并求解了一个利用Hessian信息的三次正则化全局二次逼近。初步的数值实验表明，令人鼓舞的性能SingCubic算法相比，基本的增量或随机牛顿型实现。本文的结果和方法对基于三次正则化的增量牛顿型梯度下降法的研究具有一定的启发意义。本文提出的方法和原理可用于逻辑斯谛回归、自动编码器训练、独立成分分析、伊辛模型/Hopfield网络训练、多层感知器、深度卷积网络训练等。我们将很快开源部分实现。
2020-02-17 math.OC
Cubic Regularization Technique of the Newton Method for Vector Optimization
本研究针对无约束向量优化问题提出无凸性假设的牛顿法三次正则化技术，无需线搜索即可实现$O(k^{-2/3})$全局收敛与局部q-二次收敛，能生成弱有效点并推导了下降步参数条件，通过测试算例验证了性能。
2025-05-17 math.OC
Newton method for finding a singularity of a special class of locally Lipschitz continuous vector fields on Riemannian manifolds
本文将非光滑分析的一些结果从欧氏环境推广到黎曼环境。特别地，我们讨论了黎曼空间上局部Lipschitz连续向量场的概念和一些性质，如Clarke广义共变导数，上连续性和Rademacher定理.我们还提出了一个版本的牛顿方法来寻找一个特殊的局部Lipschitz连续向量场的奇异性。在较弱的条件下，我们证明了该方法所产生的序列在奇点邻域内的良定性和局部收敛。特别地，给出了半光滑向量场的一个局部收敛结果。在Kantorovich型假设下，证明了Newton方法产生的序列的收敛性，并证明了该序列在起始点的适当邻域内的唯一性.
2019-03-15 math.OC
Robust Kantorovich's theorem on Newton's method under majorant condition in Riemannian Manifolds
本文给出了关于牛顿法的Kantorovich定理的一个稳健的仿射不变形式，用于求定义在完备黎曼流形上的可微向量场的零点。在分析中，经典的利普希茨条件放宽使用一般的优函数，这使得建立的存在性和局部唯一性的解决方案，以及统一以前的结果有关牛顿法。在我们的分析中最重要的是鲁棒性，即，是给定一个规定的球，周围的点满足Kantorovich的假设，确保收敛的方法在这个球的任何起点。此外，还得到了该方法的$Q$ -平方收敛与优函数有关的界.
2015-05-21 math.OC
Riemannian cubics on the group of diffeomorphisms and the Fisher-Rao metric
本文研究了区间[0，1]上具有二阶右不变Sobolev度量的单同态群上的二阶变分问题，该变分问题包含加速度的极小化.我们计算的问题，其中涉及所谓的Fisher-Rao泛函一个凸泛函的措施空间上的松弛。这种放松使几个最优性条件的推导，特别是一个充分条件，它保证了一个给定的路径的初始问题也是一个最小的放松。这个充分条件与包含路径加速度的Riccati方程解的存在性有关。
2016-09-07 math.OC
A Riemannian Proximal Newton Method
本文将黎曼近端牛顿法推广到嵌入子流形上求解带 L1 正则项的优化问题，基于 Weingarten 和半光滑分析证明其局部二次收敛性，并提出与近端梯度法串联的混合版本以实现全局收敛。
2024-04-03 math.OC
Decentralized Inexact Cubic Newton Method with Consensus Procedure
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究院）；Trusted AI Research Center, RAS（俄罗斯科学院可信人工智能研究中心）；Innopolis University（因诺波利斯大学）
本文研究了去中心化的二次优化问题，提出了一种适用于凸优化的去中心化三次牛顿方法，并开发了能够准确跟踪共识和局部迭代不一致性的理论。该方法在L1梯度光滑性和L2Hessian Lipschitz连续性假设下，与精确三次牛顿方法具有相同的迭代复杂度，并通过额外的多项式对数通信轮次开销达到所需的共识精度。此外，还提出了适用于强凸目标的加速去中心化三次牛顿方法，其迭代复杂度与精确加速三次牛顿方法一致。最后，尽管通用方法需要交换完整的d×dHessian矩阵，但通过仅传输向量的方式实现了在高维情况下更实用的实现。
2026-05-21 math.OC
Minimizing Uniformly Convex Functions by Cubic Regularization of Newton Method
本文研究了求解一致凸复合极小化问题的三次正则化牛顿法的迭代复杂性。我们引入了一定程度的二阶条件数的概念，并证明了线性收敛速率的正则化参数的自适应估计的方法在非退化的情况下。该算法自动实现最佳的可能的全局复杂性界之间的不同问题类的一致凸目标函数与Hölder连续的Hessian的光滑部分的目标。作为我们的发展的副产品，我们证明了一个直观合理的结果，牛顿方法的全局迭代复杂性总是优于梯度法的类强凸函数一致有界的二阶导数。
2021-05-19 math.OC
A Riemannian View on Shape Optimization
基于形状演算的形状优化主要通过最速下降方法在数值上执行。本文提供了一个新的框架来分析形状牛顿最优化方法，利用黎曼的观点。定义了一个黎曼形状的海森函数，它具有牛顿最优化方法中经常寻求的对称性和平方收敛等性质。
2014-03-14 math.OC
Faster stochastic cubic regularized Newton methods with momentum
本文提出带动量方差缩减的更快随机三次正则化牛顿方法，通过低误差梯度估计和动量海森估计降低计算成本，并在温和假设下证明迭代复杂度，实验表明其性能接近确定性CRN方法且显著优于一阶方法。
2025-07-17 math.OC
An Inexact Riemannian Gradient Descent Algorithm on the Stiefel Manifold with One Newton-Schulz Iteration
School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）
本文提出一种Stiefel流形上带一次Newton-Schulz迭代的不精确黎曼梯度下降算法，可保证收敛性，性能优于同类算法，还提出其随机版本且表现优异。
2026-08-25 math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中，我们使用近似三次正则化牛顿方法（PCNM）优化光滑凸函数和非光滑凸函数的总和，其中我们使用不精确梯度和Hessian，以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体，并证明了这两种变体可以达到与精确情况相同的收敛速度，前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时，在数据源源不断的在线随机设置中，我们给出了所提出的算法的总体复杂度，并表明它们与随机梯度下降一样具有竞争力。此外，我们给出了所提出的算法在有限和设置的整体复杂性，并表明它是最先进的方差减少算法的竞争力。最后，我们提出了一个有效的算法的立方正则二阶子问题，它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
Randomized Block Cubic Newton Method
研究了高维情形下三个凸函数之和的极小化问题：一个可微项、二次可微项和一个非光滑项。为此，我们提出并分析了一个随机块三次牛顿（RBCN）方法，在每次迭代建立一个模型的目标函数形成的自然模型的总和，其三个组成部分：一个线性模型与二次正则化的可微项，二次模型与三次正则化的两倍可微项，和完美的（近端）模型的非光滑项。我们的方法在每次迭代中最小化搜索变量块的随机子集上的模型。RBCN是第一个具有这些特性的算法，推广了现有的几种方法，在所有特殊情况下都匹配最佳已知边界。我们建立${\cal O}(1/ε)$，${\cal O}(1/\sqrtε)$和${\cal O}(\log (1/ε))$率在不同的假设下的组件功能。最后，我们在数值上证明了我们的方法在各种机器学习问题上的性能优于最先进的方法，包括三次正则化最小二乘、带约束的逻辑斯谛回归和泊松回归。
2018-08-07 math.OC
Cubic Regularized Newton Method for Saddle Point Models: a Global and Local Convergence Analysis
提出了一种求解凸凹鞍点问题的三次正则化牛顿（CRN）方法。在每次迭代中，构造并求解一个三次正则化的鞍点子问题，为迭代算法提供搜索方向。当鞍点函数为梯度Lipschitz函数和强凸-强凹函数时，通过适当选择步长，证明了该方法以全局线性和局部超线性收敛速率收敛到鞍点.在函数仅仅是凹凸的情况下，我们提出了一种同伦延拓（或路径跟踪）方法。在Lipschitz型误差界条件下，利用同伦延拓方法给出了$ε$的迭代复杂度界，并在含有参数$θ$（$0<θ<1$）的Hölderian型误差界条件下，得到了迭代复杂度界为$\mathcal{O}\left(\left(1/ε\right)^{\frac{1-θ}{θ^2}}\right)$.
2020-08-22 math.OC
Cubic Regularization is the Key! The First Accelerated Quasi-Newton Method with a Global Convergence Rate of $O(k^{-2})$ for Convex Functions
本文通过将立方正则化牛顿方法作为外层框架并结合拟牛顿不精确 Hessian 近似，提出了首个对一般凸函数具有全局收敛速率 $O(k^{-2})$ 的加速拟牛顿方法，在特定条件下可达 $O(k^{-3})$，并引入自适应版本以提升实用性。
2023-05-29 math.OC
Matching the Lower Bounds: Stochastic Contracting Cubic Newton and Its Optimal Acceleration
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；MIRAI（MIRAI研究所）
针对凸随机优化，提出Stochastic Contracting Cubic Newton法及加速变体，二者收敛率分别匹配Agafonov等2024年提出的对应下界，实现了理论下界的最优匹配。
2026-10-14 math.OC
Accelerating Adaptive Cubic Regularization of Newton's Method via Random Sampling
在本文中，我们考虑一个无约束的最优化模型的目标是一个可能的非凸函数的大量的总和，虽然总体上的目标被假定为光滑和凸的。我们尝试使用牛顿法的立方正则化框架来求解这种模型。众所周知，三次正则化的关键是它对Hessian信息的利用，这对于大规模问题来说可能是计算昂贵的。为了解决这个问题，我们通过子采样来近似Hessian矩阵。特别是，我们建议通过\textit{uniformly} \/或\textit{non-uniformly} \/对目标的分量进行子采样来计算近似的Hessian矩阵。基于这种采样策略，我们提出了加速自适应三次正则化方法，并给出了$O(ε^{-1/3})$算法的全局迭代复杂度的理论保证，该算法的全局迭代复杂度与基于\textit{full} \/ Hessian信息的加速三次正则化算法\cite{Jiang-2017-Unified}的全局迭代复杂度相匹配.有趣的是，我们表明，在最坏的情况下，我们的算法仍然达到了$O\left(\log(ε^{-1})ε^{-5/6}\right)$迭代复杂度的界限。正则化逻辑斯谛回归问题的性能所提出的方法在几个真实的数据集上的历元计数方面显示出明显的加速效果。
2022-03-12 math.OC
Adaptive Stochastic Variance Reduction for Subsampled Newton Method with Cubic Regularization
Nesterov和Polyak的三次正则化牛顿法由于其能够找到具有二阶保证的近似局部解而在非凸优化中越来越受欢迎。最近的一些工作扩展了这种方法的设置，最小化N个光滑函数的平均值，通过替换精确的梯度和海森与子采样近似。它已被证明，总海森样本的复杂性可以减少到次线性N每迭代利用随机方差减少技术。本文提出了一种基于三次正则化的下采样Newton方法的自适应方差缩减方案，并证明了在一阶和二阶保证下，寻找（ε，ε^{1/2}）-近似局部解的Hessian样本复杂度为O（N + N^{2/3}ε^{-3/2}）.此外，我们表明，相同的Hessian样本复杂性保留固定的样本量，如果使用精确的梯度。我们的分析技术是不同的，从以前的作品中，我们不依赖于基于矩阵浓度不等式的高概率界。相反，我们推导并利用随机矩阵的平均值的3阶和4阶矩的界，它们本身是独立的。
2018-11-28 math.OC
Faster Riemannian Newton-type Optimization by Subsampling and Cubic Regularization
University of Manchester（曼彻斯特大学）
这项工作是约束大规模非凸优化的约束集意味着一个流形结构。解决这些问题在许多基础机器学习任务中非常重要。黎曼最优化的最新进展使方便的恢复解决方案，适应流形上的无约束优化算法。然而，扩大规模，同时保持稳定的收敛速度和处理鞍点仍然具有挑战性。提出了一种新的二阶黎曼优化算法，旨在提高收敛速度和减少计算量。它增强了黎曼信赖域算法，该算法通过子采样和立方正则化技术的混合来探索曲率信息以逃离鞍点。我们进行了严格的分析来研究所提出算法的收敛行为。我们还进行了大量的实验，以评估它的基础上两个一般的机器学习任务，使用多个数据集。所提出的算法表现出改进的计算速度和收敛行为相比，一个大的国家的最先进的黎曼优化算法。
2023-02-22 cs.LG math.OC
A Novel Riemannian Optimization Approach to the Radial Distribution Network Load Flow Problem
在本文中，我们制定了辐射状配电网的潮流（LF）问题作为一个无约束的黎曼最优化问题，由两个流形，我们考虑替代收缩和初始化选项。我们的贡献是一个新的LF解决方案的方法，我们表明属于家庭的黎曼近似牛顿方法保证单调下降和局部超线性收敛速率。据我们所知，这是第一个精确的LF解决方案的方法，采用黎曼优化。在几个测试网络上进行的大量数值比较表明，该方法优于其他黎曼最优化方法（梯度下降，牛顿），并实现了与传统的牛顿-拉夫森方法相当的性能，虽然优于它的保证收敛。我们还考虑了近似LF解决方案所提出的方法的第一次迭代，我们表明，它显着优于其他近似LF文献。最后，我们得出一个有趣的比较与著名的向后-向前扫描方法。
2020-04-08 math.OC
Cubic-Regularized Newton for Spectral Constrained Matrix Optimization and its Application to Fairness
University of Minnesota（明尼苏达大学）
利用矩阵函数将光滑谱约束矩阵最优化问题改写为对称矩阵集上的光滑无约束问题，然后用正则化牛顿法求解.证明了矩阵函数的二阶链式法则恒等式可以计算高阶导数来实现三次正则化牛顿，并对矩阵向量空间的三次正则化牛顿提供了新的收敛性分析。我们证明了我们的方法的适用性进行数值实验合成和真实的数据集。在我们的实验中，我们制定了一个新的模型来估计公平和强大的协方差阵的泰勒的M-估计（TME）模型的精神，并证明其优势。
2022-09-02 cs.LG math.OC
Minimum $L^\infty$ Accelerations in Riemannian Manifolds
黎曼三次曲线是黎曼流形$M$中曲线加速的$L^2$范数的临界点。本文用$L^\infty$范数代替了$L^2$范数，用一个不太直接的论证导出了类似于黎曼三次体的必要条件.研究了当$M$是球面或双不变李群时的必要条件。
2011-04-13 math.DG math.OC
Convergence analysis of a regularized Newton method with generalized regularization terms for convex optimization problems
针对无约束凸优化问题，提出带广义正则项的通用正则化牛顿法框架，涵盖多种现有及新型RNM，证明其具有与三次RNM一致的全局$\u2a7c(k^{-2})$和局部超线性收敛性。
2024-07-10 math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Riemannian Adaptive Regularized Newton Methods with Hölder Continuous Hessians
本文提出统一 RTR 与 RAR 的黎曼自适应正则化 Newton 框架，在 Hölder 连续 Hessian、收缩和非精确求解条件下证明了尖锐的迭代与 Hessian-向量积复杂度。
2025-05-13 math.OC
Inexact Adaptive Cubic Regularization Algorithms on Riemannian Manifolds and Application
本文在一般黎曼流形上提出一种基于非精确梯度和Hessian的自适应三次正则化算法，给出近似二阶最优性的迭代复杂度，并将其应用于Stiefel流形上的联合对角化问题，数值实验表明其优于非精确信赖域算法。
2024-05-04 cs.NA math.NA math.OC
Riemannian Newton optimization methods for the symmetric tensor approximation problem
对称张量逼近问题（STA）由通过对称秩1张量或低对称秩线性形式的幂的线性组合来逼近对称张量或齐次多项式组成。本文提出了两种新的复系数对称张量低秩逼近的黎曼牛顿型方法.第一种方法利用权和单位向量对秩至多为$r$的张量集进行参数化.利用齐次多项式上非极性积的性质，结合复优化的有效工具，我们给出了一个显式的黎曼梯度和Hessian公式，导致具有局部平方收敛的牛顿迭代。我们证明了在初始点邻域内的非亏损张量上满足一定的正则性条件下，Newton迭代（用信赖域方法完成）收敛于局部极小值.第二种方法是Veronese流形上的笛卡儿积上的RiemannianGauss-Newton方法.描述了这种黎曼流形的切空间的一个显式正交基。我们推导出了黎曼梯度和黎曼Hessian的Gauss-Newton逼近。在Veronese流形上提出了一种新的收缩算子，并分析了这两种方法的数值行为，初始点由同时矩阵对角化（SMD）提供，数值实验表明这两种方法在不同情况下都具有良好的数值行为，并与现有的最先进的方法进行了比较.
2021-12-22 cs.NA math.NA math.OC
Parameter-Free Cubic-Regularized Newton Method: Sharp Complexity and Generalized Smoothness
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息理工学系研究科）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
研究非凸优化的无参数三次正则化牛顿法，在广义光滑性条件下推导找到$(\varepsilon, \delta)$ - 二阶驻点的神谕复杂度界，该条件更弱且复杂度界优于现有无参数二阶方法，特定情况与最优依赖匹配。
2026-07-14 math.OC
Inexact Newton Methods for Solving Generalized Equations on Riemannian Manifolds
本文研究了利用度量正则性求解黎曼流形上广义方程的不精确牛顿方法，在无额外几何假设下证明了其线性和二次局部收敛性及半局部收敛性，并应用于求解向量场奇点与受约束的黎曼质心KKT系统。
2024-09-24 cs.NA math.NA math.OC
Gradient Descent Finds the Cubic-Regularized Non-Convex Newton Step
考虑了三次项正则化的非凸二次型的极小化问题，该问题具有多个鞍点和局部极小点。尽管如此，我们证明，在温和的假设下，梯度下降近似的$\textit{global minimum}$内的$\varepsilon$的准确性在$O(\varepsilon^{-1}\log(1/\varepsilon))$步骤大$\varepsilon$和$O(\log(1/\varepsilon))$步骤小$\varepsilon$（相比，我们定义的条件数），最多对数依赖于问题的维度。当我们用梯度下降法来逼近正则化牛顿步时，我们的结果暗示了对一般光滑非凸函数的二阶稳定点的一个收敛速率。
2022-08-30 cs.DS math.OC
Improving Stochastic Cubic Newton with Momentum
Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）
针对一般非凸优化问题，提出利用特殊动量稳定随机梯度和Hessian估计的随机三次牛顿法，证明了其在任意批量大小下的全局收敛性，并在凸问题上实现速度提升。
2025-06-26 cs.LG math.OC
Stochastic Subspace Cubic Newton Method
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Catholic University of Louvain（鲁汶天主教大学）
本文提出了一种新的随机二阶优化算法--随机子空间三次牛顿算法（SSCN）--求解高维凸函数$f$的极小化问题。我们的方法可以看作是Nesterov和Polyak（2006）的正则化牛顿方法的{ \em随机}扩展，以及Kozak等人（2019）的随机子空间下降的{ \em二阶}增强。我们证明，当我们改变minibatch的大小，SSCN的整体收敛率插值之间的随机坐标下降（CD）的速度和三次正则化牛顿，从而给一阶和二阶方法之间的连接新的见解。值得注意的是，SSCN的局部收敛速度匹配的随机子空间下降的速度应用于最小化的二次函数$\frac12 (x-x^*)^\top \nabla^2f(x^*)(x-x^*)$，其中$x^*$是最小的$f$的问题，因此取决于性能的$f$在最佳的。我们的数值实验表明，SSCN优于非加速的一阶CD算法，同时具有竞争力的加速变种。
2020-02-21 cs.LG math.OC
Riemannian Newton methods for energy minimization problems of Kohn-Sham type
本文针对计算物理和化学中的约束能量最小化问题，提出了无限维 Stiefel 和 Grassmann 流形上的黎曼牛顿方法，推导了适用于变分空间离散化的黎曼 Hessian 表达式，数值实验证明其优于自洽场迭代和梯度下降等成熟方案。
2024-06-27 cs.NA math.NA math.OC
Quantum Riemannian Cubics with Obstacle Avoidance for Quantum Geometric Model Predictive Control
CSIC（西班牙国家研究委员会）
本文提出基于量子几何的模型预测控制方法，通过黎曼立方体生成平滑轨迹并结合势函数约束，实现受约束量子系统的稳定性与可控性。
2026-02-09 cs.SY eess.SY math-ph
A thorough study of Riemannian Newton's Method
本文针对Grassmann与Stiefel流形上的优化问题，系统比较RNM与欧几里得牛顿法，并通过125个分子的Hartree–Fock实验验证其收敛、迭代与初值鲁棒性优势。
2025-06-16 cs.NA math.NA math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
On the globalization of Riemannian Newton method
为了寻找定义在黎曼流形上的向量场的奇异性，本文提出了一种新的Newton方法的全局化策略，并证明了其具有超线性速率的整体收敛.特别是，这种全球化一般化的一般收回现有的阻尼牛顿法。所提出的整体收敛分析不需要对向量场的奇异性作任何假设。应用该方法求解了两个Stiefel流形乘积上的截断奇异值问题、对称正定矩阵锥上的双曲手抓取问题和球面上的Rayleigh商问题.解决了一些学术问题。数值实验表明，该算法具有更好的鲁棒性与上述方法相比。
2020-08-14 cs.NA math.NA math.OC
A Note on Inexact Condition for Cubic Regularized Newton's Method
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文考虑了不精确的正则化牛顿法（CR），它已被证明在\cite{Cartis2011a}中实现了与精确CR \citep{Nesterov2006}相同的阶级收敛速度。然而，\cite{Cartis2011a}中的不精确条件由于其对未来迭代变量的依赖性而不可实现。本文通过证明非凸优化在仅依赖于当前最优解的不精确自适应条件下具有相同的收敛速度来解决这个问题。我们的证明控制了函数值在总迭代中的充分减少，而不是像以前的研究中使用的每次迭代，这在其他情况下可能是独立的。
2018-08-22 cs.LG math.OC
Multi-objective variational curves
将寻找曲线的变分问题视为多目标优化问题，在球面和环面上构造Pareto前沿，发现环面前沿不连通并揭示首个具有相同边界数据的非平凡黎曼三次曲线实例，同时讨论了一般黎曼流形上的凸性条件。
2023-06-27 math.OC
Block cubic Newton with greedy selection
University of Rome “Tor Vergata”（罗马托维加塔大学）
提出一种二阶块坐标下降法，通过贪心规则选择变量块并利用立方模型近似更新，证明非凸问题全局收敛并给出最坏情况迭代复杂度。
2026-06-12 math.OC
Envelope Cubic Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
针对非凸-强凹极小极大优化问题，提出包络三次正则化牛顿法（ECRN），其复杂度在对数因子内最优，改进了现有二阶方法的条件数依赖度。
2026-10-14 math.OC
Tensor Completion via Tensor Train Based Low-Rank Quotient Geometry under a Preconditioned Metric
本文将预条件度量从矩阵推广到张量列车格式，研究固定张量列车秩流形的商几何，并提出黎曼梯度下降、共轭梯度及高斯-牛顿等张量补全算法，实验验证其恢复能力、收敛性能与重建质量具有竞争力。
2023-04-18 math.OC
Two Newton methods on the manifold of fixed-rank matrices endowed with Riemannian quotient geometries
Université catholique de Louvain（天主教鲁汶大学）；Université Paul Sabatier（保罗·萨巴蒂尔大学）；University of Liège（列日大学）
本文考虑固定秩矩阵流形上的两种黎曼几何，通过黎曼淹没理论推导几何对象，并给出相应的黎曼牛顿方法，其收敛性分析优于欧几里得方法，计算开销小，适用于低秩矩阵补全等问题。
2012-09-01 cs.NA math.DG math.NA
Stochastic Newton and Cubic Newton Methods with Simple Local Linear-Quadratic Rates
KAUST（阿卜杜拉国王科技大学）
我们提出了两个新的非常简单的随机二阶方法，用于最小化非常大量的充分光滑和强凸函数的平均值。第一种是牛顿法（SN）的随机变体，第二种是三次正则化牛顿法（SCN）的随机变体。我们建立了局部线性二次收敛结果。与现有的二阶方法的随机变量不同，这些方法需要在每次迭代中评估大量的梯度和/或Hessian以保证收敛，我们的方法没有这个缺点。例如，我们的方法在每次迭代中的最简单的变体只需要计算{ \em single}随机选择的函数的梯度和Hessian。与大多数现有的随机牛顿和拟牛顿方法相比，我们的方法保证了局部收敛速度比一阶预言机，并适应问题的曲率。有趣的是，我们的方法不是无偏的，所以我们的理论为设计新的随机方法提供了新的直觉。
2019-12-03 cs.LG math.OC stat.ML
Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods
Machine Learning and Optimization Laboratory (MLO), EPFL（机器学习与优化实验室（MLO），EPFL）
本文提出了一种统一框架，用于分析随机和方差减少的立方牛顿方法，提供了全局复杂性保证，并改进了大规模问题的计算效率。
2026-10-09 cs.LG math.OC
Cubic Regularized Newton Method with Variance Reduction for Finite-sum Non-convex Problems
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；TSE（图卢什经济学院）
本文提出一种结合粗粒随机框架和终端同伦细化的方差减少立方牛顿法，用于解决有限和非凸优化问题，在平均梯度平滑和平均均方Hessian平滑假设下，达到(ε,√(L₂ε))二阶 stationary 点，总有限和 oracle 复杂度为n+~O(n^{1/2}ε^{-3/2})。
2026-04-27 math.OC
A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks
Massachusetts Institute of Technology（麻省理工学院）
提出了一种求解网络上大规模凸优化的分布式正则化牛顿算法。该方法只需要本地计算和通信，适用于任意网络拓扑结构的联邦学习应用。当费用函数为凸函数且具有Lipschitz梯度和Hessian函数时，证明了$O(k^{{-}3})$的收敛速度，其中$k$为迭代次数.我们还提供了网络相关的界限，在算法的每一步所需的通信。我们提供了数值实验，验证我们的理论结果。
2020-07-07 cs.LG cs.MA math.OC
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
随机方差缩减算法最近变得流行，用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法（R-SQN-VR）。平均，添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下，我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下，该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
Comparison of two numerical methods for Riemannian cubic polynomials on Stiefel manifolds
本文比较了Stiefel流形上积分黎曼三次多项式的调整后de Casteljau算法与辛积分器两种数值方法，通过n=3、k=1和k=2的数值实验分析各自优势。
2024-04-30 cs.NA cs.SY eess.SY
