通过黎曼法坐标对列文伯格-马夸特方法进行高阶几何更新
Higher-Order Geometric Updates for Levenberg-Marquardt Method via Riemann Normal Coordinates
- University of Science and Technology of China（中国科学技术大学）
- Chinese Academy of Sciences（中国科学院）
- University of Chinese Academy of Sciences（中国科学院大学）
- Hefei National Laboratory（合肥国家实验室）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
研究针对非线性最小二乘优化问题，提出黎曼法坐标列文伯格-马夸特方法（RNC-LM）。通过重新表述测地线方程扩展校正阶数，构建有限步更新。该方法提高了收敛性和鲁棒性，在多任务中表现出色，如降低误差、加速计算等。
AI中文摘要：
非线性最小二乘优化在回归、物理信息神经网络和其他机器学习任务中至关重要。此类问题具有自然的几何解释，模型预测在数据空间中形成流形，而所选参数化会引入参数效应曲率，成为非线性的主要来源。这揭示了列文伯格-马夸特（LM）方法的局限性，其切线空间步长在参数坐标中作为直接更新应用。测地线加速度给出二阶校正，但其对参数效应曲率的消除仅在无穷小步长极限下才是精确的。我们提出了一种黎曼法坐标列文伯格-马夸特方法（RNC-LM），以提高有限优化步骤的一致性。通过重新表述测地线方程，RNC-LM将测地线加速度扩展到任意阶校正，并构建具有更高重参数化一致性的有限步更新。沿所得RNC曲线的线搜索控制行进距离，同时使成本接近标准LM。该方法在移动切线框架中逐阶消除残余加速度的切向分量，使实际目标减少与LM的线性模型预测更一致。在经典非线性最小二乘基准测试中，RNC-LM提高了在弯曲山谷和秩亏问题中的收敛性和鲁棒性。在反应扩散PINN故障模式基准测试中，它将相对L2误差降低到1e-3量级，并恢复了物理上有意义的解。在大规模机器学习势能面拟合任务中，它比标准LM实现了34倍的加速。
英文摘要：
Nonlinear least-squares objectives form the foundation of scientific machine-learning tasks, yet even curvature-aware optimizers remain geometrically inconsistent at finite step sizes: Levenberg-Marquardt (LM) derives its direction from local Riemannian metrics but realizes it as a straight parameter update. Here we introduce RNC-LM, which carries the LM direction along a locally constructed curved trajectory in Riemann normal coordinates. A recursive reformulation of the geodesic equation generates arbitrary finite-order corrections while reusing the same damped Gauss-Newton matrix factorization, and curve length is controlled separately from damping. On a reaction-diffusion physics-informed neural network benchmark, RNC-LM reduces relative $L^2$ errors below $8\times10^{-3}$, whereas L-BFGS, LM and LM with geodesic acceleration remain near one. On a large-scale machine-learning potential fitting task with 985,160 configurations, fourth-order RNC-LM reaches a fixed training-error target with a $34\times$ wall-clock speedup over LM. These results establish finite-step geometric realization as a distinct optimizer design principle.
