Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行，我们使用较低级别的价值函数重新制定的双层计划，并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下，我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法，以解决该方法的缺点，然后提出，导致替代品，如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子，从最近发布的双层优化库（BOLIB）比较我们的方法在不同的情况下的性能，并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
The divergence of the BFGS and Gauss Newton Methods
我们提出的例子发散的BFGS和高斯牛顿方法。这些例子的目标函数具有有界水平集和其他属性，这些属性与最近在这本杂志上发表的例子有关，如沿着搜索线的单位步长和凸性。作为这些其他示例，新示例中的迭代、函数值和梯度适合于我们先前工作{ \it On the divergence of line搜索法，Comput. Appl.Math.vol.26no.1（2007）}，其也给出了牛顿法的发散的例子。
2013-09-30 math.OC
Local convergence analysis of a proximal Gauss-Newton method under a majorant condition
本文研究了求解惩罚非线性最小二乘问题的近似高斯-牛顿法。在惩罚最小二乘问题所对应的函数的导数满足优势条件的假设下，得到了一个局部收敛分析。我们的分析提供了一个明确的关系之间的优势功能和功能与惩罚最小二乘问题。两个重要的特殊情况下的收敛性也来自。
2013-04-24 math.OC
Local convergence of the Gauss-Newton method for injective-overdetermined systems of equations under a majorant condition
在一个优势条件下，给出了求解单射超定组的Gauss-Newton方法的局部收敛性分析。在不对优函数的导数作凸性假设的情况下，得到了该方法的收敛性和收敛速度。得到了最优收敛半径、解的最大唯一性范围及其它一些特殊情况。
2013-03-20 math.OC
A linearly convergent Gauss-Newton subgradient method for ill-conditioned problems
分析了一种优化复合函数$h \circ c$的预条件次梯度方法，其中$h$是局部Lipschitz函数，$c$是光滑非线性映射.我们证明了当$c$满足常秩性质且$h$在$c$的像上是半光滑的和尖锐的时，该方法线性收敛.与标准次梯度方法相比，它的预言复杂性在$c$的重新参数化下是不变的。
2022-12-26 math.OC
A Globally Convergent Penalty-Based Gauss-Newton Algorithm with Applications
我们提出了一个全局收敛的高斯-牛顿算法，用于寻找非凸和可能非光滑最优化问题的局部最优解。我们提出的算法是基于高斯-牛顿型迭代的非光滑处罚制定的原始问题。我们建立了一个整体收敛速度从任何初始点的问题的一个稳定点，同时使用一个精确的惩罚制定。在一些更严格的条件下，我们还得到了该格式的局部平方收敛。我们应用我们提出的算法来解决的交流最优潮流问题的网状电力网络，这是一个基本的应用在电力系统工程。我们验证了所提出的方法的性能，通过显示与IPOPT，一个完善的求解器可比的行为。我们执行我们的最优潮流问题，这是来自MATPOWER库的几个代表性的实例验证。
2020-12-07 math.OC
Gauss-Newton Runge-Kutta Integration for Efficient Discretization of Optimal Control Problems with Long Horizons and Least-Squares Costs
本文提出高斯-牛顿龙格-库塔积分器，通过高阶代价积分和高斯-牛顿Hessian近似，结合L2惩罚约束，在acados中高效求解长时域最小二乘最优控制问题，显著降低次优性且几乎不增加计算时间。
2023-10-31 math.OC
Stochastic Gauss-Newton Algorithms for Online PCA
本文提出了一种随机高斯-牛顿（SGN）算法来研究在线主成分分析（OPCA）问题。与现有的OPCA求解器相比，SGN对输入数据和算法参数的变化具有更好的鲁棒性。此外，转向基于近似目标函数的数据流的评估，我们开发了一种新的自适应步长SGN策略（AdaSGN），它不需要输入数据的先验知识，并通过数值计算说明其性能与SGN采用手动调整的递减步长。在不假设特征间隙为正的情况下，利用扩散逼近论，我们还建立了SGN在给定步长下的全局收敛速度和最优收敛速度。
2022-10-24 math.OC
A Derivative-Free Gauss-Newton Method
我们提出了DFO-GN，一个导数免费版本的高斯-牛顿法求解非线性最小二乘问题。与无导数优化中常见的一样，DFO-GN使用函数值的插值来构建目标的模型，然后在信赖域框架内使用该模型来给出需要$O(ε^{-2})$迭代的全局收敛算法，以在公差$ε$内达到近似一阶临界性。该算法是[H. Zhang，中国古柏A. R. Conn和K.张文，最小二乘最小化算法的一种新算法，北京：计算机科学出版社，20（2010），pp. 3555-3576]，其中我们用线性模型替换每个残差的二次模型。我们证明了DFO-GN在客观评估方面与Zhang等人的方法相比，具有更快的运行时间和更高的可扩展性。
2017-10-30 math.OC
Error whitening: Why Gauss-Newton outperforms Newton
University of British Columbia（不列颠哥伦比亚大学）；University of California, Berkeley（加州大学伯克利分校）
本文从函数空间视角分析高斯-牛顿法优于牛顿法的原因，指出通过投影消除参数化扭曲，实现误差白化，从而在不同学习任务中表现更优。
2026-05-11 cs.LG math.OC
Parallel Newton methods for the continuous quadratic knapsack problem: A Jacobi and Gauss-Seidel tale
Federal University of Espírito Santo（圣埃斯皮里图联邦大学）；Universidade Estadual de Campinas（坎皮纳斯州立大学）
本文提出了一种改进的半光滑牛顿方法用于连续二次背包问题，通过引入Condat的初始乘数猜测和灵活的并行变体，提高了算法效率和可扩展性。
2026-05-19 math.OC
Extended Gauss-Newton and ADMM-Gauss-Newton Algorithms for Low-Rank Matrix Optimization
在本文中，我们发展了一个著名的高斯-牛顿（GN）方法的变种，以解决一类涉及低秩矩阵变量的非凸最优化问题。相对于标准GN方法，我们的算法允许处理一般光滑凸目标函数。我们表明，在温和的条件下，该算法的全局和局部收敛到原问题的一个稳定点。我们还表明，经验GN算法实现更高的精度比交替最小化算法（AMA）的解决方案。然后，我们指定我们的GN计划来处理对称的情况下，并证明其收敛性，AMA是不适用的。接下来，我们将我们的GN计划到交替方向法的乘法器（ADMM）开发ADMM-GN算法。我们证明了，在温和的条件和适当的选择的罚参数，我们的ADMM-GN全局收敛到原问题的一个稳定点。最后，我们提供了几个数值实验来说明所提出的算法。我们的研究结果表明，新的算法有令人鼓舞的性能相比，现有的方法。
2020-10-26 math.OC stat.ML
Modified Gauss-Newton Algorithms under Noise
University of Washington（华盛顿大学）；Harvard University（哈佛大学）；Google Research（谷歌研究院）
本文从理论和实验两方面对比了修正Gauss-Newton算法与梯度下降在噪声环境下的性能，刻画了二次收敛区间，并强调了随机次梯度下降在非光滑复合目标中的通用性。
2023-05-18 cs.LG math.OC
Gauss-Newton drifting extends natural gradient descent
Laboratoire d'Informatique Gaspard Monge, Université Gustave Eiffel, CNRS（加斯帕尔·蒙日计算机科学实验室，巴黎-塞纳河谷大学，法国国家科学研究中心）
本文证明在Wasserstein梯度漂移场下，用Gauss-Newton方案替代梯度下降等价于参数空间中的自然梯度下降，从而在凸性假设下为生成模型训练提供全局收敛保证。
2026-09-16 math.OC
Distributed Gauss-Newton Method for State Estimation Using Belief Propagation
针对非线性状态估计（SE）模型，提出了一种基于置信传播（BP）的分布式高斯-牛顿方法。我们工作的主要新颖性来自于将BP顺序应用于SE模型的一系列线性近似，类似于高斯-牛顿方法所做的。由此产生的迭代高斯-牛顿置信传播（GN-BP）算法可以被解释为分布式高斯-牛顿方法，具有与集中式SE相同的精度，但是，引入了BP框架的许多优点。本文提供了广泛的GN-BP算法的数值研究，提供了其收敛行为的细节，并给出了一些有用的见解，其实施。
2018-08-26 cs.IT math.IT math.OC
A Framework for Phasor Measurement Placement in Hybrid State Estimation via Gauss-Newton
在本文中，我们研究的位置相量测量单元（PMU），以提高混合状态估计通过传统的高斯-牛顿法，它使用测量从PMU设备和监控和数据采集（SCADA）系统。为了比较PMU位置的影响，我们引入了一个有用的度量，占电力系统状态估计的三个重要要求：{ \it收敛}，{ \it可观性}和{ \it性能}（COP）。我们的COP度量可以用来评估的估计性能和数值稳定性的状态估计器，这是后来用来优化PMU的位置。特别是，我们投在一个统一的配方作为一个半定规划（SDP）的最佳布局问题与整数变量和约束，保证在测量损失的情况下的可观测性。最后但并非最不重要的是，我们提出了一个松弛计划的原始整数约束SDP与随机化技术，它非常接近的最佳部署。IEEE-30和118系统的仿真证实了我们的分析，表明该方案提高了状态估计器的收敛性，同时保持最佳的渐近性能。
2013-09-19 math.OC
Modified projected Gauss-Newton method for constrained nonlinear least-squares: application to power flow analysis
本文提出一种改进的投影Gauss-Newton方法求解约束非线性最小二乘问题，通过线性化约束并添加二次正则化构建强凸子问题，证明了全局收敛性及基于KL性质的收敛速率，并在潮流分析中验证了有效性。
2025-04-01 math.OC
SGN: Sparse Gauss-Newton for Accelerated Sensitivity Analysis
我们提出了一个稀疏高斯-牛顿求解器加速灵敏度分析与应用范围广泛的平衡约束最优化问题。稠密高斯-牛顿解算器在逆问题上表现出了很好的收敛速度，但到目前为止，组装和分解相关矩阵的成本一直是一个主要的绊脚石。在这项工作中，我们展示了如何密集的高斯-牛顿海森可以转化为一个等价的稀疏矩阵，可以更有效地组装和分解。这导致了许多反问题的计算时间大大减少，我们证明了一组不同的例子。此外，我们显示之间的联系灵敏度分析和非线性规划方法的基础上拉格朗日乘子和证明等价的特定假设下，适用于我们的问题设置。
2021-07-09 cs.NA math.NA math.OC
A Gauss-Newton Method for ODE Optimal Tracking Control
针对带跟踪目标、正则化与盒约束的 ODE 最优控制问题，提出函数空间中的 Gauss–Newton 迭代法，并以梯度下降或 Riccati 方法求解线性二次子问题。
2024-05-08 math.OC
Stochastic state estimation via incremental iterative sparse polynomial chaos based Bayesian-Gauss-Newton-Markov-Kalman filter
本文提出了一种新的增量迭代Gauss-Newton-Markov-Kalman滤波方法，用于噪声测量下动态模型的状态估计。建议的过滤器的数学公式是基于一个最佳的非线性映射之间的可观察和参数（状态）空间的建设通过一个收敛序列的线性映射获得连续线性化的观测算子在高斯-牛顿的形式。为了允许稀疏形式的动力系统的自动线性化，平滑器被设计成分层设置，使得在给定预测数据集的情况下，以贝叶斯方式估计正向映射及其线性化对应物。为了提高算法的收敛性，平滑器被进一步重新制定在其增量形式，其中的当前和中间状态被同化之前的初始状态，并采取相应的后验估计作为伪测量。由于后者是随机变量，不再是确定的，新的随机迭代滤波器的设计考虑到这一点。为了校正后验结果中的偏差，该过程以预测-校正形式构建，其中预测相位用于同化噪声测量数据，而校正相位用于校正平均偏差。由此产生的过滤器进一步离散化通过时间适应稀疏多项式混沌扩展获得通过修改的Gram-Schmidt正交化或通过精心选择的非线性映射，这两者都是估计在贝叶斯的方式，通过促进稀疏的结果。通过适当选择的等概率变换，非高斯参数的时间自适应基进一步映射到多项式混沌基。最后，在一个混沌非线性Lorenz 1984系统上对所提出的方法进行了验证.
2019-09-12 math.OC
Relaxed Gauss-Newton methods with applications to electrical impedance tomography
作为二阶方法，Gauss-Newton型方法对于求解光滑分量代价大的非光滑最优化问题比一阶方法更有效。然而，这些方法往往不收敛。受非光滑正则化的非线性反问题的启发，我们提出了一种新的具有非精确松弛步长的Gauss-Newton型方法。我们证明了该方法收敛到一组不相交的临界点给定的线性化的正向算子的反问题是足够精确的。我们广泛评估的电阻抗断层成像（EIT）的方法的性能。
2020-05-12 cs.NA math.NA math.OC
Gauss-Newton Natural Gradient Descent for Shape Learning
Seminar for Applied Mathematics (SAM), D-Math, ETH Zürich（应用数学研讨会（SAM）、D-Math、苏黎世联邦理工学院）；Institute for Machine Learning, JKU Linz（机器学习研究所、杰克逊维尔大学）；ETH AI Center, ETH Zürich（苏黎世联邦理工学院人工智能中心）
高斯-牛顿自然梯度下降方法通过优化隐式神经表面和几何引导神经网络，提升形状学习的训练速度和解的准确性。
2026-02-13 cs.LG math.OC
Gauss-Newton Natural Gradient Descent for Physics-Informed Computational Fluid Dynamics
提出函数空间中的Gauss-Newton方法在PINN框架下求解Navier-Stokes方程，离散化后形成自然梯度法，在多个基准问题上达到接近单精度的相对$L^2$误差，并支持无矩阵高效扩展。
2024-02-16 math.OC physics.comp-ph
Stochastic Gauss-Newton Algorithms for Nonconvex Compositional Optimization
针对一类非凸随机组合最优化问题，提出了两种新的随机高斯-牛顿算法。我们认为在标准假设下的期望和有限和设置，并使用经典的随机和SARAH估计的逼近函数值和雅可比。在期望的情况下，我们建立了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度，以达到期望中的一个稳定点，并估计了函数值及其雅可比矩阵的随机预言调用的总数，其中$\varepsilon$是期望的精度。在有限和的情况下，我们还估计了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度和总的oracle调用的高概率。据我们所知，这是第一次为随机高斯-牛顿方法建立这样的全局随机预言复杂性。最后，我们通过两个数值例子来说明我们的理论结果在合成和真实的数据集。
2020-07-02 math.OC stat.ML
The q-Gauss-Newton method for unconstrained nonlinear optimization
q-高斯-牛顿算法是基于目标函数残差的平方误差和最小化来求解非线性无约束最优化问题的迭代过程。该算法的主要优点是用一阶q-雅可比矩阵逼近q-二阶导数矩阵。因此，该算法比q-最速下降算法快得多。q-GN方法的收敛性只有在初始值足够接近解时才有保证。本文通过三个例子说明了参数q对非线性问题求解的影响。结果表明，q-GD算法能找到一个最优解，加快了迭代过程。
2021-05-27 cs.CC math.OC
A Gauss-Newton Method with No Additional PDE Solves Beyond Gradient Evaluation for Large-Scale PDE-Constrained Inverse Problems
Colorado School of Mines（科罗拉多矿业学院）；University of California Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出了一种无需额外PDE求解的Gauss-Newton方法，用于解决大规模PDE约束反问题，提升了FWI的计算效率与收敛速度。
2026-03-06 cs.NA math.NA math.OC
Convergence analysis of a proximal Gauss-Newton method
提出一种扩展的高斯-牛顿算法，在广义Lipschitz假设下求解惩罚非线性最小二乘问题的局部极小值，获得局部收敛结果及收敛球半径估计，并应用于约束非线性方程组求解。
2011-03-02 cs.NA cs.SY eess.SY
A Scalable Interior-Point Gauss-Newton Method for PDE-Constrained Optimization with Bound Constraints
本文针对带边界约束的PDE约束优化问题，提出基于全空间内点高斯-牛顿法的可扩展求解框架，并设计两种谱相关预条件子，使线性求解迭代次数与离散化和内点病态性无关，实现并行可扩展求解。
2024-10-19 cs.NA math.NA math.OC
Incremental Gauss-Newton Descent for Machine Learning
IMT School for Advanced Studies Lucca（利卡学院高级研究学院）
针对标量输出损失逐样本评估的场景，提出增量高斯-牛顿下降法（IGND），通过闭式标量归一化随机梯度实现无需存储或求解曲率矩阵的高效更新，并证明其收敛性。
2026-05-26 cs.LG math.OC stat.ML
Inexact Gauss-Newton methods with matrix approximation by sampling for nonlinear least-squares and systems
本研究开发并分析了用于非线性最小二乘与方程组的随机不精确Gauss-Newton方法，通过矩阵采样构建随机模型，推导了最坏情况期望迭代次数以指导采样策略，并给出了数值验证结果。
2024-12-08 cs.NA math.NA math.OC
Convergence and Applications of a Gossip-based Gauss-Newton Algorithm
University of California, Davis（加州大学戴维斯分校）
提出一种基于Gossip的分布式高斯-牛顿算法（GGN），适用于非凸目标问题，分析其收敛充分条件，数值实验表明性能接近集中式算法且在网络故障时性能优雅降级，优于其他分布式一阶方法。
2013-06-25 cs.DC cs.NA math.NA
Distributed Gauss-Newton Method for AC State Estimation: A Belief Propagation Approach
在本文中，我们提出了一个解决方案，在电力系统中的交流状态估计问题，使用完全分布式高斯牛顿法。所提出的方法被放置在因子图和信念传播算法的上下文中，并推导出沿因子图交换的信念传播消息的封闭形式的表达式。所得到的算法提供了与传统的加权最小二乘状态估计相同的解决方案。使用一个简单的例子，我们提供了一个逐步介绍所提出的算法。最后，我们讨论了收敛行为使用IEEE 14总线测试情况。
2016-05-26 cs.IT math.IT math.OC
Incremental Gauss--Newton Methods with Superlinear Convergence Rates
School of Data Science, Fudan University（复旦大学数据科学学院）；National University of Singapore（新加坡国立大学）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）
本文提出了一种增量高斯-牛顿方法及其小批量扩展，用于求解具有Hölder连续雅可比矩阵的大规模非线性方程，实现了显式的超线性收敛速率，并通过数值实验验证了其优势。
2024-07-03 cs.LG math.OC
Dual Gauss-Newton Directions for Deep Learning
Google DeepMind（谷歌DeepMind）
本文提出通过对偶形式计算基于部分线性化的方向预言机，作为随机梯度的直接替代，提升深度学习优化效率并揭示新见解。
2023-10-27 cs.LG math.OC
Gauss-Newton meets PANOC: A fast and globally convergent algorithm for nonlinear optimal control
本研究提出一种结合高斯-牛顿方向的PANOC变体算法，将其高斯-牛顿步转化为LQR问题通过Riccati递推高效求解，在最优控制基准问题上速度是传统L-BFGS变体PANOC的两倍以上，且性能随时域长度增加有良好扩展性。
2022-12-08 cs.SY eess.SY math.OC
Non-Asymptotic Optimization and Generalization Bounds for Stochastic Gauss-Newton in Overparameterized Models
针对过参数化深度神经网络回归训练问题，分析带Levenberg-Marquardt阻尼和小批量采样的随机高斯-牛顿法，建立依赖批量大小、网络宽深的有限时间收敛界，推导基于均匀稳定性的非渐近泛化界，明确曲率等对泛化的影响及有利泛化条件。
2025-11-12 cs.LG math.OC stat.ML
A Stochastic Iteratively Regularized Gauss-Newton Method
本文提出随机迭代正则化高斯-牛顿方法（SIRGNM），通过小批量随机草图化扩展经典反问题算法，在二维椭圆PDE实验中以相近精度显著降低计算时间。
2024-09-19 cs.NA math.NA math.OC
A Randomised Subspace Gauss-Newton Method for Nonlinear Least-Squares
University of Oxford（牛津大学）；The Alan Turing Institute for Data Science（艾伦·图灵数据科学研究所）
提出了一种求解非线性最小二乘最优化问题的随机子空间高斯-牛顿（R-SGN）算法，该算法在变量域中使用残差的草图雅可比矩阵，并在每次迭代中求解一个简化的线性最小二乘。一个次线性的全局收敛速率的结果，提出了一个信赖域变体的R-SGN，以高概率，它匹配的精度公差的顺序确定性的对应结果。有前途的初步数值结果，提出了R-SGN逻辑斯谛回归和非线性回归问题的CUTEst集合。
2022-11-10 cs.LG math.OC
Newton based Stochastic Optimization using q-Gaussian Smoothed Functional Algorithms
我们提出了第一个q-高斯平滑函数（SF）估计的海森和第一个基于牛顿的随机最优化算法，估计海森和梯度的目标函数使用q-高斯扰动。我们的算法只需要两个系统仿真（无论参数尺寸）和估计的梯度和海森在每个更新时期使用这些。我们还提出了一个算法的收敛性证明。在最近的一项相关工作中（Ghoshdastidar等人，2013），提出了基于q-高斯扰动的梯度SF算法。我们的工作扩展了以前的工作平滑的功能算法一般化的扰动分布的类，在文献中报道的SF算法的工作，原来是特殊情况下的q-高斯分布。除了研究我们的算法的收敛性分析，我们还显示了几个数值模拟的排队网络模型的结果，说明所提出的方法的意义。特别地，我们观察到，与具有高斯（Bhatnagar，2007）和柯西扰动的牛顿SF算法以及梯度q-Gaussian SF算法（Ghoshdastidar等人，2013年）。
2014-05-19 cs.IT math.IT math.OC
Randomized Quasi-Gauss--Newton Methods for Solving General Nonlinear Equations
本文提出基于格拉姆矩阵近似的随机拟高斯-牛顿方法，可处理欠定与超定一般非线性方程，欠定情形下局部超线性收敛到最优解，超定情形下无依赖条件数收敛到驻点，优于现有拟牛顿方法。
2026-08-28 cs.NA math.NA math.OC
Convergence Analysis of a Cooperative Diffusion Gauss-Newton Strategy
本文研究了一种合作扩散Gauss-Newton（GN）方法的收敛性能。GN方法由于其计算量比牛顿法小，被广泛用于求解非线性最小二乘问题（NLLS）。该扩散GN收集网络上的时空信息的多样性，用于本地更新。由于传统GN是一种时间迭代法，需要求解网络范围内的NLLS，为了解决收敛性分析的难题，首先考虑在时空尺度上建立全局递归关系。其次，推导出的递归关系的连续两次迭代之间的网络范围内的偏差是模糊的，由于下降的差异在GN更新步骤之间的两个版本的合作和非合作的不确定性。因此，一个重要的工作是推导这种差异的有界性条件。最后，基于时空递归关系和离散动力系统的稳态平衡理论，得到了算法收敛的充分条件，这些条件需要良好的初始猜测、合理的步长值和网络连通性。这些分析为基于扩散GN方法的应用提供了指导。
2019-03-05 cs.DC math.OC
A Riemannian Optimization Perspective of the Gauss-Newton Method for Feedforward Neural Networks
Department of Mathematics RWTH Aachen University（数学系RWTH亚琛大学）
本文从黎曼优化视角出发，研究了高斯-牛顿方法在前馈神经网络训练中的收敛性，提出自适应正则化方案以实现快速收敛。
2025-12-22 cs.AI cs.LG cs.SY
Distributed State Estimation for AC Power Systems using Gauss-Newton ALADIN
ShanghaiTech University（上海科技大学）；Karlsruhe Institue of Technology（卡尔斯鲁厄理工学院）
本文提出了一种结构利用算法，用于分布式解决非凸电力系统状态估计问题，通过改进的Augmented Lagrangian Alternating Direction Inexact Newton方法，高效处理非线性问题，并在IEEE 30节点系统中验证了其在复杂网络状态估计中的有效性。
2019-03-21 cs.SY eess.SY math.OC
Gauss-Newton Temporal Difference Learning with Nonlinear Function Approximation
Center for Data Science, Peking University（北京大学数据科学中心）；National University of Singapore（新加坡国立大学）；Beijing International Center for Mathematical Research, Peking University（北京国际数学研究中心（北京大学））
本文提出高斯-牛顿时序差分学习方法，通过高斯-牛顿步骤优化均方贝尔曼误差变体，在非线性函数逼近下实现更优样本复杂度，并在多个强化学习基准上验证其收敛更快、奖励更高。
2024-04-01 cs.LG math.OC
Damped Gauss Newton Search for Multi Metric Hyperparameter Optimization
本文提出一种多目标阻尼高斯-牛顿超参数搜索方法，通过有限差分雅可比和Tikhonov正则化实现定向更新，在乳腺癌数据集上匹配网格搜索精度，但整体性能未稳定超越随机搜索或TPE。
2026-09-29 cs.LG math.OC
An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
ELLIS Institute Tübingen（埃利斯研究所蒂宾根分所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；Meta
本文提出一种基于非负损失平方根重构的自适应随机梯度方法，利用高斯-牛顿或Levenberg-Marquardt步长实现自动步长调节，在凸与非凸情形下均具有严格收敛保证且无需Lipschitz常数。
2024-07-05 cs.LG math.OC
Imitation Learning from Nonlinear MPC via the Exact Q-Loss and its Gauss-Newton Approximation
University of Freiburg（弗莱堡大学）
提出基于Q函数的损失及其高斯-牛顿近似，通过模仿学习训练非线性MPC策略，显著减少约束违反并保持或降低闭环成本。
2023-04-03 cs.LG math.OC
Rethinking Gauss-Newton for learning over-parameterized models
Université Paris-Saclay（巴黎萨克雷大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
该研究探究平均场情形下过参数化单隐层网络优化中Gauss-Newton法的全局收敛性与隐式偏差，证明其收敛快于梯度下降，发现小方差随机初始化加小步长可带来良好泛化，揭示了收敛速度与泛化能力的权衡关系。
2023-12-12 cs.LG math.OC
Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks
IMT School for Advanced Studies Lucca（卢cca高等研究院）；Faculty of Mathematics, University of Vienna（维也纳大学数学学院）
本文研究一种正则化广义高斯-牛顿方法，利用广义自协调函数平滑惩罚项，为过参数化两层神经网络提供自适应学习率选择，并证明其收敛性，最终有效提升了模型的泛化能力。
2024-04-23 cs.LG math.OC
Square Root Gauss-Newton iLQR
Waabi Innovation Inc.（瓦比创新公司）
本文提出平方根Gauss-Newton iLQR，利用代价函数的加权最小二乘结构，使反向传播每步仅需一次QR分解，直接提取反馈增益与Cholesky因子，显著提升数值稳定性。
2026-09-21 cs.RO math.OC
Gram-Gauss-Newton Method: Learning Overparameterized Neural Networks for Regression Problems
Peking University（北京大学）
随机梯度下降（SGD）等一阶方法目前是训练深度神经网络的标准算法。二阶方法，尽管其更好的收敛速度，很少在实践中使用，由于在计算二阶信息的计算成本过高。在本文中，我们提出了一种新的Gram-Gauss-Newton（GGN）算法来训练深度神经网络，以解决平方损失的回归问题。我们的方法从神经切线核（NTK）的神经网络优化和核回归之间的联系中得到启发。与典型的二阶方法在每次迭代中都有很大的计算开销不同，GGN与SGD等一阶方法相比只有很小的开销。我们还给出了理论结果，证明了对于足够宽的神经网络，广义高斯网络的收敛速度是\emph{quadratic}。此外，我们提供了小批量GGN算法的收敛性保证，这是，据我们所知，第一个收敛结果的小批量版本的二阶方法过参数化神经网络。回归任务的初步实验表明，对于训练标准网络，我们的GGN算法收敛速度更快，性能比SGD更好。
2019-09-25 cs.LG math.OC stat.ML
A Gauss-Newton Approach for Min-Max Optimization in Generative Adversarial Networks
IIIT Hyderabad（印度国际信息技术研究院海得拉巴分校）；Microsoft（微软公司）
提出一种改进 Gauss-Newton 并用 Sherman-Morrison 求逆的 GAN 一阶最小-最大优化方法，在多个图像数据集上实现更高保真度、多样性及最优 CIFAR10 IS，且计算成本接近一阶方法。
2024-04-10 cs.LG cs.NA math.NA
Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；ICSI（国际计算机科学研究所）
在二阶优化中，一个潜在的瓶颈可能是在每次迭代时计算优化函数的黑塞矩阵。随机草图已成为一种强大的技术，用于构建估计的海森，可用于执行近似牛顿步骤。这涉及乘以随机草图绘制矩阵，这引入了草图绘制的计算成本与优化算法的收敛速度之间的折衷。一个理论上理想的，但实际上太昂贵的选择是使用一个密集的高斯草图矩阵，它产生无偏估计的确切牛顿步骤，并提供强大的问题无关的收敛保证。我们表明，高斯草图矩阵可以大大稀疏，显着降低计算成本的草图，而不会影响其收敛性能。这种方法被称为Newton-LESS，基于最近引入的草图技术：LESS分数稀疏（LESS）嵌入。我们证明了牛顿-LESS享有几乎相同的问题独立的局部收敛速度高斯嵌入，不只是常数的因素，但甚至下降到低阶的条款，为一大类的优化任务。特别是，这导致一个新的国家的最先进的收敛结果的迭代最小二乘求解器。最后，我们扩展LESS嵌入，包括均匀稀疏的随机符号矩阵，可以有效地实现，并在数值实验中表现良好。
2021-07-15 cs.DS cs.LG math.OC
A Family of Iterative Gauss-Newton Shooting Methods for Nonlinear Optimal Control
University of Freiburg（弗莱堡大学）
本文提出了一种非线性最优控制的迭代算法族，扩展了经典的iLQR算法，结合了简单初始化和闭环前向积分的优势，具有线性复杂度，适用于高维欠驱动机器人等模拟场景。
2017-12-11 cs.RO cs.SY eess.SY
