Revisiting the Sample Complexity of Sparse Spectrum Approximation of Gaussian Processes
Carnegie-Mellon University（卡内基梅隆大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
我们引入了一个新的可扩展的近似高斯过程的可证明的保证，同时保持在其整个参数空间。我们的近似是从稀疏谱高斯过程（SSGP）的改进的样本复杂性分析。特别是，我们的分析表明，在一定的数据解开条件下，SSGP的预测和模型证据（用于训练）可以很好地近似于具有低样本复杂度的完整GP。我们还开发了一个新的自动编码算法，找到一个潜在的空间，解开潜在的输入坐标到分离良好的集群，这是服从我们的样本复杂性分析。我们验证了我们提出的方法在几个基准有希望的结果支持我们的理论分析。
2020-11-17 cs.LG stat.ML
A Riemannian Newton Trust-Region Method for Fitting Gaussian Mixture Models
University of Trier（特里尔大学）
高斯混合模型是数据科学和统计学中的一个强大工具，主要用于聚类和密度近似。估计模型参数的任务在实践中通常通过期望最大化（EM）算法来解决，该算法具有简单性和每次迭代成本低的优点。然而，EM收敛缓慢，如果有很大的份额隐藏信息或重叠的集群。高斯混合模型流形优化的最新进展引起了越来越多的关注。我们引入了一个明确的公式的黎曼Hessian高斯混合模型。在此基础上，我们提出了一种新的黎曼牛顿信赖域方法，该方法在运行时间和迭代次数方面都优于当前的方法。我们将我们的方法应用于聚类问题和密度近似任务。与现有方法相比，我们的方法对于具有大量隐藏信息的数据非常强大。
2022-08-24 cs.LG math.OC stat.CO
Disentangling to Cluster: Gaussian Mixture Variational Ladder Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
在聚类中，我们通常为每个数据点输出一个聚类变量。然而，情况并不一定是只有一种方法可以将给定的数据集划分为集群组件。例如，人们可以根据颜色或类型对对象进行聚类。不同的属性形成了一个层次结构，我们可以希望在其中任何一个中进行集群。通过将一些数据集的学习潜在表示分解为不同属性的不同层，我们可以在这些潜在空间中进行聚类。我们称之为“解纠缠聚类”。扩展变分梯形自动编码器（Zhao等人，2017），我们提出了一种聚类算法，VLAC，在SVHN的测试集上，它在数字身份的聚类精度上优于高斯混合DGM。我们还展示了学习集群联合在许多层的层次结构的潜在变量的数据，并显示组件明智的生成从这个层次模型。
2019-12-04 cs.LG stat.ML
Disentangling Disentangled Representations: Towards Improved Latent Units via Diffusion Models
Yonsei University（延世大学）
针对无监督解耦表征学习中扩散模型应用探索有限的问题，提出动态高斯锚定和跳跃丢弃技术，提升潜在单元独立性与模型适配性，实现最优解耦性能及下游任务优势。
2024-10-31 cs.AI cs.CV cs.LG
A Gauss-Newton Approach for Min-Max Optimization in Generative Adversarial Networks
IIIT Hyderabad（印度国际信息技术研究院海得拉巴分校）；Microsoft（微软公司）
提出一种改进 Gauss-Newton 并用 Sherman-Morrison 求逆的 GAN 一阶最小-最大优化方法，在多个图像数据集上实现更高保真度、多样性及最优 CIFAR10 IS，且计算成本接近一阶方法。
2024-04-10 cs.LG cs.NA math.NA
Efficient Subsampled Gauss-Newton and Natural Gradient Methods for Training Neural Networks
Columbia University（哥伦比亚大学）
我们提出了高斯-牛顿和自然梯度方法的实用Levenberg-Marquardt变体，用于解决在训练涉及大量变量和庞大数据集的深度神经网络时出现的非凸优化问题。我们的方法使用子采样高斯-牛顿或Fisher信息矩阵和子采样梯度估计（完全随机）或全梯度（半随机），在后一种情况下，我们证明收敛到一个稳定点。通过使用谢尔曼-莫里森-伍德伯里公式与自动微分（反向传播），我们展示了我们的方法如何可以有效地执行。最后，数值结果表明我们所提出的方法的有效性。
2019-06-05 cs.LG stat.ML
Deep Neural Network Learning with Second-Order Optimizers -- a Practical Study with a Stochastic Quasi-Gauss-Newton Method
Shell International Exploration & Production, Inc.（壳牌国际勘探与生产公司）
监督式深度学习中的训练在计算上要求很高，并且收敛行为通常不被完全理解。我们介绍并研究了二阶随机拟高斯-牛顿（SQGN）优化方法，该方法结合了随机拟牛顿方法，高斯-牛顿方法和方差缩减的思想来解决这个问题。SQGN提供了出色的准确性，而不需要实验许多超参数配置，考虑到组合的数量和每个训练过程的成本，这通常在计算上是禁止的。我们讨论了SQGN与TensorFlow的实现，并将其收敛性和计算性能与使用MNIST基准和地球科学大规模地震层析成像应用程序的一阶方法进行了比较。
2020-06-30 cs.LG stat.ML
A Gauss-Newton Method for Markov Decision Processes
University College London（伦敦大学学院）
近似牛顿方法是一种标准的优化工具，其目的是保持牛顿方法的优点，例如快速收敛，同时减轻其缺点，例如计算昂贵的计算或逆Hessian的估计。在这项工作中，我们研究近似牛顿方法的政策优化马尔可夫决策过程（MDP）。我们首先分析了MDP目标函数的Hessian结构。我们表明，像梯度，海森表现出有用的结构的背景下，MDPs和我们使用这种分析，以激励两个高斯-牛顿方法MDPs。与非线性最小二乘法的高斯-牛顿法一样，这些方法涉及通过忽略海森函数中难以估计的某些项来近似海森函数。近似Hessians具有理想的性能，如负定性，我们证明了几个重要的性能保证，包括保证上升方向，仿射变换的参数空间的不变性，收敛保证。最后，我们提供了一个统一的角度来看，关键的政策搜索算法，证明我们的第二个高斯-牛顿算法是密切相关的EM算法和自然梯度上升应用于MDP，但在实践中表现得更好的一系列具有挑战性的领域。
2015-08-06 cs.AI cs.LG stat.ML
ViViT: Curvature access through the generalized Gauss-Newton's low-rank structure
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
Hessian或其广义Gauss-Newton（GGN）近似形式的曲率对于依赖局部模型的损失来训练、压缩或解释深度网络的算法是有价值的。现有的方法基于隐式乘法通过自动微分或克罗内克因子块对角近似不考虑噪声的小批量。我们提出了ViViT，曲率模型，利用GGN的低秩结构，而无需进一步的近似。它允许有效的计算特征值，特征向量，以及每个样本的一阶和二阶方向导数。该表示在一次向后传递中与梯度并行计算，并提供了细粒度的成本-精度权衡，这使得它可以扩展。我们证明了这一点，通过进行性能基准测试和证实ViViT的有用性，通过研究噪声对GGN的结构特性的影响，在神经网络训练。
2022-02-10 cs.LG stat.ML
A Majorization-Minimization Gauss-Newton Method for 1-Bit Matrix Completion
University of California, Riverside（加利福尼亚大学河滨分校）；Tencent（腾讯）；Rice University（莱斯大学）；Weizmann Institute of Science（魏茨曼科学研究所）
提出MMGN方法解决1-bit矩阵补全问题，通过majorization-minimization原理转化为标准低秩子问题并用Gauss-Newton求解，实验证明其比现有方法更准确、快速且对spikiness不敏感。
2024-09-23 cs.LG stat.ML
Incremental Gauss-Newton Descent for Machine Learning
IMT School for Advanced Studies Lucca（利卡学院高级研究学院）
针对标量输出损失逐样本评估的场景，提出增量高斯-牛顿下降法（IGND），通过闭式标量归一化随机梯度实现无需存储或求解曲率矩阵的高效更新，并证明其收敛性。
2026-05-26 cs.LG math.OC stat.ML
Exact Gauss-Newton Optimization for Training Deep Neural Networks
DYSCO (Dynamical Systems, Control, and Optimization)（DYSCO（动态系统、控制与优化））；IMT School for Advanced Studies Lucca, Italy（IMT学校（卢塞拉，意大利））
提出精确高斯-牛顿（EGN）随机二阶优化算法，利用低秩线性代数高效计算下降方向，并证明收敛性，实验显示其泛化性能优于或匹配多种主流优化器。
2025-10-15 cs.LG stat.ML
Theoretical characterisation of the Gauss-Newton conditioning in Neural Networks
University of Basel（巴塞尔大学）；ETH Zürich（苏黎世联邦理工学院）
该研究首次从理论上刻画了神经网络中高斯-牛顿矩阵的条件数，建立了深度线性网络和两层ReLU网络的紧界，并扩展到残差连接和卷积层，实证验证了理论结果。
2025-02-27 cs.LG stat.ML
On the Promise of the Stochastic Generalized Gauss-Newton Method for Training DNNs
ETH Zurich（苏黎世联邦理工学院）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
在早期关于深度学习的Hessian-free方法的工作之后，我们研究了用于训练DNN的随机广义高斯-牛顿方法（SGN）。SGN是一种二阶优化方法，具有高效的迭代，我们证明通常需要比标准SGD少得多的迭代来收敛。顾名思义，SGN对Hessian矩阵使用高斯-牛顿近似，并且为了计算近似搜索方向，依赖于结合正向和反向自动微分的共轭梯度法。尽管SGD及其一阶变体取得了成功，尽管基于高斯-牛顿海森近似的无海森方法在理论上已经被提出作为训练DNN的实用方法，但我们认为SGN在大的小批量场景中有很多未被发现的潜力。对于这种设置，我们证明了SGN不仅在迭代次数方面大大优于SGD，而且在运行时间方面也有所改善。这是通过我们在Theano深度学习平台中提出的高效，易于使用和灵活的SGN实现的，与Tensorflow和Pytorch不同，它支持向前自动微分。这使研究人员能够进一步研究和改进这种有前途的优化技术，并希望重新考虑将随机二阶方法作为训练DNN的竞争性优化技术;我们还希望SGN的承诺可能导致将前向自动微分添加到Tensorflow或Pytorch中。我们的结果还表明，在大的小批量场景中，SGN在其超参数方面比SGD更鲁棒（我们从来没有调整过我们的基准测试的步长！），这简化了超参数调整的昂贵过程，而超参数调整对于一阶方法的性能是至关重要的。
2020-06-09 cs.LG stat.ML
Non-Asymptotic Optimization and Generalization Bounds for Stochastic Gauss-Newton in Overparameterized Models
针对过参数化深度神经网络回归训练问题，分析带Levenberg-Marquardt阻尼和小批量采样的随机高斯-牛顿法，建立依赖批量大小、网络宽深的有限时间收敛界，推导基于均匀稳定性的非渐近泛化界，明确曲率等对泛化的影响及有利泛化条件。
2025-11-12 cs.LG math.OC stat.ML
Gauss-Newton Accuracy and Indefinite Hessians: Uniform Coexistence in Low-Cost Sets
研究岭正则化非线性最小二乘中Gauss-Newton曲率精度，证明低成本集合中全局极小值点与不定Hessian点共存，并给出尖锐相对误差界与结构性质。
2026-10-08 cs.LG stat.ML
Practical Gauss-Newton Optimisation for Deep Learning
提出了一种有效的块对角逼近前馈神经网络的高斯-牛顿矩阵。我们的结果- ING算法是竞争力对国家的最先进的一阶优化方法，有时显着改善优化性能。与一阶方法不同，优化参数的超参数调整通常是一个费力的过程，我们的方法可以提供良好的性能，即使使用默认设置。我们的工作的一个副作用是，对于分段线性传递函数，网络目标函数可以没有可区分的局部最大值，这可以部分解释为什么这样的传递函数有利于有效的优化。
2017-06-13 stat.ML
Extended Gauss-Newton and ADMM-Gauss-Newton Algorithms for Low-Rank Matrix Optimization
在本文中，我们发展了一个著名的高斯-牛顿（GN）方法的变种，以解决一类涉及低秩矩阵变量的非凸最优化问题。相对于标准GN方法，我们的算法允许处理一般光滑凸目标函数。我们表明，在温和的条件下，该算法的全局和局部收敛到原问题的一个稳定点。我们还表明，经验GN算法实现更高的精度比交替最小化算法（AMA）的解决方案。然后，我们指定我们的GN计划来处理对称的情况下，并证明其收敛性，AMA是不适用的。接下来，我们将我们的GN计划到交替方向法的乘法器（ADMM）开发ADMM-GN算法。我们证明了，在温和的条件和适当的选择的罚参数，我们的ADMM-GN全局收敛到原问题的一个稳定点。最后，我们提供了几个数值实验来说明所提出的算法。我们的研究结果表明，新的算法有令人鼓舞的性能相比，现有的方法。
2020-10-26 math.OC stat.ML
A Riemannian Optimization Perspective of the Gauss-Newton Method for Feedforward Neural Networks
Department of Mathematics RWTH Aachen University（数学系RWTH亚琛大学）
本文从黎曼优化视角出发，研究了高斯-牛顿方法在前馈神经网络训练中的收敛性，提出自适应正则化方案以实现快速收敛。
2025-12-22 cs.AI cs.LG cs.SY
Stochastic Gauss-Newton Algorithms for Nonconvex Compositional Optimization
针对一类非凸随机组合最优化问题，提出了两种新的随机高斯-牛顿算法。我们认为在标准假设下的期望和有限和设置，并使用经典的随机和SARAH估计的逼近函数值和雅可比。在期望的情况下，我们建立了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度，以达到期望中的一个稳定点，并估计了函数值及其雅可比矩阵的随机预言调用的总数，其中$\varepsilon$是期望的精度。在有限和的情况下，我们还估计了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度和总的oracle调用的高概率。据我们所知，这是第一次为随机高斯-牛顿方法建立这样的全局随机预言复杂性。最后，我们通过两个数值例子来说明我们的理论结果在合成和真实的数据集。
2020-07-02 math.OC stat.ML
Gram-Gauss-Newton Method: Learning Overparameterized Neural Networks for Regression Problems
Peking University（北京大学）
随机梯度下降（SGD）等一阶方法目前是训练深度神经网络的标准算法。二阶方法，尽管其更好的收敛速度，很少在实践中使用，由于在计算二阶信息的计算成本过高。在本文中，我们提出了一种新的Gram-Gauss-Newton（GGN）算法来训练深度神经网络，以解决平方损失的回归问题。我们的方法从神经切线核（NTK）的神经网络优化和核回归之间的联系中得到启发。与典型的二阶方法在每次迭代中都有很大的计算开销不同，GGN与SGD等一阶方法相比只有很小的开销。我们还给出了理论结果，证明了对于足够宽的神经网络，广义高斯网络的收敛速度是\emph{quadratic}。此外，我们提供了小批量GGN算法的收敛性保证，这是，据我们所知，第一个收敛结果的小批量版本的二阶方法过参数化神经网络。回归任务的初步实验表明，对于训练标准网络，我们的GGN算法收敛速度更快，性能比SGD更好。
2019-09-25 cs.LG math.OC stat.ML
Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；ICSI（国际计算机科学研究所）
在二阶优化中，一个潜在的瓶颈可能是在每次迭代时计算优化函数的黑塞矩阵。随机草图已成为一种强大的技术，用于构建估计的海森，可用于执行近似牛顿步骤。这涉及乘以随机草图绘制矩阵，这引入了草图绘制的计算成本与优化算法的收敛速度之间的折衷。一个理论上理想的，但实际上太昂贵的选择是使用一个密集的高斯草图矩阵，它产生无偏估计的确切牛顿步骤，并提供强大的问题无关的收敛保证。我们表明，高斯草图矩阵可以大大稀疏，显着降低计算成本的草图，而不会影响其收敛性能。这种方法被称为Newton-LESS，基于最近引入的草图技术：LESS分数稀疏（LESS）嵌入。我们证明了牛顿-LESS享有几乎相同的问题独立的局部收敛速度高斯嵌入，不只是常数的因素，但甚至下降到低阶的条款，为一大类的优化任务。特别是，这导致一个新的国家的最先进的收敛结果的迭代最小二乘求解器。最后，我们扩展LESS嵌入，包括均匀稀疏的随机符号矩阵，可以有效地实现，并在数值实验中表现良好。
2021-07-15 cs.DS cs.LG math.OC
Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence
University of Chicago（芝加哥大学）；Duke University（杜克大学）
本文针对含噪线性测量下的低 Tucker 秩张量估计问题，提出黎曼高斯-牛顿方法，首次证明其在含噪环境下的局部二次收敛性，并给出匹配的误差上下界以证明统计最优性，通过张量回归和张量 SVD 应用及仿真验证了理论结果。
2023-07-09 cs.LG cs.NA math.NA
RGNMR: A Gauss-Newton method for robust matrix completion with theoretical guarantees
Weizmann Institute of Science（魏茨曼科学研究所）
RGNMR是一种具有理论保证的鲁棒矩阵补全方法，通过高斯-牛顿线性化和异常值移除技术，有效解决低秩矩阵补全问题，尤其在处理少量观测条目、秩过参数化和病态矩阵方面表现优异。
2025-12-14 cs.LG cs.NA math.NA
