AsymptoticNG: A regularized natural gradient optimization algorithm with look-ahead strategy
Xidian University(西安电子科技大学);Huawei Technologies Co. Ltd(华为技术有限公司)
进一步调整梯度规模的优化器,例如Adam、自然梯度(NG)等,尽管受到社会各界的广泛关注和使用,但与随机梯度下降(SGD)相比,其泛化性能往往较差。他们往往在训练开始时收敛得很好,但在结束时很弱。一个直接的想法是用SGD补充这些算法的优势。然而,优化器的截断替换通常导致更新模式的崩溃,并且新算法通常需要多次迭代来稳定其搜索方向。基于这一思想,针对这一问题,我们设计并提出了一种带有前瞻策略的正则化自然梯度优化算法,称为渐近自然梯度(ANG)。ANG根据总的迭代步数动态组合NG和欧氏梯度,并利用NG的强度沿新的方向更新参数。在CIFAR10和CIFAR100数据集上的验证实验表明,ANG能够以二阶速度平滑、稳定地更新,具有较好的泛化性能。
2021-01-16 cs.LG
On the Policy Gradient Foundations of Group Relative Policy Optimization: Credit Assignment, Gradient Sparsity, and Rank Collapse
Capital One
本文从策略梯度定理推导GRPO,揭示其输出奖励下所有token获得相同优势导致信用分配失败,证明梯度稀疏性并经验证梯度矩阵有效秩约为2,形式化秩-2结构源于优势零和约束。
2026-06-28 cs.LG
Training Conditional Random Fields with Natural Gradient Descent
Center for Language & Speech Processing(语言与语音处理中心);The Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种新的参数估计程序,有效地工作条件随机场(CRF)。该算法是最大似然估计(MLE)的扩展,使用由Bregman分歧定义的损失函数,其测量模型期望与特征向量的经验平均值之间的接近度。这导致了一个灵活的训练框架,可以使用自然梯度下降(NGD)从该框架中导出多个更新策略。我们仔细选择的凸函数诱导Bregman发散,使更新的类型减少,同时使优化过程更有效的对数似然损失函数的梯度变换。推导出的算法是非常简单的,可以很容易地实现现有的随机梯度下降(SGD)优化过程的顶部,但它是非常有效的实验结果表明。
2015-08-10 cs.LG
Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models
Imperial College London(帝国理工学院)
自然梯度法已被有效地用于共轭高斯过程模型,但非共轭的情况下,在很大程度上还没有探索。我们研究了自然梯度如何在非共轭随机环境中使用,以及超参数学习。我们的结论是,自然梯度可以显着提高性能方面的挂钟时间。对于病态后验的自然梯度方法的好处是特别明显的,我们展示了一个实际的设置,普通的梯度是不可用的。我们展示了如何使用自动微分在任何参数化中有效地自动计算自然梯度。我们的代码集成到GPflow包中。
2018-03-24 cs.LG stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好,形成了当代强化学习的基础,如信任域策略优化(TRPO)和近端策略优化(PPO)。本课堂讲稿旨在阐明自然策略梯度背后的直觉,着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Learning Mixture Density via Natural Gradient Expectation Maximization
Faculty of Science and Technology, University of Macau(科技学院,澳门大学);University of Cambridge(剑桥大学)
本文提出nGEM方法,通过信息几何优化混合密度网络,实现更快的收敛速度和更高的效率。
2026-02-11 cs.LG
Improving Energy Natural Gradient Descent through Woodbury, Momentum, and Randomization
Vector Institute(向量研究所);Mila - Quebec AI Institute(蒙特利尔AI研究所);Université de Montréal(蒙特利尔大学);UC Berkeley(加州大学伯克利分校);ETH Zurich(苏黎世联邦理工学院)
针对物理信息神经网络训练中自然梯度法计算成本高的问题,提出基于Woodbury公式、动量和随机化的改进能量自然梯度下降算法,在保持精度的同时实现高达75倍加速。
2025-10-22 cs.LG
The Natural Gradient by Analogy to Signal Whitening, and Recipes and Tricks for its Use
Redwood Center for Theoretical Neuroscience(雷德伍德理论神经科学中心);University of California at Berkeley(加州大学伯克利分校)
自然梯度通过去除函数参数化中固有的依赖性和偏差,允许更有效的梯度下降。有几篇论文全面而准确地介绍了这一主题。然而,这仍然是一个非常困难的想法。本说明的目的是提供自然梯度及其使用的简单直观。我们回顾了一个病态的参数空间如何破坏学习,引入自然梯度类比更广泛理解的信号白化的概念,并提出技巧和具体的处方应用自然梯度学习问题。
2012-05-08 cs.LG stat.ML
The Variational Predictive Natural Gradient
Columbia University(哥伦比亚大学);New York University(纽约大学)
变分推理将后验推理转换为参数优化,从而在不切实际的情况下使用潜在变量模型。然而,当不同的变分参数控制模型下强相关的变量时,变分推断可能是挑剔的。传统的自然梯度的基础上变分近似不能正确的相关性时,近似是不是真正的后验。为了解决这个问题,我们构造了一个新的自然梯度,称为变分预测自然梯度(VPNG)。与传统的变分推理的自然梯度不同,这种自然梯度解释了模型参数和变分参数之间的关系。我们通过一个简单的例子以及分类任务的经验值,图像的深度生成模型和推荐的概率矩阵分解来展示洞察力。
2019-11-29 cs.LG stat.ML
Gradient Regularized Natural Gradients
The University of Manchester(曼彻斯特大学);Aalto University(阿尔托大学)
本文提出梯度正则化的自然梯度(GRNG),一种可扩展的二阶优化器,结合显式梯度正则化与自然梯度更新,通过正则化显式自然梯度和隐式自然梯度算法,提升模型泛化能力与优化速度。
2026-03-26 cs.AI cs.LG
On the Locality of the Natural Gradient for Deep Learning
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Leipzig University(莱比锡大学);Santa Fe Institute(圣塔菲研究所)
我们研究了用于深度贝叶斯网络(包括神经网络)学习的自然梯度方法。有两个自然的几何形状与这种学习系统组成的可见和隐藏的单位。一个几何体与整个系统相关,另一个与可见子系统相关。这两种几何形状意味着不同的自然梯度。在第一步中,我们证明了一个很大的简化的自然梯度相对于第一几何,由于局部性质的Fisher信息矩阵。该简化不直接转换为关于第二几何形状的对应简化。我们开发的理论研究自然梯度的两个版本之间的关系,并概述了一种方法,简化的自然梯度相对于第二几何的基础上的第一个。该方法建议将识别模型作为辅助模型,以便在深度网络中有效应用自然梯度方法。
2020-05-21 cs.LG stat.ML
A Formalization of The Natural Gradient Method for General Similarity Measures
University of Copenhagen(哥本哈根大学)
在最优化中,自然梯度法是众所周知的似然最大化。该方法使用库尔贝克-莱布勒散度,对应于无限小的Fisher-Rao度量,这是拉回到一个家庭的概率分布的参数空间。这样,相对于参数的梯度遵循分布空间的Fisher-Rao几何,这可能与参数空间的标准欧几里得几何有很大不同,通常会导致更快的收敛。然而,当最小化分布之间的任意相似性度量时,通常不清楚使用哪个度量。我们提供了一个一般的框架,给出了一个相似性度量,推导出一个度量的自然梯度。然后,我们讨论了自然梯度法和文献中的多个其他优化技术之间的联系。最后,我们提供了正式的自然梯度的计算,以显示与知名的情况下重叠,并计算自然梯度在新的框架。
2019-02-24 cs.LG stat.ML
Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations
University of British Columbia(不列颠哥伦比亚大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
自然梯度方法使变分推断的算法快速而简单,但由于计算困难,它们的使用主要限于\emph{minimal}指数族(EF)近似。在本文中,我们将其应用扩展到估计\emph{structured}近似,如混合EF分布。这种近似可以拟合复杂的多峰后验分布,并且通常比单峰EF近似更准确。通过使用这样的近似的\emph{minimal conditional-EF}表示,我们得到简单的自然梯度更新。我们的实证结果表明,我们的自然梯度方法相比,黑盒梯度为基础的方法与重新参数化梯度的收敛速度更快。我们的工作扩大了自然梯度的范围,贝叶斯推断,使他们更广泛的适用于比以前。
2020-11-06 cs.LG stat.ML
TENG-BC: Time-Evolving Natural Gradient for High-Accuracy Neural PDE Solvers with General Boundary Conditions
School of Mathematical Sciences, Peking University, Beijing, China(北京大学数学科学学院);Department of Physics, Tsinghua University, Beijing, China(清华大学物理系);Institute of Advanced Study, Tsinghua University, Beijing, China(清华大学advanced study研究所)
TENG-BC通过统一时间演进自然梯度方法,实现对具有通用边界条件的神经PDE求解器的高精度求解,优于传统方法和PINN基线。
2026-11-13 cs.LG
Component-Wise Natural Gradient Descent -- An Efficient Neural Network Optimization
The University of Tokyo(东京大学)
自然梯度下降(NGD)是一种二阶神经网络训练,它以Fisher信息矩阵(Fisher Information Matrix,简称FMM)的逆作为梯度下降的先决条件。虽然NGD提供了一个有效的预条件,它是不切实际的,由于昂贵的计算时,需要反转的的矩阵。本文提出了一种新的NGD变体算法--顺向自然梯度下降算法(CW-NGD)。CW-NGD由两个步骤组成。类似于几个现有的作品,第一步是考虑作为一个块对角矩阵,其对角块对应于每层的权重的平方的矩阵。在第二步中,独特的CW-NGD,我们分析层的结构,并进一步分解层的分支成更小的段,其导数近似独立。因此,各个层的FIM以块对角形式近似,该块对角形式简单地支持反演。段分解策略因层结构而异。具体来说,我们分析了密集层和卷积层,并适当地设计了它们的分解策略。在训练包含这两种类型层的网络的实验中,我们凭经验证明,与最先进的一阶和二阶方法相比,CW-NGD需要更少的迭代来收敛。
2022-10-11 cs.LG
True Asymptotic Natural Gradient Optimization
我们介绍了一个简单的算法,真渐近自然梯度优化(TANGO),收敛到一个真正的自然梯度下降的限制小的学习率,没有明确的Fisher矩阵估计。对于二次模型,该算法也是平均随机梯度的一个实例,其中参数是“快速”、恒定速率梯度下降的移动平均值。TANGO表现为平均SGD的一种特殊的去线性化,有时在非二次模型上有很大的不同。这进一步连接了平均SGD和自然梯度,两者都可以说是渐近最优的。在大维度中,需要较小的学习率来很好地逼近自然梯度。尽管如此,这表明使用轻量级算法可以任意接近精确的自然梯度下降。
2017-12-22 cs.LG math.OC stat.ML
Randomized Advantage Transformation (RAT): Computing Natural Policy Gradients via Direct Backpropagation
The University of Manchester, United Kingdom(曼彻斯特大学,英国)
本文提出RAT方法,通过直接反向传播估计正则化自然策略梯度,解决了传统方法中估计和求逆Fisher矩阵成本高的问题,实验证明其在连续和视觉控制基准上性能优异且易于实现。
2026-08-04 cs.AI cs.LG
An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们重新审视和改进的收敛性策略梯度(PG),自然PG(NPG)的方法,以及他们的方差减少变种,一般光滑的政策参数化。更具体地说,与政策的Fisher信息矩阵是正定的:i)我们表明,一个国家的最先进的方差减少PG方法,这已经被证明是收敛到平稳点,收敛到全局最优值的一些固有的函数逼近误差,由于政策参数化; ii)我们表明,NPG享有较低的样本复杂性; iii)我们提出了SRVR-NPG,它将方差缩减纳入NPG更新。我们的改进来自于一个观察,即(方差缩减)PG和NPG方法的收敛性可以相互改善:PG的平稳收敛性分析可以应用于NPG,以及和NPG的全局收敛性分析可以帮助建立(方差缩减)PG方法的全局收敛性。我们的分析仔细地结合了这两种作品的优点。由于这一改进,我们也使得NPG的方差减少成为可能,具有全局收敛性和有效的有限样本复杂性。
2022-11-16 cs.LG
A Novel Structured Natural Gradient Descent for Deep Learning
Beijing Institute of Technology(北京理工大学)
自然梯度下降(NGD)为深度神经网络提供了深刻的见解和强大的工具。然而,随着网络结构的复杂化,Fisher信息矩阵的计算变得越来越困难。本文提出了一种新的优化方法,其主要思想是通过重构网络精确地代替自然梯度优化。更具体地说,我们重建了深度神经网络的结构,并使用传统的梯度下降(GD)优化了新网络。重构后的网络达到了自然梯度下降优化方法的效果。实验结果表明,我们的优化方法可以加速深度网络模型的收敛,并在共享其计算简单性的同时实现比GD更好的性能。
2021-09-21 cs.AI cs.LG
A Common Framework for Natural Gradient and Taylor based Optimisation using Manifold Theory
Cranberry-Lemon University(蔓越莓柠檬大学)
本技术报告构建了一个理论框架,将基于标准泰勒近似的优化方法与自然梯度(NG)联系起来,自然梯度是一种具有概率模型的Fisher有效方法。这样的框架将被证明也提供数学理由相结合的高阶方法与NG的方法。
2018-10-03 cs.LG stat.ML
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge(剑桥大学);Eötvös Loránd University(罗兰大学)
在梯度下降中,改变我们参数化模型的方式可以导致截然不同的优化轨迹,从而产生一系列令人惊讶的有意义的归纳偏差:识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而,自然梯度下降对于重新参数化是近似不变的,它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了:如果我们消除参数化的作用,会发生什么?会找到哪个解?会出现什么新的性质?我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分,但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题,而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Structured second-order methods via natural gradient descent
University of British Columbia(不列颠哥伦比亚大学);Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
在本文中,我们提出了新的结构化二阶方法和结构化自适应梯度方法通过执行自然梯度下降结构参数空间。自然梯度下降是一种有吸引力的方法,可以在许多环境中设计新算法,如无梯度,自适应梯度和二阶方法。我们的结构化方法不仅具有结构不变性,而且还具有简单的表达式。最后,我们测试了我们提出的方法在确定性非凸问题和深度学习问题上的效率。
2022-02-19 cs.LG stat.ML
ONG: Orthogonal Natural Gradient Descent
UC Berkeley(伯克利大学)
本文提出正交自然梯度下降(ONG)方法,通过引入自然梯度和正交投影提升持续学习性能,初步实验表明其在MNIST基准上有效,但需进一步理论和实验证实其鲁棒性。
2025-12-06 cs.AI cs.LG
Invariance Properties of the Natural Gradient in Overparametrised Systems
Hamburg University of Technology(汉堡工业大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Leipzig University(莱比锡大学);Santa Fe Institute(圣塔菲研究所)
自然梯度场是一个向量场,它存在于一个配备了著名的黎曼度量(例如Fisher-Rao度量)的模型上,并表示模型上目标函数相对于该度量的最陡上升方向。在实践中,人们试图通过将普通梯度乘以与度量相关联的格拉姆矩阵的逆来获得参数空间上的相应方向。我们将参数空间上的这个向量称为自然参数梯度。本文研究了自然参数梯度的前推何时等于自然梯度。此外,我们研究了自然参数梯度的不变性。这两个问题都是在过度参数化的环境中解决的。
2022-06-30 cs.LG math.ST stat.TH
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine(加州大学欧文分校)
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中,但目前对混合合作/竞争环境知之甚少。在本文中,我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏(MPGs),其中包括合作游戏作为一种特殊情况。最近的研究结果表明,独立的策略梯度收敛MPG,但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法,主要的挑战在于马尔可夫势博弈没有唯一的最优值(如单智能体设置所示),因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明,自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Efficient Subsampled Gauss-Newton and Natural Gradient Methods for Training Neural Networks
Columbia University(哥伦比亚大学)
我们提出了高斯-牛顿和自然梯度方法的实用Levenberg-Marquardt变体,用于解决在训练涉及大量变量和庞大数据集的深度神经网络时出现的非凸优化问题。我们的方法使用子采样高斯-牛顿或Fisher信息矩阵和子采样梯度估计(完全随机)或全梯度(半随机),在后一种情况下,我们证明收敛到一个稳定点。通过使用谢尔曼-莫里森-伍德伯里公式与自动微分(反向传播),我们展示了我们的方法如何可以有效地执行。最后,数值结果表明我们所提出的方法的有效性。
2019-06-05 cs.LG stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com(亚马逊印度机器学习部门);Microsoft(微软)
异常检测有几个重要的应用。在本文中,我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的,但我们制定了贝叶斯半监督张量分解,以利用稀疏标记数据。此外,我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后,我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明,我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM,具有充分的统计量。
2018-05-29 cs.LG stat.ML
Eigenvalue Corrected Noisy Natural Gradient
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。然而,灵活的变分后验的推理程序是计算昂贵的。最近提出的一种方法,噪声自然梯度,是一个令人惊讶的简单的方法来适应表达后验通过添加权重噪声定期自然梯度更新。噪声K-FAC是噪声自然梯度的一个实例,其拟合具有对普通K-FAC的微小改变的矩阵变量高斯后验。然而,矩阵变量高斯后验并不能捕获准确的对角方差。在这项工作中,我们扩展噪声K-FAC,以获得一个更灵活的后验分布称为特征值校正矩阵变量高斯。该方法在Kronecker分解特征基中计算全对角重标度因子。从经验上讲,我们的方法始终优于现有的算法(例如,噪声K-FAC)的回归和分类任务。
2018-11-30 cs.LG stat.ML
New insights and perspectives on the natural gradient method
DeepMind
自然梯度下降是传统上从信息几何的角度出发的优化方法,并且作为随机梯度下降的替代方案在许多应用中工作良好。在本文中,我们批判性地分析了这种方法及其性质,并显示它可以被视为一种类型的二阶优化方法,与Fisher信息矩阵作为一个替代的海森。在许多重要的情况下,费雪信息矩阵被证明是等价于广义高斯-牛顿矩阵,这两个近似的海森,但也有一定的属性,有利于它的使用超过海森。这种观点对设计一个实用和鲁棒的自然梯度优化器具有重要意义,因为它激发了信赖域和Tikhonov正则化等技术的使用。此外,我们对自然梯度和二阶方法的理解做出了一系列贡献,包括:对随机自然梯度下降算法收敛速度的深入分析(和更一般的随机二阶方法)应用于凸二次,经常使用的“经验”近似的Fisher矩阵的批判性检查,和分析的(近似)参数化不变性性质所拥有的自然梯度方法(我们也持有某些其他曲率,但值得注意的是不是海森)。
2020-09-19 cs.LG stat.ML
Compatible Natural Gradient Policy Search
Intelligent Autonomous Systems, TU Darmstadt, Germany(德国达姆施塔特工业大学智能自主系统研究所);MPI for Intelligent Systems, Tuebingen, Germany(德国图宾根马普智能系统研究所);Lincoln Center for Autonomous Systems, University of Lincoln, Lincoln, UK(英国林肯大学林肯自治系统中心)
信赖域方法在策略搜索中取得了最先进的结果。一种常见的方法是使用KL发散来约束信任区域,从而导致自然梯度策略更新。我们表明,自然梯度和信赖域优化是等价的,如果我们使用的自然参数化的标准指数政策分布相结合的兼容价值函数近似。此外,我们表明,标准的自然梯度更新可能会减少熵的政策,根据一个错误的时间表,导致过早收敛。为了控制熵减少,我们引入了一种新的策略搜索方法,称为兼容策略搜索(COPOS),限制熵损失。实验结果表明,COPOS产量国家的最先进的结果在具有挑战性的连续控制任务和离散部分可观察的任务。
2019-02-07 cs.LG stat.ML
Natural Gradient for Combined Loss Using Wavelets
Stanford University(斯坦福大学)
自然梯度已被广泛用于概率空间上的损失泛函的优化,重要的例子如用于Kullback-Leibler发散的Fisher-Rao梯度下降,用于运输相关泛函的Wasserstein梯度下降和用于二次损失泛函的Mahalanobis梯度下降。本文考虑损失是这些例子的凸线性组合的情况。本文提出了一种新的自然梯度算法,利用紧支撑小波对组合损失的Hessian函数进行对角化。数值结果证明了该算法的有效性。
2020-06-29 cs.LG cs.NA math.NA
Kernelized Wasserstein Natural Gradient
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学研究室);University College London(伦敦大学学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
许多机器学习问题可以表示为在概率分布的参数族上优化一些代价泛函。使用自然梯度方法来解决这样的优化问题通常是有益的。这些方法对族的参数化是不变的,因此可以产生更有效的优化。不幸的是,计算自然梯度是具有挑战性的,因为它需要在每次迭代时对高维矩阵进行求逆。我们提出了一个一般的框架来近似自然梯度的Wasserstein度量,利用一个双重制定的度量限制到一个再生核希尔伯特空间。我们的方法导致梯度方向的估计,可以权衡精度和计算成本,理论保证。我们在简单的例子中验证了它的准确性,并展示了在Cifar10和Cifar100的分类任务中使用这种估计的优势。
2020-02-13 cs.LG stat.ML
Optimising Distributions with Natural Gradient Surrogates
University of Cambridge(剑桥大学)
本文提出一种通过代理分布重新参数化优化问题以简化自然梯度计算的新方法,扩展了可高效处理的分布范围,并在最大似然估计和变分推断任务上验证了其有效性。
2024-03-04 cs.LG stat.ML
Natural Gradient Deep Q-learning
Stanford Cognitive & Systems Neuroscience Lab(斯坦福认知与系统神经科学实验室);The Nueva School(努埃瓦学校)
我们提出了一种使用自然梯度技术训练深度Q学习代理的新算法。我们将原始的深度Q网络(DQN)算法与其自然梯度对应算法(我们称之为NGDQN)在一系列经典控制域上进行比较。在不使用目标网络的情况下,NGDQN的性能明显优于没有目标网络的DQN,并且在使用目标网络的情况下,NGDQN的性能并不比DQN差,这表明NGDQN可以稳定训练,并有助于减少对额外超参数调整的需求。我们还发现,NGDQN是不太敏感的超参数优化相对于DQN。这些结果表明,自然梯度技术可以改善深度强化学习中的值函数优化。
2018-11-13 cs.AI cs.LG stat.ML
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning
Texas A&M University(得克萨斯农工大学)
我们研究多个回报价值函数的马尔可夫决策过程(MDP)的策略优化,这些回报函数根据给定的标准,如比例公平性(光滑凹标量化),硬约束(约束MDP),和最大最小的权衡进行联合优化。我们提出了一个变锚正则化自然策略梯度(ARNPG)框架,它可以系统地将性能良好的一阶方法的思想融入到多目标MDP问题的策略优化算法的设计中。理论上,基于ARNPG框架设计的算法实现了$\tilde{O}(1/T)$的全局收敛性和精确梯度。从经验上讲,ARNPG引导的算法也表现出优越的性能相比,一些现有的策略梯度为基础的方法,在精确的梯度和基于样本的情况下。
2022-10-18 cs.LG math.OC
Optimization Guarantees for Square-Root Natural-Gradient Variational Inference
University of Basel(巴塞尔大学);RIKEN Center for AI Project(日本人工智能研究中心);Department of Mathematics and Computer Science(数学与计算机科学系)
针对自然梯度变分推断理论收敛保证难以建立的问题,提出使用高斯协方差的平方根参数化方法,为变分高斯推断及其连续时间梯度流建立了新的收敛保证,并实验验证了其优于欧几里得或Wasserstein几何算法的有效性。
2025-07-10 cs.AI cs.LG stat.ML
Achieving High Accuracy with PINNs via Energy Natural Gradients
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Simula Research Laboratory(西穆拉研究实验室)
针对 PINNs 与深度 Ritz 方法的优化难题,提出由 Hessian 诱导度量定义的能量自然梯度下降,并证明其函数空间更新等价于切空间投影的 Newton 方向,实验显示精度较标准优化器提升数个数量级。
2023-08-15 cs.LG cs.NA math.NA
Revisiting Natural Gradient for Deep Networks
本文重新评估了自然梯度算法在深度模型学习中的应用,揭示了其与Hessian-Free、Krylov子空间下降和TONGA方法的联系,并提出了利用无标签数据改进泛化误差、评估对训练集顺序的鲁棒性以及结合二阶信息的扩展算法。
2014-02-17 cs.LG cs.NA math.NA
NGO-GM: Natural Gradient Optimization for Graphical Models
A.I Square Connect;Université Paris Dauphine, PSL(巴黎多芬大学(PSL))
本文讨论了图模型中模型参数的估计问题。我们将其重新表述为一个信息几何优化问题,并引入一个自然的梯度下降策略,其中包括额外的元参数。我们表明,我们的方法是一个强大的替代著名的EM方法学习图形模型。实际上,我们基于自然梯度的策略可以学习最终目标函数的最佳参数,而无需人为地尝试拟合可能与真实分布不一致的分布。我们支持我们的理论研究结果与金融市场的趋势检测的问题,并表明,学习模型比传统的从业者的方法表现更好,是不太容易过度拟合。
2019-05-14 cs.LG stat.ML
NGBoost: Natural Gradient Boosting for Probabilistic Prediction
Stanford University(斯坦福大学);Harvard Medical School(哈佛医学院)
我们提出了自然梯度提升(NGBoost),这是一种通过梯度提升进行通用概率预测的算法。典型的回归模型返回一个点估计,条件是协变量,但概率回归模型输出一个完整的概率分布在结果空间,条件是协变量。这允许预测性的不确定性估计--这在医疗保健和天气预报等应用中至关重要。NGBoost通过将条件分布的参数作为多参数提升算法的目标,将梯度提升推广到概率回归。此外,我们还展示了如何使用自然梯度来纠正我们的多参数提升方法的训练动态。NGBoost可以用于任何基础学习器,任何具有连续参数的分布族以及任何评分规则。NGBoost匹配或超过现有概率预测方法的性能,同时在灵活性,可扩展性和可用性方面提供额外的好处。在github.com/stanfordmlgroup/ngboost上可以找到一个开源实现。
2020-06-09 cs.LG stat.ML
Optimization of Graph Neural Networks with Natural Gradient Descent
University of Notre Dame(圣母大学)
在这项工作中,我们建议采用信息几何工具来优化图神经网络架构,如图卷积网络。更具体地说,我们开发了基于图的半监督学习的优化算法,通过在优化过程中采用自然梯度信息。这使我们能够有效地利用底层统计模型或参数空间的几何结构进行优化和推理。据我们所知,这是第一个利用自然梯度优化图神经网络的工作,可以扩展到其他半监督问题。高效的计算算法的开发和广泛的数值研究进行了证明我们的算法优于现有的算法,如ADAM和SGD的性能。
2020-08-21 cs.LG stat.ML
Fast yet Simple Natural-Gradient Descent for Variational Inference in Complex Models
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
贝叶斯推断在推进机器学习方面发挥着重要作用,但在应用于深度神经网络等复杂模型时面临着计算挑战。变分推断通过将贝叶斯推断公式化为优化问题并使用基于梯度的优化来解决它来规避这些挑战。在本文中,我们主张自然梯度的方法,不像他们的梯度为基础的同行,可以提高收敛利用信息几何的解决方案。我们展示了如何通过使用与指数族分布相关的对偶来获得快速而简单的自然梯度更新。这些方法的一个有吸引力的特点是,通过使用自然梯度,它们能够为单个模型组件提取精确的局部近似。我们总结了贝叶斯深度学习的最新结果,显示了自然梯度方法相对于梯度方法的优越性。
2018-08-02 cs.IT cs.LG math.IT
Natural Gradient Hybrid Variational Inference with Application to Deep Mixed Models
Melbourne Business School, University of Melbourne(墨尔本大学墨尔本商学院);Monash University(莫纳什大学)
提出一种快速准确的自然梯度混合变分推断方法,通过结合Tikhonov阻尼Fisher信息矩阵和重参数化技巧优化全局参数与潜在变量,在深度混合模型中显著提升了推断效率与精度。
2024-07-24 cs.LG stat.ML
Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning
University of California, Berkeley(加州大学伯克利分校)
FOPNG通过Fisher正交约束在持续学习中提升模型性能,有效避免灾难性遗忘。
2026-01-26 cs.AI cs.LG
Noisy Natural Gradient as Variational Inference
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。不幸的是,在廉价但简单的变分族(例如~完全因式分解的)或昂贵且复杂的推理过程。我们表明,自然梯度上升与自适应权重噪声隐式地适合变分后验最大化的证据下限(ELBO)。这种见解使我们能够分别使用自然梯度、Adam和K-FAC的噪声版本来训练全协方差、全因子分解或矩阵变量高斯变分后验,从而可以扩展到现代规模的ConvNets。在标准回归基准上,我们的噪声K-FAC算法比现有方法更好地预测和匹配Hamilton Monte Carlo的预测方差。其改进的不确定性估计导致主动学习中更有效的探索,以及强化学习的内在动机。
2018-02-26 cs.LG stat.ML
Fast Convergence of Natural Gradient Descent for Overparameterized Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所);DeepMind(深度思维)
自然梯度下降法已被证明可以有效地减轻神经网络优化中病理曲率的影响,但理论上对其收敛特性知之甚少,特别是对于\emph{nonlinear}网络。在这项工作中,我们第一次分析了自然梯度下降的收敛速度的非线性神经网络平方误差损失。我们确定了两个条件,保证有效的收敛从随机初始化:(1)雅可比矩阵(网络的输出的所有训练情况下的参数)有完整的行秩,(2)雅可比矩阵是稳定的小扰动周围的初始化。对于两层ReLU神经网络,我们证明了在非退化输入和过度参数化的假设下,这两个条件在整个训练过程中都成立。我们进一步扩展我们的分析更一般的损失函数。最后,我们证明了K-FAC,一个近似的自然梯度下降法,也收敛到全局最小值在相同的假设下,我们给出了这种收敛速度的一个界。
2019-10-28 cs.LG stat.ML
Facilitating Bayesian Continual Learning by Natural Gradients and Stein Gradients
University of Bristol(布里斯托大学);Amazon(亚马逊)
持续学习旨在使机器学习模型能够以顺序的方式学习过去和未来任务的通用解决方案空间。传统模型在学习新任务时往往会忘记以前任务的知识,这种现象被称为灾难性遗忘。当在持续学习中使用贝叶斯模型时,可以通过两种方式保留来自先前任务的知识:1)。参数的后验分布,包含从先前任务中的推断获得的知识,然后将其用作下一任务的先验; 2). coresets,包含以前任务的数据分布的知识。在这里,我们表明,贝叶斯持续学习可以促进这两种手段,通过使用自然梯度和斯坦梯度分别。
2019-04-24 cs.AI cs.LG stat.ML
RoNGBa: A Robustly Optimized Natural Gradient Boosting Training Approach with Leaf Number Clipping
The University of California, San Diego(加州大学圣地亚哥分校)
自然梯度最近被引入到增强领域,以实现通用概率预测能力。由于更好的训练动态性,自然梯度提升在小数据集上显示出有希望的性能改进,但它遭受缓慢的训练速度开销,特别是对于大数据集。我们提出了NGBoost的复制研究(Duan等人,2019)训练,仔细检查最佳优先决策树学习情况下关键超参数的影响。我们发现,通过对叶数裁剪进行正则化,可以通过更好地选择超参数来大大提高NGBoost的性能。实验表明,我们的方法显着击败了国家的最先进的性能在各种数据集从UCI机器学习知识库,同时仍然有高达4.85倍的速度相比,原始的方法NGBoost。
2019-12-05 cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Understanding Stochastic Natural Gradient Variational Inference
University of Pennsylvania(宾夕法尼亚大学)
本文研究了随机自然梯度变分推断(NGVI)的非渐近收敛速率,证明了共轭似然下首个O(1/T)收敛速率,并揭示了非共轭似然下优化非凸目标的挑战。
2024-06-04 cs.LG stat.ML
Dual Stochastic Natural Gradient Descent and convergence of interior half-space gradient approximations
IIIA-CSIC(西班牙国家研究委员会人工智能研究所)
多项逻辑斯谛回归(MLR)模型在统计学和机器学习中有着广泛的应用。随机梯度下降(SGD)是在大数据场景中确定MLR模型参数的最常见方法。然而,SGD具有缓慢的次线性收敛速率。提高收敛速度的一种方法是使用流形优化。沿着这条路线,由Amari提出的随机自然梯度下降(SNGD)被证明在收敛时是Fisher有效的。然而,SNGD不能保证收敛,并且对于具有大量参数的MLR模型来说,它在计算上过于昂贵。在这里,我们提出了一个随机最优化方法MLR流形优化概念的基础上,(i)每迭代计算复杂性是线性的参数的数量和(ii)可以证明收敛。为了实现(i),我们建立MLR的联合分布族是一个对偶平坦流形,我们使用它来加速计算。Sánchez-López和Cerquides最近引入了收敛随机自然梯度下降(CSNGD),这是SNGD的一个变体,其收敛性是有保证的。为了获得(ii)我们的算法使用CSNGD的基本思想,从而依赖于一个独立的序列来建立自然梯度的有界近似。我们称所得到的算法对偶随机自然梯度下降(DNSGD)。通过推广Sunehag等人的结果,证明了DSNGD的收敛性。此外,我们证明了DSNGD迭代的计算复杂性是线性的模型的变量的数量。
2021-04-30 cs.LG math.OC stat.ML
Limitations of the Empirical Fisher Approximation for Natural Gradient Descent
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自然梯度下降是一种捕获部分二阶信息的方法,它以底层统计模型的Fisher信息矩阵作为梯度下降更新的先决条件。几个高度可见的作品提倡一种近似,称为经验费雪,在近似二阶方法和亚当等数学之间建立联系。我们争论这个论点表明,经验费雪-不像费雪-一般不捕捉二阶信息。我们进一步认为,经验费舍尔接近费舍尔(和海森)的条件下,不太可能在实践中得到满足,而且,即使在简单的优化问题,病理的经验费舍尔可以有不良影响。
2020-06-08 cs.LG stat.ML
Natural Riemannian gradient for learning functional tensor networks
Institute of Mathematics, University of Augsburg(奥格斯堡大学数学研究所);Department of Mathematics, Technical University of Munich(慕尼黑工业大学数学系);Institute of Mathematics & Centre for Advanced Analytics and Predictive Sciences, University of Augsburg(奥格斯堡大学数学研究所与高级分析与预测科学中心)
本文提出基于Amari自然梯度的自然黎曼梯度下降方法,用于优化低秩功能树张量网络在各类损失函数下的学习任务,提升收敛性能。
2026-04-10 cs.LG cs.NA math.NA
Characterizing Model Robustness via Natural Input Gradients
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文发现仅对自然样本的输入梯度范数进行正则化即可在视觉Transformer上高效提升鲁棒性,达到先进对抗训练90%以上性能且计算成本仅为其60%,并揭示了梯度集中到图像边缘也能显著增强鲁棒性。
2024-09-30 cs.CV cs.LG