The Variational Predictive Natural Gradient
Columbia University(哥伦比亚大学);New York University(纽约大学)
变分推理将后验推理转换为参数优化,从而在不切实际的情况下使用潜在变量模型。然而,当不同的变分参数控制模型下强相关的变量时,变分推断可能是挑剔的。传统的自然梯度的基础上变分近似不能正确的相关性时,近似是不是真正的后验。为了解决这个问题,我们构造了一个新的自然梯度,称为变分预测自然梯度(VPNG)。与传统的变分推理的自然梯度不同,这种自然梯度解释了模型参数和变分参数之间的关系。我们通过一个简单的例子以及分类任务的经验值,图像的深度生成模型和推荐的概率矩阵分解来展示洞察力。
2019-11-29 cs.LG stat.ML
On the Locality of the Natural Gradient for Deep Learning
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Leipzig University(莱比锡大学);Santa Fe Institute(圣塔菲研究所)
我们研究了用于深度贝叶斯网络(包括神经网络)学习的自然梯度方法。有两个自然的几何形状与这种学习系统组成的可见和隐藏的单位。一个几何体与整个系统相关,另一个与可见子系统相关。这两种几何形状意味着不同的自然梯度。在第一步中,我们证明了一个很大的简化的自然梯度相对于第一几何,由于局部性质的Fisher信息矩阵。该简化不直接转换为关于第二几何形状的对应简化。我们开发的理论研究自然梯度的两个版本之间的关系,并概述了一种方法,简化的自然梯度相对于第二几何的基础上的第一个。该方法建议将识别模型作为辅助模型,以便在深度网络中有效应用自然梯度方法。
2020-05-21 cs.LG stat.ML
A Formalization of The Natural Gradient Method for General Similarity Measures
University of Copenhagen(哥本哈根大学)
在最优化中,自然梯度法是众所周知的似然最大化。该方法使用库尔贝克-莱布勒散度,对应于无限小的Fisher-Rao度量,这是拉回到一个家庭的概率分布的参数空间。这样,相对于参数的梯度遵循分布空间的Fisher-Rao几何,这可能与参数空间的标准欧几里得几何有很大不同,通常会导致更快的收敛。然而,当最小化分布之间的任意相似性度量时,通常不清楚使用哪个度量。我们提供了一个一般的框架,给出了一个相似性度量,推导出一个度量的自然梯度。然后,我们讨论了自然梯度法和文献中的多个其他优化技术之间的联系。最后,我们提供了正式的自然梯度的计算,以显示与知名的情况下重叠,并计算自然梯度在新的框架。
2019-02-24 cs.LG stat.ML
Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations
University of British Columbia(不列颠哥伦比亚大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
自然梯度方法使变分推断的算法快速而简单,但由于计算困难,它们的使用主要限于\emph{minimal}指数族(EF)近似。在本文中,我们将其应用扩展到估计\emph{structured}近似,如混合EF分布。这种近似可以拟合复杂的多峰后验分布,并且通常比单峰EF近似更准确。通过使用这样的近似的\emph{minimal conditional-EF}表示,我们得到简单的自然梯度更新。我们的实证结果表明,我们的自然梯度方法相比,黑盒梯度为基础的方法与重新参数化梯度的收敛速度更快。我们的工作扩大了自然梯度的范围,贝叶斯推断,使他们更广泛的适用于比以前。
2020-11-06 cs.LG stat.ML
Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference
University of Toronto(多伦多大学)
我们提出了一个简单的和一般的变分证据下界的标准重参数梯度估计的变种。具体地说,我们删除了一部分的总导数相对于变分参数,对应于得分函数。去除这一项会产生一个无偏的梯度估计,其方差接近零,因为近似后验接近精确后验。我们从理论和经验上分析了这种梯度估计的行为,并将其推广到更复杂的变分分布,如混合物和重要性加权后验。
2017-05-28 cs.LG stat.ML
A Common Framework for Natural Gradient and Taylor based Optimisation using Manifold Theory
Cranberry-Lemon University(蔓越莓柠檬大学)
本技术报告构建了一个理论框架,将基于标准泰勒近似的优化方法与自然梯度(NG)联系起来,自然梯度是一种具有概率模型的Fisher有效方法。这样的框架将被证明也提供数学理由相结合的高阶方法与NG的方法。
2018-10-03 cs.LG stat.ML
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge(剑桥大学);Eötvös Loránd University(罗兰大学)
在梯度下降中,改变我们参数化模型的方式可以导致截然不同的优化轨迹,从而产生一系列令人惊讶的有意义的归纳偏差:识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而,自然梯度下降对于重新参数化是近似不变的,它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了:如果我们消除参数化的作用,会发生什么?会找到哪个解?会出现什么新的性质?我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分,但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题,而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Structured second-order methods via natural gradient descent
University of British Columbia(不列颠哥伦比亚大学);Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
在本文中,我们提出了新的结构化二阶方法和结构化自适应梯度方法通过执行自然梯度下降结构参数空间。自然梯度下降是一种有吸引力的方法,可以在许多环境中设计新算法,如无梯度,自适应梯度和二阶方法。我们的结构化方法不仅具有结构不变性,而且还具有简单的表达式。最后,我们测试了我们提出的方法在确定性非凸问题和深度学习问题上的效率。
2022-02-19 cs.LG stat.ML
Generalized Tangent Kernel: A Unified Geometric Foundation for Natural Gradient and Standard Gradient
Horizon Robotics;Department of Mathematics and Statistics, Boston University(波士顿大学数学与统计学系)
本文提出 Generalized Tangent Kernel(GTK)统一自然梯度与标准梯度,证明其可在函数空间上定义黎曼度量,并为退化自然梯度及新型梯度下降方法提供理论框架。
2025-09-26 cs.LG
Stochastic Gradient Descent for Operator Learning in Hilbert Spaces: Convergence Rates and Minimax Lower Bounds
本文提出在一般希尔伯特空间中利用SGD学习算子的正则性条件和收敛分析,揭示了非线性算子学习的收敛特性。
2026-09-15 cs.LG math.FA math.ST
Natural Gradient Deep Q-learning
Stanford Cognitive & Systems Neuroscience Lab(斯坦福认知与系统神经科学实验室);The Nueva School(努埃瓦学校)
我们提出了一种使用自然梯度技术训练深度Q学习代理的新算法。我们将原始的深度Q网络(DQN)算法与其自然梯度对应算法(我们称之为NGDQN)在一系列经典控制域上进行比较。在不使用目标网络的情况下,NGDQN的性能明显优于没有目标网络的DQN,并且在使用目标网络的情况下,NGDQN的性能并不比DQN差,这表明NGDQN可以稳定训练,并有助于减少对额外超参数调整的需求。我们还发现,NGDQN是不太敏感的超参数优化相对于DQN。这些结果表明,自然梯度技术可以改善深度强化学习中的值函数优化。
2018-11-13 cs.AI cs.LG stat.ML
Efficient Subsampled Gauss-Newton and Natural Gradient Methods for Training Neural Networks
Columbia University(哥伦比亚大学)
我们提出了高斯-牛顿和自然梯度方法的实用Levenberg-Marquardt变体,用于解决在训练涉及大量变量和庞大数据集的深度神经网络时出现的非凸优化问题。我们的方法使用子采样高斯-牛顿或Fisher信息矩阵和子采样梯度估计(完全随机)或全梯度(半随机),在后一种情况下,我们证明收敛到一个稳定点。通过使用谢尔曼-莫里森-伍德伯里公式与自动微分(反向传播),我们展示了我们的方法如何可以有效地执行。最后,数值结果表明我们所提出的方法的有效性。
2019-06-05 cs.LG stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com(亚马逊印度机器学习部门);Microsoft(微软)
异常检测有几个重要的应用。在本文中,我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的,但我们制定了贝叶斯半监督张量分解,以利用稀疏标记数据。此外,我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后,我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明,我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM,具有充分的统计量。
2018-05-29 cs.LG stat.ML
Eigenvalue Corrected Noisy Natural Gradient
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。然而,灵活的变分后验的推理程序是计算昂贵的。最近提出的一种方法,噪声自然梯度,是一个令人惊讶的简单的方法来适应表达后验通过添加权重噪声定期自然梯度更新。噪声K-FAC是噪声自然梯度的一个实例,其拟合具有对普通K-FAC的微小改变的矩阵变量高斯后验。然而,矩阵变量高斯后验并不能捕获准确的对角方差。在这项工作中,我们扩展噪声K-FAC,以获得一个更灵活的后验分布称为特征值校正矩阵变量高斯。该方法在Kronecker分解特征基中计算全对角重标度因子。从经验上讲,我们的方法始终优于现有的算法(例如,噪声K-FAC)的回归和分类任务。
2018-11-30 cs.LG stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好,形成了当代强化学习的基础,如信任域策略优化(TRPO)和近端策略优化(PPO)。本课堂讲稿旨在阐明自然策略梯度背后的直觉,着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
New insights and perspectives on the natural gradient method
DeepMind
自然梯度下降是传统上从信息几何的角度出发的优化方法,并且作为随机梯度下降的替代方案在许多应用中工作良好。在本文中,我们批判性地分析了这种方法及其性质,并显示它可以被视为一种类型的二阶优化方法,与Fisher信息矩阵作为一个替代的海森。在许多重要的情况下,费雪信息矩阵被证明是等价于广义高斯-牛顿矩阵,这两个近似的海森,但也有一定的属性,有利于它的使用超过海森。这种观点对设计一个实用和鲁棒的自然梯度优化器具有重要意义,因为它激发了信赖域和Tikhonov正则化等技术的使用。此外,我们对自然梯度和二阶方法的理解做出了一系列贡献,包括:对随机自然梯度下降算法收敛速度的深入分析(和更一般的随机二阶方法)应用于凸二次,经常使用的“经验”近似的Fisher矩阵的批判性检查,和分析的(近似)参数化不变性性质所拥有的自然梯度方法(我们也持有某些其他曲率,但值得注意的是不是海森)。
2020-09-19 cs.LG stat.ML
Compatible Natural Gradient Policy Search
Intelligent Autonomous Systems, TU Darmstadt, Germany(德国达姆施塔特工业大学智能自主系统研究所);MPI for Intelligent Systems, Tuebingen, Germany(德国图宾根马普智能系统研究所);Lincoln Center for Autonomous Systems, University of Lincoln, Lincoln, UK(英国林肯大学林肯自治系统中心)
信赖域方法在策略搜索中取得了最先进的结果。一种常见的方法是使用KL发散来约束信任区域,从而导致自然梯度策略更新。我们表明,自然梯度和信赖域优化是等价的,如果我们使用的自然参数化的标准指数政策分布相结合的兼容价值函数近似。此外,我们表明,标准的自然梯度更新可能会减少熵的政策,根据一个错误的时间表,导致过早收敛。为了控制熵减少,我们引入了一种新的策略搜索方法,称为兼容策略搜索(COPOS),限制熵损失。实验结果表明,COPOS产量国家的最先进的结果在具有挑战性的连续控制任务和离散部分可观察的任务。
2019-02-07 cs.LG stat.ML
Optimization Guarantees for Square-Root Natural-Gradient Variational Inference
University of Basel(巴塞尔大学);RIKEN Center for AI Project(日本人工智能研究中心);Department of Mathematics and Computer Science(数学与计算机科学系)
针对自然梯度变分推断理论收敛保证难以建立的问题,提出使用高斯协方差的平方根参数化方法,为变分高斯推断及其连续时间梯度流建立了新的收敛保证,并实验验证了其优于欧几里得或Wasserstein几何算法的有效性。
2025-07-10 cs.AI cs.LG stat.ML
Kernelized Wasserstein Natural Gradient
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学研究室);University College London(伦敦大学学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
许多机器学习问题可以表示为在概率分布的参数族上优化一些代价泛函。使用自然梯度方法来解决这样的优化问题通常是有益的。这些方法对族的参数化是不变的,因此可以产生更有效的优化。不幸的是,计算自然梯度是具有挑战性的,因为它需要在每次迭代时对高维矩阵进行求逆。我们提出了一个一般的框架来近似自然梯度的Wasserstein度量,利用一个双重制定的度量限制到一个再生核希尔伯特空间。我们的方法导致梯度方向的估计,可以权衡精度和计算成本,理论保证。我们在简单的例子中验证了它的准确性,并展示了在Cifar10和Cifar100的分类任务中使用这种估计的优势。
2020-02-13 cs.LG stat.ML
Optimising Distributions with Natural Gradient Surrogates
University of Cambridge(剑桥大学)
本文提出一种通过代理分布重新参数化优化问题以简化自然梯度计算的新方法,扩展了可高效处理的分布范围,并在最大似然估计和变分推断任务上验证了其有效性。
2024-03-04 cs.LG stat.ML
Fast yet Simple Natural-Gradient Descent for Variational Inference in Complex Models
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
贝叶斯推断在推进机器学习方面发挥着重要作用,但在应用于深度神经网络等复杂模型时面临着计算挑战。变分推断通过将贝叶斯推断公式化为优化问题并使用基于梯度的优化来解决它来规避这些挑战。在本文中,我们主张自然梯度的方法,不像他们的梯度为基础的同行,可以提高收敛利用信息几何的解决方案。我们展示了如何通过使用与指数族分布相关的对偶来获得快速而简单的自然梯度更新。这些方法的一个有吸引力的特点是,通过使用自然梯度,它们能够为单个模型组件提取精确的局部近似。我们总结了贝叶斯深度学习的最新结果,显示了自然梯度方法相对于梯度方法的优越性。
2018-08-02 cs.IT cs.LG math.IT
NGO-GM: Natural Gradient Optimization for Graphical Models
A.I Square Connect;Université Paris Dauphine, PSL(巴黎多芬大学(PSL))
本文讨论了图模型中模型参数的估计问题。我们将其重新表述为一个信息几何优化问题,并引入一个自然的梯度下降策略,其中包括额外的元参数。我们表明,我们的方法是一个强大的替代著名的EM方法学习图形模型。实际上,我们基于自然梯度的策略可以学习最终目标函数的最佳参数,而无需人为地尝试拟合可能与真实分布不一致的分布。我们支持我们的理论研究结果与金融市场的趋势检测的问题,并表明,学习模型比传统的从业者的方法表现更好,是不太容易过度拟合。
2019-05-14 cs.LG stat.ML
NGBoost: Natural Gradient Boosting for Probabilistic Prediction
Stanford University(斯坦福大学);Harvard Medical School(哈佛医学院)
我们提出了自然梯度提升(NGBoost),这是一种通过梯度提升进行通用概率预测的算法。典型的回归模型返回一个点估计,条件是协变量,但概率回归模型输出一个完整的概率分布在结果空间,条件是协变量。这允许预测性的不确定性估计--这在医疗保健和天气预报等应用中至关重要。NGBoost通过将条件分布的参数作为多参数提升算法的目标,将梯度提升推广到概率回归。此外,我们还展示了如何使用自然梯度来纠正我们的多参数提升方法的训练动态。NGBoost可以用于任何基础学习器,任何具有连续参数的分布族以及任何评分规则。NGBoost匹配或超过现有概率预测方法的性能,同时在灵活性,可扩展性和可用性方面提供额外的好处。在github.com/stanfordmlgroup/ngboost上可以找到一个开源实现。
2020-06-09 cs.LG stat.ML
Optimal transport natural gradient for statistical manifolds with continuous sample space
California Institute of Technology(加州理工学院)
该研究针对连续样本空间的参数统计模型,构建Wasserstein统计流形并推导自然梯度下降方法,证明其渐近性能接近牛顿法,通过多种分布模型验证了优化效果优于标准梯度下降。
2020-04-16 cs.IT cs.LG math.IT
Facilitating Bayesian Continual Learning by Natural Gradients and Stein Gradients
University of Bristol(布里斯托大学);Amazon(亚马逊)
持续学习旨在使机器学习模型能够以顺序的方式学习过去和未来任务的通用解决方案空间。传统模型在学习新任务时往往会忘记以前任务的知识,这种现象被称为灾难性遗忘。当在持续学习中使用贝叶斯模型时,可以通过两种方式保留来自先前任务的知识:1)。参数的后验分布,包含从先前任务中的推断获得的知识,然后将其用作下一任务的先验; 2). coresets,包含以前任务的数据分布的知识。在这里,我们表明,贝叶斯持续学习可以促进这两种手段,通过使用自然梯度和斯坦梯度分别。
2019-04-24 cs.AI cs.LG stat.ML
Gradient Regularized Natural Gradients
The University of Manchester(曼彻斯特大学);Aalto University(阿尔托大学)
本文提出梯度正则化的自然梯度(GRNG),一种可扩展的二阶优化器,结合显式梯度正则化与自然梯度更新,通过正则化显式自然梯度和隐式自然梯度算法,提升模型泛化能力与优化速度。
2026-03-26 cs.AI cs.LG
Error Lower Bounds of Constant Step-size Stochastic Gradient Descent
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
随机梯度下降(SGD)在现代机器学习中起着核心作用。虽然有大量的工作,提供误差上界的SGD,不知道很多关于SGD误差下界。本文研究了定步长SGD算法的收敛性。对于具有Lipschitz梯度的潜在非凸目标函数,给出了SGD的误差下界。据我们所知,这是第一次分析SGD误差下界没有强凸性假设。我们用实验来说明我们的理论结果。
2019-10-18 cs.LG math.OC
Optimization of Graph Neural Networks with Natural Gradient Descent
University of Notre Dame(圣母大学)
在这项工作中,我们建议采用信息几何工具来优化图神经网络架构,如图卷积网络。更具体地说,我们开发了基于图的半监督学习的优化算法,通过在优化过程中采用自然梯度信息。这使我们能够有效地利用底层统计模型或参数空间的几何结构进行优化和推理。据我们所知,这是第一个利用自然梯度优化图神经网络的工作,可以扩展到其他半监督问题。高效的计算算法的开发和广泛的数值研究进行了证明我们的算法优于现有的算法,如ADAM和SGD的性能。
2020-08-21 cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Natural Gradient for Combined Loss Using Wavelets
Stanford University(斯坦福大学)
自然梯度已被广泛用于概率空间上的损失泛函的优化,重要的例子如用于Kullback-Leibler发散的Fisher-Rao梯度下降,用于运输相关泛函的Wasserstein梯度下降和用于二次损失泛函的Mahalanobis梯度下降。本文考虑损失是这些例子的凸线性组合的情况。本文提出了一种新的自然梯度算法,利用紧支撑小波对组合损失的Hessian函数进行对角化。数值结果证明了该算法的有效性。
2020-06-29 cs.LG cs.NA math.NA
Superpolynomial Lower Bounds for Learning One-Layer Neural Networks using Gradient Descent
University of Texas at Austin(得克萨斯大学奥斯汀分校);Shanghai Jiao Tong University(上海交通大学)
我们使用梯度下降证明了关于高斯分布的单层神经网络学习的第一个超多项式下界。我们表明,任何分类器训练使用梯度下降相对于平方损失将无法实现小的测试误差在多项式时间访问标记的一层神经网络的样本。对于分类,我们给出了一个更强的结果,即任何统计查询(SQ)算法(包括梯度下降)都将无法在多项式时间内实现小的测试误差。以前的工作只适用于小批量运行的梯度下降,需要急剧的激活,并适用于特定类别的查询。我们的下限适用于广泛的激活类别,包括ReLU和sigmoid。我们的结果的核心依赖于一个简单的神经网络家族的新结构,这些网络相对于所有球对称分布都是完全正交的。
2020-10-22 cs.DS cs.LG stat.ML
Information-Theoretic Lower Bounds for Zero-Order Stochastic Gradient Estimation
Purdue University(普渡大学)
本文分析了零阶随机预言模型中任意多维光滑(可能非凸)函数的梯度估计所需的样本数。在该模型中,估计器可以访问函数的噪声值,以便产生梯度的估计。我们还提供了一个分析的足够数量的样本的有限差分方法,在数值线性代数的经典技术。对于$T$样本和$d$维数,我们的信息论下限是$Ω(\sqrt{d/T})$。我们表明,有限差分方法的有界方差预言率$O(d^{4/3}/\sqrt{T})$的功能,零三阶和高阶导数。这些速率对于高斯预言机来说是紧的。因此,有限差分方法不是最小最大最优的,因此有空间开发更好的梯度估计方法。
2020-10-27 cs.LG stat.ML
Natural Gradient Hybrid Variational Inference with Application to Deep Mixed Models
Melbourne Business School, University of Melbourne(墨尔本大学墨尔本商学院);Monash University(莫纳什大学)
提出一种快速准确的自然梯度混合变分推断方法,通过结合Tikhonov阻尼Fisher信息矩阵和重参数化技巧优化全局参数与潜在变量,在深度混合模型中显著提升了推断效率与精度。
2024-07-24 cs.LG stat.ML
Dual Stochastic Natural Gradient Descent and convergence of interior half-space gradient approximations
IIIA-CSIC(西班牙国家研究委员会人工智能研究所)
多项逻辑斯谛回归(MLR)模型在统计学和机器学习中有着广泛的应用。随机梯度下降(SGD)是在大数据场景中确定MLR模型参数的最常见方法。然而,SGD具有缓慢的次线性收敛速率。提高收敛速度的一种方法是使用流形优化。沿着这条路线,由Amari提出的随机自然梯度下降(SNGD)被证明在收敛时是Fisher有效的。然而,SNGD不能保证收敛,并且对于具有大量参数的MLR模型来说,它在计算上过于昂贵。在这里,我们提出了一个随机最优化方法MLR流形优化概念的基础上,(i)每迭代计算复杂性是线性的参数的数量和(ii)可以证明收敛。为了实现(i),我们建立MLR的联合分布族是一个对偶平坦流形,我们使用它来加速计算。Sánchez-López和Cerquides最近引入了收敛随机自然梯度下降(CSNGD),这是SNGD的一个变体,其收敛性是有保证的。为了获得(ii)我们的算法使用CSNGD的基本思想,从而依赖于一个独立的序列来建立自然梯度的有界近似。我们称所得到的算法对偶随机自然梯度下降(DNSGD)。通过推广Sunehag等人的结果,证明了DSNGD的收敛性。此外,我们证明了DSNGD迭代的计算复杂性是线性的模型的变量的数量。
2021-04-30 cs.LG math.OC stat.ML
Noisy Natural Gradient as Variational Inference
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。不幸的是,在廉价但简单的变分族(例如~完全因式分解的)或昂贵且复杂的推理过程。我们表明,自然梯度上升与自适应权重噪声隐式地适合变分后验最大化的证据下限(ELBO)。这种见解使我们能够分别使用自然梯度、Adam和K-FAC的噪声版本来训练全协方差、全因子分解或矩阵变量高斯变分后验,从而可以扩展到现代规模的ConvNets。在标准回归基准上,我们的噪声K-FAC算法比现有方法更好地预测和匹配Hamilton Monte Carlo的预测方差。其改进的不确定性估计导致主动学习中更有效的探索,以及强化学习的内在动机。
2018-02-26 cs.LG stat.ML
Fast Convergence of Natural Gradient Descent for Overparameterized Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所);DeepMind(深度思维)
自然梯度下降法已被证明可以有效地减轻神经网络优化中病理曲率的影响,但理论上对其收敛特性知之甚少,特别是对于\emph{nonlinear}网络。在这项工作中,我们第一次分析了自然梯度下降的收敛速度的非线性神经网络平方误差损失。我们确定了两个条件,保证有效的收敛从随机初始化:(1)雅可比矩阵(网络的输出的所有训练情况下的参数)有完整的行秩,(2)雅可比矩阵是稳定的小扰动周围的初始化。对于两层ReLU神经网络,我们证明了在非退化输入和过度参数化的假设下,这两个条件在整个训练过程中都成立。我们进一步扩展我们的分析更一般的损失函数。最后,我们证明了K-FAC,一个近似的自然梯度下降法,也收敛到全局最小值在相同的假设下,我们给出了这种收敛速度的一个界。
2019-10-28 cs.LG stat.ML
Randomized Advantage Transformation (RAT): Computing Natural Policy Gradients via Direct Backpropagation
The University of Manchester, United Kingdom(曼彻斯特大学,英国)
本文提出RAT方法,通过直接反向传播估计正则化自然策略梯度,解决了传统方法中估计和求逆Fisher矩阵成本高的问题,实验证明其在连续和视觉控制基准上性能优异且易于实现。
2026-08-04 cs.AI cs.LG
A Novel Structured Natural Gradient Descent for Deep Learning
Beijing Institute of Technology(北京理工大学)
自然梯度下降(NGD)为深度神经网络提供了深刻的见解和强大的工具。然而,随着网络结构的复杂化,Fisher信息矩阵的计算变得越来越困难。本文提出了一种新的优化方法,其主要思想是通过重构网络精确地代替自然梯度优化。更具体地说,我们重建了深度神经网络的结构,并使用传统的梯度下降(GD)优化了新网络。重构后的网络达到了自然梯度下降优化方法的效果。实验结果表明,我们的优化方法可以加速深度网络模型的收敛,并在共享其计算简单性的同时实现比GD更好的性能。
2021-09-21 cs.AI cs.LG
RoNGBa: A Robustly Optimized Natural Gradient Boosting Training Approach with Leaf Number Clipping
The University of California, San Diego(加州大学圣地亚哥分校)
自然梯度最近被引入到增强领域,以实现通用概率预测能力。由于更好的训练动态性,自然梯度提升在小数据集上显示出有希望的性能改进,但它遭受缓慢的训练速度开销,特别是对于大数据集。我们提出了NGBoost的复制研究(Duan等人,2019)训练,仔细检查最佳优先决策树学习情况下关键超参数的影响。我们发现,通过对叶数裁剪进行正则化,可以通过更好地选择超参数来大大提高NGBoost的性能。实验表明,我们的方法显着击败了国家的最先进的性能在各种数据集从UCI机器学习知识库,同时仍然有高达4.85倍的速度相比,原始的方法NGBoost。
2019-12-05 cs.LG stat.ML
Accelerating Natural Gradient with Higher-Order Invariance
Computer Science Department, Stanford University(斯坦福大学计算机科学系)
自然梯度的一个吸引人的性质是它对模型的任意可微重新参数化是不变的。然而,这种不变性需要无限小的步骤,并失去了在实际的实现小,但有限的步长。本文从黎曼几何和数值微分方程求解的角度研究了不变性。我们定义一个数值方法的不变性阶为它收敛到不变解的阶。我们建议使用高阶积分器和测地线修正,以获得更不变的优化轨迹。我们证明了测地线校正更新的数值收敛性质,并表明它们可以作为平原自然梯度的计算效率。在实验中,我们证明了不变性导致更快的优化,我们的技术改进了深度神经网络训练中的传统自然梯度和强化学习的自然策略梯度。
2018-06-07 cs.LG
Understanding Stochastic Natural Gradient Variational Inference
University of Pennsylvania(宾夕法尼亚大学)
本文研究了随机自然梯度变分推断(NGVI)的非渐近收敛速率,证明了共轭似然下首个O(1/T)收敛速率,并揭示了非共轭似然下优化非凸目标的挑战。
2024-06-04 cs.LG stat.ML
Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds
Princeton University(普林斯顿大学);University of Arizona(亚利桑那大学);Microsoft Research NYC(微软研究院纽约分部);Microsoft Research Redmond(微软研究院雷德蒙德分部)
我们设计了一种新的算法,用于使用深度神经网络模型进行批量主动学习。我们的算法,批量主动学习的多样性梯度嵌入(BADGE),样本组的点是不同的和高幅度时,表示在一个幻觉梯度空间,一个策略,旨在将预测的不确定性和样本多样性到每个选定的批次。至关重要的是,BADGE在多样性和不确定性之间进行权衡,而不需要任何手动调整的超参数。我们表明,虽然其他方法有时成功的特定批量大小或架构,BADGE一贯表现良好或更好,使其成为一个通用的选择,为实际的主动学习问题。
2020-02-24 cs.LG stat.ML
Quantum Natural Gradient
Flatiron Institute(弗拉蒂伦研究所);Xanadu(Xanadu公司)
作为变分量子线路通用优化框架的一部分,提出了自然梯度下降的量子推广。优化动力学被解释为相对于量子信息几何在最陡下降方向上移动,对应于量子几何张量(QGT)的实部,也称为Fubini-Study度量张量。提出了一种有效的算法,用于计算参数化量子线路的Fubini-Study度规张量的块对角近似,这可能是独立的兴趣。
2020-05-14 cs.LG quant-ph stat.ML
Fisher-Rao Gradient Flows of Linear Programs and State-Action Natural Policy Gradients
RWTH Aachen University(亚琛工业大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
本文研究线性规划的Fisher-Rao梯度流,证明其线性收敛并改进熵正则化误差界,进而扩展至扰动情形,涵盖状态-动作自然策略梯度的次线性收敛分析。
2026-09-11 cs.LG cs.NA cs.SY
Metric-Free Natural Gradient for Joint-Training of Boltzmann Machines
Université de Montréal(蒙特利尔大学)
本文介绍了用于训练玻尔兹曼机的无度量自然梯度(MFNG)算法。与Martens [8]的Hessian-Free方法的精神相似,我们的算法属于截断牛顿方法家族,并利用有效的矩阵向量积来避免显式存储自然梯度度量$L$。该度量被示出为对数配分函数的预期二阶导数(在模型分布下),或者等价地,能量函数的偏导数的向量的方差。我们在联合训练3层深度玻尔兹曼机的任务上评估了我们的方法,并表明MFNG确实比具有中心的随机最大似然函数具有更快的每历元收敛,尽管挂钟性能目前没有竞争力。
2013-03-16 cs.LG cs.NE stat.ML
Inexact bilevel stochastic gradient methods for constrained and unconstrained lower-level problems
Lehigh University(理海大学)
针对大规模或带约束的随机双层优化难题,提出适配非线性非凸下层约束的双层随机梯度方法,构建覆盖多类不精确计算场景的收敛理论,并开发无需二阶导数的低秩实用方法以支撑大规模学习应用。
2023-11-06 cs.LG math.OC stat.ML
Limitations of the Empirical Fisher Approximation for Natural Gradient Descent
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自然梯度下降是一种捕获部分二阶信息的方法,它以底层统计模型的Fisher信息矩阵作为梯度下降更新的先决条件。几个高度可见的作品提倡一种近似,称为经验费雪,在近似二阶方法和亚当等数学之间建立联系。我们争论这个论点表明,经验费雪-不像费雪-一般不捕捉二阶信息。我们进一步认为,经验费舍尔接近费舍尔(和海森)的条件下,不太可能在实践中得到满足,而且,即使在简单的优化问题,病理的经验费舍尔可以有不良影响。
2020-06-08 cs.LG stat.ML
On the Linear convergence of Natural Policy Gradient Algorithm
Georgia Institute of Technology(佐治亚理工学院)
马尔可夫决策过程通常使用值迭代和策略迭代算法来解决。最近对强化学习的兴趣激发了对受优化启发的方法的研究,例如梯度上升。其中,一个流行的算法是自然策略梯度,它是MDP的镜像下降变体。该算法形成了几种流行的强化学习算法的基础,如自然演员-评论家,TRPO,PPO等,因此正在受到越来越多的关注。它已被证明,具有恒定步长的自然策略梯度以O(1/k)的次线性速度收敛到全局最优。本文给出了改进的有限时间收敛界,并证明了该算法具有几何(也称为线性)渐近收敛速度。我们进一步改善这种收敛结果,通过引入一个变种的自然策略梯度自适应步长。最后,我们通过实验比较了不同的策略梯度方法。
2021-05-04 cs.LG
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL(伦敦大学学院盖茨比计算神经科学单元);University of Cambridge(剑桥大学)
提出了一种新的优化方法,应用于强化学习(RL)的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度(WNG)下降,利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题,即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明,与先进的基线相比,计算成本和性能都有所改善。
2021-03-18 cs.LG
ONG: Orthogonal Natural Gradient Descent
UC Berkeley(伯克利大学)
本文提出正交自然梯度下降(ONG)方法,通过引入自然梯度和正交投影提升持续学习性能,初步实验表明其在MNIST基准上有效,但需进一步理论和实验证实其鲁棒性。
2025-12-06 cs.AI cs.LG
Sequence Training of DNN Acoustic Models With Natural Gradient
Cambridge University(剑桥大学)
深度神经网络(DNN)声学模型通常使用区分序列训练,其优化比基于帧的训练更好地近似单词出错率(WER)的目标函数。序列训练通常使用随机梯度下降(SGD)或Hessian Free(HF)训练来实现。本文提出了一种替代批处理风格的优化框架,采用自然梯度(NG)的方法来遍历参数空间。通过根据KL发散的局部曲率校正梯度,NG优化过程比HF更快地收敛。此外,所提出的NG方法可以应用于任何序列判别训练标准。NG方法的有效性使用多类型广播(MGB)转录任务上的实验来显示,该任务展示了所得到的DNN模型的计算效率和准确性。
2018-04-06 cs.CL cs.LG stat.ML
Achieving High Accuracy with PINNs via Energy Natural Gradients
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Simula Research Laboratory(西穆拉研究实验室)
针对 PINNs 与深度 Ritz 方法的优化难题,提出由 Hessian 诱导度量定义的能量自然梯度下降,并证明其函数空间更新等价于切空间投影的 Newton 方向,实验显示精度较标准优化器提升数个数量级。
2023-08-15 cs.LG cs.NA math.NA
Revisiting Natural Gradient for Deep Networks
本文重新评估了自然梯度算法在深度模型学习中的应用,揭示了其与Hessian-Free、Krylov子空间下降和TONGA方法的联系,并提出了利用无标签数据改进泛化误差、评估对训练集顺序的鲁棒性以及结合二阶信息的扩展算法。
2014-02-17 cs.LG cs.NA math.NA
Sinkhorn Natural Gradient for Generative Models
University of Pennsylvania(宾夕法尼亚大学)
我们考虑的问题,最小化一个功能的参数家庭的概率测度,其中参数化的特点是通过一个推进结构。这个问题的一个重要应用是训练生成对抗网络。在这方面,我们提出了一种新的Sinkhorn自然梯度(SiNG)算法,它作为一个最速下降法的概率空间赋予Sinkhorn发散。我们表明,Sinkhorn信息矩阵(SIM),SiNG的一个关键组成部分,有一个明确的表达,并可以准确地评估复杂性,规模相对于所需的准确性。这与现有的只能近似执行的自然梯度方法形成鲜明对比。此外,在实际应用中,只有Monte-Carlo型积分时,我们设计了一个经验估计SIM和稳定性分析。在我们的实验中,我们定量地比较了SiNG与最先进的SGD型求解器在生成任务上的效率和有效性。
2020-11-09 cs.LG stat.ML