Binomial Gradient-Based Meta-Learning for Enhanced Meta-Gradient Estimation
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Minnesota(明尼苏达大学);Department of Computer Science(计算机科学系);ETH Zürich(苏黎世联邦理工学院)
本文提出BinomGBML方法,通过二项式展开提升元梯度估计精度,理论分析显示其误差界优于现有方法且在温和条件下呈超指数衰减,实验验证了方法的有效性。
2026-04-14 cs.LG
Accelerating Meta-Learning by Sharing Gradients
针对基于梯度的元学习因内循环任务无交互导致初期过拟合、训练速度慢的问题,提出通过内循环正则化共享历史及同批次任务梯度的方法,可在更大内循环学习率下训练,最多加速134%。
2023-12-13 cs.LG
Stochastic Gradient Variance Reduction by Solving a Filtering Problem
School of Electrical and Computer Engineering University of California, San Diego(加州大学圣地亚哥分校电气与计算机工程学院)
深度神经网络(DNN)通常使用随机梯度下降(SGD)进行优化。然而,使用随机样本的梯度估计往往是噪声和不可靠的,导致梯度方差大,收敛性差。本文提出了\textbf{Filter Gradient Decent} ~(FGD)算法,它通过求解不同滤波器设计的自适应滤波问题,实现了局部梯度的一致估计。我们的方法减少了方差随机梯度下降,结合历史状态,以提高当前的估计。该算法不仅能校正带噪的梯度方向,而且能加快学习的收敛速度。我们证明了所提出的滤波器梯度下降的数值优化和训练神经网络的有效性,它实现了优越的和强大的性能相比,传统的基于动量的方法。据我们所知,我们是第一个提供一个实用的解决方案,集成到梯度估计的梯度估计和信号处理中的滤波问题之间的类比过滤。(The代码见https://github.com/Adamdad/Filter-Decent-Decent)
2021-05-15 cs.CV cs.LG stat.ML
Mutual Information Gradient Estimation for Representation Learning
University of Electronic Science and Technology of China(电子科技大学);Peng Cheng Laboratory(鹏城实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校);Harbin Institute of Technology(哈尔滨工业大学)
互信息在表征学习中起着重要的作用。然而,不幸的是,MI是棘手的连续和高维设置。最近的进展建立了易于处理和可扩展的MI估计,发现有用的表示。然而,大多数现有的方法是不能够提供一个准确的估计MI与低方差时,MI是大的。我们认为,直接估计MI的梯度是更有吸引力的表示学习比估计MI本身。为此,我们提出了互信息梯度估计(MIGE)表示学习的基础上的分数估计的隐式分布。MIGE在高维和大MI的情况下表现出一个紧而光滑的MI梯度估计。我们扩展了MIGE在基于InfoMax的深度表示的无监督学习和信息瓶颈方法中的应用。实验结果表明,在学习有用的表示显着的性能改善。
2020-05-03 cs.CV cs.LG stat.ML
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology(香港科技大学)
本文考虑了双向生成建模的一般$f$ -发散公式,其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法,这种配方,其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中,我们表明,不同的分歧诱导类似的算法在梯度评估,除了不同的缩放。因此,本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究,证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
Stabilizing DARTS with Amended Gradient Estimation on Architectural Parameters
Tsinghua University(清华大学);Huawei Inc.(华为公司);Tongji University(同济大学)
DARTS是一种流行的神经架构搜索(NAS)算法。尽管DARTS在搜索效率上有很大的优势,但它的稳定性往往很弱,这反映在个体试验之间的差异很大以及对搜索过程的超参数的敏感性上。本文将这种不稳定性归因于超级网络及其子网络之间的优化差距,即提高超级网络的验证精度并不一定会导致对采样子网络性能的更高期望。然后,我们指出,差距是由于不准确的估计的建筑梯度,在此基础上,我们提出了一个修正的估计方法。从数学上讲,我们的方法保证了真实梯度的有界误差,而原始估计则没有。我们的方法从两个方面弥补了这一差距,即修改对建筑梯度的估计,并统一搜索和重新训练阶段的超参数设置。在CIFAR10和ImageNet上的实验表明,我们的方法大大提高了搜索稳定性,更重要的是,使基于DARTS的方法能够探索以前没有研究过的更大的搜索空间。
2020-05-04 cs.CV cs.LG stat.ML
A Gradient Flow Perspective on Minimum MMD Estimation
University College London(伦敦大学学院)
针对最小最大均值差异(MMD)估计优化问题理解不足,提出预处理梯度下降(PGD)方案,在特定条件下建立渐近全局收敛性,实证表明该方案在多问题上优于标准梯度下降。
2026-07-07 cs.LG stat.ML
Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation
Stanford University(斯坦福大学);University of Salzburg(萨尔茨堡大学)
本文研究不可微函数的随机可微松弛梯度估计问题,从基本原理出发提出无需可微密度和全支撑假设的通用框架,并从3个正交视角开发方差缩减方法,在多种任务上验证了多达24种策略的有效性。
2024-10-10 cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research(百度研究院);Dartmouth College(达特茅斯学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而,从仿真获得的性能梯度估计的方差通常过大,导致差的样本效率。在本文中,我们应用随机方差降低梯度下降(SVRG)的无模型策略梯度,显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上,我们的方法与机器人连续控制中最先进的无模型策略梯度方法(如信赖域策略优化(TRPO))相比,实现了更好的性能。
2018-03-29 cs.LG stat.ML
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University(普林斯顿大学);Peking University(北京大学)
当我们不允许使用目标策略进行采样,而只能访问由某些未知行为策略生成的数据集时,策略梯度(PG)估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计(FPG)算法。FPG可以使用任意策略参数化,假设访问Bellman完全值函数类。在线性值函数近似的情况下,我们提供了一个严格的有限样本上界的政策梯度估计误差,这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征,这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲,我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下,我们的研究结果表明,FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
AR-DAE: Towards Unbiased Neural Entropy Gradient Estimation
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院)
熵在机器学习中是普遍存在的,但是计算任意连续随机变量的分布的熵通常是困难的。本文提出了一种基于摊销残差去噪的自编码器(AR-DAE)来近似对数密度函数的梯度,并利用它来估计熵的梯度。摊销使我们能够显着减少梯度近似的误差,通过逼近渐近最优的规则DAE,在这种情况下,估计在理论上是无偏的。我们进行了理论和实验分析的近似误差的方法,以及广泛的研究,以确保其鲁棒性。最后,使用所提出的梯度近似估计熵的梯度,我们展示了最先进的性能与变分自编码器的密度估计和连续控制与软actor-critic。
2020-06-09 cs.LG stat.ML
Unbiased Gradient Estimation for Distributionally Robust Learning
IBM Research AI(IBM研究院人工智能部门);Thomas J. Watson Research Center(托马斯·J·沃森研究中心)
为了提高模型的泛化能力,我们考虑了一种基于分布鲁棒学习(DRL)的新方法,该方法将随机梯度下降应用于外部最小化问题。我们的算法通过多级蒙特卡罗随机化有效地估计内部最大化问题的梯度。利用阐明标准梯度估计失败原因的理论结果,我们建立了我们方法的梯度估计的最佳参数化,该方法平衡了计算时间和统计方差之间的基本权衡。数值实验表明,我们的DRL方法比以前的工作产生显着的好处。
2020-12-22 cs.LG stat.ML
Multiple Importance Sampling for Stochastic Gradient Estimation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Adobe Research(奥多比研究院);University College London(伦敦大学学院)
本文提出一个用于随机梯度估计的重要性采样框架,通过自适应度量动态演化重要性分布,并结合多个针对特定参数梯度的采样分布进行最优加权,从而获得更优的梯度估计并加快训练收敛。
2025-01-28 cs.LG stat.ML
Gradient Estimation with Discrete Stein Operators
Stanford University(斯坦福大学);Tsinghua University(清华大学);DeepMind(深度思维);Microsoft Research New England(微软研究院新英格兰分部)
针对离散分布下梯度估计方差过高的问题,提出基于离散Stein算子的方差缩减技术,为REINFORCE留一法估计器构建可在线自适应的控制变量,在基准生成任务中以相同函数评估次数实现更低的估计方差。
2024-04-14 cs.LG stat.ML
Perturbative estimation of stochastic gradients
在本文中,我们介绍了一个家庭的随机梯度估计技术的基础上的扰动展开周围的平均抽样分布。我们的特点的偏差和方差泰勒校正估计使用拉格朗日误差公式。此外,我们介绍了一个家庭的方差减少技术,可以应用到其他梯度估计。最后,我们表明,这些新的微扰方法可以扩展到离散函数使用解析延拓。使用这种技术,我们得到了一个新的梯度下降法训练随机网络与二进制权重。在我们的实验中,我们表明,扰动校正提高了收敛的随机变分推断在连续和离散的情况下。
2019-11-15 cs.LG stat.ML
A New Stochastic Approximation Method for Gradient-based Simulated Parameter Estimation
Wuhan Institute for Artificial Intelligence(武汉人工智能研究院);Guanghua School of Management Peking University(北京大学光华管理学院);Xiangjiang Laboratory(湘江实验室)
针对似然函数无解析形式的随机模型参数校准难题,提出采用多时间尺度随机近似算法的基于梯度的模拟参数估计框架,解决比率偏差,提升精度并降低成本,拓展GSPE框架适用场景。
2025-03-24 cs.LG stat.ML
Auto-Meta: Automated Gradient Based Meta Learner Search
SK T-Brain;Yale University(耶鲁大学)
完全自动化机器学习管道是当前人工智能研究的关键挑战之一,因为实际的机器学习通常需要昂贵且耗时的人力流程,例如模型设计,算法开发和超参数调整。在本文中,我们验证了自动化架构搜索与基于梯度的元学习的效果协同作用。我们采用渐进式神经结构搜索\cite{liu:pnas_google:DBLP:journals/corr/abs-1712-00559}来寻找元学习器的最佳结构。基于梯度的元学习器的架构是自动发现的,它在5次5路Mini-ImageNet分类问题上取得了最先进的结果,具有$74.65\%$精度,这是$11.54\%$对第一个基于梯度的元学习器MAML \cite{finn:maml:DBLP:conf/icml/FinnAL17}获得的结果的改进。据我们所知,这项工作是在元学习的背景下第一个成功的神经架构搜索实现。
2018-12-10 cs.AI cs.CV cs.LG
Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping
Columbia University(哥伦比亚大学);Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Howard Hughes Medical Institute(霍华德·休斯医学研究所);University of Florida(佛罗里达大学)
在强化学习和变分自编码器(VAE)训练等背景下,梯度估计通常是拟合具有离散潜变量的生成模型所必需的。DisARM估计器(Yin等人,2020; Dong,Mnih和Tucker 2020)在许多情况下实现了Bernoulli潜变量模型的最新梯度方差。然而,DisARM和其他估计量在参数空间的边界附近具有潜在的爆炸性方差,解决方案往往位于该边界附近。为了改善这个问题,我们提出了一个新的梯度估计\textit{bitflip} -1,具有较低的方差在参数空间的边界。由于bitflip-1具有与现有估计器互补的特性,因此我们引入了一个聚合估计器\textit{unbiased gradient variance clipping}(UGC),该估计器对每个坐标使用bitflip-1或DisARM梯度更新。我们从理论上证明了UGC比DisARM具有一致更低的方差。从经验上讲,我们观察到,UGC在玩具实验,离散VAE训练和最佳子集选择问题中实现了优化目标的最佳值。
2022-08-12 cs.LG stat.ML
Robust Estimation via Robust Gradient Estimation
Carnegie Mellon University(卡内基梅隆大学)
我们提供了一个新的计算效率的估计类风险最小化。我们表明,这些估计是强大的一般统计模型:在经典的Huber ε-污染模型和重尾设置。我们的主力是一个新的强大的梯度下降的变种,我们提供的条件下,我们的梯度下降的变种提供准确的估计在一个一般的凸风险最小化问题。我们提供了具体的后果,我们的理论,线性回归,逻辑斯谛回归和估计的典型参数在指数家庭。这些结果为这些典型的统计模型提供了一些第一个计算上易处理的和可证明的鲁棒估计。最后,我们研究了我们提出的方法在合成和真实数据集上的实证性能,发现我们的方法令人信服地优于各种基线。
2018-04-20 cs.AI cs.LG stat.ML
Learning Combinations of Sigmoids Through Gradient Estimation
Northeastern University(东北大学);Stanford University(斯坦福大学)
提出了一种新的隐变量回归模型参数学习方法。简而言之,我们在一组随机点上估计回归函数的梯度,并对估计的梯度进行聚类。聚类的中心被用作隐藏单元的参数的估计。我们证明这种方法通过研究一个玩具模型,其中的回归函数是一个线性组合的S形。我们证明,确实估计的梯度集中周围的隐藏单元的参数向量,并提供所需的样本的数量上的非渐近界。据我们所知,没有类似的保证已被证明为线性组合的S形。
2018-01-17 cs.LG stat.ML
Lsh-sampling Breaks the Computation Chicken-and-egg Loop in Adaptive Stochastic Gradient Estimation
Rice University(莱斯大学)
随机梯度下降(SGD)算法是求解大规模优化问题的一种常用算法。SGD通过样本大小为1的均匀采样来估计梯度。有几个其他的工作,建议更快的逐时收敛,通过使用加权非均匀采样更好的梯度估计。不幸的是,为梯度估计维护这种自适应分布的每次迭代成本超过了计算完整梯度本身,我们称之为鸡和蛋循环。结果,迭代中收敛更快的假象,实际上导致了时间上的收敛更慢。在本文中,我们打破了这一障碍,提供了第一个演示方案,局部敏感哈希(LSH)采样随机梯度下降(LGD),这导致优越的梯度估计,同时保持每次迭代的采样成本类似于均匀采样。这样的算法是可能的,由于LSH的采样视图,这是最近曝光。由于优越和快速的估计,我们减少了所有现有的梯度下降算法的运行时间,依赖于梯度估计,包括亚当,Ada-grad等,我们证明了我们的建议的有效性与线性模型以及非线性BERT,这是最近流行的深度学习为基础的语言表示模型的实验。
2019-10-30 cs.LG math.OC stat.ML
Deep Bayesian Quadrature Policy Optimization
Purdue University(普渡大学);Google Research(谷歌研究院);Caltech(加州理工学院)
我们研究的问题,获得准确的策略梯度估计使用有限数量的样本。蒙特卡罗方法一直是策略梯度估计的默认选择,尽管在梯度估计中存在高方差。另一方面,像贝叶斯求积方法,由于其高的计算复杂性,样本效率更高的替代方案很少受到关注。在这项工作中,我们提出了深贝叶斯正交策略梯度(DBQPG),计算效率高的高维推广贝叶斯正交,策略梯度估计。我们表明,DBQPG可以取代蒙特卡洛估计的策略梯度方法,并证明了其有效性的一组连续控制基准。与Monte-Carlo估计相比,DBQPG提供(i)具有显著较低方差的更准确的梯度估计,(ii)对于几种深度策略梯度算法,在样本复杂度和平均回报方面的一致改进,以及(iii)梯度估计中的不确定性,其可以被并入以进一步提高性能。
2020-12-16 cs.LG stat.ML
Information-Theoretic Lower Bounds for Zero-Order Stochastic Gradient Estimation
Purdue University(普渡大学)
本文分析了零阶随机预言模型中任意多维光滑(可能非凸)函数的梯度估计所需的样本数。在该模型中,估计器可以访问函数的噪声值,以便产生梯度的估计。我们还提供了一个分析的足够数量的样本的有限差分方法,在数值线性代数的经典技术。对于$T$样本和$d$维数,我们的信息论下限是$Ω(\sqrt{d/T})$。我们表明,有限差分方法的有界方差预言率$O(d^{4/3}/\sqrt{T})$的功能,零三阶和高阶导数。这些速率对于高斯预言机来说是紧的。因此,有限差分方法不是最小最大最优的,因此有空间开发更好的梯度估计方法。
2020-10-27 cs.LG stat.ML
Nonlinear Projection Based Gradient Estimation for Query Efficient Blackbox Attacks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Ant Financial(蚂蚁金服);Alibaba Group US(阿里巴巴集团美国)
梯度估计和向量空间投影作为两个不同的主题进行了研究。我们的目标是通过研究如何有效地估计基于投影低维空间的梯度来弥合两者之间的差距。首先,我们提供了线性和非线性投影下的梯度估计的上下界,并概述了可检查的充分条件下,一个是优于其他。此外,我们分析了基于投影的梯度估计的查询复杂性,并提出了查询有效的估计的一个充分条件。在理论分析的基础上,提出了一种基于非线性梯度投影的边界黑箱攻击算法(Nonlinear-BA)。我们在四个图像数据集上进行了广泛的实验:ImageNet,CelebA,CIFAR-10和MNIST,并显示了所提出的方法与最先进的基线相比的优越性。特别是,我们表明,基于投影的边界黑盒攻击能够实现小得多的扰动幅度与100%的攻击成功率的基础上有效的查询。线性和非线性投影在不同的条件下都显示出各自的优势。我们还针对商业在线API MEGVII Face++评估了非线性BA,并定量和定性地展示了高黑盒攻击性能。该代码可在https://github.com/AI-secure/NonLinear-BA上公开获取。
2021-04-28 cs.CV cs.LG
Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies
University of Toronto(多伦多大学);Google(谷歌);Google Brain(谷歌大脑)
展开计算图出现在许多场景中,包括训练RNN,通过展开优化调整超参数,以及训练学习的优化器。目前的方法来优化参数,在这样的计算图遭受高方差梯度,偏差,更新缓慢,或大量的内存使用。我们引入了一种称为持久演化策略(PES)的方法,该方法将计算图划分为一系列截断展开,并在每次展开后执行基于演化策略的更新步骤。PES通过在整个展开序列上累积校正项来消除这些截断的偏差。PES允许快速参数更新,具有低内存使用,无偏,并具有合理的方差特性。我们通过实验证明了PES与其他几种用于合成任务梯度估计的方法相比的优势,并显示了其在训练学习优化器和调整超参数方面的适用性。
2021-12-27 cs.LG stat.ML
Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction
Department of Statistics(统计系);University of Chicago(芝加哥大学);University of California, Irvine(加州大学尔湾分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出一种全新的在线去偏差协方差估计器,无需二阶导数即可显著提升估计精度,收敛速度为n^{(α-1)/2}√logn,优于现有无Hessian方法。
2026-04-23 cs.LG stat.ML
KF-LAX: Kronecker-factored curvature estimation for control variate optimization in reinforcement learning
University of Toronto(多伦多大学)
无模型强化学习中基于梯度的优化方法的一个关键挑战是开发一种样本效率高且方差低的方法。在这项工作中,我们应用克罗内克因子曲率估计技术(KFAC)最近提出的梯度估计控制变量优化,RELAX,以提高样本效率,使用这种梯度估计方法在强化学习。所提出的方法的性能证明合成问题和一组三个离散控制任务Atari游戏。
2018-12-11 cs.LG stat.ML
Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of Continuous-Time State-Space Models
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文研究一类连续时间状态空间模型的静态参数估计问题。我们的目标是获得对数似然(得分函数)的梯度的无偏估计,即使模型中涉及的随机过程必须在时间上离散化,该估计也是无偏的。为了实现这一目标,我们采用了双重随机化方案,其中涉及一种新的耦合条件粒子滤波器(CCPF)的第二级随机化。我们的新估计有助于促进基于梯度的估计算法,如随机梯度Langevin下降的应用。我们说明了我们的方法在随机梯度下降(SGD)的背景下,在几个数值例子和比较与Rhee & Glynn估计。
2021-05-28 cs.LG cs.NA math.NA
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton(南安普顿大学)
已经提出了许多优化方法来优化非凸目标(例如深度学习模型),例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明,这些优化方法可以通过使用无偏梯度估计器来收敛。然而,在实践中,有偏梯度估计可以允许更有效地收敛到附近,因为无偏方法在计算上更昂贵。为了产生快速收敛,这些优化策略有两个权衡,即随机/批量和有偏/无偏之间。本文提出了一种综合的方法,可以控制的性质的随机元素的优化,并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明,这个超参数可以配置为提供一个有效的平衡,以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Monte Carlo Gradient Estimation in Machine Learning
DeepMind;University College London(伦敦大学学院)
本文是一个广泛的和可访问的调查的方法,我们在我们的处置蒙特卡罗梯度估计在机器学习和整个统计科学:计算梯度的期望函数的参数定义的分布是集成的问题;的问题的敏感性分析。在机器学习研究中,这种梯度问题是监督学习、无监督学习和强化学习中许多学习问题的核心。我们通常会尝试以允许蒙特卡罗估计的形式重写这种梯度,从而使它们能够轻松有效地使用和分析。我们探讨三种策略-路径,得分函数,和测量值梯度估计-探索他们的历史发展,推导,和基本假设。我们描述他们在其他领域的使用,显示它们是如何相关的,可以结合起来,并扩大其可能的概括。无论蒙特卡罗梯度估计已经推导和部署在过去,重要的进展随之而来。对这一问题的更深刻和更广泛的理解将导致进一步的进展,我们希望支持的正是这些进展。
2020-09-29 cs.LG math.OC stat.ML
Improving Gradient Estimation in Evolutionary Strategies With Past Descent Directions
ETH Zürich(苏黎世联邦理工学院)
进化策略(ES)是一种有效的黑盒优化技术,适用于无法计算真实梯度的深度神经网络,例如强化学习。我们继续最近的一系列研究,使用代理梯度,以提高梯度估计ES。我们提出了一种新的方法,最佳地将替代梯度信息。与以前的工作不同,我们的方法不需要关于代理梯度质量的信息,并且总是保证找到比代理梯度更好的下降方向。这允许迭代地使用先前的梯度估计作为当前搜索点的替代梯度。我们从理论上证明,这会产生快速收敛到真正的梯度线性函数和简化的假设下,它显着提高一般函数的梯度估计。最后,我们评估我们的方法经验MNIST和强化学习任务,并表明它大大提高了ES的梯度估计,没有额外的计算成本。
2019-10-11 cs.LG cs.NE
Curriculum in Gradient-Based Meta-Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila(米拉);Polytechnique Montréal(蒙特利尔综合理工学院);CIFAR AI Chair(加拿大高级研究院人工智能主席)
诸如模型不可知元学习(MAML)之类的基于约束的元学习器在监督和强化学习设置中表现出强大的Few-Shot性能。然而,特别是在Meta强化学习(元RL)的情况下,我们可以证明,基于梯度的元学习器是敏感的任务分布。在错误的课程中,代理遭受元过拟合,浅适应和适应不稳定的影响。在这项工作中,我们首先强调了基于梯度的元RL的有趣的失败案例,并表明任务分布可以广泛地影响算法输出,稳定性和性能。为了解决这个问题,我们利用最近关于域随机化的文献中的见解,并提出了Meta主动域随机化(元ADR),它学习基于梯度的元RL的任务课程,类似于ADR对sim 2 real传输的任务。我们表明,这种方法诱导更稳定的政策,对各种模拟运动和导航任务。我们评估了分布内和分布外泛化分布外泛化,发现即使在非结构化任务空间中,学习到的任务分布也大大提高了MAML的适应性能。最后,我们激发了元RL中更好的基准测试的需求,该基准测试将\textit{generalization}优先于单任务自适应性能。
2020-02-19 cs.AI cs.LG stat.ML
Conjugate-Gradient-like Based Adaptive Moment Estimation Optimization Algorithm for Deep Learning
School of Mathematical Sciences, University of Electronic Science and Technology of China(电子科技大学数学科学学院)
本文提出 CG-like-Adam 优化算法,用类共轭梯度替换 Adam 的一阶与二阶矩估计,并通过收敛分析和 CIFAR10/100 实验验证其优势。
2025-01-08 cs.AI cs.CV cs.LG
Low-Variance Policy Gradient Estimation with World Models
Universiteit van Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在本文中,我们提出了世界模型政策梯度(WMPG),一种使用学习世界模型(WM)来减少政策梯度估计方差的方法。在WMPG中,WM在线训练并用于想象轨迹。想象的轨迹有两种用途。首先,计算策略梯度的无替换估计。其次,想象轨迹的返回被用作知情基线。我们比较了所提出的方法与AC和MAC上的一组环境的复杂性增加(CartPole,LunarLander和Pong),并发现WMPG具有更好的采样效率。基于这些结果,我们得出结论,WMPG可以产生增加的样本效率的情况下,一个强大的潜在的环境表示可以学习。
2020-10-29 cs.AI cs.LG stat.ML
Parallel Momentum Methods Under Biased Gradient Estimations
National Institute of Standards and Technology(美国国家标准与技术研究院);Rice University(莱斯大学);Colorado State University(科罗拉多州立大学);University of Colorado(科罗拉多大学);National Research Institute for Metals(国立金属材料研究所)
该研究针对分布式机器学习中梯度估计易有偏的问题,建立了一般非凸和μ-PL问题下并行动量方法的最坏情况界,实验验证其收敛性能优于传统有偏梯度下降。
2025-01-12 cs.LG
Optimistic Meta-Gradients
DeepMind(深度思维)
我们研究了基于梯度的元学习和凸优化之间的联系。我们观察到,具有动量的梯度下降是元梯度的一个特例,并且基于最近的优化结果,我们证明了单任务设置中元学习的收敛速度。虽然元学习更新规则可以产生更快的收敛到常数因子,但它不足以加速。相反,需要某种形式的乐观。我们表明,元学习中的乐观情绪可以通过Bootstrapped Meta-Projectients(Flennerhag et al.,2022年),提供更深入的了解其基本机制。
2023-01-09 cs.AI cs.LG math.OC
On a few pitfalls in KL divergence gradient estimation for RL
Meta GenAI(Meta 生成人工智能);Meta FAIR
本文指出 LLM 的 RL 训练中 KL 散度梯度估计的常见实现错误,分析将 KL 估计直接作为损失微分及忽视序列性导致的问题,并通过表格与 LLM 实验说明影响、给出正确实现。
2025-06-11 cs.LG
Meta-Gradients in Non-Stationary Environments
University of Oxford(牛津大学);DeepMind(深度思维)
元梯度方法(Xu等人,2018; Zahavy等人,2020)为非平稳强化学习问题中的超参数选择和自适应问题提供了一个有前途的解决方案。然而,在这样的环境中的元梯度的性质还没有得到系统的研究。在这项工作中,我们带来了新的清晰度元梯度在非平稳环境。具体而言,我们要问:(i)应该向学习的优化器提供多少信息,以便在生命周期内实现更快的自适应和泛化,(ii)在此过程中学习什么元优化器函数,以及(iii)元梯度方法是否在高度非平稳环境中提供更大的优势。为了研究提供给元优化器的信息的效果,如在最近的作品中(Flennerhag等人,2021; Almeida等人,2021),我们用所选上下文特征的学习元参数函数替换固定更新规则的调整元参数。上下文特征携带关于代理性能和环境变化的信息,因此可以通知学习的元参数调度。我们发现,添加更多的上下文信息通常是有益的,从而更快地适应元参数值和提高性能的生命周期。我们支持这些结果的定性分析所产生的元参数时间表和学习功能的上下文功能。最后,我们发现,没有上下文,元梯度不提供一个一致的优势,在高度非平稳的环境中的基线。我们的研究结果表明,上下文元梯度可以发挥关键作用,在非平稳设置中提取高性能的元梯度。
2022-09-13 cs.LG
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich(苏黎世联邦理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管策略梯度方法取得了成功,但它们的梯度估计方差很高,这可能导致样本复杂度不令人满意。最近,许多方差减少扩展的策略梯度方法已被提出,证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查,一些主要的方差减少REINFORCE型方法,我们提出了概率梯度估计策略梯度(PAGE-PG),一种新的无环方差减少策略梯度方法的基础上,两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发,并利用重要性采样来获得无偏梯度估计。我们发现,PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案,它匹配的样本复杂度,其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
Biased Gradient Estimate with Drastic Variance Reduction for Meta Reinforcement Learning
DeepMind
尽管Meta强化学习(meta-RL)在经验上取得了成功,但理论和实践之间仍然存在一些难以理解的差异。重要的是,有偏梯度估计几乎总是在实践中实现,而元RL的先验理论仅在无偏梯度估计下建立收敛。在这项工作中,我们调查这样的差异。特别是,(1)我们表明,无偏梯度估计的方差$Θ(N)$线性依赖于样本大小$N$的内部循环更新;(2)我们提出了线性得分函数(LSF)梯度估计,其中有偏见$\mathcal{O}(1/\sqrt{N})$和方差$\mathcal{O}(1/N)$ ;(3)我们表明,大多数经验的工作,实际上实现了LSF梯度估计的变体。这意味着实际的算法“意外”引入偏差,以实现更好的性能;(4)我们建立理论保证的LSF梯度估计在元RL关于其收敛到固定点,表现出更好的依赖于$N$比以前的工作时,$N$是大的。
2021-12-14 cs.LG
An Efficient Two-stage Gradient Boosting Framework for Short-term Traffic State Estimation
Layer 6 AI
实时交通状态估计是智能交通系统的重要组成部分。NeurIPS 2022网络4cast挑战赛为短期流量状态估计方法的基准测试提供了一个很好的测试平台。本技术报告描述了我们应对这一挑战的解决方案。特别是,我们提出了一个有效的两阶段梯度提升框架的短期交通状态估计。第一阶段基于稀疏循环计数器数据导出月份、星期几和时隙索引,并且第二阶段基于稀疏循环计数器数据和导出的月份、星期几和时隙索引预测未来交通状态。实验结果表明,我们的两阶段梯度提升框架实现了强大的经验性能,在核心和扩展挑战中均获得第三名,同时保持高效。本技术报告的源代码可从\url{https://github.com/YichaoLu/Traffic4cast2022}获得。
2023-02-21 cs.LG
Backpropagation through the Void: Optimizing control variates for black-box gradient estimation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
基于直觉的优化是深度学习和强化学习的基础。即使当被优化的机制是未知的或不可微的,使用高方差或有偏梯度估计的优化通常仍然是最好的策略。我们介绍了一个一般的框架,学习低方差,无偏梯度估计的黑箱函数的随机变量。我们的方法使用梯度的神经网络训练联合模型参数或政策,并适用于离散和连续设置。我们展示了这个框架来训练离散潜变量模型。我们还给出了一个无偏的,行动条件的优势演员-评论家强化学习算法的扩展。
2018-02-23 cs.LG
Robust estimation via generalized quasi-gradients
University of California, Berkeley(加州大学伯克利分校)
我们探讨了为什么许多最近提出的稳健估计问题是有效的解决,即使底层的优化问题是非凸的。我们研究这些稳健估计问题的损失景观,并确定“广义拟梯度”的存在。当这些准梯度存在时,保证一个大家族的低遗憾算法近似全局最小值;这包括常用的滤波算法。对于有界协方差下分布的稳健均值估计,证明了相关优化问题的任何一阶平稳点是{近似全局最小值}的充要条件是腐败水平$ε< 1/3$ .因此,任何接近平稳点的优化算法都会产生具有崩溃点$1/3$的有效鲁棒估计器。通过仔细的初始化和步长,我们将其改进为最佳的$1/2$。对于其他任务,包括线性回归和联合均值和协方差估计,损失情况更加崎岖:存在距离全局最小值任意远的稳定点。然而,我们证明了广义拟梯度的存在,并构建有效的算法。这些算法比以前的文献中,线性回归,我们提高了估计误差从$O(\sqrtε)$的最佳速率的$O(ε)$小$ε$假设认证的hypercontractivity。对于具有近似一致协方差的均值估计,我们证明了一个简单的梯度下降算法可以达到崩溃点$1/3$和迭代复杂度$\tilde{O}(d/ε^2)$。
2020-05-28 cs.LG eess.SP math.ST
One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning
InstaDeep
在线调整学习过程的自调整算法鼓励更有效和更强大的学习。在所有可用的方法中,元梯度已成为一种有前途的方法。他们利用学习规则相对于一些超参数的可微性,以在线方式调整它们。虽然元梯度可以在多个学习步骤中累积以避免近视更新,但这在实践中很少使用。在这项工作中,我们证明了虽然多步元梯度确实提供了预期中更好的学习信号,但这是以方差显著增加为代价的,从而阻碍了性能。根据这种分析,我们引入了一种新的方法,混合多个内部步骤,享有更准确和鲁棒的元梯度信号,本质上权衡偏置和方差的元梯度估计。当应用于Snake游戏时,混合元梯度算法可以将方差削减3倍,同时实现类似或更高的性能。
2021-10-30 cs.AI cs.LG
An Investigation of the Bias-Variance Tradeoff in Meta-Gradients
University of Oxford(牛津大学);DeepMind(深度思维)
元梯度为优化强化学习(RL)算法的元参数提供了一种通用方法。元梯度的估计对于这些元算法的性能至关重要,并且已经在MAML风格的短期元RL问题的设置中进行了研究。在这种情况下,先前的工作已经研究了RL目标的Hessian的估计,以及通过进行采样校正来解决信用分配到预适应行为的问题。然而,我们表明,海森估计,例如由DiCE及其变体实现,总是增加偏差,也可以增加方差的元梯度估计。同时,元梯度估计在重要的长视野设置中研究较少,其中通过完整的内部优化轨迹的反向传播是不可行的。我们研究了截断反向传播和采样校正所产生的偏差和方差权衡,并与演化策略进行了比较,这是最近流行的长期元学习的替代策略。虽然以前的工作隐含地选择点在这个偏差方差空间,我们解开的偏差和方差的来源,并提出了一个实证研究,现有的估计相互关联。
2022-09-22 cs.LG
Stein-Rule Shrinkage for Stochastic Gradient Estimation in High Dimensions
Department of Statistics Faculty of Mathematical Sciences(统计学系数学科学学院);Division of Computer Science Department of Applied Mathematics Faculty of Mathematical Sciences(计算机科学系应用数学系数学科学学院)
本文提出SR-Adam算法,通过Stein规则收缩改进高维随机梯度估计,在大规模学习中实现更优的性能。
2026-02-06 cs.AI cs.LG math.ST
Malliavin Calculus for Counterfactual Gradient Estimation in Adaptive Inverse Reinforcement Learning
School of Electrical and Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院)
本文提出一种基于拉格朗日算法的自适应逆强化学习方法,利用马尔蒂尼算子高效估计反事实梯度,解决传统方法收敛慢的问题。
2026-09-22 cs.LG
From the Greene--Wu Convolution to Gradient Estimation over Riemannian Manifolds
在有限维的完备黎曼流形上,格林和吴引入了卷积,称为格林-吴卷积(Greene-Wu convolution,GW)。在本文中,我们研究GW卷积的性质,并将其应用于非欧机器学习问题。特别是,我们推导出一个新的公式,如何通过GW卷积的空间的曲率会影响曲率的功能。在研究GW卷积的基础上,给出了黎曼流形上梯度估计的一种新方法。
2022-01-22 cs.LG cs.NA math.NA
Debiasing Meta-Gradient Reinforcement Learning by Learning the Outer Value Function
InstaDeep
元梯度强化学习(RL)允许代理在训练期间以在线方式自我调整其超参数。在本文中,我们确定当前元梯度RL方法的元梯度中的偏差。这种偏差来自于使用批评者,该批评者是使用元学习的折扣因子训练的,用于外部目标中的优势估计,这需要不同的折扣因子。由于元学习折扣因子通常低于外部目标中使用的折扣因子,因此产生的偏差可能导致元梯度偏向短视策略。我们提出了一个简单的解决方案,这个问题:我们消除这种偏见,使用替代,\emph{outer}价值函数的估计外损失。为了获得这个外部价值函数我们在评论家网络中添加第二个头,并使用外部损失折扣因子与经典评论家一起对其进行训练。在一个说明性的玩具问题上,我们证明了偏置会导致当前元梯度RL方法的灾难性失败,并表明我们提出的解决方案修复了它。然后,我们将我们的方法应用于更复杂的环境,并证明修复元梯度偏置可以显着提高性能。
2022-11-19 cs.AI cs.LG
Towards Scalable Backpropagation-Free Gradient Estimation
Australian National University(澳大利亚国立大学)
针对反向传播计算和存储开销大、前向模式自动微分高方差难扩展的问题,提出一种通过处理上游 Jacobian 矩阵同时降低偏差与方差的无反向传播梯度估计方法,具有扩展到更大网络的潜力。
2025-11-05 cs.LG
Adaptive Feedforward Gradient Estimation in Neural ODEs
Hassan First University of Settat(塞塔特哈桑一世大学)
本研究提出一种自适应前馈梯度估计方法,通过消除反向传播和伴随方法来提升Neural ODEs的效率与可解释性,同时保持准确率。
2024-09-22 cs.LG
Learning-to-Rank at the Speed of Sampling: Plackett-Luce Gradient Estimation With Minimal Computational Complexity
Radboud University(拉德堡德大学)
Plackett-Luce梯度估计使得通过采样技术在可行的时间约束内优化随机排序模型成为可能。不幸的是,现有方法的计算复杂性不能很好地与排名的长度(即,排名截止)以及项目集合大小成比例。在本文中,我们介绍了新的PL-秩3算法,执行无偏梯度估计的计算复杂性可比的最佳排序算法。因此,我们的新的学习排序方法适用于任何情况下,标准排序是可行的,在合理的时间。我们的实验结果表明,优化所需的时间有很大的增益,而性能没有任何损失。对于该领域,我们的贡献可能会允许最先进的学习排序方法应用于比以前可行的更大的规模。
2022-04-28 cs.IR cs.LG
High-Dimensional Robust Mean Estimation via Gradient Descent
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学);University of Southern California(南加州大学)
我们研究了高维鲁棒均值估计的问题,在存在一个常数分数的敌对离群值。最近的一系列工作提供了复杂的多项式时间算法,这个问题与尺寸无关的误差保证范围内的自然分布家庭。在这项工作中,我们表明,一个自然的非凸制定的问题可以直接解决梯度下降。我们的方法利用了一个新的结构引理,粗略地表明,我们的非凸目标的任何近似稳定点给出了一个接近最优的解决方案,以基本的鲁棒估计任务。我们的工作建立了一个有趣的算法高维鲁棒统计和非凸优化,这可能有更广泛的应用到其他鲁棒估计任务之间的联系。
2020-05-04 cs.DS cs.LG math.OC
Meta-learning Spiking Neural Networks with Surrogate Gradient Descent
Peter Grünberg Institute – Neuromorphic Software Ecosystems(彼得·格伦贝格研究所——神经形态软件生态系统);Forschungszentrum Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学);UC Irvine(加州大学欧文分校)
在边缘和在线任务执行期间进行自适应“终身”学习是人工智能研究的一个理想目标。实现脉冲神经网络(SNN)的神经形态硬件在这方面特别有吸引力,因为它们的实时、基于事件的本地计算范例使它们适合于边缘实现和快速学习。然而,最先进的SNN训练所特有的长时间和迭代学习与神经形态硬件的物理性质和实时操作不兼容。双层学习,如元学习,越来越多地用于深度学习,以克服这些限制。在这项工作中,我们展示了SNN中基于梯度的元学习,使用替代梯度方法来近似梯度估计的尖峰阈值函数。因为代理梯度可以被二次可微,所以可以使用良好建立的有效的二阶梯度元学习方法,例如模型不可知Meta Learning(MAML)。我们表明,使用MAML元训练的SNN匹配或超过基于事件的元数据集上使用MAML元训练的传统ANN的性能。此外,我们还展示了元学习的具体优势:快速学习,无需高精度权重或梯度。我们的研究结果强调了元学习技术如何成为部署神经形态学习技术在现实世界中的问题。
2022-01-26 cs.LG cs.NE