Conjugate-Gradient-like Based Adaptive Moment Estimation Optimization Algorithm for Deep Learning
School of Mathematical Sciences, University of Electronic Science and Technology of China(电子科技大学数学科学学院)
本文提出 CG-like-Adam 优化算法,用类共轭梯度替换 Adam 的一阶与二阶矩估计,并通过收敛分析和 CIFAR10/100 实验验证其优势。
2025-01-08 cs.AI cs.CV cs.LG
A Variance Controlled Stochastic Method with Biased Estimation for Faster Non-convex Optimization
School of Electronic and Computer Science(电子与计算机科学学院);University of Southampton(南安普顿大学)
本文提出了一种新的技术,{ \em方差控制随机梯度}(VCSG),以提高性能的随机方差降低梯度(SVRG)算法。为了避免SVRG对梯度方差的过度减小,在VCSG中引入了一个超参数$λ$来控制SVRG减小后的方差。理论表明,优化方法可以通过使用无偏梯度估计器来收敛,但在实践中,有偏梯度估计可以允许更有效地收敛到附近,因为无偏方法在计算上更昂贵。$λ$还具有平衡无偏估计和有偏估计之间的权衡的效果。其次,为了最小化SVRG中的完全梯度计算的数量,引入方差有界批处理以减少每次迭代中所需的梯度计算的数量。对于光滑非凸函数,该算法在$\mathcal{O}(min\{1/ε^{3/2},n^{1/4}/ε\})$次数内收敛到一个近似的一阶稳定点($\mathbb{E}\|\nabla{f}(x)\|^{2}\leqε$),改善了基于随机梯度的SCS方法$(\mathcal{O}(min\{1/ε^{5/3},n^{2/3}/ε\})$的前导梯度复杂度.理论和实验表明,VCSG可以部署,以提高收敛。
2021-02-19 cs.AI cs.LG math.OC
Online Covariance Matrix Estimation in Stochastic Gradient Descent
University of Chicago(芝加哥大学);New York University(纽约大学)
随机梯度下降(SGD)算法被广泛应用于参数估计,特别是大数据集和在线学习。虽然这种递归算法是流行的计算和内存效率,量化的可变性和随机性的解决方案很少被研究。本文旨在在线环境下对基于SGD的估计值进行统计推断。特别是,我们提出了一个完全在线估计协方差阵的平均SGD迭代(ASGD)只使用从SGD迭代。我们正式建立我们的在线估计的一致性,并表明收敛速度与离线同行。基于ASGD的经典渐近正态性结果,构造了模型参数的渐近有效置信区间。在接收到新的观测值后,我们可以快速更新协方差阵估计值和置信区间。这种方法适合在线设置,并充分利用SGD:计算和内存效率。
2021-06-22 cs.LG stat.ML
GBHT: Gradient Boosting Histogram Transform for Density Estimation
Peking University(北京大学);University of Twente(特文特大学);Pazhou Lab(琶洲实验室)
在本文中,我们提出了一个密度估计算法称为\textit{Gradient Boosting Histogram Transform}(GBHT),其中我们采用\textit{Negative Log Likelihood}作为损失函数,使提升过程可用于无监督任务。从学习理论的角度来看,我们首先证明快速收敛速度GBHT与光滑的假设,基本的密度函数位于空间$C^{0,α}$。然后当目标密度函数位于空间$C^{1,α}$中时,从收敛速度的意义上讲,我们给出了GBHT的上界,该上界小于其对应的基学习器的下界。据我们所知,我们第一次尝试从理论上解释为什么提升可以提高其基本学习器的性能密度估计问题。在实验中,我们不仅与广泛使用的KDE进行性能比较,而且还将GBHT应用于异常检测,以展示GBHT的进一步应用。
2021-06-10 cs.LG stat.ML
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University(西北大学)
在高维情况下,大多数机器学习方法即使存在少量离群值,其性能也是脆弱的。为了解决这个问题,我们希望引入一种新的方法与基础学习,如贝叶斯回归或随机梯度下降,以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛,所以我们使用小批量梯度下降的方法,称为带有修剪的小批量梯度下降(MBGDT)。当我们将我们的方法应用于设计的数据集时,我们的方法显示出最先进的性能,并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
Robust Structured Statistical Estimation via Conditional Gradient Type Methods
University of Texas at Austin(德克萨斯大学奥斯汀分校)
结构化统计估计问题通常通过条件梯度(CG)类型的方法来解决,以避免计算上昂贵的投影操作。然而,现有的CG类型的方法是不健壮的数据损坏。为了解决这个问题,我们建议鲁棒CG类型的方法对Huber的腐败模型和重尾数据。首先,我们证明了两种成对CG方法是稳定的,即,不要积累错误。结合鲁棒平均梯度估计技术,我们可以保证鲁棒性的问题,但现在在一个无投影算法框架。接下来,我们考虑高维问题。基于鲁棒均值估计的方法可能具有不可接受的高样本复杂度。当约束集为$\ell_0$范数球时,最近发展了基于迭代硬约束保持的方法。然而,即使对于具有$O(d)$极值点的一般集合,扩张也是非平凡的。对于可行集有$O(\text{poly}(d))$极值点的情况,我们提出了一种新的鲁棒性方法,该方法基于一个新的条件,我们称之为鲁棒原子选择条件(RASC)。当满足RASC时,我们的方法线性收敛,具有相应的统计误差,样本复杂度在问题的稀疏性中正确缩放,而不是基于鲁棒均值估计的任何方法所需的环境维度。
2020-07-07 cs.LG math.OC stat.ML
Robust estimation via generalized quasi-gradients
University of California, Berkeley(加州大学伯克利分校)
我们探讨了为什么许多最近提出的稳健估计问题是有效的解决,即使底层的优化问题是非凸的。我们研究这些稳健估计问题的损失景观,并确定“广义拟梯度”的存在。当这些准梯度存在时,保证一个大家族的低遗憾算法近似全局最小值;这包括常用的滤波算法。对于有界协方差下分布的稳健均值估计,证明了相关优化问题的任何一阶平稳点是{近似全局最小值}的充要条件是腐败水平$ε< 1/3$ .因此,任何接近平稳点的优化算法都会产生具有崩溃点$1/3$的有效鲁棒估计器。通过仔细的初始化和步长,我们将其改进为最佳的$1/2$。对于其他任务,包括线性回归和联合均值和协方差估计,损失情况更加崎岖:存在距离全局最小值任意远的稳定点。然而,我们证明了广义拟梯度的存在,并构建有效的算法。这些算法比以前的文献中,线性回归,我们提高了估计误差从$O(\sqrtε)$的最佳速率的$O(ε)$小$ε$假设认证的hypercontractivity。对于具有近似一致协方差的均值估计,我们证明了一个简单的梯度下降算法可以达到崩溃点$1/3$和迭代复杂度$\tilde{O}(d/ε^2)$。
2020-05-28 cs.LG eess.SP math.ST
Scaleable input gradient regularization for adversarial robustness
McGill University(麦吉尔大学)
在这项工作中,我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先,我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次,我们实现了一个可扩展版本的输入梯度正则化,避免了双重反向传播:对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后,我们通过实验和理论证明,输入梯度正则化与对抗训练具有竞争力。此外,我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
High-Dimensional Robust Mean Estimation via Gradient Descent
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学);University of Southern California(南加州大学)
我们研究了高维鲁棒均值估计的问题,在存在一个常数分数的敌对离群值。最近的一系列工作提供了复杂的多项式时间算法,这个问题与尺寸无关的误差保证范围内的自然分布家庭。在这项工作中,我们表明,一个自然的非凸制定的问题可以直接解决梯度下降。我们的方法利用了一个新的结构引理,粗略地表明,我们的非凸目标的任何近似稳定点给出了一个接近最优的解决方案,以基本的鲁棒估计任务。我们的工作建立了一个有趣的算法高维鲁棒统计和非凸优化,这可能有更广泛的应用到其他鲁棒估计任务之间的联系。
2020-05-04 cs.DS cs.LG math.OC
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们引入有偏梯度预言机来捕获一个设置,其中函数测量具有可以通过批量大小参数控制的估计误差。我们提出的预言是有吸引力的,在几个实际情况下,例如,风险度量估计从一批独立同分布(i.i.d.)样本或模拟优化,其中函数测量由于计算约束而“有偏”。在任何一种情况下,增加批量大小都会减少估计误差。我们强调了我们的有偏梯度预言在风险敏感的强化学习环境中的适用性。在随机非凸优化的背景下,我们分析了一个变种的随机梯度(RSG)算法与有偏梯度预言。我们量化该算法的收敛速度,通过推导其性能的非渐近界。接下来,在随机凸优化设置,我们推导出非渐近界的随机梯度下降(SGD)算法的最后一个有偏梯度预言。
2021-05-16 cs.LG math.OC stat.ML
Effective Gradient Sample Size via Variation Estimation for Accelerating Sharpness aware Minimization
Beijing University of Technology(北京工业大学);Beihang University(北京航空航天大学)
本文提出一种基于PSF变异的自适应采样方法,通过重用采样梯度显著加速SAM,同时保持与SAM相当的精度。
2024-02-24 cs.CV cs.LG
Robust Moment-Based Estimation via Spectral Gradient Reweighting
Program in Applied and Computational Mathematics, Princeton University(应用与计算数学项目,普林斯顿大学)
提出SGR-GMM算法,通过谱梯度重加权对观测梯度进行软重加权,实现稳健的广义矩估计,并给出理论保证和实验验证。
2026-05-26 cs.LG math.ST stat.ME
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
近年来,在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质,最先进的程序通常需要适当的正则化(例如修剪,正则化成本,投影),以保证快速收敛。然而,对于诸如梯度下降之类的常规过程,先验理论要么推荐高度保守的学习率以避免过冲,要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象:即使在没有显式正则化的情况下,梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上,梯度下降遵循的轨迹停留在具有良好几何形状的盆地内,由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行,而不会过冲,这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题,即相位恢复,低秩矩阵完成,和盲反卷积,我们建立了梯度下降实现接近最优的统计和计算保证,而无需显式正则化。特别是,通过将统计建模与通用优化理论相结合,我们开发了一个通用的配方,通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品,嘈杂的矩阵完成,我们证明,梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Efficient Quantum Gradient and Higher-order Derivative Estimation via Generalized Hadamard Test
Yale University(耶鲁大学);Yale Quantum Institute(耶鲁量子研究所);Yale-NUS College(耶鲁-新加坡国大学院);SoftServe, Inc.(SoftServe公司);Massachusetts Institute of Technology(麻省理工学院);Department of Applied Physics, Yale University(耶鲁大学应用物理系)
本文提出灵活 Hadamard 测试、k 重 Hadamard 测试和量子自动微分方法,通过反转生成元与可观测量角色、单电路计算高阶导数及参数级自适应选择梯度技术,显著降低 PQC 梯度估计的电路执行成本。
2024-08-10 cs.LG quant-ph
Multi-kernel Correntropy-based Orientation Estimation of IMUs: Gradient Descent Methods
The Hong Kong University of Science and Technology(香港科技大学);China University of Mining and Technology(中国矿业大学);Beijing Institute of Technology(北京理工大学);Harbin Institute of Technology Shenzhen(哈尔滨工业大学深圳校区)
本文针对IMU姿态估计易受外部加速度和磁干扰影响的问题,提出基于多核相关熵损失的CGD和CDOE算法,在提升鲁棒性的同时显著降低计算复杂度。
2023-10-11 cs.LG cs.SY eess.SP
Robust Gradient Descent Estimation for Tensor Models under Heavy-Tailed Distributions
针对重尾分布数据,提出基于截断梯度下降的低秩张量模型鲁棒估计方法,证明了计算收敛性并推导出最优统计误差率,数值实验验证了其有效性。
2025-09-15 stat.ME
Robust Estimation of the Generalized Loggamma Model. The R Package robustloggamma
robustloggamma是用于广义loggamma模型中的稳健估计和推断的R包。我们简要介绍了模型,估计程序和计算算法。然后,我们说明了一个真实的数据集的帮助下使用的包。
2015-12-05 stat.CO stat.ME
Low-Variance Policy Gradient Estimation with World Models
Universiteit van Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在本文中,我们提出了世界模型政策梯度(WMPG),一种使用学习世界模型(WM)来减少政策梯度估计方差的方法。在WMPG中,WM在线训练并用于想象轨迹。想象的轨迹有两种用途。首先,计算策略梯度的无替换估计。其次,想象轨迹的返回被用作知情基线。我们比较了所提出的方法与AC和MAC上的一组环境的复杂性增加(CartPole,LunarLander和Pong),并发现WMPG具有更好的采样效率。基于这些结果,我们得出结论,WMPG可以产生增加的样本效率的情况下,一个强大的潜在的环境表示可以学习。
2020-10-29 cs.AI cs.LG stat.ML
Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation
Stanford University(斯坦福大学);University of Salzburg(萨尔茨堡大学)
本文研究不可微函数的随机可微松弛梯度估计问题,从基本原理出发提出无需可微密度和全支撑假设的通用框架,并从3个正交视角开发方差缩减方法,在多种任务上验证了多达24种策略的有效性。
2024-10-10 cs.LG stat.ML
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research(百度研究院);Dartmouth College(达特茅斯学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而,从仿真获得的性能梯度估计的方差通常过大,导致差的样本效率。在本文中,我们应用随机方差降低梯度下降(SVRG)的无模型策略梯度,显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上,我们的方法与机器人连续控制中最先进的无模型策略梯度方法(如信赖域策略优化(TRPO))相比,实现了更好的性能。
2018-03-29 cs.LG stat.ML
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University(普林斯顿大学);Peking University(北京大学)
当我们不允许使用目标策略进行采样,而只能访问由某些未知行为策略生成的数据集时,策略梯度(PG)估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计(FPG)算法。FPG可以使用任意策略参数化,假设访问Bellman完全值函数类。在线性值函数近似的情况下,我们提供了一个严格的有限样本上界的政策梯度估计误差,这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征,这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲,我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下,我们的研究结果表明,FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
AR-DAE: Towards Unbiased Neural Entropy Gradient Estimation
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院)
熵在机器学习中是普遍存在的,但是计算任意连续随机变量的分布的熵通常是困难的。本文提出了一种基于摊销残差去噪的自编码器(AR-DAE)来近似对数密度函数的梯度,并利用它来估计熵的梯度。摊销使我们能够显着减少梯度近似的误差,通过逼近渐近最优的规则DAE,在这种情况下,估计在理论上是无偏的。我们进行了理论和实验分析的近似误差的方法,以及广泛的研究,以确保其鲁棒性。最后,使用所提出的梯度近似估计熵的梯度,我们展示了最先进的性能与变分自编码器的密度估计和连续控制与软actor-critic。
2020-06-09 cs.LG stat.ML
Unbiased Gradient Estimation for Distributionally Robust Learning
IBM Research AI(IBM研究院人工智能部门);Thomas J. Watson Research Center(托马斯·J·沃森研究中心)
为了提高模型的泛化能力,我们考虑了一种基于分布鲁棒学习(DRL)的新方法,该方法将随机梯度下降应用于外部最小化问题。我们的算法通过多级蒙特卡罗随机化有效地估计内部最大化问题的梯度。利用阐明标准梯度估计失败原因的理论结果,我们建立了我们方法的梯度估计的最佳参数化,该方法平衡了计算时间和统计方差之间的基本权衡。数值实验表明,我们的DRL方法比以前的工作产生显着的好处。
2020-12-22 cs.LG stat.ML
Multiple Importance Sampling for Stochastic Gradient Estimation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Adobe Research(奥多比研究院);University College London(伦敦大学学院)
本文提出一个用于随机梯度估计的重要性采样框架,通过自适应度量动态演化重要性分布,并结合多个针对特定参数梯度的采样分布进行最优加权,从而获得更优的梯度估计并加快训练收敛。
2025-01-28 cs.LG stat.ML
Gradient Estimation with Discrete Stein Operators
Stanford University(斯坦福大学);Tsinghua University(清华大学);DeepMind(深度思维);Microsoft Research New England(微软研究院新英格兰分部)
针对离散分布下梯度估计方差过高的问题,提出基于离散Stein算子的方差缩减技术,为REINFORCE留一法估计器构建可在线自适应的控制变量,在基准生成任务中以相同函数评估次数实现更低的估计方差。
2024-04-14 cs.LG stat.ML
A New Stochastic Approximation Method for Gradient-based Simulated Parameter Estimation
Wuhan Institute for Artificial Intelligence(武汉人工智能研究院);Guanghua School of Management Peking University(北京大学光华管理学院);Xiangjiang Laboratory(湘江实验室)
针对似然函数无解析形式的随机模型参数校准难题,提出采用多时间尺度随机近似算法的基于梯度的模拟参数估计框架,解决比率偏差,提升精度并降低成本,拓展GSPE框架适用场景。
2025-03-24 cs.LG stat.ML
Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping
Columbia University(哥伦比亚大学);Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Howard Hughes Medical Institute(霍华德·休斯医学研究所);University of Florida(佛罗里达大学)
在强化学习和变分自编码器(VAE)训练等背景下,梯度估计通常是拟合具有离散潜变量的生成模型所必需的。DisARM估计器(Yin等人,2020; Dong,Mnih和Tucker 2020)在许多情况下实现了Bernoulli潜变量模型的最新梯度方差。然而,DisARM和其他估计量在参数空间的边界附近具有潜在的爆炸性方差,解决方案往往位于该边界附近。为了改善这个问题,我们提出了一个新的梯度估计\textit{bitflip} -1,具有较低的方差在参数空间的边界。由于bitflip-1具有与现有估计器互补的特性,因此我们引入了一个聚合估计器\textit{unbiased gradient variance clipping}(UGC),该估计器对每个坐标使用bitflip-1或DisARM梯度更新。我们从理论上证明了UGC比DisARM具有一致更低的方差。从经验上讲,我们观察到,UGC在玩具实验,离散VAE训练和最佳子集选择问题中实现了优化目标的最佳值。
2022-08-12 cs.LG stat.ML
Regularized Multi-Task Learning for Multi-Dimensional Log-Density Gradient Estimation
对数密度梯度估计是一个基本的统计问题,具有聚类和非高斯性测量等多种实际应用。首先估计密度然后取其对数梯度的简单两步方法是不可靠的,因为准确的密度估计不一定导致准确的对数密度梯度估计。针对这一问题,本文提出了一种不需要密度估计而直接估计对数密度梯度的方法,并证明了该方法比两步法的效果好得多。本文的目的是进一步提高这种直接方法在多维情况下的性能。我们的思想是把每个维度上的对数密度梯度估计问题看作一个任务,并将正则化多任务学习应用于直接对数密度梯度估计器。我们的实验表明,所提出的多任务方法在对数密度梯度估计和模式寻求聚类的有用性。
2015-08-01 stat.ML
Learning Combinations of Sigmoids Through Gradient Estimation
Northeastern University(东北大学);Stanford University(斯坦福大学)
提出了一种新的隐变量回归模型参数学习方法。简而言之,我们在一组随机点上估计回归函数的梯度,并对估计的梯度进行聚类。聚类的中心被用作隐藏单元的参数的估计。我们证明这种方法通过研究一个玩具模型,其中的回归函数是一个线性组合的S形。我们证明,确实估计的梯度集中周围的隐藏单元的参数向量,并提供所需的样本的数量上的非渐近界。据我们所知,没有类似的保证已被证明为线性组合的S形。
2018-01-17 cs.LG stat.ML
Deep Bayesian Quadrature Policy Optimization
Purdue University(普渡大学);Google Research(谷歌研究院);Caltech(加州理工学院)
我们研究的问题,获得准确的策略梯度估计使用有限数量的样本。蒙特卡罗方法一直是策略梯度估计的默认选择,尽管在梯度估计中存在高方差。另一方面,像贝叶斯求积方法,由于其高的计算复杂性,样本效率更高的替代方案很少受到关注。在这项工作中,我们提出了深贝叶斯正交策略梯度(DBQPG),计算效率高的高维推广贝叶斯正交,策略梯度估计。我们表明,DBQPG可以取代蒙特卡洛估计的策略梯度方法,并证明了其有效性的一组连续控制基准。与Monte-Carlo估计相比,DBQPG提供(i)具有显著较低方差的更准确的梯度估计,(ii)对于几种深度策略梯度算法,在样本复杂度和平均回报方面的一致改进,以及(iii)梯度估计中的不确定性,其可以被并入以进一步提高性能。
2020-12-16 cs.LG stat.ML
Gradient Estimation with Simultaneous Perturbation and Compressive Sensing
本文的目的是实现一个“好”的估计的梯度的一个函数在高维空间。通常,这样的函数在所有坐标下都不敏感,并且函数的梯度几乎是稀疏的。我们提出了一种梯度估计的方法,结合了Spall的同时扰动随机逼近与压缩感知的想法。其目的是获得“好”的估计,没有太多的功能评估。应用于估计梯度外积矩阵以及标准的优化问题,通过模拟说明。
2016-07-26 stat.ML
Information-Theoretic Lower Bounds for Zero-Order Stochastic Gradient Estimation
Purdue University(普渡大学)
本文分析了零阶随机预言模型中任意多维光滑(可能非凸)函数的梯度估计所需的样本数。在该模型中,估计器可以访问函数的噪声值,以便产生梯度的估计。我们还提供了一个分析的足够数量的样本的有限差分方法,在数值线性代数的经典技术。对于$T$样本和$d$维数,我们的信息论下限是$Ω(\sqrt{d/T})$。我们表明,有限差分方法的有界方差预言率$O(d^{4/3}/\sqrt{T})$的功能,零三阶和高阶导数。这些速率对于高斯预言机来说是紧的。因此,有限差分方法不是最小最大最优的,因此有空间开发更好的梯度估计方法。
2020-10-27 cs.LG stat.ML
Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies
University of Toronto(多伦多大学);Google(谷歌);Google Brain(谷歌大脑)
展开计算图出现在许多场景中,包括训练RNN,通过展开优化调整超参数,以及训练学习的优化器。目前的方法来优化参数,在这样的计算图遭受高方差梯度,偏差,更新缓慢,或大量的内存使用。我们引入了一种称为持久演化策略(PES)的方法,该方法将计算图划分为一系列截断展开,并在每次展开后执行基于演化策略的更新步骤。PES通过在整个展开序列上累积校正项来消除这些截断的偏差。PES允许快速参数更新,具有低内存使用,无偏,并具有合理的方差特性。我们通过实验证明了PES与其他几种用于合成任务梯度估计的方法相比的优势,并显示了其在训练学习优化器和调整超参数方面的适用性。
2021-12-27 cs.LG stat.ML
KF-LAX: Kronecker-factored curvature estimation for control variate optimization in reinforcement learning
University of Toronto(多伦多大学)
无模型强化学习中基于梯度的优化方法的一个关键挑战是开发一种样本效率高且方差低的方法。在这项工作中,我们应用克罗内克因子曲率估计技术(KFAC)最近提出的梯度估计控制变量优化,RELAX,以提高样本效率,使用这种梯度估计方法在强化学习。所提出的方法的性能证明合成问题和一组三个离散控制任务Atari游戏。
2018-12-11 cs.LG stat.ML
Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of Continuous-Time State-Space Models
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文研究一类连续时间状态空间模型的静态参数估计问题。我们的目标是获得对数似然(得分函数)的梯度的无偏估计,即使模型中涉及的随机过程必须在时间上离散化,该估计也是无偏的。为了实现这一目标,我们采用了双重随机化方案,其中涉及一种新的耦合条件粒子滤波器(CCPF)的第二级随机化。我们的新估计有助于促进基于梯度的估计算法,如随机梯度Langevin下降的应用。我们说明了我们的方法在随机梯度下降(SGD)的背景下,在几个数值例子和比较与Rhee & Glynn估计。
2021-05-28 cs.LG cs.NA math.NA
Stein-Rule Shrinkage for Stochastic Gradient Estimation in High Dimensions
Department of Statistics Faculty of Mathematical Sciences(统计学系数学科学学院);Division of Computer Science Department of Applied Mathematics Faculty of Mathematical Sciences(计算机科学系应用数学系数学科学学院)
本文提出SR-Adam算法,通过Stein规则收缩改进高维随机梯度估计,在大规模学习中实现更优的性能。
2026-02-06 cs.AI cs.LG math.ST
Mutual Information Gradient Estimation for Representation Learning
University of Electronic Science and Technology of China(电子科技大学);Peng Cheng Laboratory(鹏城实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校);Harbin Institute of Technology(哈尔滨工业大学)
互信息在表征学习中起着重要的作用。然而,不幸的是,MI是棘手的连续和高维设置。最近的进展建立了易于处理和可扩展的MI估计,发现有用的表示。然而,大多数现有的方法是不能够提供一个准确的估计MI与低方差时,MI是大的。我们认为,直接估计MI的梯度是更有吸引力的表示学习比估计MI本身。为此,我们提出了互信息梯度估计(MIGE)表示学习的基础上的分数估计的隐式分布。MIGE在高维和大MI的情况下表现出一个紧而光滑的MI梯度估计。我们扩展了MIGE在基于InfoMax的深度表示的无监督学习和信息瓶颈方法中的应用。实验结果表明,在学习有用的表示显着的性能改善。
2020-05-03 cs.CV cs.LG stat.ML
A Function Approximation Approach to Estimation of Policy Gradient for POMDP with Structured Policies
Massachusetts Institute of Technology(麻省理工学院)
我们考虑部分可观测马尔可夫决策过程(POMDP)的策略梯度的估计与一类特殊的结构化政策,有限状态控制器。我们表明,梯度估计可以在演员的批评框架,通过使评论家计算一个“值”的功能,不依赖于POMDP的状态。此函数是取决于状态的真价值函数的条件均值。我们表明,评论家可以实现使用时间差分(TD)方法与线性函数近似,TD和Actor-Critic的分析结果可以转移到这种情况下。虽然Actor-Critic算法已被广泛用于马尔可夫决策过程(MDP),到目前为止,他们还没有被提出POMDP作为一个替代方案,较早的建议GPOMDP算法,一个演员的唯一方法。此外,我们表明,同样的想法适用于半马尔可夫问题的有限状态控制器的子集。
2012-07-04 cs.LG stat.ML
Monte Carlo Gradient Estimation in Machine Learning
DeepMind;University College London(伦敦大学学院)
本文是一个广泛的和可访问的调查的方法,我们在我们的处置蒙特卡罗梯度估计在机器学习和整个统计科学:计算梯度的期望函数的参数定义的分布是集成的问题;的问题的敏感性分析。在机器学习研究中,这种梯度问题是监督学习、无监督学习和强化学习中许多学习问题的核心。我们通常会尝试以允许蒙特卡罗估计的形式重写这种梯度,从而使它们能够轻松有效地使用和分析。我们探讨三种策略-路径,得分函数,和测量值梯度估计-探索他们的历史发展,推导,和基本假设。我们描述他们在其他领域的使用,显示它们是如何相关的,可以结合起来,并扩大其可能的概括。无论蒙特卡罗梯度估计已经推导和部署在过去,重要的进展随之而来。对这一问题的更深刻和更广泛的理解将导致进一步的进展,我们希望支持的正是这些进展。
2020-09-29 cs.LG math.OC stat.ML
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology(香港科技大学)
本文考虑了双向生成建模的一般$f$ -发散公式,其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法,这种配方,其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中,我们表明,不同的分歧诱导类似的算法在梯度评估,除了不同的缩放。因此,本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究,证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
One-step corrected projected stochastic gradient descent for statistical estimation
本研究提出一种基于对数似然函数投影随机梯度下降、经Fisher scoring单步校正的通用高效参数估计方法,理论与仿真均验证其可作为现有两类随机梯度下降方法的有效替代方案。
2024-04-13 math.ST stat.ML stat.TH
Stabilizing DARTS with Amended Gradient Estimation on Architectural Parameters
Tsinghua University(清华大学);Huawei Inc.(华为公司);Tongji University(同济大学)
DARTS是一种流行的神经架构搜索(NAS)算法。尽管DARTS在搜索效率上有很大的优势,但它的稳定性往往很弱,这反映在个体试验之间的差异很大以及对搜索过程的超参数的敏感性上。本文将这种不稳定性归因于超级网络及其子网络之间的优化差距,即提高超级网络的验证精度并不一定会导致对采样子网络性能的更高期望。然后,我们指出,差距是由于不准确的估计的建筑梯度,在此基础上,我们提出了一个修正的估计方法。从数学上讲,我们的方法保证了真实梯度的有界误差,而原始估计则没有。我们的方法从两个方面弥补了这一差距,即修改对建筑梯度的估计,并统一搜索和重新训练阶段的超参数设置。在CIFAR10和ImageNet上的实验表明,我们的方法大大提高了搜索稳定性,更重要的是,使基于DARTS的方法能够探索以前没有研究过的更大的搜索空间。
2020-05-04 cs.CV cs.LG stat.ML
Stochastic Gradient Annealed Importance Sampling for Efficient Online Marginal Likelihood Estimation
Stellenbosch University(斯泰伦博斯大学);National Institute for Theoretical Physics(国家理论物理研究所)
我们考虑在独立同分布(i.i.d.)数据我们建议通过使用随机梯度马尔可夫链蒙特卡罗技术来估计此类环境中边缘可能性的顺序因子分解中的预测分布。这种方法是更有效的比传统的边缘似然估计技术,如嵌套抽样和退火重要性抽样,由于它使用小批量来近似的可能性。的估计的稳定性提供了一个自适应退火时间表。由此产生的随机梯度退火重要性抽样(SGAIS)技术,这是我们的论文的主要贡献,使我们能够估计的边际可能性的一些模型大大快于传统的方法,没有明显的损失的准确性。我们的方法的一个重要好处是,边际可能性是在数据可用时以在线方式计算的,允许将估计值用于在线加权模型组合等应用。
2019-11-17 cs.LG stat.ML
Clustering via Mode Seeking by Direct Estimation of the Gradient of a Log-Density
均值漂移聚类通过识别密度梯度的零点来发现数据概率密度的模式。由于均值漂移算法不需要预先确定聚类数目,因此在各个应用领域都得到了广泛的应用。均值漂移的典型实现是首先通过核密度估计估计密度,然后计算其梯度。然而,由于良好的密度估计不一定意味着密度梯度的准确估计,因此这种间接的两步方法是不可靠的。本文提出了一种不经过密度估计而直接估计对数密度梯度的方法。所提出的方法给出了全球解决方案的分析,因此是计算效率。然后,我们开发了一个均值漂移的固定点算法,以找到模式的密度聚类。与均值漂移一样,不需要预先设置聚类的数量。我们的经验表明,所提出的聚类方法的效果要好得多,特别是对高维数据的均值漂移。实验结果进一步表明,该方法优于现有的聚类方法。
2014-04-20 stat.ML
Parametric Rates for Nonparametric Conditional-Moment Bilevel Optimization
Université Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、LJK实验室);Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院(UCL)的Gatsby计算神经科学单位);Cornell University(康奈尔大学);Netflix Research(Netflix研究)
本文提出一种半参数去偏理论,用于消除双层梯度估计中的一阶偏差,通过交叉拟合的正交超梯度估计器实现了渐近正态性,并在二次损失下简化为基于条件均值 nuisances 的双重鲁棒分数。
2026-10-28 cs.LG stat.ML
Double Control Variates for Gradient Estimation in Discrete Latent Variable Models
DeepMind(深度思维);Microsoft Research New England(微软新英格兰研究院)
由于梯度的高方差,离散潜变量模型的基于随机梯度的优化具有挑战性。我们介绍了一个方差减少技术的得分函数估计,利用双控制变量。这些控制变量作用于主要控制变量之上,并试图进一步减少总体估计量的方差。我们开发了一个双控制变量的REINFORCE留一法估计使用泰勒展开。对于训练离散潜变量模型,例如具有二进制潜变量的变分自编码器,与使用REINFORCE leave-one-out估计器的标准训练相比,我们的方法不会增加额外的计算成本。我们将我们的方法应用于挑战高维玩具示例和使用二进制潜变量训练变分自编码器。我们表明,我们的估计可以有较低的方差相比,其他国家的最先进的估计。
2022-06-04 cs.LG stat.ML
Non-Gaussian Component Analysis with Log-Density Gradient Estimation
非高斯分量分析(NGCA)旨在识别线性子空间,使得投影数据遵循非高斯分布。本文提出了一种基于对数密度梯度估计的NGCA算法。与现有方法不同,NGCA算法通过特征值分解来确定线性子空间,无需任何迭代过程,因此计算合理。通过理论分析,证明了识别子空间以最优参数速率收敛到真子空间。最后,在人工数据集和基准数据集上证明了该算法的实际性能。
2016-01-28 stat.ML
Gradient Estimation with Stochastic Softmax Tricks
ETH Zürich(苏黎世联邦理工学院);University of Toronto(多伦多大学);Google Research, Brain Team(谷歌研究院大脑团队);DeepMind(深度思维公司);Institute for Advanced Study(高等研究院)
Gumbel-Max技巧是许多松弛梯度估计的基础。这些估计是易于实现和低方差,但全面扩展到大型组合分布的目标仍然是突出的。在扰动模型框架内工作,我们引入随机softmax技巧,将Gumbel-Softmax技巧推广到组合空间。我们的框架是一个统一的角度对现有的放松估计扰动模型,它包含了许多新的放松。我们设计了结构化的松弛子集选择,生成树,树形结构,和其他。与结构化程度较低的基线相比,我们发现随机softmax技巧可以用于训练表现更好的潜在变量模型,并发现更多的潜在结构。
2021-02-28 cs.LG stat.ML
Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies
Cornell University(康奈尔大学);Harvard University(哈佛大学)
离线强化学习,其中使用由固定行为策略记录的非策略数据来评估和学习新策略,在实验有限的应用中至关重要,例如医学。本文研究了当行为连续时,确定性策略的策略值和梯度的估计问题。确定性策略的目标是至关重要的,因为最佳策略总是确定性的(直到领带)。在这种情况下,标准的重要性采样和双稳健估计策略值和梯度失败,因为密度比不存在。为了避免这个问题,我们提出了几个新的双重鲁棒估计基于不同的核化方法。我们分析的渐近均方误差,这些温和的利率条件下滋扰估计。具体来说,我们演示了如何获得一个利率是独立的地平线长度。
2020-06-06 cs.LG math.OC stat.ML
Converting ADMM to a Proximal Gradient for Efficient Sparse Estimation
在稀疏估计中,如融合套索和凸聚类,我们采用邻近梯度法或乘子的交替方向法(ADMM)来解决这个问题。在前一种情况下,包括矩阵划分需要时间,而在后一种情况下,已经开发了一种有效的方法,如FISTA(快速迭代收缩阈值算法)。本文在假定目标函数的导数为Lipschitz连续的前提下,给出了将ADMM解转化为近似梯度法的一般方法。然后,我们将其应用到稀疏估计问题,如稀疏凸聚类和趋势滤波,我们通过数值实验表明,我们可以获得显着的提高效率。
2022-03-26 math.OC stat.ML
Multi-step Estimation for Gradient-based Meta-learning
SK Telecom(SK电讯)
基于元学习的元学习方法已经在少样本学习、迁移学习和广泛的其他领域中取得了成功。尽管它的效率和简单性,计算海森矩阵与大内存占用的负担是在大规模应用中的关键挑战。为了解决这个问题,我们提出了一种简单而直接的方法,通过在内部步骤的窗口中重用相同的梯度来降低成本。我们描述了拉格朗日形式主义的多步估计的动力学,并讨论了如何减少评估二阶导数估计的动力学。为了验证我们的方法,我们在Meta迁移学习和多个设置的少样本学习任务上进行了实验。元迁移的实验强调了训练元网络的适用性,而其他近似方法是有限的。对于少样本学习,我们评估了与流行基线相比的时间和内存复杂度。我们表明,我们的方法显着减少了训练时间和内存使用,保持了竞争力的准确性,甚至在某些情况下表现出色。
2020-06-08 cs.CV cs.LG stat.ML
Gradient density estimation in arbitrary finite dimensions using the method of stationary phase
我们证明了一个充分光滑的函数$S : Ω\subset \mathbb{R}^d \rightarrow \mathbb{R}$,通过一个均匀分布的随机变量的随机变量变换得到的梯度的密度函数,是越来越接近的归一化功率谱的$ϕ=\exp\left(\frac{iS}τ\right)$作为自由参数$τ\rightarrow 0$。结果显示使用固定相近似和标准的集成技术,并需要适当的顺序的限制。我们强调与著名的特征函数方法的密度估计的关系,并详细说明为什么我们的结果是不同于这种方法。
2014-09-04 stat.ML
A Spectral Approach to Gradient Estimation for Implicit Distributions
Tsinghua University(清华大学);University of Toronto(多伦多大学)
最近,人们对隐式分布的学习和推理越来越感兴趣(即,没有易处理的密度分布)。为此,我们开发了一个梯度估计的隐式分布的基础上斯坦的身份和核算子的谱分解,其中的特征函数近似的Nyström方法。与以前的工作,只提供估计的样本点,我们的方法直接估计梯度函数,从而允许一个简单的和原则性的样本外扩展。我们提供了理论上的估计误差界的结果,并讨论了在实践中的偏差方差权衡。通过对无梯度哈密顿蒙特卡罗和隐式分布的变分推断的应用,证明了该方法的有效性。最后,我们通过绘制Nyström方法和核PCA之间的联系来讨论估计器背后的直觉,这表明估计器可以自动适应底层分布的几何形状。
2018-06-07 cs.LG cs.NE stat.ML
Sparse Inverse Covariance Estimation via an Adaptive Gradient-Based Method
我们研究的问题估计从数据,稀疏近似逆协方差阵。估计稀疏约束逆协方差阵是高斯图形模型学习中的关键组成部分,但在数值上非常具有挑战性。我们通过开发一种新的基于自适应梯度的方法来解决这一挑战,该方法将梯度信息与自适应步长缩放策略相结合,从而形成一种可扩展的,具有高度竞争力的方法。我们的算法,像它的前辈,最大限度地提高了$\ell_1$范数惩罚对数似然,并具有相同的每迭代算法的复杂性,在其类中的最佳方法。我们的实验表明,我们的方法优于国家的最先进的竞争对手,往往是显着的,大的问题。
2011-06-25 stat.ML