Accelerating Stochastic Gradient Descent Using Antithetic Sampling
University of Science and Technology of China(中国科学技术大学)
(小批量)随机梯度下降是一种流行的优化方法,已被应用于许多机器学习应用。但由于随机梯度在每一步中引入了较大的方差,可能会减慢收敛速度。在本文中,我们提出的对偶抽样策略,以减少方差,利用数据集的内部结构。在这种新策略下,小批量中的随机梯度不再是独立的,而是尽可能负相关的,而小批量随机梯度仍然是全梯度的无偏估计.对于二值分类问题,只需预先计算对偶样本,并在每次迭代中重用结果,具有实用性。实验结果验证了该方法的有效性。
2018-10-07 cs.LG stat.ML
Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients
Georgia Institute of Technology(佐治亚理工学院);Google Inc.(谷歌公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
许多马尔可夫链蒙特卡罗(MCMC)方法利用目标分布的势函数的梯度信息来有效地探索样本空间。然而,计算梯度对于大规模应用(诸如当代机器学习中的那些应用)而言通常在计算上是昂贵的。随机梯度(SG-)MCMC方法通常通过均匀子采样的数据点通过随机梯度来近似梯度,并且实现了提高的计算效率,但是以引入采样误差为代价。我们提出了一种非均匀子采样方案,以提高采样精度。提出的指数加权随机梯度(EWSG)的设计,使一个非均匀SG-MCMC方法模仿的批量梯度MCMC方法的统计行为,因此,由于SG近似的不准确性减少。EWSG不同于经典的方差缩减(VR)技术,因为它关注的是整个分布而不仅仅是方差;尽管如此,它的局部方差也被证明了。EWSG也可以被看作是重要性采样思想的扩展,成功的随机梯度为基础的优化,采样任务。在EWSG的实际实现中,非均匀子采样通过数据索引上的Metropolis-Hastings链有效地执行,该链与MCMC算法耦合。数值实验不仅证明了EWSG的有效性,而且还指导超参数的选择,并验证我们的\emph{non-asymptotic global error bound},尽管在实现中的近似。值得注意的是,虽然统计精度得到了提高,但收敛速度可以与统一版本相媲美,这使得EWSG成为VR的实用替代方案(但EWSG和VR也可以组合)。
2021-09-22 cs.LG stat.ML
Uncertainty Sampling is Preconditioned Stochastic Gradient Descent on Zero-One Loss
Stanford University(斯坦福大学)
不确定性采样是一种流行的主动学习算法,用于减少学习分类器所需的数据量,但在实践中已经观察到根据初始化收敛到不同的参数,有时甚至收敛到比所有数据上的标准训练更好的参数。在这项工作中,我们给出了这种现象的理论解释,表明凸损失上的不确定性采样可以被解释为执行一个预处理的随机梯度步骤的平滑版本的人口零-一损失,收敛到人口零-一损失。此外,不确定性抽样沿下降方向移动,并收敛到平滑总体的平稳点。合成和真实数据集上的实验支持这种联系。
2018-12-05 cs.LG stat.ML
Functional Gradient Flows for Constrained Sampling
University of California, Berkeley(加州大学伯克利分校)
针对现有基于粒子的变分推断方法多适用于无约束采样的问题,提出带边界条件的约束泛函梯度流方法,兼具理论收敛性与实验有效性,为约束采样提供通用解决方案。
2024-10-30 cs.LG stat.ML
Robust Approximate Sampling via Stochastic Gradient Barker Dynamics
Duke University(杜克大学);Bocconi University(博科尼大学)
针对大数据下随机梯度MCMC算法超参数敏感、梯度异质性致分布偏差的问题,本文提出随机梯度Barker动力学算法及偏差校正版本,实验证明其在高维场景下比随机梯度朗之万动力学鲁棒性更强。
2024-05-14 cs.LG stat.ML
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们表明,对政策的策略梯度(PG)和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样(IS)家庭的政策外评估(OPE)。从双重稳健(DR)估计量(Jiang & Li,2016)开始,我们提供了一种非常通用和灵活的PG形式的简单推导,其中包含了最先进的方差缩减技术(Cheng et al.,2019年)作为其特例,并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差,将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较,并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Stochastic Gradient Annealed Importance Sampling for Efficient Online Marginal Likelihood Estimation
Stellenbosch University(斯泰伦博斯大学);National Institute for Theoretical Physics(国家理论物理研究所)
我们考虑在独立同分布(i.i.d.)数据我们建议通过使用随机梯度马尔可夫链蒙特卡罗技术来估计此类环境中边缘可能性的顺序因子分解中的预测分布。这种方法是更有效的比传统的边缘似然估计技术,如嵌套抽样和退火重要性抽样,由于它使用小批量来近似的可能性。的估计的稳定性提供了一个自适应退火时间表。由此产生的随机梯度退火重要性抽样(SGAIS)技术,这是我们的论文的主要贡献,使我们能够估计的边际可能性的一些模型大大快于传统的方法,没有明显的损失的准确性。我们的方法的一个重要好处是,边际可能性是在数据可用时以在线方式计算的,允许将估计值用于在线加权模型组合等应用。
2019-11-17 cs.LG stat.ML
A unified view of likelihood ratio and reparameterization gradients and an optimal importance sampling scheme
Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
重新参数化(RP)和似然比(LR)梯度估计器在整个机器和强化学习中使用;然而,它们通常被解释为简单的数学技巧,而没有提供对其本质的任何见解。我们使用第一原理的方法来解释LR和RP,并通过发散定理显示两者之间的联系。该理论促使我们推导出最优的重要性采样方案,以减少LR梯度方差。我们新推导的分布具有解析概率密度,可以直接从中采样。高斯目标分布的改进是适度的,但对于其他分布,如Beta分布,我们的方法可以导致任意大的改进,并且对于在演化策略实验中获得有竞争力的性能至关重要。
2019-10-14 cs.LG stat.ML
Lsh-sampling Breaks the Computation Chicken-and-egg Loop in Adaptive Stochastic Gradient Estimation
Rice University(莱斯大学)
随机梯度下降(SGD)算法是求解大规模优化问题的一种常用算法。SGD通过样本大小为1的均匀采样来估计梯度。有几个其他的工作,建议更快的逐时收敛,通过使用加权非均匀采样更好的梯度估计。不幸的是,为梯度估计维护这种自适应分布的每次迭代成本超过了计算完整梯度本身,我们称之为鸡和蛋循环。结果,迭代中收敛更快的假象,实际上导致了时间上的收敛更慢。在本文中,我们打破了这一障碍,提供了第一个演示方案,局部敏感哈希(LSH)采样随机梯度下降(LGD),这导致优越的梯度估计,同时保持每次迭代的采样成本类似于均匀采样。这样的算法是可能的,由于LSH的采样视图,这是最近曝光。由于优越和快速的估计,我们减少了所有现有的梯度下降算法的运行时间,依赖于梯度估计,包括亚当,Ada-grad等,我们证明了我们的建议的有效性与线性模型以及非线性BERT,这是最近流行的深度学习为基础的语言表示模型的实验。
2019-10-30 cs.LG math.OC stat.ML
Variance Reduction in Stochastic Particle-Optimization Sampling
Fudan University(复旦大学);SUNY at Buffalo(纽约州立大学布法罗分校)
随机粒子优化采样(SPOS)是最近发展起来的可扩展贝叶斯采样框架,它统一了基于Wasserstein梯度流的随机梯度MCMC(SG-MCMC)和Stein变分梯度下降(SVGD)算法。SPOS算法采用严格的非渐近收敛理论,避免了SVGD算法的粒子坍缩缺陷。然而,SPOS的方差减少从未被研究过。在本文中,我们提出了几个方差减少技术SPOS弥合差距。具体来说,我们提出了三种变体的方差减少SPOS,称为SAGA粒子优化采样(SAGA-POS),SVRG粒子优化采样(SVRG-POS)和SVRG-POS的变体,它避免了完整的梯度计算,表示为SVRG-POS $^+$。重要的是,我们根据2-Wasserstein度量为这些算法提供了非渐进收敛保证,并分析了它们的复杂性。值得注意的是,结果表明,我们的算法比随机Langevin动力学的现有方差减少变体产生更好的收敛速度,即使需要更多的空间来存储训练中的粒子。我们的理论与合成和真实数据集上的实验结果一致。
2018-11-20 cs.LG stat.ML
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Stanford University(斯坦福大学)
退火重要性抽样(AIS)和相关算法是边缘似然估计的高效工具,但由于使用Metropolis-Hastings校正步骤,因此无法完全微分。可微性是一个理想的属性,因为它允许使用基于梯度的方法优化边际似然作为目标的可能性。为此,我们提出了可微分AIS(DAIS),AIS的一个变体,通过放弃Metropolis-Hastings校正来确保可微分性。作为另一个优点,DAIS允许小批量梯度。我们提供了一个详细的收敛分析贝叶斯线性回归,超越了以前的分析,明确占采样没有达到平衡。使用这种分析,我们证明了DAIS是一致的,在全批量设置,并提供了一个次线性收敛速度。此外,出于从大规模数据集学习的问题,我们研究了DAIS的一个随机变体,它使用小批量梯度。令人惊讶的是,随机DAIS可以任意坏,由于最后一次收敛到后验和消除累积的随机误差的目标之间的根本不相容。这与其他设置形成鲜明对比,例如基于梯度的优化和Langevin动态,其中梯度噪声的影响可以通过采取较小的步骤来消除。这表明基于退火的随机梯度边际似然估计可能需要新的思路。
2021-10-26 cs.LG stat.ML
Semi-Implicit Functional Gradient Flow for Efficient Sampling
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Department of Industrial Engineering and Operations Research, University of California, Berkeley(加州大学伯克利分校工业工程与运筹学系)
针对基于粒子的变分推断方法探索性不足、采样成本高的问题,提出半隐式函数梯度流方法,采用带高斯噪声的扰动粒子作为近似族,具备强收敛保证,还可自适应调整噪声幅度,在多数据集上验证了其有效性与高效性。
2025-03-21 cs.LG stat.ML
Variance Reduction in SGD by Distributed Importance Sampling
Université de Montréal(蒙特利尔大学)
人类能够通过选择信息量最大且难度适当的培训材料来加速学习。我们提出了一个分布式深度学习的框架,其中一组工作人员并行搜索信息量最大的示例,而单个工作人员根据重要性抽样选择的示例更新模型。这导致模型使用梯度的无偏估计来更新,当采样建议与梯度的L2范数成比例时,该梯度的无偏估计也具有最小方差。我们的实验表明,这种方法降低梯度方差,即使在机器之间的同步成本不能忽略的情况下,其中的重要性抽样的因素没有立即更新整个训练集。
2016-04-16 cs.LG stat.ML
Privacy for Free: Posterior Sampling and Stochastic Gradient Monte Carlo
Carnegie Mellon University(卡内基梅隆大学);Marianas Labs Inc.(马里亚纳斯实验室公司)
我们考虑了敏感数据集上的贝叶斯学习问题,并提出了两个简单但有点令人惊讶的结果,将贝叶斯学习与“差分隐私:”联系起来,这是一种在保护数据库级实用程序的同时保护个人级隐私的加密方法。具体而言,我们表明,在标准假设下,从后验分布中获得一个单一的样本是“免费”的差异私有。我们将看到,只要我们感兴趣的贝叶斯模型是一致的、最优的和易处理的,估计量就是统计上一致的、接近最优的和计算上易处理的。类似地,但单独地,我们表明,最近的一行作品,使用随机梯度混合蒙特卡罗(HMC)采样也保持差异隐私与微小或根本没有修改的算法程序,这些意见导致隐私约束下的贝叶斯学习的“随时”算法。我们证明了它比最先进的差分私有方法在合成和真实数据集上的性能要好得多。
2015-04-12 cs.LG stat.ML
Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent
University of Alberta(阿尔伯塔大学);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Cornell University(康奈尔大学)
本文提出用随机梯度下降近似求解高斯过程后验采样中的线性系统,通过低方差优化目标及谱刻画解释非收敛隐式偏差,在大规模回归和贝叶斯优化任务上以低计算成本取得与昂贵基线相当的性能。
2024-01-16 cs.LG stat.ML
Importance Sampling for Stochastic Gradient Descent in Deep Neural Networks
Dassault Aviation(达索航空)
随机梯度下降对训练集进行均匀采样,以建立具有有限数量样本的无偏梯度估计。然而,在训练过程的给定步骤中,某些数据比其他数据更有助于继续学习。用于训练深度神经网络的重要性采样已被广泛研究,以提出比均匀采样方案产生更好性能的采样方案。在回顾了深度学习的重要性采样理论之后,本文回顾了该研究领域固有的挑战。特别是,我们提出了一个度量标准,允许一个给定的采样方案的质量进行评估,我们研究的采样方案和使用的优化器之间的相互作用。
2023-03-29 cs.LG
Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates
Lancaster University(兰卡斯特大学)
针对SVGD等ParVI方法依赖学习率调参的问题,提出基于coin betting的无学习率粒子化贝叶斯推断方法,在高维模型与数据集上达到与现有ParVI算法相当的性能。
2023-06-01 cs.LG stat.ML
Enhancing Low-Precision Sampling via Stochastic Gradient Hamiltonian Monte Carlo
Purdue University(普渡大学)
本文研究基于SGHMC的低精度采样方法,理论证明其在非对数凹分布下比SGLD有二次方级效率提升且对量化误差更鲁棒,经多数据集实验验证,为资源受限场景提供高效采样方案。
2024-07-14 cs.LG stat.ML
Gradient Importance Sampling
自适应蒙特卡罗计划在过去几年中发展通常寻求确保遍历性的采样过程符合MCMC的传统。这就限制了适应方面的可能性。在一般情况下,遍历性只有在适应性以一定的速率减少时才能得到保证。重要性抽样方法提供了一种方法来规避这种限制,并设计不断适应的抽样算法。在这里,我提出了一个梯度知情的SMC(及其特殊情况下人口蒙特卡罗)的静态问题的变体。
2015-07-21 stat.ML
Accelerating Minibatch Stochastic Gradient Descent using Stratified Sampling
Rutgers University(罗格斯大学);Baidu Inc.(百度公司)
随机梯度下降(SGD)是一种流行的优化方法,已被应用于许多重要的机器学习任务,如支持向量机和深度神经网络。为了并行化SGD,通常采用小批量训练。标准的方法是在每一步对一个小批量进行统一采样,这通常会导致高方差。在本文中,我们提出了一个分层抽样策略,它将整个数据集划分为集群内的方差低,然后我们从这些集群使用分层抽样技术的例子。结果表明,该算法可以显着提高收敛速度。令人鼓舞的实验结果证实了所提出的方法的有效性。
2014-05-13 cs.LG math.OC stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们研究分布式优化算法,最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能,重点是通信效率。在这样的设置中,天真地使用经典的随机梯度下降(SGD)或其变体(例如,SVRG)的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中,我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明,新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器,从而显着加快收敛。我们的实验表明,我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
A stochastic version of Stein Variational Gradient Descent for efficient sampling
Shanghai Jiao Tong University(上海交通大学);Duke University(杜克大学)
在这项工作中,我们提出RBM-SVGD,斯坦变分梯度下降(SVGD)方法的随机版本有效地从一个给定的概率测度采样,从而有用的贝叶斯推断。该方法是将Jin等人提出的相互作用粒子系统的随机批处理方法(RBM)应用于SVGD中的相互作用粒子系统。在保持SVGD行为的同时,减少了计算量,特别是当相互作用的核具有长范围时。数值算例验证了该方法的有效性。
2019-04-11 cs.LG math.PR stat.ML
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提供了一个新的收敛性分析随机梯度Langevin动力学(SGLD)的抽样从一类分布,可以是非对数凹的。在我们的方法的核心是一个新的电导分析SGLD使用辅助时间可逆马尔可夫链。在一定条件下的目标分布,我们证明了$\tilde O(d^4ε^{-2})$随机梯度评价足以保证$ε$ -抽样误差的总变异距离,其中$d$是问题的尺寸。这改进了SGLD收敛速度的现有结果(Raginsky等人,2017年; Xu等人,2018年)。我们进一步表明,提供了一个额外的Hessian Lipschitz条件的对数密度函数,SGLD保证实现$ε$ -采样误差内$\tilde O(d^{15/4}ε^{-3/2})$随机梯度评价。我们的证明技术提供了一种新的方法来研究基于Langevin算法的收敛性,并揭示了一些基于随机梯度的快速采样算法的设计。
2021-02-23 cs.LG math.ST stat.ML
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
机器学习,特别是深度神经网络,在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一,但由于梯度近似中的大噪声,它显示出缓慢的收敛速度。在本文中,我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题,该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度,并比较了Minibatch SGD和该算法的收敛性能。实验结果表明,我们的批量选择方案效果良好,更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
Without-Replacement Sampling for Stochastic Gradient Methods: Convergence Results and Application to Distributed Optimization
Weizmann Institute of Science(魏茨曼科学研究学院)
机器学习和优化问题的随机梯度方法通常假设数据点被采样\emph{with}替换。但在实践中,采样\emph{without}替换非常常见,在许多情况下更容易实现,并且通常性能更好。在本文中,我们在各种场景下为三种类型的算法提供了无替换抽样的竞争性收敛保证:任何具有在线遗憾保证的算法、随机梯度下降和SVRG。我们的SVRG分析的一个有用的应用是一个接近最优的算法,正则化最小二乘在分布式设置,在通信复杂性和运行时复杂性,当数据被随机分区和条件数可以大到每台机器的数据大小(对数因子)。我们的证明技术结合了随机优化,对抗性在线学习和转导学习理论的思想,并且可以潜在地应用于其他随机优化和学习问题。
2016-10-17 cs.LG math.OC stat.ML
Stochastic Multiple Target Sampling Gradient Descent
VinAI Research(VinAI研究院);Monash University(莫纳什大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
从非标准化目标分布中采样是概率推理中的一个重要问题。Stein变分梯度下降(SVGD)已被证明是一个强大的方法,迭代更新一组粒子,以近似感兴趣的分布。此外,当分析其渐近性质时,SVGD完全简化为单目标优化问题,并且可以被视为该单目标优化问题的概率版本。一个自然的问题随之而来:“我们能推导出多目标优化的概率版本吗?".为了回答这个问题,我们提出了随机多目标采样梯度下降(MT-SGD),使我们能够从多个未归一化的目标分布进行采样。具体来说,我们的MT-SGD进行中间分布流逐渐定向到多个目标分布,这允许采样粒子移动到目标分布的联合高似然区域。有趣的是,渐近分析表明,我们的方法完全减少到多目标优化的多梯度下降算法,正如预期的那样。最后,我们进行了全面的实验,以证明我们的多任务学习方法的优点。
2023-02-10 cs.AI cs.LG stat.ML
ConMeZO: Adaptive Descent-Direction Sampling for Gradient-Free Finetuning of Large Language Models
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);Amazon AGI Labs(亚马逊人工智能实验室)
ConMeZO通过适应性方向采样加速大语言模型微调的收敛速度,保留低内存足迹,比MeZO快2倍。
2026-04-20 cs.LG math.OC stat.ML
Carathéodory Sampling for Stochastic Gradient Descent
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
许多问题需要在大数据集上优化经验风险函数。在每个下降步骤中计算完整梯度的梯度下降方法不能扩展到此类数据集。各种风格的随机梯度下降(SGD)取代了昂贵的总和,通过在数据集的随机选择的子样本上用一个小的和来近似计算完整的梯度,而子样本又受到高方差的影响。我们提出了一种不同的方法,灵感来自经典的结果Tchakaloff和Carathéodory的措施减少。这些结果允许用另一个精心构造的概率度量来替换经验度量,该概率度量具有小得多的支持度,但可以保留某些统计数据,例如预期梯度。为了将其转化为可扩展的算法,我们首先自适应地选择进行测量缩减的下降步骤;其次,我们将其与块坐标下降相结合,以便可以非常便宜地进行测量缩减。这使得生成的方法可扩展到高维空间。最后,我们提供了一个实验验证和比较。
2020-11-25 cs.LG math.PR stat.ML
Branching Stein Variational Gradient Descent for sampling multimodal distributions
) Kyoto University, Disaster Prevention Research Institute, Japan;) Centro de Investigaci\'on en Matem\'aticas A.C., Department of Probability;) ETH Zurich, Department of Mathematics, Switzerland
本文提出分支 Stein 变分梯度下降(BSVGD),通过随机分支机制扩展 SVGD 以更好地采样多模态分布,并给出收敛性理论保证及基于 Wasserstein 距离和计算时间的实验对比验证。
2025-07-17 cs.LG stat.CO stat.ML
Sampling and Update Frequencies in Proximal Variance-Reduced Stochastic Gradient Methods
Lund University(隆德大学)
方差缩减随机梯度法近年来得到了广泛的应用。存在几种变体,具有不同的梯度存储和采样策略,这项工作涉及这两个方面之间的相互作用。我们提出了一种通用的邻近方差-约化梯度法,并在强凸性假设下对其进行了分析。该算法的特殊情况包括SAGA,L-SVRG及其近端变体。我们的分析揭示了历元长度的选择以及平衡迭代收敛与梯度存储频率的需要。该分析改善了文献中发现的其他收敛速度,并产生了一个新的和更快的收敛采样策略SAGA。预测率与实际率相同的问题实例与基于现实世界数据的问题一起提出。
2022-10-18 cs.LG math.OC
Accelerated Stein Variational Gradient Flow
Institute of Mathematics, Technical University Berlin(柏林工业大学数学研究所);Department of Mathematics, University of South Carolina(南卡罗来纳大学数学系)
本文提出加速 Stein 变分梯度下降(ASVGD),通过 Nesterov 加速梯度流和动量离散更新提升高维采样效率,并用 Wasserstein 正则化稳定动量,实验验证其优于 SVGD 等流行方法。
2025-04-09 cs.LG math.OC stat.ML
Oracle Lower Bounds for Stochastic Gradient Sampling Algorithms
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
考虑了$\mathbb{R}^d$中强对数凹密度的抽样问题,证明了对对数密度的随机梯度查询次数的信息论下界.几个流行的采样算法(包括许多马尔可夫链蒙特卡罗方法)操作使用随机梯度的日志密度生成一个样本,我们的研究结果建立了所有这些算法的信息理论的限制。我们发现,对于每一个算法,存在一个良好的条件强对数凹目标密度的算法产生的点的分布将至少$\varepsilon$远离目标的全变差距离,如果梯度查询的数量小于$Ω(σ^2 d/\varepsilon^2)$,其中$σ^2 d$是随机梯度的方差。我们的下限如下相结合的想法,勒卡姆不足,经常使用的比较统计实验,随着标准的信息理论工具,用于下界贝叶斯风险函数。据我们所知,我们的结果提供了第一个非平凡的维数相关的下界这个问题。
2021-07-03 cs.LG math.ST stat.ML
Optimizing the CVaR via Sampling
The Technion - Israel Institute of Technology(以色列理工学院)
条件风险价值(CVaR)是一种重要的风险度量方法,广泛应用于各个领域。我们开发了一个新的公式的梯度CVaR的形式的条件期望。基于此公式,我们提出了一种新的基于采样的估计CVaR梯度,在似然比方法的精神。我们分析了估计的偏差,并证明了相应的随机梯度下降算法收敛到局部CVaR最优。我们的方法可以考虑在新的领域CVaR优化。作为一个例子,我们考虑强化学习应用程序,并学习俄罗斯方块游戏的风险敏感控制器。
2014-11-22 cs.AI cs.LG stat.ML
Online Importance Sampling for Stochastic Gradient Optimization
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Adobe Research(奥多比研究院);University College London(伦敦大学学院)
提出一种在线重要性采样算法,通过基于损失导数的新指标在训练时即时计算数据重要性,提升梯度估计精度并支持在线数据剪枝,显著减少训练时间且几乎不损失准确性。
2025-01-28 cs.LG
Stochastic Gradient Piecewise Deterministic Monte Carlo Samplers
Lancaster University(兰开斯特大学);University of Warwick(华威大学)
提出随机梯度PDMPs算法,通过Euler近似和数据子采样实现可扩展的后验分布采样,兼具连续轨迹与高效鲁棒性。
2024-06-27 cs.LG stat.CO stat.ML
Stochastic Gradient Optimization with Model-Assisted Sampling
University of Turku, Department of Computing(图尔库大学计算机系)
提出模型辅助采样框架,结合调查抽样理论降低随机梯度方差,与现有优化器兼容,在71-86%实验中提升性能,尤其对中等规模输入空间和AdamW优化器效果显著。
2026-06-26 cs.LG stat.ME
Kinetic Langevin MCMC Sampling Without Gradient Lipschitz Continuity -- the Strongly Convex Case
The University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);National Technical University of Athens(雅典国立技术大学)
在这篇文章中,我们考虑从Hamilton设置的对数凹分布采样,而不假设目标梯度是全局Lipschitz。我们提出了两个算法的基础上单调多边形(驯服)欧拉计划,从目标措施的样本,并提供非渐近2-Wasserstein距离界限之间的法律的过程中,每个算法和目标措施。最后,我们应用这些结果来限制相关的最优化问题的超额风险优化误差。
2023-01-19 cs.LG cs.NA math.NA
When Langevin Monte Carlo Meets Randomization: New Sampling Algorithms with Non-asymptotic Error Bounds beyond Log-Concavity and Gradient Lipschitzness
School of Mathematics and Statistics, HNP-LAMA, Central South University(数学与统计学院,HNP-LAMA,中南大学)
本文提出了一种新的随机分割兰格-蒙特卡罗算法,用于在非对数凹分布中高效采样。该算法在梯度利普希茨条件和对数-索博列夫不等式下,证明了在$\mathcal{W}_2$距离下的误差界,且在梯度非全局利普希茨且具有超线性增长时,提出了改进的R(S)LMC算法。
2026-04-22 cs.LG cs.NA math.NA
Mini-Batch Covariance, Diffusion Limits, and Oracle Complexity in Stochastic Gradient Descent: A Sampling-Design Perspective
Muma College of Business, University of South Florida(佛罗里达州立大学马纳学院);McCombs School of Business, University of Texas at Austin(德克萨斯大学奥斯汀分校麦克纳学院)
本文从采样设计角度研究了随机梯度下降中最小批量梯度噪声的协方差特性,推导了扩散极限与Oracle复杂度的理论边界,并通过数值实验验证了相关结论。
2026-04-15 cs.LG math.OC stat.ML
Safe Adaptive Importance Sampling
EPFL(洛桑联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
重要性采样已成为大规模优化算法中不可或缺的加速策略。改进的自适应变体-使用由在优化期间改变的完整梯度信息定义的重要性值-享有有利的理论性质,但通常在计算上是不可行的。在本文中,我们提出了一个有效的近似梯度为基础的采样,这是基于安全界限的梯度。建议的采样分布是(i)可证明的最佳采样相对于给定的界限,(ii)总是优于均匀采样和固定的重要性采样和(iii)可以有效地计算-在许多应用中,可以忽略不计的额外成本。建议的采样方案是通用的,可以很容易地集成到现有的算法。特别是,我们表明,坐标下降(CD)和随机梯度下降(SGD)可以享受显着的加速下的新计划。所提出的采样的证明效率进行了验证,通过广泛的数值试验。
2017-11-07 cs.LG math.OC
Sampling via Gradient Flows in the Space of Probability Measures
California Institute of Technology(加州理工学院);Courant Institute, New York University(纽约大学柯朗数学研究所);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);University of Pennsylvania(宾夕法尼亚大学);Universität Potsdam(波茨坦大学)
本文研究概率测度空间梯度流采样方法,证明KL散度的归一化常数无关性,提出仿射不变梯度流并验证其在各向异性分布采样上的优势,还开发了高斯近似的高效采样算法。
2024-03-09 cs.LG cs.NA math.DS
Adaptive Sketches for Robust Regression with Importance Sampling
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了通过随机梯度下降(SGD)通过以与其范数成比例的概率对梯度进行采样来解决鲁棒回归的数据结构,即,重要性采样。虽然SGD广泛用于大规模机器学习,但众所周知,由于均匀采样的高方差,它可能会经历缓慢的收敛速度。另一方面,重要性采样可以显著降低方差,但通常难以实现,因为计算采样概率需要额外的数据传递,在这种情况下,可以使用标准梯度下降(GD)来代替。在本文中,我们介绍了一种算法,近似采样$T$梯度的尺寸$d$从几乎最佳的重要性采样分布的稳健回归问题超过$n$行。因此,我们的算法有效地运行$T$步骤的SGD与重要性采样,而使用次线性空间,只是使一个单一的通过的数据。我们的技术还扩展到执行二阶优化的重要性采样。
2022-07-16 cs.DS cs.LG
Local Expectation Gradients for Doubly Stochastic Variational Inference
我们介绍了当地的期望梯度,这是一个通用的随机变分推断算法,通过从变分分布采样构建随机梯度。该算法将估计多个变分参数的随机梯度的问题划分为较小的子任务,使得每个子任务智能地利用来自变分分布的最相关部分的信息。这是通过对主要与感兴趣的变分参数相关的单个随机变量执行精确期望来实现的,从而产生具有低方差并且可以有效地用于连续和离散随机变量的Rao-Blackwellized估计。此外,该算法与吉布斯抽样有有趣的相似之处,但与此同时,不像吉布斯抽样,它可以平凡地并行化。
2015-03-04 stat.ML
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University(密歇根州立大学);NEC Laboratories America(NEC美国实验室)
距离度量学习(DML)是一个重要的任务,已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定(PSD)矩阵的约束。虽然随机梯度下降(SGD)已经成功地应用于提高DML的效率,但是它仍然可能在计算上是昂贵的,因为为了确保解是PSD矩阵,它必须在每次迭代时将更新的距离度量投影到PSD锥上,这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战,即小批量和自适应采样,以有效地减少更新次数(即,投影到PSD锥体上)。我们还开发了混合方法,结合自适应采样的强度与小批量在线学习技术,以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究,以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
Reparameterization Gradients through Acceptance-Rejection Sampling Algorithms
使用重新参数化技巧的变分推断使复杂概率模型中的大规模近似贝叶斯推断成为可能,利用随机最优化来回避棘手的期望。当我们可以通过在分布固定的辅助随机变量上应用可微确定性函数来模拟随机变量时,重新参数化技巧是适用的。对于许多感兴趣的分布(如伽玛或狄利克雷),随机变量的模拟依赖于接受-拒绝抽样。由接受-拒绝步骤引入的不连续性意味着标准的重新参数化技巧不适用。我们提出了一种新的方法,即使变量是接受-拒绝抽样算法的输出,也可以利用重新参数化梯度。我们的方法可以在更大的一类变分分布上进行重新参数化。在真实和合成数据的几项研究中,我们表明梯度估计的方差显着低于其他最先进的方法。这使得随机梯度变分推断收敛更快。
2020-02-12 stat.ME stat.ML
Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions
Institute for Astronomy, University of Edinburgh(爱丁堡大学天文研究所)
切片采样已经成为一种强大的马尔可夫链蒙特卡罗算法,它以最小的手动调整适应目标分布的特征。然而,切片采样的性能对用户指定的初始长度尺度超参数高度敏感,并且该方法通常难以处理尺度差或强相关的分布。本文介绍了Ensemble切片采样(ESS),一类新的算法,绕过这样的困难,通过自适应调整的初始长度尺度和利用合奏的并行步行者,以有效地处理参数之间的强相关性。这些仿射不变的算法是平凡的构造,不需要手动调整,可以很容易地实现在并行计算环境中。实证测试表明,包围切片采样可以提高效率超过一个数量级相比,传统的MCMC方法在广泛的高度相关的目标分布。在强多模态目标分布的情况下,Enhancement切片采样即使在高维中也可以有效地采样。我们认为,并行,黑盒和梯度的方法的性质使其理想的用于科学领域,如物理学,天体物理学和宇宙学,这些领域主要是由各种各样的计算昂贵和不可微的模型。
2021-10-03 astro-ph.CO astro-ph.IM cs.LG
Improving the Convergence Rates of Forward Gradient Descent with Repeated Sampling
University of Twente(特文特大学)
针对线性模型中FGD收敛速率比SGD慢d倍的问题,本文提出基于每个训练样本计算ℓ步FGD的重复采样方法,将次优因子降至d/(ℓ∧d)(ℓ≳d时次优性消失),并证明其可适应输入分布低维结构。
2024-11-26 cs.LG cs.NE math.ST
PA&DA: Jointly Sampling PAth and DAta for Consistent NAS
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Kuaishou Technology(快手科技)
基于权值共享机制,one-shot NAS方法训练一个超网,然后继承预先训练好的权值来评估子模型,大大降低了搜索成本。然而,一些工作已经指出,共享权重在训练期间遭受不同的梯度下降方向。我们进一步发现,在超网训练过程中会出现较大的梯度方差,从而降低了超网的排序一致性。为了缓解这个问题,我们建议通过联合优化PATh和DAta(PA&DA)的采样分布来显式地最小化超网训练的梯度方差。从理论上推导了梯度方差与采样分布之间的关系,揭示了最优采样概率与路径和训练数据的归一化梯度范数成正比。因此,我们使用归一化梯度范数作为路径和训练数据的重要性指标,并采用重要性采样策略进行超网训练。我们的方法只需要微不足道的计算成本优化路径和数据的采样分布,但实现了更低的梯度方差在超网训练和更好的泛化性能的超网,从而导致更一致的NAS。在不同的搜索空间中,我们与其他改进方法进行了全面的比较。实验结果表明,该方法具有更可靠的排序性能和更高的搜索精度,显示了该方法的有效性。代码可在https://github.com/ShunLu91/PA-DA上获得。
2023-02-28 cs.CV cs.LG
Stochastic Gradient Descent under Markovian Sampling Schemes
Inria(法国国家信息与自动化研究所);ENS Paris(巴黎高等师范学院)
本研究提出在马尔可夫采样下优化随机梯度下降,揭示命中时间下界,并引入仅依赖命中时间的方差缩减算法MC-SAG,实现通信高效。
2023-06-23 cs.LG math.OC
Projected Stochastic Gradient Langevin Algorithms for Constrained Sampling and Non-Convex Learning
Langevin算法是具有加性噪声的梯度下降方法。它们已经在马尔可夫链蒙特卡罗(MCMC)采样,优化和学习中使用了几十年。它们在无约束非凸优化和学习问题中的收敛性在过去几年中得到了广泛的研究。其他工作研究了投影Langevin算法的抽样从对数凹分布限制凸紧集。对于学习和优化,对数凹分布对应于凸损失。在本文中,我们分析了非凸损失的情况下,紧凸约束集和IID外部数据变量。我们将此方法称为投影随机梯度Langevin算法(PSGLA)。我们表明,该算法实现了$O(T^{-1/4}(\log T)^{1/2})$从其目标分布在1-Wasserstein距离的偏差。对于优化和学习,我们表明,该算法实现$ε$ -次优的解决方案,平均而言,只要它运行的时间是多项式在$ε^{-1}$和稍微超指数的问题维度。
2020-12-22 cs.LG math.OC math.PR
Zeroth-Order Regularized Optimization (ZORO): Approximately Sparse Gradients and Adaptive Sampling
University of California, Los Angeles(加州大学洛杉矶分校);Damo Academy, Alibaba US(阿里巴巴美国达摩院);Xmotors AI(Xmotors人工智能公司)
我们考虑最小化高维目标函数的问题,其中可能包括一个正则化项,使用(可能有噪声)的功能评估。这种优化也被称为无导数优化、零阶优化或黑盒优化。我们提出了一种新的$\textbf{Z}$ eroth- $\textbf{O}$ rder $\textbf{R}$正则化的$\textbf{O}$优化方法,称为ZORO。当底层梯度在一个梯度上近似稀疏时,ZORO需要非常少的目标函数评估来获得减小目标函数的新梯度。我们实现这一点与自适应,随机梯度估计,其次是一个不精确的近似梯度方案。在一个新的近似稀疏梯度假设和各种不同的凸设置,我们显示(理论和经验)的收敛速度的ZORO是唯一的数学依赖于问题的维数。数值实验表明,ZORO优于现有的方法类似的假设,在合成和真实数据集。
2021-12-01 cs.LG math.OC
Sampling-based Gradient Regularization for Capturing Long-Term Dependencies in Recurrent Neural Networks
Institute of MMS of NASU(乌克兰国家科学院建模系统研究所);Center for Cybernetics(控制论中心)
梯度消失(和爆炸)效应是具有非线性激活函数的循环神经网络使用反向传播方法计算导数的常见问题。具有许多隐藏层的深度前馈神经网络也会受到这种影响。在本文中,我们提出了一种新的通用技术,使梯度的范数保持在适当的范围内。我们构造了一种方法来估计每个训练样本对目标函数梯度的长期分量的范数的贡献。使用此子例程,我们可以构建用于随机梯度下降(SGD)训练的小批量,即使对于非常复杂的任务,也可以实现训练网络的高性能和准确性。我们提供了一个简单的数学估计的minibatch的影响的梯度范数,并证明其正确性理论。为了实验性地检查我们的框架,我们使用一些特殊的合成基准来测试RNN捕获长期依赖关系的能力。我们的网络可以检测(时间)序列中事件之间的联系,范围约为。100或更长。
2017-02-13 cs.LG cs.NE
Online covariance estimation for stochastic gradient descent under Markovian sampling
University of California San Diego(加州大学圣迭戈分校);University of California, Davis(加州大学戴维斯分校)
该研究针对马尔可夫采样下的SGD提出在线重叠批均值协方差估计器,推导了匹配i.i.d场景最优水平的收敛速度,还得到SGD误差矩的相关结果,并通过数值实验和策略分类应用验证了方法的有效性。
2023-11-05 cs.LG math.OC math.ST
A Gradient Sampling Algorithm for Stratified Maps with Applications to Topological Data Analysis
Oxford University(牛津大学);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心)
我们引入了一种新的梯度下降算法,扩展了著名的梯度采样方法的分层光滑的目标函数,这被定义为局部Lipschitz函数,是光滑的一些定期片-所谓的层-周围的欧几里德空间的类。对于这类函数,我们的算法实现了次线性收敛速度。然后,我们将我们的方法应用于目标函数的基础上(扩展)持久的同源映射计算低星过滤器,这是一个核心工具的拓扑数据分析。为此,我们提出了一个有效的探索相应的分层使用的Cayley图的置换群。最后,我们提供了基准和新的拓扑优化问题,以证明我们的框架的实用性和适用性。
2021-09-03 cs.CG cs.LG math.AT