A note on diffusion limits for stochastic gradient descent
Università di Bologna(博洛尼亚大学)
在机器学习文献中,随机梯度下降最近因其所谓的隐式正则化特性而被广泛讨论。许多试图阐明噪声在随机梯度算法中的作用的理论,已经通过具有高斯噪声的随机微分方程广泛地近似随机梯度下降。我们为这种做法提供了一种新的严格的理论依据,展示了噪声的高斯性如何自然产生。
2022-10-20 cs.LG math.OC math.PR
Barzilai-Borwein Step Size for Stochastic Gradient Descent
The Chinese University of Hong Kong(香港中文大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);The University of Hong Kong(香港大学)
随机梯度下降法的一个主要问题是如何选择合适的步长。由于传统的线搜索技术不适用于随机最优化算法,SGD中的常见做法是使用减小的步长,或者手动调整固定的步长,这在实践中可能是耗时的。在本文中,我们提出使用Barzilai-Borwein(BB)方法来自动计算步长的SGD和它的变种:随机方差约减梯度(SVRG)方法,这导致两个算法:SGD-BB和SVRG-BB。我们证明了SVRG-BB对强凸目标函数线性收敛。作为副产品,我们证明了SVRG的线性收敛结果与选项I在[10]中提出,其收敛性结果在文献中丢失。在标准数据集上的数值实验表明,SGD-BB和SVRG-BB的性能与最佳步长的SGD和SVRG相当,有时甚至更好,并且优于一些先进的SGD变体。
2016-05-23 cs.LG math.OC stat.ML
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles(加州大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器,梯度下降已被证明收敛到各种光滑损失函数的最大保证金(或等价地,最小范数)解。然而,以前的理论不适用于非光滑函数,如铰链损失,这是广泛使用的实践。在这里,我们研究了梯度下降的同伦变体的收敛性,并提供了明确的收敛速度,线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Towards stability and optimality in stochastic gradient descent
Harvard University(哈佛大学)
基于随机梯度下降的参数估计的迭代过程允许估计扩展到海量数据集。然而,在理论和实践中,他们遭受的数值不稳定性。此外,它们作为真实参数值的估计量在统计上是低效的。为了解决这两个问题,我们提出了一个新的迭代过程称为平均隐式SGD(AI-SGD)。为了统计效率,AI-SGD采用迭代的平均,这在强凸性下实现了最佳克拉美-拉奥界,即,它是真实参数值的最优无偏估计量。为了数值稳定性,AI-SGD在每次迭代时采用隐式更新,这与优化中的邻近算子有关。在实践中,AI-SGD与其他最先进的程序相比具有竞争力的性能。此外,它比不采用邻近更新的平均过程更稳定,并且易于实现,因为它需要比采用邻近更新的过程更少的可调超参数。
2016-06-07 cs.LG stat.CO stat.ME
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及,随机梯度下降及其自适应变体(例如Adagrad,Adam等)已经成为机器学习从业者的首选方法。虽然大量的工作已经证明,这些一阶最优化方法可以实现次线性或线性收敛,我们建立了局部平方收敛的随机梯度下降与自适应步长的问题,如矩阵求逆。
2021-12-30 cs.LG math.OC
On the Lipschitz Constant of Deep Networks and Double Descent
KTH(瑞典皇家理工学院)
本文通过实验研究双重下降下深度网络的经验 Lipschitz 常数,发现其与测试误差强相关,并将其归因于损失景观曲率和参数到初始化的距离。
2025-07-23 cs.LG
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
坐标下降法采用随机部分更新的决策变量,以解决大规模的凸优化问题。在这项工作中,我们引入了新的自适应规则,随机选择他们的更新。所谓自适应,我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计,并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能,并证明了最先进的改进,并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
Generalisation under gradient descent via deterministic PAC-Bayes
Universitat Pompeu Fabra(庞培法布拉大学);University of Oxford(牛津大学);UCL(伦敦大学学院);Inria London(法国国家信息与自动化研究所伦敦分部)
针对梯度下降类模型泛化性问题,提出解耦的确定性PAC-Bayesian泛化界,无需去随机化且可计算,适用于SGD、动量法等多种迭代优化算法,为泛化分析提供新框架。
2025-02-11 cs.LG stat.ML
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界,考虑了实际中使用的大多数激活函数,包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先,我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次,我们提供了一个技术性的结果(也适用于一般逼近器),将上述微分包含的解与(离散的)随机梯度下降序列相关联,从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
Stop Walking in Circles! Bailing Out Early in Projected Gradient Descent
Booz Allen Hamilton(博思艾伦汉密尔顿公司)
本文提出一种基于循环检测的投影梯度下降(PGD)提前终止方法,在不损失攻击强度的情况下大幅加速对抗鲁棒性评估,并保持与标准 PGD 完全相同的鲁棒性估计结果。
2025-03-25 cs.CV cs.LG stat.ML
Label noise (stochastic) gradient descent implicitly solves the Lasso for quadratic parametrisation
EPFL(洛桑联邦理工学院);École des Ponts(巴黎路桥学院)
理解训练算法的隐含偏差对于解释过度参数化神经网络的成功至关重要。在本文中,我们研究了标签噪声在二次参数化模型的训练动力学中的作用,通过其连续时间版本。我们显式地证明了由随机流所选择的解是Lasso规划的隐式解。为了完全完成我们的分析,我们提供了非渐近收敛保证的动态以及支持恢复的条件。我们也给出了实验结果,支持我们的理论主张。我们的研究结果强调了这样一个事实,即结构化噪声可以引起更好的概括,并有助于解释在实践中观察到的随机动力学的更大性能。
2022-06-20 cs.LG math.OC stat.ML
Neural Variational Gradient Descent
ETH Zurich(苏黎世联邦理工学院);Deepmind(深度思维)
基于粒子的近似贝叶斯推理方法,如Stein变分梯度下降(SVGD)结合了采样方法的灵活性和收敛保证与变分推理的计算优势。在实践中,SVGD依赖于选择适当的核函数,这会影响其对目标分布建模的能力-这是一个只有启发式解决方案的挑战性问题。我们提出了神经变分梯度下降(NVGD),它是基于参数化的证据函数的斯坦差异的深度神经网络,其参数学习并行的推理,减轻了必要性,使任何内核的选择。我们经验评估我们的方法流行的综合推理问题,现实世界的贝叶斯线性回归,贝叶斯神经网络推理。
2021-07-29 cs.LG stat.CO stat.ML
Efficiently Factorizing Boolean Matrices using Proximal Gradient Descent
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出用弹性二值正则化器连续松弛布尔矩阵分解,并设计近端梯度算法,在合成与真实数据上实现更快、更准且更具可解释性的低秩布尔分解。
2023-07-14 cs.LG stat.ML
Limitations of the Empirical Fisher Approximation for Natural Gradient Descent
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自然梯度下降是一种捕获部分二阶信息的方法,它以底层统计模型的Fisher信息矩阵作为梯度下降更新的先决条件。几个高度可见的作品提倡一种近似,称为经验费雪,在近似二阶方法和亚当等数学之间建立联系。我们争论这个论点表明,经验费雪-不像费雪-一般不捕捉二阶信息。我们进一步认为,经验费舍尔接近费舍尔(和海森)的条件下,不太可能在实践中得到满足,而且,即使在简单的优化问题,病理的经验费舍尔可以有不良影响。
2020-06-08 cs.LG stat.ML
Uncertainty Sampling is Preconditioned Stochastic Gradient Descent on Zero-One Loss
Stanford University(斯坦福大学)
不确定性采样是一种流行的主动学习算法,用于减少学习分类器所需的数据量,但在实践中已经观察到根据初始化收敛到不同的参数,有时甚至收敛到比所有数据上的标准训练更好的参数。在这项工作中,我们给出了这种现象的理论解释,表明凸损失上的不确定性采样可以被解释为执行一个预处理的随机梯度步骤的平滑版本的人口零-一损失,收敛到人口零-一损失。此外,不确定性抽样沿下降方向移动,并收敛到平滑总体的平稳点。合成和真实数据集上的实验支持这种联系。
2018-12-05 cs.LG stat.ML
Asymptotic and finite-sample properties of estimators based on stochastic gradients
随机梯度下降过程已经得到普及的参数估计从大数据集。然而,它们的统计特性在理论上还没有得到很好的理解。在实践中,避免数值不稳定性需要仔细调整关键参数。在这里,我们介绍隐式随机梯度下降过程,其中涉及参数更新是隐式定义的。直观地,隐式更新缩小了标准的随机梯度下降更新。收缩量取决于观察到的费舍尔信息矩阵,这不需要显式计算,因此,隐式程序增加了稳定性,而不增加计算负担。我们的理论分析提供了第一个完整的表征的渐近行为的标准和隐式随机梯度下降为基础的估计,包括有限样本误差界。重要的是,这些随机的基于梯度的估计方差的解析表达式揭示了它们的效率损失。我们还开发了新的算法来计算隐式随机梯度下降为基础的估计广义线性模型,Cox比例风险,M-估计,在实践中,并进行了广泛的实验。我们的研究结果表明,隐式随机梯度下降程序准备成为一个从大数据集近似推理的主力
2016-09-28 stat.CO stat.ME stat.ML
Accelerated Variance Reduced Block Coordinate Descent
Zhejiang University(浙江大学)
在大数据时代,由于对在\emph{ultra-high}维空间中具有\emph{a large number of samples}的问题获得\emph{highly accurate solutions}的需求,具有快速收敛、小数据访问数量和低每次迭代复杂度的算法特别有利。现有的算法缺乏这些品质中的至少一种,因此在处理这种大数据挑战时效率低下。在本文中,我们提出了一种方法享受所有这些优点与加速收敛速度$O(\frac{1}{k^2})$。在超过100万个特征的大规模数据集上进行了实验研究,以证明我们的方法在实践中的有效性。
2016-11-13 cs.LG stat.ML
Generalisation Guarantees for Continual Learning with Orthogonal Gradient Descent
Aqemia;McGill University(麦吉尔大学);Mila;RIKEN(理化学研究所);The University of Tokyo(东京大学)
在持续学习环境中,深度神经网络容易发生灾难性遗忘。正交梯度下降法就是为了解决这一问题而提出的。然而,理论上的保证还没有得到证实。我们提出了一个理论框架来研究神经切线核机制中的连续学习算法。该框架包括通过任务和代理进行迁移学习,概括和任务相似性的模型的封闭形式表达。在这个框架中,我们证明了OGD对灾难性遗忘是鲁棒的,然后推导出SGD和OGD对持续学习的第一个推广界。最后,我们研究了这个框架在OGD实践中的局限性,并强调了神经切线核变化对OGD持续学习的重要性。
2020-12-04 cs.LG stat.ML
Convergence Analysis of Gradient Descent Algorithms with Proportional Updates
近年来,深度学习的兴起带来了越来越聪明的优化方法来处理复杂的非线性损失函数。这些方法通常是在考虑凸优化的情况下设计的,但是已经被证明在实践中即使对于与神经网络相关联的高度非凸优化也能很好地工作。然而,当这些方法应用于深度学习时,它们的一个显著缺点是更新步骤的大小有时与权重的大小不成比例(更小或更大),导致训练不稳定性,例如消失和爆炸梯度。解决这个问题的一个想法是使用比例更新的梯度下降。2017年引入了具有比例更新的梯度下降。它是由You等人(分层自适应速率缩放(LARS)算法)和Abu-El-Haija(分层Delta算法)独立开发的。这两种算法的基本思想都是使梯度下降的每一步与当前权重范数成比例而与梯度幅度无关。在新的优化方法中,通常需要在Lipschitz连续性和凸性的假设下证明收敛性或推导遗憾界。然而,即使LARS和EARD-Delta在实践中表现出良好的工作,这些算法的收敛特性没有理论分析。因此,不清楚具有比例更新的梯度下降的思想是否以最佳方式使用,或者是否可以通过例如使用不同的范数或特定的学习率调度来改进。此外,目前还不清楚这些算法是否可以扩展到其他问题,除了神经网络。我们试图通过建立具有比例更新的梯度下降的理论分析来回答这些问题,并用实证例子来验证这一分析。
2018-01-09 cs.AI cs.LG stat.ML
Randomized Stochastic Gradient Descent Ascent
越来越多的机器学习问题,例如现有算法的鲁棒或对抗性变体,需要最小化本身被定义为最大值的损失函数。在(内部)最大化问题上执行随机梯度上升(SGA)步骤的循环,然后在(外部)最小化问题上执行SGD步骤,称为历元随机梯度\textit{Descent Ascent}(ESGDA)。虽然在实践中取得了成功,但ESGDA的理论分析仍然具有挑战性,对于内环尺寸的选择以及内外步长之间的相互作用没有明确的指导。我们提出了RSGDA(随机SGDA),一个变体的ESGDA随机循环大小与一个简单的理论分析。RSGDA在非凸最小值/强凹最大值设置上使用时具有第一个(SGDA算法中)几乎肯定的收敛速度。RSGDA可以使用最佳循环大小进行参数化,以保证SGDA已知的最佳收敛速度。我们在玩具和更大规模的问题上测试RSGDA,使用分布式鲁棒优化和单细胞数据匹配,使用最佳运输作为测试平台。
2021-11-25 cs.LG math.OC stat.ML
InfiniteBoost: building infinite ensembles with gradient descent
National Research University Higher School of Economics(国立研究型大学高等经济学院)
在机器学习中,集成方法对于不同领域的各种问题都表现出了很高的准确性。在实践中广泛使用的两个值得注意的集成方法是梯度提升和随机森林。在本文中,我们提出了InfiniteBoost-一种新的算法,它结合了这两种方法的重要属性。该算法构造的树的集合具有两个属性:集合的树包含其他树所做的错误;同时集合可以包含无限数量的树,而不会产生过拟合效应。该算法的回归,分类和排名任务,使用大规模的,公开可用的数据集进行评估。
2018-09-21 cs.LG stat.ML
Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent
Simons Institute for the Theory of Computing(西蒙斯计算理论研究所);University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校)
虽然学习神经网络的优化目标是高度非凸的,但基于梯度的方法在实践中学习神经网络方面已经取得了广泛的成功。这种并置导致了最近对梯度下降训练的神经网络的可证明保证的一些研究。不幸的是,这些作品中的技术往往是高度特定于每个问题中的特定设置,使得很难在不同的设置之间进行概括。为了解决这个缺点,在文献中,我们提出了一个统一的非凸优化框架的分析神经网络训练。我们引入了代理凸性和代理Polyak-Lojasiewicz(PL)不等式的概念,如果原始目标函数导致使用梯度方法时隐式最小化的代理目标函数,则可以满足这些概念。我们表明,梯度下降的目标满足代理凸性或代理PL不等式导致有效的保证代理目标函数。我们进一步表明,通过梯度下降训练的神经网络的许多现有保证可以通过代理凸性和代理PL不等式来统一。
2022-09-13 cs.LG math.OC stat.ML
Stochastic Approximate Gradient Descent via the Langevin Algorithm
Department of Statistics and Data Science, Carnegie Mellon University(卡内基梅隆大学统计与数据科学系);Department of Statistics, Purdue University(普渡大学统计系)
我们引入了一种新的和有效的算法称为随机近似梯度下降(SAGD),作为替代的随机梯度下降的情况下,无偏随机梯度不能平凡地获得。传统的方法,这样的问题依赖于通用的采样技术,如马尔可夫链蒙特卡罗,这通常需要手动干预调整参数,并没有有效地在实践中工作。相反,SAGD利用Langevin算法来构造随机梯度,这些随机梯度在有限步中有偏,但渐近精确,使我们能够从理论上建立SAGD的收敛保证。在理论分析的启发下,我们也为它的实际实施提供了有用的指导。最后,我们表明,SAGD在流行的统计和机器学习问题,如期望最大化算法和变分自编码器实验表现良好。
2020-02-13 cs.LG stat.CO stat.ML
On the Double Descent of Random Features Models Trained with SGD
EPFL(洛桑联邦理工学院);KU Leuven(鲁汶大学)
我们研究了随机特征(RF)回归在下/过参数化机制下通过随机梯度下降(SGD)优化的高维空间中的泛化特性。在这项工作中,我们得到了精确的非渐近误差界的RF回归下的常数和多项式衰减步长SGD设置,并观察双下降现象的理论和经验。我们的分析展示了如何处理初始化,标签噪声和数据采样(以及随机梯度)的多个随机性来源,而没有封闭形式的解决方案,并且也超越了常用的高斯/球形数据假设。我们的理论结果表明,使用SGD训练,RF回归仍然可以很好地推广插值学习,并且能够通过方差的单峰性和偏差的单调减少来表征双下降行为。此外,我们还证明了恒定步长的SGD设置时,收敛速度没有损失相比,精确的最小范数的最小值,作为一个理论上的理由,在实践中使用SGD。
2022-10-16 cs.LG stat.ML
An Energy-Based Self-Adaptive Learning Rate for Stochastic Gradient Descent: Enhancing Unconstrained Optimization with VAV method
Purdue University(普渡大学)
针对学习率优化难题,本文提出基于能量的VAV自适应学习率方法,通过辅助变量实现无回溯能量近似,在保证稳定性的同时加速收敛,并优于SGD。
2024-11-10 cs.LG math.OC stat.ML
Near-optimal Local Convergence of Alternating Gradient Descent-Ascent for Minimax Optimization
University of Toronto(多伦多大学);Princeton University(普林斯顿大学);Northeastern University(东北大学)
光滑极小极大博弈通常通过同时或交替的梯度更新来进行。虽然交替更新算法在实践中被广泛使用,但为了便于分析,现有的理论分析大多集中在并发算法上。本文研究了极大极小对策中的交替梯度下降-上升(Alt-GDA)算法,并证明了Alt-GDA算法在许多情况下优于其同步算法~(Sim-GDA)。我们证明了Alt-GDA实现了一个接近最优的局部收敛速度强凸-强凹(SCSC)问题,而Sim-GDA收敛速度要慢得多。据我们所知,这是任何设置的\emph{first}结果,表明Alt-GDA比Sim-GDA收敛快一个常数以上。我们进一步适应积分二次约束(IQC)的理论,并表明Alt-GDA达到相同的速度\emph{globally}的一个子类的SCSC极大极小问题。从经验上讲,我们证明了交替更新可以显着加快GAN训练,并且乐观的使用只对同步算法有帮助。
2022-02-13 cs.LG math.OC stat.ML
A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima
Pennsylvania State University(宾夕法尼亚州立大学)
具有非孤立最小值的损失函数已经出现在几个机器学习问题中,在理论和实践之间产生了差距。在本文中,我们提出了一种新的局部凸性条件,该条件适用于描述损失函数在非孤立极小点附近的行为。我们表明,这样的条件是一般的,足以包括许多现有的条件。此外,我们还利用随机稳定性的概念研究了SGD算法在这一较弱条件下的局部收敛性。从收敛性分析中得到的相应的浓度不等式有助于解释一些实际训练结果的经验观察。
2022-05-30 cs.LG cs.NA math.NA
Understanding the Double Descent Phenomenon in Deep Learning
Sorbonne Université(索邦大学)
本教程解释深度学习中的双下降现象,涵盖其机制、归纳偏置的作用,并通过线性模型示例及近期工作提供多角度理解。
2024-03-15 cs.CV cs.LG stat.ML
Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent
Hong Kong University of Science and Technology(香港科技大学)
针对RR-SGD最后迭代的步长限制问题,通过保留采样偏差消除1/n因子,建立了大步长下的最后迭代收敛界,其收敛率在对数因子内与平均迭代匹配。
2026-10-15 cs.LG math.OC stat.ML
Online Learning Rate Adaptation with Hypergradient Descent
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学)
我们介绍了一种通用的方法,用于提高基于梯度的优化器的收敛速度,易于实现,在实践中效果良好。我们证明了该方法的有效性,在一系列的优化问题,通过将其应用到随机梯度下降,随机梯度下降Nesterov动量,亚当,表明它显着减少了手动调整这些常用算法的初始学习率的需要。我们的方法通过在优化期间使用相对于更新规则本身的学习率的梯度来动态地更新学习率。计算这种“超梯度”几乎不需要额外的计算,只需要将原始梯度的一个额外副本存储在内存中,并且只依赖于反向模式自动微分提供的内容。
2018-02-26 cs.LG stat.ML
WNGrad: Learn the Learning Rate in Gradient Descent
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(Facebook人工智能研究院)
在随机梯度方法中,调整学习率是一个重要的未解决的问题,需要在实践中调整。如果已知损失函数的某些参数,如平滑度或强凸性常数,则可以应用理论学习率计划。然而,在实践中,这样的参数是未知的,并且感兴趣的损失函数在任何情况下都不是凸的。最近提出的批量归一化重新参数化被广泛采用在大多数神经网络架构今天,因为,除其他优点外,它是鲁棒的损失函数中的梯度的Lipschitz常数的选择,允许一个设置一个大的学习率没有担心。受批处理归一化的启发,我们提出了一个通用的非线性更新规则,用于批处理和随机梯度下降中的学习率,以便学习率可以初始化为一个高值,随后根据沿途的梯度观测值降低。所提出的方法是实现鲁棒性的学习率和Lipschitz常数之间的关系,并接近最佳的收敛速度在批量和随机设置($O(1/T)$为平滑损失的批量设置,和$O(1/\sqrt{T})$为凸损失的随机设置)。我们还通过数值证据表明,该方法的鲁棒性扩展到深度学习问题中的高度非凸和可能非光滑的损失函数。我们的分析建立了对批量归一化和权重归一化的鲁棒性的初步理论理解。
2020-11-19 cs.AI cs.LG cs.NA
Stochastic Gradient Descent for Relational Logistic Regression via Partial Network Crawls
Purdue University(普渡大学)
统计关系学习的研究已经产生了许多从大规模网络数据中学习关系模型的方法。虽然这些方法已成功地应用于各个领域,但它们是在完全数据访问的不切实际的假设下开发的。然而,在实践中,由于专有访问、有限的资源和隐私问题,数据通常通过爬行网络来收集。最近,我们发现,从现有网络爬虫收集的网络样本中计算的关系贝叶斯分类器的参数估计可能非常不准确,并为此类模型开发了一种爬虫感知估计方法(Yang,Ribeiro和Neville,2017)。在这项工作中,我们扩展的方法来学习关系逻辑斯谛回归模型通过随机梯度下降从部分网络爬行,并表明,所提出的方法产生准确的参数估计和置信区间。
2017-08-21 cs.LG stat.ML
On SGD's Failure in Practice: Characterizing and Overcoming Stalling
University of Chicago(芝加哥大学)
随机梯度下降(SGD)被广泛用于机器学习问题中以有效地执行经验风险最小化,然而,在实践中,已知SGD在达到经验风险的实际最小化之前停止。SGD失速通常归因于其对问题条件的敏感性;然而,正如我们所证明的,SGD即使应用于标准学习率具有统一条件数的简单线性回归问题也会失速。因此,在这项工作中,我们用数字证明和数学论证,失速是SGD及其变体在实践中的一个严重和通用的限制。一旦我们建立了失速问题,我们推广了一个现有的框架来对冲其影响,(1)阻止SGD及其变体失速,(2)仍然提供收敛保证,(3)使SGD及其变体更实用的最小化方法。
2017-02-07 cs.LG math.OC stat.CO
Global Convergence and Stability of Stochastic Gradient Descent
University of Wisconsin – Madison(威斯康星大学麦迪逊分校);University of Michigan – Ann Arbor(密歇根大学安娜堡分校);The Ohio State University(俄亥俄州立大学)
在机器学习中,随机梯度下降(SGD)被广泛部署到训练模型中,使用高度非凸目标和同样复杂的噪声模型。不幸的是,SGD理论经常做出限制性的假设,无法捕捉实际问题的非凸性,并且几乎完全忽略了实践中存在的复杂噪声模型。在这项工作中,我们在这一缺陷上取得了实质性进展。首先,我们建立SGD的迭代将要么全局收敛到一个稳定点或发散下几乎任意的非凸性和噪声模型。在对非凸性和噪声模型的联合行为稍微限制性的假设下,我们证明了目标函数不能发散,即使迭代发散。由于我们的研究结果,SGD可以应用到更大范围的随机优化问题的信心,其全局收敛性和稳定性。
2022-10-10 cs.LG math.OC
Even Faster Accelerated Coordinate Descent Using Non-Uniform Sampling
Princeton University(普林斯顿大学);University of Hong Kong(香港大学);University of Edinburgh(爱丁堡大学);Cornell University(康奈尔大学)
本文通过非均匀采样将加速坐标下降法的运行时间提升至$\sqrt{n}$,方法基于坐标光滑性参数的平方根比例采样,适用于经验风险最小化和线性系统求解。
2016-05-27 cs.DS cs.NA math.NA
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University(布兰戴斯大学)
本文研究高斯相位恢复问题中的加速优化方法,证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化,从而在非凸性中保持强凸和平滑,实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Multitask Online Mirror Descent
University of Milan(米兰大学);Istituto Italiano di Tecnologia(意大利技术研究院);University College London(伦敦大学学院)
我们介绍和分析MT-OMD,一个多任务泛化的在线镜像下降(OMD),通过共享任务之间的更新。我们证明了MT-OMD的后悔是$\sqrt{1 + σ^2(N-1)}\sqrt{T}$阶的,其中$σ^2$是根据正则化子诱导的几何形状的任务方差,$N$是任务数,$T$是时间范围.当任务相似时,即$σ^2 \le 1$,我们的方法改进了通过在每个任务上运行独立的OMD获得的$\sqrt{NT}$界限。我们进一步提供了一个匹配的下限,并表明,我们的多任务扩展的在线梯度下降和指数梯度,两个主要的实例OMD,享受封闭形式的更新,使他们易于在实践中使用。最后,我们提出了支持我们的理论研究结果的实验。
2022-11-01 cs.LG
A Novel Sequential Coreset Method for Gradient Descent Algorithms
University of Science and Technology of China(中国科学技术大学)
梯度下降算法可以解决机器学习中出现的各种优化问题,如何有效地压缩大规模数据集以降低计算复杂性是该领域的核心问题。{ \em Coreset}是一种流行的数据压缩技术,之前已对其进行了广泛研究。然而,大多数现有的coreset方法是依赖于问题,不能作为一个通用的工具,更广泛的应用。一个关键的障碍是,他们往往依赖于伪维数和总的灵敏度界限,可以是非常高的或难以获得。本文基于梯度下降算法的“局部性"特性,提出了一种新的框架,称为”顺序核心集“,有效地避免了这些障碍。此外,我们的方法是特别适合于稀疏优化的coreset大小可以进一步减少到只有poly-dimensionally依赖于尺寸。实验结果表明,该方法与基准算法相比,可以节省大量的运行时间。
2022-10-08 cs.LG stat.ML
Gradient Descent Algorithm Survey
DengFucheng, WangWanjie, GongAo, WangXiaoqi, WangFan(作者)
本文综述了深度学习中五种梯度下降算法的核心特点与应用建议,旨在为优化算法的选择和调优提供指导。
2025-11-25 cs.AI cs.LG
A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima
The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所人工智能中心)
随机梯度下降(SGD)及其变体是实践中训练深度网络的主流方法。SGD被称为找到一个平坦的最小值,通常推广良好。但是,从数学上讲,深度学习如何在如此多的最小值中选择一个平坦的最小值还不清楚。为了定量地回答这个问题,我们发展了一个密度扩散理论(DDT)来揭示极小值的选择如何定量地依赖于极小值的锐度和超参数。据我们所知,我们是第一个从理论上和经验上证明,受益于随机梯度噪声的海森相关的协方差,SGD有利于平坦的最小值指数比尖锐的最小值,而梯度下降(GD)与注入白噪声只有利于平坦的最小值多项式比尖锐的最小值。我们还发现,无论是小学习率还是大批量训练,都需要指数级的多次迭代才能摆脱批量大小和学习率之比的最小值。因此,大批量训练无法在实际计算时间内有效地搜索平坦极小值。
2021-01-15 cs.LG stat.ML
Learning-to-Learn Stochastic Gradient Descent with Biased Regularization
IIT(意大利理工学院)
我们研究的问题,学习学习:推断一个学习算法,以及从一个未知的分布采样的任务。作为一类算法,我们考虑随机梯度下降的真实风险正规化的平方欧几里德距离的偏差向量。我们提出了一个平均超额风险界这样的学习算法。该结果量化了相对于无偏情况使用偏置向量的潜在益处。然后,我们解决的问题,估计从一系列的任务的偏见。我们提出了一个元算法,增量更新的偏见,观察到新的任务。这种方法的低空间和时间复杂度使得它在实践中很有吸引力。我们提供元算法的学习能力的保证。我们的研究结果的一个关键特征是,当任务的数量增长,他们的方差相对较小,我们的学习到学习的方法有一个显着的优势,孤立地学习每个任务的随机梯度下降没有偏见的条款。我们报告的数值实验,证明了我们的方法的有效性。
2019-03-25 cs.LG stat.ML
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain(谷歌大脑)
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合,但在实践中,这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线,其中增加模型的容量会导致其测试误差首先减小,然后增加到插值阈值附近的最大值,然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上,例如线性回归或具有非结构化随机特征的核回归,我们认为这些设置太粗糙,无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核,它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明,测试误差具有非单调的行为,深入过参数化制度,甚至可以表现出额外的峰值和下降时,参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
Faster Distributed Deep Net Training: Computation and Communication Decoupled Stochastic Gradient Descent
Anhui Province Key Laboratory of Big Data Analysis and Application(安徽省大数据分析与应用重点实验室);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);School of Data Science, University of Science and Technology of China(中国科学技术大学数据科学学院)
随着数据量的增加和模型规模的扩大,分布式并行训练成为解决优化挑战的重要和成功的技术。然而,尽管分布式随机梯度下降(SGD)算法可以实现线性迭代加速,但它们在实践中受到通信成本的显著限制,使得难以实现线性时间加速。在本文中,我们提出了一个计算和通信解耦的随机梯度下降(CoCoD-SGD)算法,并行运行的计算和通信,以减少通信成本。我们证明了CoCoD-SGD相对于硬件资源的总计算能力具有线性迭代加速比。与传统的分布式SGD算法相比,该算法具有较低的通信复杂性和较好的时间加速比。深度神经网络训练的实验证明了CoCoD-SGD的显著改进:在使用16个Geforce GTX 1080 Ti GPU训练ResNet 18和VGG 16时,CoCoD-SGD比传统同步SGD快2-3 $\times$。
2019-09-20 cs.DC cs.LG math.OC
On Scalable Inference with Stochastic Gradient Descent
New Jersey Institute of Technology(新泽西理工学院);Hong Kong University(香港大学);New York University School of Medicine(纽约大学医学院)
在许多涉及大型数据集或在线更新的应用中,随机梯度下降(SGD)提供了一种可扩展的方法来计算参数估计,并由于其数值方便性和内存效率而越来越受欢迎。虽然基于SGD的估计量的渐近性质在几十年前就已经建立,但诸如区间估计之类的统计推断仍然没有得到充分的研究。传统的重采样方法如自举法在计算上是不可行的,因为它需要从整个数据集中重复提取独立的样本。当估计量的协方差阵没有显式公式时,插入式方法不适用。在本文中,我们提出了一个可扩展的随机梯度下降的推理过程,在每个观察的到来,更新SGD估计以及大量的随机扰动SGD估计。该方法易于在实际中实现。我们建立了它的理论性质的一般类模型,包括广义线性模型和分位数回归模型作为特殊情况。有限样本的性能和数值效用进行了评估模拟研究和两个实际数据的应用。
2017-07-01 cs.LG stat.ML
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton(南安普顿大学)
已经提出了许多优化方法来优化非凸目标(例如深度学习模型),例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明,这些优化方法可以通过使用无偏梯度估计器来收敛。然而,在实践中,有偏梯度估计可以允许更有效地收敛到附近,因为无偏方法在计算上更昂贵。为了产生快速收敛,这些优化策略有两个权衡,即随机/批量和有偏/无偏之间。本文提出了一种综合的方法,可以控制的性质的随机元素的优化,并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明,这个超参数可以配置为提供一个有效的平衡,以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Can LLMs predict the convergence of Stochastic Gradient Descent?
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);ENS Paris-Saclay(巴黎萨克雷高等师范学校);EURECOM(欧洲通信学院)
本文研究大语言模型能否利用SGD与马尔可夫链的理论联系,零样本预测随机梯度下降在凸与非凸优化中从未见过的起始点收敛到的局部极小值,并探讨将其用于更大规模深度学习模型零样本随机试验的可能性。
2024-08-03 cs.AI cs.LG stat.ML
On the Implicit Bias of Gradient Descent for Temporal Extrapolation
Blavatnik School of Computer Science(布拉瓦特尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
当使用递归神经网络(RNN)时,通常的做法是将训练模型应用于比训练中看到的更长的序列。这种“外推”用法偏离了传统的统计学习设置,在传统的统计学习设置中,在假设训练和测试分布相同的情况下提供保证。在这里,我们开始了解RNN何时可以外推,重点关注一个简单的情况,即数据生成分布是无记忆的。我们首先证明,即使有无限的训练数据,也存在完美插值的RNN模型(即,它们适合训练数据),但对于较长的序列外推很差。然后,我们表明,如果梯度下降用于训练,学习将收敛到完美的外推在某些假设的初始化。我们的研究结果补充了最近关于梯度下降的隐式偏差的研究,表明它在学习时间预测模型时在外推中起着关键作用。
2022-03-24 cs.LG
Functional Gradient Descent with Adaptive Representations
FGV EMAp;IMPA;Stanford University(斯坦福大学)
提出一种自适应表示的函数梯度下降算法,通过将近似误差纳入分析,在平滑损失下收敛到驻点,在PL条件下收敛到全局最小值,在回归、PDE求解和计算机视觉中优于固定近似FGD和神经网络基线。
2026-06-16 cs.LG math.OC stat.ML
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Microsoft Research New England(微软新英格兰研究院)
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题,它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止,大多数关于这个问题的可证明算法都局限于离线设置,在离线设置中,它们同时使用所有观测值来提供未知矩阵的估计。然而,在许多应用程序中,在线版本更有吸引力,我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的,但是它们对于在线设置可能是非常低效的。在本文中,我们提出了第一个可证明的,有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始,然后执行非凸随机梯度下降(SGD)。在每次观察之后,它执行仅涉及两个高矩阵的一行的快速更新,从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置,在离线设置中,它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架,以表明SGD更新往往远离鞍面,并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
SGD Learns One-Layer Networks in WGANs
University of Texas at Austin(得克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院)
生成对抗网络(GANs)是一种广泛使用的学习生成模型的框架。Wasserstein GANs(WGANs)是GANs最成功的变体之一,需要解决最小最大优化问题以达到全局最优,但在实践中使用随机梯度下降-上升成功训练。在本文中,我们证明了,当发电机是一个单层网络,随机梯度下降-上升收敛到一个整体解决方案与多项式时间和样本复杂性。
2020-07-02 cs.LG stat.ML
On the Parallel Complexity of Multilevel Monte Carlo in Stochastic Gradient Descent
Tokyo Institute of Technology(东京工业大学);ETH Zurich(苏黎世联邦理工学院)
针对多层蒙特卡洛(MLMC)在大规模并行平台上扩展性差的问题,提出延迟MLMC梯度估计器,通过复用历史梯度分量降低并行复杂度,在深度对冲实验中验证了其并行性能优势。
2023-10-10 cs.LG stat.ML
Analysis of Dual-Based PID Controllers through Convolutional Mirror Descent
Columbia Business School(哥伦比亚商学院);Google Research(谷歌研究院);The University of Chicago, Booth School of Business(芝加哥大学布斯商学院)
本文通过建立双闭环PID控制器与卷积镜像下降(CMD)算法的联系,首次为在线分配问题中的PID控制器提供了遗憾界,并给出了CMD在对抗性输入下的低遗憾充分条件及非光滑凸优化的首个遗憾界。
2023-12-19 cs.LG math.OC
Personalized Federated Learning with Exact Stochastic Gradient Descent
Athens University of Economics and Business(雅典经济与商业大学);Google DeepMind(谷歌DeepMind)
本文提出了一种基于精确随机梯度下降的个性化联邦学习算法,通过低计算成本实现高效分布式训练,理论证明收敛性并在多个数据集上优于FedAvg和FedPer。
2025-12-11 cs.LG
Krylov Subspace Descent for Deep Learning
在本文中,我们提出了一种二阶优化方法来学习模型,其中参数空间的维数和训练样本的数量都很高。在我们的方法中,我们在每次迭代中构造一个由梯度和Hessian矩阵的近似形成的Krylov子空间,然后使用训练数据样本的子集来优化这个子空间。与[7]的Hessian Free(HF)方法一样,Hessian矩阵从未显式构造,并且使用数据的子集计算。在实际中,如在HF中,我们通常使用一个正定的替代海森矩阵,如高斯-牛顿矩阵。我们研究了我们提出的方法在深度神经网络上的有效性,并将其性能与广泛使用的方法(如随机梯度下降,共轭梯度下降和L-BFGS)以及HF进行了比较。我们的方法比L-BFGS或HF的收敛速度更快,并且在交叉验证精度方面通常比它们中的任何一个都要好。它也比HF更简单和更一般,因为它不需要Hessian矩阵的半正定近似也不需要设置阻尼参数。相对于HF的主要缺点是需要存储器来存储Krylov子空间的基础。
2011-11-18 math.OC stat.ML