Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network
Purdue University(普渡大学);Hong Kong University of Science and Technology(香港科技大学);East China Normal University(华东师范大学)
过参数化的神经网络训练梯度下降(GD)可以证明过拟合任何训练数据。然而,泛化保证可能不适用于噪声数据。从非参数的角度,本文研究如何以及过参数化神经网络可以恢复真实的目标函数在随机噪声的存在。我们建立了一个下界的$L_2$估计误差相对于GD迭代,这是远离零,没有一个微妙的计划提前停止。反过来,通过对$\ell_2$正则化GD轨迹的全面分析,我们证明了对于具有$\ell_2$正则化的过参数化的一个隐藏层ReLU神经网络:(1)输出接近于具有相应神经正切核的核岭回归的输出;(2)可以实现$L_2$估计误差的minimax {最优}率。数值实验证实了我们的理论,并进一步表明,$\ell_2$正则化方法提高了训练的鲁棒性,适用于更广泛的神经网络。
2021-09-25 cs.LG stat.ML
A Local Polyak-Lojasiewicz and Descent Lemma of Gradient Descent For Overparametrized Linear Models
Center for Innovation in Data Engineering and Science (IDEAS) Department of Statistics and Data Science, the Wharton School University of Pennsylvania(创新数据工程与科学中心(IDEAS)统计与数据科学系,沃顿商学院,宾夕法尼亚大学);Center for Innovation in Data Engineering and Science (IDEAS) University of Pennsylvania(创新数据工程与科学中心(IDEAS)宾夕法尼亚大学);Center for Innovation in Data Engineering and Science (IDEAS) Graduate Group in Applied Mathematics and Computational Science University of Pennsylvania(创新数据工程与科学中心(IDEAS)应用数学与计算科学研究生组,宾夕法尼亚大学);Mathematical Institute for Data Science (MINDS) Department of Electrical and Computer Engineering Johns Hopkins University(数据科学数学研究所(MINDS)电气与计算机工程系,约翰霍普金斯大学);Department of Electrical and Systems Engineering(电气与系统工程系;放射学系,宾夕法尼亚大学);Department of Radiology University of Pennsylvania
本文证明两层过参数化线性网络中 PL 条件与下降引理可局部成立,并界定相关常数,从而在一般损失和宽松假设下推出 GD 线性收敛率及更优步长。
2025-05-16 cs.LG math.OC stat.ML
Aiming towards the minimizers: fast convergence of SGD for overparametrized problems
Halicioğlu Data Science Institute, University of California San Diego(加州大学圣地亚哥分校哈利乔格鲁数据科学研究所);University of Washington(华盛顿大学);Cornell University(康奈尔大学)
本文针对过参数化插值问题提出一种正则性条件,使SGD每次仅用单样本或小批量梯度即可达到与确定性梯度法相同的最坏情形迭代复杂度,并证明该条件适用于足够宽的线性输出层前馈神经网络。
2023-06-05 cs.LG math.OC stat.ML
Architecture independent generalization bounds for overparametrized deep ReLU networks
Department of Mathematics, University of Texas at Austin, USA(德克萨斯大学奥斯汀分校数学系)
本文提出了一种针对过参数化深度ReLU网络的架构无关泛化界,通过显式构造零损失最小化器并验证统一泛化界,实验显示与真实测试误差的误差在22%以内。
2026-01-26 cs.AI cs.LG math.AP
Training (Overparametrized) Neural Networks in Near-Linear Time
KTH Royal Institute of Technology(瑞典皇家理工学院);Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
用于训练深度神经网络的一阶梯度方法的缓慢收敛速度和病态曲率问题引发了开发更快的$\mathit{second}$ - $\mathit{order}$优化算法的持续努力,而不影响泛化误差。尽管二阶算法具有显著的收敛速度(训练批量大小$n$的$\mathit{independent}$),但在$\mathit{cost}$ $\mathit{iteration}$ $\mathit{iteration}$(反转损失函数的Hessian矩阵)中,二阶算法会导致令人生畏的减速,这使得二阶算法变得不切实际。最近,这种计算开销被[ZMG 19,CGH+19}的工作减轻,产生了用于训练多项式宽度$m$的两层过参数化神经网络的$O(mn^2)$时间二阶算法。我们展示了如何加速[CGH+19]的算法,实现用于训练(轻度过参数化)ReLU网络的$\tilde{O}(mn)$ -时间反向传播算法,该算法在全梯度(雅可比)矩阵的维度($mn$)中接近线性。我们的算法的核心是将Gauss-Newton迭代重新表示为$\ell_2$ -回归问题,然后使用Fast-JL型降维到与$M$无关的时间上的$\mathit{precondition}$底层Gram矩阵,允许通过$\mathit{first}$ - $\mathit{order}$共轭梯度找到足够好的近似解。我们的研究结果提供了一个概念验证,即随机线性…
2020-12-09 cs.DS cs.LG stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Double descent for least-squares interpolation on contaminated data: A simulation study
Institute for Mathematics, Carl von Ossietzky University Oldenburg(奥尔登堡卡尔·冯·奥西特齐克大学数学研究所)
本文研究了在受污染数据下线性回归中是否会出现双下降现象,比较了最小二乘插值估计器与几种鲁棒替代方法的性能,发现大规模过拟合确实导致双下降现象,使最小二乘插值器的泛化性能优于鲁棒替代方法。
2026-04-15 cs.LG
Deep orthogonal linear networks are shallow
CNRS(法国国家科学研究中心);ENS PSL University(巴黎高等师范学院PSL大学)
我们考虑训练深度正交线性网络的问题,该网络由正交矩阵的乘积组成,中间没有非线性。我们证明了用黎曼梯度下降训练权重等价于用梯度下降训练整个因子分解。这意味着在这种情况下完全没有过度参数化和隐式偏差的影响:训练这样一个深度的、过度参数化的网络完全等同于训练一个单层的浅层网络。
2020-11-27 cs.LG stat.ML
On double-descent in uncertainty quantification in overparametrized models
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);École Normale Supérieure - PSL(巴黎高等师范学院-巴黎文理研究大学);CNRS(法国国家科学研究中心)
本文在随机特征模型中对比了二元分类的不确定性度量,揭示了最优正则化估计器的校准曲线存在双重下降行为,并发现经验贝叶斯方法在过参数化下依然校准良好。
2023-05-23 cs.LG
Almost sure convergence rates for Stochastic Gradient Descent and Stochastic Heavy Ball
CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);PSL University(巴黎文理研究大学);CREST(经济与统计研究中心);ENSAE(巴黎高等经济商业学院);Télécom ParisTech(巴黎高等电信学院);IP Paris(巴黎理工学院);Facebook AI Research(脸书人工智能研究院)
我们研究一般随机逼近问题的随机梯度下降(SGD)和随机重球方法(SHB,也称为动量方法)。对于SGD,在凸光滑的设置,我们提供了第一个\emph{almost sure}渐近收敛\emph{rates}的加权平均的迭代。更准确地说,我们表明,函数值的收敛速度是任意接近$o(1/\sqrt{k})$,正是$o(1/k)$在所谓的过参数化的情况下。我们发现,这些结果仍然持有时,使用随机线搜索和随机Polyak步长,从而给出了第一个证明这些方法的收敛性在非overparametrized制度。使用一个实质上不同的分析,我们表明,这些利率持有SHB以及,但在最后一年。这一区别很重要,因为它是SGD和SHB在实践中使用的最后一种。我们还证明了SHB的最后一阶收敛到极小值\emph{almost surely}。此外,我们证明了确定性HB的函数值收敛在一个$o(1/k)$率,这是比以前已知的$O(1/k)$更快。最后,在非凸的设置,我们证明了相似率的最低梯度模沿SGD的轨迹。
2021-02-05 cs.LG math.OC stat.ML
Training Overparametrized Neural Networks in Sublinear Time
The University of Washington(华盛顿大学);Tsinghua University(清华大学);Adobe Research(奥多比研究院);The Hebrew University(希伯来大学);Columbia University(哥伦比亚大学);Duke University(杜克大学)
本文提出一种亚线性时间训练过参数化神经网络的新方法,通过将网络视为二叉搜索树并仅修改少量节点,将每次迭代的摊销时间从约mnd+n^3降至m^{1-α}nd+n^3。
2024-02-08 cs.DS cs.LG stat.ML
Gradient Descent on Two-layer Nets: Margin Maximization and Simplicity Bias
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
过度参数化深度网络的泛化之谜促使人们努力理解梯度下降(GD)如何收敛到泛化良好的低损失解。现实生活中的神经网络从小的随机值初始化,并使用交叉熵损失进行训练以进行分类(不像“懒惰”或“NTK”训练制度,在那里分析更成功),以及最近的一系列结果(Lyu和Li,2020; Chizat和Bach,2020; Ji和Telgarsky,2020)提供了理论证据,证明GD可以收敛到零损失的“最大边际”解,这可能是很好的推广。然而,只有在神经网络无限宽或指数宽的情况下,才能证明边缘的全局最优性。本文能够为在线性可分和对称数据上使用梯度流训练的双层Leaky ReLU网络建立这种全局最优性,而不管宽度如何。该分析还为最近的实证研究结果提供了一些理论依据(Kalimeris等人,2019)关于GD对线性或其他“简单”类解决方案的所谓简单性偏见,特别是在培训早期。从悲观的一面来看,该文件认为,这些结果是脆弱的。一个简单的数据处理可以使梯度流收敛到一个线性分类器与次优的边缘。
2021-11-09 cs.LG
Conservative SPDEs as fluctuating mean field limits of stochastic gradient descent
Bielefeld Universität(比勒费尔德大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Institute of Mathematics of NAS of Ukraine(乌克兰国家科学院数学研究所)
建立了随机相互作用粒子系统在平均场极限下对保守随机偏微分方程解的收敛性,并给出了最佳收敛速率.作为第二个主要结果,一个定量的中心极限定理,这样的SPDE推导,再次,最佳的收敛速率。结果适用于,特别是,在平均场标度的随机梯度下降动力学在overparametrized,浅神经网络的SPDE的解决方案的收敛。结果表明,包括在限制SPDE的波动提高了收敛速率,并保留有关的波动的随机梯度下降的连续极限的信息。
2022-12-14 cs.LG math.AP math.PR
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology(长春理工大学);Northeast Normal University(东北师范大学)
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向,具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数,它是最优方向,它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点,提出了一种从动量随机梯度下降到普通随机梯度下降(TSGD)的尺度转换方法.同时,使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练,并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明,TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning
Department of Mathematics, University of Texas at Austin(德克萨斯大学奥斯汀分校数学系)
本文利用微分几何中黎曼度量的任意性,提出两种改进的梯度下降流(过参数化和欠参数化设置),在秩条件成立时证明其以均匀指数收敛速率驱动 $\mathcal{L}^2$ 代价到全局最小值,并推广到秩条件不成立的情形。
2026-05-23 cs.AI cs.LG math-ph
Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks
Boğaziçi University(海峡大学);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
神经网络压缩技术已经变得越来越流行,因为它们可以大大减少非常大的网络的存储和计算需求。最近的实证研究表明,即使是简单的修剪策略也可以令人惊讶地有效,一些理论研究表明,可压缩网络(在特定意义上)应该实现低泛化误差。然而,使网络适合这种简单压缩方案的根本原因的理论表征仍然缺失。在这项研究中,我们解决了这个基本问题,并揭示了训练算法的动力学在获得这种可压缩网络中起着关键作用。将我们的注意力集中在随机梯度下降(SGD)上,我们的主要贡献是将可压缩性与SGD的两个最近建立的性质联系起来:(i)当网络大小趋于无穷大时,系统可以收敛到平均场极限,其中网络权重独立地表现,(ii)对于大的步长/批量比,SGD迭代可以收敛到重尾平稳分布。在这两种现象同时发生的情况下,我们证明了网络保证是“$\ell_p$ -compressible”,和不同的修剪技术(幅度,奇异值,或节点修剪)的压缩误差成为任意小的网络大小的增加。我们进一步证明了适用于我们的理论框架的泛化界,这确实证实了泛化误差对于更可压缩的网络将更低。我们对各种神经网络的理论和数值研究表明,大的步长/批量比引入重尾,这与过度参数化相结合,导致可压缩性。
2021-06-07 cs.LG stat.ML
Occam Gradient Descent
Independent(独立研究者)
针对深度学习模型规模与过拟合的平衡难题,研究提出可证明有效的算法结合训练与剪枝,衍生出Occam Gradient Descent,在多类任务和模型上均优于传统梯度下降及相关方法,兼顾效率与准确率。
2025-09-02 cs.LG
Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent
University of Connecticut(康涅狄格大学)
针对平方误差损失的神经网络训练,提出按梯度模长阈值在线搜索与梯度更新间切换的混合坐标下降法,并通过两层 ReLU 网络实验揭示超参数对收敛与效率的影响。
2024-08-02 cs.LG
An overview of gradient descent optimization algorithms
Insight Centre for Data Analytics, NUI Galway(爱尔兰国立大学高威数据分析中心);Aylien Ltd.(Aylien有限公司)
梯度下降优化算法虽然越来越受欢迎,但经常被用作黑箱优化器,因为很难得到对其优缺点的实际解释。本文旨在为读者提供关于不同算法的行为的直觉,这将使她能够使用它们。在本概述中,我们将研究梯度下降的不同变体,总结挑战,介绍最常见的优化算法,回顾并行和分布式环境中的架构,并研究优化梯度下降的其他策略。
2017-06-15 cs.LG
POGD: Gradient Descent with New Stochastic Rules
Deakin University(迪肯大学)
介绍了粒子优化的梯度下降(POGD)算法,它是一种基于梯度下降算法,但结合粒子群优化(PSO)原理实现迭代的算法。实验表明,该算法具有自适应学习能力。本文的实验主要集中在训练达到目标值的速度和防止局部最小值的能力上。在MNIST和cifar-10数据集上,利用卷积神经网络(CNN)进行图像分类实验。
2022-10-15 cs.LG
A Unified View of TD Algorithms; Introducing Full-Gradient TD and Equi-Gradient Descent TD
本文讨论了马尔可夫决策过程中的政策评估问题,使用线性函数逼近。它提供了算法的统一视图,如TD(lambda),LSTD(lambda),iLSTD,残差梯度TD。有人断言,他们都包括在最小化的梯度函数和不同的形式,这个函数和他们的手段,最小化it. Two新的计划,在该框架中引入:全梯度TD,它使用了在iLSTD,和EGD TD,它减少了连续的等-梯度下降的原则的推广。这三个算法形成了一个新的中间族,其有趣的性质是在保持梯度下降方案的同时比TD更好地利用样本,这对于复杂性问题和乐观策略迭代是有用的。
2006-11-29 cs.LG
A New Backpropagation Algorithm without Gradient Descent
PES University(PES大学)
反向传播算法最初是在20世纪70年代引入的,是神经网络学习的主力。该反向传播算法利用了著名的机器学习算法(称为梯度下降),这是一种用于寻找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值,需要采取与函数在当前点的梯度(或近似梯度)的负值成比例的步骤。在本文中,我们开发了一种替代反向传播的方法,而不使用梯度下降算法,而是我们将设计一种新的算法,使用Moore-Penrose伪逆来找到人工神经元的权重和偏置中的误差。在不同数据集上进行的数值研究和实验被用来验证这种替代算法的工作。
2018-01-25 cs.LG
Neograd: Near-Ideal Gradient Descent
本文的目的是通过解决两个问题来改进现有的梯度下降变体:(1)消除(或减少)在最小化成本函数时出现的平台,(2)不断调整学习率到“理想”值。所采取的方法是近似地求解作为信任度量的函数的学习率。当这种技术与动量混合时,它会创建一个特别有效的梯度下降变体,称为NeogradM。它被证明优于亚当在几个测试问题,并可以很容易地达到成本函数值的一个因素,例如,小$10^8$。
2021-08-02 cs.LG
Variational Deep Learning via Implicit Regularization
本文提出通过梯度下降的隐式偏见正则化变分神经网络,理论分析了过参数化线性模型中的归纳偏置,并实验证明其在分布内和分布外任务中的有效性。
2026-03-13 cs.AI cs.LG stat.ML
Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD
Paris Research Center, Huawei Technologies France(华为技术法国巴黎研发中心);Boğaziçi University(博加齐大学);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
提出向SGD注入重尾噪声的修改方法,通过证明重尾随机微分方程的混沌传播及Euler离散化误差估计,从理论上保证过参数化神经网络输出的可压缩性,并在实验中验证了其提升压缩率与剪枝稳健性的效果。
2024-02-12 cs.LG math.PR stat.ML
Theoretical Issues in Deep Networks: Approximation, Optimization and Generalization
Center for Brains, Minds and Machines, MIT(麻省理工学院脑、心智与机器中心)
虽然深度学习在许多应用中取得了成功,但理论上还没有得到很好的理解。然而,一个令人满意的深度学习的理论特征开始出现。它涵盖了以下问题:1)深度网络的表示能力2)经验风险的优化3)梯度下降技术的泛化特性-为什么当网络过度参数化时,尽管没有显式正则化,预期误差不会受到影响?在这篇综述中,我们讨论了这三个领域的最新进展。在近似理论中,浅网络和深网络都被证明可以近似有界域上的任何连续函数,代价是指数数量的参数(函数的维数是指数的)。然而,对于组成函数的子集,卷积类型的深度网络可以对维度具有线性依赖性,这与浅层网络不同。在优化中,我们讨论了指数损失函数的损失景观,并表明随机梯度下降将以高概率找到全局最小值。为了解决分类任务的泛化问题,我们使用经典的一致收敛结果来证明在每层权重矩阵的单位范数约束下最小化替代指数型损失函数的合理性--因为分类的有趣变量是权重方向而不是权重。我们的方法得到了几个独立的新结果的支持,为深度过参数化ReLU网络的泛化性能难题提供了解决方案,揭示了底层隐藏复杂性控制的起源。
2019-08-25 cs.LG stat.ML
What Happens after SGD Reaches Zero Loss? --A Mathematical Framework
Princeton University(普林斯顿大学);Yale University(耶鲁大学)
理解随机梯度下降(SGD)的隐式偏差是深度学习的关键挑战之一,特别是对于过参数化模型,其中损失函数$L$的局部最小值可以形成流形。直觉上,在足够小的学习速率$η$下,SGD跟踪梯度下降(GD),直到它接近这样的流形,其中梯度噪声阻止进一步收敛。在这种情况下,Blanc等人(2020)证明了具有标签噪声的SGD局部减少了正则化器类项,即损失的锐度$\mathrm{tr}[\nabla^2 L]$。本文通过采用Katzenberger(1991)的思想,为这种分析提供了一个总体框架。它原则上允许对围绕这种流形的SGD的正则化效应进行完整的表征-即,“隐式偏差”--使用描述参数的极限动力学的随机微分方程(RSDs),其由损失函数和噪声协方差共同确定。这产生了一些新的结果:(1)对$η^{-2}$步骤有效的隐式偏倚的全局分析,与仅对$η^{-1.6}$步骤有效的Blanc等人(2020)的局部分析相反,(2)允许任意噪声协方差。作为一个应用,我们显示了任意大的初始化,标签噪声SGD总是可以逃脱内核机制,并且只需要$O(κ\ln d)$样本来学习$\mathbb{R}^d$中的$κ$ -稀疏过参数化线性模型(Woodworth等人,2020),而在内核机制中初始化的GD需要$Ω(d)$样本。该上限是最小最大最优的,并且改进了先前的$\tilde{O}(κ^2)$上限(HaoChen等人,20…
2022-07-28 cs.LG stat.ML
Symmetries in Overparametrized Neural Networks: A Mean-Field View
Center for Mathematical Modeling(数学建模中心);University of Chile(智利大学)
本文从平均场视角研究过参数化神经网络在对称数据下的学习动力学,证明数据增强、特征平均与自由训练具有相同极限,并揭示强不变律在无限宽度下被保持,为等变架构设计提供数据驱动启发。
2025-05-25 cs.LG math.PR stat.ML
Stochastic gradient descent with noise of machine learning type. Part I: Discrete time analysis
Texas A&M University(德克萨斯A&M大学)
随机梯度下降算法是现代机器学习中最流行的算法之一。在这些应用中遇到的噪声是不同的随机梯度算法的许多理论分析。在这篇文章中,我们讨论了机器学习问题中遇到的能量景观和随机噪声的一些常见属性,以及它们如何影响基于SGD的优化。特别是,我们表明,在SGD与机器学习噪声的学习率可以选择很小,但一致的积极的所有时间,如果能量景观类似于过度参数化的深度学习问题。如果目标函数满足Lojasiewicz不等式,SGD收敛到全局最小值指数快速,甚至可能有局部极小值的功能,我们建立几乎肯定收敛到全局最小值的指数速度从任何有限的能量初始化。我们在这个结果中所做的假设涉及目标函数是小还是大的行为以及梯度噪声的性质,但是能量景观在目标函数在中间区域取值的域上是相当不受约束的。
2021-09-15 cs.LG math.OC stat.ML
Convergence Guarantees of Overparametrized Wide Deep Inverse Prior
Normandie Univ.(诺曼底大学);UNICAEN(卡昂大学);ENSICAEN(卡昂国立高等工程师学院);CNRS(法国国家科学研究中心);GREYC(格雷克实验室)
近年来,神经网络已成为求解逆问题的一种重要方法。在不同的现有方法中,深度图像/逆先验(DIP)技术是一种无监督的方法,其优化高度过参数化的神经网络以将随机输入转换为对象,该对象在前向模型下的图像与观察结果匹配。然而,这种方法所需的过度参数化水平仍然是一个悬而未决的问题。在这项工作中,我们的目标是研究这个问题的两层神经网络的光滑激活函数。我们提供了overparametrization界限下,这种网络训练通过连续时间梯度下降将以高概率指数收敛,从而可以获得恢复预测界限。因此,这项工作是对overparametrized DIP网络的理论理解的第一步,更广泛地说,它参与反问题设置的神经网络的理论理解。
2023-03-20 cs.LG
Spectral alignment of stochastic gradient descent for high-dimensional classification tasks
Courant Institute, New York University(纽约大学Courant研究所);Department of Mathematics, Northwestern University(西北大学数学系);Department of Statistics and Data Science, University of Pennsylvania(宾夕法尼亚大学统计与数据科学系);Department of Statistics and Actuarial Science, Department of Applied Mathematics, and Cheriton School of Computer Science, University of Waterloo(滑铁卢大学统计与精算系、应用数学系及Cheriton计算机科学学院)
该研究严格分析高维分类任务中SGD训练动力学与经验Hessian、梯度矩阵谱的关系,证明二者轨迹与离群特征空间共对齐于低维子空间,多层网络逐层对齐且末层离群特征空间随训练演化、次优收敛时秩亏,验证了过往过参数化网络谱特性的数值预测。
2025-05-15 cs.LG math.PR stat.ML
Blind Descent: A Prequel to Gradient Descent
Carnegie Mellon University(卡内基梅隆大学)
我们描述了神经网络的另一种学习方法,我们称之为盲下降。通过设计,Blind Descent不会面临爆炸或消失梯度等问题。在Blind Descent中,梯度不用于指导学习过程。在本文中,我们提出盲下降作为一个更基本的学习过程相比,梯度下降。我们还表明,梯度下降可以被看作是一个特定的情况下,盲下降算法。我们还训练两个神经网络架构,多层感知器和卷积神经网络,使用最一般的盲下降算法来证明概念。
2020-08-26 cs.LG stat.ML
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University(西北大学)
在高维情况下,大多数机器学习方法即使存在少量离群值,其性能也是脆弱的。为了解决这个问题,我们希望引入一种新的方法与基础学习,如贝叶斯回归或随机梯度下降,以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛,所以我们使用小批量梯度下降的方法,称为带有修剪的小批量梯度下降(MBGDT)。当我们将我们的方法应用于设计的数据集时,我们的方法显示出最先进的性能,并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
Reparameterizing Mirror Descent as Gradient Descent
Google Research(谷歌研究院)
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而,对于一些小型网络,当目标稀疏时,其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架,用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下,镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的,并涵盖了广泛的镜像下降更新,即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
Learning to Learn without Gradient Descent by Gradient Descent
DeepMind
我们学习通过梯度下降在简单合成函数上训练的递归神经网络优化器。我们发现,这些学习优化器表现出显着程度的转移,因为它们可以用来有效地优化广泛的衍生物自由黑盒函数,包括高斯过程土匪,简单的控制目标,全局优化基准和超参数调整任务。在训练范围内,学习的优化器学习权衡探索和利用,并与用于超参数调整的重工程贝叶斯优化包相比较。
2017-06-12 cs.LG stat.ML
Learning to Initialize Gradient Descent Using Gradient Descent
IBM Research(IBM研究院)
非凸优化问题的求解具有挑战性;梯度下降算法或变体的成功和计算费用严重依赖于初始化策略。通常,要么使用随机初始化,要么通过利用问题类的性质仔细设计初始化规则。作为一个简单的替代手工制作的初始化规则,我们提出了一种方法来学习“好”的初始化规则从以前的解决方案。我们提供了理论保证,建立了在所有情况下都是充分的条件,并且在某些情况下也是必要的条件,在这些条件下,我们的方法比随机初始化表现得更好。我们将我们的方法应用于各种非凸问题,例如生成对抗性示例,为黑盒机器学习模型生成事后解释,以及分配通信频谱,并显示出与其他初始化技术一致的收益。
2020-12-22 cs.LG stat.ML
Convergence of gradient descent for learning linear neural networks
RWTH Aachen University(亚琛工业大学)
我们研究了用于训练深度线性神经网络的梯度下降的收敛性质,即,深度矩阵分解,通过扩展相关梯度流的先前分析。我们证明了在适当的步长条件下,梯度下降收敛到损失函数的临界点,即,这篇文章中的平方损失。此外,我们证明了几乎所有的初始化梯度下降收敛到一个全局最小值的情况下,两层。在三层或多层的情况下,我们证明了梯度下降收敛到一个全局最小值的流形矩阵的一些固定的秩,秩不能被确定的先验。
2021-11-24 cs.LG math.OC
Global convergence of gradient descent for phase retrieval
Ecole Polytechnique(巴黎综合理工学院);Columbia University(哥伦比亚大学)
本文提出基于张量的良性景观准则,证明相位恢复中梯度轨迹有界,从而保证梯度下降几乎处处收敛到全局最优解。
2024-10-17 cs.LG math.OC
Implicit Bias of Gradient Descent on Linear Convolutional Networks
TTI at Chicago(芝加哥丰田理工学院);USC(南加利福尼亚大学);Technion(以色列理工学院)
我们证明了深度$L$的全宽线性卷积网络上的梯度下降收敛到与频域中的$\ell_{2/L}$桥惩罚相关的线性预测器。这与线性全连接网络相反,在线性全连接网络中,梯度下降收敛到硬边缘线性支持向量机解,而不管深度如何。
2019-01-11 cs.LG stat.ML
Kernel and Rich Regimes in Overparametrized Models
最近的一系列工作研究了“核机制”中的过参数化神经网络,即当网络在训练期间表现为核化线性预测器时,因此使用梯度下降的训练具有找到最小RKHS范数解的效果。这与其他研究相反,这些研究证明了过度参数化的多层网络上的梯度下降如何引起丰富的隐式偏差,而这些偏差不是RKHS范数。基于Chizat和Bach的观察,我们展示了初始化的规模如何控制“内核”(又名懒惰)和“丰富”(又名活跃)制度之间的过渡,并影响多层均匀模型的泛化特性。我们提供了一个完整的和详细的分析一个简单的两层模型,已经表现出一个有趣的和有意义的过渡之间的内核和丰富的制度,我们证明了更复杂的矩阵分解模型和多层非线性网络的过渡。
2020-02-25 cs.LG stat.ML
Conditional Accelerated Lazy Stochastic Gradient Descent
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们引入了一个条件加速惰性随机梯度下降算法,具有对随机一阶预言的最佳调用次数和收敛速度$O\left(\frac{1}{\varepsilon^2}\right)$,比Hazan和Kale [2012]的无投影,基于在线Frank-Wolfe的随机梯度下降算法收敛速度$O\left(\frac{1}{\varepsilon^4}\right)$有所提高。
2018-02-15 cs.LG stat.ML
A Comprehensive Study on Optimization Strategies for Gradient Descent In Deep Learning
Vellore Institute of Technology(韦洛尔理工学院)
人工神经网络最重要的部分之一是最小化损失函数,它告诉我们模型的好坏。为了最小化这些损失,我们需要调整权重和偏差。同样,为了计算函数的最小值,我们需要梯度。为了更新权重,我们需要梯度下降。但是有规则的梯度下降也有一些问题。它很慢而且不那么准确。本文旨在介绍梯度下降的优化策略。此外,我们还将讨论这些算法的结构和进一步优化的神经网络一般
2021-01-07 cs.AI cs.LG
On the Computational Power of Online Gradient Descent
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系);Google Research, Mountain View(谷歌研究院(山景城))
我们证明了在线梯度下降中权重向量的演化可以编码任意多项式空间计算,即使在非常简单的学习设置中。我们的结果意味着,在弱复杂性理论的假设下,不可能有效地推理在线梯度下降的细粒度行为。
2019-02-06 cs.LG stat.ML
First-order and second-order variants of the gradient descent in a unified framework
Sorbonne Université(索邦大学);Institut des Systèmes Intelligents et de Robotique(智能与机器人系统研究院)
在本文中,我们概述了机器学习中常用的梯度下降方法的一阶和二阶变体。我们提出了一个总体框架,其中6个变种可以被解释为相同方法的不同实例。它们是香草梯度下降,经典的和广义的高斯-牛顿方法,自然梯度下降方法,梯度协方差矩阵方法,和牛顿的方法。除了在一个单一的框架内解释这些方法,我们解释了它们的特殊性,并显示在哪些条件下,其中一些一致。
2021-08-14 cs.LG stat.ML
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降(SGD)算法在权值与t成正比的情况下,对强凸函数的概率收敛速度为O(κ/T),而不是O(κ ln(T)/T).我们还证明了一个加速的SGD算法也达到了O(κ/T)的速度。
2013-05-09 cs.AI cs.LG
Nesterov acceleration despite very noisy gradients
University of Pittsburgh(匹兹堡大学);Texas A&M University(德克萨斯农工大学)
针对梯度噪声与幅值成正比的场景,提出可适配任意信噪比的AGNES算法,推广Nesterov加速梯度法,参数更少且性能更优,还给出参数选择的几何解释与启发式规则。
2024-10-31 cs.LG math.OC stat.ML
Notes on Worst-case Inefficiency of Gradient Descent Even in R^2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
梯度下降是一种流行的优化算法,其在凸设置中的性能大多是很好理解的。在非凸设置,它已被证明,梯度下降是能够逃脱鞍点渐近收敛到局部极小[李等。2016]。最近的研究还表明,扰动版本的梯度下降足以有效地逃离鞍点[Jin et.等人,2015,Ge et. 2017]。在本文中,我们证明了一个否定的结果:梯度下降可能需要指数时间来逃离鞍点,非病态的二维函数。虽然我们的重点是理论,我们也进行实验验证我们的理论结果。通过我们的分析,我们表明,随机性是必不可少的有效地逃离鞍点。
2022-08-15 cs.LG stat.ML
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research(IBM研究院);Akron University(阿克伦大学)
我们考虑最大平均差异($\mathrm{MMD}$)GAN问题,并提出了一个参数核化梯度流,模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现,这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后,我们推导出一个明确的条件,确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下,我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$,并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流,因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后,数值实验表明,我们的参数核化梯度流稳定GAN训练,并保证收敛。
2020-11-04 cs.LG stat.ML
Gravilon: Applications of a New Gradient Descent Method to Machine Learning
University of North Carolina - Chapel Hill(北卡罗来纳大学教堂山分校);Binghamton University(宾汉姆顿大学);Eastern Illinois University(东伊利诺伊大学)
自牛顿法问世以来,梯度下降算法已被用于无数应用中。近年来,神经网络应用数量的激增重新激发了人们在效率和准确性方面改进标准梯度下降方法的努力。这些方法在更新参数值时修改梯度的效果。这些修改通常包含超参数:必须在程序开始时指定其值的附加变量。我们在下面提供了一种新的梯度下降算法,称为Gravilon,它使用超曲面的几何形状来修改梯度方向上的步长。使用神经网络,我们提供了有前途的实验结果比较的准确性和效率的Gravilon方法对常用的梯度下降算法MNIST数字分类。
2020-10-28 cs.LG stat.ML
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles(加州大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器,梯度下降已被证明收敛到各种光滑损失函数的最大保证金(或等价地,最小范数)解。然而,以前的理论不适用于非光滑函数,如铰链损失,这是广泛使用的实践。在这里,我们研究了梯度下降的同伦变体的收敛性,并提供了明确的收敛速度,线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
Nesterov's Accelerated Gradient and Momentum as approximations to Regularised Update Descent
University College London(伦敦大学学院)
我们提出了一个统一的框架,以适应基于梯度的迭代优化方法的更新方向。作为自然的特殊情况下,我们重新推导经典的动量和Nesterov的加速梯度法,贷款一个新的直观的解释后者的算法。我们表明,一个新的算法,我们长期正规化梯度下降,可以更快地收敛比Nesterov的算法或经典的动量算法。
2016-07-11 cs.LG stat.ML
A Novel Structured Natural Gradient Descent for Deep Learning
Beijing Institute of Technology(北京理工大学)
自然梯度下降(NGD)为深度神经网络提供了深刻的见解和强大的工具。然而,随着网络结构的复杂化,Fisher信息矩阵的计算变得越来越困难。本文提出了一种新的优化方法,其主要思想是通过重构网络精确地代替自然梯度优化。更具体地说,我们重建了深度神经网络的结构,并使用传统的梯度下降(GD)优化了新网络。重构后的网络达到了自然梯度下降优化方法的效果。实验结果表明,我们的优化方法可以加速深度网络模型的收敛,并在共享其计算简单性的同时实现比GD更好的性能。
2021-09-21 cs.AI cs.LG
Learning to learn by gradient descent by gradient descent
Google DeepMind(谷歌DeepMind);University of Oxford(牛津大学);Canadian Institute for Advanced Research(加拿大高等研究院)
从手工设计的特征到机器学习中的学习特征的转变已经取得了巨大的成功。尽管如此,优化算法仍然是手工设计的。在本文中,我们展示了如何设计的优化算法可以被铸造作为一个学习问题,允许算法学习利用结构的问题,在一个自动的方式。我们的学习算法,由LSTM实现,在训练任务上优于通用的手工设计的竞争对手,并且还可以很好地推广到具有类似结构的新任务。我们在许多任务上证明了这一点,包括简单的凸问题,训练神经网络,以及用神经艺术设计图像。
2016-11-30 cs.LG cs.NE
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降,它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是,它的学习率配备了乘法随机性,产生一个随机学习率计划。理论结果表明,加速几乎必然收敛率的随机梯度下降在一个非凸设置时,使用适当的随机学习率相比,确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC