Combining learning rate decay and weight decay with complexity gradient descent - Part I
Data Science Institute（数据科学研究所）；Imperial College（帝国理工学院）
在深度神经网络而不是更传统的机器学习模型的特定情况下，$L^2$正则化的作用仍然没有完全阐明。我们假设，这种复杂的相互作用是由于过度参数化和高维现象的组合，在训练过程中发生，使其不适合标准的凸优化方法。利用统计物理和随机场理论的见解，我们引入了一个参数因子的损失函数和其剩余的非凸性的水平：\emph{complexity}。我们继续表明，这是可取的继续与\emph{complexity gradient descent}。然后，我们展示了如何使用这种直觉，以获得新的和有效的退火计划的强度时，执行标准的随机梯度下降在深度神经网络的$L^2$正则化。
2019-02-07 cs.LG stat.ML
New insights and perspectives on the natural gradient method
DeepMind
自然梯度下降是传统上从信息几何的角度出发的优化方法，并且作为随机梯度下降的替代方案在许多应用中工作良好。在本文中，我们批判性地分析了这种方法及其性质，并显示它可以被视为一种类型的二阶优化方法，与Fisher信息矩阵作为一个替代的海森。在许多重要的情况下，费雪信息矩阵被证明是等价于广义高斯-牛顿矩阵，这两个近似的海森，但也有一定的属性，有利于它的使用超过海森。这种观点对设计一个实用和鲁棒的自然梯度优化器具有重要意义，因为它激发了信赖域和Tikhonov正则化等技术的使用。此外，我们对自然梯度和二阶方法的理解做出了一系列贡献，包括：对随机自然梯度下降算法收敛速度的深入分析（和更一般的随机二阶方法）应用于凸二次，经常使用的“经验”近似的Fisher矩阵的批判性检查，和分析的（近似）参数化不变性性质所拥有的自然梯度方法（我们也持有某些其他曲率，但值得注意的是不是海森）。
2020-09-19 cs.LG stat.ML
Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality
University of Chicago（芝加哥大学）；University of California, Irvine（加利福尼亚大学欧文分校）
本文针对SGD提出通用加权平均方案，建立了加权平均SGD解的渐近正态性并提供在线推断方法，同时基于线性模型非渐近MSE最优权重设计了兼具最优统计速率与非渐近收敛性的自适应平均方案。
2025-04-06 cs.LG stat.ML
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
Sobolev Descent
IBM Research（IBM研究院）；MIT-IBM Watson Lab（麻省理工学院-IBM沃森实验室）；MPI（马克斯·普朗克研究所）
我们研究了GAN训练的一个简化：将粒子从源传输到目标分布的问题。从Sobolev GAN批评，梯度正则化的GAN家庭的一部分，我们表现出很强的最优运输（OT）的关系。特别是不太流行的OT动态公式，它找到了一条从源到目标的分配路径，使“动能”最小化。我们介绍了Sobolev下降，构造类似的路径，通过以下的梯度流的批评功能在核空间或参数化的神经网络。在内核版本中，我们表现出收敛到目标分布在MMD意义上。我们在理论和实验中表明，正则化在有利于分布之间的平滑过渡方面具有重要作用，避免了批评者的大梯度。这种在简化粒子设置中的分析提供了对GANs中平衡路径的洞察。
2019-08-05 cs.LG stat.ML
Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity
Mila and DIRO, Université de Montréal（蒙特利尔大学 Mila 与 DIRO）
用于求解无约束光滑博弈的两个最突出的算法是经典的随机梯度下降-上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等人，2017年]。已知SGDA收敛到特定类别游戏的稳定点，但目前的收敛分析需要有界方差假设。SCO被成功地用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们引入了期望的互补性条件，解释它的好处，并提供了第一个最后一个收敛保证SGDA和SCO在此条件下解决一类随机变分不等式问题是潜在的非单调。我们证明了这两种方法的线性收敛的解决方案的邻域时，他们使用恒定的步长，我们提出了有见地的步长切换规则，以保证收敛到精确的解决方案。此外，我们的收敛性保证下的任意采样范式，因此，我们给的见解的复杂性miniquantum。
2021-11-04 cs.GT cs.LG math.OC
A Novel Structured Natural Gradient Descent for Deep Learning
Beijing Institute of Technology（北京理工大学）
自然梯度下降（NGD）为深度神经网络提供了深刻的见解和强大的工具。然而，随着网络结构的复杂化，Fisher信息矩阵的计算变得越来越困难。本文提出了一种新的优化方法，其主要思想是通过重构网络精确地代替自然梯度优化。更具体地说，我们重建了深度神经网络的结构，并使用传统的梯度下降（GD）优化了新网络。重构后的网络达到了自然梯度下降优化方法的效果。实验结果表明，我们的优化方法可以加速深度网络模型的收敛，并在共享其计算简单性的同时实现比GD更好的性能。
2021-09-21 cs.AI cs.LG
Which Algorithmic Choices Matter at Which Batch Sizes? Insights From a Noisy Quadratic Model
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）；DeepMind（深度思维）
增加批量大小是加速神经网络训练的一种流行方法，但超过某些临界批量大小，更大的批量大小会产生收益递减。在这项工作中，我们研究了如何关键批量的基础上的优化算法，包括加速和预处理，通过两个不同的镜头的属性变化：大规模的实验，和一个简单的噪声二次模型（NQM）的分析。我们的实验表明，优化算法，采用预处理，特别是亚当和K-FAC，导致更大的临界批量比随机梯度下降的势头。我们还证明了NQM捕获了真实神经网络训练的许多基本特征，尽管使用起来非常简单。NQM使用预处理优化器预测我们的结果，使用加速梯度下降的先前结果，以及围绕最佳学习率和大批量训练的其他结果，使其成为生成有关神经网络优化的可测试预测的有用工具。
2019-10-28 cs.LG stat.ML
Gradient is All You Need? How Consensus-Based Optimization can be Interpreted as a Stochastic Relaxation of Gradient Descent
University of Oxford, Mathematical Institute（牛津大学数学研究所）；Deeptech Consulting（德普科技咨询）；ETH Zurich, Department of Mathematics（苏黎世联邦理工学院数学系）；Technical University of Munich, School of Computation, Information and Technology, Department of Mathematics（慕尼黑技术大学计算、信息与技术学院数学系）；Munich Center for Machine Learning Munich Data Science Institute（慕尼黑机器学习中心慕尼黑数据科学研究所）
本文将基于共识的优化解释为梯度下降的随机松弛，揭示其在非凸优化中的全局收敛性及对能量壁垒的克服能力。
2026-02-27 cs.LG cs.NA math.NA
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
Stein Variational Gradient Descent as Moment Matching
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Stein变分梯度下降（SVGD）是一种非参数推理算法，它演化一组粒子来拟合给定的感兴趣分布。我们分析了非渐近性质的SVGD，存在一组功能，我们称之为Stein匹配集，其期望值是完全估计的任何一组粒子，满足不动点方程的SVGD。该集合是Stein算子在SVGD中使用的正定核的特征映射上的图像。我们的研究结果提供了一个理论框架，分析不同的内核的SVGD的性能，脱落洞察到最佳的内核选择。特别是，我们表明，SVGD与线性内核产生精确估计的均值和方差的高斯分布，而随机傅立叶特征使概率界分布近似。我们的研究结果提供了一个令人耳目一新的观点，经典的推理问题，拟合斯坦的身份或解决斯坦方程，这可能会激发更有效的算法。
2018-10-27 cs.LG stat.ML
Stochastic Gradient Descent for Gaussian Processes Done Right
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Cornell University（康奈尔大学）；University of Alberta（阿尔伯塔大学）
本文提出一种简单的随机对偶下降算法，正确利用优化与核方法洞见求解高斯过程回归中的大型线性系统，并在UCI回归、贝叶斯优化及分子结合亲和力预测中展现出竞争力。
2024-04-28 cs.LG stat.ML
Train faster, generalize better: Stability of stochastic gradient descent
Google（谷歌）
我们证明了用随机梯度法（SGM）训练的参数模型具有零的泛化误差。我们证明了我们的结果，认为SGM是算法稳定的Bousquet和Elisseeff的意义。我们的分析只采用凸和连续优化的基本工具。我们推导出的稳定性界限下的凸和非凸优化标准Lipschitz和光滑的假设。将我们的结果应用到凸的情况下，我们提供了新的见解，为什么多个时代的随机梯度方法推广以及在实践中。在非凸的情况下，我们对神经网络中的常见做法给出了新的解释，并正式证明了用于训练大型深度模型的流行技术确实是促进稳定性的。我们的研究结果从概念上强调了减少培训时间的重要性。
2016-02-07 cs.LG math.OC stat.ML
The Physical Systems Behind Optimization Algorithms
Princeton University（普林斯顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Georgia Institute of Technology（佐治亚理工学院）
我们使用基于微分方程的方法来提供一些{ \it \textbf{physics} }的见解来分析机器学习中流行的优化算法的动态。特别是，我们研究了梯度下降，近端梯度下降，坐标梯度下降，近端坐标梯度，牛顿的方法，以及他们的Nesterov的加速变种在一个统一的框架内，由自然连接的优化算法的物理系统。我们的分析是适用于更一般的算法和优化问题{ \it \textbf{beyond} }凸性和强凸性，例如Polyak-Jasojasiewicz和误差界条件（可能非凸）。
2018-10-25 cs.LG math.OC stat.ML
Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
研究揭示随机梯度下降在分形景观上扩散的行为与贝叶斯统计的关系，提出SGD可视为一种考虑分形结构访问限制的修改贝叶斯采样器。
2026-03-16 cs.AI cs.LG math.OC
Double descent in quantum kernel methods
Leiden University（莱顿大学）；Department of Physics and Astronomy（物理与天文学系）；University of Waterloo（多伦多大学）；Vector Institute（向量研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本研究通过量子特征空间中的线性回归模型，分析性地证明了量子核方法中存在双下降现象，并通过实验验证了测试误差峰值的存在，为超越传统统计学习理论提供了新的视角。
2025-09-19 cs.LG quant-ph stat.ML
Stein Variational Gradient Descent Without Gradient
Computer Science, Dartmouth College（达特茅斯学院计算机科学（系））；Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学（系））
Stein变分梯度下降（SVGD）已被证明是一个强大的近似推理算法复杂的分布。然而，标准SVGD需要计算目标密度的梯度，并且当梯度不可用时不能应用。在这项工作中，我们开发了一个无梯度的变体SVGD（GF-SVGD），它取代了真正的梯度与替代梯度，并纠正诱导偏差通过重新加权的梯度在一个适当的形式。我们表明，我们的GF-SVGD可以被看作是一个特殊的选择内核的标准SVGD，因此直接继承了SVGD的理论性质。我们摆脱的替代梯度的经验选择的见解，并提出了退火GF-SVGD，利用模拟退火的想法，以提高性能的高维复杂分布。实证研究表明，我们的方法始终优于一些最近先进的无梯度MCMC方法。
2018-06-07 cs.LG stat.ML
Inductive Bias of Gradient Descent based Adversarial Training on Separable Data
Georgia Institute of Technology（佐治亚理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
对抗训练是训练鲁棒神经网络的一种原则性方法。尽管在实践中取得了巨大的成功，但其理论特性仍然在很大程度上未被探索。在本文中，我们提供了新的理论见解梯度下降为基础的对抗训练，通过研究其计算特性，特别是其归纳偏见。我们以线性可分数据上的二进制分类任务为例，当参数沿某些方向发散到无穷大时，损失渐近达到其下确界。具体来说，我们表明，当训练过程中的对抗扰动有界$\ell_2$ -范数，分类器学习梯度下降基于对抗训练收敛的方向上的最大$\ell_2$ -范数利润分类器的速度为$\tilde{\mathcal{O}}(1/\sqrt{T})$，显着快于速度$\mathcal{O}(1/\log T)$的训练与干净的数据。此外，当训练期间的对抗性扰动具有针对某些$q\ge 1$的有界$\ell_q$范数时，所得到的分类器在方向上收敛到最大混合范数边缘分类器，其具有鲁棒性的自然解释，作为在对数据的最坏情况$\ell_q$范数扰动下的最大$\ell_2$范数边缘分类器。我们的研究结果为对抗训练提供了理论支持，它确实提高了对抗干扰的鲁棒性。
2019-07-26 cs.LG stat.ML
Can Stability be Detrimental? Better Generalization through Gradient Descent Instabilities
University of Oxford（牛津大学）
本文发现大学习率引起的梯度下降不稳定性会使Hessian特征向量旋转，促使模型参数探索更平坦的损失景观区域，产生隐式正则化效应，从而在现代基准数据集上实现更优的泛化性能。
2024-12-23 cs.LG stat.ML
Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization
Facebook AI Research（脸书人工智能研究院）
动量方法现在在机器学习社区中广泛使用，用于训练非凸模型，例如深度神经网络。从经验上讲，它们优于传统的随机梯度下降（SGD）方法。在这项工作中，我们开发了一个李雅普诺夫分析的SGD与动量（SGD+M），利用等效重写的方法称为随机原始平均（SPA）的形式。在非凸情况下，这种分析比以前的理论要严格得多，因此，我们能够精确地了解SGD+M何时可能优于SGD，以及什么超参数计划将起作用以及为什么。
2021-06-01 cs.LG math.OC stat.ML
Generalization Bounds for Label Noise Stochastic Gradient Descent
University of Oxford（牛津大学）
本文在非凸设定下为带标签噪声的SGD建立泛化界，证明其误差以$n^{-2/3}$速率缩放，优于SGLD的$n^{-1/2}$，并揭示标签噪声对泛化的定量影响。
2023-11-01 cs.LG math.OC stat.ML
Enhancing Fractional Gradient Descent with Learned Optimizers
针对分数阶梯度下降收敛难、超参数调度难的问题，提出元学习方法L2O-CFGD动态调整Caputo FGD超参数，性能优于静态超参数版本，部分任务媲美黑盒元学习优化器，助力超参数寻优与分数阶微分特性研究。
2025-10-21 cs.LG math.OC stat.ML
Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares
Innovation in Data Engineering and Science (IDEAS) University of Pennsylvania（数据工程与科学创新研究所（IDEAS）宾夕法尼亚大学）
本文研究过参数化最小二乘中大学习率梯度下降的“稳定性边缘”现象，利用全局极小值黎曼流形分解动力学，给出亚临界、临界和超临界三种区间的收敛速率。
2025-10-20 cs.LG math.OC
Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent
IST Austria（奥地利科学技术研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
近年来，机器学习取得了巨大的进步，模型在一系列专门任务上与人类相匹配，甚至超越人类。近年来机器学习进步背后的一个关键因素是在大规模分布式共享内存和消息传递环境中训练机器学习模型的能力。这些模型中的许多都是采用基于随机梯度下降（SGD）的优化的变体来训练的。在本文中，我们介绍了一个通用的一致性条件，涵盖通信减少和异步分布式SGD实现。我们的框架，称为弹性一致性，使我们能够获得收敛边界的各种分布式SGD方法在实践中使用的训练大规模机器学习模型。建议的框架去杂实现特定的收敛性分析，并提供了一个抽象的收敛范围。我们利用该框架来分析分布式SGD方法的稀疏化方案，在异步设置为凸和非凸目标。我们实现了分布式SGD变体，以在异步共享内存设置中训练深度CNN模型。实证结果表明，错误反馈可能不一定有助于提高稀疏异步分布式SGD的收敛性，这证实了我们的收敛性分析所提出的见解。
2020-06-28 cs.LG stat.ML
Homophily modulates double descent generalization in graph convolution networks
Universität Basel（巴塞尔大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing Normal University（南京师范大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究结合统计物理与随机矩阵理论分析上下文随机块模型，揭示图噪声、特征噪声和标签数量如何共同影响图卷积网络的双下降与泛化，并据此改进异质性数据集上的SOTA性能。
2024-01-23 cond-mat.dis-nn cs.LG stat.ML
On the Lipschitz Constant of Deep Networks and Double Descent
KTH（瑞典皇家理工学院）
本文通过实验研究双重下降下深度网络的经验 Lipschitz 常数，发现其与测试误差强相关，并将其归因于损失景观曲率和参数到初始化的距离。
2025-07-23 cs.LG
Neuromechanical Autoencoders: Learning to Couple Elastic and Neural Network Nonlinearity
Princeton University（普林斯顿大学）
智能生物系统的特征在于它们在复杂环境中的体现以及它们的神经系统与它们的身体的非线性力学特性之间的密切相互作用。这种协调，其中运动系统的动力学共同进化以减少大脑的计算负担，被称为“机械智能”或“形态计算”。在这项工作中，我们试图开发这个过程的机器学习类似物，我们共同学习复杂的非线性弹性固体的形态以及深度神经网络来控制它。通过使用与传统深度学习架构耦合的弹性力学的专用可微模拟器-我们称之为神经机械自动编码器-我们能够学习通过梯度下降来执行形态学计算。我们的方法的关键是使用机械超材料-细胞固体，特别是-作为形态学基板。正如深度神经网络为感知和控制任务提供了灵活的和非参数化的函数逼近器一样，细胞固体超材料作为一个丰富的和可学习的空间，有希望近似各种驱动任务。在这项工作中，我们利用这些互补的计算概念，共同设计材料和神经网络控制，以实现非直观的机械行为。我们在模拟中演示了如何实现平移，旋转和形状匹配，以及“数字MNIST”任务。我们还制造和评估了其中一个设计，以验证其在现实世界中的行为。
2023-01-31 cs.LG
Learning with Gradient Descent and Weakly Convex Losses
University of Oxford（牛津大学）；Facebook AI Research（脸书人工智能研究院）
研究了当经验风险为弱凸时，即经验风险的Hessian矩阵的最小负特征值大小有界时梯度下降算法的学习性能。通过证明该特征值可以控制梯度下降的稳定性，证明了泛化误差界与以前的工作相比在更宽的步长范围内保持不变。然后通过将测试误差分解为泛化误差、优化误差和近似误差来实现样本外保证，其中每个误差都可以相对于算法参数、样本量和本征值的大小来界定和权衡。在两层神经网络的情况下，我们证明了经验风险可以满足局部弱凸性的概念，具体地说，Hessian的最小特征值可以通过层的归一化来控制，即，网络扩展这使得当群体风险最小化满足复杂性假设时，可以实现测试误差保证。通过权衡网络的复杂性和可伸缩性，深入了解神经网络伸缩性的隐式偏差，这是进一步支持的实验结果。
2021-06-01 cs.LG math.ST stat.ML
Data-Dependent Stability of Stochastic Gradient Descent
EPFL（洛桑联邦理工学院）；IST Austria（奥地利科学技术研究所）
我们建立了一个数据依赖的概念，算法的稳定性随机梯度下降（SGD），并利用它来开发新的推广界。这与先前SGD的无分布算法稳定性结果相反，该结果取决于最坏情况常数。凭借数据依赖的论点，我们的边界提供了新的见解，学习与SGD凸和非凸问题。在凸的情况下，我们证明了泛化误差的界依赖于初始化点的风险。在非凸情形下，我们证明了目标函数在初始点附近的期望曲率对泛化误差有决定性的影响。在这两种情况下，我们的研究结果表明，一个简单的数据驱动的策略，以稳定SGD的预筛选其初始化。作为一个推论，我们的研究结果使我们能够显示乐观的推广边界，表现出快速收敛速度SGD的经验风险和随机梯度的低噪声消失。
2018-02-15 cs.LG
BadGD: A unified data-centric framework to identify gradient descent vulnerabilities
UCLA（加州大学洛杉矶分校）
BadGD提出统一数据中心框架，通过三种后门触发器扭曲经验风险、确定性及随机梯度，揭示梯度下降漏洞，强调防御必要性。
2024-05-24 cs.CR cs.LG stat.ML
Learning ReLUs via Gradient Descent
University of Southern California（南加州大学）
在本文中，我们研究的问题，学习纠正线性单元（ReLU），这是形式$max(0,<w,x>)$与$w$表示的权重向量的功能。我们研究这个问题在高维政权的观察数小于的权重向量的维度。我们假设权重向量属于某个封闭集合（凸或非凸），该集合捕获了关于其结构的已知边信息。我们关注的是可变现模型，其中输入被独立同分布地选择。从高斯分布，并根据种植的权重向量生成标签。我们表明，预计的梯度下降，当初始化为0时，以线性速度收敛到种植模型的样本数是最佳的数值常数。我们对这些非常浅的神经网络收敛动力学的研究结果可能会为理解更深层次架构的动力学提供一些见解。
2017-08-01 cs.IT cs.LG math.IT
Accelerating Stochastic Gradient Descent For Least Squares Regression
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
人们普遍认为，由于快速梯度法的不稳定性和误差积累，不可能有效地利用快速梯度法（例如Nesterov的加速法、共轭梯度法、重球法）进行随机最优化，这一概念在d'Aspremont 2008和Devolder、Glineur和Nesterov 2014中得到了精确阐述。这项工作认为这些问题的特殊情况下的最小二乘回归问题的随机逼近，我们的主要结果驳斥了传统的智慧，表明加速可以强大的统计误差。特别是，这项工作介绍了一种加速随机梯度方法，可证明实现最小最大最优统计风险比随机梯度下降。分析的关键是加速随机梯度下降作为一个随机过程的一个尖锐的特点。我们希望这种特性提供了更广泛的问题，设计简单，有效的加速随机方法更一般的凸和非凸优化问题的见解。
2018-07-31 cs.LG math.OC math.ST
Gradient Descent Efficiency Index
针对梯度下降后期迭代易越过最小值或进展微小、停止点难定的问题，提出效率指标 Ek，综合误差相对变化与损失稳定性，以评估每次迭代有效性并指导优化算法选择。
2024-10-25 cs.AI cs.LG math.OC
Non-asymptotic implicit bias of logistic regression at early-stage gradient descent dynamics
The Institute of Statistical Mathematics（统计数理研究所）；Tohoku University（东北大学）；RIKEN AIP（理化学研究所人工智能项目）
本研究揭示早期梯度下降动力学中逻辑回归参数向量与最大间隔方向弱对齐的机制，给出对齐迭代次数的紧上界，为理解训练时长与泛化性能的关联提供理论支撑。
2026-08-06 cs.LG stat.ML
Learning Associative Memories with Gradient Descent
Meta AI；Flatiron Institute（弗拉蒂伦研究所）
论文将存储 token 嵌入外积的联想记忆模块训练建模为相互作用粒子系统，揭示过参数化下的间隔对数增长、频率不平衡与相关嵌入引发的振荡，以及欠参数化时交叉熵导致的次优记忆，并在小型 Transformer 上验证。
2024-02-28 cs.AI cs.LG stat.ML
Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization
Google Inc.（谷歌公司）
本文提出重加权梯度下降（RGD）方法，基于分布鲁棒优化动态分配样本权重，兼容SGD和Adam，在多个基准测试上显著提升深度学习性能。
2024-10-13 cs.AI cs.LG
Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling
Columbia University（哥伦比亚大学）；Rutgers University（罗格斯大学）；Seoul National University（首尔国立大学）；McMaster University（麦克马斯特大学）
我们开发了一种新的方法在线推断的参数估计的Polyak-Ruppert平均过程的随机梯度下降（SGD）算法的向量。我们利用计量经济学中时间序列回归的见解，通过随机尺度构建渐近关键统计。我们的方法是完全可操作的在线数据，并严格支持的功能中心极限定理。我们提出的推理方法与现有方法相比具有几个关键优势。首先，检验统计量以仅SGD迭代的在线方式计算，并且可以在没有任何重新排序方法的情况下获得临界值，从而允许适合于大量在线数据的高效实现。其次，没有必要估计渐近方差和我们的推理方法被证明是强大的SGD算法在模拟实验中的调整参数的变化与合成数据。
2021-10-07 cs.LG econ.EM math.ST
A Unifying Perspective on Descent Directions for Constrained Minimization and Switching Criteria
Georgia Institute of Technology（佐治亚理工学院）；Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文提出Shadow-CG方法，利用负梯度投影的阴影方向作为最优下降方向，结合Frank-Wolfe顶点步，实现线性收敛，其速率依赖于投影曲线断点数而非金字塔宽度，并给出断点数量的界。
2026-10-06 cs.LG math.OC
On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares
Oregon State University（俄勒冈州立大学）
信号处理和机器学习中的许多最新问题，如压缩感知，图像恢复，矩阵/张量恢复和非负矩阵因子分解，都可以转换为约束优化。投影梯度下降法是求解此类约束最优化问题的一种简单而有效的方法。局部收敛分析进一步加深了我们对其在解附近的渐近行为的理解，与整体收敛分析相比，它提供了更清晰的收敛速度界限。然而，局部保证通常分散在机器学习和信号处理的特定问题领域。这份手稿提出了一个统一的框架内的局部收敛分析投影梯度下降的约束最小二乘的背景下。所提出的分析提供了深入了解关键的局部收敛特性，如线性收敛的条件，收敛区域，精确的渐近收敛速率，以及达到一定精度所需的迭代次数的限制。为了证明所提出的方法的适用性，我们提出了一个配方的收敛分析投影梯度下降，并证明它通过一个迭代到结束的应用程序的配方上的四个基本问题，即，线性等式约束的最小二乘，稀疏恢复，最小二乘与单位范数约束，和矩阵完成。
2022-06-20 cs.LG math.OC
A Relational Gradient Descent Algorithm For Support Vector Machine Training
我们考虑梯度下降类算法的支持向量机（SVM）的训练时，数据是在关系的形式。SVM目标的梯度不能通过已知技术有效地计算，因为它遭受"减法问题“。我们首先表明，减法问题不能被克服的SVM目标函数的梯度计算任何常数近似是$\#P$硬，即使是非循环连接。然而，我们通过将我们的注意力限制在稳定的实例来规避减法问题，这些实例直观地是如果点稍微扰动，则接近最优解仍然接近最优的实例。我们给出了一个有效的算法，计算一个“伪梯度”，保证收敛稳定的情况下，通过使用实际梯度实现的速度。我们相信，我们的研究结果表明，这种稳定性的分析可能会产生有用的洞察力的背景下，设计算法的关系数据的其他学习问题，其中减法问题出现。
2020-05-11 cs.DS cs.LG
Super Gradient Descent: Global Optimization requires Global Gradient
针对传统优化易陷入局部极小的问题，提出面向一维k-Lipschitz函数的超级梯度下降法，引入全局梯度概念，保证收敛到全局最小值，填补优化理论空白并助力线搜索等机器学习问题。
2024-10-29 cs.LG cs.NA math.NA
Corridor Geometry in Gradient-Based Optimization
Google（谷歌）；Google DeepMind（谷歌DeepMind）
本文提出走廊几何概念，指梯度流为直线的损失表面区域，在此梯度下降与梯度流轨迹相同且损失线性下降，无隐式正则化或不稳定性；据此设计走廊学习率(CLR)方案，其与Polyak步长特例一致，并在CIFAR-10和ImageNet上验证了收敛性。
2024-02-13 cs.LG math.OC stat.ML
Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization
California Institute of Technology（加州理工学院）；Department of Computing and Mathematical Sciences（计算与数学科学系）；Department of Electrical Engineering（电气工程系）
随机下降方法（梯度和镜像变种）在优化中变得越来越流行。事实上，现在人们普遍认识到，深度学习的成功不仅是由于模型的特殊深度架构，而且还由于所使用的随机下降方法的行为，这些方法在达到“好”解决方案方面发挥了关键作用，这些解决方案可以很好地推广到看不见的数据。为了解释为什么会这样，我们重新审视了线性模型平方损失的随机梯度下降（SGD）的一些极小极大性质-最初是在20世纪90年代开发的-并将其扩展到一般损失函数和非线性模型的一般随机镜像下降（SMD）算法。特别是，我们表明，有一个基本的身份，它适用于SMD（和SGD）在非常一般的条件下，这意味着极小极大最优的SMD（和SGD）足够小的步长，并为一般类的损失函数和一般的非线性模型。我们进一步表明，这个身份可以用来自然地建立其他属性的SMD（和SGD），即收敛性和隐式正则化的过参数化的线性模型（在现在被称为“插值制度”），其中一些已经在某些情况下，在以前的文献。我们还讨论了如何在所谓的“高度过度参数化”非线性设置（参数的数量远远超过数据点的数量）中使用这个恒等式，以深入了解为什么SMD（和SGD）可能具有类似的收敛性和隐式正则化属性，用于深度学习。
2019-01-17 cs.AI cs.LG math.OC
A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates
Google, Inc.（谷歌公司）
我们研究了三个家庭的在线凸优化算法：跟随邻近正则化领导（FTRL-Proximal），正则化的双重平均（RDA），和复合目标镜像下降。我们首先证明等价定理，表明所有这些算法的实例一般FTRL更新。这为以前的实验观察提供了理论上的见解。特别是，尽管FOBOS复合镜像下降算法显式地处理L1正则化，但已经观察到RDA在产生稀疏性方面甚至更有效。我们的研究结果表明，FOBOS使用次梯度近似的L1罚款从以前的回合，导致较少的稀疏性比RDA，它处理的累积罚款在封闭的形式。FTRL-Proximal算法可以被视为这两种算法的混合，并且在大型真实世界数据集上的性能优于两者。我们的第二个贡献是一个统一的分析，产生遗憾的界限，匹配（对数项）或改善以前已知的最好的界限。这种分析还扩展了这些算法在两个重要的方面：我们支持更一般类型的复合目标，我们分析隐式更新，它取代了次梯度近似的当前损失函数的精确优化。
2011-09-20 cs.LG
Inference and Interference: The Role of Clipping, Pruning and Loss Landscapes in Differentially Private Stochastic Gradient Descent
University of Edinburgh（爱丁堡大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文研究DP-SGD与SGD性能差异，发现裁剪比噪声影响更大，并证明幅度剪枝作为降维技术可提升DP-SGD在大型神经网络上的测试准确率。
2023-11-12 cs.CR cs.LG
Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking
McGill University（麦吉尔大学）；Mila Institute（Mila研究院）；Concordia University（康科迪亚大学）
本文提出平等梯度下降（EGD）方法，通过规范化梯度使所有主方向的动态以相同速度演化，从而加速模型的 Grokking 过程，消除测试性能的停滞现象。
2026-05-18 cs.LG
On the convergence of mirror descent beyond stochastic convex programming
Stanford University（斯坦福大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
在本文中，我们研究了一类随机最优化问题的镜像下降的收敛性，这些问题不一定是凸的（甚至是拟凸的），我们称之为变分相干的。由于标准技术的“遍历平均”提供没有实际的好处以外的凸规划，我们直接专注于算法的最后生成的样本（其“最后一个”），我们表明，它收敛的概率$1$，如果根本的问题是一致的。我们进一步考虑了一个局部版本的变分相干，它确保随机镜像下降（SMD）的局部收敛的高概率。这些结果表明（准）凸性对于收敛到全局极小值并不是必需的，从而为非凸随机最优化的前景做出了贡献：相反，变分相干性（一个弱得多的要求）就足够了。最后，在上述基础上，我们揭示了一个关于SMD收敛速度的有趣见解：在具有尖锐极小值的问题（如一般线性规划或凹极小化问题）中，SMD在有限步数（a.s.）中达到极小点，即使存在持续的梯度噪声。这一结果是对比现有的黑盒收敛速度估计，只有渐近。
2018-07-16 cs.LG math.OC
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University（西北大学）
小批量随机梯度下降（SGD）算法广泛用于训练机器学习模型，特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态，通过关注梯度的方差，可以轻松扩展到更深的线性网络，这是第一次研究这种性质。在线性回归的情况下，我们表明，在每次迭代的梯度范数是一个减函数的小批量大小$b$，因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络，我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉，即较小的批量产生较低的损失函数值，这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系，这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
Correlations Are Ruining Your Gradient Descent
Department of Machine Learning and Neural Computing（机器学习与神经计算系）；Donders Institute for Brain, Cognition and Behaviour（脑、认知与行为donders研究所）
本文将自然梯度下降、数据去相关与反向传播近似方法结合讨论，提出神经网络各层输入去相关方法，显著提升训练速度及反向传播近似方法性能，为相关领域提供新方向。
2026-11-04 cs.LG cs.NE
Can Gradient Descent Simulate Prompting?
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出一种元训练语言模型的方法，通过基于梯度的元学习并以模型自身的提示预测作为目标，使梯度更新能模拟提示的效果，从而在单次更新后恢复部分提示性能，为长上下文建模提供新途径。
2025-06-26 cs.CL cs.LG
An Analytical Characterization of Sloppiness in Neural Networks: Insights from Linear Models
University of Pennsylvania（宾夕法尼亚大学）；School of Mechanical Engineering, Tel Aviv University（特拉维夫大学机械工程学院）；Brigham Young University；Cornell University（康奈尔大学）
本文受深度网络与线性网络训练轨迹相似性启发，解析表征了线性模型训练轨迹的低维超带状流形现象，揭示其几何结构的控制因素并扩展至核机器和随机梯度下降训练的线性模型。
2025-11-18 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Trained Mamba Emulates Online Gradient Descent in In-Context Linear Regression
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；RIKEN AIP（日本理化学研究所AIP）；University of Tokyo（东京大学）
本文研究 Mamba 在线性回归 ICL 任务中的训练动态，证明其以指数速率收敛并达到可比损失界，且通过模拟在线梯度下降实现上下文学习。
2025-09-28 cs.LG
Implicit Bias of Spectral Descent and Muon on Multiclass Separable Data
Department of Computer Science University of British Columbia（计算机科学系不列颠哥伦比亚大学）；University of British Columbia Canada（不列颠哥伦比亚大学加拿大）；CIFAR AI Chair (Amii) &（CIFAR人工智能主席（Amii））；Department of Electrical and Computer Engineering University of British Columbia（电气与计算机工程系不列颠哥伦比亚大学）
本文研究了谱下降法和缪恩在多类可分数据中的隐式偏置，证明其收敛到最大化分类矩阵p-范数的边际解，并展示了Adam在预处理下的收敛特性。
2025-12-05 cs.LG math.OC
Bipolar Morphological Neural Networks: Convolution Without Multiplication
Institute for Systems Analysis FRC CSC RAS（俄罗斯科学院计算机科学与控制联邦研究中心系统分析研究所）；Smart Engines Service LLC（Smart Engines Service有限责任公司）；Moscow State University（莫斯科国立大学）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文介绍了一种新的双极形态神经元和双极形态层模型。该模型仅使用神经元内部的加、减、最大值等运算，并使用指数、对数作为层的激活函数。与以前介绍的形态神经网络不同，所提出的模型近似于经典计算，并显示出更好的识别结果。我们还提出了逐层的方法来训练双极形态网络，它可以进一步发展为一个增量的方法，为单独的神经元，以获得更高的精度。这两种方法都不需要特殊的训练算法，并且可以使用各种梯度下降方法。为了证明所提出的模型的效率，我们考虑经典的卷积神经网络，并将预先训练的卷积层转换为双极形态层。鉴于MNIST和MRZ符号识别的实验显示，在转换和训练后，准确率只有适度的下降，双极神经元模型可以提供更快的推理，在移动和嵌入式系统中非常有用。
2019-11-05 cs.CV cs.LG cs.NE
