A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima
The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能中心）
随机梯度下降（SGD）及其变体是实践中训练深度网络的主流方法。SGD被称为找到一个平坦的最小值，通常推广良好。但是，从数学上讲，深度学习如何在如此多的最小值中选择一个平坦的最小值还不清楚。为了定量地回答这个问题，我们发展了一个密度扩散理论（DDT）来揭示极小值的选择如何定量地依赖于极小值的锐度和超参数。据我们所知，我们是第一个从理论上和经验上证明，受益于随机梯度噪声的海森相关的协方差，SGD有利于平坦的最小值指数比尖锐的最小值，而梯度下降（GD）与注入白噪声只有利于平坦的最小值多项式比尖锐的最小值。我们还发现，无论是小学习率还是大批量训练，都需要指数级的多次迭代才能摆脱批量大小和学习率之比的最小值。因此，大批量训练无法在实际计算时间内有效地搜索平坦极小值。
2021-01-15 cs.LG stat.ML
Uniform Learning in a Deep Neural Network via "Oddball" Stochastic Gradient Descent
University of Surrey（萨里大学）
当训练深度神经网络时，通常假设训练样本是一致难以学习的。或者，重申一下，假设训练误差将均匀分布在训练样本中。基于这些假设，每个训练样本被使用相同的次数。然而，这一假设在许多情况下可能并不成立。最近引入了“Oddball SGD”（新奇驱动的随机梯度下降），以根据误差分布概率地驱动训练-训练频率与训练误差大小成比例。在这篇文章中，使用深度神经网络对视频进行编码，我们证明了oddball SGD可以用于在训练集上强制执行统一的错误。
2015-10-08 cs.LG
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Non-Uniform Smoothness for Gradient Descent
University of Michigan（密歇根大学）；University of Sydney（悉尼大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
本文提出局部一阶光滑性预言机（LFSO），推广Lipschitz梯度条件，用于梯度下降步长调优，并在非强凸平坦极小值问题上实现全局线性收敛，超越一般一阶方法的下界。
2023-11-15 cs.LG math.OC
Deep learning, stochastic gradient descent and diffusion maps
Uppsala University（乌普萨拉大学）
随机梯度下降（SGD）由于其计算效率而广泛用于深度学习，但完全理解SGD为何表现如此出色仍然是一个重大挑战。经验上已经观察到，过度参数化的深度神经网络的损失景观上的损失函数的Hessian的大多数特征值接近于零，而只有少数特征值较大。零特征值表示沿相应方向的零扩散。这表明，极小值的选择过程主要发生在相对低维的子空间对应的顶部特征值的Hessian。虽然参数空间是非常高维的，这些发现似乎表明，SGD动力学可能主要生活在一个低维流形。在本文中，我们追求一个真正的数据驱动的方法，以获得一个潜在的更深入的理解的高维参数表面的问题，特别是，通过分析SGD生成的数据，由SGD跟踪出的景观，或任何其他优化器，为了可能发现（本地）低维表示的优化景观。作为我们探索的工具，我们使用R. Coifman和合著者。
2022-06-17 cs.LG stat.ML
Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent
National University of Singapore（新加坡国立大学）
当迭代随机学习算法的内部状态为\emph{private}时，算法关于训练数据的信息泄漏是什么？每个特定的训练时期对通过发布模型的信息泄漏的贡献有多大？我们研究了这个问题的噪声梯度下降算法，并在整个训练过程中建模的Rényi差分隐私损失的\emph{dynamics}。我们的分析追踪了一个可证明的\emph{tight}边界，该边界位于在相邻数据集上训练的模型参数上的一对概率分布之间的Rényi发散上。我们证明了隐私损失指数收敛速度快，光滑和强凸损失函数，这是一个显着的改进组合定理（高估了隐私损失的上限，其总价值超过所有中间梯度计算）。对于Lipschitz，光滑，强凸损失函数，我们证明了噪声梯度下降算法的最佳效用与一个小的梯度复杂性。
2022-09-09 cs.CR cs.LG stat.ML
Algorithmic Instabilities of Accelerated Gradient Descent
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了Nesterov加速梯度法的算法稳定性。对于凸二次目标，Chen et al.（2018）证明了该方法的一致稳定性随着优化步骤的数量呈二次增长，并证明了对于一般的凸和光滑情况也是如此。我们反驳这一猜想，并显示，两个概念的算法稳定性（包括一致稳定性），Nesterov的加速方法的稳定性，实际上恶化指数快速梯度步骤的数量。这与二次情况下的边界形成鲜明对比，也与非加速梯度方法的已知结果形成鲜明对比，其中稳定性通常随步骤数线性增长。
2021-06-19 cs.LG math.OC stat.ML
Uniform a priori bounds and error analysis for the Adam stochastic gradient descent optimization method
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（数据科学学院，香港中文大学（深圳））；Department of Probability and Statistic, Institute of Mathematics, Vietnam Academy of Science and Technology（概率与统计系，数学研究所，越南科学与技术 academy）；School of Data Science and School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（数据科学学院和人工智能学院，香港中文大学（深圳））
本文首次为强凸随机优化问题建立Adam方法的统一先验界，提供无条件误差分析。
2026-09-02 cs.LG math.OC
Mini-Batch Covariance, Diffusion Limits, and Oracle Complexity in Stochastic Gradient Descent: A Sampling-Design Perspective
Muma College of Business, University of South Florida（佛罗里达州立大学马纳学院）；McCombs School of Business, University of Texas at Austin（德克萨斯大学奥斯汀分校麦克纳学院）
本文从采样设计角度研究了随机梯度下降中最小批量梯度噪声的协方差特性，推导了扩散极限与Oracle复杂度的理论边界，并通过数值实验验证了相关结论。
2026-04-15 cs.LG math.OC stat.ML
Uniform-in-Time Wasserstein Stability Bounds for (Noisy) Stochastic Gradient Descent
Florida State University（佛罗里达州立大学）；Rutgers Business School（罗格斯商学院）；Princeton University（普林斯顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文通过学习理论与应用概率的联系，提出统一的 Wasserstein 稳定性界证明准则，并基于 Lyapunov 函数为 SGD 在强凸、非凸及无额外噪声的凸与非凸损失下建立了时间一致稳定性界。
2023-10-28 cs.LG math.OC stat.ML
Even Faster Accelerated Coordinate Descent Using Non-Uniform Sampling
Princeton University（普林斯顿大学）；University of Hong Kong（香港大学）；University of Edinburgh（爱丁堡大学）；Cornell University（康奈尔大学）
本文通过非均匀采样将加速坐标下降法的运行时间提升至$\sqrt{n}$，方法基于坐标光滑性参数的平方根比例采样，适用于经验风险最小化和线性系统求解。
2016-05-27 cs.DS cs.NA math.NA
Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization under Infinite Noise Variance
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Davis（加州大学戴维斯分校）
研究了噪声方差为无穷大时的随机凸优化问题。具体地说，当随机梯度是无偏的且具有一致有界的$(1+κ)$阶矩时，对于某些$κ\in (0,1]$，我们根据优化问题的迭代次数、维数和相关的几何参数，量化了具有一类特殊的一致凸镜映射的随机镜像下降算法的收敛速度.有趣的是，该算法不需要任何显式的梯度裁剪或归一化，这已被广泛用于最近的几个经验和理论工作。我们补充我们的收敛结果与信息理论的下限表明，没有其他算法只使用随机一阶预言机可以实现提高利率。我们的研究结果有几个有趣的后果，设计在线/流随机逼近算法的鲁棒统计和机器学习中出现的问题。
2022-02-23 cs.LG math.OC stat.ML
Structure-aware Bayesian full waveform inversion via diffusion-regularized Stein variational gradient descent
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究针对传统ASVGD-FWI的先验不足问题，将学习型扩散模型作为隐式正则化引入框架，结合FWI数据一致性、ASVGD后验多样性，提升了反演稳定性与不确定性可解释性。
2026-10-15 cs.LG physics.geo-ph stat.ML
Thinking Outside the Ball: Optimal Learning with Gradient Descent for Generalized Linear Stochastic Convex Optimization
Tel Aviv University（特拉维夫大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们考虑具有凸Lipschitz损失的线性预测，或者更一般地，考虑广义线性形式的随机凸优化问题，即~其中每个瞬时损失是线性函数的标量凸函数。我们表明，在这种设置中，早期停止的梯度下降（GD），没有任何显式的正则化或投影，确保过多的错误在大多数$ε$（相比，最好的可能与单位欧几里德范数）与最佳的，高达对数因子，样本复杂度$\tilde{O}(1/ε^2)$和只有$\tilde{O}(1/ε^2)$迭代。这与一般随机凸优化形成对比，其中需要$Ω(1/ε^4)$迭代Amir等人[2021 b]。通过利用一致收敛而不是稳定性来确保较低的迭代复杂度。但是，而不是在一个规范球的一致收敛，我们可以保证使用$Θ(1/ε^4)$样本的次优学习，我们依赖于分布相关的球的一致收敛。
2022-10-30 cs.LG math.OC
Uniform Generalization Bound on Time and Inverse Temperature for Gradient Descent Algorithm and its Application to Analysis of Simulated Annealing
NEC Corporation（日本电气股份有限公司）；Biometrics Research Laboratories, NEC Corporation（日本电气股份有限公司生物识别研究实验室）
在本文中，我们提出了一个新的统一推广的时间和逆温度的随机梯度Langevin动力学（SGLD）在非凸设置。虽然以前的作品得到他们的推广界的一致稳定性，我们使用Rademacher复杂性，使我们的推广界独立的时间和逆温度。使用Rademacher复杂性，我们可以减少问题，推导出一个在整个空间上的推广界上的有界区域，因此可以从我们的推广界中去除时间和逆温度的影响。作为推广界的一个应用，还描述了在非凸环境下模拟退火算法的有效性评价。对于样本量$n$和时间$s$，我们分别推导了阶数为$\sqrt{n^{-1} \log (n+1)}$和$|(\log)^4(s)|^{-1}$的评估。这里，$(\log)^4$表示对数函数的$4$倍合成。
2022-06-05 cs.LG math.PR stat.ML
Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Pontificia Universidad Católica de Chile（智利天主教大学）
一致稳定性是算法稳定性的一个概念，当数据集中的单个数据点被替换时，它限制了算法输出的模型中的最坏情况变化。Hardt等人（2016）的一项有影响力的工作提供了随机梯度下降（SGD）算法在充分光滑凸损失上的一致稳定性的强上界。这些结果导致了重要的进展，在理解的推广性质的SGD和几个应用程序的差异私人凸优化光滑损失。我们的工作是第一个解决的一致稳定性SGD { \em nonsmooth}凸损失。具体来说，我们提供了尖锐的上限和下限的几种形式的SGD和全批GD任意Lipschitz非光滑凸损失。我们的下界表明，在非光滑的情况下，（S）GD可以是固有的稳定性比在光滑的情况下。另一方面，我们的上界表明（S）GD是足够稳定的推导新的和有用的泛化误差的界限。最值得注意的是，我们得到了第一个维度独立的推广界多通SGD在非光滑的情况下。此外，我们的界限允许我们推导出一个新的算法差分私人非光滑随机凸优化与最优超额人口风险。对于非光滑情况，我们的算法比最著名的算法更简单，更有效。Feldman et al.（2020）。
2020-06-12 cs.LG math.OC stat.ML
Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
研究揭示随机梯度下降在分形景观上扩散的行为与贝叶斯统计的关系，提出SGD可视为一种考虑分形结构访问限制的修改贝叶斯采样器。
2026-03-16 cs.AI cs.LG math.OC
Functional Central Limit Theorem for Stochastic Gradient Descent
CREST-ENSAE
本文研究了随机梯度下降算法在凸目标函数下的轨迹渐近行为，通过函数中心极限定理揭示了算法波动的长期特性，并适用于非光滑优化问题。
2026-02-17 cs.LG math.OC stat.ML
Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning
Department of Mathematics, University of Texas at Austin（德克萨斯大学奥斯汀分校数学系）
本文利用微分几何中黎曼度量的任意性，提出两种改进的梯度下降流（过参数化和欠参数化设置），在秩条件成立时证明其以均匀指数收敛速率驱动 $\mathcal{L}^2$ 代价到全局最小值，并推广到秩条件不成立的情形。
2026-05-23 cs.AI cs.LG math-ph
Accelerating Minibatch Stochastic Gradient Descent using Stratified Sampling
Rutgers University（罗格斯大学）；Baidu Inc.（百度公司）
随机梯度下降（SGD）是一种流行的优化方法，已被应用于许多重要的机器学习任务，如支持向量机和深度神经网络。为了并行化SGD，通常采用小批量训练。标准的方法是在每一步对一个小批量进行统一采样，这通常会导致高方差。在本文中，我们提出了一个分层抽样策略，它将整个数据集划分为集群内的方差低，然后我们从这些集群使用分层抽样技术的例子。结果表明，该算法可以显着提高收敛速度。令人鼓舞的实验结果证实了所提出的方法的有效性。
2014-05-13 cs.LG math.OC stat.ML
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley（加州大学伯克利分校）；National University of Defense Technology（国防科技大学）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）
我们考虑了广泛的正则化随机极小化问题的两个正则化项，其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用，例如融合Lasso，融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面，与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面，当输入数据样本的数量相当大时，目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题，我们提出了一个随机变量的额外梯度型方法，即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)}，并分析其收敛性的凸和强凸目标。对于一般的凸目标，由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标，由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的，以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明，该算法的性能非常有效，并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
Error estimates between SGD with momentum and underdamped Langevin diffusion
Laboratoire de Mathematiques Blaise Pascal, CNRS-UMR 6620, Universite Clermont-Auvergne（克莱蒙奥弗涅大学）；University of Macau（澳门大学）；UM Zhuhai Research Institute（澳门大学珠海研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing International Center for Mathematical Research (BICMR), Peking University（北京大学北京国际数学研究中心）
针对带动量的 SGD 与欠阻尼 Langevin 扩散的关系，本文在 1-Wasserstein 和全变差距离下建立了二者的定量误差估计。
2024-10-22 cs.LG math.PR stat.ML
Stochastic Modified Flows for Riemannian Stochastic Gradient Descent
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数理科学研究所）；University of York（约克大学）
本文研究黎曼随机梯度下降的收敛与近似问题，提出黎曼随机修正流以刻画随机波动，并利用随机微分几何给出小学习率下扩散近似的定量弱误差界。
2025-03-07 cs.LG math.OC math.PR
Importance Sampling for Stochastic Gradient Descent in Deep Neural Networks
Dassault Aviation（达索航空）
随机梯度下降对训练集进行均匀采样，以建立具有有限数量样本的无偏梯度估计。然而，在训练过程的给定步骤中，某些数据比其他数据更有助于继续学习。用于训练深度神经网络的重要性采样已被广泛研究，以提出比均匀采样方案产生更好性能的采样方案。在回顾了深度学习的重要性采样理论之后，本文回顾了该研究领域固有的挑战。特别是，我们提出了一个度量标准，允许一个给定的采样方案的质量进行评估，我们研究的采样方案和使用的优化器之间的相互作用。
2023-03-29 cs.LG
On Uniform Boundedness Properties of SGD and its Momentum Variants
KTH - Royal Institute of Technology（KTH皇家理工学院）
随机梯度下降的一个理论问题，也是潜在的实际问题是轨迹可能逃逸到无穷大。本文研究了随机梯度下降算法及其重要的动量变量的迭代点和函数值沿轨迹的一致有界性。在光滑性和$R$ -损失函数的耗散性下，我们证明了广泛的步长家族，包括广泛使用的步进衰减和带有（或不带有）重新启动步长的余弦，会导致一致有界的迭代和函数值。几个重要的应用，满足这些假设，包括相位恢复问题，高斯混合模型，和一些神经网络分类器，进行了详细讨论。对于尾部增长慢于二次函数的函数，我们进一步推广了SGD及其动量变量在广义耗散性下的一致有界性。这包括一些有趣的应用，例如，贝叶斯逻辑回归和逻辑回归与$\ell_1$正则化。
2022-06-22 cs.LG math.OC
A Comparative Analysis of the Optimization and Generalization Property of Two-layer Neural Network and Random Feature Models Under Gradient Descent Dynamics
Princeton University（普林斯顿大学）；Beijing Institute of Big Data Research（北京大数据研究院）
对两层神经网络模型在两层参数同时更新时的梯度下降动态进行了较全面的分析。一般的初始化方案，以及一般制度的网络宽度和训练数据大小被认为是。在过参数化的制度，它表明，梯度下降动态可以实现零训练损失指数快速，无论标签的质量。此外，证明了在整个训练过程中，由神经网络模型表示的函数一致地接近于核方法的函数。对于网络宽度和训练数据大小的一般值，在适当的再生核Hilbert空间中为目标函数建立了泛化误差的尖锐估计。
2020-02-21 cs.LG math.OC stat.ML
Convergence of Alternating Gradient Descent for Matrix Factorization
University of Texas（德克萨斯大学）
本文研究固定步长交替梯度下降在非对称矩阵分解中的收敛性，提出一种随机初始化方法，证明其迭代复杂度与条件数平方成正比，并实验验证该方法能显著加速实际收敛。
2024-02-08 cs.LG math.OC stat.ML
Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Texas A&M University（德克萨斯农工大学）
本文在统计学习理论框架下，通过引入组合均匀稳定性概念，首次分析了随机组合梯度下降算法（SCGD和SCSC）的稳定性与泛化性，并推导出维度无关的超额风险界。
2023-11-21 cs.LG stat.ML
Optimal Sample Complexity of Subgradient Descent for Amplitude Flow via Non-Lipschitz Matrix Concentration
Northeastern University（东北大学）；Rice University（莱斯大学）
我们考虑从$m$无相线性测量中恢复实值$n$维信号的问题，并分析了基于幅度的非光滑最小二乘目标。我们建立了局部收敛的次梯度下降与最佳样本的复杂性的基础上的一个随机的，不连续的矩阵值的运营商所产生的目标的梯度动力学的统一浓度。虽然常见的技术，建立均匀浓度的随机函数利用Lipschitz连续性，我们证明了不连续的矩阵值算子满足一致的矩阵浓度不等式时，测量向量是高斯尽快$m = Ω(n)$以高概率。然后，我们表明，满足这个不等式是足够的次梯度下降与适当的初始化线性收敛到真正的解决方案的全球标志模糊。因此，这保证了高斯测量在最佳样本复杂度下的局部收敛。在本工作中的浓度方法以前已被用来建立恢复保证下生成神经网络先验的各种反问题。本文展示了这些技术的适用性，更传统的反问题，并作为一个教学介绍这些结果。
2021-08-27 cs.IT cs.LG math.IT
Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning
Nanyang Technological University（南洋理工大学）；Michigan State University（密歇根州立大学）
基于内核的在线学习通常在许多在线学习任务中表现出最先进的性能。然而，它有一个主要的缺点，即支持向量的数量是无限的，这使得它不具有可扩展性，不适合大规模数据集的应用。在这项工作中，我们研究的问题，有界核为基础的在线学习，旨在限制支持向量的数量由一个预定义的预算。虽然在文献中已经提出了几种算法，它们既不是计算效率，由于其密集的预算维护策略，也不是有效的，由于使用简单的感知器算法。为了克服这些限制，我们提出了一个框架，有界核为基础的在线学习的基础上在线梯度下降的方法。我们提出了两个有效的算法有界在线梯度下降（BOGD）的可扩展的基于内核的在线学习：（i）BOGD通过维护支持向量使用均匀采样，和（ii）BOGD++通过维护支持向量使用非均匀采样。我们目前的理论分析的遗憾界的算法，并发现有前途的实证性能方面的功效和效率进行比较，几个著名的算法有界核为基础的在线学习大规模数据集。
2012-06-18 cs.LG stat.ML
Directional Analysis of Stochastic Gradient Descent via von Mises-Fisher Distributions in Deep learning
KAIST（韩国科学技术院）；Center for Superintelligence, SNU（首尔大学超级智能中心）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
虽然随机梯度下降（SGD）是深度学习最近成功背后的驱动力，但我们对其在高维参数空间中的动力学的理解是有限的。近年来，一些研究人员使用小批量梯度的随机性或信噪比来更好地表征SGD的学习动态。受这些工作的启发，我们在这里通过检查小批量梯度的范数和方向的随机性，从几何角度分析SGD。我们提出了一个模型的方向浓度的minibatch梯度通过von Mises-Fisher（VMF）分布，并表明，minibatch梯度的方向均匀性增加的过程中的SGD。我们使用深度卷积网络实证验证了我们的结果，并观察到梯度随机性与所提出的方向均匀性之间的相关性高于梯度范数随机性，这表明小批量梯度的方向统计是SGD背后的主要因素。
2018-11-28 cs.LG stat.ML
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University（卡内基梅隆大学）；Montana State University（蒙大拿州立大学）
我们提供了更大的步长限制，基于梯度下降的算法（几乎肯定）避免严格的鞍点。特别地，考虑一个二次可微（非凸）目标函数，其梯度具有Lipschitz常数L，并且其Hessian是良好的。我们证明了，初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点，给定一个一致随机初始化，是零。这扩展了以前的结果，由凸的情况下施加的尖锐的限制。此外，参数的情况下，当给定的学习率时间表，无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML
Leveraging Non-uniformity in First-order Non-convex Optimization
University of Alberta（阿尔伯塔大学）；Google Research（谷歌研究院）；DeepMind（深度思维）
经典的一阶方法的全局收敛结果依赖于一致光滑性和Jasojasiewicz不等式。受机器学习中出现的目标函数的性质的启发，我们提出了这些概念的非均匀细化，导致\emph{Non-uniform Smoothness}（NS）和\emph{Non-uniform Łojasiewicz inequality}（NERGY）。新的定义激发了新的几何感知的一阶方法，能够收敛到全局最优比经典的$Ω(1/t^2)$下界更快。为了说明这些几何感知方法及其相应的非均匀分析的能力，我们考虑了机器学习中的两个重要问题：强化学习（PG）中的策略梯度优化和监督学习（GLM）中的广义线性模型训练。对于PG，我们发现，规范化的梯度上升方法可以加速收敛到$O(e^{-t})$，同时产生更少的开销比现有的算法。对于GLM，我们表明，几何感知归一化梯度下降也可以实现线性收敛速度，这显着提高了最好的已知结果。我们还表明，所提出的几何感知下降方法逃脱景观高原速度比标准的梯度下降。实验结果被用来说明和补充的理论研究结果。
2022-06-02 cs.LG
Stability Enhanced Privacy and Applications in Private Stochastic Gradient Descent
University of Edinburgh（爱丁堡大学）
私人机器学习涉及在训练时添加噪声，导致准确性较低。直觉上，更高的稳定性意味着更大的隐私，并改善这种隐私-效用权衡。我们研究了这种作用的稳定性在私人经验风险最小化，差分隐私是通过输出扰动，并建立了相应的理论结果表明，强凸损失函数，一个算法的$β$的一致稳定性意味着一个界的$O(\sqrtβ)$上所需的差分隐私的噪声规模。结果适用于显式正则化和隐式稳定的ERM，例如已知稳定的随机梯度下降的适应。因此，它概括了最近的结果，通过修改SGD提高隐私，并建立稳定性作为统一的观点。它意味着新的隐私保证的优化与统一的稳定性保证，相应的差分隐私保证是以前不知道的。实验结果验证了稳定性增强隐私在几个问题中的实用性，包括弹性网的应用和特征选择。
2020-06-25 cs.CR cs.LG stat.ML
De-randomizing MCMC dynamics with the diffusion Stein operator
Aalto University（阿尔托大学）；Department of Computer Science（计算机科学系）
近似贝叶斯推断估计一个棘手的目标分布的描述符-本质上，一个分布族内的优化问题。例如，朗之万动力学（LD）从扩散过程中提取渐近精确的样本，因为其边缘分布的时间演化构成了一条曲线，该曲线通过Wasserstein空间中的最陡下降使KL发散最小化。与LD并行，Stein变分梯度下降（SVGD）类似地通过确定性地传输一组粒子样本来最小化KL，尽管赋予了新的Stein-瓦瑟斯坦距离，从而使随机扩散过程去随机化。我们提出去随机化的基于内核的粒子采样器，所有扩散为基础的采样器称为MCMC动力学。在解释MCMC动力学之前的工作之后，我们配备了Stein-Wasserstein空间，该空间具有纤维黎曼泊松结构，具有表征模拟MCMC动力学的纤维梯度哈密顿流的能力。这样的动态离散成广义SVGD（GSVGD），斯坦型确定性粒子采样器，粒子更新与应用扩散斯坦算子的核函数相一致。我们的经验表明，GSVGD可以去随机化复杂的MCMC动力学，它结合了辅助动量变量和黎曼结构的优势，同时保持高质量的样品从相互作用的粒子系统。
2021-10-07 cs.LG stat.ML
Iterate averaging as regularization for stochastic gradient descent
Universitat Pompeu Fabra（庞培法布拉大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）
我们提出并分析了经典的Polyak-Ruppert平均方案，广泛用于随机梯度方法的一个变体。而不是一个统一的平均值的迭代，我们考虑加权平均值，权重以几何方式衰减。在线性最小二乘回归的背景下，我们表明，这种平均计划具有相同的正则化效果，实际上是渐近等价的，岭回归。特别是，我们推导出有限样本的界限所提出的方法，匹配最好的已知结果正则化随机梯度方法。
2018-02-22 cs.LG stat.ML
Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences
本文提出了一种基于任意时间有效置信序列的SGD停止规则，适用于凸和非凸优化问题，提供统计上有效的停止条件。
2026-02-20 cs.LG math.OC math.ST
Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent
Universität Bielefeld（比勒费尔德大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Institute of Mathematics of NAS of Ukraine（乌克兰国家科学院数学研究所）
我们提出了新的限制动态随机梯度下降的小学习率制度称为随机修改流。这些随机微分方程是由圆柱布朗运动驱动的，并通过具有规则的扩散系数和匹配的多点统计来改进所谓的随机修改方程。作为第二个贡献，我们引入分布相关的随机修改流，我们证明了描述的波动限制动态的随机梯度下降在小学习率无限宽缩放制度。
2023-02-14 cs.LG math.AP math.PR
Stochastic gradient descent with random learning rate
Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）；Inovalabs Digital S.L. (TECHEYE)（Inovalabs Digital有限公司（TECHEYE））
我们建议优化具有均匀分布的随机学习率的神经网络。相关的随机梯度下降算法可以近似为连续的随机方程，并在福克-普朗克形式主义分析。在小学习率区域中，训练过程的特征在于取决于平均学习率、最小批量大小和优化算法的动量的有效温度。通过比较随机学习率协议与循环和常数协议，我们建议随机选择一般是最好的策略，在小学习率制度，产生更好的正则化，而无需额外的计算成本。我们通过对MNIST和CIFAR 10数据集上的图像分类的浅、全连接和深、卷积神经网络的实验提供了支持证据。
2020-10-11 cs.LG math.OC physics.data-an
Uniform Stability and Generalization Error of GD and SGD on Fixed-Point Parameters
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）
研究离散参数空间中梯度下降（GD）和随机梯度下降（SGD）的泛化误差与均匀稳定性，发现确定性舍入使GD泛化误差率从O(T/n)恶化到O(T/√n)，而SGD在确定性舍入下仍具有非平凡稳定性保证，且随机舍入会引入随维度增长的泛化误差。
2026-06-05 cs.LG
Unified Analysis of Decentralized Gradient Descent: a Contraction Mapping Framework
Linköping University, Dept. of Electrical Engineering (ISY)（_linköping大学电子工程系）；School of Electrical, Computer and Energy Engineering（电气、计算机与能源工程学院）
本文提出基于压缩映射和平均 Hessian 定理的统一框架，用于分析强凸光滑目标下任意无向拓扑的去中心化梯度下降与 diffusion 算法，解耦收敛速度与渐近偏差，并扩展至随机梯度、通信噪声和随机拓扑等情形。
2025-06-02 cs.DC cs.LG eess.SP
Securing Distributed Gradient Descent in High Dimensional Statistical Learning
Duke University（杜克大学）
我们认为不可靠的分布式学习系统，其中的训练数据是保密的外部工人，学习者必须与这些工人密切互动，训练模型。特别是，我们假设存在一个系统的对手，可以自适应妥协的一些工人，妥协的工人偏离他们的本地设计的规格发送任意恶意消息。我们假设在每个通信回合中，$m$工作者中多达$q$遭受拜占庭故障。每个工作进程保留大小为$n$的本地样本，总样本大小为$N=nm$。我们提出了梯度下降方法的一个安全变体，它可以容忍拜占庭工人的恒定比例，即，$q/m = O(1)$。此外，我们还证明了迭代的统计估计误差在$O(\log N)$循环中收敛到$O(\sqrt{q/N} + \sqrt{d/N})$，其中$d$是模型维数。只要$q=O(d)$，我们提出的算法达到最佳的错误率$O(\sqrt{d/N})$。我们的结果是在一些技术假设下得到的。具体来说，我们假设强凸的人口风险。尽管如此，经验风险（样本版本）允许是非凸的。我们的方法的核心是稳健地聚集由工人基于Steinhardt等人提出的滤波过程计算的梯度。在技术方面，偏离现有文献中关于稳健地估计有限维均值向量的方法，我们建立了梯度的样本协方差矩阵的{ \em uniform}浓度，并表明聚集的梯度作为模型参数的函数，一致收敛于真实梯度函数。为了得到一个近似最优的一致浓度界，我们提出了一个新的矩阵浓度不等式，它可能是独立的兴趣。
2019-05-09 cs.DC cs.LG stat.ML
Stochastic Gradient Descent in Hilbert Scales: Smoothness, Preconditioning and Earlier Stopping
Technical University Berlin（柏林工业大学）；University of Potsdam（波茨坦大学）
随机梯度下降（SGD）已成为解决广泛机器学习问题的首选方法。然而，它的一些学习特性仍然没有完全理解。我们考虑再生核希尔伯特空间（RKHS）中的最小二乘学习，并将经典的SGD分析扩展到希尔伯特尺度中的学习环境，包括紧黎曼流形上的Sobolev空间和扩散空间。我们表明，即使对于指定的模型，违反传统的基准平滑假设对学习率有巨大的影响。此外，我们表明，错过指定的模型，预处理在适当的希尔伯特尺度有助于减少迭代次数，即允许“提前停止”。
2020-06-18 cs.LG math.ST stat.ML
Denoising as Projection: Constrained Optimization with Gradient-Guided Diffusion
MIT（麻省理工学院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出一种将目标梯度融入去噪步骤的投影梯度引导扩散更新方法，用于结构化可行集上的约束优化，在三类设置中保证收敛，实验验证其平衡目标下降与几何保留的有效性。
2026-09-14 cs.AI cs.LG math.OC
Stochasticity of Deterministic Gradient Descent: Large Learning Rate for Multiscale Objective Function
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
这篇文章表明，确定性梯度下降，它不使用任何随机梯度近似，仍然可以表现出随机行为。特别是，它表明，如果目标函数表现出多尺度行为，那么在一个大的学习率制度，只解决宏观，但不是微观细节的目标，确定性GD动力学可以变得混乱和收敛到一个局部极小，但统计分布。一个充分条件也建立了近似这个长时间的统计限制的重新缩放吉布斯分布。提供理论和数值演示，理论部分依赖于使用有界噪声（而不是离散扩散）的随机映射的建设。
2020-11-02 cs.LG cs.NA math.DS
Faster Biological Gradient Descent Learning
反向传播是一种流行的机器学习算法，它使用梯度下降来训练神经网络进行监督学习，但速度可能非常慢。已经开发了许多算法来加速收敛和提高学习的鲁棒性。然而，它们在生物学上实现起来很复杂，因为它们需要来自先前更新的信息。受生物学中突触竞争的启发，我们提出了一种简单的局部梯度下降优化算法，该算法可以减少训练时间，并且对过去的细节没有要求。我们的算法，名为动态学习率（DLR），类似于传统的梯度下降中使用的反向传播，除了在所有突触，而不是有一个统一的学习率，学习率取决于当前的神经元连接权重。我们的算法被发现可以加快学习速度，特别是对于小型网络。
2020-09-27 cs.LG cs.NE
Two-Timescale Stochastic Gradient Descent in Continuous Time with Applications to Joint Online Parameter Estimation and Optimal Sensor Placement
本文在一般的噪声和稳定性条件下，建立了连续时间下两时标随机梯度下降算法的几乎必然收敛，推广了离散时间下的已知结果.我们分析了加性噪声和非加性噪声的算法。在非加性的情况下，我们的分析进行的假设下，噪声是一个连续时间的马尔可夫过程，控制的算法状态。我们考虑的算法可以应用到一个广泛的类的双层优化问题。我们详细研究了这样一个问题，即联合在线参数估计和最优传感器配置的问题的部分观测扩散过程。我们演示了如何可以制定为一个双层优化问题，并提出了一个解决方案的形式，连续时间，两个时标，随机梯度下降算法。此外，在适当的条件下的潜在信号，过滤器，和过滤器的衍生物，我们建立几乎必然收敛的在线参数估计和最佳传感器放置的渐近对数似然和渐近滤波协方差的平稳点，分别。我们还提供了数值例子，说明所提出的方法的应用程序的部分观察Beneavor方程，和部分观察到的随机平流-扩散方程。
2021-09-30 math.OC math.PR math.ST
Riesz-Kernel Stein Variational Gradient Descent: Renormalized Entropy and Long-Time Particle Limits
Rice University（里士大学）
研究去除自相互作用的周期里斯SVGD，证明多粒子长时间采样定理。在奇异斯坦能量局部可积且初始粒子相对熵有界时，时间平均经验测度律弱收敛到目标点质量。还表明有限相对熵不变粒子律诱导的经验测度律也收敛，且在对数奇点阈值下有有限粒子误差界。
2026-07-17 cs.LG math.AP
Stochastic Gradient Descent-Induced Drift of Representation in a Two-Layer Neural Network
Cold Spring Harbor Laboratory（冷泉港实验室）
本文针对两层线性前馈网络，在持续在线学习中分析SGD噪声诱导的表征漂移，通过法向/切空间分解得到涨落与扩散系数，并解释频繁刺激漂移更慢的实验现象。
2023-06-06 cond-mat.dis-nn cs.LG
On the Finite Time Convergence of Cyclic Coordinate Descent Methods
University of Chicago（芝加哥大学）
本文证明了在等调性假设下，两种循环坐标下降变体具有O(1/k)的收敛速率，并通过与梯度下降的比较展示了其优越性。
2010-05-12 cs.LG cs.NA math.NA
Large-Scale Wasserstein Gradient Flows
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Massachusetts Institute of Technology（麻省理工学院）；Artificial Intelligence Research Institute（人工智能研究所）
Wasserstein梯度流为理解和求解许多扩散方程提供了强有力的手段。具体地说，福克-普朗克方程，它模拟概率测度的扩散，可以理解为在沃瑟斯坦空间中熵泛函上的梯度下降。这种等价性由Jordan、Kinderlehrer和Otto提出，启发了所谓的JKO格式，通过Wasserstein空间中梯度流的隐式离散来近似这些扩散过程。然而，解决与每个JKO步骤相关联的优化问题提出了严重的计算挑战。我们引入了一个可扩展的方法来近似Wasserstein梯度流，针对机器学习应用程序。我们的方法依赖于输入凸神经网络（ICNN）离散化的JKO步骤，这可以通过随机梯度下降优化。与以前的工作不同，我们的方法不需要域离散化或粒子模拟。因此，我们可以在扩散的每个时间步从测量中采样并计算其概率密度。我们证明了我们的算法的性能，通过计算扩散的福克-普朗克方程，并将其应用于非归一化密度采样以及非线性滤波。
2021-10-25 cs.LG
GossipGraD: Scalable Deep Learning using Gossip Communication based Asynchronous Gradient Descent
Pacific Northwest National Laboratory（太平洋西北国家实验室）
在本文中，我们提出了GossipGraD -一种基于流言通信协议的随机梯度下降（SGD）算法，用于在大规模系统上扩展深度学习（DL）算法。GossipGraD的突出特点是：1）将总体通信复杂性从充分研究的SGD中的p个计算节点的θ（log（p））降低到O（1），2）模型扩散，使得计算节点交换它们的更新（梯度）在每个log（p）步之后间接地，3）通信伙伴的旋转以便于梯度的直接扩散，4）在SGD中的前馈阶段期间异步分布式混洗样本以防止过拟合，5）异步梯度通信以进一步降低SGD和GossipGraD的通信成本。我们为GPU和CPU集群实现了GossipGraD，并使用NVIDIA GPU（Pascal P100）与InfiniBand连接，以及Intel Knights Landing（KNL）与Aries网络连接。我们使用经过充分研究的数据集ImageNet-1 K（~ 250 GB）和广泛研究的神经网络拓扑结构（如GoogLeNet和ResNet 50（ImageNet大规模可视化研究挑战赛（ILSVRC）的当前获胜者）来评估GossipGraD。我们使用KNL和Pascal GPU的性能评估表明，GossipGraD可以实现这些数据集及其相关的神经网络拓扑结构的完美效率。具体而言，对于ResNet 50，GossipGraD能够使用128个NVIDIA Pascal P100 GP…
2018-03-15 cs.DC cs.LG
Parameter estimation for partially observed second-order diffusion processes
针对仅观测位置的二阶扩散过程，本文修正标准随机梯度下降与 Kalman 滤波参数估计，消除驱动噪声时间相关导致的系统偏差，并可推广至最大似然方法。
2025-03-14 cs.NA math.NA math.ST
Sparse Diffusion Steepest-Descent for One Bit Compressed Sensing in Wireless Sensor Networks
Qom University of Technology（库姆理工大学）；Swinburne University of Technology（斯威本科技大学）；Sharif University of Technology（谢里夫理工大学）
提出了一种基于稀疏扩散的最速下降算法，用于无线传感器网络中的一比特压缩感知。该方法利用扩散策略从分布式学习的一位压缩感知框架。为了仅从测量的符号协作地估计公共稀疏向量，使用最速下降来最小化合适的全局和局部凸代价函数。提出了稀疏向量的分布式学习扩散策略。仿真结果表明，提出的分布式算法的有效性相比，国家的最先进的非分布式算法在一位压缩感知框架。
2016-01-03 cs.IT cs.LG math.IT
