An Efficient Algorithm For Generalized Linear Bandit: Online Stochastic Gradient Descent and Thompson Sampling
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑上下文强盗问题，其中玩家根据过去的观察依次做出决策，以最大化累积奖励。虽然已经提出了许多算法的上下文强盗，他们中的大多数依赖于找到最大似然估计在每次迭代，这需要$O(t)$时间在$t$-th迭代和内存效率低。解决这个问题的一种自然方法是应用在线随机梯度下降（SGD），以便每步时间和内存复杂度可以降低到相对于$t$恒定，但基于在线SGD更新的上下文强盗策略，平衡探索和利用仍然难以捉摸。在这项工作中，我们表明，在线SGD可以应用到广义线性强盗问题。所提出的SGD-TS算法使用单步SGD更新来利用过去的信息，并使用汤普森采样进行探索，实现了$\tilde{O}(\sqrt{T})$遗憾，总时间复杂度在$T$和$d$中线性缩放，其中$T$是总轮数，$d$是特征数。实验结果表明，SGD-TS始终优于现有的算法在合成和真实的数据集。
2021-06-05 cs.LG stat.ML
Online Robust Regression via SGD on the l1 loss
EPFL（洛桑联邦理工学院）
我们考虑在线设置中的鲁棒线性回归问题，其中我们可以以流式方式访问数据，一个数据点接一个数据点。更具体地，对于真实参数$θ^*$，我们考虑损坏的高斯线性模型$y = \langle x , \ θ^* \rangle + \varepsilon + b$，其中对抗性噪声$b$可以以概率$η$取任何值，否则等于零。我们认为这个对手是健忘的（即，独立于数据的$b$），因为这是唯一可能保持一致性的污染模型。目前的算法依赖于手头的全部数据，以便识别和删除离群值。相比之下，我们在这项工作中，随机梯度下降的$\ell_1$损失收敛到真正的参数向量在$\tilde{O}( 1 / (1 - η)^2 n )$率是独立的污染测量值。我们的证明依赖于优雅的平滑的非光滑$\ell_1$损失的高斯数据和一个经典的非渐近分析的Polyak-Ruppert平均SGD。此外，我们提供了实验证据的效率，这个简单的和高度可扩展的算法。
2020-07-01 cs.LG math.OC stat.ML
Time-Smoothed Gradients for Online Forecasting
Stevens Institute of Technology（史蒂文斯理工学院）
在这里，我们研究不同的更新规则，随机梯度下降（SGD）的在线预测问题。在SGD中，学习率参数的选择至关重要。然而，在在线学习中调整该参数可能不可行。因此，需要具有对学习参数的选择不敏感的更新规则。受我们之前介绍的局部遗憾度量的启发，我们建议在SGD更新中使用时间平滑梯度。使用公共数据集-GEFCom 2014，我们验证了我们的方法比其他现有的方法产生更稳定的结果。此外，我们表明，这样一个简单的方法是计算效率的替代品相比。
2019-05-21 cs.LG stat.ML
Non-Asymptotic Analysis of Online Local Private Learning with SGD
本研究针对在线本地差分隐私模型下的随机优化问题，提出了基于DP-SGD的估计器，并进行了全面的非渐近收敛分析，为超参数选择提供了实践指导，并通过数学推导和数值实验验证了方法的有效性。
2025-07-09 cs.LG stat.ME stat.ML
SGD momentum optimizer with step estimation by online parabola model
Jagiellonian University（雅盖隆大学）
在随机梯度下降中，特别是在神经网络训练中，目前主要的一阶方法是：不将局部距离建模为最小。最佳步长所需的这些信息由二阶方法提供，然而，它们有许多困难，从具有系数维数平方的全Hessian开始。本文提出了一个从成功的一阶动量法到二阶动量法的最小步骤：单方向在线抛物线建模：动量法的归一化$\hat{v}$。通过估计$\hat{v}$方向上的梯度$\vec{g}=\nabla F(\vecθ)$的线性趋势来完成：使得$g(\vecθ_\bot+θ\hat{v})\approx λ(θ-p)$用于$θ= \vecθ\cdot \hat{v}$、$g= \vec{g}\cdot \hat{v}$、$\vecθ_\bot=\vecθ-θ\hat{v}$。使用线性回归，$λ$、$p$是通过在所考虑的方向上仅更新四个平均值（$g$、$θ$、$gθ$、$θ^2$）来估计的MSE。指数移动平均线允许在这里进行廉价的在线估计，削弱了旧梯度的贡献。控制曲率的符号$λ$，我们可以从鞍排斥，而不是在标准牛顿方法中的吸引。在其余的方向：在二阶模型中不考虑，我们可以同时执行例如梯度下降。还讨论了其学习率近似为$μ=σ_θ/ σ_g$，允许例如自适应SGD -对于每个参数分别优化（二阶）学习率。
2019-12-09 cs.LG stat.ML
Improving SGD convergence by online linear regression of gradients in multiple statistically relevant directions
Jagiellonian University（雅盖隆大学）
深度神经网络通常使用随机梯度下降（SGD）进行训练，该算法使用非常粗略的梯度近似来最小化目标函数，仅对实际梯度进行平均。标准的方法，如动量或ADAM只考虑一个方向，并不试图从极值模型的距离-忽略了有价值的信息，从计算的梯度序列，往往停滞在一些次优的高原。二阶方法可以利用这些错过的机会，然而，除了遭受非常大的成本和数值不稳定性之外，由于忽略曲率的符号（作为Hessian的特征值），其中许多方法会吸引到次优点，如鞍点。无鞍牛顿法是解决这个问题的一个罕见的例子-将鞍吸引力变为排斥力，并被证明可以通过这种方式对最终值提供本质的改进。然而，它忽略了噪声，而建模二阶行为，专注于Krylov子空间的数值原因，并需要昂贵的特征分解。在保持SFN优势的情况下，提出了用于利用这些机会的廉价方式。二阶行为是一阶导数的线性依赖-我们可以用最小二乘线性回归从噪声梯度序列中最佳地估计它，在这里的在线设置中：用旧梯度的弱化权重。统计相关子空间由最近的噪声梯度的PCA建议-在在线设置中，它可以通过缓慢地将所考虑的方向旋转到新的梯度，逐渐用最近的统计相关取代旧的方向来实现。特征分解也可以在线执行：定期执行QR方法的步骤，以保持对角Hessian。在二阶建模子空间之外，我们可以同时执行梯度下降。
2023-03-13 cs.LG stat.ML
Distributed Online System Identification for LTI Systems Using Reverse Experience Replay
Northeastern University（东北大学）
线性时不变系统的辨识在控制和强化学习中起着重要的作用。渐近和有限时间离线系统辨识在文献中得到了很好的研究。对于在线系统辨识，最近提出了随机梯度下降与反向经验重放（SGD-RER）的思想，其中数据序列存储在多个缓冲器中，并且随机梯度下降（SGD）更新在每个缓冲器中向后执行以打破数据点之间的时间依赖性。受此启发，我们研究了分布式在线系统辨识的LTI系统在多智能体网络。我们认为代理商是相同的LTI系统，网络的目标是通过利用代理商之间的通信来联合估计系统参数。我们提出了DSGD-RER，一个分布式的SGD-RER算法的变种，并从理论上描述了改进的估计误差相对于网络的大小。我们的数值实验证明，随着网络规模的增长，估计误差的减少。
2022-09-15 cs.LG cs.SY eess.SY
High-dimensional scaling limits and fluctuations of online least-squares SGD with smooth covariance
本文在光滑协方差且不假设高斯性的条件下，将在线最小二乘 SGD 视为相互作用粒子系统，建立其高维标度极限与涨落，揭示迭代随噪声方差从弹道、扩散到纯随机的三阶段相变，并刻画低噪声下的无穷维 SDE 涨落及极限方程解的存在唯一性。
2024-04-03 math.OC math.PR math.ST
NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient Descent
The University of Sydney（悉尼大学）
多路数据分析已成为捕获存储在张量$\mathcal{X} \in \mathbb{R} ^{I_1 \times \dots \times I_N} $中的高阶数据集中的底层结构的重要工具。$CANDECOMP/PARAFAC$（CP）分解已被广泛研究并应用于通过$N$加载矩阵$A^{(1)}, \dots, A^{(N)}$来近似$\mathcal{X}$，其中$N$表示张量的阶。基于随机梯度下降（SGD）算法，提出了一种新的多路在线数据非凸问题CP分解求解器NeCPD。SGD在在线设置中非常有用，因为它允许我们在一个单步的步骤中更新$\mathcal{X}^{(t+1)}$。就全局收敛性而言，SGD算法在处理非凸问题时，存在许多鞍点。我们研究了Hessian矩阵来识别这些鞍点，然后尝试使用扰动方法来逃避它们，该方法在梯度更新步骤中添加了很少的噪声。我们进一步应用Nesterov的加速梯度（NAG）方法在SGD算法，以最佳地加快收敛速度和补偿海森计算延迟时间每历元。在结构健康监测领域使用基于实验室和现实生活中的结构数据集的实验评估表明，我们的方法提供了更准确的结果相比，现有的在线张量分析方法。
2020-03-18 cs.LG stat.ML
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Shanghai Key Laboratory for Contempo（上海市现代（暂未完整，按原文提取））
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差，提出统一框架推导最后迭代的尖锐收敛速率，并将网络宽度要求从指数降至多项式，缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Choosing the Sample with Lowest Loss makes SGD Robust
UT Austin（德克萨斯大学奥斯汀分校）
离群值的存在可能会显著扭曲通过随机梯度下降（SGD）训练的机器学习模型的参数。在本文中，我们提出了简单SGD方法的一个简单变体：在每一步中，首先选择一组k个样本，然后从这些样本中选择具有最小电流损耗的样本，并使用所选样本进行类似SGD的更新。Vanilla SGD对应于k = 1，即没有选择; k >= 2表示一种新算法，但它有效地最小化了非凸代理损失。我们的主要贡献是理论分析的鲁棒性的这一想法的ML问题，这是凸损失的总和，这些都与线性回归和小规模神经网络实验备份
2020-01-10 cs.LG stat.ML
Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator
针对含多个局部最小值的一般非凸目标，提出两种结合 SGD 与乘子 bootstrap 的在线统计推断方法，并证明置信区间渐近有效。
2023-06-03 math.ST stat.ME stat.ML
Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling
Columbia University（哥伦比亚大学）；Rutgers University（罗格斯大学）；Seoul National University（首尔国立大学）；McMaster University（麦克马斯特大学）
我们开发了一种新的方法在线推断的参数估计的Polyak-Ruppert平均过程的随机梯度下降（SGD）算法的向量。我们利用计量经济学中时间序列回归的见解，通过随机尺度构建渐近关键统计。我们的方法是完全可操作的在线数据，并严格支持的功能中心极限定理。我们提出的推理方法与现有方法相比具有几个关键优势。首先，检验统计量以仅SGD迭代的在线方式计算，并且可以在没有任何重新排序方法的情况下获得临界值，从而允许适合于大量在线数据的高效实现。其次，没有必要估计渐近方差和我们的推理方法被证明是强大的SGD算法在模拟实验中的调整参数的变化与合成数据。
2021-10-07 cs.LG econ.EM math.ST
Convergence of Online Adaptive and Recurrent Optimization Algorithms
我们证明了机器学习中使用的几个显着的梯度下降算法的局部收敛性，标准的随机梯度下降理论不直接适用。这包括，首先，用于递归模型和动态系统的在线算法，例如\emph{Real-time recurrent learning}（RTRL）及其计算上更轻的近似NoBackTrack和UORO;二是几种自适应算法，如RMSProp、在线自然梯度、Adam与$β^2\to 1$，尽管局部收敛是一个相对较弱的要求，但据我们所知，这些算法没有局部分析。这些算法的分析并不直接遵循标准随机梯度（SGD）理论。事实上，Adam在一些简单的情况下已经被证明缺乏局部收敛性\citep{j.2018on} .对于递归模型，在线算法在模型运行时修改参数，这进一步使简单SGD的分析复杂化。这些不同算法的局部收敛来自于在线学习动态系统的设置中的单个、更一般的假设集合。因此，这些结果可以涵盖其他变种的算法considered.We采用“遍历”，而不是概率的观点，工作经验的时间平均值，而不是概率分布。这与数据无关，并与标准SGD理论产生了差异，特别是对于可能的学习率范围。例如，在有限数据集上进行循环或按时期重新洗牌，而不是纯粹的i.i.d.。放回抽样，梯度的经验平均值以速率$1/T$而不是$1/\sqrt{T}$收敛（循环用作方差减小方法），理论上允许比SGD中更大的学习速率。
2021-01-08 math.DS math.OC stat.ML
Online covariance estimation for stochastic gradient descent under Markovian sampling
University of California San Diego（加州大学圣迭戈分校）；University of California, Davis（加州大学戴维斯分校）
该研究针对马尔可夫采样下的SGD提出在线重叠批均值协方差估计器，推导了匹配i.i.d场景最优水平的收敛速度，还得到SGD误差矩的相关结果，并通过数值实验和策略分类应用验证了方法的有效性。
2023-11-05 cs.LG math.OC math.ST
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Making SGD Parameter-Free
本文提出一种无参数随机凸优化算法，通过新型 SGD 步长选择凭证与时间一致集中结果，使收敛速度仅比已知参数最优速度差双对数因子。
2024-03-01 cs.LG math.OC stat.ML
Online ICA: Understanding Global Dynamics of Nonconvex Optimization via Diffusion Processes
Princeton University（普林斯顿大学）
解决统计学习问题通常涉及非凸优化。尽管非凸统计优化方法在经验上取得了成功，但它们的全局动态，特别是收敛到期望的局部极小值，在理论上仍然不太清楚。在本文中，我们提出了一个新的分析范式的基础上扩散过程的非凸统计优化的全局动力学特征。作为一个具体的例子，我们研究了随机梯度下降（SGD）的张量分解公式的独立成分分析。特别地，我们将SGD的不同相铸造成扩散过程，即，随机微分方程的解从一个不稳定的平衡初始化，SGD的全球动态过渡到三个连续的阶段：（i）一个不稳定的Ornstein-Uhlenbeck过程慢慢地离开初始化，（ii）一个常微分方程的解决方案，它迅速朝着理想的局部最小值，（iii）一个稳定的Ornstein-Uhlenbeck过程振荡周围的理想的局部最小值。我们的证明技术是基于Stroock和Varadhan的弱收敛的马尔可夫链扩散过程，这是独立的利益。
2018-08-29 cs.LG stat.ML
Understanding SGD with Exponential Moving Average: A Case Study in Linear Regression
University of California, Los Angeles（加州大学洛杉矶分校）
本文以高维线性回归为案例，建立带 EMA 的在线 SGD 风险界，证明其方差误差更小且偏差误差在各特征子空间指数衰减，并提出适用于多种平均方案的证明技术。
2025-02-19 cs.LG math.OC stat.ML
Homogenization of SGD in high-dimensions: Exact dynamics and generalization properties
我们建立了一个随机微分方程，称为均匀化SGD，用于分析随机梯度下降（SGD）的动力学与$\ell^2$ -正则化的高维随机最小二乘问题。我们证明了均匀化SGD是SGD的高维等价-对于任何二次统计量（例如，二次损失的总体风险），当样本个数$n$和特征数$d$多项式相关时（对于某些$c > 0$，为$d^c < n < d^{1/c}$），SGD迭代下的统计量收敛于均匀SGD下的统计量。通过对均匀化SGD的分析，我们给出了SGD推广性能的非渐近高维精确表达式，并将其表示为一个Volterra积分方程的解.此外，我们提供了在SGD训练时二次损失的情况下极限超额风险的精确值。该分析是针对满足一系列预解条件的数据矩阵和目标向量制定的，这些预解条件大致可以被视为数据的样本侧奇异向量的非局部化的弱（非定量）形式。提供了几个激励应用，包括具有独立样本的样本协方差阵和具有非生成模型目标的随机特征。
2022-05-14 math.OC math.PR math.ST
The Full Spectrum of Deepnet Hessians at Scale: Dynamics with SGD Training and Sample Size
Stanford University（斯坦福大学）
我们在现代高维数值线性代数中应用最先进的工具来有效地近似现代深度网络的Hessian谱，具有数千万个参数，在真实数据上训练。我们的研究结果证实了以前的研究结果，基于小规模的网络，黑森表现出“尖峰”的行为，从一个连续的散装孤立的几个离群值。我们将Hessian分解为不同的分量，并分别研究每个术语的训练和样本大小的动态。
2019-06-03 cs.LG stat.ML
Local SGD in Overparameterized Linear Regression
Technical University of Braunschweig（布伦瑞克工业大学）
我们考虑在多个设备上使用恒定步长SGD（DSGD）的分布式学习，每个设备将最终模型更新发送到中央服务器。在最后一步中，对局部估计进行汇总。我们证明了在设置过参数化线性回归一般上界与匹配的下界，并获得特定的数据生成分布的学习率。我们表明，超额风险的方差的顺序提供的本地节点的数量增长不太大的全球样本量。我们进一步比较了DSGD和分布岭回归（DRR）的样本复杂性，并证明了当两种样本复杂性为相同数量级时，SGD的超额风险小于RR的超额风险.
2022-10-20 cs.LG stat.ML
Optimality of the final model found via Stochastic Gradient Descent
研究了在无光滑性和严格凸性假设的情况下，随机梯度下降算法在凸目标下的收敛性质。我们考虑的问题，建立高概率的目标评估在候选极小返回SGD接近的最小值的目标。我们将关于最终候选最小值的结果（即在所有梯度步骤之后学习的最终模型参数）与[Zin03]的在线学习技术进行比较，该技术在SGD的不同步骤处获取模型参数的滚动平均值。
2018-10-22 cs.LG math.OC stat.ML
High-Probability Bounds for SGD under the Polyak-Lojasiewicz Condition with Markovian Noise
本文首次在Polyak-Lojasiewicz条件下为SGD提供统一时间的高概率界，考虑了含马尔可夫和martingale差分噪声的梯度噪声，扩展了有限时间保证的范围，并建立预期次优性的1/k衰减率。
2026-03-15 cs.LG cs.SY eess.SY
A Sieve Stochastic Gradient Descent Estimator for Online Nonparametric Regression in Sobolev ellipsoids
回归的目标是恢复一个未知的潜在函数，该函数将一组预测因子与噪声观测的结果最好地联系起来。在非参数回归中，假设回归函数属于预先指定的无限维函数空间（假设空间）。在在线设置中，当观测值以流的形式出现时，计算上优选迭代地更新估计值，而不是重复地重新调整整个模型。受非参数筛法估计和随机逼近方法的启发，当假设空间为Sobolev椭球时，提出了一种筛法随机梯度下降估计（Sieve-SGD）.我们证明了Sieve-SGD在一组简单而直接的条件下具有速率最优均方误差（MSE）。所提出的估计可以构建一个低的计算（时间和空间）费用：我们还正式表明，Sieve-SGD需要几乎最小的内存使用所有统计率最优估计。
2022-01-06 math.ST stat.ME stat.TH
Online Stochastic Gradient Descent with Arbitrary Initialization Solves Non-smooth, Non-convex Phase Retrieval
University of California, Berkeley（加州大学伯克利分校）；University of California, Irvine（加州大学欧文分校）
本文证明了恒定步长在线随机梯度下降可从任意初始化收敛于非光滑、非凸的振幅平方损失相位恢复问题，并引入摘要状态空间等随机过程理论新工具，为更广泛的非凸优化分析提供支持。
2019-10-28 cs.IT cs.LG cs.NA
Smoothing the Landscape Boosts the Signal for SGD: Optimal Sample Complexity for Learning Single Index Models
Princeton University（普林斯顿大学）；Duke University（杜克大学）
本文研究了各向同性高斯分布下单指数模型的学习问题，通过证明在平滑损失上使用在线SGD仅需$n \gtrsim d^{k^\star/2}$个样本即可学习目标参数，弥合了先前上下界之间的差距，并探讨了其与张量PCA及minibatch SGD隐式正则化的联系。
2023-05-18 cs.IT cs.LG math.IT
SGD in the Large: Average-case Analysis, Asymptotics, and Stepsize Criticality
Google Research（谷歌研究院）；McGill University（麦吉尔大学）
我们提出了一个新的框架，随机矩阵理论的启发，用于分析的动态随机梯度下降（SGD）时，样本个数和维度都很大。该框架适用于任何固定步长和有限和设置。使用这个新的框架，我们证明了随机数据的最小二乘问题上的SGD的动力学在大样本和维数限制下变得确定性。此外，限制动态由Volterra积分方程。该模型预测，SGD经历了一个明确给定的临界步长，最终影响其收敛速度，我们也验证了实验的相变。最后，当输入数据是各向同性的，我们提供了动力学和平均情况下的收敛速度（即，在所有可能的输入上平均的算法的复杂度）。这些比率显示出相对于最坏情况复杂性的显著改善。
2021-02-08 cs.LG math.OC math.PR
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University（纽约大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Purdue University（普渡大学）
本文提出了一种基于随机梯度下降的在线统计推断框架，通过逆概率权重提高估计效率，并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
Mixed-Sample SGD: an End-to-end Analysis of Supervised Transfer Learning
Columbia University（哥伦比亚大学）
本文提出一种混合样本SGD方法用于监督迁移学习，通过自适应源-目标采样机制在无需源质量先验知识的情况下避免负迁移，并在线性回归中证明其以1/√T速率收敛且性能自适应于源质量。
2025-07-06 cs.AI cs.LG stat.ML
Black Box Lie Group Preconditioners for SGD
Facebook（脸书）
提出了一种无矩阵和低秩近似预条件子，利用Hessian向量积或参数和梯度的有限差分中的曲率信息，加速随机梯度下降（SGD）算法的收敛，类似于BFGS算法.这两个预处理器都采用在线更新的方式，最小化了一个标准，该标准没有线搜索，对随机梯度噪声具有鲁棒性，并且进一步约束在某些连通李群上，以保持它们相应的对称性或不变性，例如，用具有正行列式的连通一般线性群确定坐标的方向。李群的等方差性质便于预处理器拟合，其不变性性质节省了任何阻尼的需要，这在二阶优化器中很常见，但难以调整。参数更新的学习率和预条件拟合的步长是自然归一化的，它们的默认值在大多数情况下都很好。
2022-11-08 cs.LG stat.ML
SGD Finds then Tunes Features in Two-Layer Neural Networks with near-Optimal Sample Complexity: A Case Study in the XOR problem
Stanford University（斯坦福大学）
该研究针对带ReLU激活的两层神经网络，证明用标准小批量SGD在逻辑损失下学习d维布尔超立方体上的XOR函数时，仅需Õ(d)样本即可达到o(1)总体误差，并揭示网络演化的信号发现与信号增强两阶段机制。
2023-10-02 cs.LG stat.ML
The Benefits of Implicit Regularization from SGD in Least Squares Problems
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
随机梯度下降（SGD）在实际应用中表现出很强的算法正则化效应，被认为在现代机器学习方法的推广中发挥了重要作用。在这项工作中，我们试图在更简单的线性回归设置（包括欠参数化和过参数化机制）中理解这些问题，我们的目标是对（非正则化）平均SGD提供的隐式正则化与岭回归的显式正则化进行基于实例的比较。对于一类广泛的最小二乘问题实例，（在高维环境中是自然的），我们表明：（1）对于每个问题实例和每个脊参数，（未正则化）SGD，当提供了比提供给脊算法的样本更多的样本时，一般化不比脊解决方案差（假设SGD使用调整的恒定步长）;（2）相反，存在最优调整岭回归需要比SGD二次更多的样本的情况（在这个广泛的问题类中），以便具有相同的泛化性能。两者合计，我们的研究结果表明，到对数因子，SGD的泛化性能总是不差于岭回归在广泛的overparameterized问题，事实上，可以更好地为一些问题的情况下。更一般地说，我们的结果表明，算法正则化具有重要的后果，即使在简单的（overparameterized）凸设置。
2022-07-11 cs.LG math.OC stat.ML
Full-Batch Gradient Descent Outperforms One-Pass SGD: Sample Complexity Separation in Single-Index Learning
Institute of Science and Technology Austria（奥地利科学与技术研究所）；Sung Kyun Kwan University（顺天妇女大学）；New York University and Flatiron Institute（纽约大学和Flatiron研究所）；University of Southern California（南加州大学）
研究单索引学习中全批量GD与单次SGD的样本复杂度差异，发现通过截断激活函数，全批量GD在n≃d样本时实现弱恢复，优于单次SGD的n≳d log d样本需求。
2026-06-05 cs.LG stat.ML
Convergence and Sample Complexity of SGD in GANs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们通过SGD提供了训练生成对抗网络（GANs）的理论收敛保证。我们考虑学习由1层生成器网络建模的目标分布，其中非线性激活函数$ϕ(\cdot)$由$d \times d$权重矩阵$\mathbf W_*$参数化，即，$f_*(\mathbf x) = ϕ(\mathbf W_* \mathbf x)$。我们的主要结果是，通过根据Goodfellow等人提出的随机梯度下降-上升迭代来训练生成器和鉴别器，产生接近$f_*$的目标分布的生成器分布。具体而言，我们可以使用$\tilde O(d^2/ε^2)$样本学习总变化距离$ε$内的目标分布，这是（近）信息理论上最优的。我们的研究结果适用于广泛的一类非线性激活函数$ϕ$，包括ReLU，并通过与截断统计和鉴别器网络的适当设计的连接。我们的方法依赖于一个双层优化框架，以表明香草SGDA的作品。
2020-12-01 cs.LG math.ST stat.TH
Online Learning-guided Learning Rate Adaptation via Gradient Alignment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出 GALA 框架，将学习率选择建模为一维在线学习问题，依据连续梯度对齐与局部曲率动态调节学习率，并给出非凸收敛保证与稳健实验效果。
2025-06-10 cs.LG math.OC stat.ML
Bypassing the Ambient Dimension: Private SGD with Gradient Subspace Identification
University of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
差分私人SGD（DP-SGD）是求解差分私人经验风险最小化（ERM）问题的最常用方法之一。由于其在每个梯度更新上的噪声扰动，DP-SGD的出错率与环境维度$p$（模型中的参数数量）成比例。这种依赖性对于过参数化模型可能是有问题的，其中$p \gg n$是训练样本的数量。现有的私营企业风险管理的下限表明，这种依赖$p$在最坏的情况下是不可避免的。在本文中，我们通过利用深度网络中梯度空间的低维结构来规避对环境维度的依赖-也就是说，深度网络的随机梯度通常在训练过程中停留在低维子空间中。我们提出了投影DP-SGD，通过将噪声梯度投影到低维子空间来进行降噪，该子空间由小型公共数据集上的顶部梯度特征空间给出。我们提供了一个一般的样本复杂性分析的公共数据集的梯度子空间识别问题，并证明了在某些低维假设下，公共样本的复杂性只增长在$p$。最后，我们提供了一个理论分析和实证评估表明，我们的方法可以大大提高DP-SGD在高隐私制度（对应于低隐私损失$ε$）的准确性。
2021-04-23 cs.CR cs.LG stat.ML
Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
在解决有限和最小化问题时，随机梯度下降（SGD）的两个常见替代方案具有理论上的优势，即随机重排（SGD-RR）和洗牌一次（SGD-SO），其中函数在循环中采样而不替换。在实验上成立的方便的随机噪声近似下，我们研究了SGD、SGD-RR和SGD-SO迭代的平稳方差，其首项按此顺序减少，并获得了简单的近似。为了得到我们的结果，我们研究了随机梯度噪声序列的功率谱密度。我们的分析扩展到SGD与动量和随机Nesterov的加速梯度法的SGD。我们在二次目标函数上进行实验，以检验我们的近似的有效性和我们的发现的正确性。
2022-06-01 cs.LG math.OC stat.ML
Robust and Fast Training via Per-Sample Clipping
Department of Mathematics University of Vienna（维也纳大学数学系）；University of Vienna（维也纳大学）；RICAM Austrian Academy of Sciences（奥地利科学院RICAM）
提出基于逐样本梯度裁剪的鲁棒梯度估计器PS-Clip-SGD，在重尾梯度噪声下达到非凸优化的最优期望收敛率，并给出高概率收敛保证。实验表明在CIFAR-100上训练AlexNet时优于SGD和标准裁剪，且微批裁剪可提升性能而不增加计算成本。
2026-06-24 cs.LG math.OC stat.ML
Streaming Linear System Identification with Reverse Experience Replay
Google AI Research Lab（谷歌人工智能研究实验室）；MIT（麻省理工学院）
我们考虑通过流算法从单个轨迹估计线性时不变（LTI）动力系统的问题，这在包括强化学习（RL）和时间序列分析在内的几个应用中都会遇到。虽然在{ \em offline}设置中充分研究了LTI系统估计问题，但实际上重要的流/在线设置很少受到关注。像随机梯度下降（SGD）这样的标准流方法不太可能工作，因为流点可能高度相关。在这项工作中，我们提出了一种新的流媒体算法，SGD与反向经验重放（$\mathsf{SGD}-\mathsf{RER}$），这是受RL文献中流行的经验重放（ER）技术的启发。$\mathsf{SGD}-\mathsf{RER}$将数据划分到小的缓冲区中，并对存储在各个缓冲区中的数据反向运行SGD。我们表明，该算法完全解构的依赖结构，并获得信息理论上的最佳保证参数误差和预测误差。因此，我们提供了第一-我们所知的-最佳SGD式算法的线性系统辨识的经典问题的一阶预言。此外，$\mathsf{SGD}-\mathsf{RER}$可以应用于更一般的设置，如具有已知稀疏模式的稀疏LTI识别和非线性动力系统。我们的工作表明，数据依赖结构的知识可以帮助我们设计统计和计算效率高的算法，可以“去相关”流样本。
2021-12-01 cs.LG math.OC stat.ML
Stochastic Gradient Descent in Continuous Time
连续时间随机梯度下降（SGDCT）为连续时间模型的统计学习提供了一种计算效率高的方法，广泛应用于科学、工程和金融领域。SGDCT算法遵循沿着连续数据流的（有噪声的）下降方向。SGDCT在连续时间内执行在线参数更新，其中参数更新$θ_t$满足随机微分方程。我们证明了$\lim_{t \rightarrow \infty} \nabla \bar g(θ_t) = 0$，其中$\bar g$是一个自然的目标函数的连续时间动态的估计。收敛性证明通过使用适当的泊松方程来帮助描述参数在大时间内的演化，从而利用遍历性。SGDCT也可以用来解决连续时间的最优化问题，如美式期权。对于某些连续时间问题，SGDCT相比传统的随机梯度下降算法有一些有前途的优势。作为一个示例应用，SGDCT与深度神经网络相结合，为高维美式期权（最多100维）定价。
2017-10-29 math.OC math.PR math.ST
Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality
University of Chicago（芝加哥大学）；University of California, Irvine（加利福尼亚大学欧文分校）
本文针对SGD提出通用加权平均方案，建立了加权平均SGD解的渐近正态性并提供在线推断方法，同时基于线性模型非渐近MSE最优权重设计了兼具最优统计速率与非渐近收敛性的自适应平均方案。
2025-04-06 cs.LG stat.ML
Rare Gate Disagreements Can Limit Plasticity: When Gradient Flow Mispredicts Finite-Batch SGD
City University of Hong Kong（香港城市大学）；Microsoft（微软公司）；NVIDIA Research（英伟达研究院）
该研究发现总体梯度流会错误预测有限批次SGD，在双单元ReLU回归任务中，小步长与长预训练的联合极限会导致在线SGD失效，需满足特定样本与批次大小条件才能恢复。
2026-10-09 cs.LG math.OC stat.ML
On the Power of Differentiable Learning versus PAC and SQ Learning
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Google Research（谷歌研究院）；Hebrew University of Jerusalem (HUJI)（耶路撒冷希伯来大学）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田理工学院）
我们研究了通过小批量随机梯度下降（SGD）对人口损失的学习能力，以及批量梯度下降（GD）对经验损失的学习能力，可微模型或神经网络，并询问使用这些范式可以学习什么学习问题。我们发现，SGD和GD总是可以模拟学习与统计查询（SQ），但他们的能力，超越依赖于精度$ρ$的梯度计算相对于小批量大小$b$（SGD）和样本大小$m$（GD）。相对于minibatch大小具有足够的精度，即当$b ρ$足够小时，SGD可以超越SQ学习并模拟任何基于样本的学习算法，因此其学习能力相当于PAC学习;这扩展了先前针对$b=1$实现该结果的工作。类似地，在相对于样本大小$m$具有足够精细的精度的情况下，GD还可以基于$m$样本来模拟任何基于样本的学习算法。特别是，在多项式多位精度的情况下（即，当$ρ$呈指数小时），SGD和GD都可以模拟PAC学习，而不管小批量大小如何。另一方面，当$b ρ^2$足够大时，SGD的功率等于SQ学习的功率。
2022-02-06 cs.LG stat.ML
Approximate Heavy Tails in Offline (Multi-Pass) Stochastic Gradient Descent
Inria Paris（巴黎国立信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；CMAP（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文研究有限数据下离线（多遍）SGD重尾现象的产生机制，证明其平稳分布具有近似幂律尾部，并给出随数据量增加向在线SGD收敛的非渐近Wasserstein界，揭示了离线SGD随数据增多而愈发呈现幂律行为的规律。
2023-10-27 cs.LG stat.ML
ADASS: Adaptive Sample Selection for Training Acceleration
Nanjing University（南京大学）
随机梯度下降（SGD）及其变体，包括一些加速变体，已成为机器学习中的热门训练。然而，在所有现有的SGD及其变体中，训练的每个迭代~（epoch）中的样本量与整个训练集的大小相同。在本文中，我们提出了一种新的训练加速方法，称为\underline{ada} patient \underline{s} example \underline{s} election~（ADASS）。在不同的训练时期，ADASS只需要访问不同的训练子集，这些训练子集是根据样本损失函数的Lipschitz常数自适应地从整个训练集中选择的。这意味着在ADASS中，通过丢弃一些样本，每个训练时期的样本量可以小于整个训练集的大小。ADASS可以与现有的优化方法（如SGD和momentum SGD）无缝集成，以实现训练加速。理论结果表明，ADASS的学习精度与具有完整训练集的同行相当。此外，在浅模型和深模型上的实验结果也表明，ADASS可以在不牺牲精度的情况下加速现有方法的训练过程。
2019-09-17 cs.LG stat.ML
SGD without Replacement: Sharper Rates for General Smooth Convex Functions
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
研究光滑凸函数的随机梯度下降算法{ \em without replacement}（\sgdwor）.广泛观察到\sgdwor比真正的\sgd收敛得更快，其中每个样本都是独立绘制的{ \em with replacement} \cite{bottou2009curiously}，因此在实践中更受欢迎。但它的收敛性还没有得到很好的理解，因为没有替换的采样导致迭代和梯度之间的耦合。利用可交换对的方法来限定Wasserstein距离，给出了\sgdwor应用于{ \em一般光滑强凸}函数时的第一个非渐近结果.特别是，我们表明，\sgdwor收敛速度为$O(1/K^2)$，而\sgd是已知的收敛速度为$O(1/K)$，其中$K$表示通过数据的数量，并需要{ \em足够大}。在这种情况下，\sgdwor的现有结果需要额外的{ \em Hessian Lipschitz假设} \cite{gurbuzbalaban2015random,haochen2018random}。对于{ \em small} $K$，我们证明了对于{ \em一般光滑强凸}函数，\sgdwor可以达到与\sgd相同的收敛速度.此设置中的现有结果需要$K=1$，并且仅适用于广义线性模型\cite{shamir2016without}。此外，通过仔细的耦合分析，无论是大的和小的$K$，我们得到更好的依赖于问题相关的参数…
2020-02-27 cs.LG math.OC stat.ML
Distributed Stochastic Optimization via Adaptive SGD
Stanford University（斯坦福大学）；Yahoo! Research（雅虎研究院）
随机凸优化算法是在大规模数据上训练机器学习模型的最流行的方法。扩大这些模型的训练过程是至关重要的，但最流行的算法，随机梯度下降（SGD），是一个串行方法，令人惊讶地难以并行化。在本文中，我们提出了一个有效的分布式随机最优化方法相结合的自适应性和方差减少技术。我们的分析产生了线性加速的机器，恒定的内存占用的数量，只有对数数量的通信轮。至关重要的是，我们的方法是一个黑盒简化，并行化任何串行在线学习算法，简化先验分析，并允许我们利用在设计自适应算法方面取得的重大进展。特别是，我们实现了最佳的收敛速度，没有任何先验知识的平滑参数，产生一个更强大的算法，减少了超参数调整的需要。我们在Spark分布式框架中实现了我们的算法，并在大规模逻辑斯谛回归问题上表现出显着的性能增益。
2018-10-29 cs.LG stat.ML
Cheap Bootstrap for Fast Uncertainty Quantification of Stochastic Gradient Descent
Columbia University（哥伦比亚大学）
本文提出两种计算成本低的重采样方法，用于构建随机梯度下降解的置信区间，通过改进的Berry-Esseen型界减少计算量，避免现有分批方法的复杂混合条件。
2026-03-31 cs.LG stat.ML
From Information to Generative Exponent: Learning Rate Induces Phase Transitions in SGD
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文研究SGD中学习率对样本复杂度的影响，揭示从信息指数到生成指数的相变，并提出双时间尺度逐层训练算法，表明学习率选择与算法设计同等重要。
2025-10-23 cs.LG stat.ML
On the Trajectories of SGD Without Replacement
Princeton University（普林斯顿大学）
本文研究了无放回SGD的隐式正则化效应，证明其期望轨迹可解耦为高曲率方向的有放回SGD和平坦方向的噪声协方差迹正则化，从而更快穿越平坦区并逃离鞍点，且在视觉任务中鼓励Hessian谱稀疏性。
2024-04-20 cs.LG math.OC stat.ML
Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses
Google Research（谷歌研究院）
针对DP-SGD最后迭代隐私核算的挑战，本研究放弃强假设，为循环采样、梯度裁剪的DP-SGD变体建立了基于小步长和利普希茨光滑性的RDP上界，提升了最后迭代隐私核算的实用性。
2025-02-10 cs.CR cs.DS cs.LG
Closing the convergence gap of SGD without replacement
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
无替换采样的随机梯度下降在实际中被广泛用于模型训练。然而，绝大多数SGD分析假设数据是通过替换采样的，并且当最小化的函数是强凸函数时，当SGD运行$T$迭代时，可以建立$\mathcal{O}\left(\frac{1}{T}\right)$速率。无替换SGD（SGDo）最近的一系列突破性工作建立了当最小化函数是强凸的并且是$n$光滑函数的和时的$\mathcal{O}\left(\frac{n}{T^2}\right)$收敛速率，以及二次和的$\mathcal{O}\left(\frac{1}{T^2}+\frac{n^3}{T^3}\right)$速率。另一方面，已知的最严格的下限假定了一个$Ω\left(\frac{1}{T^2}+\frac{n^2}{T^3}\right)$速率，从而在一般情况下有可能获得更好的SGDo收敛速率。在本文中，我们关闭这一差距，并表明，SGD没有更换时，达到$\mathcal{O}\left(\frac{1}{T^2}+\frac{n^2}{T^3}\right)$率的功能是一个二次的，并提供了一个新的下限$Ω\left(\frac{n}{T^2}\right)$的强凸函数，光滑函数的总和。
2020-07-09 cs.LG math.OC stat.ML
An improved convergence analysis for decentralized online stochastic non-convex optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文研究节点网络上分散在线随机非凸优化问题。在分散式随机梯度下降中集成一种称为梯度跟踪的技术，我们证明了所得到的算法GT-DSGD具有一定的理想特性，可以最小化光滑非凸函数的总和。特别是，对于一般光滑的非凸函数，我们建立了非渐近的GT-DSGD的特征，并推导出条件下，它实现网络无关的性能，匹配的集中minibatch SGD。相比之下，现有的结果表明，GT-DSGD总是依赖于网络，因此严格比集中式小批量SGD更差。当全局非凸函数另外满足Polyak-Lojasiewics（PL）条件时，我们证明了GT-DSGD算法在适当的常数步长下直到稳态误差是线性收敛的.此外，在随机逼近步长下，我们首次给出了在几乎每一条样本路径上的最优全局次线性收敛速度，以及期望的渐近最优次线性收敛速度.由于强凸函数是满足PL条件的函数的特殊情况，我们的结果不仅是立即适用，而且还改善了目前已知的最佳收敛速度和它们对问题参数的依赖性。
2020-12-29 cs.LG cs.MA cs.SY
