Scaling the Wild: Decentralizing Hogwild!-style Shared-memory SGD
IIIT-Delhi（德里英迪拉甘地信息技术学院）；Czech Technical University in Prague（布拉格捷克理工大学）
Hogwilld，由无锁的简单性驱动！是在共享内存设置上并行化SGD的一种常用方法。尽管它的流行和随之而来的扩展，如PASSM+，其中并发进程更新共享模型与分区梯度，扩展到分散的工人令人惊讶地相对未被探索。据我们所知，没有这样的方法的收敛理论，也没有系统的数值比较评估的速度。在本文中，我们提出了一个算法，将分散的分布式内存计算架构与每个节点运行多处理并行共享内存SGD本身。我们的方案是基于以下算法工具和功能：（a）异步本地梯度更新的共享内存的工人，（b）部分反向传播，（c）非阻塞就地平均的本地模型。我们证明了我们的方法保证遍历收敛速度的非凸目标。在实践方面，我们表明，所提出的方法具有提高吞吐量和竞争力的准确性标准图像分类基准上的CIFAR-10，CIFAR-100，和Imagenet数据集。我们的代码可在https://github.com/bapi/LPP-SGD上获得。
2022-03-13 cs.LG
Scaling Laws of SignSGD in Linear Regression: When Does It Outperform SGD?
Seoul National University（首尔国立大学）；KAIST（韩国科学技术院）；InnoCORE LLM University（InnoCORE LLM大学）；University of California, Davis（加州大学戴维斯分校）
本文研究了SignSGD在在线性回归中的缩放规律，揭示其在特定条件下优于SGD的机制。
2026-09-22 cs.AI cs.LG math.OC
A Solvable Model of Adaptive Learning Rate Rescaling: Acceleration, Stability & Scaling
Harvard University（哈佛大学）
本文通过可解模型研究归一化SGD中自适应学习率重缩放，揭示其加速与边际稳定性机制，并量化宽度和批量对资源缩放的影响。
2026-10-06 cond-mat.dis-nn cs.LG stat.ML
Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling
Columbia University（哥伦比亚大学）；Rutgers University（罗格斯大学）；Seoul National University（首尔国立大学）；McMaster University（麦克马斯特大学）
我们开发了一种新的方法在线推断的参数估计的Polyak-Ruppert平均过程的随机梯度下降（SGD）算法的向量。我们利用计量经济学中时间序列回归的见解，通过随机尺度构建渐近关键统计。我们的方法是完全可操作的在线数据，并严格支持的功能中心极限定理。我们提出的推理方法与现有方法相比具有几个关键优势。首先，检验统计量以仅SGD迭代的在线方式计算，并且可以在没有任何重新排序方法的情况下获得临界值，从而允许适合于大量在线数据的高效实现。其次，没有必要估计渐近方差和我们的推理方法被证明是强大的SGD算法在模拟实验中的调整参数的变化与合成数据。
2021-10-07 cs.LG econ.EM math.ST
Adaptive Step-Size Methods for Compressed SGD
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
压缩随机梯度下降（SGD）算法最近被提出来解决分布式和分散式优化问题中的通信瓶颈，例如在联邦机器学习中出现的那些。现有的压缩SGD算法假设使用非自适应步长（恒定或递减）来提供理论收敛保证。通常，步长在实践中根据数据集和学习算法进行微调，以提供良好的经验性能。这种微调在许多学习场景中可能是不切实际的，因此使用自适应步长来研究压缩SGD是有意义的。受先前工作的启发，SGD的自适应步长方法训练神经网络有效地在未压缩的设置，我们开发了一个自适应步长方法压缩SGD。特别是，我们引入了一个缩放技术的下降步骤压缩SGD，我们用它来建立秩序的最优收敛速度凸光滑和强凸光滑的目标下的插值条件和非凸目标下的强增长条件。我们还通过仿真例子表明，如果没有这种缩放，算法可能无法收敛。我们提出了针对真实世界数据集的深度神经网络的实验结果，并将我们提出的算法的性能与文献中先前提出的压缩SGD方法进行了比较，并在ResNet-18，ResNet-34和DenseNet架构上证明了CIFAR-100和CIFAR-10数据集在各种压缩级别上的性能改进。
2022-07-20 cs.LG stat.ML
Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight
School of Computer Science and Big Data, Minjiang University（闽江学院计算机科学与大数据学院）；School of Information, Renmin University of China（中国人民大学信息学院）；RMIT University（皇家墨尔本理工大学）
本文提出DP-PSASC，通过非单调自适应梯度缩放替代传统裁剪，并集成动量方法，以增强DP-SGD在隐私保护下的模型效用，尤其在处理小梯度时表现优越。
2024-11-05 cs.AI cs.LG
SGD in Multiclass Logistic Regression: Sequential Learning and Scaling Laws
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；New York University（纽约大学）；Flatiron Institute（熨斗研究所）；University of British Columbia（不列颠哥伦比亚大学）；Numurho
本研究分析多类逻辑回归在高维高斯混合模型上的SGD训练动态，揭示顺序学习现象，并推导出计算最优的缩放定律，将理论从线性回归扩展至多类分类。
2026-11-10 cs.LG stat.ML
Emergence and scaling laws in SGD learning of shallow neural networks
Princeton University（普林斯顿大学）；New York University（纽约大学）；Flatiron Institute（Flatiron研究所）
本文研究了各向同性高斯数据下两层神经网络的在线SGD学习复杂性，在宽网络机制下精确分析了SGD动力学，确定了恢复信号方向的转变时间，并刻画了幂律设置下MSE损失的标度律指数，揭示了大量神经元涌现学习曲线叠加导致平滑标度律。
2025-11-04 cs.LG stat.ML
Statistical inference using SGD
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM T.J. Watson Research Center, Yorktown Heights（IBM T.J. Watson 研究中心，约克镇高地）
我们提出了一种新的方法，频率统计推断$M$估计问题，随机梯度下降（SGD）的基础上，具有固定的步长：我们证明，这种SGD序列的平均值可以用于统计推断，经过适当的缩放。使用Ornstein-Uhlenbeck过程的直观分析表明，这样的平均值是渐近正态的。从实践的角度来看，我们的SGD为基础的推理过程是一个一阶的方法，非常适合于大规模的问题。为了展示其优点，我们将其应用于合成和真实数据集，并证明其准确性与经典统计方法相当，同时需要的计算量可能少得多。
2017-11-19 cs.AI cs.LG math.OC
Scaling Limits of Constant-Stepsize SGD at Flat Minima
Georgia Institute of Technology（佐治亚理工学院）
研究常步长随机梯度下降在平坦极小值处的缩放极限，通过分析由压缩驱动链生成马尔可夫噪声的SGD，证明其在特定距离下的收敛性，给出不同平坦指数下的收缩因子及小步长缩放极限，揭示了与强凸情况不同的行为。
2026-07-21 cs.LG math.OC math.PR
TAN Without a Burn: Scaling Laws of DP-SGD
École polytechnique（巴黎综合理工学院）；Meta AI
本研究解耦了噪声训练的隐私分析与实验行为，发现隐私预算仅取决于总噪声量（TAN），并推导出DP-SGD的缩放定律，使超参数优化计算预算减少100倍以上，在ImageNet上以epsilon=8实现9个百分点的精度提升。
2023-05-24 cs.CR cs.LG stat.ML
Effective continuous equations for adaptive SGD: a stochastic analysis view
Dipartimento di Matematica, Università di Pisa（数学系，比萨大学）；Scuola Normale Superiore（高等师范大学）
本文在小学习率下分析自适应SGD方法，利用随机修正方程推导有效连续动力学，发现采样噪声表现为独立布朗运动，并刻画了学习率与超参数的缩放规则。
2025-09-25 cs.LG math.PR stat.ML
Strength of Minibatch Noise in SGD
The University of Tokyo（东京大学）
随机梯度下降（SGD）中的噪声由小批量采样引起，尽管它在深度学习中具有实际重要性，但人们对其了解甚少。这项工作提出了第一个系统的研究SGD噪声和波动接近局部最小值。本文首先对线性回归中的SGD噪声进行了详细的分析，然后导出了在不同类型的极小值下近似SGD噪声的一般公式。对于应用，我们的结果（1）提供了对训练神经网络的稳定性的洞察，（2）表明大的学习率可以通过引入隐式正则化来帮助推广，（3）解释为什么线性学习率-批量缩放定律在大学习率或小批量时失败，以及（4）可以提供对离散程度的理解-SGD的时间性质影响了最近发现的SGD幂律现象。
2022-03-08 cs.LG stat.ML
Improved Scaling Laws in Linear Regression via Data Reuse
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文证明在数据受限的线性回归中，通过多遍SGD重用数据（L>N）可达到比单遍SGD更低的测试误差，从而改进缩放定律。
2025-09-25 cs.LG math.ST stat.ML
Learning quadratic neural networks in high dimensions: SGD dynamics and scaling laws
New York University（纽约大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Flatiron Institute（弗莱提伦研究所）
本文研究了高维空间中两层二次神经网络的SGD动态及缩放规律，通过分析矩阵Riccati微分方程和单调性论证，推导了预测风险的缩放定律。
2025-12-31 cs.LG stat.ML
Statistical Inference for Linear Functionals of Online Least-squares SGD when $t \gtrsim d^{1+δ}$
Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）；Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文为在线最小二乘 SGD 的线性泛函建立非渐近 Berry--Esseen 界，证明在 $t \gtrsim d^{1+δ}$ 时 CLT 成立，并提出在线方差估计器，实现近最优缩放下的高效置信区间构建。
2025-10-22 cs.LG math.ST stat.ML
Elastic Gossip: Distributing Neural Network Training Using Gossip-like Protocols
分布式神经网络训练因以下几个原因而受到特别关注，包括使用计算集群进行扩展，在物联网设备和边缘服务器等数据源进行训练，跨异构环境利用未充分利用的资源等。大多数当代方法主要使用计算集群解决扩展问题，需要高网络带宽和频繁的通信。本文概述了分布式训练的标准方法，并提出了一种新的技术，涉及使用Gossip类协议的成对通信，称为弹性Gossip。这种方法建立在一种称为弹性平均SGD（EASGD）的现有技术之上，并且类似于另一种称为Gossiping SGD的技术，该技术也使用类似Gossip的协议。使用MNIST数字识别和CIFAR-10分类任务，使用跨越多层感知器（MLP）和卷积神经网络（CNN）的常用神经网络架构，对Elastic Gossip与Gossiping SGD进行经验评估。结果发现，弹性流言，流言SGD，和所有减少SGD执行相当的，即使后者需要一个更高的通信成本。虽然Elastic Gossip在这些实验中的表现优于Gossiping SGD，但有可能在特定于给定应用程序的超参数空间上进行更彻底的搜索，可能会产生比Elastic Gossip更好的Gossiping SGD配置。
2018-12-06 cs.DC cs.LG stat.ML
No More Adam: Learning Rate Scaling at Initialization is All You Need
University of Warwick（华威大学）；Collov Labs（科洛弗实验室）
本文提出 SGD-SaI，一种在初始化时按梯度信噪比缩放学习率的简单 SGD 增强方法，无需自适应动量，内存减半，并在 Transformer 任务中匹配或超越 AdamW。
2024-12-17 cs.AI cs.LG
$\mathcal{G}$-SGD: Optimizing ReLU Neural Networks in its Positively Scale-Invariant Space
Microsoft Research Asia（微软亚洲研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）
众所周知，具有整流线性单元（ReLU）激活函数的神经网络是正尺度不变的。传统的算法，如随机梯度下降优化神经网络在向量空间的权重，这是，然而，不是积极的规模不变。这种不匹配可能导致优化过程中出现问题。那么，一个自然的问题是：\emph{can we construct a new vector space that is positively scale-invariant and sufficient to represent ReLU neural networks so as to better facilitate the optimization process }？在本文中，我们提供了我们的肯定回答这个问题。首先，我们对正标度算子进行了形式化的研究，这些正标度算子形成了一个变换群，记为$\mathcal{G}$。我们证明了神经网络中路径的值（即沿着路径的权值的乘积）对正标度是不变的，并证明了所有路径的值向量在温和的条件下足以表示神经网络.其次，我们证明了在正标度群下，可以从所有的路中识别出一些基路，并证明了它们的值向量的线性跨度（记为$\mathcal{G}$ -空间）是一个低维不变空间.最后，我们设计了$\mathcal{G}$ -空间中的随机梯度下降算法（简称$\mathcal{G}$ -SGD），利用反向传播技术，以较小的额外代价优化神经网络的基路径值向量。我们的实…
2021-03-23 cs.LG stat.ML
DTN: A Learning Rate Scheme with Convergence Rate of $\mathcal{O}(1/t)$ for SGD
本文有一些不一致的结果，即，我们提出了一些失败的主张，因为我们在使用一系列测试标准时犯了一些错误。确切地说，我们在定理1、推论1、定理2和推论2中关于SGD的$\mathcal{O}(1/t)$的收敛速度的声明是错误的，因为它们是基于引理5的。在引理5中，我们没有正确地使用序列的检验准则。因此，引理5的结果是无效的。我们要感谢社区指出这个错误！
2019-02-28 cs.LG math.OC stat.ML
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney（悉尼大学）
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解，推导了草图线性回归中小批量大小的缩放定律，揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
Random Scaling and Momentum for Non-smooth Non-convex Optimization
Boston University（波士顿大学）
本文提出通过在SGDM中引入指数分布随机缩放实现非凸非光滑优化的最优收敛性，扩展了传统凸光滑优化的分析框架。
2026-03-13 cs.LG math.OC
Overlap Local-SGD: An Algorithmic Approach to Hide Communication Delays in Distributed SGD
Carnegie Mellon University（卡内基梅隆大学）
分布式随机梯度下降（SGD）对于将机器学习算法扩展到大量计算节点是必不可少的。然而，基础设施的变化，如高通信延迟或随机节点减速极大地阻碍了分布式SGD算法的性能，特别是在无线系统或传感器网络。在本文中，我们提出了一种算法方法，名为重叠本地SGD（及其动量变体）重叠的通信和计算，以加快分布式训练过程。这种方法也有助于减轻离散效应。我们通过在每个节点上添加锚模型来实现这一点。在多次本地更新之后，本地训练的模型将被拉回到同步的锚模型，而不是与其他模型通信。在CIFAR-10数据集上训练深度神经网络的实验结果证明了Overlap-Local-SGD的有效性。我们还提供了一个非凸目标函数下的算法的收敛性保证。
2020-02-21 cs.DC cs.LG math.OC
Accelerating SGD with momentum for over-parameterized learning
The Ohio State University（俄亥俄州立大学）
Nesterov SGD被广泛用于训练现代神经网络和其他机器学习模型。然而，其相对于SGD的优势尚未在理论上阐明。事实上，正如我们在我们的论文中所示，无论是理论上还是经验上，Nesterov SGD与任何参数选择一般不会提供普通SGD的加速。此外，Nesterov SGD可以发散步长，以确保普通SGD的收敛。这与确定性场景中的经典结果相反，其中相同的步长确保Nesterov方法在最优梯度下降上的加速收敛。为了解决非加速问题，我们向Nesterov SGD引入补偿条款。由此产生的算法，我们称之为MaSS，收敛相同的步长为SGD。我们证明了在线性环境下，对于任何小批量，MaSS都能获得比SGD更快的收敛速度。对于整批，MaSS的收敛速度与众所周知的Nesterov方法的加速速度相匹配。我们还分析了收敛速度和最优超参数对小批量大小的依赖性的实际重要问题，展示了三种不同的制度：线性缩放，收益递减和饱和。针对深度网络的几种标准架构（包括ResNet和卷积网络）对MaSS进行的实验评估显示，其性能优于SGD、Nesterov SGD和Adam。
2019-09-27 cs.LG stat.ML
SGD: General Analysis and Improved Rates
Télécom Paris Tech（巴黎电信学院）；University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们提出了一个一般而简单的定理描述任意采样范式下的SGD的收敛性。我们的定理描述了一个无限阵列的SGD变量的收敛性，其中每个变量都与一个特定的概率定律相关联，该概率定律支配用于形成小批量的数据选择规则。这是第一次进行这样的分析，我们的大多数SGD变体在文献中从未明确考虑过。我们的分析依赖于最近推出的预期平滑的概念，并不依赖于一个统一的约束的随机梯度的方差。通过将我们的定理专门化到不同的小批量策略，例如替换抽样和独立抽样，我们推导出步长作为小批量大小的函数的精确表达式。有了这个，我们还可以确定优化总复杂度的小批量大小，并明确表明，随着最小值处评估的随机梯度的方差的增长，最佳小批量大小也会增长。对于零方差，最佳小批量大小为1。此外，我们证明了有见地的步长切换规则，它描述了当一个人应该从一个常数切换到一个逐步减少的步长制度。
2019-05-01 cs.LG math.OC stat.ML
Strong Gaussian Approximation of Constant Learning Rate SGD: Bias and Trajectory Inference
University of Chicago（芝加哥大学）
本文针对重尾噪声下的常学习率SGD，构建KMT型强高斯近似，推导相关界与定理，提出Burn in方案和Richardson-Romberg外推法，将其应用于风险控制与同步推断并通过模拟验证。
2026-10-15 cs.LG stat.ML
A Mean Field View of the Landscape of Two-Layers Neural Networks
Stanford University（斯坦福大学）
多层神经网络是机器学习中最强大的模型之一，但这种成功的根本原因却无法从数学上理解。学习神经网络需要优化一个非凸的高维目标（风险函数），这是一个通常使用随机梯度下降（SGD）攻击的问题。SGD收敛于风险的全局最优值还是局部最优值？在第一种情况下，发生这种情况是因为局部极小值不存在，还是因为SGD以某种方式避免了它们？第二，为什么SGD算法所达到的局部极小值具有良好的推广性能？在本文中，我们考虑一个简单的情况下，即两层神经网络，并证明-在一个合适的缩放限制- SGD动态捕获的一定的非线性偏微分方程（PDE），我们称之为分布动力学（DD）。然后，我们考虑几个具体的例子，并显示如何DD可以用来证明收敛的SGD网络与理想的泛化误差。这种描述允许“平均化”神经网络景观的一些复杂性，并且可以用于证明噪声SGD的一般收敛结果。
2018-08-28 cond-mat.stat-mech cs.LG math.ST
AdaScale SGD: A User-Friendly Algorithm for Distributed Training
Apple（苹果公司）
当使用大批量训练来加速随机梯度下降时，学习率必须适应新的批量大小，以最大限度地提高速度并保持模型质量。重新调整学习率是资源密集型的，而固定的缩放规则往往会降低模型质量。我们提出了AdaScale SGD，这是一种可靠地将学习率适应大批量训练的算法。通过不断适应梯度的变化，AdaScale自动实现了各种批量大小的加速。我们用AdaScale的收敛界来正式描述这种质量，它保持最终的目标值，即使批量大小变大，迭代次数减少。在实证比较中，AdaScale的训练远远超出了流行的“线性学习率缩放”规则的批量大小限制。这包括机器翻译、图像分类、目标检测和语音识别任务的无模型降级的大批量训练。AdaScale的定性行为类似于“热身”行为，但与热身不同的是，这种行为是从原则性机制中自然出现的。该算法引入的计算开销可以忽略不计，并且没有新的超参数，这使得AdaScale成为实际大规模训练的有吸引力的选择。
2020-07-09 cs.LG stat.ML
Communication-Efficient Distributed SGD with Error-Feedback, Revisited
Ton Duc Thang University（孙德胜大学）；Meiji University（明治大学）；NICT（日本国立信息通信技术研究所）；National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
我们证明了最近一种名为dist-EF-SGD的分布式随机梯度下降算法的收敛性证明，该算法使用Zheng等人的错误反馈进行通信效率。（NeurIPS 2019）在数学上存在问题。具体地说，原来的误差界的任意序列的学习率是不幸的是不正确的，导致无效的上界的收敛定理的算法。作为证据，我们明确地提供了几个反例，凸和非凸的情况下，显示的误差界的不正确性。我们通过提供一个新的误差界及其相应的证明来解决这个问题，从而为dist-EF-SGD算法提供一个新的收敛定理，并因此恢复其数学分析。
2021-05-10 cs.LG math.OC
Linearly Converging Error Compensated SGD
MIPT（莫斯科物理技术学院）；Yandex（俄罗斯搜索引擎公司）；Sirius（天狼星）；KAUST（阿卜杜拉国王科技大学）
在本文中，我们提出了一个统一的分析与任意压缩和延迟更新的分布式SGD的变种。我们的框架是通用的，足以涵盖不同的变种量化SGD，错误补偿SGD（EC-SGD）和SGD与延迟更新（D-SGD）。通过一个单一的定理，我们推导出所有适合我们框架的方法的复杂性结果。对于现有的方法，该定理给出了最著名的复杂性结果。此外，使用我们的一般计划，我们开发了新的变体的SGD，结合方差减小或任意采样与误差反馈和量化，并获得这些方法的收敛速度击败国家的最先进的结果。为了说明我们的框架的强度，我们开发了16种新方法。特别是，我们提出了第一种方法称为EC-SGD-DIANA，这是基于有偏压缩算子的误差反馈和梯度差的量化，并证明了收敛保证，表明EC-SGD-DIANA收敛到精确的最优期望与恒定的学习率为凸和强凸的目标时，工人计算其损失函数的全梯度。此外，对于工人的损失函数为有限和形式的情况，我们对该方法进行了改进，得到了一种新的EC-LSVRG-DIANA方法，它是第一种具有误差反馈和方差缩减的分布式随机方法，在恒定的学习速率下，渐近期望收敛到精确的最优解。
2020-10-23 cs.LG math.OC
Efficient Distributed SGD with Variance Reduction
University of Maryland, College Park（马里兰大学学院市分校）
随机梯度下降（SGD）已经成为在大规模数据集上训练机器学习模型的最流行的优化方法之一。然而，SGD具有两个主要缺点：（i）噪声梯度更新具有高方差，这在迭代接近最优时减慢了收敛，以及（ii）SGD在分布式设置中的扩展性差，通常随着工人数量的增加而经历快速降低的边际效益。在本文中，我们提出了一种高度并行的方法，CentralVR，它使用错误校正来减少SGD梯度更新的方差，并随着工作节点的数量线性扩展。CentralVR具有较低的迭代复杂度，可证明的线性收敛速度，并在大规模数据集上表现出高达数百个核心的线性性能增益。我们在各种模型和数据集上将CentralVR与最先进的并行随机优化方法进行了比较，发现我们提出的方法比其他SGD变体具有更强的扩展性。
2017-04-07 cs.DC cs.LG math.OC
Can Single-Shuffle SGD be Better than Reshuffling SGD and GD?
Massachusetts Institute of Technology（麻省理工学院）
我们提出了矩阵范数不等式，通过补充另一个不等式来扩展Recht-Ré（2012）关于非交换AM-GM不等式的猜想，该不等式解释了单次洗牌，这是一种广泛使用的无替换抽样方案，在开始时只洗牌一次，在Recht-Ré猜想中被忽略。而不是一般的半正定矩阵，我们限制我们的注意力，正定矩阵足够小的条件数，这是更相关的矩阵中出现的SGD分析。对于这样的矩阵，我们推测对应于SGD的有替换和无替换变体的矩阵乘积的均值满足一系列谱范数不等式，这些不等式可以概括为：“单洗牌SGD比随机洗牌SGD收敛得更快，随机洗牌SGD又比有替换SGD收敛得更快。“我们提出的定理，支持我们的猜想证明几个特殊情况。
2021-03-12 cs.LG math.OC
Stochastic gradient descent with noise of machine learning type. Part II: Continuous time analysis
Texas A&M University（德克萨斯A&M大学）
人工神经网络的函数表示依赖于大量的非线性参数。通过最小化“损失函数”，通常通过随机梯度下降（SGD）或基于SGD的高级算法，找到这些的合适参数。在一个连续时间模型的SGD噪声，遵循“机器学习缩放”，我们表明，在一定的噪声制度，优化算法更喜欢“平坦”的最小值的目标函数在某种意义上是不同的平坦的最小值选择连续时间SGD均匀的噪声。
2021-09-15 cs.LG math.AP stat.ML
CProp: Adaptive Learning Rate Scaling from Past Gradient Conformity
Chulalongkorn University（朱拉隆功大学）
包括随机梯度下降（SGD）及其自适应梯度导数的大多数优化器面临相同的问题，其中训练期间的有效学习率差异很大。学习率调度，主要是调整的手，通常在实践中使用。在本文中，我们提出了CProp，梯度缩放方法，它作为第二级学习率适应整个训练过程的基础上，从过去的梯度一致性线索。当过去的梯度在方向上一致时，CProp保持原始的学习率。相反，如果梯度方向不一致，CProp会根据梯度的不确定性按比例缩小梯度。由于它通过缩放来工作，因此它可以应用于任何现有的优化器，以扩展其学习率调度能力。我们对CProp进行了一系列测试，显示SGD和Adam等自适应梯度方法的训练速度都有显着提高。代码可在https://github.com/phizaz/cprop上获得。
2019-12-24 cs.LG stat.ML
On the Validity of Modeling SGD with Stochastic Differential Equations (SDEs)
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
人们普遍认为，与无穷小LR相比，有限学习率（LR）对于现实生活中的深度网络中的良好泛化是重要的。大多数尝试的解释提出用伊藤随机微分方程（PDE）近似有限LR SGD，但这种近似的正式理由（例如，(Li例如，2019））仅适用于具有微小LR的SGD。近似的实验验证在计算上似乎是不可行的。目前的文件澄清了图片与以下贡献：（a）一个有效的模拟算法SVAG，可证明收敛到传统使用的伊藤逼近。(b)一个理论上激发的可测试的必要条件，为近似和它的最著名的含义，线性缩放规则（戈亚尔等人，2017年），保持。(c)使用此模拟的实验证明，先前提出的ESTA近似可以有意义地捕获常见深度网络的训练和泛化特性。
2021-06-16 cs.LG stat.ML
Sharp Gaussian approximations for Decentralized Federated Learning
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
本文提出两种广义Gaussian近似结果，用于局部SGD，以提供更稳健的统计保证，并通过模拟验证理论结果。
2026-05-07 cs.LG math.ST stat.ML
Label Noise SGD Provably Prefers Flat Global Minimizers
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
在过参数化模型中，随机梯度下降（SGD）中的噪声隐式地正则化优化轨迹并确定SGD收敛到哪个局部最小值。受实证研究的启发，这些研究表明，使用带噪声的标签进行训练可以提高泛化能力，我们研究了带有标签噪声的SGD的隐式正则化效果。我们发现，SGD与标签噪声收敛到一个固定点的正则化损失$L(θ) +λR(θ)$，其中$L(θ)$是训练损失，$λ$是一个有效的正则化参数，取决于步长，标签噪声的强度，和批量大小，和$R(θ)$是一个明确的正则化惩罚尖锐的极小。我们的分析揭示了一个额外的正则化效果的大学习率超出了线性缩放规则，惩罚大的特征值的海森比小的。我们还证明了一般损失函数的分类扩展，动量的SGD和一般噪声协方差的SGD，显着加强了Blanc等人的工作。全局收敛和大学习率和HaoChen等人。一般模型。
2021-12-04 cs.IT cs.LG math.IT
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
Facebook（Facebook（脸书））
深度学习因大型神经网络和大型数据集而蓬勃发展。然而，更大的网络和更大的数据集导致更长的训练时间，阻碍了研究和开发的进展。分布式同步SGD通过将SGD小批划分到一个并行工作者池上，为这个问题提供了一个潜在的解决方案。然而，为了使这个方案有效，每个工作者的工作量必须很大，这意味着SGD minibatch大小的不平凡的增长。在本文中，我们通过经验证明，在ImageNet数据集上，大的小批量会导致优化困难，但当这些问题得到解决时，经过训练的网络表现出良好的泛化能力。具体来说，我们在使用高达8192张图像的大型小批量训练时没有表现出准确性损失。为了实现这一结果，我们采用了一个超参数的线性缩放规则来调整学习率作为小批量大小的函数，并开发了一个新的预热方案，克服了早期训练中的优化挑战。通过这些简单的技术，我们基于Caffe 2的系统在一个小时内在256个GPU上训练了8192个小批量大小的ResNet-50，同时匹配小批量精度。使用商品硬件，我们的实现了约90%的扩展效率时，从8到256 GPU。我们的研究结果使得在互联网规模的数据上高效地训练视觉识别模型成为可能。
2018-04-30 cs.CV cs.DC cs.LG
Central Limit Theorems for Stochastic Gradient Descent Quantile Estimators
Department of Statistics, University of Chicago（芝加哥大学统计系）；Department of Statistics and Data Science, Washington University in St. Louis（圣路易斯华盛顿大学统计与数据科学系）
本文针对常学习率SGD分位数估计，利用马尔可夫链理论证明其平稳分布随学习率趋于零时收敛到高斯分布，首次给出CLT型理论保证，并提出置信区间递归算法。
2026-06-12 cs.LG stat.ML
Limit Theorems for Stochastic Gradient Descent in High-Dimensional Single-Layer Networks
Department of Statistics and Actuarial Science, University of Waterloo（统计与精算科学系，滑铁卢大学）
本文研究了在线随机梯度下降在高维下的极限行为，揭示了步长临界尺度下有效动力学的确定性极限与新修正项对相图的影响，展示了信息指数对样本复杂度的控制作用。
2026-07-24 cs.LG math.PR math.ST
Covariance Estimators for the ROOT-SGD Algorithm in Online Learning
Georgia Institute of Technology（佐治亚理工学院）
在线学习自然出现在许多统计和机器学习问题中。在线学习中最广泛使用的方法是随机一阶算法。在这个系列的算法中，有一个最近开发的算法，递归一过T SGD（ROOT-SGD）。ROOT-SGD的优点在于它以非渐近快的速率收敛，并且其估计量进一步收敛到正态分布。然而，这种正态分布具有未知的渐近协方差，因此不能直接应用于测量不确定性。为了填补这一空白，我们开发了两个估计的渐近协方差的ROOT-SGD。我们的协方差估计是有用的统计推断在ROOT-SGD。我们的第一个估计器采用了插件的思想。对于渐近协方差公式中的每一个未知分量，我们用它的经验对应物来代替它。插入式估计器以速率$\mathcal{O}(1/\sqrt{t})$收敛，其中$t$是样本量。尽管其快速收敛，但插件估计器具有依赖于损失函数的Hessian的局限性，这在某些情况下可能不可用。我们的第二个估计量是克服上述限制的无Hessian估计量。Hessian-free估计使用随机尺度技术，我们证明了它是真实协方差的渐近相合估计量。
2022-12-02 cs.LG stat.ML
Entropy-SGD optimizes the prior of a PAC-Bayes bound: Generalization properties of Entropy-SGD and data-dependent priors
Vector Institute（向量研究所）
我们表明，熵SGD（Chaudhari等人，2017），当被视为一种学习算法时，优化了吉布斯（后验）分类器风险的PAC-Bayes界限，即，一个随机化的分类器获得的风险敏感扰动的权重的学习分类。熵-SGD通过优化边界的先验来工作，违反了PAC-贝叶斯定理的假设，即先验是独立于数据选择的。事实上，Entropy-SGD的可用实现在随机标签上快速获得零训练误差，并与Gibbs后验保持相同。为了得到一个有效的泛化界，我们依赖于一个结果表明，由随机梯度Langevin动力学（SGLD）获得的数据相关先验产生有效的PAC-Bayes界，提供的目标分布的SGLD是ε-差分私有的。我们观察到，MNIST和CIFAR 10的测试误差落在（经验非空）的风险范围内计算的假设下，SGLD达到平稳。特别是，熵-SGLD可以配置为产生相对紧密的泛化界，并且仍然适合真实标签，尽管这些相同的设置无法获得最先进的性能。
2019-04-19 cs.LG stat.ML
The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究AdaGrad-Norm的收敛速度作为自适应随机梯度方法（SGD）的一个范例，其中步长根据观察到的随机梯度变化，以最小化非凸，光滑的目标。尽管他们的流行，自适应SGD的分析落后于非自适应方法在这种情况下。具体地说，所有先前的工作都依赖于以下假设的某个子集：（i）均匀有界的梯度范数，（ii）均匀有界的随机梯度方差（甚至噪声支持），（iii）步长和随机梯度之间的条件独立性。在这项工作中，我们表明，AdaGrad-Norm表现出$\mathcal{O}\left(\frac{\mathrm{poly}\log(T)}{\sqrt{T}}\right)$阶最优收敛速度的$T$迭代后，最优调谐非自适应SGD（无界梯度范数和仿射噪声方差缩放）相同的假设下，关键的是，不需要任何调整参数。因此，我们建立自适应梯度方法表现出更广泛的制度比以前理解的顺序最优收敛。
2022-07-25 cs.LG math.OC stat.ML
Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；New York University（纽约大学）；Flatiron Institute（Flatiron研究所）
本文研究了谱优化器在关联记忆问题中的性能，发现Muon的存储容量显著超过SGD，且在仅使用一阶信息时可与牛顿法匹配。通过实验验证了预测的扩展规律，为更实际的语言建模任务提供了理论基础。
2026-04-28 cs.LG stat.ML
Scaling Distributed Training with Adaptive Summation
Microsoft Research（微软研究院）；Microsoft（微软）
随机梯度下降（SGD）是一种固有的顺序训练算法--在批量$i$中计算梯度取决于从批量$i-1$中学习的模型参数。打破这种依赖性的现有方法不尊重它们（例如，对每个批次的梯度求和，这不是顺序SGD将做的），并且因此潜在地遭受差的收敛。本文介绍了一种新的方法来结合梯度称为Adasum（自适应总和），收敛速度比以前的工作。Adasum易于实现，几乎与简单的梯度求和一样高效，并且集成到开源工具包Horovod中。本文首先提供了一个正式的理由Adasum，然后实证证明Adasum是更准确的比以前的梯度累积方法。然后介绍了一系列案例研究，以展示Adasum与多个框架（TensorFlow和PyTorch）一起工作，将多个优化器（Momentum-SGD，Adam和LAMB）扩展到更大的批量，同时仍然提供良好的下游准确性。最后证明了Adasum收敛性。总而言之，Adasum在通信之前将MLPerf Resnet 50基准测试中的Momentum-SGD扩展到64 K示例（没有MLPerf v0.5条目收敛超过16 K），Adam优化器在BERT-LARGE上通信之前达到64 K示例（之前的工作表明Adam在16 K时停止扩展），LAMB优化器在BERT-LARGE上通信之前扩展到128 K（先前的工作使用64 K），同时保持下游的准确性指标。最后，如果用户不需要扩展，我们在BERT-LARGE上展…
2020-06-04 cs.DC cs.LG
Statistical Inference for Differentially Private Stochastic Gradient Descent
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；Department of Statistics, Rutgers University（罗格斯大学统计系）；Faculty of Business and Economics, The University of Hong Kong（香港大学商学院）
本文提出了一种在差分隐私随机梯度下降中构建有效置信区间的两种方法，通过分析渐近方差分解，实现了在隐私保护下的统计推断。
2025-12-12 cs.LG stat.ME stat.ML
MXNET-MPI: Embedding MPI parallelism in Parameter Server Task Model for scaling Deep Learning
IBM T J Watson Research Center（IBM T J Watson 研究中心）；IBM, Hursley Park（IBM 赫斯利园区）
现有的深度学习框架专门使用参数服务器（PS）方法或MPI并行。在本文中，我们讨论了这种方法的缺点，并提出了一个通用的框架，支持PS和MPI编程范式，共存于同一时间。新模型的主要优点是将MPI并行性的扩展优势嵌入到松散耦合的PS任务模型中。除了在云中提供MPI的实际使用模型之外，这样的框架允许在随机梯度下降（SGD）方法中进行参数平均的新颖通信避免算法。我们展示了MPI和PS模型如何协同应用Elastic SGD等算法来提高现有方法的收敛速度。这些新算法直接有助于在集群范围内扩展SGD。此外，我们还优化了框架的关键组成部分，即全局聚合或allreduce使用一个新的概念张量集体。这些将节点上的一组向量视为单个对象，允许现有的单个向量算法直接适用。我们使用大规模ImageNet 1K数据为我们的说法提供了足够的经验证据。我们的框架是建立在MXNET，但设计是通用的，可以适应其他流行的DL基础设施。
2018-01-11 cs.DC cs.LG
Stochastic Gradient Descent: A Nonlinear Time Series Perspective
Rice University（莱斯大学）；University of California, San Diego（加州大学圣地亚哥分校）；Heidelberg University（海德堡大学）；University of Chicago（芝加哥大学）
本文从非线性时间序列视角研究SGD，通过几何矩收缩证明其欧氏距离收敛性，提出多步长Richardson-Romberg外推法及偏差缩减变体，提升ASGD估计精度。
2026-10-16 cs.LG math.ST stat.ML
A Piecewise Lyapunov Analysis of Sub-quadratic SGD: Applications to Robust and Quantile Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
针对鲁棒和分位数回归问题，提出分段李雅普诺夫函数分析亚二次尾部局部强凸目标的SGD，推导有限时间矩界、弱收敛等结果，首次给出几何收敛性，应用于在线鲁棒回归和分位数回归。
2025-04-15 cs.LG math.OC math.PR
The Power of Interpolation: Understanding the Effectiveness of SGD in Modern Over-parametrized Learning
The Ohio State University（俄亥俄州立大学）
在本文中，我们的目标是正式解释在现代机器学习中观察到的SGD快速收敛现象。关键的观察结果是，大多数现代学习架构都被过度参数化，并且通过将经验损失（分类和回归）驱动到接近零来训练数据插值。虽然目前还不清楚为什么这些插值的解决方案在测试数据上表现良好，但我们表明，这些制度允许SGD快速收敛，在迭代次数上与全梯度下降相当。对于凸损失函数，我们得到了一个指数收敛界的{ \it mini-batch} SGD平行于全梯度下降。我们证明了存在一个临界批量$m^*$，使得：（a）具有最小批量$m\leq m^*$的SGD迭代几乎等价于具有最小批量$1$的$m$迭代（\emph{linear scaling regime}）。(b)采用小批量$m> m^*$的SGD迭代几乎等价于完全梯度下降迭代（\emph{saturation regime}）。此外，对于二次损失，我们推导出明确的最佳小批量和步长的表达式，并明确描述了上述两个制度。临界小批量大小可以看作是有效小批量并行化的极限。它也几乎与数据大小无关，这意味着每单位计算的GD上的$O(n)$加速。我们给出了实验证据的真实数据，密切遵循我们的理论分析。最后，我们展示了我们的结果如何适应训练深度神经网络的最新发展，并讨论了SGD和方差减少的自适应率的关系。
2018-06-14 cs.LG stat.ML
Understanding Top-k Sparsification in Distributed Deep Learning
Hong Kong Baptist University（香港浸会大学）；NVIDIA（英伟达）
分布式随机梯度下降（SGD）算法被广泛应用于大规模深度学习模型的训练，但工作者之间的通信开销成为新的系统瓶颈。最近提出的梯度稀疏化技术，特别是$k$稀疏化与误差补偿（TopK-SGD），可以显着减少通信流量，而不会对模型的准确性产生明显的影响。对TopK-SGD算法的收敛性进行了理论分析。然而，现有的研究没有深入到梯度稀疏化中的Top- $k$算子的细节，并且使用宽松的边界（例如，Random- $k$的精确界）进行分析;因此，导出的结果不能很好地描述TopK-SGD的真实收敛性能。为此，我们首先通过大量的实验研究了TopK-SGD在训练过程中的梯度分布。然后，我们从理论上推导出一个更严格的上限的顶部- $k$运营商。最后，我们利用梯度分布的性质，提出了一个近似的顶部- $k$选择算法，这是计算效率的GPU，以提高缩放效率的TopK-SGD显着减少计算开销。代码可从以下网址获得：\url{https://github.com/hclhkbu/GaussianK-SGD}。
2019-11-20 cs.DC cs.LG stat.ML
On the SDEs and Scaling Rules for Adaptive Gradient Algorithms
Princeton University（普林斯顿大学）
本文针对自适应梯度方法缺乏严格SDE近似的问题，推导了RMSprop和Adam的SDE近似并提供理论保证，还提出批量大小调整时的平方根缩放规则，经实验验证适用于大规模视觉与语言场景。
2024-11-01 cs.LG
Does Worst-Performing Agent Lead the Pack? Analyzing Agent Dynamics in Unified Distributed SGD
North Carolina State University（北卡罗来纳州立大学）
该研究针对分布式学习场景，对统一分布式SGD开展渐近分析，探究不同通信模式与采样策略对收敛的影响，验证了现有理论并发现少数高效采样智能体可超越多数中度改进策略的效果，突破了传统聚焦最差智能体的分析视角。
2024-10-28 cs.LG math.OC stat.ML
Stationary Behavior of Constant Stepsize SGD Type Algorithms: An Asymptotic Characterization
Geogia Institute of Technology, e1,e2,e3
随机近似（SA）和随机梯度下降（SGD）算法是现代机器学习算法的主要算法。由于快速收敛行为，它们的恒定步长变体在实践中是优选的。然而，恒定步长随机迭代算法并不渐近收敛到最优解，而是具有平稳分布，这通常不能解析地表征。在这项工作中，我们研究了适当规模的平稳分布的渐近行为，在极限时，常数步长为零。具体地说，我们考虑以下三种情况：（1）SGD算法与光滑和强凸的目标，（2）线性SA算法涉及一个Hurwitz矩阵，（3）非线性SA算法涉及一个压缩算子。当尺度为$1/\sqrtα$，其中$α$是恒定的步长，我们表明，限制缩放平稳分布是一个积分方程的解决方案。在此方程的唯一性假设（在某些设置中可以删除）下，我们进一步将极限分布描述为高斯分布，其协方差矩阵是合适的李雅普诺夫方程的唯一解。对于这些情况之外的SA算法，我们的数值实验表明，与中心极限定理类型的结果不同：（1）缩放因子不需要是$1/\sqrtα$，（2）极限分布不需要是高斯分布。在数值研究的基础上，我们给出了一个确定合适的比例因子的公式，并将其与Euler-Maruyama离散格式进行了深入的联系。
2021-11-11 cs.LG
