A stochastic behavior analysis of stochastic restricted-gradient descent algorithm in reproducing kernel Hilbert spaces
Keio University（庆应义塾大学）；CNRS（法国国家科学研究中心）
本文提出了一种基于核的随机约束梯度下降方法的随机行为分析。限制梯度在所谓的字典子空间内给出最陡的上升方向。分析提供了均方误差准则下的瞬态和稳态性能。它还包括平均值和均方意义上的稳定性条件。本研究是基于分析核归一化最小均方（KNLMS）算法最初提出的Chen等人。仿真结果验证了分析。
2014-10-14 cs.LG stat.ML
Stochastic modified equations for the asynchronous stochastic gradient descent
Stanford University（斯坦福大学）；Duke University（杜克大学）
提出了一种随机修正方程（SME）模型，用于异步随机梯度下降（ASGD）算法的建模。由此产生的Langevin型中小企业提取更多的信息ASGD动力学和阐明不同类型的随机梯度算法之间的关系。我们证明了在连续时间限制下ASGD向SME的收敛，以及SME对不同强迫项下ASGD轨迹的精确预测。作为SME的一个应用，我们通过求解关联SME的最优控制问题，提出了一种ASGD的最优最小化策略。
2019-09-27 cs.LG stat.ML
Stochastic Gradient Langevin with Delayed Gradients
Czech Technical University in Prague（布拉格捷克理工大学）
随机梯度朗之万动力学（SGLD）通过向随机梯度迭代中添加噪声，确保了对对数凹后验分布进行采样时在测量上的收敛性。考虑到许多实际问题的规模，在多个异步运行的处理器上并行化是减少随机优化算法的端到端计算时间的流行策略。在本文中，我们是第一个调查异步计算的效果，特别是随机Langevin梯度延迟迭代的评价，在测量上的收敛。为此，我们利用最近的结果建模朗之万动力学作为解决凸优化问题的措施空间。我们表明，收敛速度的措施是没有显着影响的延迟梯度信息用于计算所造成的错误，这表明在墙上时钟时间加速显着的潜力。我们证实了我们的理论结果与一些实际问题的数值实验。
2020-06-12 cs.LG stat.ML
Smoothed Gradients for Stochastic Variational Inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
随机变分推断（SVI）使我们能够将贝叶斯计算扩展到海量数据。它使用随机最优化来拟合变分分布，遵循易于计算的噪声自然梯度。与大多数传统的随机最优化方法一样，SVI采取预防措施，使用无偏随机梯度，其期望值等于真实梯度。在本文中，我们探讨的想法，以下有偏随机梯度SVI。我们的方法将自然梯度替换为类似构造的向量，该向量使用其先前项的固定窗口移动平均值。我们将展示这种技术的许多优点。首先，它的计算成本与SVI相同，存储需求仅乘以一个常数因子。第二，它享有显着的方差减少比无偏估计，更小的偏差比平均梯度，并导致更小的均方误差对全梯度。我们测试我们的方法上的潜在狄利克雷分配与三个大型语料库。
2014-11-18 cs.LG stat.ML
On the Overlooked Structure of Stochastic Gradients
Baidu Research（百度研究院）；Hong Kong Baptist University（香港浸会大学）
本文对深度学习中随机梯度的分布和重尾特性进行形式化统计检验，发现维度级梯度呈幂律重尾而迭代级梯度及小批量噪声不呈重尾，并揭示了先前被忽视的梯度协方差谱的幂律结构及其理论意义。
2023-10-20 cs.LG stat.ML
Non-Gaussianity of Stochastic Gradient Noise
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
在神经网络训练中，是什么使随机梯度下降（SGD）比梯度下降（GD）实现更好的泛化？这个问题引起了广泛的关注。在本文中，我们研究了随机梯度噪声（SGN）向量在训练过程中的分布。我们观察到，对于256及以上的批量大小，至少在训练的早期阶段，分布最好描述为高斯分布。这适用于数据集、架构和其他选择。
2019-10-25 cs.LG stat.ML
Accelerating Stochastic Gradient Descent Using Antithetic Sampling
University of Science and Technology of China（中国科学技术大学）
（小批量）随机梯度下降是一种流行的优化方法，已被应用于许多机器学习应用。但由于随机梯度在每一步中引入了较大的方差，可能会减慢收敛速度。在本文中，我们提出的对偶抽样策略，以减少方差，利用数据集的内部结构。在这种新策略下，小批量中的随机梯度不再是独立的，而是尽可能负相关的，而小批量随机梯度仍然是全梯度的无偏估计.对于二值分类问题，只需预先计算对偶样本，并在每次迭代中重用结果，具有实用性。实验结果验证了该方法的有效性。
2018-10-07 cs.LG stat.ML
Optimal Adaptive and Accelerated Stochastic Gradient Descent
Shanghai University of Finance and Economics（上海财经大学）；Georgia Institute of Technology（佐治亚理工学院）
随机梯度下降（\textsc{Sgd}）方法是训练机器学习和深度学习模型中最强大的优化工具。此外，加速度（a.k.a.动量）方法和对角缩放（a.k.a.自适应梯度）方法是改善\textsc{Sgd}慢收敛性的两种主要技术。虽然实证研究已经证明了结合这两种技术的潜在优势，但这些方法是否可以达到随机最优化的最佳收敛速度仍然是未知的。在本文中，我们提出了一类新的自适应和加速随机梯度下降方法，并证明了他们表现出最佳的采样和迭代复杂性的随机最优化。更具体地说，我们表明，对角缩放，最初设计用于改善香草随机梯度，可以被纳入加速随机梯度下降，以实现平滑随机最优化的最佳收敛速度。我们还表明，动量，除了被称为加快确定性优化的收敛速度，也为我们提供了新的方法来设计非均匀和积极的移动平均计划在随机最优化。最后，我们提出了一些启发式方法，有助于实现自适应加速随机梯度下降方法，并进一步提高其在机器学习和深度学习中的实际性能。
2018-10-01 cs.LG stat.ML
Directional Analysis of Stochastic Gradient Descent via von Mises-Fisher Distributions in Deep learning
KAIST（韩国科学技术院）；Center for Superintelligence, SNU（首尔大学超级智能中心）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
虽然随机梯度下降（SGD）是深度学习最近成功背后的驱动力，但我们对其在高维参数空间中的动力学的理解是有限的。近年来，一些研究人员使用小批量梯度的随机性或信噪比来更好地表征SGD的学习动态。受这些工作的启发，我们在这里通过检查小批量梯度的范数和方向的随机性，从几何角度分析SGD。我们提出了一个模型的方向浓度的minibatch梯度通过von Mises-Fisher（VMF）分布，并表明，minibatch梯度的方向均匀性增加的过程中的SGD。我们使用深度卷积网络实证验证了我们的结果，并观察到梯度随机性与所提出的方向均匀性之间的相关性高于梯度范数随机性，这表明小批量梯度的方向统计是SGD背后的主要因素。
2018-11-28 cs.LG stat.ML
ODE Analysis of Stochastic Gradient Methods with Optimism and Anchoring for Minimax Problems
UCLA（加州大学洛杉矶分校）
尽管取得了显着的经验成功，但生成对抗网络（GAN）的训练动态，其中涉及使用随机梯度解决极大极小博弈，仍然知之甚少。在这项工作中，我们分析了最后一个收敛的同时梯度下降（simGD）和它的变种下凸的假设，指导下的连续时间分析微分方程。首先，我们证明了simGD，因为是，收敛于严格凸的原始变量下的随机次梯度。其次，我们推广乐观的simGD，以适应乐观率从学习率分离，并显示其收敛与全梯度。最后，我们提出了锚定simGD，一种新的方法，并显示收敛与随机次梯度。
2020-10-12 cs.LG stat.ML
Stochastic Recursive Momentum for Policy Gradient Methods
Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）；Duke University（杜克大学）
在本文中，我们提出了一种新的算法命名为STORM-PG（STORM-PG），它操作的SARAH型随机递归方差减少的政策梯度指数移动平均的方式。STORM-PG具有可证明的精确的$O(1/ε^3)$样本复杂度界，与策略梯度算法的最佳收敛速度相匹配。同时，STORM-PG避免了大批量和小批量之间的交替，这在可比的方差减少的策略梯度方法中持续存在，允许相当简单的参数调整。数值实验表明，我们的算法优于比较政策梯度算法。
2020-03-09 cs.LG stat.ML
Federated Stochastic Gradient Langevin Dynamics
Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；F-Secure（芬安全公司）；University of Manchester（曼彻斯特大学）
随机梯度MCMC方法，如随机梯度朗之万动力学（SGLD），采用快速但有噪声的梯度估计，以实现大规模的后验采样。尽管我们可以很容易地将SGLD扩展到分布式设置，但是当应用于联邦非IID数据时，它会遇到两个问题。首先，这些估计值的方差显著增加。第二，即使对于非常简单的模型，延迟通信也会导致马尔可夫链偏离真实的后验。为了缓解这两个问题，我们提出了有益的梯度，一个简单的机制，结合局部似然近似校正梯度更新。值得注意的是，传导梯度很容易计算，而且由于我们只计算一次近似值，因此它们产生的开销可以忽略不计。我们适用于分布式随机梯度朗之万动力学（DSGLD）的有益梯度，并呼吁联邦随机梯度朗之万动力学（FSGLD）的方法。我们证明，我们的方法可以处理延迟的通信轮，收敛到目标后DSGLD失败的情况下。我们还表明，FSGLD优于DSGLD的非IID联邦数据与实验的度量学习和神经网络。
2021-06-14 cs.LG stat.ML
Stochastic Gradient MCMC with Stale Gradients
Duke University（杜克大学）；Google Inc.（谷歌公司）
随机梯度MCMC（SG-MCMC）在大规模贝叶斯学习中发挥了重要作用，具有良好的理论收敛性。在SG-MCMC的这种应用中，采用分布式系统变得越来越流行，其中基于一些过时的参数计算随机梯度，产生所谓的陈旧梯度。虽然陈旧的梯度可以直接用于SG-MCMC，其对收敛性能的影响还没有得到很好的研究。在本文中，我们发展的理论表明，虽然SG-MCMC算法的偏差和MSE取决于随机梯度的陈旧性，其估计方差在具有SG-MCMC的简单贝叶斯分布式系统中，其中陈旧梯度由一组工作者异步计算，我们的理论表明估计方差w.r.t.的减小的线性加速。工人的数量。在合成数据和深度神经网络上的实验验证了我们的理论，证明了具有陈旧梯度的SG-MCMC的有效性和可扩展性。
2016-10-21 cs.LG stat.ML
Exact Langevin Dynamics with Stochastic Gradients
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
随机梯度马尔可夫链蒙特卡罗算法是一种常用的近似推理抽样方法，但它们通常存在偏差。我们发现，这些方法的许多最新版本（例如Chen et al.（2014））无法使用Metropolis-Hastings拒绝抽样进行校正，因为它们的接受概率始终为零。我们可以通过使用具有可实现的向后轨迹的采样器来解决这个问题，例如服从引导蒙特卡罗（Horowitz，1991），它概括了随机梯度朗之万动力学（Welling和Teh，2011）和哈密顿蒙特卡罗。我们表明，这个采样器可以使用随机梯度，产生非零的接受概率，甚至可以跨多个步骤计算。
2021-02-02 cs.LG stat.ML
Parallel-tempered Stochastic Gradient Hamiltonian Monte Carlo for Approximate Multimodal Posterior Sampling
American International Group, Inc.（美国国际集团）
我们提出了一个新的采样器，集成了协议的并行回火与Nosé-Hoover（NH）动力学。该方法可以有效地从复杂的后验分布与多个孤立的模式，在随机梯度产生的噪声存在下提取代表性的样本。它可能有助于在遇到复杂的多模态后验和小批量梯度的大型数据集上进行深度贝叶斯学习。
2018-12-07 cs.LG stat.ML
Perturbative estimation of stochastic gradients
在本文中，我们介绍了一个家庭的随机梯度估计技术的基础上的扰动展开周围的平均抽样分布。我们的特点的偏差和方差泰勒校正估计使用拉格朗日误差公式。此外，我们介绍了一个家庭的方差减少技术，可以应用到其他梯度估计。最后，我们表明，这些新的微扰方法可以扩展到离散函数使用解析延拓。使用这种技术，我们得到了一个新的梯度下降法训练随机网络与二进制权重。在我们的实验中，我们表明，扰动校正提高了收敛的随机变分推断在连续和离散的情况下。
2019-11-15 cs.LG stat.ML
Stochastic Learning for Sparse Discrete Markov Random Fields with Controlled Gradient Approximation Error
UW-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
我们研究了离散马尔可夫随机场（MRF）的$L_1$正则化最大似然估计/估计（MLE）问题，其中高效和可扩展的学习需要稀疏正则化和近似推理。为了解决这些挑战，我们考虑了一种称为随机邻近梯度的随机学习框架（SPG; Honorio 2012 a，Atchade et al. 2014，Miasojedow and Rejchel 2016）。SPG是一种不精确的近端梯度算法[Schmidtet等人，2011年]，其不精确性源于梯度近似的随机预言（吉布斯采样）-由于离散MRF的NP难推理问题，精确梯度评估通常是不可行的[Koller和Friedman，2009年]。在理论上，我们提供了新的可验证的边界来检查和控制梯度逼近的质量。在实验上，我们提出了基于可验证边界的收紧渐近（TAY）学习策略，以提高SPG的性能。
2020-05-12 cs.LG stat.ML
Stochastic Variance-Reduced Policy Gradient
Politecnico di Milano（米兰理工大学）；Inria（法国国家信息与自动化研究所）
在本文中，我们提出了一种新的强化学习算法，包括在随机方差减少版本的策略梯度解决马尔可夫决策过程（MDP）。随机方差缩减梯度（SVRG）方法在监督学习中已被证明是非常成功的。然而，它们对策略梯度的适应并不简单，需要考虑I）非凹目标函数; II）全梯度计算中的近似值;以及III）非平稳采样过程。其结果是SVRPG，一种随机方差减少的策略梯度算法，利用重要性权重来保持梯度估计的无偏性。根据标准假设，sumptions上的MDP，我们提供了收敛保证SVRPG的收敛速度是线性增加批量大小。最后，我们建议SVRPG的实际变体，我们经验性地评估他们对连续MDPs。
2018-06-14 cs.LG stat.ML
Robust Approximate Sampling via Stochastic Gradient Barker Dynamics
Duke University（杜克大学）；Bocconi University（博科尼大学）
针对大数据下随机梯度MCMC算法超参数敏感、梯度异质性致分布偏差的问题，本文提出随机梯度Barker动力学算法及偏差校正版本，实验证明其在高维场景下比随机梯度朗之万动力学鲁棒性更强。
2024-05-14 cs.LG stat.ML
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks
Czech Technical University in Prague（布拉格捷克理工大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
在具有二进制激活和/或二进制权重的神经网络中，由于模型具有分段常数响应，所以通过梯度下降的训练是复杂的。我们考虑随机二元网络，通过在激活前添加噪声获得。期望的模型响应成为参数的平滑函数，其梯度是明确定义的，但准确估计它是具有挑战性的。我们提出了一种新的方法，这种估计问题相结合的采样和解析近似的步骤。该方法有一个显着减少的方差在一个小的偏差，这给出了一个非常实用的权衡与现有的无偏和有偏估计的价格。我们进一步表明，一个额外的线性化步骤导致一个深直通估计以前只知道作为一个特设启发式。我们通过实验证明了梯度估计的更高准确性，并证明了使用这两种方法在深度卷积模型中进行训练时更稳定，性能更好。
2020-11-04 cs.LG stat.ML
SGLB: Stochastic Gradient Langevin Boosting
Yandex；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（俄罗斯国立高等经济学院）
本文介绍了随机梯度朗之万提升（SGLB）-一个强大而有效的机器学习框架，可以处理各种各样的损失函数，并具有可证明的泛化保证。该方法基于专门为梯度提升设计的郎之万扩散方程的特殊形式。这使得我们能够在理论上保证全局收敛，即使是多模态损失函数，而标准的梯度提升算法只能保证局部最优。我们还实证表明，SGLB优于经典的梯度提升时，适用于0-1损失函数，这是已知的多模态的分类任务。
2022-01-16 cs.LG stat.ML
Stochastic Recursive Gradient Algorithm for Nonconvex Optimization
Lehigh University（理海大学）；University of Oxford（牛津大学）
本文研究和分析了随机递归梯度算法（SARAH）的小批量版本，它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度（平稳点）一般非凸函数和梯度控制函数的线性收敛速度，这两个有一些优势相比，其他现代随机梯度算法的非凸损失。
2017-05-20 cs.LG math.OC stat.ML
Stochastic Chebyshev Gradient Descent for Spectral Optimization
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Tel Aviv University（特拉维夫大学）；AItrics
大量的机器学习技术需要解决涉及参数矩阵的谱函数的优化问题，例如对数行列式和核范数。不幸的是，计算谱函数的梯度通常具有立方复杂度，因为这样的梯度下降方法对于优化涉及谱函数的目标是相当昂贵的。因此，人们自然转向随机梯度方法，希望它们将提供一种减少或完全避免全梯度计算的方法。然而，这里出现了一个新的挑战：没有直接的方法来计算谱函数的无偏随机梯度。在本文中，我们发展了无偏随机梯度的谱和，一个重要的子类的谱函数。我们的无偏随机梯度的基础上相结合的随机跟踪估计与随机截断的切比雪夫展开。截断分布的精心设计使我们能够提供方差最优的分布，这对于随机梯度方法的快速和稳定收敛至关重要。我们进一步利用我们提出的随机梯度设计随机方法的目标函数涉及谱和，并严格分析其收敛速度。我们的方法的效用是在数值实验中证明。
2018-10-30 cs.CC cs.LG stat.ML
Stochastic gradient descent with discontinuity across a manifold
Google Research Asia（谷歌研究院亚洲区）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
该研究针对在低维流形上不连续的损失函数，分析其对应的随机梯度下降算法的微分方程极限，为相关优化问题提供理论支撑。
2026-08-11 cs.LG math.PR stat.ML
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于策略梯度的高方差，策略上优化算法受到低样本效率的困扰。在这项工作中，我们提出了增强-加强-合并（ARM）策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间，最近的ARM梯度估计离散随机变量模型的启发。我们表明，ARM的策略梯度估计实现方差减少与理论保证，并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Scaling transition from momentum stochastic gradient descent to plain stochastic gradient descent
Changchun University of Science and Technology（长春理工大学）；Northeast Normal University（东北师范大学）
普通随机梯度下降和动量随机梯度下降由于其简单的设置和低计算复杂性而在深度学习中具有极其广泛的应用。动量随机梯度下降以累积梯度作为当前参数的更新方向，具有更快的训练速度。因为普通随机梯度下降的方向还没有被累积梯度校正。对于当前需要更新的参数，它是最优方向，它的更新更准确。结合动量随机梯度下降训练速度快和普通随机梯度下降精度高的优点，提出了一种从动量随机梯度下降到普通随机梯度下降（TSGD）的尺度转换方法.同时，使用随着迭代线性减小的学习率来代替恒定的学习率。TSGD算法在早期阶段具有较大的步长以加快训练，并且在后期阶段具有较小步长的训练可以稳定地收敛。实验结果表明，TSGD算法具有更快的训练速度、更高的准确率和更好的稳定性。我们的实现可以在https://github.com/kunzeng/TSGD上获得。
2021-06-12 cs.LG
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降，一个随机最优化算法，使用卡尔曼滤波，自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明，在各种机器学习领域，包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本，我们的算法，使大规模的优化，我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
CEREMADE - CNRS（CEREMADE - 法国国家科学研究中心）；Université Paris Dauphine - PSL Research University（巴黎第九大学 - PSL研究大学）
本文自包含地证明了随机梯度下降（SGD）的收敛性，无需外部依赖。
2023-11-14 cs.LG math.PR stat.ML
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University（湘潭大学）
受动态规划的启发，提出了随机虚拟梯度下降（SVGD）算法，其中虚拟梯度由计算图和自动微分定义。该方法计算效率高，内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明，SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
Stochastic Adaptive Gradient Descent Without Descent
Univ. Bordeaux CNRS, Bordeaux INP, IMB, UMR 5251（波尔多大学 CNRS，波尔多 INP，IMB，UMR 5251）
提出一种无需超参数调优的随机梯度自适应步长策略，利用一阶随机Oracle的局部几何信息，理论证明收敛性，实验与调优基线竞争。
2026-06-18 cs.LG math.OC stat.ML
The Implicit Regularization of Stochastic Gradient Flow for Least Squares
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了小批量随机梯度下降算法的隐正则化，并将其应用于最小二乘回归的基本问题。我们利用连续时间随机微分方程具有相同的时刻作为随机梯度下降，我们称之为随机梯度流。本文给出了随机梯度流在$t$时刻的超额风险的一个界，即带调节参数$λ= 1/t$的岭回归。可以从显式常数（例如，小批量、步长、迭代次数），精确地揭示了这些数量如何驱动超额风险。数值例子表明，界可以很小，表明两个估计之间的紧密关系。我们给出了随机梯度流系数与岭系数的类似结果。这些结果在数据矩阵$X$上的任何条件下都成立，并且跨越整个优化路径（不仅仅是在收敛时）。
2020-06-19 cs.LG math.OC stat.ML
Stochastic Gradient Variance Reduction by Solving a Filtering Problem
School of Electrical and Computer Engineering University of California, San Diego（加州大学圣地亚哥分校电气与计算机工程学院）
深度神经网络（DNN）通常使用随机梯度下降（SGD）进行优化。然而，使用随机样本的梯度估计往往是噪声和不可靠的，导致梯度方差大，收敛性差。本文提出了\textbf{Filter Gradient Decent} ~（FGD）算法，它通过求解不同滤波器设计的自适应滤波问题，实现了局部梯度的一致估计。我们的方法减少了方差随机梯度下降，结合历史状态，以提高当前的估计。该算法不仅能校正带噪的梯度方向，而且能加快学习的收敛速度。我们证明了所提出的滤波器梯度下降的数值优化和训练神经网络的有效性，它实现了优越的和强大的性能相比，传统的基于动量的方法。据我们所知，我们是第一个提供一个实用的解决方案，集成到梯度估计的梯度估计和信号处理中的滤波问题之间的类比过滤。(The代码见https：//github.com/Adamdad/Filter-Decent-Decent）
2021-05-15 cs.CV cs.LG stat.ML
Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
我们考虑非凸-凹极小极大优化问题的形式$\min_{\bf x}\max_{\bf y\in{\mathcal Y}} f({\bf x},{\bf y})$，其中$f$是强凹的$\bf y$，但可能是非凸的$\bf x$和${\mathcal Y}$是一个凸和紧集。我们专注于随机设置，我们只能在每次迭代时访问$f$的无偏随机梯度估计。该公式包括许多机器学习应用程序作为特殊情况，例如鲁棒优化和对手训练。我们感兴趣的是找到一个${\mathcal O}(\varepsilon)$ -驻点的功能$Φ(\cdot)=\max_{\bf y\in{\mathcal Y}} f(\cdot, {\bf y})$。解决这个问题的最流行的算法是随机梯度下降上升，它需要$\mathcal O(κ^3\varepsilon^{-4})$随机梯度评估，其中$κ$是条件数。在本文中，我们提出了一种新的方法称为随机递归梯度下降上升（SREDA），估计梯度更有效地使用方差减少。该方法实现了${\mathcal O}(κ^3\varepsilon^{-3})$的最佳已知的随机梯度复杂度，并且其对$\varepsilon$的依赖性对于该问题是最优的。
2020-10-23 cs.LG math.OC stat.ML
LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California - Los Angeles（加利福尼亚大学洛杉矶分校）
本文的目标是以通信高效的方式解决分布式机器学习问题，如联邦学习。一类新的随机梯度下降（SGD）方法已经被开发出来，它可以被看作是最近开发的懒惰聚合梯度（LAG）方法的随机推广--证明LASG的名称。LAG自适应地预测每一轮通信的贡献，并只选择重要的通信来执行。它节省了通信，同时还保持了收敛速率。然而，LAG仅适用于确定性梯度，并且将其应用于随机梯度会产生较差的性能。LASG的关键组件是一组为随机梯度量身定制的新规则，可以实现以保存下载、上传或两者。新算法自适应地选择新鲜和陈旧的随机梯度和收敛速度与原来的SGD。LASG实现了令人印象深刻的经验性能-它通常节省了数量级的总通信量。
2020-02-26 cs.LG math.OC stat.ML
Improved Complexities for Stochastic Conditional Gradient Methods under Interpolation-like Conditions
University of California, Davis（加州大学戴维斯分校）；University of Waterloo（滑铁卢大学）
我们分析了随机条件梯度法的约束最优化问题在过参数化机器学习。我们表明，人们可以利用这样的模型所满足的插值样条件，以获得改进的预言复杂性。具体而言，当目标函数是凸的，我们表明，条件梯度法需要$\mathcal{O}(ε^{-2})$调用随机梯度预言找到一个$ε$ -最优解。此外，通过包括一个梯度滑动步骤，我们表明，电话的数量减少到$\mathcal{O}(ε^{-1.5})$。
2022-01-26 cs.LG math.OC stat.ML
Compositional Stochastic Average Gradient for Machine Learning and Related Applications
The Pennsylvania State University（宾夕法尼亚州立大学）；College of Information Science and Technology（信息科学与技术学院）；Department of Computer Science and Engineering（计算机科学与工程系）
许多机器学习、统计推断和投资组合优化问题需要期望价值函数组合（CEVF）的最小化。特别感兴趣的是有限和版本的组合优化问题（FS-CEVF）。组合随机方差约减梯度（C-SVRG）方法结合了随机组合梯度下降（SCGD）和随机方差约减梯度下降（SVRG）方法，是求解FS-CEVF问题的最新方法。本文介绍了合成随机平均梯度下降法（C-SAG），它是随机平均梯度法（SAG）的一种新的扩展，用于最小化有限和函数的合成。与SAG类似，C-SAG通过合并先前梯度信息的记忆来估计梯度。我们提出了C-SAG的理论分析表明，C-SAG，SAG，和C-SVRG，实现了线性收敛速度时，目标函数是强凸的，但C-CAG实现了较低的Oracle查询的复杂度比C-SVRG每次迭代。最后，我们提出的实验结果表明，C-SAG收敛速度大大快于全梯度（FG），以及C-SVRG。
2018-09-07 cs.CC cs.LG stat.ML
Limit Theorems for Stochastic Gradient Descent with Infinite Variance
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；Department of Statistics, University of Warwick（沃里克大学统计学系）
本文针对无限方差随机梯度下降，建立了其渐近分布，推广至多维情形，并应用于线性与逻辑回归。
2025-09-05 cs.LG math.PR stat.ML
ADASECANT: Robust Adaptive Secant Method for Stochastic Gradient
Université de Montréal（蒙特利尔大学）；University of Oxford（牛津大学）
随机梯度算法一直是大规模学习问题的主要焦点，它们在机器学习中取得了重要的成功。SGD的收敛依赖于学习率的仔细选择和梯度的随机估计中的噪声量。在本文中，我们提出了一种新的自适应学习率算法，它利用曲率信息自动调整的学习率。关于损失函数的逐单元曲率的信息由随机一阶梯度的局部统计量估计。我们进一步提出了一种新的方差减少技术，以加快收敛速度。在我们对深度神经网络的初步实验中，与流行的随机梯度算法相比，我们获得了更好的性能。
2015-11-01 cs.LG cs.NE stat.ML
Predictive Local Smoothness for Stochastic Gradient Methods
Northeastern University（东北大学）；Huaqiao University（华侨大学）
随机梯度法在非凸优化中占主导地位，特别是对于深度模型，但由于固定的光滑性而具有较低的渐近收敛性。为了解决这个问题，我们提出了一个简单而有效的方法来改善随机梯度方法称为预测局部平滑（PLS）。首先，我们创建一个收敛条件来建立随局部平滑度自适应变化的学习率。其次，局部平滑度可以通过最新的梯度来预测。第三，我们使用自适应学习率来更新随机梯度，以探索线性收敛速度。通过应用PLS方法，我们实现了三种流行算法的新变体：PLS-随机梯度下降（PLS-SGD），PLS-加速SGD（PLS-AccSGD）和PLS-AMSGrad。此外，我们提供了更简单的证明，以确保其线性收敛。实验结果表明，改进后的算法具有更好的性能增益，如更快的收敛速度和更好的抑制梯度的爆炸和消失。
2018-05-23 cs.LG math.OC stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science（魏茨曼科学研究所）；TTI Chicago（芝加哥丰田工业大学）
当梯度延迟并反映$τ$轮前的迭代时，我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先，我们表明，没有随机噪声，延迟强烈影响可达到的优化误差：事实上，错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是，我们量化了随机噪声如何使延迟的影响可以忽略不计，改进了以前的工作，这些工作只显示了这种现象渐近或更小的延迟。此外，在分布式优化的背景下，结果表明，具有延迟的梯度下降的性能是有竞争力的同步方法，如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法，使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
Stern School of Business, New York University（纽约大学斯特恩商学院）
针对重尾噪声（有限p阶矩，p∈(1,2)）下随机梯度方法的收敛性问题，证明了随机镜像下降（SMD）、加速随机镜像下降（ASMD）在凸优化中以及SGD和带动量的SGD（SGDM）在非凸优化中的期望收敛性，无需算法修改或有界域假设。
2026-05-30 cs.LG math.OC stat.ML
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们引入有偏梯度预言机来捕获一个设置，其中函数测量具有可以通过批量大小参数控制的估计误差。我们提出的预言是有吸引力的，在几个实际情况下，例如，风险度量估计从一批独立同分布（i.i.d.）样本或模拟优化，其中函数测量由于计算约束而“有偏”。在任何一种情况下，增加批量大小都会减少估计误差。我们强调了我们的有偏梯度预言在风险敏感的强化学习环境中的适用性。在随机非凸优化的背景下，我们分析了一个变种的随机梯度（RSG）算法与有偏梯度预言。我们量化该算法的收敛速度，通过推导其性能的非渐近界。接下来，在随机凸优化设置，我们推导出非渐近界的随机梯度下降（SGD）算法的最后一个有偏梯度预言。
2021-05-16 cs.LG math.OC stat.ML
Stochastic Backward Euler: An Implicit Gradient Descent Algorithm for $k$-means Clustering
McGill University（麦吉尔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对经典的$k$ -均值问题，提出了一种隐式梯度下降算法.隐式梯度步或向后欧拉通过随机不动点迭代求解，其中我们在每次迭代中随机采样一个小批量梯度。它是固定点轨迹的平均值，被带入下一个梯度步骤。我们在提出的随机向后欧拉和最近的熵随机梯度下降（Entropy-SGD）之间建立了联系，以改进深度神经网络的训练。在各种模拟数据集和真实数据集上的数值实验表明，该算法与$k$ -means算法相比，降低了目标函数（聚类），对初始化具有更好的鲁棒性，从而获得了更好的聚类结果.
2018-05-21 cs.LG math.OC stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Faster Perturbed Stochastic Gradient Methods for Finding Local Minima
University of California, Los Angeles（加州大学洛杉矶分校）
从鞍点逃逸和寻找局部极小值是非凸优化的核心问题。扰动梯度法也许是解决这个问题的最简单的方法。然而，为了找到$(ε, \sqrtε)$ -近似局部极小值，这类算法的现有最佳随机梯度复杂度是$\tilde O(ε^{-3.5})$，这不是最优的。在本文中，我们提出了LENA（最后stEp shriNkAge），一个更快的扰动随机梯度框架寻找局部极小值。我们表明，LENA与随机梯度估计，如SARAH/SPIDER和STORM可以找到$(ε, ε_{H})$ -近似局部极小值内$\tilde O(ε^{-3} + ε_{H}^{-6})$随机梯度评价（或$\tilde O(ε^{-3})$时，$ε_H = \sqrtε$）。我们的框架的核心思想是一个步长收缩方案来控制迭代的平均移动，从而更快地收敛到局部极小值。
2022-04-20 cs.LG math.OC stat.ML
Stochastic Approximate Gradient Descent via the Langevin Algorithm
Department of Statistics and Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）；Department of Statistics, Purdue University（普渡大学统计系）
我们引入了一种新的和有效的算法称为随机近似梯度下降（SAGD），作为替代的随机梯度下降的情况下，无偏随机梯度不能平凡地获得。传统的方法，这样的问题依赖于通用的采样技术，如马尔可夫链蒙特卡罗，这通常需要手动干预调整参数，并没有有效地在实践中工作。相反，SAGD利用Langevin算法来构造随机梯度，这些随机梯度在有限步中有偏，但渐近精确，使我们能够从理论上建立SAGD的收敛保证。在理论分析的启发下，我们也为它的实际实施提供了有用的指导。最后，我们表明，SAGD在流行的统计和机器学习问题，如期望最大化算法和变分自编码器实验表现良好。
2020-02-13 cs.LG stat.CO stat.ML
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent
Universität Bielefeld（比勒费尔德大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Institute of Mathematics of NAS of Ukraine（乌克兰国家科学院数学研究所）
我们提出了新的限制动态随机梯度下降的小学习率制度称为随机修改流。这些随机微分方程是由圆柱布朗运动驱动的，并通过具有规则的扩散系数和匹配的多点统计来改进所谓的随机修改方程。作为第二个贡献，我们引入分布相关的随机修改流，我们证明了描述的波动限制动态的随机梯度下降在小学习率无限宽缩放制度。
2023-02-14 cs.LG math.AP math.PR
Stochastic Gradient Flow Dynamics of Test Risk and its Exact Solution for Weak Features
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文研究了连续时间随机梯度流的测试风险，利用路径积分方法给出了小学习率下纯梯度流与随机梯度流测试风险差异的通用公式，并在弱特征模型中显式计算了随机项修正，解析结果与模拟吻合良好。
2024-06-10 cond-mat.dis-nn cs.LG stat.ML
Stochastic Variational Inference with Gradient Linearization
TU Darmstadt（达姆施塔特工业大学）
变分推理经历了最近的流行，由于随机方法，这已经产生了广泛的模型类的实用工具激增。一个关键的好处是，随机变分推理避免了繁琐的过程，推导出解析表达式的封闭形式的变量更新。相反，人们只需要导出对数后验的梯度，这通常要容易得多。然而，对于某些模型类别，对数后验本身很难使用标准梯度技术进行优化。一个这样的例子是随机场模型，其中基于梯度线性化的优化已被证明是流行的，因为它显著地加速收敛并且可以避免差的局部最优。本文提出了梯度线性化随机变分推理（SVIGL）。它与标准随机变分推理一样方便-所需的只是能量梯度的局部线性化。它的好处是随机变分推理与传统的梯度方法是一个明显的改善收敛速度，同时产生可比的，甚至更好的变分近似的KL发散。我们展示了SVIGL在三个应用中的好处：光流估计，泊松-高斯去噪和3D表面重建。
2018-03-28 cs.CV cs.LG stat.ML
Adaptive Stochastic Gradient Langevin Dynamics: Taming Convergence and Saddle Point Escape Time
Iowa State University（爱荷华州立大学）
在本文中，我们提出了一个新的自适应随机梯度Langevin动力学（ASGLD）算法框架和它的两个专门版本，即自适应随机梯度（ASG）和自适应梯度Langevin动力学（AGLD），非凸优化问题。所有提出的算法都可以通过最多$O(\log d)$次迭代逃离鞍点，这几乎是无量纲的。此外，我们表明，ASGLD和ASG收敛到最多$O(\log d/ε^4)$迭代的局部最小值。此外，具有全梯度的ASGLD或具有缓慢线性增加的批量大小的ASGLD收敛到局部最小值，迭代以$O(\log d/ε^2)$为界，这优于现有的一阶方法。
2018-05-23 cs.AI cs.LG stat.ML
Weighted Low-rank Approximation via Stochastic Gradient Descent on Manifolds
The George Washington University（乔治·华盛顿大学）
本文提出在流形上用随机梯度下降求解正则化加权低秩逼近，建立带约束收缩方法的收敛定理，并在 Netflix Prize 数据上验证其优于欧几里得空间方法。
2025-02-20 cs.AI cs.LG math.OC
Minimax Optimal Online Stochastic Learning for Sequences of Convex Functions under Sub-Gradient Observation Failures
Bilkent University（比尔肯特大学）
研究了随机次梯度观测故障下的在线凸优化问题，引入了具有极大极小最优遗憾保证的自适应算法。我们专门研究的情况下，我们的次梯度观测可以是嘈杂的，甚至完全丢失的随机方式。为此，我们提出了基于子梯度下降方法的算法，它实现了紧极小极大最优遗憾界。必要时，这些算法利用潜在的随机设置的属性来优化它们的学习率（步长）。这些优化是提供最小最大最优性能保证的主要因素，特别是当观测值随机丢失时。然而，在现实世界的场景中，底层随机设置的这些属性可能不会透露给优化器。对于这样的情况下，我们提出了一个盲目的算法，估计这些属性的经验，在一个普遍适用的方式。通过大量的实验，我们表明，这种经验方法是一个自然的组合定期随机梯度下降和最小最大优化算法（最好的随机和对抗功能序列，分别）。
2019-04-19 cs.LG math.OC stat.ML
