Gradient Descent's Last Iterate is Often (slightly) Suboptimal
Weizmann Institute of Science（魏茨曼科学研究所）；University of Toronto（多伦多大学）
本文研究了使用梯度下降或其随机变体进行凸Lipschitz函数最小化时最后迭代收敛性，证明了在无先验知识的情况下，无法避免在任何时间范围内具有多项对数因子的次优误差。
2026-10-27 cs.LG math.OC
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
Tight Last-Iterate Convergence of the Extragradient and the Optimistic Gradient Descent-Ascent Algorithm for Constrained Monotone Variational Inequalities
Yale University（耶鲁大学）
单调变分不等式是数学规划中的一个中心问题，它统一和推广了光滑凸优化、二人零和对策、凹凸鞍点问题、Korpelevich [1976]提出的外梯度算法和Popov [1980]提出的最优梯度下降-上升算法可以说是求解单调变分不等式的两种最经典和最流行的方法。尽管历史悠久，但以下主要问题仍然存在。对于带约束的单调和Lipschitz变分不等式，超梯度算法或乐观梯度下降-上升算法的最终收敛速度是多少？我们通过证明额外梯度算法和乐观梯度下降-上升算法对于任意凸可行集都具有严格的$O\left(\frac{1}{\sqrt{T}}\right)$最后迭代收敛速度来解决这个悬而未决的问题，该收敛速度与Golowich等人的下限相匹配。[2020 a，b]。我们的比率是用标准差距函数来衡量的。在我们的研究结果的核心在于一个非标准的性能指标-切线残差，它可以被看作是一个适应的范数的运营商，考虑到当地的约束。我们使用切线残差（或切线残差的微小变化）作为势函数来分析额外梯度算法（或乐观梯度下降-上升算法），并证明了它在两个连续迭代之间是不增加的。
2022-05-16 cs.DS cs.GT cs.LG
Provable Compressed Sensing with Generative Priors via Langevin Dynamics
Iowa State University（爱荷华州立大学）；New York University（纽约大学）
深度生成模型已经成为压缩感知、相位恢复和超分辨率等各种逆问题中信号的一类强大先验。在这里，我们假设一个未知信号位于某个预先训练的生成模型的范围内。一种流行的信号恢复方法是通过低维潜在空间中的梯度下降。虽然梯度下降已经取得了很好的经验性能，但其理论行为还没有得到很好的理解。在本文中，我们介绍了使用随机梯度朗之万动力学（SGLD）的压缩感知与生成先验。在生成模型的适当假设下，我们证明了SGLD收敛于真实信号。我们还证明了竞争力的经验性能标准梯度下降。
2021-02-25 cs.LG stat.ML
Complexity Bounds and Approaches to Learning Projected Gradient Descent Solver Iterates
Princeton University（普林斯顿大学）
针对数据稀缺挑战，研究用k邻域数据收集策略扩充训练数据，推导泛化界，以投影梯度下降求解单边盒约束二次规划为例说明，提高数据-模型-优化循环效率，实现更强大的DDDAS范式，并与GLENS联系。
2026-07-27 cs.LG
Last-iterate convergence rates for min-max optimization
Georgia Institute of Technology（佐治亚理工学院）
虽然凸-凹最小-最大优化的经典工作依赖于平均收敛结果，但非凸应用（如训练生成对抗网络）的出现重新引起了人们对最后收敛保证的兴趣。证明最后一次收敛是具有挑战性的，因为许多自然算法，如同时梯度下降/上升，可证明发散或循环，即使在简单的凸-凹最小-最大设置，和以前的工作对全球最后一次收敛速度已被限制到双线性和凸-强凹设置。在这项工作中，我们表明，哈密顿梯度下降（HGD）算法实现线性收敛在各种更一般的设置，包括凹凸问题，满足“充分双线性”的条件。我们还证明了类似的收敛速度的共识优化（CO）算法[MNG 17]的CO的一些参数设置。
2019-10-25 cs.GT cs.LG math.OC
The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities
ENS（巴黎高等师范学院）；Univ. PSL（巴黎文理研究大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
在本文中，我们分析了乐观镜像下降法在随机变分不等式中的局部收敛速度，这是一类在学习理论和机器学习中有重要应用的最优化问题。我们的分析揭示了算法的收敛速率和由该方法的基本Bregman函数引起的局部几何之间的复杂关系。我们量化这种关系的勒让德指数，一个概念，我们介绍来衡量的增长率的Bregman发散相对于周围的正常附近的解决方案。我们表明，这个指数决定了算法的最佳步长策略和达到的最佳速率，以这种方式解释了一些流行的Bregman函数（欧几里得投影，负熵，分数幂等）观察到的差异。
2021-07-05 cs.LG math.OC
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
The University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本文研究了几类具有重球动量的随机最优化算法。其中研究的方法有：随机梯度下降，随机牛顿，随机邻近点和随机对偶子空间上升。这是第一次研究这些方法中的几个动量变量。我们选择在上述所有方法都等效的环境中进行分析。我们证明了全局非渐近线性收敛速率的所有方法和各种措施的成功，包括原始函数值，原始迭代（在L2意义上），和对偶函数值。我们还表明，原始迭代收敛在L1意义上的加速线性速率。这是随机重球方法第一次显示线性速率（即，具有动量随机梯度下降法）。在较弱的条件下，我们建立了原始迭代的Cesaro平均的次线性收敛速度。此外，我们提出了一个新的概念，我们称之为随机动量，旨在减少执行动量步骤的成本。我们证明了线性收敛的随机方法与随机动量，并表明，在一些稀疏的数据制度和足够小的动量参数，这些方法享有更好的整体复杂性比方法与确定性动量。最后，我们对人工和真实数据集进行了广泛的数值测试，包括来自平均共识问题的数据。
2018-03-28 cs.LG cs.NA math.NA
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa（爱荷华大学）
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后，提出了一种有效的可行点方法--投影Wirtinger梯度下降（PWGD）算法，有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同，我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
Last iterate convergence in no-regret learning: constrained min-max optimization for convex-concave landscapes
UT Austin（得克萨斯大学）；SUTD（新加坡科技设计大学）
本文证明遵循无悔在线学习框架的 OMWU 在凸-凹零和博弈中具有局部最后迭代收敛性，将既有双线性情形结果推广至更一般凸-凹景观，并通过实验验证其快速收敛。
2025-09-27 cs.GT cs.LG stat.ML
Trustworthiness of Stochastic Gradient Descent in Distributed Learning
SnT, University of Luxembourg（卢森堡大学SnT分校）；Paris-Saclay University（巴黎-萨克雷大学）
本文评估了分布式学习中压缩与未压缩SGD的可信度，发现压缩SGD对梯度反转攻击具有更高的隐私泄露抵抗力，且MIA不适合作为评估该场景隐私风险的可靠指标。
2025-04-29 cs.AI cs.DC cs.LG
Acceleration for Compressed Gradient Descent in Distributed and Federated Optimization
由于分布式和联邦学习问题中的高通信成本，依赖于通信消息压缩的方法变得越来越流行。虽然在其他情况下，性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少迭代次数，但没有结合梯度压缩和加速两者的优点的方法。在本文中，我们纠正这种情况，并提出了第一加速压缩梯度下降（ACGD）方法。在单机状态下，我们证明ACGD享有率$O\Big((1+ω)\sqrt{\frac{L}μ}\log \frac{1}ε\Big)$的$μ$ -强凸问题和$O\Big((1+ω)\sqrt{\frac{L}ε}\Big)$的凸问题，分别，其中$ω$是压缩参数。我们的研究结果改善了现有的非加速率$O\Big((1+ω)\frac{L}μ\log \frac{1}ε\Big)$和$O\Big((1+ω)\frac{L}ε\Big)$，分别，并恢复加速梯度下降的最佳速率作为一种特殊情况下，没有压缩（$ω=0$）时，应用。我们进一步提出了ACGD的分布式变体（称为ADANA），并证明了收敛速度$\widetilde{O}\Big(ω+\sqrt{\frac{L}μ}+\sqrt{\big(\fracω{n}+\sqrt{\fracω{n}}\big)\frac{ωL}μ}\Big)$，其中$n$是设备/工人的数量和$\widetilde{O}$隐藏对数因子$\log \frac{1}ε$。这改进了Mishchenk…
2020-06-25 cs.DC cs.LG math.OC
Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；Google DeepMind（谷歌DeepMind）
本文针对一般非齐次深度网络，在指数损失下证明梯度下降迭代的方向极限满足间隔最大化问题的KKT条件，并将隐式偏差理论从齐次网络推广到含残差连接和非齐次激活函数的网络，解决了Ji和Telgarsky提出的开放问题。
2025-07-15 cs.LG math.OC stat.ML
Almost sure convergence rates for Stochastic Gradient Descent and Stochastic Heavy Ball
CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；CREST（经济与统计研究中心）；ENSAE（巴黎高等经济商业学院）；Télécom ParisTech（巴黎高等电信学院）；IP Paris（巴黎理工学院）；Facebook AI Research（脸书人工智能研究院）
我们研究一般随机逼近问题的随机梯度下降（SGD）和随机重球方法（SHB，也称为动量方法）。对于SGD，在凸光滑的设置，我们提供了第一个\emph{almost sure}渐近收敛\emph{rates}的加权平均的迭代。更准确地说，我们表明，函数值的收敛速度是任意接近$o(1/\sqrt{k})$，正是$o(1/k)$在所谓的过参数化的情况下。我们发现，这些结果仍然持有时，使用随机线搜索和随机Polyak步长，从而给出了第一个证明这些方法的收敛性在非overparametrized制度。使用一个实质上不同的分析，我们表明，这些利率持有SHB以及，但在最后一年。这一区别很重要，因为它是SGD和SHB在实践中使用的最后一种。我们还证明了SHB的最后一阶收敛到极小值\emph{almost surely}。此外，我们证明了确定性HB的函数值收敛在一个$o(1/k)$率，这是比以前已知的$O(1/k)$更快。最后，在非凸的设置，我们证明了相似率的最低梯度模沿SGD的轨迹。
2021-02-05 cs.LG math.OC stat.ML
On Convergence-Diagnostic based Step Sizes for Stochastic Gradient Descent
EPFL（洛桑联邦理工学院）；École Polytechnique（巴黎综合理工学院）
恒定步长的随机梯度下降具有两个阶段：一个过渡阶段，在此期间，迭代快速向最优值前进，其次是一个稳定阶段，在此期间，迭代振荡的最佳点。在本文中，我们表明，有效地检测这种过渡和适当地减少步长可以导致快速收敛速度。我们分析了Pflug（1983）提出的基于连续随机梯度之间的内积的经典统计检验。即使在简单的情况下，目标函数是二次的，我们表明，这种测试不能导致足够的收敛诊断。然后，我们提出了一种新的和简单的统计过程，准确地检测平稳性，我们提供的实验结果显示最先进的性能在合成和真实世界的数据集。
2020-07-01 cs.LG math.OC stat.ML
Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation
Department of Computer Science, Yale University（耶鲁大学计算机科学系）；Department of Electrical Engineering and Computer Sciences, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系）；Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
本文针对黎曼流形上的测地强单调博弈，首次建立了 RGD 及其随机和自适应变体（SRGD、FARGD）的几何无关最后迭代线性收敛保证，并证明了样本复杂度的最优性和对条件数的独立性。
2025-11-10 cs.GT cs.LG math.OC
Averaging Stochastic Gradient Descent on Riemannian Manifolds
University of California Berkeley（加州大学伯克利分校）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑定义在黎曼流形$\mathcal{M}$上的函数的极小化问题，该问题只能通过其梯度的无偏估计来获得。我们开发了一个几何框架来转换一个序列的缓慢收敛的迭代产生的随机梯度下降（SGD）$\mathcal{M}$的一个强大的和快速的$O(1/n)$收敛速度的平均序列。然后，我们提出了一个应用程序，我们的框架，大地强凸（可能欧几里德非凸）的问题。最后，我们演示了这些想法如何适用于流$k$ -PCA的情况下，我们展示了如何加速缓慢的随机功率方法（不需要本征间隙的知识）到一个强大的算法，实现最佳的收敛速度。
2018-06-08 cs.LG math.OC stat.ML
Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
本文研究了固定步长下随机梯度下降的收敛诊断，提出一种基于耦合的动态步长方案，通过监测耦合迭代距离检测平稳性，实现更高效的收敛性能。
2024-12-15 cs.LG math.OC stat.ML
Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models
University of Chicago（芝加哥大学）；University of Twente（特文特大学）
该研究建立了带Dropout正则化的SGD及平均SGD迭代的渐近理论，提出长期协方差在线估计器，实验验证大样本下置信区间接近标称覆盖概率。
2024-09-11 cs.LG math.ST stat.ML
Basic Inequalities for First-Order Optimization with Applications to Statistical Risk Analysis
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；New York University（纽约大学）
本文提出了一阶优化的基本不等式，用于统计风险分析，并通过实验验证了其在不同优化方法中的应用效果。
2026-09-15 cs.LG cs.NA math.NA
Lightweight Projective Derivative Codes for Compressed Asynchronous Gradient Descent
The Graduate Center, CUNY（纽约市立大学研究生中心）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）；CUNY Queens College & Graduate Center（纽约市立大学皇后学院及研究生中心）
编码分布式计算已经成为在大型数据集上执行梯度下降以减轻离散和其他故障的常见实践。本文提出了一种新的算法，编码的偏导数本身，并进一步优化代码通过执行有损压缩的衍生码字通过最大化的码字中包含的信息，而最小化的码字之间的信息。编码理论的这种应用的效用是在优化研究中观察到的事实的几何结果，即噪声在基于梯度下降的学习算法中是可容忍的，有时甚至是有帮助的，因为它有助于避免过拟合和局部最小值。这与当前许多关于分布式编码计算的传统工作形成鲜明对比，分布式编码计算的重点是从工作者恢复所有数据。第二个进一步的贡献是编码方案的低权重性质允许异步梯度更新，因为代码可以被迭代解码;即，工作者的任务可以立即被更新到更大的梯度中。方向导数总是方向向量的线性函数;因此，我们的框架是鲁棒的，因为它可以将线性编码技术应用于一般的机器学习框架，如深度神经网络。
2022-06-21 cs.DC cs.IT cs.LG
Homogenization of $\ell_2$-Adversarial Training in High-Dimensions: Exact Dynamics under Stochastic Gradient Descent
针对高斯混合模型上的单指标模型，在流式SGD下推导$\ell_2$-对抗训练学习动力学的确定性等价，分析两种学习率调度，揭示各向异性协方差和岭参数不匹配导致精确线搜索次优。
2026-07-02 cs.LG math.OC math.PR
Convergence Rate for the Last Iterate of Stochastic Gradient Descent Schemes
Department of Mathematics University of Arizona（数学系 美国亚利桑那大学）
本文研究了随机梯度下降和随机重力球在非凸和凸目标函数下的最后迭代收敛速度，得出了不同情况下的收敛速率结果。
2026-03-09 cs.LG math.OC
Risk and parameter convergence of logistic regression
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
当应用于逻辑回归任务时，梯度下降输出迭代，该迭代被偏置以遵循由数据定义的唯一射线。该射线的方向是数据的最大线性可分离子集的最大裕度预测值;梯度下降迭代以速率$\mathcal{O}(\ln\ln t / \ln t)$在方向上收敛到该射线。射线一般不会穿过原点，其偏移量是剩余数据上风险的有界全局最优值;梯度下降以$\mathcal{O}((\ln t)^2 / \sqrt{t})$的速率恢复该偏移量。
2019-06-08 cs.LG math.OC stat.ML
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent
Universitat Pompeu Fabra（庞培法布拉大学）；Element AI（Element AI公司）；Mila（米拉实验室）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
我们研究了流行的随机优化方法称为随机梯度下降（SGD）优化一般非凸损失函数的推广性能。我们的主要贡献是提供上界的泛化误差，依赖于本地统计的随机梯度评估沿路径的迭代计算SGD。我们的边界取决于梯度的方差（相对于数据分布）和目标函数沿SGD路径的局部平滑度，以及损失函数对最终输出扰动的敏感性。我们的关键技术工具是结合信息理论的推广边界先前用于分析随机变量的SGD与扰动分析的迭代。
2021-08-15 cs.LG stat.ML
A KL-based Analysis Framework with Applications to Non-Descent Optimization Methods
School of Data Science (SDS)（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data (SRIBD)（深圳大数据研究院）
本文提出基于 Kurdyka-Lojasiewicz 性质的非凸非下降优化方法分析框架，首次在温和假设下证明了去中心化梯度、联邦平均、随机重排和随机梯度下降的收敛性。
2024-06-04 cs.LG math.OC
Understanding and Detecting Convergence for Stochastic Gradient Descent with Momentum
Baidu Research（百度研究院）
迭代随机优化方法的收敛性检测具有重要的实际意义。研究了具有恒定学习率和动量的随机梯度下降算法。我们发现，存在一个瞬态阶段，迭代移动到一个区域的利益，和一个固定阶段，迭代保持有界的区域周围的最小点。我们构造了一个统计诊断测试收敛到平稳阶段使用连续梯度之间的内积，并证明所提出的诊断工作良好。我们从理论上和经验上描述了动量如何影响诊断的测试统计量，以及测试统计量如何在收敛的梯度内捕获相对稀疏的信号。最后，我们展示了一个应用程序，自动调整学习率，减少它每次检测到平稳性，并显示该程序是强大的错误指定的初始速率。
2020-08-27 cs.LG stat.ML
Overparameterized Nonlinear Learning: Gradient Descent Takes the Shortest Path?
Department of Electrical and Computer Engineering, University of California, Riverside（加州大学河滨分校电气与计算机工程系）；Ming Hsieh Department of Electrical Engineering, University of Southern California（南加州大学明谢电气工程系）；University of California, Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
许多现代学习任务涉及将非线性模型拟合到在过参数化机制中训练的数据，其中模型的参数超过训练数据集的大小。由于这种过度参数化，训练损失可能有无穷多个全局最小值，理解一阶优化方案（如从不同初始化开始的（随机）梯度下降）找到的解的性质至关重要。在本文中，我们证明了当损失在初始点的极小邻域上具有某些性质时，一阶方法，如（随机）梯度下降有一些有趣的特性：（1）即使损失是非凸的，迭代也以几何速率收敛到全局最优，（2）在损失的所有全局最优解中，迭代收敛到一个离初始点最近的全局最优解;（3）迭代从初始点到全局最优解的路径是一条近直接的路径。作为我们的证明技术的一部分，我们引入了一个新的潜在的功能，捕捉精确的权衡之间的损失函数和距离的初始点的迭代过程。对于随机梯度下降（SGD），我们开发了新的鞅技术，保证SGD永远不会离开初始化的一个小邻域，即使有相当大的学习率。我们证明了我们的一般理论的效用，为各种问题域跨越低秩矩阵恢复神经网络训练。我们的分析是新的见解，可能对更复杂的学习问题的训练和泛化有影响，包括涉及深度神经网络架构的问题。
2018-12-25 cs.LG math.OC stat.ML
Convergence of Unregularized Online Learning Algorithms
City University of Hong Kong（香港城市大学）；Fudan University（复旦大学）；Zhejiang University（浙江大学）
本文研究了在线梯度下降算法在再生核Hilbert空间（RKHS）中的收敛性。给出了超泛化误差收敛于期望值的一个充分条件和一个必要条件。给出了几乎处处收敛的一个充分条件。以高概率，我们提供了显式的平均迭代和最后一次迭代的超额泛化误差的收敛速度，这反过来也意味着收敛速度的概率为1。据我们所知，这是第一个高概率收敛速度的最后一个在线梯度下降算法没有强凸性。没有任何有界性假设的迭代，我们的结果是由一个新的使用的两个措施的算法的一步进展，分别由泛化误差和RKHS的距离，其中所涉及的鞅的方差被抵消了算法的下降属性。
2017-08-09 cs.LG
Solving Inverse Problems with Conditional-GAN Prior via Fast Network-Projected Gradient Descent
Technische Universität Berlin（柏林工业大学）；Technische Universität München（慕尼黑工业大学）
投影梯度下降（PGD）方法已经显示出在恢复由生成模型以数据驱动的方式描述的压缩信号中是有效的，即，生成器，其已经学习了数据分布。这种逆问题的进一步重建改进可以通过根据测量调节生成器来实现。边界均衡生成对抗网络（BEGAN）实现了基于均衡的损失函数和自动编码的均衡器，以更好地平衡生成器和均衡器的性能。在这项工作中，我们研究了一个基于网络的投影梯度下降（NPGD）算法的测量条件生成模型，以解决反问题比常规PGD快得多。我们结合NPGD和条件GAN/BEGAN来评估它们在解决压缩感知类问题中的有效性。我们在MNIST和CelebA数据集上的实验表明，测量条件模型与NPGD的组合在恢复压缩信号方面效果很好，同时实现了类似或在某些情况下甚至更好的性能以及更快的重建。实验中获得的重建速度提升可达140-175。
2021-09-02 cs.IT cs.LG eess.SP
Online Covariance Matrix Estimation in Stochastic Gradient Descent
University of Chicago（芝加哥大学）；New York University（纽约大学）
随机梯度下降（SGD）算法被广泛应用于参数估计，特别是大数据集和在线学习。虽然这种递归算法是流行的计算和内存效率，量化的可变性和随机性的解决方案很少被研究。本文旨在在线环境下对基于SGD的估计值进行统计推断。特别是，我们提出了一个完全在线估计协方差阵的平均SGD迭代（ASGD）只使用从SGD迭代。我们正式建立我们的在线估计的一致性，并表明收敛速度与离线同行。基于ASGD的经典渐近正态性结果，构造了模型参数的渐近有效置信区间。在接收到新的观测值后，我们可以快速更新协方差阵估计值和置信区间。这种方法适合在线设置，并充分利用SGD：计算和内存效率。
2021-06-22 cs.LG stat.ML
Distributed Fixed Point Methods with Compressed Iterates
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Lehigh University（理海大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Cairo University（开罗大学）
我们提出了基本的和自然的假设下，压缩迭代的迭代优化方法可以进行分析。这个问题是由联邦学习的实践激发的，其中存储在云中的大型模型在发送到移动终端之前被压缩，然后移动终端基于本地数据进行训练。我们开发了标准和方差减少的方法，并建立通信复杂性的界限。我们的算法是第一个压缩迭代的分布式方法，也是第一个压缩迭代的不动点方法。
2019-12-20 cs.DC cs.LG cs.NA
Global Convergence and Stability of Stochastic Gradient Descent
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）；University of Michigan – Ann Arbor（密歇根大学安娜堡分校）；The Ohio State University（俄亥俄州立大学）
在机器学习中，随机梯度下降（SGD）被广泛部署到训练模型中，使用高度非凸目标和同样复杂的噪声模型。不幸的是，SGD理论经常做出限制性的假设，无法捕捉实际问题的非凸性，并且几乎完全忽略了实践中存在的复杂噪声模型。在这项工作中，我们在这一缺陷上取得了实质性进展。首先，我们建立SGD的迭代将要么全局收敛到一个稳定点或发散下几乎任意的非凸性和噪声模型。在对非凸性和噪声模型的联合行为稍微限制性的假设下，我们证明了目标函数不能发散，即使迭代发散。由于我们的研究结果，SGD可以应用到更大范围的随机优化问题的信心，其全局收敛性和稳定性。
2022-10-10 cs.LG math.OC
A Markov Chain Theory Approach to Characterizing the Minimax Optimality of Stochastic Gradient Descent (for Least Squares)
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作提供了一个简化的证明统计极小极大最优性（平均）随机梯度下降（SGD），为特殊情况下的最小二乘。这一结果是通过将SGD分析为随机过程并通过精确地表征该过程的平稳协方差阵而获得的。有限速率最优性表征捕获了常数因子并解决了模型错误指定。
2018-07-21 cs.LG math.OC stat.ML
Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations
University of California, Berkeley（加州大学伯克利分校）
本文采用流体动力学中的高分辨率微分方程（HRDEs）为多种鞍点优化方法建模，证明该模型能区分不同方法的收敛特征，并证明OGDA在一般单调变分不等式下具有末次迭代收敛性。
2023-07-31 cs.LG math.OC stat.ML
Survey Descent: A Multipoint Generalization of Gradient Descent for Nonsmooth Optimization
Cornell University（康奈尔大学）
对于光滑的强凸目标，经典的梯度下降理论确保相对于梯度评估的数量的线性收敛。一个类似的非光滑理论是具有挑战性的。即使当目标在每个顶点处是平滑的时，相应的局部模型也是不稳定的，并且传统补救措施所调用的切割平面的数量难以约束，从而导致相对于梯度评估的累积数量是次线性的收敛保证。相反，我们提出了一个多点推广的梯度下降迭代局部最优化。虽然在设计时考虑到了一般目标，但我们的动机是一个“最大平滑”模型，该模型捕获了最优的次微分维度。我们证明了线性收敛时，目标本身是最大的光滑，实验表明一个更普遍的现象。
2022-09-27 cs.CG cs.LG cs.NA
Adaptive Step-Size Methods for Compressed SGD
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
压缩随机梯度下降（SGD）算法最近被提出来解决分布式和分散式优化问题中的通信瓶颈，例如在联邦机器学习中出现的那些。现有的压缩SGD算法假设使用非自适应步长（恒定或递减）来提供理论收敛保证。通常，步长在实践中根据数据集和学习算法进行微调，以提供良好的经验性能。这种微调在许多学习场景中可能是不切实际的，因此使用自适应步长来研究压缩SGD是有意义的。受先前工作的启发，SGD的自适应步长方法训练神经网络有效地在未压缩的设置，我们开发了一个自适应步长方法压缩SGD。特别是，我们引入了一个缩放技术的下降步骤压缩SGD，我们用它来建立秩序的最优收敛速度凸光滑和强凸光滑的目标下的插值条件和非凸目标下的强增长条件。我们还通过仿真例子表明，如果没有这种缩放，算法可能无法收敛。我们提出了针对真实世界数据集的深度神经网络的实验结果，并将我们提出的算法的性能与文献中先前提出的压缩SGD方法进行了比较，并在ResNet-18，ResNet-34和DenseNet架构上证明了CIFAR-100和CIFAR-10数据集在各种压缩级别上的性能改进。
2022-07-20 cs.LG stat.ML
Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes
Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
随机梯度下降（SGD）是最简单、最流行的随机优化方法之一。虽然它已经在理论上研究了几十年，经典的分析通常需要非平凡的光滑性假设，这并不适用于SGD的许多现代应用与非光滑的目标函数，如支持向量机。在本文中，我们调查的性能SGD没有这样的平滑性假设，以及一个运行平均计划转换SGD迭代的解决方案，最佳的优化精度。在这个框架中，我们证明了T轮后，最后的SGD迭代的次优性尺度为O（log（T）/ \sqrt{T}）的非光滑凸目标函数，和O（log（T）/T）的非光滑强凸的情况下。据我们所知，这些是第一种界限，几乎匹配的最小最优率可通过适当的平均计划。我们还提出了一种新的简单的平均方案，它不仅可以获得最佳速率，而且还可以很容易地实时计算（相比之下，Rakhlin等人（2011）提出的后缀平均方案并不容易实现）。最后，我们提供了一些实验说明。
2012-12-28 cs.LG math.OC stat.ML
Statistical Inference for Stochastic Gradient Descent: Beyond Finite Variance
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
针对随机梯度下降中梯度方差可能无限的问题，提出一种基于联合弱收敛和自正则化统计量的模型无关置信域构建方法，并通过子采样校准实现渐近有效推断。
2026-08-03 cs.LG stat.ME stat.ML
Surpassing Gradient Descent Provably: A Cyclic Incremental Method with Linear Convergence Rate
University of Pennsylvania（宾夕法尼亚大学）；Rutgers University（罗格斯大学）
近年来，人们越来越关注开发用于解决大规模机器学习问题的最优化方法。这些问题中的大多数归结为最小化一组光滑和强凸函数的平均值的问题，其中函数$n$的数量很大。梯度下降法（GD）是成功的最小化凸问题在一个快速的线性速度，但它不适用于所考虑的大规模优化设置，因为高的计算复杂性。增量方法通过用增量梯度近似代替下降方向所需的梯度来解决梯度法的这个缺点。它们通过每次迭代评估一个梯度并执行$n$可用梯度的平均值作为梯度近似值来操作。尽管增量方法降低了GD的计算成本，但它们的收敛速度并不能证明它们相对于GD在收敛之前的梯度评估总数方面的优势。在本文中，我们介绍了一种双增量聚合梯度方法（DIAG），在每次迭代中只计算一个函数的梯度，这是基于一个循环的计划选择，并使用聚合的平均梯度的所有功能来近似的完整的梯度。所提出的DIAG方法的迭代使用迭代和梯度两者的平均值，这与利用梯度平均值但不利用梯度平均值的经典增量方法相反。我们证明了所提出的DIAG方法不仅线性收敛到最优解，而且其线性收敛因子证明了增量方法在GD上的优势。特别是，我们证明了DIAG的最坏情况下的性能优于GD的最坏情况下的性能。
2018-02-07 cs.LG math.OC
Functional Central Limit Theorem for Stochastic Gradient Descent
CREST-ENSAE
本文研究了随机梯度下降算法在凸目标函数下的轨迹渐近行为，通过函数中心极限定理揭示了算法波动的长期特性，并适用于非光滑优化问题。
2026-02-17 cs.LG math.OC stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science（魏茨曼科学研究所）；TTI Chicago（芝加哥丰田工业大学）
当梯度延迟并反映$τ$轮前的迭代时，我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先，我们表明，没有随机噪声，延迟强烈影响可达到的优化误差：事实上，错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是，我们量化了随机噪声如何使延迟的影响可以忽略不计，改进了以前的工作，这些工作只显示了这种现象渐近或更小的延迟。此外，在分布式优化的背景下，结果表明，具有延迟的梯度下降的性能是有竞争力的同步方法，如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法，使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability
Johns Hopkins University（约翰斯·霍普金斯大学）；Rice University（莱斯大学）；Princeton University（普林斯顿大学）
本研究证明在稳定性边缘下，任意常数步长的梯度下降可使逻辑回归损失最小化，并揭示其隐式偏差，同时指出指数损失可能发散，凸显逻辑损失优势。
2023-10-15 cs.LG stat.ML
Riemannian accelerated gradient methods via extrapolation
University of Sydney（悉尼大学）；Microsoft India（微软印度）
本文提出了一种简单的黎曼梯度法的加速格式，它是通过在流形上外推迭代来实现的。我们证明了当迭代由黎曼梯度下降法产生时，加速格式渐近地达到最优收敛速度，并且在计算上比最近提出的黎曼Nesterov加速梯度法更有利.我们的实验验证了新的加速策略的实际效益。
2022-08-13 cs.LG math.OC stat.ML
Long-time dynamics and universality of nonconvex gradient descent
Department of Statistics, Rutgers University, Piscataway, NJ 08854, USA.（统计系，罗杰斯大学，皮斯基塔威，新泽西州08854，美国）
本文提出通用方法刻画大长宽比下广义单指数模型中非凸梯度下降的长时间轨迹行为，证明其集中于一确定性向量并可用状态演化系统追踪，揭示了隐式正则化效应，并应用于全局收敛性证明和无数据参数估计算法。
2025-09-14 cs.IT cs.LG math.IT
Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Harvard University（哈佛大学）
随机梯度下降（SGD）已被证明在许多深度学习应用中具有良好的推广性。在实践中，人们经常以几何衰减步长运行SGD，即，一个恒定的初始步长，然后是多个几何步长衰减，并使用最后一个步长作为输出。已知这种SGD对于经典的有限维线性回归问题几乎是最小最大最优的（Ge等人，2019年）。然而，在过度参数化设置下对SGD的最后一个周期的尖锐分析仍然是开放的。在本文中，我们提供了一个问题相关的分析的最后一个风险界的SGD与衰减步长，（过参数化）线性回归问题。特别是，对于最后一个具有（尾部）几何衰减步长的SGD，我们证明了几乎匹配的上限和下限的超额风险。此外，我们提供了一个额外的风险下限与多项式衰减步长的最后一个SGD和几何衰减步长的优势，在一个实例的方式，这补充了极大极小率比较在以前的作品。
2022-07-11 cs.LG math.OC stat.ML
Perturbed Iterate Analysis for Asynchronous Stochastic Optimization
AMPLab；UC Berkeley（加州大学伯克利分校）
我们介绍并分析了随机最优化方法，其中每个梯度更新的输入被有界噪声扰动。我们表明，这个框架形成了一个统一的方法来分析异步实现的随机最优化algorithm.In这个框架中，异步随机最优化算法可以被认为是一系列的方法在嘈杂的输入。使用我们的扰动框架，我们提供了新的分析Hogwild！算法和异步随机坐标下降，比以前的分析更简单，删除了以前的模型的许多假设，并在某些情况下产生改进的收敛速度上界。我们继续应用我们的框架来开发和分析KroMagnon：一种新颖的，并行的，稀疏的随机方差降低梯度（SVRG）算法。我们在一个16核机器上的实验表明，稀疏和并行版本的SVRG在某些情况下比标准SVRG算法快四个数量级以上。
2016-03-25 cs.DC cs.DS cs.LG
Making the Last Iterate of SGD Information Theoretically Optimal
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
随机梯度下降（SGD）算法是求解大规模优化问题最常用的算法之一。而经典的凸问题SGD理论分析研究（后缀）\emph{averages}的迭代，并获得信息理论上的最优次优界，SGD的\emph{last point}是，到目前为止，在实践中最优选的选择。然而，SGD \cite{shamir2013stochastic}的最后一点的最佳已知结果与信息理论下限相比是次优的，因为$\log T$因子，其中$T$是迭代次数。\cite{harvey2018tight}表明，事实上，这个额外的$\log T$因子对于分别用于非强凸和强凸设置的$\OTheta{\frac{1}{\sqrt{t}}}$和$\OTheta{\frac{1}{t}}$的标准步长序列是紧的。类似地，即使对于次梯度下降（GD），当应用于非光滑凸函数时，最著名的步长序列仍然导致$O(\log T)$ -次优收敛速度（在最终的收敛速度上）。这项工作的主要贡献是设计新的步长序列，享受信息理论上的次优性的\emph{last point}的SGD以及GD的最佳界限。我们通过设计一个修改方案来实现这一点，该方案将一个步长序列转换为另一个步长序列，使得具有修改序列的SGD/GD的最后一点具有与具有原始序列的SGD/GD的平均值相同的次优性保证。我们还表明，我们的结果具有很高的概率。我们通过仿真验证了我们的结果，这表明，新的步长序列…
2019-05-29 cs.LG math.OC
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data
The University of Hong Kong（香港大学）；University of California, San Diego（加州大学圣地亚哥分校）；Beijing University of Aeronautics and Astronautics（北京航空航天大学）
研究可分数据上全批量线性分类的速率控制情况，针对无记忆稳定性退火平滑符号下降，证明归一化迭代收敛特性，通过实验验证相关恒等式、展示预测图及缩放，还报告了多种情况的诊断，明确理论范围。
2026-07-08 cs.LG math.OC
On the Finite Time Convergence of Cyclic Coordinate Descent Methods
University of Chicago（芝加哥大学）
本文证明了在等调性假设下，两种循环坐标下降变体具有O(1/k)的收敛速率，并通过与梯度下降的比较展示了其优越性。
2010-05-12 cs.LG cs.NA math.NA
A Symplectic Analysis of Alternating Mirror Descent
Yale University（耶鲁大学）
本文针对双线性零和博弈中的AMD算法，基于辛欧拉方法结合哈密顿动力学等理论分析其离散化特性，推导得到更优的遗憾与对偶间隙界，并提出关于收敛量级的猜想。
2025-11-17 cs.GT cs.LG cs.NA
Convergence of SGD with momentum in the nonconvex case: A time window-based analysis
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出基于时间窗口的分析方法，在非凸情形下建立了带动量随机梯度下降（SGDM）的迭代收敛性，并给出依赖于Łojasiewicz指数和步长方案的局部收敛速率。
2024-12-27 cs.LG math.OC
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley（加州大学伯克利分校）；National University of Defense Technology（国防科技大学）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）
我们考虑了广泛的正则化随机极小化问题的两个正则化项，其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用，例如融合Lasso，融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面，与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面，当输入数据样本的数量相当大时，目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题，我们提出了一个随机变量的额外梯度型方法，即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)}，并分析其收敛性的凸和强凸目标。对于一般的凸目标，由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标，由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的，以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明，该算法的性能非常有效，并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
