Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Michigan（密歇根大学）
本文提出 IPGD 方法，通过微小扰动和小偏差率，在过度参数化模型中实现隐式正则化，提升收敛到低维解的能力。
2025-12-09 cs.LG math.OC
Preconditioned Gradient Descent for Over-Parameterized Nonconvex Matrix Factorization
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
针对非凸矩阵分解过参数化时收敛速度变慢的问题，提出预处理梯度下降PrecGD，通过带特定阻尼参数的$\boldsymbol{\u2113}_2$正则化修正奇异性，恢复线性收敛且噪声下稳定，数值实验验证其有效性。
2025-04-13 cs.LG math.OC stat.ML
Interpolation-based coordinate descent method for parameterized quantum circuits
Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）；School of Computational Sciences, Korea Institute for Advanced Study（韩国高等研究院计算科学学院）；Wharton Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学沃顿统计学与数据科学系）
本文提出基于插值的坐标下降法用于优化参数化量子电路，通过插值恢复三角结构并减少统计误差，提升求解效率。
2025-11-06 math.OC quant-ph
Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent
基于因式分解的梯度下降算法是一种可扩展的、高效的低秩矩阵完备化算法。结构化非凸优化的最新进展在低秩矩阵和样本集上的某些统计假设下为梯度下降算法提供了整体收敛保证。然而，虽然理论表明梯度下降法具有快速线性收敛到问题的全局解的能力，但边界技术的普遍性质使其无法获得对收敛速度收敛速率的准确估计。在本文中，我们进行了局部分析的精确线性收敛速率的梯度下降的因式分解为基础的矩阵完成对称矩阵。在不对底层模型作任何额外假设的情况下，我们确定了梯度下降算法局部收敛的确定性条件，该条件仅依赖于解矩阵和采样集.更重要的是，我们的分析提供了一个封闭形式的表达式的渐近收敛速率，完全匹配的线性收敛在实践中观察到的。据我们所知，我们的结果是第一个提供了确切的收敛速率梯度下降矩阵分解在欧氏空间矩阵完成。
2021-02-06 math.OC stat.ML
Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations
Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）；Stanford University（斯坦福大学）
我们表明，梯度下降算法提供了一个隐式的正则化效果在学习过参数化矩阵分解模型和一个隐藏层神经网络与二次激活。具体地说，我们表明，给定$\tilde{O}(dr^{2})$随机线性测量秩$r$半正定矩阵$X^{\star}$，我们可以恢复$X^{\star}$参数化它的$UU^\top$与$U\in \mathbb R^{d\times d}$和最小化平方损失，即使$r \ll d$。我们证明，从一个小的初始化，梯度下降恢复$X^{\star}$在$\tilde{O}(\sqrt{r})$迭代近似。结果解决了Gunasekar等人的猜想。'17在限制等距属性下。该技术可以应用于分析神经网络与一个隐藏层的二次激活的一些技术修改。
2019-02-14 cs.DS cs.LG math.OC
Toward Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixture Models
University of Washington（华盛顿大学）
研究过参数化GMM中梯度EM算法的全局收敛性，提出基于似然的收敛分析框架，首次证明任意成分数下以次线性速率全局收敛，并揭示不良局部区域导致指数级步数停滞的挑战。
2025-06-01 cs.LG math.OC stat.ML
Gradient Descent-Type Methods: Background and Simple Unified Convergence Analysis
在本书的章节中，我们简要描述了构成梯度下降法及其加速和随机变体的主要组成部分。我们的目的是从数学的角度来解释这些组成部分，包括理论和实践方面，但在一个初级的水平。我们将集中在梯度下降法的基本变种，然后将我们的观点扩展到最近的变种，特别是方差减少的随机梯度计划（SGD）。我们的方法依赖于揭示问题内部的结构和施加在目标函数上的假设。我们的收敛性分析统一了几个已知的结果，并依赖于一个一般的，但小学递归表达式。我们已经在几个常见的方案上说明了这种分析。
2022-12-19 math.OC stat.ML
Exponential Convergence Time of Gradient Descent for One-Dimensional Deep Linear Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究的动态梯度下降的目标函数的形式$f(\prod_{i=1}^{k} w_i)$（相对于标量参数$w_1,\ldots,w_k$），这是在训练深度$k$线性神经网络的背景下出现的。我们证明，对于标准的随机初始化，并在温和的假设下$f$，收敛所需的迭代次数与深度$k$呈指数级。我们还表明经验，这种现象可以发生在更高的维度，其中每个$w_i$是一个矩阵。这突出了理解深度线性神经网络的基于梯度的方法的收敛性的潜在障碍，其中$k$很大。
2019-06-13 cs.LG cs.NE math.OC
Stochastic Gradient Descent Revisited
本文在相对温和的条件下对有偏非凸随机梯度下降进行了全面收敛性分析，涵盖弱收敛、函数值收敛和全局收敛，并给出了收敛速率与复杂度。
2025-03-07 math.OC math.PR stat.ML
Global Convergence of Adaptive Gradient Methods for An Over-parameterized Neural Network
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）
AdaGrad等自适应梯度方法广泛用于优化神经网络。然而，现有的自适应梯度方法的收敛保证要求凸性或光滑性，并且在光滑设置中，仅保证收敛到一个稳定点。我们提出了一种自适应梯度方法，并表明，对于两层过参数化神经网络-如果宽度足够大（多项式）-那么所提出的方法收敛\emph{to the global minimum}在多项式时间，收敛是强大的，\emph{ without the need to fine-tune hyper-parameters such as the step-size schedule and with the level of over-parametrization independent of the training error}。我们的分析特别表明，过度参数化对于在神经网络环境中充分发挥自适应梯度方法的潜力至关重要。
2019-10-19 cs.LG math.OC stat.ML
On stochastic mirror descent with interacting particles: convergence properties and variance reduction
一个开放的问题，在优化与噪声信息是一个确切的极小值是独立的噪声量的计算。随机逼近算法中的标准实践是使用递减步长。然而，这导致收敛较慢。第二种选择是使用固定的步长并运行算法的独立副本并对它们求平均值。第三种选择是运行算法的副本并允许它们交互。目前还不清楚哪种选择效果最好。为了解决这个问题，我们减少了一个确切的极小值与噪声梯度信息的计算问题的随机镜像下降与相互作用的粒子的研究。我们研究了随机镜像下降的收敛性，并明确了通信和方差减少之间的权衡。我们提供的理论和数值证据表明，相互作用有助于提高收敛性和减少方差的估计。
2020-11-05 math.OC stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business（巴塞罗那经济学院和巴塞罗那大学）
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似，确立了收敛的一般充分条件，扩展了Chatterjee（2022）的非随机结果，并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing
Peking University（北京大学）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
据信，梯度下降（GD）在训练机器学习模型中诱导对良好泛化的隐式偏差。本文提供了一个细粒度的分析动力学的GD的矩阵传感问题，其目标是恢复一个低秩的地面真值矩阵从近各向同性的线性测量。结果表明，具有小初始化的GD的行为类似于贪婪的低秩学习算法（Li et al.，2020）并遵循增量学习程序（Gissin等人，2019年）：GD顺序学习解决方案，并增加排名，直到恢复地面真值矩阵。相对于现有的工作，只分析了第一个学习阶段的秩-1解决方案，我们的结果提供了整个学习过程的特征。此外，除了过度参数化的制度，许多先前的工作集中，我们的增量学习过程的分析也适用于参数化不足的政权。最后，我们进行了数值实验，以证实我们的理论研究结果。
2023-01-27 cs.LG math.OC stat.ML
Distributed Mirror Descent with Integral Feedback: Asymptotic Convergence Analysis of Continuous-time Dynamics
Texas A&M University（德克萨斯A&M大学）
这项工作解决了分布式优化，其中代理网络希望最小化全局强凸目标函数。全局函数可以写成局部凸函数的和，每个凸函数与一个代理相关联。我们提出了一个连续时间分布式镜像下降算法，使用纯粹的本地信息收敛到全局最优值。与以前的分布式镜像下降的工作不同，我们在更新中加入了积分反馈，使算法在离散化时以恒定的步长收敛。我们建立了渐近收敛的算法使用李雅普诺夫稳定性分析。我们进一步说明了数值实验，验证了采用积分反馈的优点，以提高分布式镜像下降的收敛速度。
2020-09-14 cs.LG math.OC stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science（魏茨曼科学研究所）；TTI Chicago（芝加哥丰田工业大学）
当梯度延迟并反映$τ$轮前的迭代时，我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先，我们表明，没有随机噪声，延迟强烈影响可达到的优化误差：事实上，错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是，我们量化了随机噪声如何使延迟的影响可以忽略不计，改进了以前的工作，这些工作只显示了这种现象渐近或更小的延迟。此外，在分布式优化的背景下，结果表明，具有延迟的梯度下降的性能是有竞争力的同步方法，如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法，使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
Generalization Bounds of Stochastic Gradient Descent for Wide and Deep Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了过参数化机制下深度神经网络（DNN）的训练和泛化，其中网络宽度（即，每层隐藏节点的数量）远大于训练数据点的数量。我们证明，使用随机梯度下降（SGD）和随机初始化训练的足够宽的ReLU网络的预期$0$ - $1$损失可以由初始化时网络梯度引起的随机特征模型的训练损失来限制，我们称之为神经正切随机特征（NTRF）模型。对于可以用NTRF模型进行分类的数据分布，具有足够小的误差，我们的结果产生了$\tilde{\mathcal{O}}(n^{-1/2})$阶的泛化误差界，它与网络宽度无关。我们的结果比现有的过参数神经网络的泛化误差界更一般和尖锐。此外，我们建立了我们的泛化误差界和神经切线核（NTK）在最近的工作中提出的强连接。
2019-11-12 cs.LG math.OC stat.ML
Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
University of Michigan（密歇根大学）
研究对称矩阵补全问题，证明在无需显式正则化且小初始化条件下，梯度下降在过参数化和精确参数化场景中均能收敛至真实矩阵，其收敛速率与精度仅取决于真实秩，并提出弱耦合留一法分析建立全局收敛。
2024-02-09 cs.LG math.OC stat.ML
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University（乔治华盛顿大学）
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性，推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
Global Convergence and Rate Analysis of the Steepest Descent Method for Uncertain Multiobjective Optimization via a Robust Optimization Approach
本文针对不确定多目标优化问题，在已有局部收敛性工作基础上，严格证明了最速下降法的全局收敛性和线性收敛速率，从而完善其理论基础并提升鲁棒优化方法的实用性。
2025-03-09 math.OC
On the convergence of gradient descent for two layer neural networks
已经表明，梯度下降可以在过参数化的区域（神经网络的宽度远大于数据点的数量）中产生零训练损失。在这项工作中，结合一些现有的工作的思想，我们研究的梯度下降法训练两层神经网络逼近一些目标连续函数。通过使用一般的链接技术从概率论，我们表明，梯度下降可以产生指数收敛速度，而所需的神经网络的宽度是独立的训练数据的大小。这一结果也暗示了两层神经网络在没有维数灾难的情况下具有较强的逼近能力。
2019-11-04 cs.LG math.OC stat.ML
Analysis of Biased Stochastic Gradient Descent Using Sequential Semidefinite Programs
我们提出了一个收敛速度分析有偏随机梯度下降（SGD），其中个别梯度更新被破坏的计算错误。我们开发随机二次约束，制定一个小的线性矩阵不等式（LMI）的可行点导致有偏SGD的收敛界。基于这个LMI条件，我们开发了一个顺序最小化方法来分析复杂的权衡，耦合步长的选择，收敛速度，优化精度和鲁棒性梯度不准确。我们还提供了可行的点，这个线性矩阵不等式，并获得理论公式，量化的收敛性能偏SGD在各种假设下的损失函数。
2020-03-28 math.OC stat.ML
New insights in smoothness and strong convexity with improved convergence of gradient descent
研究梯度型方法的收敛性和复杂性的起始假设可能是光滑性（也称为梯度的Lipschitz连续性）和强凸性。在这篇文章中，我们重新审视这两个基本属性，从一个新的角度，激发他们的定义和等价刻画，以及改进的线性收敛的梯度下降法。
2021-10-29 math.OC
Stochastic Gradient Descent with Exponential Convergence Rates of Expected Classification Errors
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们考虑再生核希尔伯特空间中的二进制分类问题的随机梯度下降及其平均变量。在使用损失函数的一致性性质的传统分析中，已知即使在条件标签概率上假设低噪声条件时，期望分类误差也比期望风险收敛得更慢。因此，所得速率是次线性的。因此，重要的是考虑是否可以实现预期分类误差的更快收敛。在最近的研究中，在强低噪声条件下显示了随机梯度下降的指数收敛率，但理论分析仅限于平方损失函数，这对于二元分类任务来说有些不足。在本文中，我们显示了一个指数收敛的期望分类误差在最后阶段的随机梯度下降的一类广泛的可微凸损失函数在类似的假设。至于平均随机梯度下降，我们表明，从训练的早期阶段相同的收敛速度。在实验中，我们验证了我们的分析上的$L_2$正则化逻辑斯谛回归。
2022-07-25 cs.LG math.OC stat.ML
A Rate of Convergence for Two-Block Coordinate Descent
这个简短的报告给出了一个非渐近收敛速率证明解决两块坐标下降问题。这个非渐近证明是一个简单的结果，可以很容易地从文献中的结果。我们在本报告中给出了结果，因为在这种一般形式下，我们没有看到文献中的陈述。
2019-01-25 math.OC
Implicit regularization and solution uniqueness in over-parameterized matrix sensing
Boston University（波士顿大学）；Rice University（莱斯大学）；University of Maryland（马里兰大学）
我们考虑过参数化线性矩阵分解中的算法选择是否引入了隐式正则化。我们专注于$\mathbb{R}^{n \times n}$中秩- $r$半正定（PSD）矩阵上的无噪声矩阵感知，其感知机制满足限制等距性质（RIP）。我们研究的算法是\emph{factored gradient descent}，其中我们模型的低秩和PSD约束与因子分解$UU^\top$，为$U \in \mathbb{R}^{n \times r}$。令人惊讶的是，最近的工作认为$r \leq n$的选择并不关键：即使设置$U \in \mathbb{R}^{n \times n}$也足以让因子梯度下降找到秩- $r$解，这表明对因子进行操作会导致隐式正则化。在这篇文章中，我们提供了一个不同的角度来看待隐式正则化问题。我们表明，在一定的条件下，PSD约束本身就足以导致一个独特的秩- $r$矩阵恢复，没有隐式或显式低秩正则化。\emph{I.e.}，在假设下，与观察到的数据一致的PSD矩阵的集合是单例的，无论使用的算法如何。
2019-09-13 cs.LG math.OC stat.ML
Convergence rate analysis of the gradient descent-ascent method for convex-concave saddle-point problems
本文研究了求解凸-凹鞍点问题的梯度下降-上升法。利用半定规划的性能估计方法，得到了一个新的以到解集的距离表示的非渐近整体收敛速度。所给出的收敛速度包含了问题的大多数参数，并且对于一大类强凸-强凹鞍点问题的一次迭代是精确的.我们还研究了非强凸性的算法，给出了梯度下降-上升算法线性收敛的充要条件。
2022-09-16 math.OC
Convergence of stochastic gradient descent under a local Lojasiewicz condition for deep neural networks
Duke University（杜克大学）
本文在局部Łojasiewicz条件和损失景观局部结构假设下，证明了SGD对非凸目标以正概率局部收敛，并给出满足假设的有限宽度神经网络实例。
2024-01-12 cs.LG math.OC stat.ML
Asymptotic convergence rates for coordinate descent in polyhedral sets
我们考虑一个家庭的并行方法约束优化的基础上投影梯度下降沿个别坐标方向。在多面体可行集的情况下，局部收敛到一个正则解发生不受约束的减少空间，允许计算紧渐近收敛率的灵敏度分析，这即使当整体收敛率是不可用的或过于保守。我们推导出线性渐近收敛速度在多面体的坐标下降的方法，包括循环，同步和随机模式的实现的变体。我们的结果发现应用在随机最优化，并与最近提出的优化算法的基础上泰勒近似的牛顿步骤。
2015-09-17 math.OC
Global convergence of $W^{1,\infty}$-steepest descent for PDE constrained shape optimisation with semilinear elliptic equations in function space
Otto-von-Guericke-University Magdeburg（奥托·冯·古里克马格德堡大学）；University of Sussex（萨塞克斯大学）；University of Koblenz（科布伦茨大学）
本文研究了PDE约束形状优化中半线性椭圆方程的$W^{1,\infty}$-最陡下降法的全局收敛性，证明了在函数空间中的收敛性及二维空间中的条件收敛结果。
2026-03-03 math.AP math.OC
A note on the optimal convergence rate of descent methods with fixed step sizes for smooth strongly convex functions
基于Taylor、Hendrickx和Glineur（J. Optim.理论应用，178（2）：455--476，2018）关于光滑强凸函数梯度下降法的可达收敛速度，给出了固定步长下一般下降法的初等收敛性分析.它涵盖了一般的变度量法，梯度相关的角度和缩放条件下的搜索方向，以及不精确的梯度法。在所有情况下，最佳速率获得。
2022-03-23 math.OC
A Parameterized Barzilai-Borwein Method via Interpolated Least Squares
本文通过插值最小二乘构造一类保留拟牛顿性质的参数化BB步长，揭示自适应交替BB方法的数学原理，并证明其在严格凸二次问题上的R-线性收敛性。
2025-07-19 math.OC
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为，建立了梯度方差收敛至零的条件，并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Global Convergence of Stochastic Gradient Descent for Some Non-convex Matrix Problems
Stanford University（斯坦福大学）
低秩分解上的随机梯度下降（SGD）通常用于加速矩阵问题，包括矩阵完成，子空间跟踪和SDP松弛。在本文中，我们展示了一个步长计划SGD的低秩最小二乘问题，我们证明了，在广泛的采样条件下，我们的方法收敛全局从一个随机的起始点内$O(ε^{-1} n \log n)$步骤与常数概率的常秩问题。我们的SGD修改涉及到随机幂迭代。我们还展示了实验来说明该算法的运行时间和收敛性。
2015-02-10 cs.LG math.OC stat.ML
Convergence of the Iterates in Mirror Descent Methods
我们考虑有限维希尔伯特空间上的集中式和分布式镜像下降算法，并证明了当步长为平方可和但不可和时，问题变量收敛于一个可能非光滑函数的优化器.以前的文献集中在函数值收敛到其最优值。然而，来自分布式优化和游戏中的学习的应用要求变量收敛到优化器，这通常在不假设目标函数的强凸性的情况下不能保证。我们提供了数值模拟比较熵镜下降和标准的次梯度方法的鲁棒回归问题。
2018-05-03 math.OC
Convergence rate analysis of randomized and cyclic coordinate descent for convex optimization through semidefinite programming
本文研究了凸无约束最优化问题的随机坐标下降和循环坐标下降。利用数值半定规划的性能估计方法，在某些情况下改进了已知的收敛速度。作为一个副产品，我们提供了一种方法来分析最坏情况下的性能的高斯-赛德尔迭代法的线性系的系数矩阵是半正定的正对角。
2022-12-23 math.OC
Global convergence of gradient descent for phase retrieval
Ecole Polytechnique（巴黎综合理工学院）；Columbia University（哥伦比亚大学）
本文提出基于张量的良性景观准则，证明相位恢复中梯度轨迹有界，从而保证梯度下降几乎处处收敛到全局最优解。
2024-10-17 cs.LG math.OC
Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
University of Vienna（维也纳大学）
本文提出了一种改进的熵镜下降法，通过引入Polyak型步长变体，解决了线性系统求解中的收敛性问题，并获得了亚线性和线性收敛结果。
2026-03-06 cs.LG math.OC stat.ML
On Convergence-Diagnostic based Step Sizes for Stochastic Gradient Descent
EPFL（洛桑联邦理工学院）；École Polytechnique（巴黎综合理工学院）
恒定步长的随机梯度下降具有两个阶段：一个过渡阶段，在此期间，迭代快速向最优值前进，其次是一个稳定阶段，在此期间，迭代振荡的最佳点。在本文中，我们表明，有效地检测这种过渡和适当地减少步长可以导致快速收敛速度。我们分析了Pflug（1983）提出的基于连续随机梯度之间的内积的经典统计检验。即使在简单的情况下，目标函数是二次的，我们表明，这种测试不能导致足够的收敛诊断。然后，我们提出了一种新的和简单的统计过程，准确地检测平稳性，我们提供的实验结果显示最先进的性能在合成和真实世界的数据集。
2020-07-01 cs.LG math.OC stat.ML
Efficient Over-parameterized Matrix Sensing from Noisy Measurements via Alternating Preconditioned Gradient Descent
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人国家重点实验室，沈阳自动化研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；School of Management, Xi’an Jiaotong University（西安交通大学管理学院）
针对过参数化噪声矩阵感知问题，提出交替预条件梯度下降（APGD）算法，交替更新因子矩阵，消除了阻尼参数需求并支持更大步长，理论证明其线性收敛至近最优误差，实验验证在多类低秩估计任务中收敛最快且计算时间最短。
2025-05-31 cs.LG math.OC stat.ML
A Sharp Convergence Rate for the Asynchronous Stochastic Gradient Descent
基于[An et al. Stochastic modified equations for the asynchronous gradient descent，arXiv：1805.08244]中引入的随机修正方程，当损失函数为扰动二次函数时，我们给出了异步随机梯度下降（ASGD）算法的一个急剧的收敛速度.我们证明了当本地工人的数量大于期望的陈旧，那么ASGD是更有效的比随机梯度下降。我们的理论结果还表明，较长的延迟导致较慢的收敛速度。此外，学习率不能小于与期望陈旧性成反比的阈值。
2020-01-24 cs.NA math.NA math.OC
Almost Sure Convergence and Non-asymptotic Concentration Bounds for Stochastic Mirror Descent Algorithm
本文针对使用有偏随机次梯度的随机镜像下降算法，在偏差递减条件下证明了迭代点的几乎必然收敛性，并在标准假设及次高斯噪声假设下分别给出了函数值偏差的集中界。
2024-07-08 math.OC
Generalized Steepest Descent Methods on Riemannian Manifolds and Hilbert Spaces: Convergence Analysis and Stochastic Extensions
本文在黎曼流形与希尔伯特空间中研究广义最速下降法，分析其收敛性，提出带动量自适应方法并达到O(1/k^2)精度，同时扩展至非高斯噪声下的随机情形。
2025-02-27 math.FA math.OC
Smooth over-parameterized solvers for non-smooth structured optimization
University of Bath（巴斯大学）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；PSL Université（巴黎文理研究大学）
非平滑优化是许多成像或机器学习管道的核心组成部分。非光滑编码的解决方案，如稀疏性，组稀疏性，低秩和尖锐的边缘的结构约束。它也是定义鲁棒损失函数和无标度泛函（如平方根Lasso）的基础。处理非平滑性的标准方法利用了近端分裂或坐标下降。这些方法是有效的，但通常需要参数调整，预处理或某种支持修剪。在这项工作中，我们提倡和研究一种不同的路线，它操作一个非凸的，但光滑的过参数化的基本非光滑最优化问题。这推广了二次变分形式，这是流行的迭代加权最小二乘（IRLS）的核心。我们的主要理论贡献连接梯度下降在此重新与一个不同的海森度量的镜像下降流。这种分析是至关重要的，以获得无量纲的收敛范围。这解释了当在成像中使用小网格尺寸时该方法的效率。我们的主要算法贡献是应用变量投影（VarPro）方法，该方法通过显式地最小化部分变量来定义新的制剂。这导致了最小化泛函的更好的调节，并提高了简单但非常有效的基于梯度的方法的收敛性，例如拟牛顿求解器。我们使用这个新的求解器来解决逆问题和监督学习的正则化回归问题，包括全变差先验和非凸正则化。
2022-05-03 cs.LG math.OC stat.ML
Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization
本文研究带衰减Tikhonov正则化的随机梯度下降（reg-SGD），证明其在凸L-光滑函数上无界假设下强收敛到最小范数解，量化收敛速率并优化步长与正则化衰减，通过图像重建和ODE逆问题实验验证，为凸优化算法设计提供新见解。
2025-10-23 math.OC math.PR stat.ML
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks
Alibaba Group（阿里巴巴集团）
深度神经网络在通过基于梯度的算法优化时正确拟合训练数据的显著能力尚未得到充分理解。最近的理论结果解释了ReLU网络的收敛性，这些网络比实际使用的网络要宽几个数量级。在这项工作中，我们采取了一个步骤，通过显着提高网络宽度和收敛时间的已知的理论界限，缩小理论与实践之间的差距。我们表明，收敛到一个全局最小值是保证网络的宽度平方的样本大小和线性的深度在对数的时间。我们的分析和收敛边界是通过构建一个具有固定激活模式的代理网络推导出来的，该代理网络可以随时转换为合理大小的等效ReLU网络。这种构造可以被视为一种加速训练的新技术，而其与神经切线核（NTK）的紧密有限宽度等价性表明它也可以用于研究泛化。
2021-02-08 cs.LG math.OC stat.ML
Convergence analysis of inexact descent algorithm for multiobjective optimizations on Riemannian manifolds without curvature constraints
研究了一般黎曼流形（无曲率约束）上多目标优化的非精确下降算法（采用一般步长）的收敛性问题。在局部凸性/拟凸性的假设下，得到了局部/整体收敛结果.另一方面，在没有局部凸性/拟凸性假设的情况下，在类Kurdyka-Schojasiewicz条件下，给出了局部/全局线性收敛结果，这些结果在欧几里得空间中也是新的，并且在多目标优化问题简化为标量问题时，大大改进了[24]中的相应结果.最后，对于不精确下降算法采用Armijo规则的特殊情况，我们的结果大大改进/推广了[3，2，38]中的相应结果.
2021-03-20 math.OC
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science（魏茨曼科学研究所）
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象，探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
A General Convergence Result for Mirror Descent with Armijo Line Search
镜像下降算法的现有收敛保证要求目标函数具有有界梯度或相对于勒让德函数是平滑的。然而，有界梯度和相对光滑条件在重要的应用中可能不成立，例如量子态断层扫描和投资组合选择。在本文中，我们提出了一个局部版本的相对光滑条件作为其现有的整体版本的推广，并证明了在这个局部相对光滑条件下，镜像下降算法与Armijo线搜索总是收敛的.数值结果表明，因此，Armijo线搜索的镜像下降算法是量子态层析成像的最快收敛算法，经验上的真实数据集。
2018-05-30 math.OC
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及，随机梯度下降及其自适应变体（例如Adagrad，Adam等）已经成为机器学习从业者的首选方法。虽然大量的工作已经证明，这些一阶最优化方法可以实现次线性或线性收敛，我们建立了局部平方收敛的随机梯度下降与自适应步长的问题，如矩阵求逆。
2021-12-30 cs.LG math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题，证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率，并说明动量可加速早期收敛。
2025-05-16 math.OC
On the Convergence of (Stochastic) Gradient Descent with Extrapolation for Non-Convex Optimization
外推法是求解凸优化和变分不等式的一种著名方法，近年来在非凸优化中引起了人们的关注。最近的几项工作已经在一些机器学习任务中取得了成功。然而，它还没有被分析为非凸极小化，仍然存在着理论和实践之间的差距。本文研究了光滑非凸优化问题中的梯度下降法和带外推的随机梯度下降法。我们的收敛上界表明，与外推算法可以加速比没有外推。
2019-02-05 math.OC
R-Linear Convergence of Limited Memory Steepest Descent
Fletcher提出的有限记忆最速下降法（LMSD）是Barzilai-Borwein“两点步长“策略在求解无约束最优化问题的最速下降法中的推广。众所周知，当Barzilai-Borwein策略用于极小化一个强凸二次型时，它给出了一个具有R-线性收敛速率的方法.本文将这一分析推广到LMSD，也推广到强凸二次型。特别是，它表明，该方法是R-线性收敛的历史长度参数的任何选择。数值实验的结果被提供来说明通过理论分析所揭示的方法的行为。
2016-10-12 math.OC
On the modes of convergence of Stochastic Optimistic Mirror Descent (OMD) for saddle point problems
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Tufts University（塔夫茨大学）
本文研究了Mertikopoulos等人提出的满足凝聚概念的鞍点问题的镜像下降法（MD）和乐观镜像下降法（OMD）的收敛性，证明了OMD在凝聚鞍点问题的精确梯度下的收敛性，并证明了OMD只有在足够大的迭代次数下才单调收敛.这与Mertikopoulos等人关于相干鞍点问题的OMD具有精确梯度的单调收敛性的主张相反。除了强调这一重要的微妙之处，我们注意到，几乎肯定的收敛保证MD和OMD与随机梯度的严格相干鞍点问题，声称在Mertikopoulos等人。因此，我们填补了证明中缺少的细节，结果只能证明收敛概率很高。我们想指出的是，我们的分析在很大程度上依赖于Zhou等人和Mertikopoulos等人介绍的核心思想和证明技术，我们的目标只是根据我们能够严格证明的内容重新陈述和纠正结果，同时填补他们证明中急需的缺失细节。
2019-08-02 cs.LG math.OC stat.ML
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
