Fast Global Convergence for Low-rank Matrix Recovery via Riemannian Gradient Descent with Random Initialization
本文对黎曼流形上的一类低秩矩阵恢复问题提出了一个新的整体分析框架。我们分析了随机初始条件下黎曼优化的全局性态。我们使用黎曼梯度下降算法来最小化最小二乘损失函数，并研究了渐近行为以及精确的收敛速度。我们揭示了一个以前未知的几何性质的低秩矩阵流形，这是虚假的临界点的存在简单的最小二乘函数的流形上。我们表明，在某些假设下，黎曼梯度下降开始从一个随机的初始化，以高概率避免这些虚假的临界点，只有在接近线性收敛速度收敛到地面真相，即$\mathcal{O}(\text{log}(\frac{1}ε)+ \text{log}(n))$迭代，以达到$ε$ -准确的解决方案。我们使用两个应用程序作为我们的全局分析的例子。第一个是秩1矩阵恢复问题。第二个是高斯相位恢复问题的推广。它只满足弱等距性，但除了多了一个鞍集外，其行为与第一个相似。我们的收敛保证是接近最优的，几乎是无量纲的，这充分解释了数值观测。全局分析可以潜在地扩展到具有随机测量结构和经验最小二乘损失函数的其他数据问题。
2021-04-19 cs.IT cs.LG math.IT
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa（爱荷华大学）
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后，提出了一种有效的可行点方法--投影Wirtinger梯度下降（PWGD）算法，有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同，我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
Online Stochastic Gradient Descent with Arbitrary Initialization Solves Non-smooth, Non-convex Phase Retrieval
University of California, Berkeley（加州大学伯克利分校）；University of California, Irvine（加州大学欧文分校）
本文证明了恒定步长在线随机梯度下降可从任意初始化收敛于非光滑、非凸的振幅平方损失相位恢复问题，并引入摘要状态空间等随机过程理论新工具，为更广泛的非凸优化分析提供支持。
2019-10-28 cs.IT cs.LG cs.NA
Subgradient Descent Learns Orthogonal Dictionaries
Stanford University（斯坦福大学）
本文涉及字典学习，即，稀疏编码，一个基本的表示学习问题。我们表明，一个次梯度下降算法，随机初始化，可以证明恢复正交字典自然非光滑，非凸$\ell_1$最小化制定的问题，温和的统计假设下的数据。这与以前的可证明方法相反，这些方法需要昂贵的计算或精细的初始化方案。我们的分析开发了几种用于表征非光滑函数景观的工具，这些工具可能对具有非光滑激活的深度网络的可证明训练（例如，ReLU），以及许多其他应用程序。初步实验证实了我们的分析，并表明我们的算法在恢复正交字典的经验。
2019-07-01 cs.IT cs.LG math.IT
Gradient Descent with Large Step Sizes: Chaos and Fractal Convergence Region
UCLA（加州大学洛杉矶分校）；MPI MiS（马克斯·普朗克研究所（MiS））
研究揭示了大步长梯度下降在矩阵分解中导致混沌行为，临界步长下训练结果不可预测且无传统隐含偏置。
2026-02-08 cs.LG stat.ML
Nonconvex Rectangular Matrix Completion via Gradient Descent without $\ell_{2,\infty}$ Regularization
UC Davis（加州大学戴维斯分校）；Zhejiang University（浙江大学）
非凸矩阵完备化的分析由于其计算上的方便性，近年来在机器学习领域引起了广泛的关注。然而，对该问题的现有分析通常依赖于涉及未知模型参数的$\ell_{2,\infty}$投影或正则化，尽管观察到它们在数值模拟中是不必要的，参见例如，Zheng和Lafford [2016]。本文将Ma et al. [2017]提出的半正定矩阵完备的香草梯度下降分析扩展到矩形情况，更重要的是，将所需的采样率从$O(\operatorname{poly}(κ)μ^3 r^3 \log^3 n/n )$提高到$O(μ^2 r^2 κ^{14} \log n/n )$。我们的技术思想和贡献是潜在的有用的，在其他相关问题的改进留一法分析。
2020-05-20 cs.LG stat.ML
Gradient Descent with Random Initialization: Fast Global Convergence for Nonconvex Phase Retrieval
Department of Electrical Engineering, Princeton University（普林斯顿大学电气工程系）；Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
本文研究了通过二次方程恢复目标对象的问题，证明了在高斯设计下，随机初始化的梯度下降能在O(log n + log(1/ε))次迭代中获得ε精度的解，从而实现了计算和样本复杂度的近最优性，为相位恢复提供了首个无需精心设计初始化、样本分割或复杂鞍点逃离方案的全局收敛保证。
2019-04-15 cs.IT cs.LG cs.NA
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent
基于因式分解的梯度下降算法是一种可扩展的、高效的低秩矩阵完备化算法。结构化非凸优化的最新进展在低秩矩阵和样本集上的某些统计假设下为梯度下降算法提供了整体收敛保证。然而，虽然理论表明梯度下降法具有快速线性收敛到问题的全局解的能力，但边界技术的普遍性质使其无法获得对收敛速度收敛速率的准确估计。在本文中，我们进行了局部分析的精确线性收敛速率的梯度下降的因式分解为基础的矩阵完成对称矩阵。在不对底层模型作任何额外假设的情况下，我们确定了梯度下降算法局部收敛的确定性条件，该条件仅依赖于解矩阵和采样集.更重要的是，我们的分析提供了一个封闭形式的表达式的渐近收敛速率，完全匹配的线性收敛在实践中观察到的。据我们所知，我们的结果是第一个提供了确切的收敛速率梯度下降矩阵分解在欧氏空间矩阵完成。
2021-02-06 math.OC stat.ML
Scaled stochastic gradient descent for low-rank matrix completion
Amazon Development Centre India（亚马逊印度研发中心）；University of Liège（列日大学）；University of Cambridge（剑桥大学）
本文着眼于一个缩放的变种的随机梯度下降算法的矩阵完成问题。具体而言，我们提出了一种新的矩阵缩放的偏导数，作为一个有效的预处理标准的随机梯度下降算法。该矩阵缩放提供了局部和全局二阶信息之间的折衷。它还解决了矩阵分解模型中存在的尺度不变性问题。整体计算复杂性与已知条目的数量成线性关系，从而扩展到大规模设置。数值比较表明，该算法的竞争有利的国家的最先进的算法在各种不同的基准。
2016-10-05 cs.LG math.OC
Intelligent Initialization and Adaptive Thresholding for Iterative Matrix Completion; Some Statistical and Algorithmic Theory for Adaptive-Impute
在过去的十年中，已经开发了各种矩阵完成算法。奇异值分解（SVD）是一种流行的技术，在实现其中的许多。大量的研究已经表明了它的理论和实证优势，但选择正确的阈值水平仍然是一个关键的实证困难。本文提出了一种新的矩阵完备化算法，该算法迭代阈值SVD与理论证明和数据依赖的阈值参数的值。所提出的算法的估计享有极大极小错误率，并显示出突出的经验性能。我们使用的阈值方案可以被看作是一个非凸优化问题的解决方案，其理论收敛保证的理解是有限的。我们研究这个问题，通过引入一个更简单的算法，广义- \SI，分析其收敛行为，并将其连接到所提出的算法。
2016-05-07 stat.ME
Convergence of gradient descent for deep neural networks
Department of Statistics, Stanford University, USA（统计学系，斯坦福大学）
本文提出一个局部PL准则，证明在特定条件下深度神经网络梯度下降法可收敛到零损失解，并通过构造性初始化加速优化过程。
2026-09-21 cs.LG cs.NE math.OC
Gradient Descent Converges to Minimizers
University of California, Berkeley（加州大学伯克利分校）
我们表明，梯度下降收敛到一个局部极小，几乎肯定与随机初始化。这是证明应用稳定流形定理从动力系统理论。
2016-03-04 cs.LG math.OC stat.ML
Modified swarm-based metaheuristics enhance Gradient Descent initialization performance: Application for EEG spatial filtering
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Shiraz University（设拉子大学）
梯度下降（GD）逼近器通常在具有多个凸尺度的解空间中失败，即，在子空间学习和神经网络场景中。为了解决这个问题，一个解决方案是从不同的随机初始状态运行GD多次，并在所有实验中选择最佳解决方案。然而，这种想法在很多情况下被证明是不切实际的。即使是粒子群优化（PSO）或帝国主义竞争算法（ICA），作为常用的GD初始化器，基于群的优化器，在某些应用中也未能找到最优解。在本文中，基于群的优化算法，如ICA和PSO的修改，一个新的优化框架，以提高GD优化性能。这种改进适用于在多个尺度中具有大量凸局部的应用。所提出的方法的性能进行了分析，在一个非线性子空间滤波的目标函数在EEG数据。所提出的元启发式算法在EEG分类精度和EEG损失函数适应度方面均优于常用的GD初始化基线优化器。优化器也在CEC 2014的一些基准函数中进行了比较，我们的方法再次优于其他算法。
2020-05-06 cs.LG cs.NE stat.ML
Gradient Descent for Sparse Rank-One Matrix Completion for Crowd-Sourced Aggregation of Sparsely Interacting Workers
Boston University（波士顿大学）；Google DeepMind（谷歌DeepMind）
我们考虑了单个硬币Dawid-Skene众包模型的工人技能估计。在实践中，技能估计是具有挑战性的，因为工人的分配是稀疏和不规则的，由于工人的任意和不受控制的可用性。我们制定技能估计作为一个秩一相关矩阵完成问题，其中观察到的组件对应于观察到的工人之间的标签相关性。我们表明，相关矩阵可以成功地恢复和技能是可识别的，当且仅当采样矩阵（观察到的组件）没有一个二分连接组件。然后，我们提出了一个预计的梯度下降计划，并表明技能估计收敛到所需的全局最优值，这样的采样矩阵。我们的证明是原创的，而且考虑到即使是加权一阶矩阵分解问题通常也是NP难的这一事实，结果也令人惊讶。接下来，我们推导出采样矩阵的无符号拉普拉斯算子的谱特性方面的样本复杂度界。我们提出的方案在许多现实世界的数据集上实现了最先进的性能。
2020-07-23 cs.HC cs.LG stat.ML
Small random initialization is akin to spectral learning: Optimization and generalization guarantees for overparameterized low-rank matrix reconstruction
University of Southern California（南加州大学）
最近，在理解基于梯度的方法在超参数化模型下的收敛性和推广性方面取得了重大的理论进展。然而，优化和推广的许多方面，特别是小随机初始化的关键作用还没有完全理解。在本文中，我们采取了一个步骤来揭开这个角色的神秘面纱，证明小随机初始化，然后几次迭代的梯度下降的行为类似于流行的谱方法。我们还表明，这种隐式谱偏置从小随机初始化，这是可证明的更突出的overparameterized模型，也把梯度下降迭代在一个特定的轨迹上的解决方案，不仅是全球最优的，但也推广得很好。具体地说，我们专注于通过自然的非凸公式从几个测量重建一个低秩矩阵的问题。在这种情况下，我们表明，从小的随机初始化的梯度下降迭代的轨迹可以近似分解为三个阶段：（I）谱或对齐阶段，其中我们表明迭代具有类似于谱初始化的隐式谱偏差，允许我们表明在该阶段结束时迭代的列空间和底层低秩矩阵充分对齐，（II）一个鞍避免/细化阶段，我们表明，梯度迭代的轨迹远离某些退化鞍点，和（III）一个局部细化阶段，我们表明，避免鞍迭代后，迅速收敛到底层的低秩矩阵。我们的分析是基于对超参数化非凸优化方案的分析的见解，这些方案可能对低秩重建之外的计算问题产生影响。
2022-09-26 cs.IT cs.LG math.IT
Fast and Provable Tensor-Train Format Tensor Completion via Precondtioned Riemannian Gradient Descent
The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出预条件黎曼梯度下降算法（PRGD）解决张量列车格式的低秩张量补全问题，证明线性收敛，并在模拟与真实数据上大幅减少计算时间和迭代次数。
2025-01-23 cs.LG cs.NA math.NA
A Convergence Analysis of Gradient Descent for Deep Linear Neural Networks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Harvard University（哈佛大学）
我们通过最小化白化数据上的$\ell_2$损失来分析梯度下降训练深度线性神经网络（参数化为$x \mapsto W_N W_{N-1} \cdots W_1 x$）的全局最优收敛速度。当以下情况成立时，保证以线性速率收敛：（i）隐藏层的维度至少是输入和输出维度的最小值;（ii）初始化时的权重矩阵近似平衡;以及（iii）初始损失小于任何秩亏解的损失。关于初始化的假设（条件（ii）和（iii））是必要的，因为违反其中任何一个都可能导致收敛失败。此外，在输出维度为1的重要情况下，即标量回归，它们被满足，因此在随机初始化方案下以恒定概率收敛到全局最优值。我们的研究结果大大扩展了以前的分析，例如，深度线性残差网络（Bartlett等人，2018年）。
2019-10-26 cs.LG cs.NE stat.ML
A proof of convergence for the gradient descent optimization method with random initializations in the training of neural networks with ReLU activation for piecewise linear target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
梯度下降（GD）型最优化方法是用整流线性单元（ReLU）激活来训练人工神经网络（ANN）的标准工具。尽管GD型最优化方法在用ReLU激活训练ANN的数值模拟中取得了巨大成功，它仍然是-即使在最简单的情况下，普通香草GD最优化方法与随机初始化和人工神经网络与一个隐藏层-一个开放的问题，以证明（或反驳）GD最优化方法的风险在这样的ANN的训练中收敛到零作为ANN的宽度的猜想，独立随机初始化的数量和GD步骤的数量增加到无穷大。在本文中，我们证明了这一猜想的情况下，输入数据的概率分布是一个紧凑的区间上的连续均匀分布，其中的概率分布的神经网络参数的随机初始化是标准正态分布，和所考虑的目标函数是连续和分段仿射线性。粗略地说，在我们的数学收敛分析中的关键成分是（i）证明风险函数的全局最小值的合适集合是\emph{twice continuously differentiable submanifolds of the ANN parameter spaces}，（ii）证明这些全局最小值的集合上的风险函数的Hessian满足适当的\emph{maximal rank condition}，并且，此后，（iii）应用[Fehrman，B.，Gess，B.，Jentzen，A.，非凸目标函数的随机梯度下降法的收敛速度。J·马赫。学习. Res. 21（136）：1- 48，2020]以建立具有随机初…
2021-08-10 cs.LG cs.NA math.NA
Accelerated Dual Learning by Homotopic Initialization
ETH Zurich（苏黎世联邦理工学院）
梯度下降和坐标下降在其渐近行为方面得到了很好的理解，但在机器学习中经常用于近似的瞬态状态中则不那么容易理解。我们研究如何适当的初始化可以有深刻的影响，快速找到接近最优的解决方案。我们表明，数据集的某个属性，即特征和响应变量之间的相关性的有界性，可以导致更快的初始进展比预期的普通分析。凸优化问题可以默认地从中受益，但这种自动性并不适用于它们的对偶公式。我们分析了这一现象，并设计了可证明良好的初始化策略，用于对偶优化以及非凸情况下的算法，与深度学习相关。我们发现我们的预测和方法得到了实验的充分支持。
2017-06-13 cs.LG
Gradient descent with identity initialization efficiently learns positive definite linear transformations by deep residual networks
UC Berkeley（加州大学伯克利分校）；UC Santa Cruz（加州大学圣克鲁兹分校）；Google（谷歌）
我们分析了使用深度线性神经网络来近似将$\Re^d$映射到$\Re^d$的函数$f(x) = Φx$的算法，即学习由矩阵$Θ_1,...,Θ_L$参数化并由$h(x) = Θ_L Θ_{L-1} ... Θ_1 x$定义的函数$h$。我们专注于学习算法，通过梯度下降的人口二次损失的情况下，在输入的分布是各向同性的。在初始假设$Θ_1 = ... = Θ_L = I$具有由足够小的常数限定的过量损失的情况下，我们提供了梯度下降的迭代次数的多项式界以近似最小二乘矩阵$Φ$。另一方面，我们表明，梯度下降未能收敛$Φ$的身份的距离是一个较大的常数，我们表明，在每一层的身份的一些形式的正则化没有帮助。如果$Φ$是对称正定的，我们表明，一个算法，学习$Θ_i = I$的$ε$ -近似$f$使用一些更新多项式在$L$，$Φ$的条件数，和$\log(d/ε)$。相比之下，我们表明，如果最小二乘矩阵$Φ$是对称的，并具有负特征值，那么一类算法，执行梯度下降与身份初始化的所有成员，并可选地在每一层的身份正则化，未能收敛。我们分析的情况下，$Φ$满足$u^{\top} Φu > 0$的所有$u$的算法，但可能不是对称的。该算法使用两个正则化器：一个为所有$u$保持不变的$u^{\top} Θ_L Θ_{L-1} ... Θ_1 u > 0$，另一个“平衡”$Θ_1, ..., Θ_L$，使它们具有相同的…
2018-06-18 cs.LG cs.NE math.OC
Ideal Paths for Approximating Logistic Gradient Descent Trajectories at Large Initialization
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出一种几何近似方法，构造大初始化下逻辑斯蒂梯度下降轨迹的理想路径，证明其收敛性并给出损失渐近公式，揭示峰值评估损失可随初始化规模线性增长。
2026-10-07 cs.LG math.OC
Data-Dependent Stability of Stochastic Gradient Descent
EPFL（洛桑联邦理工学院）；IST Austria（奥地利科学技术研究所）
我们建立了一个数据依赖的概念，算法的稳定性随机梯度下降（SGD），并利用它来开发新的推广界。这与先前SGD的无分布算法稳定性结果相反，该结果取决于最坏情况常数。凭借数据依赖的论点，我们的边界提供了新的见解，学习与SGD凸和非凸问题。在凸的情况下，我们证明了泛化误差的界依赖于初始化点的风险。在非凸情形下，我们证明了目标函数在初始点附近的期望曲率对泛化误差有决定性的影响。在这两种情况下，我们的研究结果表明，一个简单的数据驱动的策略，以稳定SGD的预筛选其初始化。作为一个推论，我们的研究结果使我们能够显示乐观的推广边界，表现出快速收敛速度SGD的经验风险和随机梯度的低噪声消失。
2018-02-15 cs.LG
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Microsoft Research New England（微软新英格兰研究院）
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题，它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止，大多数关于这个问题的可证明算法都局限于离线设置，在离线设置中，它们同时使用所有观测值来提供未知矩阵的估计。然而，在许多应用程序中，在线版本更有吸引力，我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的，但是它们对于在线设置可能是非常低效的。在本文中，我们提出了第一个可证明的，有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始，然后执行非凸随机梯度下降（SGD）。在每次观察之后，它执行仅涉及两个高矩阵的一行的快速更新，从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置，在离线设置中，它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架，以表明SGD更新往往远离鞍面，并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
Mirror descent of Hopfield model
Seoul National University（首尔国立大学）；Korea Institute for Advanced Study（韩国高等研究院）
本研究提出利用镜像下降初始化神经网络参数，以Hopfield模型为原型，证明该方法训练性能显著优于随机初始化的传统梯度下降，凸显其作为优化增强技术的潜力。
2023-05-09 cs.LG math.OC
Symmetric Matrix Completion with ReLU Sampling
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）
本文研究ReLU采样下的对称半正定低秩矩阵补全问题，证明非凸目标在植入解附近具有测地强凸性，并提出一种定制初始化方法使梯度下降始终收敛到全局最优。
2024-06-09 cs.LG stat.ML
Non-Euclidean Gradient Descent Has Many Edges of Stability
University of Cambridge（剑桥大学）
该研究针对非欧几里得梯度下降的稳定性，明确其存在多个稳定性边界，通过线性共轭关系分析中间区域行为，给出二维构造验证相关性质的稳定性。
2026-10-14 cs.LG math.OC
Matrix Completion has No Spurious Local Minimum
Duke University（杜克大学）；University of Southern California（南加州大学）；Princeton University（普林斯顿大学）
矩阵完备化是一个基本的机器学习问题，在协同过滤和推荐系统中有着广泛的应用。简单的非凸优化算法在实际中是流行和有效的。尽管最近在证明各种非凸算法从一个好的初始点收敛方面取得了进展，但仍然不清楚为什么随机或任意初始化在实践中就足够了。我们证明了\textit{positive semidefinite}矩阵完备化中常用的非凸目标函数不存在虚假的局部极小值-所有的局部极小值也必须是全局的。因此，许多流行的优化算法，如（随机）梯度下降可以证明解决半正定矩阵完成\textit{arbitrary}初始化在多项式时间。该结果可以推广到当观察到的条目包含噪声时的设置。我们相信，我们的主要证明策略可以用于理解几何性质的其他统计问题，涉及部分或噪声观测。
2018-07-22 cs.DS cs.LG stat.ML
Revisiting the Initial Steps in Adaptive Gradient Descent Optimization
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
针对自适应梯度优化方法（如Adam）泛化性能欠佳、训练Transformer时不稳定的问题，本研究指出二阶矩估计标准初始化（$v_0=0$）是关键因素，提出数据驱动或随机非零初始化策略，实证表明其能稳定收敛、提升性能，使Adam可媲美近期自适应优化变体。
2025-02-11 cs.AI cs.LG
Fast Convergence of Natural Gradient Descent for Overparameterized Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；DeepMind（深度思维）
自然梯度下降法已被证明可以有效地减轻神经网络优化中病理曲率的影响，但理论上对其收敛特性知之甚少，特别是对于\emph{nonlinear}网络。在这项工作中，我们第一次分析了自然梯度下降的收敛速度的非线性神经网络平方误差损失。我们确定了两个条件，保证有效的收敛从随机初始化：（1）雅可比矩阵（网络的输出的所有训练情况下的参数）有完整的行秩，（2）雅可比矩阵是稳定的小扰动周围的初始化。对于两层ReLU神经网络，我们证明了在非退化输入和过度参数化的假设下，这两个条件在整个训练过程中都成立。我们进一步扩展我们的分析更一般的损失函数。最后，我们证明了K-FAC，一个近似的自然梯度下降法，也收敛到全局最小值在相同的假设下，我们给出了这种收敛速度的一个界。
2019-10-28 cs.LG stat.ML
First-order Methods Almost Always Avoid Saddle Points
USC（南加州大学）；MIT（麻省理工学院）；SUTD（新加坡科技设计大学）；UC Berkeley（加州大学伯克利分校）
我们建立了一阶方法避免鞍点几乎所有的初始化。我们的结果适用于各种各样的一阶方法，包括梯度下降，块坐标下降，镜像下降及其变体。连接线程是这样的算法可以从动力系统的角度进行研究，其中适当的稳定流形定理的实例允许全局稳定性分析。因此，既不需要访问二阶导数信息，也不需要初始化之外的随机性来可证明地避免鞍点。
2017-10-20 cs.LG math.OC stat.ML
Training Two-Layer ReLU Networks with Gradient Descent is Inconsistent
University of Stuttgart（斯图加特大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute for Stochastics and Applications（随机过程与应用研究所）
我们证明了由He等人（2015）提出的广泛使用的方法初始化并使用最小二乘损失梯度下降训练的双层（Leaky）ReLU网络并不普遍一致。具体来说，我们描述了一大类一维数据生成分布，对于这些分布，梯度下降很有可能只找到优化景观的一个糟糕的局部最小值，因为它无法将偏差远离它们的初始值零。事实证明，在这些情况下，即使目标函数是非线性的，所发现的网络也基本上执行线性回归。我们进一步提供了数值证据，证明这种情况发生在实际情况下，对于一些多维分布和随机梯度下降表现出类似的行为。我们还提供了关于初始化和优化器的选择如何影响这种行为的实证结果。
2022-06-08 cs.LG stat.ML
Read the Signs: Towards Invariance to Gradient Descent's Hyperparameter Initialization
HEC Montreal（蒙特利尔高等商学院）
我们提出了ActiveLR，一个优化的Meta算法，本地化的学习率，$α$，并适应他们在每个时代根据是否在每个时代的梯度变化的迹象或没有。该符号意识算法知道从先前步骤到当前步骤，每个参数的更新是否过大或过小，并相应地调整$α$。我们实现了广泛使用和最近发布的梯度下降优化器的主动版本（我们的），即带有动量的SGD，AdamW，RAdam和AdaBelief。我们在ImageNet、CIFAR-10、WikiText-103、WikiText-2和PASCAL VOC上使用不同的模型架构（如ResNet和Transformers）进行的实验显示，泛化能力和训练集拟合度有所提高，并且测试优化器的Active变体的训练时间有所减少。结果还表明，这些优化的主动变量的初始学习率的不同值的鲁棒性。此外，减轻了使用大的小批量的不利影响。因此，ActiveLR简化了对两个最常用的超参数的超参数搜索的需要，这两个超参数需要大量的时间和计算成本来选择。我们鼓励人工智能研究人员和从业者使用他们选择的优化器的Active变体，以实现更快的训练，更好的泛化能力，并减少训练深度神经网络的碳足迹。
2023-01-24 cs.LG
An initial alignment between neural network and target is needed for gradient descent to learn
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文引入了初始化神经网络与目标函数之间的“初始对齐”（INAL）概念。证明了如果一个网络和一个布尔目标函数不具有明显的INAL，则在具有归一化i.i.d.的全连通网络上的噪声梯度下降。初始化将不会在多项式时间内学习。因此，在架构设计中需要一定量的关于目标的知识（由INAL测量）。这也为[AS20]中提出的一个开放问题提供了答案。结果是基于推导对称神经网络上的下降算法的下界，而没有明确的知识，超出其INAL的目标函数。
2022-08-16 cs.LG
A Gradient Descent Algorithm on the Grassman Manifold for Matrix Completion
提出基于奇异值分解和局部流形优化的OptSpace算法，从少量观测条目中精确恢复低秩矩阵。
2009-11-03 cs.LG cs.NA math.NA
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了使用梯度下降和随机梯度下降训练具有整流线性单元（ReLU）激活函数的深度神经网络的问题。特别是，我们研究了二进制分类问题，并表明对于一个广泛的损失函数族，在适当的随机权重初始化下，梯度下降和随机梯度下降都可以找到过度参数化的深度ReLU网络的训练损失的全局最小值，在对训练数据的温和假设下。我们证明的关键思想是高斯随机初始化，然后是（随机）梯度下降，产生一系列迭代，这些迭代停留在以初始权重为中心的小扰动区域内，其中深度ReLU网络的经验损失函数具有良好的局部曲率特性，确保（随机）梯度下降的全局收敛。我们的理论结果有助于理解深度学习的优化，并为研究训练现代深度神经网络的优化动力学铺平了道路。
2018-12-27 cs.AI cs.LG math.OC
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
Implicit Bias of Gradient Descent for Mean Squared Error Regression with Two-Layer Wide Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
本文证明宽浅层 ReLU 网络梯度下降训练在函数空间中的隐式偏置等价于带曲率惩罚的最小二阶导数范数问题，并推广到多变量回归与样条轨迹刻画。
2023-05-28 cs.LG stat.ML
Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
现代神经网络通常在过参数化状态下训练，其中模型的参数远远超过训练数据的大小。这样的神经网络原则上具有（过）拟合包括纯噪声的任何标签集合的能力。尽管如此，有些矛盾的是，通过一阶方法训练的神经网络模型仍然可以很好地预测尚未看到的测试数据。本文将进一步揭开这一现象的神秘面纱。在丰富的数据集模型下，我们证明了梯度下降对恒定分数的标签上的噪声/腐败具有可证明的鲁棒性，尽管过度参数化。特别是，我们证明：（i）在最初的几次迭代中，更新仍然在初始化附近的梯度下降只适合正确的标签，基本上忽略了嘈杂的标签。(ii)为了开始过拟合到噪声标签，网络必须偏离初始化相当远，这只能在更多的迭代之后发生。总之，这些结果表明，具有早期停止的梯度下降可证明对标签噪声具有鲁棒性，并揭示了深度网络的经验鲁棒性以及通常采用的防止过度拟合的算法。
2019-07-03 cs.LG stat.ML
Euclidean Distance Matrix Completion via Asymmetric Projected Gradient Descent
School of Electronics and Communication Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学电子与通信工程学院（深圳校区））
本文提出非对称投影梯度下降算法，用于欧几里得距离矩阵补全，首次给出无需样本分割的全局收敛保证，实验显示丰富样本下线性收敛，但有限样本下性能逊于s-stress优化。
2025-10-17 cs.LG eess.SP stat.ML
Analysis of the Gradient Descent Algorithm for a Deep Neural Network Model with Skip-connections
Princeton University（普林斯顿大学）；Beijing Institute of Big Data Research（北京大数据研究院）
针对具有跳跃连接的深度神经网络模型，分析了梯度下降（GD）算法的行为。证明了在过参数化条件下，对于一个合适的初始值，GD可以以很高的概率指数快速地找到全局最小值。沿GD路径的泛化误差估计也建立。结果表明，当目标函数在再生核Hilbert空间（RKHS）中，且核由初始值定义时，沿GD路径存在可推广的早停解，并且GD路径一致接近于相关随机特征模型给出的函数.因此，在该“隐式正则化”设置中，深度神经网络模型退化为随机特征模型。我们的结果适用于任何宽度大于输入维数的神经网络。
2019-04-14 cs.LG math.OC stat.ML
Convergence of Gradient Descent with Small Initialization for Unregularized Matrix Completion
University of Michigan（密歇根大学）
研究对称矩阵补全问题，证明在无需显式正则化且小初始化条件下，梯度下降在过参数化和精确参数化场景中均能收敛至真实矩阵，其收敛速率与精度仅取决于真实秩，并提出弱耦合留一法分析建立全局收敛。
2024-02-09 cs.LG math.OC stat.ML
Stochastic Mirror Descent on Overparameterized Nonlinear Models: Convergence, Implicit Regularization, and Generalization
California Institute of Technology（加州理工学院）
大多数现代学习问题都是高度过度参数化的，这意味着参数比训练数据点的数量多得多，因此，训练损失可能具有无限多个全局最小值（完美内插训练数据的参数向量）。因此，重要的是要了解我们收敛到哪些插值解，它们如何依赖于初始化点和学习算法，以及它们是否会导致不同的泛化性能。在本文中，我们研究了这些问题的家庭随机镜像下降（SMD）算法，其中流行的随机梯度下降（SGD）是一个特殊的情况。我们的贡献是理论和实验。在理论方面，我们表明，在overparameterized的非线性设置，如果初始化是足够接近的流形的全球最小值（的东西来免费的高度overparameterized的情况下），SMD具有足够小的步长收敛到一个全球最小值，这是近似最接近的一个Bregman发散。在实验方面，我们在标准数据集和模型上进行了大量实验，使用了各种初始化、各种镜像下降和各种Bregman分歧，一致证实了这种现象发生在深度学习中。我们的实验进一步表明，有一个由不同的SMD算法得到的解决方案的泛化性能的明显差异。在标准图像数据集和网络架构上进行实验，SMD具有不同类型的隐式正则化，$\ell_1$鼓励稀疏性，$\ell_2$产生SGD，以及$\ell_{10}$阻止参数向量中的大分量，一致且明确地表明，$\ell_{10}$-SMD具有比SGD更好的泛化性能，SGD又具有比$\ell_1$-SMD更好的泛化性能。
2019-06-10 cs.LG math.OC stat.ML
The Impact of Neural Network Overparameterization on Gradient Confusion and Stochastic Gradient Descent
Facebook（脸书）；University of Maryland, College Park（马里兰大学学院市分校）；DeepMind（深度思维）
本文研究了神经网络结构对训练速度的影响。我们引入一个简单的概念，称为梯度混淆，以帮助正式分析。当梯度混淆程度很高时，不同数据样本产生的随机梯度可能是负相关的，从而减慢收敛速度。但当梯度混淆较低时，数据样本会和谐地交互，训练过程也会很快。通过理论和实验结果，我们展示了神经网络架构如何影响梯度混淆，从而提高训练效率。我们的研究结果表明，对于流行的初始化技术，增加神经网络的宽度可以降低梯度混淆，从而加快模型训练。另一方面，增加神经网络的深度会产生相反的效果。我们的研究结果表明，交替初始化技术或使用批量归一化和跳过连接的网络有助于减少非常深的网络的训练负担。
2020-07-06 cs.LG stat.ML
Implicit Regularization Makes Overparameterized Asymmetric Matrix Sensing Robust to Perturbations
Department of Mathematics, University of Oslo（奥斯陆大学数学系）
本文提出扰动梯度流公式，证明因子化梯度下降对扰动具有鲁棒性，从而改进矩阵感知的样本与时间复杂度，并扩展至小批量随机梯度下降分析。
2025-08-22 cs.LG math.OC stat.ML
Convergence of Alternating Gradient Descent for Matrix Factorization
University of Texas（德克萨斯大学）
本文研究固定步长交替梯度下降在非对称矩阵分解中的收敛性，提出一种随机初始化方法，证明其迭代复杂度与条件数平方成正比，并实验验证该方法能显著加速实际收敛。
2024-02-08 cs.LG math.OC stat.ML
Implicit Bias in Deep Linear Classification: Initialization Scale vs Training Accuracy
Technion（以色列理工学院）；Microsoft Research（微软研究院）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；Princeton University（普林斯顿大学）
我们提供了一个详细的渐近研究梯度流轨迹和隐式优化偏差时，最小化指数损失的“对角线性网络”。这是显示“内核”和非内核（“丰富”或“活跃”）状态之间的过渡的最简单的模型。我们展示了如何通过初始化规模之间的关系控制过渡，以及如何准确地最大限度地减少训练损失。我们的研究结果表明，梯度下降的某些极限行为只在荒谬的训练精度（远远超过$10^{-100}$）时才起作用。此外，在合理的初始化尺度和训练精度下的隐式偏差更复杂，并且不被这些限制捕获。
2020-07-13 cs.LG stat.ML
The Initialization Determines Whether In-Context Learning Is Gradient Descent
Telecom Paris Institut Polytechnique de Paris（巴黎理工电信学院）；Lexsi Labs（Lexsi实验室）；EURECOM；Stellantis
本文研究了初始化对上下文学习是否等同于梯度下降的影响，提出yq-LSA方法改进了多头LSA的性能，并在回归任务和语义相似性任务中验证了其有效性。
2025-12-03 cs.AI cs.LG
Generalization Bounds of Stochastic Gradient Descent for Wide and Deep Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了过参数化机制下深度神经网络（DNN）的训练和泛化，其中网络宽度（即，每层隐藏节点的数量）远大于训练数据点的数量。我们证明，使用随机梯度下降（SGD）和随机初始化训练的足够宽的ReLU网络的预期$0$ - $1$损失可以由初始化时网络梯度引起的随机特征模型的训练损失来限制，我们称之为神经正切随机特征（NTRF）模型。对于可以用NTRF模型进行分类的数据分布，具有足够小的误差，我们的结果产生了$\tilde{\mathcal{O}}(n^{-1/2})$阶的泛化误差界，它与网络宽度无关。我们的结果比现有的过参数神经网络的泛化误差界更一般和尖锐。此外，我们建立了我们的泛化误差界和神经切线核（NTK）在最近的工作中提出的强连接。
2019-11-12 cs.LG math.OC stat.ML
Precise gradient descent training dynamics for finite-width multi-layer neural networks
Department of Statistics, Rutgers University, Piscataway, NJ 08854, USA.（统计学系，罗格斯大学）；Graduate School of Arts and Sciences, The University of Tokyo, Meguro, Tokyo 153-8902, Japan. RIKEN Center for Advanced Intelligence Project, Chuo, Tokyo 103-0027, Japan.（艺术与科学研究生院，东京大学）
本文在有限宽度比例机制下建立了通用多层神经网络梯度下降的精确非渐近状态演化理论，刻画训练与泛化误差，并给出泛化误差一致估计及单指标结构保持的理论推论。
2025-05-08 cs.AI cs.LG math.OC
Projected Gradient Descent Algorithms for Solving Nonlinear Inverse Problems with Generative Priors
National University of Singapore（新加坡国立大学）；Tencent（腾讯）
在本文中，我们提出了投影梯度下降（PGD）算法的信号估值从噪声的非线性测量。我们假设未知的$p$维信号位于具有有界$k$维输入的$L$ -Lipschitz连续生成模型的范围附近。特别是，我们考虑两种情况下，非线性链接函数是未知的或已知的。对于未知的非线性，类似于\cite{liu2020generalized}，我们假设亚高斯观测，并提出了一个线性最小二乘估计。我们表明，当没有表示误差和感测向量是高斯，大致$O(k \log L)$样本足以确保PGD算法线性收敛到一个点，实现最佳的统计率使用任意初始化。对于已知的非线性，我们假设在\cite{yang2016sparse}中的单调性，并且对感测向量做出弱得多的假设，并且允许表示误差。我们提出了一个非线性最小二乘估计，保证享有最佳的统计率。一个相应的PGD算法提供，并示出也线性收敛到使用任意初始化的估计。此外，我们提出的图像数据集上的实验结果来证明我们的PGD算法的性能。
2022-09-21 cs.LG stat.ML
A Local Polyak-Lojasiewicz and Descent Lemma of Gradient Descent For Overparametrized Linear Models
Center for Innovation in Data Engineering and Science (IDEAS) Department of Statistics and Data Science, the Wharton School University of Pennsylvania（创新数据工程与科学中心（IDEAS）统计与数据科学系，沃顿商学院，宾夕法尼亚大学）；Center for Innovation in Data Engineering and Science (IDEAS) University of Pennsylvania（创新数据工程与科学中心（IDEAS）宾夕法尼亚大学）；Center for Innovation in Data Engineering and Science (IDEAS) Graduate Group in Applied Mathematics and Computational Science University of Pennsylvania（创新数据工程与科学中心（IDEAS）应用数学与计算科学研究生组，宾夕法尼亚大学）；Mathematical Institute for Data Science (MINDS) Department of Electrical and Computer Engineering Johns Hopkins University（数据科学数学研究所（MINDS）电气与计算机工程系，约翰霍普金斯大学）；Department of Electrical and Systems Engineering（电气与系统工程系；放射学系，宾夕法尼亚大学）；Department of Radiology University of Pennsylvania
本文证明两层过参数化线性网络中 PL 条件与下降引理可局部成立，并界定相关常数，从而在一般损失和宽松假设下推出 GD 线性收敛率及更优步长。
2025-05-16 cs.LG math.OC stat.ML
Feature selection with gradient descent on two-layer networks in low-rotation regimes
这项工作在具有标准初始化的两层ReLU网络上建立了梯度流（GF）和随机梯度下降（SGD）的低测试误差，在三种情况下，关键权重集旋转很少（由于GF和SGD自然，或由于人工约束），并利用边缘作为核心分析技术。第一种状态接近初始化，具体地说直到权重移动了$\mathcal{O}(\sqrt m)$，其中$m$表示网络宽度，这与神经切线核（NTK）允许的$\mathcal{O}(1)$权重移动形成鲜明对比;这里示出了GF和SGD仅需要与NTK裕度成反比的网络宽度和样本数量，而且GF自身至少达到NTK裕度，这足以建立从边际目标的坏KKT点的逃逸，而先前的工作只能建立非递减但任意小的边际。第二个机制是神经崩溃（NC）设置，其中数据位于非常分离的组中，样本复杂度随组的数量而变化;这里对先前工作的贡献是对初始化的整个GF轨迹的分析。最后，如果内层权重被约束为仅在范数上改变并且不能旋转，则具有大宽度的GF实现全局最大余量，并且其样本复杂度与其倒数成比例;这与之前的工作相反，其需要无限宽度和棘手的对偶收敛假设。作为纯粹的技术贡献，这项工作开发了各种潜在的功能和其他工具，希望有助于未来的工作。
2022-08-04 cs.LG math.OC stat.ML
Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
实证研究表明，基于梯度的方法可以学习深度神经网络（DNN），在过参数化机制中具有非常好的泛化性能，其中DNN可以很容易地适应训练数据的随机标记。最近，一系列工作在理论上解释了，通过过度参数化和适当的随机初始化，基于梯度的方法可以找到DNN训练损失的全局最小值。然而，现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的，并且与训练算法无关。在这项工作中，我们推导出深度ReLU网络的算法相关泛化误差界，并表明在对数据分布的某些假设下，具有适当随机初始化的梯度下降（GD）能够训练一个充分过参数化的DNN，以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
