Implicit Gradient Regularization
DeepMind(深度思维);Google(谷歌)
梯度下降在优化深度神经网络方面可以非常出色,而不会过度拟合,也不会显式正则化。我们发现梯度下降的离散步骤通过惩罚具有大损失梯度的梯度下降轨迹来隐式地正则化模型。我们称之为隐式梯度正则化(IGR),我们使用向后误差分析来计算这个正则化的大小。我们证实经验,隐式梯度正则化偏向梯度下降平坦的最小值,测试误差小,解决方案是强大的噪声参数扰动。此外,我们证明了隐式梯度正则化项可以用作显式正则化,使我们能够直接控制这个梯度正则化。更广泛地说,我们的工作表明,向后误差分析是一个有用的理论方法,学习率,模型大小和参数正则化如何相互作用,以确定使用梯度下降优化的过参数化模型的属性。
2022-07-18 cs.LG stat.ML
Gradient Descent Optimizes Infinite-Depth ReLU Implicit Networks with Linear Widths
Iowa State University(爱荷华州立大学)
隐式深度学习最近在机器学习社区中变得流行,因为这些隐式模型可以在使用显著更少的内存和计算资源的同时,实现与最先进的深度网络竞争的性能。然而,我们对一阶方法(如梯度下降(GD))何时以及如何收敛于\textit{nonlinear}隐式网络的理论理解是有限的。虽然这类问题已经在标准前馈网络中进行了研究,但隐式模型的情况仍然很有趣,因为隐式网络有\textit{infinitely}许多层。相应的平衡方程在训练过程中可能不存在解或存在多个解。本文研究了非线性ReLU激活隐式网络的梯度流(GF)和梯度下降的收敛性。为了解决适定性问题,我们引入了一个固定的标量来缩放隐层的权重矩阵,并证明存在一个足够小的缩放常数,从而在整个训练过程中保持平衡方程的适定性。因此,我们证明了如果隐式网络的宽度$m$在样本大小$N$中是\textit{linear},则GF和GD都以线性速率收敛到全局最小值,即,$m=Ω(N)$。
2022-05-16 cs.LG math.OC stat.ML
Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
University of Vienna(维也纳大学)
本文提出了一种改进的熵镜下降法,通过引入Polyak型步长变体,解决了线性系统求解中的收敛性问题,并获得了亚线性和线性收敛结果。
2026-03-06 cs.LG math.OC stat.ML
Stochastic Backward Euler: An Implicit Gradient Descent Algorithm for $k$-means Clustering
McGill University(麦吉尔大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对经典的$k$ -均值问题,提出了一种隐式梯度下降算法.隐式梯度步或向后欧拉通过随机不动点迭代求解,其中我们在每次迭代中随机采样一个小批量梯度。它是固定点轨迹的平均值,被带入下一个梯度步骤。我们在提出的随机向后欧拉和最近的熵随机梯度下降(Entropy-SGD)之间建立了联系,以改进深度神经网络的训练。在各种模拟数据集和真实数据集上的数值实验表明,该算法与$k$ -means算法相比,降低了目标函数(聚类),对初始化具有更好的鲁棒性,从而获得了更好的聚类结果.
2018-05-21 cs.LG math.OC stat.ML
Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
Princeton University(普林斯顿大学);Yale University(耶鲁大学)
作为理解过度参数化模型中梯度下降的隐式偏差的努力的一部分,一些结果表明过度参数化模型上的训练轨迹如何被理解为不同目标上的镜像下降。这里的主要结果是一个表征这种现象下的概念称为交换参数化,其中包括所有以前的结果在这种设置。它表明,梯度流与任何交换参数化是等价的连续镜像下降与相关的勒让德函数。相反,具有任何勒让德函数的连续镜像下降可以被视为具有相关的交换参数化的梯度流。后一个结果依赖于纳什嵌入定理。
2022-07-08 cs.LG math.OC
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind(深度思维);Google(谷歌)
对于无穷小的学习率,随机梯度下降(SGD)遵循完整批量损失函数上的梯度流路径。然而,适度大的学习率可以实现更高的测试精度,并且这种泛化益处不能用收敛界限来解释,因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象,我们证明了随机洗牌的SGD,平均SGD也保持接近梯度流的路径,如果学习率是小的和有限的,但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成,该正则化子惩罚小批量梯度的范数。在温和的假设下,当批量较小时,隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证,明确包括隐式正则化的损失可以提高测试的准确性时,学习率是小的。
2021-01-28 cs.LG stat.ML
Graph-Dependent Implicit Regularisation for Distributed Stochastic Subgradient Descent
University of Oxford(牛津大学)
我们提出了基于图的隐式正则化策略,用于多智能体学习中凸问题的分布式随机次梯度下降(Distributed SGD)。在凸性、Lipschitz连续性和平滑性的标准假设下,我们建立了统计学习率,该学习率保留了对数项,通过隐式正则化(步长调整和早期停止)对图形拓扑结构的适当依赖,集中了统计保证。我们的方法避免了去中心化学习问题中明确正则化的需要,例如对经验风险最小化规则添加约束。特别是对于分布式方法,隐式正则化的使用允许算法保持简单,没有投影或对偶方法。为了证明我们的结果,我们建立了与集中式设置相匹配的分布式SGD的图形独立的泛化边界(使用算法稳定性),并且我们建立了独立感兴趣的图形依赖的优化边界。我们提出的数值实验表明,我们得到的上界的定性性质可以代表真实的行为。
2018-09-18 cs.LG math.OC stat.ML
Implicit regularisation in stochastic gradient descent: from single-objective to two-player games
Google DeepMind(谷歌DeepMind);University College London(伦敦大学学院)
本文提出使用后向误差分析构造梯度型连续时间流的新方法,以揭示多步 SGD(精确计入数据批次)及一般可微双人博弈中的隐式正则化效应。
2023-07-11 cs.LG stat.ML
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University(密歇根州立大学)
众所周知,梯度下降(GD)中的有限步长($h$)隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球(H.B)动量加速梯度下降(GD+M)的隐式正则化中起作用吗?".为了回答这个问题,首先,我们证明了离散H.B动量更新(GD+M)遵循由修改的损失引起的连续轨迹,该修改的损失由原始损失和隐式正则化子组成。然后,我们证明了(GD+M)的隐正则化子比(GD)强$(\frac{1+β}{1-β})$倍,从而解释了为什么(GD+M)比(GD)具有更好的推广性能和更高的测试精度.此外,我们将我们的分析扩展到具有动量(SGD+M)的梯度下降的随机版本,并在逐点意义上描述(SGD+M)的更新的连续轨迹。我们通过一系列实验验证了我们的理论,探索了(SGD+M)和(GD+M)中的隐式正则化。
2023-02-02 cs.LG math.OC
Label noise (stochastic) gradient descent implicitly solves the Lasso for quadratic parametrisation
EPFL(洛桑联邦理工学院);École des Ponts(巴黎路桥学院)
理解训练算法的隐含偏差对于解释过度参数化神经网络的成功至关重要。在本文中,我们研究了标签噪声在二次参数化模型的训练动力学中的作用,通过其连续时间版本。我们显式地证明了由随机流所选择的解是Lasso规划的隐式解。为了完全完成我们的分析,我们提供了非渐近收敛保证的动态以及支持恢复的条件。我们也给出了实验结果,支持我们的理论主张。我们的研究结果强调了这样一个事实,即结构化噪声可以引起更好的概括,并有助于解释在实践中观察到的随机动力学的更大性能。
2022-06-20 cs.LG math.OC stat.ML
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
School of Statistics, Renmin University of China(中国人民大学统计学院);School of Computing and Data Science, The University of Hong Kong(香港大学计算与数据科学学院);School of Computing and Data Science & Institute of Data Science, The University of Hong Kong(香港大学计算与数据科学学院及数据科学研究所)
研究小批量随机最陡下降在多类分类中的隐式偏差,揭示批大小、动量和方差缩减对最大间隔行为和收敛率的影响,并证明动量可实现小批量收敛,方差缩减可恢复全批量隐式偏差。
2026-06-18 cs.LG stat.ML
Stochastic Gradient Descent for Spectral Embedding with Implicit Orthogonality Constraint
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université Paris-Est(巴黎东大学);CNRS(法国国家科学研究中心);ESIEE Paris(巴黎高等电子工程师学院)
在本文中,我们提出了一个可扩展的算法,频谱嵌入。后者是图聚类的标准工具。然而,其计算瓶颈是图的拉普拉斯矩阵的特征分解,这阻碍了其应用于大规模图。我们的贡献包括重新制定频谱嵌入,使其可以通过随机优化来解决。其思想是用直接注入准则的正交化矩阵代替正交约束。由于梯度可以通过Cholesky分解计算,我们的重新制定,使我们能够开发一个有效的算法的基础上小批量梯度下降。实验结果,合成和真实数据,确认所提出的方法的执行速度方面的效率与类似的现有技术。
2019-04-11 cs.LG stat.ML
SGD Implicitly Regularizes Generalization Error
MIT(麻省理工学院);Salesforce(赛富时)
我们推导出一个简单的和模型无关的公式,由于梯度下降更新的泛化差距的变化。然后,我们比较了测试误差的变化随机梯度下降的变化,从一个相等数量的梯度下降更新的测试误差,并明确表明,随机梯度下降的行为,以规范化泛化误差通过去相关附近的更新。这些计算仅通过梯度分布的均值和协方差取决于模型的细节,对于感兴趣的特定模型,可以容易地测量梯度分布的均值和协方差。我们讨论进一步改进这些计算和评论可能的影响随机优化。
2021-04-10 cs.LG stat.ML
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data
UC Berkeley(加州大学伯克利分校);TTI Chicago(芝加哥丰田技术研究所);Hebrew University(希伯来大学);Google(谷歌);University of Michigan(密歇根大学)
基于梯度的优化算法的隐式偏差被证明是现代深度学习成功的主要因素。在这项工作中,我们研究了当训练数据接近正交时,具有泄漏ReLU激活的两层全连接神经网络中梯度流和梯度下降的隐式偏差,这是高维数据的一个常见属性。对于梯度流,我们利用最近的工作,同质神经网络的隐式偏差,渐近,梯度流产生一个神经网络的秩最多为2。此外,该网络是一个$\ell_2$ -最大余量解决方案(在参数空间中),并具有一个线性决策边界,对应于一个近似的最大余量线性预测。对于梯度下降,如果随机初始化方差足够小,我们证明了梯度下降的单步的足以大幅降低网络的秩,并且在整个训练过程中秩保持较小。我们提供的实验表明,一个小的初始化规模是很重要的发现低秩神经网络与梯度下降。
2022-10-13 cs.LG stat.ML
The Implicit Bias of Gradient Descent on Separable Data
Technion(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文证明无正则化逻辑回归的梯度下降在线性可分数据上会隐式收敛至最大间隔 SVM 方向,并推广到多类与深度网络受限情形。
2024-10-26 cs.LG stat.ML
Non-asymptotic implicit bias of logistic regression at early-stage gradient descent dynamics
The Institute of Statistical Mathematics(统计数理研究所);Tohoku University(东北大学);RIKEN AIP(理化学研究所人工智能项目)
本研究揭示早期梯度下降动力学中逻辑回归参数向量与最大间隔方向弱对齐的机制,给出对齐迭代次数的紧上界,为理解训练时长与泛化性能的关联提供理论支撑。
2026-08-06 cs.LG stat.ML
Quasi-potential as an implicit regularizer for the loss function in the stochastic gradient descent
Missouri University of Science and Technology(密苏里科技大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Baidu Inc.(百度公司)
我们解释变分推理的随机梯度下降(SGD)作为最小化一个新的潜在的功能命名为\textit{quasi-potential}。当损失函数是凸的且只存在一个全局极小点时,我们解析地构造了拟势函数。在这种情况下,我们表明,准势函数是有关的噪声协方差结构的SGD通过一个偏微分方程的Hamilton-Jacobi型。这种关系有助于我们证明各向异性噪声比各向同性噪声导致更快的逃逸。然后,我们考虑的情况下,当损失函数是非凸的,并承认几个不同的局部极小SGD的动力学。在这种情况下,我们演示了一个例子,显示了噪声协方差结构如何在“隐式正则化”中发挥作用,这是一种SGD有利于某些特定局部最小点的现象。这是通过噪声协方差结构和准势函数之间的关系来完成的。我们的分析是基于大偏差理论(LDT),并通过数值实验进行了验证。
2019-01-18 cs.LG stat.ML
Implicit Regularization for Group Sparsity
Texas A&M University(德克萨斯农工大学);New York University(纽约大学)
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化,我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质:在平方回归损失上的梯度下降,没有任何明确的正则化,偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比,我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学,并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比,我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下,大小一组,我们的方法产生了一个新的算法稀疏线性回归。最后,我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks
University of Oxford(牛津大学);Instadeep Ltd(Instadeep有限公司);University of Southern California(南加州大学)
我们证明了梯度下降的线性收敛到一个全局最优的深度残差网络的训练与恒定的层宽度和光滑的激活函数。我们表明,如果训练的权重,作为一个函数的层索引,承认一个缩放限制的深度增加,那么限制有有限的$p-$变化与$p=2$。证明是基于非渐近估计的损失函数和范数的网络权重沿梯度下降path.We说明了我们的理论结果的相关性,实际设置使用详细的数值实验监督学习问题。
2023-01-25 cs.LG math.OC
A Generic Coordinate Descent Framework for Learning from Implicit Feedback
University of Konstanz(康斯坦茨大学);National University of Singapore(新加坡国立大学);Google Inc.(谷歌公司)
近年来,对推荐系统的研究兴趣已经从显式反馈转向隐式反馈数据。各种各样的复杂模型已经被提出用于各种各样的应用。尽管如此,从内隐反馈中学习仍然是计算上的挑战。到目前为止,大多数工作都依赖于随机梯度下降(SGD)求解器,这些求解器很容易导出,但在实践中应用起来很有挑战性,特别是对于具有许多项目的任务。对于简单的矩阵分解模型,先前已经提出了一种有效的坐标下降(CD)求解器。然而,有效的CD方法还没有得到更复杂的模型。在本文中,我们提供了一个新的框架,推导出有效的CD算法复杂的推荐模型。我们识别并介绍了k-可分模型的性质。我们表明,k-可分性是一个足够的属性,允许有效的优化隐式推荐问题与CD。我们说明了这个框架上的各种国家的最先进的模型,包括因式分解机和塔克分解。总之,我们的工作提供了理论和积木,以获得高效的隐式CD算法复杂的推荐模型。
2016-11-15 cs.IR cs.LG
Implicit Bias of Gradient Descent for Mean Squared Error Regression with Two-Layer Wide Neural Networks
University of California, Los Angeles(加州大学洛杉矶分校);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
本文证明宽浅层 ReLU 网络梯度下降训练在函数空间中的隐式偏置等价于带曲率惩罚的最小二阶导数范数问题,并推广到多变量回归与样条轨迹刻画。
2023-05-28 cs.LG stat.ML
The Implicit Bias of Gradient Descent on Separable Multiclass Data
University of Michigan(密歇根大学);Technion - Israel Institute of Technology(以色列理工学院);Illinois Institute of Technology(伊利诺伊理工大学)
本研究利用PERM损失框架将指数尾部性质扩展到多类,把梯度下降的隐式偏差理论从二分类推广到多分类,并证明其与二分类情形技术紧密对应。
2024-11-07 cs.LG stat.ML
On the Implicit Bias of Gradient Descent for Temporal Extrapolation
Blavatnik School of Computer Science(布拉瓦特尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
当使用递归神经网络(RNN)时,通常的做法是将训练模型应用于比训练中看到的更长的序列。这种“外推”用法偏离了传统的统计学习设置,在传统的统计学习设置中,在假设训练和测试分布相同的情况下提供保证。在这里,我们开始了解RNN何时可以外推,重点关注一个简单的情况,即数据生成分布是无记忆的。我们首先证明,即使有无限的训练数据,也存在完美插值的RNN模型(即,它们适合训练数据),但对于较长的序列外推很差。然后,我们表明,如果梯度下降用于训练,学习将收敛到完美的外推在某些假设的初始化。我们的研究结果补充了最近关于梯度下降的隐式偏差的研究,表明它在学习时间预测模型时在外推中起着关键作用。
2022-03-24 cs.LG
Exact expressions for double descent and implicit regularization via surrogate random design
University of California, Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
双下降是指当改变参数数量和训练样本数量之间的比率时,由非正则化学习模型的泛化误差表现出的相变。最近高度过度参数化的机器学习模型(如深度神经网络)的成功激发了对经典模型(如线性回归)中双下降现象的理论分析,这些模型也可以在过度参数化的情况下很好地推广。给出了最小范数线性估计量的双下降的第一个精确非渐近表达式。我们的方法涉及到构造一个特殊的决定点过程,我们称之为替代随机设计,以取代标准的独立同分布。训练样本的设计。这种替代设计允许估计量的均方误差的精确表达式,同时保留标准设计的关键属性。我们还建立了一个精确的隐式正则化结果过参数化的训练样本。特别是,我们表明,对于代理设计,隐式偏差的非正则化最小范数估计精确对应于解决岭正则化最小二乘问题的人口分布。在我们的分析中,我们引入了一个新的数学工具的独立利益:类随机矩阵的行列式与期望互换。
2020-06-18 cs.LG math.ST stat.ML
Characterizing Implicit Bias in Terms of Optimization Geometry
TTI Chicago(芝加哥丰田技术研究所);USC(南加州大学);Technion(以色列理工学院)
我们研究了在优化欠定线性回归或可分离线性分类问题时,通用优化方法(如镜像下降法、自然梯度下降法和最速下降法)对不同势函数和范数的隐式偏差。我们探讨的问题,是否特定的全局最小值(在许多可能的全局最小值)达到的算法可以在潜在的或规范的优化几何特征,并独立于超参数的选择,如步长和动量。
2020-06-22 cs.LG stat.ML
Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
University of Pennsylvania(宾夕法尼亚大学);Amazon(亚马逊);University of Michigan(密歇根大学)
本文提出 IPGD 方法,通过微小扰动和小偏差率,在过度参数化模型中实现隐式正则化,提升收敛到低维解的能力。
2025-12-09 cs.LG math.OC
Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss
Laboratoire de Mathématiques d’Orsay(奥赛数学实验室);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);PSL Research University(PSL研究大学)
训练神经网络以最小化逻辑(也称为交叉熵)损失在许多监督分类任务中表现良好。为了理解这一现象,我们分析了具有均匀激活的无限宽两层神经网络的训练和泛化行为。我们表明,指数尾损失的梯度流的限制,可以充分表征为一个最大的利润分类在一定的非希尔伯特空间的功能。在存在隐藏的低维结构时,所得到的边缘是独立的环境维度,这导致强的推广界。相比之下,仅训练输出层隐式地解决了核支持向量机,其先验不具有这种自适应性。我们对训练的分析在运行时间方面是非定量的,但我们通过显示与在线镜像下降的等价性来证明简化设置中的计算保证。最后,数值实验表明,我们的分析很好地描述了具有ReLU激活的双层神经网络的实际行为,并证实了这种隐式偏差的统计优势。
2020-06-22 cs.LG math.OC stat.ML
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology(佐治亚理工学院)
本文通过原始-对偶分析,研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差,证明其以高概率近似最小ℓ2范数解,差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
Implicit Sparse Regularization: The Impact of Depth and Early Stopping
Texas A&M University(德克萨斯A&M大学);AWS AI;New York University(纽约大学)
本文研究了稀疏回归梯度下降算法的隐偏差问题。我们将二次参数化回归的结果(相当于深度为2的对角线性网络)扩展到更一般的深度为N的网络,在更现实的噪声和相关设计设置下。我们发现,早期停止是至关重要的梯度下降收敛到一个稀疏的模型,我们称之为隐式稀疏正则化的现象。这一结果与无噪声和不相关设计情况下的已知结果形成鲜明对比。我们表征的深度和早期停止的影响,并表明,对于一般的深度参数N,梯度下降与早期停止实现极小极大最优稀疏恢复足够小的初始化和步长。特别是,我们表明,增加深度扩大规模的工作初始化和早期停止窗口,使这种隐式稀疏正则化效果更有可能发生。
2021-10-26 cs.LG stat.ML
Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization
California Institute of Technology(加州理工学院);Department of Computing and Mathematical Sciences(计算与数学科学系);Department of Electrical Engineering(电气工程系)
随机下降方法(梯度和镜像变种)在优化中变得越来越流行。事实上,现在人们普遍认识到,深度学习的成功不仅是由于模型的特殊深度架构,而且还由于所使用的随机下降方法的行为,这些方法在达到“好”解决方案方面发挥了关键作用,这些解决方案可以很好地推广到看不见的数据。为了解释为什么会这样,我们重新审视了线性模型平方损失的随机梯度下降(SGD)的一些极小极大性质-最初是在20世纪90年代开发的-并将其扩展到一般损失函数和非线性模型的一般随机镜像下降(SMD)算法。特别是,我们表明,有一个基本的身份,它适用于SMD(和SGD)在非常一般的条件下,这意味着极小极大最优的SMD(和SGD)足够小的步长,并为一般类的损失函数和一般的非线性模型。我们进一步表明,这个身份可以用来自然地建立其他属性的SMD(和SGD),即收敛性和隐式正则化的过参数化的线性模型(在现在被称为“插值制度”),其中一些已经在某些情况下,在以前的文献。我们还讨论了如何在所谓的“高度过度参数化”非线性设置(参数的数量远远超过数据点的数量)中使用这个恒等式,以深入了解为什么SMD(和SGD)可能具有类似的收敛性和隐式正则化属性,用于深度学习。
2019-01-17 cs.AI cs.LG math.OC
A Unified Approach to Controlling Implicit Regularization via Mirror Descent
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种基于镜像下降的统一方法,用于在回归和分类中控制隐式正则化,证明其可收敛到广义最大间隔解,并通过实验展示其能够产生具有不同正则化项和泛化性能的模型。
2024-01-11 cs.LG
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
近年来,在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质,最先进的程序通常需要适当的正则化(例如修剪,正则化成本,投影),以保证快速收敛。然而,对于诸如梯度下降之类的常规过程,先验理论要么推荐高度保守的学习率以避免过冲,要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象:即使在没有显式正则化的情况下,梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上,梯度下降遵循的轨迹停留在具有良好几何形状的盆地内,由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行,而不会过冲,这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题,即相位恢复,低秩矩阵完成,和盲反卷积,我们建立了梯度下降实现接近最优的统计和计算保证,而无需显式正则化。特别是,通过将统计建模与通用优化理论相结合,我们开发了一个通用的配方,通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品,嘈杂的矩阵完成,我们证明,梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks
Peking University(北京大学);Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校)
本研究揭示了梯度下降的“特征平均”隐式偏差导致神经网络非鲁棒性,并证明通过分类单个特征的精细监督可缓解此问题并实现最优鲁棒性。
2025-03-01 cs.LG stat.ML
Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability
Johns Hopkins University(约翰斯·霍普金斯大学);Rice University(莱斯大学);Princeton University(普林斯顿大学)
本研究证明在稳定性边缘下,任意常数步长的梯度下降可使逻辑回归损失最小化,并揭示其隐式偏差,同时指出指数损失可能发散,凸显逻辑损失优势。
2023-10-15 cs.LG stat.ML
Gated recurrent neural networks discover attention
ETH Zürich(苏黎世联邦理工学院)
本研究揭示,配备线性循环层和乘法门控的现代RNN能精确实现自注意力,且梯度下降训练使其在上下文学习任务中采用与Transformer相同的基于注意力的算法,凸显了乘法交互的关键作用。
2024-02-07 cs.LG cs.NE
Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Lawrence Berkeley National Laboratory(伯克利国家实验室);Google DeepMind(谷歌DeepMind)
本文针对一般非齐次深度网络,在指数损失下证明梯度下降迭代的方向极限满足间隔最大化问题的KKT条件,并将隐式偏差理论从齐次网络推广到含残差连接和非齐次激活函数的网络,解决了Ji和Telgarsky提出的开放问题。
2025-07-15 cs.LG math.OC stat.ML
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University(布兰戴斯大学)
本文研究高斯相位恢复问题中的加速优化方法,证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化,从而在非凸性中保持强凸和平滑,实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications
University of California, Santa Barbara(加州大学圣巴巴拉分校)
具有非常强的泛化性能的深度神经网络通常是过参数化的。尽管明确的正则化策略用于从业者以避免过度拟合,但影响通常很小。一些理论研究分析了随机梯度下降(SGD)在某些假设下对简单机器学习模型的隐式正则化效应。然而,它在最先进的模型和真实世界数据集中的实际行为仍然是未知的。为了弥补这一差距,我们研究了SGD隐式正则化在深度学习系统中的作用。我们表明,纯SGD往往收敛到最小值,在多个自然语言处理(NLP)任务中具有更好的泛化性能。这种现象与dropout共存,dropout是一个显式正则化子。此外,神经网络的有限学习能力并不影响SGD的隐式正则化效应的内在本质。具体来说,在有限的训练样本或某些损坏的标签下,隐式正则化效果仍然很强。我们进一步分析了稳定性,通过改变权重的初始化范围。我们证实了这些实验结果与决策边界可视化使用3层神经网络的解释。总之,我们的工作使我们能够深入了解隐式正则化如何影响深度学习模型,并为未来过参数化模型泛化能力的研究提供了指导。
2018-11-01 cs.CL cs.LG cs.NE
Overfitting of Spectral Gradient Descent: How Matrix Geometry shapes Generalization and Implicit Bias
RIKEN AIP(理化学研究所先进智能项目中心);University of Toronto(多伦多大学);University of Tokyo(东京大学);Kyoto University(京都大学)
本文研究谱梯度下降在过参数化矩阵分类中的泛化,发现捷径几何(聚集或分散)可逆转其与GD的相对优势,并揭示单步SpecGD即可良好泛化而持续训练反而恶化。
2026-09-29 cs.LG stat.ML
Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate
Johns Hopkins University(约翰霍普金斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
理解\emph{stochastic gradient descent}(SGD)的算法偏见是现代机器学习和深度学习理论的关键挑战之一。然而,大多数现有的工作集中在\emph{very small or even infinitesimal}学习率制度,并未能涵盖实际的情况下,学习率是\emph{moderate and annealing}。在本文中,我们作出了初步的尝试,以描述特定的正则化效果的SGD在中等学习率制度,通过研究其行为优化过参数化线性回归问题。在这种情况下,SGD和GD是已知的收敛到唯一的最小范数的解决方案,然而,与温和的和退火学习率,我们表明,他们表现出不同的\emph{directional bias}:SGD收敛沿大特征值方向的数据矩阵,而GD后的小特征值方向。此外,我们表明,这样的方向性偏差的问题时,采用早期停止,其中SGD输出接近最优,但GD输出是次优的。最后,我们的理论解释了几个民间艺术在实践中用于SGD超参数调整,如(1)线性缩放初始学习率与批量大小;(2)超越SGD高学习率,即使损失停止下降。
2021-03-29 cs.LG stat.ML
Implicit Regularization of Accelerated Methods in Hilbert Spaces
Università degli Studi di Genova(热那亚大学);Machine Learning Genoa Center(热那亚机器学习中心);Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利技术研究院)
研究了Hilbert空间中线性最小二乘问题的加速梯度下降方法的学习性质。我们分析了Nesterov加速度和重球的一个变体的隐式正则化性质,相应的学习误差界。我们的研究结果表明,加速可以提供更快的偏差衰减比梯度下降,但也遭受更不稳定的行为。因此,通常不能期望加速相对于梯度下降提高学习精度,而是期望加速以减少的计算实现相同的精度。数值模拟验证了我们的理论结果。我们的分析是基于研究适当的多项式引起的加速动力学和结合频谱技术与浓度不等式。
2019-12-16 cs.LG math.OC math.SP
Stochastic Mirror Descent on Overparameterized Nonlinear Models: Convergence, Implicit Regularization, and Generalization
California Institute of Technology(加州理工学院)
大多数现代学习问题都是高度过度参数化的,这意味着参数比训练数据点的数量多得多,因此,训练损失可能具有无限多个全局最小值(完美内插训练数据的参数向量)。因此,重要的是要了解我们收敛到哪些插值解,它们如何依赖于初始化点和学习算法,以及它们是否会导致不同的泛化性能。在本文中,我们研究了这些问题的家庭随机镜像下降(SMD)算法,其中流行的随机梯度下降(SGD)是一个特殊的情况。我们的贡献是理论和实验。在理论方面,我们表明,在overparameterized的非线性设置,如果初始化是足够接近的流形的全球最小值(的东西来免费的高度overparameterized的情况下),SMD具有足够小的步长收敛到一个全球最小值,这是近似最接近的一个Bregman发散。在实验方面,我们在标准数据集和模型上进行了大量实验,使用了各种初始化、各种镜像下降和各种Bregman分歧,一致证实了这种现象发生在深度学习中。我们的实验进一步表明,有一个由不同的SMD算法得到的解决方案的泛化性能的明显差异。在标准图像数据集和网络架构上进行实验,SMD具有不同类型的隐式正则化,$\ell_1$鼓励稀疏性,$\ell_2$产生SGD,以及$\ell_{10}$阻止参数向量中的大分量,一致且明确地表明,$\ell_{10}$-SMD具有比SGD更好的泛化性能,SGD又具有比$\ell_1$-SMD更好的泛化性能。
2019-06-10 cs.LG math.OC stat.ML
Semi-Implicit Variational Inference via Kernelized Path Gradient Descent
Department of Statistics, LMU Munich(统计系);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出核化 KL 散度估计器与重要性采样校正,改进半隐式变分推断的高维训练稳定性与效率,并在性能和训练成本上达到或超越现有最先进方法。
2025-06-05 cs.LG stat.CO
Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks
Tsinghua University, Beijing, China(清华大学);Nanjing University of Aeronautics and Astronautics, Nanjing, China(南京航空航天大学)
本文针对过参数化两层物理信息神经网络的训练,开展隐式梯度下降的收敛性分析,推导其训练动力学,证明线性收敛速率及更宽松的网络宽度要求,并通过实验验证理论结论。
2025-08-01 cs.LG math.OC
Characterizing the implicit bias via a primal-dual analysis
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文证明了线性可分数据上的梯度下降的隐式偏差的精确特征在于由平滑余量给出的对偶优化问题的最优解,即使对于一般损失。这与以前的结果相反,以前的结果通常是针对指数尾损失的。对于指数损失,具体来说,使用$n$训练示例和$t$梯度下降步骤,我们的对偶分析进一步允许我们证明当使用恒定步长时,$O(\ln(n)/\ln(t))$收敛到$\ell_2$最大余量方向的速度。该速率在$n$和$t$中都是紧的,这在先前的工作中没有提出。另一方面,一个正确选择的,但积极的步长时间表,我们证明$O(1/t)$率$\ell_2$利润最大化和隐式偏差,而以前的工作(包括所有的一阶方法一般硬利润线性SVM问题)证明$\widetilde{O}(1/\sqrt{t})$利润率,或$O(1/t)$利润率次优利润率,与隐含的(较慢)的偏差率。我们的主要观察结果包括原始变量的梯度下降自然会导致对偶变量的镜像下降更新,并且这种设置中的对偶目标足够平滑,可以提供更快的速率。
2020-11-12 cs.LG math.OC stat.ML
The Statistical Complexity of Early-Stopped Mirror Descent
University of Oxford(牛津大学)
最近,人们对基于梯度的迭代优化算法的隐式正则化性质的理解兴趣激增。本文研究了线性模型和核方法中应用提前停止的无约束镜像下降算法对具有平方损失的非正则化经验风险的超额风险的统计保证。通过完成一个不等式,凸的平方损失的特征,我们确定了一个内在的联系之间的偏移拉德马赫复杂度和潜在的基于镜像下降方法的收敛性分析。我们的观察立即产生超额风险保证的路径跟踪的镜像下降的迭代在偏移复杂度的某些功能类只取决于选择的镜像映射,初始化点,步长,和迭代次数。我们应用我们的理论恢复,在一个干净和优雅的方式,通过相当短的证明,最近的一些结果在隐式正则化文献,同时也显示了如何在某些设置中改进它们。
2020-08-27 cs.LG stat.ML
Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability
Princeton University(普林斯顿大学)
本文提出自稳定概念,用三次 Taylor 展开解释梯度下降在稳定性边缘的动力学,并证明其隐式等价于约束 $S(θ) \le 2/η$ 下的投影梯度下降,从而揭示梯度下降隐式偏向稳定性的机制。
2023-04-10 cs.IT cs.LG math.IT
A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates
Google, Inc.(谷歌公司)
我们研究了三个家庭的在线凸优化算法:跟随邻近正则化领导(FTRL-Proximal),正则化的双重平均(RDA),和复合目标镜像下降。我们首先证明等价定理,表明所有这些算法的实例一般FTRL更新。这为以前的实验观察提供了理论上的见解。特别是,尽管FOBOS复合镜像下降算法显式地处理L1正则化,但已经观察到RDA在产生稀疏性方面甚至更有效。我们的研究结果表明,FOBOS使用次梯度近似的L1罚款从以前的回合,导致较少的稀疏性比RDA,它处理的累积罚款在封闭的形式。FTRL-Proximal算法可以被视为这两种算法的混合,并且在大型真实世界数据集上的性能优于两者。我们的第二个贡献是一个统一的分析,产生遗憾的界限,匹配(对数项)或改善以前已知的最好的界限。这种分析还扩展了这些算法在两个重要的方面:我们支持更一般类型的复合目标,我们分析隐式更新,它取代了次梯度近似的当前损失函数的精确优化。
2011-09-20 cs.LG
The Implicit Regularization of Dynamical Stability in Stochastic Gradient Descent
Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学)
本文从动力学稳定性视角分析 SGD 的隐式正则化,证明稳定最小值约束 Hessian 迹并等价于参数范数,从而解释大学习率 SGD 优于 GD 的泛化表现。
2023-06-01 cs.LG stat.ML
Implicit Bias of Spectral Descent and Muon on Multiclass Separable Data
Department of Computer Science University of British Columbia(计算机科学系不列颠哥伦比亚大学);University of British Columbia Canada(不列颠哥伦比亚大学加拿大);CIFAR AI Chair (Amii) &(CIFAR人工智能主席(Amii));Department of Electrical and Computer Engineering University of British Columbia(电气与计算机工程系不列颠哥伦比亚大学)
本文研究了谱下降法和缪恩在多类可分数据中的隐式偏置,证明其收敛到最大化分类矩阵p-范数的边际解,并展示了Adam在预处理下的收敛特性。
2025-12-05 cs.LG math.OC
Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration
Applied AI Institute, Moscow, Russia(应用人工智能研究所,莫斯科,俄罗斯)
本文研究了梯度下降在神经网络训练中的优化动态和隐式加速现象,通过非线性模型分析显示梯度下降步骤等价于广义感知机算法,揭示了非线性模型在迭代复杂度上的优势。
2026-05-21 cs.LG cs.NA math.NA
Shape Matters: Understanding the Implicit Bias of the Noise Covariance
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
随机梯度下降(SGD)中的噪声为训练过参数化模型提供了至关重要的隐式正则化效应。以前的理论工作主要集中在球形高斯噪声,而经验研究表明,参数相关的噪声-由小批量或标签扰动引起的-比高斯噪声更有效。本文从理论上描述了这种现象的二次参数化模型介绍Vaskevicius等人。和Woodworth et el.我们表明,在一个过参数化的设置,SGD标签噪声恢复稀疏地面真理与任意初始化,而SGD高斯噪声或梯度下降过拟合到稠密的解决方案与大的规范。我们的分析表明,参数相关的噪声引入了一个偏向局部极小值较小的噪声方差,而球面高斯噪声没有。我们项目的代码是公开的。
2020-06-18 cs.LG stat.ML
Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity
EPFL(洛桑联邦理工学院)
理解训练算法的隐含偏差对于解释过度参数化神经网络的成功至关重要。本文研究了对角线性网络上的随机梯度下降的动力学问题,通过它的连续时间形式,即随机梯度流。我们明确地证明了随机流选择的解决方案,并证明它总是享有更好的推广性能比梯度流。令人惊讶的是,我们发现训练损失的收敛速度控制着偏差效应的大小:收敛速度越慢,偏差越好。为了完全完成我们的分析,我们为动态提供了收敛保证。我们也给出了实验结果,支持我们的理论主张。我们的研究结果突出了这样一个事实,即结构化噪声可以引起更好的概括,他们有助于解释更大的性能在实践中观察到的随机梯度下降超过梯度下降。
2021-12-07 cs.LG
Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification
研究多线性分类任务持续学习中梯度下降的收敛性,证明模型在联合可分时收敛于联合最大间隔解,遗忘量随循环消失,不可分时收敛于联合损失极小值。
2025-04-26 cs.LG math.OC