Implicit regularization and solution uniqueness in over-parameterized matrix sensing
Boston University(波士顿大学);Rice University(莱斯大学);University of Maryland(马里兰大学)
我们考虑过参数化线性矩阵分解中的算法选择是否引入了隐式正则化。我们专注于$\mathbb{R}^{n \times n}$中秩- $r$半正定(PSD)矩阵上的无噪声矩阵感知,其感知机制满足限制等距性质(RIP)。我们研究的算法是\emph{factored gradient descent},其中我们模型的低秩和PSD约束与因子分解$UU^\top$,为$U \in \mathbb{R}^{n \times r}$。令人惊讶的是,最近的工作认为$r \leq n$的选择并不关键:即使设置$U \in \mathbb{R}^{n \times n}$也足以让因子梯度下降找到秩- $r$解,这表明对因子进行操作会导致隐式正则化。在这篇文章中,我们提供了一个不同的角度来看待隐式正则化问题。我们表明,在一定的条件下,PSD约束本身就足以导致一个独特的秩- $r$矩阵恢复,没有隐式或显式低秩正则化。\emph{I.e.},在假设下,与观察到的数据一致的PSD矩阵的集合是单例的,无论使用的算法如何。
2019-09-13 cs.LG math.OC stat.ML
Implicit Regularization and Entrywise Convergence of Riemannian Optimization for Low Tucker-Rank Tensor Completion
本文研究了低Tucker秩张量补全问题,在近乎最优的采样复杂度下,利用留一法技术证明了原始黎曼梯度方法的逐元素收敛性并揭示了其隐式正则化现象。
2023-08-02 math.OC
Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
加速和动量是机器学习和优化的现代应用中事实上的标准,但隐式正则化的大部分工作都集中在非加速方法上。在本文中,我们研究了Nesterov的加速梯度法和Polyak的重球法产生的迭代的统计风险,当应用于最小二乘回归时,绘制了几个连接到显式惩罚。我们在连续时间中进行分析,使我们能够做出比以前的工作更清晰的陈述,并揭示早期停止,稳定性和损失函数曲率之间的复杂相互作用。
2022-01-20 cs.LG math.OC stat.ML
Implicit Regularization or Implicit Conditioning? Exact Risk Trajectories of SGD in High Dimensions
Google Research(谷歌研究院);McGill University(麦吉尔大学)
随机梯度下降(SGD)是现代机器学习的支柱,是各种问题的首选优化算法。虽然SGD的经验成功通常归因于其计算效率和良好的泛化行为,但这两种效果都没有得到很好的理解,并且解开它们仍然是一个悬而未决的问题。即使在凸二次问题的简单设置中,最坏情况下的分析也给出了SGD的渐近收敛速度并不比全批梯度下降(GD)更好,并且SGD的隐式正则化效应缺乏精确的解释。在这项工作中,我们研究了高维凸二次型上的多通道SGD的动力学,并建立了一个渐近等价的随机微分方程,我们称之为均匀化随机梯度下降(HSGD),其解决方案,我们明确的Volterra积分方程的特征。这些结果产生了精确的公式的学习和风险轨迹,揭示了一种机制的内隐条件反射,解释了效率的SGD相对于GD。我们还证明了SGD的噪声会对泛化性能产生负面影响,排除了在这种情况下任何类型的隐式正则化的可能性。最后,我们展示了如何适应HSGD的形式主义,包括流SGD,这使我们能够产生一个准确的预测多通道SGD相对于流SGD(引导风险)的超额风险。
2022-06-15 cs.LG math.OC math.PR
Minimum norm interpolation by perceptra: Explicit regularization and implicit bias
Texas A&M University(德克萨斯A&M大学);Iowa State University(爱荷华州立大学);University of Pittsburgh(匹兹堡大学)
本研究分析浅层ReLU网络插值行为,证明在特定权重衰减下经验风险最小化器收敛至最小范数插值,并数值探究优化算法的隐式偏差。
2023-11-10 cs.LG math.OC stat.ML
How Neural Networks Learn the Support is an Implicit Regularization Effect of SGD
Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院)
本文揭示小批量SGD通过正比于η/b的二阶隐式正则化效应,无需显式正则即可在第一层学习目标函数支撑集,而普通GD则需显式正则化,表明小批量能提升特征可解释性并降低对初始化的依赖。
2024-06-17 cs.LG math.OC stat.ML
Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
University of Pennsylvania(宾夕法尼亚大学);Amazon(亚马逊);University of Michigan(密歇根大学)
本文提出 IPGD 方法,通过微小扰动和小偏差率,在过度参数化模型中实现隐式正则化,提升收敛到低维解的能力。
2025-12-09 cs.LG math.OC
Understanding Implicit Regularization in Over-Parameterized Single Index Model
Princeton University(普林斯顿大学)
在本文中,我们利用过参数化设计的正则化免费算法的高维单指标模型和诱导隐式正则化现象提供了理论保证。具体来说,我们研究了向量和矩阵单指标模型,其中链接函数是非线性和未知的,信号参数是稀疏向量或低秩对称矩阵,响应变量可以是重尾的。为了更好地理解隐式正则化在没有过多技术性的情况下所扮演的角色,我们假设协变量的分布是先验已知的。对于向量和矩阵设置,我们构建了一个过参数化的最小二乘损失函数,采用得分函数变换和一个强大的截断步骤,专门为重尾数据。我们建议通过将正则化自由梯度下降应用于损失函数来估计真实参数。当初始值接近原点且步长足够小时,我们证明了所得到的解在向量和矩阵两种情况下都达到了极小极大最优统计收敛率.此外,我们的实验结果支持我们的理论研究结果,也表明,我们的方法在经验上优于经典的方法与显式正则化的$\ell_2$ -统计率和变量选择的一致性。
2021-11-15 cs.LG math.OC stat.ME
Implicit Regularization of Accelerated Methods in Hilbert Spaces
Università degli Studi di Genova(热那亚大学);Machine Learning Genoa Center(热那亚机器学习中心);Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利技术研究院)
研究了Hilbert空间中线性最小二乘问题的加速梯度下降方法的学习性质。我们分析了Nesterov加速度和重球的一个变体的隐式正则化性质,相应的学习误差界。我们的研究结果表明,加速可以提供更快的偏差衰减比梯度下降,但也遭受更不稳定的行为。因此,通常不能期望加速相对于梯度下降提高学习精度,而是期望加速以减少的计算实现相同的精度。数值模拟验证了我们的理论结果。我们的分析是基于研究适当的多项式引起的加速动力学和结合频谱技术与浓度不等式。
2019-12-16 cs.LG math.OC math.SP
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks
University of Oxford(牛津大学);Instadeep Ltd(Instadeep有限公司);University of Southern California(南加州大学)
我们证明了梯度下降的线性收敛到一个全局最优的深度残差网络的训练与恒定的层宽度和光滑的激活函数。我们表明,如果训练的权重,作为一个函数的层索引,承认一个缩放限制的深度增加,那么限制有有限的$p-$变化与$p=2$。证明是基于非渐近估计的损失函数和范数的网络权重沿梯度下降path.We说明了我们的理论结果的相关性,实际设置使用详细的数值实验监督学习问题。
2023-01-25 cs.LG math.OC
Implicit Regularization of Gradient Flow on One-Layer Softmax Attention
Yale University(耶鲁大学)
本文研究单层softmax注意力模型梯度流的隐式正则化,证明其最小化键查询乘积的核范数,对应SVM问题,与合并训练的Frobenius范数正则化形成对比。
2024-03-13 cs.AI cs.LG math.OC
Implicit Regularization of Discrete Gradient Dynamics in Linear Neural Networks
Mila(米拉研究所);DIRO(蒙特利尔大学计算机与运筹学系);Université de Montréal(蒙特利尔大学);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
当优化过参数化模型时,例如深度神经网络,大量参数可以实现零训练误差。在这种情况下,优化算法及其相应超参数的选择引入了偏差,这将导致收敛到目标的特定最小值。因此,这种选择可以被认为是一种隐式正则化,用于训练过参数化模型。在这项工作中,我们通过研究具有最小平方损失的双层线性网络的训练的离散梯度动态来进一步推动这一想法。使用时间重新缩放,我们表明,与消失的初始化和一个足够小的步长,这种动态顺序学习的解决方案的降秩回归的秩逐渐增加。
2019-12-05 cs.LG math.OC stat.ML
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University(斯坦福大学)
批量归一化(BN)是一种常用的技术,用于加速和稳定深度神经网络的训练。尽管其经验的成功,一个完整的理论理解BN尚未开发。在这项工作中,我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架,以获得具有BN的权重衰减正则化ReLU网络的精确凸表示,该网络可以在多项式时间内进行训练。我们的分析还表明,最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外,我们发现,梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响,我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性,用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
The Implicit Regularization of Stochastic Gradient Flow for Least Squares
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究了小批量随机梯度下降算法的隐正则化,并将其应用于最小二乘回归的基本问题。我们利用连续时间随机微分方程具有相同的时刻作为随机梯度下降,我们称之为随机梯度流。本文给出了随机梯度流在$t$时刻的超额风险的一个界,即带调节参数$λ= 1/t$的岭回归。可以从显式常数(例如,小批量、步长、迭代次数),精确地揭示了这些数量如何驱动超额风险。数值例子表明,界可以很小,表明两个估计之间的紧密关系。我们给出了随机梯度流系数与岭系数的类似结果。这些结果在数据矩阵$X$上的任何条件下都成立,并且跨越整个优化路径(不仅仅是在收敛时)。
2020-06-19 cs.LG math.OC stat.ML
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
Northeastern University(东北大学);Michigan State University(密歇根州立大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文首次在梯度下降(而非梯度流)下严格证明了管状张量分解的隐式正则化,表明小随机初始化会使超参数化模型偏向低管状秩解,并通过数值模拟验证了理论动态与初始化的重要性。
2024-10-21 cs.LG math.OC math.ST
Solving convex optimization problems via a second order dynamical system with implicit Hessian damping and Tikhonov regularization
本文研究带有 Tikhonov 正则化项和隐式 Hessian 阻尼的二阶动力系统,用于凸 Fréchet 可微函数的最小化问题,通过显式离散化获得梯度型惯性算法,并证明了轨迹对全局最小值及极小值点的弱或强收敛性。
2024-01-05 math.DS math.OC
Does Momentum Change the Implicit Regularization on Separable Data?
University of Science & Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
动量加速技术在许多优化算法中被广泛采用。然而,动量如何影响优化算法的泛化性能,目前还没有理论上的答案。本文通过分析动量优化的隐式正则化方法来研究这一问题。我们证明了在指数尾损失和可分离数据的线性分类问题上,具有动量的梯度下降(GDM)收敛于L2最大边际解,这与香草梯度下降相同。这意味着带有动量加速的梯度下降仍然收敛到一个低复杂度的模型,这保证了它们的泛化。然后,我们分析了GDM的随机和自适应变体(即,SGDM和确定性亚当),并表明他们也收敛到L2最大利润的解决方案。在技术上,为了克服动量分析中的误差积累困难,我们构造了新的势函数来分析模型参数与最大边际解之间的差距。数值实验结果支持我们的理论结果。
2022-05-27 cs.LG math.OC
Minimization based formulations of inverse problems and their regularization
制定反问题的传统方法,如识别(可能是无限维)参数,是通过一些前向算子,这是连接的观察算子与参数到状态映射的基础模型。最近,所有的一次配方已被视为替代这种减少配方,避免使用的参数状态映射,这有时会导致过于严格的条件。在这里,模型和观测同时被认为是一个大系统的状态和参数作为未知数。反问题的一个更一般的公式,包含减少和所有的一次制定,但也是众所周知的和高度通用的所谓的变分方法(也称为科恩-Vogelius功能的方法)作为特殊情况,是制定反问题作为一个最小化问题-而不是方程-的状态和参数。正则化可以通过对目标施加约束和/或添加正则化项来并入。在本文中,通过制定电阻抗断层成像(EIT)问题的经典Kohn-Vogelius功能的动机后,我们将详述在一个抽象的设置这样的变分制剂的正则化方面。事实上,约束正则化和惩罚正则化的结合导致了新的方法,适用于不解决前向问题。特别是,对于EIT问题,我们将考虑一种方法,采用框约束在一个非常自然的方式,将差异原则的正则化参数的选择,以及先验信息的搜索电导率。
2019-10-04 math.OC
The Benefits of Implicit Regularization from SGD in Least Squares Problems
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
随机梯度下降(SGD)在实际应用中表现出很强的算法正则化效应,被认为在现代机器学习方法的推广中发挥了重要作用。在这项工作中,我们试图在更简单的线性回归设置(包括欠参数化和过参数化机制)中理解这些问题,我们的目标是对(非正则化)平均SGD提供的隐式正则化与岭回归的显式正则化进行基于实例的比较。对于一类广泛的最小二乘问题实例,(在高维环境中是自然的),我们表明:(1)对于每个问题实例和每个脊参数,(未正则化)SGD,当提供了比提供给脊算法的样本更多的样本时,一般化不比脊解决方案差(假设SGD使用调整的恒定步长);(2)相反,存在最优调整岭回归需要比SGD二次更多的样本的情况(在这个广泛的问题类中),以便具有相同的泛化性能。两者合计,我们的研究结果表明,到对数因子,SGD的泛化性能总是不差于岭回归在广泛的overparameterized问题,事实上,可以更好地为一些问题的情况下。更一般地说,我们的结果表明,算法正则化具有重要的后果,即使在简单的(overparameterized)凸设置。
2022-07-11 cs.LG math.OC stat.ML
Process flowsheet optimization with surrogate and implicit formulations of a Gibbs reactor
本文提出用代理模型和隐式函数替代Gibbs反应器方程,提高化工流程优化收敛可靠性,并比较四种公式在求解时间、精度与收敛性上的权衡。
2024-04-19 cs.NA math.NA math.OC
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
近年来,在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质,最先进的程序通常需要适当的正则化(例如修剪,正则化成本,投影),以保证快速收敛。然而,对于诸如梯度下降之类的常规过程,先验理论要么推荐高度保守的学习率以避免过冲,要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象:即使在没有显式正则化的情况下,梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上,梯度下降遵循的轨迹停留在具有良好几何形状的盆地内,由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行,而不会过冲,这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题,即相位恢复,低秩矩阵完成,和盲反卷积,我们建立了梯度下降实现接近最优的统计和计算保证,而无需显式正则化。特别是,通过将统计建模与通用优化理论相结合,我们开发了一个通用的配方,通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品,嘈杂的矩阵完成,我们证明,梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Solving Implicit Inverse Problems with Homotopy-Based Regularization Path
针对隐式逆问题的不适定性与非唯一性,提出同伦正则化路径优化方法,结合伴随梯度与牛顿-拉弗森处理非线性约束,通过递减正则化追踪解路径,提升稳定性并探索多解,应用于潜在动力学发现。
2025-05-26 cs.NA math.NA math.OC
Iterative regularization for constrained minimization formulations of nonlinear inverse problems
本文将反问题表示为约束极小化问题,并利用梯度型或牛顿型迭代法求解。我们进行了收敛性分析的意义上的正则化方法,并讨论了适用性的问题,从不同的观测集识别的空间变化的扩散在椭圆型偏微分方程。其中是一种新的混合成像技术称为阻抗声层析成像,我们提供了数值实验。
2021-01-14 cs.NA math.NA math.OC
Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks
University of Oslo(奥斯陆大学);University of Cambridge(剑桥大学)
本文研究过参数化对角线性网络梯度流的隐式正则化,证明其逼近基追踪的ℓ₁最小化子并给出依赖初始化的尖锐收敛界,且所选最小化子由网络深度决定。
2023-07-13 cs.LG math.OC stat.ML
How to induce regularization in linear models: A guide to reparametrizing gradient flow
School of Computation, Information and Technology, TU Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Department of Mathematics, LMU Munich(慕尼黑大学数学系);Mathematical Institute for Machine Learning and Data Science (MIDS), KU Eichstätt-Ingolstadt(艾希施泰特-因戈尔施塔特天主教大学机器学习与数据科学数学研究所)
本文分析线性模型中梯度流重参数化与隐式偏差的关系,给出隐式偏差可描述且流收敛的条件,并展示如何设计重参数化函数以实现与ℓ_p或三角正则化相关的特定隐式偏差。
2026-06-09 cs.NA math.NA math.OC
FlowAdam: Implicit Regularization via Geometry-Aware Soft Momentum Injection
Memorial University of Newfoundland(纽芬兰纪念大学)
FlowAdam通过引入连续梯度流积分的普通微分方程,改进Adam优化器,通过软动量注入防止训练崩溃,提升低秩矩阵/张量恢复和推荐系统性能。
2026-08-07 cs.LG math.OC stat.ML
Stability of Low-Rank Implicit Regularization in Perturbed Deep Matrix Factorization
Department of Informatics and Networked Systems, University of Pittsburgh(信息学与网络系统系,匹兹堡大学);Department of Mathematics, University of Pittsburgh(数学系,匹兹堡大学)
本文研究扰动深度矩阵分解中低秩隐式正则化的稳定性,通过推导谱条件分析无噪声情况下的低秩阶段,并证明扰动下梯度下降的收敛性与低秩阶段的保持性。
2026-07-23 cs.LG math.OC stat.ML
Robust Implicit Regularization via Weight Normalization
School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Mathematics Institute, Ludwig Maximilian University of Munich(慕尼黑大学数学研究所);Oden Institute for Computational Engineering & Sciences, University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学学院)
针对过参数化模型隐式正则化理论与实际初始化规模矛盾的问题,提出结合权重归一化的梯度流方法,证明其在大初始化下仍保持对稀疏解的鲁棒隐式偏向,并通过实验验证了收敛速度与偏向鲁棒性的显著提升。
2024-08-22 cs.LG math.OC
Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization
California Institute of Technology(加州理工学院);Department of Computing and Mathematical Sciences(计算与数学科学系);Department of Electrical Engineering(电气工程系)
随机下降方法(梯度和镜像变种)在优化中变得越来越流行。事实上,现在人们普遍认识到,深度学习的成功不仅是由于模型的特殊深度架构,而且还由于所使用的随机下降方法的行为,这些方法在达到“好”解决方案方面发挥了关键作用,这些解决方案可以很好地推广到看不见的数据。为了解释为什么会这样,我们重新审视了线性模型平方损失的随机梯度下降(SGD)的一些极小极大性质-最初是在20世纪90年代开发的-并将其扩展到一般损失函数和非线性模型的一般随机镜像下降(SMD)算法。特别是,我们表明,有一个基本的身份,它适用于SMD(和SGD)在非常一般的条件下,这意味着极小极大最优的SMD(和SGD)足够小的步长,并为一般类的损失函数和一般的非线性模型。我们进一步表明,这个身份可以用来自然地建立其他属性的SMD(和SGD),即收敛性和隐式正则化的过参数化的线性模型(在现在被称为“插值制度”),其中一些已经在某些情况下,在以前的文献。我们还讨论了如何在所谓的“高度过度参数化”非线性设置(参数的数量远远超过数据点的数量)中使用这个恒等式,以深入了解为什么SMD(和SGD)可能具有类似的收敛性和隐式正则化属性,用于深度学习。
2019-01-17 cs.AI cs.LG math.OC
Derivative-Free Policy Optimization for Linear Risk-Sensitive and Robust Control Design: Implicit Regularization and Sample Complexity
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
直接策略搜索是现代强化学习的主要方法之一,其在连续控制任务中的应用近年来受到越来越多的关注。在这项工作中,我们研究了学习线性风险敏感和鲁棒控制器的策略梯度(PG)方法的收敛理论。特别是,我们开发的PG方法,可以实现在一个衍生的自由的方式通过采样系统轨迹,并建立整体收敛和样本复杂性的结果在解决方案的两个基本设置在风险敏感和鲁棒控制:有限时域线性指数二次高斯,和有限时域线性二次扰动衰减问题。作为一个副产品,我们的研究结果还提供了第一个样本的复杂性PG方法的整体收敛性解决零和线性二次动态游戏,一个非凸-非凹极大极小最优化问题,作为一个基线设置在多智能体强化学习(MARL)与连续空间。我们的算法的一个特点是,在学习阶段,一定程度的鲁棒性/风险敏感性的控制器,我们称之为隐式正则化属性,是在安全关键控制系统的基本要求。
2021-12-30 cs.AI cs.LG cs.SY
Linear regression with overparameterized linear neural networks: Tight upper and lower bounds for implicit $\ell^1$-regularization
该研究针对深度≥2的过参数化对角线性神经网络的线性回归问题,推导了梯度流极限点与ℓ¹最小化解间逼近误差的紧上下界,刻画了深度与初始化尺度对误差的影响,实验验证了理论并发现更深网络泛化性更优。
2025-10-28 cs.IT cs.LG math.IT
Implicit Regularization and Convergence for Weight Normalization
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院);Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
标准化方法,如批次[Ioffe和Szegedy,2015],重量[Salimansand Kingma,2016],实例[Ulyanov等人,2016]和层归一化[Baet al.,2016]已广泛应用于现代机器学习。在这里,我们研究了权重归一化(WN)方法[Salimans和Kingma,2016]和一种称为过参数化最小二乘回归的重新参数化投影梯度下降(rPGD)的变体。WN和rPGD用尺度g和单位向量w重新参数化权重,因此目标函数变得非凸。我们表明,这种非凸制定了有益的正则化效果相比,梯度下降的原始目标。这些方法自适应正则化的权重和收敛接近最小的l2范数的解决方案,即使初始化远离零。对于一定的步长g和w,我们表明,他们可以收敛到最小范数解。这与梯度下降的行为不同,梯度下降仅在特征矩阵的范围空间中的点处开始时才收敛到最小范数解,因此对初始化更敏感。
2022-08-30 cs.CV cs.LG math.OC