Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时，在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想，并提供经验和理论证据，足够小的步长和初始化足够接近原点，梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven（荷语鲁汶大学）
利用行列式点过程（DPPs）的框架，可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中，我们表明，采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外，我们利用最先进的DPP算法的常见设置来采样多个小子集，并将它们用于无脊回归的集合中。我们的第一个实证结果表明，集成的无脊回归可能是有趣的，用于数据集，包括冗余信息。
2020-07-07 cs.LG stat.ML
Implicit Rugosity Regularization via Data Augmentation
Rice University（莱斯大学）
深度（神经）网络已经在广泛的监督和无监督学习任务中得到了有效的应用。与经典的机器学习算法不同，深度网络通常在\emph{overparameterized}机制中运行，其中参数的数量大于训练数据点的数量。因此，理解这些网络的泛化性质和正则化（显式或隐式）的作用是非常重要的。在这项工作中，我们探讨了如何经常使用的启发式\emph{data augmentation}施加一个新的措施的\emph{rugosity}或“粗糙度”的基础上的正切海森函数适合训练数据的{ \em隐式正则化}罚款。
2019-10-10 cs.LG stat.ML
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文首次在梯度下降（而非梯度流）下严格证明了管状张量分解的隐式正则化，表明小随机初始化会使超参数化模型偏向低管状秩解，并通过数值模拟验证了理论动态与初始化的重要性。
2024-10-21 cs.LG math.OC math.ST
Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University（特拉维夫大学）
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用，研究这种前景的标准测试平台是矩阵分解（通过线性神经网络完成矩阵）。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题，隐式正则化将所有范数（和准范数）推向无穷大，从反面解决了这个悬而未决的问题。我们的研究结果表明，而不是感知通过规范的隐式正则化，一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络，并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Implicit regularization for deep neural networks driven by an Ornstein-Uhlenbeck like process
Stanford University（斯坦福大学）；Purdue University（普渡大学）；Institute for Advanced Study（高等研究院）
我们考虑通过随机梯度下降训练的网络，以最小化$\ell_2$损失，训练标签在每次迭代时受到独立噪声的干扰。我们描述了在任何参数向量附近实现零训练误差的训练动态的行为，根据对应于数据点上的总和的隐式正则化项，模型相对于参数向量的梯度的平方$\ell_2$范数，在每个数据点处评估。这适用于任何连通性、宽度、深度和激活函数选择的网络。我们将这个隐式正则化项解释为三个简单的设置：矩阵感测，在一维数据上训练的双层ReLU网络，以及在单个数据点上训练的具有sigmoid激活的双层网络。对于这些设置，我们展示了为什么这种新的和一般的隐式正则化效应将网络推向“简单”模型。
2020-07-22 cs.LG stat.ML
Implicit Regularization in Tensor Factorization
Tel Aviv University（特拉维夫大学）
最近在深度学习中解开隐式正则化之谜的努力导致了对矩阵分解的理论关注-通过线性神经网络完成矩阵。作为迈向实际深度学习的一步，我们提供了张量因式分解中隐式正则化的第一个理论分析-通过某种类型的非线性神经网络实现张量完备化。我们规避了臭名昭著的困难张量问题，通过采用动力系统的角度来看，和表征的演变引起的梯度下降。的表征表明，贪婪的低张量秩搜索的形式，我们严格证明在某些条件下，和经验证明在其他情况下。受张量秩捕获非线性神经网络的隐式正则化的启发，我们将其作为复杂性的度量进行了经验探索，并发现它捕获了神经网络概括的数据集的本质。这让我们相信，张量秩可以为解释深度学习中的隐式正则化以及将这种隐式正则化转化为泛化的真实数据的属性铺平道路。
2021-06-09 cs.AI cs.LG cs.NE
Implicit Regularization in Deep Matrix Factorization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tel Aviv University（特拉维夫大学）
对深度学习中泛化之谜的理解使人们相信，基于梯度的优化引入了一种隐式正则化形式，即偏向于低“复杂度”的模型。“我们研究了深度线性神经网络上的梯度下降的隐式正则化，用于矩阵完成和检测，这是一个被称为深度矩阵分解的模型。我们的第一个发现，理论和实验的支持，是增加深度的矩阵分解增强了对低秩的解决方案的隐含趋势，往往导致更准确的恢复。其次，我们提出了理论和经验的论点质疑一个新生的观点，隐式正则化矩阵分解可以捕获使用简单的数学规范。我们的研究结果表明，标准正则化的语言可能不够丰富，无法完全包含基于梯度的优化所带来的隐式正则化。
2019-10-26 cs.AI cs.LG cs.NE
Implicit Regularization or Implicit Conditioning? Exact Risk Trajectories of SGD in High Dimensions
Google Research（谷歌研究院）；McGill University（麦吉尔大学）
随机梯度下降（SGD）是现代机器学习的支柱，是各种问题的首选优化算法。虽然SGD的经验成功通常归因于其计算效率和良好的泛化行为，但这两种效果都没有得到很好的理解，并且解开它们仍然是一个悬而未决的问题。即使在凸二次问题的简单设置中，最坏情况下的分析也给出了SGD的渐近收敛速度并不比全批梯度下降（GD）更好，并且SGD的隐式正则化效应缺乏精确的解释。在这项工作中，我们研究了高维凸二次型上的多通道SGD的动力学，并建立了一个渐近等价的随机微分方程，我们称之为均匀化随机梯度下降（HSGD），其解决方案，我们明确的Volterra积分方程的特征。这些结果产生了精确的公式的学习和风险轨迹，揭示了一种机制的内隐条件反射，解释了效率的SGD相对于GD。我们还证明了SGD的噪声会对泛化性能产生负面影响，排除了在这种情况下任何类型的隐式正则化的可能性。最后，我们展示了如何适应HSGD的形式主义，包括流SGD，这使我们能够产生一个准确的预测多通道SGD相对于流SGD（引导风险）的超额风险。
2022-06-15 cs.LG math.OC math.PR
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Microsoft Research（微软研究院）；Canada CIFAR AI chair（加拿大高级研究所加拿大人工智能主席项目）
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应，沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型，我们激励和研究的启发式复杂性措施，捕捉这种现象，在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University（京都大学工学部信息与数学科学学院）
过参数化神经网络在实践中推广得很好，无需任何显式正则化。尽管尚未得到证实，但经验证据表明，隐式正则化在深度学习中起着至关重要的作用，可以防止网络过度拟合。在这项工作中，我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量，以分析网络导数相对于输入参数的变化，并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明，每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降，以保持几乎直的样本之间的插值，这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
Exact expressions for double descent and implicit regularization via surrogate random design
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
双下降是指当改变参数数量和训练样本数量之间的比率时，由非正则化学习模型的泛化误差表现出的相变。最近高度过度参数化的机器学习模型（如深度神经网络）的成功激发了对经典模型（如线性回归）中双下降现象的理论分析，这些模型也可以在过度参数化的情况下很好地推广。给出了最小范数线性估计量的双下降的第一个精确非渐近表达式。我们的方法涉及到构造一个特殊的决定点过程，我们称之为替代随机设计，以取代标准的独立同分布。训练样本的设计。这种替代设计允许估计量的均方误差的精确表达式，同时保留标准设计的关键属性。我们还建立了一个精确的隐式正则化结果过参数化的训练样本。特别是，我们表明，对于代理设计，隐式偏差的非正则化最小范数估计精确对应于解决岭正则化最小二乘问题的人口分布。在我们的分析中，我们引入了一个新的数学工具的独立利益：类随机矩阵的行列式与期望互换。
2020-06-18 cs.LG math.ST stat.ML
Generalization Properties and Implicit Regularization for Multiple Passes SGM
Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）
研究了具有凸损失函数和线性参数化函数的随机梯度学习方法的推广性质。我们表明，在没有惩罚或约束的情况下，该算法的稳定性和近似特性可以通过调整步长或通过数据的数量来控制。在这个观点中，这些参数可以被看作是控制一种形式的隐式正则化。数值结果补充了理论研究结果。
2016-05-26 cs.LG stat.ML
The Implicit and Explicit Regularization Effects of Dropout
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
Dropout是一种广泛使用的正则化技术，通常需要获得许多架构的最新技术。这项工作表明，dropout引入了两个不同但纠缠的正则化效应：一个是显式效应（也在以前的工作中研究过），因为dropout修改了预期的训练目标，而可能令人惊讶的是，dropout训练更新中的随机性带来了额外的隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机性效应。我们通过对照实验来解开这两种效应。然后，我们推导出分析简化，其特征在于每个效果的衍生物的模型和损失，深度神经网络。我们证明了这些简化的解析正则化器准确地捕捉了dropout的重要方面，表明它们在实践中忠实地取代了dropout。
2020-10-15 cs.LG stat.ML
Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning
Calculation Consulting（Calculation Consulting公司）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
随机矩阵理论（RMT）应用于分析深度神经网络（DNN）的权重矩阵，包括生产质量、预训练模型（例如AlexNet和Inception）以及从头开始训练的较小模型，例如LeNet 5和微型AlexNet。经验和理论结果清楚地表明，DNN训练过程本身隐含地实现了一种形式的自正则化。DNN层矩阵的经验谱密度（ESD）显示了传统正则化统计模型的特征，即使在没有外生指定传统形式的显式正则化的情况下。基于RMT中相对较新的结果，最值得注意的是其扩展到重尾矩阵的普遍性类，我们开发了一种理论来识别5+1训练阶段，对应于隐式自正则化的增加量。这些阶段可以在训练过程中以及最终学习的DNN中观察到。对于较小和/或较旧的DNN，这种隐式自正则化就像传统的Tikhonov正则化，因为存在将信号与噪声分离的“大小尺度”。然而，对于最先进的DNN，我们发现了一种新的重尾自正则化形式，类似于无序系统统计物理中的自组织。这是由于在所有大小尺度上产生的相关性，这是由于训练过程本身而隐含地产生的。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象，我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。这表明，在其他条件相同的情况下，具有较大批量的DNN优化会导致隐式正则化模型不太好，并为泛化间隙现象提供了解释。
2018-10-02 cs.LG stat.ML
The Implicit Regularization of Momentum Gradient Descent with Early Stopping
Northeast Normal University（东北师范大学）；Beihua University（北华大学）
基于梯度优化的隐式正则化问题是一个长期的研究课题。本文通过与显式$\ell_2$正则化（岭）的比较，刻画了具有提前停止的动量梯度下降（MGD）的隐式正则化。详细地说，我们在连续时间视图中研究了MGD，即所谓的动量梯度流（MGF），并表明其趋势比梯度下降（GD）更接近山脊[Ali等人，[2019]最小二乘回归此外，我们证明了，在校准$t=\sqrt{2/λ}$下，其中$t$是MGF中的时间参数，$λ$是岭回归中的调整参数，MGF的风险不超过岭的1.54倍。特别地，在最优调整下，MGF对脊的相对贝叶斯风险在1和1.035之间。数值实验有力地支持了我们的理论结果。
2022-01-14 cs.LG stat.ML
Implicit Regularization with Polynomial Growth in Deep Tensor Factorization
National Engineering School of Tunis, University of Tunis El Manar（突尼斯埃尔马纳尔大学突尼斯国立工程学院）；Aix Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Ecole Centrale de Marseille（马赛中央理工学院）
我们研究了张量因式分解中深度学习的隐式正则化效应。虽然通过线性和某些类型的非线性神经网络的深层矩阵和“浅层”张量因式分解的隐式正则化促进了最多二次增长的低秩解，但我们表明，其在深层张量因式分解中的效果随着网络的深度呈多项式增长。这为观察到的实验行为提供了非常忠实的描述。使用数值实验，我们证明了这种隐式正则化的好处，在产生一个更准确的估计和更好的收敛性能。
2022-07-25 cs.AI cs.LG cs.NE
Convergence Analysis and Implicit Regularization of Feedback Alignment for Deep Linear Networks
Mila Institute（米拉研究所）；Saint Mary’s University（圣玛丽大学）；Université de Montréal（蒙特利尔大学）
我们从理论上分析了反馈对齐（FA）算法，一个有效的替代反向传播训练神经网络。我们为连续和离散动态的深度线性网络提供收敛保证。此外，我们还研究了浅层线性网络的增量学习现象。有趣的是，某些特定的初始化意味着可以忽略的组件在主要组件之前被学习，因此可能会对这种学习算法的有效性产生负面影响;我们将这种现象归类为隐式反正则化。我们还提供了初始化方案，其中问题的组件通过重要性降序近似学习，从而提供了一种隐式正则化形式。
2021-10-20 cs.LG math.OC stat.ML
Limitation of Characterizing Implicit Regularization by Data-independent Functions
University of Illinois - Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
本文从数学上定义并研究了神经网络隐式正则化，提出两点和单点重叠机制，证明了使用数据无关函数刻画隐式正则化的局限性，强调了其深刻的数据依赖性。
2023-09-07 cs.LG
Variational Deep Learning via Implicit Regularization
本文提出通过梯度下降的隐式偏见正则化变分神经网络，理论分析了过参数化线性模型中的归纳偏置，并实验证明其在分布内和分布外任务中的有效性。
2026-03-13 cs.AI cs.LG stat.ML
Implicit regularization and solution uniqueness in over-parameterized matrix sensing
Boston University（波士顿大学）；Rice University（莱斯大学）；University of Maryland（马里兰大学）
我们考虑过参数化线性矩阵分解中的算法选择是否引入了隐式正则化。我们专注于$\mathbb{R}^{n \times n}$中秩- $r$半正定（PSD）矩阵上的无噪声矩阵感知，其感知机制满足限制等距性质（RIP）。我们研究的算法是\emph{factored gradient descent}，其中我们模型的低秩和PSD约束与因子分解$UU^\top$，为$U \in \mathbb{R}^{n \times r}$。令人惊讶的是，最近的工作认为$r \leq n$的选择并不关键：即使设置$U \in \mathbb{R}^{n \times n}$也足以让因子梯度下降找到秩- $r$解，这表明对因子进行操作会导致隐式正则化。在这篇文章中，我们提供了一个不同的角度来看待隐式正则化问题。我们表明，在一定的条件下，PSD约束本身就足以导致一个独特的秩- $r$矩阵恢复，没有隐式或显式低秩正则化。\emph{I.e.}，在假设下，与观察到的数据一致的PSD矩阵的集合是单例的，无论使用的算法如何。
2019-09-13 cs.LG math.OC stat.ML
Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
加速和动量是机器学习和优化的现代应用中事实上的标准，但隐式正则化的大部分工作都集中在非加速方法上。在本文中，我们研究了Nesterov的加速梯度法和Polyak的重球法产生的迭代的统计风险，当应用于最小二乘回归时，绘制了几个连接到显式惩罚。我们在连续时间中进行分析，使我们能够做出比以前的工作更清晰的陈述，并揭示早期停止，稳定性和损失函数曲率之间的复杂相互作用。
2022-01-20 cs.LG math.OC stat.ML
Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems
ETH Zurich（苏黎世联邦理工学院）
本文针对尺度不变问题提出均衡度概念，揭示SAM的隐式正则化机制，并据此设计资源高效的BAR方法，在LoRA微调语言模型中节省95%计算开销且提升性能。
2024-10-18 cs.LG stat.ML
Implicit Sparse Regularization: The Impact of Depth and Early Stopping
Texas A&M University（德克萨斯A&M大学）；AWS AI；New York University（纽约大学）
本文研究了稀疏回归梯度下降算法的隐偏差问题。我们将二次参数化回归的结果（相当于深度为2的对角线性网络）扩展到更一般的深度为N的网络，在更现实的噪声和相关设计设置下。我们发现，早期停止是至关重要的梯度下降收敛到一个稀疏的模型，我们称之为隐式稀疏正则化的现象。这一结果与无噪声和不相关设计情况下的已知结果形成鲜明对比。我们表征的深度和早期停止的影响，并表明，对于一般的深度参数N，梯度下降与早期停止实现极小极大最优稀疏恢复足够小的初始化和步长。特别是，我们表明，增加深度扩大规模的工作初始化和早期停止窗口，使这种隐式稀疏正则化效果更有可能发生。
2021-10-26 cs.LG stat.ML
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression
Duke University（杜克大学）
本文针对稀疏线性回归中最小ℓ₁和ℓ₂范数插值器均无法达到最优测试损失的问题，提出一种新的模型参数化方法，通过梯度下降产生结合ℓ₁与ℓ₂优点的隐式正则化效应，从而获得接近最优测试损失的插值器。
2023-05-26 cs.LG stat.ML
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们目前的实验表明，一些其他形式的容量控制，不同的网络规模，在学习多层前馈网络中起着核心作用。我们认为，部分通过类比矩阵分解，这是一个归纳的偏见，可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
Drop-Activation: Implicit Parameter Reduction and Harmonic Regularization
Purdue University（普渡大学）；The University of Chicago（芝加哥大学）；National University of Singapore（新加坡国立大学）
过度拟合经常发生在深度学习中。在本文中，我们提出了一种新的正则化方法称为Drop激活，以减少过拟合和提高泛化能力。其关键思想是通过在训练时间内将非线性激活函数随机设置为恒等函数来丢弃非线性激活函数。在测试过程中，我们使用了一个确定性网络与一个新的激活函数编码的平均效果随机丢弃激活。我们的理论分析支持Drop-Activation作为隐式参数减少的正则化效应，并验证了其与批量归一化一起使用的能力（Ioffe和Szegedy 2015）。在CIFAR-10、CIFAR-100、SVHN、EMNIST和ImageNet上的实验结果表明，Drop-Activation通常可以提高图像分类任务的流行神经网络架构的性能。此外，作为正则化器，Drop-Activation可以与标准训练和正则化技术（如批量归一化和自动增强）协调使用（Cubuk et al. 2019）。代码可在\url{https://github.com/LeungSamWai/Drop-Activation}上获得。
2020-03-28 cs.LG stat.ML
Minimum norm interpolation by perceptra: Explicit regularization and implicit bias
Texas A&M University（德克萨斯A&M大学）；Iowa State University（爱荷华州立大学）；University of Pittsburgh（匹兹堡大学）
本研究分析浅层ReLU网络插值行为，证明在特定权重衰减下经验风险最小化器收敛至最小范数插值，并数值探究优化算法的隐式偏差。
2023-11-10 cs.LG math.OC stat.ML
Tuning-Free Online Robust Principal Component Analysis through Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology Madras（电子工程系，印度理工学院马德拉斯）
针对标准在线鲁棒主成分分析（OR-PCA）依赖数据集敏感调参的问题，提出利用修正梯度下降的隐式正则化效应实现免调参，在模拟与真实数据集上表现优于或等同于调参后的OR-PCA，提升了大规模数据集的可扩展性。
2025-08-14 cs.CV cs.LG stat.ML
Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
为了更好地理解深度学习中的泛化，我们研究了几种可能的解释。我们表明，由优化方法诱导的隐式正则化在深度学习模型的推广和成功中起着关键作用。基于这种观点，我们研究了不同的复杂性度量如何确保泛化，并解释了优化算法如何隐式地正则化复杂性度量。我们从经验上研究了这些措施解释深度学习中观察到的不同现象的能力。我们进一步研究了神经网络中的不变性，提出了与神经网络中的不变性相似的复杂性度量和优化算法，并在一些学习任务上对其进行了评估。
2017-09-08 cs.LG
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
隐式偏差或隐式正则化的概念被认为是解释现代超参数化学习算法令人惊讶的泛化能力的一种手段。这个概念指的是优化算法趋向于某种结构化的解决方案，这种解决方案通常很好地推广。最近，有几篇论文研究了隐式正则化，并能够在各种情况下识别这种现象。我们重新审视这一范例，可以说是最简单的非平凡的设置，并研究隐含的偏见的随机梯度下降（SGD）的背景下，随机凸优化。作为第一步，我们提供了一个简单的结构，排除了存在的\emph{distribution-independent}隐式正则化，管理泛化能力的SGD。然后，我们证明了一个学习问题，排除了一个非常一般的类\emph{distribution-dependent}隐式正则化解释推广，其中包括强凸正则化以及非退化的规范为基础的正则化。我们的构造的某些方面指出，在提供一个全面的解释算法的泛化性能，仅仅争论其隐式正则化属性的显着困难。
2020-12-22 cs.LG stat.ML
Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications
University of California, Santa Barbara（加州大学圣巴巴拉分校）
具有非常强的泛化性能的深度神经网络通常是过参数化的。尽管明确的正则化策略用于从业者以避免过度拟合，但影响通常很小。一些理论研究分析了随机梯度下降（SGD）在某些假设下对简单机器学习模型的隐式正则化效应。然而，它在最先进的模型和真实世界数据集中的实际行为仍然是未知的。为了弥补这一差距，我们研究了SGD隐式正则化在深度学习系统中的作用。我们表明，纯SGD往往收敛到最小值，在多个自然语言处理（NLP）任务中具有更好的泛化性能。这种现象与dropout共存，dropout是一个显式正则化子。此外，神经网络的有限学习能力并不影响SGD的隐式正则化效应的内在本质。具体来说，在有限的训练样本或某些损坏的标签下，隐式正则化效果仍然很强。我们进一步分析了稳定性，通过改变权重的初始化范围。我们证实了这些实验结果与决策边界可视化使用3层神经网络的解释。总之，我们的工作使我们能够深入了解隐式正则化如何影响深度学习模型，并为未来过参数化模型泛化能力的研究提供了指导。
2018-11-01 cs.CL cs.LG cs.NE
How Neural Networks Learn the Support is an Implicit Regularization Effect of SGD
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文揭示小批量SGD通过正比于η/b的二阶隐式正则化效应，无需显式正则即可在第一层学习目标函数支撑集，而普通GD则需显式正则化，表明小批量能提升特征可解释性并降低对初始化的依赖。
2024-06-17 cs.LG math.OC stat.ML
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind（深度思维）；Google（谷歌）
对于无穷小的学习率，随机梯度下降（SGD）遵循完整批量损失函数上的梯度流路径。然而，适度大的学习率可以实现更高的测试精度，并且这种泛化益处不能用收敛界限来解释，因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象，我们证明了随机洗牌的SGD，平均SGD也保持接近梯度流的路径，如果学习率是小的和有限的，但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成，该正则化子惩罚小批量梯度的范数。在温和的假设下，当批量较小时，隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证，明确包括隐式正则化的损失可以提高测试的准确性时，学习率是小的。
2021-01-28 cs.LG stat.ML
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Implicit Gradient Alignment in Distributed and Federated Learning
IIT Kanpur（印度理工学院坎普尔分校）；EPFL（洛桑联邦理工学院）
在分布式和联邦学习中实现全局收敛的一个主要障碍是由于分布式数据的异构性和随机性而导致的跨客户端或小批量的梯度不一致。在这项工作中，我们表明，数据的异质性实际上可以利用隐式正则化来提高泛化性能。减轻异质性影响的一种方法是鼓励在整个培训过程中调整不同客户的梯度。我们的分析表明，这一目标可以通过利用正确的优化方法来实现，该方法复制了SGD的隐式正则化效果，从而实现梯度对齐以及测试精度的提高。由于SGD中这种正则化的存在完全依赖于在训练过程中顺序使用不同的minibatch，因此在使用大型minibatch进行训练时，它本质上是不存在的。为了在提高并行性的同时获得这种正则化的泛化优势，我们提出了一种新的GradAlign算法，该算法可以引入相同的隐式正则化，同时允许在每次更新中使用任意大的批次。我们通过实验验证了我们的算法在不同的分布式和联邦学习设置的好处。
2021-12-13 cs.LG stat.ML
Diversity sampling is an implicit regularization for kernel methods
KU Leuven（鲁汶大学）
核方法通过使用Nyström方法和预处理技术，在大规模回归和分类问题上取得了非常好的性能。Nyström近似--基于界标的子集--给出了核矩阵的低秩近似，并且已知提供了一种隐式正则化形式。我们进一步阐述了在监督和无监督内核方法中对不同地标进行采样以构建Nyström近似的影响。通过使用行列式点过程的采样，我们得到额外的理论结果之间的相互作用的多样性和正则化。从经验上讲，我们证明了基于不同点的子集训练核方法的优势。特别是，如果数据集有一个密集的散装和一个稀疏的尾巴，我们表明，Nyström内核回归与不同的地标增加了回归的准确性，在数据集的稀疏区域，相对于一个统一的地标采样。一个贪婪的启发式也提出了在大数据集内选择不同的样本的显着大小时，确切的DPP采样实际上是不可行的。
2020-02-20 cs.LG stat.ML
Understanding Implicit Regularization in Over-Parameterized Single Index Model
Princeton University（普林斯顿大学）
在本文中，我们利用过参数化设计的正则化免费算法的高维单指标模型和诱导隐式正则化现象提供了理论保证。具体来说，我们研究了向量和矩阵单指标模型，其中链接函数是非线性和未知的，信号参数是稀疏向量或低秩对称矩阵，响应变量可以是重尾的。为了更好地理解隐式正则化在没有过多技术性的情况下所扮演的角色，我们假设协变量的分布是先验已知的。对于向量和矩阵设置，我们构建了一个过参数化的最小二乘损失函数，采用得分函数变换和一个强大的截断步骤，专门为重尾数据。我们建议通过将正则化自由梯度下降应用于损失函数来估计真实参数。当初始值接近原点且步长足够小时，我们证明了所得到的解在向量和矩阵两种情况下都达到了极小极大最优统计收敛率.此外，我们的实验结果支持我们的理论研究结果，也表明，我们的方法在经验上优于经典的方法与显式正则化的$\ell_2$ -统计率和变量选择的一致性。
2021-11-15 cs.LG math.OC stat.ME
Implicit Geometric Regularization for Learning Shapes
Weizmann Institute of Science（魏茨曼科学研究所）
将形状表示为神经网络的水平集最近已被证明对于不同的形状分析和重建任务是有用的。到目前为止，这样的表示是使用：（i）预先计算的隐式形状表示;或（ii）在神经水平集上明确定义的损失函数。在本文中，我们提供了一个新的范式，用于直接从原始数据计算高保真隐式神经表征（即，点云，具有或不具有法线信息）。我们观察到，一个相当简单的损失函数，鼓励神经网络在输入点云上消失，并具有单位范数梯度，具有隐式几何正则化属性，有利于光滑和自然的零水平集表面，避免坏的零损失解决方案。我们提供了一个理论分析的线性情况下，这个属性，并表明，在实践中，我们的方法导致国家的最先进的隐式神经表示与以前的方法相比，具有更高层次的细节和保真度。
2020-07-09 cs.CV cs.GR cs.LG
A Dynamics Theory of Implicit Regularization in Deep Low-Rank Matrix Factorization
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）
本文提出用景观分析研究深度矩阵分解中的隐式正则化，证明秩R矩阵重构需经历R个鞍点逃逸阶段后收敛到二阶临界点，并通过低秩重构实验验证该理论。
2023-08-11 cs.LG
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Understanding Gradient Regularization in Deep Learning: Efficient Finite-Difference Computation and Implicit Bias
AIST（产业技术综合研究所）；Cluster（Cluster公司）；ETH Zurich（苏黎世联邦理工学院）
梯度正则化（GR）是一种在训练过程中惩罚训练损失的梯度范数的方法。虽然一些研究已经报道了GR可以提高泛化性能，但很少有人从算法的角度关注它，即GR的算法，有效地提高了性能。在这项研究中，我们首先揭示了一个特定的有限差分计算，包括梯度上升和下降步骤，降低了GR的计算成本。接下来，我们表明，有限差分计算也更好地工作在泛化性能的意义上。我们从理论上分析了一个可解的模型，对角线性网络，并澄清，GR有一个理想的隐式偏置所谓的丰富的制度和有限差分计算加强这种偏见。此外，有限差分GR是密切相关的其他一些算法的基础上迭代上升和下降步骤探索平坦的最小值。特别是，我们揭示了洪水方法可以执行有限差分GR在一个隐式的方式。因此，这项工作拓宽了我们对GR的实践和理论的理解。
2023-02-03 cs.LG stat.ML
Implicit regularization of dropout
Shanghai Jiao Tong University（上海交通大学）
本研究推导并验证了dropout的隐式正则化理论，发现其能使隐藏神经元权重凝聚并找到更平坦的极小值，从而提升泛化能力，为全面理解dropout奠定基础。
2023-04-10 cs.LG
A Unified Approach to Controlling Implicit Regularization via Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于镜像下降的统一方法，用于在回归和分类中控制隐式正则化，证明其可收敛到广义最大间隔解，并通过实验展示其能够产生具有不同正则化项和泛化性能的模型。
2024-01-11 cs.LG
Implicit Regularization of Accelerated Methods in Hilbert Spaces
Università degli Studi di Genova（热那亚大学）；Machine Learning Genoa Center（热那亚机器学习中心）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
研究了Hilbert空间中线性最小二乘问题的加速梯度下降方法的学习性质。我们分析了Nesterov加速度和重球的一个变体的隐式正则化性质，相应的学习误差界。我们的研究结果表明，加速可以提供更快的偏差衰减比梯度下降，但也遭受更不稳定的行为。因此，通常不能期望加速相对于梯度下降提高学习精度，而是期望加速以减少的计算实现相同的精度。数值模拟验证了我们的理论结果。我们的分析是基于研究适当的多项式引起的加速动力学和结合频谱技术与浓度不等式。
2019-12-16 cs.LG math.OC math.SP
Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Prusa Research（普拉萨研究公司）；Institute for Robotics and Mechatronics, DLR-German Aerospace Center（德国航空航天中心机器人与机电研究所）
本文研究过参数化网络中梯度下降的隐式正则化，证明学习率在低范数与低锐度之间插值，且单一偏差不足以解释泛化，需考虑动态权衡。
2026-06-05 cs.LG stat.ML
An $\mathcal{O}(n\log n)$ projection operator for weighted $\ell_1$-norm regularization with sum constraint
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供了一个简单而有效的算法的投影算子加权$\ell_1$ -范数正则化的总和约束，连同一个初步的证明。所提出的算法的实现可以从作者的主页下载。
2015-03-02 cs.LG
Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion
Shanghai Jiao Tong University（上海交通大学）
本文研究矩阵补全中矩阵分解的隐式正则化，发现观测数据连通性决定模型从低核范数偏向低秩的转变，并通过层次不变流形遍历过程从理论上刻画训练轨迹，建立了保证最小核范数和最小秩的条件。
2025-04-14 cs.LG
On Implicit Regularization in $β$-VAEs
Google Research（谷歌研究院）
虽然变分推理（VI）对固定生成模型中的后验推理的影响已经得到了很好的表征，但当用于变分自编码器（VAE）时，其在正则化学习生成模型中的作用却知之甚少。我们从两个角度研究了生成模型中变分分布对学习的正则化效应。首先，我们分析了变分族的选择在通过限制最优生成模型的集合来赋予学习模型唯一性方面所起的作用。其次，我们研究了变分族的正则化效应对解码模型的局部几何的影响。该分析揭示了$β$ -VAE目标中隐含的正则化器，并导致由确定性自动编码目标加上依赖于解码模型的Hessian或Jacobian的分析正则化器组成的近似，将VAE与最近提出的用于训练正则化自动编码器的算法统一起来。我们经验验证这些发现，观察到所提出的确定性目标表现出类似的行为的$β$ -VAE的客观价值和样本质量。
2020-12-28 cs.LG stat.ML
Implicit Regularization of Gradient Flow on One-Layer Softmax Attention
Yale University（耶鲁大学）
本文研究单层softmax注意力模型梯度流的隐式正则化，证明其最小化键查询乘积的核范数，对应SVM问题，与合并训练的Frobenius范数正则化形成对比。
2024-03-13 cs.AI cs.LG math.OC
Implicit Regularization of Discrete Gradient Dynamics in Linear Neural Networks
Mila（米拉研究所）；DIRO（蒙特利尔大学计算机与运筹学系）；Université de Montréal（蒙特利尔大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
当优化过参数化模型时，例如深度神经网络，大量参数可以实现零训练误差。在这种情况下，优化算法及其相应超参数的选择引入了偏差，这将导致收敛到目标的特定最小值。因此，这种选择可以被认为是一种隐式正则化，用于训练过参数化模型。在这项工作中，我们通过研究具有最小平方损失的双层线性网络的训练的离散梯度动态来进一步推动这一想法。使用时间重新缩放，我们表明，与消失的初始化和一个足够小的步长，这种动态顺序学习的解决方案的降秩回归的秩逐渐增加。
2019-12-05 cs.LG math.OC stat.ML
