Estimating Implicit Regularization in Deep Learning
University of Pennsylvania（宾夕法尼亚大学）
本文提出通过梯度匹配方法估计深度学习中的隐式正则化，验证了其在处理复杂网络时的有效性，并展示了在Dropout等方法中的应用。
2026-05-06 cs.LG stat.ML
Implicit Gradient Regularization
DeepMind（深度思维）；Google（谷歌）
梯度下降在优化深度神经网络方面可以非常出色，而不会过度拟合，也不会显式正则化。我们发现梯度下降的离散步骤通过惩罚具有大损失梯度的梯度下降轨迹来隐式地正则化模型。我们称之为隐式梯度正则化（IGR），我们使用向后误差分析来计算这个正则化的大小。我们证实经验，隐式梯度正则化偏向梯度下降平坦的最小值，测试误差小，解决方案是强大的噪声参数扰动。此外，我们证明了隐式梯度正则化项可以用作显式正则化，使我们能够直接控制这个梯度正则化。更广泛地说，我们的工作表明，向后误差分析是一个有用的理论方法，学习率，模型大小和参数正则化如何相互作用，以确定使用梯度下降优化的过参数化模型的属性。
2022-07-18 cs.LG stat.ML
Minimum norm interpolation by perceptra: Explicit regularization and implicit bias
Texas A&M University（德克萨斯A&M大学）；Iowa State University（爱荷华州立大学）；University of Pittsburgh（匹兹堡大学）
本研究分析浅层ReLU网络插值行为，证明在特定权重衰减下经验风险最小化器收敛至最小范数插值，并数值探究优化算法的隐式偏差。
2023-11-10 cs.LG math.OC stat.ML
Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时，在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想，并提供经验和理论证据，足够小的步长和初始化足够接近原点，梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
How Neural Networks Learn the Support is an Implicit Regularization Effect of SGD
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文揭示小批量SGD通过正比于η/b的二阶隐式正则化效应，无需显式正则即可在第一层学习目标函数支撑集，而普通GD则需显式正则化，表明小批量能提升特征可解释性并降低对初始化的依赖。
2024-06-17 cs.LG math.OC stat.ML
Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven（荷语鲁汶大学）
利用行列式点过程（DPPs）的框架，可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中，我们表明，采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外，我们利用最先进的DPP算法的常见设置来采样多个小子集，并将它们用于无脊回归的集合中。我们的第一个实证结果表明，集成的无脊回归可能是有趣的，用于数据集，包括冗余信息。
2020-07-07 cs.LG stat.ML
Implicit Rugosity Regularization via Data Augmentation
Rice University（莱斯大学）
深度（神经）网络已经在广泛的监督和无监督学习任务中得到了有效的应用。与经典的机器学习算法不同，深度网络通常在\emph{overparameterized}机制中运行，其中参数的数量大于训练数据点的数量。因此，理解这些网络的泛化性质和正则化（显式或隐式）的作用是非常重要的。在这项工作中，我们探讨了如何经常使用的启发式\emph{data augmentation}施加一个新的措施的\emph{rugosity}或“粗糙度”的基础上的正切海森函数适合训练数据的{ \em隐式正则化}罚款。
2019-10-10 cs.LG stat.ML
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Implicit Regularization of Discrete Gradient Dynamics in Linear Neural Networks
Mila（米拉研究所）；DIRO（蒙特利尔大学计算机与运筹学系）；Université de Montréal（蒙特利尔大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
当优化过参数化模型时，例如深度神经网络，大量参数可以实现零训练误差。在这种情况下，优化算法及其相应超参数的选择引入了偏差，这将导致收敛到目标的特定最小值。因此，这种选择可以被认为是一种隐式正则化，用于训练过参数化模型。在这项工作中，我们通过研究具有最小平方损失的双层线性网络的训练的离散梯度动态来进一步推动这一想法。使用时间重新缩放，我们表明，与消失的初始化和一个足够小的步长，这种动态顺序学习的解决方案的降秩回归的秩逐渐增加。
2019-12-05 cs.LG math.OC stat.ML
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University（斯坦福大学）
批量归一化（BN）是一种常用的技术，用于加速和稳定深度神经网络的训练。尽管其经验的成功，一个完整的理论理解BN尚未开发。在这项工作中，我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架，以获得具有BN的权重衰减正则化ReLU网络的精确凸表示，该网络可以在多项式时间内进行训练。我们的分析还表明，最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外，我们发现，梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响，我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性，用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
The Implicit Regularization of Stochastic Gradient Flow for Least Squares
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了小批量随机梯度下降算法的隐正则化，并将其应用于最小二乘回归的基本问题。我们利用连续时间随机微分方程具有相同的时刻作为随机梯度下降，我们称之为随机梯度流。本文给出了随机梯度流在$t$时刻的超额风险的一个界，即带调节参数$λ= 1/t$的岭回归。可以从显式常数（例如，小批量、步长、迭代次数），精确地揭示了这些数量如何驱动超额风险。数值例子表明，界可以很小，表明两个估计之间的紧密关系。我们给出了随机梯度流系数与岭系数的类似结果。这些结果在数据矩阵$X$上的任何条件下都成立，并且跨越整个优化路径（不仅仅是在收敛时）。
2020-06-19 cs.LG math.OC stat.ML
Implicit regularization for deep neural networks driven by an Ornstein-Uhlenbeck like process
Stanford University（斯坦福大学）；Purdue University（普渡大学）；Institute for Advanced Study（高等研究院）
我们考虑通过随机梯度下降训练的网络，以最小化$\ell_2$损失，训练标签在每次迭代时受到独立噪声的干扰。我们描述了在任何参数向量附近实现零训练误差的训练动态的行为，根据对应于数据点上的总和的隐式正则化项，模型相对于参数向量的梯度的平方$\ell_2$范数，在每个数据点处评估。这适用于任何连通性、宽度、深度和激活函数选择的网络。我们将这个隐式正则化项解释为三个简单的设置：矩阵感测，在一维数据上训练的双层ReLU网络，以及在单个数据点上训练的具有sigmoid激活的双层网络。对于这些设置，我们展示了为什么这种新的和一般的隐式正则化效应将网络推向“简单”模型。
2020-07-22 cs.LG stat.ML
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Microsoft Research（微软研究院）；Canada CIFAR AI chair（加拿大高级研究所加拿大人工智能主席项目）
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应，沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型，我们激励和研究的启发式复杂性措施，捕捉这种现象，在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University（京都大学工学部信息与数学科学学院）
过参数化神经网络在实践中推广得很好，无需任何显式正则化。尽管尚未得到证实，但经验证据表明，隐式正则化在深度学习中起着至关重要的作用，可以防止网络过度拟合。在这项工作中，我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量，以分析网络导数相对于输入参数的变化，并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明，每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降，以保持几乎直的样本之间的插值，这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University（特拉维夫大学）
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用，研究这种前景的标准测试平台是矩阵分解（通过线性神经网络完成矩阵）。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题，隐式正则化将所有范数（和准范数）推向无穷大，从反面解决了这个悬而未决的问题。我们的研究结果表明，而不是感知通过规范的隐式正则化，一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络，并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Generalization Properties and Implicit Regularization for Multiple Passes SGM
Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）
研究了具有凸损失函数和线性参数化函数的随机梯度学习方法的推广性质。我们表明，在没有惩罚或约束的情况下，该算法的稳定性和近似特性可以通过调整步长或通过数据的数量来控制。在这个观点中，这些参数可以被看作是控制一种形式的隐式正则化。数值结果补充了理论研究结果。
2016-05-26 cs.LG stat.ML
The Implicit and Explicit Regularization Effects of Dropout
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
Dropout是一种广泛使用的正则化技术，通常需要获得许多架构的最新技术。这项工作表明，dropout引入了两个不同但纠缠的正则化效应：一个是显式效应（也在以前的工作中研究过），因为dropout修改了预期的训练目标，而可能令人惊讶的是，dropout训练更新中的随机性带来了额外的隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机性效应。我们通过对照实验来解开这两种效应。然后，我们推导出分析简化，其特征在于每个效果的衍生物的模型和损失，深度神经网络。我们证明了这些简化的解析正则化器准确地捕捉了dropout的重要方面，表明它们在实践中忠实地取代了dropout。
2020-10-15 cs.LG stat.ML
Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning
Calculation Consulting（Calculation Consulting公司）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
随机矩阵理论（RMT）应用于分析深度神经网络（DNN）的权重矩阵，包括生产质量、预训练模型（例如AlexNet和Inception）以及从头开始训练的较小模型，例如LeNet 5和微型AlexNet。经验和理论结果清楚地表明，DNN训练过程本身隐含地实现了一种形式的自正则化。DNN层矩阵的经验谱密度（ESD）显示了传统正则化统计模型的特征，即使在没有外生指定传统形式的显式正则化的情况下。基于RMT中相对较新的结果，最值得注意的是其扩展到重尾矩阵的普遍性类，我们开发了一种理论来识别5+1训练阶段，对应于隐式自正则化的增加量。这些阶段可以在训练过程中以及最终学习的DNN中观察到。对于较小和/或较旧的DNN，这种隐式自正则化就像传统的Tikhonov正则化，因为存在将信号与噪声分离的“大小尺度”。然而，对于最先进的DNN，我们发现了一种新的重尾自正则化形式，类似于无序系统统计物理中的自组织。这是由于在所有大小尺度上产生的相关性，这是由于训练过程本身而隐含地产生的。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象，我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。这表明，在其他条件相同的情况下，具有较大批量的DNN优化会导致隐式正则化模型不太好，并为泛化间隙现象提供了解释。
2018-10-02 cs.LG stat.ML
The Implicit Regularization of Momentum Gradient Descent with Early Stopping
Northeast Normal University（东北师范大学）；Beihua University（北华大学）
基于梯度优化的隐式正则化问题是一个长期的研究课题。本文通过与显式$\ell_2$正则化（岭）的比较，刻画了具有提前停止的动量梯度下降（MGD）的隐式正则化。详细地说，我们在连续时间视图中研究了MGD，即所谓的动量梯度流（MGF），并表明其趋势比梯度下降（GD）更接近山脊[Ali等人，[2019]最小二乘回归此外，我们证明了，在校准$t=\sqrt{2/λ}$下，其中$t$是MGF中的时间参数，$λ$是岭回归中的调整参数，MGF的风险不超过岭的1.54倍。特别地，在最优调整下，MGF对脊的相对贝叶斯风险在1和1.035之间。数值实验有力地支持了我们的理论结果。
2022-01-14 cs.LG stat.ML
Understanding Implicit Regularization in Over-Parameterized Single Index Model
Princeton University（普林斯顿大学）
在本文中，我们利用过参数化设计的正则化免费算法的高维单指标模型和诱导隐式正则化现象提供了理论保证。具体来说，我们研究了向量和矩阵单指标模型，其中链接函数是非线性和未知的，信号参数是稀疏向量或低秩对称矩阵，响应变量可以是重尾的。为了更好地理解隐式正则化在没有过多技术性的情况下所扮演的角色，我们假设协变量的分布是先验已知的。对于向量和矩阵设置，我们构建了一个过参数化的最小二乘损失函数，采用得分函数变换和一个强大的截断步骤，专门为重尾数据。我们建议通过将正则化自由梯度下降应用于损失函数来估计真实参数。当初始值接近原点且步长足够小时，我们证明了所得到的解在向量和矩阵两种情况下都达到了极小极大最优统计收敛率.此外，我们的实验结果支持我们的理论研究结果，也表明，我们的方法在经验上优于经典的方法与显式正则化的$\ell_2$ -统计率和变量选择的一致性。
2021-11-15 cs.LG math.OC stat.ME
Implicit Regularization in Tensor Factorization
Tel Aviv University（特拉维夫大学）
最近在深度学习中解开隐式正则化之谜的努力导致了对矩阵分解的理论关注-通过线性神经网络完成矩阵。作为迈向实际深度学习的一步，我们提供了张量因式分解中隐式正则化的第一个理论分析-通过某种类型的非线性神经网络实现张量完备化。我们规避了臭名昭著的困难张量问题，通过采用动力系统的角度来看，和表征的演变引起的梯度下降。的表征表明，贪婪的低张量秩搜索的形式，我们严格证明在某些条件下，和经验证明在其他情况下。受张量秩捕获非线性神经网络的隐式正则化的启发，我们将其作为复杂性的度量进行了经验探索，并发现它捕获了神经网络概括的数据集的本质。这让我们相信，张量秩可以为解释深度学习中的隐式正则化以及将这种隐式正则化转化为泛化的真实数据的属性铺平道路。
2021-06-09 cs.AI cs.LG cs.NE
Preconditioning for Accelerated Gradient Descent Optimization and Regularization
Department of Mathematics, University of Kentucky（数学系，肯塔基大学）
本文通过预条件化理论探讨了加速梯度下降优化与正则化方法，分析了AdaGrad、RMSProp、Adam等算法的加速机制，并推导了AdamW和L1正则化的通用形式。
2025-12-29 cs.LG cs.NA math.NA
Implicit Regularization in Deep Matrix Factorization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tel Aviv University（特拉维夫大学）
对深度学习中泛化之谜的理解使人们相信，基于梯度的优化引入了一种隐式正则化形式，即偏向于低“复杂度”的模型。“我们研究了深度线性神经网络上的梯度下降的隐式正则化，用于矩阵完成和检测，这是一个被称为深度矩阵分解的模型。我们的第一个发现，理论和实验的支持，是增加深度的矩阵分解增强了对低秩的解决方案的隐含趋势，往往导致更准确的恢复。其次，我们提出了理论和经验的论点质疑一个新生的观点，隐式正则化矩阵分解可以捕获使用简单的数学规范。我们的研究结果表明，标准正则化的语言可能不够丰富，无法完全包含基于梯度的优化所带来的隐式正则化。
2019-10-26 cs.AI cs.LG cs.NE
The Benefits of Implicit Regularization from SGD in Least Squares Problems
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
随机梯度下降（SGD）在实际应用中表现出很强的算法正则化效应，被认为在现代机器学习方法的推广中发挥了重要作用。在这项工作中，我们试图在更简单的线性回归设置（包括欠参数化和过参数化机制）中理解这些问题，我们的目标是对（非正则化）平均SGD提供的隐式正则化与岭回归的显式正则化进行基于实例的比较。对于一类广泛的最小二乘问题实例，（在高维环境中是自然的），我们表明：（1）对于每个问题实例和每个脊参数，（未正则化）SGD，当提供了比提供给脊算法的样本更多的样本时，一般化不比脊解决方案差（假设SGD使用调整的恒定步长）;（2）相反，存在最优调整岭回归需要比SGD二次更多的样本的情况（在这个广泛的问题类中），以便具有相同的泛化性能。两者合计，我们的研究结果表明，到对数因子，SGD的泛化性能总是不差于岭回归在广泛的overparameterized问题，事实上，可以更好地为一些问题的情况下。更一般地说，我们的结果表明，算法正则化具有重要的后果，即使在简单的（overparameterized）凸设置。
2022-07-11 cs.LG math.OC stat.ML
Implicit Regularization of Gradient Flow on One-Layer Softmax Attention
Yale University（耶鲁大学）
本文研究单层softmax注意力模型梯度流的隐式正则化，证明其最小化键查询乘积的核范数，对应SVM问题，与合并训练的Frobenius范数正则化形成对比。
2024-03-13 cs.AI cs.LG math.OC
Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems
ETH Zurich（苏黎世联邦理工学院）
本文针对尺度不变问题提出均衡度概念，揭示SAM的隐式正则化机制，并据此设计资源高效的BAR方法，在LoRA微调语言模型中节省95%计算开销且提升性能。
2024-10-18 cs.LG stat.ML
Implicit Regularization with Polynomial Growth in Deep Tensor Factorization
National Engineering School of Tunis, University of Tunis El Manar（突尼斯埃尔马纳尔大学突尼斯国立工程学院）；Aix Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Ecole Centrale de Marseille（马赛中央理工学院）
我们研究了张量因式分解中深度学习的隐式正则化效应。虽然通过线性和某些类型的非线性神经网络的深层矩阵和“浅层”张量因式分解的隐式正则化促进了最多二次增长的低秩解，但我们表明，其在深层张量因式分解中的效果随着网络的深度呈多项式增长。这为观察到的实验行为提供了非常忠实的描述。使用数值实验，我们证明了这种隐式正则化的好处，在产生一个更准确的估计和更好的收敛性能。
2022-07-25 cs.AI cs.LG cs.NE
Implicit Sparse Regularization: The Impact of Depth and Early Stopping
Texas A&M University（德克萨斯A&M大学）；AWS AI；New York University（纽约大学）
本文研究了稀疏回归梯度下降算法的隐偏差问题。我们将二次参数化回归的结果（相当于深度为2的对角线性网络）扩展到更一般的深度为N的网络，在更现实的噪声和相关设计设置下。我们发现，早期停止是至关重要的梯度下降收敛到一个稀疏的模型，我们称之为隐式稀疏正则化的现象。这一结果与无噪声和不相关设计情况下的已知结果形成鲜明对比。我们表征的深度和早期停止的影响，并表明，对于一般的深度参数N，梯度下降与早期停止实现极小极大最优稀疏恢复足够小的初始化和步长。特别是，我们表明，增加深度扩大规模的工作初始化和早期停止窗口，使这种隐式稀疏正则化效果更有可能发生。
2021-10-26 cs.LG stat.ML
Variational Deep Learning via Implicit Regularization
本文提出通过梯度下降的隐式偏见正则化变分神经网络，理论分析了过参数化线性模型中的归纳偏置，并实验证明其在分布内和分布外任务中的有效性。
2026-03-13 cs.AI cs.LG stat.ML
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression
Duke University（杜克大学）
本文针对稀疏线性回归中最小ℓ₁和ℓ₂范数插值器均无法达到最优测试损失的问题，提出一种新的模型参数化方法，通过梯度下降产生结合ℓ₁与ℓ₂优点的隐式正则化效应，从而获得接近最优测试损失的插值器。
2023-05-26 cs.LG stat.ML
Drop-Activation: Implicit Parameter Reduction and Harmonic Regularization
Purdue University（普渡大学）；The University of Chicago（芝加哥大学）；National University of Singapore（新加坡国立大学）
过度拟合经常发生在深度学习中。在本文中，我们提出了一种新的正则化方法称为Drop激活，以减少过拟合和提高泛化能力。其关键思想是通过在训练时间内将非线性激活函数随机设置为恒等函数来丢弃非线性激活函数。在测试过程中，我们使用了一个确定性网络与一个新的激活函数编码的平均效果随机丢弃激活。我们的理论分析支持Drop-Activation作为隐式参数减少的正则化效应，并验证了其与批量归一化一起使用的能力（Ioffe和Szegedy 2015）。在CIFAR-10、CIFAR-100、SVHN、EMNIST和ImageNet上的实验结果表明，Drop-Activation通常可以提高图像分类任务的流行神经网络架构的性能。此外，作为正则化器，Drop-Activation可以与标准训练和正则化技术（如批量归一化和自动增强）协调使用（Cubuk et al. 2019）。代码可在\url{https://github.com/LeungSamWai/Drop-Activation}上获得。
2020-03-28 cs.LG stat.ML
Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks
University of Oslo（奥斯陆大学）；University of Cambridge（剑桥大学）
本文研究过参数化对角线性网络梯度流的隐式正则化，证明其逼近基追踪的ℓ₁最小化子并给出依赖初始化的尖锐收敛界，且所选最小化子由网络深度决定。
2023-07-13 cs.LG math.OC stat.ML
FlowAdam: Implicit Regularization via Geometry-Aware Soft Momentum Injection
Memorial University of Newfoundland（纽芬兰纪念大学）
FlowAdam通过引入连续梯度流积分的普通微分方程，改进Adam优化器，通过软动量注入防止训练崩溃，提升低秩矩阵/张量恢复和推荐系统性能。
2026-08-07 cs.LG math.OC stat.ML
Stability of Low-Rank Implicit Regularization in Perturbed Deep Matrix Factorization
Department of Informatics and Networked Systems, University of Pittsburgh（信息学与网络系统系，匹兹堡大学）；Department of Mathematics, University of Pittsburgh（数学系，匹兹堡大学）
本文研究扰动深度矩阵分解中低秩隐式正则化的稳定性，通过推导谱条件分析无噪声情况下的低秩阶段，并证明扰动下梯度下降的收敛性与低秩阶段的保持性。
2026-07-23 cs.LG math.OC stat.ML
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
隐式偏差或隐式正则化的概念被认为是解释现代超参数化学习算法令人惊讶的泛化能力的一种手段。这个概念指的是优化算法趋向于某种结构化的解决方案，这种解决方案通常很好地推广。最近，有几篇论文研究了隐式正则化，并能够在各种情况下识别这种现象。我们重新审视这一范例，可以说是最简单的非平凡的设置，并研究隐含的偏见的随机梯度下降（SGD）的背景下，随机凸优化。作为第一步，我们提供了一个简单的结构，排除了存在的\emph{distribution-independent}隐式正则化，管理泛化能力的SGD。然后，我们证明了一个学习问题，排除了一个非常一般的类\emph{distribution-dependent}隐式正则化解释推广，其中包括强凸正则化以及非退化的规范为基础的正则化。我们的构造的某些方面指出，在提供一个全面的解释算法的泛化性能，仅仅争论其隐式正则化属性的显着困难。
2020-12-22 cs.LG stat.ML
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind（深度思维）；Google（谷歌）
对于无穷小的学习率，随机梯度下降（SGD）遵循完整批量损失函数上的梯度流路径。然而，适度大的学习率可以实现更高的测试精度，并且这种泛化益处不能用收敛界限来解释，因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象，我们证明了随机洗牌的SGD，平均SGD也保持接近梯度流的路径，如果学习率是小的和有限的，但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成，该正则化子惩罚小批量梯度的范数。在温和的假设下，当批量较小时，隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证，明确包括隐式正则化的损失可以提高测试的准确性时，学习率是小的。
2021-01-28 cs.LG stat.ML
Implicit Gradient Alignment in Distributed and Federated Learning
IIT Kanpur（印度理工学院坎普尔分校）；EPFL（洛桑联邦理工学院）
在分布式和联邦学习中实现全局收敛的一个主要障碍是由于分布式数据的异构性和随机性而导致的跨客户端或小批量的梯度不一致。在这项工作中，我们表明，数据的异质性实际上可以利用隐式正则化来提高泛化性能。减轻异质性影响的一种方法是鼓励在整个培训过程中调整不同客户的梯度。我们的分析表明，这一目标可以通过利用正确的优化方法来实现，该方法复制了SGD的隐式正则化效果，从而实现梯度对齐以及测试精度的提高。由于SGD中这种正则化的存在完全依赖于在训练过程中顺序使用不同的minibatch，因此在使用大型minibatch进行训练时，它本质上是不存在的。为了在提高并行性的同时获得这种正则化的泛化优势，我们提出了一种新的GradAlign算法，该算法可以引入相同的隐式正则化，同时允许在每次更新中使用任意大的批次。我们通过实验验证了我们的算法在不同的分布式和联邦学习设置的好处。
2021-12-13 cs.LG stat.ML
Tuning-Free Online Robust Principal Component Analysis through Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology Madras（电子工程系，印度理工学院马德拉斯）
针对标准在线鲁棒主成分分析（OR-PCA）依赖数据集敏感调参的问题，提出利用修正梯度下降的隐式正则化效应实现免调参，在模拟与真实数据集上表现优于或等同于调参后的OR-PCA，提升了大规模数据集的可扩展性。
2025-08-14 cs.CV cs.LG stat.ML
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们目前的实验表明，一些其他形式的容量控制，不同的网络规模，在学习多层前馈网络中起着核心作用。我们认为，部分通过类比矩阵分解，这是一个归纳的偏见，可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
Diversity sampling is an implicit regularization for kernel methods
KU Leuven（鲁汶大学）
核方法通过使用Nyström方法和预处理技术，在大规模回归和分类问题上取得了非常好的性能。Nyström近似--基于界标的子集--给出了核矩阵的低秩近似，并且已知提供了一种隐式正则化形式。我们进一步阐述了在监督和无监督内核方法中对不同地标进行采样以构建Nyström近似的影响。通过使用行列式点过程的采样，我们得到额外的理论结果之间的相互作用的多样性和正则化。从经验上讲，我们证明了基于不同点的子集训练核方法的优势。特别是，如果数据集有一个密集的散装和一个稀疏的尾巴，我们表明，Nyström内核回归与不同的地标增加了回归的准确性，在数据集的稀疏区域，相对于一个统一的地标采样。一个贪婪的启发式也提出了在大数据集内选择不同的样本的显着大小时，确切的DPP采样实际上是不可行的。
2020-02-20 cs.LG stat.ML
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文首次在梯度下降（而非梯度流）下严格证明了管状张量分解的隐式正则化，表明小随机初始化会使超参数化模型偏向低管状秩解，并通过数值模拟验证了理论动态与初始化的重要性。
2024-10-21 cs.LG math.OC math.ST
Implicit Regularization or Implicit Conditioning? Exact Risk Trajectories of SGD in High Dimensions
Google Research（谷歌研究院）；McGill University（麦吉尔大学）
随机梯度下降（SGD）是现代机器学习的支柱，是各种问题的首选优化算法。虽然SGD的经验成功通常归因于其计算效率和良好的泛化行为，但这两种效果都没有得到很好的理解，并且解开它们仍然是一个悬而未决的问题。即使在凸二次问题的简单设置中，最坏情况下的分析也给出了SGD的渐近收敛速度并不比全批梯度下降（GD）更好，并且SGD的隐式正则化效应缺乏精确的解释。在这项工作中，我们研究了高维凸二次型上的多通道SGD的动力学，并建立了一个渐近等价的随机微分方程，我们称之为均匀化随机梯度下降（HSGD），其解决方案，我们明确的Volterra积分方程的特征。这些结果产生了精确的公式的学习和风险轨迹，揭示了一种机制的内隐条件反射，解释了效率的SGD相对于GD。我们还证明了SGD的噪声会对泛化性能产生负面影响，排除了在这种情况下任何类型的隐式正则化的可能性。最后，我们展示了如何适应HSGD的形式主义，包括流SGD，这使我们能够产生一个准确的预测多通道SGD相对于流SGD（引导风险）的超额风险。
2022-06-15 cs.LG math.OC math.PR
Understanding Gradient Regularization in Deep Learning: Efficient Finite-Difference Computation and Implicit Bias
AIST（产业技术综合研究所）；Cluster（Cluster公司）；ETH Zurich（苏黎世联邦理工学院）
梯度正则化（GR）是一种在训练过程中惩罚训练损失的梯度范数的方法。虽然一些研究已经报道了GR可以提高泛化性能，但很少有人从算法的角度关注它，即GR的算法，有效地提高了性能。在这项研究中，我们首先揭示了一个特定的有限差分计算，包括梯度上升和下降步骤，降低了GR的计算成本。接下来，我们表明，有限差分计算也更好地工作在泛化性能的意义上。我们从理论上分析了一个可解的模型，对角线性网络，并澄清，GR有一个理想的隐式偏置所谓的丰富的制度和有限差分计算加强这种偏见。此外，有限差分GR是密切相关的其他一些算法的基础上迭代上升和下降步骤探索平坦的最小值。特别是，我们揭示了洪水方法可以执行有限差分GR在一个隐式的方式。因此，这项工作拓宽了我们对GR的实践和理论的理解。
2023-02-03 cs.LG stat.ML
Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Prusa Research（普拉萨研究公司）；Institute for Robotics and Mechatronics, DLR-German Aerospace Center（德国航空航天中心机器人与机电研究所）
本文研究过参数化网络中梯度下降的隐式正则化，证明学习率在低范数与低锐度之间插值，且单一偏差不足以解释泛化，需考虑动态权衡。
2026-06-05 cs.LG stat.ML
On Implicit Regularization in $β$-VAEs
Google Research（谷歌研究院）
虽然变分推理（VI）对固定生成模型中的后验推理的影响已经得到了很好的表征，但当用于变分自编码器（VAE）时，其在正则化学习生成模型中的作用却知之甚少。我们从两个角度研究了生成模型中变分分布对学习的正则化效应。首先，我们分析了变分族的选择在通过限制最优生成模型的集合来赋予学习模型唯一性方面所起的作用。其次，我们研究了变分族的正则化效应对解码模型的局部几何的影响。该分析揭示了$β$ -VAE目标中隐含的正则化器，并导致由确定性自动编码目标加上依赖于解码模型的Hessian或Jacobian的分析正则化器组成的近似，将VAE与最近提出的用于训练正则化自动编码器的算法统一起来。我们经验验证这些发现，观察到所提出的确定性目标表现出类似的行为的$β$ -VAE的客观价值和样本质量。
2020-12-28 cs.LG stat.ML
High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Warwick（华威大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文研究协变量偏移下的高维核岭回归，通过偏差-方差分解证明重要性重加权能降低方差，并揭示其可视为一种数据依赖的隐式正则化。
2024-06-05 cs.LG stat.ML
Implicit Regularization of Random Feature Models
Chair of Statistical Field Theory, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院统计场论主席）；Laboratory of Computational Neuroscience, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院计算神经科学实验室）
随机特征（RF）模型被用作核方法的有效参数近似。利用随机矩阵理论研究了高斯RF模型与核岭回归（KRR）之间的联系。对于具有$P$特征、$N$数据点和脊$λ$的高斯RF模型，我们证明了平均（即预期）RF预测值接近具有有效脊$\tildeλ$的KRR预测值。我们发现，$\tildeλ > λ$和$\tildeλ \searrow λ$单调的$P$增长，从而揭示了有限RF采样的隐式正则化效果。然后，我们将$\tildeλ$ -KRR预测因子的风险（即检验误差）与$λ$ -RF预测因子的平均风险进行比较，并获得其差异的精确和明确的界限。最后，我们从经验上发现平均$λ$ -RF预测值和$\tildeλ$ -KRR预测值的检验误差之间有非常好的一致性。
2020-09-23 cs.LG stat.ML
AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow
Big Data Lab, Baidu Research（百度研究院大数据实验室）；School of Artificial Intelligence and Automation Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
主成分分析（PCA）作为一种有效的特征提取和降维技术得到了广泛的应用。在高维低样本量（HDLSS）设置中，人们可能更喜欢修改的主成分，带有惩罚载荷，并通过在这些不同模型中使用不同的惩罚来实现模型选择，从而实现自动惩罚选择。早期的工作[1，2]提出了惩罚主成分分析，指出了$L_2$ -惩罚主成分分析通过岭回归的求解路径进行模型选择的可行性，但由于矩阵求逆的计算量大，非常耗时。在本文中，我们提出了一种快速的惩罚PCA模型选择方法，称为近似梯度流（AgFlow），它通过引入（随机）梯度流[3，4]引入的隐式正则化效应来降低计算复杂度，并在不同的$L_2$ -正则化下获得$L_2$ -惩罚PCA的完整解路径。我们在真实世界的数据集上进行了大量的实验。AgFlow在计算成本方面优于现有方法（Oja [5]，Power [6]和Shamir [7]以及vanilla Ridge估计器）。
2021-10-07 cs.LG stat.ML
The Implicit Regularization of Ordinary Least Squares Ensembles
Rice University（莱斯大学）
在一组独立预测器上求平均的包围方法，每个独立预测器都限于训练数据的示例和特征的子采样，这在机器学习中占有重要地位，例如一直流行的随机森林，但子采样效应的性质，特别是特征的性质，还没有得到很好的理解。我们研究的情况下，合奏的线性预测，其中每个单独的预测是适合使用普通最小二乘法的数据矩阵的随机子矩阵。我们发现，在标准高斯假设下，当为每个预测器选择的特征数量被最佳调整时，大集合的渐近风险等于渐近岭回归风险，这是已知的线性预测器中的最佳设置。除了引出这种由子采样产生的隐式正则化之外，我们还将这种集成与训练深度（神经）网络中使用的dropout技术联系起来，这是另一种已被证明具有脊状正则化效果的策略。
2020-03-24 cs.LG stat.ML
Implicit Geometric Regularization for Learning Shapes
Weizmann Institute of Science（魏茨曼科学研究所）
将形状表示为神经网络的水平集最近已被证明对于不同的形状分析和重建任务是有用的。到目前为止，这样的表示是使用：（i）预先计算的隐式形状表示;或（ii）在神经水平集上明确定义的损失函数。在本文中，我们提供了一个新的范式，用于直接从原始数据计算高保真隐式神经表征（即，点云，具有或不具有法线信息）。我们观察到，一个相当简单的损失函数，鼓励神经网络在输入点云上消失，并具有单位范数梯度，具有隐式几何正则化属性，有利于光滑和自然的零水平集表面，避免坏的零损失解决方案。我们提供了一个理论分析的线性情况下，这个属性，并表明，在实践中，我们的方法导致国家的最先进的隐式神经表示与以前的方法相比，具有更高层次的细节和保真度。
2020-07-09 cs.CV cs.GR cs.LG
Explicit regularization and implicit bias in deep network classifiers trained with the square loss
已经观察到使用平方损失训练的深度ReLU网络在分类任务中表现良好。在这里，我们提供了一个理论上的理由的基础上分析相关的梯度流。我们表明，收敛到一个绝对最小范数的解决方案时，预计归一化技术，如批量归一化（BN）或重量归一化（WN）与权重衰减（WD）一起使用。的最小化，其预期误差的界限的主要属性是规范：我们证明，在所有接近插值的解决方案，与较小的Frobenius规范的未规范化的权重矩阵有更好的利润率和更好的界限上的预期分类错误。有BN但没有WD，动力系统是奇异的。隐式动态正则化--即零初始条件使动态偏向高裕度解--在无BN和无WD的情况下也是可能的。该理论产生了几个预测，包括BN和权重衰减的作用，Papyan，Han和Donoho的神经崩溃方面以及BN对网络权重的约束。
2020-12-31 cs.LG stat.ML
Implicit Regularization in Feedback Alignment Learning Mechanisms for Neural Networks
Stanford（斯坦福大学）
本文提出统一框架阐明 Feedback Alignment (FA) 中对齐机制的操作原理，通过守恒定律揭示隐式正则化维持梯度对齐，给出收敛充分条件，并实证证明改善对齐能提升 FA 在复杂多类任务上的性能。
2024-06-04 cs.LG stat.ML
