On implicit regularization: Morse functions and applications to matrix factorization
在本文中，我们重新审视隐式正则化从地面上使用动力系统和不变的Morse函数的子空间的概念。主要贡献是隐式正则化的一个新标准-解释神经网络等深度模型泛化能力的主要竞争者-和研究它的一般蓝图。我们应用这些技术解决了矩阵分解中隐式正则化的一个猜想。
2020-01-31 cs.LG stat.ML
Geometry of Optimization and Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；MSR Cambridge（微软研究院剑桥）；Carnegie Mellon University（卡内基梅隆大学）
我们认为，通过隐式正则化，优化在深度学习模型的泛化中起着至关重要的作用。我们这样做是通过证明泛化能力不是由网络大小控制，而是由其他一些隐式控制。然后，我们展示了如何改变经验优化过程可以提高泛化，即使实际的优化质量不受影响。我们通过研究深度网络的参数空间的几何形状来实现这一点，并设计出一种与这种几何形状相协调的优化算法。
2017-05-08 cs.LG
Mirror, Mirror of the Flow: How Does Regularization Shape Implicit Bias?
CISPA Helmholtz Center for Information Security（信息安全霍普夫研究所）
本文将显式正则化纳入镜像流框架，分析其对隐式偏置的位置、类型和范围收缩的持久影响，并提出训练中关闭权重衰减以改善泛化。
2025-08-22 cs.LG
Implicit Regularization in ReLU Networks with the Square Loss
Weizmann Institute of Science（魏茨曼科学研究所）
理解梯度下降的隐式正则化（或隐式偏差）是最近一个非常活跃的研究领域。然而，非线性神经网络中的隐式正则化仍然知之甚少，特别是对于回归损失，如平方损失。也许令人惊讶的是，我们证明了即使对于单个ReLU神经元，也不可能通过模型参数的任何显式函数来表征具有平方损失的隐式正则化（尽管从积极的方面来看，我们可以近似地表征它）。对于一个隐藏层网络，我们证明了一个类似的结果，一般来说，不可能以这种方式表征隐式正则化属性，除了Du et al. [2018]中确定的“平衡性”属性。我们的研究结果表明，可能需要一个更一般的框架比迄今为止考虑的理解隐式正则化的非线性预测，并提供了一些线索，这个框架应该是什么。
2021-06-08 cs.LG stat.ML
AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion
National University of Defense Technology（国防科技大学）；University of Utah（犹他大学）
显式低秩正则化，例如，核范数正则化在成像科学中有着广泛的应用。然而，已经发现隐式正则化在各种图像处理任务中优于显式正则化。另一个问题是，固定的显式正则化限制了对广泛图像的适用性，因为不同的图像有利于通过不同的显式正则化捕获的不同特征。因此，本文提出了一种新的自适应和隐式低秩正则化，动态捕获低秩先验的训练数据。我们新的自适应隐式低秩正则化的核心是在基于Dirichlet能量的正则化中参数化拉普拉斯矩阵，我们称之为正则化\textit{AIR}。理论上，我们表明，自适应正则化的AIR增强了隐式正则化，并在训练结束时消失。我们验证了空气的有效性在各种基准任务，表明空气是特别有利的情况下，丢失的条目是不均匀的。代码可以在https://github.com/lizhemin15/AIR-Net上找到
2022-06-27 cs.LG stat.ML
Estimating Implicit Regularization in Deep Learning
University of Pennsylvania（宾夕法尼亚大学）
本文提出通过梯度匹配方法估计深度学习中的隐式正则化，验证了其在处理复杂网络时的有效性，并展示了在Dropout等方法中的应用。
2026-11-05 cs.LG stat.ML
Implicit Gradient Regularization
DeepMind（深度思维）；Google（谷歌）
梯度下降在优化深度神经网络方面可以非常出色，而不会过度拟合，也不会显式正则化。我们发现梯度下降的离散步骤通过惩罚具有大损失梯度的梯度下降轨迹来隐式地正则化模型。我们称之为隐式梯度正则化（IGR），我们使用向后误差分析来计算这个正则化的大小。我们证实经验，隐式梯度正则化偏向梯度下降平坦的最小值，测试误差小，解决方案是强大的噪声参数扰动。此外，我们证明了隐式梯度正则化项可以用作显式正则化，使我们能够直接控制这个梯度正则化。更广泛地说，我们的工作表明，向后误差分析是一个有用的理论方法，学习率，模型大小和参数正则化如何相互作用，以确定使用梯度下降优化的过参数化模型的属性。
2022-07-18 cs.LG stat.ML
Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时，在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想，并提供经验和理论证据，足够小的步长和初始化足够接近原点，梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven（荷语鲁汶大学）
利用行列式点过程（DPPs）的框架，可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中，我们表明，采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外，我们利用最先进的DPP算法的常见设置来采样多个小子集，并将它们用于无脊回归的集合中。我们的第一个实证结果表明，集成的无脊回归可能是有趣的，用于数据集，包括冗余信息。
2020-07-07 cs.LG stat.ML
An Empirical Study of Implicit Regularization in Deep Offline RL
DeepMind（深度思维）
深度神经网络是离线强化学习中最常用的函数逼近器。先前的工作已经表明，用TD学习和梯度下降训练的神经网络可以表现出隐式正则化，其特征在于这些网络的参数化不足。具体而言，已观察到倒数第二个特征层（也称为\textit{effective rank}）的秩在训练期间急剧崩溃。反过来，这种崩溃被认为会降低模型在学习后期进一步适应的能力，导致最终性能下降。有效排名和性能之间的这种关联使得有效排名对于离线RL（主要是对于离线策略评估）是有吸引力的。在这项工作中，我们在三个离线RL数据集上对有效排名与性能之间的关系进行了仔细的实证研究：bsuite，Atari和DeepMind实验室。我们观察到，直接关联只存在于受限设置中，而在更广泛的超参数扫描中消失。此外，我们经验性地确定了三个阶段的学习，解释了隐式正则化对学习动力学的影响，并发现仅自举不足以解释有效秩的崩溃。此外，我们发现，其他几个因素可能混淆有效排名和性能之间的关系，并得出结论，在简单的假设下研究这种关联可能是高度误导。
2022-07-07 cs.LG
Implicit Rugosity Regularization via Data Augmentation
Rice University（莱斯大学）
深度（神经）网络已经在广泛的监督和无监督学习任务中得到了有效的应用。与经典的机器学习算法不同，深度网络通常在\emph{overparameterized}机制中运行，其中参数的数量大于训练数据点的数量。因此，理解这些网络的泛化性质和正则化（显式或隐式）的作用是非常重要的。在这项工作中，我们探讨了如何经常使用的启发式\emph{data augmentation}施加一个新的措施的\emph{rugosity}或“粗糙度”的基础上的正切海森函数适合训练数据的{ \em隐式正则化}罚款。
2019-10-10 cs.LG stat.ML
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Mask in the Mirror: Implicit Sparsification
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
针对连续稀疏化中隐式L₁正则化优于显式L₁的现象，本文通过分析学习动态揭示其从隐式L₂到L₁的过渡机制，提出动态控制隐式偏置的PILoT方法，在实验中持续优于基线。
2025-02-12 cs.LG
Disentangling the Mechanisms Behind Implicit Regularization in SGD
UC San Diego（加州大学圣地亚哥分校）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
已经提出了许多相互竞争的假设来解释为什么小批量随机梯度下降（SGD）会导致全批量机制的泛化能力提高，最近的工作归功于整个训练过程中各种量的隐式正则化。然而，到目前为止，经验证据评估这些假设的解释力是缺乏的。在本文中，我们进行了广泛的实证评估，重点是各种理论化的机制，以关闭小到大批量泛化的差距的能力。此外，我们还描述了SGD在训练过程中如何（隐式地）正则化变化的数量。通过使用微批次，即每个小批次的不相交的较小子集，我们凭经验表明，显式地惩罚梯度范数或Fisher信息矩阵迹，平均超过微批次，在大批量制度恢复小批量SGD泛化，而基于雅可比的正则化不能做到这一点。这种泛化性能通常与正则化模型的梯度范数与小批量SGD的梯度范数的相似程度相关。我们还表明，这种行为打破了微批量大小接近批量大小。最后，我们注意到，在这方面的调查中，CIFAR10的积极实验结果往往在CIFAR100等其他数据集上被逆转，这突出了在更广泛的数据集上测试假设的必要性。
2022-11-29 cs.LG
Implicit regularization for deep neural networks driven by an Ornstein-Uhlenbeck like process
Stanford University（斯坦福大学）；Purdue University（普渡大学）；Institute for Advanced Study（高等研究院）
我们考虑通过随机梯度下降训练的网络，以最小化$\ell_2$损失，训练标签在每次迭代时受到独立噪声的干扰。我们描述了在任何参数向量附近实现零训练误差的训练动态的行为，根据对应于数据点上的总和的隐式正则化项，模型相对于参数向量的梯度的平方$\ell_2$范数，在每个数据点处评估。这适用于任何连通性、宽度、深度和激活函数选择的网络。我们将这个隐式正则化项解释为三个简单的设置：矩阵感测，在一维数据上训练的双层ReLU网络，以及在单个数据点上训练的具有sigmoid激活的双层网络。对于这些设置，我们展示了为什么这种新的和一般的隐式正则化效应将网络推向“简单”模型。
2020-07-22 cs.LG stat.ML
Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression
Technion（以色列理工学院）
该研究针对高维持续线性回归，推导梯度下降训练模型的泛化损失闭式表达式，确定最优步长与正则化强度，揭示任务变异性与隐式正则化的权衡，实验验证理论并为持续学习系统设计提供指导。
2026-10-16 cs.LG
DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；MILA（蒙特利尔学习算法研究所）；Stanford University（斯坦福大学）
尽管过度参数化，但通过监督学习训练的深度网络很容易优化，并表现出出色的泛化能力。解释这一点的一个假设是，过度参数化的深度网络享受由随机梯度下降引起的隐式正则化的好处，这有利于在测试输入上推广良好的简约解决方案。可以合理地推测，深度强化学习（RL）方法也可以受益于这种效应。在本文中，我们讨论了在监督学习中看到的SGD的隐式正则化效应如何在离线深度RL设置中实际上是有害的，导致泛化能力差和退化的特征表示。我们的理论分析表明，当现有的隐式正则化模型应用于时间差分学习，所得到的派生正则化有利于退化的解决方案与过度的“混叠”，在鲜明的对比监督学习的情况下。我们根据经验支持这些发现，表明通过自举训练的深度网络价值函数学习的特征表示确实可以退化，混淆出现在Bellman备份两侧的状态-动作对的表示。为了解决这个问题，我们推导出这种隐式正则化的形式，并受到这种推导的启发，提出了一种简单有效的显式正则化，称为DR 3，抵消了这种隐式正则化的不良影响。当与现有的离线RL方法相结合时，DR 3大大提高了性能和稳定性，减轻了Atari 2600游戏，D4 RL领域和图像机器人操作中的遗忘。
2021-12-09 cs.LG
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Microsoft Research（微软研究院）；Canada CIFAR AI chair（加拿大高级研究所加拿大人工智能主席项目）
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应，沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型，我们激励和研究的启发式复杂性措施，捕捉这种现象，在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University（京都大学工学部信息与数学科学学院）
过参数化神经网络在实践中推广得很好，无需任何显式正则化。尽管尚未得到证实，但经验证据表明，隐式正则化在深度学习中起着至关重要的作用，可以防止网络过度拟合。在这项工作中，我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量，以分析网络导数相对于输入参数的变化，并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明，每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降，以保持几乎直的样本之间的插值，这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University（特拉维夫大学）
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用，研究这种前景的标准测试平台是矩阵分解（通过线性神经网络完成矩阵）。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题，隐式正则化将所有范数（和准范数）推向无穷大，从反面解决了这个悬而未决的问题。我们的研究结果表明，而不是感知通过规范的隐式正则化，一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络，并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Generalization Properties and Implicit Regularization for Multiple Passes SGM
Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）
研究了具有凸损失函数和线性参数化函数的随机梯度学习方法的推广性质。我们表明，在没有惩罚或约束的情况下，该算法的稳定性和近似特性可以通过调整步长或通过数据的数量来控制。在这个观点中，这些参数可以被看作是控制一种形式的隐式正则化。数值结果补充了理论研究结果。
2016-05-26 cs.LG stat.ML
The Implicit and Explicit Regularization Effects of Dropout
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
Dropout是一种广泛使用的正则化技术，通常需要获得许多架构的最新技术。这项工作表明，dropout引入了两个不同但纠缠的正则化效应：一个是显式效应（也在以前的工作中研究过），因为dropout修改了预期的训练目标，而可能令人惊讶的是，dropout训练更新中的随机性带来了额外的隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机性效应。我们通过对照实验来解开这两种效应。然后，我们推导出分析简化，其特征在于每个效果的衍生物的模型和损失，深度神经网络。我们证明了这些简化的解析正则化器准确地捕捉了dropout的重要方面，表明它们在实践中忠实地取代了dropout。
2020-10-15 cs.LG stat.ML
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning
Calculation Consulting（Calculation Consulting公司）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
随机矩阵理论（RMT）应用于分析深度神经网络（DNN）的权重矩阵，包括生产质量、预训练模型（例如AlexNet和Inception）以及从头开始训练的较小模型，例如LeNet 5和微型AlexNet。经验和理论结果清楚地表明，DNN训练过程本身隐含地实现了一种形式的自正则化。DNN层矩阵的经验谱密度（ESD）显示了传统正则化统计模型的特征，即使在没有外生指定传统形式的显式正则化的情况下。基于RMT中相对较新的结果，最值得注意的是其扩展到重尾矩阵的普遍性类，我们开发了一种理论来识别5+1训练阶段，对应于隐式自正则化的增加量。这些阶段可以在训练过程中以及最终学习的DNN中观察到。对于较小和/或较旧的DNN，这种隐式自正则化就像传统的Tikhonov正则化，因为存在将信号与噪声分离的“大小尺度”。然而，对于最先进的DNN，我们发现了一种新的重尾自正则化形式，类似于无序系统统计物理中的自组织。这是由于在所有大小尺度上产生的相关性，这是由于训练过程本身而隐含地产生的。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象，我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。这表明，在其他条件相同的情况下，具有较大批量的DNN优化会导致隐式正则化模型不太好，并为泛化间隙现象提供了解释。
2018-10-02 cs.LG stat.ML
The Implicit Regularization of Momentum Gradient Descent with Early Stopping
Northeast Normal University（东北师范大学）；Beihua University（北华大学）
基于梯度优化的隐式正则化问题是一个长期的研究课题。本文通过与显式$\ell_2$正则化（岭）的比较，刻画了具有提前停止的动量梯度下降（MGD）的隐式正则化。详细地说，我们在连续时间视图中研究了MGD，即所谓的动量梯度流（MGF），并表明其趋势比梯度下降（GD）更接近山脊[Ali等人，[2019]最小二乘回归此外，我们证明了，在校准$t=\sqrt{2/λ}$下，其中$t$是MGF中的时间参数，$λ$是岭回归中的调整参数，MGF的风险不超过岭的1.54倍。特别地，在最优调整下，MGF对脊的相对贝叶斯风险在1和1.035之间。数值实验有力地支持了我们的理论结果。
2022-01-14 cs.LG stat.ML
Implicit Regularization in Tensor Factorization
Tel Aviv University（特拉维夫大学）
最近在深度学习中解开隐式正则化之谜的努力导致了对矩阵分解的理论关注-通过线性神经网络完成矩阵。作为迈向实际深度学习的一步，我们提供了张量因式分解中隐式正则化的第一个理论分析-通过某种类型的非线性神经网络实现张量完备化。我们规避了臭名昭著的困难张量问题，通过采用动力系统的角度来看，和表征的演变引起的梯度下降。的表征表明，贪婪的低张量秩搜索的形式，我们严格证明在某些条件下，和经验证明在其他情况下。受张量秩捕获非线性神经网络的隐式正则化的启发，我们将其作为复杂性的度量进行了经验探索，并发现它捕获了神经网络概括的数据集的本质。这让我们相信，张量秩可以为解释深度学习中的隐式正则化以及将这种隐式正则化转化为泛化的真实数据的属性铺平道路。
2021-06-09 cs.AI cs.LG cs.NE
Implicit Regularization in Deep Matrix Factorization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tel Aviv University（特拉维夫大学）
对深度学习中泛化之谜的理解使人们相信，基于梯度的优化引入了一种隐式正则化形式，即偏向于低“复杂度”的模型。“我们研究了深度线性神经网络上的梯度下降的隐式正则化，用于矩阵完成和检测，这是一个被称为深度矩阵分解的模型。我们的第一个发现，理论和实验的支持，是增加深度的矩阵分解增强了对低秩的解决方案的隐含趋势，往往导致更准确的恢复。其次，我们提出了理论和经验的论点质疑一个新生的观点，隐式正则化矩阵分解可以捕获使用简单的数学规范。我们的研究结果表明，标准正则化的语言可能不够丰富，无法完全包含基于梯度的优化所带来的隐式正则化。
2019-10-26 cs.AI cs.LG cs.NE
Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications
University of California, Santa Barbara（加州大学圣巴巴拉分校）
具有非常强的泛化性能的深度神经网络通常是过参数化的。尽管明确的正则化策略用于从业者以避免过度拟合，但影响通常很小。一些理论研究分析了随机梯度下降（SGD）在某些假设下对简单机器学习模型的隐式正则化效应。然而，它在最先进的模型和真实世界数据集中的实际行为仍然是未知的。为了弥补这一差距，我们研究了SGD隐式正则化在深度学习系统中的作用。我们表明，纯SGD往往收敛到最小值，在多个自然语言处理（NLP）任务中具有更好的泛化性能。这种现象与dropout共存，dropout是一个显式正则化子。此外，神经网络的有限学习能力并不影响SGD的隐式正则化效应的内在本质。具体来说，在有限的训练样本或某些损坏的标签下，隐式正则化效果仍然很强。我们进一步分析了稳定性，通过改变权重的初始化范围。我们证实了这些实验结果与决策边界可视化使用3层神经网络的解释。总之，我们的工作使我们能够深入了解隐式正则化如何影响深度学习模型，并为未来过参数化模型泛化能力的研究提供了指导。
2018-11-01 cs.CL cs.LG cs.NE
Implicit Regularization and Generalization in Overparameterized Neural Networks
研究探讨了优化动态和隐式正则化在参数过量神经网络中促进泛化的角色，通过实验发现小批量大小和网络架构影响泛化性能。
2026-04-08 cs.LG
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Implicit Regularization of the Deep Inverse Prior Trained with Inertia
Greyc, Normandie Univ., UNICAEN, ENSICAEN, CNRS（Greyc、诺曼底大学、UNICAEN、ENSICAEN、CNRS）
本文为采用惯性训练的自监督神经网络求解逆问题建立了收敛与恢复保证，提出兼具粘性与几何Hessian驱动阻尼的惯性算法，并证明其可获得优于梯度流的加速收敛速率。
2025-06-03 cs.LG
Implicit Regularization for Multi-label Feature Selection
针对多标签学习中的特征选择问题，提出一种基于隐式正则化和标签嵌入的估计器，通过Hadamard积参数化避免显式正则化项的额外偏差，实验表明该方法可减少偏差并可能导致良性过拟合。
2026-06-01 cs.AI cs.LG
Implicit Regularization with Polynomial Growth in Deep Tensor Factorization
National Engineering School of Tunis, University of Tunis El Manar（突尼斯埃尔马纳尔大学突尼斯国立工程学院）；Aix Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Ecole Centrale de Marseille（马赛中央理工学院）
我们研究了张量因式分解中深度学习的隐式正则化效应。虽然通过线性和某些类型的非线性神经网络的深层矩阵和“浅层”张量因式分解的隐式正则化促进了最多二次增长的低秩解，但我们表明，其在深层张量因式分解中的效果随着网络的深度呈多项式增长。这为观察到的实验行为提供了非常忠实的描述。使用数值实验，我们证明了这种隐式正则化的好处，在产生一个更准确的估计和更好的收敛性能。
2022-07-25 cs.AI cs.LG cs.NE
Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems
ETH Zurich（苏黎世联邦理工学院）
本文针对尺度不变问题提出均衡度概念，揭示SAM的隐式正则化机制，并据此设计资源高效的BAR方法，在LoRA微调语言模型中节省95%计算开销且提升性能。
2024-10-18 cs.LG stat.ML
Convergence Analysis and Implicit Regularization of Feedback Alignment for Deep Linear Networks
Mila Institute（米拉研究所）；Saint Mary’s University（圣玛丽大学）；Université de Montréal（蒙特利尔大学）
我们从理论上分析了反馈对齐（FA）算法，一个有效的替代反向传播训练神经网络。我们为连续和离散动态的深度线性网络提供收敛保证。此外，我们还研究了浅层线性网络的增量学习现象。有趣的是，某些特定的初始化意味着可以忽略的组件在主要组件之前被学习，因此可能会对这种学习算法的有效性产生负面影响;我们将这种现象归类为隐式反正则化。我们还提供了初始化方案，其中问题的组件通过重要性降序近似学习，从而提供了一种隐式正则化形式。
2021-10-20 cs.LG math.OC stat.ML
Implicit Regularization of Bregman Proximal Point Algorithm and Mirror Descent on Separable Data
Georgia Institute of Technology（佐治亚理工学院）；Duke University（杜克大学）
该研究针对Bregman邻近点算法（BPPA）理论研究不足的问题，分析可分数据下BPPA的隐式正则化特性，给出间隔下界并证明其与条件数的紧依赖，同时拓展到镜像下降并通过实验验证，填补了算法正则化领域的相关空白。
2023-08-25 cs.LG
Implicit Sparse Regularization: The Impact of Depth and Early Stopping
Texas A&M University（德克萨斯A&M大学）；AWS AI；New York University（纽约大学）
本文研究了稀疏回归梯度下降算法的隐偏差问题。我们将二次参数化回归的结果（相当于深度为2的对角线性网络）扩展到更一般的深度为N的网络，在更现实的噪声和相关设计设置下。我们发现，早期停止是至关重要的梯度下降收敛到一个稀疏的模型，我们称之为隐式稀疏正则化的现象。这一结果与无噪声和不相关设计情况下的已知结果形成鲜明对比。我们表征的深度和早期停止的影响，并表明，对于一般的深度参数N，梯度下降与早期停止实现极小极大最优稀疏恢复足够小的初始化和步长。特别是，我们表明，增加深度扩大规模的工作初始化和早期停止窗口，使这种隐式稀疏正则化效果更有可能发生。
2021-10-26 cs.LG stat.ML
Variational Deep Learning via Implicit Regularization
本文提出通过梯度下降的隐式偏见正则化变分神经网络，理论分析了过参数化线性模型中的归纳偏置，并实验证明其在分布内和分布外任务中的有效性。
2026-03-13 cs.AI cs.LG stat.ML
Implicit regularization and solution uniqueness in over-parameterized matrix sensing
Boston University（波士顿大学）；Rice University（莱斯大学）；University of Maryland（马里兰大学）
我们考虑过参数化线性矩阵分解中的算法选择是否引入了隐式正则化。我们专注于$\mathbb{R}^{n \times n}$中秩- $r$半正定（PSD）矩阵上的无噪声矩阵感知，其感知机制满足限制等距性质（RIP）。我们研究的算法是\emph{factored gradient descent}，其中我们模型的低秩和PSD约束与因子分解$UU^\top$，为$U \in \mathbb{R}^{n \times r}$。令人惊讶的是，最近的工作认为$r \leq n$的选择并不关键：即使设置$U \in \mathbb{R}^{n \times n}$也足以让因子梯度下降找到秩- $r$解，这表明对因子进行操作会导致隐式正则化。在这篇文章中，我们提供了一个不同的角度来看待隐式正则化问题。我们表明，在一定的条件下，PSD约束本身就足以导致一个独特的秩- $r$矩阵恢复，没有隐式或显式低秩正则化。\emph{I.e.}，在假设下，与观察到的数据一致的PSD矩阵的集合是单例的，无论使用的算法如何。
2019-09-13 cs.LG math.OC stat.ML
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression
Duke University（杜克大学）
本文针对稀疏线性回归中最小ℓ₁和ℓ₂范数插值器均无法达到最优测试损失的问题，提出一种新的模型参数化方法，通过梯度下降产生结合ℓ₁与ℓ₂优点的隐式正则化效应，从而获得接近最优测试损失的插值器。
2023-05-26 cs.LG stat.ML
Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
加速和动量是机器学习和优化的现代应用中事实上的标准，但隐式正则化的大部分工作都集中在非加速方法上。在本文中，我们研究了Nesterov的加速梯度法和Polyak的重球法产生的迭代的统计风险，当应用于最小二乘回归时，绘制了几个连接到显式惩罚。我们在连续时间中进行分析，使我们能够做出比以前的工作更清晰的陈述，并揭示早期停止，稳定性和损失函数曲率之间的复杂相互作用。
2022-01-20 cs.LG math.OC stat.ML
Approximation of Log-Partition Function in Policy Mirror Descent Induces Implicit Regularization for LLM Post-Training
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
PMD-mean通过近似对数分区函数实现隐式正则化，提升LLM训练的稳定性和效率。
2026-02-05 cs.LG
Drop-Activation: Implicit Parameter Reduction and Harmonic Regularization
Purdue University（普渡大学）；The University of Chicago（芝加哥大学）；National University of Singapore（新加坡国立大学）
过度拟合经常发生在深度学习中。在本文中，我们提出了一种新的正则化方法称为Drop激活，以减少过拟合和提高泛化能力。其关键思想是通过在训练时间内将非线性激活函数随机设置为恒等函数来丢弃非线性激活函数。在测试过程中，我们使用了一个确定性网络与一个新的激活函数编码的平均效果随机丢弃激活。我们的理论分析支持Drop-Activation作为隐式参数减少的正则化效应，并验证了其与批量归一化一起使用的能力（Ioffe和Szegedy 2015）。在CIFAR-10、CIFAR-100、SVHN、EMNIST和ImageNet上的实验结果表明，Drop-Activation通常可以提高图像分类任务的流行神经网络架构的性能。此外，作为正则化器，Drop-Activation可以与标准训练和正则化技术（如批量归一化和自动增强）协调使用（Cubuk et al. 2019）。代码可在\url{https://github.com/LeungSamWai/Drop-Activation}上获得。
2020-03-28 cs.LG stat.ML
Implicit energy regularization of neural ordinary-differential-equation control
University of California, Los Angeles（加州大学洛杉矶分校）；ETH Zurich（苏黎世联邦理工学院）
虽然动力系统的最优控制问题可以在变分学的框架内进行表述，但复杂系统的最优控制问题的求解在分析和计算上往往是困难的。在这封信中，我们提出了一个通用的神经常微分方程控制（NODEC）框架与隐式能量正则化，并使用它来获得神经网络生成的控制信号，可以转向动态系统在预定义的时间内所需的目标状态。我们展示了NODEC学习控制信号的能力，这些信号非常类似于由相应的最优控制框架发现的控制能量和偏离所需的目标状态。我们的研究结果表明，NODEC能够解决广泛的控制和优化问题，包括那些分析上难以解决的问题。
2021-03-11 cs.LG physics.soc-ph
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
隐式偏差或隐式正则化的概念被认为是解释现代超参数化学习算法令人惊讶的泛化能力的一种手段。这个概念指的是优化算法趋向于某种结构化的解决方案，这种解决方案通常很好地推广。最近，有几篇论文研究了隐式正则化，并能够在各种情况下识别这种现象。我们重新审视这一范例，可以说是最简单的非平凡的设置，并研究隐含的偏见的随机梯度下降（SGD）的背景下，随机凸优化。作为第一步，我们提供了一个简单的结构，排除了存在的\emph{distribution-independent}隐式正则化，管理泛化能力的SGD。然后，我们证明了一个学习问题，排除了一个非常一般的类\emph{distribution-dependent}隐式正则化解释推广，其中包括强凸正则化以及非退化的规范为基础的正则化。我们的构造的某些方面指出，在提供一个全面的解释算法的泛化性能，仅仅争论其隐式正则化属性的显着困难。
2020-12-22 cs.LG stat.ML
Optical Flow Regularization of Implicit Neural Representations for Video Frame Interpolation
Kobe University（神户大学）
最近的工作表明，隐式神经表征（INR）的能力进行有意义的表示信号的衍生物。在这项工作中，我们利用这一属性来执行视频帧插值（VFI）明确约束的导数的INR，以满足光流约束方程。我们只使用目标视频及其光流在有限的运动范围上实现了最先进的VFI，而不需要从额外的训练数据中学习插值算子。我们进一步表明，约束INR导数不仅可以更好地插值中间帧，而且还提高了窄网络的能力，以适应观察到的帧，这表明潜在的应用视频压缩和INR优化。
2022-06-22 cs.CV cs.LG
Offline Multi-Agent Reinforcement Learning with Implicit Global-to-Local Value Regularization
Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））；Beijing Jiaotong University（北京交通大学）；UT Austin（德克萨斯大学奥斯汀分校）；Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对现有离线多智能体强化学习未充分考虑全局系统的问题，提出带隐式全局到局部值正则化的OMIGA算法，实现全局正则到局部的转化与样本内学习，在多类基准任务上性能优于现有最优方法。
2023-11-07 cs.LG cs.MA
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind（深度思维）；Google（谷歌）
对于无穷小的学习率，随机梯度下降（SGD）遵循完整批量损失函数上的梯度流路径。然而，适度大的学习率可以实现更高的测试精度，并且这种泛化益处不能用收敛界限来解释，因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象，我们证明了随机洗牌的SGD，平均SGD也保持接近梯度流的路径，如果学习率是小的和有限的，但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成，该正则化子惩罚小批量梯度的范数。在温和的假设下，当批量较小时，隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证，明确包括隐式正则化的损失可以提高测试的准确性时，学习率是小的。
2021-01-28 cs.LG stat.ML
Minimum norm interpolation by perceptra: Explicit regularization and implicit bias
Texas A&M University（德克萨斯A&M大学）；Iowa State University（爱荷华州立大学）；University of Pittsburgh（匹兹堡大学）
本研究分析浅层ReLU网络插值行为，证明在特定权重衰减下经验风险最小化器收敛至最小范数插值，并数值探究优化算法的隐式偏差。
2023-11-10 cs.LG math.OC stat.ML
Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Michigan（密歇根大学）
本文提出 IPGD 方法，通过微小扰动和小偏差率，在过度参数化模型中实现隐式正则化，提升收敛到低维解的能力。
2025-12-09 cs.LG math.OC
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们目前的实验表明，一些其他形式的容量控制，不同的网络规模，在学习多层前馈网络中起着核心作用。我们认为，部分通过类比矩阵分解，这是一个归纳的偏见，可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
Implicit Gradient Alignment in Distributed and Federated Learning
IIT Kanpur（印度理工学院坎普尔分校）；EPFL（洛桑联邦理工学院）
在分布式和联邦学习中实现全局收敛的一个主要障碍是由于分布式数据的异构性和随机性而导致的跨客户端或小批量的梯度不一致。在这项工作中，我们表明，数据的异质性实际上可以利用隐式正则化来提高泛化性能。减轻异质性影响的一种方法是鼓励在整个培训过程中调整不同客户的梯度。我们的分析表明，这一目标可以通过利用正确的优化方法来实现，该方法复制了SGD的隐式正则化效果，从而实现梯度对齐以及测试精度的提高。由于SGD中这种正则化的存在完全依赖于在训练过程中顺序使用不同的minibatch，因此在使用大型minibatch进行训练时，它本质上是不存在的。为了在提高并行性的同时获得这种正则化的泛化优势，我们提出了一种新的GradAlign算法，该算法可以引入相同的隐式正则化，同时允许在每次更新中使用任意大的批次。我们通过实验验证了我们的算法在不同的分布式和联邦学习设置的好处。
2021-12-13 cs.LG stat.ML
