Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时，在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想，并提供经验和理论证据，足够小的步长和初始化足够接近原点，梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
为了更好地理解深度学习中的泛化，我们研究了几种可能的解释。我们表明，由优化方法诱导的隐式正则化在深度学习模型的推广和成功中起着关键作用。基于这种观点，我们研究了不同的复杂性度量如何确保泛化，并解释了优化算法如何隐式地正则化复杂性度量。我们从经验上研究了这些措施解释深度学习中观察到的不同现象的能力。我们进一步研究了神经网络中的不变性，提出了与神经网络中的不变性相似的复杂性度量和优化算法，并在一些学习任务上对其进行了评估。
2017-09-08 cs.LG
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
A Dynamics Theory of Implicit Regularization in Deep Low-Rank Matrix Factorization
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）
本文提出用景观分析研究深度矩阵分解中的隐式正则化，证明秩R矩阵重构需经历R个鞍点逃逸阶段后收敛到二阶临界点，并通过低秩重构实验验证该理论。
2023-08-11 cs.LG
Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven（荷语鲁汶大学）
利用行列式点过程（DPPs）的框架，可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中，我们表明，采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外，我们利用最先进的DPP算法的常见设置来采样多个小子集，并将它们用于无脊回归的集合中。我们的第一个实证结果表明，集成的无脊回归可能是有趣的，用于数据集，包括冗余信息。
2020-07-07 cs.LG stat.ML
Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University（特拉维夫大学）
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用，研究这种前景的标准测试平台是矩阵分解（通过线性神经网络完成矩阵）。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题，隐式正则化将所有范数（和准范数）推向无穷大，从反面解决了这个悬而未决的问题。我们的研究结果表明，而不是感知通过规范的隐式正则化，一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络，并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Implicit regularization of dropout
Shanghai Jiao Tong University（上海交通大学）
本研究推导并验证了dropout的隐式正则化理论，发现其能使隐藏神经元权重凝聚并找到更平坦的极小值，从而提升泛化能力，为全面理解dropout奠定基础。
2023-04-10 cs.LG
Implicit Rugosity Regularization via Data Augmentation
Rice University（莱斯大学）
深度（神经）网络已经在广泛的监督和无监督学习任务中得到了有效的应用。与经典的机器学习算法不同，深度网络通常在\emph{overparameterized}机制中运行，其中参数的数量大于训练数据点的数量。因此，理解这些网络的泛化性质和正则化（显式或隐式）的作用是非常重要的。在这项工作中，我们探讨了如何经常使用的启发式\emph{data augmentation}施加一个新的措施的\emph{rugosity}或“粗糙度”的基础上的正切海森函数适合训练数据的{ \em隐式正则化}罚款。
2019-10-10 cs.LG stat.ML
A Unified Approach to Controlling Implicit Regularization via Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于镜像下降的统一方法，用于在回归和分类中控制隐式正则化，证明其可收敛到广义最大间隔解，并通过实验展示其能够产生具有不同正则化项和泛化性能的模型。
2024-01-11 cs.LG
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion
Shanghai Jiao Tong University（上海交通大学）
本文研究矩阵补全中矩阵分解的隐式正则化，发现观测数据连通性决定模型从低核范数偏向低秩的转变，并通过层次不变流形遍历过程从理论上刻画训练轨迹，建立了保证最小核范数和最小秩的条件。
2025-04-14 cs.LG
Implicit Regularization in Tensor Factorization
Tel Aviv University（特拉维夫大学）
最近在深度学习中解开隐式正则化之谜的努力导致了对矩阵分解的理论关注-通过线性神经网络完成矩阵。作为迈向实际深度学习的一步，我们提供了张量因式分解中隐式正则化的第一个理论分析-通过某种类型的非线性神经网络实现张量完备化。我们规避了臭名昭著的困难张量问题，通过采用动力系统的角度来看，和表征的演变引起的梯度下降。的表征表明，贪婪的低张量秩搜索的形式，我们严格证明在某些条件下，和经验证明在其他情况下。受张量秩捕获非线性神经网络的隐式正则化的启发，我们将其作为复杂性的度量进行了经验探索，并发现它捕获了神经网络概括的数据集的本质。这让我们相信，张量秩可以为解释深度学习中的隐式正则化以及将这种隐式正则化转化为泛化的真实数据的属性铺平道路。
2021-06-09 cs.AI cs.LG cs.NE
Implicit Regularization in Deep Matrix Factorization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tel Aviv University（特拉维夫大学）
对深度学习中泛化之谜的理解使人们相信，基于梯度的优化引入了一种隐式正则化形式，即偏向于低“复杂度”的模型。“我们研究了深度线性神经网络上的梯度下降的隐式正则化，用于矩阵完成和检测，这是一个被称为深度矩阵分解的模型。我们的第一个发现，理论和实验的支持，是增加深度的矩阵分解增强了对低秩的解决方案的隐含趋势，往往导致更准确的恢复。其次，我们提出了理论和经验的论点质疑一个新生的观点，隐式正则化矩阵分解可以捕获使用简单的数学规范。我们的研究结果表明，标准正则化的语言可能不够丰富，无法完全包含基于梯度的优化所带来的隐式正则化。
2019-10-26 cs.AI cs.LG cs.NE
Geometry of Optimization and Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；MSR Cambridge（微软研究院剑桥）；Carnegie Mellon University（卡内基梅隆大学）
我们认为，通过隐式正则化，优化在深度学习模型的泛化中起着至关重要的作用。我们这样做是通过证明泛化能力不是由网络大小控制，而是由其他一些隐式控制。然后，我们展示了如何改变经验优化过程可以提高泛化，即使实际的优化质量不受影响。我们通过研究深度网络的参数空间的几何形状来实现这一点，并设计出一种与这种几何形状相协调的优化算法。
2017-05-08 cs.LG
Implicit regularization for deep neural networks driven by an Ornstein-Uhlenbeck like process
Stanford University（斯坦福大学）；Purdue University（普渡大学）；Institute for Advanced Study（高等研究院）
我们考虑通过随机梯度下降训练的网络，以最小化$\ell_2$损失，训练标签在每次迭代时受到独立噪声的干扰。我们描述了在任何参数向量附近实现零训练误差的训练动态的行为，根据对应于数据点上的总和的隐式正则化项，模型相对于参数向量的梯度的平方$\ell_2$范数，在每个数据点处评估。这适用于任何连通性、宽度、深度和激活函数选择的网络。我们将这个隐式正则化项解释为三个简单的设置：矩阵感测，在一维数据上训练的双层ReLU网络，以及在单个数据点上训练的具有sigmoid激活的双层网络。对于这些设置，我们展示了为什么这种新的和一般的隐式正则化效应将网络推向“简单”模型。
2020-07-22 cs.LG stat.ML
Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications
University of California, Santa Barbara（加州大学圣巴巴拉分校）
具有非常强的泛化性能的深度神经网络通常是过参数化的。尽管明确的正则化策略用于从业者以避免过度拟合，但影响通常很小。一些理论研究分析了随机梯度下降（SGD）在某些假设下对简单机器学习模型的隐式正则化效应。然而，它在最先进的模型和真实世界数据集中的实际行为仍然是未知的。为了弥补这一差距，我们研究了SGD隐式正则化在深度学习系统中的作用。我们表明，纯SGD往往收敛到最小值，在多个自然语言处理（NLP）任务中具有更好的泛化性能。这种现象与dropout共存，dropout是一个显式正则化子。此外，神经网络的有限学习能力并不影响SGD的隐式正则化效应的内在本质。具体来说，在有限的训练样本或某些损坏的标签下，隐式正则化效果仍然很强。我们进一步分析了稳定性，通过改变权重的初始化范围。我们证实了这些实验结果与决策边界可视化使用3层神经网络的解释。总之，我们的工作使我们能够深入了解隐式正则化如何影响深度学习模型，并为未来过参数化模型泛化能力的研究提供了指导。
2018-11-01 cs.CL cs.LG cs.NE
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Microsoft Research（微软研究院）；Canada CIFAR AI chair（加拿大高级研究所加拿大人工智能主席项目）
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应，沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型，我们激励和研究的启发式复杂性措施，捕捉这种现象，在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
Mirror, Mirror of the Flow: How Does Regularization Shape Implicit Bias?
CISPA Helmholtz Center for Information Security（信息安全霍普夫研究所）
本文将显式正则化纳入镜像流框架，分析其对隐式偏置的位置、类型和范围收缩的持久影响，并提出训练中关闭权重衰减以改善泛化。
2025-08-22 cs.LG
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University（京都大学工学部信息与数学科学学院）
过参数化神经网络在实践中推广得很好，无需任何显式正则化。尽管尚未得到证实，但经验证据表明，隐式正则化在深度学习中起着至关重要的作用，可以防止网络过度拟合。在这项工作中，我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量，以分析网络导数相对于输入参数的变化，并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明，每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降，以保持几乎直的样本之间的插值，这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
Implicit Regularization with Polynomial Growth in Deep Tensor Factorization
National Engineering School of Tunis, University of Tunis El Manar（突尼斯埃尔马纳尔大学突尼斯国立工程学院）；Aix Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Ecole Centrale de Marseille（马赛中央理工学院）
我们研究了张量因式分解中深度学习的隐式正则化效应。虽然通过线性和某些类型的非线性神经网络的深层矩阵和“浅层”张量因式分解的隐式正则化促进了最多二次增长的低秩解，但我们表明，其在深层张量因式分解中的效果随着网络的深度呈多项式增长。这为观察到的实验行为提供了非常忠实的描述。使用数值实验，我们证明了这种隐式正则化的好处，在产生一个更准确的估计和更好的收敛性能。
2022-07-25 cs.AI cs.LG cs.NE
Generalization Properties and Implicit Regularization for Multiple Passes SGM
Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）
研究了具有凸损失函数和线性参数化函数的随机梯度学习方法的推广性质。我们表明，在没有惩罚或约束的情况下，该算法的稳定性和近似特性可以通过调整步长或通过数据的数量来控制。在这个观点中，这些参数可以被看作是控制一种形式的隐式正则化。数值结果补充了理论研究结果。
2016-05-26 cs.LG stat.ML
The Implicit and Explicit Regularization Effects of Dropout
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
Dropout是一种广泛使用的正则化技术，通常需要获得许多架构的最新技术。这项工作表明，dropout引入了两个不同但纠缠的正则化效应：一个是显式效应（也在以前的工作中研究过），因为dropout修改了预期的训练目标，而可能令人惊讶的是，dropout训练更新中的随机性带来了额外的隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机性效应。我们通过对照实验来解开这两种效应。然后，我们推导出分析简化，其特征在于每个效果的衍生物的模型和损失，深度神经网络。我们证明了这些简化的解析正则化器准确地捕捉了dropout的重要方面，表明它们在实践中忠实地取代了dropout。
2020-10-15 cs.LG stat.ML
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning
Calculation Consulting（Calculation Consulting公司）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
随机矩阵理论（RMT）应用于分析深度神经网络（DNN）的权重矩阵，包括生产质量、预训练模型（例如AlexNet和Inception）以及从头开始训练的较小模型，例如LeNet 5和微型AlexNet。经验和理论结果清楚地表明，DNN训练过程本身隐含地实现了一种形式的自正则化。DNN层矩阵的经验谱密度（ESD）显示了传统正则化统计模型的特征，即使在没有外生指定传统形式的显式正则化的情况下。基于RMT中相对较新的结果，最值得注意的是其扩展到重尾矩阵的普遍性类，我们开发了一种理论来识别5+1训练阶段，对应于隐式自正则化的增加量。这些阶段可以在训练过程中以及最终学习的DNN中观察到。对于较小和/或较旧的DNN，这种隐式自正则化就像传统的Tikhonov正则化，因为存在将信号与噪声分离的“大小尺度”。然而，对于最先进的DNN，我们发现了一种新的重尾自正则化形式，类似于无序系统统计物理中的自组织。这是由于在所有大小尺度上产生的相关性，这是由于训练过程本身而隐含地产生的。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象，我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。这表明，在其他条件相同的情况下，具有较大批量的DNN优化会导致隐式正则化模型不太好，并为泛化间隙现象提供了解释。
2018-10-02 cs.LG stat.ML
The Implicit Regularization of Momentum Gradient Descent with Early Stopping
Northeast Normal University（东北师范大学）；Beihua University（北华大学）
基于梯度优化的隐式正则化问题是一个长期的研究课题。本文通过与显式$\ell_2$正则化（岭）的比较，刻画了具有提前停止的动量梯度下降（MGD）的隐式正则化。详细地说，我们在连续时间视图中研究了MGD，即所谓的动量梯度流（MGF），并表明其趋势比梯度下降（GD）更接近山脊[Ali等人，[2019]最小二乘回归此外，我们证明了，在校准$t=\sqrt{2/λ}$下，其中$t$是MGF中的时间参数，$λ$是岭回归中的调整参数，MGF的风险不超过岭的1.54倍。特别地，在最优调整下，MGF对脊的相对贝叶斯风险在1和1.035之间。数值实验有力地支持了我们的理论结果。
2022-01-14 cs.LG stat.ML
Convergence Analysis and Implicit Regularization of Feedback Alignment for Deep Linear Networks
Mila Institute（米拉研究所）；Saint Mary’s University（圣玛丽大学）；Université de Montréal（蒙特利尔大学）
我们从理论上分析了反馈对齐（FA）算法，一个有效的替代反向传播训练神经网络。我们为连续和离散动态的深度线性网络提供收敛保证。此外，我们还研究了浅层线性网络的增量学习现象。有趣的是，某些特定的初始化意味着可以忽略的组件在主要组件之前被学习，因此可能会对这种学习算法的有效性产生负面影响;我们将这种现象归类为隐式反正则化。我们还提供了初始化方案，其中问题的组件通过重要性降序近似学习，从而提供了一种隐式正则化形式。
2021-10-20 cs.LG math.OC stat.ML
Variational Deep Learning via Implicit Regularization
本文提出通过梯度下降的隐式偏见正则化变分神经网络，理论分析了过参数化线性模型中的归纳偏置，并实验证明其在分布内和分布外任务中的有效性。
2026-03-13 cs.AI cs.LG stat.ML
Implicit regularization and solution uniqueness in over-parameterized matrix sensing
Boston University（波士顿大学）；Rice University（莱斯大学）；University of Maryland（马里兰大学）
我们考虑过参数化线性矩阵分解中的算法选择是否引入了隐式正则化。我们专注于$\mathbb{R}^{n \times n}$中秩- $r$半正定（PSD）矩阵上的无噪声矩阵感知，其感知机制满足限制等距性质（RIP）。我们研究的算法是\emph{factored gradient descent}，其中我们模型的低秩和PSD约束与因子分解$UU^\top$，为$U \in \mathbb{R}^{n \times r}$。令人惊讶的是，最近的工作认为$r \leq n$的选择并不关键：即使设置$U \in \mathbb{R}^{n \times n}$也足以让因子梯度下降找到秩- $r$解，这表明对因子进行操作会导致隐式正则化。在这篇文章中，我们提供了一个不同的角度来看待隐式正则化问题。我们表明，在一定的条件下，PSD约束本身就足以导致一个独特的秩- $r$矩阵恢复，没有隐式或显式低秩正则化。\emph{I.e.}，在假设下，与观察到的数据一致的PSD矩阵的集合是单例的，无论使用的算法如何。
2019-09-13 cs.LG math.OC stat.ML
Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
加速和动量是机器学习和优化的现代应用中事实上的标准，但隐式正则化的大部分工作都集中在非加速方法上。在本文中，我们研究了Nesterov的加速梯度法和Polyak的重球法产生的迭代的统计风险，当应用于最小二乘回归时，绘制了几个连接到显式惩罚。我们在连续时间中进行分析，使我们能够做出比以前的工作更清晰的陈述，并揭示早期停止，稳定性和损失函数曲率之间的复杂相互作用。
2022-01-20 cs.LG math.OC stat.ML
Implicit Regularization for Multi-label Feature Selection
针对多标签学习中的特征选择问题，提出一种基于隐式正则化和标签嵌入的估计器，通过Hadamard积参数化避免显式正则化项的额外偏差，实验表明该方法可减少偏差并可能导致良性过拟合。
2026-06-01 cs.AI cs.LG
Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems
ETH Zurich（苏黎世联邦理工学院）
本文针对尺度不变问题提出均衡度概念，揭示SAM的隐式正则化机制，并据此设计资源高效的BAR方法，在LoRA微调语言模型中节省95%计算开销且提升性能。
2024-10-18 cs.LG stat.ML
Implicit Sparse Regularization: The Impact of Depth and Early Stopping
Texas A&M University（德克萨斯A&M大学）；AWS AI；New York University（纽约大学）
本文研究了稀疏回归梯度下降算法的隐偏差问题。我们将二次参数化回归的结果（相当于深度为2的对角线性网络）扩展到更一般的深度为N的网络，在更现实的噪声和相关设计设置下。我们发现，早期停止是至关重要的梯度下降收敛到一个稀疏的模型，我们称之为隐式稀疏正则化的现象。这一结果与无噪声和不相关设计情况下的已知结果形成鲜明对比。我们表征的深度和早期停止的影响，并表明，对于一般的深度参数N，梯度下降与早期停止实现极小极大最优稀疏恢复足够小的初始化和步长。特别是，我们表明，增加深度扩大规模的工作初始化和早期停止窗口，使这种隐式稀疏正则化效果更有可能发生。
2021-10-26 cs.LG stat.ML
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们目前的实验表明，一些其他形式的容量控制，不同的网络规模，在学习多层前馈网络中起着核心作用。我们认为，部分通过类比矩阵分解，这是一个归纳的偏见，可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Semi-Implicit Neural Ordinary Differential Equations
Argonne National Laboratory（阿贡国家实验室）；University of Iowa（爱荷华大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对显式方法在刚性学习问题中的稳定性缺陷，提出利用动力学可分解结构的半隐式神经常微分方程，通过增强稳定性和高效线性求解，在图分类和复杂动力系统学习中优于现有方法，并能训练显式和全隐式方法不可行的难题。
2024-12-15 cs.AI cs.LG
Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression
Duke University（杜克大学）
本文针对稀疏线性回归中最小ℓ₁和ℓ₂范数插值器均无法达到最优测试损失的问题，提出一种新的模型参数化方法，通过梯度下降产生结合ℓ₁与ℓ₂优点的隐式正则化效应，从而获得接近最优测试损失的插值器。
2023-05-26 cs.LG stat.ML
Minimum norm interpolation by perceptra: Explicit regularization and implicit bias
Texas A&M University（德克萨斯A&M大学）；Iowa State University（爱荷华州立大学）；University of Pittsburgh（匹兹堡大学）
本研究分析浅层ReLU网络插值行为，证明在特定权重衰减下经验风险最小化器收敛至最小范数插值，并数值探究优化算法的隐式偏差。
2023-11-10 cs.LG math.OC stat.ML
Tuning-Free Online Robust Principal Component Analysis through Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology Madras（电子工程系，印度理工学院马德拉斯）
针对标准在线鲁棒主成分分析（OR-PCA）依赖数据集敏感调参的问题，提出利用修正梯度下降的隐式正则化效应实现免调参，在模拟与真实数据集上表现优于或等同于调参后的OR-PCA，提升了大规模数据集的可扩展性。
2025-08-14 cs.CV cs.LG stat.ML
Drop-Activation: Implicit Parameter Reduction and Harmonic Regularization
Purdue University（普渡大学）；The University of Chicago（芝加哥大学）；National University of Singapore（新加坡国立大学）
过度拟合经常发生在深度学习中。在本文中，我们提出了一种新的正则化方法称为Drop激活，以减少过拟合和提高泛化能力。其关键思想是通过在训练时间内将非线性激活函数随机设置为恒等函数来丢弃非线性激活函数。在测试过程中，我们使用了一个确定性网络与一个新的激活函数编码的平均效果随机丢弃激活。我们的理论分析支持Drop-Activation作为隐式参数减少的正则化效应，并验证了其与批量归一化一起使用的能力（Ioffe和Szegedy 2015）。在CIFAR-10、CIFAR-100、SVHN、EMNIST和ImageNet上的实验结果表明，Drop-Activation通常可以提高图像分类任务的流行神经网络架构的性能。此外，作为正则化器，Drop-Activation可以与标准训练和正则化技术（如批量归一化和自动增强）协调使用（Cubuk et al. 2019）。代码可在\url{https://github.com/LeungSamWai/Drop-Activation}上获得。
2020-03-28 cs.LG stat.ML
How Neural Networks Learn the Support is an Implicit Regularization Effect of SGD
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文揭示小批量SGD通过正比于η/b的二阶隐式正则化效应，无需显式正则即可在第一层学习目标函数支撑集，而普通GD则需显式正则化，表明小批量能提升特征可解释性并降低对初始化的依赖。
2024-06-17 cs.LG math.OC stat.ML
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
隐式偏差或隐式正则化的概念被认为是解释现代超参数化学习算法令人惊讶的泛化能力的一种手段。这个概念指的是优化算法趋向于某种结构化的解决方案，这种解决方案通常很好地推广。最近，有几篇论文研究了隐式正则化，并能够在各种情况下识别这种现象。我们重新审视这一范例，可以说是最简单的非平凡的设置，并研究隐含的偏见的随机梯度下降（SGD）的背景下，随机凸优化。作为第一步，我们提供了一个简单的结构，排除了存在的\emph{distribution-independent}隐式正则化，管理泛化能力的SGD。然后，我们证明了一个学习问题，排除了一个非常一般的类\emph{distribution-dependent}隐式正则化解释推广，其中包括强凸正则化以及非退化的规范为基础的正则化。我们的构造的某些方面指出，在提供一个全面的解释算法的泛化性能，仅仅争论其隐式正则化属性的显着困难。
2020-12-22 cs.LG stat.ML
Optical Flow Regularization of Implicit Neural Representations for Video Frame Interpolation
Kobe University（神户大学）
最近的工作表明，隐式神经表征（INR）的能力进行有意义的表示信号的衍生物。在这项工作中，我们利用这一属性来执行视频帧插值（VFI）明确约束的导数的INR，以满足光流约束方程。我们只使用目标视频及其光流在有限的运动范围上实现了最先进的VFI，而不需要从额外的训练数据中学习插值算子。我们进一步表明，约束INR导数不仅可以更好地插值中间帧，而且还提高了窄网络的能力，以适应观察到的帧，这表明潜在的应用视频压缩和INR优化。
2022-06-22 cs.CV cs.LG
Offline Multi-Agent Reinforcement Learning with Implicit Global-to-Local Value Regularization
Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））；Beijing Jiaotong University（北京交通大学）；UT Austin（德克萨斯大学奥斯汀分校）；Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对现有离线多智能体强化学习未充分考虑全局系统的问题，提出带隐式全局到局部值正则化的OMIGA算法，实现全局正则到局部的转化与样本内学习，在多类基准任务上性能优于现有最优方法。
2023-11-07 cs.LG cs.MA
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind（深度思维）；Google（谷歌）
对于无穷小的学习率，随机梯度下降（SGD）遵循完整批量损失函数上的梯度流路径。然而，适度大的学习率可以实现更高的测试精度，并且这种泛化益处不能用收敛界限来解释，因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象，我们证明了随机洗牌的SGD，平均SGD也保持接近梯度流的路径，如果学习率是小的和有限的，但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成，该正则化子惩罚小批量梯度的范数。在温和的假设下，当批量较小时，隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证，明确包括隐式正则化的损失可以提高测试的准确性时，学习率是小的。
2021-01-28 cs.LG stat.ML
An Empirical Study of Implicit Regularization in Deep Offline RL
DeepMind（深度思维）
深度神经网络是离线强化学习中最常用的函数逼近器。先前的工作已经表明，用TD学习和梯度下降训练的神经网络可以表现出隐式正则化，其特征在于这些网络的参数化不足。具体而言，已观察到倒数第二个特征层（也称为\textit{effective rank}）的秩在训练期间急剧崩溃。反过来，这种崩溃被认为会降低模型在学习后期进一步适应的能力，导致最终性能下降。有效排名和性能之间的这种关联使得有效排名对于离线RL（主要是对于离线策略评估）是有吸引力的。在这项工作中，我们在三个离线RL数据集上对有效排名与性能之间的关系进行了仔细的实证研究：bsuite，Atari和DeepMind实验室。我们观察到，直接关联只存在于受限设置中，而在更广泛的超参数扫描中消失。此外，我们经验性地确定了三个阶段的学习，解释了隐式正则化对学习动力学的影响，并发现仅自举不足以解释有效秩的崩溃。此外，我们发现，其他几个因素可能混淆有效排名和性能之间的关系，并得出结论，在简单的假设下研究这种关联可能是高度误导。
2022-07-07 cs.LG
Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Michigan（密歇根大学）
本文提出 IPGD 方法，通过微小扰动和小偏差率，在过度参数化模型中实现隐式正则化，提升收敛到低维解的能力。
2025-12-09 cs.LG math.OC
Understanding Implicit Regularization in Over-Parameterized Single Index Model
Princeton University（普林斯顿大学）
在本文中，我们利用过参数化设计的正则化免费算法的高维单指标模型和诱导隐式正则化现象提供了理论保证。具体来说，我们研究了向量和矩阵单指标模型，其中链接函数是非线性和未知的，信号参数是稀疏向量或低秩对称矩阵，响应变量可以是重尾的。为了更好地理解隐式正则化在没有过多技术性的情况下所扮演的角色，我们假设协变量的分布是先验已知的。对于向量和矩阵设置，我们构建了一个过参数化的最小二乘损失函数，采用得分函数变换和一个强大的截断步骤，专门为重尾数据。我们建议通过将正则化自由梯度下降应用于损失函数来估计真实参数。当初始值接近原点且步长足够小时，我们证明了所得到的解在向量和矩阵两种情况下都达到了极小极大最优统计收敛率.此外，我们的实验结果支持我们的理论研究结果，也表明，我们的方法在经验上优于经典的方法与显式正则化的$\ell_2$ -统计率和变量选择的一致性。
2021-11-15 cs.LG math.OC stat.ME
Implicit Geometric Regularization for Learning Shapes
Weizmann Institute of Science（魏茨曼科学研究所）
将形状表示为神经网络的水平集最近已被证明对于不同的形状分析和重建任务是有用的。到目前为止，这样的表示是使用：（i）预先计算的隐式形状表示;或（ii）在神经水平集上明确定义的损失函数。在本文中，我们提供了一个新的范式，用于直接从原始数据计算高保真隐式神经表征（即，点云，具有或不具有法线信息）。我们观察到，一个相当简单的损失函数，鼓励神经网络在输入点云上消失，并具有单位范数梯度，具有隐式几何正则化属性，有利于光滑和自然的零水平集表面，避免坏的零损失解决方案。我们提供了一个理论分析的线性情况下，这个属性，并表明，在实践中，我们的方法导致国家的最先进的隐式神经表示与以前的方法相比，具有更高层次的细节和保真度。
2020-07-09 cs.CV cs.GR cs.LG
Implicit Gradient Alignment in Distributed and Federated Learning
IIT Kanpur（印度理工学院坎普尔分校）；EPFL（洛桑联邦理工学院）
在分布式和联邦学习中实现全局收敛的一个主要障碍是由于分布式数据的异构性和随机性而导致的跨客户端或小批量的梯度不一致。在这项工作中，我们表明，数据的异质性实际上可以利用隐式正则化来提高泛化性能。减轻异质性影响的一种方法是鼓励在整个培训过程中调整不同客户的梯度。我们的分析表明，这一目标可以通过利用正确的优化方法来实现，该方法复制了SGD的隐式正则化效果，从而实现梯度对齐以及测试精度的提高。由于SGD中这种正则化的存在完全依赖于在训练过程中顺序使用不同的minibatch，因此在使用大型minibatch进行训练时，它本质上是不存在的。为了在提高并行性的同时获得这种正则化的泛化优势，我们提出了一种新的GradAlign算法，该算法可以引入相同的隐式正则化，同时允许在每次更新中使用任意大的批次。我们通过实验验证了我们的算法在不同的分布式和联邦学习设置的好处。
2021-12-13 cs.LG stat.ML
LS-IQ: Implicit Reward Regularization for Inverse Reinforcement Learning
German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Centre for Cognitive Science（认知科学中心）
最近的模仿学习方法直接学习一个$Q$ -函数使用一个隐式的奖励公式，而不是一个显式的奖励函数。然而，这些方法通常需要隐式奖励正则化来提高稳定性，并且经常误处理吸收状态。以往的工作表明，平方范数正则化的隐式奖励函数是有效的，但没有提供一个理论分析的算法所产生的属性。在这项工作中，我们表明，使用这种正则化的混合分布的政策和专家提供了一个特别有启发性的观点：原来的目标可以被理解为平方贝尔曼误差最小化，相应的优化问题最大限度地减少了有界$χ^2$ -专家和混合分布之间的分歧。这种观点使我们能够解决不稳定性和正确对待吸收状态。我们表明，我们的方法，最小二乘逆Q学习（LS-IQ），优于最先进的算法，特别是在吸收状态的环境中。最后，我们建议使用逆动力学模型只从观察中学习。使用这种方法，我们在没有专家操作可用的设置中保持性能。
2023-03-01 cs.AI cs.LG cs.RO
Diversity sampling is an implicit regularization for kernel methods
KU Leuven（鲁汶大学）
核方法通过使用Nyström方法和预处理技术，在大规模回归和分类问题上取得了非常好的性能。Nyström近似--基于界标的子集--给出了核矩阵的低秩近似，并且已知提供了一种隐式正则化形式。我们进一步阐述了在监督和无监督内核方法中对不同地标进行采样以构建Nyström近似的影响。通过使用行列式点过程的采样，我们得到额外的理论结果之间的相互作用的多样性和正则化。从经验上讲，我们证明了基于不同点的子集训练核方法的优势。特别是，如果数据集有一个密集的散装和一个稀疏的尾巴，我们表明，Nyström内核回归与不同的地标增加了回归的准确性，在数据集的稀疏区域，相对于一个统一的地标采样。一个贪婪的启发式也提出了在大数据集内选择不同的样本的显着大小时，确切的DPP采样实际上是不可行的。
2020-02-20 cs.LG stat.ML
Mask in the Mirror: Implicit Sparsification
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
针对连续稀疏化中隐式L₁正则化优于显式L₁的现象，本文通过分析学习动态揭示其从隐式L₂到L₁的过渡机制，提出动态控制隐式偏置的PILoT方法，在实验中持续优于基线。
2025-02-12 cs.LG
The Implicit Regularization of Ordinary Least Squares Ensembles
Rice University（莱斯大学）
在一组独立预测器上求平均的包围方法，每个独立预测器都限于训练数据的示例和特征的子采样，这在机器学习中占有重要地位，例如一直流行的随机森林，但子采样效应的性质，特别是特征的性质，还没有得到很好的理解。我们研究的情况下，合奏的线性预测，其中每个单独的预测是适合使用普通最小二乘法的数据矩阵的随机子矩阵。我们发现，在标准高斯假设下，当为每个预测器选择的特征数量被最佳调整时，大集合的渐近风险等于渐近岭回归风险，这是已知的线性预测器中的最佳设置。除了引出这种由子采样产生的隐式正则化之外，我们还将这种集成与训练深度（神经）网络中使用的dropout技术联系起来，这是另一种已被证明具有脊状正则化效果的策略。
2020-03-24 cs.LG stat.ML
