Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University（京都大学工学部信息与数学科学学院）
过参数化神经网络在实践中推广得很好，无需任何显式正则化。尽管尚未得到证实，但经验证据表明，隐式正则化在深度学习中起着至关重要的作用，可以防止网络过度拟合。在这项工作中，我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量，以分析网络导数相对于输入参数的变化，并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明，每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降，以保持几乎直的样本之间的插值，这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
The Implicit and Explicit Regularization Effects of Dropout
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
Dropout是一种广泛使用的正则化技术，通常需要获得许多架构的最新技术。这项工作表明，dropout引入了两个不同但纠缠的正则化效应：一个是显式效应（也在以前的工作中研究过），因为dropout修改了预期的训练目标，而可能令人惊讶的是，dropout训练更新中的随机性带来了额外的隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机性效应。我们通过对照实验来解开这两种效应。然后，我们推导出分析简化，其特征在于每个效果的衍生物的模型和损失，深度神经网络。我们证明了这些简化的解析正则化器准确地捕捉了dropout的重要方面，表明它们在实践中忠实地取代了dropout。
2020-10-15 cs.LG stat.ML
The Implicit Regularization of Momentum Gradient Descent with Early Stopping
Northeast Normal University（东北师范大学）；Beihua University（北华大学）
基于梯度优化的隐式正则化问题是一个长期的研究课题。本文通过与显式$\ell_2$正则化（岭）的比较，刻画了具有提前停止的动量梯度下降（MGD）的隐式正则化。详细地说，我们在连续时间视图中研究了MGD，即所谓的动量梯度流（MGF），并表明其趋势比梯度下降（GD）更接近山脊[Ali等人，[2019]最小二乘回归此外，我们证明了，在校准$t=\sqrt{2/λ}$下，其中$t$是MGF中的时间参数，$λ$是岭回归中的调整参数，MGF的风险不超过岭的1.54倍。特别地，在最优调整下，MGF对脊的相对贝叶斯风险在1和1.035之间。数值实验有力地支持了我们的理论结果。
2022-01-14 cs.LG stat.ML
Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems
ETH Zurich（苏黎世联邦理工学院）
本文针对尺度不变问题提出均衡度概念，揭示SAM的隐式正则化机制，并据此设计资源高效的BAR方法，在LoRA微调语言模型中节省95%计算开销且提升性能。
2024-10-18 cs.LG stat.ML
Implicit Sparse Regularization: The Impact of Depth and Early Stopping
Texas A&M University（德克萨斯A&M大学）；AWS AI；New York University（纽约大学）
本文研究了稀疏回归梯度下降算法的隐偏差问题。我们将二次参数化回归的结果（相当于深度为2的对角线性网络）扩展到更一般的深度为N的网络，在更现实的噪声和相关设计设置下。我们发现，早期停止是至关重要的梯度下降收敛到一个稀疏的模型，我们称之为隐式稀疏正则化的现象。这一结果与无噪声和不相关设计情况下的已知结果形成鲜明对比。我们表征的深度和早期停止的影响，并表明，对于一般的深度参数N，梯度下降与早期停止实现极小极大最优稀疏恢复足够小的初始化和步长。特别是，我们表明，增加深度扩大规模的工作初始化和早期停止窗口，使这种隐式稀疏正则化效果更有可能发生。
2021-10-26 cs.LG stat.ML
Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University（特拉维夫大学）
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用，研究这种前景的标准测试平台是矩阵分解（通过线性神经网络完成矩阵）。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题，隐式正则化将所有范数（和准范数）推向无穷大，从反面解决了这个悬而未决的问题。我们的研究结果表明，而不是感知通过规范的隐式正则化，一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络，并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
隐式偏差或隐式正则化的概念被认为是解释现代超参数化学习算法令人惊讶的泛化能力的一种手段。这个概念指的是优化算法趋向于某种结构化的解决方案，这种解决方案通常很好地推广。最近，有几篇论文研究了隐式正则化，并能够在各种情况下识别这种现象。我们重新审视这一范例，可以说是最简单的非平凡的设置，并研究隐含的偏见的随机梯度下降（SGD）的背景下，随机凸优化。作为第一步，我们提供了一个简单的结构，排除了存在的\emph{distribution-independent}隐式正则化，管理泛化能力的SGD。然后，我们证明了一个学习问题，排除了一个非常一般的类\emph{distribution-dependent}隐式正则化解释推广，其中包括强凸正则化以及非退化的规范为基础的正则化。我们的构造的某些方面指出，在提供一个全面的解释算法的泛化性能，仅仅争论其隐式正则化属性的显着困难。
2020-12-22 cs.LG stat.ML
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind（深度思维）；Google（谷歌）
对于无穷小的学习率，随机梯度下降（SGD）遵循完整批量损失函数上的梯度流路径。然而，适度大的学习率可以实现更高的测试精度，并且这种泛化益处不能用收敛界限来解释，因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象，我们证明了随机洗牌的SGD，平均SGD也保持接近梯度流的路径，如果学习率是小的和有限的，但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成，该正则化子惩罚小批量梯度的范数。在温和的假设下，当批量较小时，隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证，明确包括隐式正则化的损失可以提高测试的准确性时，学习率是小的。
2021-01-28 cs.LG stat.ML
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Recovery Bounds on Class-Based Optimal Transport: A Sum-of-Norms Regularization Framework
Chalmers University of Technology（查尔姆斯理工大学）；North Carolina State University（北卡罗来纳州立大学）
提出一种带范数和正则化项的凸最优传输规划及加速近端算法，在几何假设下可证明恢复类结构，实验表明其更好保留类结构且对数据几何更具鲁棒性。
2023-05-22 cs.LG stat.ML
Convergence Analysis and Implicit Regularization of Feedback Alignment for Deep Linear Networks
Mila Institute（米拉研究所）；Saint Mary’s University（圣玛丽大学）；Université de Montréal（蒙特利尔大学）
我们从理论上分析了反馈对齐（FA）算法，一个有效的替代反向传播训练神经网络。我们为连续和离散动态的深度线性网络提供收敛保证。此外，我们还研究了浅层线性网络的增量学习现象。有趣的是，某些特定的初始化意味着可以忽略的组件在主要组件之前被学习，因此可能会对这种学习算法的有效性产生负面影响;我们将这种现象归类为隐式反正则化。我们还提供了初始化方案，其中问题的组件通过重要性降序近似学习，从而提供了一种隐式正则化形式。
2021-10-20 cs.LG math.OC stat.ML
Implicit Regularization in Tensor Factorization
Tel Aviv University（特拉维夫大学）
最近在深度学习中解开隐式正则化之谜的努力导致了对矩阵分解的理论关注-通过线性神经网络完成矩阵。作为迈向实际深度学习的一步，我们提供了张量因式分解中隐式正则化的第一个理论分析-通过某种类型的非线性神经网络实现张量完备化。我们规避了臭名昭著的困难张量问题，通过采用动力系统的角度来看，和表征的演变引起的梯度下降。的表征表明，贪婪的低张量秩搜索的形式，我们严格证明在某些条件下，和经验证明在其他情况下。受张量秩捕获非线性神经网络的隐式正则化的启发，我们将其作为复杂性的度量进行了经验探索，并发现它捕获了神经网络概括的数据集的本质。这让我们相信，张量秩可以为解释深度学习中的隐式正则化以及将这种隐式正则化转化为泛化的真实数据的属性铺平道路。
2021-06-09 cs.AI cs.LG cs.NE
Implicit Regularization in Deep Matrix Factorization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tel Aviv University（特拉维夫大学）
对深度学习中泛化之谜的理解使人们相信，基于梯度的优化引入了一种隐式正则化形式，即偏向于低“复杂度”的模型。“我们研究了深度线性神经网络上的梯度下降的隐式正则化，用于矩阵完成和检测，这是一个被称为深度矩阵分解的模型。我们的第一个发现，理论和实验的支持，是增加深度的矩阵分解增强了对低秩的解决方案的隐含趋势，往往导致更准确的恢复。其次，我们提出了理论和经验的论点质疑一个新生的观点，隐式正则化矩阵分解可以捕获使用简单的数学规范。我们的研究结果表明，标准正则化的语言可能不够丰富，无法完全包含基于梯度的优化所带来的隐式正则化。
2019-10-26 cs.AI cs.LG cs.NE
Variational Deep Learning via Implicit Regularization
本文提出通过梯度下降的隐式偏见正则化变分神经网络，理论分析了过参数化线性模型中的归纳偏置，并实验证明其在分布内和分布外任务中的有效性。
2026-03-13 cs.AI cs.LG stat.ML
Implicit regularization and solution uniqueness in over-parameterized matrix sensing
Boston University（波士顿大学）；Rice University（莱斯大学）；University of Maryland（马里兰大学）
我们考虑过参数化线性矩阵分解中的算法选择是否引入了隐式正则化。我们专注于$\mathbb{R}^{n \times n}$中秩- $r$半正定（PSD）矩阵上的无噪声矩阵感知，其感知机制满足限制等距性质（RIP）。我们研究的算法是\emph{factored gradient descent}，其中我们模型的低秩和PSD约束与因子分解$UU^\top$，为$U \in \mathbb{R}^{n \times r}$。令人惊讶的是，最近的工作认为$r \leq n$的选择并不关键：即使设置$U \in \mathbb{R}^{n \times n}$也足以让因子梯度下降找到秩- $r$解，这表明对因子进行操作会导致隐式正则化。在这篇文章中，我们提供了一个不同的角度来看待隐式正则化问题。我们表明，在一定的条件下，PSD约束本身就足以导致一个独特的秩- $r$矩阵恢复，没有隐式或显式低秩正则化。\emph{I.e.}，在假设下，与观察到的数据一致的PSD矩阵的集合是单例的，无论使用的算法如何。
2019-09-13 cs.LG math.OC stat.ML
Limitation of Characterizing Implicit Regularization by Data-independent Functions
University of Illinois - Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
本文从数学上定义并研究了神经网络隐式正则化，提出两点和单点重叠机制，证明了使用数据无关函数刻画隐式正则化的局限性，强调了其深刻的数据依赖性。
2023-09-07 cs.LG
Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Prusa Research（普拉萨研究公司）；Institute for Robotics and Mechatronics, DLR-German Aerospace Center（德国航空航天中心机器人与机电研究所）
本文研究过参数化网络中梯度下降的隐式正则化，证明学习率在低范数与低锐度之间插值，且单一偏差不足以解释泛化，需考虑动态权衡。
2026-06-05 cs.LG stat.ML
AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow
Big Data Lab, Baidu Research（百度研究院大数据实验室）；School of Artificial Intelligence and Automation Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
主成分分析（PCA）作为一种有效的特征提取和降维技术得到了广泛的应用。在高维低样本量（HDLSS）设置中，人们可能更喜欢修改的主成分，带有惩罚载荷，并通过在这些不同模型中使用不同的惩罚来实现模型选择，从而实现自动惩罚选择。早期的工作[1，2]提出了惩罚主成分分析，指出了$L_2$ -惩罚主成分分析通过岭回归的求解路径进行模型选择的可行性，但由于矩阵求逆的计算量大，非常耗时。在本文中，我们提出了一种快速的惩罚PCA模型选择方法，称为近似梯度流（AgFlow），它通过引入（随机）梯度流[3，4]引入的隐式正则化效应来降低计算复杂度，并在不同的$L_2$ -正则化下获得$L_2$ -惩罚PCA的完整解路径。我们在真实世界的数据集上进行了大量的实验。AgFlow在计算成本方面优于现有方法（Oja [5]，Power [6]和Shamir [7]以及vanilla Ridge估计器）。
2021-10-07 cs.LG stat.ML
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nanjing University（南京大学）；Jilin University（吉林大学）
提出基于k-support范数的迭代正则化算法IRKSN，通过早停机制实现稀疏恢复，放宽了传统$\ell_1$范数方法的适用条件，并给出了具有显式常数的模型误差早停界限，实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
The Effective Number of Nonzeros: Theory and Regularization for Sparse Recovery
提出基于熵的有效稀疏度概念（ENZ），通过香农熵指数化衡量重要系数，证明其与ℓ0计数的关系，并引入Rényi族统一多种稀疏度量，在RIP条件下给出稳定性界，通过可分离熵代理实现高效计算。
2026-06-25 cs.LG stat.ML
Tuning-Free Online Robust Principal Component Analysis through Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology Madras（电子工程系，印度理工学院马德拉斯）
针对标准在线鲁棒主成分分析（OR-PCA）依赖数据集敏感调参的问题，提出利用修正梯度下降的隐式正则化效应实现免调参，在模拟与真实数据集上表现优于或等同于调参后的OR-PCA，提升了大规模数据集的可扩展性。
2025-08-14 cs.CV cs.LG stat.ML
How Neural Networks Learn the Support is an Implicit Regularization Effect of SGD
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文揭示小批量SGD通过正比于η/b的二阶隐式正则化效应，无需显式正则即可在第一层学习目标函数支撑集，而普通GD则需显式正则化，表明小批量能提升特征可解释性并降低对初始化的依赖。
2024-06-17 cs.LG math.OC stat.ML
The Implicit Bias of Logit Regularization
Raymond and Beverly Sackler School of Physics and Astronomy, Tel-Aviv University, Tel-Aviv 69978, Israel（雷蒙德与贝弗利·萨克勒物理与天文学学院，特拉维夫大学）；École Polytechnique Fédérale de Lausanne (EPFL), Switzerland（洛桑联邦理工学院（EPFL），瑞士）；Racah Institute of Physics, The Hebrew University of Jerusalem, Edmond J. Safra Campus, Jerusalem 9190401, Israel（拉卡姆物理研究所，耶路撒冷希伯来大学）；Selim Benin School of Computer Science and Engineering, The Hebrew University of Jerusalem, Edmond J. Safra Campus, Jerusalem 9190401, Israel（塞利姆·本因计算机科学与工程学院，耶路撒冷希伯来大学）
本文研究了对数几率正则化在线性分类中的隐含偏见，证明其诱导对数几率集中并提升泛化能力。
2026-02-13 cs.LG stat.ML
Implicit Regularization in Matrix Sensing via Mirror Descent
University of Oxford（牛津大学）
我们研究离散时间镜像下降应用于矩阵传感的非正则化经验风险。在矩形矩阵的一般情况下和半正定矩阵的特殊情况下，根据Bregman散度进行的简单的基于势的分析允许我们建立镜像下降的收敛-具有不同的镜像映射选择-到一个矩阵，在经验风险的所有全局最小化中，最小化与核范数，Frobenius范数，和冯·诺依曼熵在这两种情况下，这种特征意味着镜像下降，一阶算法最小化非正则化的经验风险，恢复低秩矩阵在同一组假设下，足以保证恢复核范数最小化。当感测矩阵是对称的和可交换的，我们表明，梯度下降与满秩因子化参数化是一个一阶近似镜像下降，在这种情况下，我们得到一个明确的表征的隐式偏差梯度流作为副产品。
2021-10-27 cs.LG stat.ML
On generalization bounds for deep networks based on loss surface implicit regularization
Komaba Institute for Science, the University of Tokyo（东京大学驹场科学研究所）；University of Twente（特文特大学）
经典的统计学习理论认为，拟合过多的参数会导致过拟合和性能下降。现代深度神经网络尽管有大量的参数，但仍能很好地泛化，这与这一发现相矛盾，并构成了解释深度学习成功的一个主要未解决的问题。虽然以前的工作集中在随机梯度下降（SGD）引起的隐式正则化，我们在这里研究如何局部最小值周围的能量景观的局部几何形状影响统计特性的SGD与高斯梯度噪声。我们认为，在合理的假设下，局部几何迫使SGD保持接近低维子空间，这会导致另一种形式的隐式正则化，并导致深度神经网络的泛化误差更严格。为了得到神经网络的推广误差界，我们首先引入了停滞集的概念，并施加一个局部本质凸性的人口风险。在这些条件下，下界SGD保持在这些停滞集。如果发生停滞，我们会推导出深度神经网络泛化误差的界，该界涉及权重矩阵的谱范数，但不涉及网络参数的数量。从技术上讲，我们的证明是基于控制SGD迭代中参数值的变化和经验损失函数的局部一致收敛，基于局部极小点周围合适邻域的熵。
2022-10-16 cs.LG stat.ML
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Regularization, sparse recovery, and median-of-means tournaments
介绍了一种正则化的风险最小化方法，用于回归函数估计，在一般条件下，包括重尾预测和响应变量，达到接近最优的精度和置信度。该过程基于作者在[8]中引入的均值比赛。结果表明，新的程序优于标准的正则化经验风险最小化程序，如套索或斜率重尾问题。
2017-11-29 math.ST stat.ML stat.TH
Implicit regularization of dropout
Shanghai Jiao Tong University（上海交通大学）
本研究推导并验证了dropout的隐式正则化理论，发现其能使隐藏神经元权重凝聚并找到更平坦的极小值，从而提升泛化能力，为全面理解dropout奠定基础。
2023-04-10 cs.LG
A Unified Approach to Controlling Implicit Regularization via Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于镜像下降的统一方法，用于在回归和分类中控制隐式正则化，证明其可收敛到广义最大间隔解，并通过实验展示其能够产生具有不同正则化项和泛化性能的模型。
2024-01-11 cs.LG
A Unified Framework for Constructing Nonconvex Regularizations
Zhejiang University City College（浙江大学城市学院）
在过去的几十年里，已经提出了许多个人的非凸方法，以实现更好的稀疏恢复性能在各种情况下。然而，如何构造有效的非凸正则化函数在实践中仍然是开放的。在本文中，我们填补了这一空白，提出了一个统一的框架来构建基于概率密度函数的非凸正则化。同时，研究了一种新的基于韦布尔分布的非凸稀疏恢复方法。
2021-06-11 cs.IT cs.LG math.IT
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导，$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的，因为相关的凸优化问题通常是易处理的，但在许多应用中已经表明，非凸惩罚可以产生显着更好的性能。近年来，基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣，事实上，它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域，包括压缩感知（CS）、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析（PCA）、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展，解决问题的惩罚选择，应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University（斯坦福大学）
批量归一化（BN）是一种常用的技术，用于加速和稳定深度神经网络的训练。尽管其经验的成功，一个完整的理论理解BN尚未开发。在这项工作中，我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架，以获得具有BN的权重衰减正则化ReLU网络的精确凸表示，该网络可以在多项式时间内进行训练。我们的分析还表明，最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外，我们发现，梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响，我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性，用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
Understanding Implicit Regularization in Over-Parameterized Single Index Model
Princeton University（普林斯顿大学）
在本文中，我们利用过参数化设计的正则化免费算法的高维单指标模型和诱导隐式正则化现象提供了理论保证。具体来说，我们研究了向量和矩阵单指标模型，其中链接函数是非线性和未知的，信号参数是稀疏向量或低秩对称矩阵，响应变量可以是重尾的。为了更好地理解隐式正则化在没有过多技术性的情况下所扮演的角色，我们假设协变量的分布是先验已知的。对于向量和矩阵设置，我们构建了一个过参数化的最小二乘损失函数，采用得分函数变换和一个强大的截断步骤，专门为重尾数据。我们建议通过将正则化自由梯度下降应用于损失函数来估计真实参数。当初始值接近原点且步长足够小时，我们证明了所得到的解在向量和矩阵两种情况下都达到了极小极大最优统计收敛率.此外，我们的实验结果支持我们的理论研究结果，也表明，我们的方法在经验上优于经典的方法与显式正则化的$\ell_2$ -统计率和变量选择的一致性。
2021-11-15 cs.LG math.OC stat.ME
The Implicit Regularization of Stochastic Gradient Flow for Least Squares
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了小批量随机梯度下降算法的隐正则化，并将其应用于最小二乘回归的基本问题。我们利用连续时间随机微分方程具有相同的时刻作为随机梯度下降，我们称之为随机梯度流。本文给出了随机梯度流在$t$时刻的超额风险的一个界，即带调节参数$λ= 1/t$的岭回归。可以从显式常数（例如，小批量、步长、迭代次数），精确地揭示了这些数量如何驱动超额风险。数值例子表明，界可以很小，表明两个估计之间的紧密关系。我们给出了随机梯度流系数与岭系数的类似结果。这些结果在数据矩阵$X$上的任何条件下都成立，并且跨越整个优化路径（不仅仅是在收敛时）。
2020-06-19 cs.LG math.OC stat.ML
Implicit Regularization in Deep Tensor Factorization
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统实验室）；Ecole Centrale de Marseille（马赛中央理工学院）
研究与梯度下降（GD）相关的隐式正则化的尝试已经将矩阵补全确定为合适的测试平台。最近的研究结果表明，这种现象不能被措辞为一个最小化规范的问题，这意味着一个范式的转变是必要的，必须考虑到动态。在目前的工作中，我们利用两个推广的张量因式分解，即Tucker和TensorTrain（TT），解决了更一般的张量完成设置。我们跟踪相关的量，如张量核范数，有效秩，广义奇异值，我们引入深度塔克和TT无约束因式分解来处理完成任务。在模拟数据和真实数据上的实验表明，梯度下降算法能够提高低秩解的质量，并验证了必须从动力学角度来解决这一问题的猜想.
2021-05-04 cs.AI cs.LG stat.ML
Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications
University of California, Santa Barbara（加州大学圣巴巴拉分校）
具有非常强的泛化性能的深度神经网络通常是过参数化的。尽管明确的正则化策略用于从业者以避免过度拟合，但影响通常很小。一些理论研究分析了随机梯度下降（SGD）在某些假设下对简单机器学习模型的隐式正则化效应。然而，它在最先进的模型和真实世界数据集中的实际行为仍然是未知的。为了弥补这一差距，我们研究了SGD隐式正则化在深度学习系统中的作用。我们表明，纯SGD往往收敛到最小值，在多个自然语言处理（NLP）任务中具有更好的泛化性能。这种现象与dropout共存，dropout是一个显式正则化子。此外，神经网络的有限学习能力并不影响SGD的隐式正则化效应的内在本质。具体来说，在有限的训练样本或某些损坏的标签下，隐式正则化效果仍然很强。我们进一步分析了稳定性，通过改变权重的初始化范围。我们证实了这些实验结果与决策边界可视化使用3层神经网络的解释。总之，我们的工作使我们能够深入了解隐式正则化如何影响深度学习模型，并为未来过参数化模型泛化能力的研究提供了指导。
2018-11-01 cs.CL cs.LG cs.NE
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Implicit Regularization of Accelerated Methods in Hilbert Spaces
Università degli Studi di Genova（热那亚大学）；Machine Learning Genoa Center（热那亚机器学习中心）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
研究了Hilbert空间中线性最小二乘问题的加速梯度下降方法的学习性质。我们分析了Nesterov加速度和重球的一个变体的隐式正则化性质，相应的学习误差界。我们的研究结果表明，加速可以提供更快的偏差衰减比梯度下降，但也遭受更不稳定的行为。因此，通常不能期望加速相对于梯度下降提高学习精度，而是期望加速以减少的计算实现相同的精度。数值模拟验证了我们的理论结果。我们的分析是基于研究适当的多项式引起的加速动力学和结合频谱技术与浓度不等式。
2019-12-16 cs.LG math.OC math.SP
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Implicit Regularization for Optimal Sparse Recovery
University of Oxford（牛津大学）
我们研究隐式正则化方案的梯度下降法适用于无惩罚的最小二乘回归，以解决问题的重建稀疏信号的欠定系统的线性测量下的限制等距假设。对于一个给定的参数化产生一个非凸优化问题，我们表明，规定的初始化，步长和停止时间的选择产生一个统计和计算上的最优算法，实现了极大极小率与相同的成本所需的读取数据的多对数因子。除了极大极小最优性，我们表明，我们的算法适应实例的难度，并产生一个维度独立的率时，信噪比是足够高的。我们的方法的计算效率的关键是一个不断增加的步长计划，适应真正的解决方案的精确估计。我们验证了我们的研究结果与数值实验，并比较我们的算法对明确的$\ell_{1}$处罚。从困难的实例到简单的，我们的算法被认为是经历了一个相变，最终匹配最小二乘与真正的支持的预言知识。
2019-09-11 cs.LG eess.SP stat.ML
Implicit Regularization of Gradient Flow on One-Layer Softmax Attention
Yale University（耶鲁大学）
本文研究单层softmax注意力模型梯度流的隐式正则化，证明其最小化键查询乘积的核范数，对应SVM问题，与合并训练的Frobenius范数正则化形成对比。
2024-03-13 cs.AI cs.LG math.OC
Combining Explicit and Implicit Regularization for Efficient Learning in Deep Networks
New York University（纽约大学）
本文提出一种仅在 Adam 等自适应优化器下生效的显式低秩惩罚，以模拟深度带来的隐式正则化，使简单单层网络达到深度线性网络的泛化性能。
2023-06-01 cs.AI cs.LG cs.NE
The Benefits of Implicit Regularization from SGD in Least Squares Problems
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
随机梯度下降（SGD）在实际应用中表现出很强的算法正则化效应，被认为在现代机器学习方法的推广中发挥了重要作用。在这项工作中，我们试图在更简单的线性回归设置（包括欠参数化和过参数化机制）中理解这些问题，我们的目标是对（非正则化）平均SGD提供的隐式正则化与岭回归的显式正则化进行基于实例的比较。对于一类广泛的最小二乘问题实例，（在高维环境中是自然的），我们表明：（1）对于每个问题实例和每个脊参数，（未正则化）SGD，当提供了比提供给脊算法的样本更多的样本时，一般化不比脊解决方案差（假设SGD使用调整的恒定步长）;（2）相反，存在最优调整岭回归需要比SGD二次更多的样本的情况（在这个广泛的问题类中），以便具有相同的泛化性能。两者合计，我们的研究结果表明，到对数因子，SGD的泛化性能总是不差于岭回归在广泛的overparameterized问题，事实上，可以更好地为一些问题的情况下。更一般地说，我们的结果表明，算法正则化具有重要的后果，即使在简单的（overparameterized）凸设置。
2022-07-11 cs.LG math.OC stat.ML
Non-negative least squares for high-dimensional linear models: consistency and sparse recovery without regularization
最小二乘拟合通常不适用于高维线性模型，其中预测变量的数量与样本的样本个数具有相同或甚至更大的数量级。近年来发展起来的理论创造了一种范式，根据这种范式，稀疏促进正则化被认为是在这种情况下的必要性。偏离这种模式，我们表明，非负约束的回归系数可能是同样有效的显式正则化，如果设计矩阵有额外的属性，这是满足在几个应用程序的非负最小二乘（NNLS）。我们表明，对于这些设计，NNLS的预测和估计方面的性能是可比的套索。我们认为，在特定情况下，NNLS可能有一个更好的$\ell_{\infty}$率估计，因此也支持恢复时，结合阈值的优势。从实际的角度来看，NNLS不依赖于正则化参数，因此更容易使用。
2014-02-12 math.ST stat.ML stat.TH
Implicit Regularization for Multi-label Feature Selection
针对多标签学习中的特征选择问题，提出一种基于隐式正则化和标签嵌入的估计器，通过Hadamard积参数化避免显式正则化项的额外偏差，实验表明该方法可减少偏差并可能导致良性过拟合。
2026-06-01 cs.AI cs.LG
Implicit Regularization or Implicit Conditioning? Exact Risk Trajectories of SGD in High Dimensions
Google Research（谷歌研究院）；McGill University（麦吉尔大学）
随机梯度下降（SGD）是现代机器学习的支柱，是各种问题的首选优化算法。虽然SGD的经验成功通常归因于其计算效率和良好的泛化行为，但这两种效果都没有得到很好的理解，并且解开它们仍然是一个悬而未决的问题。即使在凸二次问题的简单设置中，最坏情况下的分析也给出了SGD的渐近收敛速度并不比全批梯度下降（GD）更好，并且SGD的隐式正则化效应缺乏精确的解释。在这项工作中，我们研究了高维凸二次型上的多通道SGD的动力学，并建立了一个渐近等价的随机微分方程，我们称之为均匀化随机梯度下降（HSGD），其解决方案，我们明确的Volterra积分方程的特征。这些结果产生了精确的公式的学习和风险轨迹，揭示了一种机制的内隐条件反射，解释了效率的SGD相对于GD。我们还证明了SGD的噪声会对泛化性能产生负面影响，排除了在这种情况下任何类型的隐式正则化的可能性。最后，我们展示了如何适应HSGD的形式主义，包括流SGD，这使我们能够产生一个准确的预测多通道SGD相对于流SGD（引导风险）的超额风险。
2022-06-15 cs.LG math.OC math.PR
A General Theory of Concave Regularization for High Dimensional Sparse Estimation Problems
凹正则化方法提供了稀疏恢复的自然过程。然而，他们是难以分析的高维设置。只有最近的一些稀疏恢复结果已经建立了一些特定的局部解决方案，通过专门的数值程序。尽管如此，这些解决方案之间的基本关系，如他们是否是相同的或他们的关系，潜在的非凸制定的全球最小是未知的。本文填补了这一概念空白，提出了一个一般的理论框架，表明在适当的条件下，非凸正则化的全局解导致理想的恢复性能;此外，在适当的条件下，全局解对应于唯一的稀疏局部解，这可以通过不同的数值程序获得。在这个统一的框架下，我们提出了现有的结果的概述，并讨论它们的连接。这项工作的统一视图导致凹高维稀疏估计程序的一个更令人满意的治疗，并作为进一步发展凹正则化的数值程序的指导方针。
2012-02-11 stat.ML
Support recovery without incoherence: A case for nonconvex regularization
我们证明了原始-对偶见证证明方法可以用来建立变量选择的一致性和$\ell_\infty$ -界稀疏回归问题，即使当损失函数和/或正则化是非凸的。使用这种方法，我们得到两个定理的支持恢复和$\ell_\infty$ -保证的回归估计在一般设置。我们的研究结果提供了严格的理论依据使用非凸正则化：对于某些非凸正则化与消失的衍生物远离原点，支持恢复一致性可以保证，而不需要典型的不相干条件存在于$\ell_1$为基础的方法。然后，我们推导出几个推论，说明我们的方法分析复合目标函数，涉及损失，如最小二乘，非凸修正最小二乘误差变量线性回归，负对数似然广义线性模型，和图形拉索的广泛适用性。最后，我们用实证研究来证实我们的理论预测。
2014-12-17 cs.IT math.IT math.ST
Regularization and the small-ball method I: sparse recovery
当$Ψ$是范数且$F$是凸的时，我们得到了形式为\begin{equation*} \hat f \in {\rm argmin}_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\left(Y_i-f(X_i)\right)^2+λΨ(f)\right) \end{equation*}的正则化过程的估计差错率的界。我们的方法给出了一个通用的框架，可用于学习问题和正则化问题的分析。特别是，它揭示了一些稀疏性的各种概念的作用，在正规化和连接的大小的次微分的$Ψ$在附近的真正的极小。作为“概念证明”，我们扩展了已知的估计LASSO，斜率和迹范数正则化。
2017-01-03 math.ST stat.TH
Risk estimation for matrix recovery with spectral regularization
CEREMADE, CNRS, Université Paris-Dauphine（巴黎第九大学法国国家科学研究中心CEREMADE研究所）；GREYC, CNRS-ENSICAEN-Université de Caen（卡昂大学法国国家科学研究中心-卡昂国立高等工程师学院GREYC研究所）；IMB, Université Bordeaux 1（波尔多第一大学IMB研究所）
在本文中，我们开发了一种方法来递归估计的二次风险的矩阵恢复问题正则化谱函数。为了达到这个目的，在SURE理论的精神，一个关键的步骤是计算一个解相对于观测的（弱）导数和发散。由于这样的解决方案是不可用的封闭形式，而是通过一个近似的分裂算法，我们建议递归计算的发散迭代序列。我们解锁的第二个挑战是计算谱函数的邻近算子的（弱）导数。为了显示我们的方法的潜在适用性，我们将其应用于矩阵补全问题，以客观地自动选择正则化参数。
2012-11-01 cs.IT cs.LG math.IT
Support Recovery and $\ell_2$-Error Bound for Sparse Regression with Quadratic Measurements via Weakly-Convex-Concave Regularization
University of Manitoba（曼尼托巴大学）
本文研究了高维二次测量模型中弱凸-凹正则化估计器的有限样本性质，通过弱凸-凹惩罚最小二乘方法，建立了局部极小值解的支持恢复和ℓ₂误差界，采用两种近端梯度策略求解优化问题。
2026-04-14 cs.IT math.IT math.ST
Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Michigan（密歇根大学）
本文提出 IPGD 方法，通过微小扰动和小偏差率，在过度参数化模型中实现隐式正则化，提升收敛到低维解的能力。
2025-12-09 cs.LG math.OC
Joint Linear Trend Recovery Using L1 Regularization
本文研究了使用L1正则化方法从时间序列中恢复联合分段线性趋势，称为L1趋势滤波（Kim，Koh和Boyd，2009）。我们提供了一些充分条件下，L1趋势滤波器可以表现良好的均值估计和变化点检测。结果是双重的：对于均值估计，获得了几乎最优的一致率;对于变化点检测，可以以高概率恢复方向上的斜率变化。此外，我们还证明了弱不可表示条件是LASSO模型符号一致的必要条件（Zhao and Yu，2006），但对于一致变点检测是不必要的。L1趋势滤波器的性能进行了评估，通过一些有限的样本模拟研究。
2021-04-30 stat.ME
