Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Implicit Regularization in Matrix Sensing via Mirror Descent
University of Oxford（牛津大学）
我们研究离散时间镜像下降应用于矩阵传感的非正则化经验风险。在矩形矩阵的一般情况下和半正定矩阵的特殊情况下，根据Bregman散度进行的简单的基于势的分析允许我们建立镜像下降的收敛-具有不同的镜像映射选择-到一个矩阵，在经验风险的所有全局最小化中，最小化与核范数，Frobenius范数，和冯·诺依曼熵在这两种情况下，这种特征意味着镜像下降，一阶算法最小化非正则化的经验风险，恢复低秩矩阵在同一组假设下，足以保证恢复核范数最小化。当感测矩阵是对称的和可交换的，我们表明，梯度下降与满秩因子化参数化是一个一阶近似镜像下降，在这种情况下，我们得到一个明确的表征的隐式偏差梯度流作为副产品。
2021-10-27 cs.LG stat.ML
Nonconvex Rectangular Matrix Completion via Gradient Descent without $\ell_{2,\infty}$ Regularization
UC Davis（加州大学戴维斯分校）；Zhejiang University（浙江大学）
非凸矩阵完备化的分析由于其计算上的方便性，近年来在机器学习领域引起了广泛的关注。然而，对该问题的现有分析通常依赖于涉及未知模型参数的$\ell_{2,\infty}$投影或正则化，尽管观察到它们在数值模拟中是不必要的，参见例如，Zheng和Lafford [2016]。本文将Ma et al. [2017]提出的半正定矩阵完备的香草梯度下降分析扩展到矩形情况，更重要的是，将所需的采样率从$O(\operatorname{poly}(κ)μ^3 r^3 \log^3 n/n )$提高到$O(μ^2 r^2 κ^{14} \log n/n )$。我们的技术思想和贡献是潜在的有用的，在其他相关问题的改进留一法分析。
2020-05-20 cs.LG stat.ML
Efficient and Practical Stochastic Subgradient Descent for Nuclear Norm Regularization
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们描述了新的次梯度方法的广泛的一类矩阵优化问题，涉及核范数正则化。与现有的方法不同，我们的方法通过将低秩随机次梯度与高效的增量SVD更新相结合来执行非常便宜的迭代，通过对小矩阵进行高度优化和可并行化的密集线性代数运算来实现。我们的实用算法始终保持迭代的低秩因式分解，可以方便地保存在内存中，并有效地相乘以生成矩阵完成设置中的预测。实证比较证实，我们的方法是非常有竞争力的几个最近提出的国家的最先进的解决方案，这样的问题。
2012-06-27 cs.LG stat.ML
Iterate averaging as regularization for stochastic gradient descent
Universitat Pompeu Fabra（庞培法布拉大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）
我们提出并分析了经典的Polyak-Ruppert平均方案，广泛用于随机梯度方法的一个变体。而不是一个统一的平均值的迭代，我们考虑加权平均值，权重以几何方式衰减。在线性最小二乘回归的背景下，我们表明，这种平均计划具有相同的正则化效果，实际上是渐近等价的，岭回归。特别是，我们推导出有限样本的界限所提出的方法，匹配最好的已知结果正则化随机梯度方法。
2018-02-22 cs.LG stat.ML
Optimal Regularization Can Mitigate Double Descent
Harvard University（哈佛大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
最近的经验和理论研究表明，许多学习算法--从线性回归到神经网络--在样本大小和模型大小等数量上可以具有非单调的测试性能。这种引人注目的现象，通常被称为“双下降“，提出了一个问题，即我们是否需要重新思考我们目前对泛化的理解。在这项工作中，我们研究是否可以避免双下降现象，通过使用最佳正则化。理论上，我们证明了，对于某些线性回归模型的各向同性数据分布，最佳调整$\ell_2$正则化实现单调测试性能，因为我们增长的样本大小或模型大小。我们还证明了经验，优化调整的$\ell_2$正则化可以减轻更一般的模型，包括神经网络的双下降。我们的研究结果表明，在适当调整正则化的背景下研究各种算法的测试风险缩放也可能是有益的。
2021-04-29 cs.LG cs.NE math.ST
Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时，在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想，并提供经验和理论证据，足够小的步长和初始化足够接近原点，梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Explicit Regularization via Regularizer Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）
尽管对训练数据进行了完美的插值，但深度神经网络（DNN）通常可以很好地泛化，部分原因是学习算法引起的“隐式正则化”。尽管如此，各种形式的正则化，例如“显式正则化”（通过权重衰减），通常用于避免过拟合，特别是当数据损坏时。显式正则化有几个挑战，最明显的是不清楚的收敛性。受随机镜像下降（SMD）算法收敛特性的启发，我们提出了一种用正则化训练DNN的新方法，称为正则化镜像下降（RMD）。在高度过参数化的DNN中，SMD同时内插训练数据并最小化权重的某个潜在函数。RMD以标准成本开始，该标准成本是训练损失和权重的凸正则化器的总和。将此成本重新解释为“增强”过参数化网络的潜力，并应用SMD产生RMD。因此，RMD继承了SMD的性质，并可证明收敛到一个点“接近”这个成本的最小值。RMD在计算上与随机梯度下降（SGD）和权重衰减相当，并且可以以相同的方式并行化。我们在不同腐败程度的训练集上的实验结果表明，RMD的泛化性能非常鲁棒，明显优于SGD和权重衰减，这隐含和显式地正则化了权重的$\ell_2$范数。RMD还可以用于将权重正则化为期望的权重向量，这与持续学习特别相关。
2022-02-22 cs.LG math.OC stat.ML
Gradient descent follows the regularization path for general losses
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
最近在许多机器学习学科中的研究都强调，标准的下降方法，即使没有显式正则化，也不仅仅是最小化训练误差，而且还表现出隐式偏差。这种偏差通常是朝向某个正则化的解决方案，并且依赖于学习过程的细节，例如交叉熵损失的使用。在这项工作中，我们表明，对于经验风险最小化线性预测与任意凸，严格减少损失，如果风险没有达到其下确界，那么梯度下降路径和算法无关的正则化路径收敛到同一个方向（无论何时收敛到一个方向）。使用这个结果，我们提供了广泛使用的指数尾损失（如指数损失或逻辑损失）的理由：虽然这种收敛到一个方向的指数尾损失必然是最大利润的方向，其他损失，如多项式尾损失可能会导致收敛到一个方向与差的利润。
2020-06-19 cs.LG math.OC stat.ML
Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent
Peking University（北京大学）
我们提出了\textit{Meta-Regularization}，一种新的方法，自适应选择的学习率在一阶梯度下降方法。我们的方法通过在学习率上增加正则化项来修改目标函数，并将参数和学习率的联合更新过程转化为最大最小问题。给定任何正则化项，我们的方法有利于生成实用的算法。当\textit{Meta-Regularization}把$φ$ -散度作为正则化子时，所得到的算法具有与其他一阶梯度算法相当的理论收敛性能.此外，我们从理论上证明了一些设计良好的正则化可以改善收敛性能的目标函数的强凸性条件下。基准问题的数值实验表明，从一些常见的$φ$ -发散算法在全批以及在线学习设置的有效性。
2021-04-12 cs.LG
The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Sharp Minima and Regularization Effects
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
最近，在深度神经网络的背景下理解随机梯度下降（SGD）的行为引起了很多关注。沿着这条线，我们研究了一般形式的基于梯度的优化动力学无偏噪声，它统一了SGD和标准朗之万动力学。通过研究这种一般的优化动力学，我们分析了SGD从最小值逃逸的行为及其正则化效果。通过测量噪声协方差和损失函数的曲率来表征算法的最小值逃逸效率。在此基础上，建立了两个条件，以表明哪种类型的噪声结构在逃逸效率方面优于各向同性噪声。我们进一步证明了SGD中的各向异性噪声满足这两个条件，从而有助于有效地逃离尖锐和贫穷的最小值，走向更稳定和平坦的最小值，通常推广良好。我们系统地设计了各种实验来验证各向异性噪声的好处，与全梯度下降加各向同性扩散（即朗之万动力学）相比。
2019-06-10 cs.LG stat.ML
Analysis of the expected $L_2$ error of an over-parametrized deep neural network estimate learned by gradient descent without regularization
Technische Universität Darmstadt（达姆施塔特工业大学）
本文证明了在适当的初始化、步长和迭代步数下，无正则化的过参数化深度神经网络估计对有界预测变量具有普遍一致性，并在 Hölder 平滑及交互模型下推导出相应的 $L_2$ 误差收敛速度。
2023-11-24 cs.LG stat.ML
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是解决回归问题的非常有用的机器学习模型。然而，据我们所知，目前还没有一种有效的训练算法来确保它们的泛化性能，并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发，我们扩展了三种强大的神经网络优化技术，即，小批量梯度下降，正则化，AdaBound，TSK模糊系统，并提出了三种新的技术（DropRule，DropMF，和DropMembership）专门用于训练TSK模糊系统。我们的最终算法，mini-batch梯度下降正则化，DropRule和AdaBound（MBGD-RDA），可以实现快速收敛训练TSK模糊系统，并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而，它对大数据集特别有用，目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
On the Regularization Effect of Stochastic Gradient Descent applied to Least Squares
University of Washington（华盛顿大学）
我们研究了随机梯度下降应用于可逆$A \in \mathbb{R}^{n \times n}$的$\|Ax -b \|_2^2 \rightarrow \min$的行为。我们表明，有一个明确的常数$c_{A}$依赖（轻度）$A$，使$$ \mathbb{E} ~\left\| Ax_{k+1}-b\right\|^2_{2} \leq \left(1 + \frac{c_{A}}{\|A\|_F^2}\right) \left\|A x_k -b \right\|^2_{2} - \frac{2}{\|A\|_F^2} \left\|A^T A (x_k - x)\right\|^2_{2}.$$这是一个奇怪的不等式：最后一项有一个更多的矩阵应用于剩余的$u_k - u$比其余条款：如果$x_k - x$主要是由大奇异向量，随机梯度下降导致快速正则化。对于对称矩阵，这个不等式推广到高阶索伯列夫空间。这解释了一种（已知的）正则化现象：从大奇异值到小奇异值的能量级联平滑。
2020-09-01 cs.LG cs.NA math.NA
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind（深度思维）；Google（谷歌）
对于无穷小的学习率，随机梯度下降（SGD）遵循完整批量损失函数上的梯度流路径。然而，适度大的学习率可以实现更高的测试精度，并且这种泛化益处不能用收敛界限来解释，因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象，我们证明了随机洗牌的SGD，平均SGD也保持接近梯度流的路径，如果学习率是小的和有限的，但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成，该正则化子惩罚小批量梯度的范数。在温和的假设下，当批量较小时，隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证，明确包括隐式正则化的损失可以提高测试的准确性时，学习率是小的。
2021-01-28 cs.LG stat.ML
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Activation-Descent Regularization for Input Optimization of ReLU Networks
University of California San Diego（加利福尼亚大学圣迭戈分校）
提出一种针对 ReLU 网络的输入优化方法，通过将离散激活模式转化为可微表示并引入正则化项以改善局部下降性质，有效提升了对抗学习、生成建模和强化学习等领域的现有技术水平。
2024-06-01 cs.AI cs.LG
Iterative regularization in classification via hinge loss diagonal descent
Università di Genova（热那亚大学）；Athena RC（雅典娜研究中心）；MIT（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
该研究聚焦分类场景下的迭代正则化问题，提出基于hinge loss的对角下降迭代正则化方法，证明其收敛性、速率与稳定性，实验验证其性能优于其他同类方法。
2024-10-09 cs.LG math.OC stat.ML
Learning-to-Learn Stochastic Gradient Descent with Biased Regularization
IIT（意大利理工学院）
我们研究的问题，学习学习：推断一个学习算法，以及从一个未知的分布采样的任务。作为一类算法，我们考虑随机梯度下降的真实风险正规化的平方欧几里德距离的偏差向量。我们提出了一个平均超额风险界这样的学习算法。该结果量化了相对于无偏情况使用偏置向量的潜在益处。然后，我们解决的问题，估计从一系列的任务的偏见。我们提出了一个元算法，增量更新的偏见，观察到新的任务。这种方法的低空间和时间复杂度使得它在实践中很有吸引力。我们提供元算法的学习能力的保证。我们的研究结果的一个关键特征是，当任务的数量增长，他们的方差相对较小，我们的学习到学习的方法有一个显着的优势，孤立地学习每个任务的随机梯度下降没有偏见的条款。我们报告的数值实验，证明了我们的方法的有效性。
2019-03-25 cs.LG stat.ML
On the Effect of Regularization in Policy Mirror Descent
本文通过在小型强化学习环境中运行超50万训练种子的大规模实证分析，研究了PMD中距离项与MDP正则化器的相互作用，发现两者的精确组合对实现鲁棒性能至关重要。
2025-07-11 cs.LG
Preconditioning for Accelerated Gradient Descent Optimization and Regularization
Department of Mathematics, University of Kentucky（数学系，肯塔基大学）
本文通过预条件化理论探讨了加速梯度下降优化与正则化方法，分析了AdaGrad、RMSProp、Adam等算法的加速机制，并推导了AdamW和L1正则化的通用形式。
2025-12-29 cs.LG cs.NA math.NA
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks
University of Oxford（牛津大学）；Instadeep Ltd（Instadeep有限公司）；University of Southern California（南加州大学）
我们证明了梯度下降的线性收敛到一个全局最优的深度残差网络的训练与恒定的层宽度和光滑的激活函数。我们表明，如果训练的权重，作为一个函数的层索引，承认一个缩放限制的深度增加，那么限制有有限的$p-$变化与$p=2$。证明是基于非渐近估计的损失函数和范数的网络权重沿梯度下降path.We说明了我们的理论结果的相关性，实际设置使用详细的数值实验监督学习问题。
2023-01-25 cs.LG math.OC
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
The Implicit Regularization of Dynamical Stability in Stochastic Gradient Descent
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
本文从动力学稳定性视角分析 SGD 的隐式正则化，证明稳定最小值约束 Hessian 迹并等价于参数范数，从而解释大学习率 SGD 优于 GD 的泛化表现。
2023-06-01 cs.LG stat.ML
Algorithmic Regularization in Learning Deep Homogeneous Models: Layers are Automatically Balanced
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；University of Southern California（南加州大学）
我们研究了由梯度下降施加的隐式正则化，用于学习多层齐次函数，包括前馈全连接和卷积深度神经网络，具有线性，ReLU或Leaky ReLU激活。我们严格证明了梯度流（即具有无穷小步长的梯度下降）有效地强制不同层的平方范数之间的差异保持不变，而无需任何显式正则化。这一结果意味着，如果权重最初很小，梯度流会自动平衡所有层的大小。利用离散化方法，我们分析了非凸低秩非对称矩阵分解问题的正步长梯度下降算法。我们的研究结果的启发梯度流，我们证明了梯度下降步长$η_t = O\left(t^{-\left( \frac12+δ\right)} \right)$（$0<δ\le\frac12$）自动平衡两个低秩的因素，并收敛到一个有界的全局最优。此外，对于秩- $1$不对称矩阵分解，我们给出了一个更精细的分析，显示梯度下降与恒定的步长收敛到全局最小值在一个全局线性的速度。我们认为，在学习同质模型时检查一阶算法所施加的不变性的想法可以作为研究深度模型学习优化的基本构建块。
2018-10-31 cs.LG math.OC stat.ML
Stochastic Proximal Gradient Descent for Nuclear Norm Regularization
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）；Michigan State University（密歇根州立大学）
在本文中，我们利用随机优化，以减少空间复杂度性的凸复合优化与核范数正则化，其中变量是一个矩阵的大小$m \times n$。通过构造梯度的低秩估计，提出了一种基于随机邻近梯度下降（SPGD）的迭代算法，并将SPGD的最后一阶作为最终解。该算法的主要优点是其空间复杂度为$O(m+n)$，而以往的算法大多具有$O(mn)$空间复杂度。理论分析表明，该算法对一般凸函数和强凸函数分别具有$O(\log T/\sqrt{T})$和$O(\log T/T)$收敛速度.
2015-12-05 cs.LG
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文首次在梯度下降（而非梯度流）下严格证明了管状张量分解的隐式正则化，表明小随机初始化会使超参数化模型偏向低管状秩解，并通过数值模拟验证了理论动态与初始化的重要性。
2024-10-21 cs.LG math.OC math.ST
Random Smoothing Regularization in Kernel Gradient Descent Learning
Fudan University（复旦大学）；Purdue University（普渡大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出随机平滑正则化框架，通过核梯度下降算法自适应学习Sobolev空间函数，实现最优收敛速率并避免维数灾难，有效维数决定收敛速率。
2023-05-12 cs.LG stat.ML
Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization
California Institute of Technology（加州理工学院）；Department of Computing and Mathematical Sciences（计算与数学科学系）；Department of Electrical Engineering（电气工程系）
随机下降方法（梯度和镜像变种）在优化中变得越来越流行。事实上，现在人们普遍认识到，深度学习的成功不仅是由于模型的特殊深度架构，而且还由于所使用的随机下降方法的行为，这些方法在达到“好”解决方案方面发挥了关键作用，这些解决方案可以很好地推广到看不见的数据。为了解释为什么会这样，我们重新审视了线性模型平方损失的随机梯度下降（SGD）的一些极小极大性质-最初是在20世纪90年代开发的-并将其扩展到一般损失函数和非线性模型的一般随机镜像下降（SMD）算法。特别是，我们表明，有一个基本的身份，它适用于SMD（和SGD）在非常一般的条件下，这意味着极小极大最优的SMD（和SGD）足够小的步长，并为一般类的损失函数和一般的非线性模型。我们进一步表明，这个身份可以用来自然地建立其他属性的SMD（和SGD），即收敛性和隐式正则化的过参数化的线性模型（在现在被称为“插值制度”），其中一些已经在某些情况下，在以前的文献。我们还讨论了如何在所谓的“高度过度参数化”非线性设置（参数的数量远远超过数据点的数量）中使用这个恒等式，以深入了解为什么SMD（和SGD）可能具有类似的收敛性和隐式正则化属性，用于深度学习。
2019-01-17 cs.AI cs.LG math.OC
A Unified Approach to Controlling Implicit Regularization via Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于镜像下降的统一方法，用于在回归和分类中控制隐式正则化，证明其可收敛到广义最大间隔解，并通过实验展示其能够产生具有不同正则化项和泛化性能的模型。
2024-01-11 cs.LG
Distributed Coordinate Descent for L1-regularized Logistic Regression
Yandex（扬德克斯）；AVG Consulting（AVG咨询公司）
在分布式环境下求解L1正则化的逻辑斯谛回归是一个重要的问题。当训练数据集非常大并且无法容纳单个机器的内存时，就会出现这个问题。本文提出了一种在分布式环境下求解带L1正则化的逻辑斯谛回归的新算法d-GLMNET。我们的经验表明，它优于分布式在线学习通过截断梯度。
2014-11-24 cs.LG stat.ML
Stochastic gradient descent with initial regularization
ESCP Business School（ESCP商学院）
本文分析带初始正则化的随机梯度下降（SGDIR），推导其平方损失下的无维数上界，建立匹配的下界，通过实例级比较证明其期望超额风险不大于岭回归，数值实验验证理论结果。
2026-08-25 cs.LG math.OC stat.ML
Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Michigan（密歇根大学）
本文提出 IPGD 方法，通过微小扰动和小偏差率，在过度参数化模型中实现隐式正则化，提升收敛到低维解的能力。
2025-12-09 cs.LG math.OC
Exact expressions for double descent and implicit regularization via surrogate random design
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
双下降是指当改变参数数量和训练样本数量之间的比率时，由非正则化学习模型的泛化误差表现出的相变。最近高度过度参数化的机器学习模型（如深度神经网络）的成功激发了对经典模型（如线性回归）中双下降现象的理论分析，这些模型也可以在过度参数化的情况下很好地推广。给出了最小范数线性估计量的双下降的第一个精确非渐近表达式。我们的方法涉及到构造一个特殊的决定点过程，我们称之为替代随机设计，以取代标准的独立同分布。训练样本的设计。这种替代设计允许估计量的均方误差的精确表达式，同时保留标准设计的关键属性。我们还建立了一个精确的隐式正则化结果过参数化的训练样本。特别是，我们表明，对于代理设计，隐式偏差的非正则化最小范数估计精确对应于解决岭正则化最小二乘问题的人口分布。在我们的分析中，我们引入了一个新的数学工具的独立利益：类随机矩阵的行列式与期望互换。
2020-06-18 cs.LG math.ST stat.ML
Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications
University of California, Santa Barbara（加州大学圣巴巴拉分校）
具有非常强的泛化性能的深度神经网络通常是过参数化的。尽管明确的正则化策略用于从业者以避免过度拟合，但影响通常很小。一些理论研究分析了随机梯度下降（SGD）在某些假设下对简单机器学习模型的隐式正则化效应。然而，它在最先进的模型和真实世界数据集中的实际行为仍然是未知的。为了弥补这一差距，我们研究了SGD隐式正则化在深度学习系统中的作用。我们表明，纯SGD往往收敛到最小值，在多个自然语言处理（NLP）任务中具有更好的泛化性能。这种现象与dropout共存，dropout是一个显式正则化子。此外，神经网络的有限学习能力并不影响SGD的隐式正则化效应的内在本质。具体来说，在有限的训练样本或某些损坏的标签下，隐式正则化效果仍然很强。我们进一步分析了稳定性，通过改变权重的初始化范围。我们证实了这些实验结果与决策边界可视化使用3层神经网络的解释。总之，我们的工作使我们能够深入了解隐式正则化如何影响深度学习模型，并为未来过参数化模型泛化能力的研究提供了指导。
2018-11-01 cs.CL cs.LG cs.NE
Implicit Sparse Regularization: The Impact of Depth and Early Stopping
Texas A&M University（德克萨斯A&M大学）；AWS AI；New York University（纽约大学）
本文研究了稀疏回归梯度下降算法的隐偏差问题。我们将二次参数化回归的结果（相当于深度为2的对角线性网络）扩展到更一般的深度为N的网络，在更现实的噪声和相关设计设置下。我们发现，早期停止是至关重要的梯度下降收敛到一个稀疏的模型，我们称之为隐式稀疏正则化的现象。这一结果与无噪声和不相关设计情况下的已知结果形成鲜明对比。我们表征的深度和早期停止的影响，并表明，对于一般的深度参数N，梯度下降与早期停止实现极小极大最优稀疏恢复足够小的初始化和步长。特别是，我们表明，增加深度扩大规模的工作初始化和早期停止窗口，使这种隐式稀疏正则化效果更有可能发生。
2021-10-26 cs.LG stat.ML
Regularization in network optimization via trimmed stochastic gradient descent with noisy label
Chung-Ang University（中央大学）；University of Copenhagen（哥本哈根大学）
正则化对于避免网络优化中对训练数据的过拟合是必不可少的，从而导致训练网络的更好的泛化。标签噪声通过用均匀随机标签替换训练样本的目标基础事实标签来提供强隐式正则化。然而，由于与不正确的标签相关联的大量损失，它可能导致不期望的误导梯度。我们提出了一个一阶优化方法（标签噪声修剪SGD），使用标签噪声与示例修剪，以消除基于损失的离群值。该算法简单，但使我们能够施加一个大的标签噪声，并获得更好的正则化效果比原来的方法。通过比较标签噪声、示例修剪和所提出的算法的行为来进行定量分析。我们还提出了实证结果，证明了我们的算法的有效性，使用主要的基准和基本的网络，我们的方法已经成功地优于最先进的优化方法。
2022-05-03 cs.LG
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Geometric Regularization from Overparameterization
Automunge
与损失值相关联的权重集的分布的体积可能是来自过参数化的隐式正则化的来源，这是由于超球体所展示的几何图形随着维度的增加而收缩体积的现象。我们引入了几何正则化猜想，并通过考虑由沿着训练路径可用的潜在权重集更新的分布的内在维度收缩引起的类似性质来解释双下降现象，其中如果该分布在接近全局最小值时在体积对维度曲线峰值上收缩，则我们可以期望几何正则化重新出现。我们说明了如何数据保真度表示的复杂性可能会影响模型容量双下降插值阈值。起源于不同几何形式的历元和模型容量双下降曲线的存在可能意味着具有维度调整的n球体积对应的闭n流形的普遍性。
2022-09-25 cs.LG
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge（剑桥大学）；Eötvös Loránd University（罗兰大学）
在梯度下降中，改变我们参数化模型的方式可以导致截然不同的优化轨迹，从而产生一系列令人惊讶的有意义的归纳偏差：识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而，自然梯度下降对于重新参数化是近似不变的，它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了：如果我们消除参数化的作用，会发生什么？会找到哪个解？会出现什么新的性质？我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分，但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题，而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Combining learning rate decay and weight decay with complexity gradient descent - Part I
Data Science Institute（数据科学研究所）；Imperial College（帝国理工学院）
在深度神经网络而不是更传统的机器学习模型的特定情况下，$L^2$正则化的作用仍然没有完全阐明。我们假设，这种复杂的相互作用是由于过度参数化和高维现象的组合，在训练过程中发生，使其不适合标准的凸优化方法。利用统计物理和随机场理论的见解，我们引入了一个参数因子的损失函数和其剩余的非凸性的水平：\emph{complexity}。我们继续表明，这是可取的继续与\emph{complexity gradient descent}。然后，我们展示了如何使用这种直觉，以获得新的和有效的退火计划的强度时，执行标准的随机梯度下降在深度神经网络的$L^2$正则化。
2019-02-07 cs.LG stat.ML
Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models
University of Chicago（芝加哥大学）；University of Twente（特文特大学）
该研究建立了带Dropout正则化的SGD及平均SGD迭代的渐近理论，提出长期协方差在线估计器，实验验证大样本下置信区间接近标称覆盖概率。
2024-09-11 cs.LG math.ST stat.ML
Implicit Regularization of Accelerated Methods in Hilbert Spaces
Università degli Studi di Genova（热那亚大学）；Machine Learning Genoa Center（热那亚机器学习中心）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
研究了Hilbert空间中线性最小二乘问题的加速梯度下降方法的学习性质。我们分析了Nesterov加速度和重球的一个变体的隐式正则化性质，相应的学习误差界。我们的研究结果表明，加速可以提供更快的偏差衰减比梯度下降，但也遭受更不稳定的行为。因此，通常不能期望加速相对于梯度下降提高学习精度，而是期望加速以减少的计算实现相同的精度。数值模拟验证了我们的理论结果。我们的分析是基于研究适当的多项式引起的加速动力学和结合频谱技术与浓度不等式。
2019-12-16 cs.LG math.OC math.SP
Stochastic Mirror Descent on Overparameterized Nonlinear Models: Convergence, Implicit Regularization, and Generalization
California Institute of Technology（加州理工学院）
大多数现代学习问题都是高度过度参数化的，这意味着参数比训练数据点的数量多得多，因此，训练损失可能具有无限多个全局最小值（完美内插训练数据的参数向量）。因此，重要的是要了解我们收敛到哪些插值解，它们如何依赖于初始化点和学习算法，以及它们是否会导致不同的泛化性能。在本文中，我们研究了这些问题的家庭随机镜像下降（SMD）算法，其中流行的随机梯度下降（SGD）是一个特殊的情况。我们的贡献是理论和实验。在理论方面，我们表明，在overparameterized的非线性设置，如果初始化是足够接近的流形的全球最小值（的东西来免费的高度overparameterized的情况下），SMD具有足够小的步长收敛到一个全球最小值，这是近似最接近的一个Bregman发散。在实验方面，我们在标准数据集和模型上进行了大量实验，使用了各种初始化、各种镜像下降和各种Bregman分歧，一致证实了这种现象发生在深度学习中。我们的实验进一步表明，有一个由不同的SMD算法得到的解决方案的泛化性能的明显差异。在标准图像数据集和网络架构上进行实验，SMD具有不同类型的隐式正则化，$\ell_1$鼓励稀疏性，$\ell_2$产生SGD，以及$\ell_{10}$阻止参数向量中的大分量，一致且明确地表明，$\ell_{10}$-SMD具有比SGD更好的泛化性能，SGD又具有比$\ell_1$-SMD更好的泛化性能。
2019-06-10 cs.LG math.OC stat.ML
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出KRR的等价目标函数，利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归，并将其分别与符号梯度下降和坐标下降的早停解建立联系，提出高效计算方法，在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
Explicit Regularization in Overparametrized Models via Noise Injection
ETH Zürich（苏黎世联邦理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
在梯度下降内注入噪声具有若干期望的特征，诸如平滑和正则化属性。在本文中，我们研究了在计算梯度步长之前注入噪声的影响。我们证明，小扰动可以诱导显式正则化的简单模型的基础上的L1-范数，组L1-范数，或核规范。然而，当应用到过参数化的神经网络与大的宽度，我们表明，同样的扰动可以导致方差爆炸。为了克服这个问题，我们建议使用独立的逐层扰动，这可以证明允许显式正则化而不会出现方差爆炸。我们的实证结果表明，这些小扰动导致改进的泛化性能相比，香草梯度下降。
2023-01-22 cs.LG stat.ML
The Statistical Complexity of Early-Stopped Mirror Descent
University of Oxford（牛津大学）
最近，人们对基于梯度的迭代优化算法的隐式正则化性质的理解兴趣激增。本文研究了线性模型和核方法中应用提前停止的无约束镜像下降算法对具有平方损失的非正则化经验风险的超额风险的统计保证。通过完成一个不等式，凸的平方损失的特征，我们确定了一个内在的联系之间的偏移拉德马赫复杂度和潜在的基于镜像下降方法的收敛性分析。我们的观察立即产生超额风险保证的路径跟踪的镜像下降的迭代在偏移复杂度的某些功能类只取决于选择的镜像映射，初始化点，步长，和迭代次数。我们应用我们的理论恢复，在一个干净和优雅的方式，通过相当短的证明，最近的一些结果在隐式正则化文献，同时也显示了如何在某些设置中改进它们。
2020-08-27 cs.LG stat.ML
Chaotic Regularization and Heavy-Tailed Limits for Deterministic Gradient Descent
Nordita（北欧理论物理研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）；École Normale Supérieure, Université PSL（巴黎文理研究大学高等师范学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
最近的研究表明，梯度下降（GD）可以实现改进的泛化时，其动力学表现出混沌行为。然而，为了获得期望的效果，步长应该选择得足够大，这是一项依赖于问题的任务，并且在实践中可能是困难的。在这项研究中，我们将一个混沌组件GD在一个控制的方式，并引入多尺度扰动GD（MPGD），一种新的优化框架，GD递归增强混沌扰动，通过一个独立的动力系统。我们从三个不同的角度分析了MPGD：（i）通过建立在粗糙路径理论的最新进展，我们表明，在适当的假设下，随着步长的减小，MPGD递归弱收敛到一个随机微分方程（NND）驱动的重尾Lévy稳定过程。(ii)通过连接到最近开发的重尾过程的泛化界，我们得到了一个泛化界的限制，并与最坏情况下的泛化误差的过程的轨迹MPGD的参数。(iii)我们分析了隐式正则化带来的动力学正则化的效果，并表明，在弱扰动制度，MPGD引入惩罚的损失函数的海森的条款。实证结果证明了MPGD的优势。
2022-10-22 cs.LG math.DS math.PR
Implicit Regularization of Bregman Proximal Point Algorithm and Mirror Descent on Separable Data
Georgia Institute of Technology（佐治亚理工学院）；Duke University（杜克大学）
该研究针对Bregman邻近点算法（BPPA）理论研究不足的问题，分析可分数据下BPPA的隐式正则化特性，给出间隔下界并证明其与条件数的紧依赖，同时拓展到镜像下降并通过实验验证，填补了算法正则化领域的相关空白。
2023-08-25 cs.LG
Convergence Analysis of the Dynamics of a Special Kind of Two-Layered Neural Networks with $\ell_1$ and $\ell_2$ Regularization
本文推广了具有一个$ReLU$输出的两层无偏网络动力学的收敛性分析。我们考虑了两个流行的正则化项：参数向量$w$的$\ell_1$和$\ell_2$范数，并将其添加到系数为$λ/2$的平方损失函数中。我们证明了当$λ$很小时，在以原点为中心的球面上随机初始化下，权重向量$w$以概率$\geq (1-\varepsilon)(1-A_d)/2$收敛到最优解$\hat{w}$（关于新的损失函数），其中$\varepsilon$是一个小值，$A_d$是一个常数。数值实验包括相图和重复模拟验证了我们的理论。
2017-11-19 cs.LG stat.ML
Transfer Learning via $\ell_1$ Regularization
Toshiba Corporation（东芝公司）；The Institute of Statistical Mathematics（统计数理研究所）
机器学习算法通常需要在静止环境下的大量数据。然而，在许多实际应用中，环境是非平稳的。关键问题在于如何在不断变化的环境下有效地调整模型。我们提出了一种通过$\ell_1$正则化将知识从源域转移到目标域的方法。除了普通的$\ell_1$正则化之外，我们还将源参数和目标参数之间的差异的$\ell_1$正则化。因此，我们的方法产生稀疏的估计本身和估计的变化。该方法在平稳环境下具有严格的估计误差界，且在小残差下估计值与源估计值保持不变。此外，估计是一致的基本功能，即使源估计是错误的，由于非平稳性。实验结果表明，该方法有效地平衡了稳定性和塑性。
2020-06-26 cs.LG stat.ML
Neural Network Training Using $\ell_1$-Regularization and Bi-fidelity Data
University of Colorado（科罗拉多大学）
神经网络具有精确地表示物理系统模型的输入和感兴趣的输出量之间的函数关系的能力，在科学应用中，神经网络已经成为替代建模的流行。然而，由于这些网络是过度参数化的，它们的训练通常需要大量的数据。为了防止过拟合并改善泛化误差，基于例如，应用参数的$\ell_1$ -和$\ell_2$ -范数。类似地，可以修剪网络的多个连接以增加网络参数的稀疏性。在本文中，我们探讨了稀疏促进$\ell_1$ -正则化训练神经网络时，只有一个小的训练数据集，从高保真模型的影响。与标准的$\ell_1$ -正则化已知是不充分的，我们考虑$\ell_1$ -正则化的两个变体，由使用手头问题的较低保真度模型的数据训练的相同网络的参数通知。这些双保真度策略是神经网络的转移学习的推广，其使用从大型低保真度数据集学习的参数来有效地训练用于小型高保真数据集的网络。我们还比较了两个$\ell_1$ -正则化方法，只使用高保真数据集的双保真度策略。通过物理系统传播不确定性的三个数值例子表明，建议的双保真度$\ell_1$正则化策略产生的误差是一个数量级小于那些只使用高保真模型的数据集训练的网络。
2021-06-01 cs.LG stat.ML
