Explicit Regularization via Regularizer Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）
尽管对训练数据进行了完美的插值，但深度神经网络（DNN）通常可以很好地泛化，部分原因是学习算法引起的“隐式正则化”。尽管如此，各种形式的正则化，例如“显式正则化”（通过权重衰减），通常用于避免过拟合，特别是当数据损坏时。显式正则化有几个挑战，最明显的是不清楚的收敛性。受随机镜像下降（SMD）算法收敛特性的启发，我们提出了一种用正则化训练DNN的新方法，称为正则化镜像下降（RMD）。在高度过参数化的DNN中，SMD同时内插训练数据并最小化权重的某个潜在函数。RMD以标准成本开始，该标准成本是训练损失和权重的凸正则化器的总和。将此成本重新解释为“增强”过参数化网络的潜力，并应用SMD产生RMD。因此，RMD继承了SMD的性质，并可证明收敛到一个点“接近”这个成本的最小值。RMD在计算上与随机梯度下降（SGD）和权重衰减相当，并且可以以相同的方式并行化。我们在不同腐败程度的训练集上的实验结果表明，RMD的泛化性能非常鲁棒，明显优于SGD和权重衰减，这隐含和显式地正则化了权重的$\ell_2$范数。RMD还可以用于将权重正则化为期望的权重向量，这与持续学习特别相关。
2022-02-22 cs.LG math.OC stat.ML
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University（密歇根州立大学）
众所周知，梯度下降（GD）中的有限步长（$h$）隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球（H.B）动量加速梯度下降（GD+M）的隐式正则化中起作用吗？".为了回答这个问题，首先，我们证明了离散H.B动量更新（GD+M）遵循由修改的损失引起的连续轨迹，该修改的损失由原始损失和隐式正则化子组成。然后，我们证明了（GD+M）的隐正则化子比（GD）强$(\frac{1+β}{1-β})$倍，从而解释了为什么（GD+M）比（GD）具有更好的推广性能和更高的测试精度.此外，我们将我们的分析扩展到具有动量（SGD+M）的梯度下降的随机版本，并在逐点意义上描述（SGD+M）的更新的连续轨迹。我们通过一系列实验验证了我们的理论，探索了（SGD+M）和（GD+M）中的隐式正则化。
2023-02-02 cs.LG math.OC
Implicit Bias of Linear Equivariant Networks
Massachusetts Institute of Technology（麻省理工学院）
群等变卷积神经网络（G-CNN）是卷积神经网络（CNN）的推广，其通过在其架构中显式地编码对称性（例如旋转和置换）而在广泛的技术应用中表现出色。虽然G-CNN的成功是由其\emph{explicit}对称性偏差驱动的，但最近的一系列工作提出，特定架构上的训练算法的\emph{implicit}偏差是理解过参数化神经网络泛化的关键。在这种情况下，我们证明了通过梯度下降训练的$L$层全宽线性G-CNN收敛到具有低秩傅立叶矩阵系数的解决方案，并通过$2/L$ -Schatten矩阵范数进行正则化。我们的工作严格地将先前关于线性CNN的隐式偏差的分析推广到所有有限群上的线性G-CNN，包括非交换群（如置换）的挑战性设置，以及无限群上的带限G-CNN。我们通过对各种群体的实验来验证我们的定理，并根据经验探索更现实的非线性网络，这些网络局部捕获类似的正则化模式。最后，我们通过不确定性原理对实空间中的傅里叶空间隐式正则化结果提供了直观的解释。
2022-09-13 cs.AI cs.LG
Bilevel learning of l1-regularizers with closed-form gradients(BLORC)
Michigan State University（密歇根州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们提出了一种方法，监督学习稀疏促进正则化，在许多现代信号重建问题的关键成分。学习正则化器的参数以最小化在地面真实信号和测量对的训练集上重建的均方误差。训练涉及解决具有非光滑低层目标的具有挑战性的双层优化问题。我们推导出一个表达式的梯度的训练损失使用的隐式封闭形式的解决方案的较低级别的变分问题给出其对偶问题，并提供了一个配套的梯度下降算法（被称为BLORC），以尽量减少损失。我们对简单自然图像和一维信号去噪的实验表明，该方法可以学习有意义的算子，计算的分析梯度比标准的自动微分方法更快。虽然我们提出的方法适用于去噪，但我们相信它可以适用于各种线性测量模型的逆问题，从而使其适用于各种场景。
2021-11-21 cs.LG
Implicit Gradient Regularization
DeepMind（深度思维）；Google（谷歌）
梯度下降在优化深度神经网络方面可以非常出色，而不会过度拟合，也不会显式正则化。我们发现梯度下降的离散步骤通过惩罚具有大损失梯度的梯度下降轨迹来隐式地正则化模型。我们称之为隐式梯度正则化（IGR），我们使用向后误差分析来计算这个正则化的大小。我们证实经验，隐式梯度正则化偏向梯度下降平坦的最小值，测试误差小，解决方案是强大的噪声参数扰动。此外，我们证明了隐式梯度正则化项可以用作显式正则化，使我们能够直接控制这个梯度正则化。更广泛地说，我们的工作表明，向后误差分析是一个有用的理论方法，学习率，模型大小和参数正则化如何相互作用，以确定使用梯度下降优化的过参数化模型的属性。
2022-07-18 cs.LG stat.ML
The Implicit and Explicit Regularization Effects of Dropout
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
Dropout是一种广泛使用的正则化技术，通常需要获得许多架构的最新技术。这项工作表明，dropout引入了两个不同但纠缠的正则化效应：一个是显式效应（也在以前的工作中研究过），因为dropout修改了预期的训练目标，而可能令人惊讶的是，dropout训练更新中的随机性带来了额外的隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机性效应。我们通过对照实验来解开这两种效应。然后，我们推导出分析简化，其特征在于每个效果的衍生物的模型和损失，深度神经网络。我们证明了这些简化的解析正则化器准确地捕捉了dropout的重要方面，表明它们在实践中忠实地取代了dropout。
2020-10-15 cs.LG stat.ML
Deep Learning: Generalization Requires Deep Compositional Feature Space Design
Indian Institute of Technology, Guwahati（印度理工学院古瓦哈提分校）
泛化误差定义了深度模型的可辨别性和表示能力。在这项工作中，我们声称，使用深层组合函数的特征空间设计在泛化以及显式和隐式正则化中起着重要作用。我们的主张正在建立与几个图像分类实验。我们表明，由于卷积和最大池的信息损失可以边缘化的组合设计，提高泛化性能。此外，我们将证明学习率衰减在深度模型训练中充当隐式正则化器。
2017-07-08 cs.LG stat.ML
Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm
University of California, Berkeley（加州大学伯克利分校）；CipherMode Labs（CipherMode实验室）；Microsoft Research（微软研究院）
我们提供了一个函数空间表征的归纳偏差，从最小化$\ell_2$范数的权重在多通道卷积神经网络与线性激活和经验测试我们的假设使用梯度下降训练的ReLU网络。我们在函数空间中定义了一个诱导正则化子作为实现一个函数所需的网络权值的最小$\ell_2$范数。对于具有$C$输出通道和核大小$K$的两层线性卷积网络，我们证明了以下内容：（a）如果网络的输入是单通道的，则任何$K$的诱导正则化子与输出通道的数量无关$C$。进一步，我们得到正则化子是由半定规划（SDP）给出的范数。(b)相比之下，对于多通道输入，可能需要多个输出通道来仅实现所有矩阵值线性函数，因此感应偏置确实取决于$C$。然而，对于足够大的$C$，诱导正则化子再次由独立于$C$的SDP给出。特别地，$K=1$和$K=D$（输入维数）的诱导正则化子以封闭形式给出，分别作为线性预测器的傅立叶系数的核范数和$\ell_{2,1}$组稀疏范数。我们通过在MNIST和CIFAR-10数据集上的实验，研究了我们的理论结果对线性和ReLU网络上的梯度下降隐式正则化的更广泛适用性。
2022-07-11 cs.LG stat.ML
Doubly Stochastic Models: Learning with Unbiased Label Noises and Inference Stability
Baidu Inc.（百度公司）；Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；BCG Greater China（波士顿咨询集团大中华区）
本文研究了SGD小批量采样下无偏标签噪声的隐式正则化效应，提出双重随机模型并证明其能提升模型推断稳定性，通过深度神经网络和线性回归实验验证了理论分析。
2023-04-01 cs.AI cs.LG
On Implicit Filter Level Sparsity in Convolutional Neural Networks
MPI For Informatics（马克斯·普朗克信息学研究所）；UNIST（蔚山科学技术院）；Saarland Informatics Campus（萨尔兰信息学园区）
我们研究了卷积神经网络（CNN）中出现的滤波器级稀疏性，CNN采用批量归一化和ReLU激活，并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。我们进行了广泛的实验研究铸造我们的初步研究结果的假设和结论的机制，潜在的紧急过滤器水平稀疏。这项研究允许新的洞察性能之间的差距obeserved自适应和非自适应梯度下降方法在实践中。此外，分析训练策略和超参数对稀疏性的影响，为设计CNN训练策略提供了实用建议，使我们能够探索特征选择性、网络容量和泛化性能之间的权衡。最后，我们表明，隐式稀疏性可以利用神经网络加速在平价或更好地比显式稀疏/修剪方法，而不需要修改典型的训练管道。
2019-04-05 cs.CV cs.LG eess.SP
On the Optimization of Deep Networks: Implicit Acceleration by Overparameterization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Google Brain（谷歌大脑）
深度学习的传统观点认为，增加深度可以提高表达能力，但会使优化复杂化。本文建议，有时，增加深度可以加快优化。深度对优化的影响与表现力无关，它关注的是附加层会过度参数化的设置--线性神经网络，一个研究得很好的模型。理论分析和实验表明，深度在这里起着加速收敛的预条件子的作用。即使在简单的凸问题上，例如具有$\ell_p$损失的线性回归，$p>2$，梯度下降也可以从过渡到非凸的过参数化目标中受益，而不是从一些常见的加速方案中受益。我们还证明了通过任何正则化子的梯度来获得过参数化的加速效果在数学上是不可能的。
2018-06-11 cs.LG
The Generalization Error of Stochastic Mirror Descent on Over-Parametrized Linear Models
California Institute of Technology（加州理工学院）
尽管深度网络被高度过度参数化，并且能够完全插值训练数据，但众所周知，深度网络可以很好地推广到看不见的数据。现在可以理解，部分原因是所使用的训练算法具有一定的隐式正则化属性，确保找到具有“良好”属性的插值解。这在线性过参数化模型中得到了最好的理解，其中已经表明，著名的随机梯度下降（SGD）算法找到了与初始权重向量的欧几里得距离最接近的插值解。如果我们用随机镜像下降（SMD）代替SGD，可以得到不同的正则化子，用Bregman发散代替欧几里得距离。经验观察表明，在深度网络环境中，SMD实现的泛化性能与SGD不同（并且这取决于SMD潜在函数的选择）。在试图开始理解这种行为，我们得到的泛化误差SMD过参数化线性模型的二进制分类问题，其中两个类是从高斯混合模型。我们提出了验证理论的仿真结果，特别是引入了两个数据模型，一个是SMD与$\ell_2$正则化器（即，SGD）的性能优于带有$\ell_1$正则化器的SMD，而对于后者，情况正好相反。
2023-02-18 cs.LG stat.ML
Multigrid-Augmented Deep Learning Preconditioners for the Helmholtz Equation using Compact Implicit Layers
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出一种结合多重网格与U-Net编码器-求解器CNN的深度学习预条件方法，通过在粗网格上引入隐式层缓解感受野限制，并采用多尺度训练，实现了对高波数非均匀亥姆霍兹方程更快速、可扩展的求解。
2024-03-06 cs.CE cs.LG
Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer
University of Alberta（阿尔伯塔大学）；York University（约克大学）
随着卷积神经网络（CNN）在物体识别方面变得更加准确，它们的表示变得与灵长类动物的视觉系统更加相似。这一发现启发了我们和其他研究人员，让他们思考是否也有相反的含义：如果CNN的表征变得更像大脑，网络是否会变得更准确？以前解决这个问题的尝试显示出非常有限的准确性增益，部分原因是正则化方法的局限性。为了克服这些限制，我们开发了一种新的CNN神经数据正则化器，它使用深度典型相关分析（DCCA）来优化CNN图像表示与猴子视觉皮层图像表示的相似性。使用这种新的神经数据正则化器，与以前最先进的神经数据正则化器相比，我们在分类准确性和超类内准确性方面都看到了更大的性能提升。这些网络对于对抗攻击也比非正规化的网络更健壮。总之，这些结果证实了神经数据正则化可以提高CNN的性能，并引入了一种获得更大性能提升的新方法。
2022-09-06 cs.CV cs.LG cs.NE
A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization
University of Utah（犹他大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
许多重要的机器学习应用涉及正则化非凸双层优化。然而，现有的基于梯度的双层优化算法不能处理非凸或非光滑的正则化子，并且它们在非凸双层优化中具有很高的计算复杂度。在这项工作中，我们研究了一个近似梯度型算法，采用近似隐式微分（AID）计划的非凸双层优化可能非凸和非光滑正则化。特别地，该算法应用Nesterov的动量来加速AID中涉及的隐式梯度的计算。通过确定算法的内禀势函数，全面分析了算法的全局收敛性。特别是，我们正式建立了收敛的模型参数的临界点的双层问题，并获得了改进的计算复杂度$\mathcal{O}(κ^{3.5}ε^{-2})$的国家的最先进的结果。此外，我们分析了该算法的渐近收敛速度下的一类局部非凸几何的特点是一个Eschojasiewicz型梯度不等式。超参数优化实验表明了该算法的有效性。
2022-06-03 cs.LG math.OC
Explicitly Bayesian Regularizations in Deep Learning
University of Delaware（特拉华大学）
泛化对于深度学习至关重要。与之前声称深度神经网络（DNN）具有由随机梯度下降实现的隐式正则化的作品相比，我们明确展示了特定类别DNN中的贝叶斯正则化，即，卷积神经网络（CNN）。首先，我们介绍了一种新的概率表示的CNN的隐藏层，并证明CNN对应于贝叶斯网络的串行连接。此外，我们还证明了接近输入的隐藏层形成先验分布，因此CNN具有基于贝叶斯正则化理论的显式贝叶斯正则化。此外，我们澄清了两个最近观察到的经验现象，是不符合传统的理论的泛化。最后，我们在一个合成数据集上验证了所提出的理论
2019-10-22 cs.LG stat.ML
PAC--Bayes Bounds on Quotient Parameter Spaces: Geometry-induced Implicit-Bias Priors
University of Trieste（的里雅斯特大学）；McGovern Institute, MIT（麻省理工学院麦戈文脑科学硏究所）
研究过参数化模型参数对称性下的 PAC - 贝叶斯分析，通过在商预测器空间构造规范参数化及考虑几何体积，将中性先验转换为反映模型隐式偏差的先验，实验验证其能降低相关指标。
2026-07-22 cs.LG stat.ML
The Implicit Bias of Logit Regularization
Raymond and Beverly Sackler School of Physics and Astronomy, Tel-Aviv University, Tel-Aviv 69978, Israel（雷蒙德与贝弗利·萨克勒物理与天文学学院，特拉维夫大学）；École Polytechnique Fédérale de Lausanne (EPFL), Switzerland（洛桑联邦理工学院（EPFL），瑞士）；Racah Institute of Physics, The Hebrew University of Jerusalem, Edmond J. Safra Campus, Jerusalem 9190401, Israel（拉卡姆物理研究所，耶路撒冷希伯来大学）；Selim Benin School of Computer Science and Engineering, The Hebrew University of Jerusalem, Edmond J. Safra Campus, Jerusalem 9190401, Israel（塞利姆·本因计算机科学与工程学院，耶路撒冷希伯来大学）
本文研究了对数几率正则化在线性分类中的隐含偏见，证明其诱导对数几率集中并提升泛化能力。
2026-02-13 cs.LG stat.ML
Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications
University of California, Santa Barbara（加州大学圣巴巴拉分校）
具有非常强的泛化性能的深度神经网络通常是过参数化的。尽管明确的正则化策略用于从业者以避免过度拟合，但影响通常很小。一些理论研究分析了随机梯度下降（SGD）在某些假设下对简单机器学习模型的隐式正则化效应。然而，它在最先进的模型和真实世界数据集中的实际行为仍然是未知的。为了弥补这一差距，我们研究了SGD隐式正则化在深度学习系统中的作用。我们表明，纯SGD往往收敛到最小值，在多个自然语言处理（NLP）任务中具有更好的泛化性能。这种现象与dropout共存，dropout是一个显式正则化子。此外，神经网络的有限学习能力并不影响SGD的隐式正则化效应的内在本质。具体来说，在有限的训练样本或某些损坏的标签下，隐式正则化效果仍然很强。我们进一步分析了稳定性，通过改变权重的初始化范围。我们证实了这些实验结果与决策边界可视化使用3层神经网络的解释。总之，我们的工作使我们能够深入了解隐式正则化如何影响深度学习模型，并为未来过参数化模型泛化能力的研究提供了指导。
2018-11-01 cs.CL cs.LG cs.NE
A Unified Approach to Controlling Implicit Regularization via Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种基于镜像下降的统一方法，用于在回归和分类中控制隐式正则化，证明其可收敛到广义最大间隔解，并通过实验展示其能够产生具有不同正则化项和泛化性能的模型。
2024-01-11 cs.LG
Generalization by design: Shortcuts to Generalization in Deep Learning
Technical University of Denmark（丹麦技术大学）
我们从几何学的角度出发，通过Bregman散度损失函数，对监督式深度学习提出了一个统一的观点-这需要频繁的分类和预测任务。受模拟的启发，我们认为，深度模型的香草随机梯度下降训练对"更简单"的函数基本上没有隐含的偏见。相反，我们表明，良好的推广可能会煽动有界谱产品层导致一种新的几何正则化。据透露，在足够深的模型，这样的正则化，使双方，极端的准确性和泛化，达到。我们将流行的正则化技术，如权重衰减、丢弃、批量归一化和提前停止与此观点联系起来。在理论的支持下，我们进一步证明了“设计泛化”在实践中是可能的，并且良好的泛化可以被编码到网络的结构中。我们设计了两个这样的易于使用的结构正则化，插入一个额外的\textit{generalization layer}到一个模型架构，一个跳过连接和另一个辍学。我们在各种前馈和卷积架构的实验中验证了我们的理论结果，包括ResNets和数据集（MNIST，CIFAR10，合成数据）。我们相信这项工作开辟了新的研究途径，以更好地推广架构。
2021-07-05 cs.LG math.DG math.PR
Learned Random Label Predictions as a Neural Network Complexity Metric
University of Münster（明斯特大学）
该研究通过引入可遗忘随机标签的多头CNN架构，将学习随机标签预测用作复杂度度量分析正则化效果、挑战传统CNN认知，并提出新型正则器减少样本记忆，为神经网络复杂度研究提供新方法。
2024-11-29 cs.LG
Self-Paced Learning: an Implicit Regularization Perspective
Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
自步调学习（SPL）模仿人类和动物的认知机制，从简单到困难的样本逐渐学习。SPL的一个关键问题是获得更好的加权策略，这是由极小化函数决定的。现有的方法通常通过人工设计SPL正则化子的显式形式来追求这一点。本文以最小化函数为研究对象，从鲁棒损失函数出发，提出了一组新的正则化函数，称为自定步长隐式正则化函数。基于凸共轭理论，自适应隐式正则化的极小化函数可以直接从隐式损失函数中学习得到，甚至可以知道正则化的解析形式.在此基础上，提出了一个SPL通用框架（SPL-IR）。我们证明了SPL-IR的学习过程与潜在的鲁棒损失函数有关，从而为SPL-IR的工作机制提供了一些理论启示。进一步分析了SPL-IR与半二次优化的关系。最后，我们实现了SPL-IR监督和无监督的任务，实验结果证实了我们的想法，并证明了隐式正则化的正确性和有效性。
2016-09-18 cs.CV cs.LG
Robust Bayesian Nonnegative Matrix Factorization with Implicit Regularizers
Microsoft Corporation（微软公司）
我们引入了一个概率模型，隐式范数正则化学习非负矩阵分解（NMF），通常用于预测缺失值和发现数据中的隐藏模式，其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负性约束通过选择具有非负子空间上的支持的先验来处理，例如，指数密度或基于指数函数的分布。贝叶斯推理过程的基础上吉布斯抽样。我们评估了几个真实世界的数据集，包括癌症药物敏感性的基因组学（GDSC $IC_{50}$）和基因体甲基化与不同的大小和尺寸的模型，并表明，所提出的贝叶斯NMF GL $_2^2$和GL $_\infty$模型导致不同的数据值的鲁棒预测，并避免过拟合与竞争贝叶斯NMF方法相比。
2022-08-22 cs.LG
Implicit Filter Sparsification In Convolutional Neural Networks
Max Planck Institute For Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
我们展示了卷积神经网络（CNN）中的隐式滤波器级稀疏性，CNN采用批量归一化和ReLU激活，并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。通过广泛的实证研究（Mehta等人，2019）我们假设了稀疏化过程背后的机制，并发现了与文献中提出的某些滤波器稀疏化算法的惊人联系。出现，并随后修剪的选择性功能被观察到的贡献机制之一，导致功能稀疏在平价或优于某些明确的稀疏/修剪方法。在这篇研讨会文章中，我们总结了我们的发现，并指出了选择性特征惩罚的推论，这些推论也可以用作过滤器修剪的算法
2019-05-13 cs.CV cs.LG stat.ML
Optimal Explicit and Implicit Regularization Strengths in High-Dimensional Continual Linear Regression
Technion（以色列理工学院）
该研究针对高维持续线性回归，推导梯度下降训练模型的泛化损失闭式表达式，确定最优步长与正则化强度，揭示任务变异性与隐式正则化的权衡，实验验证理论并为持续学习系统设计提供指导。
2026-10-16 cs.LG
Implicit Binarization via Complex Phase Dynamics in Combinatorial Optimization
School of Physics and Astronomy, Tel Aviv University（特拉维夫大学物理与天文学学院）；School of Electrical and Computer Engineering, Tel Aviv University（特拉维夫大学电气与计算机工程学院）
提出一种受物理启发的连续松弛框架，通过将离散二进制变量参数化为复单位圆上的连续波状状态，隐式正则化促进收敛到离散状态，显著提升NP难组合优化问题的求解性能。
2026-05-23 cond-mat.stat-mech cs.LG math.CO
Quantile Regularization: Towards Implicit Calibration of Regression Models
CSE Department, IIT Kanpur（印度理工学院坎普尔分校计算机科学与工程系）
最近的研究表明，大多数深度学习模型通常校准得很差，即，他们可能会产生错误的过度自信的预测。因此，期望具有产生可靠的预测不确定性估计的模型。最近已经提出了几种方法来校准分类模型。然而，校准回归模型的工作相对较少。我们提出了一种基于新的分位数正则化定义为两个CDF之间的累积KL分歧的回归模型的校准方法。与大多数现有的校准回归模型的方法不同，这些方法基于模型输出的事后处理，需要额外的数据集，我们的方法可以以端到端的方式进行训练，而不需要额外的数据集。所提出的正则化器可以与任何回归训练目标一起使用。我们还表明，事后校准方法，如等渗校准，有时复合误校准，而我们的方法提供了一贯更好的校准。我们提供的实证结果表明，所提出的分位数正则化器显着改善了使用Dropout VI和Deep Ensembles等方法训练的回归模型的校准。
2020-02-28 cs.LG stat.ML
Learned Proximal Networks for Quantitative Susceptibility Mapping
Johns Hopkins University（约翰斯·霍普金斯大学）；Kennedy Krieger Institute（肯尼迪·克里格研究所）
定量磁化率映射（QSM）通过解决不适定的偶极子反演问题，从磁共振（MR）相位测量中估计组织磁化率分布。传统的单方向QSM方法通常采用正则化策略来稳定这样的反演，但是可能遭受条纹伪影或过度平滑。多方向QSM，如计算磁化率通过多方向采样（COSMOS）可以得到良好的条件反演和伪影自由的解决方案，但有昂贵的采集成本。另一方面，卷积神经网络（CNN）在医学图像重建方面显示出巨大的潜力，尽管通常具有有限的可解释性。在这里，我们提出了一个学习近端卷积神经网络（LP-CNN），用于以迭代近端梯度下降的方式解决不适定的QSM偶极反演问题。这种方法结合了数据驱动的恢复先验的优势和迭代求解器的清晰可解释性，可以考虑偶极卷积的物理模型。在训练过程中，我们的LP-CNN通过它的近端学习一个隐式正则化器，从而实现重建算法中的前向算子和数据驱动参数之间的解耦。更重要的是，这个框架被认为是第一个深度学习QSM方法，可以自然地处理任意数量的相位输入测量，而不需要任何特别的旋转或重新训练。我们证明，与传统和深度学习方法相比，LP-CNN提供了最先进的重建结果，同时在重建过程中具有更大的灵活性。
2020-08-11 cs.CV cs.LG eess.IV
SGD: The Role of Implicit Regularization, Batch-size and Multiple-epochs
Google Research（谷歌研究院）；Cornell University（康奈尔大学）
多历元、小批量、随机梯度下降（SGD）一直是学习大型过参数化模型的首选方法。解释SGD在实践中运行良好的一个流行理论是，该算法具有隐式正则化，使其输出偏向好的解决方案。也许理论上最好理解的SGD学习设置是随机凸优化（SCO），其中众所周知SGD以$O(1/\sqrt{n})$的速率学习，其中$n$是样本的数量。在本文中，我们考虑的问题，SCO和探索的作用，隐式正则化，批量大小和多个时期的SGD。我们的主要贡献有三个方面：（a）我们证明了对于任何正则化器，都存在正则化经验风险最小化无法学习的SCO问题。这自动排除了SGD成功的任何基于隐式正则化的解释。(b)我们提供了SGD和学习之间的分离，通过梯度下降的经验损失（GD）的样本复杂性。我们证明了存在一个SCO问题，使得具有任何步长和迭代次数的GD只能以次优速率学习：至少$\widetildeΩ(1/n^{5/12})$。(c)我们提出了一个多时期的变体SGD在实践中常用的。我们证明，该算法至少是一样好的单通SGD在最坏的情况下。然而，对于某些SCO问题，在数据集上进行多次传递可以显著优于单次传递SGD。我们将我们的结果扩展到一般的学习设置，通过展示一个对于任何数据分布都是可学习的问题，并且对于这个问题，SGD对于任何正则化函数都严格优于RERM。最后，我们讨论了我们的结果对深度学习的影响，并展示了两层对角神经网络的SGD和ERM之间的…
2021-07-11 cs.AI cs.LG
Scaled Supervision is an Implicit Lipschitz Regularizer
Dartmouth College（达特茅斯学院）
针对CTR预测中二值标签监督丰富度不足导致的模型过拟合问题，本研究提出拓宽监督带宽的方法，证明其可作为隐式Lipschitz正则化器提升CTR模型泛化性，且无需额外超参数调优。
2025-03-19 cs.IR cs.LG
DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；MILA（蒙特利尔学习算法研究所）；Stanford University（斯坦福大学）
尽管过度参数化，但通过监督学习训练的深度网络很容易优化，并表现出出色的泛化能力。解释这一点的一个假设是，过度参数化的深度网络享受由随机梯度下降引起的隐式正则化的好处，这有利于在测试输入上推广良好的简约解决方案。可以合理地推测，深度强化学习（RL）方法也可以受益于这种效应。在本文中，我们讨论了在监督学习中看到的SGD的隐式正则化效应如何在离线深度RL设置中实际上是有害的，导致泛化能力差和退化的特征表示。我们的理论分析表明，当现有的隐式正则化模型应用于时间差分学习，所得到的派生正则化有利于退化的解决方案与过度的“混叠”，在鲜明的对比监督学习的情况下。我们根据经验支持这些发现，表明通过自举训练的深度网络价值函数学习的特征表示确实可以退化，混淆出现在Bellman备份两侧的状态-动作对的表示。为了解决这个问题，我们推导出这种隐式正则化的形式，并受到这种推导的启发，提出了一种简单有效的显式正则化，称为DR 3，抵消了这种隐式正则化的不良影响。当与现有的离线RL方法相结合时，DR 3大大提高了性能和稳定性，减轻了Atari 2600游戏，D4 RL领域和图像机器人操作中的遗忘。
2021-12-09 cs.LG
Learning Implicitly Recurrent CNNs Through Parameter Sharing
TTI-Chicago（芝加哥技术研究所（TTI-Chicago））；University of Chicago（芝加哥大学）
我们引入了一个参数共享方案，其中卷积神经网络（CNN）的不同层由来自全局模板库的参数张量的学习线性组合定义。限制模板的数量产生了传统CNN和递归网络的灵活混合。与传统的CNN相比，我们在标准图像分类任务上节省了大量参数，同时保持了准确性。我们简单的参数共享方案，虽然通过软权重定义，但在实践中通常会产生具有近乎严格的递归结构的训练网络;副作用可以忽略不计，它们转换为具有实际循环的网络。因此，训练这些网络隐含地涉及发现合适的递归架构。虽然只考虑了循环链接的设计方面，但我们训练的网络的准确性与使用最先进的神经架构搜索（NAS）程序构建的网络相比具有竞争力。我们对递归和卷积网络的混合也可能代表了有益的架构偏见。具体来说，在本质上是算法的合成任务上，我们的混合网络既能更快地训练，又能更好地外推，以测试训练集范围之外的示例。
2019-03-13 cs.LG stat.ML
The Receptive Field as a Regularizer in Deep Convolutional Neural Networks for Acoustic Scene Classification
LIT Artificial Intelligence Lab, Johannes Kepler University Linz（林茨约翰内斯·开普勒大学LIT人工智能实验室）
卷积神经网络（CNN）在许多机器视觉和机器听觉任务中取得了巨大的成功。因此，许多图像识别网络架构已被适配用于音频处理任务。然而，尽管取得了一些成功，其中许多的性能并没有从图像转换到音频域。例如，ResNet和DenseNet等深度架构在图像识别方面的表现明显优于VGG，但在声学场景分类（ASC）等音频处理任务中的表现并不好。在本文中，我们研究了为什么这种强大的架构在ASC中的表现不如简单的模型（例如，VGG）。为此，我们分析了这些CNN的感受野（RF），并证明了RF对模型泛化能力的重要性。使用我们的感受野分析，我们调整了ResNet和DenseNet，实现了最先进的性能，并最终超越了基于VGG的模型。我们介绍了在CNN中调整RF的系统方法，并给出了三个数据集的结果，这些数据集显示了RF随时间和频率维度的变化如何影响模型的性能。我们的实验结果表明，非常小或非常大的RF会导致性能下降，但通过在一定范围内仔细选择适当的RF大小，可以使深度模型很好地泛化。
2019-07-03 cs.LG cs.SD eess.AS
SVMax: A Feature Embedding Regularizer
University of Maryland, College Park（马里兰大学帕克分校）
神经网络正则化器（例如，权重衰减）通过显式地惩罚网络的复杂性来提高性能。在本文中，我们惩罚了劣质网络激活-特征嵌入-这反过来又隐式地正则化了网络的权重。我们提出了奇异值最大化（SVMax）来学习更均匀的特征嵌入。SVMax正则化器支持监督学习和无监督学习。我们的公式减轻了模型崩溃，使更大的学习率。我们使用检索和生成对抗网络来评估SVMax正则化器。我们利用高斯数据集的合成混合物来评估无监督设置中的SVMax。对于检索网络，SVMax在各种排名损失中实现了显着的改进幅度。代码可在https://bit.ly/3jNkgDt获得
2021-03-04 cs.CV cs.LG
When Does Removing LayerNorm Help? Activation Bounding as a Regime-Dependent Implicit Regularizer
Independent Researcher（独立研究者）
本文研究了移除层归一化对模型性能的影响，发现激活边界作为隐式正则化器在不同规模下表现不同，通过实验验证了动态tanh方法在不同参数和token规模下的效果差异。
2026-04-25 cs.CL cs.LG
TextureWGAN: Texture Preserving WGAN with MLE Regularizer for Inverse Problems
University of Wisconsin Milwaukee（威斯康星大学密尔沃基分校）
已经提出了许多算法和方法来解决逆问题，特别是最近对机器学习和深度学习方法的兴趣激增。在所有提出的方法中，最流行和有效的方法是具有均方误差（MSE）的卷积神经网络（CNN）。该方法在超分辨率、图像去噪、图像重建等方面都取得了较好的效果。然而，由于MSE的性质，该方法已知会过度平滑图像。基于MSE的方法最小化基线图像和由CNN生成的图像之间的所有像素的欧几里德距离，并且忽略像素的空间信息，诸如图像纹理。本文提出了一种基于Wasserstein GAN（WGAN）的反问题求解方法。我们表明，基于WGAN的方法是有效的，以保持图像的纹理。它还使用最大似然估计（MLE）正则化器来保持像素保真度。保持图像纹理和像素保真度是医学成像的最重要要求。我们使用峰值信噪比（PSNR）和结构相似度（SSIM）来定量评估所提出的方法。我们还进行了一阶和二阶统计图像纹理分析，以评估图像纹理。
2020-08-12 cs.LG eess.IV
Regularize implicit neural representation by itself
National University of Defense Technology（国防科技大学）；Xi’an Jiaotong University（西安交通大学）；Macau University of Science and Technology（澳门科技大学）
为了提高隐神经表征的泛化能力，提出了一种称为隐神经表征正则化器（INRR）的正则化器。INR是一个完全连接的网络，可以表示细节不受网格分辨率限制的信号。然而，它的泛化能力可以提高，特别是非均匀采样数据。所提出的INRR基于学习的狄利克雷能量（DE），其测量矩阵的行/列之间的相似性。拉普拉斯矩阵的平滑性通过用微小的INR参数化DE来进一步集成。INRR通过将信号的自相似性与拉普拉斯矩阵的平滑性完美地结合起来，提高了INR在信号表示中的通用性。通过精心设计的数值实验，揭示了INRR的一系列性质，包括动量方法，如收敛轨迹和多尺度相似性。此外，该方法可以改善其他信号表示方法的性能。
2023-03-27 cs.LG cs.NE
Why neural networks find simple solutions: the many regularizers of geometric complexity
Google（谷歌）；DeepMind（深度思维）；University College London（伦敦大学学院）
在许多情况下，更简单的模型比更复杂的模型更可取，并且控制这种模型复杂性是机器学习中许多方法的目标，例如正则化，超参数调整和架构设计。在深度学习中，很难理解复杂性控制的底层机制，因为许多传统的措施并不自然地适用于深度神经网络。在这里，我们开发了几何复杂性的概念，这是一个衡量模型函数的变异性，使用离散Dirichlet能量计算。结合理论论证和实证结果，我们表明，许多常见的训练算法，如参数范数正则化，谱范数正则化，平坦度正则化，隐式梯度正则化，噪声正则化和参数初始化的选择都可以控制几何复杂度，提供了一个统一的框架来表征深度学习模型的行为。
2022-12-23 cs.LG stat.ML
Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer
Northwestern University（西北大学）；Stanford University（斯坦福大学）；ByteDance Inc.（字节跳动公司）
针对RLHF中奖励模型不完美导致的过度优化问题，提出正则化偏好优化（RPO）算法，融合DPO与SFT损失缓解分布偏移和偏好不确定性，理论可证且实证优于DPO基线。
2024-12-04 cs.AI cs.LG stat.ML
Minimum norm interpolation by perceptra: Explicit regularization and implicit bias
Texas A&M University（德克萨斯A&M大学）；Iowa State University（爱荷华州立大学）；University of Pittsburgh（匹兹堡大学）
本研究分析浅层ReLU网络插值行为，证明在特定权重衰减下经验风险最小化器收敛至最小范数插值，并数值探究优化算法的隐式偏差。
2023-11-10 cs.LG math.OC stat.ML
Fully Implicit Online Learning
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
正则化在线学习广泛应用于机器学习应用中。在在线学习中，执行精确最小化（$i.e.,$隐式更新）已知有利于解的数值稳定性和结构。本文研究了一类正则化在线算法，我们称之为\emph{fully implicit online learning}（FIOL）。我们证明了对于任意Bregman发散，FIOL在一般凸情形下具有$O(\sqrt{T})$遗憾，在强凸情形下具有$O(\log T)$遗憾，并且该遗憾避免了线性化的逼近误差，具有一步改进效果.然后，我们提出了有效的算法来解决FIOL的子问题。我们表明，即使子问题的解决方案没有封闭的形式，它可以解决的线性化在线算法的复杂性。实验验证了所提出的方法。
2019-02-06 cs.LG stat.ML
Adaptive Regularization of Representation Rank as an Implicit Constraint of Bellman Equation
Ruhr University Bochum（波鸿鲁尔大学）；University of Maryland, College Park（马里兰大学帕克分校）；University of Liverpool（利物浦大学）
本研究提出基于贝尔曼方程的自适应秩正则化器BEER，通过约束表示秩提升深度强化学习性能，在12个控制任务中大幅超越基线。
2024-04-19 cs.AI cs.LG
Learning Discriminative features using Center Loss and Reconstruction as Regularizer for Speech Emotion Recognition
Samsung Research（三星研究院）
本文提出了一种受多任务学习（MTL）启发的卷积神经网络（CNN），它基于在softmax损失和中心损失（一种强大的度量学习策略）联合监督下训练的语音特征，用于语音中的情感识别。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征。我们实验了几种深度神经网络（DNN）架构，这些架构将语音特征作为输入，并在softmax和中心丢失下对其进行训练，从而获得了非常适合语音情感识别（SER）的高区分度特征。我们的网络还通过同时执行重建输入语音特征的辅助任务来使用正则化效应。相关任务之间的这种表示共享使我们的网络能够更好地概括SER的原始任务。与最先进的架构相比，我们提出的一些网络包含的参数要少得多。
2019-08-31 cs.LG cs.SD eess.AS
Learning Regularizers: Learning Optimizers that can Regularize
本研究探讨学习型优化器能否内化传统显式正则化技术，通过实验证明其在提升泛化能力上优于未正则化方法，并能将正则化效果迁移至新任务。
2025-10-10 cs.AI cs.LG
Implicit Convolutional Kernels for Steerable CNNs
University of Amsterdam（阿姆斯特丹大学）；Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；Qualcomm AI Research（高通人工智能研究院）
本文提出用隐式神经表示（MLP）参数化G-可操控核，使可操控CNN能灵活推广到任意可构建等变MLP的群，并在N体模拟、点云分类和分子性质预测等任务上验证了有效性。
2023-10-27 cs.AI cs.CV cs.LG
A Bayesian Perspective of Convolutional Neural Networks through a Deconvolutional Generative Model
Rice University（莱斯大学）；University of California at Berkeley（加州大学伯克利分校）；Baylor College of Medicine（贝勒医学院）；California Institute of Technology（加州理工学院）；NVIDIA（英伟达）
受卷积神经网络（CNN）在图像监督预测方面的成功启发，我们设计了解卷积生成模型（DGM），这是一种新的概率生成模型，其推理计算对应于给定CNN架构中的推理计算。DGM使用CNN来设计概率模型中的先验分布。此外，DGM生成从粗到细尺度的图像。它在每个尺度上引入了一小组潜变量，并通过共轭先验分布来加强所有潜变量之间的依赖关系。这种共轭先验产生了一个新的正则化器，该正则化器基于生成模型中渲染的路径来训练CNN-渲染路径归一化（RPN）。我们证明，这个正则化提高泛化，在理论和实践中。此外，DGM中的似然估计会产生CNN的训练损失，受此启发，我们设计了一种称为Max-Min交叉熵的新损失，它优于传统的交叉熵损失。Max-Min交叉熵提出了一种新的深度网络架构，即Max-Min网络，它可以从较少的标记数据中学习，同时保持良好的预测性能。我们的实验表明，DGM与RPN和Max-Min架构超过或匹配的最先进的基准，包括SVHN，CIFAR 10，和CIFAR 100的半监督和监督学习任务。
2019-12-09 cs.AI cs.CV cs.LG
Implicit Regularization in Deep Matrix Factorization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tel Aviv University（特拉维夫大学）
对深度学习中泛化之谜的理解使人们相信，基于梯度的优化引入了一种隐式正则化形式，即偏向于低“复杂度”的模型。“我们研究了深度线性神经网络上的梯度下降的隐式正则化，用于矩阵完成和检测，这是一个被称为深度矩阵分解的模型。我们的第一个发现，理论和实验的支持，是增加深度的矩阵分解增强了对低秩的解决方案的隐含趋势，往往导致更准确的恢复。其次，我们提出了理论和经验的论点质疑一个新生的观点，隐式正则化矩阵分解可以捕获使用简单的数学规范。我们的研究结果表明，标准正则化的语言可能不够丰富，无法完全包含基于梯度的优化所带来的隐式正则化。
2019-10-26 cs.AI cs.LG cs.NE
Aligned Weight Regularizers for Pruning Pretrained Neural Networks
Huawei Research Center（华为研究中心）
虽然各种途径的研究已经探索了迭代修剪，很少有人知道修剪有什么影响的zero-shot测试性能和修剪标准的选择其潜在的影响。这种修剪设置对于在预训练期间隐式学习语言表示之间的对齐的跨语言模型特别重要，如果通过修剪而扭曲，不仅会导致用于再训练的语言数据的性能较差，而且还会导致评估的zero-shot语言的性能较差。在这项工作中，我们表明，有一个明显的性能差异，在基于幅度的修剪时，比较标准的监督学习的zero-shot设置。根据这一发现，我们提出了两个权重正则化器，旨在最大限度地提高修剪和未修剪网络单元之间的对齐度，以减轻修剪跨语言模型中的对齐失真，并在非zero-shot和zero-shot设置下表现良好。我们提供的实验结果跨语言任务的zero-shot设置使用XLM-RoBERTa $_{\mathrm{Base}}$，我们还发现，修剪有不同程度的代表性退化取决于对应的语言的zero-shot测试集。这也是第一个研究，重点是跨语言的语言模型压缩。
2022-04-05 cs.CL cs.LG
Speech Recognition: Keyword Spotting Through Image Recognition
Institute for Clarity in Documentation（文档清晰度研究所）；Brookhaven Laboratories（布鲁克海文实验室）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）；Palmer Research Laboratories（帕尔默研究实验室）
识别语音命令的问题一直是一个挑战，由于存在噪声和变化的速度，音高等，我们将比较几个神经网络架构的语音识别问题的效力。特别是，我们将建立一个模型来确定一个一秒的音频片段是否包含一个特定的单词（从一组10个单词中），一个未知的单词或沉默。要实现的模型是Tensorflow语音识别教程推荐的CNN、低延迟CNN和经过逆向训练的CNN。其结果是演示了如何将音频识别中的问题转换到更好地研究的图像分类领域，其中卷积神经网络的强大技术得到了充分发展。此外，我们证明了虚拟对抗训练（VAT）技术在这个问题领域的适用性，作为一个强大的正则化器，具有潜在的未来应用前景。
2020-11-24 cs.LG stat.ML
Visual Language Modeling on CNN Image Representations
The University of Tokyo（东京大学）
测量图像的自然度对于生成逼真的图像或检测图像中的不自然区域是重要的。另外，测量自然度的方法可以与基于卷积神经网络（CNN）的特征互补，已知基于卷积神经网络的特征对图像的自然度不敏感。然而，大多数概率图像模型都没有足够的能力来模拟我们感觉到的复杂和抽象的自然性，因为它们直接建立在原始图像像素上。在这项工作中，我们假设自然度可以通过眼动过程中高层次特征的可预测性来衡量。基于这一假设，我们提出了一种新的方法来评估自然度，通过建立一个变体的递归神经网络语言模型的预训练CNN表示。我们的方法应用于两个任务，证明1）使用我们的方法作为正则化器使我们能够从图像特征生成比现有方法更易于理解的图像，2）我们的方法产生的不自然映射在两个经过充分研究的数据集上实现了最先进的眼睛注视预测性能。
2015-11-09 cs.AI cs.CV cs.LG
Learning Interpretable Concept Groups in CNNs
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；Technical University of Berlin（柏林工业大学）；University of Birmingham（伯明翰大学）；NPZ Innovation GmbH（NPZ创新有限公司）；University of St.Gallen（圣加仑大学）
我们提出了一种新的训练方法-概念组学习（CGL）-通过将每层中的过滤器划分为概念组，每个概念组都被训练来学习单个视觉概念，从而鼓励训练可解释的CNN过滤器。我们通过一种新的正则化策略来实现这一点，该策略迫使同一组中的过滤器在给定层的相似图像区域中处于活动状态。我们还使用正则化器来鼓励每一层中概念组的稀疏加权，以便少数概念组可以比其他概念组具有更大的重要性。我们定量评估CGL的模型的可解释性，使用标准的可解释性评估技术，发现我们的方法在大多数情况下增加了可解释性分数。我们比较了使用CGL学习的过滤器与没有CGL学习的过滤器下最活跃的图像区域，发现CGL激活区域更强烈地集中在语义相关的特征周围。
2021-09-21 cs.CV cs.LG
MAP Image Recovery with Guarantees using Locally Convex Multi-Scale Energy (LC-MUSE) Model
University of Iowa（爱荷华大学）；University of Virginia（弗吉尼亚大学）
本文提出局部凸多尺度能量模型LC-MuSE，通过约束CNN梯度局部单调实现强凸能量表示，用于图像逆问题求解，在并行MR重建中优于凸正则化器并达到与即插即用和端到端方法相当的性能。
2025-02-05 cs.CV cs.LG eess.IV
A Test-Time Learning Approach to Reparameterize the Geophysical Inverse Problem with a Convolutional Neural Network
University of British Columbia（不列颠哥伦比亚大学）
本研究提出一种基于卷积神经网络的测试时学习地球物理反演重参数化方法，利用CNN固有隐式正则化求解不适定反问题，经直流电阻率反演验证有效，并探讨了方法的拓展应用指南。
2024-07-09 cs.LG physics.geo-ph
