Choquet regularization for reinforcement learning
University of Waterloo（滑铁卢大学）；Columbia University（哥伦比亚大学）
我们提出了\emph{Choquet regularizers}来衡量和管理强化学习（RL）的探索水平，并重新制定了Wang等人（2020，JMLR，21（198））的连续时间熵正则化RL问题，其中我们用Choquet正则化器替换了用于正则化的微分熵。我们推导出该问题的Hamilton-Jacobi-Bellman方程，并通过静态最大化均值方差约束的Choquet正则化子，在线性二次（LQ）情形下显式求解该方程。在LQ的设置下，我们推导出几个特定的Choquet正则化的显式最优分布，并反过来确定Choquet正则化，生成一些广泛使用的探索性采样器，如$ε$ -贪婪，指数，均匀和高斯。
2022-08-17 cs.LG q-fin.MF stat.ML
Homology-constrained vector quantization entropy regularizer
本文在分析矢量量化（VQ）嵌入的持续同调性的基础上，提出了一种熵正则化项。更高的嵌入熵与更高的码本利用率正相关，减轻了基于矢量量化的自编码器中的身份和码本崩溃的过拟合[1]。我们表明，同源约束正则化是一种有效的方式来增加熵的VQ过程（近似输入熵），同时保持近似的拓扑结构的量化的潜在空间，平均超过小批量。本文进一步探讨了矢量量化所形成的隐子的持久同源图的一些模式。我们实现和测试所提出的算法作为一个模块集成到一个样本VQ-VAE。链接代码库提供了一个功能实现的建议架构，称为同源约束矢量量化（HC-VQ）在这项工作中进一步。
2022-11-25 cs.LG
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Learning Regularizers: Learning Optimizers that can Regularize
本研究探讨学习型优化器能否内化传统显式正则化技术，通过实验证明其在提升泛化能力上优于未正则化方法，并能将正则化效果迁移至新任务。
2025-10-10 cs.AI cs.LG
On the Generalization Error Bounds of Neural Networks under Diversity-Inducing Mutual Angular Regularization
Carnegie Mellon University（卡内基梅隆大学）
近年来，潜变量模型（LVMs）的多样性诱导正则化方法（Diversity-inducing regularization methods）被广泛研究，旨在解决潜变量建模中的几个问题：（1）如何捕获数据背后的长尾模式;（2）如何在不牺牲表达性的前提下降低模型复杂度;（3）如何提高学习模式的可解释性。虽然多样性诱导正则化，如相互角正则化的有效性已被证明经验，他们仍然缺乏严格的理论分析。在本文中，我们的目标是弥合这一差距，并分析相互角度正则化（MAR）如何影响监督LVMs的泛化性能。以神经网络（NN）为例进行了研究，分析表明，增加NN中隐层单元的多样性会减小估计误差，增加逼近误差。除了理论分析外，我们还进行了实证研究，结果表明，MAR可以大大提高神经网络的性能，实证观察与理论分析是一致的。
2015-11-23 cs.LG
Learning convex regularizers satisfying the variational source condition for inverse problems
University of Cambridge（剑桥大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
变分正则化是近几十年来成像反问题中最成功的重建方法之一。随着近年来深度学习的出现和惊人的成功，大量的研究已经进入变分环境中正则化子的数据驱动建模。我们的工作扩展了最近提出的一种方法，称为对抗凸正则化（ACR），该方法试图通过对抗训练来学习数据驱动的凸正则化，试图将数据的力量与经典的凸正则化理论相结合。具体来说，我们在训练过程中利用变分源条件（SC）来强制地面实况图像最小化与学习的凸正则化子对应的变分损失。这是通过向ACR训练目标添加适当的惩罚项来实现的。由此产生的正则化器（缩写为ACR-SC）与ACR的性能相当，但与ACR不同的是，它具有定量的收敛速度估计。
2021-10-24 cs.LG eess.IV
On Dropout and Nuclear Norm Regularization
Johns Hopkins University（约翰斯·霍普金斯大学）
我们给出了具有平方损失的深度线性网络中dropout诱导的显式正则化子的形式和完整刻画。我们表明：（a）显式正则化是由一个$\ell_2$ -路径正则化和其他条款，也重新缩放不变，（b）的凸包络的诱导正则化是平方核范数的网络地图，和（c）对于一个足够大的辍学率，我们刻画的辍学目标的全局最优值。我们验证了我们的理论研究结果与实证结果。
2019-05-28 cs.AI cs.LG stat.ML
Why neural networks find simple solutions: the many regularizers of geometric complexity
Google（谷歌）；DeepMind（深度思维）；University College London（伦敦大学学院）
在许多情况下，更简单的模型比更复杂的模型更可取，并且控制这种模型复杂性是机器学习中许多方法的目标，例如正则化，超参数调整和架构设计。在深度学习中，很难理解复杂性控制的底层机制，因为许多传统的措施并不自然地适用于深度神经网络。在这里，我们开发了几何复杂性的概念，这是一个衡量模型函数的变异性，使用离散Dirichlet能量计算。结合理论论证和实证结果，我们表明，许多常见的训练算法，如参数范数正则化，谱范数正则化，平坦度正则化，隐式梯度正则化，噪声正则化和参数初始化的选择都可以控制几何复杂度，提供了一个统一的框架来表征深度学习模型的行为。
2022-12-23 cs.LG stat.ML
Online linear optimization with the log-determinant regularizer
Kyushu University（九州大学）
我们考虑对称半正定矩阵上的在线线性优化问题，它有各种各样的应用，包括在线协同过滤。该问题被表述为算法和对手之间的重复博弈，在每轮t中，算法和对手分别选择矩阵X_t和L_t，然后算法遭受由X_t和L_t的Frobenius内积给出的损失。该算法的目标是使累积损失最小化。我们可以使用一个标准的框架，称为遵循正则化的领导者（FTRL）设计算法，其中我们需要选择一个适当的正则化函数，以获得良好的性能保证。我们证明了在损失矩阵L_t都是稀疏矩阵的情况下，对数行列式正则化比其他常用的正则化函数效果更好。利用这个属性，我们表明，我们的算法实现了最佳的性能保证在线协同过滤。该文件的技术贡献是开发一种新的技术，推导性能界限，利用属性的强凸性的对数行列式的损失矩阵，而在以前的分析中，强凸性的定义相对于一个规范。直观地，跳过范数分析导致改进的界。此外，我们应用我们的方法在线线性优化向量，并表明，FTRL与伯格熵正则化，这是模拟的对数行列式正则化向量的情况下，工作良好。
2017-10-27 cs.LG
WEEP: A Differentiable Nonconvex Sparse Regularizer via Weakly-Convex Envelope
Nagoya Institute of Technology, Aichi, Japan（名古屋技术大学，爱知，日本）；RIKEN Center for Advanced Intelligence Project, Tokyo, Japan（理化学研究所先进智能项目中心，东京，日本）
WEEP通过弱凸包框架提出了一种可微非凸稀疏正则化器，实现了可调无偏稀疏性和闭式近似算子，适用于压缩感知和图像去噪任务。
2026-01-19 cs.CV cs.LG
Bridging the Gap Between Target Networks and Functional Regularization
该研究揭示了 Target Networks 作为隐式正则化器的缺点，提出了一种显式、可调的凸 Functional Regularization 方法来替换 Target Networks，从而提高了样本效率和性能。
2024-01-03 cs.LG
Explicit Regularization via Regularizer Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）
尽管对训练数据进行了完美的插值，但深度神经网络（DNN）通常可以很好地泛化，部分原因是学习算法引起的“隐式正则化”。尽管如此，各种形式的正则化，例如“显式正则化”（通过权重衰减），通常用于避免过拟合，特别是当数据损坏时。显式正则化有几个挑战，最明显的是不清楚的收敛性。受随机镜像下降（SMD）算法收敛特性的启发，我们提出了一种用正则化训练DNN的新方法，称为正则化镜像下降（RMD）。在高度过参数化的DNN中，SMD同时内插训练数据并最小化权重的某个潜在函数。RMD以标准成本开始，该标准成本是训练损失和权重的凸正则化器的总和。将此成本重新解释为“增强”过参数化网络的潜力，并应用SMD产生RMD。因此，RMD继承了SMD的性质，并可证明收敛到一个点“接近”这个成本的最小值。RMD在计算上与随机梯度下降（SGD）和权重衰减相当，并且可以以相同的方式并行化。我们在不同腐败程度的训练集上的实验结果表明，RMD的泛化性能非常鲁棒，明显优于SGD和权重衰减，这隐含和显式地正则化了权重的$\ell_2$范数。RMD还可以用于将权重正则化为期望的权重向量，这与持续学习特别相关。
2022-02-22 cs.LG math.OC stat.ML
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations
City University of Hong Kong（香港城市大学）
在神经网络中，使用权重衰减来惩罚权值的L2范数已经成为规范网络复杂性的标准训练实践。在本文中，我们证明了一族正则化器，包括权重衰减，对于具有正齐次激活函数（如线性，ReLU和最大池函数）的网络，在惩罚权重的内在范数方面是无效的。作为同质性的结果，由网络指定的函数对于层之间权重尺度的移动是不变的。无效的正则化器对这种偏移很敏感，因此不能很好地正则化模型容量，导致过拟合。为了解决这个缺点，我们提出了一种改进的正则化，是不变的重量尺度的变化，从而有效地约束了神经网络的内在规范。导出的正则化子是网络输入梯度的上界，因此最小化改进的正则化子也有利于对抗鲁棒性。残差连接也被认为是我们的正规化也形成了一个上限，这样的残差网络的输入梯度。我们在各种数据集和神经网络架构上证明了我们提出的正则化器在提高泛化和对抗鲁棒性方面的功效。
2022-06-08 cs.LG stat.ML
Low Rank Regularization: A Review
Northwestern Polytechnical University（西北工业大学）
低秩正则化本质上是对所学习的矩阵引入一个低秩或近似低秩的假设，它在机器学习、数据采掘和计算机翻译等领域都取得了巨大的成功。在过去的十年里，在理论和实际应用方面都取得了很大的进展。然而，它们之间的交集非常小。为了在实际应用和理论研究之间架起一座桥梁，本文对低秩正则化进行了全面的综述。我们首先回顾了几种使用低秩正则化的传统机器学习模型，然后展示了它们（或它们的变体）在解决实际问题中的应用，例如非刚性运动恢复结构和图像去噪。随后，我们总结了在传统机器学习任务中取得巨大成功但在解决实际问题中很少见到的正则化器和优化方法。最后，我们对一些有代表性的正则化子（包括凸松弛和非凸松弛）进行了讨论和比较。大量的实验结果表明，非凸正则化可以提供一个很大的优势，核范数，正则化广泛用于解决实际问题。
2020-12-10 cs.CV cs.LG
Using Property Elicitation to Understand the Impacts of Fairness Regularizers
Center for Research on Computation and Society, Harvard University（哈佛大学计算与社会研究中心）
本文借助属性引出研究公平性正则化项何时及如何改变损失最优解，给出损失与正则化项改变属性的充要条件，并通过实验分析数据分布和约束难度对算法决策的影响。
2023-12-18 cs.LG stat.ML
Non-convex regularization in remote sensing
University of Zurich（苏黎世大学）；University of Nice Sophia Antipolis（尼斯索菲亚·安提波利斯大学）
在本文中，我们研究了不同的正则化及其在高维图像分类和稀疏线性解混的影响。虽然核化或稀疏方法是处理高维数据的全球公认的解决方案，但我们在这里研究了所使用的正则化形式及其参数化的影响。我们考虑通过传统的平方（2）和稀疏促进（1）规范，以及更非常规的非凸正则化（p和对数和惩罚）。我们比较了它们在几个分类和线性分解任务上的性能和优势，并为手头问题的最佳正则化器的选择提供了建议。最后，我们还为社区提供了功能齐全的工具箱。
2016-06-23 cs.LG stat.ML
Learning Continually by Spectral Regularization
University of Alberta（阿尔伯塔大学）；Warsaw University of Technology（华沙理工大学）；Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
针对神经网络持续学习中的可塑性丧失问题，提出保持各层最大奇异值接近一的谱正则化器，以维持梯度多样性，并在监督与强化学习中验证其可训练性和泛化优势。
2024-10-27 cs.LG
Noise-Augmented Privacy-Preserving Empirical Risk Minimization with Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
University of Notre Dame（圣母大学）
我们提出了噪声增强的隐私保护经验风险最小化（NAPP-ERM），解决了不同的隐私保证的ERM。现有的隐私保护ERM方法可能会受到过度正则化的影响，使用l2项来实现目标正则化之上的强凸性。NAPP-ERM改进了当前的方法，并通过适当设计的增强数据迭代地实现目标正则化，并通过单个自适应加权的两用l2正则化器提供强凸性，从而减轻过度正则化。当目标正则化用于变量选择时，我们提出了一种新的正则化器，同时实现隐私和稀疏性保证。最后，我们提出了一种策略，以检索隐私预算时，满足强凸性的要求，这可以返回给用户，这样的DP的ERM是保证在一个较低的隐私成本比原来计划的，或被回收到ERM优化过程中，以减少注入DP噪声，提高DP-ERM的效用。从实现的角度来看，NAPP-ERM可以通过优化给定噪声增强数据的非扰动目标函数来实现，因此可以利用现有的工具进行非私有ERM优化。我们通过大量的实验说明了NAPP-ERM对变量选择和预测的过度正则化和私人预算检索的缓解效果。
2021-10-16 cs.CR cs.LG stat.ML
Dynamic Regularizer with an Informative Prior
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
正则化方法，特别是那些直接改变权重的方法，如$L_1$和$L_2$，是许多学习算法的组成部分。上面提到的两个正则化子都是通过假设参数空间中的某些先验来制定的，这些假设在某些情况下会导致参数空间中的稀疏性。正则化器通过在损失函数中引入足够的项来帮助转移人们对数据集或参数空间的信念。任何一种公式都代表一组特定的信念：$L_1$正则化表示参数空间应该是稀疏的，而$L_2$正则化表示参数空间应该是有界和连续的。这些规则化者反过来利用某些先验知识来表达这些固有的信念。更好地理解先验如何影响参数的行为以及如何基于数据集更新先验可以极大地提高函数估计器的泛化能力。在这项工作中，我们引入了一个弱信息先验，然后进一步将其扩展到一个信息先验，以制定一个正则化惩罚，这表明更好的结果在诱导稀疏性实验方面，相比仅基于高斯和拉普拉斯先验的正则化。实验上，我们验证了基于自适应先验的正则化器可以提高任何网络的泛化能力。我们说明了MNIST和CIFAR-10数据集上所提出的方法的性能。
2019-10-31 cs.CV cs.LG stat.ML
Local Regularizers Are Not Transductive Learners
University High School（大学高中）；USC（南加州大学）
针对Asilis等人提出的局部正则化能否学习所有可学习多分类问题的开放问题，本文在转导学习模型中给出否定答案，基于密码学秘密共享构造反例，并指出扩展至PAC模型的挑战，为PAC/转导分离留下可能。
2025-02-11 cs.LG stat.ML
A novel sparsity and clustering regularization
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）
我们提出了一种新的稀疏性和聚类（SPARsity and Clustering，简称SPARMN）正则化器，它是对以前的八角形收缩和聚类回归算法（OSCAR）的改进，其中，所提出的正则化器由$K$稀疏约束和限制在$K$最大分量上的成对$\ell_{\infty}$范数组成。所提出的正则化是能够单独执行$K$ -稀疏性，并鼓励非零是相等的幅度。此外，它可以准确地对特征进行分组，而不会缩小它们的大小。事实上，OSCAR与OSCAR密切相关，因此前者的邻近算子可以基于后者的邻近算子有效地计算，从而允许使用邻近分裂算法来解决OSCAR正则化问题。在合成数据和基准乳腺癌数据上的实验表明，该方法是一种具有竞争力的群体稀疏诱导正则化回归和分类。
2014-02-20 cs.CV cs.LG stat.ML
Deep Learning for Inverse Problems: Bounds and Regularizers
University College London（伦敦大学学院）
逆问题出现在许多领域，如医学成像，遥感等，依赖于使用先进的信号和图像处理方法-如稀疏驱动技术-以确定其解决方案。相反，本文研究了使用深度学习方法来近似逆问题的解决方案。特别是，该论文提供了一个新的泛化界，取决于与深度神经网络相关的关键量-其雅可比矩阵-这也导致了一些适用于逆问题的计算效率高的正则化策略。本文还测试了一些反问题，包括图像超分辨率的正则化策略。我们在各种数据集上进行的数值结果表明，使用源自我们理论的正则化或代理正则化策略正则化的全连接和卷积神经网络都表现出比使用标准方法（如权重衰减）正则化的深度网络更好的性能。
2019-01-31 cs.LG stat.ML
Self-Paced Learning: an Implicit Regularization Perspective
Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
自步调学习（SPL）模仿人类和动物的认知机制，从简单到困难的样本逐渐学习。SPL的一个关键问题是获得更好的加权策略，这是由极小化函数决定的。现有的方法通常通过人工设计SPL正则化子的显式形式来追求这一点。本文以最小化函数为研究对象，从鲁棒损失函数出发，提出了一组新的正则化函数，称为自定步长隐式正则化函数。基于凸共轭理论，自适应隐式正则化的极小化函数可以直接从隐式损失函数中学习得到，甚至可以知道正则化的解析形式.在此基础上，提出了一个SPL通用框架（SPL-IR）。我们证明了SPL-IR的学习过程与潜在的鲁棒损失函数有关，从而为SPL-IR的工作机制提供了一些理论启示。进一步分析了SPL-IR与半二次优化的关系。最后，我们实现了SPL-IR监督和无监督的任务，实验结果证实了我们的想法，并证明了隐式正则化的正确性和有效性。
2016-09-18 cs.CV cs.LG
Fast Learning with Nonconvex L1-2 Regularization
Hong Kong University of Science and Technology（香港科技大学）
凸正则化器通常用于稀疏学习。它们很容易优化，但可能导致较差的预测性能。$\ell_1$和$\ell_2$（$\ell_{1-2}$）正则化子的差异最近被提出作为非凸正则化子。它比压缩感知上的$\ell_0$和$\ell_1$正则化器产生更好的恢复。然而，如何有效地优化其学习问题仍然具有挑战性。主要困难在于$\ell_{1-2}$中的$\ell_1$和$\ell_2$范数都是不可微的，并且现有的优化算法不能应用。在本文中，我们表明，一个封闭形式的解决方案，可以推导出与此正则化的近端步骤。我们进一步扩展了低秩矩阵学习和全变分模型的结果。在模拟数据集和真实数据集上的实验表明，本文提出的加速邻近梯度算法比其他非凸优化算法更有效。
2017-06-20 cs.LG cs.NA math.NA
Adversarially Robust Training through Structured Gradient Regularization
ETH Zürich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
我们提出了一种新的数据依赖的结构化梯度正则化器，以增加神经网络的鲁棒性与对抗性扰动。我们的正则化器可以作为第一原理的受控近似导出，利用噪声训练和正则化之间的基本联系。它在学习过程中增加的计算开销很少，并且在标准深度学习框架中易于实现。我们的实验提供了强有力的证据，证明结构化梯度正则化可以作为有效的第一道防线，抵御基于低级别信号损坏的攻击。
2018-05-22 cs.LG stat.ML
Efficient Elastic Net Regularization for Sparse Linear Models
University of California, San Diego（加州大学圣地亚哥分校）
本文提出了一种基于弹性网正则化的稀疏线性模型的有效训练算法。新算法扩展了先前关于延迟更新的工作，仅将随机梯度更新应用于非零特征，并根据需要使用闭合形式更新来带来当前权重。前面已经描述了$\ell_1$、$\ell_{\infty}$和很少使用的$\ell_2$正则化器的闭合形式延迟更新。本文提供了流行的平方范数$\ell^2_2$和弹性网正则化的封闭形式更新。我们提供了动态规划算法，在恒定时间内执行每个延迟更新。新的$\ell^2_2$和弹性网络方法处理固定和变化的学习率，以及标准的{随机梯度下降}（SGD）和{向前向后分裂（FoBoS）}。实验结果表明，在具有$260,941$特征的词袋数据集上，但每个训练样本平均仅具有$88$非零特征，动态规划方法训练具有弹性网络正则化的逻辑回归分类器比其他方法快$2000$倍。
2015-07-02 cs.LG
Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（匹兹堡大学医学中心希尔曼癌症中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文考虑了一个大类的问题，我们试图恢复一个低秩矩阵和/或稀疏向量从一些测量。虽然基于凸松弛的方法遭受（可能很大）估计偏差，和其他非凸方法需要的秩或稀疏性是已知的先验，我们使用非凸正则化，以最大限度地减少秩和$l_0$规范没有估计偏差的凸松弛。我们提出了一种新的分析交替近端梯度下降算法应用到这样的问题，并绑定的迭代和地面真实稀疏和低秩矩阵之间的误差。该算法和误差界可以应用于稀疏优化，矩阵补充，和鲁棒主成分分析作为我们的结果的特殊情况。
2021-09-26 cs.LG math.OC stat.ML
Cauchy-Schwarz Regularizers
ETH Zurich（苏黎世联邦理工学院）
本文提出柯西-施瓦茨（CS）正则化器，可诱导离散值、特征向量和正交性等性质，并在线性方程求解与神经网络权重量化中验证其有效性。
2025-03-17 cs.LG math.OC
Two-Layer Feature Reduction for Sparse-Group Lasso via Decomposition of Convex Sets
Arizona State University（亚利桑那州立大学）
稀疏组套索（SGL）已被证明是一种强大的回归技术，通过使用$\ell_1$和$\ell_2$范数的组合，可以同时发现组和组内稀疏模式。然而，在大规模的应用中，正则化的复杂性带来了巨大的计算挑战。本文通过分解SGL的对偶可行集，提出了一种新的SGL两层特征缩减方法（TLFre）。两层约简能够分别快速识别不活动的组和不活动的特征，它们保证不存在于稀疏表示中，并且可以从优化中移除。现有的特征约简方法仅适用于具有一个稀疏诱导正则化子的稀疏模型。据我们所知，TLFre是第一个能够处理多个稀疏诱导正则化器的正则化器。此外，TLFre具有非常低的计算成本，可以与任何现有的求解器集成。对于非负Lasso问题，我们还提出了一种筛选方法--DPC（Decomposition of Convex Set）。在合成数据集和真实数据集上的实验表明，TLFre和DPC将SGL和非负Lasso的效率提高了几个数量级。
2014-10-15 cs.LG
On the Effect of Regularization in Policy Mirror Descent
本文通过在小型强化学习环境中运行超50万训练种子的大规模实证分析，研究了PMD中距离项与MDP正则化器的相互作用，发现两者的精确组合对实现鲁棒性能至关重要。
2025-07-11 cs.LG
Automatic Node Selection for Deep Neural Networks using Group Lasso Regularization
Doshisha University（同志社大学）；Advanced Telecommunications Research Institute International（国际高级电信研究所）
我们通过将DNN-HMM混合语音识别器应用于TED Talks语音数据来检查组Lasso（gLasso）正则化器在选择深度神经网络（DNN）隐藏层的显着节点时的效果。我们测试了两种类型的gLasso正则化，一种用于传出权重向量，另一种用于传入权重向量，以及两种大小的DNN：2048个隐藏层节点和4096个节点。此外，我们比较了gLasso和L2正则化器。我们的实验结果表明，我们的DNN训练（其中嵌入了gLasso正则化器）成功地选择了实现高分类能力所必需且足够的隐藏层节点。
2016-11-17 cs.CL cs.LG stat.ML
How regularization affects the geometry of loss functions
本文研究了不同正则化器（如权重衰减）如何改变非线性深度神经网络损失函数的几何性质，重点探讨了哪些正则化器能使通常非 Morse 的未正则化损失函数 $L$ 变为 Morse 函数。
2023-07-28 cs.LG math.DG math.OC
Bias-Variance Tradeoff of Graph Laplacian Regularizer
Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系）
本文提出了一种偏差-方差折衷的图拉普拉斯正则化器，它被广泛应用于图信号处理和半监督学习任务。最佳正则化参数的标度律指定的频谱图的属性和一个新的信噪比参数，这表明选择一个平庸的正则化参数往往是次优的。该分析适用于三个应用程序，包括随机，带限，和多采样图形信号。合成和真实世界的图形上的实验表明，所建立的分析接近最佳的性能。
2017-06-02 cs.LG cs.SI stat.ML
Discount Factor as a Regularizer in Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）；Microsoft Research（微软研究院）
强化学习（RL）任务涉及选择合适的规划范围，其通常由折扣因子建模。众所周知，应用具有较低折扣因子的RL算法可以充当正则化器，从而提高有限数据状态下的性能。然而这个正则化子的确切性质还没有被研究过。在这项工作中，我们填补了这一空白。对于几种时间差（TD）学习方法，我们显示了使用减少的折扣因子和在算法的损失中添加显式正则化项之间的显式等价性。出于等效性的动机，我们经验性地研究这种技术相比，标准的$L_2$正则化广泛的实验，在离散和连续域，使用表格和功能表示。我们的实验表明，正则化的有效性与可用数据的属性密切相关，例如大小，分布和混合率。
2020-07-04 cs.AI cs.LG stat.ML
Choosing the Right Regularizer for Applied ML: Simulation Benchmarks of Popular Scikit-learn Regularization Frameworks
本研究通过134400次模拟评估了四种正则化方法在机器学习中的性能，发现当样本数与特征数比足够时，Ridge、Lasso和ElasticNet可互换，但Lasso在多重共线性和低信噪比下表现差，建议避免在高条件数和小样本情况下使用Lasso或Post-Lasso OLS。
2026-04-07 cs.LG stat.ML
Learning local regularization for variational image restoration
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；Université de Paris（巴黎大学）
在这项工作中，我们提出了一个框架来学习一个局部正则化模型来解决一般的图像恢复问题。这个正则化器是用一个完全卷积的神经网络来定义的，它通过与小图像块相对应的感受野来观察图像。然后，使用基于Wasserstein生成对抗网络的能量，将正则化器学习为清洁和退化补丁的未配对分布之间的评论家。这就产生了一个正则化函数，可以被纳入任何图像恢复问题。该框架的效率最终显示在去噪和去模糊应用。
2021-02-11 cs.LG eess.IV
Dropout Training as Adaptive Regularization
Stanford University（斯坦福大学）
Dropout和其他特征噪声方案通过人为破坏训练数据来控制过拟合。对于广义线性模型，dropout执行一种形式的自适应正则化。使用这种观点，我们表明，辍学正则化是一阶等效的L2正则化应用后，通过估计的逆对角费舍尔信息矩阵的功能。我们还与在线学习算法AdaGrad建立了联系，并发现AdaGrad的近亲通过反复解决线性丢弃正则化问题来操作。通过将dropout转换为正则化，我们开发了一种自然的半监督算法，该算法使用未标记的数据来创建更好的自适应正则化器。我们将这个想法应用于文档分类任务，并表明它始终提高了dropout训练的性能，改善了IMDB评论数据集上的最新结果。
2013-11-01 cs.LG stat.ME stat.ML
Relaxed Sparse Eigenvalue Conditions for Sparse Estimation via Non-convex Regularized Regression
Department of Automation, Tsinghua University, Beijing 100084, P.R.China（自动化系，清华大学，北京100084，中国）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology(TNList)（信息科学与技术国家实验室（清华大学））
本文研究了非凸正则化回归中稀疏估计的松弛特征值条件，证明了非凸正则化在稀疏估计中的有效性，并展示了坐标下降法在获得近似全局解中的应用。
2014-02-12 cs.LG cs.NA math.NA
Graph Neural Regularizers for PDE Inverse Problems
Department of Applied Mathematics University of Cambridge（应用数学系剑桥大学）；Department of Computer Science University College London（计算机科学系伦敦大学学院）
提出一种结合有限元反演与物理启发图神经网络的迭代正则化框架，用于求解PDE不适定反问题，实验证明其优于经典方法并实现高精度重建。
2025-10-23 cs.LG cs.NA math.NA
SHADE: Information Based Regularization for Deep Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire d’Informatique de Paris 6（巴黎第六大学计算机实验室）；LIP6（巴黎第六大学计算机实验室）
正则化是训练深度神经网络的一个大问题。在本文中，我们提出了一个新的基于信息论的正则化方案命名为SHADE SHAnnon DEcay。该方法的独创性在于基于条件熵定义先验，其明确地将正则化器中的不变表示的学习和数据拟合项中的输入和标签之间的相关性的学习相结合。我们的第二个贡献是导出一个与深度学习兼容的正则化器的随机版本，从而产生一个易于处理的训练方案。我们经验验证了我们的方法的效率，以提高分类性能相比，常见的正则化方案在几个标准架构。
2018-05-22 cs.LG stat.ML
Your Policy Regularizer is Secretly an Adversary
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；DeepMind（深度思维公司）
本文揭示了强化学习中策略正则化（如最大熵）的鲁棒性源于对假想对抗者选择的奖励函数最坏情况扰动的对冲，利用凸对偶刻画了KL和alpha-散度下的对抗扰动鲁棒集，并提供了泛化保证。
2022-07-08 cs.LG stat.ML
SHADE: Information-Based Regularization for Deep Learning
正则化是训练深度神经网络的一个大问题。在本文中，我们提出了一个新的基于信息论的正则化方案命名为SHADE SHAnnon DEcay。该方法的独创性在于基于条件熵定义先验，其明确地将正则化器中的不变表示的学习和数据拟合项中的输入和标签之间的相关性的学习相结合。我们的第二个贡献是导出一个与深度学习兼容的正则化器的随机版本，从而产生一个易于处理的训练方案。我们经验验证了我们的方法，以提高分类性能的效率相比，标准的正则化方案在几个标准的架构。
2018-05-14 cs.LG stat.ML
Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning
King Abdullah University of Science and Technology（卡塔尔国王 Abdullah 科学与技术大学）
本文提出了一种轻量级正则化方法，用于减少持续学习中的遗忘问题，通过信息最大化策略提升模型性能。
2025-12-01 cs.CV cs.LG
Tikhonov Regularization for Long Short-Term Memory Networks
National Research University of Electronic Technology（国家研究型电子技术大学）；Federal Research Center "Computer Science and Control" of Russian Academy of Sciences（俄罗斯科学院联邦研究中心“计算机科学与控制”）
众所周知，向输入数据添加噪声通常会提高网络性能。虽然dropout技术可能是导致记忆丢失的原因，但当将其应用于循环连接时，Tikhonov正则化（可被视为具有加性噪声的训练）自然避免了这个问题，尽管它意味着针对不同架构的正则化子推导。在前馈神经网络的情况下，这是简单的，而对于具有循环连接和复杂层的网络，这会导致一些困难。本文推导了长短期记忆（LSTM）网络的Tikhonov正则化子。虽然为了简单起见它与时间无关，但它考虑了LSTM单元的权重之间的相互作用，这在理论上使得可以通过仅使用一个测量输入数据扰动的参数来正则化具有复杂依赖关系的单元。本文提出的正则化器有三个参数：一个用于控制正则化过程，另两个用于在网络训练过程中保持计算稳定性。本文所发展的理论可以应用于具有Hadamard乘积和Lipschitz连续函数的不同递归神经网络的正则化。
2017-08-09 cs.LG cs.NE stat.ML
A Regularization-Sharpness Tradeoff for Linear Interpolators
School of Mathematics and Statistics（数学与统计学学院）；University of Melbourne（墨尔本大学）
本文提出了一种针对过参数化线性回归的正则化-尖锐性权衡，通过ℓ^p惩罚分解选择惩罚为正则化项和几何尖锐性项，验证了其在现实数据中的有效性。
2026-02-13 cs.LG stat.ML
Screening Rules for Lasso with Non-Convex Sparse Regularizers
Université Rouen Normandie（鲁昂诺曼底大学）；Criteo AI Lab（Criteo人工智能实验室）；INSA Rouen Normandie（鲁昂国立应用科学学院）；Universitéé de Montpellier（蒙彼利埃大学）
利用Lasso问题的凸性，筛选规则有助于在优化过程中通过丢弃不相关的变量来加速求解。然而，因为它们在识别相关变量方面提供了更好的理论保证，文献中已经提出了Lasso的几个非凸正则化子。这项工作是第一次将筛选规则策略引入非凸Lasso求解器。我们提出的方法是基于一个迭代优化最小化（MM）的策略，其中包括在内部求解器的筛选规则和MM的迭代之间的传播筛选变量的条件。除了提高效率的求解器，我们还提供保证，内部求解器能够识别其临界点的零组件在有限的时间。我们的实验分析说明了显着的计算增益所带来的新的筛选规则相比，经典的坐标下降或近端梯度下降方法。
2019-02-19 cs.LG stat.ML
Foothill: A Quasiconvex Regularization for Edge Computing of Deep Neural Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Montreal（蒙特利尔大学）
深度神经网络（DNN）已经证明了许多监督学习任务的成功，从语音识别，对象检测到图像分类。然而，它们日益增加的复杂性可能会产生较差的泛化错误，这使得它们难以部署在边缘设备上。量化是压缩DNN以满足这些约束的有效方法。使用拟凸基函数来构造二进制量化器有助于训练二进制神经网络（BNN），并且向输入数据添加噪声或使用具体的正则化函数有助于改善泛化误差。在这里，我们引入山麓函数，一个无穷可微拟凸函数。该正则化子足够灵活，可以朝着$L_1$和$L_2$罚函数变形。Foothill可以用作二进制量化器，正则化器或损失。特别是，我们证明了这个正则化器减少了BNN和ImageNet上图像分类的全精度对应物之间的准确性差距。
2019-05-23 cs.LG stat.ML
Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks
University of Cambridge（剑桥大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Dundee（邓迪大学）
本文提出逆演化层（IELs），将PDE演化模型的逆过程作为物理信息正则化器，用于惩罚神经网络的不良输出特性，并在语义分割中验证了其抑制噪声标签影响和强制凸形状约束的有效性。
2024-07-01 cs.LG cs.NA math.NA
A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
在本文中，我们提出了一个简单的分析{ \bf快速率}与{\bf经验最小化}的{\it高概率}的{\it随机复合优化}在有限维有界凸集上的指数凹损失函数和任意凸正则化。据我们所知，这一结果是同类中的第一个。作为一个副产品，我们可以直接获得具有和不具有任何凸正则化的指数凹经验风险最小化的{ \it high probability}的快速速率，这不仅推广了经验风险最小化的现有结果，而且为分析具有和不具有{ \it any}凸正则化的指数凹经验风险最小化提供了一个统一的框架.我们的证明非常简单，只利用有限维有界集的覆盖数和随机向量的集中不等式。
2017-09-09 cs.LG math.OC stat.ML
Dropout as a Low-Rank Regularizer for Matrix Factorization
Istituto Italiano di Tecnologia（意大利技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
矩阵分解（MF）和近似问题的正则化已经以许多不同的方式进行。由于其在深度学习中的流行，dropout也被应用于这类问题。尽管dropout有着坚实的经验表现，但它作为正则化子的理论性质对于这类问题仍然非常难以捉摸。在本文中，我们提出了一个理论分析的脱落MF，其中伯努利随机变量用于下降列的因素。我们证明了辍学和完全确定性模型MF中的因素是正规化的平方欧几里德规范的列的产品的总和之间的等价性。此外，我们检查的情况下，一个可变大小的分解，我们证明了辍学达到全局最小值的凸逼近问题（平方）核范数正则化。因此，我们可以得出结论，dropout可以作为一个低秩正则化与数据相关的奇异值阈值。
2017-10-13 cs.LG stat.ML
SOAR: Second-Order Adversarial Regularization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
对抗性训练是提高深度神经网络对对抗性示例的鲁棒性的常用方法。在这项工作中，我们提出了一种新的正则化方法作为替代。为了得到正则化，我们制定下的鲁棒优化框架和近似的损失函数使用二阶泰勒级数展开的对抗鲁棒性问题。我们提出的二阶对抗正则化器（SOAR）是基于鲁棒优化目标中内部最大值的泰勒近似的上界。我们的经验表明，所提出的方法显着提高了鲁棒性的网络对$\ell_\infty$和$\ell_2$有界扰动使用交叉熵为基础的PGD CIFAR-10和SVHN。
2021-02-07 cs.LG stat.ML
Fast Regularized Discrete Optimal Transport with Group-Sparse Regularizers
NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）
正则化离散最优迁移（OT）是一个强大的工具来衡量两个离散分布之间的距离，已经从两个不同的域上的数据样本构造。虽然它在机器学习中有广泛的应用，但在某些情况下，仅来自一个域的采样数据将具有类标签，例如无监督的领域自适应。在这类问题设置中，经常利用组稀疏正则化器作为正则化项来处理类标签。特别地，它可以通过将具有相同类别标签的数据样本对应到一个组稀疏正则化项来保持数据样本上的标签结构。因此，我们可以测量的距离，同时利用标签信息，通过解决正则化优化问题与基于梯度的算法。然而，当类或数据样本的数量很大时，梯度计算是昂贵的，因为正则化项的数量和它们各自的大小也很大。本文提出了一种快速离散OT与组稀疏正则化。我们的方法基于两个想法。第一个是安全地跳过必须为零的梯度的计算。第二个是有效地提取预期为非零的梯度。我们的方法保证返回与原始方法相同的目标函数值。实验表明，我们的方法是高达8.6倍的速度比原来的方法，而不降低准确性。
2023-03-14 cs.LG stat.ML
Subspace Regularizers for Few-Shot Class Incremental Learning
Boston University（波士顿大学）
Few-Shot类增量学习-更新训练分类器以区分具有有限标记数据的扩展类集的问题-是部署在非静态环境中的机器学习系统的关键挑战。解决这个问题的现有方法依赖于复杂的模型架构和难以调整和重用的训练过程。在本文中，我们提出了一个非常简单的方法，使普通的逻辑回归分类器的Few-Shot增量学习。这种方法的关键是一个新的家庭的子空间正则化计划，鼓励新类的权重向量接近现有类的权重所跨越的子空间。当与预训练的卷积特征提取器相结合时，使用子空间正则化训练的逻辑回归模型在miniImageNet数据集上的性能优于专用的最先进的Few-Shot增量图像分类方法高达22%。由于其简单性，子空间正则化可以直接扩展到包含有关新类的额外背景信息（包括自然语言中指定的类名和描述）;这些进一步提高精度高达2%。我们的研究结果表明，类表示的简单几何正则化为持续学习提供了一个有效的工具。
2022-02-20 cs.CV cs.LG
Regularization for Multiple Kernel Learning via Sum-Product Networks
在本文中，我们有兴趣在多核学习（MKL）中构造一般的基于图的正则化器，给出了一种用于描述组合基核的方式的结构。在我们的方法中，这种结构由和积网络（SPN）表示。因此，我们提出了一种新的凸正则化方法MLK的基础上的路径依赖的核加权函数编码的整个SPN结构在我们的方法。在一定的条件下，从概率的角度来看，该函数可以被认为在与SPN中的产品节点相关联的权重上遵循多项分布。我们还分析了我们的正则化的凸性和我们的诱导分类器的复杂性，并进一步提出了一个有效的包装算法来优化我们的配方。在我们的实验中，我们将我们的方法应用于......
2014-02-13 cs.LG stat.ML
