Learning Optimal Linear Regularizers
Google Research（谷歌研究院）
我们提出了有效学习正则化，提高泛化算法。我们的方法是基于这样的见解，即正则化器可以被视为泛化间隙的上界，并且减少界中的松弛可以提高测试数据的性能。对于一类广泛的正则化子，给出最佳上界的超参数可以使用线性规划来计算。在某些贝叶斯假设下，求解LP可以让我们在非常有限的数据下“跳”到最优超参数。这表明了一种调整正则化超参数的自然算法，我们证明了它对真实数据和合成数据都是有效的。
2019-02-21 cs.LG stat.ML
Cauchy-Schwarz Regularizers
ETH Zurich（苏黎世联邦理工学院）
本文提出柯西-施瓦茨（CS）正则化器，可诱导离散值、特征向量和正交性等性质，并在线性方程求解与神经网络权重量化中验证其有效性。
2025-03-17 cs.LG math.OC
Learning Sparsity-Promoting Regularizers using Bilevel Optimization
Michigan State University（密歇根州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
提出一种监督学习方法，通过双层优化学习参数化稀疏促进正则化器用于信号去噪，其性能优于总变差、DCT稀疏性和字典学习等方法。
2023-09-05 cs.LG
Learning convex regularizers satisfying the variational source condition for inverse problems
University of Cambridge（剑桥大学）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
变分正则化是近几十年来成像反问题中最成功的重建方法之一。随着近年来深度学习的出现和惊人的成功，大量的研究已经进入变分环境中正则化子的数据驱动建模。我们的工作扩展了最近提出的一种方法，称为对抗凸正则化（ACR），该方法试图通过对抗训练来学习数据驱动的凸正则化，试图将数据的力量与经典的凸正则化理论相结合。具体来说，我们在训练过程中利用变分源条件（SC）来强制地面实况图像最小化与学习的凸正则化子对应的变分损失。这是通过向ACR训练目标添加适当的惩罚项来实现的。由此产生的正则化器（缩写为ACR-SC）与ACR的性能相当，但与ACR不同的是，它具有定量的收敛速度估计。
2021-10-24 cs.LG eess.IV
On Periodic Functions as Regularizers for Quantization of Neural Networks
Facebook（脸书）
深度学习模型已成功应用于计算机视觉等诸多领域。我们提出了一个非正统的算法进行量化的模型参数。与基于阈值的流行量化方案相比，我们使用了一种基于周期函数的新技术，如连续三角正弦或余弦以及非连续帽函数。我们将这些函数应用于各个分量，并将模型参数的和作为正则化器添加到训练过程中的模型损失中。这些函数的频率和幅度超参数可以在训练期间调整。正则化将权重推到可以编码为整数的离散点中。我们表明，使用这种技术，得到的量化模型在CIFAR-10和ImageNet数据集上表现出与原始模型相同的准确性。
2018-11-24 cs.CV cs.LG stat.ML
Deep Learning with Eigenvalue Decay Regularizer
KU Leuven（鲁汶大学）
本文扩展了我们之前使用特征值衰减正则化神经网络的工作，通过采用主特征值的软近似，以便计算其与突触权重相关的导数，从而应用反向传播，这是深度学习的主要需求。此外，我们将之前的理论分析扩展到深度神经网络和多类分类问题。我们的方法在Keras中实现为一个额外的正则化器，Keras是一个用Python编写的模块化神经网络库，并在基准数据集Reuters Newswire Topics Classification，用于二进制情感分类的IMDB数据库，手写数字的MNIST数据库和用于图像分类的CIFAR-10数据集中进行评估。
2016-05-08 cs.LG
Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer
University of Alberta（阿尔伯塔大学）；York University（约克大学）
随着卷积神经网络（CNN）在物体识别方面变得更加准确，它们的表示变得与灵长类动物的视觉系统更加相似。这一发现启发了我们和其他研究人员，让他们思考是否也有相反的含义：如果CNN的表征变得更像大脑，网络是否会变得更准确？以前解决这个问题的尝试显示出非常有限的准确性增益，部分原因是正则化方法的局限性。为了克服这些限制，我们开发了一种新的CNN神经数据正则化器，它使用深度典型相关分析（DCCA）来优化CNN图像表示与猴子视觉皮层图像表示的相似性。使用这种新的神经数据正则化器，与以前最先进的神经数据正则化器相比，我们在分类准确性和超类内准确性方面都看到了更大的性能提升。这些网络对于对抗攻击也比非正规化的网络更健壮。总之，这些结果证实了神经数据正则化可以提高CNN的性能，并引入了一种获得更大性能提升的新方法。
2022-09-06 cs.CV cs.LG cs.NE
The Star Geometry of Critic-Based Regularizer Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；National University of Singapore（新加坡国立大学）
本文研究基于评论器的正则化学习，通过星几何学和对偶 Brunn-Minkowski 理论，将损失解释为对偶混合体积，导出最优正则化器表达式，并分析神经网络架构与星形体规范函数的关系。
2026-11-11 cs.LG math.MG math.OC
Feature Grouping as a Stochastic Regularizer for High-Dimensional Structured Data
Stevens Institute of Technology（史蒂文斯理工学院）；Inria Saclay（法国国家信息与自动化研究所萨克雷中心）
在收集数据昂贵的许多应用中，例如神经科学或医学成像，与特征维度相比，样本大小通常较小。在这种情况下，训练有表现力的非线性模型而不过度拟合是具有挑战性的。这些数据集需要利用已知结构的智能正则化，例如测量设备产生的特征之间的相关性。然而，现有的结构化正则化器需要特制的求解器，这是很难应用到复杂的模型。我们提出了一种新的正则化器，专门设计用于以一种可以有效地应用于复杂模型的方式利用数据中的结构。我们的方法依赖于特征分组，在随机梯度下降循环中使用快速聚类算法：给定一系列捕获特征协变的特征分组，我们在每次迭代中随机选择这些组。我们表明，这种方法相当于强制执行去噪正则化的解决方案。该方法易于在许多模型结构中实现，例如全连接神经网络，并且具有线性计算成本。我们将此正则化器应用于真实世界的fMRI数据集和Olivetti Faces数据集。在两个数据集上的实验表明，所提出的方法产生的模型比传统正则化器训练的模型更好地泛化，并且还提高了收敛速度。
2019-04-22 cs.LG stat.ML
Utilizing Class Information for Deep Network Representation Shaping
Seoul National University（首尔国立大学）
深度网络表示的统计特征，例如稀疏性和相关性，已知与深度学习的性能和可解释性相关。当需要统计特性时，通常可以在训练阶段设计和应用适当的正则化器。通常，这样的正则化器旨在一起操纵所有类的统计特征。然而，对于分类任务，可能有利的是强制每个类别的期望特征，使得可以更好地区分不同的类别。基于这个想法，我们设计了两个明确利用类信息的类正则化器：类协方差正则化器（cw-CR）和类方差正则化器（cw-VR）。cw-CR的目标是减少从同一类样本计算的表示的协方差，以鼓励特征独立性。cw-VR是类似的，但方差而不是协方差的目标是提高特征紧凑性。为了完整起见，它们的对应物，不使用类信息，协方差正则化（CR）和方差正则化（VR），被认为是在一起。这四个正则化器在概念上很简单，计算效率也很高，可视化显示正则化器确实执行了不同的表示整形。在分类性能方面，在流行的基准数据集上，22个任务中有21个任务比基线和L1/L2权重正则化方法有显着改进。特别是，cw-VR在包括ResNet-32/110在内的13项任务中取得了最佳性能。
2019-03-01 cs.LG stat.ML
Wasserstein Diversity-Enriched Regularizer for Hierarchical Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种任务无关的Wasserstein多样性丰富正则化器（WDER），通过最大化动作分布间的Wasserstein距离扩大子策略多样性，解决了分层强化学习中的退化问题，提升了性能与样本效率。
2023-08-02 cs.AI cs.LG
Neural Network Reduction with Guided Regularizers
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Virginia Tech（弗吉尼亚理工大学）
本文提出引导正则化方法，通过训练中优先处理特定单元权重使其可被剪枝，实现神经网络自然缩减并在保持性能的同时有效剪枝。
2023-05-29 cs.LG
A Neural-Network-Based Convex Regularizer for Inverse Problems
针对深度学习图像重建方法可靠性与可解释性不足的问题，提出由凸脊函数之和构成、梯度用单隐层可学习递增激活函数神经网络参数化的凸正则化器，可快速训练为多步高斯去噪器，在去噪、CT和MRI重建任务上优于同类可靠方法。
2023-08-25 cs.LG eess.IV
Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizer
Google Brain（谷歌大脑）
自动编码器提供了一个强大的框架，通过编码所有的信息来重建一个潜在的代码中的数据点，学习压缩表示。在某些情况下，自动编码器可以“插值”：通过解码两个数据点的潜在代码的凸组合，自动编码器可以产生一个输出，该输出在语义上混合了数据点的特征。在本文中，我们提出了一个正则化过程，通过欺骗一个已经训练过的批评网络来从插值数据中恢复混合系数，从而鼓励插值输出看起来更真实。然后，我们开发了一个简单的基准测试任务，在那里我们可以定量测量各种自动编码器可以插值的程度，并表明我们的正则化器在这种情况下显着提高了插值。我们还证明了经验，我们的正则化产生的潜在代码是更有效的下游任务，这表明插值能力和学习有用的表示之间可能存在联系。
2018-07-23 cs.LG stat.ML
Learning Regularizers: Learning Optimizers that can Regularize
本研究探讨学习型优化器能否内化传统显式正则化技术，通过实验证明其在提升泛化能力上优于未正则化方法，并能将正则化效果迁移至新任务。
2025-10-10 cs.AI cs.LG
Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers
Brookhaven National Laboratory（布鲁克海文国家实验室）；Rutgers University（罗格斯大学）
我们提出了一个新的，随机变量的投影分裂（PS）家庭的算法单调包含问题。它可以解决鲁棒ML等应用中出现的最小-最大和非合作对策公式，而不会出现与梯度下降-上升相关的收敛问题，而梯度下降-上升是目前这种情况下的事实上的标准方法。我们的建议是第一个版本的PS能够使用随机（而不是确定性）梯度预言。它也是第一个可以解决最小-最大博弈的随机方法，同时可以通过投影和邻近算子轻松处理多个约束和非光滑正则化。我们关闭一个分布鲁棒稀疏逻辑斯谛回归问题的数值实验。
2021-06-24 cs.LG math.OC
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations
City University of Hong Kong（香港城市大学）
在神经网络中，使用权重衰减来惩罚权值的L2范数已经成为规范网络复杂性的标准训练实践。在本文中，我们证明了一族正则化器，包括权重衰减，对于具有正齐次激活函数（如线性，ReLU和最大池函数）的网络，在惩罚权重的内在范数方面是无效的。作为同质性的结果，由网络指定的函数对于层之间权重尺度的移动是不变的。无效的正则化器对这种偏移很敏感，因此不能很好地正则化模型容量，导致过拟合。为了解决这个缺点，我们提出了一种改进的正则化，是不变的重量尺度的变化，从而有效地约束了神经网络的内在规范。导出的正则化子是网络输入梯度的上界，因此最小化改进的正则化子也有利于对抗鲁棒性。残差连接也被认为是我们的正规化也形成了一个上限，这样的残差网络的输入梯度。我们在各种数据集和神经网络架构上证明了我们提出的正则化器在提高泛化和对抗鲁棒性方面的功效。
2022-06-08 cs.LG stat.ML
Better Long-Range Dependency By Bootstrapping A Mutual Information Regularizer
Borealis AI（北极光人工智能）
在这项工作中，我们开发了一种新的正则化，以提高学习的序列数据的长程依赖。应用于语言建模，我们的正则化表达的归纳偏见，序列变量应该有高的互信息，即使模型可能不会看到丰富的观察复杂的长期依赖。我们展示了如何“下一句预测（分类）”启发式可以从我们的互信息估计框架的原则性的方式，并进一步扩展到最大限度地提高序列变量的互信息。所提出的方法不仅有效地增加了学习模型下的段的互信息，但更重要的是，导致更高的可能性对holdout数据，并提高生成质量。代码发布于https://github.com/BorealisAI/BMI。
2020-02-23 cs.CL cs.LG stat.ML
Discount Factor as a Regularizer in Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）；Microsoft Research（微软研究院）
强化学习（RL）任务涉及选择合适的规划范围，其通常由折扣因子建模。众所周知，应用具有较低折扣因子的RL算法可以充当正则化器，从而提高有限数据状态下的性能。然而这个正则化子的确切性质还没有被研究过。在这项工作中，我们填补了这一空白。对于几种时间差（TD）学习方法，我们显示了使用减少的折扣因子和在算法的损失中添加显式正则化项之间的显式等价性。出于等效性的动机，我们经验性地研究这种技术相比，标准的$L_2$正则化广泛的实验，在离散和连续域，使用表格和功能表示。我们的实验表明，正则化的有效性与可用数据的属性密切相关，例如大小，分布和混合率。
2020-07-04 cs.AI cs.LG stat.ML
Beyond Graph Convolutional Network: An Interpretable Regularizer-centered Optimization Framework
College of Computer and Data Science, Fuzhou University（福州大学计算机与数据科学学院）；School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）
本文提出一个可解释的以正则化器为中心的优化框架来统一解释各种图卷积网络，并基于此设计了双正则化器图卷积网络tsGCN，利用矩阵恒等式和低秩近似降低计算复杂度，在多个数据集上取得优异分类性能。
2023-01-11 cs.AI cs.LG
DRIP: Deep Regularizers for Inverse Problems
University of British Columbia（英属哥伦比亚大学）
针对现有深度神经逆问题求解技术无法保证推理拟合数据、偏离经典变分框架的缺陷，提出基于变分构造、可保证数据拟合的DRIP新型神经正则化器，在多类高度不适定问题中验证了有效性。
2023-08-25 cs.CE cs.LG
Improved Best-of-Both-Worlds Guarantees for Multi-Armed Bandits: FTRL with General Regularizers and Multiple Optimal Arms
University of Southern California（南加州大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文证明FTRL算法在广泛正则化器族和新学习率调度下无需唯一最优臂假设即可同时实现随机与对抗环境的最优遗憾界，并推广到解耦探索与利用问题。
2023-10-26 cs.LG stat.ML
Online linear optimization with the log-determinant regularizer
Kyushu University（九州大学）
我们考虑对称半正定矩阵上的在线线性优化问题，它有各种各样的应用，包括在线协同过滤。该问题被表述为算法和对手之间的重复博弈，在每轮t中，算法和对手分别选择矩阵X_t和L_t，然后算法遭受由X_t和L_t的Frobenius内积给出的损失。该算法的目标是使累积损失最小化。我们可以使用一个标准的框架，称为遵循正则化的领导者（FTRL）设计算法，其中我们需要选择一个适当的正则化函数，以获得良好的性能保证。我们证明了在损失矩阵L_t都是稀疏矩阵的情况下，对数行列式正则化比其他常用的正则化函数效果更好。利用这个属性，我们表明，我们的算法实现了最佳的性能保证在线协同过滤。该文件的技术贡献是开发一种新的技术，推导性能界限，利用属性的强凸性的对数行列式的损失矩阵，而在以前的分析中，强凸性的定义相对于一个规范。直观地，跳过范数分析导致改进的界。此外，我们应用我们的方法在线线性优化向量，并表明，FTRL与伯格熵正则化，这是模拟的对数行列式正则化向量的情况下，工作良好。
2017-10-27 cs.LG
On Dropout and Nuclear Norm Regularization
Johns Hopkins University（约翰斯·霍普金斯大学）
我们给出了具有平方损失的深度线性网络中dropout诱导的显式正则化子的形式和完整刻画。我们表明：（a）显式正则化是由一个$\ell_2$ -路径正则化和其他条款，也重新缩放不变，（b）的凸包络的诱导正则化是平方核范数的网络地图，和（c）对于一个足够大的辍学率，我们刻画的辍学目标的全局最优值。我们验证了我们的理论研究结果与实证结果。
2019-05-28 cs.AI cs.LG stat.ML
Computing Optimal Regularizers for Online Linear Optimization
MIT（麻省理工学院）；Google Research（谷歌研究院）
本文提出一种为在线线性优化计算最优正则化器的算法，使FTRL遗憾达到最优界的常数因子内，并证明判定正则化器强凸性是NP困难的。
2024-10-22 cs.DS cs.GT cs.LG
DREG: A Layer-Wise Jacobian Regularization as a General-Purpose Penalty
本文通过大规模实验研究导数正则化（DREG）的效果，发现其在GELU激活下表现最佳，尤其在数据稀缺时优势显著，可作为即插即用的正则化器。
2026-06-24 cs.LG
Learning Difference-of-Convex Regularizers for Inverse Problems: A Flexible Framework with Theoretical Guarantees
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出用凸差（DC）函数作为逆问题中可学习正则化器的更广泛非凸函数类，结合DCA和PSM优化算法，在CT重建任务上优于弱凸正则化方法，并给出最优正则化器可表示为DC函数的理论条件。
2025-02-01 cs.LG eess.IV math.OC
Graph Denoising with Framelet Regularizer
The University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of New South Wales（新南威尔士大学）
由于从现实世界中收集的图形数据仅仅是无噪声的，因此图形的实际表示应该对噪声具有鲁棒性。现有的研究通常集中在特征平滑，但离开的几何结构不变。此外，大多数工作采用L2范数，追求全局光滑，这限制了图神经网络的表达能力。本文根据特征噪声和结构噪声为图数据量身定制正则化器，其中目标函数采用交替方向乘法（ADMM）有效求解。所提出的方案允许采取多层，而无需担心过度平滑，它保证收敛到最优解。实证研究证明，我们的模型实现了显着更好的性能相比，流行的图卷积，即使在图是严重污染。
2021-11-05 cs.DM cs.LG
Fast Learning with Nonconvex L1-2 Regularization
Hong Kong University of Science and Technology（香港科技大学）
凸正则化器通常用于稀疏学习。它们很容易优化，但可能导致较差的预测性能。$\ell_1$和$\ell_2$（$\ell_{1-2}$）正则化子的差异最近被提出作为非凸正则化子。它比压缩感知上的$\ell_0$和$\ell_1$正则化器产生更好的恢复。然而，如何有效地优化其学习问题仍然具有挑战性。主要困难在于$\ell_{1-2}$中的$\ell_1$和$\ell_2$范数都是不可微的，并且现有的优化算法不能应用。在本文中，我们表明，一个封闭形式的解决方案，可以推导出与此正则化的近端步骤。我们进一步扩展了低秩矩阵学习和全变分模型的结果。在模拟数据集和真实数据集上的实验表明，本文提出的加速邻近梯度算法比其他非凸优化算法更有效。
2017-06-20 cs.LG cs.NA math.NA
Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks
Stanford University（斯坦福大学）
我们开发的精确表示的训练两层神经网络与整流线性单元（ReLU）在一个单一的凸规划的变量多项式的训练样本的数量和隐藏的神经元的数量。我们的理论利用半无限对偶和最小范数正则化。我们证明了用标准权重衰减训练的ReLU网络等价于块$\ell_1$惩罚凸模型。此外，我们表明，某些标准的卷积线性网络是等价的半定规划，可以简化为$\ell_1$正则化的线性模型在一个多项式大小的离散傅立叶特征空间。
2020-08-15 cs.CC cs.LG stat.ML
Graph Neural Regularizers for PDE Inverse Problems
Department of Applied Mathematics University of Cambridge（应用数学系剑桥大学）；Department of Computer Science University College London（计算机科学系伦敦大学学院）
提出一种结合有限元反演与物理启发图神经网络的迭代正则化框架，用于求解PDE不适定反问题，实验证明其优于经典方法并实现高精度重建。
2025-10-23 cs.LG cs.NA math.NA
Learning to Communicate: Channel Auto-encoders, Domain Specific Regularizers, and Attention
Virginia Tech（弗吉尼亚理工大学）
我们解决的问题，学习有效的和自适应的方式来沟通二进制信息受损的通道。我们把这个问题看作是通过通道自动编码器中的损伤层进行重建优化，并引入了几个新的特定于域的正则化层来模拟常见的通道损伤。我们还应用了一个无线电Transformer网络的注意力模型的输入解码器，以帮助恢复规范的信号表示。我们展示了一些有前途的初始容量的结果，从这个架构，并解决几个剩余的挑战，这样的系统可以成为现实。
2016-08-23 cs.IT cs.LG cs.NI
Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time
Stanford University（斯坦福大学）
我们研究了使用ReLU激活的卷积神经网络（CNN）的训练，并引入了精确的凸优化公式，该公式具有关于数据样本数量，神经元数量和数据维度的多项式复杂度。更具体地说，我们开发了一个凸分析框架，利用半无限对偶，以获得几个两层和三层CNN架构的等价凸优化问题。我们首先证明了两层CNN可以通过$\ell_2$范数正则化凸规划进行全局优化。然后，我们证明了具有单个ReLU层的多层循环CNN训练问题等价于$\ell_1$正则化凸程序，该程序鼓励谱域中的稀疏性。我们还将这些结果扩展到具有两个ReLU层的三层CNN。此外，我们提出了我们的方法扩展到不同的池化方法，这阐明了隐含的建筑偏见凸正则化。
2021-03-18 cs.CC cs.LG stat.ML
A Distribution Similarity Based Regularizer for Learning Bayesian Networks
University of British Columbia（不列颠哥伦比亚大学）
概率图模型通过将联合分布分解为随机变量子集上的因子来表示联合分布。在贝叶斯网络中，因子是条件概率分布。对于许多问题，这些因素之间存在着共同的信息。添加相似性限制可以被视为对模型正则化施加先验知识。通过适当的限制，学习模型通常可以更好地推广。在这项工作中，我们研究的方法，利用这种高层次的相似性，以规范的学习过程，并将其应用到非均匀介质中的波传播建模的任务。我们提出了一种新的基于分布的惩罚方法，鼓励类似的条件概率分布，而不是强迫参数是类似的明确。我们在实验中表明，我们提出的算法解决了建模波传播问题，其他基线方法是无法解决的。
2018-08-20 cs.LG stat.ML
DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures
Duke University（杜克大学）
在寻求稀疏和有效的神经网络模型，许多以前的工作研究强制执行L1或L0正则化，以鼓励在训练过程中的权重稀疏。L0正则化器直接测量参数稀疏性，并且对参数值的缩放是不变的，但它不能提供有用的梯度，因此需要复杂的优化技术。L1正则化子几乎处处可微，并且可以很容易地用梯度下降进行优化。然而，它不是尺度不变的，导致所有参数的收缩率相同，这在增加稀疏性方面是低效的。受传统压缩感知问题中使用的Hoyer测度（L1和L2范数之间的比值）的启发，我们提出了DeepHoyer，这是一组稀疏诱导正则化器，几乎处处可微，并且具有尺度不变性。我们的实验表明，在相同的精度水平下，强制执行DeepHoyer正则化器可以产生比以前的作品更稀疏的神经网络模型。我们还表明，DeepHoyer可以应用于元素和结构修剪。
2020-01-19 cs.LG stat.ML
Effect of Various Regularizers on Model Complexities of Neural Networks in Presence of Input Noise
深度神经网络是过度参数化的，这意味着参数的数量远远大于用于训练网络的样本数量。即使在这样的制度下，深层架构也不会过度适应。这种现象是一个活跃的研究领域，许多理论已经被提出来试图理解这种特殊的观察。其中包括Vapnik Chervonenkis（VC）维数界和Rademacher复杂度界，它们表明网络的容量是由权重的范数而不是参数的数量来表征的。然而，这些措施的浅和深架构的输入噪声的影响还没有研究。在本文中，我们分析了各种正则化方案对神经网络的复杂性的影响，我们用损失，权值的$L_2$范数，Rademacher复杂性（直接近似正则化复杂性-DARC 1），基于VC维的低复杂度神经网络（LCNN）在不同程度的高斯输入噪声下的特征。我们发现，$L_2$正则化导致一个更简单的假设类和更好的推广，其次是DARC 1正则化，无论是浅，以及更深的架构。雅可比正则化器适用于具有高水平输入噪声的浅层架构。光谱归一化达到最高的测试集精度无论是浅的和更深的架构。我们还表明，辍学单独不执行以及输入噪声的存在。最后，我们表明，更深的架构是强大的输入噪声，而不是他们的浅同行。
2019-01-31 cs.LG stat.ML
A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks
ETH Zurich（苏黎世联邦理工学院）
针对神经网络存在低次谱偏差、损害高维离散输入任务泛化性的问题，提出可扩展Walsh-Hadamard正则化方案，通过促进高次频率学习、减少低次频率误判提升泛化，在多数据集上效果优于基线。
2023-06-10 cs.AI cs.LG
Explicit Regularization via Regularizer Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）
尽管对训练数据进行了完美的插值，但深度神经网络（DNN）通常可以很好地泛化，部分原因是学习算法引起的“隐式正则化”。尽管如此，各种形式的正则化，例如“显式正则化”（通过权重衰减），通常用于避免过拟合，特别是当数据损坏时。显式正则化有几个挑战，最明显的是不清楚的收敛性。受随机镜像下降（SMD）算法收敛特性的启发，我们提出了一种用正则化训练DNN的新方法，称为正则化镜像下降（RMD）。在高度过参数化的DNN中，SMD同时内插训练数据并最小化权重的某个潜在函数。RMD以标准成本开始，该标准成本是训练损失和权重的凸正则化器的总和。将此成本重新解释为“增强”过参数化网络的潜力，并应用SMD产生RMD。因此，RMD继承了SMD的性质，并可证明收敛到一个点“接近”这个成本的最小值。RMD在计算上与随机梯度下降（SGD）和权重衰减相当，并且可以以相同的方式并行化。我们在不同腐败程度的训练集上的实验结果表明，RMD的泛化性能非常鲁棒，明显优于SGD和权重衰减，这隐含和显式地正则化了权重的$\ell_2$范数。RMD还可以用于将权重正则化为期望的权重向量，这与持续学习特别相关。
2022-02-22 cs.LG math.OC stat.ML
PN-QNN: Harnessing Physical Noise as a Native Regularizer in Photonic Hybrid Quantum Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；NYUAD Research Institute（纽约大学阿布扎比研究所）；University of Coimbra（科英布拉大学）
研究探讨能否将量子硬件物理噪声用作光子混合量子 - 经典神经网络的正则化器，借助模拟器和框架构建网络并注入噪声模型，用遗传算法搜索参数，结果表明噪声在部分数据集提升准确率，部分下降，其正则化效果因数据集而异。
2026-07-23 cs.LG quant-ph
Deep Learning for Inverse Problems: Bounds and Regularizers
University College London（伦敦大学学院）
逆问题出现在许多领域，如医学成像，遥感等，依赖于使用先进的信号和图像处理方法-如稀疏驱动技术-以确定其解决方案。相反，本文研究了使用深度学习方法来近似逆问题的解决方案。特别是，该论文提供了一个新的泛化界，取决于与深度神经网络相关的关键量-其雅可比矩阵-这也导致了一些适用于逆问题的计算效率高的正则化策略。本文还测试了一些反问题，包括图像超分辨率的正则化策略。我们在各种数据集上进行的数值结果表明，使用源自我们理论的正则化或代理正则化策略正则化的全连接和卷积神经网络都表现出比使用标准方法（如权重衰减）正则化的深度网络更好的性能。
2019-01-31 cs.LG stat.ML
Online Learning with Multiple Fairness Regularizers via Graph-Structured Feedback
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；Department of Computer Science, Czech Technical University（捷克技术大学计算机科学系）；Dyson School of Design Engineering, Imperial College London（伦敦帝国理工学院设计工程戴森学院）；Imperial College London（伦敦帝国理工学院）
本文针对在线决策中多重公平约束的权重自适应问题，提出了一种基于图结构反馈的赌博机算法，能够在不预先知道权重的情况下在线学习并平衡多个公平性目标。
2026-05-22 cs.AI cs.LG
Fast Regularized Discrete Optimal Transport with Group-Sparse Regularizers
NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）
正则化离散最优迁移（OT）是一个强大的工具来衡量两个离散分布之间的距离，已经从两个不同的域上的数据样本构造。虽然它在机器学习中有广泛的应用，但在某些情况下，仅来自一个域的采样数据将具有类标签，例如无监督的领域自适应。在这类问题设置中，经常利用组稀疏正则化器作为正则化项来处理类标签。特别地，它可以通过将具有相同类别标签的数据样本对应到一个组稀疏正则化项来保持数据样本上的标签结构。因此，我们可以测量的距离，同时利用标签信息，通过解决正则化优化问题与基于梯度的算法。然而，当类或数据样本的数量很大时，梯度计算是昂贵的，因为正则化项的数量和它们各自的大小也很大。本文提出了一种快速离散OT与组稀疏正则化。我们的方法基于两个想法。第一个是安全地跳过必须为零的梯度的计算。第二个是有效地提取预期为非零的梯度。我们的方法保证返回与原始方法相同的目标函数值。实验表明，我们的方法是高达8.6倍的速度比原来的方法，而不降低准确性。
2023-03-14 cs.LG stat.ML
Inverse Evolution Layers: Physics-informed Regularizers for Deep Neural Networks
University of Cambridge（剑桥大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Dundee（邓迪大学）
本文提出逆演化层（IELs），将PDE演化模型的逆过程作为物理信息正则化器，用于惩罚神经网络的不良输出特性，并在语义分割中验证了其抑制噪声标签影响和强制凸形状约束的有效性。
2024-07-01 cs.LG cs.NA math.NA
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne（墨尔本大学）
我们考虑使用局部差异私有数据集的机器学习，特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的，干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此，具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布，分布鲁棒优化问题可以放松为正则化的机器学习问题，其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归，这个正则化子是模型参数的对偶范数。对于高斯数据，分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后，在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
Learning sparsity-promoting regularizers for linear inverse problems
MaLGa Center, University of Genoa（基因奥纳大学马尔加中心）；Lappeenranta-Lahti University of Technology（拉佩恩拉-拉赫蒂技术大学）；University of Helsinki（赫尔辛基大学）；University of Bologna（博洛尼亚大学）
本文提出了一种学习稀疏正则化器的方法，用于解决线性反问题，通过双层优化框架和数据驱动方法提升稀疏性。
2026-03-02 cs.LG math.ST stat.ML
