Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks
Stanford University（斯坦福大学）
我们开发的精确表示的训练两层神经网络与整流线性单元（ReLU）在一个单一的凸规划的变量多项式的训练样本的数量和隐藏的神经元的数量。我们的理论利用半无限对偶和最小范数正则化。我们证明了用标准权重衰减训练的ReLU网络等价于块$\ell_1$惩罚凸模型。此外，我们表明，某些标准的卷积线性网络是等价的半定规划，可以简化为$\ell_1$正则化的线性模型在一个多项式大小的离散傅立叶特征空间。
2020-08-15 cs.CC cs.LG stat.ML
Deep Learning for Inverse Problems: Bounds and Regularizers
University College London（伦敦大学学院）
逆问题出现在许多领域，如医学成像，遥感等，依赖于使用先进的信号和图像处理方法-如稀疏驱动技术-以确定其解决方案。相反，本文研究了使用深度学习方法来近似逆问题的解决方案。特别是，该论文提供了一个新的泛化界，取决于与深度神经网络相关的关键量-其雅可比矩阵-这也导致了一些适用于逆问题的计算效率高的正则化策略。本文还测试了一些反问题，包括图像超分辨率的正则化策略。我们在各种数据集上进行的数值结果表明，使用源自我们理论的正则化或代理正则化策略正则化的全连接和卷积神经网络都表现出比使用标准方法（如权重衰减）正则化的深度网络更好的性能。
2019-01-31 cs.LG stat.ML
How regularization affects the geometry of loss functions
本文研究了不同正则化器（如权重衰减）如何改变非线性深度神经网络损失函数的几何性质，重点探讨了哪些正则化器能使通常非 Morse 的未正则化损失函数 $L$ 变为 Morse 函数。
2023-07-28 cs.LG math.DG math.OC
The Effects of Regularization and Data Augmentation are Class Dependent
Meta AI Research（元人工智能研究院）；NYU（纽约大学）
正则化是通过约束模型的复杂性来防止过拟合和提高泛化性能的基本技术。目前的深度网络严重依赖于正则化器，如数据增强（DA）或权重衰减，并采用结构风险最小化，即交叉验证，以选择最佳正则化超参数。在这项研究中，我们证明了DA或权重衰减等技术产生的模型具有降低的复杂性，这在各个类别之间是不公平的。从交叉验证中发现的DA或权重衰减的最佳量导致某些类别上的灾难性模型性能，例如在具有resnet 50的Imagenet上，“谷仓蜘蛛”分类测试准确度仅通过在训练期间引入随机作物DA从$68\%$下降到$46\%$。更令人惊讶的是，当引入诸如权重衰减之类的无信息正则化技术时，也会出现这种性能下降。这些结果表明，我们对不断增加的泛化性能的搜索-在所有类和样本上的平均值-给我们留下了模型和正则化器，这些模型和正则化器默默地牺牲了某些类的性能。当在下游任务上部署模型时，这种情况可能会变得危险，例如，当在Imagenet预训练阶段引入随机裁剪DA时，部署在INaturalist上的Imagenet预训练resnet 50在类\#8889上的性能从$70\%$下降到$30\%$。这些结果表明，设计新的正则化没有类依赖的偏见仍然是一个开放的研究问题。
2022-04-08 cs.CV cs.LG stat.ML
Eigenvalue Decay Implies Polynomial-Time Learnability for Neural Networks
UT-Austin（德克萨斯大学奥斯汀分校）；Simons Institute for Theoretical Computer Science（西蒙斯理论计算机科学研究所）
我们考虑学习由具有各种激活的神经网络计算的函数类的问题（例如ReLU或Sigmoid），这是一项在最坏情况下被认为是计算上难以处理的任务。一个主要的开放问题是了解这些类承认可证明有效的算法的最小假设。在这项工作中，我们表明，一个自然的分布假设对应于{ \em特征值衰减}的革兰氏矩阵产生多项式时间的算法在不可实现的设置表达类的网络（例如，前馈网络的ReLU）。我们不对网络的结构或标签做任何假设。在给定多项式特征值强衰减的条件下，我们得到了{\em fully}-多项式时间算法在{ \em all}中关于平方损失的相关参数.更温和的衰减假设也会导致改进的算法。这是第一个纯粹的分布式假设，导致ReLU网络的多项式时间算法，即使有一个隐藏层。此外，与先前的分布假设（例如，边缘分布是高斯分布），但是在实践中已经在普通数据集上观察到本征值衰减。
2017-08-11 cs.DS cs.LG
Why Do We Need Weight Decay in Modern Deep Learning?
EPFL（洛桑联邦理工学院）
本文揭示权重衰减在现代深度学习中的角色并非显式正则化，而是通过改变训练动态（如损失稳定和偏差-方差权衡）提升性能，从视觉ResNet到LLMs统一解释其作用。
2024-11-04 cs.LG
A Deeper Look at the Hessian Eigenspectrum of Deep Neural Networks and its Applications to Regularization
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
损失景观分析对于深入理解深度神经网络模型的泛化能力非常有用。在这项工作中，我们提出了一个分层的损失景观分析，在每一层的损失表面是独立的研究，也对如何每个相关的整体损失表面。我们通过研究每层Hessian的本征谱来研究分层损失景观。特别是，我们的研究结果表明，分层海森几何在很大程度上是类似于整个海森。我们还报告了一个有趣的现象，观察到的深神经网络的中间层的海森本征谱最相似的整体海森本征谱。我们还表明，最大特征值和跟踪的Hessian（全网络和逐层）减少的网络训练的进展。我们利用这些意见，提出了一个新的正则化的基础上逐层Hessian的痕迹。在每一层惩罚Hessian的迹间接迫使随机梯度下降收敛到平坦的最小值，这被证明具有更好的泛化性能。特别是，我们表明，这样的逐层正则化可以被利用来单独惩罚中间层，这会产生有希望的结果。我们对跨数据集的知名深度网络的实证研究支持了这项工作的主张
2020-12-08 cs.LG
Banach Space Representer Theorems for Neural Networks and Ridge Splines
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们开发了一个变分框架来理解神经网络学习的函数的属性。本文提出并研究了一类在Radon域中具有数据拟合约束的全变分正则化的连续域线性反问题。我们推导出一个表示定理，表明有限宽度，单隐层神经网络是这些逆问题的解决方案。我们从变分样条理论中借鉴了许多技术，因此我们提出了多项式脊样条的概念，它对应于以截断幂函数作为激活函数的单隐层神经网络。的表示定理是让人想起经典的再生核希尔伯特空间表示定理，但我们表明，神经网络的问题是在一个非希尔伯特Banach空间。虽然学习问题是在连续域中提出的，但与核方法类似，这些问题可以重新转换为有限维神经网络训练问题。这些神经网络训练问题具有与众所周知的权重衰减和路径范数正则化器相关的正则化器。因此，我们的研究结果提供了深入了解训练神经网络的功能特性，也到设计神经网络正则化。我们还表明，这些正则化促进神经网络解决方案具有理想的泛化性能。
2021-02-11 cs.LG stat.ML
SHADE: Information Based Regularization for Deep Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire d’Informatique de Paris 6（巴黎第六大学计算机实验室）；LIP6（巴黎第六大学计算机实验室）
正则化是训练深度神经网络的一个大问题。在本文中，我们提出了一个新的基于信息论的正则化方案命名为SHADE SHAnnon DEcay。该方法的独创性在于基于条件熵定义先验，其明确地将正则化器中的不变表示的学习和数据拟合项中的输入和标签之间的相关性的学习相结合。我们的第二个贡献是导出一个与深度学习兼容的正则化器的随机版本，从而产生一个易于处理的训练方案。我们经验验证了我们的方法的效率，以提高分类性能相比，常见的正则化方案在几个标准架构。
2018-05-22 cs.LG stat.ML
On the Eigenvalue Decay Rates of a Class of Neural-Network Related Kernel Functions Defined on General Domains
本文提出确定定义在一般域上的大规模核函数特征值衰减率的方法，分析了宽神经网络的最小最大最优性及过拟合问题。
2026-04-07 cs.LG stat.ML
SHADE: Information-Based Regularization for Deep Learning
正则化是训练深度神经网络的一个大问题。在本文中，我们提出了一个新的基于信息论的正则化方案命名为SHADE SHAnnon DEcay。该方法的独创性在于基于条件熵定义先验，其明确地将正则化器中的不变表示的学习和数据拟合项中的输入和标签之间的相关性的学习相结合。我们的第二个贡献是导出一个与深度学习兼容的正则化器的随机版本，从而产生一个易于处理的训练方案。我们经验验证了我们的方法，以提高分类性能的效率相比，标准的正则化方案在几个标准的架构。
2018-05-14 cs.LG stat.ML
Weighted Temporal Decay Loss for Learning Wearable PPG Data with Sparse Clinical Labels
Tulane University（路易斯安那州立大学）；Samsung Research America（三星美国研究院）
本文提出了一种带权重的时间衰减损失方法，用于提升可穿戴PPG数据在稀疏临床标签下的学习性能，通过优化样本权重衰减策略提高AUPRC指标。
2026-02-02 cs.LG
Generalization by design: Shortcuts to Generalization in Deep Learning
Technical University of Denmark（丹麦技术大学）
我们从几何学的角度出发，通过Bregman散度损失函数，对监督式深度学习提出了一个统一的观点-这需要频繁的分类和预测任务。受模拟的启发，我们认为，深度模型的香草随机梯度下降训练对"更简单"的函数基本上没有隐含的偏见。相反，我们表明，良好的推广可能会煽动有界谱产品层导致一种新的几何正则化。据透露，在足够深的模型，这样的正则化，使双方，极端的准确性和泛化，达到。我们将流行的正则化技术，如权重衰减、丢弃、批量归一化和提前停止与此观点联系起来。在理论的支持下，我们进一步证明了“设计泛化”在实践中是可能的，并且良好的泛化可以被编码到网络的结构中。我们设计了两个这样的易于使用的结构正则化，插入一个额外的\textit{generalization layer}到一个模型架构，一个跳过连接和另一个辍学。我们在各种前馈和卷积架构的实验中验证了我们的理论结果，包括ResNets和数据集（MNIST，CIFAR10，合成数据）。我们相信这项工作开辟了新的研究途径，以更好地推广架构。
2021-07-05 cs.LG math.DG math.PR
On the Benefits of Active Data Collection in Operator Learning
University of Michigan（密歇根大学）
本文研究线性算子学习中的主动数据收集策略，证明其误差收敛速率可随协方差核特征值衰减而任意加快，而被动策略存在不消失下界，从而揭示了主动收集的显著优势。
2025-02-06 cs.LG stat.ML
A disciplined approach to neural network hyper-parameters: Part 1 -- learning rate, batch size, momentum, and weight decay
US Naval Research Laboratory（美国海军研究实验室）
尽管在过去几年中，深度学习在图像、语音和视频处理应用方面取得了令人眼花缭乱的成功，但大多数训练都使用了次优的超参数，需要不必要的长训练时间。设置超参数仍然是一种需要多年经验才能获得的黑艺术。本报告提出了几种有效的方法来设置超参数，从而显著减少训练时间并提高性能。具体而言，此报告显示了如何检查训练验证/测试损失函数，以获得欠拟合和过拟合的细微线索，并建议了向最佳平衡点移动的指导原则。然后讨论了如何提高/降低学习率/动量以加快训练速度。我们的实验表明，平衡每个数据集和架构的各种正则化方式至关重要。权重衰减被用作样本正则化器，以显示其最佳值如何与学习率和动量紧密耦合。可获得帮助复制此处报告的结果的文件。
2018-04-24 cs.CV cs.LG cs.NE
