Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting
Sapienza Università di Roma(罗马第一大学);Università di Bologna(博洛尼亚大学);Istituto Nazionale di Alta Matematica(国家高等数学研究所)
本文从机器学习视角研究吸引子神经网络,通过正则化损失函数的梯度下降发现最优交互矩阵等价于经反复遗忘修正的Hebbian核,并据此提出基于正则化与早停的防过拟合策略,同时通过解析与数值实验揭示了不同参数下的泛化机制。
2024-02-20 cond-mat.dis-nn cs.LG
Post-synaptic potential regularization has potential
Università degli studi di Torino(都灵大学)
提高泛化能力是在分类任务上训练深度神经网络的主要挑战之一。特别是,已经提出了许多技术,旨在提高对未知数据的性能:从标准数据增强技术到$\ell_2$正则化,dropout,批量归一化,熵驱动的SGD等等。在这项工作中,我们提出了一个优雅的,简单的和原则性的方法:突触后电位正则化(PSP)。我们在许多不同的最先进的场景中测试了这种正则化。实证结果表明,PSP实现了与MNIST场景中更复杂的学习策略相当的分类错误,同时与在CIFAR-10上训练的深度架构中的$\ell_2$正则化相比,提高了泛化能力。
2019-07-19 cs.LG cs.NE stat.ML
Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach
Northeastern University(东北大学)
本文提出一种基于 Hessian 惩罚的二点噪声注入估计方法,有效正则化神经网络损失表面的 Hessian 矩阵以寻找平坦极小值,显著提升了模型泛化能力并在多种任务上取得优异实验结果。
2024-09-23 cs.DS cs.LG math.OC
Heavy-Tailed Regularization of Weight Matrices in Deep Neural Networks
Southern University of Science and Technology(南方科技大学);Beijing Normal University(北京师范大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对深度神经网络泛化能力问题,提出一种显式促进权重矩阵重尾谱分布的重尾正则化技术,通过可微惩罚项与贝叶斯先验方法有效提升了模型泛化性能。
2023-04-07 cs.LG stat.ML
Structured Regularization for Constrained Optimization on the SPD Manifold
Harvard University(哈佛大学)
针对SPD流形约束优化中黎曼算法的计算瓶颈,提出基于对称规范函数的结构化正则化器,通过保持凸性或凸差结构,实现用高效无约束方法求解约束问题,数值实验验证了其有效性。
2024-10-12 cs.LG math.DG math.OC
On the Regularization Effect of Stochastic Gradient Descent applied to Least Squares
University of Washington(华盛顿大学)
我们研究了随机梯度下降应用于可逆$A \in \mathbb{R}^{n \times n}$的$\|Ax -b \|_2^2 \rightarrow \min$的行为。我们表明,有一个明确的常数$c_{A}$依赖(轻度)$A$,使$$ \mathbb{E} ~\left\| Ax_{k+1}-b\right\|^2_{2} \leq \left(1 + \frac{c_{A}}{\|A\|_F^2}\right) \left\|A x_k -b \right\|^2_{2} - \frac{2}{\|A\|_F^2} \left\|A^T A (x_k - x)\right\|^2_{2}.$$这是一个奇怪的不等式:最后一项有一个更多的矩阵应用于剩余的$u_k - u$比其余条款:如果$x_k - x$主要是由大奇异向量,随机梯度下降导致快速正则化。对于对称矩阵,这个不等式推广到高阶索伯列夫空间。这解释了一种(已知的)正则化现象:从大奇异值到小奇异值的能量级联平滑。
2020-09-01 cs.LG cs.NA math.NA
Regularization-free estimation in trace regression with symmetric positive semidefinite matrices
Rutgers University(罗格斯大学);Saarland University(萨尔大学)
在过去的几年里,迹回归模型在矩阵完备、量子态层析成像和压缩传感的背景下受到了相当大的关注。从基于正则化的方法,特别是核范数正则化,促进低秩的基础矩阵的估计,已经享有很大的普及。在本文中,我们认为,这样的正则化可能不再是必要的,如果底层矩阵是对称半正定(\textsf{spd})和设计满足一定的条件。在这种情况下,受\textsf{spd}约束的简单最小二乘估计可以与适当选择正则化参数的基于正则化的方法一样执行,这需要噪声水平和/或调谐的知识。相比之下,约束最小二乘估计没有任何调整参数,因此由于其简单性而可能是优选的。
2015-04-23 cs.LG stat.ME stat.ML
Traditional and Heavy-Tailed Self Regularization in Neural Network Models
Calculation Consulting(计算咨询公司);ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
随机矩阵理论(RMT)被应用于分析深度神经网络(DNN)的权重矩阵,包括生产质量、预训练模型(如AlexNet和Inception)以及从头开始训练的较小模型(如LeNet 5和微型AlexNet)。经验和理论结果清楚地表明,DNN层矩阵的经验谱密度(ESD)显示了传统正则化统计模型的特征,即使在没有外源指定传统形式的正则化(如Dropout或Weight Norm约束)的情况下。最近的结果在RMT的基础上,最值得注意的是它的扩展到普适性类的重尾矩阵,我们开发了一个理论来识别\emph{5+1 Phases of Training},对应于越来越多的\emph{Implicit Self-Regularization}。对于较小和/或较旧的DNN,这种隐式自正则化就像传统的Tikhonov正则化,因为存在将信号与噪声分离的“大小尺度”。然而,对于最先进的DNN,我们发现了一种新形式的\emph{Heavy-Tailed Self-Regularization},类似于无序系统的统计物理学中的自组织。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象,我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。
2019-01-24 cs.LG stat.ML
Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning
Calculation Consulting(Calculation Consulting公司);ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
随机矩阵理论(RMT)应用于分析深度神经网络(DNN)的权重矩阵,包括生产质量、预训练模型(例如AlexNet和Inception)以及从头开始训练的较小模型,例如LeNet 5和微型AlexNet。经验和理论结果清楚地表明,DNN训练过程本身隐含地实现了一种形式的自正则化。DNN层矩阵的经验谱密度(ESD)显示了传统正则化统计模型的特征,即使在没有外生指定传统形式的显式正则化的情况下。基于RMT中相对较新的结果,最值得注意的是其扩展到重尾矩阵的普遍性类,我们开发了一种理论来识别5+1训练阶段,对应于隐式自正则化的增加量。这些阶段可以在训练过程中以及最终学习的DNN中观察到。对于较小和/或较旧的DNN,这种隐式自正则化就像传统的Tikhonov正则化,因为存在将信号与噪声分离的“大小尺度”。然而,对于最先进的DNN,我们发现了一种新的重尾自正则化形式,类似于无序系统统计物理中的自组织。这是由于在所有大小尺度上产生的相关性,这是由于训练过程本身而隐含地产生的。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象,我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。这表明,在其他条件相同的情况下,具有较大批量的DNN优化会导致隐式正则化模型不太好,并为泛化间隙现象提供了解释。
2018-10-02 cs.LG stat.ML
Optimal Laplacian regularization for sparse spectral community detection
GIPSA-lab(GIPSA实验室);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);L2S(L2S实验室);University of Paris Saclay(巴黎萨克雷大学)
经验表明,经典拉普拉斯矩阵的正则化可以改善稀疏网络中的谱聚类。据观察,小的正则化是优选的,但这一点作为启发式论点。在本文中,我们正式确定一个适当的正则化,这是密切相关的替代国家的最先进的稀疏图的谱技术。
2020-05-15 cs.LG stat.ML
Spectral Norm Regularization for Improving the Generalizability of Deep Learning
National Institute of Informatics(国立信息学研究所);Preferred Networks, Inc.(Preferred Networks公司)
我们基于对输入扰动的敏感性来研究深度学习的可推广性。我们假设数据对扰动的高度敏感性会降低其性能,为了降低数据对扰动的敏感性,我们提出了一种简单有效的正则化方法,称为谱范数正则化,它惩罚神经网络中权矩阵的高谱范数。我们通过实验证实,使用谱范数正则化训练的模型比其他基线方法具有更好的泛化能力,从而为上述假设提供了支持性证据。
2017-05-31 cs.LG stat.ML
Excess risk bounds for multitask learning with trace norm regularization
University College London(伦敦大学学院)
迹范数正则化是一种流行的多任务学习方法。我们给出了明确依赖于任务数量,每个任务的例子数和数据分布的属性的超额风险界限。边界与输入空间的维数无关,输入空间可以是无限的,如再生核希尔伯特空间的情况。一个副产品的证明是次指数矩的随机半正定矩阵和的期望范数的界限。
2013-01-14 cs.LG stat.ML
Rank-One Measurements of Low-Rank PSD Matrices Have Small Feasible Sets
Rice University(莱斯大学)
我们研究的约束集在确定低秩,半正定(PSD)矩阵传感问题的解决方案的作用。我们考虑的设置涉及秩一传感矩阵:特别是,给定一组近似低秩PSD矩阵的秩一投影,我们表征满足测量的PSD矩阵集的半径。这个结果产生一个采样率,以保证单例解集时,真正的矩阵是低秩,这样的目标函数或算法的选择是无关紧要的,在其恢复。我们讨论了这一贡献的应用,并比较它与最近的文献隐式正则化类似的问题。我们证明了这一结果的实际影响,通过应用圆锥投影方法PSD矩阵恢复不纳入低秩正则化。
2021-04-06 cs.LG math.OC stat.ML
Reexamining Low Rank Matrix Factorization for Trace Norm Regularization
University College London(伦敦大学学院);Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia(意大利技术研究院计算统计与机器学习)
迹范数正则化是一种广泛使用的学习低秩矩阵的方法。一个标准的优化策略是基于制定的问题,作为一个低秩矩阵分解,然而,导致一个非凸问题。在实践中,这种方法工作得很好,它通常比标准的凸解算器(如近似梯度方法)计算速度更快。然而,它不能保证收敛到全局最优值,并且优化可能被困在差的稳定点。在本文中,我们表明,它是可能的所有临界点的非凸问题的特征。这使我们能够提供一个有效的标准,以确定是否临界点也是一个全球性的极小。我们的分析表明,一个迭代的元算法,动态扩展的参数空间,并允许优化逃避任何非全局临界点,从而收敛到一个全局极小。该算法可以应用于矩阵完成或多任务学习等问题,我们的分析适用于任何随机初始化的因素矩阵。最后,我们证实了该算法在合成和真实数据集上的良好性能。
2017-07-31 cs.LG stat.ML
Temporal Regularization in Markov Decision Process
McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院)
强化学习的一些应用由于高方差而遭受不稳定性。这在高维域中尤其普遍。正则化是机器学习中常用的技术,用于减少方差,但代价是引入一些偏差。大多数现有的正则化技术集中在空间(感知)正则化。然而,在强化学习中,由于Bellman方程的性质,也有机会利用基于轨迹上的值估计的平滑度的时间正则化。本文探讨了一类时间正则化方法。我们正式的特点,这种技术使用马尔可夫链的概念引起的偏见。我们通过一系列简单的离散和连续的MDP说明了时间正则化的各种特性,并表明该技术即使在高维Atari游戏中也能提供改进。
2019-04-10 cs.LG stat.ML
Implicit regularization and solution uniqueness in over-parameterized matrix sensing
Boston University(波士顿大学);Rice University(莱斯大学);University of Maryland(马里兰大学)
我们考虑过参数化线性矩阵分解中的算法选择是否引入了隐式正则化。我们专注于$\mathbb{R}^{n \times n}$中秩- $r$半正定(PSD)矩阵上的无噪声矩阵感知,其感知机制满足限制等距性质(RIP)。我们研究的算法是\emph{factored gradient descent},其中我们模型的低秩和PSD约束与因子分解$UU^\top$,为$U \in \mathbb{R}^{n \times r}$。令人惊讶的是,最近的工作认为$r \leq n$的选择并不关键:即使设置$U \in \mathbb{R}^{n \times n}$也足以让因子梯度下降找到秩- $r$解,这表明对因子进行操作会导致隐式正则化。在这篇文章中,我们提供了一个不同的角度来看待隐式正则化问题。我们表明,在一定的条件下,PSD约束本身就足以导致一个独特的秩- $r$矩阵恢复,没有隐式或显式低秩正则化。\emph{I.e.},在假设下,与观察到的数据一致的PSD矩阵的集合是单例的,无论使用的算法如何。
2019-09-13 cs.LG math.OC stat.ML
On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory
研究了卷积神经网络的Lipschitz正则化问题。Lipschitz正则性现在被确立为现代深度学习的一个关键属性,在训练稳定性、泛化、对抗性示例的鲁棒性等方面都有影响。然而,计算神经网络的Lipschitz常数的精确值是NP困难的。最近的尝试从文献中引入上限来近似这个常数,要么是有效的,但松散或准确,但计算昂贵。在这项工作中,通过利用Toeplitz矩阵理论,我们为卷积层引入了一个新的上限,它既紧凑又易于计算。在此基础上,我们设计了一个训练Lipschitz正则化卷积神经网络的算法。
2020-11-07 cs.LG stat.ML
Efficient and Practical Stochastic Subgradient Descent for Nuclear Norm Regularization
IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们描述了新的次梯度方法的广泛的一类矩阵优化问题,涉及核范数正则化。与现有的方法不同,我们的方法通过将低秩随机次梯度与高效的增量SVD更新相结合来执行非常便宜的迭代,通过对小矩阵进行高度优化和可并行化的密集线性代数运算来实现。我们的实用算法始终保持迭代的低秩因式分解,可以方便地保存在内存中,并有效地相乘以生成矩阵完成设置中的预测。实证比较证实,我们的方法是非常有竞争力的几个最近提出的国家的最先进的解决方案,这样的问题。
2012-06-27 cs.LG stat.ML
Regularization in ResNet with Stochastic Depth
University of Oxford(牛津大学);Huawei Technologies(华为技术有限公司)
正则化在现代深度学习中发挥着重要作用。从L1、L2惩罚等经典技术到其他基于噪声的方法(如Dropout),正则化通常通过避免过拟合来产生更好的泛化性能。最近,随机深度(SD)已经成为残差神经网络(ResNets)的替代正则化技术,并且已经证明可以提高ResNet在许多任务上的性能[Huang et al.,2016年]。尽管SD最近取得了成功,但从理论角度对这项技术知之甚少。本文提供了一个混合分析相结合的扰动分析和信号传播阐明不同的正则化效果的SD。我们的分析使我们能够获得选择SD训练所用生存率的原则性指导方针。
2021-06-06 cs.LG stat.ML
Data Dropout in Arbitrary Basis for Deep Network Regularization
University of Central Florida(中佛罗里达大学)
训练高容量深度网络的一个重要问题是确保训练后的网络在训练数据集之外的新输入下工作良好。Dropout是一种有效的正则化技术,可以提高网络泛化能力,其中给定数据和提取特征的元素的随机子集在训练过程中被设置为零。在本文中,提出了一种新的随机正则化技术,在该技术中,我们保留了数据的随机部分,而不必关闭神经元/数据元素。在所提出的方法,其中传统的辍学被证明是一个特殊的情况下,随机数据辍学是在任意的基础上进行,因此指定广义辍学。我们还提出了一个框架,使所提出的技术可以有效地应用于卷积神经网络。数值实验表明,所提出的技术产生显着的性能增益。广义Dropout为Dropout的概念提供了新的视角,表明了通过使用不同的基矩阵可以获得不同的性能增益,并为如何选择最佳基矩阵以获得最大性能增益开辟了新的研究课题。
2017-12-05 cs.CV cs.LG stat.ML
Preventing Dimensional Collapse in Self-Supervised Learning via Orthogonality Regularization
The Hong Kong Polytechnic University(香港理工大学)
针对自监督学习中维度坍塌问题,该研究首次提出在编码器的卷积层和线性层施加正交正则化的方法,可同时防止权重矩阵、隐藏特征和表征的维度坍塌,在CNN和Transformer架构的多种基准上均提升了性能。
2024-11-01 cs.AI cs.LG
Generalizing and Improving Jacobian and Hessian Regularization
Boston University(波士顿大学);Ohio State University(俄亥俄州立大学);Tianjin University(天津大学)
雅可比正则化和海森正则化的目的是减少一阶和二阶偏导数相对于神经网络输入的大小,它们主要用于确保图像分类器的对抗鲁棒性。在这项工作中,我们推广了以前的努力,将目标矩阵从零扩展到任何矩阵,承认有效的矩阵向量产品。所提出的范例使我们能够构建新的正则化条款,强制执行对称性或对角的平方雅可比矩阵和海森矩阵。另一方面,雅可比和海森正则化的主要挑战是高计算复杂性。我们引入基于Lanczos的谱范数最小化来解决这个困难。该技术使用Lanczos算法的并行实现,并且能够有效且稳定地正则化大型Jacobian和Hessian矩阵。理论的理由和经验证据所提出的范式和技术。我们进行了探索性的实验,以验证我们的新的正则化条款的有效性。我们还进行了比较实验,以评估基于Lanczos的谱范数最小化对以前的方法。结果表明,所提出的方法是有利的广泛的任务。
2022-12-01 cs.LG math.OC
Exact Spectral Norm Regularization for Neural Networks
Chalmers University of Technology(查尔姆斯理工大学)
我们追求一系列的研究,旨在正则化深度神经网络的输入输出映射的雅可比矩阵的谱范数。虽然以前的工作依赖于上界技术,我们提供了一个计划,目标是精确的谱范数。我们展示了与之前的谱正则化技术相比,我们的算法实现了更好的泛化性能,同时对自然和对抗性噪声保持了强有力的保护。此外,我们进一步探讨了以前关于雅可比正则化提供的强对抗保护的一些推理,并表明它可能是误导性的。
2022-06-27 cs.LG stat.ML
Lifelong Learning with Sketched Structural Regularization
Johns Hopkins University(约翰斯·霍普金斯大学);HRL Laboratories, LLC(HRL实验室有限责任公司)
在不断学习新任务的同时防止灾难性遗忘是终身学习的一个基本问题。结构正则化(SR)是指一系列算法,通过惩罚网络在学习新任务时改变先前任务的“关键参数”来减轻灾难性遗忘。惩罚通常通过由\emph{importance matrix}定义的二次正则化子来诱导,例如,弹性权重合并框架中的(经验)Fisher信息矩阵。在实践中,由于计算的限制,大多数SR方法粗略地近似的重要性矩阵的对角线。在本文中,我们提出了\emph{Sketched Structural Regularization}(草图SR)作为一种替代方法来压缩用于正则化SR方法的重要性矩阵。具体来说,我们应用\emph{linear sketching methods}更好地近似SR算法中的重要性矩阵。我们表明,草图SR:(i)计算上高效并且易于实现,(ii)提供理论上合理的近似误差,以及(iii)是构造上不经意的方法,并且可以适用于属于结构正则化类的任何方法。我们表明,我们提出的方法一致地提高各种SR算法的合成实验和基准持续学习任务,包括置换MNIST和CIFAR-100的性能。
2021-04-17 cs.LG
Understanding Entropic Regularization in GANs
Stanford University(斯坦福大学);University of Delaware(特拉华大学)
生成对抗网络是一种通过将目标分布建模为已知分布的函数来从数据中学习分布的流行方法。该函数通常被称为生成器,它被优化以最小化生成的分布和目标分布之间的选定距离度量。一个常用的测量方法是Wasserstein距离。然而,Wasserstein距离很难计算和优化,在实践中,熵正则化技术被用来提高数值收敛性。然而,正则化对学习解决方案的影响仍然没有得到很好的理解。在本文中,我们研究了几种流行的熵正则化的Wasserstein距离如何影响解决方案在一个简单的基准设置,其中生成器是线性的,目标分布是高维高斯。我们表明,熵正则化促进解决方案稀疏化,而取代Wasserstein距离与Sinkhorn发散恢复非正则化的解决方案。这两种正则化技术都消除了Wasserstein距离所带来的维数灾难。我们表明,最佳的发电机可以学习到准确的$ε$与$O(1/ε^2)$样本的目标分布。因此,我们的结论是,这些正则化技术可以提高质量的发电机从经验数据的一大类分布。
2021-11-02 cs.LG stat.ML
Robust Nonnegative Matrix Factorization via $L_1$ Norm Regularization
非负矩阵分解(Nonnegative Matrix Factorization,NMF)是一种在人脸识别、运动分割等应用中广泛使用的技术。它利用两个非负矩阵的乘积,将高维空间中的非负数据近似为低维空间中的线性表示。在许多应用中,数据经常被大的加性噪声部分破坏。当噪声的位置已知时,可以通过将这些损坏的条目视为缺失值来应用NMF的一些现有变体。然而,在许多现实世界的应用中,这些位置通常是未知的,这阻止了传统NMF或NMF的其他现有变体的使用。提出了一种鲁棒非负矩阵分解(RobustNMF)算法,该算法将部分腐败明确地建模为大的加性噪声,而不需要噪声的位置信息。在实践中,可以使用大的加性噪声来对离群值进行建模。特别是,所提出的方法联合近似的两个非负矩阵的产品的清洁数据矩阵和估计的位置和值的离群值/噪声。一个有效的迭代优化算法与坚实的理论证明已被提出来学习所需的矩阵分解。实验结果证明了该算法的优越性。
2012-04-11 cs.CV cs.LG stat.ML
Theoretically Accurate Regularization Technique for Matrix Factorization based Recommender Systems
正则化是解决机器学习算法过拟合问题的一种常用技术。大多数正则化技术依赖于正则化系数的参数选择。插入法和交叉验证法是岭回归、Lasso回归和核回归等回归方法中最常用的两种参数选择方法。基于矩阵分解的推荐系统也严重依赖于正则化技术。大多数人选择单个标量值来独立或共同正则化用户特征向量和项目特征向量。在本文中,我们证明了这种选择正则化系数的方法是无效的,我们提供了一个理论上准确的方法,优于最广泛使用的方法在准确性和公平性指标。
2022-05-21 cs.IR cs.LG
Spectral Regularization: an Inductive Bias for Sequence Modeling
Tsinghua University(清华大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);CIFAR AI Chair(CIFAR人工智能讲席)
学习任务中各种形式的正则化都追求不同的简单性概念。本文提出了一种谱正则化技术,它附加了一个独特的归纳偏见的序列建模的基础上定义的乔姆斯基层次结构中的直观概念的简单性。从Hankel矩阵和正则文法之间的基本联系出发,我们提出使用Hankel矩阵的迹范数,其秩的最紧凸松弛,作为谱正则化子。针对Hankel矩阵是双无穷大矩阵的情况,提出了其迹范数的无偏随机估计。最后,我们展示了实验结果富田文法,表现出潜在的好处谱正则化和验证所提出的随机估计。
2022-11-04 cs.AI cs.CL cs.LG
Class Probability Estimation via Differential Geometric Regularization
Boston University(波士顿大学);The Mathworks Inc.(Mathworks公司)
我们从统一的几何角度研究了二分类和多分类的监督学习问题。特别是,我们提出了一种几何正则化技术,找到相应的类概率$P(y|\pmb{x})$的鲁棒估计的子流形。正则化项测量这个子流形的体积,基于过拟合产生快速局部振荡的直觉,因此估计量很大。这种技术可以应用于正则化满足两个要求的任何分类函数:首先,可以获得类概率的估计;其次,可以计算类概率估计的一阶和二阶导数。在实验中,我们将我们的正则化技术应用于标准损失函数进行分类,我们基于RBF的实现与广泛使用的正则化方法进行二进制和多类分类相比毫不逊色。
2016-02-11 cs.CG cs.LG stat.ML
Effects of Common Regularization Techniques on Open-Set Recognition
Ohio State University(俄亥俄州立大学);Air Force Research Laboratory(空军研究实验室)
本研究探讨常见正则化技术对开放集识别性能的影响,实验表明正则化可显著提升开放集识别能力,并揭示准确性与开放集性能的新关系。
2024-09-03 cs.LG
Online linear optimization with the log-determinant regularizer
Kyushu University(九州大学)
我们考虑对称半正定矩阵上的在线线性优化问题,它有各种各样的应用,包括在线协同过滤。该问题被表述为算法和对手之间的重复博弈,在每轮t中,算法和对手分别选择矩阵X_t和L_t,然后算法遭受由X_t和L_t的Frobenius内积给出的损失。该算法的目标是使累积损失最小化。我们可以使用一个标准的框架,称为遵循正则化的领导者(FTRL)设计算法,其中我们需要选择一个适当的正则化函数,以获得良好的性能保证。我们证明了在损失矩阵L_t都是稀疏矩阵的情况下,对数行列式正则化比其他常用的正则化函数效果更好。利用这个属性,我们表明,我们的算法实现了最佳的性能保证在线协同过滤。该文件的技术贡献是开发一种新的技术,推导性能界限,利用属性的强凸性的对数行列式的损失矩阵,而在以前的分析中,强凸性的定义相对于一个规范。直观地,跳过范数分析导致改进的界。此外,我们应用我们的方法在线线性优化向量,并表明,FTRL与伯格熵正则化,这是模拟的对数行列式正则化向量的情况下,工作良好。
2017-10-27 cs.LG
SoftTarget Regularization: An Effective Technique to Reduce Over-Fitting in Neural Networks
Dimensional Mechanics
深度神经网络是具有非常高容量的学习模型,因此易于过度拟合。许多正则化技术,如Dropout、DropConnect和权重衰减,都试图通过降低各自模型的容量来解决过度拟合的问题(Srivastava等人,2014),(Wan等人,2013),(Krogh & Hertz,1992).在本文中,我们介绍了一种新的正则化形式,它以一种减少过拟合而不牺牲模型容量的方式指导学习问题。模型在训练的早期阶段所犯的错误携带了关于学习问题的信息。通过对真实标签的加权平均和对过去软目标的指数平均来调整当前训练时期的标签,我们实现了一个与Dropout一样强大的正则化方案,而不必降低模型的容量,并简化了学习问题的复杂性。SoftTarget正则化被证明是各种神经网络架构中的有效工具。
2016-12-03 cs.LG
OCReP: An Optimally Conditioned Regularization for Pseudoinversion Based Neural Training
University of Turin(都灵大学);National Institute of Astrophysics(国家天体物理研究所);Univ. Pierre et Marie Curie(皮埃尔和玛丽·居里大学)
在本文中,我们考虑训练单隐层神经网络的伪逆,尽管它的普及,有时会受到数值不稳定性问题。正则化是已知的是有效的,在这种情况下,使我们引入,在吉洪诺夫正则化的框架中,一个matricial重新制定的问题,它允许我们使用的条件数作为诊断工具,用于识别不稳定性。通过对相关矩阵施加良好的条件要求,我们的理论分析允许从稳定性的角度确定正则化参数的最佳值。我们比较交叉验证过拟合控制和优化的泛化性能所得出的值。我们测试我们的方法回归和分类任务。所提出的方法是相当有效的预测性,往往与一些性能上的改进与参考情况下考虑。这种方法,由于正则化参数的分析确定,大大减少了许多其他技术所需的计算负荷。
2015-08-25 cs.LG cs.NE stat.ML
PaloBoost: An Overfitting-robust TreeBoost with Out-of-Bag Sample Regularization Techniques
Emory University(埃默里大学)
随机梯度TreeBoost经常出现在公共数据科学挑战的许多获奖解决方案中。不幸的是,最好的性能需要大量的参数调整,并且容易出现过拟合。我们提出了PaloBoost,一种随机梯度TreeBoost模型,它使用新颖的正则化技术来防止过拟合,并且对参数设置具有鲁棒性。PaloBoost使用未充分利用的包外样本来执行梯度感知修剪并估计自适应学习率。与其他使用袋外样本来估计测试误差的随机梯度TreeBoost模型不同,PaloBoost将样本作为第二批训练样本来修剪树并调整学习率。因此,PaloBoost可以动态调整树的深度和学习速率,以实现在开始时更快的学习和在算法收敛时更慢的学习。我们说明了如何有效地实现这些正则化技术,并提出了一个新的公式来计算特征的重要性,以反映节点的覆盖率和学习率。在7个数据集上的大量实验结果表明,PaloBoost对过拟合具有鲁棒性,对参数不敏感,并且还可以有效地识别有意义的特征。
2018-07-22 cs.LG stat.ME stat.ML
Function-Space Regularization in Neural Networks: A Probabilistic Perspective
New York University(纽约大学)
本文提出函数空间经验贝叶斯(FSEB)正则化方法,从概率视角将参数空间正则化视为经验先验,实现显式编码期望预测函数,带来语义偏移检测、不确定性校准和任务适应等改进。
2023-12-28 cs.AI cs.LG stat.ML
Consistency Regularization for Generative Adversarial Networks
Google Research(谷歌研究院)
生成对抗网络(GANs)是已知的,是难以训练,尽管相当大的研究工作。已经提出了几种用于稳定训练的正则化技术,但它们引入了非平凡的计算开销,并且与谱归一化等现有技术的交互性很差。在这项工作中,我们提出了一个简单,有效的训练稳定器的一致性正则化的概念-一个流行的技术在半监督学习文献的基础上。特别是,我们增加了传入GAN的数据,并惩罚了GAN对这些增强的敏感性。我们进行了一系列的实验,以证明一致性正则化有效地与频谱归一化和各种GAN架构,损失函数和优化器设置。与CIFAR-10和CelebA上的其他正则化方法相比,我们的方法实现了无条件图像生成的最佳FID分数。此外,我们的一致性正则化GAN(CR-GAN)将CIFAR-10上的条件生成的最先进FID分数从14.73提高到11.48,并在ImageNet-2012上从8.73提高到6.66。
2020-02-18 cs.CV cs.LG stat.ML
Regularization Matters in Policy Optimization
University of California, Berkeley(加州大学伯克利分校);National University of Singapore(新加坡国立大学)
深度强化学习(Deep RL)由于其在各种控制任务上令人鼓舞的表现而受到越来越多的关注。然而,训练神经网络(例如,$L_2$正则化,dropout)在RL方法中很大程度上被忽略了,这可能是因为代理通常在相同的环境中进行训练和评估,并且因为深度RL社区更关注高级算法设计。在这项工作中,我们提出了第一个全面的研究正则化技术与多个政策优化算法的连续控制任务。有趣的是,我们发现策略网络上的常规正则化技术通常可以带来很大的改进,特别是在更困难的任务上。我们的研究结果显示出对训练超参数变化的鲁棒性。我们还比较了这些技术与更广泛使用的熵正则化。此外,我们研究了正则化不同的组件,发现只有正则化的政策网络通常是最好的。我们进一步分析了为什么正则化可以从四个角度帮助RL的泛化-样本复杂度,奖励分布,权重范数和噪声鲁棒性。我们希望我们的研究提供指导,在未来的实践规则化的政策优化算法。我们的代码可在https://github.com/xuanlinli17/iclr2021_rlreg上获得。
2021-11-28 cs.AI cs.LG stat.ML
Learnable Graph-regularization for Matrix Decomposition
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);Center for Excellence in Animal Evolution and Genetics, Chinese Academy of Sciences(中国科学院动物进化与遗传卓越创新中心)
数据矩阵的低秩近似模型已经成为包括计算机视觉、文本挖掘、生物信息学等许多领域中重要的机器学习和数据采掘工具。它们允许将高维数据嵌入到低维空间中,这减轻了噪声的影响并揭示了潜在的关系。为了使学习到的表示继承原始数据中的结构,通常将图正则化项添加到损失函数中。然而,现有的图构造往往不能反映真实的网络连通性和内在关系。此外,许多图正则化方法没有考虑对偶空间。概率模型常被用来描述变量的分布,但为了简单起见,大多数方法都假设隐变量是独立同分布的。为此,我们提出了一个可学习的图正则化矩阵分解模型(LGMD),它建立了图正则化方法和概率矩阵分解模型之间的桥梁。LGMD学习两个图形结构(即,两个精度矩阵),并且对噪声和丢失条目更鲁棒。大量的数值结果和与竞争方法的比较证明了它的有效性。
2020-10-16 cs.AI cs.DS cs.LG
DL-Reg: A Deep Learning Regularization Technique using Linear Regression
Shiraz University(设拉子大学);Lancaster University(兰卡斯特大学)
正则化在深度学习中起着至关重要的作用,可以防止深度神经网络出现过拟合的危险。本文提出了一种新的深度学习正则化方法,称为DL-Reg,它通过显式地强制网络尽可能线性地表现,在一定程度上仔细降低了深度网络的非线性。其关键思想是向深度神经网络的目标函数添加线性约束,这只是从模型的输入到输出的线性映射的误差。更准确地说,所提出的DL-Reg仔细地迫使网络以线性方式行为。这个线性约束通过正则化因子进一步调整,防止了网络过拟合的风险。通过在多个基准数据集上训练最先进的深度网络模型来评估DL-Reg的性能。实验结果表明,本文提出的正则化方法:1)对现有正则化技术进行了重大改进; 2)显著提高了深度神经网络的性能,特别是在小规模训练数据集的情况下。
2020-11-03 cs.AI cs.CV cs.LG
On the utility and protection of optimization with differential privacy and classic regularization techniques
Politecnico di Milano(米兰理工大学)
如今,深度学习模型的所有者和开发人员必须考虑其训练数据的严格隐私保护规则,通常是众包和保留敏感信息。如今,最广泛采用的实施深度学习模型隐私保证的方法依赖于实施差分隐私的优化技术。根据文献,这种方法已被证明是一个成功的防御几个模型的隐私攻击,但其缺点是一个模型的性能大幅下降。在这项工作中,我们比较了差分私有随机梯度下降(DP-SGD)算法对标准的优化实践与正则化技术的有效性。我们分析了所得到的模型的效用,训练性能,以及对学习模型的隶属推理和模型反演攻击的有效性。最后,我们讨论了差分隐私的缺陷和局限性,并实证证明了往往优越的隐私保护性能的dropout和l2-正则化。
2022-09-07 cs.AI cs.CR cs.LG
Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization
Tsinghua University(清华大学)
本文提出一种基于谱正则化的贝叶斯矩阵补全方法,通过放松奇异向量的正交约束,设计出适用于贝叶斯推断的自适应谱正则化方法,无需参数调优即可自动推断潜在因子数量,在稀疏矩阵上表现优异。
2015-12-25 cs.AI cs.LG cs.NA
Stochastic Weight Matrix-based Regularization Methods for Deep Neural Networks
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本文的目的是介绍两个广泛适用的正则化方法的基础上直接修改的重量矩阵。第一种方法,权重重新初始化,利用一个简化的贝叶斯假设与部分重置的稀疏子集的参数。第二种是权重洗牌,它将熵和权重分布不变的非白噪声引入参数。后者也可以被解释为一种整体方法。所提出的方法进行评估基准数据集,如MNIST,CIFAR-10或JSB合唱团数据库,也对时间序列建模任务。我们报告收益的分析网络的性能和熵。我们还将我们的代码作为GitHub存储库(https://github.com/rpatrik96/lod-wmm-2019)提供。
2019-09-26 cs.LG cs.NE
Scalable Regularization of Scene Graph Generation Models using Symbolic Theories
University of Padova(帕多瓦大学);Samsung AI Research(三星人工智能研究院)
最近有几种技术旨在通过结合背景知识来提高用于场景图生成(SGG)的深度学习模型的性能。国家的最先进的技术可以分为两个家庭:一个是背景知识被纳入到一个subsymbolic时尚的模型,和另一个在其中的背景知识是保持在符号形式。尽管有希望的结果,这两个家庭的技术面临着几个缺点:第一个需要特设的,更复杂的神经架构,增加训练或推理成本;第二个遭受有限的可扩展性w.r.t.背景知识的大小。我们的工作介绍了一种正则化技术注入符号背景知识到神经SGG模型,克服了现有技术的局限性。我们的技术是模型不可知的,不产生任何成本在推理时间,并扩展到以前难以管理的背景知识大小。我们证明,我们的技术可以提高最先进的SGG模型的准确性,高达33%。
2022-09-06 cs.AI cs.CV cs.LG
Deep image prior for 3D magnetic particle imaging: A quantitative comparison of regularization techniques on Open MPI dataset
University of Bremen(不来梅大学)
磁性粒子成像(MPI)是一种利用(超)顺磁性纳米粒子的非线性磁化行为来获得由这些纳米粒子组成的示踪剂的空间依赖性浓度并且通常也是时间依赖性浓度的成像模式。MPI具有不断增加的潜在医疗应用数量。在这些应用中成功执行的一个先决条件是图像重建问题的适当解决方案。来自逆问题理论的更经典的方法,以及来自机器学习领域的新方法,有可能在MPI中提供高质量的重建。我们研究了一种基于深度图像先验的新型重建方法,该方法建立在通过深度神经网络表示解决方案的基础上。新的方法,以及变分和迭代正则化技术,定量比较的峰值信噪比和结构相似性指数公开可用的开放MPI数据集。
2020-07-03 cs.CV cs.LG eess.IV