Convergence Analysis of the Dynamics of a Special Kind of Two-Layered Neural Networks with $\ell_1$ and $\ell_2$ Regularization
本文推广了具有一个$ReLU$输出的两层无偏网络动力学的收敛性分析。我们考虑了两个流行的正则化项:参数向量$w$的$\ell_1$和$\ell_2$范数,并将其添加到系数为$λ/2$的平方损失函数中。我们证明了当$λ$很小时,在以原点为中心的球面上随机初始化下,权重向量$w$以概率$\geq (1-\varepsilon)(1-A_d)/2$收敛到最优解$\hat{w}$(关于新的损失函数),其中$\varepsilon$是一个小值,$A_d$是一个常数。数值实验包括相图和重复模拟验证了我们的理论。
2017-11-19 cs.LG stat.ML
Neural Network Training Using $\ell_1$-Regularization and Bi-fidelity Data
University of Colorado(科罗拉多大学)
神经网络具有精确地表示物理系统模型的输入和感兴趣的输出量之间的函数关系的能力,在科学应用中,神经网络已经成为替代建模的流行。然而,由于这些网络是过度参数化的,它们的训练通常需要大量的数据。为了防止过拟合并改善泛化误差,基于例如,应用参数的$\ell_1$ -和$\ell_2$ -范数。类似地,可以修剪网络的多个连接以增加网络参数的稀疏性。在本文中,我们探讨了稀疏促进$\ell_1$ -正则化训练神经网络时,只有一个小的训练数据集,从高保真模型的影响。与标准的$\ell_1$ -正则化已知是不充分的,我们考虑$\ell_1$ -正则化的两个变体,由使用手头问题的较低保真度模型的数据训练的相同网络的参数通知。这些双保真度策略是神经网络的转移学习的推广,其使用从大型低保真度数据集学习的参数来有效地训练用于小型高保真数据集的网络。我们还比较了两个$\ell_1$ -正则化方法,只使用高保真数据集的双保真度策略。通过物理系统传播不确定性的三个数值例子表明,建议的双保真度$\ell_1$正则化策略产生的误差是一个数量级小于那些只使用高保真模型的数据集训练的网络。
2021-06-01 cs.LG stat.ML
Gradient $\ell_1$ Regularization for Quantization Robustness
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies Netherlands B.V.(荷兰高通技术有限公司);University of Oxford(牛津大学)
我们分析了神经网络的量化权重和激活对其损失的影响,并推导出一个简单的正则化方案,该方案提高了对训练后量化的鲁棒性。通过训练量化就绪网络,我们的方法能够存储一组权重,这些权重可以根据应用程序的能量和内存要求的变化按需量化为不同的位宽。与使用直通估计器的量化感知训练不同,直通估计器仅针对特定的位宽并需要访问训练数据和管道,我们基于正则化的方法为各种位宽的“动态”训练后量化铺平了道路。我们表明,通过建模量化作为一个$\ell_\infty$有界扰动,在损失扩展的一阶项可以正则化使用梯度的$\ell_1$ -范数。我们在CIFAR-10和ImageNet数据集上通过实验验证了我们的正则化方案在不同架构上的有效性。
2020-02-18 cs.LG stat.ML
Make $\ell_1$ Regularization Effective in Training Sparse CNN
Pennsylvania State University(宾夕法尼亚州立大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
使用$\ell_1$正则化的压缩感知是许多应用中最强大和最流行的稀疏化技术之一,但为什么它没有被用于获得稀疏深度学习模型,如卷积神经网络(CNN)?本文旨在回答这个问题,并展示如何使其工作。我们首先证明了常用的随机梯度下降(SGD)和变体训练算法与$\ell_1$正则化不匹配,然后将其替换为基于正则化双平均(RDA)方法的不同训练算法。RDA最初是专门为凸问题设计的,但是通过新的理论见解和算法修改(使用适当的初始化和自适应性),我们已经使其与$\ell_1$正则化有效匹配,以实现CNN与其他权重修剪方法相比最先进的稀疏性,而不会影响准确性(例如,在CIFAR-10上实现ResNet 18的95%稀疏性)。
2020-06-03 cs.LG stat.ML
Safe Screening for Logistic Regression with $\ell_0$-$\ell_2$ Regularization
Department of Indutrial Engineering and Operations Research, University of California, Berkeley(加州大学伯克利分校工业工程与运筹学系)
在逻辑斯谛回归中,通常希望利用正则化来促进稀疏解,特别是对于与可用标签相比具有大量特征的问题。在本文中,我们提出了筛选规则,安全地删除功能的逻辑斯谛回归与$\ell_0-\ell_2$正则化解决问题之前。所提出的安全筛选规则是基于逻辑斯谛回归问题的强圆锥松弛的Fenchel对偶的下界。真实和合成数据的数值实验表明,高比例的功能,可以有效地和安全地删除先验,从而大大加快计算。
2022-02-01 cs.LG stat.ME stat.ML
Parameter Estimation with the Ordered $\ell_{2}$ Regularization via an Alternating Direction Method of Multipliers
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
正则化是机器学习中用于模型估计和避免过拟合的流行技术。先前的研究发现,现代有序正则化在处理高度相关的高维数据时比传统正则化更有效。原因在于有序正则化可以拒绝不相关的变量并产生参数的准确估计。面对大规模的训练数据,如何将有序正则化问题规模化是一个尚未解决的问题。本文研究了有序$\ell_{2}$ -正则化乘子交替方向法(ADMM)的参数估计问题,称为ADMM-O $\ell_{2}$ . ADMM-O $\ell_{2}$的优点包括(i)将有序的$\ell_{2}$按比例放大到大规模数据集,(ii)通过自动排除不相关的变量来正确地预测参数,以及(iii)具有快速的收敛速度。合成数据和真实数据的实验结果表明,ADMM-O $\ell_{2}$的性能优于或相当于几种最先进的基线。
2019-10-31 cs.LG math.OC stat.ML
Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization
University of Chicago(芝加哥大学)
虽然$\ell_2$正则化被广泛用于训练梯度提升树,但用于树的流行个性化特征属性方法(例如Saabas和TreeSHAP)忽略了训练过程。我们提出了预测分解属性(PreDecomp),这是一种新的个性化特征属性,用于梯度提升树,当它们用$\ell_2$正则化训练时。理论分析表明,PreDecomp算法与样本数据上的标签之间的内积实质上是一棵树的总增益,并且在特征独立的总体情况下,它可以忠实地恢复加性模型。受PreDecomp和总增益之间的联系的启发,我们还提出了TreeInner,这是一个由任何个性化特征属性和每个树的样本外数据标签之间的内积定义的去偏全局特征属性家族。在模拟数据集和基因组ChIP数据集上的数值实验表明,TreeInner具有最先进的特征选择性能。代码再现实验可在https://github.com/nalzok/TreeInner上获得。
2022-11-08 cs.LG stat.ML
Nonconvex Rectangular Matrix Completion via Gradient Descent without $\ell_{2,\infty}$ Regularization
UC Davis(加州大学戴维斯分校);Zhejiang University(浙江大学)
非凸矩阵完备化的分析由于其计算上的方便性,近年来在机器学习领域引起了广泛的关注。然而,对该问题的现有分析通常依赖于涉及未知模型参数的$\ell_{2,\infty}$投影或正则化,尽管观察到它们在数值模拟中是不必要的,参见例如,Zheng和Lafford [2016]。本文将Ma et al. [2017]提出的半正定矩阵完备的香草梯度下降分析扩展到矩形情况,更重要的是,将所需的采样率从$O(\operatorname{poly}(κ)μ^3 r^3 \log^3 n/n )$提高到$O(μ^2 r^2 κ^{14} \log n/n )$。我们的技术思想和贡献是潜在的有用的,在其他相关问题的改进留一法分析。
2020-05-20 cs.LG stat.ML
Random Manifold Sampling and Joint Sparse Regularization for Multi-label Feature Selection
Northeastern University(东北大学);Shandong University(山东大学)
多标签学习通常用于挖掘特征和标签之间的相关性,特征选择可以通过少量的特征保留尽可能多的信息。$\ell_{2,1}$正则化方法可以得到稀疏的系数矩阵,但不能有效解决多重共线性问题。本文提出的模型通过求解$\ell_{2,1}$和$\ell_{F}$正则化的联合约束优化问题来获得最相关的少数特征。在流形正则化中,我们实现了基于联合信息矩阵的随机游动策略,得到了一个高度鲁棒的邻域图。此外,给出了求解该模型的算法,并证明了算法的收敛性,在真实数据集上的对比实验表明,该方法优于其他方法。
2023-03-30 cs.LG stat.ML
Sparse Deep Learning Models with the $\ell_1$ Regularization
Syracuse University(雪城大学);Jilin University(吉林大学);Old Dominion University(奥多明尼昂大学)
本文研究 ℓ1 正则化参数对神经网络稀疏度的影响,推导单参数与多参数稀疏模型,并提出迭代选参算法以获得满足预定稀疏度且逼近精度良好的网络。
2024-08-05 cs.LG math.OC stat.ML
Adversarially robust generalization theory via Jacobian regularization for deep neural networks
Northwest University(西北大学)
本研究证明雅可比正则化可作为对抗训练的近似上界,并建立其鲁棒泛化差距,实验表明降低雅可比范数可提升标准和鲁棒泛化。
2024-12-17 cs.LG stat.ML
Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression
Duke University(杜克大学)
本文针对稀疏线性回归中最小ℓ₁和ℓ₂范数插值器均无法达到最优测试损失的问题,提出一种新的模型参数化方法,通过梯度下降产生结合ℓ₁与ℓ₂优点的隐式正则化效应,从而获得接近最优测试损失的插值器。
2023-05-26 cs.LG stat.ML
Scaling Up Coordinate Descent Algorithms for Large $\ell_1$ Regularization Problems
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个通用的框架,并行坐标下降(CD)算法,其中包括,作为特殊情况下,原来的顺序算法循环CD和随机CD,以及最近的并行猎枪算法。我们介绍了两种新的并行算法,也是特殊情况-线程贪婪的CD和基于着色的CD-并给出了这些的OpenMP实现的性能测量。
2012-06-27 cs.DC cs.LG stat.ML
Random Features Model with General Convex Regularization: A Fine Grained Analysis with Precise Asymptotic Learning Curves
Chalmers University of Technology(查尔姆斯理工大学);Uppsala University(乌普萨拉大学)
我们计算精确的渐近表达式的学习曲线的最小二乘随机特征(RF)模型与可分离的强凸正则化或$\ell_1$正则化。我们提出了一种新的多层次应用凸高斯最小最大定理(CGMT),以克服传统的困难,找到可计算的表达式随机特征模型与相关数据。我们的结果采用可计算的4维标量优化的形式。与以前的结果相比,我们的方法不需要解决一个经常棘手的近端算子,其规模与模型参数的数量。此外,我们将RF模型的训练和泛化误差的普遍性结果扩展到$\ell_1$正则化。特别是,我们证明了在温和的条件下,随机特征模型与弹性网或$\ell_1$正则化是渐近等价的代理高斯模型具有相同的第一和第二时刻。我们数值证明了我们的结果的预测能力,并通过实验表明,预测的测试误差是准确的,即使在非渐近制度。
2023-03-01 cs.LG stat.ML
Adversarial Training is a Form of Data-dependent Operator Norm Regularization
ETH Zürich(苏黎世联邦理工学院)
我们在对抗训练和深度神经网络的算子范数正则化之间建立了理论联系。具体来说,我们证明了$\ell_p$ -范数约束的基于投影梯度上升的对抗性训练与干净和扰动输入的logits上的$\ell_q$ -范数损失等价于数据依赖的(p,q)算子范数正则化。这种基本联系证实了长期以来的观点,即网络对对抗性示例的敏感性与其频谱特性有关,并暗示了增强和防御对抗攻击的新方法。我们提供了大量的经验证据,国家的最先进的网络架构,以支持我们的理论结果。
2020-10-23 cs.LG stat.ML
Regularization of $\ell_1$ minimization for dealing with outliers and noise in Statistics and Signal Recovery
本文研究了在给定设计矩阵和污染仅限于因变量的经典线性回归问题中,$\ell_1$范数最小化的鲁棒性。我们进行了精细的误差分析的$\ell_1$估计的测量误差与噪声相结合的离群值。我们介绍了一种新的估计技术,从正规化的$\ell_1$最小化的下卷积与$\ell_2$规范。考虑到对大离群值的鲁棒性,所提出的估计保持了$\ell_1$估计的崩溃点,并在没有离群值时简化为最小二乘。我们提出了一个全局收敛的向前向后算法计算我们的估计和一些数值实验证实其理论性质。
2014-02-25 math.OC stat.ML
Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network
Purdue University(普渡大学);Hong Kong University of Science and Technology(香港科技大学);East China Normal University(华东师范大学)
过参数化的神经网络训练梯度下降(GD)可以证明过拟合任何训练数据。然而,泛化保证可能不适用于噪声数据。从非参数的角度,本文研究如何以及过参数化神经网络可以恢复真实的目标函数在随机噪声的存在。我们建立了一个下界的$L_2$估计误差相对于GD迭代,这是远离零,没有一个微妙的计划提前停止。反过来,通过对$\ell_2$正则化GD轨迹的全面分析,我们证明了对于具有$\ell_2$正则化的过参数化的一个隐藏层ReLU神经网络:(1)输出接近于具有相应神经正切核的核岭回归的输出;(2)可以实现$L_2$估计误差的minimax {最优}率。数值实验证实了我们的理论,并进一步表明,$\ell_2$正则化方法提高了训练的鲁棒性,适用于更广泛的神经网络。
2021-09-25 cs.LG stat.ML
An efficient projection neural network for $\ell_1$-regularized logistic regression
Jheronimus Academy of Data Science(杰罗尼莫斯数据科学学院);Eindhoven University(埃因霍温大学);Ferdowsi University of Mashhad(马什哈德 Ferdowsi 大学)
$\ell_1$正则化已被用于逻辑回归,以规避过拟合,并使用估计的稀疏系数进行特征选择。然而,这种正则化的挑战在于$\ell_1$范数是不可微的,使得用于凸优化的标准算法不适用于该问题。本文提出了一个简单的投影神经网络的$\ell_1$ -正则化逻辑回归。与文献中许多可用的求解器相比,所提出的神经网络不需要任何额外的辅助变量,也不需要任何平滑逼近,并且其复杂性几乎与无需$\ell_1$正则化的逻辑回归梯度下降的复杂性相同,这要归功于投影算子。我们还研究了建议的神经网络的收敛性,通过使用李雅普诺夫理论,并表明它收敛到任何初始值的问题的解决方案。所提出的神经解决方案在执行时间方面明显优于最先进的方法,并且在准确性和AUROC方面具有竞争力。
2021-05-12 cs.LG stat.ML
Solving $\ell^p\!$-norm regularization with tensor kernels
在本文中,我们讨论了如何一个合适的家庭张量核可以用来有效地解决$\ell^p$正则化学习方法的非参数扩展。我们的主要贡献是提出了一个快速的对偶算法,并表明它可以有效地解决问题。我们的结果对比最近的研究结果表明,核方法不能扩展到希尔伯特设置。数值实验验证了该方法的有效性。
2017-10-18 math.OC stat.ML
Estimating Implicit Regularization in Deep Learning
University of Pennsylvania(宾夕法尼亚大学)
本文提出通过梯度匹配方法估计深度学习中的隐式正则化,验证了其在处理复杂网络时的有效性,并展示了在Dropout等方法中的应用。
2026-11-05 cs.LG stat.ML
Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering
Johns Hopkins University(约翰斯·霍普金斯大学);Beijing University of Posts and Telecommunications(北京邮电大学)
现有技术的子空间聚类方法基于将每个数据点表示为其他数据点的线性组合,同时用$\ell_1$、$\ell_2$或核范数正则化系数矩阵。保证$\ell_1$正则化给出子空间保持亲和性(即,来自不同子空间的点之间没有连接),但是簇可以不连接。$\ell_2$和核范数正则化通常会改善连通性,但仅对独立子空间给出子空间保持亲和性。混合的$\ell_1$、$\ell_2$和核范数正则化提供了子空间保持和连通性属性之间的平衡,但这是以增加的计算复杂性为代价的。本文研究了弹性网络正则化子($\ell_1$和$\ell_2$范数的混合)的几何结构,并利用它导出了一个可证明正确的和可扩展的有效集方法来寻找最佳系数。我们的几何分析还提供了一个理论上的理由和几何解释之间的平衡的连通性(由于$\ell_2$正则化)和子空间保持(由于$\ell_1$正则化)属性的弹性网络子空间聚类。实验结果表明,该方法不仅具有最佳的聚类性能,而且能够有效地处理大规模数据集。
2016-05-09 cs.CV cs.LG stat.ML
An algorithmic view of $\ell_2$ regularization and some path-following algorithms
The Ohio State University(俄亥俄州立大学)
建立了凸损失函数的$\ell_2$正则化解路径与常微分方程解之间的等价关系。重要的是,这种等价性揭示了解决方案的路径可以被视为梯度下降和牛顿方法应用于经验损失的混合流,这类似于广泛使用的称为信赖域方法的优化技术。这为$\ell_2$正则化提供了一个有趣的算法视图,与传统的观点相反,$\ell_2$正则化解路径类似于经验损失的梯度流。提出了基于同伦方法和数值ODE求解器的新的路径跟踪算法来数值逼近解路径。特别地,分别以牛顿法和梯度下降法作为同伦方法的基本算法,建立了它们在解路径上的逼近误差率。我们的理论提出了新的方案来选择网格点,以保证解路径的任意小的次最优性。在计算成本方面,我们证明了为了实现整个解路径的$ε$ -次最优性,牛顿法所需的牛顿步数是$\mathcal O(ε^{-1/2})$,而梯度下降法所需的梯度步数是$\mathcal O\left(ε^{-1} \ln(ε^{-1})\right)$。最后,我们使用$\ell_2$ -正则化逻辑斯谛回归作为一个说明性的例子来证明所提出的路径跟踪算法的有效性。
2021-07-07 cs.LG stat.CO stat.ML
Noise-Augmented $\ell_0$ Regularization of Tensor Regression with Tucker Decomposition
提出NA$_0$CT$^2$方法,通过噪声增强实现Tucker分解中核心张量的精确$\ell_0$正则化,在张量回归中改善预测并识别重要预测变量。
2024-12-18 stat.ML
Data Filtering for Cluster Analysis by $\ell_0$-Norm Regularization
提出了一种基于加权$\ell_0$ -范数惩罚最小化最小二乘函数的聚类分析数据过滤方法。为了克服目标函数的不连续性,采用光滑非凸函数逼近$\ell_0$ -范数.证明了逼近问题的全局极小值点收敛于原问题的全局极小值点。该方法还利用了一种合适的技术来选择罚参数。最后提供的合成和真实数据集的数值结果,显示一些现有的聚类方法可以从建议的过滤策略的优势。
2017-05-22 math.OC stat.ML
Post-synaptic potential regularization has potential
Università degli studi di Torino(都灵大学)
提高泛化能力是在分类任务上训练深度神经网络的主要挑战之一。特别是,已经提出了许多技术,旨在提高对未知数据的性能:从标准数据增强技术到$\ell_2$正则化,dropout,批量归一化,熵驱动的SGD等等。在这项工作中,我们提出了一个优雅的,简单的和原则性的方法:突触后电位正则化(PSP)。我们在许多不同的最先进的场景中测试了这种正则化。实证结果表明,PSP实现了与MNIST场景中更复杂的学习策略相当的分类错误,同时与在CIFAR-10上训练的深度架构中的$\ell_2$正则化相比,提高了泛化能力。
2019-07-19 cs.LG cs.NE stat.ML
Adaptive Norm-Based Regularization for Neural Networks
Department of Statistics, Lund University(统计系,隆德大学)
本文提出两种自适应范数正则化策略,通过引入输入特征协方差结构改进传统岭和Lasso惩罚,提升高维数据下的预测性能和复杂度控制。
2026-04-30 cs.LG stat.AP stat.ML
Sparse Kernel Canonical Correlation Analysis via $\ell_1$-regularization
典型相关分析(CCA)是一种用于寻找两组变量之间线性关系的多元统计技术。核CCA的核推广已被提出来发现数据集之间的非线性关系。尽管它们被广泛使用,但它们有一个共同的局限性,那就是它们的解决方案缺乏稀疏性。本文考虑稀疏核CCA,提出了一种新的稀疏核CCA算法(SKCCA)。我们的算法是基于核CCA和最小二乘之间的关系。通过惩罚对偶向量的$\ell_{1}$ -范数引入对偶变换的稀疏性。实验结果表明,该算法不仅在计算稀疏对偶变换方面表现良好,而且可以缓解核CCA的过拟合问题。
2017-01-16 stat.ML
Accelerating Cross-Validation in Multinomial Logistic Regression with $\ell_1$-Regularization
我们开发了一个近似公式,用于评估由$\ell_1$ -范数正则化的多项逻辑斯谛回归的预测似然的交叉验证估计。这使我们能够避免进行交叉验证所需的重复优化;因此,计算时间可以显着减少。该公式是通过微扰的方法,采用大的数据大小和模型的维数。扩展的弹性网正则化也解决了。模拟数据和ISOLET数据集从UCI机器学习库的近似公式的实用性证明。
2018-09-18 cond-mat.dis-nn stat.ML
Manifold Regularization for Locally Stable Deep Neural Networks
CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院)
我们应用流形正则化的概念来开发新的正则化技术,用于训练局部稳定的深度神经网络。我们的正则化器基于图拉普拉斯算子的稀疏化,当数据在高维中稀疏时,这种稀疏化具有很高的概率,这在深度学习中很常见。从经验上讲,我们的网络在不同的扰动模型中表现出稳定性,包括$\ell_2$,$\ell_\infty$和基于Wasserstein的扰动;特别是,我们在CIFAR-10上实现了40%的对抗精度,对抗使用大小为$ε= 8/255$的$\ell_\infty$扰动的自适应PGD攻击,并且在相同的扰动模型中,最先进的验证精度为21%。此外,我们的技术是有效的,产生的开销与通过网络的两个额外的并行转发相同。
2020-09-22 cs.CV cs.LG cs.NE
Fast Convergence Rate of Multiple Kernel Learning with Elastic-net Regularization
我们研究了弹性网络正则化的多核学习算法的学习率,弹性网络正则化由一个用于引入稀疏性的$\ell_1$正则化器和一个用于控制光滑性的$\ell_2$正则化器组成.我们专注于一个稀疏的设置,其中内核的总数是大的,但地面真值的非零分量的数量相对较小,并证明弹性网MKL实现最小最大学习率的$\ell_2$ -混合范数球。我们的边界比以往任何时候都更尖锐的收敛速度,并具有一个性质,即越光滑的真相,收敛速度越快。
2011-07-13 stat.ML
Fast learning rate of multiple kernel learning: Trade-off between sparsity and smoothness
我们研究了多核学习(MKL)与$\ell_1$和弹性网络正则化的学习率。弹性网络正则化是用于诱导稀疏性的$\ell_1$正则化器和用于控制平滑性的$\ell_2$正则化器的组合。我们专注于稀疏设置,其中内核的总数很大,但地面真值的非零分量的数量相对较小,并且显示出比$\ell_1$和弹性网络正则化的学习速率更快的收敛速率。我们的分析揭示了正则化函数的选择和性能之间的一些关系。如果地面真理是光滑的,我们显示了更快的收敛速度的弹性网络正则化与更少的条件比$\ell_1$ -正则化;否则,更快的收敛速度的$\ell_1$ -正则化。
2013-08-26 math.ST stat.ML stat.TH
Sparse estimation via $\ell_q$ optimization method in high-dimensional linear regression
Zhejiang University(浙江大学);Shenzhen University(深圳大学);The Hong Kong Polytechnic University(香港理工大学);Chinese Academy of Sciences(中国科学院)
在本文中,我们讨论的$\ell_q$优化方法$(0<q\leq 1)$的统计特性,包括$\ell_q$最小化方法和$\ell_q$正则化方法,估计一个稀疏的参数从噪声观测高维线性回归的确定性或随机设计。为此,我们引入了一般的$q$-限制特征值条件(REC),并利用稀疏特征值条件、限制等距性和互不相干性等正则条件给出了REC的充分条件.借助于$q$-REC,我们证明了$\ell_q$优化方法的$\ell_2$恢复界$O(ε^2)$和$\ell_q$正则化方法的Oracle不等式和$\ell_2$恢复界$O(λ^{\frac{2}{2-q}}s)$分别以高概率成立,从而证明了$\ell_q$优化方法对确定性设计和随机设计的稳定恢复性质.本文的结果是非渐近的,并且仅假设弱$q$-REC.初步的数值结果验证了所建立的统计性质,并表明了$\ell_q$正则化方法优于现有的一些稀疏优化方法.
2019-11-12 cs.LG math.OC stat.ML
Quadratic Surface Support Vector Machine with L1 Norm Regularization
Institute for Mathematics and its Applications, University of Minnesota(明尼苏达大学数学及其应用研究所);College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);Precima, a NielsenIQ Company(普雷西玛(尼耳森艾克集团旗下公司))
我们提出$\ell_1$范数正则化二次曲面支持向量机模型用于监督学习中的二进制分类。我们建立了所需的理论性质,包括最优解的存在性和唯一性,减少到标准支持向量机(几乎)线性可分数据集,和检测真正的稀疏模式(几乎)二次可分数据集,如果惩罚参数的$\ell_1$范数是足够大的。我们还通过在合成和公开可用的基准数据集上进行各种数值实验,证明了它们有前途的实际效率。
2021-01-30 cs.LG math.OC stat.ML
Dropout Regularization Versus $\ell_2$-Penalization in the Linear Model
本文分析线性回归中 dropout 梯度下降迭代的期望与协方差收敛,揭示其与 $\ell_2$ 正则化的微妙关系,并给出无非正则化效应的简化变体。
2024-04-25 math.ST stat.ML stat.TH
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出KRR的等价目标函数,利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归,并将其分别与符号梯度下降和坐标下降的早停解建立联系,提出高效计算方法,在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
On the Optimal Weighted $\ell_2$ Regularization in Overparameterized Linear Regression
University of Toronto(多伦多大学);Vector Institute(向量研究所);Columbia University(哥伦比亚大学)
我们考虑线性模型$\mathbf{y} = \mathbf{X} \mathbfβ_\star + \mathbfε$,其中$\mathbf{X}\in \mathbb{R}^{n\times p}$处于超参数化状态$p>n$。我们通过广义(加权)岭回归估计$\mathbfβ_\star$:$\hat{\mathbfβ}_λ= \left(\mathbf{X}^T\mathbf{X} + λ\mathbfΣ_w\right)^\dagger \mathbf{X}^T\mathbf{y}$,其中$\mathbfΣ_w$是加权矩阵。根据随机设计设置与一般数据协方差$\mathbfΣ_x$和各向异性的前真实系数$\mathbb{E}\mathbfβ_\star\mathbfβ_\star^T = \mathbfΣ_β$,我们提供了一个精确的表征的预测风险$\mathbb{E}(y-\mathbf{x}^T\hat{\mathbfβ}_λ)^2$的比例渐近极限$p/n\rightarrow γ\in (1,\infty)$。我们的一般设置导致了一些有趣的发现。我们概述了精确的条件,决定的最佳设置$λ_{\rm opt}$的脊参数$λ$的符号,并确认隐含的$\ell_2$正则化效应的overparameterization,这在理论上证明了令人惊讶的经验观察,$λ_{\rm opt}$可以是…
2020-11-03 cs.LG math.ST stat.ML
On the $\ell_1-\ell_q$ Regularized Regression
在本文中,我们考虑使用$\ell_1-\ell_q$正则化($1\leq q \leq \infty$)的高维回归中的分组变量选择问题,它可以被视为$\ell_1-\ell_2$正则化(Lasso组)的自然推广。关键条件是维度$p_n$的增长速度比样本量$n$快得多,即$p_n \gg n$(在我们的例子中,$p_n$是组的数量),但相关组的数量很小。主要结论是,$\ell_1-$正则化(Lasso)的许多良好特性自然地继承到$\ell_1-\ell_q$案例($1 \leq q \leq \infty$)中,即使每组中的变量数量也随着样本大小而增加。在固定设计下,我们证明了在不同条件下估计族的估计相合性和变量选择相合性。在一个更弱的条件下,我们还证明了随机设计的持久性结果。这些结果提供了一个统一的处理整个家庭的估计,从$q=1$(Lasso)的$q=\infty$(iCAP),$q=2$(组Lasso)作为一个特殊情况。当没有可用的组结构时,所有分析都简化为Lasso估计量($q=1$)的当前结果。
2008-02-11 math.ST stat.ML stat.TH
Linear regression with overparameterized linear neural networks: Tight upper and lower bounds for implicit $\ell^1$-regularization
该研究针对深度≥2的过参数化对角线性神经网络的线性回归问题,推导了梯度流极限点与ℓ¹最小化解间逼近误差的紧上下界,刻画了深度与初始化尺度对误差的影响,实验验证了理论并发现更深网络泛化性更优。
2025-10-28 cs.IT cs.LG math.IT
Joint Nuclear and $\ell_1$ Regularization for Logistic Matrix Regression with Applications to Brain Imaging
Jagiellonian University(雅盖隆大学);Indiana University Bloomington(印第安纳大学布鲁明顿分校);Indiana University School of Medicine(印第安纳大学医学院)
提出一种结合核范数和ℓ1惩罚的凸优化框架,用于逻辑标量-矩阵回归,以同时实现系数矩阵的低秩和稀疏结构,并应用于脑成像数据分析。
2026-06-15 math.OC stat.ME stat.ML
Horseshoe Regularization for Feature Subset Selection
特征子集选择出现在统计学的许多高维应用中,例如压缩感知和基因组学。$\ell_0$惩罚对于这个任务是理想的,需要注意的是它需要对所有模型进行NP难的组合评估。最近相当感兴趣的领域是开发有效的算法来拟合具有用于$γ\in (0,1)$的非凸$\ell_γ$罚分的模型,这导致比凸$\ell_1$或套索罚分更稀疏的模型,但是更难以拟合。我们提出了一种替代方案,称为马蹄正则化惩罚的特征子集选择,并证明了其理论和计算的优势。现有的非凸优化方法的显着特点是一个完整的概率表示的惩罚作为一个合适的先验的对数的负数,这反过来又使有效的期望最大化和局部线性近似算法的优化和MCMC的不确定性量化。在合成和真实数据中,所得到的算法提供了更好的统计性能,并且计算需要最先进的非凸解算器的一小部分时间。
2017-06-22 stat.CO stat.ML
Transformed $\ell_1$ Regularizations for Robust Principal Component Analysis: Toward a Fine-Grained Understanding
The University of Texas at Dallas(得克萨斯大学达拉斯分校);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出用非凸 transformed $\ell_1$(TL1)正则化改进 RPCA 中秩与稀疏度近似,并给出一般采样下的收敛率及常数阶估计上界,实验显示其优于经典凸模型。
2025-10-04 math.ST stat.ML stat.TH
Support recovery without incoherence: A case for nonconvex regularization
我们证明了原始-对偶见证证明方法可以用来建立变量选择的一致性和$\ell_\infty$ -界稀疏回归问题,即使当损失函数和/或正则化是非凸的。使用这种方法,我们得到两个定理的支持恢复和$\ell_\infty$ -保证的回归估计在一般设置。我们的研究结果提供了严格的理论依据使用非凸正则化:对于某些非凸正则化与消失的衍生物远离原点,支持恢复一致性可以保证,而不需要典型的不相干条件存在于$\ell_1$为基础的方法。然后,我们推导出几个推论,说明我们的方法分析复合目标函数,涉及损失,如最小二乘,非凸修正最小二乘误差变量线性回归,负对数似然广义线性模型,和图形拉索的广泛适用性。最后,我们用实证研究来证实我们的理论预测。
2014-12-17 cs.IT math.IT math.ST