DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures
Duke University(杜克大学)
在寻求稀疏和有效的神经网络模型,许多以前的工作研究强制执行L1或L0正则化,以鼓励在训练过程中的权重稀疏。L0正则化器直接测量参数稀疏性,并且对参数值的缩放是不变的,但它不能提供有用的梯度,因此需要复杂的优化技术。L1正则化子几乎处处可微,并且可以很容易地用梯度下降进行优化。然而,它不是尺度不变的,导致所有参数的收缩率相同,这在增加稀疏性方面是低效的。受传统压缩感知问题中使用的Hoyer测度(L1和L2范数之间的比值)的启发,我们提出了DeepHoyer,这是一组稀疏诱导正则化器,几乎处处可微,并且具有尺度不变性。我们的实验表明,在相同的精度水平下,强制执行DeepHoyer正则化器可以产生比以前的作品更稀疏的神经网络模型。我们还表明,DeepHoyer可以应用于元素和结构修剪。
2020-01-19 cs.LG stat.ML
Improving approximate RPCA with a k-sparsity prior
Technische Universität München(慕尼黑工业大学)
鲁棒PCA(RPCA)的过程中心视图允许其基于具有跨所有层共享的权重的深度神经网络的特殊形式的快速近似实现。然而,根据经验,这种快速近似RPCA未能找到的表示是parsemonious。我们解决这些坏的局部最小值通过放松elementwise L1和L2先验,而不是利用结构诱导k-稀疏先验。在判别分类任务中,新学习的表示明显优于原始近似RPCA公式。
2014-12-29 cs.LG cs.NE
Structured Sparsity via Alternating Direction Methods
Columbia University(哥伦比亚大学)
我们考虑一类稀疏学习问题,在高维特征空间正则化的结构稀疏诱导规范,其中包括先验知识的组结构的功能。由于正则化项的非光滑性和不可分离性,这类问题常常对优化算法提出相当大的挑战。在本文中,我们专注于两个常用的稀疏诱导正则化项,重叠组Lasso惩罚$l_1/l_2$ -范数和$l_1/l_\infty$ -范数。我们提出了一个统一的框架,基于增广拉格朗日方法,在此框架下,这两种类型的正则化及其变体的问题可以有效地解决。作为该框架的核心构建块,我们开发了新的算法,使用交替的部分线性化/分裂技术,我们证明了这些算法的加速版本需要$O(\frac{1}{\sqrtε})$迭代,以获得$ε$ -最优解。为了证明我们的算法的效率和相关性,我们在一组数据集上进行了测试,并将其应用于两个现实问题,以比较两种规范的相对优点。
2011-12-15 cs.AI math.OC stat.ML
Group Sparse Additive Models
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院)
我们考虑非参数加性模型中稀疏变量的选择问题,利用协变量之间结构的先验知识来鼓励一组变量中的那些变量被联合选择。以前的工作要么研究参数设置中的组稀疏性(例如,GroupLasso),或者在不利用结构信息的情况下解决非参数设置中的问题(例如,稀疏加性模型)。在本文中,我们提出了一种新的方法,称为组稀疏加性模型(GroupSpAM),它可以处理组稀疏加性模型。我们将l1/l2范数推广到Hilbert空间作为GroupSpAM中的稀疏诱导惩罚。此外,我们推导出一个新的阈值条件,以确定在组水平的功能稀疏,并提出了一个有效的块坐标下降算法来构建的估计。我们通过模拟证明,GroupSpAM在支持恢复和预测准确性方面大大优于竞争方法,并在真实的乳腺癌数据集上进行了比较实验。
2012-06-18 cs.LG stat.ML
Smoothing Proximal Gradient Method for General Structured Sparse Learning
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
我们研究的问题,学习高维回归模型正则化的结构稀疏诱导惩罚编码的输入或输出侧的先验结构信息。我们考虑两种广泛采用的惩罚类型作为我们的激励示例:1)基于l1/l2混合范数惩罚的重叠组套索惩罚,以及2)图引导融合惩罚。对于这两种类型的惩罚,由于其不可分离性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一个通用的优化方法,称为平滑邻近梯度方法,它可以解决结构稀疏回归问题的光滑凸损失和广泛的结构稀疏诱导惩罚。我们的方法是基于Nesterov的一般平滑技术。它实现了比标准的一阶方法,次梯度方法更快的收敛速度,并且比最广泛使用的邻域点方法更具可扩展性。数值结果表明,所提出的方法的效率和可扩展性。
2012-02-14 cs.LG stat.ML
Sparsity by Worst-Case Penalties
本文提出了一种新的解释稀疏处罚,如弹性网和组套索。除了提供一个新的观点,这些惩罚计划,我们的方法在一个统一的优化策略的结果。我们的实验表明,这种策略,弹性网络上实施,是计算上非常有效的中小型问题。我们的配套软件可以非常准确地解决问题,达到机器精度,并且能够在所需的时间内通过竞争最先进的算法获得粗略估计。我们在真实和人工数据集上说明,这种准确性是解决方案支持的正确性所必需的,这是稀疏诱导惩罚的可解释性的重要因素。
2017-07-19 stat.CO stat.ML
A phase transition for finding needles in nonlinear haystacks with LASSO artificial neural networks
Shandong University(山东大学);University of Geneva(日内瓦大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
为了拟合稀疏线性关联,具有单个超参数的LASSO稀疏诱导惩罚可证明地允许在某些制度中以高概率恢复重要特征(针),即使样本量小于输入向量(干草堆)的维度。最近,被称为人工神经网络(ANN)的学习器在许多机器学习任务中取得了巨大成功,特别是拟合非线性关联。小学习率、随机梯度下降算法和大训练集有助于应对深度神经网络中参数数量的爆炸。然而,很少有人工神经网络学习器被开发和研究,以在非线性干草堆中找到针。由一个单一的超参数驱动,我们的ANN学习器,像稀疏的线性关联,表现出一个相变的概率检索针,我们没有观察到与其他ANN学习器。为了选择我们的惩罚参数,我们推广了Donoho和Johnstone(1994)的通用阈值,这是一个比保守(太多的错误检测)和昂贵的交叉验证更好的规则。基于模拟退火的思想,我们提出了一种热启动稀疏诱导算法来解决高维、非凸、不可微的优化问题。我们进行精确的蒙特卡罗模拟,以显示我们的方法的有效性。
2022-01-21 cs.LG stat.ML
Iteratively Reweighted $\ell_1$-Penalized Robust Regression
本文研究了高维非凸正则化稳健回归的优化误差、统计收敛速度和重尾误差影响之间的折衷关系。当线性模型的可加误差只有有界二阶矩时,证明了迭代重加权$\ell_1$ -惩罚自适应Huber回归估计在弱beta-min条件下满足指数偏差界和预言收敛速度和变量选择相合性.在计算上,我们需要多达$O(\log s + \log\log d)$迭代来达到这样的预言估计器,其中$s$和$d$分别表示稀疏度和环境维度。扩展到一般类的鲁棒损失函数也被认为是。数值研究为我们的方法和理论提供了强有力的支持。
2020-12-29 math.ST stat.ML stat.TH
Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck
Michigan State University(密歇根州立大学);Argonne National Laboratory(阿贡国家实验室);Google Research(谷歌研究院)
信息瓶颈框架提供了一种系统的方法来学习表示,压缩输入中的滋扰信息,并提取有关预测的语义上有意义的信息。然而,选择固定所有数据的维度的先验分布会限制这种方法用于学习鲁棒表示的灵活性。我们提出了一种新的稀疏诱导穗板分类先验,使用稀疏性作为一种机制,以提供灵活性,允许每个数据点学习自己的维度分布。此外,它提供了一种机制,用于学习潜在变量和稀疏度的联合分布,因此可以考虑潜在空间中的完全不确定性。通过在MNIST、CIFAR-10和ImageNet数据上使用分布内和分布外学习场景进行的一系列实验,我们表明,与传统的固定维先验以及文献中提出的潜变量模型的其他稀疏诱导机制相比,所提出的方法提高了准确性和鲁棒性。
2022-10-28 cs.LG stat.ME stat.ML
Convex and Network Flow Optimization for Structured Sparsity
University of California(加利福尼亚大学);INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);CNRS(法国国家科学研究中心)
本文考虑一类学习问题,其正则化条件为变量组上l_2-或l_无穷范数之和的结构稀疏诱导范数。而大量的努力已经投入到开发快速优化技术时,组是不相交的或嵌入在一个层次结构中,我们在这里解决的情况下,一般重叠组。为此,我们提出了两种不同的策略:一方面,我们证明了与l_infinity-norms的总和相关的邻近算子可以通过求解二次最小成本流问题在多项式时间内精确计算,允许使用加速的邻近梯度法。另一方面,我们使用近端分裂技术,并解决一个等价的配方与非重叠的群体,但在更高的维度和额外的约束。我们提出了高效和可扩展的算法,利用这两种策略,这是显着快于替代方法。我们说明了这些方法与几个问题,如CUR矩阵分解,多任务学习的树结构字典,视频序列中的背景减除,图像去噪小波,自然图像补丁和地形字典学习。
2011-09-16 cs.LG math.OC stat.ML
Convex Fused Lasso Denoising with Non-Convex Regularization and its use for Pulse Detection
我们提出了一个凸公式的融合套索信号逼近问题的非凸罚函数。融合套索信号模型的目的是从噪声观测中估计稀疏的分段常数信号。最初,$\ell_1$范数被用作融合套索信号近似问题的稀疏诱导凸罚函数。然而,$\ell_1$范数低估了信号值。非凸稀疏诱导罚函数更好地估计信号值。在本文中,我们展示了如何确保凸的融合套索信号逼近问题的非凸罚函数。我们进一步推导出一个计算效率高的算法,使用优化最小化技术。我们应用建议的融合套索方法检测脉冲。
2015-12-07 math.OC math.ST stat.TH
Tight Performance Bounds for Compressed Sensing With Conventional and Group Sparsity
本文研究了从少量线性观测值中恢复一组稀疏向量的问题。在过去,常用的方法是使用各种“群体稀疏诱导”规范,如群体LASSO规范。通过使用凸松弛理论,我们表明,它也可以使用$\ell_1$ -范数最小化组稀疏恢复。我们引入了一个新的概念,称为组鲁棒零空间属性(GRNSP),并表明,在适当的条件下,一个组版本的限制等距属性(GRIP)意味着GRNSP,从而导致组稀疏恢复。当所有群的大小相等时,我们的界比已知的界保守性小。此外,我们的研究结果甚至适用于群体规模不同的情况。当专门为传统的稀疏性,我们的界限减少到一个众所周知的“最好的”稀疏恢复的条件。GRNSP和GRIP之间的这种关系是新的,即使是传统的稀疏性,并大大简化了一些已知结果的证明。使用这种关系,我们推导出的$\ell_p$ -范数的残差向量的所有$p \in [1,2]$,而不仅仅是当$p = 2$。当测量矩阵由一个亚高斯随机变量的随机样本组成时,我们给出了测量数的界,它比目前已知的界保守。
2018-07-28 stat.ML
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London(帝国理工学院)
差分隐私关注的是预测质量,同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的,但它们通常是不可微的。分析了标准的差分隐私算法,如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法,已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中,我们假设了一类特殊的凸但非光滑的正则化,诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作,分析了双重优化问题的风险最小化问题的背景下,差分隐私。
2019-05-13 cs.LG stat.ML
Regularization vs. Relaxation: A conic optimization perspective of statistical variable selection
Department of Mathematics, Washington State University(数学系,华盛顿州立大学);Department of Statistics, University of Connecticut(统计系,康涅狄格大学);Department of Industrial and Systems Engineering, University of Wisconsin-Madison(工业与系统工程系,威斯康星大学麦迪逊分校)
本文从锥优化视角探讨变量选择问题,证明MCP和反Huber惩罚函数可视为视角松弛的特例,并通过半定松弛解决,结合Goemans-Williamson方法获得近似解。
2015-10-20 cs.LG cs.NA math.NA
Log-Normal Matrix Completion for Large Scale Link Prediction
无处不在的在线社交网络的激增导致了关系图的大规模出现,关系图表达了链接形成和描述性用户节点特征的独特模式。由于相互节点友好信息的低秩性质以及用于快速矩阵处理的并行计算机体系结构的可用性,矩阵分解和完成已经成为用于链接预测的流行方法。当前的链接预测文献已经证明,通过利用稀疏性以及低秩矩阵假设,极大地提高了性能。然而,大多数研究都通过有限的L1或Frobenius范数引入稀疏性,而不是考虑导致图形成和关系演化的更详细的分布。特别是,已经发现社交网络表达帕累托分布,或最近发现的对数正态分布。采用凸诱导Lovasz扩展,我们演示了如何将特定的度分布信息可以导致大规模的改进矩阵完成基于链接预测。引入对数正态矩阵完备化方法,并采用乘子交替方向法求解复杂优化问题。使用来自三个流行的社交网络的数据,我们的实验产生了高达5%的AUC增加超过最高性能的非结构化稀疏的方法。
2016-01-28 cs.LG cs.SI stat.ML
Kinetic Energy Plus Penalty Functions for Sparse Estimation
本文提出并研究了一类稀疏诱导罚函数。由于罚函数与狭义相对论中的动能有关,我们称之为\emph{kinetic energy plus}(KEP)函数。我们利用$χ^2$ -距离函数的凹共轭构造了KEP函数,并提出了利用$q=1$构造KEP函数的一些新的见解.特别地,我们推导了一个基于KEP函数的阈值算子,并证明了它的数学性质和在稀疏建模中的渐近性质。此外,我们表明,坐标下降算法是特别适合的KEP功能。此外,我们还讨论了KEP与罚函数$\ell_{1/2}$和MCP之间的关系。理论和实证分析验证了KEP函数在高维数据建模中的有效性和高效性。
2014-07-06 stat.ML
Structured Sparsity Inducing Adaptive Optimizers for Deep Learning
Mila(米拉研究所);Universite de Montreal(蒙特利尔大学)
神经网络的参数自然地被组织成组,其中一些可能对其整体性能没有贡献。为了删除不重要的参数组,我们可以在目标函数中包含一些不可微的惩罚,并使用近似梯度方法将其最小化。在本文中,我们推导出加权邻近算子,这是一个必要的组成部分,这些邻近的方法,两个结构稀疏诱导处罚。此外,它们可以有效地近似与数值求解器,尽管这种近似,我们证明了现有的收敛保证时,这些运营商被集成为一个通用的自适应邻近方法的一部分。最后,我们表明,这种自适应的方法,加上加权邻近算子在这里得到的,确实是能够找到解决方案的结构,在其稀疏模式,从计算机视觉和自然语言处理的代表性例子。
2023-01-05 cs.LG math.OC
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子:(1)一般的群套索惩罚,从群套索惩罚推广;(2)图引导的融合套索惩罚,从融合套索惩罚推广。对于这两种类型的惩罚,由于其不可分离性和非光滑性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一种通用的优化方法,平滑邻近梯度(SPG)方法,它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法,次梯度方法,并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
The Trimmed Lasso: Sparsity and Robustness
线性回归稀疏建模的非凸罚方法是近年来研究的热点。在这里,我们研究了一个家庭的非凸罚函数,我们称之为修剪套索,并提供了精确的控制所需的稀疏估计水平。我们分析了它的结构性质,并在这样做表明:1)绘制之间的相似性鲁棒统计和鲁棒优化,我们表明,修剪Lasso正则化最小二乘问题可以被看作是一个广义形式的总最小二乘在一个特定的模型的不确定性。相比之下,通过鲁棒优化透镜观察的相同的不确定性模型导致凸SLOPE(或OWL)惩罚。2)此外,在有关修剪的套索常用的稀疏诱导罚函数,我们提供了一个简洁的特征之间的连接修剪的Lasso样的方法和罚函数是坐标方式可分离的,表明修剪的处罚suburbs现有的坐标方式可分离的处罚,严格的遏制一般。3)最后,我们描述了各种精确和启发式算法,现有的和新的,修剪Lasso正则化估计问题。我们包括不同的方法和相应的算法实现之间的比较。
2017-08-15 math.OC math.ST stat.CO
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University(斯坦福大学)
本文研究并行 ReLU 网络的训练问题,提出路径正则化以揭示隐藏凸性并诱导群稀疏,同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
A first-order optimization algorithm for statistical learning with hierarchical sparsity structure
在许多统计学习问题中,期望最优解符合由有向无圈图表示的先验已知稀疏结构。通过凸正则化子来诱导这样的结构需要利用组重叠的非光滑罚函数。我们的研究重点是评价Jacob等人(2009)开发的潜在重叠组套索的近端操作符。我们实现了一个乘法器的交替方向法与共享计划,以解决大规模的基础最优化问题的情况下有效地。在不存在强凸性的情况下,利用误差界理论证明了算法的全局线性收敛性。更具体地说,当目标函数中的非光滑部分不具有多面体epigraph时,本文有助于建立原始和对偶误差界。我们还研究了图的结构对算法收敛速度的影响。详细的数值模拟研究不同的图形结构支持所提出的算法和两个应用程序中的学习。
2020-10-18 math.OC stat.CO
Alternating Iteratively Reweighted Minimization Algorithms for Low-Rank Matrix Factorization
如今,大规模数据在不同的应用领域中的可用性促使部署复杂的工具,以便从这些海量信息中提取有价值的知识。在这种情况下,寻求数据低维嵌入的低秩表示(LRR)自然出现了。为了降低计算复杂性并提高估计性能,已经通过矩阵分解(MF)的视角来观察LRR。最近,已经提出了低秩MF(LRMF)方法来解决MF的固有弱点,即,不知道数据所在的低维空间的维度。在此,受秩最小化迭代加权方案优点的启发,我们提出了一个通用的低秩提升正则化函数。然后,专注于它的一个特定的实例,我们提出了一个正则化,共同施加列稀疏的两个矩阵因子,从MF的结果,从而促进低秩的优化问题。去噪,矩阵完成和非负矩阵分解(NMF)的问题被重新定义,根据新的LRMF制定和解决有效的牛顿型算法与证明的理论保证,其收敛性和收敛到稳定点的速度。在不同的模拟和真实数据实验中验证了所提出的算法的有效性。
2017-10-05 cs.LG
A framework to generate sparsity-inducing regularizers for enhanced low-rank matrix completion
针对半二次优化得到的正则化项通常不具稀疏诱导性的问题,提出一种可生成带闭式邻近算子的稀疏诱导正则化项的框架,结合常用损失函数生成的正则化项用于低秩矩阵补全,实验验证了方法在恢复性能和运行时间上的有效性。
2023-10-08 cs.IR cs.LG eess.AS
C-HiLasso: A Collaborative Hierarchical Sparse Modeling Framework
University of Minnesota(明尼苏达大学);Technion(以色列理工学院)
稀疏建模是一个强大的数据分析和处理框架。传统上,通过求解L1正则化线性回归问题(通常称为Lasso或Basis Pursuit)来执行该框架中的编码。在这项工作中,我们结合了稀疏诱导属性的套索模型在个别功能水平,与块稀疏属性的组套索模型,稀疏组的功能进行联合编码,获得稀疏模式层次结构。这就产生了层次套索(HiLasso),它显示了重要的实际建模优势。然后,我们将这种方法扩展到协作的情况下,一组同时编码的信号在较高的(组)水平上共享相同的稀疏模式,但不一定在较低的(组内)水平,获得协作HiLasso模型(C-HiLasso)。这样的信号然后共享相同的活动组或类,但不一定是相同的活动集。该模型非常适合于源识别和分离等应用。一个有效的优化过程,保证收敛到全局最优,开发这些新的模型。新的框架和优化方法的基本介绍是补充与实验的例子和理论结果的恢复保证所提出的模型。
2011-03-04 cs.CV stat.ML
Tree-guided group lasso for multi-response regression with structured sparsity, with an application to eQTL mapping
我们考虑的问题估计稀疏的多响应回归函数,与应用表达数量性状位点(eQTL)定位,其目标是发现影响基因表达水平的遗传变异。特别是,我们调查的收缩技术能够捕捉到一个给定的层次结构的响应,如层次聚类树与叶节点的响应和内部节点的集群相关的响应在多个粒度,我们试图利用这种结构来恢复协变量相关的每个层次定义的集群的响应。我们提出了一个树引导组套索,或树套索,估计多响应回归下,采用一种新的惩罚函数从树构造的结构稀疏。我们描述了一个系统的加权方案,重叠的组中的树罚,使每个回归系数被惩罚在一个平衡的方式,尽管不均匀的多重性的组成员的回归系数,由于组之间的重叠。为了有效的优化,我们采用了一个平滑的近端梯度方法,最初开发的一般类的结构稀疏诱导处罚。使用模拟和酵母数据集,我们证明了我们的方法在预测误差和恢复真实稀疏模式方面表现出优越的性能,与其他学习多变量响应回归的方法相比。
2012-09-28 q-bio.GN q-bio.QM stat.AP
Low-Rank Tensor Completion via Novel Sparsity-Inducing Regularizers
City University of Hong Kong(香港城市大学);Technische Universität Darmstadt(达姆施塔特工业大学)
针对低秩张量补全中l1范数偏差问题,提出一种生成闭式阈值稀疏正则化器的框架,应用于低tubal秩补全,基于ADMM的高效算法收敛有界且极限点为稳定点,实验性能优于现有方法。
2023-10-10 cs.LG eess.IV eess.SP
HALO: Learning to Prune Neural Networks with Shrinkage
Cornell University(康奈尔大学)
深度神经网络通过从非结构化数据中提取丰富的特征集,在各种任务中实现了最先进的性能,但这种性能与模型大小密切相关。用于诱导稀疏性和减小模型大小的现代技术是(1)网络修剪,(2)使用稀疏诱导惩罚进行训练,以及(3)与网络的权重联合训练二进制掩码。我们从贝叶斯分层模型的角度研究了不同的稀疏性诱导惩罚,并提出了一种新的惩罚称为分层自适应套索(HALO),它通过可训练的参数学习自适应地稀疏给定网络的权重。当用于训练过参数化网络时,我们的惩罚产生具有高精度的小子网络,而无需微调。从经验上讲,在图像识别任务中,我们发现HALO能够学习高度稀疏的网络(只有5%的参数),在相同稀疏度水平下,与最先进的幅度修剪方法相比,性能有显着提高。代码可在https://github.com/skyler120/sparsity-halo上获得。
2021-02-28 cs.CV cs.LG stat.ML
Deep Neural Network Initialization with Sparsity Inducing Activations
University of Oxford(牛津大学);The Alan Turing Institute(阿兰·图灵研究所)
本文利用大宽度高斯过程极限分析稀疏诱导激活在随机初始化时的行为,证明移位ReLU和软阈值函数存在训练不稳定问题,并提出幅度裁剪方法加以克服,实验表明在稀疏度高达85%时仍能保持接近完整的准确率。
2024-02-25 cs.LG
A Proximal Operator for Inducing 2:4-Sparsity
Amazon(亚马逊公司);University of California, San Diego, USA(美国加州大学圣迭戈分校);Max Planck Institute for Informatics, Saarbrücken, Germany(德国马克斯·普朗克信息研究所);Technion–Israel Institute of Technology, Haifa, Israel(以色列技术学院)
本文提出一种利用特征局部相关性的近端算子正则化方法,用于优化2:4稀疏掩码,在大语言模型剪枝中超越或匹配现有最优算法。
2025-01-29 cs.LG
Powerpropagation: A sparsity inducing weight reparameterisation
DeepMind(深度思维);Gatsby Unit, UCL(伦敦大学学院盖茨比研究组);University College London(伦敦大学学院)
稀疏神经网络的训练正在成为一种越来越重要的工具,用于减少模型在训练和评估时的计算足迹,以及实现模型的有效扩展。虽然多年来的大量工作一直致力于专门的修剪技术,很少注意到基于梯度的训练对模型稀疏性的固有影响。在这项工作中,我们介绍Powerpropagation,一个新的权重参数化的神经网络,导致固有的稀疏模型。利用梯度下降的行为,我们的方法产生了权重更新,表现出“富人更富”的动态,使低幅度的参数基本上不受学习的影响。以这种方式训练的模型表现出类似的性能,但具有在零处具有显著更高密度的分布,允许安全地修剪更多参数。Powerpropagation是通用的,直观的,便宜的和简单的实现,可以很容易地与各种其他技术相结合。为了突出它的通用性,我们在两个非常不同的环境中探索它:首先,根据最近的工作,我们研究了它对资源受限环境下稀疏训练的影响。在这里,我们将Powerpropagation与传统的权重修剪技术以及最新的最先进的稀疏到稀疏算法相结合,在ImageNet基准测试中表现出卓越的性能。其次,我们提倡使用稀疏性来克服灾难性遗忘,压缩表示允许以固定的模型容量容纳大量的任务。在所有情况下,我们的重新参数化大大提高了现成方法的有效性。
2021-10-06 cs.AI cs.LG stat.ML
Robust Low-Rank Matrix Completion via a New Sparsity-Inducing Regularizer
City University of Hong Kong(香港城市大学);Technische Universität Darmstadt(达姆施塔特工业大学)
本研究提出了带闭式邻近算子的HOW稀疏诱导正则化器,将其用于鲁棒低秩矩阵补全,基于交替方向乘子法构建高效算法,在合成与真实数据集上恢复性能优于现有最优方法。
2023-10-07 cs.LG eess.IV eess.SP
Inducing Semi-Structured Sparsity by Masking for Efficient Model Inference in Convolutional Networks
ETH Zürich(苏黎世联邦理工学院)
针对卷积模型的加速需求,提出通过掩码学习卷积核半结构化稀疏模式的方法,可在不降低性能、保留原模型权重结构的前提下实现两倍以上推理加速,且能推导掩码下预测的稳定性边界。
2024-11-01 cs.AI cs.CV cs.LG
Adaptive Inducing Points Selection For Gaussian Processes
TU Berlin(柏林工业大学)
高斯过程(\textbf{GPs})是一种灵活的非参数模型,具有很强的概率解释。虽然作为对时间序列执行推断的标准选择,但GP在流设置中工作的技术很少。\cite{bui2017streaming}开发了一种有效的变分方法,通过使用稀疏技术来训练在线GP:整个观测集由一组较小的诱导点(\textbf{IPs})近似,并使用新数据进行移动。IP地址的数目和位置对算法的性能有很大的影响。除了优化它们的位置之外,我们还建议根据GP的属性和数据的结构自适应地添加新点。
2021-07-21 cs.LG stat.ML
Sharp Oracle Inequalities for Square Root Regularization
研究了高维线性回归模型的一组正则化方法。这些惩罚估计以残差平方和的平方根作为损失函数,以任何弱可分解范数作为罚函数。选择该拟合度量是因为其估计量不依赖于噪声的未知标准差的特性。另一方面,广义弱可分解范数罚函数在处理不同的稀疏结构时非常有用。我们可以根据我们想要如何解释未知参数向量$β$来选择不同的稀疏性诱导范数。Micchelli等人[18]中定义的结构稀疏范数是弱可分解范数的特殊情况,因此我们还包括平方根LASSO(Belloni等人[3]),群平方根LASSO(Bunea等人[10])和一种称为平方根SLOPE的新方法(与Bogdan等人[6]的SLOPE类似)。对于这个集合的估计,我们的结果提供了尖锐的甲骨文不等式与Karush-Kuhn-Tucker条件。我们讨论一些估计的例子。基于仿真,我们说明了平方根斜率的一些优点。
2016-06-27 math.ST stat.TH
Binary Kernel Logistic Regression: a sparsity-inducing formulation and a convergent decomposition training algorithm
DEIB, Politecnico di Milano(米兰理工大学DEIB学院);Centro di Eccellenza DEWS, DISIM, Università degli Studi dell’Aquila(阿奎拉大学DISIM学院)
本文提出了一种二元核对数回归方法,通过诱导稀疏性并保持高测试精度,实现了预测准确性和稀疏性之间的良好平衡。
2025-12-22 cs.LG math.OC
Training for Faster Adversarial Robustness Verification via Inducing ReLU Stability
Massachusetts Institute of Technology(麻省理工学院)
我们探讨的概念协同设计的背景下,神经网络验证。具体来说,我们的目标是训练深度神经网络,不仅对对抗性扰动具有鲁棒性,而且其鲁棒性可以更容易地验证。为此,我们确定了网络模型的两个属性--权重稀疏性和所谓的ReLU稳定性--这两个属性会显著影响相应验证任务的复杂性。我们证明,提高权重稀疏性本身已经使我们能够把计算上棘手的验证问题变成易于处理的问题。然后,提高ReLU稳定性会导致验证时间增加4- 13倍。我们的方法的一个重要特点是它的“普遍性”,也就是说,它可以与广泛的培训程序和核查办法一起使用。
2019-04-23 cs.CR cs.LG cs.NE
Hospital Readmission Prediction - Applying Hierarchical Sparsity Norms for Interpretable Models
State University of New York at Buffalo(纽约州立大学布法罗分校)
再入院率已成为衡量医疗质量的关键指标之一。可接受的再入院已被确定为降低成本和改善医疗服务的主要目标之一。然而,大多数用于理解再入院的数据驱动的研究已经产生了具有中等性能的黑盒分类和预测模型,这使得它们不能在医院的决策支持系统中有效地使用。在本文中,我们提出了一个应用程序的结构稀疏诱导规范预测再入院风险的患者的基础上,他们的病史和人口统计。大多数现有的研究都集中在医院利用率,测试结果等,为每次住院分配再入院标签。然而,我们专注于根据病史为患者分配再入院风险标签。我们的重点是解释模型,以提高再入院问题的理解。为了实现这一点,我们利用域诱导的层次结构可用于疾病代码的分类算法的功能。我们使用基于树的稀疏诱导正则化策略,明确使用域层次结构。由此产生的模型不仅优于标准的正则化过程,而且是高度稀疏和可解释的。我们分析了模型,并确定了几个重要的因素,有再入院风险的影响。其中一些因素符合现有的信念,例如,住院期间手术并发症和感染的影响。其他因素,如精神障碍和药物滥用对重新入院的影响,为一些预先存在但未经证实的假设提供了经验证据。分析还揭示了以前未发现的联系,例如缺乏住房和营养不良等社会经济因素的影响。
2018-04-03 cs.LG stat.ML
L1-Regularized Distributed Optimization: A Communication-Efficient Primal-Dual Framework
UC Berkeley(加州大学伯克利分校);ETH Zürich(苏黎世联邦理工学院)
尽管稀疏性在许多大规模应用中很重要,但很少有方法用于稀疏诱导目标的分布式优化。在本文中,我们提出了一个通信效率的框架,在分布式环境中的L1正则化优化。通过在更一般的原始-对偶设置中查看经典目标,我们开发了一类新的方法,这些方法可以有效地分布并应用于常见的稀疏诱导模型,如Lasso,稀疏逻辑回归和弹性网络正则化问题。我们为我们的框架提供了理论上的收敛保证,并在Amazon EC2上进行了彻底的实验比较,证明了它的效率和灵活性。与当前最先进的分布式L1正则化优化方法相比,我们提出的框架可以产生高达50倍的加速比。
2016-06-02 cs.LG
Exploring Large Feature Spaces with Hierarchical Multiple Kernel Learning
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院)
对于监督学习和无监督学习,正定核允许使用大的且可能无限维的特征空间,其计算成本仅取决于观测的数量。这通常是通过欧几里德或希尔伯特范数对预测函数进行惩罚来完成的。在本文中,我们探讨了稀疏诱导范数,如l1-范数或块l1-范数的惩罚。我们假设,内核分解成一个大的总和,可以嵌入在一个有向无环图的个别基础内核,我们表明,它是可以通过一个分层的多内核学习框架,在多项式时间中选择内核的数量进行内核选择。这个框架自然适用于非线性变量选择;我们对合成数据集和UCI存储库数据集的广泛模拟表明,通过稀疏诱导范数有效地探索大特征空间可以带来最先进的预测性能。
2008-09-09 cs.LG stat.ML
Network Flow Algorithms for Structured Sparsity
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE(法国国家信息与自动化研究所)
我们考虑一类学习问题,涉及一个结构化的稀疏诱导规范定义为$\ell_\infty$ -规范的变量组的总和。而大量的努力已经投入到开发快速优化方法时,组是不相交的或嵌入在一个特定的层次结构,我们在这里解决的情况下,一般重叠组。为此,我们表明,相应的优化问题与网络流优化。更确切地说,与我们考虑的范数相关的邻近问题是二次最小费用流问题的对偶。我们提出了一个有效的程序,计算其解决方案,正是在多项式时间。我们的算法可扩展到数百万个变量,并为结构化稀疏模型开辟了一系列全新的应用。我们提出了几个图像和视频数据的实验,证明了我们的方法对各种问题的适用性和可扩展性。
2010-08-31 cs.LG stat.ML
Stochastic Iterative Hard Thresholding for Graph-structured Sparsity Optimization
SUNY at Albany(纽约州立大学奥尔巴尼分校)
随机优化算法以较低的每次迭代成本连续更新模型,这使得它们适合大规模数据分析。这种算法已经被广泛研究用于结构化稀疏模型,其中稀疏信息是非常具体的,例如,凸稀疏诱导范数或$\ell^0$ -范数。然而,这些规范不能直接应用于复杂的(非凸)图结构稀疏模型的问题,这在疾病爆发和社交网络等有重要的应用。在本文中,我们提出了一种基于随机梯度的方法来解决图结构稀疏约束问题,不限于最小二乘损失。我们证明了我们的算法具有线性收敛到一个常数的错误,这是竞争对手在批量学习设置。我们进行了大量的实验,以显示所提出的算法的效率和有效性。
2019-05-09 cs.AI cs.LG stat.ML
On the Self-Penalization Phenomenon in Feature Selection
University of California, Berkeley(加州大学伯克利分校);The Voleon Group(沃利恩集团)
我们描述了一种基于一族内核最小化的隐式稀疏诱导机制:\begin{equation*} \min_{β, f}~\widehat{\mathbb{E}}[L(Y, f(β^{1/q} \odot X)] + λ_n \|f\|_{\mathcal{H}_q}^2~~\text{subject to}~~β\ge 0, \end{equation*},其中$L$是损失,$\odot$是坐标乘法,$\mathcal{H}_q$是基于内核$k_q(x, x') = h(\|x-x'\|_q^q)$的再现内核Hilbert空间,其中$\|\cdot\|_q$是$\ell_q$范数。使用梯度下降来优化这个目标相对于$β$导致精确稀疏平稳点的概率很高。稀疏性是在不使用任何公知的显式稀疏化技术的情况下实现的,例如惩罚(例如,$\ell_1$)、提前停止或后处理(例如,剪切)。作为一个应用程序,我们使用这种稀疏诱导机制,建立算法一致的特征选择。
2021-10-12 cs.LG math.ST stat.ML
Stochastic Variance-Reduced Iterative Hard Thresholding in Graph Sparsity Optimization
Texas A&M University(德克萨斯农工大学)
针对复杂非凸图稀疏模型,本文提出两种基于随机方差缩减梯度的优化方法GraphSVRG-IHT和GraphSCSG-IHT,并构建理论框架证明其具有线性收敛速度。
2024-07-24 cs.AI cs.LG stat.ML
More is Less: Inducing Sparsity via Overparameterization
Ludwig Maximilian University of Munich(慕尼黑大学);RWTH Aachen University(亚琛工业大学)
为理解深度学习中的隐式偏差,本文研究稀疏恢复问题,提出过参数化平方损失泛函,证明原始梯度流可收敛至最小 $\ell_1$-范数解的良好近似,从而诱导稀疏性并显著改善压缩感知的样本复杂度。
2025-01-29 cs.IT cs.LG math.IT
Orthant Based Proximal Stochastic Gradient Method for $\ell_1$-Regularized Optimization
Microsoft(微软);Johns Hopkins University(约翰斯·霍普金斯大学);Zhejiang University(浙江大学);Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学);University of Denver(丹佛大学)
稀疏诱导正则化问题在机器学习应用中无处不在,从特征选择到模型压缩。在本文中,我们提出了一种新的随机方法-基于正交的邻近随机梯度法(OBProx-SG)-来解决可能是最流行的例子,即,L1正则化问题OBProx-SG方法包含两个步骤:(i)用于预测解的支持覆盖的邻近随机梯度步骤;以及(ii)用于通过正交面投影积极增强稀疏水平的正交步骤。与现有技术的方法相比,与Prox-SG、RDA和Prox-SVRG相比,OBProx-SG不仅能收敛到全局最优解(在凸情形下)或稳定点(在非凸情形下),而且能显著提高解的稀疏性。特别是在大量的凸问题上,OBProx-SG在稀疏性探索和目标值方面全面优于现有方法。此外,在非凸深度神经网络上的实验,例如,MobileNetV 1和ResNet 18通过在不牺牲泛化精度的情况下实现更高稀疏性的解决方案,进一步证明了其优越性。
2020-07-23 cs.LG math.OC stat.ML
Datum-Wise Classification: A Sequential Approach to Sparsity
Université Pierre et Marie Curie - UPMC(皮埃尔和玛丽·居里大学(巴黎第六大学));LIP6(巴黎第六大学计算机科学实验室);LIFL (UMR CNRS)(法国国家科学研究中心里尔基础信息学实验室);INRIA Lille Nord-Europe(法国国家信息与自动化研究所里尔-北欧分部);Université de Lille(里尔大学)
我们提出了一种新的分类技术,其目的是为每个数据点选择一个适当的表示,而不是通常的方法,选择一个代表涵盖整个数据集。这种数据方面的表示是通过使用稀疏诱导经验风险,这是一个放松的标准L 0正则化的风险。分类问题被建模为一个顺序决策过程,顺序选择,为每个数据点,分类前使用的功能。Datum-Wise Classification可以自然地扩展到多类任务,我们描述了一个特定的案例,在这个案例中,我们的推理与传统的线性分类器具有相同的复杂性,同时仍然使用可变数量的特征。我们比较我们的分类器经典的L1正则化线性模型(L1-SVM和LARS)的一组常见的二进制和多类数据集,并表明,对于相同的平均数量的功能,我们可以得到改进的性能使用我们的方法。
2011-08-29 cs.AI cs.LG
Toward a Robust Sparse Data Representation for Wireless Sensor Networks
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research(资讯通信研究院);Singapore Management University(新加坡管理大学)
压缩感知已成功地用于无线传感器网络中的优化操作。然而,传感器收集的原始数据可能既不是原始稀疏的,也不容易转换为稀疏数据表示。本文提出了一种将传感器节点采集的源数据转化为稀疏表示的方法。我们的贡献,解决三个主要问题包括:1)一个有效的方法,提取人口稀疏的数据,2)稀疏率保证计划,和3)定制的学习算法的稀疏字典。我们引入了一个无监督的神经网络来提取数据的内在稀疏编码。稀疏码是在激活隐藏层时使用稀疏提名约束和收缩机制生成的。我们使用真实数据样本的分析表明,该方法优于传统的稀疏诱导方法。
2015-08-02 cs.LG cs.NE cs.NI
Greedy methods, randomization approaches and multi-arm bandit algorithms for efficient sparsity-constrained optimization
University of Rouen(鲁昂大学);LITIS Lab(LITIS实验室);Aix-Marseille University(艾克斯-马赛大学);LIF(LIF实验室)
一些稀疏约束算法,如正交匹配追踪或具有稀疏约束的Frank-Wolfe算法,通过迭代地选择一个新的原子添加到当前非零变量集来工作。该选择步骤通常通过计算梯度,然后通过寻找具有最大绝对条目的梯度分量来执行。这一步可能是计算昂贵的,特别是对于大规模和高维数据。在这项工作中,我们的目标是加速这些稀疏约束优化算法,利用关键的观察,这些算法的工作,只需要梯度的顶部条目的坐标。因此,我们引入基于贪婪方法和随机化方法的算法,旨在廉价地估计梯度及其顶部条目。我们的另一个贡献是投的问题,找到最好的梯度条目作为一个最好的手臂识别多臂强盗问题。由于这种新颖的见解,我们能够提供一种基于Bandit的算法,以非常有效的方式直接估计顶部条目。理论观察指出,由此产生的不精确的弗兰克-沃尔夫或正交匹配追踪算法的行为,具有很高的概率,类似于他们的确切版本也给出了。我们已经进行了几个实验表明,贪婪的确定性和土匪的方法,我们提出可以实现一个数量级的加速,同时作为有效的精确梯度时,使用的算法,如OMP,弗兰克-沃尔夫或CoSaMP。
2016-08-22 cs.LG
$\ell_p$ Slack Norm Support Vector Data Description
支持向量数据描述(SVDD)方法作为一类分类的事实标准,其中学习任务需要推断最小的超球体来包围目标对象,同时通过$\ell_1$范数惩罚项线性惩罚任何错误/松弛。在这项研究中,我们将这种建模形式主义一般$\ell_p$-范数($p\geq1$)松弛惩罚函数。借助于$\ell_p$松弛范数,所提出的方法使得能够制定关于松弛的非线性成本函数。从对偶问题的角度来看,所提出的方法引入了一个稀疏诱导的对偶范数的目标函数,因此,具有更高的能力来调整到固有的稀疏性的问题,增强描述能力。基于Rademacher复杂性的理论分析表征了所提出的方法在参数$p$方面的泛化性能,而在几个数据集上的实验结果证实了所提出的方法相比于其他替代方案的优点。
2022-03-16 cs.LG
Deep Unfolding of Iteratively Reweighted ADMM for Wireless RF Sensing
Ruhr University Bochum(波鸿鲁尔大学);Technical University Berlin(柏林工业大学);Technical University of Munich(慕尼黑工业大学)
我们解决了材料缺陷的检测,这是内部的分层材料结构使用压缩感知基于多输入多输出(MIMO)无线雷达。在这里,由于层状结构的表面的反射而产生的强杂波通常使得缺陷的检测具有挑战性。因此,需要复杂的信号分离方法来改进缺陷检测。在许多情况下,我们感兴趣的缺陷的数量是有限的,并且分层结构的信令响应可以被建模为低秩结构。因此,我们提出了联合秩和稀疏性最小化的缺陷检测。特别是,我们提出了一个非凸的方法的基础上迭代重新加权核和$\ell_1-$规范(双重重新加权的方法),以获得更高的精度相比,传统的核规范和$\ell_1-$规范最小化。为此,设计了一种迭代算法来估计低秩和稀疏的贡献。此外,我们提出了深度学习来学习算法的参数(即,算法展开)以提高算法的精度和收敛速度。数值结果表明,该方法在恢复低秩和稀疏分量的均方误差以及收敛速度方面优于传统方法。
2021-12-17 cs.CV cs.IT cs.LG
Iteratively Refined Image Reconstruction with Learned Attentive Regularizers
Biomedical Imaging Group, EPFL(洛桑联邦理工学院生物医学成像组);Professorship of Inverse Problems, TU Chemnitz(开姆尼茨工业大学逆问题教授席位)
本研究提出一种结合深度学习与经典稀疏促进模型的可解释图像重建正则化方案,通过掩码迭代精化空间正则强度,证明了不动点存在性,性能达当前最优水平,实现了可解释性、理论保证与性能的平衡。
2024-07-09 cs.CV cs.LG eess.IV
Induced Feature Selection by Structured Pruning
University of Mons(蒙斯大学);IP Paris(巴黎理工学院);IMT Lille Douai(里尔杜埃国立高等矿业电信学院)
在过去的几年里,神经网络中稀疏性诱导技术的出现有很大的帮助。事实上,这些方法可以找到更轻、更快的网络,能够在移动设备或高请求服务器等资源受限的环境中更有效地执行。这种稀疏性通常施加在神经网络的权重上,从而减少架构的占用空间。在这项工作中,我们更进一步,联合施加稀疏的权重和输入数据。这可以通过以下三步过程来实现:1)对网络的权重施加一定的结构化稀疏性; 2)跟踪对应于零权重块的输入特征; 3)删除无用的权重和输入特征并重新训练网络。在网络和输入数据上执行修剪不仅允许在参数和操作方面的极大减少,而且还可以用作解释过程。事实上,在数据修剪的帮助下,我们现在可以知道哪些输入特征对网络保持其性能有用。在各种架构和数据集上进行的实验:MLP在MNIST,CIFAR 10/100和ConvNets(VGG 16和ResNet 18)上验证,分别在CIFAR 10/100和CALIBU 101上验证,表明通过对输入数据执行修剪,可以在总参数和FLOP方面实现额外的增益,同时还可以提高精度。
2023-03-20 cs.CV cs.LG
Emergent Sparsity in Frozen Random CNN Feature Extractors for Deep Reinforcement Learning
该研究发现,深度强化学习中冻结的随机CNN特征提取器训练的智能体会自发形成稀疏全连接表示,稀疏度随任务复杂度变化,活跃神经元对性能至关重要,还揭示了无显式稀疏机制下的问题有效秩。
2026-07-30 cs.AI cs.LG cs.NE