SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks
University of Turin(都灵大学);Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院)
深度神经网络包含数百万个可学习的参数,这使得它们在资源受限的设备上的部署成为问题。SeReNe(基于灵敏度的神经元正则化)是一种学习具有结构的稀疏拓扑的方法,利用神经灵敏度作为正则化器。我们将神经元的灵敏度定义为网络输出相对于神经元活动变化的变化。神经元的灵敏度越低,如果神经元输出改变,则网络输出受到的扰动就越小。通过在代价函数中包含神经元灵敏度作为正则化项,我们能够修剪具有低灵敏度的神经元。由于整个神经元被修剪,而不是单个参数,实际的网络足迹减少成为可能。我们在多个网络架构和数据集上的实验结果与最先进的参考文献相比,具有竞争力的压缩比。
2021-02-07 cs.AI cs.LG stat.ML
Adaptive Regularization for Sparsity Control in Bregman-Based Optimizers
Department of Data Science, FAU Erlangen-Nürnberg(FAU厄林根-纽伦堡数据科学系);International Audiolabs, FAU Erlangen-Nürnberg(FAU厄林根-纽伦堡国际声学实验室);School of Computation, Information and Technology, Technical University of Munich(慕尼黑技术大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出了一种自适应正则化方法,用于在Bregman-based优化器中更精确地控制稀疏性,通过动态调整正则化参数λ,从而提高稀疏性控制的效率和准确性。
2026-05-20 cs.LG
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST(香港科技大学)
剪枝是一种模型压缩方法,可在保持准确性的同时去除深度神经网络(DNN)中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理,例如迭代修剪,特征统计/排名或训练过程中的额外优化设计。在本文中,我们从特征演化的新角度提出了一种简单有效的正则化策略,我们称之为特征流正则化(FFR),用于改善DNN中的结构稀疏性和过滤器修剪。具体而言,FFR对沿神经网络的特征流的梯度和曲率施加控制,这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets,ResNets进行的实验表明,FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG
On Sparsity Inducing Regularization Methods for Machine Learning
Ecole Centrale de Paris(巴黎中央理工学院);EPFL(洛桑联邦理工学院);University at Albany(奥尔巴尼大学);University College London(伦敦大学学院)
在过去的几年里,人们对基于稀疏正则化的学习方法产生了极大的兴趣。在本文中,我们讨论了一类一般的方法,其中的正则化可以表示为一个凸函数$ω$与一个线性函数的组合。此设置包括几种方法,如组套索,融合套索,多任务学习等等。我们提出了一个一般的方法来解决这类正则化问题,在假设的邻近算子的功能$ω$。此外,我们评论这种方法的应用支持向量机,弗拉基米尔Vapnik的开创性工作开创的技术。
2013-03-25 cs.LG stat.ML
A novel sparsity and clustering regularization
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院)
我们提出了一种新的稀疏性和聚类(SPARsity and Clustering,简称SPARMN)正则化器,它是对以前的八角形收缩和聚类回归算法(OSCAR)的改进,其中,所提出的正则化器由$K$稀疏约束和限制在$K$最大分量上的成对$\ell_{\infty}$范数组成。所提出的正则化是能够单独执行$K$ -稀疏性,并鼓励非零是相等的幅度。此外,它可以准确地对特征进行分组,而不会缩小它们的大小。事实上,OSCAR与OSCAR密切相关,因此前者的邻近算子可以基于后者的邻近算子有效地计算,从而允许使用邻近分裂算法来解决OSCAR正则化问题。在合成数据和基准乳腺癌数据上的实验表明,该方法是一种具有竞争力的群体稀疏诱导正则化回归和分类。
2014-02-20 cs.CV cs.LG stat.ML
Defending Membership Inference Attacks via Privacy-aware Sparsity Tuning
Southern University of Science and Technology(南方科技大学);University at Buffalo(纽约州立大学布法罗分校)
该研究针对过参数化模型易受成员推断攻击的问题,提出PAST方法,通过基于隐私敏感性的自适应惩罚优化L1正则化,缩小成员与非成员的损失间隙,实现了更优的隐私-效用权衡。
2026-08-04 cs.AI cs.LG
Sparse Deep Learning Models with the $\ell_1$ Regularization
Syracuse University(雪城大学);Jilin University(吉林大学);Old Dominion University(奥多明尼昂大学)
本文研究 ℓ1 正则化参数对神经网络稀疏度的影响,推导单参数与多参数稀疏模型,并提出迭代选参算法以获得满足预定稀疏度且逼近精度良好的网络。
2024-08-05 cs.LG math.OC stat.ML
Feature Selection and Regularization in Multi-Class Classification: An Empirical Study of One-vs-Rest Logistic Regression with Gradient Descent Optimization and L1 Sparsity Constraints
Department of Computer Science and Software Engineering, Auburn University, Alabama, USA(计算机科学与软件工程系,阿伯茨费尔德大学,美国阿拉巴马州);Department of Information and Communication Technology, Bangladesh University of Professionals, Dhaka, Bangladesh(信息与通信技术系,孟加拉国专业大学,达卡)
本研究实证评估一对多逻辑回归在UCI葡萄酒多分类任务中的表现,比较梯度下降与scikit-learn求解器,并验证L1正则化在特征稀疏性与精度间的权衡,提出5特征最优子集以实现低成本高效部署。
2025-10-22 cs.AI cs.LG
Sparsity via Sparse Group $k$-max Regularization
STADIUS, ESAT, KU Leuven(STADIUS、ESAT、鲁汶大学);Research Center for Intelligent Robotics, Zhejiang Lab(之江实验室智能机器人研究中心);School of Mechanical Engineering and Automation, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)机械工程与自动化学院)
本文提出稀疏组 $k$-max 正则化方法,同时增强组间与组内稀疏性且不限制变量幅度,以更紧密近似 $l_0$ 范数,并设计迭代软阈值算法,通过实验验证了其有效性与灵活性。
2024-02-13 cs.LG stat.ML
Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection
HuaQiao University(华侨大学);Fuzhou University(福州大学)
特征选择是数据采掘和机器学习中一个重要的数据预处理过程,它可以在不降低模型性能的前提下降低特征维数。由于获取带注释的数据在许多情况下是费力的,甚至是不可行的,无监督的特征选择在现实中更实用。虽然已经提出了许多无监督的特征选择方法,但这些方法都是独立地选择特征,因此不能保证选择的特征组是最优的。此外,必须仔细调整所选特征的数量以获得满意的结果。为了解决这些问题,本文提出了一种联合自适应图和结构稀疏正则化无监督特征选择(JASFS)方法.该方法在流形学习中引入一个关于变换矩阵的$l_{2,0}$范数正则化项用于特征选择,在学习模型中引入一个图正则化项用于自适应地学习数据的局部几何结构.通过对该优化问题的计算复杂性分析,设计了一种简单有效的迭代算法。优化完成后,将分组选择最优特征子集,并自动确定所选特征的数量。八个基准测试的实验结果表明,该方法的有效性和效率相比,一些国家的最先进的方法。
2022-04-07 cs.LG
Robust Clustering Using Outlier-Sparsity Regularization
University of Minnesota(明尼苏达大学)
尽管传统的聚类算法,如K-means和概率聚类的流行,他们的聚类结果是敏感的离群数据的存在。即使是一些离群值也会损害这些算法识别有意义的隐藏结构的能力,从而使其结果不可靠。本文提出了鲁棒的聚类算法,不仅旨在聚类的数据,但也确定离群值。新的方法依赖于罕见的离群值在数据中的存在,这转化为稀疏在一个明智的选择域。利用孤立点域的稀疏性,提出了孤立点感知的鲁棒K均值和概率聚类方法。他们的新颖之处在于识别离群值,同时通过精心选择的正则化在离群值域中实现稀疏性。一个块坐标下降的方法来获得迭代算法的收敛性保证和小的额外的计算复杂性相对于他们的非鲁棒同行。还开发了鲁棒聚类算法的内核化版本,以有效地处理高维数据,识别非线性可分离的聚类,甚至是未用向量表示的聚类对象。在人工和真实数据集上的数值试验验证了新算法的性能和适用性。
2011-04-22 cs.LG stat.ML
Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems
MaLGa Center, Department of Mathematics, University of Genoa(马尔加中心,数学系,热那亚大学);Department of Mathematics, University of Bologna(数学系,博洛尼亚大学)
该研究提出基于退化高斯混合的概率稀疏先验,构建可解释为线性逆问题贝叶斯估计器的神经网络及监督/无监督训练策略,在一维数据集上的重建均方误差优于多种经典稀疏正则化方法。
2025-06-11 cs.LG stat.ML
Sparsity Regularization For Cold-Start Recommendation
Center for Cognitive Ubiquitous Computing (CUbiC), Arizona State University(认知普适计算中心(CUbiC),亚利桑那州立大学)
近年来,生成对抗网络(GANs)被应用于冷启动推荐问题,但热用户购买行为的极端稀疏性阻碍了这些模型的训练性能。在本文中,我们引入了一种新的表示用户向量相结合的用户人口统计和用户偏好,使该模型的混合系统,它使用协同过滤和基于内容的推荐。我们的系统使用加权用户-产品偏好(显式反馈)而不是二进制用户-产品交互(隐式反馈)来建模用户购买行为。利用这一点,我们开发了一种新的稀疏对抗模型SRLGAN,用于冷启动推荐,利用稀疏的用户购买行为,确保训练稳定性,避免对温暖用户的过度拟合。我们在两个流行的数据集上评估了SRLGAN,并展示了最先进的结果。
2022-01-28 cs.IR cs.LG
Algorithm to Compilation Co-design: An Integrated View of Neural Network Sparsity
Fidelity Investments(富达投资)
减少神经网络的计算成本、推理延迟和内存占用经常被引用作为修剪和稀疏的研究动机。然而,操作这些好处和理解算法设计和正则化对运行时执行的端到端影响并不经常深入研究。在这里,我们应用结构化和非结构化修剪注意权的Transformer块的BERT语言模型,同时还扩展块稀疏表示(BSR)的TVM编译器中的操作。BSR操作的集成使得TVM运行时执行能够利用由模型正则化引起的结构化模式稀疏性。这种修剪算法的综合视图使我们能够研究建模决策及其对稀疏增强执行的直接影响之间的关系。我们的主要发现是:1)我们验证了结构化稀疏块正则化的性能优势必须通过对TVM的BSR增强来实现,相对于vanilla PyTorch的加速是4倍,相对于标准TVM编译的加速是2.2倍(没有扩展的BSR支持)。2)对于BERT注意力权重,在该CPU推断上下文中的端到端最优块稀疏形状不是正方形块(如在\cite{gray2017gpu}中),而是线性32 × 1块。3)性能和块大小/形状之间的关系暗示了模型正则化参数如何与任务调度器优化相互作用,从而导致观察到的端到端性能。
2021-06-17 cs.AI cs.CL cs.LG
Beyond Sparsity: Tree Regularization of Deep Models for Interpretability
Stanford University(斯坦福大学);Harvard University SEAS(哈佛大学工程与应用科学学院);University of Basel(巴塞尔大学);University of Siena(锡耶纳大学)
缺乏可解释性仍然是许多应用程序采用深度模型的关键障碍。在这项工作中,我们显式地正则化深度模型,以便人类用户可以在很短的时间内逐步完成预测背后的过程。具体来说,我们训练深度时间序列模型,使它们的类概率预测具有高准确性,同时由节点很少的决策树紧密建模。使用直观的玩具示例以及治疗败血症和HIV的医疗任务,我们证明了这种新的树正则化产生的模型比简单的L1或L2惩罚更容易让人类模拟,而不会牺牲预测能力。
2017-11-16 cs.LG stat.ML
Distributionally Robust Regularization of Sparse Integer Programming Trained Learning Models
IBM Research(IBM研究院)
针对规则集稀疏性与预测精度的权衡,本文提出基于分布鲁棒优化和列生成的稀疏规则集合集成学习方法,并通过理论与实验证明其在泛化、计算成本和可解释性上的优势。
2026-10-16 cs.AI cs.LG math.OC
Multi-Kernel Regression with Sparsity Constraint
EPFL(洛桑联邦理工学院)
在本文中,我们提供了一个广义全变差(gTV)正则化的监督学习的Banach空间公式。我们确定类的核函数,在这个框架中是允许的。然后,我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明,该解决方案承认一个自适应位置的多核扩展。在该表示中,活动内核的数量由数据点的数量上限,而gTV正则化对内核系数施加$\ell_1$惩罚。最后,我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
Nonparametric sparsity and regularization
Istituto Italiano di Tecnologia(意大利技术研究院);University of Genova(热那亚大学)
在这项工作中,我们感兴趣的监督学习和变量选择的问题时,输入-输出依赖性描述的非线性函数依赖于几个变量。我们的目标是考虑一个稀疏的非参数模型,从而避免线性或加性模型。其关键思想是利用偏导数来衡量模型中每个变量的重要性。基于这种直觉,我们提出了一个新的非参数稀疏性的概念和相应的最小二乘正则化方案。利用再生核希尔伯特空间和近似方法理论的概念和结果,我们表明,所提出的学习算法对应于一个最小化问题,可以证明解决的迭代过程。所得到的估计的一致性性质的研究,无论是在预测和选择性能。一个广泛的实证分析表明,所提出的方法表现良好,相对于国家的最先进的方法。
2012-08-13 cs.LG math.OC stat.ML
Learning Hierarchical and Topographic Dictionaries with Structured Sparsity
INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
最近的工作在信号处理和统计集中在定义新的正则化函数,这不仅导致稀疏的解决方案,但也考虑到问题的结构。本文提出了一类在机器学习领域中引入的凸罚函数,其形式为变量组上的l_2和l_无穷范数之和.它们扩展了经典的组稀疏正则化,因为组可能重叠,从而在组设计中具有更大的灵活性。我们回顾了有效的优化方法来处理相应的逆问题,以及它们在自然图像块的字典学习问题中的应用:一方面,字典学习确实被证明对各种信号处理任务是有效的。另一方面,结构化稀疏性为字典元素之间的依赖关系建模提供了一个自然的框架。因此,我们考虑结构化稀疏正则化来学习嵌入在特定结构中的字典,例如树或二维网格。在后一种情况下,我们得到的结果是类似的字典地形独立成分分析。
2011-10-20 cs.LG
Group-Sparse Signal Denoising: Non-Convex Regularization, Convex Optimization
Polytechnic Institute of New York University(纽约大学理工学院)
具有稀疏促进凸正则化的凸优化是用于估计噪声中的稀疏信号的标准方法。为了比凸正则化更强地促进稀疏性,采用非凸优化也是标准实践。在本文中,我们采用第三种方法。我们利用一个非凸的正则化项,这样总成本函数(包括数据一致性和正则化项)是凸的。因此,稀疏性比标准凸公式更强有力地促进,但不会牺牲凸优化的吸引人的方面(唯一的最小值,鲁棒算法等)。我们使用这个想法,以改善最近开发的“重叠组收缩”(OGS)算法的去噪组稀疏信号。该算法应用于语音增强问题,在信噪比和感知质量方面都取得了良好的效果。
2013-11-30 cs.CV cs.LG stat.ML
Improving Robustness In Sparse Autoencoders via Masked Regularization
Lawrence Livermore National Laboratory, CA, USA(劳伦斯利弗莫尔国家实验室,加利福尼亚州,美国)
本文提出掩码正则化方法,通过在训练中随机替换token以打破共现模式,提升稀疏自编码器的鲁棒性,减少特征吸收,增强可探查性能并缩小OOD差距。
2026-04-07 cs.AI cs.LG
On the Sparsity-Storage-Accuracy Tradeoff in Parsimoniously Activated Dictionary Learning
Tsinghua University, Institute of Data and Information(清华大学数据与信息研究院);Shenzhen Key Laboratory of Ubiquitous Data Enabling(深圳泛在数据赋能重点实验室)
本文提出简约激活字典学习(PADL)的结构化生成模型解释,推导出稀疏性、存储成本与重建精度之间的权衡关系,并开发出无需手动调参的高效算法,在视觉基准上取得更优性能。
2026-10-14 cs.AI cs.LG
Differentiable Entropy Regularization: A Complexity-Aware Approach for Neural Optimization
Department of Computer Science Iowa State University(计算机科学系爱荷华州立大学);Department of Civil, Construction and Environmental Engineering Iowa State University(土木、建设与环境工程系爱荷华州立大学)
该研究提出可微分范围划分熵正则化方法,通过直接最小化表示复杂度实现效率与鲁棒性的联合优化,在计算几何任务上获4-5倍加速且误差<0.2%,在ViT-Base和LLM上也实现显著加速与稀疏度提升,同时改善鲁棒性。
2025-11-19 cs.AI cs.LG
Structured Sparsity and Generalization
UCL(伦敦大学学院)
我们提出了一个数据相关的推广界的一大类正则化算法,实现结构化稀疏约束。该界可以应用于标准的平方范数正则化,Lasso,群Lasso,具有重叠群的群Lasso的某些版本,多核学习和其他正则化方案。在所有这些情况下,都获得了有竞争力的结果。我们的界限的一个新的特点是,它可以应用于一个无限维的设置,如Lasso在一个可分离的希尔伯特空间或多核学习与可数数量的内核。
2011-09-02 cs.LG stat.ML
Regularization can make diffusion models more efficient
University of Hamburg(汉堡大学)
该研究针对扩散模型计算成本高的问题,提出利用统计学中的稀疏性概念,通过数学证明和实验验证表明,引入稀疏性可降低计算复杂度并提升样本质量,从而实现更高效的扩散模型。
2026-08-14 cs.LG math.ST stat.ML
Only sparsity based loss function for learning representations
INSOFE(INSOFE(因索夫教育研究学院));Hyderabad(海得拉巴(印度城市,此处可能指机构所在地,但按要求提取机构,故主要机构为INSOFE))
我们研究了神经网络中稀疏表示的出现。我们证明了在正则化的无监督模型中,稀疏性的出现是输入数据样本沿高度非线性或不连续流形分布的结果。我们还得出了类似的论点歧视性训练的网络和目前的实验来支持这一假设。基于我们对稀疏性的研究,我们引入了一个新的损失函数,它可以用作自动编码器和MLP等模型的正则化项。此外,相同的损失函数也可以用作用于学习有效表示的无监督单层神经网络模型的成本函数。
2019-03-07 cs.LG stat.ML
Disentanglement via Mechanism Sparsity Regularization: A New Principle for Nonlinear ICA
Mila(米拉人工智能研究所);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);ServiceNow Research(ServiceNow研究院);Tübingen AI Center, University of Tübingen(蒂宾根大学蒂宾根人工智能中心);Google Research(谷歌研究院)
这项工作引入了一种新的原则,我们称之为通过机制稀疏正则化,它可以应用于当感兴趣的潜在因素稀疏依赖于过去的潜在因素和/或观察到的辅助变量。我们提出了一种表示学习方法,通过同时学习潜在的因素和稀疏的因果关系图形模型,将它们联系起来,诱导解开。我们开发了一个严格的可识别性理论,建立在最近的非线性独立成分分析(ICA)的结果,形式化这一原则,并显示如何潜在的变量可以恢复到置换,如果一个正规化的潜在机制是稀疏的,如果一些图形连接标准是满足数据生成过程。作为我们框架的一个特例,我们展示了如何利用未知目标干预潜在因素来解开它们,从而进一步建立ICA和因果关系之间的联系。我们提出了一种基于VAE的方法,在该方法中,通过二进制掩码学习和正则化潜在机制,并通过在模拟中学习解纠缠表示来验证我们的理论。
2022-02-23 cs.LG stat.ML
Regularization Strategies and Empirical Bayesian Learning for MKL
The University of Tokyo(东京大学)
多核学习(MKL),结构化稀疏性和多任务学习最近受到了相当大的关注。在本文中,我们展示了如何将不同的MKL算法理解为核权重正则化或基于块范数的正则化的应用程序,这在结构化稀疏性和多任务学习中更常见。我们表明,这两个正则化策略可以系统地映射到彼此通过凹共轭运算。当基于核权重的正则化器可分离为组件时,我们可以自然地考虑MKL背后的生成概率模型。在此模型的基础上,我们提出了学习算法的核权重通过最大化的边际似然。我们通过数值实验表明,$\ell_2$ -norm MKL和弹性网络MKL实现可比的精度均匀内核组合。虽然统一的内核组合可能更简单,但$\ell_2$ -norm MKL和Elastic-net MKL可以学习表示为内核的信息源的有用性。特别是,Elastic-net MKL在内核权重中实现了稀疏性。
2011-03-02 cs.LG stat.ML
Sparse Bayesian Optimization
Princeton University(普林斯顿大学);Meta
贝叶斯优化(BO)是一个强大的方法,样本效率优化的黑箱目标函数。然而,BO在推荐系统等领域的应用通常需要考虑配置的可解释性和简单性,这是BO文献中以前没有研究过的设置。为了使BO对这种设置有用,我们提出了几种基于正则化的方法,使我们能够发现稀疏和更可解释的配置。我们提出了一种新的可微松弛同伦连续的基础上,使得它可以直接与$L_0$正则化的目标稀疏。我们确定规则化BO的故障模式,并开发了一种无超参数的方法,稀疏性探索贝叶斯优化(SEBO),旨在同时最大限度地提高目标目标和稀疏性。SEBO和固定正则化的基础上的方法进行评估合成和现实世界的问题,我们表明,我们能够有效地优化稀疏性。
2023-03-03 cs.AI cs.LG math.OC
Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity
Bayer AG(拜耳公司)
确定分子的哪些部分驱动分子图卷积神经网络(GCNN)的预测可能是困难的。为了提供帮助,我们提出了两种简单的正则化技术,用于GCNN的训练:批量表示正交归一化(BRO)和Gini正则化。BRO受分子轨道理论的启发,鼓励图形卷积运算生成正交节点嵌入。Gini正则化应用于输出层的权重,并限制模型可以用于进行预测的维度数量。我们证明了Gini和BRO正则化可以提高人工基准数据集上最先进的GCNN属性方法的准确性。在现实世界中,我们证明了药物化学家更喜欢从正则化模型中提取的解释。虽然我们只在GCNN的上下文中研究这些正则化器,但两者都可以应用于其他类型的神经网络
2021-08-31 cs.LG stat.ML
Continual Learning with Node-Importance based Adaptive Group Sparse Regularization
Sungkyunkwan University(成均馆大学)
我们提出了一种新的正则化为基础的持续学习方法,称为自适应组稀疏性为基础的持续学习(AGS-CL),使用两个组稀疏性为基础的惩罚。我们的方法选择性地采用两个惩罚时,学习每个节点的重要性,这是自适应更新后,学习每个新的任务。通过利用用于学习的近似梯度下降方法,保证了模型的精确稀疏性和冻结性,并且因此,学习器可以随着学习的继续而显式地控制模型容量。此外,作为一个关键的细节,我们重新初始化的权重与不重要的节点后,学习每个任务,以防止负迁移,导致灾难性遗忘,并促进新任务的有效学习。在整个广泛的实验结果中,我们表明,我们的AGS-CL使用更少的额外内存空间来存储正则化参数,并且在监督和强化学习任务的代表性持续学习基准上,它的性能显着优于几个最先进的基线。
2021-05-29 cs.LG stat.ML
Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators
Stanford University(斯坦福大学)
本文研究了CNN的结构化稀疏训练,采用逐步修剪技术,在一定数量的epoch之后产生固定的稀疏权重矩阵。我们简化了强制稀疏性的结构,以减少正则化引起的开销。所提出的训练方法Campfire在卷积核和滤波器内探索粒度修剪。我们研究了修剪持续时间,稀疏水平,和学习率配置方面的各种权衡。我们表明,我们的方法在完整的ImageNet上创建了ResNet-50和ResNet-50 v1.5的稀疏版本,同时保持在可忽略的<1%的准确性损失范围内。为了确保这种类型的稀疏训练不会损害网络的鲁棒性,我们还演示了网络在存在对抗攻击的情况下的行为。我们的研究结果表明,与70%的目标稀疏,超过75%的前1的准确性是可以实现的。
2020-01-13 cs.LG stat.ML
Iterative Hard Thresholding with Adaptive Regularization: Sparser Solutions Without Sacrificing Runtime
MIT(麻省理工学院);Yahoo! Research(雅虎研究院)
我们提出了一个简单的修改迭代硬阈值(IHT)算法,恢复渐近稀疏的解决方案作为条件数的函数。当目标是最小化凸函数$f(x)$,条件数$κ$服从$x$是$s$ -稀疏向量时,标准IHT保证是具有松弛稀疏性$O(sκ^2)$的解,而我们提出的算法正则化IHT返回具有稀疏性$O(sκ)$的解。我们的算法显着提高了ARHT也找到了稀疏$O(sκ)$的解决方案,因为它不需要在每次迭代中重新优化(因此更快),是确定性的,不需要最佳解值$f(x^*)$或最佳稀疏水平$s$的知识。我们的主要技术工具是一个自适应正则化框架,其中算法逐步学习$\ell_2$正则化项的权重,这将允许收敛到稀疏的解决方案。我们还将此框架应用于低秩优化,在那里我们实现了类似的改善,从$κ^2$到$κ$的最知名的条件数依赖。
2022-04-11 cs.DS cs.IT cs.LG
Sparsity, Regularization and Causality in Agricultural Yield: The Case of Paddy Rice in Peru
National University of Engineering(国立工程大学);University of São Paulo(圣保罗大学);Imperial College London(伦敦帝国学院)
本研究结合农业普查与遥感时间序列数据,利用稀疏回归和Elastic-Net正则化技术及变量动态变换,开发秘鲁水稻产量预测模型,揭示了遥感变量与产量间的Granger因果关系,提升了预测精度以助力农业管理。
2024-09-25 cs.LG stat.AP stat.ME
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame(圣母大学);Seoul National University(首尔国立大学)
最近的理论研究证明,通过在一定稀疏性约束下最小化经验风险获得的深度神经网络(DNN)估计量可以获得回归和分类问题的最佳收敛速度。然而,稀疏性约束要求知道真实模型的某些属性,这在实践中是不可用的。此外,由于稀疏约束的离散性质,计算是困难的。在本文中,我们提出了一种新的惩罚估计方法稀疏DNN,解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险,并推导出几个学习任务的收敛速度。特别是,我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算,我们开发了一个有效的基于梯度的优化算法,保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
Sparse Reduced Rank Regression With Nonconvex Regularization
The Hong Kong University of Science and Technology(香港科技大学)
研究了稀疏降秩回归模型的估计问题。SRRR模型被广泛应用于信号处理、计量经济学等领域的降维和变量选择。该问题的目标是最小化最小二乘损失,并考虑到正交性约束。在文献中,凸稀疏诱导函数已被用于SRRR。在这项工作中,提出了一个非凸函数更好的稀疏诱导。基于交替极小化(或投影)方法,提出了一种求解非凸优化问题的有效算法。数值仿真结果表明,该算法是更有效的基准方法相比,非凸函数可以导致更好的估计精度。
2018-03-20 cs.LG q-fin.CP stat.ME
Adaptive Block Sparse Regularization under Arbitrary Linear Transform
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能统合研究中心)
提出一种适用于任意线性变换下未知块结构的凸快速信号重建方法,推导了迭代算法及收敛条件,并通过数值实验验证了其有效性。
2024-02-13 cs.LG eess.SP
Sparse Partial Optimal Transport via Quadratic Regularization
Department of Computer Science, Ho Chi Minh University of Science(胡志明大学计算机科学系);School of Science, Aalto University(艾尔沃斯大学科学学院);Department of Science, Lycée Français Alexandre Yersin de Hanoi(河内亚历山大·耶尔辛法语中学科学系);Department of Math, High School for the Gifted(天才高中数学系);Department of Electrical and Computer Engineering, University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校电子与计算机工程系);Department of Computer Science, Georgia Institute of Technology(佐治亚理工学院计算机科学系);Department of Computer Science, Binh Duong University(平杜ong大学计算机科学系)
本文提出了一种基于二次正则化的部分最优传输(QPOT)新方法,通过引入稀疏性解决了传统熵正则化方法产生密集传输计划的问题,并在合成和真实数据集及实际应用中验证了其优越的稀疏性和性能。
2025-08-11 cs.LG
Factorization Machines with Regularization for Sparse Feature Interactions
Hokkaido University(北海道大学)
因式分解机(FM)是基于二阶特征交互的机器学习预测模型,具有稀疏正则化的FM被称为稀疏FM。这样的正则化使得能够进行特征选择,其选择最相关的特征以进行准确的预测,因此它们可以有助于提高模型的准确性和可解释性。然而,由于FM使用二阶特征交互,特征的选择通常会导致结果模型中许多相关特征交互的丢失。在这种情况下,具有专门为尝试实现交互级稀疏性的特征交互选择而设计的正则化的FM可能是优选的,而不是仅用于尝试实现特征级稀疏性的特征选择的FM。在本文中,我们提出了一个新的正则化计划的功能模块中的功能交互选择。所提出的正则化算子是特征交互矩阵的$\ell_1$正则化算子的上界,该特征交互矩阵是从FM的参数矩阵计算的。对于特征交互选择,我们提出的正则化器使特征交互矩阵稀疏,而不限制现有方法所施加的稀疏模式。我们还描述了有效的邻近算法,建议FM和现有的理论分析和新的正则化。此外,我们将讨论如何将我们的想法应用或扩展到更准确的特征选择和其他相关模型,如高阶FM和全子集模型。在人工数据集和真实数据集上的分析和实验结果表明了所提方法的有效性。
2021-04-01 cs.LG stat.ML
Learning Sparse Neural Networks via Sensitivity-Driven Regularization
Politecnico di Torino(都灵理工大学);Nuance Communications(Nuance通信公司);Télécom ParisTech(巴黎高等电信学院);Telecom Italia(意大利电信公司)
深度神经网络中不断增加的参数数量给内存有限的应用带来了挑战。正则化和修剪方法旨在通过稀疏化网络权重来应对这些挑战。在这种情况下,我们量化了输出对参数的敏感性(即它们与网络输出的相关性),并引入了一个正则化项,逐渐降低具有低敏感性的参数的绝对值。因此,很大一部分参数接近零,并最终通过简单的阈值设置为零。我们的方法超越了最近的技术,无论是在稀疏性和出错率。在某些情况下,该方法在相同的出错率下达到其他技术所获得的稀疏度的两倍。
2018-10-28 cond-mat.dis-nn cs.LG stat.ML
Sparsity regularization via tree-structured environments for disentangled representations
McGill University(麦吉尔大学);Mila;Valence Labs(Valence实验室);Université de Montréal(蒙特利尔大学);Samsung - SAIT AI Lab(三星-SAIT人工智能实验室)
针对多相关环境下的因果表征学习问题,提出基于树结构的稀疏正则化方法TBR,利用环境间映射的稀疏变化约束识别潜在因果变量,在模拟和真实基因表达数据上均取得优于现有方法的效果。
2024-06-10 cs.LG stat.ML
Make $\ell_1$ Regularization Effective in Training Sparse CNN
Pennsylvania State University(宾夕法尼亚州立大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
使用$\ell_1$正则化的压缩感知是许多应用中最强大和最流行的稀疏化技术之一,但为什么它没有被用于获得稀疏深度学习模型,如卷积神经网络(CNN)?本文旨在回答这个问题,并展示如何使其工作。我们首先证明了常用的随机梯度下降(SGD)和变体训练算法与$\ell_1$正则化不匹配,然后将其替换为基于正则化双平均(RDA)方法的不同训练算法。RDA最初是专门为凸问题设计的,但是通过新的理论见解和算法修改(使用适当的初始化和自适应性),我们已经使其与$\ell_1$正则化有效匹配,以实现CNN与其他权重修剪方法相比最先进的稀疏性,而不会影响准确性(例如,在CIFAR-10上实现ResNet 18的95%稀疏性)。
2020-06-03 cs.LG stat.ML
Methods for Sparse and Low-Rank Recovery under Simplex Constraints
Rutgers University(罗格斯大学);Saarland University(萨尔大学)
通过$\ell_1$ -正则化促进稀疏性的事实上的标准方法在存在单纯形约束时变得无效,即,已知目标具有总和为给定常数的非负项。这种情况是类似的使用核范数正则化的低秩恢复厄米半正定矩阵与给定的轨迹。在本文中,我们讨论了几种策略来处理这种情况,从简单到更复杂。作为一个起点,我们考虑经验风险最小化(ERM)。从现有的理论可以看出,ERM具有更好的理论性质。预测和$\ell_2$ -估计误差比$\ell_1$ -正则化。鉴于此,我们认为,ERM结合后续的稀疏化步骤,如阈值是优于启发式的使用$\ell_1$ -正则化后,下降的总和约束和后续的规范化。在下一个层次,我们表明,任何稀疏促进正则化单纯形约束下不能凸。提出了一种基于平方$\ell_2$ -范数的倒数或负数的稀疏提升正则化方法,避免了文献中各种方法的缺点.我们的方法很自然地推广到具有给定迹的Hermitian半正定矩阵。通过对压缩感知、稀疏混合密度估计、投资组合优化和量子态层析成像的数值研究,说明了本文的主要内容。
2016-05-02 cs.LG stat.ME
Nonconvex Sparse Logistic Regression with Weakly Convex Regularization
Tsinghua University(清华大学)
在这项工作中,我们提出了适合稀疏逻辑回归模型的弱凸正则化非凸优化问题。这个想法是基于这样的发现,即作为$\ell_0$伪范数的近似的弱凸函数能够比常用的$\ell_1$范数更好地诱导稀疏性。对于一类弱凸稀疏诱导函数,证明了相应稀疏Logistic回归问题的非凸性,并研究了其局部最优性条件和排除平凡解的正则化参数的选择.尽管非凸性,基于近似梯度下降的方法来解决一般弱凸稀疏逻辑回归,并从理论上研究其收敛性。然后将一般框架应用于一个具体的弱凸函数,并给出了局部最优性的一个充分必要条件。在这种情况下,作为一个迭代的坚定收缩算法的解决方案的方法实例化,其有效性在数值实验中证明了随机生成的和真实的数据集。
2017-08-07 cs.LG stat.ML
NMF with Sparse Regularizations in Transformed Domains
CEA(法国原子能和替代能源委员会);LIST(LIST研究所);IRFU(IRFU研究所)
非负盲源分离(Non-negative Blind Source Separation,简称BSS),也称为非负矩阵分解(Non-negative Matrix Factorization,简称NMF),是一个非常活跃的领域,涉及天体物理学、音频处理或生物医学信号处理等领域。在这种情况下,有效的检索的来源需要使用的信号先验,如稀疏性。如果NMF现在已经在直接域中的稀疏约束下得到了很好的研究,那么只有很少的算法可以在变换域中包含非负性和稀疏性,因为同时处理两个不同域中的两个先验是具有挑战性的。在这篇文章中,我们展示了如何稀疏NMF算法创造的非负广义形态成分分析(nGMCA)可以扩展到施加非负性的直接域中,随着稀疏性的变换域,与分析和合成配方。据我们所知,这项工作提出了第一次比较分析和合成先验-以及他们的重新加权版本-在盲源分离的背景下。与最先进的NMF算法在现实数据上的比较表明,所提出的算法的效率以及鲁棒性。
2014-07-29 cs.LG stat.ML
The Effective Number of Nonzeros: Theory and Regularization for Sparse Recovery
提出基于熵的有效稀疏度概念(ENZ),通过香农熵指数化衡量重要系数,证明其与ℓ0计数的关系,并引入Rényi族统一多种稀疏度量,在RIP条件下给出稳定性界,通过可分离熵代理实现高效计算。
2026-06-25 cs.LG stat.ML
Solution Path of Time-varying Markov Random Fields with Discrete Regularization
University of Michigan(密歇根大学);University of Southern California(南加州大学)
针对时变马尔可夫随机场的稀疏推断,提出一种带精确离散正则化的约束优化方法,可在O(pT^3)内求解全部解路径,适用于高斯和离散MRF,每个时间仅需一个样本,可处理超3000万变量。
2023-07-25 cs.LG math.OC
Learning Sparse Visual Representations with Leaky Capped Norm Regularizers
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
本文提出泄漏受限范数正则化器,用于学习过完备视觉表示,证明了其在3D形状恢复中的收敛性,优于ℓ1和非凸正则化方法。
2017-11-08 cs.AI cs.CV cs.LG
SASL: Saliency-Adaptive Sparsity Learning for Neural Network Acceleration
CAS Key Laboratory of Technology in Geo-spatial Information Processing and Application System, University of Science and Technology of China(中国科学技术大学 中国科学院空间信息处理与应用系统技术重点实验室);KDDI Research(KDDI研究所)
加快CNN的推理速度对于它们在现实世界应用中的部署至关重要。在所有修剪方法中,那些实现稀疏学习框架的方法已经证明是有效的,因为它们以端到端数据驱动的方式学习和修剪模型。然而,这些工作强加相同的稀疏正则化的所有过滤器不加区别,这很难导致最佳的结构稀疏网络。在本文中,我们提出了一个显着性自适应稀疏学习(SASL)的方法进行进一步优化。每个滤波器的新颖且有效的估计,即,显着性,这是衡量从两个方面:预测性能的重要性和消耗的计算资源。在稀疏学习过程中,正则化强度根据显着性进行调整,因此我们的优化格式可以更好地保持预测性能,同时将更多计算量较大的过滤器归零。显著性的计算为训练过程引入了最小的开销,这意味着我们的SASL非常高效。在剪枝阶段,为了优化所提出的数据依赖准则,采用了硬样本挖掘策略,该策略具有更高的有效性和效率。大量的实验证明了我们的方法的优越性能。值得注意的是,在ILSVRC-2012数据集上,我们的方法可以减少ResNet-50的49.7%的FLOP,而top-1和top-5的准确度下降可以忽略不计。
2020-07-30 cs.CV cs.LG
Network Topology Inference with Sparsity and Laplacian Constraints
Hong Kong University of Science and Technology(香港科技大学);North China University of Technology(北方工业大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);City University of Hong Kong(香港城市大学)
针对拉普拉斯约束高斯图模型中l1范数导致稠密图的问题,提出结合l0范数约束的图拉普拉斯估计方法,并开发高效梯度投影算法,实验验证其网络拓扑推断有效性。
2023-09-02 cs.LG eess.SP
Learning sparsity-promoting regularizers for linear inverse problems
MaLGa Center, University of Genoa(基因奥纳大学马尔加中心);Lappeenranta-Lahti University of Technology(拉佩恩拉-拉赫蒂技术大学);University of Helsinki(赫尔辛基大学);University of Bologna(博洛尼亚大学)
本文提出了一种学习稀疏正则化器的方法,用于解决线性反问题,通过双层优化框架和数据驱动方法提升稀疏性。
2026-03-02 cs.LG math.ST stat.ML
Binary Stochastic Filtering: feature selection and beyond
特征选择是理解数据和机器学习模型的最具决定性的工具之一。在其他方法中,由$L^{1}$惩罚引起的稀疏性是解决这个问题的最简单和最好的研究方法之一。虽然这种正则化经常用于神经网络以实现权重或单元激活的稀疏性,但尚不清楚如何将其用于特征选择问题。这项工作的目的是扩展神经网络的能力,自动选择功能,重新思考如何稀疏正则化可以使用,即,通过随机惩罚功能的参与,而不是层的权重。所提出的方法已经证明了优越的效率相比,一些经典的方法,实现了最小或没有计算开销,并可以直接应用到任何现有的架构。此外,该方法是很容易推广的神经元修剪和光谱数据的重要区域的选择。
2020-07-08 cs.LG stat.ML