Dynamic Activation Pitfalls in LLaMA Models: An Empirical Study
Meituan（美团）
本研究系统探究LLaMA系列模型的动态激活机制，发现现有动态激活方案存在固有缺陷，高稀疏率场景下表现不及ReLU模型，分析了三大成因并为稀疏方案设计提供方向。
2024-05-15 cs.LG
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
Institute of Mathematics（数学研究所）；University of Würzburg（维尔茨堡大学）；Technical University of Munich（慕尼黑工业大学）；Institute of Computer Science（计算机科学研究所）；CAIDAS；Institute of Mathematics, CAIDAS（CAIDAS数学研究所）
本文针对两层ReLU网络，从理论和实验两方面解释了采用ℓ∞攻击的对抗训练神经网络的梯度显著性图稀疏性，证明其极小化子收敛到特定贝叶斯分类器，且梯度范数各向异性导致稀疏性。
2026-10-09 cs.LG math.OC stat.ML
Binary Random Projections with Controllable Sparsity Patterns
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Minnesota（明尼苏达大学）
随机投影通常用于将高维向量投影到低维空间，同时近似保持它们的成对距离。它已成为各种数据处理任务的强大工具，并吸引了相当大的研究兴趣。部分是受神经科学的最新发现的启发，本文研究了具有可控稀疏模式的二元矩阵的随机投影问题。具体来说，我们提出了两个稀疏二进制投影模型，工作在一般的数据向量。与传统的密集投影矩阵的随机投影模型相比，我们提出的模型具有显着的计算优势，由于其稀疏结构，以及提高精度的经验评估。
2020-06-29 cs.IR cs.LG stat.ML
The Virtue of Sparsity in Complexity
Telfer School of Management University of Ottawa（渥太华大学Telfer管理学院）
本文探讨了在高维资产定价中稀疏性与复杂性之间的关系，指出稀疏结构通过扩大特征空间来提升资产定价的性能。
2026-09-23 cs.LG econ.EM q-fin.GN
Sparseout: Controlling Sparsity in Deep Networks
University of Saskatchewan（萨斯喀彻温大学）
Dropout通常用于帮助减少深度神经网络中的过拟合。稀疏性是神经网络的一个潜在的重要属性，但并不被基于丢弃的正则化显式控制。在这项工作中，我们提出了Sparseout一个简单而有效的变体Dropout，可用于控制神经网络中激活的稀疏性。我们从理论上证明了Sparseout等价于广义线性模型特征的$L_q$惩罚，而Dropout是Sparseout在神经网络中的一个特例.我们的经验表明，Sparseout是计算成本低，能够控制所需的稀疏激活水平。我们在图像分类和语言建模任务上评估了Sparseout，以了解稀疏性对这些任务的影响。我们发现，稀疏的激活是有利的语言建模性能，而图像分类受益于密集的激活。Sparseout提供了一种在最先进的深度学习模型中研究稀疏性的方法。Sparseout的源代码可以在\url{https://github.com/najeebkhan/sparseout}上找到。
2019-04-17 cs.LG cs.NE stat.ML
An Empirical Analysis of Optimization Dynamics and Sparsity Boundaries in Large-Scale Pedestrian Attribute Recognition
College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）
针对行人属性识别中极端类别不平衡问题，提出多标签焦点损失校准配置（alpha=0.50, gamma=2.0），在零计算开销下匹配BCE基线并提升难例挖掘，同时识别出0.1%正样本率下的稀疏墙边界。
2026-06-16 cs.AI cs.CV cs.IR
Nonparametric Empirical Bayes Estimation and Testing for Sparse and Heteroscedastic Signals
University of Pennsylvania（宾夕法尼亚大学）；Temple University（天普大学）；University of Michigan（密歇根大学）
现代大规模数据往往涉及高维未知参数的估计和检验。希望以准确性和错误发现控制来识别稀疏信号，“大海捞针”。然而，现代数据结构中前所未有的复杂性和异构性需要新的机器学习工具来有效地利用共性，并针对稀疏性和异构性进行鲁棒调整。此外，高维参数的估计往往缺乏不确定性量化。在本文中，我们提出了一种新的尖峰和非参数混合先验（SNP）-尖峰，以促进稀疏性和非参数结构捕获信号。与现有的方法相比，本文提出的方法同时解决了估计和检验问题，具有以下优点：1）稀疏性估计准确; 2）具有收缩/软阈值特性的点估计; 3）不确定性量化的可信区间; 4）控制错误发现率的最优多重检验过程。我们的方法在模拟数据和基因表达案例研究上都表现出很好的经验性能。
2021-11-05 cs.LG stat.ME
Can sparsity improve the privacy of neural networks?
Univ Lyon, EnsL, UCBL, CNRS, Inria, LIP（里昂大学，里昂高等师范学院，里昂第一大学，法国国家科学研究中心，法国国家信息与自动化研究所，里昂并行计算实验室）
本文实验探究稀疏性对神经网络训练数据隐私的影响，发现稀疏性、隐私性与分类错误正相关，并警示简单比较不同稀疏度模型隐私性的误导性。
2024-05-23 cs.CR cs.LG
Sparsity in Reservoir Computing Neural Networks
University of Pisa（比萨大学）
储备池计算（RC）是一种设计递归神经网络的著名策略，具有显著的训练效率。RC的关键方面是正确地实例化作为系统动态记忆的隐藏递归层。在这方面，常用的方法是创建一个随机和稀疏连接的递归神经元池。虽然在RC系统的设计中的稀疏性方面已经在文献中进行了辩论，但现在主要将其理解为利用稀疏矩阵运算来提高计算效率的一种方式。在本文中，我们实证研究的角度下，丰富的开发时间表示的稀疏性在RC网络设计中的作用。我们分析了稀疏的经常性连接，并在连接从输入到水库。我们的研究结果指出，稀疏性，特别是在输入水库的连接，有一个重要的作用，在发展内部的时间表示，有一个较长的短期记忆过去的输入和更高的维度。
2020-06-04 cs.LG cs.NE math.DS
Effects of sparsity and superposition on loss in simple autoencoders
Department of Statistics, UC Berkeley（伯克利大学统计学系）；Department of Materials Science, UC Berkeley（伯克利大学材料科学系）
研究神经网络中多语义性源于叠加现象，通过数学分析稀疏输入下自编码器的L2重构损失上下界，验证并扩展了Elhage等人的实证结果。
2026-06-18 cs.LG stat.ML
Statistical Characteristics of Deep Representations: An Empirical Investigation
Seoul National University（首尔大学）
在这项研究中，八个表示正则化方法的影响进行了研究，包括两个新开发的秩正则化（RR）。调查表明，在训练过程中，相关性、稀疏性和秩等表示的统计特性可以按预期进行操作。此外，可以通过尝试所有的表示正则化器并微调其效果的强度来提高基线性能。与性能改善相反，性能和统计特征之间没有一致的关系。结果表明，操纵的统计特性可以有助于提高性能，但只有间接通过其对学习动力学或其调谐效果的影响。
2020-12-02 cs.LG stat.ML
Feature Selection and Regularization in Multi-Class Classification: An Empirical Study of One-vs-Rest Logistic Regression with Gradient Descent Optimization and L1 Sparsity Constraints
Department of Computer Science and Software Engineering, Auburn University, Alabama, USA（计算机科学与软件工程系，阿伯茨费尔德大学，美国阿拉巴马州）；Department of Information and Communication Technology, Bangladesh University of Professionals, Dhaka, Bangladesh（信息与通信技术系，孟加拉国专业大学，达卡）
本研究实证评估一对多逻辑回归在UCI葡萄酒多分类任务中的表现，比较梯度下降与scikit-learn求解器，并验证L1正则化在特征稀疏性与精度间的权衡，提出5特征最优子集以实现低成本高效部署。
2025-10-22 cs.AI cs.LG
SAUC: Sparsity-Aware Uncertainty Calibration for Spatiotemporal Prediction with Graph Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；University of Florida（佛罗里达大学）；Florida State University（佛罗里达州立大学）
针对时空预测中不确定性被忽略、稀疏数据带来额外挑战的问题，提出事后稀疏感知不确定性校准框架SAUC，通过改造确定性ST-GNN为概率型并结合分位数校准，在真实数据集上有效降低零值校准误差，填补相关研究空白。
2024-09-13 cs.LG
Learning Neural Networks with Sparse Activations
Google Research（谷歌研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
本文研究神经网络中MLP层激活稀疏现象，通过PAC学习理论证明其计算与统计优势，旨在推动实际应用。
2024-06-26 cs.LG stat.ML
HALO: Learning to Prune Neural Networks with Shrinkage
Cornell University（康奈尔大学）
深度神经网络通过从非结构化数据中提取丰富的特征集，在各种任务中实现了最先进的性能，但这种性能与模型大小密切相关。用于诱导稀疏性和减小模型大小的现代技术是（1）网络修剪，（2）使用稀疏诱导惩罚进行训练，以及（3）与网络的权重联合训练二进制掩码。我们从贝叶斯分层模型的角度研究了不同的稀疏性诱导惩罚，并提出了一种新的惩罚称为分层自适应套索（HALO），它通过可训练的参数学习自适应地稀疏给定网络的权重。当用于训练过参数化网络时，我们的惩罚产生具有高精度的小子网络，而无需微调。从经验上讲，在图像识别任务中，我们发现HALO能够学习高度稀疏的网络（只有5%的参数），在相同稀疏度水平下，与最先进的幅度修剪方法相比，性能有显着提高。代码可在https://github.com/skyler120/sparsity-halo上获得。
2021-02-28 cs.CV cs.LG stat.ML
Sparsity in Continuous-Depth Neural Networks
Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）；J.P. Morgan Chase & Co.（摩根大通公司）；Helmholtz AI（亥姆霍兹人工智能）
神经常微分方程（NODE）在学习动力系统方面已经被证明是成功的，可以准确地恢复观察到的轨迹。虽然已经提出了不同类型的稀疏性来提高鲁棒性，但对于观测数据之外的动力系统的NODE的泛化特性还没有充分研究。我们系统地研究了权重和特征稀疏性对预测以及识别潜在动力学规律的影响。除了评估现有的方法，我们还提出了一种正则化技术来稀疏“输入输出连接”并在训练过程中提取相关特征。此外，我们策划了由人体运动捕捉和人类造血单细胞RNA-seq数据组成的真实世界数据集，以分别在预测和动态识别中真实地分析不同水平的分布外（OOD）泛化。我们对这些具有挑战性的基准进行了广泛的实证评估，结果表明，在存在噪声或不规则采样的情况下，权重稀疏可以提高泛化能力。然而，它并不能防止学习假特征依赖性推断的动态，使他们不切实际的干预下的预测，或推断真正的基础动态。相反，与未正则化的NODE相比，特征稀疏性确实有助于恢复稀疏的地面实况动态。
2022-10-26 cs.LG
High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss
本文通过理论分析，深入研究了当考虑高维数据时，经验风险最小化框架在岭正则化和非正则化两种情况下的分类性能。专注于分离两类高斯混合的基本问题，建议的分析允许一组足够大的维度$p$的众多数据向量$\mathbf{x} \in \mathbb R^p$的分类误差的精确预测。这个精确的误差取决于损失函数、训练样本的数量以及混合数据模型的统计数据。研究表明，在数据统计的某些额外非稀疏条件下，它仍然超出高斯分布。在此定量误差分析的基础上，我们将简单平方损失确定为脊正则化和非正则化情况下高维分类的最佳选择，无论训练样本的数量如何。
2020-11-25 cs.LG stat.ML
Representations learnt by SGD and Adaptive learning rules: Conditions that vary sparsity and selectivity in neural networks
University of Bristol（布里斯托大学）
本文研究不同优化器、学习率和批量大小等条件下神经网络中稀疏性与选择性自然出现的规律，并在MNIST任务上通过实证分析揭示这些条件与表示性质及测试准确率之间的关系。
2024-10-02 cs.AI cs.LG
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
An Adaptive Empirical Bayesian Method for Sparse Deep Learning
Purdue University（普渡大学）
我们提出了一种新的自适应经验贝叶斯方法用于稀疏深度学习，其中稀疏性通过一类自适应尖峰和板先验来确保。所提出的方法的工作原理是交替采样自适应分层后验分布使用随机梯度马尔可夫链蒙特卡罗（MCMC）和平滑优化超参数使用随机逼近（SA）。在较弱的条件下，我们进一步证明了该方法收敛于渐近正确的分布。所提出的方法的经验应用导致最先进的性能MNIST和时尚MNIST与浅卷积神经网络和最先进的压缩性能CIFAR10与残差网络。该方法还提高了对对抗性攻击的抵抗力。
2020-04-13 cs.LG stat.ME stat.ML
Domain-Aware Pruning: Sparsity and Domain Generalization via Regularized Probabilistic Masking
University of Tehran（德黑兰大学）
本研究提出算法无关的领域感知剪枝框架，通过正则化概率掩码识别领域不变子网络，在实现高稀疏性的同时，提升分布外鲁棒性与对抗鲁棒性，且模型可解释性强。
2026-08-11 cs.LG
Sparsity-Control Ternary Weight Networks
State University of New York at Binghamton（宾汉姆顿纽约州立大学）
深度神经网络（DNN）已经广泛且成功地应用于各种应用，但是它们需要大量的存储器和计算能力。这严重限制了它们在资源有限的设备上的部署。为了解决这个问题，已经在训练低位权重DNN方面做出了许多努力。在本文中，我们专注于训练三元权重\{-1，0，+1\}网络，可以避免乘法，并显着降低内存和计算需求。三进制权重网络可以被认为是二进制权重对应物的稀疏版本，通过将二进制权重中的一些-1或1替换为0，从而导致更有效的推理，但更多的内存成本。然而，现有的训练三元权重网络的方法不能控制稀疏性（即，0的百分比），这削弱了三元权重的优势。在本文中，我们提出了我们所知的第一个稀疏控制方法（SCA）来训练三元权重网络，这是简单地实现了一个权重离散正则化（WDR）。SCA不同于现有的所有基于正则化的方法，因为它可以通过控制器$α$来控制三元权重的稀疏性，并且不依赖于梯度估计器。我们从理论上和经验表明，训练的三元权重的稀疏性是正相关的$α$。SCA非常简单，易于实现，并且在几个基准数据集上表现出一贯优于最先进的方法，甚至与全精度权重对应物的性能相匹配。
2021-10-22 cs.LG
Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for Pruning LLMs to High Sparsity
Eindhoven University of Technology, the Netherlands（埃因霍温理工大学）；University of Surrey（萨里大学）；Google Research, USA（谷歌研究院）；University of Texas at Austin, USA（德克萨斯大学奥斯汀分校）；Clemson University, USA（克莱姆森大学）；University of Washington, USA（华盛顿大学）；University of Oxford, UK（牛津大学）
针对LLM均匀剪枝的局限，本文提出OWL方法，通过设定与各层激活离群值比例成正比的非均匀逐层稀疏比，在70%高稀疏度下显著降低困惑度并实现2.6倍推理加速。
2025-06-30 cs.LG
Training Sparse Neural Network by Constraining Synaptic Weight on Unit Lp Sphere
稀疏深度神经网络已经显示出其相对于密集模型的优势，具有更少的参数和更高的计算效率。在这里，我们证明了约束的突触的权重单位Lp球，使稀疏性与p的灵活控制，并提高了神经网络的泛化能力。首先，为了优化约束在单位Lp-球面上的突触权值，从扩充的经验风险最小化条件出发，推导出参数优化算法Lp-球面梯度下降（LpSGD），并从理论上证明了该算法的收敛性。为了理解p对Hoyer稀疏性的影响机制，给出了在Gamma分布假设下Hoyer稀疏性的期望，并在不同的p和不同的条件下验证了该期望.此外，设计了拓扑进化的“半剪枝”和阈值自适应算法，有效地筛选出重要连接，使神经网络从初始稀疏收敛到期望稀疏。我们的方法进行了验证的基准数据集，涵盖了广泛的领域的实验。本文的理论分析为进一步研究约束优化下的稀疏神经网络的训练问题奠定了基础。
2021-03-30 cs.CV cs.LG
Network Topology Inference with Sparsity and Laplacian Constraints
Hong Kong University of Science and Technology（香港科技大学）；North China University of Technology（北方工业大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；City University of Hong Kong（香港城市大学）
针对拉普拉斯约束高斯图模型中l1范数导致稠密图的问题，提出结合l0范数约束的图拉普拉斯估计方法，并开发高效梯度投影算法，实验验证其网络拓扑推断有效性。
2023-09-02 cs.LG eess.SP
Maximal Sparsity with Deep Networks?
Microsoft Research（微软研究院）
许多稀疏估计算法的迭代由与阈值非线性级联的固定线性滤波器组成，其共同类似于典型的神经网络层。因此，一个冗长的算法迭代序列可以被视为一个具有共享的、手工制作的层权重的深度网络。因此，很自然地检查学习的网络模型可以作为传统稀疏估计的可行替代品的程度，在这些领域中，有充足的训练数据可用。虽然减少计算预算的可能性是显而易见的，当对层数施加上限时，我们的工作主要集中在估计精度上。特别是，它是众所周知的，当一个信号字典具有相干列，量化一个大的RIP常数，然后最听话的迭代算法是无法找到最大的稀疏表示。相比之下，我们从理论上和经验上证明了经过训练的深度网络在现有方法失败的情况下恢复最小$\ell_0$范数表示的潜力。由此产生的系统部署在一个实际的光度立体估计问题，其目标是删除稀疏离群值，可以破坏从3D场景的表面法线的估计。
2016-05-10 cs.LG
DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths
Fudan University（复旦大学）；Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research-Asia（微软亚洲研究院）；Jiangxi Normal University（江西师范大学）
过度参数化是目前普遍存在的训练神经网络，既有利于优化寻求全局最优值和推广，以减少预测误差。然而，压缩网络在许多现实世界的应用中是期望的，并且小网络的直接训练可能陷入局部最优。在本文中，而不是修剪或提取过参数化模型压缩的，我们提出了一种新的方法的基础上的微分包含的逆尺度空间。具体而言，它生成了一系列从简单到复杂的模型，这些模型将一对参数耦合到同时训练过参数化的深度模型和全连接层和卷积层权重的结构稀疏性。这种差分包含方案具有简单的离散化，被提出为深度结构分裂线性化Bregman迭代（DessiLBI），其在深度学习中的全局收敛性分析被建立为从任何初始化，算法迭代收敛到经验风险的临界点。实验证据表明，DessiLBI在探索基准数据集上几个广泛使用的骨干的结构稀疏性方面，与竞争性优化器相比，实现了相当甚至更好的性能。值得注意的是，通过提前停止，DessiLBI在早期阶段推出了“中奖彩票”：有效的稀疏结构，其测试精度与完全训练的过度参数化模型相当。
2020-07-04 cs.CV cs.LG math.DS
Sparse Training of Neural Networks based on Multilevel Mirror Descent
Institute of Mathematics（数学研究所）；University of Würzburg（乌尔姆大学）；Institute of Mathematics, CAIDAS University of Würzburg（数学研究所，CAIDAS乌尔姆大学）
本文提出了一种基于线性化Bregman迭代/镜像下降的动态稀疏训练算法，通过交替静态和动态稀疏模式更新来利用自然产生的稀疏性，结合稀疏诱导Bregman迭代与自适应冻结网络结构，以高效探索稀疏参数空间并保持稀疏性。通过多级优化框架保证收敛性，并实验证明该算法在标准基准上能产生高稀疏性和准确性的模型，同时在理论FLOPs数量和训练时间上均有显著提升。
2026-05-18 cs.LG cs.NA math.NA
Dynamic Sparse Training with Structured Sparsity
University of Calgary（卡尔加里大学）；Massachusetts Institute of Technology（麻省理工学院）；IAIFI；Google DeepMind（谷歌DeepMind）；University of Guelph（圭尔夫大学）；Vector Institute for AI（矢量人工智能研究院）
本文提出结构化动态稀疏训练方法 SRigL，通过恒定扇入约束学习 N:M 结构化稀疏性并结合神经元消融，在多种神经网络上实现领先的稀疏训练性能与显著的实际推理加速。
2024-02-21 cs.CV cs.LG
Why Random Pruning Is All We Need to Start Sparse
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文从理论上证明随机掩码网络在按逆稀疏度对数因子加宽后能近似任意目标网络，并据此提出将稠密到稀疏训练转化为更高效的稀疏到稀疏训练的方法。
2023-05-31 cs.LG
