Sparse Autoencoders Trained on the Same Data Learn Different Features
EleutherAI
研究发现，在相同数据和模型上训练的稀疏自编码器因随机种子不同会学到不同特征，TopK架构比ReLU对种子更敏感，表明SAE特征应视为激活空间的实用分解而非模型真实特征的通用列表。
2025-01-29 cs.LG
Selfish Sparse RNN Training
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
稀疏神经网络已被广泛应用于减少训练和部署过参数化深度神经网络的计算需求。对于推理加速，从预训练的密集网络（密集到稀疏训练）中发现稀疏网络的方法有效。最近，已经提出了动态稀疏训练（DST）来训练稀疏神经网络，而不预先训练密集模型（稀疏到稀疏训练），使得训练过程也可以加速。然而，以前的稀疏到稀疏方法主要集中在多层感知器网络（MLP）和卷积神经网络（CNN）上，无法匹配递归神经网络（RNN）设置中的密集到稀疏方法的性能。在本文中，我们提出了一种方法，训练内在稀疏的RNN与一个固定的参数计数在一个单一的运行，而不影响性能。在训练过程中，我们允许RNN层在单元门之间进行非均匀的重新分布，以实现更好的正则化。此外，我们提出了SNT-ASGD，这是平均随机梯度优化器的一种新变体，它显着提高了RNN的所有稀疏训练方法的性能。使用这些策略，我们在Penn TreeBank和Wikitext-2数据集上使用各种类型的RNN实现了最先进的稀疏训练结果，优于密集到稀疏的方法。我们的代码可在https://github.com/Shiweiliuiiiiiii/Selfish-RNN上获得。
2021-06-15 cs.AI cs.LG
A Recovery Guarantee for Sparse Neural Networks
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）；Department of Electrical Engineering（电气工程系）；Stanford University（斯坦福大学）
该研究为稀疏神经网络提供了恢复保证，通过迭代硬阈值算法以线性内存复杂度精确恢复稀疏权重，并在多个任务中表现出优于传统方法的性能。
2026-02-28 cs.LG math.OC stat.ML
Sparse Signal Recovery for Binary Compressed Sensing by Majority Voting Neural Networks
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了多数表决神经网络的稀疏信号恢复二进制压缩感知。多数表决神经网络由几个独立训练的前馈神经网络组成，采用S形函数作为激活函数。我们的实证研究表明，选择一个损失函数用于网络的训练过程是至关重要的。我们找到了一个适合稀疏信号恢复的损失函数，它包括一个交叉熵项和一个$L_1$正则化项。从实验结果中，我们观察到，多数表决神经网络实现了良好的恢复性能，这是接近最佳性能的组件网络的数量的增长。多数表决神经网络的简单架构对于软件和硬件实现都是有益的。
2016-10-29 cs.IT cs.LG math.IT
Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation
MIT（麻省理工学院）
最近对彩票假说的研究已经为NMT产生了高度稀疏的Transformers，同时保持了BLEU。然而，目前还不清楚这种修剪技术如何影响模型的学习表示。通过探测具有越来越多的低量级权重被修剪掉的Transformers，我们发现复杂的语义信息首先被降级。内部激活的分析表明，高层分歧最修剪的过程中，逐渐变得不那么复杂，比密集的同行。同时，稀疏模型的早期层开始执行更多的编码。随着稀疏度的增加，注意力机制保持显著一致。
2020-10-12 cs.CL cs.LG stat.ML
A Truly Sparse and General Implementation of Gradient-Based Synaptic Plasticity
Peter Grünberg Institute（彼得·格伦贝格研究所）；FZ Jülich（于利希研究中心）；RWTH Aachen（亚琛工业大学）
提出一种自定义自动微分流水线，实现稀疏且在线的基于梯度的突触可塑性规则，可推广至任意神经元模型，兼具编程简便与内存高效，并在合成任务和音频分类基准上验证了梯度一致性与内存扩展优势。
2025-01-20 cs.AI cs.LG cs.NE
Beyond Masked Sparsity: SNACK Enables Truly Sparse Neural Networks on GPU
University of Twente（特文特大学）
SNACK 提出一种真正的稀疏 GPU 层，仅存储和计算非零连接，通过自定义 COO 格式 SpMM 内核，在 90% 稀疏度下实现训练和推理加速，并显著降低内存和能耗。
2026-10-06 cs.DC cs.LG
Truly shift-invariant convolutional neural networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Basel（巴塞尔大学）
由于卷积层和池化层的使用，卷积神经网络在很长一段时间内被认为是平移不变的。然而，最近的工作表明，CNN的输出可以随着输入的微小偏移而显著变化：这是由下采样（步幅）层的存在引起的问题。现有的解决方案依赖于数据增强或抗混叠，这两种方法都有局限性，并且都不能实现完美的移位不变性。此外，从这些方法获得的增益不会扩展到在训练期间看不到的图像模式。为了解决这些挑战，我们提出了自适应多相采样（APS），这是一种简单的子采样方案，允许卷积神经网络在移位下实现100%的分类性能一致性，而不会损失任何准确性。使用APS，网络甚至在训练之前就表现出了对移位的完美一致性，使其成为第一种使卷积神经网络真正具有移位不变性的方法。
2021-03-30 cs.AI cs.CV cs.LG
A Brain-inspired Algorithm for Training Highly Sparse Neural Networks
University of Twente（特文特大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Jyväskylä（于韦斯屈莱大学）
稀疏神经网络吸引了越来越多的兴趣，因为它们表现出与密集网络相当的性能，同时具有计算效率。修剪密集神经网络是获得稀疏神经网络的最广泛使用的方法之一。由于这种方法的高训练成本对于低资源设备来说是负担不起的，因此从头开始稀疏地训练稀疏神经网络最近受到了关注。然而，现有的稀疏训练算法存在各种问题，包括在高稀疏性场景中性能不佳，在训练期间计算密集的梯度信息，或纯随机拓扑搜索。受生物大脑进化和Hebbian学习理论的启发，本文提出了一种新的稀疏训练方法，该方法根据网络中神经元的行为来进化稀疏神经网络。具体地说，我们提出的基于余弦相似性和随机拓扑探索（CTRE）方法，通过利用余弦相似性度量连接的重要性，将最重要的连接添加到稀疏神经网络中，而不需要向后计算稠密梯度，从而进化稀疏神经网络的拓扑结构.我们在8个数据集上进行了不同的实验，包括表格，图像和文本数据集，并证明我们提出的方法在极稀疏的神经网络中的性能优于几种最先进的稀疏训练算法。实现代码可在https://github.com/zahraatashgahi/CTRE上获得
2022-11-10 cs.LG cs.NE
Neural Network Optimization for Reinforcement Learning Tasks Using Sparse Computations
Cifrum；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Chuvash State University（楚瓦什国立大学）
本文提出了一种基于稀疏计算的方法，用于优化强化学习（RL）任务的神经网络。这种方法结合了两种思想：神经网络修剪和考虑输入数据相关性;它使得只有当神经元状态的变化超过一定阈值时才能更新神经元状态。它显著减少了运行神经网络时的乘法次数。我们测试了不同的RL任务，并实现了乘法次数减少20- 150倍。没有实质性的性能损失;有时性能甚至有所改善。
2022-04-07 cs.LG cs.NE
Structural Analysis of Sparse Neural Networks
University of Passau（帕绍大学）
稀疏神经网络由于其潜在的数学和计算优势而重新受到关注。我们从网络科学的角度研究人工神经网络（ANN）的动机，提供了一种技术来嵌入任意有向无环图到ANN和报告的研究结果预测的图像分类器的性能的基础上的网络的底层图的结构特性。结果可以进一步推进神经进化，并从结构的角度解释不同架构的成功。
2019-10-16 cs.LG cs.NE
Sparsely-Connected Neural Networks: Towards Efficient VLSI Implementation of Deep Neural Networks
McGill University（麦吉尔大学）
最近，深度神经网络由于其提取和表示数据集中的高级抽象的能力而受到相当大的关注。深度神经网络（如全连接和卷积神经网络）在广泛的识别和分类任务中表现出出色的性能。然而，由于其高度复杂性，它们的硬件实现目前遭受大硅面积和高功耗。神经网络的功率/能量消耗由存储器访问支配，其中大部分发生在全连接网络中。事实上，它们包含了大部分的深层神经网络参数。在本文中，我们提出了稀疏连接网络，通过展示全连接网络中的连接数量可以减少高达90%，同时提高三种流行数据集（MNIST，CIFAR 10和SVHN）的准确性性能。然后，我们提出了一个有效的硬件架构的基础上，线性反馈移位寄存器，以减少所提出的稀疏连接网络的内存需求。与传统的全连接神经网络实现相比，所提出的架构可以节省高达90%的内存。此外，实施结果表明，减少高达84%的能量消耗的一个神经元的建议稀疏连接的网络相比，一个神经元的全连接神经网络。
2017-03-30 cs.LG cs.NE
Learning truly monotone operators with applications to nonlinear inverse problems
CentraleSupelec（中央高等电力学院）；Inria（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；School of Mathematics and Computer Sciences, Heriot-Watt University（赫瑞瓦特大学数学与计算机科学学院）；Maxwell Institute for Mathematical Sciences（麦克斯韦数学科学研究所）
本文提出一种通过新惩罚损失学习单调神经网络的方法，利用FBF算法在Lipschitz常数未知时保证收敛，并成功将其应用于求解非线性逆问题。
2025-03-06 cs.LG cs.NA math.NA
SONIC: A Sparse Neural Network Inference Accelerator with Silicon Photonics for Energy-Efficient Deep Learning
Colorado State University（科罗拉多州立大学）
稀疏神经网络可以极大地促进神经网络在资源受限平台上的部署，因为它们提供紧凑的模型大小，同时保持推理准确性。由于参数矩阵的稀疏性，稀疏神经网络原则上可以在加速器架构中被利用，以改善能量效率和延迟。然而，为了在实践中实现这些改进，需要探索稀疏感知的软硬件协同设计。在本文中，我们提出了一种新的硅光子学为基础的稀疏神经网络推理加速器称为SONIC。我们的实验分析表明，与最先进的稀疏电子神经网络加速器相比，SONIC可以实现高达5.8倍的每瓦性能和8.4倍的每比特能量;与最知名的光子神经网络加速器相比，可以实现高达13.8倍的每瓦性能和27.6倍的每比特能量。
2021-09-09 cs.AR cs.LG cs.NE
Are Heterogeneous Graph Neural Networks Truly Effective for Node Classification? A Causal Perspective
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）；Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University（老年人积极生活卓越研究中心（LILY），南洋理工大学）；Alibaba-NTU Singapore Joint Research Institute (ANGEL), Nanyang Technological University（阿里巴巴-南洋理工大学新加坡联合研究机构（ANGEL），南洋理工大学）
从模型架构和异构信息角度研究异构图神经网络用于节点分类，通过复现实验和因果中介分析框架，发现模型架构和复杂度对性能无因果效应，异构信息通过增加同质性等产生正向因果效应。
2026-07-20 cs.AI cs.LG
Truly Scale-Equivariant Deep Nets with Fourier Layers
Purdue University（普渡大学）
针对现有尺度等变卷积神经网络未考虑抗混叠、并非真正尺度等变的问题，提出基于傅里叶层的离散域下采样架构，实现零等变误差，在相关数据集上取得有竞争力的分类性能。
2023-11-06 cs.CV cs.LG
Sparse Neural Networks Topologies
Columbia（哥伦比亚大学）；Google Research（谷歌研究院）
我们提出了稀疏神经网络架构，是基于随机或结构化的二分图拓扑结构。稀疏架构提供了学习模型的压缩和计算速度的提高，它们也可以超越非结构化或完全连接的对等体。正如我们所展示的，通过使用连续神经元层之间的结构化连接图，可以实现所谓SNN（稀疏神经网络）的更紧凑拓扑。在本文中，我们研究了模型的精度和训练速度如何依赖于神经网络的拓扑结构和稀疏性。以前的稀疏性方法都是基于全连接的神经网络模型，在训练阶段创建稀疏性，而不是在训练之前显式定义稀疏的连接结构。构建紧凑的神经网络模型与经验观察是一致的，经验观察表明在学习的神经网络模型中存在很多冗余。我们的实验表明，与神经网络学习的模型的准确性取决于扩展器的基本拓扑结构，如频谱间隙和代数连接，而不是密度的连接图的属性。
2017-06-18 cs.LG cs.NE stat.ML
GPU Acceleration of Sparse Neural Networks
University of Nevada Reno（内华达大学雷诺分校）
在本文中，我们使用图形处理单元（GPU）来加速稀疏和任意结构的神经网络。稀疏网络中的节点与前一层和后一层中的节点不完全连接，而任意结构的神经网络在每层中具有不同数量的节点。具有任意结构的稀疏神经网络通常在神经网络修剪和进化机器学习策略等过程中产生。我们表明，我们可以获得显着的加速完全激活这样的神经网络使用图形处理单元。我们做了一个预处理步骤来确定网络中所有节点的依赖组，并使用该信息来指导神经网络中的激活进程。然后，我们在GPU中计算每个节点在其自己的单独线程中的激活，这允许大规模并行化。我们使用CUDA框架来实现我们的方法，并比较顺序和GPU实现的结果。我们的研究结果表明，稀疏神经网络的激活非常适合GPU加速，可以帮助加速机器学习策略，这些策略可以生成此类网络或具有类似结构的其他过程。
2020-05-09 cs.DC cs.LG cs.NE
Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science
Eindhoven University of Technology（埃因霍温理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Derby（德比大学）
通过深度学习在各个领域的成功，人工神经网络目前是最常用的人工智能方法之一。从生物神经网络的网络特性（例如稀疏性、无标度性）中获得灵感，我们认为（与一般实践相反）人工神经网络也不应该具有完全连接的层。在这里，我们提出了人工神经网络的稀疏进化训练，在学习过程中，将两个连续神经元层的初始稀疏拓扑（Erdens-Rényi随机图）进化为无标度拓扑的算法。我们的方法取代人工神经网络全连接层与稀疏的训练前，减少了二次参数的数量，而不降低精度。我们在15个数据集上证明了我们对限制玻尔兹曼机，多层感知器和卷积神经网络的无监督和监督学习的要求。我们的方法有可能使人工神经网络的规模超过目前的可能。
2018-06-20 cs.AI cs.LG cs.NE
SparseProp: Efficient Sparse Backpropagation for Faster Training of Neural Networks
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；Neural Magic, Inc.（Neural Magic公司）
我们提供了一个新的有效版本的反向传播算法，专门用于正在训练的神经网络的权重是稀疏的情况。我们的算法是通用的，因为它适用于任意（非结构化）稀疏和常见的层类型（例如，卷积的或线性的）。我们在商用CPU上提供了一个快速的矢量化实现，并表明它可以在端到端的运行时实验中产生加速，无论是在使用已经稀疏化的网络的迁移学习中，还是在从头开始训练稀疏网络中。因此，我们的研究结果为商品硬件上的稀疏训练提供了第一个支持。
2023-02-09 cs.LG
Vision-based route following by an embodied insect-inspired sparse neural network
University of Edinburgh（爱丁堡大学）
本文在具身导航任务中对比了受昆虫启发的稀疏神经网络FlyHash与非稀疏模型的效率，发现FlyHash在数据编码方面表现更优。
2023-03-31 cs.LG cs.NE cs.RO
Feature Selection Based on Sparse Neural Network Layer with Normalizing Constraints
Technical University of Košice（科希策技术大学）
特征选择是机器学习中的一个重要步骤，因为它可以提高预测精度，同时降低高维数据的维数灾难。神经网络在解决许多非线性学习问题方面取得了巨大的成功。在这里，我们提出了新的基于神经网络的特征选择方法，该方法引入了两个约束，满足这两个约束会导致稀疏FS层。我们已经进行了广泛的实验，合成和真实世界的数据，以评估性能的建议FS。在实验中，我们专注于高维，低样本量的数据，因为这些代表了特征选择的主要挑战。实验结果表明，提出的基于规范化约束稀疏神经网络层的特征选择方法（SNEL-FS）能够有效地选择重要特征，并且与其他传统的FS方法相比具有更好的性能。
2021-07-12 cs.CV cs.LG cs.NE
An Automated Scanning Transmission Electron Microscope Guided by Sparse Data Analytics
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Washington State University – Tri-Cities（华盛顿州立大学三城分校）
人工智能（AI）有望重塑科学探究，并在储能、量子计算和生物医学等领域实现突破性发现。扫描透射电子显微镜（STEM）是化学和材料系统研究的基石，将从人工智能驱动的自动化中受益匪浅。然而，目前低水平仪器控制以及可概括和可解释的特征检测存在障碍，使得真正的自动化显微镜变得不切实际。在这里，我们讨论了由新兴的稀疏数据分析指导的闭环仪器控制平台的设计。我们演示了如何通过机器学习结合有限的$a$ $priori$知识和基于任务的歧视来通知集中式控制器，可以驱动飞行实验决策。该平台开启了对各种材料特征的实用、自动化分析，从而实现了新的高通量和统计研究。
2021-09-30 cond-mat.mtrl-sci cs.LG
A theory of capacity and sparse neural encoding
University of California, Irvine（加州大学欧文分校）
出于生物学的考虑，我们研究了从输入层到具有稀疏活动的目标层的稀疏神经映射，特别是当目标向量$y$稀疏时，存储$K$输入-目标关联$(x,y)$或记忆的问题。我们在数学上证明，$K$经历了一个相变，在一般情况下，有点矛盾，稀疏的目标层增加了存储容量的地图。目标向量可以任意选择，包括以随机方式，并且存储器可以由使用本地学习规则（包括简单的Hebb规则）训练的网络进行编码和解码。这些结果在对数据的各种统计假设下是稳健的。证明依赖于随机多面体和亚高斯随机向量变量的优雅属性。开放的问题和连接容量理论和多项式阈值地图进行了讨论。
2021-02-19 cs.LG cs.NE stat.ML
Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
特征选择从数据中选择信息丰富的变量子集，不仅增强了模型的可解释性和性能，而且减少了资源需求。近年来，利用神经网络进行特征选择受到越来越多的关注。然而，现有的方法通常遭受高的计算成本时，应用于高维数据集。在本文中，进化过程的启发，我们提出了一种新的资源有效的监督特征选择方法，使用稀疏神经网络，命名为\enquote{NeuroFS}。通过从从头开始训练的稀疏神经网络的输入层逐渐修剪无信息特征，NeuroFS有效地导出特征的信息子集。通过对不同类型的$11$低维和高维真实世界基准进行几次实验，我们证明了NeuroFS在所考虑的最先进的监督特征选择模型中获得了最高的基于排名的分数。代码可以在GitHub上找到。
2023-03-14 cs.AI cs.LG cs.NE
Sparseout: Controlling Sparsity in Deep Networks
University of Saskatchewan（萨斯喀彻温大学）
Dropout通常用于帮助减少深度神经网络中的过拟合。稀疏性是神经网络的一个潜在的重要属性，但并不被基于丢弃的正则化显式控制。在这项工作中，我们提出了Sparseout一个简单而有效的变体Dropout，可用于控制神经网络中激活的稀疏性。我们从理论上证明了Sparseout等价于广义线性模型特征的$L_q$惩罚，而Dropout是Sparseout在神经网络中的一个特例.我们的经验表明，Sparseout是计算成本低，能够控制所需的稀疏激活水平。我们在图像分类和语言建模任务上评估了Sparseout，以了解稀疏性对这些任务的影响。我们发现，稀疏的激活是有利的语言建模性能，而图像分类受益于密集的激活。Sparseout提供了一种在最先进的深度学习模型中研究稀疏性的方法。Sparseout的源代码可以在\url{https://github.com/najeebkhan/sparseout}上找到。
2019-04-17 cs.LG cs.NE stat.ML
Provable Methods for Training Neural Networks with Sparse Connectivity
University of Southern California（南加州大学）
我们提供了新的保证方法来训练前馈神经网络与稀疏连接。我们利用以前开发的学习线性网络的技术，并表明它们也可以有效地用于学习非线性网络。我们对涉及输入的标签和得分函数的矩进行操作，并证明了它们的因子分解可证明在温和的条件下产生深度网络第一层的权重矩阵。在实践中，我们的方法的输出可以作为有效的初始化梯度下降。
2015-04-28 cs.LG cs.NE stat.ML
Topological Insights into Sparse Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Twente（特文特大学）；Scuola Superiore Sant’Anna（圣安娜高等研究院）
稀疏神经网络是减少部署深度神经网络的资源需求的有效方法。最近，出现了自适应稀疏连接的概念，允许通过在训练期间优化稀疏结构来从头开始训练稀疏神经网络。然而，比较不同的稀疏拓扑结构，并确定稀疏拓扑结构如何在训练过程中演变，特别是对于涉及稀疏结构优化的情况，仍然是具有挑战性的开放问题。这种比较变得越来越复杂，因为可能的拓扑比较的数量随着网络的规模呈指数级增加。在这项工作中，我们介绍了一种方法来理解和比较稀疏神经网络拓扑结构的图论的角度。我们首先提出神经网络稀疏拓扑距离（NNSTD）来度量不同稀疏神经网络之间的距离。此外，我们证明了稀疏神经网络可以在性能方面优于过参数化模型，即使没有任何进一步的结构优化。最后，我们还表明，自适应稀疏连接总是可以揭示大量的稀疏子网络与非常不同的拓扑结构优于密集模型，通过量化和比较他们的拓扑进化过程。后一项发现补充了彩票假说，表明有一种更有效和更强大的方法来找到“中奖彩票”。总之，我们的研究结果开始使稀疏神经网络更好的理论理解，并证明了使用图论来分析它们的实用性。
2020-07-04 cs.LG stat.ML
Computation on Sparse Neural Networks: an Inspiration for Future Hardware
Alibaba DAMO Academy（阿里巴巴达摩院）
神经网络模型被广泛应用于解决计算机视觉、个性化推荐、自然语言处理等具有挑战性的问题。这些模型的计算量非常大，达到了现有服务器和物联网设备的硬件极限。因此，找到更好的模型架构，具有更少的计算量，同时最大限度地保持精度是一个热门的研究课题。在各种旨在降低计算复杂度的机制中，识别模型权重和激活中的零值以避免计算它们是一个有前途的方向。本文从稀疏算法、软件框架和硬件加速等方面综述了稀疏神经网络计算的研究现状。我们观察到，搜索稀疏结构可以是高质量的模型探索的一般方法，除了高效率的模型执行的策略。讨论了权参数个数和模型结构对模型精度的影响。相应的模型被称为分别位于权重主导和结构主导区域。我们表明，对于实际复杂的问题，它是更有益的搜索大和稀疏的模型中的重量占主导地位的地区。为了实现这一目标，需要新的方法来搜索适当的稀疏结构，并且需要开发新的稀疏训练硬件以促进稀疏模型的快速迭代。
2020-04-24 cs.LG cs.NE stat.ML
Norm-based Generalization Bounds for Compositionally Sparse Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）；Tel-Aviv University（特拉维夫大学）
在本文中，我们研究了深度稀疏神经网络的Rademacher复杂性，其中每个神经元接收少量的输入。我们证明了多层稀疏ReLU神经网络的泛化界，包括卷积神经网络。这些边界与以前的边界不同，因为它们考虑卷积滤波器的范数而不是相关Toeplitz矩阵的范数，与神经元之间的权重共享无关。正如我们在理论上表明，这些界限可能是数量级优于标准的规范为基础的泛化界限和经验，他们几乎是在各种简单的分类问题的泛化估计非空洞。总之，这些结果表明，底层目标函数的组成稀疏性对深度神经网络的成功至关重要。
2023-01-28 cs.LG
SparseDNN: Fast Sparse Deep Learning Inference on CPUs
Stanford University（斯坦福大学）
在过去的几年里，算法和系统在支持有效的深度学习推理方面取得了巨大的飞跃。修剪和量化算法现在可以一致地将神经网络压缩一个数量级。对于压缩的神经网络，已经设计了大量的推理框架来最大化目标硬件的性能。虽然我们在OpenVINO和MNN等生产框架中找到了对量化神经网络的成熟支持，但仍然缺乏对修剪稀疏神经网络的支持。为了应对这一挑战，我们提出了SparseDNN，这是一个针对CPU的稀疏深度学习推理引擎。我们提出了一个稀疏代码生成器的内核级优化，以加速稀疏运算符和新的网络级优化迎合稀疏网络。我们表明，我们的稀疏代码生成器可以实现显着的速度比国家的最先进的稀疏和密集的图书馆。在Huggingface pruneBERT等端到端基准测试中，SparseDNN使用最先进的OpenVINO实现了高达5倍的吞吐量提升。开放源代码库：https://github.com/marsupialtail/sparsednn。
2021-07-21 cs.LG
Training Sparse Neural Networks
Indian Institute of Science（印度科学院）
具有大量参数的深度神经网络通常用于大规模计算机视觉任务，例如图像分类。这是使用密集矩阵乘法和卷积的结果。然而，已知稀疏计算效率更高。在这项工作中，我们训练和建立神经网络，隐含地使用稀疏计算。我们引入额外的门变量进行参数选择，并表明，这是相当于使用一个尖峰和平板前。我们在小型和大型网络上实验验证了我们的方法，并在稀疏神经网络模型上实现了最先进的压缩结果。
2016-11-21 cs.CV cs.LG
LOss-Based SensiTivity rEgulaRization: towards deep sparse neural networks
University of Torino（都灵大学）
LOBSTER（LOss-Based Sensitivity rEGulaRization）是一种用于训练具有稀疏拓扑的神经网络的方法。设网络参数的灵敏度是损失函数相对于参数变化的变化。具有低灵敏度的参数，即当扰动时对损耗影响很小，被收缩，然后修剪以稀疏网络。我们的方法允许从零开始训练网络，即没有初步学习或倒带。在多个架构和数据集上的实验显示了具有竞争力的压缩比和最小的计算开销。
2020-11-16 cs.LG
Low-Rank+Sparse Tensor Compression for Neural Networks
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Facebook Inc.（Facebook公司）
低秩张量压缩已被提出作为一种有前途的方法，以减少神经网络部署在边缘设备上的内存和计算需求。张量压缩通过假设网络权重具有粗略的高阶结构来减少表示神经网络权重所需的参数的数量。这种粗结构假设已经被应用于压缩大型神经网络，如VGG和ResNet。然而，用于计算机视觉任务的现代最先进的神经网络（即MobileNet，EfficientNet）已经通过深度可分离卷积假设了粗糙的因子分解结构，使得纯张量分解成为一种不太有吸引力的方法。我们建议将低秩张量分解与稀疏修剪相结合，以便利用粗结构和细结构进行压缩。我们在SOTA架构（MobileNetv3，EfficientNet，视觉Transformer）中压缩权重，并将这种方法与稀疏修剪和张量分解进行比较。
2021-11-02 cs.LG
Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization
Faculty of Mathematics, Physics and Informatics, Comenius University（数学、物理与信息学系，科门纽斯大学）；Powerful Medical（强力医疗）；GrizzlyTech（灰熊科技）
本文提出双重稀疏分解（DSF），将权重矩阵分解为两个稀疏矩阵，并基于ADMM交替最小化实现高效求解，在LLaMA2-13B等模型上实现50%稀疏化且性能优于稠密小模型，超越现有逐层剪枝方法。
2025-06-04 cs.LG
Quantized Sparse Weight Decomposition for Neural Network Compression
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）
本文介绍了一种新的神经网络权值压缩方法。在我们的方法中，我们将权重张量存储为稀疏的量化矩阵因子，其乘积在推理过程中动态计算以生成目标模型的权重。我们使用投影梯度下降方法来找到量化和稀疏分解的权重张量。我们表明，这种方法可以被看作是一个统一的权重SVD，矢量量化，稀疏PCA。结合端到端的微调，我们的方法在准确性和模型大小之间的权衡方面超过或等同于以前的最先进的方法。我们的方法是适用于温和的压缩制度，不像矢量量化，和极端的压缩制度。
2022-07-22 cs.LG
Explore the Knowledge contained in Network Weights to Obtain Sparse Neural Networks
稀疏神经网络对于获得更好的泛化能力和提高计算效率具有重要意义。提出了一种新的学习方法来自动获得神经网络（NN）中稀疏的全连接层。为了优化任务神经网络（TNN）的结构，设计了一个切换神经网络（SNN）。SNN以TNN的权值作为输入，其输出用于切换TNN的连接。通过这种方式，可以探索TNN权重中包含的知识，从而确定每个连接的重要性和TNN的结构。SNN和TNN交替学习随机梯度下降（SGD）优化，瞄准一个共同的目标。通过学习，我们同时获得了TNN的最优结构和最优参数。为了评估所提出的方法，我们进行各种网络结构和数据集上的图像分类实验。网络结构包括LeNet，ResNet18，ResNet34，VggNet16和MobileNet。数据集包括MNIST、CIFAR10和CIFAR100。实验结果表明，我们的方法可以稳定地导致稀疏和性能良好的全连接层的神经网络。
2021-04-27 cs.LG
Hierarchical Block Sparse Neural Networks
Center for Security Theory and Algorithmic Research（安全理论与算法研究中心）；International Institute of Information Technology - Hyderabad（海得拉巴国际信息技术研究所）；Facebook（脸书）；Parallel Computing Lab（并行计算实验室）；Intel Labs（英特尔实验室）
与密集的深度神经网络（DNN）相比，稀疏的深度DNN在存储器和计算方面都是高效的。但由于稀疏DNN计算的不规则性，它们的效率远低于常规并行硬件（如TPU）上的密集DNN。这种低效率导致稀疏DNN的性能效益差/没有性能效益。稀疏DNN的性能问题可以通过将结构引入稀疏性并利用它来提高运行时效率来缓解。但这样的结构约束往往导致次优精度。在这项工作中，我们使用我们提出的称为分层块稀疏神经网络（Hierarchical Block Sparse Neural Networks，HNN）的稀疏神经网络来共同解决稀疏DNN的准确性和性能。对于给定的稀疏性，RNN模型比非结构化稀疏模型具有更好的运行时性能，比高度结构化的稀疏模型具有更好的准确性。
2018-12-28 cs.AI cs.LG stat.ML
High-Order Tensor Regression in Sparse Convolutional Neural Networks
本文提出一种面向卷积的通用高阶张量方法，构建稀疏卷积神经网络的理性回归理论框架，并据此重新定义以最简单通用形式呈现的反向传播算法。
2025-08-28 cs.LG
Fast Training of Sparse Graph Neural Networks on Dense Hardware
University of Cambridge（剑桥大学）；MPI Tübingen（马克斯·普朗克研究所图宾根分所）；Google Research, Brain Team（谷歌研究大脑团队）；DeepMind（深度思维）
图神经网络由于其自然编码关系输入数据的能力以及通过对图邻接矩阵的稀疏表示进行操作而扩展到大型图的能力，近年来变得越来越流行。当我们希望使用自定义硬件扩展这些模型时，一个自然的假设是我们需要针对稀疏操作和/或动态控制流定制的硬件。在这项工作中，我们通过使用针对固定大小数据的密集计算的平台来扩展稀疏图神经网络来质疑这一假设。从稀疏矩阵上的数值算法优化中汲取灵感，我们开发了一些技术，可以使用512核TPUv 2 Pod在13分钟内训练Allamanis等人[2018]的稀疏图神经网络模型，而原始训练几乎需要一天。
2019-06-27 cs.LG stat.ML
Renormalized Sparse Neural Network Pruning
Pacific Northwest National Lab（太平洋西北国家实验室）；University of Maryland at College Park（马里兰大学帕克分校）
大型神经网络是严重过度参数化的。这样做是因为它提高了训练的最优性。然而，一旦网络被训练，这意味着许多参数可以被归零或修剪，留下一个等效的稀疏神经网络。我们提出重新规范化稀疏神经网络，以提高精度。我们证明了当网络参数聚类或集中时，我们的方法的误差收敛到零。我们证明了，没有重整化，误差一般不收敛到零。我们在真实世界的数据集MNIST，Fashion MNIST和CIFAR-10上实验了我们的方法，并证实了重正化与标准修剪相比在准确性上有很大的提高。
2022-07-08 cs.LG stat.ML
Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks
Department of Mathematics, Ludwig-Maximilians-Universität München（慕尼黑莱布尼茨-马克斯大学数学系）；Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；Department of Mathematics, The University of Sydney（悉尼大学数学系）
本文通过分析卷积神经网络的深度稀疏编码模型，探讨了其收敛性及在稀疏特征学习中的应用。
2025-12-04 cs.DS cs.IT cs.LG
Neural Network Topologies for Sparse Training
MIT Department of Mathematics（麻省理工学院数学系）；MIT Lincoln Laboratory Supercomputing Center（麻省理工学院林肯实验室超级计算中心）
深度神经网络（DNN）的规模正在迅速增长，超过了硬件存储和训练它们的能力。过去几十年的研究已经探索了在训练之前、期间和之后通过从底层拓扑中修剪边缘来稀疏化DNN的前景。得到的神经网络被称为稀疏神经网络。最近的工作已经证明了某些稀疏DNN可以以较低的运行时间和存储成本训练到与密集DNN相同的精度的显著结果。这些稀疏DNN中的一个有趣的类别是X-Net，它们在稀疏拓扑上进行初始化和训练，既不参考父密集DNN，也不进行后续修剪。我们提出了一种算法，该算法确定性地生成稀疏DNN拓扑，作为一个整体，比X-Net拓扑更加多样化，同时保留X-Nets所需的特性。
2018-09-14 cs.LG stat.ML
RadiX-Net: Structured Sparse Matrices for Deep Neural Networks
MIT（麻省理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络（DNN）的规模正在迅速增长，超过了硬件存储和训练它们的能力。过去几十年的研究已经探索了在训练之前、期间和之后通过从底层拓扑中修剪边缘来稀疏化DNN的前景。得到的神经网络被称为稀疏神经网络。最近的工作已经证明了某些稀疏DNN可以以较低的运行时间和存储成本训练到与密集DNN相同的精度的显著结果。这些稀疏DNN中的一个有趣的类别是X-Net，它们在稀疏拓扑上进行初始化和训练，既不参考父密集DNN，也不进行后续修剪。我们提出了一种确定性地生成RadiX-Nets的算法：稀疏DNN拓扑结构，作为一个整体，比X-Net拓扑结构更加多样化，同时保留了X-Nets所需的特性。我们进一步提出了一个基于长期观察的功能分析猜想，即稀疏神经网络拓扑结构可以获得与密集拓扑结构相同的表达能力
2019-04-30 cs.LG stat.ML
Towards Neural Sparse Linear Solvers
ZURU Tech（ZURU科技）
由于有限元法的广泛应用，大型稀疏对称线性方程组出现在科学和工程的许多分支中。最快的稀疏线性求解器实现混合迭代法。这些方法基于启发式算法来排列行和列或找到预处理矩阵。此外，它们本质上是顺序的，这使得它们无法完全利用GPU的处理能力。我们提出了神经稀疏线性求解器，这是一个深度学习框架，用于学习稀疏对称线性系统的近似求解器。我们的方法依赖于将稀疏对称线性系统表示为无向加权图。这样的图表示是固有的置换等变和尺度不变的，它可以成为一个图神经网络训练回归的解决方案的输入。我们在结构工程的静态线性分析问题上测试神经稀疏线性求解器。我们的方法是不准确的，比经典的算法，但它是硬件无关的，快速的GPU上，并适用于通用稀疏对称系统，没有任何额外的假设。虽然仍然存在许多限制，这项研究表明了一种通用的方法来解决问题，涉及稀疏对称矩阵使用图神经网络。
2022-03-14 cs.LG cs.NA math.NA
GraphChallenge.org Sparse Deep Neural Network Performance
MIT Lincoln Laboratory Supercomputing Center（麻省理工学院林肯实验室超级计算中心）；MIT Computer Science & AI Laboratory（麻省理工学院计算机科学与人工智能实验室）；MIT Mathematics Department（麻省理工学院数学系）；MIT Dept. of Earth, Atmospheric, & Planetary Sciences（麻省理工学院地球、大气与行星科学系）
MIT/IEEE/Amazon GraphChallenge.org鼓励社区开发新的解决方案来分析图形和稀疏数据。稀疏AI分析带来了独特的可扩展性困难。稀疏深度神经网络（DNN）挑战赛借鉴了机器学习、高性能计算和视觉分析等方面的挑战，创造了一个反映新兴稀疏人工智能系统的挑战。稀疏DNN挑战基于数学上定义良好的DNN推理计算，可以在任何编程环境中实现。在2019年，我们收到了来自广泛作者和组织的几个稀疏DNN挑战提交。本文介绍了这些提交的最佳性能的性能分析。这些提交表明，他们最先进的稀疏DNN执行时间$T_{\rm DNN}$是执行的DNN操作数量$N_{\rm op}$的强函数。稀疏DNN挑战提供了当前稀疏DNN系统的清晰画面，并强调了在非常大的稀疏DNN上实现高性能的新创新的必要性。
2020-04-06 cs.CV cs.LG cs.NE
Graph Partitioning and Sparse Matrix Ordering using Reinforcement Learning and Graph Neural Networks
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
提出了一种基于强化学习和图卷积神经网络的图划分新方法。我们的方法是递归分区粗糙表示一个给定的图。神经网络使用SAGE图卷积层来实现，并使用优势演员评论家（A2C）代理来训练。我们提出了两个变体，一个用于找到最小化归一化切割或商切割的边缘分隔符，另一个用于找到小的顶点分隔符。顶点分隔符然后被用来构造一个嵌套的解剖排序置换稀疏矩阵，使其三角分解将招致更少的填充。分区质量进行了比较，使用METIS和SCOTCH获得的分区，并在稀疏求解器SuperLU的嵌套解剖排序进行评估。我们的研究结果表明，该方法实现了类似的分割质量METIS和SCOTCH。此外，该方法可以推广到不同类别的图，并且可以很好地处理SuiteSparse稀疏矩阵集合中的各种图。
2021-06-28 cs.LG
Neural Symbollic Regression Using Deep Learning and Sparse Modelling
Indian Institute of Space Science and Technology（印度空间科学与技术学院）
本研究提出一种神经符号回归框架，将神经网络作为符号发现的预处理器，结合LASSO与分布式超参数优化，在Nguyen基准上的实验显示其性能优于SINDy及未调参神经基线，为科学机器学习提供了可扩展的神经符号方法。
2026-09-09 cs.AI cs.LG cs.NE
How far away are truly hyperparameter-free learning algorithms?
Google DeepMind（谷歌DeepMind）
本文评估了无学习率方法作为无超参数方法组件的潜力，通过 AlgoPerf 基准测试发现，尽管经过校准后性能显著提升，但仍略逊于 NadamW 基线，表明该领域仍有较大改进空间。
2025-05-29 cs.LG
The Search for Sparse, Robust Neural Networks
Tsinghua University（清华大学）
最近关于深度神经网络修剪的研究表明，与密集网络相比，稀疏子网络使用更少的网络参数实现了相同或更高的准确性，训练时间和损失。与修剪文献正交，已知深度神经网络易受对抗性示例的影响，这可能在安全或安全关键型应用中构成风险。直觉表明，稀疏性和鲁棒性之间存在固有的权衡，使得这些特征不能共存。我们进行了广泛的实证评估和分析，测试彩票假设与对抗训练，并表明这种方法使我们能够找到稀疏，强大的神经网络。复制实验的代码可以在这里获得：https://github.com/justincosentino/robust-sparse-networks。
2019-12-05 cs.LG stat.ML
Training Behavior of Sparse Neural Network Topologies
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络性能的提高通常是通过设计更大、更复杂的网络来实现的。因此，快速内存是我们提高网络性能能力的一个重要限制因素。克服这一限制的一种方法是设计稀疏神经网络，它可以非常大，并且可以有效地训练。在本文中，我们实验训练稀疏神经网络拓扑结构。我们测试修剪为基础的拓扑结构，这是来自一个最初密集的网络，其连接被修剪，以及Radix网，一类网络拓扑结构与证明的连通性和稀疏性。结果表明，稀疏网络的精度与密集网络相当，但极端的稀疏程度会导致训练不稳定，值得进一步研究。
2019-12-23 cs.LG stat.ML
Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression
School of Information Science and Technology, Northwest University（西北大学信息科学与技术学院）；School of Mathematics, Northwest University（西北大学数学学院）
针对高维稀疏回归中深度神经网络参数估计的不可识别性问题，提出对输入偏导数进行非参数估计，证明模型收敛性并建立偏导数估计的收敛速率，首次结合非参数估计与稀疏深度神经网络，为非线性变量选择和可解释性提供理论支撑。
2024-06-26 cs.LG stat.ML
Improving Neural Network with Uniform Sparse Connectivity
University of North Carolina (UNC) at Charlotte（北卡罗来纳大学夏洛特分校）；North Carolina Research Campus（北卡罗来纳研究园区）
神经网络是深度学习和众多人工智能应用的基础。经典的神经网络是完全连接的，训练昂贵，容易过拟合。稀疏网络往往具有复杂的结构搜索，次优性能和有限的使用。我们提出了一种新的均匀稀疏网络（USN）的均匀和稀疏连接的每一层。USN具有一个显著的特性，即其性能不依赖于大量的拓扑变化和巨大的模型空间，从而为神经网络的上述问题提供了一个免搜索的解决方案。USN在预测精度、速度和鲁棒性方面始终大幅优于最先进的稀疏网络模型。它甚至比全连接网络的预测精度更高，只有0.55%的参数和1/4的计算时间和资源。重要的是，USN在概念上很简单，是全连接网络的自然推广，在准确性、鲁棒性和可扩展性方面有多个改进。USN可以在一系列应用程序、数据类型和深度学习架构中取代后者。我们在https://github.com/datapplab/sparsenet上开放了USN的源代码。
2020-12-01 cs.LG stat.ML
Sparsely constrained neural networks for model discovery of PDEs
Leiden University（莱顿大学）
稀疏回归的候选功能库已发展为主要的方法来发现偏微分方程的时空数据集。这些特征包括高阶导数，将模型发现限制在具有低噪声的密集采样数据集。基于神经网络的方法通过构建数据的代理模型来规避这一限制，但迄今为止忽略了稀疏回归算法的进步。在本文中，我们提出了一个模块化框架，该框架使用任何稀疏回归技术动态确定基于深度学习的代理的稀疏模式。使用我们的新方法，我们引入了一个新的约束条件的神经网络，并显示了不同的网络架构和稀疏估计提高模型发现的准确性和收敛的几个基准的例子。我们的框架可以在\url{https://github.com/PhIMaL/DeePyMoD}上找到
2021-05-04 cs.LG physics.comp-ph
