Sparsity in Continuous-Depth Neural Networks
Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）；J.P. Morgan Chase & Co.（摩根大通公司）；Helmholtz AI（亥姆霍兹人工智能）
神经常微分方程（NODE）在学习动力系统方面已经被证明是成功的，可以准确地恢复观察到的轨迹。虽然已经提出了不同类型的稀疏性来提高鲁棒性，但对于观测数据之外的动力系统的NODE的泛化特性还没有充分研究。我们系统地研究了权重和特征稀疏性对预测以及识别潜在动力学规律的影响。除了评估现有的方法，我们还提出了一种正则化技术来稀疏“输入输出连接”并在训练过程中提取相关特征。此外，我们策划了由人体运动捕捉和人类造血单细胞RNA-seq数据组成的真实世界数据集，以分别在预测和动态识别中真实地分析不同水平的分布外（OOD）泛化。我们对这些具有挑战性的基准进行了广泛的实证评估，结果表明，在存在噪声或不规则采样的情况下，权重稀疏可以提高泛化能力。然而，它并不能防止学习假特征依赖性推断的动态，使他们不切实际的干预下的预测，或推断真正的基础动态。相反，与未正则化的NODE相比，特征稀疏性确实有助于恢复稀疏的地面实况动态。
2022-10-26 cs.LG
Train Less, Infer Faster: Efficient Model Finetuning and Compression via Structured Sparsity
Bar Ilan University（巴伊兰大学）；Tel Aviv University（特拉维夫大学）
通过结构稀疏性实现高效模型微调与压缩，减少计算和内存需求，提升推理速度。
2026-02-09 cs.LG
Sparsity-based Defense against Adversarial Attacks on Linear Classifiers
University of California, Santa Barbara（加州大学圣巴巴拉分校）
深度神经网络代表了越来越多领域的机器学习的最新技术水平，包括视觉、语音和自然语言处理。然而，最近的工作提出了关于这种架构的鲁棒性的重要问题，通过表明有可能通过微小的，几乎察觉不到的扰动引起分类错误。这种“对抗性攻击”或“对抗性示例”的脆弱性已被证实是由于深度网络的过度线性。在本文中，我们研究了这种现象的设置中的线性分类器，并表明，它是可能的，利用自然数据中的稀疏性，以打击$\ell_{\infty}$有界对抗扰动。具体来说，我们证明了一个稀疏化前端通过合奏平均分析，MNIST手写数字数据库的实验结果的有效性。据我们所知，这是第一个表明稀疏性为防御对抗性攻击提供了理论上严格的框架的工作。
2018-06-19 cs.IT cs.LG math.IT
How Does BN Increase Collapsed Neural Network Filters?
SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）
提高深度神经网络（DNN）的稀疏性对于网络压缩至关重要，并引起了广泛关注。在这项工作中，我们公开了一种称为过滤器崩溃的有害稀疏化过程，这在具有批量归一化（BN）和整流线性激活函数（例如ReLU，Leaky ReLU）的DNN中很常见。即使没有显式的稀疏诱导正则化，如$L_1$，它也会发生。这种现象是由BN的归一化效应引起的，它在参数空间中引入了不可训练区域，从而降低了网络容量。当网络用大的学习率（LR）或自适应LR训练器训练时，以及当网络被微调时，这种现象变得更加突出。我们分析证明，BN的参数趋于成为稀疏SGD更新与高梯度噪声和稀疏化的概率是成正比的平方学习率和成反比的尺度参数的平方BN。为了防止不期望的崩溃滤波器，我们提出了一种简单而有效的方法，称为后移位BN（psBN），它具有与BN相同的表示能力，同时能够自动使BN参数在训练期间饱和时再次可训练。使用psBN，我们可以恢复崩溃的过滤器并提高各种任务的模型性能，例如CIFAR-10上的分类和MS-COCO 2017上的目标检测。
2020-01-31 cs.LG stat.ML
Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference
Birla Institute of Technology and Science, Pilani – Goa Campus（果阿校区，皮拉尼贝拉理工学院）；TUD Dresden University of Technology（德累斯顿工业大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本研究提出将活动稀疏性与参数稀疏性相结合应用于GRU模型，在Penn Treebank语言建模任务中实现20倍计算量减少且困惑度低于60，为深度学习模型移植到神经形态设备提供可行策略并推动相关方法融合。
2024-11-26 cs.LG
Deep Neural Network Initialization with Sparsity Inducing Activations
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文利用大宽度高斯过程极限分析稀疏诱导激活在随机初始化时的行为，证明移位ReLU和软阈值函数存在训练不稳定问题，并提出幅度裁剪方法加以克服，实验表明在稀疏度高达85%时仍能保持接近完整的准确率。
2024-02-25 cs.LG
Sparse encoding for more-interpretable feature-selecting representations in probabilistic matrix factorization
National Institutes of Health（美国国立卫生研究院）；Clinical Center（临床中心）；NIDDK（糖尿病、消化系统疾病和肾脏疾病研究所）；mederrata
针对层级泊松矩阵分解缺乏编码器稀疏性、可解释性不足的问题，提出用广义加性模型自洽强制编码器稀疏性的方法，兼具特征选择能力，在模拟数据与医保患者共病场景验证了有效性。
2020-12-29 cs.LG q-bio.QM stat.ML
Optimal Sparse Linear Auto-Encoders and Sparse PCA
Yahoo Labs（雅虎实验室）
主成分分析（PCA）是数据的最佳线性自动编码器，通常用于构造特征。在主成分上实施稀疏性可以促进更好的泛化，同时提高特征的可解释性。我们研究了构造最优稀疏线性自编码器的问题。在这样的设置中，两个自然的问题是：i）给定稀疏性水平，可以实现的PCA的最佳近似是什么？ii）是否有低阶多项式时间算法，可以渐近实现稀疏性和近似质量之间的最佳权衡？在这项工作中，我们回答了这两个问题，给出了有效的低阶多项式时间算法构造渐近\emph{optimal}线性自动编码器（特别是，稀疏功能与近PCA重建误差），并证明了我们的算法在真实数据上的性能。
2015-02-23 cs.AI cs.IT cs.LG
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示，分析稀疏性对模型性能的影响，并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
Learning to Prune Deep Neural Networks via Reinforcement Learning
I2R, ASTAR Singapore（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
本文提出了PuRL -一种基于深度强化学习（RL）的神经网络剪枝算法。与当前基于RL的模型压缩方法不同，PuRL仅在每个情节结束时向代理提供反馈，PuRL在每个修剪步骤提供奖励。这使得PuRL能够实现与当前最先进方法相当的稀疏性和准确性，同时具有更短的训练周期。PuRL在ResNet-50模型上实现了超过80%的稀疏性，同时在ImageNet数据集上保持了75.37%的Top-1准确率。通过我们的实验，我们表明PuRL也能够稀疏已经高效的架构，如MobileNet-V2。除了性能表征实验之外，我们还提供了对各种RL设计选择的讨论和分析，这些设计选择用于调整PuRL底层的马尔可夫决策过程。最后，我们指出PuRL使用简单，可以很容易地适应各种架构。
2020-07-09 cs.AI cs.CV cs.LG
Learning Sparse Decision Trees via Transformer Variational Auto-Encoders
University of Pisa（比萨大学）；ISTI-CNR
该研究提出基于TTVAE的TREVIS方法，将决策树映射至潜在空间实现梯度优化，所获决策树兼具与近优算法相当的预测性能及更优结构稀疏性。
2026-09-02 cs.AI cs.LG
Unsupervised Abnormality Detection through Mixed Structure Regularization (MSR) in Deep Sparse Autoencoders
Philips Medical Systems Technologies Ltd.（飞利浦医疗系统科技有限公司）
除了显式稀疏正则化项和具有高斯噪声的输入数据的随机损坏之外，具有混合结构正则化（MSR）的深度稀疏自动编码器具有改进无监督异常检测的潜力。基于使用深度稀疏自动编码器识别离群值的无监督异常检测对于医学计算机辅助检测系统来说是非常有吸引力的方法，因为它只需要健康的数据进行训练，而不是专家注释的异常。在冠状动脉计算机断层扫描血管造影（CCTA）检测冠状动脉疾病的任务中，我们的研究结果表明，与深度稀疏和去噪自动编码器相比，MSR有可能将整体性能提高20-30%。
2019-02-28 cs.CV cs.LG
Sparse Centroid-Encoder: A Nonlinear Model for Feature Selection
Colorado State University（科罗拉多州立大学）
自编码器作为一种非线性降维工具被广泛应用。虽然自动编码器不利用标签信息，但质心编码器（CE）\cite{ghosh2022supervised}在其学习过程中使用类标签。在这项研究中，我们提出了一个稀疏优化使用质心编码器架构，以确定一个最小的功能，区分两个或两个以上的类。由此产生的算法，稀疏质心编码器（SCE），提取歧视性的功能组使用稀疏诱导$\ell_1$ -范数，同时映射一个点到它的类质心。SCE的一个关键属性是它可以从多模态数据集中提取信息特征，即，数据集的类似乎有多个集群。该算法被应用到各种各样的现实世界的数据集，包括单细胞数据，高维生物数据，图像数据，语音数据，和加速度计传感器数据。我们将我们的方法与各种最先进的特征选择技术进行了比较，包括监督式混凝土自动编码器（SCAE），特征选择网络（FsNet），深度特征选择（DFS），随机门（STG）和LassoNet。我们的经验表明，SCE特征在隔离测试集中通常比其他方法产生更好的分类准确性。
2022-06-28 cs.CV cs.LG
UniPruning: Unifying Local Metric and Global Feedback for Scalable Sparse LLMs
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
UniPruning通过结合局部显著性度量和全局协调，提供一种高效且可扩展的后训练剪枝方法，支持多种稀疏度格式并提升LLM性能。
2025-12-09 cs.AI cs.LG
Adaptive Feature Selection for End-to-End Speech Translation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所）；Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系）
语音信号中的信息不是均匀分布的，这使得端到端（E2 E）语音翻译（ST）学习关注信息特征成为额外的挑战。在本文中，我们提出了自适应特征选择（AFS）的编码器-解码器为基础的E2 E ST。我们首先预训练的ASR编码器和应用AFS动态估计每个编码的语音特征SR的重要性。ST编码器，堆叠在ASR编码器的顶部，然后从（冻结）ASR编码器接收过滤的功能。我们采用L0 DROP（Zhang等人，2020）作为AFS的骨干，并使其适应于相对于时间和特征维度来稀疏化语音特征。LibriSpeech En-Fr和MuST-C基准测试的结果表明，AFS通过修剪约84%的时间特征来促进ST的学习，产生约1.3-1.6 BLEU的平均翻译增益和约1.4倍的解码加速比。特别是，与级联基线相比，AFS减少了性能差距，并且在LibriSpeech En-Fr上的表现优于它，BLEU得分为18.56（没有数据增强）
2020-10-20 cs.CL cs.LG cs.SD
Unsupervised Feature Learning from Temporal Data
Facebook AI Research（脸书人工智能研究院）；Courant Institute of Mathematical Science（库朗数学科学研究所）
当前最先进的分类和检测算法依赖于监督训练。在这项工作中，我们研究了时间相干视频数据的背景下，无监督的特征学习。我们专注于未标记的视频数据的特征学习，使用相邻的视频帧包含语义相似的信息的假设。利用该假设来训练通过慢度和稀疏度正则化的卷积池化自动编码器。我们建立了一个连接之间的缓慢特征学习度量学习和训练的编码器可以用来定义一个更时间和语义一致的度量。
2015-04-15 cs.CV cs.LG
IFR-Net: Iterative Feature Refinement Network for Compressed Sensing MRI
Nanchang University（南昌大学）；Medical AI Research Center, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院医学人工智能研究中心）
为了改善压缩感知MRI（CS-MRI）方法在高加速因子下的精细结构损失，我们提出了一种迭代特征细化模型（IFR-CS），配备固定变换，以恢复有意义的结构和细节。然而，建议IFR-CS仍然有一些局限性，如超参数的选择，一个漫长的重建时间，和固定的稀疏化变换。为了缓解这些问题，我们展开迭代功能细化程序IFR-CS监督模型驱动的网络，称为IFR-Net。通过引入训练数据对，IFR-CS中的正则化参数和最大特征细化算子都变得可训练。此外，受卷积神经网络（CNN）强大的表示能力的启发，在稀疏促进去噪模块中探索了基于CNN的反转块，以推广稀疏实施算子。在模拟和活体MR数据集上的大量实验表明，该网络具有很强的捕获图像细节的能力，并能很好地保留结构信息，重建速度快。
2019-09-25 cs.LG eess.IV stat.ML
Mixture Model Auto-Encoders: Deep Clustering through Dictionary Learning
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
用于对高维数据进行聚类的最新方法利用深度自动编码器架构。由于自动编码器的黑盒性质，这些网络中的许多网络需要大量的参数，并且缺乏可解释性。我们介绍了混合模型自动编码器（MixMate），一种新的架构，通过对生成模型进行推理来聚类数据。从稀疏字典学习和混合模型的角度来看，MixMate包括几个自动编码器，每个编码器的任务是在不同的集群中重建数据，同时在潜在空间中实施稀疏性。通过对各种图像数据集的实验，我们表明，与最先进的深度聚类算法相比，MixMate实现了具有竞争力的性能，同时使用了数量级更少的参数。
2022-02-25 cs.LG eess.SP
A New Multiple Max-pooling Integration Module and Cross Multiscale Deconvolution Network Based on Image Semantic Segmentation
Xinjiang University（新疆大学）；Software College, Xinjiang University（新疆大学软件学院）；Network Center, Xinjiang University（新疆大学网络中心）
为了更好地保留图像的深度特征并解决端到端分割模型的稀疏性问题，我们提出了一种新的用于医学图像像素分割的深度卷积网络模型，称为MC-Net。该网络模型的核心由四个部分组成，即编码器网络、多个最大池集成模块、交叉多尺度反卷积解码器网络和像素级分类层。在编码器的网络结构中，我们使用多尺度卷积代替传统的单通道卷积。多个最大池化集成模块首先集成编码器网络的每个子模块的输出特征，并使用1的内核大小通过卷积来减少参数的数量。同时，每个最大池化层（每个层的池化大小不同）在每次卷积后进行拼接，以实现每个子模块的特征图的平移不变性。我们使用多个最大池集成模块的输出特征图作为解码器网络的输入;解码器网络中每个子模块的多尺度卷积与编码器网络中相应的多尺度卷积生成的特征图交叉融合。利用上述特征图处理方法，解决了最大池层生成矩阵后的稀疏性问题，增强了分类的鲁棒性。我们使用一个二进制Kaggle 2018数据科学碗数据集和两个多类数据集将我们提出的模型与著名的语义分割全卷积网络（FCN），DecovNet，PSPNet，U-net，SgeNet和其他最先进的分割网络（如HyperDenseNet，MS-Dual，Espnetv 2，Denseaspp）进行比较，并获得了令人鼓舞的实验结果。
2020-03-25 cs.CV cs.LG eess.IV
Adaptive Sparse Allocation with Mutual Choice & Feature Choice Sparse Autoencoders
MATS
针对TopK SAEs固定每token活跃特征数的局限，提出特征选择与互选SAEs，实现自适应稀疏分配，并引入aux_zipf_loss减少死特征，提升重建质量。
2024-11-07 cs.AI cs.LG
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中，我们提出了一个自然图像的生成模型，该模型由深层的潜在随机变量层组成，每个变量都遵循一种新的分布类型，我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏，同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数，我们用变分自动编码器近似隐变量的后验。然而，编码器参数化了一种新型的结构化变分近似，而不是进行通常的平均场假设，该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似，我们能够对具有多层潜在随机变量的深度模型进行联合训练，而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
Spiking Music: Audio Compression with Event Based Auto-encoders
EPFL（洛桑联邦理工学院）；Laboratory of Computational Neuroscience（计算神经科学实验室）
本文提出一种基于事件的自编码器音频压缩方法，利用深度二元自编码器在高稀疏度下生成尖峰表示，在MAESTRO数据集上实现与向量量化自编码器相当的压缩性能，并自发涌现出与钢琴键敲击同步的选择性编码。
2024-02-02 cs.LG cs.NE cs.SD
Sparse Linear Centroid-Encoder: A Convex Method for Feature Selection
Colorado State University（科罗拉多州立大学）
本研究提出一种用于特征选择的两步凸优化方法SLCE，通过线性变换结合ℓ₁范数惩罚筛选特征，单模型可处理多类数据，在多数据集尤其是高维生物数据上表现出优于部分前沿神经网络特征选择方法的性能。
2023-06-09 cs.LG
