A Unified Framework for Soft Threshold Pruning
Peking University（北京大学）；National Engineering Research Center of Visual Technology（视觉技术国家工程研究中心）；Peng Cheng Laboratory（鹏城实验室）
软阈值剪枝是一种性能先进的剪枝方法。然而，以前的方法要么执行漫无目的的搜索阈值调度器或简单地设置阈值可训练，缺乏从统一的角度理论解释。在这项工作中，我们重新制定软阈值修剪作为一个隐式的优化问题，使用迭代收缩保持算法（ISTA），稀疏恢复和压缩感知领域的经典方法解决。在此理论框架下，将以往软阈值修剪研究中提出的阈值调整策略归结为调整$L_1$-正则化项的不同风格。我们进一步推导出一个最佳的阈值调度器，通过深入研究阈值调度的基础上，我们的框架。该调度器保持$L_1$正则化系数稳定，从优化的角度来看，这意味着一个时不变的目标函数。原则上，导出的剪枝算法可以稀疏任何通过SGD训练的数学模型。我们进行了广泛的实验，并在ImageNet数据集上的人工神经网络（ResNet-50和MobileNet-V1）和脉冲神经网络（SEW ResNet-18）上验证了其最先进的性能。在此框架的基础上，我们得到了一个家庭的修剪方法，包括稀疏训练期间，早期修剪，修剪在初始化。该代码可在www.example.com上获得。
2023-02-25 cs.AI cs.CV cs.LG
Spatio-Temporal Pruning for Compressed Spiking Large Language Models
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）
针对脉冲大语言模型的高效部署问题，提出联合空间剪枝、时间剪枝、极端量化与知识蒸馏的压缩框架，并在 GLUE 上验证其可降低计算量与延迟。
2025-08-23 cs.ET cs.LG cs.NE
Toward Efficient Spiking Transformers: Synapse Pruning Meets Synergistic Learning-Based Compensation
University of Electronic Science and Technology of China（电子科技大学）；Clinical Hospital of Chengdu Brain Science Institute（成都脑科学医院）；MOE-K Lab for NeuroInformation（神经信息MOE-K实验室）；Int Institute of Brain-Apparatus Communication（脑机通讯国际研究所）；School of Life Science and Technology（生命科学与技术学院）
本文提出结合突触修剪与协同学习补偿策略，以构建高效且高性能的脉冲变换器模型。
2026-01-03 cs.LG q-bio.NC
Spatio-Temporal Pruning and Quantization for Low-latency Spiking Neural Networks
Purdue University（普渡大学）
脉冲神经网络（SNN）是传统深度学习方法的一种有前途的替代方法，因为它们执行事件驱动的信息处理。然而，SNN的一个主要缺点是高推理延迟。SNN的效率可以使用诸如修剪和量化的压缩方法来提高。值得注意的是，SNN与其非尖峰对应物不同，由时间维度组成，其压缩可以导致延迟减少。在本文中，我们提出了SNN的空间和时间修剪。首先，结构化的空间修剪是通过使用主成分分析的平均累积膜电位的神经元确定逐层的显着尺寸。该步骤导致10- 14 X模型压缩。此外，它还可以实现延迟较低的推理，并减少每次推理的尖峰计数。为了进一步减少延迟，通过在训练时逐渐减少时间步长来执行时间修剪。使用基于代理梯度下降的反向传播来训练网络，并使用VGG架构在CIFAR 10和CIFAR 100上验证结果。时空修剪的SNN在CIFAR 10和CIFAR 100上分别实现了89.04%和66.4%的准确度，同时与最先进的SNN相比，以3- 30倍的延迟进行推理。此外，与未经修剪的标准深度学习对应物相比，它们需要8- 14倍的计算能量。能量数是通过将操作的数量乘以每个操作的能量来获得的。这些SNN还提供了1-4%的高鲁棒性对高斯噪声损坏的输入。此外，我们进行权重量化，并发现性能保持合理的稳定高达5位量化。
2021-04-29 cs.LG eess.IV
Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks
Institute of Computing Technology, Chinese Academy of Science（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Zhongguancun Laboratory（中关村实验室）；Sensetime Research（商汤科技研究院）
本文受神经科学临界脑假说启发，提出基于特征信息熵的神经元临界性度量及剪枝-再生方法，在降低高达95.26%剪枝成本的同时超越现有SOTA性能。
2024-11-21 cs.AI cs.CV cs.LG
SPEAR: Structured Pruning for Spiking Neural Networks via Synaptic Operation Estimation and Reinforcement Learning
Beihang University（北京航空航天大学）；Intelligent Science & Technology Academy of CASIC（中国科学院CASIC智能科学与技术学院）；Nanjing University（南京大学）
本文提出SPEAR框架，利用强化学习直接以突触操作为约束进行脉冲神经网络结构化剪枝，并通过SynOps预测机制和新型奖励稳定搜索，实现资源受限硬件上的高效压缩。
2025-06-28 cs.AI cs.LG cs.NE
Activation-Energy Pruning for Spiking Neural Networks: Unsupervised Personalization via Spike-Count Saliency
Technion – Israel Institute of Technology（以色列理工学院）
本文研究激活能剪枝在脉冲神经网络中的应用，发现基于梯度的剪枝方法失效，而激活能剪枝在高稀疏度下提升性能，支持经验依赖性皮层特化。
2026-09-23 cs.LG cs.NE
Ensemble plasticity and network adaptability in SNNs
Auckland University of Technology（奥克兰理工大学）；Murdoch University（莫道克大学）
人工脉冲神经网络（ASNN）由于基于离散事件（即，spike）计算。一些机器学习（ML）应用程序使用生物启发的可塑性机制作为无监督学习技术，以提高ASNN的鲁棒性，同时保持效率。尖峰时间依赖塑性（STDP）和固有塑性（IP）（即，动态尖峰阈值自适应）是两种这样的机制，它们被组合以形成集成学习方法。然而，目前还不清楚这种集成学习应该如何基于尖峰活动进行调节。此外，以前的研究已经尝试了基于阈值的突触修剪后STDP，以提高推理效率在ASNN的性能为代价。然而，这种类型的结构自适应，采用单独的权重机制，不考虑尖峰活动修剪，这是一个更好的表示输入刺激。我们设想基于可塑性的尖峰调节和尖峰修剪将导致ASSN在低资源情况下表现更好。本文介绍了一种新的集成学习方法的基础上熵和网络激活，这是融合了尖峰速率神经元修剪技术，专门使用尖峰活动。两个脑电（EEG）数据集被用作分类实验的输入与三层前馈ASNN使用一遍学习训练。在学习过程中，我们观察到神经元组装成一个层次结构的集群的基础上尖峰率。研究发现，修剪较低尖峰速率的神经元簇会导致泛化能力的提高或可预测的性能下降。
2022-03-11 cs.AI cs.LG
PSViT: A Methodology for Structurally Pruning Spiking Vision Transformers
eBRAIN Lab, Division of Engineering, New York University (NYU) Abu Dhabi（eBRAIN实验室，工程系，纽约大学（NYU）阿布扎赫德分校）；New York University (NYU) Abu Dhabi, United Arab Emirates (UAE)（纽约大学（NYU）阿布扎赫德分校，阿拉伯联合酋长国（UAE））
提出PSViT方法，通过结构化剪枝（均匀通道滤波器和基于敏感性的细粒度剪枝）压缩脉冲视觉Transformer，在ImageNet-1K上实现22.4%内存节省且精度损失小于3%。
2026-06-02 cs.AI cs.LG cs.NE
Criticality-Constrained Iterative Pruning for Energy-Efficient Spiking Neural Networks via Combined Importance Scoring
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
提出CQP方法，融合权重幅度和代理梯度临界性形成精确重要性指标，通过迭代剪枝与梯度掩蔽消除伪影，实现高稀疏度下SNN的高精度和低能耗。
2026-07-01 cs.LG cs.NE
Efficient EEG Seizure Detection Using INT8 Quantization, Channel Pruning, and Spiking Neural Networks
Leiden Institute of Advanced Computer Science（莱顿先进计算机科学研究所）；Leiden University（莱顿大学）
研究针对可穿戴和植入设备检测癫痫的难题，以一维卷积神经网络为基线，采用参数转移、通道剪枝、INT8 量化三种策略，实现减少模型大小、降低能耗、加快速度，为癫痫检测提供互补效率方向。
2026-07-21 cs.AI cs.LG eess.SP
PrimeSVT: An Automated Memory-aware Pruning Framework with Prioritized Compression Policy for Spiking Vision Transformers
eBRAIN Lab, Division of Engineering, New York University (NYU) Abu Dhabi（eBRAIN实验室，工程系，纽约大学（NYU）阿布扎克分校）；New York University (NYU) Abu Dhabi, United Arab Emirates (UAE)（纽约大学（NYU）阿布扎克分校，阿拉伯联合酋长国（UAE））
提出PrimeSVT框架，通过自动化结构化剪枝和优先压缩策略，在满足精度和内存约束下压缩脉冲视觉Transformer，实现内存节省26.68%且精度损失小于3%。
2026-06-02 cs.AI cs.LG cs.NE
Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks
School of Engineering Mathematics and Technology, University of Bristol, England（工程数学与技术学院，布里斯托大学，英格兰）
本文提出Spiking Brain Compression（SBC）框架，通过一次性后训练压缩提升脉冲神经网络的效率，实现比传统ANN基线更高的准确率。
2026-01-28 cs.LG cs.NE
Pruning of Deep Spiking Neural Networks through Gradient Rewiring
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
脉冲神经网络（SNNs）由于其生物相容性和在神经形态芯片上的高能量效率而受到了广泛的重视。由于这些芯片通常是资源受限的，因此SNN的压缩在SNN的实际使用道路上至关重要。现有的大多数方法直接将人工神经网络（ANN）中的剪枝方法应用于SNN，忽略了ANN和SNN之间的差异，从而限制了剪枝后SNN的性能。此外，这些方法只适用于浅SNN。在本文中，受到神经系统中突触发生和突触消除的启发，我们提出了梯度重布线（Grad R），一种SNN连接和权重的联合学习算法，使我们能够无缝地优化网络结构而无需重新训练。我们的关键创新是将梯度重新定义为新的突触参数，通过充分利用连接修剪和再生之间的竞争，更好地探索网络结构。在MNIST和CIFAR-10数据集上的实验结果表明，该方法对SNN的性能损失最小。此外，它达到了$\sim$ 3.5%的准确性损失下前所未有的0.73%的连接，这表明显着的结构细化能力SNN。我们的工作表明，在深SNN中存在极高的冗余。我们的代码可在https://github.com/Yanqi-Chen/Gradient-Rewiring上获得。
2021-06-22 cs.AI cs.CV cs.LG
Layer-adaptive sparsity for the Magnitude-based Pruning
KAIST（韩国科学技术院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
神经网络修剪的最新发现表明，通过精心选择的逐层稀疏性，简单的基于幅度的修剪实现了稀疏性和性能之间的最先进的权衡。然而，由于没有对“如何选择”达成明确的共识，分层稀疏性大多是逐个算法选择的，通常采用手工算法或广泛的超参数搜索。为了填补这一空白，我们提出了一种新的重要性分数全局修剪，铸造层自适应幅度为基础的修剪（LAMP）分数，分数是一个重新缩放版本的权重幅度，结合模型级$\ell_2$失真所产生的修剪，并不需要任何超参数调整或繁重的计算。在各种图像分类设置下，LAMP始终优于流行的现有分层稀疏选择方案。此外，我们观察到，即使在权重重绕设置中，LAMP的性能也继续优于基线，而在这种情况下，面向连接性的逐层稀疏性（总体上最强的基线）的性能比简单的基于全局幅度的修剪更差。代码：https://github.com/jaeho-lee/layer-adaptive-sparsity
2021-05-09 cs.LG
Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data
University of Texas, Austin（得克萨斯大学奥斯汀分校）；Facebook Inc.（脸书公司）
大规模深度学习通过采用更广泛和更深入的模型来提高内容推荐系统的质量，但这在现代数据中心中带来了巨大的基础设施成本和碳足迹。剪枝是一种有效的技术，可以减少模型推理的内存和计算需求。然而，在线推荐系统的修剪是具有挑战性的，由于连续的数据分布偏移（又名非平稳数据）。虽然完整模型上的增量训练能够适应非平稳数据，但直接将其应用于修剪模型会导致准确性损失。这是因为修剪后的稀疏模式需要调整以学习新的模式。据我们所知，这是第一项深入分析和讨论将修剪应用于具有非平稳数据分布的在线推荐系统的工作。总体而言，本文的工作主要有以下几个方面的贡献：1）提出了一种自适应的密集到稀疏的模式，并结合一种新的剪枝算法，用于对具有非平稳数据分布的大规模推荐系统进行剪枝; 2）设计了自动学习层间稀疏度的剪枝算法，避免了重复手工调整，这对于修剪用非平稳数据训练的推荐系统的异构体系结构是至关重要的。
2020-10-21 cs.LG
Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness
Université Paris-Saclay（巴黎萨克雷大学）；University of Bristol（布里斯托尔大学）
针对传统神经网络剪枝易牺牲对抗鲁棒性的问题，提出量化层级对抗扰动敏感度的MRS指标及自适应剪枝算法MRPF，在多数据集和架构上实现了压缩率、准确率与鲁棒性的更优平衡。
2025-03-19 cs.LG
Theoretical Guarantees for One-Shot Magnitude Pruning and Compute-Adaptive Early Exit
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文从统一视角研究神经网络计算缩减，证明一次性幅度剪枝的集中定理，并引入条件感知器早退，其泛化误差随计算差距幂次衰减，扩展至深度网络并验证标度律。
2026-09-14 cs.LG
FLAMES: A Hybrid Spiking-State Space Model for Adaptive Memory Retention in Event-Based Learning
Georgia Institute of Technology（佐治亚理工学院）
本文提出混合框架FLAMES，通过SA-HiPPO机制根据脉冲间隔动态调整记忆保持，并利用NPLR分解降低计算复杂度，在多个基准上取得最优结果，实现了事件驱动系统中可扩展的长程推理。
2025-04-02 cs.LG
Adaptive Pruning of Pretrained Transformer via Differential Inclusions
School of Data Science, Fudan University（复旦大学数据科学学院）
提出基于微分包含的SPP剪枝方法，在单次剪枝阶段内实现任意比例的Transformer剪枝，通过低秩压缩配对模块，兼顾性能与灵活性。
2025-02-28 cs.LG
Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks
CWI（CWI研究所）；Stichting IMEC Netherlands, Holst Centre（荷兰IMEC基金会荷尔斯特中心）；Univ of Amsterdam（阿姆斯特丹大学）；Rijksuniversiteit Groningen（格罗宁根大学）
受生物神经元更详细建模的启发，脉冲神经网络（SNN）已经被研究为更生物学上合理的和潜在的更强大的神经计算模型，并且还具有提取生物神经元能量效率的目的;然而，与经典人工神经网络（ANN）相比，这种网络的性能仍然不足。在这里，我们展示了一种新的代理梯度与可调和自适应尖峰神经元的递归网络相结合，如何在时域中具有挑战性的基准上为SNN提供最先进的技术，如语音和手势识别。这也超过了标准经典循环神经网络（RNN）的性能，并接近最好的现代ANN。由于这些SNN表现出稀疏尖峰，我们表明，与具有可比性能的RNN相比，它们理论上的计算效率高出一到三个数量级。总之，这将SNN定位为AI硬件实现的有吸引力的解决方案。
2021-03-12 cs.LG cs.NE
ChronoSpike: An Adaptive Spiking Graph Neural Network for Dynamic Graphs
University of Southern California（南加州大学）；Islamic University of Technology（伊斯兰科技大学）
本文提出ChronoSpike，结合可学习LIF神经元、多头空间注意力聚合和轻量Transformer时间编码器，实现动态图的高效表示学习，优于现有方法并在训练速度上更优。
2026-10-05 cs.LG
Toward Efficient Deep Spiking Neuron Networks:A Survey On Compression
Beihang University（北京航空航天大学）
本综述聚焦深度脉冲神经网络的效率优化问题，系统梳理了剪枝、量化、知识蒸馏、减少脉冲发放等各类压缩方法，填补了该领域专项研究的空白并给出未来方向建议。
2024-06-03 cs.AI cs.LG cs.NE
Adaptive Structured Pruning of Convolutional Neural Networks for Time Series Classification
Monash University（墨尔本大学）
本文提出动态结构化剪枝方法，通过实例级稀疏损失和全局激活分析实现卷积神经网络在时间序列分类中的高效压缩，保持分类精度并提升部署效率。
2026-02-13 cs.LG
ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
ARMOR通过自适应矩阵分解技术，实现高效的半结构化剪枝，保留模型质量的同时提升压缩效率和任务准确性。
2026-04-03 cs.LG
Neuromorphic Graph Anomaly Detection via Adaptive STDP and Spiking Graph Neural Networks
School of ICT, Griffith University, Australia（信息科技学院，格里菲斯大学，澳大利亚）
本文提出ASTDP-GAD框架，结合脉冲图神经网络与STDP学习，实现动态网络中的高效异常检测，通过自适应LIF动态、图注意力、超图记忆等创新方法提升检测精度与能效。
2026-04-29 cs.LG cs.NE
Protective Self-Adaptive Pruning to Better Compress DNNs
自适应网络剪枝方法由于其能够识别层和过滤器的重要性和冗余性，并定制合适的剪枝方案，近年来引起了人们的广泛关注。然而，它仍然不令人满意，因为目前的自适应修剪方法主要依赖于一个额外的监视器来评分层和过滤器的重要性，因此面临着高复杂性和弱解释性。针对这些问题，本文深入研究了迭代剪枝训练过程中的权值重构过程，提出了一种保护性自适应剪枝方法。首先，PSAP可以利用自己的信息，权重稀疏比，自适应调整修剪率的层之前，每一步的修剪。此外，我们提出了一个保护性的重建机制，以防止重要的过滤器被修剪，通过监督梯度，以避免不可恢复的信息丢失。我们的PSAP是方便和明确的，因为它只依赖于模型本身的权重和梯度，而不是像早期的作品中需要一个额外的监视器。在ImageNet和CIFAR-10上的实验也证明了它在精度和压缩比方面都优于当前的作品，特别是在高压缩比或从头开始修剪方面。
2023-03-21 cs.CV cs.LG
Movement Pruning: Adaptive Sparsity by Fine-Tuning
Hugging Face；Cornell University（康奈尔大学）
幅度修剪是纯监督学习中用于减小模型大小的广泛使用的策略;然而，它在已成为最先进的自然语言处理应用的标准的迁移学习机制中不太有效。我们建议使用运动修剪，这是一种简单的，确定性的一阶权重修剪方法，更适合于预训练模型的微调。我们给的方法的数学基础，并将其与现有的零阶和一阶修剪方法。实验表明，当修剪大型预训练的语言模型时，运动修剪在高稀疏性区域中显示出显著的改进。当与蒸馏相结合时，该方法实现了最小的精度损失，仅需3%的模型参数。
2020-10-23 cs.CL cs.LG
Self-Adaptive Network Pruning
Shanghai Jiao Tong University（上海交通大学）；Mila - Québec AI Institute（Mila-魁北克人工智能研究所）
深度卷积神经网络已被证明在广泛的任务上是成功的，但它们在许多工业场景中仍然受到其巨大计算成本的阻碍。在本文中，我们提出通过自适应网络修剪方法（SANP）来降低CNN的这种成本。我们的方法为每个卷积层引入了一个通用的显着性和修剪模块（SPM），它学习预测显着性分数并对每个通道进行修剪。给定总计算预算，SANP自适应地确定关于每个层和每个样本的修剪策略，使得平均计算成本满足预算。这种设计使SANP在计算方面更有效，并且对数据集和主干更健壮。在2个数据集和3个主干上的大量实验表明，SANP在分类精度和剪枝率方面都优于现有的方法。
2019-10-20 cs.LG eess.IV
Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning
KAIST（韩国科学技术院）；AITRICS
随着深度神经网络的规模不断增长，并且越来越多地被部署到资源有限的设备上，最近对网络修剪方法的兴趣激增，该方法旨在去除给定网络的不太重要的权重或激活。大多数现有修剪技术的一个共同限制是，它们需要在修剪之前至少对网络进行一次预训练，因此我们只能在推理时从内存和计算的减少中受益。然而，通过快速结构修剪来降低神经网络的训练成本可以有益于利用云计算来最小化货币成本或者使得能够在资源有限的设备上进行设备上学习。最近引入的随机权重修剪方法可以消除预训练的需要，但它们通常比传统的修剪技术获得次优性能，并且由于它们执行非结构化修剪，因此也不允许更快的训练。为了克服它们的局限性，我们提出了基于集合的任务自适应Meta剪枝（STAMP），该任务自适应地剪枝在大型参考数据集上预训练的网络，通过在其上生成剪枝掩码作为目标数据集的函数。为了确保目标任务的最大性能改进，我们在参考数据集的不同子集上元学习掩码生成器，这样它就可以在几个梯度训练步骤内很好地推广到任何看不见的数据集。我们在基准数据集上验证了STAMP与最近的高级修剪方法的对比，在基准数据集上，它不仅在相似的精度下获得了比基线显著提高的压缩率，而且训练速度也快了几个数量级。
2020-06-22 cs.LG stat.ML
Layer Pruning for Accelerating Very Deep Neural Networks
Cloudwalk Technology（云从科技）
在本文中，我们提出了一种自适应修剪方法。该方法能够自适应地截断信道和层。自适应地学习待切割的层和通道的比例。本文提出的剪枝方法可以减少一半的参数，并且精度不会下降甚至高于基线。
2019-10-28 cs.CV cs.LG
ChronoPlastic Spiking Neural Networks
时间可塑性脉冲神经网络通过动态调节突触衰减速率，实现自适应时间信用分配，提升长间隔时间依赖性学习能力。
2025-12-17 cs.LG cs.NE
Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
非结构化修剪非常适合在训练和推理时减少卷积神经网络（CNN）的内存占用。CNN包含排列在$K \times K$滤波器中的参数。标准的非结构化修剪（SP）通过将过滤器元素设置为零来减少CNN的内存占用，从而指定约束过滤器的固定子空间。特别是如果在训练之前或训练期间应用修剪，这会导致强烈的偏差。为了克服这一点，我们引入空间修剪（IP），一个通用的工具，以改善现有的修剪方法。它使用的滤波器表示在一个动态的空间由一个基本的自适应滤波器基础（FB）的线性组合。对于IP，FB系数被设置为零，而未修剪的系数和FB被联合训练。在这项工作中，我们提供了数学证据IP的优越性能，并证明IP优于SP所有测试的最先进的非结构化修剪方法。特别是在具有挑战性的情况下，例如ImageNet的修剪或修剪到高稀疏性，IP大大超过SP，具有相同的运行时间和参数成本。最后，我们表明，IP的进步是由于改进的可训练性和优越的泛化能力。
2022-03-15 cs.CV cs.LG
Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks
Tsinghua University（清华大学）
本文提出信号自适应信任区域方法，用于提高递归脉冲神经网络在高维连续控制任务中的训练稳定性与性能。
2026-01-29 cs.AI cs.LG
On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning
George Washington University（乔治华盛顿大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
联邦学习（FL）中的最大挑战之一是客户端设备通常具有用于本地更新的截然不同的计算和通信资源。为此，最近的研究工作集中在训练通过修剪共享的全局模型获得的异构局部模型。尽管取得了经验上的成功，但关于趋同的理论保证仍然是一个悬而未决的问题。在本文中，我们提出了一个统一的框架异构FL算法与{ \em arbitrary}自适应在线模型修剪，并提供了一般的收敛性分析。特别是，我们证明了在某些充分条件下，对于IID和非IID数据，这些算法对于一般光滑代价函数收敛到标准FL的稳定点，收敛速度为$O(\frac{1}{\sqrt{Q}})$。此外，我们阐明了影响收敛的两个关键因素：修剪引起的噪声和最小覆盖指数，倡导联合设计的局部修剪掩模有效的训练。
2022-02-09 cs.DC cs.LG
AdaDeDup: Adaptive Hybrid Data Pruning for Efficient Large-Scale Object Detection Training
Virginia Tech（弗吉尼亚理工学院）；NVIDIA（英伟达）；University of Ottawa（Ottawa 大学）
AdaDeDup提出一种结合密度剪枝与模型反馈的聚类自适应混合数据剪枝框架，在大规模目标检测中剪枝20%数据仍保持接近原始性能，显著优于现有基线。
2025-06-24 cs.CV cs.LG
Weight Pruning via Adaptive Sparsity Loss
NTUA（雅典国立技术大学）
近年来，修剪神经网络作为一种压缩最先进的深度神经网络并使其能够在资源受限的设备上部署的手段重新引起了人们的兴趣。在本文中，我们提出了一个鲁棒的压缩学习框架，可以在训练过程中以最小的计算开销有效地修剪网络参数。我们采用快速机制来修剪各个层，并在此基础上在用户定义的预算约束下自动修剪整个网络。我们的端到端网络修剪方法的关键是制定一个直观且易于实现的自适应稀疏性损失，用于在训练期间显式控制稀疏性，从而实现高效的稀疏感知优化。大量的实验证明了CIFAR和ImageNet数据集上使用不同架构（包括AlexNet，ResNets和Wide ResNets）的图像分类框架的有效性。
2020-06-04 cs.LG stat.ML
Adaptive Activation-based Structured Pruning
Arizona State University（亚利桑那州立大学）；Facebook（脸书）
修剪是一种很有前途的压缩复杂深度学习模型的方法，以便将它们部署在资源受限的边缘设备上。然而，许多现有的修剪解决方案是基于非结构化修剪，这产生的模型不能有效地运行在商用硬件上，并需要用户手动探索和调整修剪过程，这是耗时的，往往导致次优的结果。为了解决这些限制，本文提出了一种自适应的，基于激活的，结构化的修剪方法，自动和有效地生成小，准确，硬件效率高的模型，满足用户的需求。首先，它提出了使用基于激活的注意力特征图的迭代结构化修剪，以有效地识别和修剪不重要的过滤器。然后，它提出了自适应修剪策略，自动满足修剪目标的精度关键，内存受限，延迟敏感的任务。综合评估表明，该方法在CIFAR-10和ImageNet数据集上的性能大大优于最先进的结构化剪枝工作。例如，在使用CIFAR-10的ResNet-56上，在没有任何准确性下降的情况下，我们的方法实现了最大的参数减少（79.11%），优于相关工作22.81%至66.07%，以及最大的FLOPs减少（70.13%），优于相关工作14.13%至26.53%。
2023-03-09 cs.AI cs.CV cs.LG
STAS: Spatio-Temporal Adaptive Computation Time for Spiking Transformers
Sungkyunkwan University（顺天乡大学）
针对脉冲Transformer存在的高延迟、计算开销及现有动态计算方法分散问题，提出STAS框架，通过I-SPS模块建立时间稳定性并结合A-SSA模块实现时空二维token剪枝，在多数据集上降低能耗且提升准确率。
2025-08-19 cs.AI cs.CV cs.LG
Spiking Neural Networks with Temporal Attention-Guided Adaptive Fusion for imbalanced Multi-modal Learning
Faculty of Electronic and Information Engineering, Xi’an Jiaotong University（电子与信息工程学院，西安交通大学）；Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（人工智能与机器人研究院，西安交通大学）；State Key Lab of Brain-Machine Intelligence, Zhejiang University（脑机智能国家重点实验室，浙江大学）；School of Computer Science, Dalian University of Technology（计算机科学学院，大连理工大学）；National Key Lab of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University（人机混合增强智能国家实验室，西安交通大学）
针对多模态脉冲神经网络存在的模态不平衡、时间错位等问题，提出带时间注意力引导自适应融合的框架，通过TAAF模块和自适应平衡损失提升性能与能效，为神经形态多模态学习建立新范式。
2025-05-20 cs.HC cs.LG
Adaptive Sharpness-Aware Pruning for Robust Sparse Networks
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
AdaSAP通过锐度感知剪枝统一鲁棒性与紧凑性，生成对未见输入变化鲁棒的稀疏网络，在图像分类和目标检测上显著提升鲁棒准确率。
2024-03-13 cs.CV cs.LG
Play and Prune: Adaptive Filter Pruning for Deep Model Compression
IIT Kanpur（印度理工学院坎普尔分校）
虽然卷积神经网络（CNN）在各种分类/识别任务上取得了令人印象深刻的性能，但它们通常由大量参数组成。这导致显著的存储器需求以及计算开销。因此，越来越需要用于压缩基于CNN的模型的滤波器级修剪方法，其不仅减少参数的总数，而且还减少总体计算。我们提出了一个新的最小-最大框架，用于CNN的过滤器级修剪。我们的框架称为Play and Prune（PP），它通过自适应修剪率联合修剪和微调CNN模型参数，同时保持模型的预测性能。我们的框架由两个模块组成：（1）自适应过滤器修剪（AFP）模块，它最大限度地减少模型中的过滤器数量;（2）修剪速率控制器（PRC）模块，它最大限度地提高修剪过程中的准确性。此外，与大多数以前的方法不同，我们的方法允许直接指定所需的容错性，而不是修剪水平。我们的压缩模型可以在运行时部署，而不需要任何特殊的库或硬件。我们的方法将VGG-16的参数数量减少了17.5倍，FLOPS数量减少了6.43倍，并且没有损失准确性，显著优于其他最先进的过滤器修剪方法。
2019-05-11 cs.AI cs.CV cs.LG
Adaptive Pruning of Deep Neural Networks for Resource-Aware Embedded Intrusion Detection on the Edge
Computer Science University of Massachusetts Dartmouth（计算机科学大学马萨诸塞大学达特茅斯分校）；United States Military Academy（美国军事学院）；University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
本研究针对边缘嵌入式入侵检测场景，测试多种神经网络剪枝方法在更简单网络和新网络安全数据集上的泛化表现，发现多数方法效果不佳，仅少数适配该任务。
2025-05-20 cs.CR cs.LG
Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics
Purdue University（普渡大学）
基于事件的相机最近表现出巨大的潜力，高速运动估计，由于他们的能力，捕捉时间丰富的信息异步。脉冲神经网络（SNN）具有神经启发的事件驱动处理，可以有效地处理这种异步数据，而泄漏积分和激发（LIF）等神经元模型可以跟踪输入中包含的典型定时信息。SNN通过在神经元记忆中保持动态状态来实现这一点，保留重要信息，同时随着时间的推移忘记冗余数据。因此，我们认为，与类似大小的模拟神经网络（ANN）相比，SNN将允许在顺序回归任务上具有更好的性能。然而，深SNN难以训练，这是由于在后面的层处消失的尖峰。为此，我们提出了一个自适应的全尖峰框架与可学习的神经元动力学，以减轻尖峰消失的问题。我们利用基于代理梯度的时间反向传播（BPTT）从头开始训练我们的深度SNN。我们验证了我们的方法的任务上的多车辆立体事件相机（MVSEC）数据集和DSEC-Flow数据集的光流估计。我们在这些数据集上的实验显示，与最先进的ANN相比，平均端点误差（AEE）平均降低了13%。我们还探索了几个缩小规模的模型，并观察到我们的SNN模型始终优于类似大小的ANN，AEE降低了10%-16%。这些结果证明了SNN对于较小模型的重要性及其在边缘的适用性。在效率方面，我们的SNN在网络参数（48.3倍）和计算能量（10.2倍）方面提供了大量节省，同时与最先进的ANN实现相比，EPE降低了约10%。
2023-03-14 cs.CV cs.LG
A Low Latency Adaptive Coding Spiking Framework for Deep Reinforcement Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Computer Science, Zhejiang University of Technology（浙江工业大学计算机学院）；Zhejiang Lab（之江实验室）
针对脉冲强化学习高延迟和通用性差的问题，提出使用可学习矩阵乘法编解码脉冲并结合直接训练方法的低延迟自适应编码框架，在多种环境中实现了超低延迟与高能效的最优性能。
2024-04-24 cs.AI cs.LG cs.NE
Uncertainty-Aware Token Importance Estimation in Spiking Transformers
School of Computer Science, Peking University（北京大学计算机科学学院）；School of Computer Science, Peking University. Institute for Artificial Intelligence, Peking University（北京大学计算机科学学院。人工智能研究所）；Peking University（北京大学）
本文提出Uncert框架，通过建模类证据和时间不确定性模式，提升脉冲变换器的标记重要性估计，实现更高效的推理。
2026-05-10 cs.CV cs.LG
Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework for Enhancing Model Performance and Efficiency
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Department of Computer Science and Technology, Nanjing University（南京大学计算机科学与技术系）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
针对训练数据冗余及现有剪枝依赖人工标量评分的问题，本文提出端到端框架 AdaPruner，通过 ADP 与 PPC 模块联合剪枝和微调，在去除10%至30%数据时显著提升性能并降低成本。
2023-12-09 cs.AI cs.LG
Layer-Adaptive State Pruning for Deep State Space Models
POSTECH（浦项科技大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对深度状态空间模型高状态维度计算成本高的问题，提出层自适应状态剪枝方法LAST，通过$\mathcal{H}_{\infty}$范数评分实现跨层剪枝，平均剪枝33%状态且准确率仅降0.52%。
2025-01-31 cs.LG cs.SY eess.SY
An Adaptive Pruning Algorithm for Spoofing Localisation Based on Tropical Geometry
National Technical University of Athens（雅典国立技术大学）
随着数字系统变得越来越普遍，欺骗攻击的问题变得越来越重要。因此，这种攻击的检测和攻击者的本地化一直是最近的研究对象。在检测到攻击后，已经提出了各种算法来定位攻击者。在这项工作中，我们提出了一个新的自适应修剪算法的启发，传统的维特比修剪算法的热带和几何分析，以解决本地化问题。特别是，所提出的算法试图通过适应宽大参数的基础上估计的状态的解决方案空间来定位攻击者。这些估计源于封闭的体积和熵的解决方案空间，因为他们在我们以前的工作中介绍。
2018-11-01 cs.CR cs.LG stat.ML
Graph-Adaptive Pruning for Efficient Inference of Convolutional Neural Networks
Alibaba inc.（阿里巴巴公司）
在这项工作中，我们提出了一个图形自适应修剪（GAP）的有效推理的卷积神经网络（CNN）的方法。在该方法中，网络被视为一个计算图，其中的顶点表示计算节点，边表示信息流。通过拓扑分析，GAP能够适应不同的网络结构，特别是最近新的卷积模型中广泛使用的交叉连接和多路径数据流。GAP算法可以在顶点和边缘两级自适应地对模型进行剪枝，无需任何后处理，从而直接实现了实用的模型压缩和推理加速。此外，它不需要任何定制的计算库或硬件支持。在修剪之后进行微调以恢复模型性能。在优化阶段，我们采用了一种自学习的知识蒸馏（KD）策略，充分利用了原模型的信息，在不引入其他教师模型的情况下，充分提高了优化模型的性能。实验结果表明，提出的GAP可以取得令人满意的结果，使推理更有效，例如，对于ResNeXt-29在CIFAR 10上的压缩，可以获得13倍的模型压缩和4.3倍的实际加速，精度略有损失。
2018-11-21 cs.CV cs.LG
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine（加利福尼亚大学尔湾分校）；Department of Mathematics（数学系）
我们提出了一种自适应投影-梯度下降-收缩分裂方法（APGDSSM），将基于惩罚的通道修剪集成到量化感知训练（QAT）中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重，以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外，我们提出了一种新的互补变换l1惩罚，以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
A2SG:Adaptive and Asymmetric Surrogate Gradients for Training Deep Spiking Neural Networks
KAIST（韩国科学技术院）
提出适应性和非对称替代梯度（A2SG）框架，通过自适应窗口调整梯度方向一致性、非对称梯度反映神经元动态，降低梯度变化并促进收敛到平坦最小值，在多种SNN模型和任务上提升精度与能效。
2026-06-11 cs.CV cs.LG cs.NE
AgilePruner: An Empirical Study of Attention and Diversity for Adaptive Visual Token Pruning in Large Vision-Language Models
Pusan National University（釜山国立大学）；LG Electronics（LG电子）
AgilePruner通过实证研究揭示了基于注意力和多样性的视觉标记剪枝方法的优劣，并提出了一种改进的自适应剪枝机制。
2026-03-01 cs.CV cs.LG
Training Stronger Spiking Neural Networks with Biomimetic Adaptive Internal Association Neurons
Huazhong University of Science and Technology（华中科技大学）
作为第三代神经网络，脉冲神经网络（SNN）致力于探索更有洞察力的神经机制，以实现类生物智能。直觉上，仿生机制对于理解和改进SNN至关重要。例如，联想长时程增强（ALTP）现象表明，除了神经元之间的学习机制外，神经元内部也存在联想效应。然而，现有的方法大多只关注前者，缺乏对内部关联效应的探索。在本文中，我们提出了一种新的自适应内部关联~（AIA）神经元模型，建立以前被忽视的影响神经元内。与ALTP现象一致，AIA神经元模型对输入刺激是自适应的，并且只有当两个树突同时受到刺激时才会发生内部联想学习。此外，我们采用加权的权重来衡量内部关联，并引入中间缓存，以减少关联的波动性。在流行的神经形态数据集上进行的大量实验表明，该方法可以更有针对性地增强或抑制尖峰的放电，从而在更少的尖峰的情况下获得更好的性能。值得注意的是，AIA模型在DVS-CIFAR 10 ~（83.9%）和N-CARS~（95.64%）数据集上的推理性能达到了最佳水平，且在推理过程中没有增加任何参数。
2023-03-14 cs.CV cs.LG cs.NE
