From LLMs to LRMs: Rethinking Pruning for Reasoning-Centric Models
Institute of Digital Twin, Eastern Institute of Technology（数字孪生研究院，东部技术研究所）；Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学）；Tencent Hunyuan / AI Lab（腾讯文英/人工智能实验室）；Université Paris Dauphine - PSL（巴黎-萨克勒大学）
本文研究了推理增强模型的剪枝策略，发现深度剪枝在分类任务中表现更优，而宽度剪枝在生成和推理中更稳健，静态剪枝更利于保持推理性能。
2026-01-26 cs.LG
Dynamical Isometry: The Missing Ingredient for Neural Network Pruning
Northeastern University（东北大学）
最近的几项工作[40，24]在神经网络修剪中观察到一个有趣的现象：较大的微调学习率可以显着提高最终性能。不幸的是，其背后的原因至今仍然难以捉摸。本文试图通过动力学等距透镜来解释它[42]。具体来说，我们从一个不寻常的角度研究神经网络修剪：修剪作为微调的初始化，并询问继承的权重是否作为微调的良好初始化？从动力等距的见解提出了一个否定的答案。尽管这一问题发挥着关键作用，但迄今为止，社会尚未充分认识到这一问题。在本文中，我们将展示对这个问题的理解是非常重要的-在解释前面提到的关于更大的微调率的奥秘的同时，它也揭开了关于修剪值的奥秘[5，30]。除了对剪枝有更清晰的理论认识外，解决这个问题还可以在实践中带来可观的性能收益。
2021-05-12 cs.AI cs.CV cs.LG
Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model
Center for Robust Speech Systems (CRSS), University of Texas at Dallas, USA（稳健语音系统中心（CRSS），德克萨斯大学达拉斯分校）；Meta AI, USA（Meta AI）
本文提出自适应掩码剪枝方法，用于高效压缩多语言ASR模型，动态调整子网络以生成稀疏单语或双语模型，优于现有方法并减少语言特定剪枝需求。
2024-01-11 cs.AI cs.CL cs.LG
Is Complexity Required for Neural Network Pruning? A Case Study on Global Magnitude Pruning
Institute for Infocomm Research (I2 R), A*STAR（资讯通信研究院 (I2R)，新加坡科技研究局 (A*STAR)）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本文质疑剪枝方法日益复杂的必要性，发现简单的全局幅度剪枝在稀疏度-准确率权衡上全面优于SOTA技术，并通过Minimum Threshold技术解决层崩溃问题，在多种模型和数据集上验证了其有效性。
2024-01-07 cs.CV cs.LG
Pruning neural network models for gene regulatory dynamics using data and domain knowledge
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
针对神经网络在基因调控网络推断中缺乏生物学可解释结构的问题，本文提出 DASH 框架，将领域结构信息融入剪枝，获得更稀疏、抗噪且更具生物学洞见的模型。
2024-10-27 cs.LG q-bio.QM stat.AP
MIME: Adapting a Single Neural Network for Multi-task Inference with Memory-efficient Dynamic Pruning
Yale University（耶鲁大学）
近年来，人们已经看到了向多任务学习的范式转变。这就需要在多任务场景中进行推理的内存和节能解决方案。我们提出了一种算法硬件协同设计的方法，称为MIME。MIME重用已训练父任务的权重参数，并学习特定于任务的阈值参数，以推断多个子任务。我们发现，MIME的结果在高内存效率的DRAM存储的神经网络参数的多个任务相比，传统的多任务推理。此外，MIME导致依赖于输入的动态神经元修剪，从而在收缩阵列硬件上实现具有更高吞吐量的节能推理。我们对基准数据集（子任务）-CIFAR 10，CIFAR 100和Fashion-MNIST的实验表明，与流水线任务模式下的传统多任务推理相比，MIME实现了约3.48倍的内存效率和约2.4- 3.1倍的节能。
2022-04-11 cs.CV cs.LG
Deriving Coding-Specific Sub-Models from LLMs using Resource-Efficient Pruning
NVIDIA（英伟达）；KTH Royal Institute of Technology（皇家理工学院）；RISE AB（RISE AB公司）
提出用 Wanda 非结构化剪枝和领域校准数据，从 LLM 中高效提取 Python、Java、C++、JavaScript 编码专用子模型，并验证不同任务激活不同模型区域。
2025-01-09 cs.AI cs.LG cs.SE
Heterogeneous Federated Learning using Dynamic Model Pruning and Adaptive Gradient
Iowa State University（爱荷华州立大学）；University of Minnesota（明尼苏达大学）
联邦学习（FL）已经成为分布式训练机器学习模型而不牺牲数据安全性和隐私的新范式。在手机等边缘设备上学习模型是FL最常见的用例之一，然而边缘设备上的非完全独立分布式~（non-IID）数据容易导致训练失败。特别是，过度参数化的机器学习模型很容易在这些数据上过度拟合，从而导致低效的联邦学习和较差的模型性能。为了克服过拟合问题，我们提出了一种自适应的动态修剪方法，该方法可以通过删除不重要的参数来动态地精简模型，从而防止过拟合。由于机器学习模型的参数对不同的训练样本有不同的反应，自适应动态修剪将根据输入的训练样本评估模型参数的显著性，并且在进行反向传播时仅保留显著参数的梯度。我们进行了全面的实验来评估我们的方法。实验结果表明，该方法通过去除神经网络中的冗余参数，可以显著减少过拟合问题，大大提高训练效率。特别是，当在CIFAR-10上训练ResNet-32时，我们的方法将通信成本降低了57%。我们进一步证明了该算法的推理加速能力。我们的方法在保持模型质量的同时，减少了边缘设备上DNN的FLOP推理高达50\%。
2023-02-09 cs.CV cs.LG
Dynamically pruning segformer for efficient semantic segmentation
The Chinese University of Hong Kong（香港中文大学）
SegFormer作为计算机视觉领域中成功的基于transformer的模型之一，在语义分割方面表现出了优异的性能。然而，高计算成本极大地挑战了SegFormer在边缘设备上的部署。在本文中，我们试图设计一个轻量级的SegFormer有效的语义分割。基于SegFormer层中的神经元在不同图像中表现出很大的差异的观察，我们提出了一个动态门控线性层，它根据输入实例修剪最无信息的神经元集合。为了改进动态修剪的SegFormer，我们还引入了两阶段的知识蒸馏，将原始教师中的知识转移到修剪的学生网络中。实验结果表明，该方法可以显着减少SegFormer的计算开销，而没有明显的性能下降。例如，我们可以在ADE20K上仅用3.3G FLOP实现36.9%的mIoU，在mIoU仅下降0.5%的情况下节省超过60%的计算
2021-11-18 cs.CV cs.LG
Efficient Mathematical Reasoning Models via Dynamic Pruning and Knowledge Distillation
Harbin Engineering University（哈尔滨工程大学）
本文提出通过动态剪枝和知识蒸馏优化方法，提升大型语言模型在数学推理任务中的效率与性能。
2025-11-15 cs.AI cs.CL cs.LG
LEAP: Lean Environment-Feedback via Adaptive Pruning for Code RL in GPU Kernel Generation
Moore Threads（摩尔线程）
LEAP是针对GPU内核生成的代码强化学习框架，通过难度条件剪枝与基于排名的奖励公式解决低级代码RL的信号稀疏性等问题，收敛更快且性能更优。
2026-08-05 cs.AI cs.LG
UniPruning: Unifying Local Metric and Global Feedback for Scalable Sparse LLMs
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
UniPruning通过结合局部显著性度量和全局协调，提供一种高效且可扩展的后训练剪枝方法，支持多种稀疏度格式并提升LLM性能。
2025-12-09 cs.AI cs.LG
Hardware-aware Pruning of DNNs using LFSR-Generated Pseudo-Random Indices
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络（DNN）已经成为广泛应用中的最先进算法。为了减少DNN的存储器占用，特别是对于嵌入式应用，已经提出了稀疏化技术。不幸的是，这些技术带来了很大的硬件开销。在本文中，我们提出了一种硬件感知修剪方法，非零权重的位置是从线性反馈移位寄存器（LFSRs）实时推导出来的。使用所提出的方法，我们证明了在下采样的ImageNet上，VGG-16网络的总能量和面积分别节省了63.96%和64.23%，分别用于等压缩率和等精度。
2019-11-09 cs.LG
Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks
Purdue University（普渡大学）；Yale University（耶鲁大学）
现代深度网络具有数百万到数十亿个参数，这导致在训练期间以及在资源受限的边缘设备上进行推理期间对内存和能量的要求很高。因此，已经提出了删除深度网络中不太重要的权重的修剪技术，从而减少了它们的内存和计算需求。修剪通常在训练原始网络之后执行，然后进行进一步的再训练以补偿修剪期间发生的准确性损失。反复重复修剪和重新训练过程，直到达到准确性和效率之间的最佳折衷。然而，这种迭代再训练增加了网络的整体训练复杂性。在这项工作中，我们提出了一个动态修剪同时训练过程，其中我们在训练过程中修剪深度网络的卷积层的过滤器，从而排除了单独重新训练的需要。我们使用三种不同的预先存在的修剪策略来评估我们的动态修剪，即基于激活的修剪，随机修剪和基于L1归一化的修剪。我们在CIFAR 10上训练的VGG-16的结果表明，L1归一化在本工作中探索的所有技术中提供了最佳性能，与原始网络相比，在修剪80%的过滤器后，准确度下降不到1%。我们进一步评估了CIFAR 100上基于L1归一化的剪枝机制。结果表明，在训练时进行修剪会产生一个压缩的网络，与原始网络相比，在修剪50%的过滤器后几乎没有准确性损失，并且在高修剪率（>80%）下损失约5%。与10个epochs的再训练相比，CIFAR 10，CIFAR 100和ImageNet训练期间的计算和内存访问数量减少了41%。
2020-03-05 cs.LG stat.ML
Dynamic Connected Neural Decision Classifier and Regressor with Dynamic Softing Pruning
AInnovation Technology Ltd.（安创新科技有限公司）
为了处理复杂度不同的数据集，本文提出了一种自适应学习模型，该模型结合了动态连接神经决策网络（DNDN）和一种新的剪枝方法--动态软剪枝（DSP）。DNDN是随机森林和深度神经网络的结合，兼具树状结构的强大分类能力和网络结构的表示学习能力的优点。本文在深度神经决策森林（DNDF）的基础上，采用端到端的训练方法，用多个随机初始化的softmax层来表示分类分布，从而进一步允许多个随机森林的集成附着到神经网络的不同深度的层上。我们还提出了一种软修剪方法DSP，自适应地减少网络的冗余连接，以避免过拟合简单的数据集。与未修剪的模型相比，该模型没有表现出性能损失，并且对不同的数据和特征分布具有更高的鲁棒性。在不同数据集上的大量实验表明，该模型在解决分类任务方面优于其他流行的算法。
2021-02-22 cs.AI cs.LG stat.ML
DADP: Dynamic Activity-Dependent Pruning, A Reverse Hebbian-Inspired Structural Pruning Method
针对神经网络过参数化带来的计算与内存开销问题，提出受反赫布规则启发的DADP剪枝方法，通过全局阈值动态分配稀疏度，在多种架构上性能优于或相当现有方法，且能保留特征多样性。
2026-10-09 cs.LG
Regularized Dynamic Boltzmann Machine with Delay Pruning for Unsupervised Learning of Temporal Sequences
IBM Research - Tokyo（IBM研究院 - 东京）
我们介绍延迟修剪，一个简单而强大的技术来规范动态玻尔兹曼机（DyBM）。最近推出的DyBM提供了一个特别结构化的玻尔兹曼机，作为多维时间序列的生成模型。这种玻尔兹曼机可以有无限多层的单元，但允许基于其生物动机结构的精确推理和学习。DyBM使用固定长度的先进先出（FIFO）队列形式的传导延迟的思想，其中神经元经由该FIFO队列连接到另一个神经元，并且来自突触前神经元的尖峰以恒定的延迟周期沿着队列行进到突触后神经元。在这里，我们提出延迟修剪作为一种机制，通过将一些延迟长度设置为具有固定概率的1，并最终选择具有固定延迟的最佳性能模型，来修剪FIFO队列的长度（使其为零）。DyBM中结构的独特性和基于非采样的学习规则使得先前提出的正则化技术（如Dropout或DropConnect）的应用变得困难，导致泛化能力差。首先，我们评估延迟修剪的性能，让DyBM学习由马尔可夫链生成的多维时间序列。最后，我们使用移动MNIST数据集证明了延迟修剪在学习高维序列中的有效性，并将其与Dropout和DropConnect方法进行了比较。
2016-09-22 cs.LG cs.NE stat.ML
Learning from Complexity: Exploring Dynamic Sample Pruning of Spatio-Temporal Training
HKUST(GZ)（香港科技大学（广州））
本文提出ST-Prune方法，通过动态样本修剪提升时空预测任务的训练效率和模型性能。
2026-03-02 cs.AI cs.LG stat.ML
Accelerating Deep Learning with Dynamic Data Pruning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
深度学习的成功归功于在大量数据上训练大型的、过度参数化的模型。随着这一趋势的继续，模型训练已经变得成本过高，需要访问强大的计算系统来训练最先进的网络。大量的研究致力于通过各种模型压缩技术（如修剪和量化）来解决每次迭代训练的成本。在迭代次数上花费的精力更少。以前的工作，如遗忘分数和GraNd/EL 2N分数，通过识别完整数据集中的重要样本并修剪剩余样本来解决这个问题，从而减少每个时期的迭代次数。虽然这些方法减少了训练时间，但它们在训练之前使用昂贵的静态评分算法。当考虑到评分机制时，总运行时间常常增加。在这项工作中，我们解决这个缺点与动态数据修剪算法。令人惊讶的是，我们发现，均匀随机动态修剪可以优于以前的工作在积极的修剪率。我们将此归因于“有时”样本的存在--仅在某些训练时间内对学习到的决策边界重要的点。为了更好地利用有时样本的微妙之处，我们提出了两种算法，基于强化学习技术，动态修剪样本，实现更高的精度比随机动态方法。我们针对完整的数据集基线和之前在CIFAR-10和CIFAR-100上的工作测试了我们所有的方法，我们可以将训练时间减少多达2倍，而不会显着降低性能。我们的研究结果表明，数据修剪应该被理解为一个与模型的训练轨迹密切相关的动态过程，而不是仅仅基于数据集的静态步骤。
2021-11-24 cs.LG
RCAP: Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）
提出RCAP算法，通过闭式解估计每类样本保留比例并自适应调整，结合高损失样本优先采样策略，在多种数据集和训练范式下优于现有方法，仅用10%数据即可提升类别不平衡数据集性能1%以上。
2026-06-11 cs.LG
Lattice-Based Pruning of Recurrent Neural Networks via Poset Modeling: A Corrected Theory and a Matched-Sparsity Evaluation
Center for Creative Cognition, SR University（SR大学创造性认知中心）
提出基于偏序集建模的RNN格剪枝框架，通过识别不可约交元保留关键连接，在MNIST上实现98%以上准确率与高稀疏性的平衡，优于传统幅度剪枝。
2026-11-02 cs.LG q-bio.NC
Alignment-Constrained Dynamic Pruning for LLMs: Identifying and Preserving Alignment-Critical Circuits
针对大语言模型推理计算资源需求高及动态剪枝加剧对齐退化的问题，提出基于探针剪枝的对齐感知探针剪枝（AAPP）动态结构化剪枝方法，实验表明其在匹配计算量下可提升拒绝率50%，实现高效且安全保留的部署。
2025-11-09 cs.AI cs.CL cs.LG
Beyond Loss Values: Robust Dynamic Pruning via Loss Trajectory Alignment
National University of Singapore（新加坡国立大学）；Wuhan University（武汉大学）；Sichuan University（四川大学）
本文提出AlignPrune模块，通过动态对齐得分改进动态剪枝在标签噪声下的鲁棒性，实验表明其在多个基准上提升精度达6.3%。
2026-04-08 cs.CV cs.LG
Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
本文提出结合稀疏解码器与动态剪枝的新框架，通过稀疏潜在特征实现头部剪枝的可解释和可控，提升ViTs的效率和可解释性。
2026-03-23 cs.AI cs.CV cs.LG
Separate, Dynamic and Differentiable (SMART) Pruner for Block/Output Channel Pruning on Computer Vision Tasks
Black Sesame Technology（黑芝麻科技）
针对现有块剪枝算法无法同时满足高精度、资源精确控制和收敛保证的问题，提出SMART剪枝算法，通过结合权重与激活信息、可微分top-k算子及收敛保证，在多模型、数据集和任务上实现了块剪枝的最先进性能。
2024-12-05 cs.CV cs.LG
Rethinking Reservoir Pruning: A Dynamical Perspective for Echo State Networks
Sungkyunkwan University（成均馆大学）
该研究针对回声状态网络储备池过参数化问题，提出动力学模式剪枝方法，通过轨迹平均雅可比格拉姆矩阵排序神经元，实验显示其可提升或保持预测精度并减少冗余组件。
2026-08-06 cs.AI cs.LG math.DS
Finding Dynamics Preserving Adversarial Winning Tickets
Nanjing University（南京大学）；Tencent AI Lab（腾讯人工智能实验室）；Hongkong University of Science and Technology（香港科技大学）
现代深度神经网络（DNN）容易受到对抗攻击的攻击，对抗训练已被证明是提高DNN对抗鲁棒性的一种有前途的方法。在对抗背景下，已经考虑了剪枝方法，以在训练中同时降低模型容量并提高对抗鲁棒性。现有的对抗性剪枝方法通常模仿自然训练的经典剪枝方法，遵循三个阶段的“训练-剪枝-微调”管道。我们观察到，这种修剪方法不一定能保持密集网络的动态性，这使得它可能很难被微调，以补偿修剪中的准确性下降。基于\textit{Neural Tangent Kernel}（NTK）最近的工作，我们系统地研究了对抗训练的动力学，证明了初始化时存在可训练的稀疏子网络，可以从头开始训练到对抗鲁棒性。这从理论上验证了\textit{lottery ticket hypothesis}在对抗环境中的作用，我们将这种子网络结构称为\textit{Adversarial Winning Ticket}（AWT）。我们还展示了经验证据，AWT保留了对抗训练的动态性，并实现了与密集对抗训练相同的性能。
2022-03-06 cs.LG
Probe Pruning: Accelerating LLMs through Dynamic Pruning via Model-Probing
University of Minnesota（明尼苏达大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本研究提出Probe Pruning动态结构化剪枝框架，通过批量探测少量关键隐藏状态结合历史信息与专属重要性得分实现定制化剪枝，无需额外模块或微调，在低探测成本下显著提升LLM剪枝效率。
2025-02-21 cs.AI cs.CL cs.LG
On the Dynamic Regret of Following the Regularized Leader: Optimism with History Pruning
Faculty of Electrical Engineering, Mathematics and Computer Science, TU Delft, Netherlands（电气工程、数学与计算机科学学院，代尔夫特理工大学，荷兰）
本文研究了在线凸优化中正则化跟随者框架的动态遗憾保证，通过乐观组合未来成本和精心线性化过去成本，实现动态遗憾界，提出历史修剪方法以平衡懒惰与敏捷更新。
2026-03-18 cs.LG
MosaicDiff: Training-free Structural Pruning for Diffusion Model Acceleration Reflecting Pretraining Dynamics
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出MosaicDiff框架，通过轨迹感知的结构化剪枝，根据扩散预训练各阶段学习速度自适应调整剪枝力度，实现免训练加速，在DiT和SDXL上大幅提升采样速度且不损质量。
2025-10-13 cs.CV cs.LG
Dynamic Runtime Feature Map Pruning
高带宽要求是加速深度神经网络训练和推理的障碍。大多数以前的研究集中在减少核映射的大小进行推理。我们分析了六个流行的卷积神经网络- AlexNet，MobileNet，ResNet-50，SqueezeNet，TinyNet和VGG 16的参数稀疏性。在所考虑的网络中，使用ReLU的网络（AlexNet，SqueezeNet，VGG 16）包含很高比例的0值参数，并且可以静态修剪。在某些情况下，具有非ReLU激活函数的网络可能不包含任何0值参数（ResNet-50，TinyNet）。我们还调查了运行时特征图的使用情况，发现当使用深度卷积和点卷积时，输入特征图构成了大部分带宽需求。我们介绍了动态运行时修剪的特征图，并表明，10%的动态特征图执行可以删除而不损失的准确性。然后，我们扩展了动态修剪，以允许在0的范围内的值，并显示进一步减少5%的特征图加载与1%的损失的准确性在前1。
2019-04-02 cs.CV cs.LG
WIDE: Boosting Adaptive LLM Inference via Token-level Dynamic Width Pruning
Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波东方理工大学宁波数字孪生研究院）；Munich Center for Machine Learning, LMU Munich（慕尼黑大学慕尼黑机器学习中心）
WIDE是首个端到端可微令牌级动态宽度剪枝框架，通过两阶段训练与剪枝-内核协同设计，在50%稀疏度下实现显著推理加速与更优精度保持，性能优于现有动态剪枝方法。
2026-10-20 cs.AI cs.CL cs.LG
Dynamic Hard Pruning of Neural Networks at the Edge of the Internet
IIT-CNR（意大利国家研究委员会信息学与远程通信研究所）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
神经网络（NN），虽然成功地应用于几个人工智能任务，往往是不必要的过度参数化。在边缘/雾计算中，这可能会使他们在资源受限的设备上进行培训，这与当前将智能从远程数据中心分散到本地受限设备的趋势形成鲜明对比。因此，我们研究了在具有固定的，潜在的小内存预算的受限设备上训练有效NN模型的问题。我们的目标是既节省资源又提高性能的技术，同时实现显著的网络压缩。我们的动态硬修剪（DynHP）技术在训练过程中逐步修剪网络，识别对模型准确性贡献不大的神经元。DynHP能够实现最终神经网络的可调大小减小，并减少训练期间NN的内存占用。通过\emph{dynamic batch sizing}方法重用释放的内存，以抵消硬修剪策略引起的精度下降，提高其收敛性和有效性。我们通过在三个公共数据集上进行可重复实验来评估DynHP的性能，并将其与参考竞争对手进行比较。结果表明，DynHP压缩NN高达$10$倍，而没有显着的性能下降（高达$3.5\%$额外的错误w.r.t.竞争对手），减少了高达$80\%$的训练内存占用。
2021-10-22 cs.LG
A Unified Paths Perspective for Pruning at Initialization
University of Minnesota（明尼苏达大学）；Sumo Logic（Sumo Logic公司）
最近已经提出了许多用于在初始化时修剪神经网络参数的方法，其目标是减小模型的大小和计算负担，同时最小地影响它们的训练动态和泛化性能。虽然这些方法中的每一种都有一定的理由，但到目前为止，对这些修剪方法对网络训练动态的影响及其相互之间的正式关系的严格分析很少受到关注。利用最近的理论近似提供的神经切线核，我们统一了一些流行的方法修剪在初始化下一个单一的路径为中心的框架。我们引入路径核作为神经切线核的分解中的数据独立因子，并显示路径核的全局结构可以有效地计算。该路径核分解将架构效应与神经切线核内的数据依赖效应分离，从而提供了一种仅从其架构预测网络收敛动态的方法。我们分析了使用这种结构在近似的训练和泛化性能的网络中的数据的情况下，在一些初始化修剪方法。通过观察输入数据与路径之间的关系以及路径核与其自然范数之间的关系，我们对SynFlow算法的初始化剪枝提出了两种改进。
2021-01-26 cs.LG
NTK-SAP: Improving neural network pruning by aligning training dynamics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出了一种名为NTK-SAP的神经网络先训练剪枝算法，通过剪枝对神经正切核（NTK）谱影响最小的连接来对齐训练动态，该方法具有权重无关和数据无关的特性，并在多个数据集上优于所有基线。
2023-04-06 cs.CV cs.LG stat.ML
Multimodal-Guided Dynamic Dataset Pruning for Robust and Efficient Data-Centric Learning
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种多模态引导的动态数据集剪枝框架，利用任务难度与跨模态语义一致性自适应选择样本，提升数据中心学习的鲁棒性与效率。
2025-07-17 cs.CV cs.LG
Accelerating and Compressing Deep Neural Networks for Massive MIMO CSI Feedback
University of Calgary（卡尔加里大学）
本文提出联合剪枝与量化方法压缩大规模MIMO CSI反馈神经网络，在商用硬件上实现模型大小减少86.5%、推理时间减少76.2%，为深度学习在无线系统中的实际部署铺平道路。
2023-01-20 cs.IT cs.LG cs.NI
Dynamic Vocabulary Pruning: Stable LLM-RL by Taming the Tail
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Fudan University（复旦大学）
动态词汇剪枝通过限制RL目标到安全词汇，减少尾部token的偏置误差，从而实现稳定的大语言模型强化学习。
2026-02-06 cs.AI cs.LG stat.ML
The Role of Regularization in Shaping Weight and Node Pruning Dependency and Dynamics
Ben-Gurion University（本-古里安大学）；Bar-Ilan University（巴伊兰大学）
降低深度神经网络容量的迫切需求刺激了网络稀释方法及其分析的发展。虽然经常提到$L_1$和$L_0$正则化鼓励稀疏性的能力，但在此上下文中很少讨论$L_2$正则化。我们提出了一个新的框架，重量修剪采样的概率函数，有利于零较小的权重。此外，我们研究的贡献，$L_1$和$L_2$正则化的动态节点修剪，同时优化权重修剪。然后，我们证明了所提出的随机框架的有效性，当与流行的分类模型上的权重衰减正则化器一起使用时，在MNIST分类的MLP中去除50%的节点，在VGG-16中去除60%的过滤器用于CIFAR 10分类，以及在医学图像模型上，在U-Net中去除60%的通道，例如分割，在CNN模型中去除50%的通道，用于COVID-19检测。对于这些节点修剪的网络，我们还提出了具有竞争力的权重修剪结果，其准确性仅略低于原始的密集网络。
2020-12-07 cs.CV cs.LG eess.IV
Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
针对神经网络剪枝可能破坏强化学习策略安全性的问题，提出结合剪枝与模型检查的VERINTER方法，量化剪枝及神经连接对安全属性的影响，在维持剪枝策略安全性的同时提升可解释性，且在多场景验证有效。
2024-09-16 cs.LG
Quantifying Emergence in Neural Networks: Insights from Pruning and Training Dynamics
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出量化神经网络涌现的框架，通过活跃与非活跃节点的连接性衡量涌现程度，并结合剪枝与训练动力学实验揭示更高涌现与更好可训练性、更崎岖损失景观及剪枝对效率与准确率的权衡关系。
2024-09-03 cs.LG
Early Abandoning and Pruning for Elastic Distances including Dynamic Time Warping
Monash University（莫纳什大学）
弹性距离下的最近邻搜索是时间序列分析的一个重要工具，支持许多应用。然而，距离的直接实现需要$O(n^2)$空间和时间复杂度，从而阻止这些应用扩展到长系列。许多工作都致力于加快NN搜索过程，主要是下限的发展，允许在超过给定阈值时避免昂贵的距离计算。由相似性搜索过程提供的该阈值还允许提前放弃距离本身的计算。另一种方法是修剪部分计算。所有这些技术都是相互正交的。在这项工作中，我们开发了一个新的通用策略，“EAPruned”，紧密结合修剪与早期放弃。我们将其应用于六个弹性距离措施：DTW，CDTW，WDTW，ERP，MSM和TWE，在NN搜索应用程序中显示出显着的加速。单独修剪也显示了一些距离的显著加速，有利于NN搜索范围之外的应用（例如，需要所有成对距离），因此早期放弃不适用。我们将我们的实现作为一个新的C++库的一部分发布，用于时间序列分类，以及易于使用的Python/Numpy绑定。
2021-06-03 cs.LG
Multi-Agent Actor-Critic with Harmonic Annealing Pruning for Dynamic Spectrum Access Systems
National and Kapodistrian University of Athens（雅典国立卡波迪斯特里亚大学）；National Technical University of Athens（雅典国立技术大学）
针对动态频谱接入场景中MADRL模型边缘部署算力不足的问题，提出融合渐进剪枝的稀疏循环MARL框架与谐退火稀疏调度器，在高稀疏度下性能优于现有基线与剪枝方法。
2025-03-19 cs.AI cs.LG cs.NI
Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization
Beihang University（北航大学）；Zhongguancun Academy（中关村学院）；Communication University of China（中国通信大学）
DPPO通过动态剪枝和重要性采样修正，实现高效基于群体的策略优化，提升训练速度并提高准确率。
2026-03-04 cs.AI cs.LG
Magnitude Attention-based Dynamic Pruning
NAVER WEBTOON AI（NAVER WEBTOON人工智能）；Kookmin University（国民大学）
针对现有剪枝方法训练中未利用权重重要性的问题，提出基于幅值注意力的动态剪枝MAP方法，全程利用权重重要性动态探索稀疏结构，训练后期转向利用关键权重，性能媲美稠密模型且优于以往剪枝方法。
2023-06-08 cs.CV cs.LG
All-in-One: A Highly Representative DNN Pruning Framework for Edge Devices with Dynamic Power Management
Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）；George Mason University（乔治梅森大学）
在边缘设备上部署深度神经网络（DNN）的过程中，许多研究工作都致力于有限的硬件资源。然而，很少有人注意到动态电源管理的影响。由于边缘设备通常只有电池的能量预算（而不是服务器或工作站上几乎无限的能量支持），它们的动态电源管理通常会改变执行频率，如广泛使用的动态电压和频率缩放（DVFS）技术。这导致推理速度性能非常不稳定，特别是对于计算密集型DNN模型，这可能会损害用户体验并浪费硬件资源。我们首先发现这个问题，然后提出了所有功能于一身，一个高度代表性的修剪框架，使用DVFS的动态电源管理。该框架可以只使用一组模型权重和软掩模（连同其他辅助参数的可忽略的存储）来表示多个模型的各种修剪率。通过将模型重新配置为针对特定执行频率（和电压）的对应修剪比率，我们能够实现稳定的推理速度，即，使各种执行频率下的速度性能差异尽可能小。实验结果表明，该方法不仅对不同剪枝率的多个模型具有较高的准确率，而且在仅使用一个模型和一个软掩码的情况下，以最小的内存消耗降低了不同频率下的推理延迟方差。
2022-12-09 cs.AI cs.CV cs.LG
Hybrid Dynamic Pruning: A Pathway to Efficient Transformer Inference
针对Transformer推理计算和内存开销大的问题，提出混合动态剪枝（HDP）算法-架构协同设计，利用头部与块稀疏性及近似方法加速，并配套协处理器架构。
2024-07-17 cs.AI cs.LG
Dynamic Vocabulary Pruning in Early-Exit LLMs
University of Amsterdam（阿姆斯特丹大学）；Krueger AI Safety Lab (KASL)（克鲁格人工智能安全实验室（KASL））；UvA-Bosch Delta Lab（阿姆斯特丹大学-博世三角洲实验室）
针对早退出大语言模型因词汇量大导致置信度估计成本高、效率增益被削弱的问题，提出测试时动态词汇剪枝方法，在初始层剪枝后用小词汇完成前向传播，兼顾效率与性能。
2024-10-30 cs.AI cs.CL cs.LG
Theoretical Analysis of Contrastive Learning under Imbalanced Data: From Training Dynamics to a Pruning Solution
New Jersey Institute of Technology（新泽西理工学院）；Cornell University（康奈尔大学）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）；Rensselaer Polytechnic Insitute（伦斯勒理工学院）
本文提出了一种理论框架，分析对比学习在不平衡数据下的训练动态，并通过剪枝方案解决因数据不平衡导致的性能下降问题。
2026-02-10 cs.LG
Large-scale Dataset Pruning with Dynamic Uncertainty
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）；University of Technology Sydney（悉尼科技大学）
本文提出结合预测不确定性与训练动态的大规模数据集剪枝方法，在 ImageNet-1K/21K 及 Swin Transformer、ConvNeXt 上实现25%无损剪枝并优于现有方法。
2024-06-14 cs.CV cs.LG
A Tunable Robust Pruning Framework Through Dynamic Network Rewiring of DNNs
University of Southern California（南加州大学）
本文提出了一种动态网络重布线（DNR）方法来生成修剪的深度神经网络（DNN）模型，该模型对对抗攻击具有鲁棒性，但在干净的图像上保持高精度。特别地，所公开的DNR方法基于使用混合损失函数的统一约束优化公式，该混合损失函数将超高模型压缩与鲁棒对抗训练合并。该训练策略基于从混合损失函数计算的每层归一化动量来动态地调整层间连接性。与需要多次训练迭代的现有鲁棒剪枝框架相比，所提出的学习策略仅用单个训练迭代就实现了总体目标剪枝率，并且可以进行调整以支持不规则和结构化通道剪枝。为了评估DNR的优点，在CIFAR-10，CIFAR-100上使用两种广泛接受的模型，即VGG 16和ResNet-18，以及在Tiny-ImageNet上使用VGG 16进行实验。与基线未压缩模型相比，DNR在所有数据集上提供了超过20倍的压缩，并且在干净或对抗分类准确性方面都没有显着下降。此外，我们的实验表明，DNR始终发现压缩模型具有更好的清洁和对抗性图像分类性能，而不是通过最先进的替代方案。
2020-11-24 cs.CR cs.CV cs.LG
Spectral Theory for Edge Pruning in Asynchronous Recurrent Graph Neural Networks
Mathematical Institute, University of Oxford（牛津大学数学研究所）
针对异步循环图神经网络模型庞大、计算成本高的问题，本文提出基于图谱理论、利用拉普拉斯特征值虚部的动态边剪枝方法，以提升效率且不显著降低性能。
2025-02-23 cs.AI cs.LG
FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization
University of Glasgow（格拉斯哥大学）；Hunan University（湖南大学）
FedDIP结合动态剪枝与增量正则化，在联邦学习中实现极端稀疏性，减少参数交换，保持高精度，性能优于现有方法。
2023-09-13 cs.AI cs.DC cs.LG
Compressing Deep Reinforcement Learning Networks with a Dynamic Structured Pruning Method for Autonomous Driving
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
提出动态结构化剪枝方法，通过组稀疏正则化和动态阈值逐步移除DRL模型中不重要的神经元，在自动驾驶相关环境中压缩93%神经元和96%权重，精度损失轻微。
2024-02-07 cs.AI cs.LG cs.RO
