On the optimization and pruning for Bayesian deep learning
UNSW（新南威尔士大学）
贝叶斯深度学习的目标是通过后验分布提供不确定性量化。然而，由于神经网络的超高维度，在权重空间上的精确推断在计算上是难以处理的。变分推理（VI）是一种很有前途的方法，但在权重空间上的朴素应用不能很好地扩展，并且往往在预测准确性上表现不佳。在本文中，我们提出了一种新的自适应变分贝叶斯算法的训练神经网络的权重空间，实现高的预测精度。通过证明具有预处理矩阵的随机梯度哈密顿蒙特卡罗（SGHMC）是等价的，我们提出了EM算法中的MCMC，它在捕获神经网络的稀疏性之前加入了尖峰和板。EM-MCMC算法允许我们在一次性内执行优化和模型修剪。我们在CIFAR-10，CIFAR-100和ImageNet数据集上评估了我们的方法，并证明了我们的密集模型可以达到最先进的性能，而我们的稀疏模型与以前提出的修剪方案相比表现非常好。
2022-10-24 cs.LG stat.CO
Structured Deep Neural Network Pruning via Matrix Pivoting
UC Berkeley（加州大学伯克利分校）；numericcal
深度神经网络（DNN）是最先进的机器视觉、传感器融合和音频/视频信号处理的关键。不幸的是，它们的计算复杂性和边缘上的严格资源限制使得它们很难在移动，嵌入式和物联网设备上利用。由于边缘设备的多样性，DNN设计人员必须在网络培训期间考虑硬件平台和应用需求。在这项工作中，我们通过矩阵旋转引入修剪，通过在架构无关的设计灵活性和架构感知修剪的性能效率之间进行妥协来改善网络修剪，这是获得资源高效DNN的两种主要技术。我们还描述了本地和全局网络优化技术，从而有效地实现修剪网络。在组合中，所提出的修剪和实现导致在修剪期间随着网络系数的减少而接近线性加速。
2017-12-01 cs.LG
CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization
Tsinghua University（清华大学）；Kuaishou Technology Co., Ltd.（快手科技有限公司）；Midea Group（美的集团）
深度卷积神经网络在许多应用场景中被证明具有高参数和计算冗余，并且越来越多的工作已经探索了模型修剪以获得轻量级和高效的网络。然而，大多数现有的修剪方法是由经验启发式驱动，很少考虑通道的联合影响，导致不保证和次优性能。在本文中，我们提出了一种新的通道修剪方法，通过类感知跟踪比优化（CATRO），以减少计算负担，加快模型推理。CATRO利用来自少数样本的类别信息，通过特征空间判别来测量多个通道的联合影响，并巩固保留通道的逐层影响。通过将信道修剪公式化为子模集函数最大化问题，CATRO通过两阶段贪婪迭代优化过程有效地解决了该问题。更重要的是，我们提出了理论上的CATRO的收敛性和修剪网络的性能。实验结果表明，CATRO算法在计算量相近的情况下，比其他信道修剪算法具有更高的精度，或者在精度相近的情况下具有更低的计算量。此外，由于其类感知属性，CATRO适合于为各种分类子任务自适应地修剪高效网络，从而增强深度网络在现实世界应用中的方便部署和使用。
2023-03-30 cs.AI cs.CV cs.LG
Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities
非结构化神经网络剪枝算法已经取得了令人印象深刻的压缩率。然而，所得到的通常不规则的稀疏矩阵妨碍了有效的硬件实现，导致额外的存储器使用和复杂的控制逻辑，这减少了非结构化修剪的好处。这刺激了结构化粗粒度修剪解决方案，修剪整个过滤器甚至层，以降低灵活性为代价实现高效实现。在这里，我们提出了一种灵活的新的修剪机制，便于在不同的粒度（权重，内核，过滤器/特征映射）修剪，同时保持有效的内存组织（例如，修剪每个输出神经元的k-out-of-n权重，或修剪每个特征映射的k-out-of-n内核）。我们将该算法称为动态概率剪枝（DPP）。DPP利用Gumbel-softmax松弛进行可微的n取k采样，促进端到端优化。我们表明，DPP在修剪在不同基准数据集上训练的用于图像分类的常见深度学习模型时，可以实现具有竞争力的压缩率和分类准确性。相关地，DPP的非基于幅度的性质允许修剪和权重量化的联合优化，以便进一步压缩网络，我们也展示了这一点。最后，我们提出了新的信息理论指标，显示了一个层内的修剪掩模的信心和修剪多样性。
2021-05-26 cs.CV cs.LG
An End-to-End Network Pruning Pipeline with Sparsity Enforcement
Princeton University（普林斯顿大学）
本文提出一种覆盖训练全阶段的端到端剪枝流水线，结合非标准初始化、预剪枝训练与剪枝后优化，在实验中显著超越了现有最先进的神经网络稀疏化方法。
2023-12-04 cs.LG
Pruning vs Quantization: Which is Better?
Qualcomm AI Research（高通人工智能研究）
本文系统比较了神经网络剪枝与量化两种压缩技术，通过理论分析误差下界及在3个任务上训练8个大规模模型的实验，发现量化在大多数情况下优于剪枝，仅在极高压缩率时剪枝才可能具有准确率优势。
2024-02-16 cs.LG
Beyond Manually Designed Pruning Policies with Second-Level Performance Prediction: A Pruning Framework for LLMs
提出PPF框架，利用二级性能预测消除手动剪枝设计，支持动态和静态剪枝，在Llama2-7B和Llama3-8B上显著降低困惑度，评估加速超64倍。
2025-08-06 cs.LG
Multi-Task Network Pruning and Embedded Optimization for Real-time Deployment in ADAS
Valeo（法雷奥）
自动驾驶系统中越来越需要基于相机的深度学习算法来实现感知。然而，来自汽车行业的限制通过将有限的计算资源强加给嵌入式系统来挑战CNN的部署。在本文中，我们提出了一种方法来嵌入一个多任务的CNN网络在商业原型平台上，即低功耗的片上系统（SoC）处理四个环绕视图鱼眼相机在10 FPS的条件下。第一个重点是设计一个高效和紧凑的多任务网络架构。其次，应用修剪方法来压缩CNN，有助于将运行时间和内存使用减少2倍，而不会显着降低性能。最后，提出了混合量化格式的使用和不同存储区之间的高效数据传输等嵌入式优化技术，以保证实时的【形】执行和避免带宽瓶颈。该方法在硬件平台上进行了评估，考虑嵌入式检测性能，运行时间和内存带宽。与大多数文献中专注于分类任务的作品不同，我们的目标是研究修剪和量化对具有目标检测，语义分割和污染检测任务的紧凑多任务网络的影响。
2021-01-19 cs.CV cs.LG
A Multi-objective Complex Network Pruning Framework Based on Divide-and-conquer and Global Performance Impairment Ranking
Xidian University（西安电子科技大学）
针对进化多目标剪枝在复杂网络中优化空间大、验证资源消耗高的问题，提出基于分治与全局性能损伤排序的框架EMO-DIR，通过分解任务、跨网络约束训练及联合剪枝，在多个数据集上达到与最先进方法相当的性能。
2023-12-30 cs.AI cs.LG
Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；Michigan State University（密歇根州立大学）；University of Pittsburgh（匹兹堡大学）
权重修剪是一种有效的模型压缩技术，可以解决在移动设备上实现实时的【形】深度神经网络（DNN）推理的挑战。然而，现有的修剪方案由于准确性降级、难以利用硬件加速和/或对某些类型的DNN层的限制而具有有限的应用场景。在本文中，我们提出了一个通用的，细粒度的结构化修剪方案和相应的编译器优化，适用于任何类型的DNN层，同时实现高精度和硬件推理性能。我们的编译器优化使不同层次的应用不同的修剪方案的灵活性，我们进一步探讨了新的问题，确定最适合的修剪方案，考虑不同的加速和准确性性能的各种修剪方案。提出了两种剪枝方案映射方法，一种是基于搜索的，另一种是基于规则的，自动推导出最适合的剪枝规则和块大小为任何给定的DNN的每一层。实验结果表明，我们的剪枝方案映射方法，以及一般的细粒度结构化剪枝方案，优于最先进的DNN优化框架，在CIFAR-10和ImageNet数据集上具有高达2.48 $\times$和1.73 $\times$ DNN推理加速，而不会损失准确性。
2021-11-22 cs.AI cs.CV cs.DC
Neural Network Pruning via QUBO Optimization
本文提出混合QUBO框架，结合启发式重要性估计与全局优化，通过梯度感知敏感度指标和数据驱动激活相似性提升剪枝效果，实验显示在SIDD数据集上优于贪心剪枝和传统L1基QUBO。
2026-04-07 cs.AI cs.CV cs.LG
Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation
University of Connecticut（康涅狄格大学）
网络修剪是一种广泛使用的技术，用于降低深度神经网络的计算成本和模型大小。然而，典型的三级流水线，即，训练、修剪和再训练（微调）显著地增加了总体训练路径。在本文中，我们开发了一个系统的重量修剪优化方法的基础上替代拉格朗日松弛（SLR），这是量身定制的，以克服困难所造成的离散性质的重量修剪问题，同时确保快速收敛。我们进一步加快收敛的SLR通过使用二次处罚。与其他最先进的方法相比，在训练阶段通过SLR获得的模型参数更接近其最优值。我们评估所提出的方法对图像分类任务，即，使用ImageNet的ResNet-18和ResNet-50，以及使用CIFAR-10的ResNet-18、ResNet-50和VGG-16，以及目标检测任务，即，使用COCO 2014的YOLOv 3和YOLOv 3-tiny以及使用TuSimple车道检测数据集的Ultra-Fast-Lane-Detection。实验结果表明，我们的基于SLR的权重修剪优化方法实现了更高的压缩率比国家的艺术在相同的精度要求。它还实现了高的模型精度，即使在硬修剪阶段没有再训练（减少了传统的三阶段修剪到两个阶段）。考虑到再训练时期的预算有限，我们的方法可以快速恢复模型的准确性。
2021-03-25 cs.CV cs.LG
Scalable iterative pruning of large language and vision models using block coordinate descent
Amazon Quantum Solutions Lab（亚马逊量子解决方案实验室）；AWS Center for Quantum Computing（AWS量子计算中心）；Fidelity Center for Applied Technology（富达应用技术中心）；AI Center of Excellence, FMR LLC（FMR LLC卓越人工智能中心）
针对大型语言和视觉模型剪枝问题，提出基于块坐标下降的迭代组合脑外科医生（iCBS）方法，可扩展至超大型模型，在相同密度下性能优于现有方法，还支持质量-时间权衡与硬件加速，具量子适用性。
2024-11-26 cs.LG math.OC quant-ph
Accurate Neural Network Pruning Requires Rethinking Sparse Optimization
Skoltech（斯科尔科沃科技学院）；Yandex（扬德克斯）；IST Austria（奥地利科学技术研究所）；Neural Magic（神经魔法）
本文研究了高稀疏性对神经网络训练的影响，发现使用稠密训练方案进行稀疏训练是次优的，并提出了针对视觉模型预训练和语言模型微调的新方法，在高稀疏度下实现了最先进的精度。
2023-09-08 cs.AI cs.LG
Fusion-Catalyzed Pruning for Optimizing Deep Learning on Intelligent Edge Devices
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Jilin University（吉林大学）；University of New South Wales（新南威尔士大学）
深度神经网络模型计算成本的增加限制了智能应用在资源受限边缘设备上的适用性。虽然已经提出了许多神经网络修剪方法来压缩模型，但流行的方法只关注参数算子（例如，卷积），这可能会错过优化机会。在本文中，我们提出了一种新的融合催化修剪方法，称为FuPruner，它同时优化的参数和非参数运算符加速神经网络。我们引入了一种积极的融合方法来等价地转换一个模型，它扩展了修剪的优化空间，使非参数算子以类似于参数算子的方式被修剪，并应用动态过滤器修剪方法来降低模型的计算成本，同时保持精度要求。此外，FuPruner提供了可配置的优化选项，用于控制融合和修剪，从而可以进行更灵活的性能-精度权衡。在Jetson TX 2、Jetson Nano、Edge TPU、NCS和NCS 2五个代表性智能边缘平台上使用最先进的残差神经网络进行评估，证明了我们方法的有效性，可以加速CIFAR-10和ImageNet数据集上模型的推理。
2020-11-29 cs.CV cs.LG cs.NE
C2S2: Cost-aware Channel Sparse Selection for Progressive Network Pruning
本文描述了一种简化深度神经网络的通道选择方法。具体来说，我们提出了一种新型的通用网络层，称为修剪层，以无缝地增强给定的预训练模型进行压缩。包括$1 \times 1$深度方向内核的每个修剪层用双重格式表示：一个是实值，另一个是二进制。前者使网络修剪的两阶段优化过程能够与端到端可微分网络一起操作，而后者产生用于信道选择的掩码信息。我们的方法逐步执行修剪任务逐层，并根据稀疏性标准实现通道选择，以利于修剪更多的通道。我们还开发了一个成本感知机制，以防止压缩牺牲预期的网络性能。我们在图像分类和语义分割上压缩几个基准深度网络的结果与最先进的结果相当。
2019-04-06 cs.CV cs.LG
Joint Model Pruning and Resource Allocation for Wireless Time-triggered Federated Learning
Department of Engineering, King’s College London（伦敦国王学院工程系）
本文针对无线时间触发联邦学习中的设备增长与带宽受限问题，提出联合优化模型剪枝比例与带宽分配的方法，通过收敛性分析推导闭式解，实现通信成本降低40%且保持收敛性能。
2024-08-03 cs.IT cs.LG math.IT
Automatic Joint Structured Pruning and Quantization for Efficient Neural Network Training and Compression
Microsoft（微软）；Lehigh University（利哈伊大学）
针对现有联合剪枝与量化方法的工程复杂、黑盒优化和泛化不足问题，提出GETA框架，通过量化感知依赖图、部分投影随机梯度及联合学习策略，在CNN和Transformer上实现更优的压缩性能。
2025-02-23 cs.AI cs.CV cs.LG
SNIP: Single-shot Network Pruning based on Connection Sensitivity
University of Oxford（牛津大学）
修剪大型神经网络，同时保持其性能往往是可取的，由于减少的空间和时间复杂度。在现有的方法中，修剪是在迭代优化过程中完成的，其中使用的是按时间顺序设计的修剪时间表或附加的超参数，这削弱了它们的效用。在这项工作中，我们提出了一种新的方法，在训练之前的初始化阶段修剪给定的网络。为了实现这一目标，我们引入了一个显着性标准的基础上连接的敏感性，确定结构上重要的连接在网络中的给定任务。这消除了对预训练和复杂修剪时间表的需要，同时使其对架构变化具有鲁棒性。修剪后，稀疏网络以标准方式进行训练。我们的方法在MNIST、CIFAR-10和Tiny-ImageNet分类任务上获得了与参考网络几乎相同的精度，并且广泛适用于各种架构，包括卷积、残差和递归网络。与现有的方法不同，我们的方法使我们能够证明保留的连接确实与给定的任务相关。
2019-02-23 cs.CV cs.LG
Stochastic Model Pruning via Weight Dropping Away and Back
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
深度神经网络在各种具有挑战性的任务上取得了巨大的成功。然而，大多数成功的DNN具有极其复杂的结构，这导致了对模型压缩的广泛研究。作为模型压缩的一个重要进展领域，传统的渐进修剪方法涉及迭代修剪-再训练过程，并且可能遭受两个关键问题：局部重要性判断，其中修剪的权重在当前模型中仅仅是不重要的;以及不可恢复的修剪过程，其中修剪的权重没有机会回来。针对这两个问题，本文提出了下降修剪的方法，利用随机优化的修剪过程中，在每个修剪步骤，即下降，随机删除一些不重要的权重，并回落，随机恢复一些修剪的权重引入一个下降的策略。丢弃概率的适当选择减小了修剪过程中的模型大小，并帮助其流向目标稀疏度。与随机训练一个紧凑的模型进行剪枝的贝叶斯方法相比，我们直接针对随机渐进剪枝。我们提供了一个详细的分析表明，下降和回落的方法有各自的贡献。此外，与最先进的权重修剪和贝叶斯训练方法相比，Drop Pruning可以在许多基准任务上实现具有竞争力的压缩性能和准确性。
2020-04-10 cs.LG stat.ML
Differentiable Joint Pruning and Quantization for Hardware Efficiency
Qualcomm AI Research（高通人工智能研究院）；University of California, Irvine（加利福尼亚大学尔湾分校）
我们提出了一个可微的联合修剪和量化（DJPQ）计划。我们将神经网络压缩作为一个联合的基于梯度的优化问题，在模型修剪和量化之间自动权衡硬件效率。DJPQ将基于变分信息瓶颈的结构化剪枝和混合位精度量化结合到一个可微的损失函数中。与以前分别考虑修剪和量化的工作相比，我们的方法使用户能够在单个训练过程中找到两者之间的最佳权衡。为了利用更有效的硬件推理的方法，我们扩展DJPQ集成结构化修剪与权力的2位限制量化。我们表明，DJPQ显着减少了几个网络的位操作（BOP）的数量，同时保持了原始浮点模型（例如，ImageNet上ResNet18的BOP减少了53倍，MobileNetV2中减少了43倍）。与传统的两阶段方法相比，该方法独立地优化了修剪和量化，我们的方案在准确性和BOP方面都优于传统方法。即使在考虑比特限制量化时，DJPQ也比两阶段方法实现了更大的压缩比和更好的精度。
2021-04-04 cs.LG stat.ML
Weight Pruning via Adaptive Sparsity Loss
NTUA（雅典国立技术大学）
近年来，修剪神经网络作为一种压缩最先进的深度神经网络并使其能够在资源受限的设备上部署的手段重新引起了人们的兴趣。在本文中，我们提出了一个鲁棒的压缩学习框架，可以在训练过程中以最小的计算开销有效地修剪网络参数。我们采用快速机制来修剪各个层，并在此基础上在用户定义的预算约束下自动修剪整个网络。我们的端到端网络修剪方法的关键是制定一个直观且易于实现的自适应稀疏性损失，用于在训练期间显式控制稀疏性，从而实现高效的稀疏感知优化。大量的实验证明了CIFAR和ImageNet数据集上使用不同架构（包括AlexNet，ResNets和Wide ResNets）的图像分类框架的有效性。
2020-06-04 cs.LG stat.ML
Post-training deep neural network pruning via layer-wise calibration
Intel Corporation（英特尔公司）
我们提出了一种用于深度神经网络的训练后权重修剪方法，该方法可以达到生产设置所能容忍的准确度水平，并且速度足够快，可以在台式机CPU或边缘设备等商用硬件上运行。我们提出了一个无数据的扩展方法的计算机视觉模型的基础上自动生成的合成分形图像。我们获得了无数据神经网络修剪的最新结果，在ImageNet上的ResNet 50在50%稀疏率下的top@1精度下降约1.5%。当使用真实数据时，我们能够在ImageNet上获得具有65%稀疏率的ResNet 50模型，8位精度，在训练后设置中具有约1%的top@1精度下降。我们将代码作为OpenVINO（TM）Post-Training Optimization工具的一部分发布。
2021-04-30 cs.AI cs.CV cs.LG
NPAS: A Compiler-aware Framework of Unified Network Pruning and Architecture Search for Beyond Real-Time Mobile Acceleration
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；Rice University（莱斯大学）；Michigan State University（密歇根州立大学）
随着在移动边缘设备上高效部署DNN的需求不断增长，减少不必要的计算并提高执行速度变得更加重要。包括模型压缩和网络架构搜索（NAS）在内的实现该目标的现有方法在很大程度上是独立执行的，并且没有充分考虑编译器级优化，而编译器级优化是移动加速必须做的。在这项工作中，我们首先提出了（i）适用于各种DNN层的细粒度结构化修剪的一般类别，以及（ii）支持不同DNN和不同修剪方案的综合编译器自动代码生成框架，弥补了模型压缩和NAS的差距。我们进一步提出了NPAS，编译器感知的统一网络修剪和架构搜索。为了处理大的搜索空间，我们提出了一个基于强化学习的元建模过程，具有快速评估和贝叶斯优化，确保与代表性NAS框架的总训练次数相当。我们的框架在现成的手机上分别实现了6.7ms，5.9ms，3.9ms的ImageNet推理时间，78.2%，75%（MobileNet-V3级别）和71%（MobileNet-V2级别）的Top-1准确率，始终优于先前的工作。
2021-06-17 cs.AI cs.CV cs.LG
Advancing underwater acoustic target recognition via adaptive data pruning and smoothness-inducing regularization
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beihang University（北京航空航天大学）
针对水声船舶信号稀缺且周期性重复导致双重下降的问题，提出基于交叉熵的自适应数据剪枝，并结合带噪样本与KL散度平滑正则化，在低资源场景下显著超越现有方法。
2023-04-24 cs.LG cs.SD eess.AS
SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization
Google Research（谷歌研究院）
该研究结合可微分剪枝与组合优化，提出SequentialAttention++框架，理论证明其非凸正则化特性与近似最优性，在ImageNet和Criteo数据集上实现块剪枝任务的SOTA性能。
2025-02-10 cs.LG
IDAP++: Advancing Divergence-Based Pruning via Filter-Level and Layer-Level Optimization
Wayy LLC（Wayy公司）；Miami, FL 33132, USA（美国佛罗里达州迈阿密33132）
IDAP++通过滤波器级和层级优化提升基于分歧的神经网络剪枝，实现高效模型压缩与保持性能。
2025-11-25 cs.AI cs.LG
Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks
Stony Brook University（石溪大学）
本研究率先将梯度采样优化技术StochGradAdam整合到神经网络剪枝中，解决了资源受限场景下剪枝模型保持准确性的挑战，在CIFAR-10和残差架构上验证了其能有效保持性能。
2024-04-29 cs.LG
Advancing IIoT with Over-the-Air Federated Learning: The Role of Iterative Magnitude Pruning
National University of Sciences & Technology (NUST)（巴基斯坦国立科技大学）；University of Calgary（卡尔加里大学）；University of Sussex（萨塞克斯大学）
针对工业物联网中外围智能单元资源受限的问题，提出在空中联邦学习环境中集成迭代幅度剪枝技术，以获取紧凑且鲁棒的高性能深度神经网络模型。
2024-03-21 cs.AI cs.LG eess.SP
ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models
Massachusetts Institute of Technology（麻省理工学院）
ALPS提出基于算子分裂与预条件共轭梯度的优化剪枝框架，在高度稀疏的LLM上显著降低困惑度并提升零样本性能。
2025-09-08 cs.LG
Combined Pruning for Nested Cross-Validation to Accelerate Automated Hyperparameter Optimization for Embedded Feature Selection in High-Dimensional Data with Very Small Sample Sizes
Ostfalia University of Applied Sciences（东法利亚应用科学大学）；Clausthal University of Technology（克劳斯塔尔工业大学）；Helmholtz Centre for Infection Research（亥姆霍兹感染研究中心）
工作背景：在样本量非常小的高维数据中嵌入特征选择需要优化模型构建过程的超参数。对于这种超参数优化，必须应用嵌套交叉验证以避免有偏差的性能估计。由此产生的高维数据的重复训练导致非常长的计算时间。此外，很可能观察到由微小验证集中的离群值引起的个体性能评估度量的高方差。因此，早期停止应用标准修剪算法以节省时间有可能丢弃有希望的超参数集。测试结果：为了加快小样本高维数据的特征选择，我们采用了一种最先进的异步连续减半修剪器。此外，我们结合它与两个互补的修剪策略的基础上领域或先验知识。一种修剪策略立即停止计算具有所选超参数组合的语义上无意义的结果的试验。另一种是一种新的外推阈值修剪策略，适用于性能评估指标方差较大的嵌套交叉验证。在重复的实验中，我们的组合修剪策略保持所有有希望的试验。同时，与单独使用最先进的异步连续减半修剪器相比，计算时间大大减少。达到相同优化结果的训练模型减少了81.3%。结论：所提出的组合修剪策略加速了数据分析或在相同的计算时间内实现了对超参数的更深入搜索。这将大大节省时间、金钱和能源消耗，为先进、耗时的分析打开大门。
2022-09-12 cs.LG
Týr-the-Pruner: Structural Pruning LLMs via Global Sparsity Distribution Optimization
Advanced Micro Devices, Inc.（先进微器件公司）
本文提出端到端全局结构化剪枝框架 Týr-the-Pruner，通过超网络搜索优化各层稀疏度分布，在剪去 Llama-3.1-70B 半数参数时保留97%性能。
2025-10-21 cs.LG
Preserving Deep Representations In One-Shot Pruning: A Hessian-Free Second-Order Optimization Framework
MIT（麻省理工学院）；MIT Operations Research Center（麻省理工学院运筹学中心）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；MIT Center for Statistics（麻省理工学院统计中心）
针对现有单次剪枝方法未考虑深层网络表示的问题，提出SNOWS框架，通过优化考虑深层非线性激活的全局重构目标，结合无需海森矩阵的二阶优化高效求解，可适配现有稀疏掩码，在残差网络和ViT等基准上取得SOTA结果。
2024-11-27 cs.LG
Prospect Pruning: Finding Trainable Weights at Initialization using Meta-Gradients
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；Samsung AI Center（三星人工智能中心）
在初始化时修剪神经网络将使我们能够找到保留原始网络准确性的稀疏模型，同时消耗更少的训练和推理计算资源。然而，目前的方法不足以实现这种优化，并导致模型性能大幅下降。在本文中，我们确定了当前方法的一个基本限制，即它们的显着性标准在训练开始时只考虑单步的，而没有考虑网络的可训练性。虽然修剪迭代和逐步已被证明可以提高修剪性能，但到目前为止，显着性标准的计算中还没有明确考虑修剪之后立即进行的训练阶段。为了克服现有方法的短视，我们提出了前景修剪（ProsPr），它通过优化的前几步使用元梯度来确定要修剪的权重。ProsPr结合了修剪对损失的高阶影响的估计和优化轨迹来识别可训练的子网络。与现有的初始化修剪方法相比，我们的方法在各种视觉分类任务上实现了最先进的修剪性能，具有更少的数据和Single Shot。
2022-04-05 cs.LG
Advancing Weight and Channel Sparsification with Enhanced Saliency
NVIDIA（英伟达）
本文提出一种增强给定重要性准则的稀疏化范式，通过分离活跃结构与探索空间并一致引导剪枝与生长，在非结构化和结构化稀疏中均实现最先进性能并大幅降低训练成本。
2025-02-05 cs.CV cs.LG
Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning
Massachusetts Institute of Technology（麻省理工学院）
提出一种结合内存剪枝和有界优化的可泛化贝叶斯优化包装器，将计算时间从多项式增长转变为非递增锯齿状模式，且不牺牲收敛性能，适用于任意代理模型和采集函数。
2023-09-08 cs.LG
Bayesian Optimization with Clustering and Rollback for CNN Auto Pruning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
剪枝是卷积神经网络（CNN）模型压缩的一种有效技术，但由于设计空间大，很难找到最优的剪枝策略。为了提高剪枝的可用性，人们提出了许多自动剪枝方法。近年来，贝叶斯优化（BO）由于其坚实的理论基础和较高的采样效率而被认为是一种有竞争力的自动剪枝算法。然而，BO遭受维度灾难。当修剪深CNN时，BO的性能恶化，因为设计空间的维度增加。我们提出了一种新的聚类算法，降低了设计空间的维数，以加快搜索过程。随后，提出了一种回滚算法来恢复高维设计空间，以获得更高的剪枝精度。我们在ResNet，MobileNetV1和MobileNetV2模型上验证了我们提出的方法。实验表明，该方法在不增加运行时间的情况下，在修剪深度CNN时显着提高了BO的收敛速度。源代码可在https://github.com/fanhanwei/BOCR上获得。
2022-07-25 cs.AI cs.LG
Theoretically Grounded Pruning of Large Ground Sets for Constrained, Discrete Optimization
Texas A&M University（德克萨斯农工大学）
本文提出轻量级剪枝算法 QuickPrune，用于快速剔除大规模组合优化基集中的冗余元素，并在理论上保证最优值保留比例，实验表明其可剪除超90%元素且优于现有经典与机器学习方法。
2024-10-23 cs.DS cs.LG
GRPOformer: Advancing Hyperparameter Optimization via Group Relative Policy Optimization
1College of Information；Electrical Engineering, \ Agricultural University, Beijing 100083, China；Electrical Engineering, \ Agricultural University, Beijing 100083, China 2Key Laboratory of Agricultural Machinery Monitoring
本文提出GRPOformer框架，将分组相对策略优化与Transformer结合用于超参数优化，并引入策略扰动正则化提升训练稳定性，在OpenML上一致优于基线方法。
2025-09-21 cs.LG
SPAP: Structured Pruning via Alternating Optimization and Penalty Methods
Department of Mathematics The University of Hong Kong（数学系香港大学）
本文提出基于交替优化与罚方法的LLM结构化剪枝框架SPAP，通过混合整数优化建模和交替最小化算法，在OPT、LLaMA等模型上实现线性加速与内存降低，同时保持性能。
2025-05-06 cs.AI cs.LG math.OC
Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning
KAIST EE（韩国科学技术院电子工程学院）；KAIST AI（韩国科学技术院人工智能学院）
基于幅度的剪枝是对神经网络进行剪枝的最简单的方法之一。尽管它的简单性，基于幅度的修剪和它的变种表现出显着的性能修剪现代架构。基于观察，基于幅度的修剪确实最大限度地减少了Frobenius失真的线性算子对应于一个单一的层，我们开发了一个简单的修剪方法，创造前瞻修剪，通过扩展单层优化到多层优化。我们的实验结果表明，所提出的方法在各种网络（包括VGG和ResNet）上的性能始终优于基于幅度的修剪，特别是在高稀疏性的情况下。请参见www.example.com获取代码。
2020-02-12 cs.LG stat.ML
ExperienceThinking: Constrained Hyperparameter Optimization based on Knowledge and Pruning
Harbin Institute of Technology（哈尔滨工业大学）；University of California San Diego（加州大学圣迭戈分校）
机器学习算法对超参数非常敏感，并且它们的评估通常是昂贵的。用户迫切需要智能方法根据已知的评价信息快速优化超参数设置，从而降低计算成本，提高优化效率。受此启发，我们提出了ExperienceThinking算法，以快速找到最好的可能的超参数配置的机器学习算法在几个配置评估。ExperienceThinking设计了两种新的方法，分别从搜索空间剪枝和知识利用两个方面智能地推断最优配置。两种方法相辅相成，有效地解决了约束超参数优化问题。为了证明ExperienceThinking的好处，我们将其与3个经典的超参数优化算法进行了比较，这些算法具有少量的配置评估。实验结果表明，我们提出的算法提供了优越的结果，并取得更好的性能。
2020-05-04 cs.LG stat.ML
Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization
Beihang University（北航大学）；Zhongguancun Academy（中关村学院）；Communication University of China（中国通信大学）
DPPO通过动态剪枝和重要性采样修正，实现高效基于群体的策略优化，提升训练速度并提高准确率。
2026-03-04 cs.AI cs.LG
CAE-ADMM: Implicit Bitrate Optimization via ADMM-based Pruning in Compressive Autoencoders
Shanghai High School（上海中学）；Kent School（肯特学校）
我们介绍了ADMM修剪压缩自动编码器（CAE-ADMM），使用交替方向乘法（ADMM），以优化失真和有损图像压缩效率之间的权衡。具体来说，ADMM在我们的方法是促进稀疏性隐式优化比特率，不同的熵估计在以前的研究中使用。在公开数据集上的实验表明，该方法在合理的推理速度下，在SSIM/MS-SSIM指标方面优于原始CAE和一些传统的编解码器。
2019-02-09 cs.CV cs.LG
Advancing Bayesian Optimization via Learning Correlated Latent Space
Korea University（高丽大学）；Computer Science & Engineering（计算机科学与工程学院）
针对潜在空间优化与输入空间固有差距导致次优解的问题，提出 CoBO 方法，通过 Lipschitz 正则化、损失加权和 trust region 重新协调学习相关潜在空间，在分子设计等离散数据任务的小预算内实现高性能。
2023-11-20 cs.LG
Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学学院）
本文提出一种无需反向传播的优化式结构化剪枝方法，通过在概率空间中学习伯努利分布采样剪枝掩码，并利用策略梯度优化，实现大语言模型的高效全局异构剪枝。
2025-07-03 cs.CL cs.LG stat.ML
OSSCAR: One-Shot Structured Pruning in Vision and Language Models with Combinatorial Optimization
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
本文提出OSSCAR，一种基于组合优化的高效一次性结构化剪枝框架，通过逐层重建与低秩更新实现高效局部搜索，在视觉与语言模型上显著降低困惑度并提升推理速度，支持数百亿参数规模。
2024-03-02 cs.CV cs.LG
Unifying Depth and Width Pruning for LLMs via Binary Knapsack Optimization
Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（德里印度理工学院亚迪人工智能学院）；Indian Institute of Technology Delhi（德里印度理工学院）；Microsoft Research (MSR) India（微软研究院印度分部）
研究针对LLMs结构化剪枝的贪心启发式算法缺陷，提出SNIPER两阶段剪枝框架，引入CRAFT量化预算保真度，在多架构多任务上较现有剪枝器实现性能与稳定性提升，泛化性强。
2026-08-14 cs.CL cs.LG
Structured Pruning for Diverse Best-of-N Reasoning Optimization
The Chinese University of Hong Kong（香港中文大学）
针对 best-of-N 推理优化，本文提出 SPRINT 对比学习框架，在推理时依据问题与注意力头嵌入动态选择可剪枝的头和层，从而提升模型在数学推理任务上的表现。
2025-06-09 cs.CL cs.LG
Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks
Politecnico di Torino（都灵理工大学）
提出一种基于梯度的硬件感知联合剪枝与逐通道混合精度量化方法，在保证准确率的同时大幅缩减模型尺寸并显著降低训练时间。
2024-09-24 cs.LG
Pruning-Based TinyML Optimization of Machine Learning Models for Anomaly Detection in Electric Vehicle Charging Infrastructure
University of Western Ontario（西安大略大学）
针对电动汽车充电基础设施资源受限场景下的异常检测需求，提出结合Optuna超参调优、SHAP特征选择与非结构化剪枝的TinyML优化方法，在CICEVSE2024数据集上验证了可大幅缩减MLP、LSTM、XGBoost模型的大小与推理时间，且性能损失极小。
2025-03-19 cs.LG eess.SP
Self-focusing virtual screening with active design space pruning
Harvard University（哈佛大学）；MIT（麻省理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；IBM Research Europe（IBM欧洲研究院）
高通量虚拟筛选是小分子发现中不可或缺的技术。在分子库非常大的情况下，穷举虚拟筛选的成本可能过高。与随机选择相比，模型引导的优化已被用于通过显著提高样本效率来降低这些成本。然而，这些技术通过代理模型训练和推理步骤向工作流引入了新的成本。在这项研究中，我们提出了一个扩展的框架模型引导的优化，减轻推理成本使用的技术，我们称之为设计空间修剪（DSP），不可逆地删除性能差的候选人的考虑。我们研究了DSP的应用程序的各种优化任务，并观察到显着降低开销成本，同时表现出类似的性能的基线优化。DSP代表了模型引导优化的一个有吸引力的扩展，它可以限制优化设置中的开销成本，其中这些成本相对于目标成本（例如对接）是不可忽略的。
2022-05-03 cs.LG q-bio.QM
Data-Efficient Structured Pruning via Submodular Optimization
Samsung - SAIT AI Lab（三星-三星先进技术研究院人工智能实验室）；Harvard University（哈佛大学）；Mila（米拉研究所）；Université de Montreal（蒙特利尔大学）
结构化剪枝是压缩大型预训练神经网络而不显著影响其性能的有效方法。然而，大多数当前的结构化修剪方法不提供任何性能保证，并且经常需要微调，这使得它们不适用于有限的数据制度。我们提出了一个原则性的数据有效的结构化修剪方法的基础上子模块优化。特别地，对于给定的层，我们选择要修剪的神经元/通道以及下一层的相应新权重，这使得修剪引起的下一层输入的变化最小化。我们表明，这个选择问题是一个弱次模极大化问题，因此它可以证明近似使用一个有效的贪心算法。在合理的假设下，我们的方法保证在原始模型和修剪后的模型输出之间具有指数递减的误差。它也是文献中仅使用有限数量的训练数据且不使用标签的少数方法之一。我们的实验结果表明，我们的方法优于国家的最先进的方法在有限的数据制度。
2023-02-10 cs.AI cs.DM cs.LG
Rethinking Pruning for Backdoor Mitigation: An Optimization Perspective
School of Cyber Science and Engineering, Shanghai Jiao Tong University（上海交通大学网络空间安全学院）
本文提出结合图神经网络与强化学习的优化神经元剪枝方法，通过建模神经元连接并学习剪枝策略，有效清除后门攻击植入的神经元，实现后门缓解的最优性能。
2024-05-28 cs.AI cs.CR cs.LG
