Robust Few-Shot Ensemble Learning with Focal Diversity-Based Pruning
Georgia Institute of Technology(佐治亚理工学院)
提出 FusionShot 少样本集成方法,通过多通道融合、焦点误差多样性剪枝和可学习组合权重,提升模型在新任务、跨域及对抗场景下的鲁棒性与泛化性。
2024-04-05 cs.CV cs.LG
SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency
Northeastern University(东北大学);IBM Watson Lab(IBM Watson实验室)
结构化权重修剪是DNN的代表性模型压缩技术,用于硬件效率和推理加速。以往的工作在这方面留下了很大的改进空间,因为稀疏结构与不同的结构化修剪方案的组合没有充分和有效地利用。为了减轻这些限制,我们提出了SS-Auto,一个单次,自动结构化修剪框架,可以同时实现行修剪和列修剪。我们采用软约束为基础的配方,以减轻强大的非凸性的l0范数约束中使用的最先进的ADMM为基础的方法,更快的收敛速度和更少的超参数。而不是直接解决问题,提出了一个Primal-Proximal解决方案,以避免惩罚所有权重相等的陷阱,从而提高精度。在CIFAR-10和CIFAR-100数据集上的大量实验表明,该框架可以在保持准确性的同时实现超高的剪枝率。此外,通过对智能手机的实际测量,从所提出的框架中观察到了显著的推理加速。
2020-01-23 cs.CV cs.LG cs.NE
Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations
本文发现剪枝网络性能下降的根源是信号坍缩,提出REFLOW方法在不更新权重的情况下缓解该问题,使幅度剪枝在ImageNet上以20%权重将ResNeXt101精度从4.1%提升至78.9%,超越现有方法。
2025-02-18 cs.AI cs.CV cs.LG
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research(新加坡科技研究局资讯通信研究院);College of Computer Science, Sichuan University(四川大学计算机学院);Nanyang Technological University(南洋理工大学)
由于深度神经网络(DNN)通常被过度参数化并且具有数百万个权重参数,因此将这些大型DNN模型部署在资源受限的硬件平台上是具有挑战性的,例如,智能手机许多网络压缩方法如修剪和量化被提出来显著减小模型大小,其中关键是找到合适的压缩分配(例如,修剪稀疏性和量化码本)。现有的解决方案以迭代/手动的方式获得压缩分配,同时微调压缩模型,因此存在效率问题。与现有技术不同的是,本文提出了一种新的单次剪枝量化(OPQ)算法,该算法仅使用预先训练的权重参数解析地解决了压缩分配问题。在微调期间,压缩模块是固定的,并且仅更新权重参数。据我们所知,OPQ是第一个揭示预训练模型足以同时解决修剪和量化的工作,而无需在微调阶段进行任何复杂的迭代/手动优化。此外,我们提出了一个统一的信道级量化方法,强制每一层的所有通道共享一个共同的码本,这导致低比特率分配,而不会引入传统的信道级量化带来的额外开销。使用AlexNet/MobileNet-V1/ResNet-50在ImageNet上进行的综合实验表明,与现有技术相比,我们的方法提高了准确性和训练效率,同时获得了更高的压缩率。
2022-05-23 cs.CV cs.LG
How to Score Experts for One-Shot MoE Expert Pruning: A Systematic Formulation and Selection Principle
Zhejiang University(浙江大学);Westlake University(西湖大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学)
提出一次性MoE专家剪枝的统一公式,基于路由频率、门控权重和激活强度三个因素,推导出任务无关剪枝应使用基于激活的准则,任务特定剪枝可保留路由频率和门控信息,并据此提出两种新准则MAN和MSAN,在多个模型和基准上取得最优性能。
2026-11-02 cs.LG
One-Shot Multi-Rate Pruning of Graph Convolutional Networks
Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);LIP6(LIP6实验室)
提出多速率幅度剪枝(MRMP)方法,联合训练图卷积网络拓扑与权重,实现任意剪枝率的一次性剪枝,在骨架识别任务上高剪枝率下性能显著提升。
2023-12-29 cs.CV
The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning
提出图灵测试网络(TTN)作为任务无关的“裁判”,通过对抗性交互在数据集上下文中评估伪标签,无需监督或重训练即可提升标签准确性,并实现零样本任务迁移。
2026-07-01 cs.AI cs.CV cs.LG
Meta-Learning Guided Pruning for Few-Shot Plant Pathology on Edge Devices
Department of CSE, Muffakham Jah College of Engineering and Technology (MJCET)(计算机科学与工程系,穆法卡姆·贾赫工程与技术学院(MJCET))
本文提出DACIS方法,结合神经网络剪枝与少样本学习,实现边缘设备上高效植物疾病识别,实验表明模型大小减小78%且保持92.3%的精度。
2026-05-16 cs.CV cs.LG
TraceNAS: Zero-shot LLM Pruning via Gradient Trace Correlation
TraceNAS通过梯度轨迹相关性实现零样本LLM剪枝,高效发现高保真剪枝模型,减少GPU计算成本并提升模型性能。
2026-02-02 cs.CL cs.LG
Keep the Needle, Prune the Haystack: Defect-Preserving Token Pruning for Efficient Zero-Shot Anomaly Detection
针对零样本异常检测中令牌剪枝的不对称风险,提出KeepAD框架,通过分层剪枝策略结合自蒸馏,在大幅减少令牌量的同时保持检测性能,实现7.9倍加速。
2026-08-11 cs.CV
DeepCuts: Single-Shot Interpretability based Pruning for BERT
随着语言模型在参数和层次上的增长,在单个GPU上用它们进行训练和推理变得更加困难。这严重限制了大语言模型的可用性,例如GPT-3、BERT-Large等。解决此问题的常用技术是通过删除Transformer头、全连接权重和其他模块来修剪网络架构。主要的挑战是区分重要的参数和不太重要的参数。我们的目标是找到强有力的指标来识别这些参数。因此,我们提出了两种策略:基于GradCAM解释的凸轮切割,和基于SmoothGrad的平滑切割,用于计算重要性分数。通过这项工作,我们表明我们的评分函数能够为网络参数分配更多相关的基于任务的分数,因此我们的修剪方法显着优于标准的权重和基于梯度的策略,特别是在基于BERT的模型中具有更高的压缩比。我们还分析了我们的修剪掩码,发现它们与使用标准度量获得的掩码有显著不同。
2022-12-27 cs.AI cs.CL cs.CV
REAP the Experts: Why Pruning Prevails for One-Shot MoE compression
Cerebras Systems Inc.(Cerebras系统公司);Schulich School of Engineering, University of Calgary(卡莱尔大学施密特工程学院)
本文提出REAP剪枝方法,通过结合路由门值和专家激活范数,有效减少生成任务中的重建误差,优于合并和其他剪枝方法,尤其在50%压缩下表现优异。
2026-05-13 cs.AI cs.LG
SuperSAM: Crafting a SAM Supernetwork via Structured Pruning and Unstructured Parameter Prioritization
Iowa State University(爱荷华州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Intel Labs(英特尔实验室)
本研究针对一次性NAS搜索空间设计难题,提出通过逐层结构化剪枝与参数优先级排序将SAM转化为超网络SuperSAM的策略,所得子网络比原SAM ViT-B小30%-70%且性能更优,为ViT NAS搜索空间设计提供了新方法。
2025-01-15 cs.CV cs.LG
Pruning Self-Attention for Zero-Shot Multi-Speaker Text-to-Speech
Yonsei University(延世大学);NAVER Cloud(NAVER云)
本文提出一种针对Transformer的稀疏注意力剪枝方法,通过剪除低权重自注意力连接并引入可微分阈值学习,提升零样本多说话人TTS的泛化能力,实验验证了语音质量和说话人相似性的改善。
2023-08-28 cs.LG cs.SD eess.AS
Teacher-Guided One-Shot Pruning via Context-Aware Knowledge Distillation
Apurba-NSU R&D Lab, Department of Electrical and Computer Engineering, North South University, Dhaka, Bangladesh(阿普尔巴-NSU研发实验室,电气与计算机工程系,北方南大学,达卡,孟加拉国);Apurba Technologies, Sunnyvale, CA 94085, USA(阿普尔巴技术公司,硅谷,加利福尼亚州94085,美国)
教师引导的一次性剪枝通过上下文感知的知识蒸馏,实现高效剪枝与性能保持,适用于资源受限环境。
2025-11-20 cs.AI cs.CV
Zero-TPrune: Zero-Shot Token Pruning through Leveraging of the Attention Graph in Pre-Trained Transformers
Princeton University(普林斯顿大学)
本文提出零样本 token 剪枝方法 Zero-TPrune,利用预训练 Transformer 注意力图和 WPR 算法综合评估 token 重要性与相似性,无需微调即可显著降低视觉 Transformer 的 FLOPs 并提升吞吐量。
2024-04-07 cs.AI cs.CV cs.LG
LiePrune: Lie Group and Quantum Geometric Dual Representation for One-Shot Structured Pruning of Quantum Neural Networks
School of Computer, Jiangsu University of Science and Technology(江苏科技大学计算机学院);Department of Electrical and Computer Engineering, University of Nevada, Las Vegas(内华达大学拉斯维加斯分校电子与计算机工程系)
LiePrune 是首个基于李群和量子几何双表示的量子神经网络单次结构剪枝框架,实现超过 10 倍压缩且性能无显著下降。
2025-12-10 cs.CV quant-ph
Subspace Node Pruning
Department of Machine Learning and Neural Computing(机器学习与神经计算系);Donders Institute for Brain, Cognition and Behaviour(大脑、认知与行为研究所);Radboud University(拉德堡德大学)
针对神经网络推理效率提升问题,提出基于正交子空间的节点剪枝方法,可自动确定逐层剪枝比例,在多个经典模型和大语言模型上实现优于现有方法的剪枝效果,且计算成本更低。
2026-11-04 cs.CV cs.LG cs.NE
One-Shot Structured Pruning of Quantum Neural Networks via $q$-Group Engineering and Quantum Geometric Metrics
本文提出 q-iPrune 框架,通过 q-群工程和量子几何度量实现量子神经网络的一次式结构剪枝,保证剪枝后的电路功能等价并减少门数量。
2025-12-30 cs.CV quant-ph
Multi-layer Pruning Framework for Compressing Single Shot MultiBox Detector
IIT Kanpur(印度理工学院坎普尔分校);R&D Center, Hitachi India Pvt. Ltd.(日立印度私人有限公司研发中心);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
我们提出了一个框架,用于压缩国家的最先进的Single Shot MultiBox检测器(SSD)。该框架在以下阶段解决压缩问题:稀疏归纳、过滤器选择和过滤器修剪。在稀疏归纳阶段,通过改进的全局阈值对目标检测器模型进行稀疏化。在过滤器选择和修剪阶段,我们使用两个连续卷积层中过滤器权重的稀疏统计来选择和删除过滤器。这导致模型的尺寸小于大多数现有的紧凑架构。我们使用多个数据集评估我们的框架的性能,并比较多种方法。实验结果表明,我们的方法实现了最先进的压缩6.7倍和4.9倍的PASCAL VOC数据集模型SSD 300和SSD 512分别。我们进一步表明,该方法在德国交通标志检测基准(GTSDB)上使用SSD512产生26倍的最大压缩。此外,我们还经验表明,我们的方法的适应性分类为基础的架构VGG16的数据集CIFAR和德国交通标志识别基准(GTSRB)实现了125倍和200倍的压缩率,减少了90.50%和96.6%的浮点数分别没有损失的准确性。除此之外,我们的方法不需要任何特殊的库或硬件支持的压缩模型。
2018-11-20 cs.CV
SparseSSM: Efficient Selective Structured State Space Models Can Be Pruned in One-Shot
Tongji University(同济大学);Westlake University(西湖大学)
本文提出无需训练的 SparseSSM 框架,通过二阶显著性与组件敏感性分析对 Mamba 等状态空间模型进行一次性剪枝,在零样本准确率无损下剪掉 50% SSM 权重。
2025-06-11 cs.LG
Half the Experts, All the Code: One-Shot Domain Pruning of Mixture-of-Experts LLMs for Coding
研究针对编码任务的专家混合语言模型,通过五种策略对两个模型进行剪枝,探究能移除多少及哪些专家。发现移除一半专家在代码基准测试无损失,损害多在编码外,但获胜策略因模型而异,还揭示了困惑度等问题及剪枝与量化的关系,强调需 per - model 验证。
2026-07-21 cs.LG
LLM-Barber: Block-Aware Rebuilder for Sparsity Mask in One-Shot for Large Language Models
School of Microelectronics, Southern University of Science and Technology(微电子学院,南方科技大学);Department of Electrical and Electronic Engineering, University of Hong Kong(电气与电子工程系,香港大学)
LLM-Barber 是一种新型单次剪枝框架,通过块感知误差优化提升大语言模型剪枝效率,实现高性能与低计算复杂性。
2025-07-26 cs.AI cs.CL cs.LG
Studying the Consistency and Composability of Lottery Ticket Pruning Masks
MIT EECS(麻省理工学院电气工程与计算机科学系);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
幅度修剪是一种常用的,有效的技术,以识别稀疏的子网在很小的成本精度。在这项工作中,我们问一个特定的架构的准确性,稀疏性权衡是否可以通过组合修剪信息在多个运行的训练。从共享的ResNet-20初始化开始,我们使用CIFAR-10上的不同SGD数据命令训练几个网络副本(\emph{siblings})。虽然兄弟姐妹的修剪掩码并不比偶然性更相似,但在几个共享预训练时期后开始兄弟姐妹训练会显着增加修剪重叠。然后,我们选择一个子网络,要么(1)在任何兄弟(掩码联合)中接受所有幸存的修剪权重,要么(2)只接受所有兄弟(掩码交集)中幸存的修剪权重。得到的子网络被重新训练。引人注目的是,我们发现并集和交集掩码的表现非常相似。这两种方法都匹配单次幅度修剪基线的准确性-稀疏性权衡,即使当我们组合来自多达$k = 10$兄弟的掩码时。
2021-04-30 cs.CV cs.LG
Receding Neuron Importances for Structured Pruning
Imperial College London(帝国理工学院)
结构化修剪通过识别和删除不重要的神经元来有效地压缩网络。虽然这可以通过在BatchNorm参数上应用稀疏诱导正则化来优雅地实现,但L1惩罚将缩小所有缩放因子,而不仅仅是多余神经元的缩放因子。为了解决这个问题,我们引入了一个简单的BatchNorm变化与有界缩放参数,基于此,我们设计了一个新的正则化项,只抑制低重要性的神经元。在我们的方法下,不必要的神经元的权重有效地减少,产生重要性的两极化双峰分布。我们表明,以这种方式训练的神经网络可以在更大程度上进行修剪,并且恶化程度更低。我们在CIFAR和ImagenNet数据集上以不同的比率一次性修剪VGG和ResNet架构。在VGG风格的网络的情况下,我们的方法显着优于现有的方法,特别是在严重的修剪制度。
2022-04-13 cs.CV cs.LG
Mapping the Concept Landscape: Structural Perception of Global Distributions for Transparent Data Pruning
Huazhong University of Science and Technology(华中科技大学);Ant Group(蚂蚁集团);Chinese Academy of Sciences(中国科学院)
该研究提出Mapping the Concept Landscape框架,以样本级图刻画语义概念全局分布,开发贪心概念覆盖最大化算法,实现更优数据剪枝效率并提供可解释的审计轨迹。
2026-08-25 cs.CV cs.LG
COPS: Controlled Pruning Before Training Starts
Robert Bosch GmbH(罗伯特·博世有限公司);Lübeck University(吕贝克大学)
最先进的深度神经网络(DNN)修剪技术,在训练开始前一次性应用,借助一个称为修剪分数的标准来评估稀疏架构。基于单独得分的修剪权重对于某些架构和修剪率很有效,但对于其他架构和修剪率也可能失败。作为修剪分数的共同基线,我们引入了广义突触分数(GSS)的概念。在这项工作中,我们不集中在一个单一的修剪标准,但提供了一个框架,结合任意GSS创建更强大的修剪策略。这些组合剪枝分数(COPS)是通过求解约束优化问题获得的。优化多个分数可以防止稀疏网络过度专注于单个任务,因此在训练开始前控制修剪。将COPS给出的组合优化问题松弛到线性规划上。这个LP解析求解,并确定COPS的解决方案。此外,一个算法来计算它的两个分数数值提出和评估。以这种方式求解COPS比最好的一般LP求解器具有更低的复杂度。在我们的实验中,我们比较了修剪与COPS对不同的网络架构和图像分类任务的最先进的方法,并获得了改进的结果。
2021-07-27 cs.CV cs.LG
Investigating the Effect of Network Pruning on Performance and Interpretability
AI Center, Neural Information Processing Group University of Tübingen(人工智能中心、神经信息处理组 汤姆森大学)
本文通过系统应用非结构化、结构化剪枝及连接稀疏方法,研究不同剪枝技术对GoogLeNet在ImageNet验证集上的分类性能和可解释性的影响,发现充分重训练后性能可接近甚至超越原始网络,且可解释性评分与剪枝率无显著关联。
2026-05-23 cs.CV cs.LG
Mosaic Pruning: A Hierarchical Framework for Generalizable Pruning of Mixture-of-Experts Models
拼图剪枝通过分层框架实现混合专家模型的通用剪枝,提升模型在多样化下游任务中的性能。
2025-11-25 cs.AI cs.LG
Sparse Training via Boosting Pruning Plasticity with Neuroregeneration
Eindhoven University of Technology(埃因霍温理工大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Twente(特文特大学);University of Leeds(利兹大学);JD Explore Academy(京东探索研究院);University of Jyväskylä(于韦斯屈莱大学)
彩票假设(LTH)和单次网络剪枝(SNIP)的研究目前在训练后剪枝(迭代幅度剪枝)和训练前剪枝(初始化剪枝)方面引起了广泛的关注。前一种方法具有极大的计算成本,而后者通常与性能不足作斗争。相比之下,在训练期间修剪,一类修剪方法,同时享有的训练/推理效率和可比的性能,暂时,一直较少探索。为了更好地理解训练过程中的修剪,我们从修剪可塑性(修剪网络恢复原始性能的能力)的角度定量研究了整个训练过程中修剪的效果。修剪可塑性可以帮助解释文献中关于神经网络修剪的其他几个经验观察。我们进一步发现,通过注入一种被称为神经再生的大脑启发机制,重新生成与修剪相同数量的连接。我们设计了一种新的渐进幅度修剪(GMP)方法,称为渐进修剪与零成本神经再生(\textbf{GraNet}),这是最先进的。也许最令人印象深刻的是,它的稀疏到稀疏版本首次在ImageNet上使用ResNet-50在不延长训练时间的情况下提高了各种密集到稀疏方法的稀疏到稀疏训练性能。我们在https://github.com/Shiweiliuiiiiiii/GraNet发布所有代码。
2022-02-06 cs.CV cs.LG
CUP: Cluster Pruning for Compressing Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院);IQVIA(艾昆纬)
我们提出了集群修剪(CUP)来压缩和加速深度神经网络。我们的方法通过基于来自传入和传出权重连接的特征对其进行聚类来修剪类似的过滤器。利用CUP,我们克服了先前工作的两个限制-(1)非均匀修剪:CUP可以有效地确定神经网络的每一层中要修剪的过滤器的理想数量。这与现有方法形成对比,现有方法均匀地修剪所有层或以其他方式使用资源密集型方法,例如手动灵敏度分析或强化学习来确定理想数量。(2)单次操作:我们将CUP扩展到CUP-SS(用于CUP Single Shot),从而将修剪集成到初始训练阶段本身。与传统的修剪管道相比,这可以节省大量的训练时间。通过对多个数据集(MNIST,CIFAR-10和Imagenet)和模型(VGG-16,Resnets-18/34/56)的广泛评估,我们表明CUP优于最新技术水平。具体来说,CUP-SS在Imagenet上训练的Resnet-50模型实现了2.2倍的浮点数减少,同时保持在0.9%的前5名准确度内。与原始Resnet-50相比,它节省了超过14小时的培训时间。代码再现结果是可用的。
2019-11-19 cs.CV
Effective pruning of web-scale datasets based on complexity of concept clusters
University of Tübingen(蒂宾根大学);Meta AI (FAIR)(Meta AI(FAIR));ELLIS Institute Tübingen;Max-Planck Institute for Intelligent Systems Tübingen(蒂宾根马克斯·普朗克智能系统研究所);University of California San Diego(加州大学圣迭戈分校);DatologyAI
针对网络规模多模态数据集训练计算成本高的问题,提出基于概念复杂度的自适应剪枝方法,在仅用27.7%LAION数据与算力的情况下,提升了CLIP风格模型在多项任务上的性能,刷新了DataComp Medium基准的ImageNet零样本准确率纪录。
2024-03-12 cs.CV
C-SWAP: Explainability-Aware Structured Pruning for Efficient Neural Networks Compression
Thales cortAIx Lab Montreal, QC, Canada(泰雷兹 cortAIx 实验室,加拿大魁北克省蒙特利尔)
针对现有一次性结构化剪枝易导致性能大幅下降的问题,提出基于可解释深度学习的C-SWAP因果感知剪枝框架,在无需微调的情况下实现了模型体积大幅缩减与性能的最优权衡。
2025-10-21 cs.AI cs.CV cs.LG
Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院);University of International Business and Economics(国际商务经济大学);YanTron Technology Co. Ltd(燕tron技术有限公司);EBTech Co. Ltd(EBTech有限公司)
针对大规模 MoE 模型的内存开销问题,提出 EASY-EP 剪枝框架,利用少样本示例定位并保留领域相关专家,在相同内存预算下以半数专家实现相当性能与 2.99 倍吞吐量。
2025-05-28 cs.CL cs.LG
Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed
Tsinghua University(清华大学);Nuctech AI R&D Center(Nuctech人工智能研发中心)
由于资源受限的平台需要更紧凑的模型来部署,过滤器修剪引起了更多的关注。然而,目前的剪枝方法要么受到一次性方法的性能较差,要么受到迭代训练方法的昂贵时间成本的影响。在本文中,我们提出了一个平衡的过滤器修剪方法的性能和修剪速度。基于过滤器的重要性标准,我们的方法是能够修剪一个层近似逐层的最佳修剪率在预设的损失变化。该网络采用分层修剪的方式进行修剪,避免了耗时的修剪-再训练迭代。如果给定整个网络的一个预定义的修剪率,我们还介绍了一种方法来找到相应的损失变化阈值,收敛速度快。此外,我们提出了层组修剪和信道选择机制,在网络中的信道对齐短连接。所提出的修剪方法广泛适用于常见的架构,除了最后的微调,不涉及任何额外的训练。综合实验表明,我们的方法优于许多国家的最先进的方法。
2020-10-14 cs.CV
Data-Free Pruning of Self-Attention Layers in LLMs
School of Computer Science(计算机科学学院);University of St Andrews(圣安德鲁大学)
无需数据的LLM自注意力层剪枝方法通过Gate-Norm实现高效模型压缩,提升推理吞吐量并保持高准确率。
2026-09-30 cs.AI cs.LG
Which Layer Causes Distribution Deviation? Entropy-Guided Adaptive Pruning for Diffusion and Flow Models
Stanford University(斯坦福大学);North China Electric Power University(华北电力大学);University of Technology Sydney(悉尼科技大学);Harvard University(哈佛大学);University of Science and Technology of China(中国科学技术大学)
本文提出EntPruner,通过熵引导的自适应剪枝方法,有效减少扩散和流模型的参数冗余,提升推理速度并保持生成质量。
2025-11-26 cs.AI cs.CV
Camera-Agnostic Pruning of 3D Gaussian Splats via Descriptor-Based Beta Evidence
Nokia Technologies(诺基亚技术)
本文提出一种无需相机参数的3D高斯点集剪枝方法,通过属性衍生的邻域描述符进行一阶剪枝,引入混合描述符框架并建立Beta证据模型以评估点集可靠性。
2026-08-31 cs.AI cs.CV cs.LG
AIMER: Calibration-Free Task-Agnostic MoE Expert Pruning
Zhejiang University(浙江大学);Westlake University(西湖大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出AIMER方法,通过专家权重的集中度模式识别独特专家,实现免校准的任务无关MoE专家剪枝,在7B至47B模型上优于现有方法。
2026-11-02 cs.LG
A Second-Order Perspective on Pruning at Initialization and Knowledge Transfer
Politecnico di Torino(托斯托纳理工大学)
针对下游任务未知时预训练视觉模型剪枝依赖任务数据的问题,研究发现单任务剪枝可保留跨任务零样本能力,微调还能恢复未见任务性能。
2025-09-28 cs.AI cs.CV
SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training
Qwen Team, Alibaba Inc.(通义实验室,阿里公司);MBZUAI;KAUST(卡士大学)
本文研究了在大规模预训练中如何应用剪枝和知识蒸馏技术,探讨了剪枝在初始化方面的优势、专家压缩对最终模型的影响以及训练策略的有效性,最终将Qwen3-Next-80A3B压缩到23A2B模型并保持竞争力。
2026-05-18 cs.AI cs.CL cs.LG
Neural Pruning via Growing Regularization
Northeastern University(东北大学)
长期以来,正则化一直被用于在深度神经网络修剪中学习稀疏性。但其作用主要是在小刑度制度中探讨的。在这项工作中,我们将其应用扩展到一个新的场景,其中正则化逐渐变大,以解决修剪的两个核心问题:修剪时间表和权重重要性评分。(1)前一个主题是新提出的这项工作,我们发现关键的修剪性能,而很少受到研究的关注。具体来说,我们提出了一个L2正则化变体,其惩罚因子不断增加,并表明即使在删除相同权重的情况下,与单次正则化变体相比,它也可以带来显着的准确性增益。(2)增长惩罚方案还为我们提供了一种方法,可以利用Hessian信息进行更精确的修剪,而无需知道它们的具体值,因此不会受到常见的Hessian近似问题的困扰。从经验上讲,所提出的算法易于实现,并且在结构化和非结构化修剪中可扩展到大型数据集和网络。在CIFAR和ImageNet数据集上使用现代深度神经网络证明了它们的有效性,与许多最先进的算法相比,取得了有竞争力的结果。我们的代码和训练模型可在https://github.com/mingsuntse/regularization-pruning上公开获取。
2021-04-05 cs.AI cs.CV cs.LG
From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);DreamSoul;University of Minnesota(明尼苏达大学);Intel Corporation(英特尔公司)
本文提出GISP,一种基于全局重要性度量的迭代结构剪枝方法,通过去除注意力头和MLP通道提升模型效率和下游任务性能。
2026-04-27 cs.AI cs.CL cs.LG
Sieve: Multimodal Dataset Pruning Using Image Captioning Models
FAIR at Meta(Meta FAIR研究院);University of Toronto(多伦多大学);UC Los Angeles(加州大学洛杉矶分校);DatologyAI(DatologyAI公司)
针对现有CLIPScore剪枝方法的假阳性/阴性问题,提出基于图像字幕模型合成字幕的剪枝信号Sieve,结合语言模型嵌入空间的语义相似度评估图文对齐度,在DataComp基准的下游任务和检索任务上均优于CLIPScore。
2024-03-10 cs.CV
One-Cycle Pruning: Pruning ConvNets Under a Tight Training Budget
University of Mons(蒙斯大学);IP Paris(巴黎理工学院)
在神经网络中引入稀疏性是一种有效的方法,可以降低其复杂性,同时保持其性能几乎不变。大多数情况下,稀疏性是使用三阶段流水线引入的:1)训练模型以使其收敛,2)根据某些标准修剪模型,3)微调修剪后的模型以恢复性能。最后两个步骤通常迭代执行,从而产生合理的结果,但也导致耗时且复杂的过程。在我们的工作中,我们建议摆脱管道的第一步,并将其他两个步骤结合在一个修剪训练周期中,允许模型在修剪的同时联合学习最佳权重。我们通过引入一种新的修剪时间表来实现这一点,称为单周期修剪,该时间表从训练开始时开始修剪,直到训练结束。采用这样的时间表不仅可以提高修剪模型的性能,还可以大大减少修剪模型所需的训练预算。实验在各种架构(VGG-16和ResNet-18)和数据集(CIFAR-10,CIFAR-100和Caltech-101)上进行,并针对相对较高的稀疏值(去除80%,90%,95%的权重)。我们的研究结果表明,单周期修剪始终优于常用的修剪时间表,如一次性修剪,迭代修剪和自动渐进修剪,在固定的训练预算。
2022-07-03 cs.AI cs.CV
MoE-Pruner: Pruning Mixture-of-Experts Large Language Model using the Hints from Its Router
Northeastern University(东北大学);ByteDance Inc.(字节跳动公司)
针对MoE架构内存消耗高和专家冗余问题,提出一次性剪枝方法MoE-Pruner,结合路由器提示剪枝权重,并在无需重训练下显著优于现有方法,结合知识蒸馏后50%稀疏度模型保持99%性能。
2024-10-15 cs.AI cs.CL cs.LG
MultiPruner: Balanced Structure Removal in Foundation Models
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
本研究针对大型预训练模型免训练剪枝问题,在BlockPruner基础上提出MultiPruner,通过残差块、MLP通道、注意力头三维迭代细粒度剪枝恢复结构平衡,兼顾压缩率与下游零样本准确率,在多类模型上验证了优势。
2025-01-17 cs.AI cs.LG
SDMPrune: Self-Distillation MLP Pruning for Efficient Large Language Models
Department of Computer Science Central South University(计算机科学系中南大学)
针对现有基于梯度的LLM剪枝方法用独热标签计算梯度丢失原模型生成信息的问题,提出在剪枝阶段引入自蒸馏损失、聚焦MLP模块剪枝的SDMPrune方法,在零样本基准上性能优于现有剪枝方法,在1B级开源LLM中表现具竞争力。
2025-06-10 cs.AI cs.CL cs.LG
One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression
Jagiellonian University(雅盖隆大学);ETH Zürich(苏黎世联邦理工学院);Wrocław University of Science and Technology(弗罗茨瓦夫科技大学)
本文系统比较了一次性剪枝与迭代剪枝两种策略,发现一次性剪枝在低剪枝率下更有效,而迭代剪枝在高剪枝率下表现更好,并提出了混合方法。
2026-07-01 cs.AI cs.LG
Theoretical Guarantees for One-Shot Magnitude Pruning and Compute-Adaptive Early Exit
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文从统一视角研究神经网络计算缩减,证明一次性幅度剪枝的集中定理,并引入条件感知器早退,其泛化误差随计算差距幂次衰减,扩展至深度网络并验证标度律。
2026-09-14 cs.LG
ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models
Massachusetts Institute of Technology(麻省理工学院)
ALPS提出基于算子分裂与预条件共轭梯度的优化剪枝框架,在高度稀疏的LLM上显著降低困惑度并提升零样本性能。
2025-09-08 cs.LG
Aligned Weight Regularizers for Pruning Pretrained Neural Networks
Huawei Research Center(华为研究中心)
虽然各种途径的研究已经探索了迭代修剪,很少有人知道修剪有什么影响的zero-shot测试性能和修剪标准的选择其潜在的影响。这种修剪设置对于在预训练期间隐式学习语言表示之间的对齐的跨语言模型特别重要,如果通过修剪而扭曲,不仅会导致用于再训练的语言数据的性能较差,而且还会导致评估的zero-shot语言的性能较差。在这项工作中,我们表明,有一个明显的性能差异,在基于幅度的修剪时,比较标准的监督学习的zero-shot设置。根据这一发现,我们提出了两个权重正则化器,旨在最大限度地提高修剪和未修剪网络单元之间的对齐度,以减轻修剪跨语言模型中的对齐失真,并在非zero-shot和zero-shot设置下表现良好。我们提供的实验结果跨语言任务的zero-shot设置使用XLM-RoBERTa $_{\mathrm{Base}}$,我们还发现,修剪有不同程度的代表性退化取决于对应的语言的zero-shot测试集。这也是第一个研究,重点是跨语言的语言模型压缩。
2022-04-05 cs.CL cs.LG
Single Shot Structured Pruning Before Training
University of Oxford(牛津大学)
我们介绍了一种使用在训练前应用的结构化修剪来将深度神经网络中的训练速度加快2倍并将推理速度加快3倍的方法。与以前在训练前修剪单个权重的工作不同,我们的工作开发了一种方法来删除整个通道和隐藏单元,其明确目标是加快训练和推理。我们引入了一个计算感知的评分机制,使修剪单位的灵敏度每FLOP删除,允许更大的速度。我们的方法快速,易于实现,并且在训练开始之前只需要对一批数据进行一次向前/向后传递即可完成修剪。
2020-07-01 cs.LG stat.ML
Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks
Tongji University(同济大学)
针对基于迭代幅度剪枝的图彩票假设方法计算成本高的问题,提出一次性剪枝去噪框架,实现了更高稀疏度与更快速度的双赢。
2024-12-10 cs.LG