Differentiable Bit-Widths: Co-optimizing Pruning and Quantization via SVD for Ultra-Efficient LLM Compression
Ajou University(亚洲大学)
提出可微分位宽方法,在统一框架中协同优化剪枝与量化,通过SVD学习组件级位宽,实现超高效LLM压缩,优于两阶段基线。
2026-10-06 cs.AI cs.CL
Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Corporate Model Risk, Wells Fargo(富国银行企业模型风险部)
近年来,在自然语言处理甚至在计算机视觉中越来越多地采用Transformer模型,例如BERT。然而,由于它们的大小,在资源受限的计算环境中,这种模型的采用有限。提出了一种新的剪枝算法,通过消除冗余的注意头来压缩Transformer模型。我们应用A* 搜索算法来获得具有严格精度保证的修剪模型。实验结果表明,该方法可以消除BERT Transformer模型中多达40%的注意头,而不损失准确性。
2021-11-17 cs.CL cs.LG
Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models
Edison Academy Magnet School(爱迪生学院磁石学校);Massachusetts Institute of Technology(麻省理工学院);State University of New York College at Plattsburgh(纽约州立大学普拉茨堡学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Independent Researcher(独立研究员)
提出无需训练的因果归因剪枝(CAP)方法,通过测量注意力头对推理任务的因果影响进行细粒度剪枝,在20%稀疏度下相比Wanda在ARC-Challenge上准确率提升高达61%。
2026-10-28 cs.CL
Differentiable Fuzzy Inference Layer: A Monotone, Compositional Ordinal Reasoning Head for Large Language Models
Technical University of Munich(慕尼黑工业大学)
针对大语言模型无法组合序数量词的问题,提出可微模糊推理层(DFIL),通过双路径头结合标量瓶颈与隶属函数,实现单调性和t-范数组合推理,无需组合训练数据。
2026-09-23 cs.CL
Deterministic Differentiable Structured Pruning for Large Language Models
Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系)
本文提出确定性可微剪枝方法,通过优化离散l0目标的确定性软替代,减少训练-测试不匹配并提升收敛速度,实验证明在大语言模型中实现高效剪枝。
2026-05-11 cs.CL cs.LG
On the Prunability of Attention Heads in Multilingual BERT
Robert Bosch Centre for Data Science and Artificial Intelligence (RBC-DSAI)(罗伯特·博世数据科学与人工智能中心(RBC-DSAI));IIT Madras(印度理工学院马德拉斯分校)
大型的多语言模型,如mBERT,在跨语言迁移中表现出了希望。在这项工作中,我们采用修剪来量化mBERT的鲁棒性和解释逐层重要性。在四个GLUE任务中,由于修剪而导致的准确性的相对下降在mBERT和BERT上具有几乎相同的结果,这表明多语言模型的注意力能力降低不会影响修剪的鲁棒性。对于跨语言任务XNLI,我们报告了更高的准确性下降,修剪表明跨语言传输的鲁棒性较低。此外,编码器层的重要性敏感地取决于语言家族和预训练语料库的大小。顶层受微调影响相对较大,编码类似英语(SVO)的语言的重要信息,而底层受微调影响相对较小,对粘着和低资源语言特别重要。
2021-09-26 cs.CL
SAP: Syntactic Attention Pruning for Transformer-based Language Models
Institute of Information Science, Academia Sinica(学术院信息研究所)
SAP通过结合句法结构和注意力模式,提升Transformer模型的剪枝效果和可解释性,优于现有方法。
2025-12-22 cs.CL cs.LG
Entropy Meets Importance: A Unified Head Importance-Entropy Score for Stable and Efficient Transformer Pruning
Department of Computer Science and Engineering, Korea University, Seoul, South Korea(计算机科学与工程系,韩国大学,首尔,韩国);School of Software, Soongsil University, Seoul, South Korea(软件学院,顺天大学,首尔,韩国)
本文提出HIES剪枝方法,结合头部重要性评分与注意力熵,提升Transformer模型的压缩效率和稳定性。
2026-02-02 cs.AI cs.CL cs.LG
Structured Pruning for Diverse Best-of-N Reasoning Optimization
The Chinese University of Hong Kong(香港中文大学)
针对 best-of-N 推理优化,本文提出 SPRINT 对比学习框架,在推理时依据问题与注意力头嵌入动态选择可剪枝的头和层,从而提升模型在数学推理任务上的表现。
2025-06-09 cs.CL cs.LG
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers
针对多语言Transformer模型随适配语言增多性能下降的干扰问题,提出用Shapley值识别引发干扰的注意力头并剪枝的方法,最高可提升目标语言任务性能24.7%,并通过可视化提供了相关洞见。
2022-10-11 cs.CL cs.LG
HeadRouter: Dynamic Head-Weight Routing for Task-Adaptive Audio Token Pruning in Large Audio Language Models
EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室);DAIL Tech(DAIL科技);Northeastern University(东北大学);Sichuan University(四川大学);Huazhong University of Science and Technology(华中科技大学)
HeadRouter通过动态评估不同音频任务中注意力头的重要性,实现高效的音频标记压缩,实验表明其在多个基准上均取得最佳压缩效果。
2026-04-26 cs.CL cs.SD
Assortment of Attention Heads: Accelerating Federated PEFT with Head Pruning and Strategic Client Selection
Department of Electrical Engineering, Yale University(耶鲁大学电气工程系);Intel Labs(英特尔实验室)
提出一种在联邦学习框架内通过头剪枝、特定头加权聚合和客户端选择策略加速大型语言模型PEFT的方法,在保持准确率的同时大幅降低通信与训练开销。
2025-05-31 cs.AI cs.CL cs.DC
Gender Biases and Where to Find Them: Exploring Gender Bias in Pre-Trained Transformer-based Language Models Using Movement Pruning
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
语言模型去偏已经成为自然语言处理领域的一个重要研究领域。提出了许多去偏置技术,但偏置消融仍然是一个未解决的问题。我们展示了一种新的框架,用于通过运动修剪来检查预训练的基于transformer的语言模型中的偏差。给定一个模型和一个去偏置目标,我们的框架会找到一个包含比原始模型更少偏差的模型子集。我们通过修剪模型来实现我们的框架,同时根据去偏目标对其进行微调。优化的只是修剪分数--与模型权重相结合的参数,这些参数充当门。我们尝试修剪注意力头部,这是Transformers的一个重要组成部分:我们修剪正方形块,并建立了一种修剪整个头部的新方法。最后,我们展示了我们的框架使用性别偏见,并根据我们的研究结果,我们提出了一个改进现有的去偏置方法。此外,我们重新发现了一个偏差-性能权衡:模型性能越好,它包含的偏差就越多。
2022-07-06 cs.CL
Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression
提出无校准的注意力头重要性评分方法MP及GQA变体MP-G,通过权重范数统计异常值检测剪枝,在多个模型上匹配或超越数据依赖方法,实现零成本结构化剪枝。
2026-09-23 cs.AI cs.CL cs.LG
Idea-Gated Transformers: Enforcing Semantic Coherence via Differentiable Vocabulary Pruning
Darshan Fofadiya(独立研究者)
Idea-Gated Transformers通过可微分词汇修剪机制,实现语义一致性,提升语言模型的领域保留能力与生成可控性。
2025-12-11 cs.AI cs.CL
Pruning for Performance: Efficient Idiom and Metaphor Classification in Low-Resource Konkani Using mBERT
Algoverse AI Research(Algoverse AI研究院)
针对低资源孔卡尼语比喻语言识别难题,提出融合 mBERT、BiLSTM 与线性分类器的混合模型,并采用基于梯度的注意力头剪枝提升效率,在隐喻与习语分类上分别达到 78% 和 83% 准确率。
2025-07-28 cs.CL
High-Layer Attention Pruning with Rescaling
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出了一种高层注意力剪枝与重缩放方法,通过自适应重缩放参数优化表示尺度,提升LLMs在生成任务中的性能。
2026-08-11 cs.CL cs.LG
The Better You Learn, The Smarter You Prune: Towards Efficient Vision-language-action Models via Differentiable Token Pruning
LiAuto Inc.(LiAuto公司);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文提出 LightVLA,一种基于 Gumbel softmax 的可微自适应视觉令牌剪枝框架,无需额外参数即可在 LIBERO 基准上同时降低 VLA 模型计算开销并提升任务成功率。
2025-09-21 cs.CL cs.CV cs.RO
Understanding Multi-Head Attention in Abstractive Summarization
DPG Media(DPG传媒);University of Amsterdam(阿姆斯特丹大学)
深度学习架构中的注意力机制通常被用作透明的手段,因此,可以揭示架构的内部工作原理。最近,人们越来越关注这种假设是否正确。在本文中,我们调查的可解释性多头注意力在抽象摘要,序列到序列的任务,注意力没有一个直观的对齐的作用,如在机器翻译。我们首先介绍了三个指标,以获得洞察力的关注头的焦点,并观察到这些头专门对相对位置,特定的词性标签,命名实体。然而,我们也发现,烧蚀和修剪这些头不会导致性能显着下降,这表明冗余。通过将softmax激活函数替换为sparsemax激活函数,我们发现注意力头的行为似乎更透明:我们可以消融更少的头,头在我们的可解释性指标上得分更高。然而,如果我们将修剪应用于sparsemax模型,我们发现我们可以修剪更多的头部,这就提出了一个问题,即强制稀疏性是否真的提高了透明度。最后,我们发现,相对位置头似乎不可或缺的摘要性能和持久保持修剪后。
2019-11-10 cs.CL cs.LG
SpAtten: Efficient Sparse Attention Architecture with Cascade Token and Head Pruning
Massachusetts Institute of Technology(麻省理工学院)
SpAtten通过级联令牌和头部剪枝及渐进量化,协同设计算法与硬件,在无精度损失下减少DRAM访问10倍,显著提升速度和能效。
2024-07-18 cs.AI cs.AR cs.CL
Contributions of Transformer Attention Heads in Multi- and Cross-lingual Tasks
Dartmouth College(达特茅斯学院);Tsinghua University(清华大学);Zhejiang University City College(浙江大学城市学院)
本文研究了基于transformer的模型中注意力头的相对重要性,以帮助其在跨语言和多语言任务中的可解释性。先前的研究已经发现,在每个单语言自然语言处理(NLP)任务中,只有少数注意力头部是重要的,并且修剪剩余的头部会导致模型的性能相当或改进。然而,修剪注意头的影响还不清楚,在跨语言和多语言的任务。通过大量的实验,我们表明:(1)在基于多语言transformer的模型中修剪一些注意力头,一般来说,对跨语言和多语言任务的性能有积极的影响;(2)要修剪的注意力头可以使用梯度进行排名,并通过一些试验实验进行识别。我们的实验主要集中在序列标记任务,具有潜在的适用性,其他跨语言和多语言的任务。为了全面起见,我们检查了两个预训练的多语言模型,即多语言BERT(mBERT)和XLM-R,每个模型针对9种语言的三个任务。我们还讨论了我们的研究结果的有效性及其可扩展性,真正的资源稀缺的语言和其他任务设置。
2021-08-18 cs.CL cs.LG
APP: Accelerated Path Patching with Task-Specific Pruning
University of Tübingen(图宾根大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Brown University(布朗大学)
本文提出加速路径修补(APP),通过 Contrastive-FLAP 剪枝算法先缩小电路发现搜索空间,再应用路径修补,在保持电路质量的同时实现最高 93.27% 的加速。
2025-11-07 cs.AI cs.CL cs.LG
ALPS: Attention Localization and Pruning Strategy for Efficient Alignment of Large Language Models
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
提出ALPS算法,通过定位任务敏感注意力头并限制训练更新,仅激活10%参数即实现2%性能提升,且头可迁移、减轻遗忘,为高效LLM对齐提供新视角。
2025-06-18 cs.AI cs.CL
Cascaded Multi-Granularity Pruning for On-Device LLM Inference in Industrial IoT
提出级联多粒度剪枝框架,通过粗到细顺序移除层、注意力头和前馈通道,并利用轻量级低秩恢复重新估计重要性,在MHA+GELU架构上实现13.8倍压缩和83.82%准确率,在工业物联网设备上降低推理延迟67.2%。
2026-06-26 cs.CL
Growing a Multi-head Twig via Distillation and Reinforcement Learning to Accelerate Large Vision-Language Models
Zhejiang Key Laboratory of Space Information Sensing and Transmission, School of Computer Science, Hangzhou Dianzi University(浙江省空间信息感知与传输重点实验室,计算机学院,杭州电子科技大学);Li Auto Inc.(理想汽车);School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)智能科学与工程学院)
本文提出TwigVLM,通过在基础VLM早期层上生长轻量模块Twig,结合 Twig 引导的 token 剪枝和自推测解码策略,实现更高的准确性和速度。实验表明, TwigVLM 在剪枝88.9%的视觉token后仍保持96%的原始性能,并在生成长响应时达到154%的速度提升。
2026-04-10 cs.CL cs.CV
Efficient Mathematical Reasoning Models via Dynamic Pruning and Knowledge Distillation
Harbin Engineering University(哈尔滨工程大学)
本文提出通过动态剪枝和知识蒸馏优化方法,提升大型语言模型在数学推理任务中的效率与性能。
2025-11-15 cs.AI cs.CL cs.LG
Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior
Google Research(谷歌研究院);Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学)
用于Transformer模型的传统(非结构化)修剪方法侧重于通过将各个权重惩罚为零来正则化各个权重。在这项工作中,我们探索频谱归一化身份先验(SNIP),结构化修剪的方法,惩罚整个残差模块在Transformer模型朝向身份映射。我们的方法识别和丢弃不重要的非线性映射的剩余连接上的函数范数应用阈值算子。它适用于任何结构化模块,包括单个注意头,整个注意块或前馈子网络。此外,我们引入频谱归一化来稳定Transformer层的激活后值的分布,进一步提高了所提出的方法的修剪效果。我们用BERT在5个GLUE基准任务上进行实验,证明SNIP在保持相当性能的同时实现了有效的剪枝结果。具体来说,我们提高了性能的最先进的0.5至1.0%,平均在50%的压缩比。
2020-10-05 cs.CL
Gradient-based Intra-attention Pruning on Pre-trained Language Models
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Central China)(科大讯飞人工智能研究院(华中))
提出结构化剪枝方法GRAIN,通过剪枝内部注意力结构扩大搜索空间,并结合梯度分离策略减少蒸馏干扰,在高稀疏度下显著提升性能并实现大幅加速。
2023-05-18 cs.CL
CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference
CATP通过交叉注意力层优化标记修剪,显著提升多模态模型推理的准确性与效率。
2026-02-12 cs.AI cs.CL
SmartTrim: Adaptive Tokens and Attention Pruning for Efficient Vision-Language Models
Harbin Institute of Technology(哈尔滨工业大学);ETH Zurich(苏黎世联邦理工学院);Du Xiaoman (Beijing) Science Technology Co., Ltd(度小满(北京)科技有限公司);Peng Cheng Laboratory(鹏城实验室)
本文提出SmartTrim自适应加速框架,通过轻量级模块逐层剪枝冗余令牌和注意力头,并结合自蒸馏保持预测一致性,在多种视觉-语言任务上实现2-3倍加速且性能损失极小。
2024-02-26 cs.CL
Transformers are Stateless Differentiable Neural Computers
Department of Electrical and Computer Engineering(电气与计算机工程系);Worcester Polytechnic Institute(沃斯特理工学院)
本文证明因果Transformer层等同于无状态可微神经计算机(sDNC),并扩展到交叉注意力,为Transformer提供统一的记忆中心解释。
2026-02-27 cs.AI cs.CL cs.CV
BaldWhisper: Faster Whisper with Head Shearing and Layer Merging
LORIA, CNRS, Nancy, France(LORIA研究院,法国国家科学研究中心,法国南锡)
针对数据稀缺场景,BaldWhisper通过嵌入压缩和层合并技术,在仅用32小时语音数据的情况下,使Whisper模型更轻量且更快,性能损失仅0.1,体积缩小48%,速度提升2.15倍。
2026-05-01 cs.AI cs.CL cs.SD
On The Alignment Problem In Multi-Head Attention-Based Neural Machine Translation
RWTH Aachen University(亚琛工业大学)
本文研究了基于Transformer结构的多头注意力模型中的对齐问题。我们证明,对准提取Transformer模型可以通过增加一个额外的对准头的多头源到目标的注意力组件。这用于计算更清晰的注意力权重。我们描述了如何使用对准头来实现有竞争力的性能。为了研究添加对齐头的效果,我们模拟了一个字典引导的翻译任务,其中用户希望使用预定义的字典条目来指导翻译。使用所提出的方法,我们实现了$3.8$ % BLEU的改善时,使用的字典相比,在基线情况下的$2.4$ % BLEU。我们还提出了对齐修剪,以加快解码基于语义的神经机器翻译(ANMT),这加快了翻译的一个因素的$1.8$没有损失的翻译性能。我们在共享的WMT 2016英语$\to$罗马尼亚语新闻任务和BOLT中文$\to$英语论坛任务上进行实验。
2018-09-11 cs.CL
Hierarchical Safety Realignment: Lightweight Restoration of Safety in Pruned Large Vision-Language Models
East China Normal University(华东师范大学);Hasso Plattner Institute/University of Potsdam(哈索普劳特纳研究所/波茨坦大学)
本文提出层级安全重对齐方法HSR,通过先定位关键注意力头再选择性恢复其中重要神经元,以轻量方式修复剪枝后大型视觉语言模型的安全性能,并在多模型与剪枝策略上验证有效。
2025-07-22 cs.CL cs.CV cs.LG
Are Sixteen Heads Really Better than One?
Carnegie Mellon University(卡内基梅隆大学);Facebook Artificial Intelligence Research(Facebook人工智能研究院)
注意力是一种强大且无处不在的机制,它允许神经模型在进行预测时通过加权平均来关注特定的突出信息。特别是,多头注意力是许多最近最先进的NLP模型(如基于transformer的MT模型和BERT)背后的驱动力。这些模型并行地应用多个注意力机制,每个注意力“头”潜在地集中在输入的不同部分,这使得有可能表达超出简单加权平均值的复杂函数。在本文中,我们做出了令人惊讶的观察,即使模型已经使用多个头部进行了训练,在实践中,很大一部分注意力头部可以在测试时被移除,而不会显著影响性能。事实上,有些层甚至可以减少到一个头。我们进一步研究了用于修剪模型的贪心算法,以及由此获得的潜在速度、存储器效率和准确性改进。最后,我们分析了模型的哪些部分更依赖于多个头部的结果,并提供了初步证据,证明训练动态在多头注意力提供的收益中发挥了作用。
2019-11-04 cs.CL
Block Pruning For Faster Transformers
Hugging Face
预训练提高了分类和生成任务的模型准确性,但代价是引入了更大更慢的模型。修剪方法已被证明是减少模型大小的有效方法,而蒸馏方法被证明可以加速推理。我们介绍了一个块修剪的方法,针对小型和快速的模型。我们的方法通过考虑任何大小的块扩展结构化方法,并将此结构集成到运动修剪范式中进行微调。我们发现,这种方法学会了修剪掉底层模型的完整组件,例如注意力头。实验考虑了分类和生成任务,产生了一个修剪模型,它比SQuAD v1快2.4倍,BERT小74%,比F1小1%,在速度和大小上都与蒸馏模型竞争。
2021-09-10 cs.CL cs.LG
Fairness-Aware Structured Pruning in Transformers
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Polytechnique Montreal(蒙特利尔理工学院);IBM Research(IBM研究院)
针对大型语言模型剪枝忽视公平性的问题,提出一种无需微调的注意力头剪枝方法,在保持性能的同时显著降低性别偏见。
2023-12-24 cs.CL cs.CY cs.LG
CHASE: Channel-Aligned Structure Exploitation for Geometry-Aware Model Engineering
Futurewei Technologies(未来科技公司);Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)(上海数学与交叉科学研究院)
本文提出CHASE框架,利用几何与谱对齐(GSA)结构,涵盖六个应用,包括三种新方法CAGA、SAKV和CAPS,分别改进注意力头共享、KV缓存压缩和结构化剪枝,实验验证其有效性。
2026-10-08 cs.CL cs.LG
Cutting Off the Head Ends the Conflict: A Mechanism for Interpreting and Mitigating Knowledge Conflicts in Language Models
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文从信息流视角揭示语言模型中记忆头与上下文头整合矛盾信息导致知识冲突的机制,并提出无需更新参数的 PH3 注意力头剪枝方法,以可控地增强内部记忆或外部上下文利用并提升开放域问答性能。
2024-02-28 cs.AI cs.CL cs.IR
A Fast Post-Training Pruning Framework for Transformers
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);LBNL(劳伦斯伯克利国家实验室);Samsung Semiconductor, Inc.(三星半导体公司)
剪枝是减少Transformer模型巨大推理开销的有效方法。然而,修剪Transformers的先前工作需要重新训练模型。这可能会给模型部署增加高培训成本和高复杂性,使其难以在许多实际情况下使用。为了解决这个问题,我们提出了一个快速的训练后修剪框架Transformers,不需要任何再培训。给定资源约束和样本数据集,我们的框架使用结构化稀疏方法自动修剪Transformer模型。为了保持高精度而无需重新训练,我们引入了三种新技术:(i)轻量级掩码搜索算法,该算法根据Fisher信息找到要修剪的头部和过滤器;(ii)补充搜索算法的掩码重排;以及(iii)重建每层输出激活的掩码调整。我们将我们的方法应用于BERT基础和DistilBERT,并在GLUE和SQuAD基准测试中评估其有效性。我们的框架实现了高达2.0倍的FLOP减少和1.56倍的推理延迟加速,同时保持了< 1%的准确性损失。重要的是,我们的框架在单个GPU上不到3分钟就可以修剪Transformers,这比现有的重新训练模型的修剪方法快了两个数量级。
2022-10-17 cs.CL cs.LG
VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
Qualcomm AI Research(高通人工智能研究)
针对大词表导致基于草拟器的推测解码草拟开销过高的问题,本文提出免训练的 VocabTrim,通过重构草拟器 LM head 仅保留高频 token,在 Spec-Bench 上将 Llama-3.2-3B-Instruct 的 MBSU 提升 16%。
2025-07-03 cs.CL cs.LG
MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs
Eastern Institute of Technology(东方理工高等研究院);Shanghai Jiao Tong University(上海交通大学);The Hong Kong Polytechnic University(香港理工大学);LMU Munich(慕尼黑大学)
针对多模态大语言模型推理成本高的问题,提出模态感知宽度方向操作剪枝(MWOP),通过细粒度剪枝注意力路径和FFN通道,在保持性能的同时实现1.6倍加速,并与令牌压缩方法互补。
2026-10-02 cs.AI cs.CL cs.CV