XProvence: Zero-Cost Multilingual Context Pruning for Retrieval-Augmented Generation
KAUST（卡塔尔科技大学）；NAVER LABS Europe（NAVER欧洲实验室）
XProvence通过零成本多语言上下文修剪技术，在多种语言中实现检索增强生成的高效性能提升。
2026-01-26 cs.CL cs.IR
Toxic Subword Pruning for Dialogue Response Generation on Large Language Models
FaceMind Corporation（FaceMind公司）；The Chinese University of Hong Kong（香港中文大学）
本文提出了一种名为ToxPrune的新型算法，通过修剪包含有毒词的子词来防止大型语言模型生成有毒内容，同时提升了对话响应生成任务中非有毒模型的表现。
2026-05-20 cs.CL
Breaking through Deterministic Barriers: Randomized Pruning Mask Generation and Selection
North Carolina State University（北卡罗来纳州立大学）；New York University（纽约大学）
本文提出一种随机生成多个剪枝掩码并结合掩码选择规则的模型剪枝策略，通过早期掩码评估提升效率，在GLUE八个数据集上取得领先性能，尤其在高稀疏度下表现优异。
2024-01-11 cs.CL cs.CV
Know What You Don't Need: Single-Shot Meta-Pruning for Attention Heads
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
深度预训练的Transformer模型在各种自然语言处理（NLP）任务中取得了最先进的结果。通过学习具有数百万个参数的丰富语言知识，这些模型通常是过度参数化的，并显着增加了应用程序中的计算开销。通过模型压缩来解决这个问题是直观的。在这项工作中，我们提出了一种名为Single-Shot Meta-Pruning的方法，用于在微调之前压缩深度预训练的Transformers。具体来说，我们专注于修剪不必要的注意头自适应不同的下游任务。为了测量注意头的信息量，我们训练我们的单镜头元修剪（SMP）与元学习范式，旨在保持修剪后的文本表示的分布。与现有的预训练模型压缩方法相比，我们的方法可以减少微调和推理的开销。实验结果表明，我们的修剪器可以选择性地修剪50%的注意力头，对下游任务的性能影响不大，甚至提供更好的文本表示。源代码将在未来发布。
2020-11-07 cs.CL
AttentionRAG: Attention-Guided Context Pruning in Retrieval-Augmented Generation
Shanghai Jiao Tong University（上海交通大学）
针对RAG中检索上下文过长导致冗余和计算开销的问题，提出基于注意力聚焦机制的上下文剪枝方法AttentionRAG，在LongBench和Babilong上实现6.3倍压缩且关键指标优于LLMLingua约10%。
2025-10-27 cs.AI cs.CL
Buried in Textual Debt: Context Pruning with Visual Evidence Preservation for MLLM Agents
Hong Kong University of Science and Technology（香港科技大学）
针对多模态大语言模型智能体长轨迹中文本主导上下文、抑制视觉证据的问题，提出基于KL引导的SPARE框架，结合OPSD与SFT实现高效剪枝，在多步视觉工具使用基准中达到最优准确率与剪枝比例的权衡。
2026-08-28 cs.AI cs.CL
Bootstrapped Q-learning with Context Relevant Observation Pruning to Generalize in Text-based Games
IBM Research AI（IBM研究人工智能部门(IBM Research AI)）
我们发现，用于解决基于文本的游戏（TBG）的强化学习（RL）方法通常无法推广看不见的游戏，特别是在小数据的情况下。为了解决这个问题，我们提出了上下文相关的情景状态截断（CREST），用于在观察文本中删除不相关的标记，以提高泛化能力。我们的方法首先使用Q学习训练基本模型，这通常会过度拟合训练游戏。基本模型的动作标记分布用于执行观察修剪，以移除不相关的标记。然后，第二自举模型在修剪的观察文本上重新训练。我们的自举代理在解决看不见的TextWorld游戏方面表现出改进的泛化能力，与以前的最先进方法相比，尽管需要较少的训练集，但使用的训练游戏减少了10 - 20倍。
2020-09-24 cs.CL cs.LG stat.ML
ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding
Peking University（北京大学）；Sensetime Research（商汤科技研究院）
ProPD通过动态令牌树剪枝与生成机制，在保持上下文关系的同时降低验证开销，实现LLM并行解码效率提升1.1-3.2倍。
2024-02-21 cs.CL cs.LG
Parameter-Efficient Fine-Tuning with Layer Pruning on Free-Text Sequence-to-Sequence Modeling
Hainan University（海南大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Guangzhou University（广州大学）
本文提出一种集成 LoRA 与结构化层级剪枝的参数高效微调框架，在大幅降低 GPU 内存和训练时间的同时，有效保持了自由文本序列到序列任务的生成质量。
2023-05-19 cs.AI cs.CL
Enhancing Vision-Language Model Pre-training with Image-text Pair Pruning Based on Word Frequency
Radboud University（拉德堡德大学）
提出无需元数据、依据词频剪枝高频词图文对的 WFPP 方法，通过均衡词频分布并结合全量数据微调，提升 CLIP 等 VLM 的下游性能与预训练效率。
2024-12-10 cs.AI cs.CL cs.CV
Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation
Ant Group（蚂蚁集团）；Shandong University（山东大学）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
近年来，基于CKY的模型在无监督语法归纳中显示出巨大的潜力，这要归功于它们类似于人类的编码范式，它递归地、层次地运行，但需要$O(n^3)$时间复杂度。基于可微树的递归Transformer（R2D2）通过引入启发式剪枝方法，使得即使使用复杂的树编码器也可以扩展到大语言模型预训练。然而，基于规则的剪枝方法存在局部最优和推理速度慢的问题。在本文中，我们解决这些问题在一个统一的方法。我们建议使用一个自顶向下的解析器作为基于模型的修剪方法，这也使并行编码在推理。通常，我们的解析器将解析转换为分割点评分任务，首先对给定句子的所有分割点进行评分，然后通过选择当前跨度中得分最高的分割点将跨度递归地分为两个。拆分的相反顺序被认为是R2D2编码器中的修剪顺序。除了双向语言模型损失外，我们还通过最小化解析器和R2D2的树概率之间的KL距离来优化解析器。我们的实验表明，我们的Fast-R2D2在语法归纳方面显着提高了性能，并在下游分类任务中取得了有竞争力的结果。
2022-11-02 cs.CL
ET-Prune: Evidence-Aware Dynamic Budgeting for Visual Token Pruning in Text-Rich MLLMs
ET-Prune 是一种无需训练的视觉 token 剪枝框架，通过证据分配实现动态预算，在文本丰富的多模态任务中，于约一半 token 保留量下，在 OCRBench-v2、MMBench v1.1 等基准上取得优于基线的性能，实现了质量与成本的良好平衡。
2026-08-28 cs.CL cs.CV
High-Layer Attention Pruning with Rescaling
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出了一种高层注意力剪枝与重缩放方法，通过自适应重缩放参数优化表示尺度，提升LLMs在生成任务中的性能。
2026-08-11 cs.CL cs.LG
Block Pruning For Faster Transformers
Hugging Face
预训练提高了分类和生成任务的模型准确性，但代价是引入了更大更慢的模型。修剪方法已被证明是减少模型大小的有效方法，而蒸馏方法被证明可以加速推理。我们介绍了一个块修剪的方法，针对小型和快速的模型。我们的方法通过考虑任何大小的块扩展结构化方法，并将此结构集成到运动修剪范式中进行微调。我们发现，这种方法学会了修剪掉底层模型的完整组件，例如注意力头。实验考虑了分类和生成任务，产生了一个修剪模型，它比SQuAD v1快2.4倍，BERT小74%，比F1小1%，在速度和大小上都与蒸馏模型竞争。
2021-09-10 cs.CL cs.LG
Multi-Source Knowledge Pruning for Retrieval-Augmented Generation: A Benchmark and Empirical Study
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）
针对多源知识RAG缺乏基准的问题，构建了结合结构化与非结构化知识的基准数据集，并提出多粒度剪枝框架PruningRAG，显著提升多种RAG变体性能。
2025-10-09 cs.AI cs.CL cs.IR
Mapping Text to Multiplex Graph: Prompt Compression as Lévy Walk-Guided Graph Pruning
提出RAGP方法，将提示压缩建模为多重图上的冗余感知图剪枝，利用莱维游走高效识别非冗余节点，在4倍压缩比下平均得分49.3，优于现有方法。
2026-09-15 cs.AI cs.CL
PuMer: Pruning and Merging Tokens for Efficient Vision Language Models
University of Washington（华盛顿大学）
PuMer提出文本引导剪枝与模态感知合并的令牌缩减框架，通过在跨模态层加入轻量级模块，在四个VL任务上将推理吞吐量提升至2倍、内存占用降低超50%，且准确率损失小于1%。
2023-05-27 cs.AI cs.CL cs.CV
Connectivity in Bag Generation
本文提出了一种修剪技术，它可以用来减少搜索路径的数量在规则为基础的包生成器的类型提出的\cite{poznanskietal95}和\cite{popowich95}。考虑到袋生成的计算成本，修剪这些生成器中的搜索空间是重要的。该技术依赖于与袋中的每个词汇符号相关联的语义索引之间的连接约束。在一系列句子上测试该算法，结果表明生成时间和构造的边缘数量减少。
1996-04-30 cmp-lg cs.CL
Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation
Grad. Sch. of Information Science and Tech.（信息科学与技术研究生学校）；Osaka University（大阪大学）；School of Computing（计算学部）；Institute of Science（科学研究所）
本研究提出一种自适应的 LoRA 合并方法，通过在微调中更新和剪枝 LoRA 参数，解决了低资源语言生成任务中以往方法参数冻结导致适应性受限的问题，显著提升了任务适应性。
2025-05-30 cs.CL cs.LG
Idea-Gated Transformers: Enforcing Semantic Coherence via Differentiable Vocabulary Pruning
Darshan Fofadiya（独立研究者）
Idea-Gated Transformers通过可微分词汇修剪机制，实现语义一致性，提升语言模型的领域保留能力与生成可控性。
2025-12-11 cs.AI cs.CL
SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference
Westlake University（西湖大学）；Ant Group（蚂蚁集团）
SparseDecoding是一种解码感知的LLM剪枝框架，通过对齐剪枝目标与解码激活、优化SpMV核，在长文本生成任务中优于标准方法，在A100 GPU上实现最高1.48倍解码加速。
2026-10-09 cs.CL cs.LG
Index-Preserving Lightweight Token Pruning for Efficient Document Understanding in Vision-Language Models
Hana Institute of Technology, Hana TI（韩亚科技研究院（韩亚TI））
本文提出一种轻量级标记修剪方法，通过过滤非信息性背景区域来降低视觉-语言模型在文档理解任务中的计算成本，同时保持较高的准确性。
2026-03-04 cs.AI cs.CL cs.CV
Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（人工智能与数字经济广东实验室）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；The Hong Kong Polytechnic University（香港理工大学）；Great Bay University（大鹏大学）；Shenzhen University（深圳大学）；Huawei（华为）
Nüwa通过两阶段令牌剪枝框架在保持空间完整性的同时实现高效特征聚合，提升VQA和视觉定位任务性能
2026-02-03 cs.AI cs.CL cs.CV
Large Language Model Pruning
National Taiwan University of Science and Technology（台湾科技大学）；WUYI University（武夷大学）
针对大语言模型参数庞大及过拟合等问题，提出一种基于互信息估计的可解释模型剪枝技术，通过消除冗余神经元减少参数依赖，并发现剪枝标准选择对模型规模敏感度不同，整体性能优于现有方法。
2024-05-24 cs.AI cs.CL cs.LG
Improving Retrieval-augmented Text-to-SQL with AST-based Ranking and Schema Pruning
Huawei Technologies（华为技术有限公司）；CSI（英国计算机科学研究所）
本文提出ASTReS框架，通过动态检索数据库信息、基于抽象语法树选择少样本示例，并利用小型高效模型生成近似SQL来增强Text-to-SQL语义解析，在单语和跨语言基准上均超越现有最先进方法。
2024-11-04 cs.AI cs.CL cs.DB
PathRAG: Pruning Graph-based Retrieval Augmented Generation with Relational Paths
针对现有图RAG检索冗余、提示组织扁平导致性能不佳的问题，提出PathRAG方法，通过流剪枝提取关键关系路径并构造提示，在多数据集多维度上优于现有最优基线。
2025-11-17 cs.AI cs.CL cs.IR
Text Quality-Based Pruning for Efficient Training of Language Models
FAIR, Meta（FAIR，Meta）
针对语言模型训练计算量大、效率低的问题，提出模型无关的文本质量评估与剪枝框架，剔除低质量数据，在多个数据集上实现了数据用量减少、训练速度提升且下游任务准确率提高的效果。
2024-05-10 cs.AI cs.CL cs.LG
Graph of Attacks with Pruning: Optimizing Stealthy Jailbreak Prompt Generation for Enhanced LLM Content Moderation
Amazon Bedrock Science（亚马逊Bedrock科学）；Drexel University（德雷塞尔大学）；University of Virginia（弗吉尼亚大学）
针对LLM对抗性误用问题，提出GAP框架，通过互联图结构实现攻击路径知识共享，生成隐身越狱提示，攻击成功率提高20.8%且查询成本降62.7%，还可改进内容审核系统的检测性能。
2025-11-12 cs.AI cs.CL cs.CR
Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming
Seoul National University（首尔大学）；New York University（纽约大学）；University of Southern California（南加州大学）
提出无训练结构化剪枝方法LayerTrim，通过保留注意力机制修剪MLP特征，在多模型多基准测试中优于现有方法，提升推理效率与性能。
2026-10-15 cs.AI cs.CL cs.LG
MWOP: Modality-aware Width-wise Operation Pruning for Efficient MLLMs
Eastern Institute of Technology（东方理工高等研究院）；Shanghai Jiao Tong University（上海交通大学）；The Hong Kong Polytechnic University（香港理工大学）；LMU Munich（慕尼黑大学）
针对多模态大语言模型推理成本高的问题，提出模态感知宽度方向操作剪枝（MWOP），通过细粒度剪枝注意力路径和FFN通道，在保持性能的同时实现1.6倍加速，并与令牌压缩方法互补。
2026-10-02 cs.AI cs.CL cs.CV
BESA: Pruning Large Language Models with Blockwise Parameter-Efficient Sparsity Allocation
The University of Hong Kong（香港大学）；OpenGVLab, Shanghai AI Laboratory（上海人工智能实验室开放智能研究院）；Simon Fraser University（西蒙菲莎大学）；Southern University of Science and Technology（南方科技大学）
本文提出BESA，一种基于块级重构损失和可微分稀疏分配的LLM剪枝方法，在单GPU上五小时内高效剪枝7B至70B模型，实现最先进性能。
2024-04-19 cs.AI cs.CL cs.LG
Large Language Models Are Overparameterized Text Encoders
IIIT Kottayam（科塔亚姆印度信息技术学院）；University of Hamburg（汉堡大学）
本文提出一种基于初始损失的层剪枝策略L3Prune，证明LLM作为文本编码器时存在大量冗余参数，仅需三行代码即可在微调前剪枝高达80%的层而性能损失有限。
2024-10-18 cs.AI cs.CL cs.LG
Staged Depth-Pruning Distillation of a Flow-Matching Text-to-Speech Teacher: A Compact Hindi Speech Synthesizer
研究在数据量严重不足时构建紧凑印地语TTS模型的方法，通过分层深度剪枝蒸馏大型流匹配教师模型热启动学生模型，经多步剪枝与微调，得到不同参数的模型，在特定参数下效果良好，还解决了一些模型问题并进行了基准测试。
2026-07-22 cs.CL cs.SD eess.AS
SinkPruner: Sink-Free Visual Token Pruning for Multimodal Large Language Models
Weitu AI（微图AI）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
本研究针对多模态大语言模型处理长视觉令牌序列时计算开销大的问题，提出无训练的SinkPruner剪枝框架，通过视觉净化器和文本引导剪枝器，在12个图像-语言和4个视频-语言基准上实现高效推理，在令牌减少89%时保留了LLaVA-1.5和Qwen2.5-VL的大部分性能。
2026-09-02 cs.AI cs.CL cs.CV
Dependency-Aware Semi-Structured Sparsity of GLU Variants in Large Language Models
Nara Institute of Science and Technology（奈良科学技术大学）
本文提出依赖感知半结构化稀疏性方法DaSS，通过结合权重幅值与MLP中间激活范数的剪枝度量，在GLU类大语言模型上实现硬件友好的N:M稀疏，性能优于SparseGPT和Wanda并保持Wanda的计算效率。
2024-10-20 cs.AI cs.CL cs.LG
Earley-Driven Dynamic Pruning for Efficient Structured Decoding
Rice University（莱斯大学）
本文提出基于Earley算法的动态剪枝策略ZapFormat及约束解码引擎Formatron，通过实时消除无效状态并缓存状态，在保证结构化输出精度的同时将推理速度提升至最高2倍。
2025-06-01 cs.AI cs.CL cs.LG
Prompt-prompted Adaptive Structured Pruning for Efficient LLM Generation
Carnegie Mellon University（卡内基梅隆大学）；CMU（卡内基梅隆大学）
本文提出免训练、免校准的 GRIFFIN，通过利用序列内结构化 FF 激活模式自适应选择专家，在减半 FF 参数时保持 LLM 性能并降低生成延迟。
2024-08-11 cs.AI cs.CL cs.LG
Adaptive Pruning for Large Language Models with Structural Importance Awareness
Harbin Engineering University（哈尔滨工程大学）；Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)（深圳未来网络智能研究院（香港中文大学（深圳）））；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanyang Technological University（南洋理工大学）
本文提出结构感知自适应剪枝方法SAAP，通过自适应重要性融合度量和分组微调策略，在保持性能的同时降低大型语言模型的计算与内存开销，并在准确率和生成速度上优于基线方法。
2024-12-19 cs.AI cs.CL cs.LG
Sink-Aware Pruning for Diffusion Language Models
VILA Lab, MBZUAI（VILA实验室，MBZUAI）
面向扩散语言模型的Sink-aware剪枝方法通过识别并剪枝不稳定sink，提升模型效率与质量的平衡，优于现有基线方法。
2026-02-19 cs.AI cs.CL cs.LG
