Rethinking Network Pruning -- under the Pre-train and Fine-tune Paradigm
The Pennsylvania State University（宾夕法尼亚州立大学）；Moffett AI（墨菲特人工智能公司）
近年来，基于transformer的预训练语言模型显著提高了各种自然语言处理（NLP）任务的性能。虽然这些模型有效且普遍，但对于资源有限的部署场景来说，它们通常过于庞大。因此，一个研究思路一直致力于在NLP中广泛采用的预训练然后微调范式下应用网络修剪技术。然而，现有的基准Transformers，如BERT，修剪结果并不显着的卷积神经网络（CNN）的文献中的修剪结果。特别地，修剪CNN的常识指出，稀疏修剪技术比通过减少通道和层的数量获得的模型压缩得更多（Elsen等人，二○二○年; Zhu和Gupta，2017年），而现有的关于BERT稀疏修剪的工作产生的结果不如其小密度对应物，如Tiny BERT（Jiao等人，2020年）。在这项工作中，我们的目标是通过研究知识如何在预训练，微调和修剪过程中转移和丢失来填补这一空白，并提出一个知识感知的稀疏修剪过程，实现了比现有文献更好的结果。我们首次表明，稀疏修剪压缩的BERT模型显着超过减少其通道和层的数量。在GLUE基准测试的多个数据集上的实验表明，该方法在20倍的权重/FLOPs压缩率和可忽略的预测精度损失下，优于领先的竞争对手。
2022-01-16 cs.AI cs.CL
Towards Structured Dynamic Sparse Pre-Training of BERT
Graphcore Research（Graphcore研究院）
大语言模型的无监督训练识别算法是一个重要而活跃的研究领域。在这项工作中，我们开发和研究了一个简单的，动态的总是稀疏的预训练方法的BERT语言建模任务，它利用周期性的压缩步骤的基础上幅度修剪，然后随机参数重新分配。这种方法使我们能够实现帕累托改进的浮点运算（FLOPs）的数量在静态稀疏和密集的模型在广泛的网络规模。此外，我们还证明了在使用粗粒度块稀疏性时，训练仍然是FLOP高效的，这使得它特别有希望在现代硬件加速器上高效执行。
2021-08-13 cs.CL cs.LG
Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；WeChat AI, Tencent Inc（腾讯微信人工智能部）
最近对彩票假说（LTH）的研究表明，像BERT这样的预训练语言模型（PLM）包含与原始PLM具有相似迁移学习性能的匹配子网络。这些子网络使用基于幅度的修剪。在本文中，我们发现，BERT子网络有更多的潜力比这些研究表明。首先，我们发现幅度修剪的成功可以归因于保留的预训练性能，这与下游可移植性相关。受此启发，我们建议直接优化子网络结构，以实现预训练目标，这可以更好地保持预训练性能。具体来说，我们在预训练任务上通过模型权重训练二进制掩码，目的是保持子网络的通用可转移性，这对任何特定的下游任务都是不可知的。然后，我们在GLUE基准和SQuAD数据集上微调子网络。结果表明，与幅度剪枝相比，掩码训练能有效地发现BERT子网络，提高了下游任务的整体性能。此外，我们的方法在搜索子网络时也更有效，并且在一定范围内的数据稀缺性进行微调时更有利。我们的代码可在https://github.com/llyx97/TAMT上获得。
2022-05-29 cs.CL
ROSITA: Refined BERT cOmpreSsion with InTegrAted techniques
IIE, CAS（中国科学院自动化研究所）
BERT家族的预训练语言模型在广泛的NLP任务中定义了最先进的技术。然而，基于BERT的模型的性能主要由大量的参数驱动，这阻碍了它们在资源有限的场景中的应用。面对这个问题，最近的研究一直试图将BERT压缩成一个小规模的模型。然而，大多数以前的工作主要集中在一种单一的压缩技术，很少有人注意到不同的方法的组合。在对BERT进行综合压缩时，如何设计整个压缩框架以获得最佳性能是一个关键问题。针对这一问题，本文综合了三种压缩方法（权重剪枝、低秩分解和知识蒸馏），并在模型结构、知识蒸馏策略、剪枝频率和学习率调度等方面进行了一系列的设计。我们发现，仔细选择的设计是至关重要的压缩模型的性能。基于实证研究结果，我们的最佳压缩模型，被称为精炼BERT cOmpreSsion与集成技术（ROSITA），是$7.5 \times$小于BERT，同时保持$98.5\%$的性能上的五个任务的GLUE基准，优于以前的BERT压缩方法具有类似的参数预算。该代码可在https://github.com/llyx97/Rosita上获得。
2021-03-21 cs.CL
Automatic Mixed-Precision Quantization Search of BERT
Samsung Research America（三星美国研究院）
预先训练的语言模型，如BERT，在各种自然语言处理任务中表现出显着的有效性。然而，这些模型通常包含数百万个参数，这阻止了它们在资源受限的设备上的实际部署。知识蒸馏、权值修剪和量化是模型压缩的主要研究方向。然而，即使对于相对小的压缩比，通过知识蒸馏获得的紧凑模型也可能遭受显著的精度下降。另一方面，只有少数量化尝试是专门为自然语言处理任务设计的。它们遭受小压缩比或大出错率，因为需要手动设置超参数，并且不支持细粒度的子组量化。本文提出了一种适用于BERT的自动混合精度量化框架，该框架可以同时在子组级别上进行量化和剪枝。具体来说，我们提出的方法利用微分神经结构搜索来自动为每个子组中的参数分配规模和精度，同时修剪掉冗余的参数组。对BERT下游任务的广泛评估表明，我们提出的方法通过以更小的模型大小提供相同的性能而优于基线。我们还展示了通过将我们的解决方案与DistilBERT等正交方法相结合来获得极轻模型的可行性。
2021-12-30 cs.AI cs.CL
Structured Pruning of Large Language Models
ASAPP, Inc.（ASAPP公司）
大语言模型最近已经在各种各样的自然语言任务上实现了最先进的性能。与此同时，这些模型的大小和延迟显著增加，这使得它们的使用成本很高，并提出了一个有趣的问题：语言模型需要很大吗？我们从模型压缩的角度来研究这个问题。我们提出了一个通用的，结构化的修剪方法，通过参数化每个权重矩阵使用其低秩分解，并在训练过程中自适应地去除秩1分量。在语言建模任务上，我们的结构化方法在各种压缩级别上都优于其他非结构化和块结构化修剪基线，同时在训练和推理过程中实现了显着的加速。我们还证明，我们的方法可以应用于修剪自适应词嵌入在大语言模型，并修剪BERT模型的几个下游微调分类基准。
2021-03-28 cs.CL cs.LG stat.ML
Structural Pruning of Pre-trained Language Models via Neural Architecture Search
Amazon Web Services（亚马逊网络服务）；Helsing（赫尔辛公司）
本文提出利用神经架构搜索（NAS）进行预训练语言模型的结构化剪枝，通过多目标方法识别Pareto最优子网络集，并采用两阶段权重共享NAS加速搜索，实现效率与泛化性能的最优权衡。
2024-08-25 cs.CL cs.LG
Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression
Microsoft Research Asia（微软亚洲研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Stanford University（斯坦福大学）；Beihang University（北京航空航天大学）
关于预训练语言模型压缩的最新研究（例如，BERT）通常使用保留的准确度作为评估的度量。在本文中，我们提出了两个新的度量标准，标签忠诚度和概率忠诚度，衡量压缩模型（即，学生）模仿原始模型（即，教师）。我们还探讨了在对抗攻击下压缩对鲁棒性的影响。我们对量化、剪枝、知识蒸馏和渐进模块替换进行了基准测试，测试了它们的忠诚度和鲁棒性。通过结合多种压缩技术，我们提供了一种实用的策略，以实现更好的准确性，忠诚度和鲁棒性。
2021-10-04 cs.AI cs.CL cs.LG
Robustness Challenges in Model Distillation and Pruning for Natural Language Understanding
New Jersey Institute of Technology（新泽西理工学院）；Microsoft Research（微软研究院）；Rice University（莱斯大学）
最近的工作集中在压缩预训练语言模型（PLM），如BERT，其中主要关注的是提高下游任务的分布性能。然而，这些研究中很少有分析压缩对分布外（OOD）数据压缩模型的泛化性和鲁棒性的影响。为此，我们研究了两种流行的模型压缩技术，包括知识蒸馏和修剪，并表明压缩模型是显着不那么强大的PLM同行的OOD测试集，虽然他们获得类似的性能分布开发集的任务。进一步的分析表明，压缩模型过拟合的捷径样本和推广困难的。我们进一步利用这一观察，发展一个强大的模型压缩的样本不确定性的基础上的正则化策略。几个自然语言理解任务的实验结果表明，我们的偏见缓解框架提高了压缩模型的OOD泛化，同时不牺牲在分布任务的性能。
2023-02-27 cs.CL cs.LG
Adapting by Pruning: A Case Study on BERT
使预训练的神经模型适应下游任务已成为获得高质量模型的标准做法。在这项工作中，我们提出了一种新的模型自适应范式，通过修剪进行自适应，修剪预训练模型中的神经连接以优化目标任务的性能;所有剩余的连接都保持其权重不变。我们制定适应修剪作为一个可微损失的优化问题，并提出了一个有效的算法来修剪模型。我们证明了该算法在标准假设下是接近最优的，并应用该算法来适应BERT的一些GLUE任务。结果表明，我们的方法可以修剪高达50%的权重在BERT，同时产生类似的性能相比，微调完整的模型。我们还比较了我们的方法与其他国家的最先进的修剪方法，并研究其所获得的子网络的拓扑差异。
2021-05-07 cs.CL cs.LG
Sparse*BERT: Sparse Models Generalize To New tasks and Domains
the University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Neural Magic Inc.（Neural Magic公司）
本文研究 Gradual Unstructured Magnitude Pruning 剪枝模型的跨领域与任务迁移，证明通用稀疏模型 Sparse*BERT 可通过预训练转化为 SparseBioBERT，且仅用 10% 参数即可匹配 BioBERT 质量。
2023-04-05 cs.AI cs.CL
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
Towards Robust Pruning: An Adaptive Knowledge-Retention Pruning Strategy for Language Models
North Carolina State University（北卡罗来纳州立大学）；New York University（纽约大学）；NEC-Labs（NEC实验室）
本文提出一种训练后自适应知识保留剪枝策略，通过复现稠密模型的嵌入与特征空间并校正累积误差，在BERT和多个数据集上实现了准确率、稀疏性、鲁棒性与剪枝成本的更优平衡。
2024-01-11 cs.AI cs.CL
Efficient Transformer-based Large Scale Language Representations using Hardware-friendly Block Structured Pruning
University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）；Syracuse University（雪城大学）；Microsoft Corporation（微软公司）；Stevens Institute of Technology（史蒂文斯理工学院）
预训练的大规模语言模型在许多自然语言处理（NLP）任务中越来越显示出高准确性。然而，硬件平台上有限的权重存储和计算速度阻碍了预训练模型的普及，特别是在边缘计算时代。在这项工作中，我们提出了一个有效的基于transformer的大规模语言表示使用硬件友好的块结构修剪。我们将重新加权组Lasso块结构修剪优化。除了显着减少的重量存储和计算，所提出的方法实现了高压缩率。在通用语言理解评估（GLUE）基准任务上对不同模型（BERT、RoBERTa和DistilBERT）的实验结果表明，我们在某些任务上实现了高达5.0倍的准确率，并且准确率为零或轻微下降。我们提出的方法也与现有的紧凑的预训练语言模型正交，例如使用知识蒸馏的DistilBERT，因为在DistilBERT的基础上可以实现进一步的1.79倍平均压缩率，并且精度下降为零或轻微。适合在资源受限的边缘设备上部署最终压缩模型。
2020-11-16 cs.AI cs.CL cs.LG
On Importance of Layer Pruning for Smaller BERT Models and Low Resource Languages
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文研究层剪枝在低资源语言BERT模型中的效果，发现剪枝模型可在减少层数的同时保持性能并优于同规模从头训练模型，其中中间层剪枝策略尤为有效。
2025-01-01 cs.CL cs.LG
NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Microsoft Research Asia（微软亚洲研究院）
虽然预先训练的语言模型（例如，BERT）在不同的自然语言处理任务上取得了令人印象深刻的结果，它们具有大量的参数并且遭受大的计算和存储成本，这使得它们难以在现实世界中部署。因此，模型压缩对于减少预训练模型的计算和存储成本是必要的。在这项工作中，我们的目标是压缩BERT，并解决以下两个具有挑战性的实际问题：（1）压缩算法应该能够输出多个压缩模型具有不同的大小和延迟，以支持不同的内存和延迟限制的设备;（2）该算法应该是下游任务不可知的，使压缩模型一般适用于不同的下游任务。我们利用神经结构搜索（NAS）的技术，并提出NAS-BERT，一种有效的方法BERT压缩。NAS-BERT在包含各种架构的搜索空间上训练一个大的超网，并输出具有自适应大小和延迟的多个压缩模型。此外，NAS-BERT的训练是在标准的自我监督预训练任务（例如，掩蔽的语言模型）并且不依赖于特定的下游任务。因此，压缩模型可以跨各种下游任务使用。NAS-BERT的技术挑战在于，在预训练任务上训练一个大型超网的成本非常高。我们采用了几种技术，包括分块搜索，搜索空间修剪，和性能近似，以提高搜索效率和准确性。在GLUE和SQuAD基准数据集上的大量实验表明，NAS-BERT可以找到比以前方法更准确的轻量级模型，并且可以直接应用于不同的下游任务，具有自适应的模型大小，以满足不同的内存或延迟要求。
2021-05-30 cs.AI cs.CL cs.LG
Towards Building Efficient Sentence BERT Models using Layer Pruning
MKSSS Cummins College of Engineering for Women（MKSSS库明斯女子工程学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本研究探讨了通过层剪枝创建高效 Sentence BERT 模型的方法，发现剪枝后模型在保持嵌入质量的同时显著降低计算需求，且优于同等大小的从头训练模型。
2024-09-21 cs.CL cs.LG
Gradient-Free Structured Pruning with Unlabeled Data
Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）
针对 LLM 压缩依赖标签或重训练的问题，提出仅用无标签数据和预训练权重的无梯度结构化剪枝框架，在 GLUE、SQuAD 上数分钟内最高减少 40% FLOP，精度损失低于 4%。
2023-07-15 cs.AI cs.CL cs.LG
Compressing BERT: Studying the Effects of Weight Pruning on Transfer Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
预训练的通用特征提取器，例如用于自然语言处理的BERT和用于计算机视觉的VGG，已经成为改进深度学习模型而不需要更多标记数据的有效方法。虽然有效，但像BERT这样的特征提取器对于某些部署场景可能过大。我们探索了BERT的权重修剪，并问：预训练期间的压缩如何影响迁移学习？我们发现，修剪影响迁移学习在三个广泛的制度。低水平的修剪（30-40%）根本不会影响训练前的损失或转移到下游任务。中等水平的修剪会增加预训练损失，并阻止有用的预训练信息被转移到下游任务。高水平的修剪还会阻止模型拟合下游数据集，导致进一步退化。最后，我们观察到，微调BERT在一个特定的任务并没有提高其可修剪性。我们的结论是，BERT可以在预训练期间修剪一次，而不是在不影响性能的情况下为每个任务单独修剪。
2020-05-14 cs.CL
Magic Pyramid: Accelerating Inference with Early Exiting and Token Pruning
Monash University（莫纳什大学）；Amazon（亚马逊）
预训练然后微调大语言模型通常用于在自然语言处理（NLP）任务中实现最先进的性能。然而，大多数预先训练的模型都存在推理速度慢的问题。将如此大的模型部署到具有延迟限制的应用程序是具有挑战性的。在这项工作中，我们专注于通过条件计算加速推理。为了实现这一点，我们提出了一个新的想法，魔术金字塔（MP），减少宽度和深度的计算，通过令牌修剪和早期退出基于transformer的模型，特别是BERT。前者通过去除非显著性标记来节省计算量，而后者可以通过在到达最后一层之前提前终止推理来实现计算减少，如果满足退出条件。我们的实证研究表明，与以前的最新技术相比，MP不仅能够实现速度可调的推理，而且还能够通过减少高达70%的千兆浮点运算（GFLOPs）来超越令牌修剪和提前退出，准确率下降不到0.5%。标记修剪和提前退出表达了对不同长度序列的不同偏好。然而，MP能够在两个流行的文本分类任务上实现平均8.06倍的加速，无论输入的大小如何。
2021-10-30 cs.CL
$\rm SP^3$: Enhancing Structured Pruning via PCA Projection
School of Information, Renmin University of China（中国人民大学信息学院）；Tencent AI Lab, Tencent（腾讯AI实验室）；School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）
针对现有结构化剪枝方法忽略预训练语言模型隐藏维度压缩潜力的问题，提出基于PCA投影的SP3剪枝方法，在高压缩比下保持高准确率，且适用于多种模型。
2024-08-18 cs.AI cs.CL
Prune Once for All: Sparse Pre-Trained Language Models
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
基于转换器的语言模型在自然语言处理中有着广泛的应用。然而，它们效率低下，难以部署。近年来，已经提出了许多压缩算法，以提高目标硬件上基于transformer的大型模型的实现效率。在这项工作中，我们提出了一种新的方法来训练稀疏的预训练Transformer语言模型集成权重修剪和模型蒸馏。这些稀疏的预训练模型可用于广泛任务的迁移学习，同时保持其稀疏模式。我们使用三种已知的架构来演示我们的方法，以创建稀疏的预训练BERT-Base，BERT-Large和DistilBERT。我们展示了我们训练的压缩稀疏预训练模型如何将其知识转移到五个不同的下游自然语言任务中，并且精度损失最小。此外，我们展示了如何使用量化感知训练将稀疏模型的权重进一步压缩到8位精度。例如，我们的稀疏预训练BERT-Large在SQuADv1.1上微调并量化为8位，我们实现了编码器的$40$ X压缩比，并且精度损失小于$1\%$。据我们所知，我们的结果显示BERT-Base，BERT-Large和DistilBERT的压缩精度比最好。
2021-11-10 cs.AI cs.CL cs.LG
From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression
Alibaba（阿里巴巴）；Peking University（北京大学）
预训练语言模型（Pre-trained Language Models，PLM）在预训练和微调的范式下在各种自然语言处理（Natural Language Processing，NLP）任务中取得了巨大的成功。PLM具有大量的参数，计算密集型和资源消耗型。因此，模型修剪已被引入到压缩大规模PLM。然而，大多数已有的方法在剪枝时只考虑任务相关的知识，而忽略了任务无关的基本知识，这可能会导致灾难性遗忘问题，从而导致泛化能力差。为了在我们的修剪模型中保持任务不可知和任务特定的知识，我们提出了预训练和微调范式下的主动修剪（CAP）。它被设计为一个通用框架，兼容结构化和非结构化修剪。CAP与对比学习相结合，使修剪后的模型能够从预训练的模型中学习任务不可知的知识，并对任务特定的知识进行微调。此外，为了更好地保持修剪模型的性能，快照（即，在每次修剪迭代的中间模型）也用作修剪的有效监督。我们广泛的实验表明，采用CAP一贯产生显着的改善，特别是在极高的稀疏性的情况下。仅保留3%的模型参数（即，97%稀疏性），CAP成功地实现了99.2%和96.3%的原始BERT性能在QQP和MNLI任务。此外，我们的探测实验表明，CAP修剪的模型倾向于实现更好的泛化能力。
2021-12-14 cs.AI cs.CL
Infor-Coef: Information Bottleneck-based Dynamic Token Downsampling for Compact and Efficient language model
Fudan University（复旦大学）
提出Infor-Coef模型加速方法，结合动态token下采样与静态剪枝，通过信息瓶颈损失优化，相比BERT实现18倍FLOPs加速且准确率下降不到8%。
2023-05-21 cs.CL
An Automatic and Efficient BERT Pruning for Edge AI Systems
University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
随着人们对深度学习民主化的渴望，越来越多的人要求在资源受限的设备上实现基于transformer的自然语言处理（NLP）模型，以实现低延迟和高准确性。现有的BERT剪枝方法需要领域专家手工创建超参数，以在模型大小、延迟和准确性之间取得平衡。在这项工作中，我们提出了AE-BERT，一个自动和高效的BERT修剪框架，有效的评估，以选择一个“好”的子网络候选人（具有高精度）给定的整体修剪比约束。我们提出的方法不需要人类专家的经验，并在许多NLP任务上实现了更好的准确性。我们在通用语言理解评估（GLUE）基准测试上的实验结果表明，AE-BERT在BERT $_{\mathrm{BASE}}$上的性能优于SOTA手工剪枝方法.在QNLI和RTE上，我们分别获得了75%和42.8%的总体剪枝率，同时获得了更高的准确率。在MRPC上，我们在相同的总体修剪率为0.5的情况下获得了比SOTA高4.6的分数。在STS-B上，与SOTA手工剪枝方法相比，在Spearman相关性损失很小的情况下，剪枝率提高了40%.实验结果还表明，在模型压缩后，Xilinx Alveo U200 FPGA板上单个BERT $_{\mathrm{BASE}}$编码器的推理时间比Intel（R）Xeon（R）Gold 5218（2.30 GHz）CPU有1.83 $\times$加速，这表明了在计算受限设备上部署所提出的方法…
2022-06-21 cs.AI cs.CL
Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Corporate Model Risk, Wells Fargo（富国银行企业模型风险部）
近年来，在自然语言处理甚至在计算机视觉中越来越多地采用Transformer模型，例如BERT。然而，由于它们的大小，在资源受限的计算环境中，这种模型的采用有限。提出了一种新的剪枝算法，通过消除冗余的注意头来压缩Transformer模型。我们应用A* 搜索算法来获得具有严格精度保证的修剪模型。实验结果表明，该方法可以消除BERT Transformer模型中多达40%的注意头，而不损失准确性。
2021-11-17 cs.CL cs.LG
When BERT Plays the Lottery, All Tickets Are Winning
Zoho Labs（Zoho实验室）；Zoho Corporation（Zoho公司）；Copenhagen University（哥本哈根大学）；Univ. of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
大型的基于transformer的模型被证明可以简化为更少数量的自我注意头和层。我们认为这种现象的彩票假说的角度来看，使用结构化和幅度修剪。对于微调的BERT，我们表明，（a）它是可能的，以找到子网络实现的性能与完整的模型，（b）类似大小的子网络从模型的其余部分进行采样表现较差。引人注目的是，通过结构化修剪，即使是最差的子网络也仍然具有高度的可训练性，这表明大多数预训练的BERT权重都是潜在有用的。我们还研究了“好”的子网络，看看他们的成功是否可以归因于优越的语言知识，但发现他们不稳定，并没有解释有意义的自我注意模式。
2020-10-24 cs.CL cs.LG
On the Prunability of Attention Heads in Multilingual BERT
Robert Bosch Centre for Data Science and Artificial Intelligence (RBC-DSAI)（罗伯特·博世数据科学与人工智能中心（RBC-DSAI））；IIT Madras（印度理工学院马德拉斯分校）
大型的多语言模型，如mBERT，在跨语言迁移中表现出了希望。在这项工作中，我们采用修剪来量化mBERT的鲁棒性和解释逐层重要性。在四个GLUE任务中，由于修剪而导致的准确性的相对下降在mBERT和BERT上具有几乎相同的结果，这表明多语言模型的注意力能力降低不会影响修剪的鲁棒性。对于跨语言任务XNLI，我们报告了更高的准确性下降，修剪表明跨语言传输的鲁棒性较低。此外，编码器层的重要性敏感地取决于语言家族和预训练语料库的大小。顶层受微调影响相对较大，编码类似英语（SVO）的语言的重要信息，而底层受微调影响相对较小，对粘着和低资源语言特别重要。
2021-09-26 cs.CL
Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking
TU Wien（维也纳工业大学）；Microsoft（微软）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
一种用于实现神经文档重新排序中的最新有效性的新方法涉及利用大型预训练的语言模型-例如，BERT -评估文档中的所有单独段落，然后通过池化或其他Transformer层聚合输出。这种方法的一个主要缺点是由于使用BERT评估文档中的每个段落的成本而导致的高查询延迟。更糟糕的是，这种高推理成本和延迟根据文档的长度而变化，更长的文档需要更多的时间和计算。为了应对这一挑战，我们采用了一种文档内级联策略，该策略在运行一个更昂贵和更有效的评分模型（称为ETM）之前，使用一个更便宜的模型（称为ESM）修剪候选文档的段落。我们发现最好通过从ETM（有效教师模型的简称）中提取知识蒸馏来训练ESM（有效学生模型的简称），例如，BERT。这种修剪允许我们只在较小的段落集上运行ETM模型，这些段落的大小不随文档长度而变化。我们在MS MARCO和TREC深度学习跟踪基准上的实验表明，所提出的文档内级联排名模型（IDCM）通过提供与最先进的基于BERT的文档排序模型基本相同的有效性，导致查询延迟降低400%以上。
2021-05-20 cs.CL cs.IR
Just CHOP: Embarrassingly Simple LLM Compression
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Institute for Language, Cognition and Computation, University of Edinburgh（爱丁堡大学语言、认知与计算研究所）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
针对大语言模型压缩中剪枝策略忽视预训练后微调范式的问题，提出LayerChop方法，通过层剪枝加持续自监督预训练微调，在7B规模模型上实现优于结构化、半结构化压缩及蒸馏的效果与推理效率。
2024-07-09 cs.CL
UltraBERT: Beyond the Limit of BERT Pre-Training
Korea University（高丽大学）；AIGEN Sciences（AIGEN科学公司）；Amazon（亚马逊公司）
本研究重新审视双向编码器预训练的核心设计，提出UltraBERT模型，通过为不同掩码比例分配独立LM头并限制蒸馏目标，使其成为首个在GLUE分类和BEIR检索任务上均达最优性能的编码器。
2026-10-14 cs.AI cs.CL
Efficient Fine-Tuning of Compressed Language Models with Learners
McGill University（麦吉尔大学）
微调基于BERT的模型在内存、计算和时间方面是资源密集型的。虽然许多现有的工作旨在通过压缩技术来提高推理效率，例如，修剪，这些工作没有明确地解决训练下游任务的计算挑战。我们引入了学习者模块和启动，新的微调方法，利用预训练的语言模型的过度参数化，以获得收敛速度和资源利用率的好处。学习器模块通过微调参数子集来有效地进行训练，以及2）通过确保快速收敛和高度量分数来有效地进行训练。我们在DistilBERT上的结果表明，学习者的表现与基线相当或超过基线。学习者训练的参数比GLUE上最先进的方法少7倍。在CoLA上，学习者微调速度快20%，资源利用率显著降低。
2022-08-03 cs.CL cs.LG
BERMo: What can BERT learn from ELMo?
Purdue University（普渡大学）
我们提出了BERMo，架构修改BERT，使预测的基础上的层次结构的表面，语法和语义语言功能。我们使用线性组合方案中提出的嵌入从语言模型（ELMo）组合的缩放内部表示从不同的网络深度。我们的方法有两个好处：（1）改进了下游任务的梯度流，因为每一层都与损失函数的梯度有直接的联系;（2）增加了代表性，因为模型不再需要复制下游任务所需的较浅层中学习的特征。此外，我们的模型具有可忽略的参数开销，因为网络中的每一层都有一个标量参数。在SentEval数据集上的探测任务上的实验表明，该模型在语义任务上的准确率比基线提高了$4.65\%$，平均提高了$2.67\%$.当受到压缩技术，我们发现，我们的模型能够稳定修剪压缩小数据集，如SST-2，其中BERT模型通常发散。我们观察到，我们的方法收敛$1.67\times$和$1.15\times$比基线更快的MNLI和QQP任务从GLUE数据集。此外，我们的研究结果表明，我们的方法可以获得更好的参数效率的惩罚为基础的修剪方法的QQP任务。
2021-10-18 cs.CL cs.LG
How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark
Institute of Science and Technology Austria（奥地利科学技术研究所）；ETH Zürich（苏黎世联邦理工学院）；Neural Magic, Inc.（Neural Magic公司）
针对BERT剪枝在SMC基准上失效的问题，提出成本收益分析、缩放训练与稀疏化调度及知识蒸馏参数化等通用指南，使经典GMP方法在经典和SMC基准上均达最优。
2023-12-21 cs.CL
Reweighted Proximal Pruning for Large-Scale Language Representation
Northeastern University（东北大学）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院 MIT-IBM沃森人工智能实验室）；United States Federal Aviation Administration（美国联邦航空管理局）
最近，预先训练的语言表示成为自然语言理解社区的支柱，例如，BERT。这些预先训练的语言表示可以在广泛的下游任务中创建最先进的结果。随着性能的持续显著提高，这些预先训练的神经模型的大小和复杂性继续迅速增加。有没有可能压缩这些大规模的语言表示模型？修剪后的语言表征将如何影响下游的多任务迁移学习目标？在本文中，我们提出了重新加权邻近修剪（RPP），一个新的修剪方法专门设计的大规模语言表示模型。通过在SQuAD和GLUE基准测试集上的实验，我们证明了近端剪枝的BERT在高剪枝率下对预训练任务和下游多个微调任务都保持了高的准确率。RPP提供了一个新的视角来帮助我们分析大规模语言表征可能学习什么。此外，RPP使得可以在一系列不同的设备上部署大型的最先进的语言表示模型，例如BERT（例如，在线服务器、移动电话和边缘设备）。
2019-12-23 cs.CL cs.LG cs.NE
EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning
Univeristy of California, Berkeley（加州大学伯克利分校）；San Francisco State University（旧金山州立大学）
EfficientXpert通过传播感知剪枝方法，实现大语言模型在领域适应中的高效压缩，达到接近密集性能的稀疏效果，同时保持训练时间和内存效率。
2026-10-06 cs.CL cs.LG
Iterative Network Pruning with Uncertainty Regularization for Lifelong Sentiment Classification
University of Science and Technology of China（中国科学技术大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Westlake University（西湖大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Tencent（腾讯）
终身学习能力对于情感分类器处理网络上持续的意见信息流至关重要。然而，执行终身学习对于深度神经网络来说并不简单，因为对增量可用信息的持续训练不可避免地导致灾难性遗忘或干扰。在本文中，我们提出了一种新的迭代网络修剪与不确定性正则化方法终身情感分类（IPRLS），它利用网络修剪和权重正则化的原则。通过以迭代方式执行网络修剪和不确定性正则化，IPRLS可以适应单个BERT模型来处理来自多个域的连续到达的数据，同时避免灾难性遗忘和干扰。具体来说，我们利用迭代修剪方法来删除大型深度网络中的冗余参数，以便释放的空间可以用于学习新任务，解决灾难性遗忘问题。在学习新任务时，我们没有保持旧任务不变，而是使用基于贝叶斯在线学习框架的不确定性正则化来约束BERT中旧任务权重的更新，这使得正向向后转移成为可能，即学习新任务可以提高过去任务的性能，同时保护旧知识不丢失。此外，我们提出了一个特定于任务的低维残差函数并行到BERT的每一层，这使得IPRLS不太容易丢失的知识保存在基础BERT网络时，学习一个新的任务。在16个流行评论语料库上的实验表明，该方法在终身情感分类方面明显优于强基线。为了重现性，我们将代码和数据提交到：https://github.com/siat-nlp/IPRLS。
2021-06-21 cs.AI cs.CL
LadaBERT: Lightweight Adaptation of BERT through Hybrid Model Compression
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
BERT是一种经过大型语料库预训练的前沿语言表示模型，在各种自然语言理解任务上都取得了优异的性能。然而，将BERT应用于在线服务的一个主要阻塞问题是，它是内存密集型的，并且导致用户请求的不令人满意的延迟，从而提高了模型压缩的必要性。现有的解决方案利用知识蒸馏框架来学习模仿BERT行为的较小模型。然而，知识蒸馏的训练过程本身是昂贵的，因为它需要足够的训练数据来模仿教师模型。在本文中，我们解决这个问题，提出了一个混合的解决方案，名为拉达BERT（轻量级适应BERT通过混合模型压缩），它结合了不同的模型压缩方法的优点，包括重量修剪，矩阵分解和知识蒸馏。LadaBERT在各种公共数据集上实现了最先进的准确性，同时训练开销可以减少一个数量级。
2020-10-21 cs.CL cs.LG
Characterizing the Accuracy -- Efficiency Trade-off of Low-rank Decomposition in Language Models
University of California, Irvine（加利福尼亚大学欧文分校）；NVIDIA（英伟达）
本文形式化并实证分析了 Tucker 低秩分解在 BERT 和 Llama 2 等语言模型上的精度-效率权衡，表明可在不重训练的情况下实现 9% 的模型缩减且精度损失有限，为实时 LLM 应用提供了有前景的压缩方向。
2024-10-22 cs.CL cs.LG
Constraint-aware and Ranking-distilled Token Pruning for Efficient Transformer Inference
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Microsoft（微软）
提出约束感知与排序蒸馏的Token剪枝方法ToP，通过蒸馏Token排序和改进$L_0$正则化优化剪枝决策，在保持准确率的同时显著减少BERT的计算量并实现大幅推理加速。
2023-06-26 cs.CL
A Fast Post-Training Pruning Framework for Transformers
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）；Samsung Semiconductor, Inc.（三星半导体公司）
剪枝是减少Transformer模型巨大推理开销的有效方法。然而，修剪Transformers的先前工作需要重新训练模型。这可能会给模型部署增加高培训成本和高复杂性，使其难以在许多实际情况下使用。为了解决这个问题，我们提出了一个快速的训练后修剪框架Transformers，不需要任何再培训。给定资源约束和样本数据集，我们的框架使用结构化稀疏方法自动修剪Transformer模型。为了保持高精度而无需重新训练，我们引入了三种新技术：（i）轻量级掩码搜索算法，该算法根据Fisher信息找到要修剪的头部和过滤器;（ii）补充搜索算法的掩码重排;以及（iii）重建每层输出激活的掩码调整。我们将我们的方法应用于BERT基础和DistilBERT，并在GLUE和SQuAD基准测试中评估其有效性。我们的框架实现了高达2.0倍的FLOP减少和1.56倍的推理延迟加速，同时保持了< 1%的准确性损失。重要的是，我们的框架在单个GPU上不到3分钟就可以修剪Transformers，这比现有的重新训练模型的修剪方法快了两个数量级。
2022-10-17 cs.CL cs.LG
CPTQuant - A Novel Mixed Precision Post-Training Quantization Techniques for Large Language Models
UC San Diego（加州大学圣迭戈分校）
针对大语言模型内存与计算需求高的问题，提出包含三种混合精度策略的CPTQuant训练后量化技术，可在精度损失极小的情况下实现高压缩比与效率提升，不同策略适配不同任务。
2024-12-03 cs.CL cs.LG
SwiftPruner: Reinforced Evolutionary Pruning for Efficient Ad Relevance
Microsoft Research（微软研究院）；Microsoft（微软）
广告相关性建模在包括Microsoft Bing在内的在线广告系统中起着关键作用。为了在这种低延迟设置中利用像BERT这样的强大Transformers，许多现有方法离线执行广告端计算。虽然有效，但这些方法无法服务于冷启动广告，从而导致对此类广告的不良相关性预测。本研究旨在设计一种新的、低延迟的BERT，通过结构化修剪，在CPU平台上实现冷启动广告相关性的实时在线推理。我们面临的挑战是，以前的方法通常修剪所有层的Transformer的高，均匀的稀疏性，从而产生的模型，不能达到令人满意的推理速度与可接受的精度。在本文中，我们提出了SwiftPruner -一个有效的框架，利用基于进化的搜索，自动找到性能最好的逐层稀疏BERT模型下所需的延迟约束。不同于现有的进化算法进行随机突变，我们提出了一个增强的mutator与延迟意识的多目标奖励进行更好的突变，有效地搜索大空间的逐层稀疏模型。大量的实验表明，我们的方法始终实现更高的ROC AUC和更低的延迟比均匀稀疏基线和最先进的搜索方法。值得注意的是，在我们对CPU的1900 us延迟要求下，SwiftPruner在大规模真实世界数据集上实现了比BERT-Mini最先进的均匀稀疏基线高0.86%的AUC。在线A/B测试表明，我们的模型也实现了显着的11.7%的比例有缺陷的冷启动广告与令人满意的实时服务延迟。
2022-08-30 cs.AI cs.CL cs.IR
oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Neural Magic Inc.（神经魔法公司）
本文提出 oBERTa 稀疏语言模型系列，通过冻结嵌入、改进蒸馏初始化与剪枝量化流程，让无压缩经验者获得高准确率且推理提速 3.8–24.3 倍的模型。
2023-06-06 cs.AI cs.CL cs.LG
Distilling the Knowledge of Romanian BERTs Using Multiple Teachers
Research Institute for Artificial Intelligence, Romanian Academy（罗马尼亚科学院人工智能研究所）
在计算受限的环境中运行大规模预训练语言模型仍然是一个有待解决的挑战性问题，而从这些模型中进行迁移学习在自然语言处理任务中已经变得普遍。之前已经提出了几种解决方案，包括知识蒸馏，网络量化或网络修剪;然而，这些方法主要集中在英语语言上，从而在考虑低资源语言时扩大了差距。在这项工作中，我们介绍了三个轻型和快速版本的蒸馏BERT模型的罗马尼亚语：蒸馏BERT-基-ro，蒸馏-RoBERT-基，蒸馏多BERT-基-ro。前两个模型导致从两个基础版本的罗马尼亚BERT文献中的知识的个人蒸馏，而最后一个是通过蒸馏他们的合奏。据我们所知，这是第一次尝试创建公开可用的罗马尼亚蒸馏BERT模型，这是彻底评估的五个任务：词性标记，命名实体识别，情感分析，语义文本相似性，和方言识别。我们的实验结果表明，这三种蒸馏模型的性能与它们的老师相当，而在GPU上的速度是老师的两倍，体积小了约35%。此外，我们进一步测试我们的学生与他们的老师的预测之间的相似性，通过测量他们的标签和概率忠诚度，以及回归忠诚度-在这项工作中引入的一个新的度量。
2022-04-13 cs.CL cs.LG
The Topological BERT: Transforming Attention into Topology for Natural Language Processing
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
近年来，Transformer模型的引入引发了自然语言处理（NLP）的革命。BERT是第一个只使用注意力机制而不使用任何重复部分的文本编码器之一，在许多NLP任务上实现了最先进的结果。本文介绍了一种基于拓扑数据分析的文本分类器。我们使用BERT的注意力地图转换成注意力图作为该分类器的唯一输入。该模型可以解决诸如区分垃圾邮件和业余消息，识别句子是否语法正确，或评估电影评论为负面或正面等任务。它的性能接近BERT基准，并且在某些任务上优于它。此外，我们提出了一种新的方法来减少BERT的注意头部的拓扑分类器，这使我们能够修剪的头部的数量从144下降到少至10没有减少性能。我们的工作还表明，拓扑模型显示出更高的鲁棒性对抗攻击比原来的BERT模型，这是保持在修剪过程中。据我们所知，这项工作是第一个在NLP背景下面对基于拓扑的模型与对抗攻击的工作。
2022-06-30 cs.CL cs.LG math.AT
Pruning for Performance: Efficient Idiom and Metaphor Classification in Low-Resource Konkani Using mBERT
Algoverse AI Research（Algoverse AI研究院）
针对低资源孔卡尼语比喻语言识别难题，提出融合 mBERT、BiLSTM 与线性分类器的混合模型，并采用基于梯度的注意力头剪枝提升效率，在隐喻与习语分类上分别达到 78% 和 83% 准确率。
2025-07-28 cs.CL
Lexical Prompt Compression for Large Language Models: A Training-Free, Deterministic Pipeline with Empirical Pareto Analysis Across Eleven Task Categories
Bright Horizons（光明地平线）；Northeastern University（东北大学）
本研究提出一种免训练、确定性、仅CPU的词汇提示压缩流水线，通过十种可切换的词汇转换在1,242个提示上实现最高40.3%令牌减少，同时保持高保真度，并刻画了跨十一类任务的压缩-保真度帕累托前沿。
2026-09-15 cs.CL
Compressing Context to Enhance Inference Efficiency of Large Language Models
University of Surrey（萨里大学）；University of Manchester（曼彻斯特大学）
提出Selective Context方法，通过剪除输入上下文冗余来压缩上下文，在长文档和对话任务中降低50%上下文成本，减少36%内存和32%推理时间，同时保持性能几乎不变。
2023-10-09 cs.CL
Combining Compressions for Multiplicative Size Scaling on Natural Language Tasks
Apple（苹果公司）；Cornell Tech（康奈尔大学科技校区）；Massachusetts Institute of Technology（麻省理工学院）
量化、知识蒸馏和幅度修剪是自然语言处理中神经网络压缩的最流行方法。独立地，这些方法减少了模型大小，可以加速推理，但它们的相对效益和组合的相互作用还没有得到严格的研究。对于这些技术的八个可能子集中的每一个，我们比较了六个BERT架构大小和八个GLUE任务的准确性与模型大小的权衡。我们发现，量化和蒸馏始终提供更大的好处比修剪。令人惊讶的是，除了修剪和量化之外，同时使用多种方法很少会产生收益递减。相反，我们观察到模型大小的互补和超乘法减少。我们的工作定量地表明，结合压缩方法可以协同减少模型大小，从业者应该优先考虑（1）量化，（2）知识蒸馏，（3）修剪，以最大限度地提高精度与模型大小的权衡。
2022-08-20 cs.CL
Contributions of Transformer Attention Heads in Multi- and Cross-lingual Tasks
Dartmouth College（达特茅斯学院）；Tsinghua University（清华大学）；Zhejiang University City College（浙江大学城市学院）
本文研究了基于transformer的模型中注意力头的相对重要性，以帮助其在跨语言和多语言任务中的可解释性。先前的研究已经发现，在每个单语言自然语言处理（NLP）任务中，只有少数注意力头部是重要的，并且修剪剩余的头部会导致模型的性能相当或改进。然而，修剪注意头的影响还不清楚，在跨语言和多语言的任务。通过大量的实验，我们表明：（1）在基于多语言transformer的模型中修剪一些注意力头，一般来说，对跨语言和多语言任务的性能有积极的影响;（2）要修剪的注意力头可以使用梯度进行排名，并通过一些试验实验进行识别。我们的实验主要集中在序列标记任务，具有潜在的适用性，其他跨语言和多语言的任务。为了全面起见，我们检查了两个预训练的多语言模型，即多语言BERT（mBERT）和XLM-R，每个模型针对9种语言的三个任务。我们还讨论了我们的研究结果的有效性及其可扩展性，真正的资源稀缺的语言和其他任务设置。
2021-08-18 cs.CL cs.LG
As easy as PIE: understanding when pruning causes language models to disagree
University of Copenhagen（哥本哈根大学）；LUT University（拉普兰塔理工大学）
该研究首次在NLP中系统研究剪枝对特定数据点（PIEs）的影响，发现剪枝虽平均准确率损失不大，却严重损害对泛化最关键的数据点，且BERT比BiLSTM更易受影响，根源在于这些文本更长更复杂。
2025-03-27 cs.CL
Accelerating Attention through Gradient-Based Learned Runtime Pruning
University of California, San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
自注意力是各种基于transformer的自然语言处理模型的最新准确性的关键推动因素。该注意力机制计算句子中每个单词相对于其他单词的相关性分数。通常，只有一小部分单词与关注的单词高度相关，这仅在运行时确定。因此，由于注意力分数低，大量的计算是无关紧要的，并且可以潜在地被修剪。主要的挑战是找到分数的阈值，低于该阈值，随后的计算将是无关紧要的。虽然这样的阈值是离散的，本文制定其搜索通过软微分正则化集成到损失函数的训练。该公式依赖于反向传播训练，以同时分析性地共同优化阈值和权重，在准确性和计算修剪之间取得形式上的最佳平衡。为了最好地利用这一数学创新，我们设计了一个位串行架构，被称为LeOPard，Transformer语言模型位级提前终止微架构机制。我们在MemN 2N、BERT、AL BERT、GPT-2和视觉Transformer模型的43个后端任务中评估我们的设计。布局后的结果表明，平均而言，LeOPard分别产生1.9倍和3.9倍的加速和能量减少，同时保持平均准确度几乎不变（<0.2%的退化）
2022-04-15 cs.AR cs.CL cs.LG
The Carbon Cost of Conversation, Sustainability in the Age of Language Models
Dhaka Residential Model College（达卡模范学院）；Char Adarsha College（查尔阿达尔沙学院）；Dhaka College（达卡学院）；Shamplapur Ideal Academy（尚普拉普尔理想学院）
本文量化了大语言模型的环境成本，指出其背后的系统性问题对全球南方社区危害尤甚，同时提出技术、政策、文化层面的可持续发展路径，呼吁推动兼顾人与环境福祉的AI发展。
2025-07-29 cs.AI cs.CL cs.CY
