Towards Zero-Shot Knowledge Distillation for Natural Language Processing
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of British Columbia（不列颠哥伦比亚大学）
知识蒸馏（KD）是一种常见的知识转移算法，用于跨各种基于深度学习的自然语言处理（NLP）解决方案进行模型压缩。在其常规表现形式中，KD需要访问教师的训练数据以将知识转移到学生网络。然而，隐私问题、数据法规和所有权原因可能会阻止访问此类数据。我们目前，尽我们所知，Zero-Shot知识蒸馏的NLP，其中学生从更大的老师没有任何任务的具体数据学习的第一个工作。我们的解决方案结合了域外数据和对抗训练来学习教师的输出分布。我们调查了GLUE基准测试中的六个任务，并证明我们可以在压缩模型30倍的同时实现75%到92%的教师分类得分（准确度或F1）。
2020-12-31 cs.CL cs.LG
Enhancing Romanian Offensive Language Detection through Knowledge Distillation, Multi-Task Learning, and Data Augmentation
Faculty of Automatic Control and Computers, National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特理工大学自动控制与计算机学院）
本文针对罗马尼亚语攻击性语言检测，提出结合知识蒸馏、多任务学习、数据增强与教师退火的方法，在保持性能的同时获得更小、更高效的 Transformer 模型。
2024-09-30 cs.CL
On Importance of Pruning and Distillation for Efficient Low Resource NLP
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对低资源语言马拉地语的NLP模型，本研究结合块移动剪枝与知识蒸馏技术，在保持基线精度的同时实现了2.56倍的计算加速，有效降低了计算需求并促进了可持续性。
2024-09-21 cs.CL cs.LG
InhibiDistilbert: Knowledge Distillation for a ReLU and Addition-based Transformer
本研究提出结合模型压缩与抑制注意力的优化方法，改进基于ReLU和加法的Transformer训练效率，经知识蒸馏在DistilBERT架构上验证，在GLUE等NLP基准上取得有竞争力的性能。
2025-03-20 cs.AI cs.CL cs.LG
oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Neural Magic Inc.（神经魔法公司）
本文提出 oBERTa 稀疏语言模型系列，通过冻结嵌入、改进蒸馏初始化与剪枝量化流程，让无压缩经验者获得高准确率且推理提速 3.8–24.3 倍的模型。
2023-06-06 cs.AI cs.CL cs.LG
Towards Non-task-specific Distillation of BERT via Sentence Representation Approximation
Tencent（腾讯）；Peking University（北京大学）
最近，由于其有效性和通用性，BERT已成为各种NLP深度模型的重要组成部分。然而，BERT的在线部署往往是其大规模的参数和高计算成本的阻碍。大量的研究表明，知识蒸馏可以有效地将知识从BERT转移到具有较小参数的模型中。然而，目前的BERT提取方法主要集中在特定任务的提取，这样的方法导致BERT的通用语义知识的通用性的可用性损失。在本文中，我们提出了一个句子表示近似定向蒸馏框架，可以将预训练的BERT蒸馏成一个简单的基于LSTM的模型，而无需指定任务。与BERT一致，我们的蒸馏模型能够通过微调来执行迁移学习，以适应任何并行级下游任务。此外，我们的模型可以进一步配合特定任务的蒸馏过程。来自GLUE基准测试的多个NLP任务的实验结果表明，我们的方法优于其他特定于任务的蒸馏方法，甚至更大的模型，即，ELMO，效率大大提高。
2020-04-07 cs.CL
Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates
Amazon AWS AI（亚马逊AWS人工智能）；University of Waterloo（滑铁卢大学）
深度神经网络的行为在不同版本之间可能不一致。模型更新过程中的回归是一个常见的问题，通常会超过准确性或效率增益的好处。这项工作的重点是量化，减少和分析NLP模型更新中的回归误差。使用负翻转率作为回归指标，我们表明，回归在GLUE基准测试中的任务中普遍存在。我们将无回归模型的更新问题转化为一个约束优化问题，并通过知识蒸馏训练方法将其转化为一个松弛形式的近似优化问题。我们实证分析模型集成如何减少回归。最后，我们进行CheckList行为测试，以了解语言现象中回归的分布，以及集成和蒸馏方法的有效性。
2021-05-07 cs.CL
Meta-KD: A Meta Knowledge Distillation Framework for Language Model Compression across Domains
Zhejiang Lab（之江实验室）；Alibaba Group（阿里巴巴集团）
预训练的语言模型已被应用于各种NLP任务，具有相当大的性能增益。然而，大的模型大小，加上较长的推理时间，限制了这种模型在实时应用中的部署。一种模型压缩方法考虑了知识蒸馏，将大型教师模型蒸馏成小型学生模型。这些研究大多集中在单一领域，忽略了其他领域的可转移知识。我们注意到，训练一个跨领域消化可转移知识的教师可以实现更好的泛化能力，以帮助知识蒸馏。因此，我们提出了一个Meta-知识蒸馏（Meta-KD）框架，建立一个元教师模型，捕获跨领域的可转移知识，并将这些知识传递给学生。具体来说，我们明确地迫使元教师从多个域中捕获实例级和特征级的可转移知识，然后提出一种元蒸馏算法，在元教师的指导下学习单域学生模型。在公共多领域自然语言处理任务上的实验表明了该框架的有效性和优越性。此外，我们还证明了元KD的能力，在设置中的训练数据是稀缺的。
2022-11-02 cs.CL
LLMR: Knowledge Distillation with a Large Language Model-Induced Reward
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
提出LLMR，一种利用大语言模型诱导奖励函数进行知识蒸馏的新方法，在对话生成和摘要任务中优于传统KD方法。
2026-10-16 cs.AI cs.CL
BiLD: Bi-directional Logits Difference Loss for Large Language Model Distillation
KTH Royal Institute of Technology（瑞典皇家理工学院）；OPPO AI Center（OPPO AI中心）
针对大语言模型 logits 蒸馏中的长尾噪声与排序信息利用不足问题，本文提出仅用 top-k 并构建双向 logits 差异的 BiLD 损失，在13个数据集上优于多种基线方法。
2025-02-18 cs.AI cs.CL
Membership and Memorization in LLM Knowledge Distillation
Peking University（北京大学）；Brave Software（Brave软件公司）；Purdue University（普渡大学）；Imperial College London（伦敦帝国理工学院）
本研究系统调查了六种LLM知识蒸馏技术在多种NLP任务和模型中的成员推断与记忆化隐私风险，发现所有方法均会将隐私风险从教师传递给学生，且不同KD组件对风险影响各异。
2025-08-09 cs.AI cs.LG
MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of British Columbia（英属哥伦比亚大学）
大规模预训练语言模型的出现促进了自然语言处理（NLP）领域的快速发展。虽然这些模型在标准基准测试中的性能随着规模的扩大而扩大，但知识蒸馏等压缩技术是使其实用化的关键。我们提出了一种新的基于文本的对抗训练算法MATE-KD，它提高了知识蒸馏的性能。MATE-KD首先训练一个基于掩码语言模型的生成器，通过最大化教师和学生logits之间的分歧来扰动文本。然后使用知识蒸馏，学生在原始和扰动的训练样本上进行训练。我们使用基于BERT的模型在GLUE基准测试中评估了我们的算法，并证明MATE-KD优于竞争对手的对抗性学习和数据增强基线。在GLUE测试集上，我们基于6层RoBERTa的模型优于BERT-Large。
2021-05-12 cs.CL cs.LG
On the Effectiveness of Compact Biomedical Transformers
NLPie（NLPie公司）
在生物医学语料库上预训练的语言模型，如BioBERT，最近在下游生物医学任务上显示出有希望的结果。另一方面，由于嵌入大小、隐藏维度和层数等因素，许多现有的预训练模型都是资源密集型的，计算量很大。自然语言处理（NLP）社区已经开发了许多策略来压缩这些模型，使用修剪，量化和知识蒸馏等技术，从而产生更快，更小，更容易在实践中使用的模型。出于同样的原因，在本文中，我们介绍了六个轻量级模型，即BioDistilBERT，BioTinyBERT，BioMobileBERT，DistilBioBERT，TinyBioBERT和CompactBioBERT，它们是通过生物医学教师的知识蒸馏或通过Masked Language Modeling（MLM）目标在Pubmed数据集上进行持续学习而获得的。我们在三个生物医学任务上评估了我们所有的模型，并将它们与BioBERT-v1.1进行比较，以创建与大型模型不相上下的高效轻量级模型。所有的模型都将在我们的Huggingface个人资料中公开，网址是https://huggingface.co/nlpie，用于运行实验的代码将在https://github.com/nlpie-research/Compact-Biomedical-Transformers上提供。
2022-09-07 cs.CL cs.LG
Lightweight Transformers for Clinical Natural Language Processing
University of Oxford（牛津大学）；NLPie Research（NLPie研究院）；University of Surrey（萨里大学）；Oxford-Suzhou Centre for Advanced Research（牛津苏州高等研究院）；Nuffield Department of Population Health, University of Oxford（牛津大学纳菲尔德人口健康系）；Pandemic Sciences Institute, University of Oxford（牛津大学流行病科学研究所）；Sharif University of Technology（谢里夫理工大学）；Infectious Diseases Data Observatory (IDDO), University of Oxford（牛津大学传染病数据观测站（IDDO））
本文通过知识蒸馏和持续学习开发了参数为1500万至6500万的轻量级临床Transformer，在多个临床文本挖掘任务上性能媲美BioBERT等大模型，并显著优于其他紧凑模型。
2023-02-09 cs.AI cs.CL cs.LG
TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
在本文中，我们介绍TextBrewer，一个开源的知识蒸馏工具包设计的自然语言处理。它与不同的神经网络模型一起工作，并支持各种监督学习任务，例如文本分类，阅读理解，序列标记。TextBrewer提供了一个简单而统一的工作流程，可以通过高度灵活的配置快速设置蒸馏实验。它提供了一组预定义的蒸馏方法，并可以使用自定义代码进行扩展。作为案例研究，我们使用TextBrewer在几个典型的NLP任务上提取BERT。通过简单的配置，我们实现了与具有类似参数数量的公共蒸馏BERT模型相当甚至更高的结果。我们的工具包可通过http://textbrewer.hfl-rc.com获得
2020-04-28 cs.CL cs.LG cs.NE
Language Model Distillation: A Temporal Difference Imitation Learning Perspective
本文提出一种基于时差学习的通用蒸馏框架，利用教师模型的分布稀疏性，通过缩减动作空间提升语言模型蒸馏效果。
2026-01-04 cs.AI cs.CL
A Patient-Doctor-NLP-System to contest inequality for less privileged
Indian Institute of Information Technology, Pune（浦那印度信息技术学院）
PDFTEMRA通过整合模型蒸馏、频域调制等技术，为低资源语言用户提供高效、可访问的医疗NLP解决方案。
2025-12-07 cs.AI cs.CL
Put Teacher in Student's Shoes: Cross-Distillation for Ultra-compact Model Compression Framework
City University of Hong Kong（香港城市大学）；City University of Hong Kong Hong Kong SAR China（香港城市大学香港特别行政区中国）
本文提出EI-BERT框架，通过硬令牌剪枝、交叉蒸馏和参数量化将BERT压缩至1.91MB，并在支付宝边缘推荐系统中服务840万日活设备。
2025-07-07 cs.CL
Improved knowledge distillation by utilizing backward pass knowledge in neural networks
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
知识蒸馏（KD）是模型压缩的重要技术之一。在这种方法中，一个大型网络（教师）的知识被提取到一个模型（学生）中，通常参数要少得多。KD尝试基于从教师网络的前向传递中提取的知识，使学生模型的输出与教师模型的输出更好地匹配。虽然传统的KD对于在给定的数据点上匹配两个网络是有效的，但不能保证这些模型在我们没有足够训练样本的其他区域也能匹配。在这项工作中，我们解决了这个问题，通过生成新的辅助训练样本的基础上提取知识的教师在学生从教师的分歧很大的地区向后通过。我们计算教师和学生之间的差异，并生成新的数据样本，最大限度地提高分歧。这是通过在学生和教师之间的差异的梯度方向上扰动数据样本来完成的。通过添加此辅助来增强训练集，可以显着提高KD的性能，并使学生和教师之间的匹配更加紧密。使用这种方法，当数据样本来自离散域时，例如自然语言处理（NLP）和语言理解的应用，并不是微不足道的。然而，我们展示了如何在这样的应用程序中成功地使用这种技术。我们评估了我们的方法在计算机视觉和自然语言处理领域的各种任务上的性能，并得到了令人满意的结果。
2023-01-27 cs.CL cs.CV cs.LG
Larger models yield better results? Streamlined severity classification of ADHD-related concerns using BERT-based knowledge distillation
BRAC University（BRAC大学）；North South University（北南大学）
本研究通过知识蒸馏构建轻量BERT模型LastBERT，在参数量大减的情况下保持ADHD社交媒体文本严重程度分类性能，为资源受限场景的心理健康评估提供高效工具。
2024-10-30 cs.AI cs.CL
BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks
Tencent Corp（腾讯公司）；Sina Weibo Corp（新浪微博公司）
作为预先训练的Transformer模型，BERT（来自Transformers的双向编码器表示）在多个NLP任务上取得了突破性的性能。另一方面，Boosting是一种流行的集成学习技术，它结合了许多基本分类器，并已被证明在许多机器学习任务中产生更好的泛化性能。已有研究表明，集成BERT可以进一步提高应用性能。然而，目前的集成方法集中在装袋或堆叠，并没有太多的努力探索提升。在这项工作中，我们提出了一种新的Boosting BERT模型，将多类Boosting集成到BERT中。我们提出的模型使用预训练的Transformer作为基础分类器来选择更难的训练集进行微调，并在NLP任务中获得预训练语言知识和增强集成的好处。我们在GLUE数据集和3个流行的中国NLU基准上评估了所提出的模型。实验结果表明，我们提出的模型显着优于BERT在所有数据集上，并证明了它在许多NLP任务的有效性。Boosting BERT将BERT基础替换为RoBERTa作为基础分类器，在几个NLP任务中实现了新的最先进的结果。我们还使用“教师-学生”框架内的知识蒸馏，以减少BoostingBERT的计算开销和模型存储，同时保持其实际应用的性能。
2020-09-13 cs.AI cs.CL
BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques
North South University（北南大学）
本文提出BanglaEmbed，通过跨语言知识蒸馏从高性能英语句变换器构建两个轻量级孟加拉语句嵌入模型，在释义检测、语义文本相似度和仇恨言论检测等任务上优于现有模型，并适合资源受限环境部署。
2024-11-22 cs.CL cs.LG
AxFormer: Accuracy-driven Approximation of Transformers for Faster, Smaller and more Accurate NLP Models
Purdue University（普渡大学）
近年来，Transformers极大地促进了自然语言处理（NLP）的发展，但存在非常大的计算和存储需求。我们观察到，Transformers的设计过程（以自我监督的方式在大型数据集上预训练基础模型，然后针对不同的下游任务对其进行微调）导致任务特定的模型高度过度参数化，对准确性和推理效率产生不利影响。我们提出了AxFormer，一个系统的框架，适用于精度驱动的近似创建优化的Transformer模型为给定的下游任务。AxFormer结合了两个关键的优化--准确性驱动的修剪和选择性硬注意。精确度驱动的修剪识别并删除微调的Transformer中妨碍给定下游任务性能的部分。稀疏硬注意力通过消除不相关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，AxFormer导致模型更准确，同时也更快，更小。我们在GLUE和SQUAD任务上的实验表明，AxFormer模型的准确度提高了4.5%，同时比传统的微调模型快2.5倍，小3.2倍。此外，我们证明AxFormer可以与以前的努力，如蒸馏或量化相结合，以实现进一步的效率提高。
2022-06-10 cs.AI cs.CL cs.LG
torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP
University of California, Irvine（加利福尼亚大学欧文分校）
本文提出torchdistill框架的重大升级版，通过与Hugging Face库集成实现免编码的深度学习研究复现，成功复现BERT在GLUE基准上的结果并发布27个微调模型，同时扩展支持计算机视觉任务。
2023-10-26 cs.CL cs.CV cs.LG
TiME: Tiny Monolingual Encoders for Efficient NLP Pipelines
EPFL（瑞士联邦理工学院）
TiME通过蒸馏技术训练小型单语模型，提升NLP流水线的效率与性能平衡。
2025-12-16 cs.CL cs.LG
Smoothing Out Hallucinations: Mitigating LLM Hallucination with Smoothed Knowledge Distillation
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
本文针对 LLM 因硬标签训练导致过度自信和幻觉的问题，提出在指令数据监督微调中使用教师模型的平滑软标签进行知识蒸馏，实验证明其可在保持通用 NLP 性能的同时减少摘要幻觉。
2025-02-16 cs.CL cs.LG
Do Student LLMs Inherit OOD Robustness? Invariance-Weighted Distillation for Reliable Knowledge Transfer
University of Maryland, College Park（马里兰大学帕克分校）
针对知识蒸馏中学生模型在分布外场景性能下降的问题，提出不变性加权蒸馏（IWD），通过预测不变性动态加权样本，降低虚假相关性影响，在多个基准上显著提升OOD鲁棒性。
2026-09-22 cs.AI cs.CL cs.LG
Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models
Kata.ai Research Team（Kata.ai 研究团队）；University of Indonesia（印度尼西亚大学）
我们从特定于任务的BERT教师模型到各种学生模型执行知识蒸馏（KD）基准测试：BiLSTM，CNN，BERT-Tiny，BERT-Mini和BERT-Small。我们的实验涉及12个数据集分为两个任务：文本分类和序列标记在印度尼西亚语。我们还比较了各个方面的蒸馏，包括使用词嵌入和无标记的数据增强。我们的实验表明，尽管基于transformer的模型越来越受欢迎，但与修剪的BERT模型相比，使用BiLSTM和CNN学生模型在性能和计算资源（CPU，RAM和存储）之间提供了最佳权衡。我们进一步提出了一些快速的胜利，通过有效的KD训练机制，包括简单的选择损失函数，词嵌入，和未标记的数据准备执行KD产生小型NLP模型。
2022-01-03 cs.CL
The Privileged Students: On the Value of Initialization in Multilingual Knowledge Distillation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文研究多语言知识蒸馏中初始化的重要性，提出直接复制教师模型权重以增强初始化，实验表明该方法比蒸馏过程本身贡献更大，且能保留低资源场景下的多语言能力。
2024-11-08 cs.CL
Oh! We Freeze: Improving Quantized Knowledge Distillation via Signal Propagation Analysis for Large Language Models
Qualcomm AI Research（高通人工智能研究）；Qualcomm Technologies Inc.（高通技术公司）
本文针对大语言模型4比特量化微调不稳定的问题，通过梯度传播分析提出ov-freeze技术稳定KD-QAT过程，在7B LLaMAv2-Chat上实现常识推理准确率损失低于0.7%。
2024-03-28 cs.AI cs.CL cs.LG
Distillation-Resistant Watermarking for Model Protection in NLP
University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们如何保护经过训练的NLP模型的知识产权？现代NLP模型很容易通过查询和提取其公开的API来窃取。然而，现有的保护方法，如水印只适用于图像，但不适用于文本。我们提出了抗蒸馏水印（DRW），这是一种保护NLP模型不被蒸馏窃取的新技术。DRW通过将水印注入到受害者的预测概率中来保护模型，该预测概率对应于秘密密钥，并且DRW能够通过探测可疑模型来检测这样的密钥。我们证明了受保护的模型在一定范围内仍然保持原来的精度。我们评估DRW在不同的NLP任务，包括文本分类，词性标注，和命名实体识别。实验表明，DRW保护了原始模型，并检测盗窃嫌疑人在所有四个任务的平均平均精度为100%，而以前的方法失败的两个。
2022-10-23 cs.CL cs.LG
Annealing Knowledge Distillation
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·切里顿计算机科学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Department of Statistics and Actuarial Science, University of Waterloo（滑铁卢大学统计与精算科学系）
大型深度神经网络对内存和计算的巨大需求限制了其在边缘设备上的应用。知识蒸馏（KD）是一种用于深度神经网络的突出的模型压缩技术，其中训练的大型教师模型的知识被转移到较小的学生模型。知识蒸馏的成功主要归功于它的训练目标函数，它利用了训练集中除了给定的规则硬标签之外的软目标信息（也称为“暗知识”）。然而，在文献中显示，教师和学生网络之间的差距越大，使用知识蒸馏进行训练就越困难。为了解决这个缺点，我们提出了一种改进的知识蒸馏方法（称为退火KD），通过不断增加和更有效地提供丰富的信息，教师的软目标。我们的退火KD技术基于教师在迭代过程中在不同温度下生成的退火软目标上的逐渐过渡，因此，学生被训练以逐步的方式跟随退火教师输出。本文包括理论和经验证据以及实际实验来支持我们的退火KD方法的有效性。我们对不同的任务进行了一系列全面的实验，例如图像分类（CIFAR-10和100）和基于BERT模型的NLP语言推理，并在GLUE基准测试中获得了优异的结果。
2021-04-14 cs.CL cs.LG
TAKE: Trajectory-Aware Knowledge Estimation for Text Dataset Distillation
针对大规模文本语料库瓶颈问题，提出文本数据集蒸馏框架TAKE，通过影响函数及轨迹感知知识估计卷积样本知识分数作权重，在极端压缩下评估，可保持任务保真度实现数据效率，对相关研究有理论意义且开源代码。
2026-07-15 cs.CL cs.LG
A Comparative Analysis of Task-Agnostic Distillation Methods for Compressing Transformer Language Models
IBM Research AI（IBM研究院人工智能部门）
本文比较分析了任务无关蒸馏方法（OD、HS、MHA）压缩Transformer语言模型，发现基于MiniLMv2的MHA迁移最优，HS迁移有竞争力，OD迁移最差，并用于延迟关键型应用。
2023-10-13 cs.AI cs.CL
EfficientBERT: Progressively Searching Multilayer Perceptron via Warm-up Knowledge Distillation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；DarkMatter AI Research（暗物质人工智能研究院）
预训练的语言模型在各种NLP任务中表现出了显着的效果。然而，由于它们体积庞大，推理速度慢，很难在边缘设备上部署它们。在本文中，我们有一个关键的洞察力，改善前馈网络（FFN）在BERT有一个更高的增益比改善多头注意力（MHA），因为FFN的计算成本是2 $\sim$ 3倍大于MHA。因此，紧凑的BERT，我们致力于设计高效的FFN，而不是以前的作品，注意MHA。由于FFN包括一个多层感知器（MLP），这是必不可少的BERT优化，我们进一步设计了一个彻底的搜索空间向先进的MLP和执行一个由粗到细的机制，以寻找一个有效的BERT架构。此外，为了加快搜索速度和增强模型的可移植性，我们在每个搜索阶段采用了一种新的预热知识蒸馏策略。大量的实验表明，我们所搜索的EfficientBERT是6.9 $\times$小，4.4 $\times$快于BERT $\rm_{BASE}$，并具有竞争力的性能在GLUE和SQuAD基准。具体而言，即使没有数据增强，EfficientBERT在GLUE \emph{test}上的平均得分为77.7，比MobileBERT $\rm_{TINY}$高0.7，在SQuAD v1.1/v2.0 \emph{dev}上的F1得分为85.3/74.5，比TinyBERT $_4$高3.2/2.7。该代码在https://github.com/cheneydon/effi…
2021-09-16 cs.AI cs.CL cs.LG
What is Lost in Knowledge Distillation?
Amazon（亚马逊公司）
针对知识蒸馏压缩过程可能存在信息损失的问题，本研究探究学生模型与教师模型的差异及损失规律，通过实验分析不同因素对KD敏感性的影响，为实现师生模型间最优信息传递的配置选择提供参考。
2023-11-07 cs.CL
EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models
Alibaba Cloud Computing（阿里云计算）；Shanghai Jiao Tong University（上海交通大学）
本文提出EasyDistill工具包，支持大型语言模型黑白盒知识蒸馏，集成数据合成、微调、排序优化与强化学习等功能，并提供蒸馏模型、工业方案及开源数据集，无缝接入阿里云PAI平台。
2025-06-27 cs.AI cs.CL
Extract then Distill: Efficient and Effective Task-Agnostic BERT Distillation
Tsinghua University（清华大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
与任务无关的知识蒸馏是一个师生框架，已被证明是有效的BERT压缩。虽然在NLP任务上取得了很好的结果，但它需要大量的计算资源。在本文中，我们提出提取然后蒸馏（ETD），一个通用的和灵活的策略，以重用教师的参数，高效和有效的任务不可知蒸馏，它可以适用于任何规模的学生。具体来说，我们介绍了两个变种的ETD，ETD-Rand和ETD-Impt，提取教师的参数在一个随机的方式，并通过以下的重要性度量分别。这样，学生在蒸馏过程开始时就已经掌握了一些知识，这使得蒸馏过程收敛得更快。我们证明了ETD在GLUE基准和SQuAD上的有效性。实验结果表明：（1）与未采用ETD策略的基线算法相比，ETD算法可以节省70%的计算量。此外，当使用相同的计算资源时，它实现了比基线更好的结果。(2)ETD是通用的，并且已被证明对不同的蒸馏方法有效（例如，TinyBERT和MiniLM）和不同大小的学生。源代码将在发布时公开提供。
2021-04-24 cs.CL
Data Laundering: Artificially Boosting Benchmark Results through Knowledge Distillation
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）
本文提出“数据洗钱”方法，通过知识蒸馏的中间训练步骤隐蔽迁移基准特定知识，在不提升真实推理能力的情况下人为抬高语言模型基准分数，揭示了当前AI评估体系的脆弱性。
2025-06-04 cs.AI cs.CL
Okay, Let's Do This! Modeling Event Coreference with Generated Rationales and Knowledge Distillation
Colorado State University（科罗拉多州立大学）
本文提出利用大语言模型生成的溯因自由文本理由作为远程监督，结合知识蒸馏训练小模型进行跨文档事件共指消解，在ECB+和GVC上取得SOTA效果。
2024-04-04 cs.CL
Exploring the Limits of Model Compression in LLMs: A Knowledge Distillation Study on QA Tasks
Fraunhofer Institute for Intelligent Analysis and Information Systems（弗劳恩霍夫智能分析与信息系统研究所）；University of Southern Denmark（南丹麦大学）；Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息科技研究所）；University Hospital of Cologne（科隆大学医院）
本研究通过知识蒸馏在SQuAD和MLQA问答任务上压缩Pythia和Qwen2.5模型，发现学生模型在参数量减少57.1%的情况下仍保留教师模型90%以上的性能，结合单样本提示可进一步提升效果，适用于资源受限环境。
2025-07-10 cs.CL cs.LG
Mixed Distillation Helps Smaller Language Model Better Reasoning
Zhejiang University（浙江大学）；Alibaba（阿里巴巴）；Dalian Medical University（大连医科大学）
本文提出混合蒸馏（MD）框架，融合大语言模型的思维程序与思维链能力并蒸馏到较小模型，显著提升其单路径和多路径推理性能，在SVAMP上LLaMA2-7B和CodeLlama-7B分别超过GPT-3.5-Turbo 2.5%和3.5%。
2024-02-25 cs.AI cs.CL
How to Select One Among All? An Extensive Empirical Study Towards the Robustness of Knowledge Distillation in Natural Language Understanding
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学戴维·R·谢里登计算机科学学院）；Department of Statistics and Actuarial Science, University of Waterloo（滑铁卢大学统计与精算科学系）
知识蒸馏（KD）是一种模型压缩算法，它有助于将大型神经网络的知识转移到较小的网络中。尽管KD在广泛的自然语言处理（NLP）应用中表现出了希望，但人们对一种KD算法与另一种KD算法的比较以及这些方法是否可以相互补充知之甚少。在这项工作中，我们评估了各种KD算法的域内，域外和对抗性测试。我们提出了一个框架来评估多个KD算法的对抗鲁棒性。此外，我们引入了一个新的KD算法，组合KD，它利用了两个有前途的方法（更好的训练方案和更有效的数据增强）。我们广泛的实验结果表明，与竞争方法相比，Combined-KD在GLUE基准测试、领域泛化和对抗鲁棒性方面取得了最先进的结果。
2021-09-20 cs.CL
GOLD: Generalized Knowledge Distillation via Out-of-Distribution-Guided Language Data Generation
Huawei Technologies Canada Co. Ltd.（华为技术加拿大有限公司）
本文提出GOLD框架，通过分布外引导的迭代反馈机制生成数据以改进LLM知识蒸馏，并引入基于能量的OOD评估处理噪声数据，在10个NLP任务上平均超越现有方法和LLM分别达5%和14%。
2024-03-28 cs.CL
EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing
Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）
预训练模型（PTM）的成功重塑了自然语言处理（NLP）的发展。然而，要获得高性能的模型并将其在线部署给行业从业者并不容易。为了弥合这一差距，EasyNLP旨在使构建NLP应用程序变得容易，它支持一套全面的NLP算法。它还具有针对大规模PTM的知识增强预训练、知识蒸馏和少样本学习功能，并为实际应用提供了模型训练、推理和部署的统一框架。目前，EasyNLP已为阿里巴巴集团内的十多个业务部门提供支持，并无缝集成到阿里云上的AI（PAI）产品平台。我们的EasyNLP工具包的源代码在GitHub（https：//github.com/alibaba/EasyNLP）上发布。
2023-03-13 cs.CL
Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation
Yonsei University（延世大学）；Deakin University（迪肯大学）；University of Oulu（奥卢大学）
本文提出语言导向语义通信（LSC）框架，通过语义信源编码、语义信道编码和语义知识蒸馏三种算法，在文本到图像生成任务中以更少传输次数实现更高感知相似度和更强噪声鲁棒性。
2023-09-20 cs.AI cs.CL eess.SP
The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Research Spark Hub Inc（Research Spark Hub公司）
本研究以机器翻译为案例，对比全尺寸、蒸馏及量化大语言模型的翻译质量与效率，发现模型压缩可在维持翻译质量的同时大幅降低计算与环境成本，提出应将效率与可持续性纳入NLP评估核心维度。
2025-10-02 cs.AI cs.CL
Extreme Compression for Pre-trained Transformers Made Simple and Efficient
Microsoft（微软）
极端压缩，特别是超低位精度（二进制/三进制）量化，已被提出，以适应资源受限的设备上的大型NLP模型。然而，为了保持这种激进压缩方案的准确性，尖端方法通常引入复杂的压缩流水线，例如，多阶段昂贵的知识蒸馏与广泛的超参数调整。此外，他们往往较少关注已经通过知识蒸馏被大量压缩的较小的Transformer模型，并且缺乏系统的研究来显示他们的方法的有效性。在本文中，我们进行了一个非常全面的系统研究，以衡量许多关键超参数和训练策略的影响。因此，我们发现以前的超低位精度量化基线明显训练不足。基于我们的研究，我们提出了一个简单而有效的压缩管道极端压缩，命名为XTC。XTC证明了（1）我们可以跳过预训练知识蒸馏以获得5层BERT，同时实现比以前最先进的方法更好的性能，例如，6层TinyBERT;（2）极端量化加上层缩减能够将模型大小减少50倍，从而在GLUE任务上产生新的最先进的结果。
2022-06-04 cs.CL cs.LG
BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation
School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University, Shenzhen, China（电子工程学院，深圳研究生院，北京大学，深圳，中国）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国）；Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国）
BiSpikCLM是首个完全二进制脉冲MatMul-free因果语言模型，通过无Softmax脉冲注意力和脉冲感知对齐蒸馏实现高效训练，显著降低计算成本。
2026-04-14 cs.AI cs.LG cs.NE
Thesis Distillation: Investigating The Impact of Bias in NLP Models on Hate Speech Detection
Fraunhofer Research Institute (FOKUS)（弗劳恩霍夫研究所（FOKUS））
本文从可解释性、冒犯性刻板印象偏见和公平性三个视角研究自然语言处理模型偏见对仇恨言论检测的影响，并强调引入社会科学以突破当前偏见测量与缓解的局限。
2023-12-05 cs.CL
Improving Text-based Early Prediction by Distillation from Privileged Time-Series Text
The University of Melbourne（墨尔本大学）；Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；RMIT（皇家墨尔本理工大学）
对基于文本的时间序列进行建模以预测未来事件或结果是一项具有广泛应用的重要任务。标准方法是使用相同的输入窗口来训练和测试模型，但是这种方法忽略了在预测时间和最终结果之间的较长输入窗口中收集的数据，这些数据通常在训练期间可用。在这项研究中，我们建议将这些被忽视的文本视为训练过程中可用的特权信息，以通过知识蒸馏来增强早期预测建模，即使用隐藏的时间序列文本进行学习（LuPIET）。我们评估了临床和社交媒体文本的方法，其中四个临床预测任务基于临床笔记，两个心理健康预测任务基于社交媒体帖子。我们的研究结果表明，LuPIET在增强基于文本的早期预测方面是有效的，尽管可能需要考虑为特权文本选择适当的文本表示和窗口以实现最佳性能。与使用迁移学习和混合训练的其他两种方法相比，LuPIET提供了比基线标准训练更稳定的改进。就我们而言，这是第一个研究在NLP背景下使用特权信息进行时间序列学习的研究。
2023-01-26 cs.CL
Sinkhorn Distance Minimization for Knowledge Distillation
University of Science and Technology of China（中国科学技术大学）；Tencent YouTu Lab（腾讯优图实验室）
针对 KL、RKL、JS 散度在师生分布低重叠时的模式偏差问题，提出 SinKD，用批次级 Sinkhorn 距离实现更精确的知识蒸馏，并在 GLUE/SuperGLUE 上验证其跨架构优势。
2024-02-27 cs.CL cs.LG
Combining Compressions for Multiplicative Size Scaling on Natural Language Tasks
Apple（苹果公司）；Cornell Tech（康奈尔大学科技校区）；Massachusetts Institute of Technology（麻省理工学院）
量化、知识蒸馏和幅度修剪是自然语言处理中神经网络压缩的最流行方法。独立地，这些方法减少了模型大小，可以加速推理，但它们的相对效益和组合的相互作用还没有得到严格的研究。对于这些技术的八个可能子集中的每一个，我们比较了六个BERT架构大小和八个GLUE任务的准确性与模型大小的权衡。我们发现，量化和蒸馏始终提供更大的好处比修剪。令人惊讶的是，除了修剪和量化之外，同时使用多种方法很少会产生收益递减。相反，我们观察到模型大小的互补和超乘法减少。我们的工作定量地表明，结合压缩方法可以协同减少模型大小，从业者应该优先考虑（1）量化，（2）知识蒸馏，（3）修剪，以最大限度地提高精度与模型大小的权衡。
2022-08-20 cs.CL
Train Flat, Then Compress: Sharpness-Aware Minimization Learns More Compressible Models
Carnegie Mellon University（卡内基梅隆大学）
本研究结合锐度感知最小化（SAM）与多种模型压缩方法，证实平坦最小值优化能提升BERT模型的参数可压缩性，且在GLUE和SQuAD基准上准确率损失极小，还能找到更优的跨任务迁移中奖彩票。
2022-10-24 cs.AI cs.CL cs.LG
