Marginal Utility Diminishes: Exploring the Minimum Knowledge for BERT Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
近年来，知识蒸馏（KD）在BERT压缩中取得了巨大的成功。研究人员发现，BERT隐藏层中包含的丰富信息有利于学生的表现，而不是像传统KD那样只从教师的软标签中学习。为了更好地利用隐藏的知识，一种常见的做法是迫使学生以逐层的方式深度模仿教师的所有标记的隐藏状态。然而，在本文中，我们观察到，虽然提取教师的隐藏状态知识（HSK）是有帮助的，性能增益（边际效用）迅速减少，因为更多的HSK是蒸馏。为了理解这种影响，我们进行了一系列的分析。具体来说，我们将BERT的HSK分为三个维度，即深度、长度和宽度。我们首先研究了各种策略来提取每个维度的关键知识，然后联合压缩三个维度。通过这种方式，我们表明：1）学生的成绩可以通过提取和提炼关键的HSK来提高，2）使用HSK的一小部分可以达到与广泛的HSK蒸馏相同的成绩。基于第二个发现，我们进一步提出了一个有效的KD范式来压缩BERT，它不需要加载教师在培训学生。对于两种学生模型和计算设备，所提出的KD范式产生了2.7x ~ 3.4x的训练加速比。
2021-06-10 cs.CL
How to Distill your BERT: An Empirical Study on the Impact of Weight Initialisation and Distillation Objectives
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文首次在任务特定与任务无关两种设置下全面评估BERT中间层蒸馏目标，发现注意力迁移总体最优，并证明用教师低层初始化学生模型可显著提升任务特定蒸馏性能，同时发布了高效Transformer蒸馏框架。
2023-05-24 cs.AI cs.CL cs.LG
Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Sun-Yat Sen University（中山大学）
尽管预先训练的语言模型（如BERT）在广泛的自然语言处理任务中取得了令人瞩目的性能，但在实时应用中部署它们在计算上是昂贵的。一种典型的方法是采用知识蒸馏将这些大的预训练模型（教师模型）压缩成小的学生模型。然而，对于一个目标域与稀缺的训练数据，教师很难传递有用的知识给学生，这会导致学生模型的性能下降。为了解决这个问题，我们提出了一种方法来学习，以增加数据稀缺域BERT知识蒸馏，通过学习一个跨域的操作计划，自动增加的目标与资源丰富的源域的帮助。具体而言，该方法产生的样本从一个固定的分布附近的目标数据，并采用了一个加强选择器自动细化增强策略，根据学生的表现。大量的实验表明，所提出的方法显着优于国家的最先进的基线在四个不同的任务，并为数据稀缺的领域，压缩的学生模型甚至比原来的大型教师模型，更少的参数（只有${\sim}13.3\%$）时，只有几个标记的例子。
2021-06-19 cs.CL
Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression
Microsoft Research Asia（微软亚洲研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Stanford University（斯坦福大学）；Beihang University（北京航空航天大学）
关于预训练语言模型压缩的最新研究（例如，BERT）通常使用保留的准确度作为评估的度量。在本文中，我们提出了两个新的度量标准，标签忠诚度和概率忠诚度，衡量压缩模型（即，学生）模仿原始模型（即，教师）。我们还探讨了在对抗攻击下压缩对鲁棒性的影响。我们对量化、剪枝、知识蒸馏和渐进模块替换进行了基准测试，测试了它们的忠诚度和鲁棒性。通过结合多种压缩技术，我们提供了一种实用的策略，以实现更好的准确性，忠诚度和鲁棒性。
2021-10-04 cs.AI cs.CL cs.LG
Pea-KD: Parameter-efficient and Accurate Knowledge Distillation on BERT
Seoul National University（首尔大学）
如何在保持模型性能的同时有效地压缩模型？知识蒸馏（KD）是一种广为人知的模型压缩方法。从本质上讲，KD基于较大的教师模型训练较小的学生模型，并试图尽可能保留教师模型的性能水平。然而，现有的KD方法受到以下限制。首先，由于学生模型在绝对大小上较小，因此它本质上缺乏模型容量。第二，缺乏对学生模型的初始指导，使得学生很难最大限度地模仿教师模型。由于这些限制，常规KD方法产生低性能。在本文中，我们提出了Pea-KD（参数有效和准确的知识蒸馏），一种新的方法KD。Pea-KD由两个主要部分组成：Shuffled Parameter Sharing（SPS）和Pretraining with Teacher's Predictions（PTP）。使用这种组合，我们能够减轻KD的局限性。SPS是一种新的参数共享方法，增加了学生模型的容量。PTP是一种专门用于KD的初始化方法，可以作为学生的良好初始化指南。当结合使用时，这种方法会显着提高学生模型的性能。在不同数据集和任务的BERT上进行的实验表明，该方法在四个GLUE任务中平均将学生模型的性能提高了4.4%，显著优于现有的KD基线。
2020-12-11 cs.LG stat.ML
Weight-Inherited Distillation for Task-Agnostic BERT Compression
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯AI实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出 Weight-Inherited Distillation（WID），通过直接继承 teacher 权重并结合结构重参数化压缩 student 模型，无需额外对齐损失，在 GLUE 和 SQuAD 上优于现有 KD 基线。
2024-03-20 cs.CL cs.LG
KDLSQ-BERT: A Quantized Bert Combining Knowledge Distillation with Learned Step Size Quantization
Central Software Institute, Huawei（华为中央软件研究院）
最近，基于transformer的语言模型，如BERT，在一系列自然语言处理任务中表现出了巨大的性能提升。然而，这些语言模型在推理期间通常是计算昂贵和存储密集的。因此，很难将它们部署在资源受限的设备上。为了提高推理性能，在保持模型精度的同时减小模型规模，提出了一种新的量化方法KDLSQ-BERT，该方法将知识蒸馏（KD）和学习步长量化（LSQ）相结合，用于语言模型的量化.我们的方法的主要思想是，KD技术是利用知识从一个“教师”模型转移到一个“学生”模型时，利用LSQ在量化训练过程中的“学生”模型。在GLUE基准测试和SQuAD上的大量实验结果表明，我们提出的KDLSQ-BERT不仅在进行不同比特（例如2-bit $\sim$ 8-bit）量化时表现有效，而且优于现有的BERT量化方法，甚至在获得14.9倍压缩比的同时达到了与全精度基线模型相当的性能。我们的代码将公开。
2021-01-15 cs.AI cs.CL cs.LG
Extract then Distill: Efficient and Effective Task-Agnostic BERT Distillation
Tsinghua University（清华大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
与任务无关的知识蒸馏是一个师生框架，已被证明是有效的BERT压缩。虽然在NLP任务上取得了很好的结果，但它需要大量的计算资源。在本文中，我们提出提取然后蒸馏（ETD），一个通用的和灵活的策略，以重用教师的参数，高效和有效的任务不可知蒸馏，它可以适用于任何规模的学生。具体来说，我们介绍了两个变种的ETD，ETD-Rand和ETD-Impt，提取教师的参数在一个随机的方式，并通过以下的重要性度量分别。这样，学生在蒸馏过程开始时就已经掌握了一些知识，这使得蒸馏过程收敛得更快。我们证明了ETD在GLUE基准和SQuAD上的有效性。实验结果表明：（1）与未采用ETD策略的基线算法相比，ETD算法可以节省70%的计算量。此外，当使用相同的计算资源时，它实现了比基线更好的结果。(2)ETD是通用的，并且已被证明对不同的蒸馏方法有效（例如，TinyBERT和MiniLM）和不同大小的学生。源代码将在发布时公开提供。
2021-04-24 cs.CL
Feature Structure Distillation with Centered Kernel Alignment in BERT Transferring
AI graduate school of Gwangju Institute of Science and Technology (GIST)（光州科学技术院AI研究生院）；Jeonbook National University（全北国立大学）
针对BERT知识蒸馏中学生表示灵活性受限的问题，提出基于中心化核对齐的特征结构蒸馏方法，迁移三类表示结构并在GLUE九项任务上优于现有蒸馏方法。
2023-02-27 cs.AI cs.CL cs.LG
Put Teacher in Student's Shoes: Cross-Distillation for Ultra-compact Model Compression Framework
City University of Hong Kong（香港城市大学）；City University of Hong Kong Hong Kong SAR China（香港城市大学香港特别行政区中国）
本文提出EI-BERT框架，通过硬令牌剪枝、交叉蒸馏和参数量化将BERT压缩至1.91MB，并在支付宝边缘推荐系统中服务840万日活设备。
2025-07-07 cs.CL
MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
Beihang University（北京航空航天大学）
本文提出MLKD-BERT，通过在教师-学生框架中蒸馏多层级知识并灵活设置学生注意力头数量，在GLUE和抽取式问答任务上超越现有知识蒸馏方法，同时显著降低推理时间。
2024-07-03 cs.CL cs.LG
LadaBERT: Lightweight Adaptation of BERT through Hybrid Model Compression
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
BERT是一种经过大型语料库预训练的前沿语言表示模型，在各种自然语言理解任务上都取得了优异的性能。然而，将BERT应用于在线服务的一个主要阻塞问题是，它是内存密集型的，并且导致用户请求的不令人满意的延迟，从而提高了模型压缩的必要性。现有的解决方案利用知识蒸馏框架来学习模仿BERT行为的较小模型。然而，知识蒸馏的训练过程本身是昂贵的，因为它需要足够的训练数据来模仿教师模型。在本文中，我们解决这个问题，提出了一个混合的解决方案，名为拉达BERT（轻量级适应BERT通过混合模型压缩），它结合了不同的模型压缩方法的优点，包括重量修剪，矩阵分解和知识蒸馏。LadaBERT在各种公共数据集上实现了最先进的准确性，同时训练开销可以减少一个数量级。
2020-10-21 cs.CL cs.LG
Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models
Kata.ai Research Team（Kata.ai 研究团队）；University of Indonesia（印度尼西亚大学）
我们从特定于任务的BERT教师模型到各种学生模型执行知识蒸馏（KD）基准测试：BiLSTM，CNN，BERT-Tiny，BERT-Mini和BERT-Small。我们的实验涉及12个数据集分为两个任务：文本分类和序列标记在印度尼西亚语。我们还比较了各个方面的蒸馏，包括使用词嵌入和无标记的数据增强。我们的实验表明，尽管基于transformer的模型越来越受欢迎，但与修剪的BERT模型相比，使用BiLSTM和CNN学生模型在性能和计算资源（CPU，RAM和存储）之间提供了最佳权衡。我们进一步提出了一些快速的胜利，通过有效的KD训练机制，包括简单的选择损失函数，词嵌入，和未标记的数据准备执行KD产生小型NLP模型。
2022-01-03 cs.CL
A Student-Teacher Architecture for Dialog Domain Adaptation under the Meta-Learning Setting
University of California, Davis（加利福尼亚大学戴维斯分校）；Google Inc.（谷歌公司）
每天都有许多新的对话域被创建，而收集这些域的数据是非常昂贵的，因为它涉及到人类的交互。因此，在构建数据驱动的对话模型时，开发能够有效地适应不同领域的算法是至关重要的。目前关于领域自适应的研究主要集中在为模型提供一个更好的初始化，而不是优化自适应过程。我们提出了一个有效的域自适应面向任务的对话系统模型，它采用了元教师模型，强调生成的令牌之间的不同影响相对于上下文。我们首先训练我们的基本对话模型和元教师模型在丰富的资源领域的元学习设置对抗。元教师学习在不同领域的不同上下文下量化令牌的重要性。在适配过程中，元教师引导对话模型关注重要的标记，以实现更好的适配效率。我们在两个多域数据集MultiWOZ和Google Schema-Guided Dialogue上评估了我们的模型，并实现了最先进的性能。
2021-04-06 cs.CL cs.LG
BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks
Tencent Corp（腾讯公司）；Sina Weibo Corp（新浪微博公司）
作为预先训练的Transformer模型，BERT（来自Transformers的双向编码器表示）在多个NLP任务上取得了突破性的性能。另一方面，Boosting是一种流行的集成学习技术，它结合了许多基本分类器，并已被证明在许多机器学习任务中产生更好的泛化性能。已有研究表明，集成BERT可以进一步提高应用性能。然而，目前的集成方法集中在装袋或堆叠，并没有太多的努力探索提升。在这项工作中，我们提出了一种新的Boosting BERT模型，将多类Boosting集成到BERT中。我们提出的模型使用预训练的Transformer作为基础分类器来选择更难的训练集进行微调，并在NLP任务中获得预训练语言知识和增强集成的好处。我们在GLUE数据集和3个流行的中国NLU基准上评估了所提出的模型。实验结果表明，我们提出的模型显着优于BERT在所有数据集上，并证明了它在许多NLP任务的有效性。Boosting BERT将BERT基础替换为RoBERTa作为基础分类器，在几个NLP任务中实现了新的最先进的结果。我们还使用“教师-学生”框架内的知识蒸馏，以减少BoostingBERT的计算开销和模型存储，同时保持其实际应用的性能。
2020-09-13 cs.AI cs.CL
LightPAFF: A Two-Stage Distillation Framework for Pre-training and Fine-tuning
Nanjing University of Science and Technology（南京理工大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在预训练和微调时，例如，BERT~ \citep{devlin2018bert}、GPT-2~ \citep{radford2019language}等在语言理解和生成任务中取得了巨大的成功，但由于预训练模型的存储空间和推理速度都很大，无法在线部署，影响了它们的实际在线使用。在本文中，我们提出了LightPAFF，一个轻量级的预训练和微调框架，它利用两个阶段的知识蒸馏，在预训练和微调阶段将知识从一个大的教师模型转移到一个轻量级的学生模型。通过这种方式，轻量级模型可以达到与大型教师模型相似的精度，但参数要少得多，因此在线推理速度更快。LightPAFF可以支持不同的预训练方法（如BERT、GPT-2和MASS~ \citep{song2019mass}），并可应用于许多下游任务。在三个语言理解任务、三个语言建模任务和三个序列到序列生成任务上的实验表明，LightPAFF在使用大BERT、GPT-2和MASS模型实现类似准确性的同时，将模型大小减少了近5倍，并将在线推理速度提高了5倍至7倍。
2020-04-27 cs.CL cs.LG
Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning
Zhejiang University（浙江大学）
针对现有多教师知识蒸馏方法忽略弱学习能力学生适配性的问题，提出基于元学习的自适应多教师知识蒸馏MMKD，通过元权重网络融合多层教师知识定制集成教师，经多基准实验验证有效且灵活。
2023-06-11 cs.CV
Weight Squeezing: Reparameterization for Knowledge Transfer and Model Compression
VK Lab（VK实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Tinkoff
在这项工作中，我们提出了一种新的方法，同时知识转移和模型压缩称为重量挤压。通过这种方法，我们通过学习从教师模型的权重到较小的学生模型权重的映射来执行教师模型的知识转移。我们将权重压缩应用于基于BERT-Medium模型的预训练文本分类模型，并将我们的方法与其他各种知识转移和模型压缩方法在GLUE多任务基准上进行了比较。我们观察到，我们的方法产生了更好的结果，同时比其他训练学生模型的方法快得多。我们还提出了一种称为Gated Weight Squeezing的Weight Squeezing变体，其中我们结合了BERT-Medium模型的微调和BERT-Base权重的学习映射。我们表明，使用门控权重压缩的微调优于BERT-Medium模型的普通微调以及其他并发SoTA方法，同时更容易实现。
2021-08-30 cs.CL cs.LG stat.ML
BAM! Born-Again Multi-Task Networks for Natural Language Understanding
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
训练多任务神经网络，使其性能优于甚至匹配其单任务对应物，可能是具有挑战性的。为了帮助解决这个问题，我们建议使用知识蒸馏，其中单任务模型教导多任务模型。我们用教师退火来增强这种训练，这是一种新的方法，它将模型从蒸馏逐渐过渡到监督学习，帮助多任务模型超越其单任务教师。我们评估我们的方法，多任务微调BERT的胶基准。我们的方法始终优于标准的单任务和多任务训练。
2019-07-10 cs.CL
Distilling Dense Representations for Ranking using Tightly-Coupled Teachers
University of Waterloo（滑铁卢大学）
我们提出了一种方法来排名与密集表示，应用知识蒸馏，以改善最近提出的后期互动ColBERT模型。具体来说，我们从ColBERT的表达MaxSim运算符中提取知识，用于计算相关性分数到一个简单的点积中，从而实现单步ANN搜索。我们的关键见解是，在蒸馏过程中，教师模型和学生模型之间的紧密耦合可以实现更灵活的蒸馏策略，并产生更好的学习表示。我们的经验表明，我们的方法提高了查询延迟，大大降低了ColBERT的繁重的存储要求，而在有效性方面只作出适度的牺牲。通过将我们的密集表示与来自文档扩展的稀疏表示相结合，我们能够接近使用慢几个数量级的BERT的标准交叉编码器重排序器的有效性。
2020-10-22 cs.CL cs.IR
Meta-KD: A Meta Knowledge Distillation Framework for Language Model Compression across Domains
Zhejiang Lab（之江实验室）；Alibaba Group（阿里巴巴集团）
预训练的语言模型已被应用于各种NLP任务，具有相当大的性能增益。然而，大的模型大小，加上较长的推理时间，限制了这种模型在实时应用中的部署。一种模型压缩方法考虑了知识蒸馏，将大型教师模型蒸馏成小型学生模型。这些研究大多集中在单一领域，忽略了其他领域的可转移知识。我们注意到，训练一个跨领域消化可转移知识的教师可以实现更好的泛化能力，以帮助知识蒸馏。因此，我们提出了一个Meta-知识蒸馏（Meta-KD）框架，建立一个元教师模型，捕获跨领域的可转移知识，并将这些知识传递给学生。具体来说，我们明确地迫使元教师从多个域中捕获实例级和特征级的可转移知识，然后提出一种元蒸馏算法，在元教师的指导下学习单域学生模型。在公共多领域自然语言处理任务上的实验表明了该框架的有效性和优越性。此外，我们还证明了元KD的能力，在设置中的训练数据是稀缺的。
2022-11-02 cs.CL
Improving Task-Agnostic BERT Distillation with Layer Mapping Search
Huazhong University of Science and Technology（华中科技大学）；Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）
知识蒸馏（KD）是将教师模型中的知识转化为学生模型中的知识的一种方法，近年来被广泛应用于BERT模型的压缩。除了原始KD中输出的监督之外，最近的工作表明，层级监督对学生BERT模型的性能至关重要。然而，先前的工作设计了层映射策略（例如，均匀或最后一层），这可能导致较差的性能。在本文中，我们提出了使用遗传算法（GA）自动搜索最佳层映射。为了加快搜索过程，我们进一步提出了一个代理设置，其中一小部分的训练语料库进行采样蒸馏，并选择三个代表性的任务进行评估。在获得最佳层映射后，我们用它对整个语料进行任务无关的BERT蒸馏，以构建一个紧凑的学生模型，该模型可以直接在下游任务上进行微调。在评估基准上的综合实验表明：1）层映射策略对任务无关的BERT提取有显著的影响，不同的层映射会导致不同的性能：2）所提出的搜索过程中的最优层映射策略始终优于其他启发式策略; 3）通过最佳层映射，我们的学生模型在GLUE任务上实现了最先进的性能。
2020-12-11 cs.CL
Multi-Teacher Multi-Objective Meta-Learning for Zero-Shot Hyperspectral Band Selection
Xidian University（西安电子科技大学）；Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education of China（智能感知与图像理解教育部重点实验室）
针对高光谱波段选择方法跨数据集需重训练的问题，提出M$^3$BS多教师多目标元学习网络，利用GCN提取可迁移元知识并联合优化分类任务，实现免微调零样本波段选择。
2024-06-12 cs.CV
Knowledge Distillation from Internal Representations
University of Houston（休斯顿大学）；Amazon（亚马逊）
知识蒸馏通常通过训练一个小模型（学生）来模仿一个大而笨重的模型（教师）来进行。这个想法是通过使用其输出概率作为软标签来优化学生来压缩来自教师的知识。然而，当教师的规模相当大时，教师的内部知识不能保证会转移到学生身上;即使学生与软标签非常匹配，其内部表征也可能有很大的不同。这种内在的不匹配可能会破坏原本打算从教师转移到学生身上的概括能力。在本文中，我们提出了一个大的模型，如BERT的内部表示提取到一个简化的版本。我们制定了两种方法来提取这样的表示和各种算法进行蒸馏。我们对来自GLUE基准测试的数据集进行了实验，并一致表明，从内部表示中添加知识蒸馏是一种比仅使用软标签蒸馏更强大的方法。
2020-01-16 cs.CL
A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?
Department of Computer Science, University of Saskatchewan（萨斯喀彻温大学计算机科学系）
本文从元测试角度探讨代码语言模型知识蒸馏中的行为一致性问题，提出MetaCompress框架以评估学生模型对教师模型的深度模仿程度，揭示传统准确性评估的局限性。
2026-05-11 cs.LG cs.SE
Contrastive Distillation on Intermediate Representations for Language Model Compression
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
现有的语言模型压缩方法大多使用简单的L2损失将大BERT模型的中间表示中的知识提取到较小的模型中。尽管被广泛使用，但这个目标的设计假设隐藏表示的所有维度都是独立的，未能捕获教师网络中间层中的重要结构知识。为了实现更好的蒸馏效果，我们提出了对比蒸馏的中间表示（COSTO），一个原则性的知识蒸馏框架，学生通过对比的目标，通过教师的中间层进行培训，以提取知识。通过学习从大量的负样本中区分出正样本，Coconut有助于学生利用教师隐藏层中的丰富信息。CONDITION可以很容易地应用于在预训练和微调阶段压缩大规模语言模型，并在GLUE基准测试中实现了卓越的性能，优于最先进的压缩方法。
2020-09-29 cs.CL cs.LG
Scalable Attentive Sentence-Pair Modeling via Distilled Sentence Embedding
Microsoft（微软）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）；Bar-Ilan University（巴伊兰大学）
最近最先进的自然语言理解模型，如BERT和XLNet，使用多个交叉注意操作对一对句子（A和B）进行评分-句子A中的每个单词都注意到句子B中的所有单词，反之亦然。因此，计算查询语句和一组候选语句之间的相似度需要在交叉注意层的堆栈中传播所有查询-候选语句对。当候选句子的数量很大时，这种穷举过程在计算上变得禁止。相比之下，句子嵌入技术学习句子到向量的映射，并通过简单的初等运算计算句子向量之间的相似性。在本文中，我们介绍了蒸馏句子嵌入（DSE）-一个模型，该模型是基于知识蒸馏从交叉注意模型，专注于双对任务。DSE的概要如下：给定一个交叉注意的教师模型（例如，微调的BERT），我们训练一个基于句子嵌入的学生模型，以重建教师模型获得的句子对分数。我们实证证明了DSE的有效性上五个胶双对任务。DSE的性能显着优于几种ELMO变体和其他句子嵌入方法，同时将查询候选句子对相似度的计算速度加快了几个数量级，与BERT相比平均相对下降了4.6%。此外，我们表明，DSE产生句子嵌入，达到最先进的性能，通用的句子表示基准。我们的代码可在https://github.com/microsoft/Distilled-Sentence-Embedding上公开获取。
2019-11-21 cs.CL cs.LG stat.ML
ALP-KD: Attention-Based Layer Projection for Knowledge Distillation
Huawei（华为）
知识蒸馏被认为是一种训练和压缩策略，其中两个神经网络，即教师和学生，在训练过程中耦合在一起。教师网络应该是一个值得信赖的预测器，学生试图模仿它的预测。通常，选择具有较轻架构的学生，以便我们可以实现压缩，同时提供高质量的结果。在这种情况下，蒸馏只发生在最终的预测，而学生也可以受益于教师的监督内部组件。受此启发，我们研究了中间层的精馏问题。由于在学生层和教师层之间可能不存在一对一的对齐，因此现有技术跳过一些教师层并且仅从其中的子集提取。这个缺点直接影响质量，所以我们提出了一种依赖于注意力的组合技术。我们的模型融合了教师端的信息，并考虑到每一层的重要性，然后进行合并的教师层和学生层之间的蒸馏。使用我们的技术，我们将12层BERT（Devlin et al. 2019）提取为6层、4层和2层对应物，并在GLUE任务中对其进行评估（Wang et al. 2018）。实验结果表明，我们的组合方法是能够优于其他现有的技术。
2020-12-27 cs.CL
Meta Knowledge Distillation
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能研究中心）
最近的研究指出，知识蒸馏（KD）存在两个退化问题，师生差距和与强数据增强的不兼容性，使其不适用于训练最先进的模型，这是先进的增强训练。然而，我们注意到一个关键因素，即，用于生成教师和学生模型的概率的softmax函数中的温度在以前的方法中大多被忽略。通过适当调节温度，可以大大减轻KD的这种退化问题。然而，而不是依赖于一个天真的网格搜索，这表明差的可移植性，我们提出了Meta知识蒸馏（MKD）元学习蒸馏与可学习的元温度参数。在训练过程中，根据学习目标的梯度自适应地调整Meta参数。我们验证了MKD对不同的数据集规模，不同的教师/学生架构和不同类型的数据增强是鲁棒的。使用MKD，我们在仅使用ImageNet-1 K作为训练数据的比较方法中，使用流行的ViT架构实现了最佳性能，从小型到大型模型。使用ViT-L，我们在600次训练中达到了86.5%，比训练1，650次的MAE高出0.6%。
2022-02-16 cs.CV cs.LG
Annealing Knowledge Distillation
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·切里顿计算机科学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Department of Statistics and Actuarial Science, University of Waterloo（滑铁卢大学统计与精算科学系）
大型深度神经网络对内存和计算的巨大需求限制了其在边缘设备上的应用。知识蒸馏（KD）是一种用于深度神经网络的突出的模型压缩技术，其中训练的大型教师模型的知识被转移到较小的学生模型。知识蒸馏的成功主要归功于它的训练目标函数，它利用了训练集中除了给定的规则硬标签之外的软目标信息（也称为“暗知识”）。然而，在文献中显示，教师和学生网络之间的差距越大，使用知识蒸馏进行训练就越困难。为了解决这个缺点，我们提出了一种改进的知识蒸馏方法（称为退火KD），通过不断增加和更有效地提供丰富的信息，教师的软目标。我们的退火KD技术基于教师在迭代过程中在不同温度下生成的退火软目标上的逐渐过渡，因此，学生被训练以逐步的方式跟随退火教师输出。本文包括理论和经验证据以及实际实验来支持我们的退火KD方法的有效性。我们对不同的任务进行了一系列全面的实验，例如图像分类（CIFAR-10和100）和基于BERT模型的NLP语言推理，并在GLUE基准测试中获得了优异的结果。
2021-04-14 cs.CL cs.LG
Recursive Meta-Distillation: An Axiomatic Framework for Iterative Knowledge Refinement
本文提出递归元知识蒸馏的公理化框架，通过概率分布算子的序列形式化，证明了递归蒸馏在KL散度上的收敛性及稳定性，为理解迭代蒸馏的理论基础提供了新视角。
2026-01-19 cs.LG
MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of British Columbia（英属哥伦比亚大学）
大规模预训练语言模型的出现促进了自然语言处理（NLP）领域的快速发展。虽然这些模型在标准基准测试中的性能随着规模的扩大而扩大，但知识蒸馏等压缩技术是使其实用化的关键。我们提出了一种新的基于文本的对抗训练算法MATE-KD，它提高了知识蒸馏的性能。MATE-KD首先训练一个基于掩码语言模型的生成器，通过最大化教师和学生logits之间的分歧来扰动文本。然后使用知识蒸馏，学生在原始和扰动的训练样本上进行训练。我们使用基于BERT的模型在GLUE基准测试中评估了我们的算法，并证明MATE-KD优于竞争对手的对抗性学习和数据增强基线。在GLUE测试集上，我们基于6层RoBERTa的模型优于BERT-Large。
2021-05-12 cs.CL cs.LG
Keep Decoding Parallel with Effective Knowledge Distillation from Language Models to End-to-end Speech Recognisers
LINE WORKS Corporation（LINE WORKS公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；LINE Corporation（LINE公司）
提出利用 BERT 中间层和最终层 token 概率向 ASR 模型蒸馏语言模型知识的方法，在 LibriSpeech 上提升 CTC 贪心解码准确率并保持并行解码速度。
2024-01-22 cs.CL cs.SD eess.AS
Understanding the Overfitting of the Episodic Meta-training
Xi’an Jiaotong University（西安交通大学）
本文针对少样本分类情景元训练中的过拟合问题，提出用知识蒸馏约束教师与学生模型输出分布的SKL散度，并进一步设计NNSKL散度，结合两者显著提升模型在多个基准上的少样本分类性能。
2023-07-07 cs.CV cs.LG
BERT-EMD: Many-to-Many Layer Mapping for BERT Compression with Earth Mover's Distance
Beijing Ultrapower Software Co.,Ltd.（北京超图软件股份有限公司）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
预先训练的语言模型（例如，BERT）在各种自然语言处理（NLP）任务中取得了显著的成功。然而，高存储和计算成本阻碍了预训练的语言模型有效地部署在资源受限的设备上。在本文中，我们提出了一种新的BERT蒸馏方法的基础上多对多层映射，它允许每个中间学生层从任何中间教师层学习。通过这种方式，我们的模型可以自适应地从不同的教师层学习各种NLP任务。%的动机是直觉，不同的NLP任务需要不同水平的语言知识包含在BERT的中间层。此外，我们利用地球移动器的距离（EMD）来计算必须支付的最小累积成本，将知识从教师网络到学生网络。EMD使得多对多层映射的有效匹配成为可能。%EMD可以应用于不同大小的网络层，有效地测量教师网络和学生网络之间的语义距离。此外，我们还提出了一种成本注意力机制来自动学习EMD中使用的层权值，以进一步提高模型的性能并加快收敛时间。在GLUE基准测试上的大量实验表明，与强大的竞争对手相比，我们的模型在准确性和模型压缩方面都具有竞争力的性能。
2020-10-13 cs.CL cs.LG
Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution
知识蒸馏（KD）可以有效地将知识从笨重的网络（教师）转移到紧凑的网络（学生），在一些计算机视觉应用中已经展示了其优势。知识的表示对于知识的传递和学生的学习至关重要，通常以手工方式定义或直接使用中间特征。针对单幅图像的超分辨率任务，提出了一种师生架构下的模型无关Meta知识蒸馏方法。它提供了一种更灵活、更准确的方式，帮助教师根据学生的能力，通过知识表示网络（KRNets）与可学习的参数传递知识。为了提高知识表示对学生需求的感知能力，提出利用KRNets中学生的特征和师生之间的相关性，解决中间输出到传递知识的转化过程。具体地说，纹理感知的动态核生成，然后提取纹理特征进行改进和相应的教师指导，从而将蒸馏问题分解为纹理方面的监督，以进一步提高高频细节的恢复质量。此外，KRNets优化元学习的方式，以确保知识转移和学生的学习，有利于提高学生的重建质量。在不同的单图像超分辨率数据集上进行的实验表明，该方法优于现有定义的知识表示相关提取方法，并且可以帮助超分辨率算法在不引入任何推理复杂度的情况下获得更好的重建质量。
2022-07-18 cs.CV
DistilCLIP-EEG: Enhancing Epileptic Seizure Detection Through Multi-modal Learning and Knowledge Distillation
Aliyun School of Big Data, Changzhou University（阿里云大数据学院，长洲大学）；Department of Computing, Xi’an JiaoTong-Liverpool University（计算系，西安交通大学-利物浦大学）；Department of Computer Science, University of Liverpool（计算机科学系，利物浦大学）；Center for Artificial Intelligence in Agriculture, Fujian Agriculture and Forestry University（农业人工智能中心，福建农林大学）
针对现有癫痫检测仅用单模态EEG的问题，提出基于CLIP的多模态模型DistilCLIP-EEG，融合EEG与文本，并用知识蒸馏压缩模型，在三个数据集上准确率超97%，学生模型参数仅为教师的58.1%。
2025-10-15 cs.AI cs.LG
Improving Group Fairness in Knowledge Distillation via Laplace Approximation of Early Exits
EESC KTH Royal Institute of Technology（皇家理工学院电子与系统工程系）；CSE IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）
本文提出利用拉普拉斯近似获得校准良好的不确定性估计，对知识蒸馏中的困难实例进行重新加权，以改善学生模型的群体公平性，并在MultiNLI数据集上验证了其优于边际方法的稳健性。
2025-05-02 cs.AI cs.LG
MAGIC: Meta-Ability Guided Interactive Chain-of-Distillation for Effective-and-Efficient Vision-and-Language Navigation
Tongji University（同济大学）
提出MAGIC方法，通过元能力蒸馏和交互式蒸馏链，在视觉语言导航中实现轻量高效模型，最小模型以5%参数量超越先前方法，最大模型在SPL和SR上分别提升5.84%和3.18%。
2024-06-25 cs.AI cs.CV
AD-KD: Attribution-Driven Knowledge Distillation for Language Model Compression
Sun Yat-sen University（中山大学）；Meta AI；Vipshop (China) Co., Ltd.（唯品会（中国）有限公司）
本文提出AD-KD方法，通过Integrated Gradients提取教师模型的token级归因知识并探索多视角归因蒸馏，解决了传统知识蒸馏忽略推理和数据知识的问题，在GLUE上表现优于现有方法。
2023-05-17 cs.CL
Zero-Shot Knowledge Distillation in Deep Networks
Indian Institute of Science（印度科学学院）；University of Edinburgh（爱丁堡大学）；University of Lincoln（林肯大学）
知识蒸馏处理从高容量源模型（教师）训练较小模型（学生）以便保留其大部分性能的问题。现有方法使用训练数据或从中提取的元数据来训练学生。然而，如果数据集非常大或者存在隐私或安全问题（例如，生物测量或医学数据）。因此，在本文中，我们提出了一种新的无数据的方法来训练学生从教师。在不使用任何元数据的情况下，我们从复杂的教师模型中合成数据映像，并利用这些作为原始训练数据样本的替代品，通过知识蒸馏将其学习转移到学生身上。因此，我们将我们的方法称为“Zero-Shot知识蒸馏“，并证明我们的框架可以通过使用多个基准数据集上的实际训练数据样本进行蒸馏来实现具有竞争力的泛化性能。
2019-05-20 cs.CV cs.LG stat.ML
BERT2DNN: BERT Distillation with Massive Unlabeled Data for Online E-Commerce Search
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
相关性对电子商业搜索平台的用户体验和商业利润有显著影响。在这项工作中，我们提出了一个数据驱动的搜索相关性预测框架，通过提取知识从BERT和相关的多层Transformer教师模型到简单的前馈网络与大量的未标记的数据。蒸馏过程产生了一个学生模型，在新查询上恢复了教师模型97%以上的测试准确率，服务成本低了几个数量级（延迟比BERT-Base低150倍，比最有效的BERT变体Tiny BERT低15倍）。温度重新缩放和教师模型堆叠的应用进一步提高了模型准确性，而不会增加学生模型的复杂性。我们目前的实验结果都在内部电子商业搜索相关性数据，以及公共数据集的情感分析从GLUE基准。后者利用了另一个相关的更大规模的公共数据集，同时忽略了其潜在的噪声标签。对内部数据的嵌入分析和案例研究进一步突出了所产生的模型的强度。通过公开数据处理和模型训练源代码，我们希望这里提供的技术能够帮助降低最先进的Transformer模型的能耗，并为无法获得尖端机器学习的小型组织提供公平的竞争环境硬件。
2020-10-20 cs.AI cs.IR cs.LG
HPM-KD: Hierarchical Progressive Multi-Teacher Framework for Knowledge Distillation and Efficient Model Compression
Banco do Brasil S.A（巴西银行）
HPM-KD通过整合六个协同组件，实现高效模型压缩和知识蒸馏，提升压缩效率与准确性。
2025-12-10 cs.LG stat.AP
SqueezeBERT: What can computer vision teach NLP about efficient neural networks?
UC Berkeley（加州大学伯克利分校）
人类每天阅读和编写数千亿条信息。此外，由于大型数据集、大型计算系统和更好的神经网络模型的可用性，自然语言处理（NLP）技术在理解、校对和组织这些消息方面取得了重大进展。因此，在无数应用程序中部署NLP以帮助Web用户，社交网络和企业是一个重要的机会。特别是，我们认为智能手机和其他移动设备是大规模部署NLP模型的关键平台。然而，当今高精度的NLP神经网络模型，如BERT和RoBERTa，计算成本非常高，BERT-base需要1.7秒才能在Pixel 3智能手机上对文本片段进行分类。在这项工作中，我们观察到分组卷积等方法为计算机视觉网络带来了显着的加速，但其中许多技术尚未被NLP神经网络设计者采用。我们演示了如何用分组卷积替换自注意层中的几个操作，并在一种名为SqueezeBERT的新型网络架构中使用这种技术，该架构在Pixel 3上的运行速度比BERT-base快4.3倍，同时在GLUE测试集上实现了有竞争力的准确性。SqueezeBERT代码将被释放。
2020-06-19 cs.CL cs.CV cs.LG
Reduce, Reuse, Recycle: Improving Training Efficiency with Distillation
Texas State University（德克萨斯州立大学）；MosaicML（MosaicML公司）；Brown University（布朗大学）
提高深度网络训练效率的方法（即达到给定模型质量水平所需的资源）对深度学习实践者来说是直接有益的。蒸馏通常用于压缩模型或提高模型质量，但尚不清楚蒸馏是否真的提高了训练效率。蒸馏的质量改进是否可以转化为训练的加速，或者它们只是提高了最终模型的质量而没有节省资源？我们进行了一系列实验，以研究蒸馏是否以及如何使用ImageNet上训练的ResNet-50和C4上训练的BERT来加速训练，并使用通用企业硬件（8 x NVIDIA A100）进行GLUE评估。我们发现，在ImageNet上训练的ResNet-50中，蒸馏可以将训练速度提高1.96倍，在GLUE上评估时，在BERT上可以提高1.42倍。此外，BERT的蒸馏仅在训练的前20-50%执行时产生最佳结果。我们还观察到，在ResNet-50和BERT中，使用蒸馏的训练几乎总是比不使用蒸馏的训练更有效，即使使用质量最差的模型作为老师。最后，我们发现，通过在每个步骤上从教师模型池中随机抽样一个教师，可以从具有O（n）运行时成本的教师模型集合中获得提取的好处，这只有O（1）运行时成本。综上所述，这些结果表明，蒸馏可以大大提高图像分类和语言建模的训练效率，并且对蒸馏协议进行一些简单的优化可以进一步提高这些效率。
2022-11-01 cs.AI cs.LG
Distilling Knowledge Learned in BERT for Text Generation
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
以BERT为代表的大规模预训练语言模型在语言理解任务中取得了巨大的成功。然而，如何利用BERT进行语言生成仍然是一个悬而未决的问题。在本文中，我们提出了一种新的方法，条件屏蔽语言建模（C-MLM），使微调的目标生成任务的BERT。微调的BERT（教师）被用作额外的监督，以改善传统的Seq 2Seq模型（学生），以获得更好的文本生成性能。通过利用BERT独特的双向性质，提取在BERT中学习的知识可以鼓励自回归Seq 2Seq模型提前计划，为连贯的文本生成实施全局序列级监督。实验表明，该方法在多个机器翻译和文本摘要等语言生成任务上的性能明显优于强Transformer基线。我们提出的模型也实现了新的最先进的IWITOS德国-英语和英语-越南MT数据集。代码可在https://github.com/ChenRocks/Distill-BERT-Textgen上获得。
2020-07-17 cs.CL cs.LG
MC-BERT: Efficient Language Pre-Training via a Meta Controller
Peking University（北京大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
预先训练的上下文表示（例如，BERT）已经成为在许多NLP任务上实现最先进结果的基础。然而，大规模的预训练在计算上是昂贵的。ELECTRA是加速预训练的早期尝试，它训练了一个判别模型，预测每个输入标记是否被生成器替换。我们的研究表明，ELECTRA的成功主要是由于它降低了预训练任务的复杂性：二进制分类（替换标记检测）比生成任务（掩蔽语言建模）更有效。然而，这种简化的任务在语义上信息量较少。为了实现更好的效率和效果，我们提出了一种新的元学习框架，MC-BERT。预训练任务是一个带有拒绝选项的多项选择完形填空测试，其中Meta控制器网络提供训练输入和候选项。在GLUE自然语言理解基准测试上的结果表明，我们提出的方法是高效和有效的：在相同的计算预算下，它在GLUE语义任务上的性能优于基线。
2020-06-16 cs.CL cs.LG
Enriching BERT with Knowledge Graph Embeddings for Document Classification
DFKI GmbH（德国人工智能研究中心）；University of Konstanz（康斯坦茨大学）
在本文中，我们专注于使用简短的描述性文本（封面简介）和附加元数据的图书分类。在深度神经语言模型BERT的基础上，我们演示了如何将文本表示与元数据和知识图谱嵌入相结合，这些嵌入对作者信息进行编码。与标准的BERT方法相比，我们取得了更好的分类任务的结果。对于使用8个标签的更粗粒度的分类，我们获得了87.20的F1分数，而使用343个标签的详细分类产生了64.70的F1分数。我们公开了实验的源代码和训练模型
2019-09-18 cs.CL cs.IR cs.LG
Meta Pseudo Labels
Google AI Brain Team（谷歌AI大脑团队）
我们提出了Meta Pseudo Labels，这是一种半监督学习方法，在ImageNet上实现了90.2%的最先进的top-1准确率，比现有的最先进的方法高出1.6%。与Pseudo Labels一样，Meta Pseudo Labels有一个教师网络，可以在未标记的数据上生成伪标签来教授学生网络。然而，与教师固定的伪标签不同，Meta伪标签中的教师不断根据学生在标记数据集上的表现反馈进行调整。因此，教师生成更好的伪标签来教学生。我们的代码将在https://github.com/google-research/google-research/tree/master/meta_pseudo_labels上提供。
2021-03-01 cs.LG stat.ML
Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets
KAIST（韩国科学技术院）
本文提出蒸馏感知元预测模型DaSS，无需实际训练即可预测学生架构在未见数据集和教师下的蒸馏性能，解决了DaNAS计算成本高和快速NAS次优的问题，并在多个未见数据集上显著优于现有方法。
2023-05-26 cs.AI cs.LG
TwinBERT: Distilling Knowledge to Twin-Structured BERT Models for Efficient Retrieval
Microsoft（微软）
像BERT这样的预训练语言模型在各种NLP任务中取得了巨大的成功，但优越的性能伴随着对计算资源的高需求，这阻碍了低延迟IR系统的应用。我们提出了TwinBERT模型有效和高效的检索，它有双结构的BERT类编码器来表示查询和文档分别和交叉层结合的嵌入，并产生一个相似性得分。与BERT不同的是，Twin BERT在编码过程中将两个输入句子连接并编码在一起，并独立地为查询和文档生成嵌入，这允许离线预先计算文档嵌入并缓存在内存中。因此，留给运行时的计算仅来自查询编码和查询-文档交叉。这种单一的改变可以节省大量的计算时间和资源，从而显着提高服务效率。此外，提出了一些精心设计的网络层和训练策略，以进一步降低计算成本，同时保持性能的显着BERT模型。最后，我们分别针对检索和相关性任务开发了TwinBERT的两个版本，两个版本都达到了与BERT-Base模型相近或相当的性能。该模型的训练遵循师生框架，并从一个主要的搜索引擎的数据进行评估。实验结果表明，该算法的推理时间大大缩短，在CPU上的推理时间首先控制在20 ms左右，同时大部分保留了BERT-Base模型的性能增益。将模型集成到生产系统中也证明了相关性指标的显着改进，对延迟的影响可以忽略不计。
2020-02-14 cs.IR cs.LG
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
Dynamics of Meta-learning Representation in the Teacher-student Scenario
School of Science, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）理学院）
本文在师生场景下分析流式任务中两层非线性神经网络的元学习动力学，用统计物理解释共享表示形成、泛化及超参数影响。
2025-01-08 cond-mat.dis-nn cs.LG
Reinforcement Teaching
University of Alberta（阿尔伯塔大学）；Google Brain（谷歌大脑）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出统一的元学习框架Reinforcement Teaching，通过强化学习训练教学策略并引入parametric-behavior embedder和学习进展奖励，显著改进任意（含非可微）算法的学习过程，在强化与监督学习任务中优于现有方法。
2025-01-25 cs.LG
