Hierarchical Transformer-based Large-Context End-to-end ASR with Large-Context Knowledge Distillation
NTT Media Intelligence Laboratories, NTT Corporation（NTT公司NTT媒体情报实验室）
提出了一种基于知识蒸馏的大上下文端到端自动语音识别模型及其有效的训练方法。常见的E2 E-ASR模型主要关注话语级处理，其中每个话语都是独立转录的。另一方面，大上下文E2 E-ASR模型，它考虑到长范围的连续上下文超出话语边界，很好地处理一系列的话语，如话语和对话。然而，Transformer架构，它最近已经实现了国家的最先进的话语级ASR系统中的ASR性能，尚未被引入到大上下文的ASR系统。我们可以预期，Transformer架构不仅可以有效地捕获输入语音上下文，而且可以有效地捕获超出话语边界的长距离序列上下文。因此，本文提出了一种基于分层transformer的大上下文E2 E-ASR模型，该模型将Transformer架构与基于分层编解码器的大上下文建模相结合。此外，为了使所提出的模型能够使用长范围的顺序上下文，我们还提出了一个大上下文知识蒸馏，在训练阶段从预先训练的大上下文语言模型中提取知识。我们评估了所提出的模型和提出的训练方法对日语语篇ASR任务的有效性。
2021-02-16 cs.CL cs.LG
Multi-modal Anchor Gated Transformer with Knowledge Distillation for Emotion Recognition in Conversation
School of Computer Science and Technology, China University of Mining and Technology（计算机科学与技术学院，中国矿业大学）；Mine Digitization Engineering Research Center of Ministry of Education, China University of Mining and Technology（教育部矿山数字化工程研究中心，中国矿业大学）
针对对话情感识别中模态贡献差异与帧级对齐复杂性问题，提出MAGTKD模型，利用提示学习增强文本表示、知识蒸馏强化弱模态，并通过多模态锚点门控Transformer整合话语级特征，在IEMOCAP和MELD数据集上达到SOTA。
2025-06-23 cs.CL cs.LG
Efficient Transformer Knowledge Distillation: A Performance Review
Clemson University（克莱姆森大学）；Giant Oak Inc.（巨橡公司）
本研究评估了高效注意力transformer通过知识蒸馏进行模型压缩的性能，引入了长上下文NER数据集GONERD，发现蒸馏后的模型在保留高达98.8%性能的同时将推理时间减少57.8%。
2023-11-22 cs.CL cs.LG
Greedy-layer Pruning: Speeding up Transformer Models for Natural Language Processing
DeepOpinion（DeepOpinion公司）；University of Innsbruck（因斯布鲁克大学）
在无监督预训练之后微调Transformer模型在许多不同的自然语言处理任务上达到了非常高的性能。不幸的是，Transformers遭受长的推理时间，这大大增加了生产成本。一个可能的解决方案是使用知识蒸馏，它通过将信息从大型教师模型转移到较小的学生模型来解决这个问题。知识蒸馏保持高性能并达到高压缩率，然而，学生模型的大小在预训练后是固定的，并且不能针对给定的下游任务和用例单独改变以达到期望的性能/加速比。另一种以更细粒度和计算成本更低的方式减小模型大小的解决方案是在预训练后修剪层。代价是逐层剪枝算法的性能不能与最先进的知识蒸馏方法相提并论。在本文中，贪婪层修剪引入（1）优于当前的逐层修剪的最新技术水平，（2）关闭性能差距相比，知识蒸馏，同时（3）提供了一种方法，以适应模型的大小动态地达到所需的性能/加速比的权衡，而不需要额外的预训练阶段。我们的源代码可以在https://github.com/deepopinion/greedy-layer-pruning上找到。
2022-03-29 cs.CL
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
NLP Group, DCST, IAI, Tsinghua University（清华大学自然语言处理组、数据计算技术研究所、人工智能院）；ModelBest Inc., Beijing, China（ModelBest公司）
本文提出HALO流程和HypeNet架构，通过高效蒸馏将Transformer模型转换为RNN-注意力混合模型，实现超长上下文的高性能与高效率。
2026-01-29 cs.AI cs.CL cs.LG
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG（Xayn公司）
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源，并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术，可以减少这种模型的资源需求，其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗，我们提出了两个扩展的流行的存储器变压器蒸馏过程：生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型，其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques
North South University（北南大学）
本文提出BanglaEmbed，通过跨语言知识蒸馏从高性能英语句变换器构建两个轻量级孟加拉语句嵌入模型，在释义检测、语义文本相似度和仇恨言论检测等任务上优于现有模型，并适合资源受限环境部署。
2024-11-22 cs.CL cs.LG
Short Data, Long Context: Distilling Positional Knowledge in Transformers
Meta Reality Labs（Meta现实实验室）
本文通过基于logit的知识蒸馏，在不使用长上下文预训练的情况下，实现了长上下文检索能力的转移，揭示了位置信息在模型中的传播机制及参数更新模式。
2026-04-07 cs.CL cs.LG
Knowledge Distillation of Russian Language Models with Reduction of Vocabulary
MIPT（莫斯科物理技术学院）；AIRI
如今，Transformer语言模型作为大多数自然语言处理任务的核心组件。这种模型的工业应用需要最小化计算时间和内存占用。知识蒸馏是实现这一目标的途径之一。该领域中的现有方法主要集中在减少嵌入/隐藏表示的层数或维数上。另一种选择是减少词汇表中的标记数量，从而减少学生模型的嵌入矩阵。词汇量最小化的主要问题是输入序列与教师和学生模型的输出类分布之间的不匹配。因此，不可能直接应用基于KL的知识蒸馏。我们提出两个简单而有效的对齐技术，使知识蒸馏的学生减少词汇。对俄罗斯的一些常见基准，如俄罗斯SuperGLUE，SberQuAD，RuSentiment，ParaPhaser，Collection-3的蒸馏模型的评估表明，我们的技术允许实现从$17\times$到$49\times$的压缩，同时保持$1.7\times$压缩学生与全尺寸词汇的质量，但只减少了Transformer层的数量。我们提供我们的代码和提炼模型。
2022-05-04 cs.CL cs.LG
Extreme Compression for Pre-trained Transformers Made Simple and Efficient
Microsoft（微软）
极端压缩，特别是超低位精度（二进制/三进制）量化，已被提出，以适应资源受限的设备上的大型NLP模型。然而，为了保持这种激进压缩方案的准确性，尖端方法通常引入复杂的压缩流水线，例如，多阶段昂贵的知识蒸馏与广泛的超参数调整。此外，他们往往较少关注已经通过知识蒸馏被大量压缩的较小的Transformer模型，并且缺乏系统的研究来显示他们的方法的有效性。在本文中，我们进行了一个非常全面的系统研究，以衡量许多关键超参数和训练策略的影响。因此，我们发现以前的超低位精度量化基线明显训练不足。基于我们的研究，我们提出了一个简单而有效的压缩管道极端压缩，命名为XTC。XTC证明了（1）我们可以跳过预训练知识蒸馏以获得5层BERT，同时实现比以前最先进的方法更好的性能，例如，6层TinyBERT;（2）极端量化加上层缩减能够将模型大小减少50倍，从而在GLUE任务上产生新的最先进的结果。
2022-06-04 cs.CL cs.LG
SpikeBERT: A Language Spikformer Learned from BERT with Knowledge Distillation
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
本文改进Spikformer并提出两阶段知识蒸馏方法，从BERT蒸馏知识训练脉冲神经网络SpikeBERT，在英中文本分类上以更低能耗达到与BERT相当的性能。
2024-02-21 cs.CL
RAD: Redundancy-Aware Distillation for Hybrid Models via Self-Speculative Decoding
PKSHA Technology inc.（PKSHA技术公司）；NII LLMC（日本信息与通信技术研究所大语言模型中心）；Asia University（亚洲大学）
本文提出RAD框架，利用自推测解码识别冗余注意力层并替换为SSM组件，通过针对性自蒸馏显著提升混合模型在数学和编程任务上的性能及收敛速度。
2025-05-28 cs.CL cs.LG
A Comparative Analysis of Task-Agnostic Distillation Methods for Compressing Transformer Language Models
IBM Research AI（IBM研究院人工智能部门）
本文比较分析了任务无关蒸馏方法（OD、HS、MHA）压缩Transformer语言模型，发现基于MiniLMv2的MHA迁移最优，HS迁移有竞争力，OD迁移最差，并用于延迟关键型应用。
2023-10-13 cs.AI cs.CL
Knowledge Distillation from BERT Transformer to Speech Transformer for Intent Classification
National University of Singapore（新加坡国立大学）
使用语音的端到端意图分类与使用自动语音识别（ASR）、随后是自然语言处理模块的常规流水线方法相比具有许多优点。它试图在不使用中间ASR模块的情况下从语音中预测意图。然而，这样的端到端框架遭受在口语语言理解中具有较高声学变化的大语音资源的不可用。在这项工作中，我们利用范围的Transformer蒸馏方法，专门设计用于知识蒸馏从Transformer为基础的语言模型的Transformer为基础的语音模型。在这方面，我们利用可靠的和广泛使用的双向编码器表示从Transformers（BERT）模型作为语言模型和转移的知识，以建立一个声学模型使用语音的意图分类。特别是，一个多级Transformer为基础的教师-学生模型的设计，和知识蒸馏进行跨注意和隐藏的子层的不同Transformer层的学生和教师模型。我们实现了一个意图分类准确率为99.10%和88.79%的流利的语音语料库和ATIS数据库，分别。此外，所提出的方法表现出更好的性能和鲁棒性在声学退化的条件下相比，基线方法。
2021-08-05 cs.CL cs.HC
Pre-trained Summarization Distillation
Hugging Face；Cornell University（康奈尔大学）
最近的最先进的摘要方法利用大型预训练的Transformer模型。将这些模型提炼成更小的学生模型对于实际应用来说已经变得至关重要;然而，NLP文献提出了许多不同的提炼方法。最近的工作蒸馏BERT的分类和回归任务显示出强大的性能，使用直接知识蒸馏。或者，机器翻译从业者使用伪标记进行提取，其中小模型在较大模型的翻译上进行训练。第三种更简单的方法是“收缩和微调”（SFT），它通过将参数复制到较小的学生模型然后进行微调来避免任何显式蒸馏。我们比较了这三种方法对Pegasus和BART的蒸馏，当前和以前的最新技术水平，预训练的摘要模型，并发现SFT在CNN/DailyMail数据集上优于知识蒸馏和伪标记，但在更抽象的XSUM数据集上表现不佳。PyTorch代码和不同大小的检查点可以通过Hugging Face Transformers获得，网址为http://tiny.cc/4iy0tz。
2020-10-28 cs.AI cs.CL
MiniLMv2: Multi-Head Self-Attention Relation Distillation for Compressing Pretrained Transformers
Microsoft Research（微软研究院）
我们在MiniLM中推广了深度自我注意力蒸馏（Wang et al.，2020）通过仅使用自注意关系蒸馏来对预训练的Transformers进行任务不可知压缩。特别是，我们定义了多头自我注意力的关系，每个自我注意力模块内的查询，键和值向量对之间的缩放点积。然后运用上述相关知识对学生模型进行训练。除了简单和统一的原则，更有利的是，它没有限制的数量方面的学生的注意头，而大多数以前的工作必须保证相同的头数之间的教师和学生。此外，细粒度的自注意关系倾向于充分利用Transformer学习的交互知识。此外，我们彻底研究了教师模型的层选择策略，而不是像MiniLM中那样只依赖最后一层。我们对压缩单语和多语言预训练模型进行了广泛的实验。实验结果表明，我们的模型提取的基础大小和大尺寸的教师（BERT，RoBERTa和XLM-R）优于国家的最先进的。
2021-06-27 cs.CL
MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers
Microsoft Research（微软研究院）
预先训练的语言模型（例如，BERT（Devlin等人，2018）及其变体）在各种NLP任务中取得了显着的成功。然而，这些模型通常由数亿个参数组成，由于延迟和容量限制，这给实际应用中的微调和在线服务带来了挑战。在这项工作中，我们提出了一种简单有效的方法来压缩大型Transformer（Vaswani等人，2017）基于预训练的模型，称为深度自我注意蒸馏。小模型（学生）是通过深度模仿大模型（教师）的自我注意模块来训练的，自我注意模块在Transformer网络中起着至关重要的作用。具体来说，我们建议提取教师的最后一层Transformer的自我注意力模块，这对学生来说是有效和灵活的。此外，除了注意力分布（即，查询和键的缩放点积）。此外，我们表明，引入教师助理（Mirzadeh等人，2019）还有助于提炼大型预训练的Transformer模型。实验结果表明，我们的单语模型优于国家的最先进的基线在不同的参数大小的学生模型。特别是，它在SQuAD 2.0和几个GLUE基准测试任务上保持了99%以上的准确性，使用了50%的Transformer参数和教师模型的计算。我们还在将深度自注意力蒸馏应用于多语言预训练模型方面取得了有竞争力的结果。
2020-04-06 cs.CL
Adversarial Self-Supervised Data-Free Distillation for Text Classification
Zhejiang University（浙江大学）
大型预训练的基于transformer的语言模型在广泛的NLP任务上取得了令人印象深刻的结果。在过去的几年里，知识蒸馏（KD）已经成为一个流行的范式，压缩计算昂贵的模型，资源有效的轻量级模型。然而，大多数KD算法，特别是在NLP中，依赖于原始训练数据集的可访问性，由于隐私问题，这些数据集可能不可用。为了解决这个问题，我们提出了一种新的两阶段无数据蒸馏方法，称为对抗性自监督无数据蒸馏（AS-DFD），它被设计用于压缩大规模基于变换的模型（例如，BERT）。为了避免在离散空间中生成文本，我们引入了一种即插即用的嵌入猜测方法来从教师的隐藏知识中制作伪嵌入。同时，通过一个自我监督模块来量化学生的能力，我们以对抗训练的方式适应伪嵌入的难度。据我们所知，我们的框架是第一个为NLP任务设计的无数据蒸馏框架。我们在几个文本分类数据集上验证了该方法的有效性。
2020-10-10 cs.AI cs.CL
Distillation of encoder-decoder transformers for sequence labelling
Bloomberg（彭博）；University of Houston（休斯顿大学）
在一系列令人鼓舞的任务成果的推动下，NLP领域正在经历一场加速的竞赛，以开发更大的语言模型。这种对更大模型的竞争也强调了继续追求实用的蒸馏方法的必要性，这些方法可以以计算效率高的方式利用这些大模型获得的知识。考虑到这一目标，我们在最近的工作基础上提出了一个无幻觉的序列标记框架，特别适合于蒸馏。我们展示了跨多个序列标签数据集的最新性能的实证结果，并验证了该框架在少样本学习场景中提取大型模型的有用性。
2023-02-10 cs.CL cs.IR
HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
知识蒸馏已被证明是一种强大的模型压缩方法，以促进在实践中部署预训练的语言模型。本文主要研究任务不可知的蒸馏。它产生一个紧凑的预训练模型，可以很容易地在各种任务上进行微调，计算成本和内存占用都很小。尽管有实际的好处，任务不可知的蒸馏是具有挑战性的。由于教师模型具有比学生模型大得多的容量和更强的表示能力，因此学生很难在大量的开放域训练数据上产生与教师相匹配的预测。如此大的预测差异往往会削弱知识蒸馏的好处。为了解决这一挑战，我们提出了同伦蒸馏（HomoDistil），一种新的任务不可知的蒸馏方法，配备了迭代修剪。具体来说，我们从教师模型初始化学生模型，并迭代地修剪学生的神经元，直到达到目标宽度。这种方法在整个提炼过程中保持了教师和学生预测之间的微小差异，这确保了知识转移的有效性。大量的实验表明，HomoDistil在现有的基线上实现了显着的改进。
2023-02-19 cs.CL cs.LG
Neural Contract Element Extraction Revisited: Letters from Sesame Street
Institute of Informatics & Telecommunications, NCSR “Demokritos”（希腊德谟克利特国家科学研究中心信息学与电信研究所）；Department of Informatics, Athens University of Economics and Business（雅典经济与商业大学信息学系）
我们研究契约元素提取。我们证明了基于LSTM的编码器在这项任务中的表现优于扩张CNN、Transformers和BERT。我们还发现，特定领域的WORD2VEC嵌入优于通用的预训练的GLOVE嵌入。以POS标签和标记形状嵌入形式的形态句法特征以及上下文感知的ELMO嵌入并不能提高性能。这些观察结果中有几个与合同元素提取和通用序列标记任务的先前工作的选择或发现相矛盾，表明合同元素提取需要仔细的特定任务选择。分析结果（一）平原transformer为基础的和（ii）基于BERT的模型，我们发现，在检查的任务，其中的实体是高度上下文敏感的，缺乏递归Transformers大大影响他们的表现。
2021-02-22 cs.CL
ERNIE-Tiny : A Progressive Distillation Framework for Pretrained Transformer Compression
Baidu Inc.（百度公司）
预训练语言模型（PLM），如BERT，采用了一种训练范式，首先在一般数据中预训练模型，然后在特定任务数据中微调模型，最近取得了巨大的成功。然而，PLM因其庞大的参数和难以部署在现实生活中的应用程序是臭名昭著的。知识蒸馏通过在一组数据上将知识从一个大的教师转移到一个小得多的学生来解决这个问题。我们认为，三个关键组成部分，即教师，训练数据和学习目标的选择，是至关重要的蒸馏的有效性。因此，我们提出了一个四阶段渐进蒸馏框架ERNIE-Tiny来压缩PLM，它从一般级别到特定任务级别逐渐改变这三个组件。具体而言，第一阶段，一般蒸馏，在预先培训的教师的指导下进行蒸馏，一般数据和潜在的蒸馏损失。其次，广义强化蒸馏法将教师模式从预培训教师转变为精调教师。之后，任务自适应蒸馏将训练数据从一般数据转换为特定于任务的数据。最后，特定任务蒸馏增加了两个额外的损失，即软标签和硬标签损失到最后一个阶段。实验结果表明，基于GLUE的4层ERNIE-Tiny模型，其12层教师BERT的性能保持在98.0%以上，在相同参数的情况下，比最先进的SOTA模型提高了1.0%GLUE.此外，ERNIE-Tiny在五个中文NLP任务上实现了新的压缩SOTA，比BERT基准精度高0.4%，参数减少7.5倍，推理速度提高9.4倍。
2021-06-04 cs.CL
Improving the Downstream Performance of Mixture-of-Experts Transformers via Weak Vanilla Transformers
Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
针对MoE Transformer下游性能弱于普通Transformer的问题，本文提出迁移能力蒸馏概念，以弱普通Transformer为教师引导MoE模型，在BERT上验证了该方法可显著提升MoE的下游性能。
2025-11-14 cs.CL
Transformer to CNN: Label-scarce distillation for efficient text classification
Red Dragon AI
自2018年初以来，自然语言处理（NLP）建模取得了重大进展。新方法允许准确的结果，即使在几乎没有标记数据的情况下，因为这些NLP模型可以从任务不可知和任务特定的未标记数据的训练中受益。然而，这些优点伴随着显著的尺寸和计算成本。这篇研讨会论文概述了我们提出的卷积学生架构如何通过大规模模型的蒸馏过程进行训练，可以实现300倍的推理加速和39倍的参数减少。在某些情况下，学生模型的性能超过其教师的学习任务。
2019-09-08 cs.CL cs.IR cs.LG
Quantization-Aware and Tensor-Compressed Training of Transformers for Natural Language Understanding
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出量化感知的张量压缩训练方法，将Transformer嵌入层和线性层压缩为低秩张量核心并结合可学习尺度因子的量化训练，在自然语言理解任务中实现最高63倍压缩率且精度损失极小。
2023-07-08 cs.AI cs.CL
CMATH: Cross-Modality Augmented Transformer with Hierarchical Variational Distillation for Multimodal Emotion Recognition in Conversation
Chongqing University of Technology（重庆理工大学）；Fuzhou University（福州大学）；China Automotive Engineering Research Institute Co., Ltd.（中国汽车工程研究院股份有限公司）；Chongqing Changan Automobile Co., Ltd.（重庆长安汽车股份有限公司）
针对多模态情感识别中模态质量不均和单一粒度融合不充分的问题，提出CMATH模型，通过非对称跨模态增强Transformer和分层变分蒸馏实现多粒度模态融合，在IEMOCAP和MELD数据集上优于现有基线。
2024-11-15 cs.CL cs.MM
Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
本文提出一种通用压缩策略，通过跨层重用注意力图移除键和查询参数，并结合掩码蒸馏同时利用掩码与未掩码帧，在SUPERB上取得PER 7.72%和WER 9.96%的成绩。
2023-10-26 cs.CL cs.LG eess.AS
Attention to Mamba: A Recipe for Cross-Architecture Distillation
Apple（苹果公司）；MILA Research Institute（MILA研究机构）；Flat Iron Institute（Flat Iron研究所）
本文提出一种两阶段方法，通过将Transformer知识蒸馏到线性化的注意力模型，再蒸馏到无注意力块的Mamba模型，从而在下游任务中保持Pythia-1B的性能。
2026-11-05 cs.CL cs.LG
KroneckerBERT: Learning Kronecker Decomposition for Pre-trained Language Models via Knowledge Distillation
Huawei Technologies Canada（华为技术加拿大公司）；University of Waterloo（滑铁卢大学）
过度参数化的预训练语言模型的开发对自然语言处理的成功做出了重大贡献。虽然这些模型的过度参数化是其泛化能力的关键，但这使得它们不适合部署在低容量设备上。我们使用Kronecker分解推动了最先进的基于transformer的预训练语言模型压缩的极限。我们使用这种分解来压缩嵌入层、多头注意力中的所有线性映射以及Transformer层中的前馈网络模块。我们使用未压缩模型作为教师来执行中间层知识蒸馏，以提高压缩模型的性能。我们提出了我们的克罗内克BERT，压缩版本的BERT_BASE模型使用这个框架。我们在著名的NLP基准测试中评估了Kronecker BERT的性能，结果表明，对于19的高压缩因子（BERT_BASE模型大小的5%），我们的Kronecker BERT在GLUE上的性能优于最先进的压缩方法。实验结果表明，该模型具有良好的分布外鲁棒性，优于SQuAD上现有的压缩方法。
2021-09-13 cs.AI cs.CL
Align-to-Distill: Trainable Attention Alignment for Knowledge Distillation in Neural Machine Translation
NC Research, AI Tech Center（NC Research AI技术中心）；NCsoft
本文提出Align-to-Distill (A2D) 策略，通过在训练中自适应对齐学生与教师模型的注意力头，将启发式映射转化为学习问题，有效提升了神经机器翻译中知识蒸馏的性能。
2024-03-25 cs.AI cs.CL
WaLDORf: Wasteless Language-model Distillation On Reading-comprehension
SAP Labs（SAP实验室）
基于Transformer的大语言模型（VLLM），如BERT，XLNet和RoBERTa，最近在各种各样的自然语言理解（NLU）任务上表现出了巨大的性能。然而，由于它们的大小，这些VLLM是非常资源密集型的，并且在生产时部署起来非常麻烦。最近的一些出版物已经研究了将知识从基于Transformer的VLLM（最常见的是BERT-Base）转换成更小的模型的各种方法，该模型可以在推理时运行得更快。在这里，我们提出了一组新的技术，这些技术共同产生了一个特定于任务的混合卷积和Transformer模型WaLDORF，它实现了最先进的推理速度，同时仍然比以前的提取模型更准确。
2020-02-18 cs.CL cs.LG
Attention Temperature Matters in Abstractive Summarization Distillation
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
摘要文本摘要的最新进展在很大程度上依赖于大型预训练的序列到序列Transformer模型，这是计算昂贵的。本文旨在将这些大型模型提取为较小的模型，以实现更快的推理和最小的性能损失。基于伪标记的方法在序列到序列模型蒸馏中很流行。在本文中，我们发现简单地操纵Transformers中的注意力温度可以使学生模型更容易学习伪标签。我们在三个摘要数据集上的实验表明，我们提出的方法始终优于基于香草伪标签的方法。我们还发现，我们的学生产生的伪标签和摘要都更短，更抽象。我们的代码可在\url{https://github.com/Shengqiang-Zhang/plate}上获得。
2022-03-01 cs.CL
MKD: a Multi-Task Knowledge Distillation Approach for Pretrained Language Models
University of Waterloo（滑铁卢大学）；Salesforce Research（赛富时研究院）
预训练的语言模型在许多NLP任务中带来了显着的性能提升。然而，密集的计算资源训练这样的模型仍然是一个问题。知识蒸馏通过学习一个轻量级学生模型来解决这个问题。到目前为止，蒸馏方法都是针对特定任务的。本文探讨了多任务学习环境下的知识蒸馏。学生在不同的任务中共同提炼。它通过多任务蒸馏获得更一般的表示能力，并可以进一步微调，以改善目标域中的模型。与其他专门为基于transformer架构设计的BERT提取方法不同，我们提供了一个通用的学习框架。我们的方法是模型不可知的，可以很容易地应用于不同的未来教师模型架构。我们在基于transformer和基于LSTM的学生模型上评估了我们的方法。与一个强大的，类似的基于LSTM的方法相比，我们在相同的计算约束下实现了更好的质量。与现有技术相比，我们以更快的推理速度达到了可比的结果。
2020-04-30 cs.CL cs.LG
Multilingual Non-Autoregressive Machine Translation without Knowledge Distillation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；ByteDance Research（字节跳动研究院）；Damo Academy, Alibaba（阿里巴巴达摩院）
本文提出M-DAT方法，利用无需知识蒸馏的有向无环Transformer实现高效多语言非自回归机器翻译，并通过枢轴回译提升对未见翻译方向的泛化能力，取得最先进性能。
2025-02-06 cs.CL
CausalGate: Causal Importance Distillation for Transformer Module Pruning
研究针对大语言模型自适应推理方法不足，提出CausalGate框架，在校准阶段隔离子层测量语义损伤，再用特定目标和损失将结构重要性提炼为标量门控，经实验验证其在多模型上优于基线，能降低硬件延迟且无操作开销。
2026-07-30 cs.CL cs.CV cs.LG
Distill CLIP (DCLIP): Enhancing Image-Text Retrieval via Cross-Modal Transformer Distillation
Algoverse AI Research（Algoverse AI研究院）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出DCLIP模型，通过元师生跨模态Transformer蒸馏框架，在仅用少量筛选数据训练的情况下，既提升图文检索性能，又保留CLIP大部分零样本分类能力，缓解了任务专用性与泛化性的权衡。
2025-06-16 cs.CL cs.CV
View Distillation with Unlabeled Data for Extracting Adverse Drug Effects from User-Generated Data
Emory University（埃默里大学）
我们提出了一种基于多层Transformers的算法，用于识别社交媒体数据中的药物不良反应（ADR）。我们的模型依赖于问题的属性和上下文词嵌入的特点，从文档中提取两个视图。然后，在每个视图上训练分类器来标记一组未标记的文档，以用作另一个视图中的新分类器的初始化器。最后，使用初始训练样本进一步训练每个视图中的初始化分类器。我们在最大的公开ADR数据集中评估了我们的模型。实验证明，我们的模型显着优于基于transformer的模型在特定领域的数据预训练。
2021-05-24 cs.CL cs.LG
LEAP: Layer-wise Exit-Aware Pretraining for Efficient Transformer Inference
Walmart Inc.（沃尔玛公司）
LEAP通过分层退出感知预训练解决传统蒸馏与早退机制的兼容性问题，实现显著的推理加速与效率提升。
2026-05-01 cs.AI cs.CL cs.LG
MiniALBERT: Model Distillation via Parameter-Efficient Recursive Transformers
University of Oxford（牛津大学）；University of Surrey（萨里大学）；Oxford-Suzhou Centre for Advanced Research（牛津-苏州高级研究中心）；NLPie Research（NLPie研究院）
针对预训练语言模型过参数化问题，结合模型蒸馏与跨层参数共享提出MiniALBERT，引入瓶颈适配器优化，在通用及生物医学NLP任务上验证了紧凑模型的有效性。
2023-04-30 cs.CL cs.LG
A Survey on Symbolic Knowledge Distillation of Large Language Models
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
本综述系统梳理大型语言模型符号知识蒸馏的方法与应用，旨在将隐性知识转化为显式符号形式，提升模型可解释性与效率，并指出研究空白与未来方向。
2024-07-12 cs.CL cs.LG
Modular Transformers: Compressing Transformers into Modularized Layers for Flexible Efficient Inference
ETH Zurich（苏黎世联邦理工学院）；Allen Institute for AI（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
针对静态压缩压缩比固定的问题，本文提出 Modular Transformers，通过模块替换与知识蒸馏训练可替换连续层的模块化层，一次训练后灵活组装以获得 1.1x 至 6x 压缩比。
2023-06-04 cs.CL cs.LG
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI（IBM研究院AI）
在行业设置的自然语言处理（NLP）研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型，如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示，但较少关注创建较小的特定于任务的语言表示，可以说，这些语言表示在行业环境中更有用。在本文中，我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现，特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合，而不需要预先训练蒸馏的费用，在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始，并引入允许单独消除Transformers选定部分的门。具体来说，我们研究（1）结构化修剪，以减少每个Transformer层中的参数数量，（2）适用于基于BERT和RobERTa的模型，（3）适用于SQuAD 2.0和Natural Questions，以及（4）将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍，在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
Improving Neural Topic Models using Knowledge Distillation
University of Maryland（马里兰大学）
主题模型通常用于识别人类可解释的主题，以帮助理解大型文档集合。我们使用知识蒸馏来组合概率主题模型和预训练Transformers的最佳属性。我们的模块化方法可以直接应用于任何神经主题模型，以提高主题质量，我们使用两个具有不同架构的模型来证明这一点，从而获得最先进的主题一致性。我们表明，我们的适应性强的框架不仅提高了所有估计的主题的聚合性能，正如通常报道的那样，而且在对齐主题的头对头比较中。
2020-10-05 cs.CL cs.IR cs.LG
