Dual Knowledge Distillation for Efficient Sound Event Detection
Fortemedia(富迪科技)
针对设备端声音事件检测计算资源受限的问题,提出双知识蒸馏框架,结合时间平均知识蒸馏与嵌入增强特征蒸馏,以三分之一的参数量在DCASE 2023任务4A上取得更优性能。
2024-02-05 cs.AI cs.CL cs.LG
On Knowledge Distillation for Direct Speech Translation
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);AppTek
直接语音翻译(ST)已被证明是一个复杂的任务,需要从它的子任务:自动语音识别(ASR)和机器翻译(MT)的知识转移。对于机器翻译来说,知识蒸馏是最有前途的知识转移技术之一。在本文中,我们比较了不同的解决方案,以提取知识的序列到序列的任务,如ST。此外,我们分析了这种方法的最终缺点,以及如何减轻他们保持翻译质量方面的好处。
2020-12-09 cs.CL
Exploring Knowledge Purification in Multi-Teacher Knowledge Distillation for LLMs
Department of Automation, Tsinghua University(清华大学自动化系);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出知识净化方法,通过整合多个教师模型的推理以减少冲突并提升效率,实验表明其在知识蒸馏中提升性能并促进轻量模型部署。
2026-04-11 cs.CL
AD-KD: Attribution-Driven Knowledge Distillation for Language Model Compression
Sun Yat-sen University(中山大学);Meta AI;Vipshop (China) Co., Ltd.(唯品会(中国)有限公司)
本文提出AD-KD方法,通过Integrated Gradients提取教师模型的token级归因知识并探索多视角归因蒸馏,解决了传统知识蒸馏忽略推理和数据知识的问题,在GLUE上表现优于现有方法。
2023-05-17 cs.CL
Meta-KD: A Meta Knowledge Distillation Framework for Language Model Compression across Domains
Zhejiang Lab(之江实验室);Alibaba Group(阿里巴巴集团)
预训练的语言模型已被应用于各种NLP任务,具有相当大的性能增益。然而,大的模型大小,加上较长的推理时间,限制了这种模型在实时应用中的部署。一种模型压缩方法考虑了知识蒸馏,将大型教师模型蒸馏成小型学生模型。这些研究大多集中在单一领域,忽略了其他领域的可转移知识。我们注意到,训练一个跨领域消化可转移知识的教师可以实现更好的泛化能力,以帮助知识蒸馏。因此,我们提出了一个Meta-知识蒸馏(Meta-KD)框架,建立一个元教师模型,捕获跨领域的可转移知识,并将这些知识传递给学生。具体来说,我们明确地迫使元教师从多个域中捕获实例级和特征级的可转移知识,然后提出一种元蒸馏算法,在元教师的指导下学习单域学生模型。在公共多领域自然语言处理任务上的实验表明了该框架的有效性和优越性。此外,我们还证明了元KD的能力,在设置中的训练数据是稀缺的。
2022-11-02 cs.CL
Sentence-Level or Token-Level? A Comprehensive Study on Knowledge Distillation
Shenyang Institute of Computing Technology, Chinese Academy of Sciences(中国科学院沈阳计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学)
本研究通过改变模型大小、文本复杂度等系统分析句子级与词元级知识蒸馏的适用场景,并提出基于门控机制的混合方法,显著提升了蒸馏性能。
2024-04-23 cs.CL
Knowledge Distillation from Internal Representations
University of Houston(休斯顿大学);Amazon(亚马逊)
知识蒸馏通常通过训练一个小模型(学生)来模仿一个大而笨重的模型(教师)来进行。这个想法是通过使用其输出概率作为软标签来优化学生来压缩来自教师的知识。然而,当教师的规模相当大时,教师的内部知识不能保证会转移到学生身上;即使学生与软标签非常匹配,其内部表征也可能有很大的不同。这种内在的不匹配可能会破坏原本打算从教师转移到学生身上的概括能力。在本文中,我们提出了一个大的模型,如BERT的内部表示提取到一个简化的版本。我们制定了两种方法来提取这样的表示和各种算法进行蒸馏。我们对来自GLUE基准测试的数据集进行了实验,并一致表明,从内部表示中添加知识蒸馏是一种比仅使用软标签蒸馏更强大的方法。
2020-01-16 cs.CL
CILDA: Contrastive Data Augmentation using Intermediate Layer Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Université de Montréal(蒙特利尔大学);University of Waterloo(滑铁卢大学)
知识蒸馏(KD)是一种用于压缩大规模预训练语言模型的有效框架。近年来,通过利用对比学习、中间层蒸馏、数据增强和对抗训练来提高KD的研究激增。在这项工作中,我们提出了一个学习为基础的数据增强技术量身定制的知识蒸馏,称为CILDA。据我们所知,这是第一次使用主任务的中间层表示来提高增强样本的质量。更确切地说,我们引入了一种基于中间层匹配的KD增强技术,使用对比度损失来改善掩蔽的对抗性数据增强。CILDA在GLUE基准测试和域外评估中的表现优于现有的最先进的KD方法。
2022-04-15 cs.CL
Parameter-Efficient and Student-Friendly Knowledge Distillation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));JD Explore Academy(京东探索研究院);Peng Cheng Laboratory(鹏城实验室)
知识蒸馏(KD)已被广泛用于将知识从大的教师模型转移到较小的学生,其中教师的参数在训练期间是固定的(或部分固定的)。最近的研究表明,这种模式可能会导致困难的知识转移,由于不匹配的模型能力。为了缓解不匹配问题,师生联合培训方法,例如,在线蒸馏,但它总是需要昂贵的计算成本。在本文中,我们提出了一个参数有效的和学生友好的知识蒸馏方法,即PESF-KD,以实现有效和充分的知识转移,通过更新相对较少的部分参数。从技术上讲,我们首先在数学上将不匹配表示为它们的预测分布之间的清晰度差距,我们表明这种差距可以通过软标签的适当平滑度缩小。然后,我们为教师引入适配器模块,并且仅更新适配器以获得具有适当平滑度的软标签。在各种基准测试上的实验表明,与先进的在线蒸馏方法相比,PESF-KD可以显着降低训练成本,同时获得有竞争力的结果。代码将在接受后发布。
2022-05-28 cs.AI cs.CL cs.CV
Multi-Aspect Knowledge Distillation for Language Model with Low-rank Factorization
Key Laboratory of Big Data & Artificial Intelligence in Transportation(交通大数据与人工智能重点实验室);School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
本文提出多方面知识蒸馏方法,通过深入模仿自注意力和前馈模块,捕捉不同方面的丰富语言知识,实验表明其在相同存储预算下能与强基线模型竞争,并在蒸馏自回归架构模型中表现良好。
2026-04-03 cs.CL
Knowledge Distillation For Recurrent Neural Network Language Modeling With Trust Regularization
Mobvoi AI Lab(出门问问人工智能实验室);Williams College(威廉姆斯学院)
递归神经网络(RNN)由于其优于传统的基于N-gram的模型的性能而主导了语言建模。在许多应用中,使用大型循环神经网络语言模型(RNNLM)或若干RNNLM的集合。这些模型占用大量内存,需要大量计算。在本文中,我们研究了应用知识蒸馏在减少RNNLM模型大小的效果。此外,我们提出了一种信任正则化方法,以提高知识蒸馏训练RNNLM。使用知识蒸馏与信任正则化,我们减少了参数大小的三分之一,以前公布的最佳模型,同时保持国家的最先进的困惑结果对Penn Treebank数据。在一个语音识别N-bestrescoring任务中,我们将RNNLM模型大小减少到基线系统的18.5%,在华尔街日报数据集上的字出错率(WER)性能没有下降。
2019-04-08 cs.CL
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而,教师模型通常是在相同的标记数据上学习的,它们的预测与groundtruth标签具有高度相关性。因此,他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中,我们提出了一个统一的和有效的集成知识蒸馏方法,蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性,因此在标记数据上,我们根据不同教师的正确性对他们的预测进行加权。此外,我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上,没有基础事实来评估预测的正确性。幸运的是,教师之间的分歧是样本硬度的指示,因此我们基于教师的分歧来加权蒸馏损失,以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
Leave No Knowledge Behind During Knowledge Distillation: Towards Practical and Effective Knowledge Distillation for Code-Switching ASR Using Realistic Data
National Taiwan University(台湾大学);NVIDIA AI Technology Center(英伟达人工智能技术中心);NVIDIA(英伟达)
针对语码切换语音识别场景下大模型计算资源不足的问题,提出K$^2$D知识蒸馏框架,结合教师模型与小型辅助模型知识,用无标注真实数据得到更小更快且性能更优的模型并开源。
2024-07-15 cs.CL cs.SD eess.AS
Robust Knowledge Distillation from RNN-T Models With Noisy Training Labels Using Full-Sum Loss
Google(谷歌)
本文研究了知识蒸馏(KD)问题,并针对递归神经网络转换器(RNN-T)模型提出了知识蒸馏的约束条件。在硬蒸馏中,教师模型转录大量未标记的语音来训练学生模型。软蒸馏是另一种流行的KD方法,它提取教师模型的输出logits。由于RNN-T比对的性质,在具有不同后验分布的RNN-T架构之间应用软蒸馏是具有挑战性的。此外,高错字率的差教师会降低KD的效能。我们研究如何有效地提取知识的可变质量ASR教师,这还没有被研究之前,我们的知识。我们证明了序列级KD,全和蒸馏,优于RNN-T模型的其他蒸馏方法,特别是对于糟糕的教师。我们还提出了一个变种的全和蒸馏,蒸馏的顺序判别知识的老师,导致进一步改善WER。我们在公共数据集SpeechStew和LibriSpeech以及内部生产数据上进行实验。
2023-03-10 cs.CL cs.SD eess.AS
Sequence-Level Knowledge Distillation
Harvard University(哈佛大学)
神经机器翻译(NMT)提供了一种新的替代翻译公式,可能比统计方法更简单。然而,为了达到有竞争力的性能,NMT模型需要非常大。在本文中,我们考虑应用知识蒸馏方法(Bucila等人,2006; Hinton等人,2015年),已被证明成功地减少了NMT问题在其他领域的神经模型的大小。我们证明了应用于单词级预测的标准知识蒸馏对NMT是有效的,并且还介绍了两种新的序列级版本的知识蒸馏,它们进一步提高了性能,并且有点令人惊讶的是,似乎消除了对束搜索的需要(即使应用于原始教师模型)。我们最好的学生模型运行速度比其最先进的老师快10倍,性能几乎没有损失。它也明显优于在没有知识蒸馏的情况下训练的基线模型:通过具有贪心解码/束搜索的4.2/1.7 BLEU。在知识蒸馏的基础上应用权重修剪,学生模型的参数比原始教师模型少13倍,减少了0.4 BLEU。
2016-09-22 cs.CL cs.LG cs.NE
Autoregressive Knowledge Distillation through Imitation Learning
ASAPP, Inc.(ASAPP公司)
自回归模型在自然语言生成任务上的性能由于采用了深度、自我关注的架构而得到了显着提高。然而,这些收益是以阻碍推理速度为代价的,使得最先进的模型在现实世界中部署起来很麻烦,时间敏感的设置。我们开发了一种压缩技术的自回归模型,是由模仿学习的角度来看,知识蒸馏。该算法旨在解决曝光偏差问题。在原型语言生成任务,如翻译和摘要,我们的方法始终优于其他蒸馏算法,如序列级知识蒸馏。使用我们的方法训练的学生模型比从头开始训练的模型高出1.4到4.8个BLEU/ROUGE点,同时与教师模型相比,推理速度提高了14倍。
2020-10-29 cs.CL cs.LG
Patient Knowledge Distillation for BERT Model Compression
Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
预先训练的语言模型(如BERT)已被证明对自然语言处理(NLP)任务非常有效。然而,训练此类模型对计算资源的高需求阻碍了其在实践中的应用。为了缓解大规模模型训练中的这种资源饥饿,我们提出了一种患者知识蒸馏方法,将原始的大模型(教师)压缩成同样有效的轻量级浅层网络(学生)。与以往的知识蒸馏方法不同,这些方法只使用教师网络最后一层的输出进行蒸馏,我们的学生模型耐心地从教师模型的多个中间层学习,以进行增量知识提取,遵循两种策略:($i$)PKD-Last:从最后一个$k$层学习;和($ii$)PKD-Skip:从每个$k$层学习。这两个耐心的蒸馏方案使教师的隐藏层中的丰富信息的开发,并鼓励学生模型耐心地学习和模仿教师通过多层蒸馏过程。从经验上讲,这可以转化为多个NLP任务的改进结果,在不牺牲模型准确性的情况下显著提高训练效率。
2019-08-25 cs.CL cs.LG
MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of British Columbia(英属哥伦比亚大学)
大规模预训练语言模型的出现促进了自然语言处理(NLP)领域的快速发展。虽然这些模型在标准基准测试中的性能随着规模的扩大而扩大,但知识蒸馏等压缩技术是使其实用化的关键。我们提出了一种新的基于文本的对抗训练算法MATE-KD,它提高了知识蒸馏的性能。MATE-KD首先训练一个基于掩码语言模型的生成器,通过最大化教师和学生logits之间的分歧来扰动文本。然后使用知识蒸馏,学生在原始和扰动的训练样本上进行训练。我们使用基于BERT的模型在GLUE基准测试中评估了我们的算法,并证明MATE-KD优于竞争对手的对抗性学习和数据增强基线。在GLUE测试集上,我们基于6层RoBERTa的模型优于BERT-Large。
2021-05-12 cs.CL cs.LG
Adaptive Knowledge Distillation between Text and Speech Pre-trained Models
Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学)
在大量语音语料库上学习导致了许多自监督语音模型最近的成功。通过知识蒸馏,这些模型还可以受益于由语言模型编码的知识,这些语言模型是在丰富的文本源上预先训练的。然而,由于文本和语音嵌入空间之间的模态差异,蒸馏过程具有挑战性。本文研究了基于度量的提取方法,在不改变模型结构的情况下,利用少量数据对齐文本和语音的嵌入空间。由于文献中忽略了文本和语音之间的语义和粒度差距,这损害了蒸馏,我们提出了先验信息自适应知识蒸馏(PAD),自适应地利用可变粒度和先验分布的文本/语音单元,以实现文本和语音预训练模型之间更好的全局和局部对齐。我们对三个口语语言理解基准进行了评估,结果表明,PAD在传递语言知识方面比其他基于度量的蒸馏方法更有效。
2023-03-07 cs.CL cs.LG cs.SD
Tailoring Instructions to Student's Learning Levels Boosts Knowledge Distillation
Tsinghua University(清华大学);Boson AI(玻色人工智能)
针对高性能教师模型未必能培养强学生模型的问题,提出LGTM训练技术,引入蒸馏影响概念优先选取能提升学生泛化能力的样本,在GLUE基准6项文本分类任务上优于10种常用知识蒸馏基线。
2024-05-15 cs.CL cs.LG
Self-Knowledge Distillation in Natural Language Processing
Handong Global University(韩东国际大学)
自从深度学习成为自然语言处理(NLP)的关键角色以来,许多深度学习模型在各种NLP任务中表现出了卓越的性能,在某些情况下,它们甚至超过了人类。如此高的性能可以通过深度学习模型的高效知识表示来解释。虽然已经提出了许多方法来学习更有效的表示,但从预训练的深度网络中知识蒸馏表明,我们可以使用来自软目标概率的更多信息来训练其他神经网络。在本文中,我们提出了一种新的知识蒸馏方法自知识蒸馏,基于训练模型本身的软目标概率,其中多模信息是从softmax层下面的词嵌入空间中提取的。由于时间复杂度,我们的方法近似的软目标概率。在实验中,我们将所提出的方法应用于两个不同的和基本的NLP任务:语言模型和神经机器翻译。实验结果表明,我们提出的方法提高了性能的任务。
2019-08-02 cs.CL cs.LG stat.ML
Knowledge distillation from language model to acoustic model: a hierarchical multi-task learning approach
Hanyang University(汉阳大学)
使用自监督学习的预训练语言模型(LM)的显著性能导致了自然语言处理研究的重大范式转变。与这些变化相一致,利用具有大规模基于深度学习的LM的语音识别系统的性能是语音识别研究的主要课题。在将LM应用于语音识别系统的各种方法中,在本文中,我们专注于跨模态知识蒸馏方法,该方法在具有不同模态的两种类型的深度神经网络之间传输知识。我们提出了一个声学模型结构与多个辅助输出层的跨模态蒸馏和证明,所提出的方法有效地弥补了现有的标签插值蒸馏方法的缺点。此外,我们将所提出的方法扩展到分层蒸馏方法,使用在不同单位(句音,单音和子词)训练的LM,并通过消融研究揭示了分层蒸馏方法的有效性。
2021-10-20 cs.CL cs.LG cs.SD
SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking
Fudan University(复旦大学)
由于同音异义词的多义性,汉语拼写检查有着广泛的应用。现有系统通常利用BERT进行文本编码。然而,CSC要求模型同时考虑语音和字形信息。为了使BERT适应CSC任务,我们提出了一种标记级自蒸馏对比学习方法。我们使用BERT来编码损坏的句子和相应的正确句子。然后,我们使用对比学习损失规则化损坏的标记的隐藏状态,以接近正确句子中的对应物。在三个CSC数据集上,我们证实了我们的方法在基线上有显著的改进。
2022-11-07 cs.AI cs.CL
GKD: A General Knowledge Distillation Framework for Large-scale Pre-trained Language Model
Anhui University(安徽大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学)
针对大规模PLM知识蒸馏受GPU显存限制、方法切换难的工业部署痛点,提出通用知识蒸馏框架GKD,可在显存受限GPU上实现多方法组合的超大规模PLM蒸馏,已验证支持100B级模型与25种主流方法。
2023-06-11 cs.AI cs.CL
Updating Parametric Knowledge with Context Distillation Retains Post-Training Capabilities
Department of Computer Science, Cornell University(康奈尔大学计算机科学系)
本文提出DiSC方法,通过上下文蒸馏实现持续知识适应,有效平衡新知识学习与原有能力保持。
2026-02-17 cs.AI cs.CL
Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院)
知识蒸馏解决了将知识从教师模型转移到学生模型的问题。在这个过程中,我们通常会从教师模型中提取多种类型的知识。问题是要充分利用他们来训练学生模范。我们的初步研究表明:(1)并不是所有的知识都是学习一个好的学生模型所必需的,(2)知识蒸馏可以受益于不同训练步骤中的某些知识。针对这些问题,我们提出了一个行动者-批评者的方法来选择适当的知识转移过程中的知识蒸馏。此外,我们提供了一个改进的训练算法,以减轻计算负担。在GLUE数据集上的实验结果表明,该方法的性能明显优于几种强知识蒸馏基线。
2023-02-01 cs.CL
Weight Distillation: Transferring the Knowledge in Neural Network Parameters
Northeastern University(东北大学);The Chinese University of Hong Kong(香港中文大学);NiuTrans Research(小牛翻译研究院)
知识蒸馏已被证明是有效的模型加速和压缩。它允许一个小网络学习以与一个大网络相同的方式进行泛化。最近在预训练方面的成功表明了传递模型参数的有效性。受此启发,我们在另一条研究线上研究模型加速和压缩的方法。我们提出了权重蒸馏,通过参数生成器传递大网络参数中的知识。我们在WMT 16 En-Ro、NIST 12 Zh-En和WMT 14 En-De机器翻译任务上的实验表明,权重蒸馏可以训练一个小网络,其速度是大网络的1.88~ 2.94倍,但具有竞争力的性能。在小网络规模相同的情况下,权重蒸馏法比知识蒸馏法的BLEU值高出0.51~1.82点。
2021-07-19 cs.CL
Life-long Learning for Multilingual Neural Machine Translation with Knowledge Distillation
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Fanyu AI Research, Beijing Fanyu Technology Ltd.(北京凡语科技有限公司凡语人工智能研究院)
多语言神经机器翻译(MNMT)的一个常见场景是每个翻译任务以顺序的方式到达,并且先前任务的训练数据不可用。在这种情况下,目前的方法严重遭受灾难性遗忘(CF)。为了缓解CF,我们研究了基于知识蒸馏的终身学习方法。具体而言,在一个tomany场景中,我们提出了一种多语言蒸馏方法,使新模型(学生)共同学习旧模型(教师)和新任务的多语言输出。在多对一的情况下,我们发现直接蒸馏面临极端的部分蒸馏问题,我们提出了两种不同的方法来解决它:伪输入蒸馏和反向教师蒸馏。在12个翻译任务上的实验结果表明,该方法能更好地巩固已有知识,并能显著地降低错误率。
2022-12-06 cs.CL
MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
Beihang University(北京航空航天大学)
本文提出MLKD-BERT,通过在教师-学生框架中蒸馏多层级知识并灵活设置学生注意力头数量,在GLUE和抽取式问答任务上超越现有知识蒸馏方法,同时显著降低推理时间。
2024-07-03 cs.CL cs.LG
Gradient Knowledge Distillation for Pre-trained Language Models
Peking University(北京大学)
知识蒸馏(KD)是一种将知识从大规模教师转移到紧凑但表现良好的学生的有效框架。先前用于预训练的语言模型的KD实践主要通过在教师和学生之间对齐实例输出来传递知识,而忽略了重要的知识源,即,教师的梯度。梯度表征教师如何响应输入的变化,我们假设这有利于学生更好地近似教师的底层映射函数。因此,我们提出了梯度知识蒸馏(GKD),将梯度对齐目标的蒸馏过程。实验结果表明,GKD优于以前的KD方法对学生的表现。进一步的分析表明,梯度知识的引入使学生的行为与教师的行为更加一致,大大提高了可解释性。
2022-11-02 cs.CL cs.LG
It Depends: Resolving Referential Ambiguity in Minimal Contexts with Commonsense Knowledge
School for Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑技术大学)
本文研究大语言模型在多轮对话中利用常识消解指称歧义的能力,发现现有模型倾向单一解释或罗列所有指称而非模糊限定或澄清,且简化语言请求会加剧该问题;通过直接偏好优化微调Llama-3.1-8B可显著改善各类请求下的歧义消解表现。
2025-09-19 cs.CL
Efficient Knowledge Injection in LLMs via Self-Distillation
Aalto University(阿alto大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心);System 2 AI
本文提出用提示蒸馏(一种自蒸馏方法)从自由文档向LLM注入新知识,无需更大教师模型或结构化格式,实验表明其优于监督微调甚至RAG,并分析了关键因素与扩展性。
2025-08-07 cs.CL cs.LG
MKD: a Multi-Task Knowledge Distillation Approach for Pretrained Language Models
University of Waterloo(滑铁卢大学);Salesforce Research(赛富时研究院)
预训练的语言模型在许多NLP任务中带来了显着的性能提升。然而,密集的计算资源训练这样的模型仍然是一个问题。知识蒸馏通过学习一个轻量级学生模型来解决这个问题。到目前为止,蒸馏方法都是针对特定任务的。本文探讨了多任务学习环境下的知识蒸馏。学生在不同的任务中共同提炼。它通过多任务蒸馏获得更一般的表示能力,并可以进一步微调,以改善目标域中的模型。与其他专门为基于transformer架构设计的BERT提取方法不同,我们提供了一个通用的学习框架。我们的方法是模型不可知的,可以很容易地应用于不同的未来教师模型架构。我们在基于transformer和基于LSTM的学生模型上评估了我们的方法。与一个强大的,类似的基于LSTM的方法相比,我们在相同的计算约束下实现了更好的质量。与现有技术相比,我们以更快的推理速度达到了可比的结果。
2020-04-30 cs.CL cs.LG