CILDA: Contrastive Data Augmentation using Intermediate Layer Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Université de Montréal(蒙特利尔大学);University of Waterloo(滑铁卢大学)
知识蒸馏(KD)是一种用于压缩大规模预训练语言模型的有效框架。近年来,通过利用对比学习、中间层蒸馏、数据增强和对抗训练来提高KD的研究激增。在这项工作中,我们提出了一个学习为基础的数据增强技术量身定制的知识蒸馏,称为CILDA。据我们所知,这是第一次使用主任务的中间层表示来提高增强样本的质量。更确切地说,我们引入了一种基于中间层匹配的KD增强技术,使用对比度损失来改善掩蔽的对抗性数据增强。CILDA在GLUE基准测试和域外评估中的表现优于现有的最先进的KD方法。
2022-04-15 cs.CL
Multi-Aspect Knowledge Distillation for Language Model with Low-rank Factorization
Key Laboratory of Big Data & Artificial Intelligence in Transportation(交通大数据与人工智能重点实验室);School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
本文提出多方面知识蒸馏方法,通过深入模仿自注意力和前馈模块,捕捉不同方面的丰富语言知识,实验表明其在相同存储预算下能与强基线模型竞争,并在蒸馏自回归架构模型中表现良好。
2026-04-03 cs.CL
Knowledge Distillation For Recurrent Neural Network Language Modeling With Trust Regularization
Mobvoi AI Lab(出门问问人工智能实验室);Williams College(威廉姆斯学院)
递归神经网络(RNN)由于其优于传统的基于N-gram的模型的性能而主导了语言建模。在许多应用中,使用大型循环神经网络语言模型(RNNLM)或若干RNNLM的集合。这些模型占用大量内存,需要大量计算。在本文中,我们研究了应用知识蒸馏在减少RNNLM模型大小的效果。此外,我们提出了一种信任正则化方法,以提高知识蒸馏训练RNNLM。使用知识蒸馏与信任正则化,我们减少了参数大小的三分之一,以前公布的最佳模型,同时保持国家的最先进的困惑结果对Penn Treebank数据。在一个语音识别N-bestrescoring任务中,我们将RNNLM模型大小减少到基线系统的18.5%,在华尔街日报数据集上的字出错率(WER)性能没有下降。
2019-04-08 cs.CL
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而,教师模型通常是在相同的标记数据上学习的,它们的预测与groundtruth标签具有高度相关性。因此,他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中,我们提出了一个统一的和有效的集成知识蒸馏方法,蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性,因此在标记数据上,我们根据不同教师的正确性对他们的预测进行加权。此外,我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上,没有基础事实来评估预测的正确性。幸运的是,教师之间的分歧是样本硬度的指示,因此我们基于教师的分歧来加权蒸馏损失,以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
Decoder-based Sense Knowledge Distillation
Rensselaer Polytechnic Institute(拉特格斯理工学院);IBM Research(IBM研究院)
本文提出DSKD框架,通过整合词汇资源提升解码器式LLM的知识蒸馏性能,使生成模型能继承结构化语义并保持高效训练。
2026-02-25 cs.AI cs.CL
Autoregressive Knowledge Distillation through Imitation Learning
ASAPP, Inc.(ASAPP公司)
自回归模型在自然语言生成任务上的性能由于采用了深度、自我关注的架构而得到了显着提高。然而,这些收益是以阻碍推理速度为代价的,使得最先进的模型在现实世界中部署起来很麻烦,时间敏感的设置。我们开发了一种压缩技术的自回归模型,是由模仿学习的角度来看,知识蒸馏。该算法旨在解决曝光偏差问题。在原型语言生成任务,如翻译和摘要,我们的方法始终优于其他蒸馏算法,如序列级知识蒸馏。使用我们的方法训练的学生模型比从头开始训练的模型高出1.4到4.8个BLEU/ROUGE点,同时与教师模型相比,推理速度提高了14倍。
2020-10-29 cs.CL cs.LG
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University(清华大学)
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法,首先学习的知识图谱的表示,然后通过测量实体嵌入之间的相似性进行实体对齐。然而,由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题,它们未能很好地利用关系语义信息。为了解决这个问题,我们提出了关系知识蒸馏实体对齐(RKDEA),图卷积网络(GCN)为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示,考虑图的结构,并通过知识蒸馏将关系语义信息纳入GCN。然后,我们引入了一种新的自适应机制来传递关系知识,从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Patient Knowledge Distillation for BERT Model Compression
Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
预先训练的语言模型(如BERT)已被证明对自然语言处理(NLP)任务非常有效。然而,训练此类模型对计算资源的高需求阻碍了其在实践中的应用。为了缓解大规模模型训练中的这种资源饥饿,我们提出了一种患者知识蒸馏方法,将原始的大模型(教师)压缩成同样有效的轻量级浅层网络(学生)。与以往的知识蒸馏方法不同,这些方法只使用教师网络最后一层的输出进行蒸馏,我们的学生模型耐心地从教师模型的多个中间层学习,以进行增量知识提取,遵循两种策略:($i$)PKD-Last:从最后一个$k$层学习;和($ii$)PKD-Skip:从每个$k$层学习。这两个耐心的蒸馏方案使教师的隐藏层中的丰富信息的开发,并鼓励学生模型耐心地学习和模仿教师通过多层蒸馏过程。从经验上讲,这可以转化为多个NLP任务的改进结果,在不牺牲模型准确性的情况下显著提高训练效率。
2019-08-25 cs.CL cs.LG
Hard Gate Knowledge Distillation -- Leverage Calibration for Robust and Reliable Language Model
HKUST(香港科技大学);NVIDIA(英伟达);National University of Defense Technology(国防科技大学)
在知识蒸馏中,学生模型通过来自教师的知识和从训练数据分布中提取的观察的监督来训练。教师的知识被认为是一个主题,持有类间的关系,发送一个有意义的监督,以学生,因此,很多努力已经投入到寻找这样的知识来提炼。在本文中,我们探讨了一个很少被关注的问题:“何时提取这些知识。“这个问题在我们的工作中得到了回答,我们认为教师模型不仅是知识的来源,而且是检测学生错误校准的标准。这种简单而新颖的观点导致了一种硬门知识蒸馏方案,该方案在从教师模型和训练数据学习之间切换。我们验证了门控机制的上下文中的自然语言生成在令牌级和会话级。与强基线的实证比较表明,硬门知识蒸馏不仅提高了模型的泛化能力,而且显著降低了模型校准误差。
2022-10-22 cs.AI cs.CL
Improving Knowledge Distillation for BERT Models: Loss Functions, Mapping Methods, and Weight Tuning
本研究针对大型Transformer模型计算成本高的问题,聚焦TinyBERT学生模型,通过优化损失函数、层映射方法及损失权重调优改进BERT知识蒸馏,在GLUE基准任务上验证效果,以提升蒸馏效率与模型性能。
2023-08-26 cs.AI cs.CL
MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of British Columbia(英属哥伦比亚大学)
大规模预训练语言模型的出现促进了自然语言处理(NLP)领域的快速发展。虽然这些模型在标准基准测试中的性能随着规模的扩大而扩大,但知识蒸馏等压缩技术是使其实用化的关键。我们提出了一种新的基于文本的对抗训练算法MATE-KD,它提高了知识蒸馏的性能。MATE-KD首先训练一个基于掩码语言模型的生成器,通过最大化教师和学生logits之间的分歧来扰动文本。然后使用知识蒸馏,学生在原始和扰动的训练样本上进行训练。我们使用基于BERT的模型在GLUE基准测试中评估了我们的算法,并证明MATE-KD优于竞争对手的对抗性学习和数据增强基线。在GLUE测试集上,我们基于6层RoBERTa的模型优于BERT-Large。
2021-05-12 cs.CL cs.LG
Tailoring Instructions to Student's Learning Levels Boosts Knowledge Distillation
Tsinghua University(清华大学);Boson AI(玻色人工智能)
针对高性能教师模型未必能培养强学生模型的问题,提出LGTM训练技术,引入蒸馏影响概念优先选取能提升学生泛化能力的样本,在GLUE基准6项文本分类任务上优于10种常用知识蒸馏基线。
2024-05-15 cs.CL cs.LG
Leave No Knowledge Behind During Knowledge Distillation: Towards Practical and Effective Knowledge Distillation for Code-Switching ASR Using Realistic Data
National Taiwan University(台湾大学);NVIDIA AI Technology Center(英伟达人工智能技术中心);NVIDIA(英伟达)
针对语码切换语音识别场景下大模型计算资源不足的问题,提出K$^2$D知识蒸馏框架,结合教师模型与小型辅助模型知识,用无标注真实数据得到更小更快且性能更优的模型并开源。
2024-07-15 cs.CL cs.SD eess.AS
Sequence-Level Knowledge Distillation
Harvard University(哈佛大学)
神经机器翻译(NMT)提供了一种新的替代翻译公式,可能比统计方法更简单。然而,为了达到有竞争力的性能,NMT模型需要非常大。在本文中,我们考虑应用知识蒸馏方法(Bucila等人,2006; Hinton等人,2015年),已被证明成功地减少了NMT问题在其他领域的神经模型的大小。我们证明了应用于单词级预测的标准知识蒸馏对NMT是有效的,并且还介绍了两种新的序列级版本的知识蒸馏,它们进一步提高了性能,并且有点令人惊讶的是,似乎消除了对束搜索的需要(即使应用于原始教师模型)。我们最好的学生模型运行速度比其最先进的老师快10倍,性能几乎没有损失。它也明显优于在没有知识蒸馏的情况下训练的基线模型:通过具有贪心解码/束搜索的4.2/1.7 BLEU。在知识蒸馏的基础上应用权重修剪,学生模型的参数比原始教师模型少13倍,减少了0.4 BLEU。
2016-09-22 cs.CL cs.LG cs.NE
Swing Distillation: A Privacy-Preserving Knowledge Distillation Framework
Tianjin University(天津大学);ByteDance Lark AI(字节跳动飞书人工智能)
知识蒸馏(KD)被广泛用于模型压缩和知识转移。通常情况下,在足够的数据上训练的大型教师模型将知识转移到小型学生模型。然而,尽管KD取得了成功,但很少有人研究KD是否泄漏了教师模型的训练数据。在本文中,我们实验表明,KD遭受隐私泄漏的风险。为了缓解这个问题,我们提出了一种新的知识蒸馏方法-摆动蒸馏,它可以有效地保护教师模型的私有信息不流向学生模型。在我们的框架中,温度系数是动态的,自适应地调整,而不是一个预定义的常数超参数,根据数据中包含的私人信息的程度。它根据位置中的令牌包含隐私信息的可能性为令牌分配不同的温度。此外,我们将噪声注入到提供给学生模型的软目标中,以避免未屏蔽的知识转移。在多个数据集和任务上的实验表明,与KD相比,所提出的摆动蒸馏可以显着降低隐私泄露的风险(在金丝雀暴露方面超过80%),具有竞争力或更好的性能。此外,摆动蒸馏对不断增加的隐私预算具有鲁棒性。
2022-12-16 cs.AI cs.CL cs.CR
Robust Knowledge Distillation from RNN-T Models With Noisy Training Labels Using Full-Sum Loss
Google(谷歌)
本文研究了知识蒸馏(KD)问题,并针对递归神经网络转换器(RNN-T)模型提出了知识蒸馏的约束条件。在硬蒸馏中,教师模型转录大量未标记的语音来训练学生模型。软蒸馏是另一种流行的KD方法,它提取教师模型的输出logits。由于RNN-T比对的性质,在具有不同后验分布的RNN-T架构之间应用软蒸馏是具有挑战性的。此外,高错字率的差教师会降低KD的效能。我们研究如何有效地提取知识的可变质量ASR教师,这还没有被研究之前,我们的知识。我们证明了序列级KD,全和蒸馏,优于RNN-T模型的其他蒸馏方法,特别是对于糟糕的教师。我们还提出了一个变种的全和蒸馏,蒸馏的顺序判别知识的老师,导致进一步改善WER。我们在公共数据集SpeechStew和LibriSpeech以及内部生产数据上进行实验。
2023-03-10 cs.CL cs.SD eess.AS
Dual Knowledge Distillation for Efficient Sound Event Detection
Fortemedia(富迪科技)
针对设备端声音事件检测计算资源受限的问题,提出双知识蒸馏框架,结合时间平均知识蒸馏与嵌入增强特征蒸馏,以三分之一的参数量在DCASE 2023任务4A上取得更优性能。
2024-02-05 cs.AI cs.CL cs.LG
Adaptive Knowledge Distillation between Text and Speech Pre-trained Models
Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学)
在大量语音语料库上学习导致了许多自监督语音模型最近的成功。通过知识蒸馏,这些模型还可以受益于由语言模型编码的知识,这些语言模型是在丰富的文本源上预先训练的。然而,由于文本和语音嵌入空间之间的模态差异,蒸馏过程具有挑战性。本文研究了基于度量的提取方法,在不改变模型结构的情况下,利用少量数据对齐文本和语音的嵌入空间。由于文献中忽略了文本和语音之间的语义和粒度差距,这损害了蒸馏,我们提出了先验信息自适应知识蒸馏(PAD),自适应地利用可变粒度和先验分布的文本/语音单元,以实现文本和语音预训练模型之间更好的全局和局部对齐。我们对三个口语语言理解基准进行了评估,结果表明,PAD在传递语言知识方面比其他基于度量的蒸馏方法更有效。
2023-03-07 cs.CL cs.LG cs.SD
Self-Knowledge Distillation in Natural Language Processing
Handong Global University(韩东国际大学)
自从深度学习成为自然语言处理(NLP)的关键角色以来,许多深度学习模型在各种NLP任务中表现出了卓越的性能,在某些情况下,它们甚至超过了人类。如此高的性能可以通过深度学习模型的高效知识表示来解释。虽然已经提出了许多方法来学习更有效的表示,但从预训练的深度网络中知识蒸馏表明,我们可以使用来自软目标概率的更多信息来训练其他神经网络。在本文中,我们提出了一种新的知识蒸馏方法自知识蒸馏,基于训练模型本身的软目标概率,其中多模信息是从softmax层下面的词嵌入空间中提取的。由于时间复杂度,我们的方法近似的软目标概率。在实验中,我们将所提出的方法应用于两个不同的和基本的NLP任务:语言模型和神经机器翻译。实验结果表明,我们提出的方法提高了性能的任务。
2019-08-02 cs.CL cs.LG stat.ML
Lifelong Language Knowledge Distillation
National Taiwan University(台湾大学)
与多任务学习相比,在不同任务流上进行终身语言学习(LLL)而不降低任何性能是具有挑战性的。为了解决这个问题,我们提出了终身语言知识蒸馏(L2KD),一个简单但有效的方法,可以很容易地应用到现有的LLL架构,以减轻退化。具体来说,当LLL模型在一个新任务上训练时,我们分配一个教师模型首先学习新任务,并通过知识蒸馏将知识传递给LLL模型。因此,LLL模型可以更好地适应新的任务,同时保持以前学习的知识。实验结果表明,所提出的L2KD一致地改善了以前的国家的最先进的模型,和退化相比,多任务模型在LLL任务中的序列生成和文本分类任务都得到了很好的缓解。
2020-10-05 cs.AI cs.CL cs.LG
Knowledge distillation from language model to acoustic model: a hierarchical multi-task learning approach
Hanyang University(汉阳大学)
使用自监督学习的预训练语言模型(LM)的显著性能导致了自然语言处理研究的重大范式转变。与这些变化相一致,利用具有大规模基于深度学习的LM的语音识别系统的性能是语音识别研究的主要课题。在将LM应用于语音识别系统的各种方法中,在本文中,我们专注于跨模态知识蒸馏方法,该方法在具有不同模态的两种类型的深度神经网络之间传输知识。我们提出了一个声学模型结构与多个辅助输出层的跨模态蒸馏和证明,所提出的方法有效地弥补了现有的标签插值蒸馏方法的缺点。此外,我们将所提出的方法扩展到分层蒸馏方法,使用在不同单位(句音,单音和子词)训练的LM,并通过消融研究揭示了分层蒸馏方法的有效性。
2021-10-20 cs.CL cs.LG cs.SD
Parameter-Efficient and Student-Friendly Knowledge Distillation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));JD Explore Academy(京东探索研究院);Peng Cheng Laboratory(鹏城实验室)
知识蒸馏(KD)已被广泛用于将知识从大的教师模型转移到较小的学生,其中教师的参数在训练期间是固定的(或部分固定的)。最近的研究表明,这种模式可能会导致困难的知识转移,由于不匹配的模型能力。为了缓解不匹配问题,师生联合培训方法,例如,在线蒸馏,但它总是需要昂贵的计算成本。在本文中,我们提出了一个参数有效的和学生友好的知识蒸馏方法,即PESF-KD,以实现有效和充分的知识转移,通过更新相对较少的部分参数。从技术上讲,我们首先在数学上将不匹配表示为它们的预测分布之间的清晰度差距,我们表明这种差距可以通过软标签的适当平滑度缩小。然后,我们为教师引入适配器模块,并且仅更新适配器以获得具有适当平滑度的软标签。在各种基准测试上的实验表明,与先进的在线蒸馏方法相比,PESF-KD可以显着降低训练成本,同时获得有竞争力的结果。代码将在接受后发布。
2022-05-28 cs.AI cs.CL cs.CV
Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院)
知识蒸馏解决了将知识从教师模型转移到学生模型的问题。在这个过程中,我们通常会从教师模型中提取多种类型的知识。问题是要充分利用他们来训练学生模范。我们的初步研究表明:(1)并不是所有的知识都是学习一个好的学生模型所必需的,(2)知识蒸馏可以受益于不同训练步骤中的某些知识。针对这些问题,我们提出了一个行动者-批评者的方法来选择适当的知识转移过程中的知识蒸馏。此外,我们提供了一个改进的训练算法,以减轻计算负担。在GLUE数据集上的实验结果表明,该方法的性能明显优于几种强知识蒸馏基线。
2023-02-01 cs.CL
Weight Distillation: Transferring the Knowledge in Neural Network Parameters
Northeastern University(东北大学);The Chinese University of Hong Kong(香港中文大学);NiuTrans Research(小牛翻译研究院)
知识蒸馏已被证明是有效的模型加速和压缩。它允许一个小网络学习以与一个大网络相同的方式进行泛化。最近在预训练方面的成功表明了传递模型参数的有效性。受此启发,我们在另一条研究线上研究模型加速和压缩的方法。我们提出了权重蒸馏,通过参数生成器传递大网络参数中的知识。我们在WMT 16 En-Ro、NIST 12 Zh-En和WMT 14 En-De机器翻译任务上的实验表明,权重蒸馏可以训练一个小网络,其速度是大网络的1.88~ 2.94倍,但具有竞争力的性能。在小网络规模相同的情况下,权重蒸馏法比知识蒸馏法的BLEU值高出0.51~1.82点。
2021-07-19 cs.CL
Life-long Learning for Multilingual Neural Machine Translation with Knowledge Distillation
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Fanyu AI Research, Beijing Fanyu Technology Ltd.(北京凡语科技有限公司凡语人工智能研究院)
多语言神经机器翻译(MNMT)的一个常见场景是每个翻译任务以顺序的方式到达,并且先前任务的训练数据不可用。在这种情况下,目前的方法严重遭受灾难性遗忘(CF)。为了缓解CF,我们研究了基于知识蒸馏的终身学习方法。具体而言,在一个tomany场景中,我们提出了一种多语言蒸馏方法,使新模型(学生)共同学习旧模型(教师)和新任务的多语言输出。在多对一的情况下,我们发现直接蒸馏面临极端的部分蒸馏问题,我们提出了两种不同的方法来解决它:伪输入蒸馏和反向教师蒸馏。在12个翻译任务上的实验结果表明,该方法能更好地巩固已有知识,并能显著地降低错误率。
2022-12-06 cs.CL
MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
Beihang University(北京航空航天大学)
本文提出MLKD-BERT,通过在教师-学生框架中蒸馏多层级知识并灵活设置学生注意力头数量,在GLUE和抽取式问答任务上超越现有知识蒸馏方法,同时显著降低推理时间。
2024-07-03 cs.CL cs.LG
Gradient Knowledge Distillation for Pre-trained Language Models
Peking University(北京大学)
知识蒸馏(KD)是一种将知识从大规模教师转移到紧凑但表现良好的学生的有效框架。先前用于预训练的语言模型的KD实践主要通过在教师和学生之间对齐实例输出来传递知识,而忽略了重要的知识源,即,教师的梯度。梯度表征教师如何响应输入的变化,我们假设这有利于学生更好地近似教师的底层映射函数。因此,我们提出了梯度知识蒸馏(GKD),将梯度对齐目标的蒸馏过程。实验结果表明,GKD优于以前的KD方法对学生的表现。进一步的分析表明,梯度知识的引入使学生的行为与教师的行为更加一致,大大提高了可解释性。
2022-11-02 cs.CL cs.LG
GKD: A General Knowledge Distillation Framework for Large-scale Pre-trained Language Model
Anhui University(安徽大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学)
针对大规模PLM知识蒸馏受GPU显存限制、方法切换难的工业部署痛点,提出通用知识蒸馏框架GKD,可在显存受限GPU上实现多方法组合的超大规模PLM蒸馏,已验证支持100B级模型与25种主流方法。
2023-06-11 cs.AI cs.CL
Efficient Knowledge Injection in LLMs via Self-Distillation
Aalto University(阿alto大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心);System 2 AI
本文提出用提示蒸馏(一种自蒸馏方法)从自由文档向LLM注入新知识,无需更大教师模型或结构化格式,实验表明其优于监督微调甚至RAG,并分析了关键因素与扩展性。
2025-08-07 cs.CL cs.LG
Updating Parametric Knowledge with Context Distillation Retains Post-Training Capabilities
Department of Computer Science, Cornell University(康奈尔大学计算机科学系)
本文提出DiSC方法,通过上下文蒸馏实现持续知识适应,有效平衡新知识学习与原有能力保持。
2026-02-17 cs.AI cs.CL
MKD: a Multi-Task Knowledge Distillation Approach for Pretrained Language Models
University of Waterloo(滑铁卢大学);Salesforce Research(赛富时研究院)
预训练的语言模型在许多NLP任务中带来了显着的性能提升。然而,密集的计算资源训练这样的模型仍然是一个问题。知识蒸馏通过学习一个轻量级学生模型来解决这个问题。到目前为止,蒸馏方法都是针对特定任务的。本文探讨了多任务学习环境下的知识蒸馏。学生在不同的任务中共同提炼。它通过多任务蒸馏获得更一般的表示能力,并可以进一步微调,以改善目标域中的模型。与其他专门为基于transformer架构设计的BERT提取方法不同,我们提供了一个通用的学习框架。我们的方法是模型不可知的,可以很容易地应用于不同的未来教师模型架构。我们在基于transformer和基于LSTM的学生模型上评估了我们的方法。与一个强大的,类似的基于LSTM的方法相比,我们在相同的计算约束下实现了更好的质量。与现有技术相比,我们以更快的推理速度达到了可比的结果。
2020-04-30 cs.CL cs.LG