ARDIR: Improving Robustness using Knowledge Distillation of Internal Representation
NTT Social Informatics Laboratories(NTT社会信息学实验室)
对抗性训练是针对对抗性样本学习鲁棒模型的最有前途的方法。最近的一项研究表明,相同架构之间的知识蒸馏在提高对抗训练的性能方面是有效的。利用知识蒸馏提高对抗训练水平是一种新的方法,受到了广泛的关注。但是,其性能仍然不足。因此,我们提出了具有内部表示的对抗性鲁棒蒸馏~(ARIDO),以更有效地利用知识蒸馏。除了教师模型的输出之外,ARPNET还使用教师模型的内部表示作为对抗训练的标签。这使得学生模型能够使用更丰富,信息更丰富的标签进行训练。因此,ARPNET可以学习更强大的学生模型。我们在实验中表明,ARPGIS优于以前的方法。
2022-11-01 cs.AI cs.LG
Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation
Westlake University(西湖大学)
本文提出HGMD框架,解耦GNN到MLP知识蒸馏中的两类困难度,并通过非参数方法估计,实现困难度感知蒸馏,显著提升学生MLP性能。
2024-07-20 cs.AI cs.LG
An Interpretable Neuron Embedding for Static Knowledge Distillation
Ludwig Maximilian Muenchen Unitversitaet(慕尼黑路德维希-马克西米利安大学)
虽然深度神经网络在各种任务中表现出良好的性能,但模型的可解释性差一直受到批评。本文提出了一种新的可解释的神经网络方法,通过将神经元嵌入到语义空间中来提取其内在的全局语义。与以往的方法,探测模型内部的潜在知识,所提出的语义向量外化的潜在知识的静态知识,这是很容易利用。具体来说,我们假设具有相似激活的神经元具有相似的语义信息。然后,在神经网络的训练过程中,通过连续对齐激活相似度和语义向量相似度来优化语义向量。语义向量的可视化允许对神经网络进行定性解释。此外,我们还通过知识蒸馏任务对静态知识进行了定量评估。可视化实验表明,语义向量能够很好地描述神经元激活语义。在没有教师模型逐个样本指导的情况下,静态知识蒸馏表现出与现有的基于关系的知识蒸馏方法相当甚至更好的性能。
2022-11-14 cs.AI cs.LG
Periodic Intra-Ensemble Knowledge Distillation for Reinforcement Learning
National Tsing Hua University(国立清华大学);Preferred Networks(优选网络)
非策略集成强化学习(RL)方法在一系列RL基准任务中表现出令人印象深刻的结果。最近的工作表明,直接模仿专家的政策,在监督的方式之前或期间的培训,使更快的政策改进的RL代理。受这些最新见解的启发,我们提出了周期性集群内知识蒸馏(PIEKD)。PIEKD是一个学习框架,它使用一组策略在环境中发挥作用,同时通过知识蒸馏在组中的策略之间定期共享知识。我们的实验表明,PIEKD提高了一个国家的最先进的RL方法在样本效率的几个具有挑战性的MuJoCo基准任务。此外,我们进行消融研究,以更好地了解PIEKD。
2020-02-01 cs.AI cs.LG
Confidence-Aware Multi-Teacher Knowledge Distillation
首先引入知识蒸馏,以利用来自单个教师模型的额外监督来进行学生模型训练。为了提高学生的成绩,最近的一些变体试图利用来自多个教师的不同知识来源。然而,现有的研究主要是整合来自不同来源的知识,通过平均多个教师的预测或结合他们使用其他各种无标签的策略,这可能会误导学生在低质量的教师预测的存在。为了解决这个问题,我们提出了置信度感知的多教师知识蒸馏(CA-MKD),它自适应地分配样本的可靠性为每个教师预测的帮助下,地面真理标签,与那些教师预测接近一个热标签分配大的权重。此外,CA-MKD还包括中间层,以稳定知识转移过程。大量的实验表明,我们的CA-MKD始终优于所有比较国家的最先进的方法在各种师生架构。
2022-02-14 cs.AI cs.LG
Knowledge Distillation via Token-level Relationship Graph
Huazhong University of Computer Science and Technology(华中计算机科学与技术大学)
本文提出基于Token级关系图的知识蒸馏方法(TRG),利用Token级关系知识增强蒸馏,并引入上下文损失,在视觉分类任务上优于现有基线,达到最先进性能。
2023-06-20 cs.AI cs.LG
Learning the Wrong Lessons: Inserting Trojans During Knowledge Distillation
Harvard University(哈佛大学)
近年来,知识蒸馏已成为有效部署机器学习的基石,实验室和行业使用知识蒸馏来训练廉价且资源优化的模型。特洛伊木马攻击在同一时期获得了显著的突出地位,揭示了深度学习模型中的根本漏洞。鉴于广泛使用的知识蒸馏,在这项工作中,我们试图利用未标记的数据知识蒸馏过程中嵌入木马的学生模型,而不引入明显的行为在教师。我们最终设计了一个木马攻击,有效地降低学生的准确性,不改变教师的表现,并在实践中有效地构建。
2023-03-09 cs.AI cs.CR cs.LG
Spot-adaptive Knowledge Distillation
Zhejiang University(浙江大学)
知识蒸馏(KD)已经成为用于压缩深度神经网络的成熟范例。进行知识蒸馏的典型方式是在教师网络的监督下训练学生网络以利用一个或多个点处的知识(即,在教师网络中。蒸馏点,一旦指定,将不会改变所有的训练样品,在整个蒸馏过程中。在这项工作中,我们认为,蒸馏点应适应训练样本和蒸馏时期。因此,我们提出了一种新的蒸馏策略,称为点自适应KD(SAKD),自适应地确定每个样本的教师网络中的蒸馏点,在整个蒸馏期间的每次训练迭代。由于SAKD实际上关注的是“在哪里蒸馏”,而不是大多数现有作品广泛研究的“蒸馏什么”,因此它可以无缝集成到现有的蒸馏方法中,以进一步提高其性能。进行了广泛的实验与10个国家的最先进的蒸馏器,以证明SAKD的有效性,以改善其蒸馏性能,在均相和非均相蒸馏设置。代码可在https://github.com/zju-vipa/spot-adaptive-pytorch上获得
2022-05-05 cs.AI cs.CV cs.LG
Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification
Shanghai Jiao Tong University(上海交通大学)
与传统的从头开始学习相比,知识蒸馏有时会使DNN获得更好的性能。本文提供了一个新的视角来解释知识蒸馏的成功,即,基于信息论,量化DNN中间层中编码的知识点以进行分类。为此,我们将DNN中的信号处理视为逐层信息丢弃。一个知识点被称为一个输入单元,它的信息被丢弃的比其他输入设备少得多。因此,我们提出了三个假设的基础上量化的知识点的知识蒸馏。1.从知识蒸馏学习的DNN比从头开始学习的DNN编码更多的知识点。2.知识蒸馏使DNN更有可能同时学习不同的知识点。相比之下,从头开始学习的DNN倾向于顺序编码各种知识点。3.从知识蒸馏中学习的DNN通常比从头开始学习的DNN更稳定。为了验证上述假设,我们设计了三种带有前景对象标注的度量指标来分析DNN的特征表示、\textit{i.e.}知识点的数量和质量、不同知识点的学习速度以及优化方向的稳定性。在实验中,我们为不同的分类任务诊断了各种DNN,即,图像分类、三维点云分类、二值情感分类和问答等实验验证了上述假设。
2022-08-18 cs.AI cs.CV cs.LG
Exploring Feature-based Knowledge Distillation for Recommender System: A Frequency Perspective
East China Normal University(华东师范大学)
该研究从频域视角分析推荐系统的基于特征的知识蒸馏,指出均等权重分配会忽视重要知识,提出轻量级知识重加权方法FreqD,实验证明其显著优于现有最优知识蒸馏方法。
2025-01-13 cs.AI cs.IR cs.LG
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University(清华大学)
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法,首先学习的知识图谱的表示,然后通过测量实体嵌入之间的相似性进行实体对齐。然而,由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题,它们未能很好地利用关系语义信息。为了解决这个问题,我们提出了关系知识蒸馏实体对齐(RKDEA),图卷积网络(GCN)为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示,考虑图的结构,并通过知识蒸馏将关系语义信息纳入GCN。然后,我们引入了一种新的自适应机制来传递关系知识,从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Lipschitz Continuity Guided Knowledge Distillation
Illinois Institute of Technology(伊利诺伊理工学院);Texas State University(德克萨斯州立大学);Shandong University(山东大学)
知识蒸馏通过将知识从较大的教师网络蒸馏到较小的学生网络,已经成为最重要的模型压缩技术之一。尽管通过精心设计各种类型的知识,先前的蒸馏方法已经取得了巨大的成功,但它们忽略了神经网络的功能特性,这使得将这些技术应用于新任务的过程不可靠且不平凡。为了缓解这一问题,本文首先利用Lipschitz连续性来更好地表示神经网络的功能特性,并指导知识蒸馏过程。特别是,我们提出了一种新的Lipschitz连续性引导的知识蒸馏框架,通过最小化两个神经网络的Lipschitz常数之间的距离来忠实地提取知识,这使得教师网络能够更好地正则化学生网络并提高相应的性能。我们通过明确的理论推导出一种可解释的近似算法,以解决计算Lipschitz常数的NP难题。实验结果表明,我们的方法优于其他基准超过几个知识蒸馏任务(例如,分类、分割和目标检测)。
2021-08-29 cs.AI cs.CV cs.LG
Knowledge distillation via adaptive instance normalization
Computer Vision Laboratory, University of Nottingham, UK(诺丁汉大学计算机视觉实验室);Samsung AI Center, Cambridge, UK(三星人工智能中心剑桥);Queen Mary University of London, London, UK(伦敦玛丽女王大学)
本文通过知识蒸馏来解决模型压缩问题。为此,我们提出了一种新的知识蒸馏方法的基础上转移的特征统计,特别是通道明智的均值和方差,从教师到学生。我们的方法超越了标准的方式,通过$L_2$损失,我们发现它是有限的有效性,强制学生的均值和方差与教师的均值和方差相似。具体来说,我们提出了一个新的损失的基础上自适应实例规范化,有效地转移的特征统计。其主要思想是通过自适应实例规范化(以学生为条件)将学习到的统计数据传输回教师,并让教师网络通过损失“评估”学生学习到的统计数据是否可靠地传输。我们表明,我们的蒸馏方法优于其他国家的最先进的蒸馏方法在一个大的实验设置,包括不同的(a)网络架构,(b)师生能力,(c)数据集,和(d)域。
2020-03-09 cs.CV cs.LG
Understanding and Improving Knowledge Distillation
Google, Inc(谷歌公司);Simon Fraser University(西蒙菲莎大学)
知识蒸馏(KD)是一种与模型无关的技术,用于在具有固定容量预算的同时提高模型质量。它是一种常用的模型压缩技术,其中使用具有更好质量的较大容量的教师模型来训练具有更好推理效率的更紧凑的学生模型。通过蒸馏,人们希望从学生的紧凑性中受益,而不会牺牲太多的模型质量。尽管知识蒸馏取得了巨大的成功,但对它如何使学生模型的培训动力学受益的更好理解仍有待探索。本文将教师的知识分为三个层次,并研究其对知识蒸馏的影响:(1)“宇宙”知识,其中KD通过标签平滑带来正则化效应;(2)领域知识,其中教师在学生的logit层几何之前注入类关系;以及(3)实例特定知识,其中教师基于其对事件难度的测量来重新缩放学生模型的每个实例梯度。通过对合成数据集和真实数据集的系统分析和广泛的实证研究,我们证实了上述三个因素在知识蒸馏中起着重要作用。此外,根据我们的研究结果,我们诊断了最近研究中应用KD的一些失败案例。
2021-02-28 cs.AI cs.LG stat.ML
Low-Resolution Face Recognition via Adaptable Instance-Relation Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出自适应实例-关系蒸馏方法,将知识迁移拆分为蒸馏与自适应两步,在实例和关系层面从高分辨率教师模型迁移知识,并结合推理时自适应批归一化提升低分辨率人脸识别的适应性与性能。
2024-09-03 cs.AI cs.CV cs.LG
Generative Dataset Distillation Based on Self-knowledge Distillation
Hokkaido University(北海道大学)
针对数据集蒸馏中预测 logits 对齐不精确的问题,提出融合自知识蒸馏并在分布匹配前标准化 logits 的生成式方法,实验证明其性能优于现有最先进方法。
2025-01-08 cs.AI cs.CV cs.LG
Accelerating Large Scale Knowledge Distillation via Dynamic Importance Sampling
Sun Yat-Sen University(中山大学);University of Alberta(阿尔伯塔大学)
知识蒸馏是将知识从大的教师模型转移到浅的学生的有效技术。然而,就像大规模分类一样,大规模知识蒸馏也给深度神经网络的训练模型带来了沉重的计算成本,因为最后一层的softmax激活涉及计算许多类的概率。在这项工作中,我们将神经机器翻译中经常使用的重要性采样的思想应用于大规模知识蒸馏。我们提出了一种称为动态重要性采样的方法,其中排名类是从一个动态分布,来自教师和学生之间的互动充分蒸馏。我们强调我们的建议之前,帮助学生捕捉损失函数的主要信息的实用程序。我们的方法设法减少训练时的计算成本,同时保持CIFAR-100和Market-1501人员重新识别数据集的竞争力。
2018-12-03 cs.AI cs.LG stat.ML
Graph-based Knowledge Distillation: A survey and experimental evaluation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Zhejiang University(浙江大学);China University of Geosciences (Beijing)(中国地质大学(北京))
图,如引文网络,社交网络和运输网络,在现实世界中是普遍存在的。图神经网络(GNNs)因其强大的表达能力和在各种图应用中的优异性能而受到广泛关注。然而,GNN的有效性在很大程度上依赖于足够的数据标签和复杂的网络模型,前者很难获得,后者的计算成本很高。为了解决GNN的标记数据稀缺性和高复杂性,已经引入了知识蒸馏(KD)来增强现有的GNN。该技术涉及将大型教师模型的软标签监督转移到小型学生模型,同时保持预测性能。本文对基于图的知识蒸馏方法进行了全面的概述,系统地对它们进行了分类和总结,同时讨论了它们的局限性和未来的发展方向。本文首先介绍了图和KD的背景。然后,它提供了三种类型的基于图的知识蒸馏方法的全面总结,即用于深度神经网络(DKD)的基于图的知识蒸馏、用于GNN(GKD)的基于图的知识蒸馏和基于自知识蒸馏的基于图的知识蒸馏(SKD)。每种类型又分为基于输出层、中间层和构造图的知识蒸馏方法。随后,对各种算法的思想进行了分析和比较,得出了各种算法的优缺点,并给出了实验结果。此外,还列举了基于图的知识蒸馏在CV、NLP、RS等领域的应用。最后,对基于图的知识蒸馏进行了总结和展望。我们还在https://github.com/liujing1023/Graph-based-Knowledge-Distillation上发布了相关资源。
2023-02-27 cs.LG
A Closer Look at Knowledge Distillation with Features, Logits, and Gradients
Samsung Research America(三星美国研究院);Georgia Institute of Technology(佐治亚理工学院)
知识蒸馏(KD)是将学习到的知识从一个神经网络模型转移到另一个模型的实质性策略。已经为这一战略开发了大量的方法。虽然大多数方法设计了一种更有效的方式来促进知识转移,但很少注意比较知识源(如特征,logits和梯度)的效果。该工作提供了一个新的视角来激励一组知识蒸馏策略,通过近似经典的KL发散准则与不同的知识源,使得系统的比较可能在模型压缩和增量学习。我们的分析表明,logits通常是一个更有效的知识来源,并建议有足够的特征尺寸是至关重要的模型设计,有效的基于KD的迁移学习提供了一个实用的指导方针。
2022-03-18 cs.AI cs.CV cs.LG
Swing Distillation: A Privacy-Preserving Knowledge Distillation Framework
Tianjin University(天津大学);ByteDance Lark AI(字节跳动飞书人工智能)
知识蒸馏(KD)被广泛用于模型压缩和知识转移。通常情况下,在足够的数据上训练的大型教师模型将知识转移到小型学生模型。然而,尽管KD取得了成功,但很少有人研究KD是否泄漏了教师模型的训练数据。在本文中,我们实验表明,KD遭受隐私泄漏的风险。为了缓解这个问题,我们提出了一种新的知识蒸馏方法-摆动蒸馏,它可以有效地保护教师模型的私有信息不流向学生模型。在我们的框架中,温度系数是动态的,自适应地调整,而不是一个预定义的常数超参数,根据数据中包含的私人信息的程度。它根据位置中的令牌包含隐私信息的可能性为令牌分配不同的温度。此外,我们将噪声注入到提供给学生模型的软目标中,以避免未屏蔽的知识转移。在多个数据集和任务上的实验表明,与KD相比,所提出的摆动蒸馏可以显着降低隐私泄露的风险(在金丝雀暴露方面超过80%),具有竞争力或更好的性能。此外,摆动蒸馏对不断增加的隐私预算具有鲁棒性。
2022-12-16 cs.AI cs.CL cs.CR
HSI Image Enhancement Classification Based on Knowledge Distillation: A Study on Forgetting
School of Software Engineering, Henan Polytechnic University(河南工程学院软件学院)
本文提出基于教师模型的知识保留方法,通过增量类别样本缓解旧类别遗忘问题,并引入基于掩码的部分类别知识蒸馏算法,提升分类准确率。
2026-03-19 cs.AI cs.CV cs.LG
Contrastive Model Inversion for Data-Free Knowledge Distillation
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(浙江大学-阿里巴巴前沿技术联合研究中心);National University of Singapore(新加坡国立大学)
模型反演,其目标是从预先训练的模型恢复训练数据,最近已被证明是可行的。然而,现有的反演方法通常遭受模式坍塌问题,其中合成的实例彼此高度相似,从而对下游任务(例如知识蒸馏)显示出有限的有效性。在本文中,我们提出了对比模型反演~(CMI),其中的数据的多样性被明确建模为一个优化目标,以减轻模式坍塌的问题。我们的主要观察是,在相同的数据量的约束下,较高的数据多样性通常表明更强的实例区分。为此,我们在CMI中引入了一个对比学习目标,该目标鼓励合成实例与先前批次中已经合成的实例相区分。在CIFAR-10、CIFAR-100和Tiny-ImageNet上进行的预训练模型的实验表明,CMI不仅生成了比现有技术更多的视觉上合理的实例,而且在生成的数据用于知识蒸馏时,还实现了显著优越的性能。代码可在\url{https://github.com/zju-vipa/DataFree}上获得。
2021-05-18 cs.AI cs.CV cs.LG
The State of Knowledge Distillation for Classification
我们调查各种知识蒸馏(KD)策略简单的分类任务,并实现了一套技术,要求国家的最先进的准确性。我们使用标准化的模型架构、固定的计算预算和一致的训练时间表进行的实验表明,这些蒸馏结果中的许多都很难重现。这在使用某种形式的特征提取的方法中尤其明显。进一步的研究揭示了缺乏普遍性,这些技术可能只适用于特定的架构和培训环境。我们观察到,适当调整的经典蒸馏与数据增强训练方案相结合,给出了一个正交的改善其他技术。我们验证了这种方法并开源了我们的代码。
2019-12-20 cs.LG
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);IBM Research(IBM研究院)
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比,我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中,我们探讨了使用多实例学习(MIL)设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子,我们建议重新使用最初为袋子级别分类训练的MIL模型,以产生单个实例的可靠预测,即,尺寸为$1$的袋子。为此,我们引入了一种新的正则化策略,基于虚拟对抗训练,以改善MIL训练,并随后开发了一种知识蒸馏技术,用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究,我们证明了所提出的方法可以产生高质量的实例级预测,并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
Dual Knowledge Distillation for Efficient Sound Event Detection
Fortemedia(富迪科技)
针对设备端声音事件检测计算资源受限的问题,提出双知识蒸馏框架,结合时间平均知识蒸馏与嵌入增强特征蒸馏,以三分之一的参数量在DCASE 2023任务4A上取得更优性能。
2024-02-05 cs.AI cs.CL cs.LG
Learning Student-Friendly Teacher Networks for Knowledge Distillation
DIT Center, Samsung Electronics(三星电子DIT中心);ECE & ASRI, Seoul National University(首尔大学电子与计算机工程系及自动化与系统研究所)
我们提出了一种新的知识蒸馏方法,以促进暗知识从教师到学生的转移。与大多数依赖于预先培训的教师对学生模型进行有效培训的现有方法相反,我们的目标是学习对学生友好的教师模型,从而更适合知识转移。换句话说,在优化教师模型的同时,该算法联合学习学生分支以获得学生友好的表示。由于我们的方法的主要目标在于训练教师模型和随后的知识蒸馏过程是简单的,大多数现有的知识蒸馏方法可以采用这种技术,以提高不同的学生模型的准确性和收敛速度方面的性能。该算法在几个著名的知识蒸馏技术与教师和学生模型的各种组合的情况下,即使在他们的架构是异构的,没有先验知识的学生模型在培训教师网络的时候,表现出突出的准确性。
2022-01-23 cs.LG
Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching
CLOVA AI Research, NAVER Corp.(NAVER公司CLOVA人工智能研究院)
知识蒸馏从预先训练的教师网络中提取一般知识,并向目标学生网络提供指导。大多数研究手动绑定教师和学生的中间特征,并通过预定义的链接传递知识。然而,人工选择往往会构建无效的链接,限制了从蒸馏中的改进。已经尝试解决这个问题,但在实际情况下确定有效的联系仍然具有挑战性。在本文中,我们介绍了一种有效的和高效的特征提取方法,利用所有的教师的特征水平,而无需手动选择的链接。具体来说,我们的方法利用基于注意力的元网络,学习特征之间的相对相似性,并应用识别的相似性来控制所有可能对的蒸馏强度。因此,我们的方法比以前的方法更有效地确定主管链接,并提供更好的性能模型压缩和迁移学习任务。进一步的定性分析和烧蚀研究描述了我们的方法如何有助于更好地蒸馏。实现代码可在github.com/clovaai/attention-feature-distillation上获得。
2021-02-05 cs.LG
Collaborative Teacher-Student Learning via Multiple Knowledge Transfer
Jiangsu University(江苏大学);The University of Sydney(悉尼大学);Monash University(莫纳什大学)
知识蒸馏(KD)作为一种高效的模型压缩技术,在深度学习中受到了广泛的关注。其成功的关键是将知识从大型教师网络转移到小型学生网络。然而,现有的大多数知识蒸馏方法只考虑师生学习中通过特定的蒸馏策略从实例特征或实例关系中学习到的一类知识。很少有作品探讨了在一个统一的框架中,以不同的蒸馏策略转移不同类型的知识的想法。此外,由于固定的师生架构,经常使用的离线蒸馏遭受有限的学习能力。在本文中,我们提出了一个合作的师生学习通过多重知识转移(CTSL-MKT),提示自主学习和合作学习。它允许多个学生以协作的方式从单个实例和实例关系中学习知识。在通过自我升华自我学习的同时,他们还可以通过在线升华相互指导。在四个图像数据集上的实验和消融研究表明,所提出的CTSL-MKT显着优于国家的最先进的KD方法。
2021-01-27 cs.LG
Knowledge Distillation in Deep Learning and its Applications
King Fahd University of Petroleum and Minerals(法赫德国王石油与矿产大学)
基于深度学习的模型相对较大,并且很难将此类模型部署在资源有限的设备上,例如移动电话和嵌入式设备。一种可能的解决方案是知识蒸馏,由此通过利用来自较大模型(教师模型)的信息来训练较小模型(学生模型)。在本文中,我们提出了一个知识蒸馏技术应用于深度学习模型的调查。为了比较不同技术的性能,我们提出了一个新的度量称为蒸馏度量。蒸馏度量基于大小和准确性分数来比较不同的知识蒸馏算法。在调查的基础上,本文得出了一些有趣的结论。
2020-07-17 cs.LG stat.ML
On Compressing U-net Using Knowledge Distillation
Stanford University(斯坦福大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们研究了使用知识蒸馏来压缩U-网结构。我们发现,虽然标准蒸馏不足以可靠地训练一个压缩的U-网,引入其他正则化方法,如批量归一化和类重新加权,在知识蒸馏显着提高了训练过程。这使我们能够将U形网络压缩超过1000倍,即,到其原始参数数量的0.1%,性能下降可忽略不计。
2018-12-01 cs.LG stat.ML
Adaptive Distillation: Aggregating Knowledge from Multiple Paths for Efficient Distillation
WYZE Labs(WYZE实验室)
知识蒸馏是神经网络压缩算法中的主要趋势之一,以在较大教师模型的指导下提高较小学生模型的泛化性能。知识蒸馏应用的这一重大增长伴随着用于蒸馏知识的许多算法的引入,诸如软目标和提示层。尽管这种进步在不同的技术提取的知识,不同的蒸馏路径的聚合尚未得到全面研究。这一点特别重要,不仅因为不同的路径具有不同的重要性,而且还因为某些路径可能会对学生模型的泛化性能产生负面影响。因此,我们需要自适应地调整每条路径的重要性,以最大限度地提高蒸馏对学生模型的影响。在本文中,我们探讨了不同的方法来聚合这些不同的路径,并介绍了我们提出的自适应方法的基础上多任务学习方法。我们经验证明了所提出的方法的有效性,在分类,语义分割,和目标检测任务的应用程序的知识蒸馏的其他基线。
2021-10-24 cs.CV cs.LG
Channel Distillation: Channel-Wise Attention for Knowledge Distillation
University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学)
知识蒸馏是将教师网络学到的数据中的知识转移到学生网络中,使学生具有参数少、计算量少的优势,准确度接近教师。本文提出了一种新的蒸馏方法,它包含两种转移蒸馏策略和一种损失衰减策略。第一种传输策略是基于通道注意力的,称为通道蒸馏(CD)。CD将频道信息从教师传输到学生。二是引导式知识蒸馏(GKD)。与知识蒸馏(KD)不同,它允许学生模仿教师的每个样本的预测分布,GKD只允许学生模仿教师的正确输出。早期衰退教师(Early Decay Teacher,EDT)在训练过程中,我们逐渐衰减蒸馏损失的重量。目的是让学生而不是老师逐渐控制优化。我们提出的方法在ImageNet和CIFAR 100上进行了评估。在ImageNet上,我们使用ResNet 18实现了27.68%的top-1错误,优于最先进的方法。在CIFAR 100上,我们取得了令人惊讶的结果,学生优于教师。代码可在https://github.com/zhouzaida/channel-distillation上获得。
2020-06-02 cs.LG stat.ML
Student Network Learning via Evolutionary Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Department of Communication Engineering, Shanghai University(上海大学通信工程学院)
知识蒸馏提供了一种通过师生学习进行知识转移的有效方法,现有的蒸馏方法大多采用固定的预训练模型作为教师来监督学生网络的学习。这种方式通常会在学习过程中导致教师和学生网络之间存在很大的能力差距。最近的研究发现,教师与学生之间的能力差距越小,越有利于知识转移。在此基础上,本文提出了一种改进教师知识转移有效性的进化知识蒸馏方法。与固定的预先训练的教师不同,进化教师是在线学习的,并不断传输中间知识来监督学生的网络学习。为了增强中间知识表示和模仿,在相应的教师-学生模块之间引入了几个简单的引导模块。通过这种方式,学生可以同时获得丰富的内部知识并捕捉其成长过程,从而实现有效的学生网络学习。大量的实验清楚地表明,我们的方法的有效性,以及良好的适应性,在低分辨率和少样本的视觉识别场景。
2021-03-23 cs.LG
Heterophily-Aware Adaptive Knowledge Distillation for Hypergraph Neural Networks
Chung-Ang University(中央大学);Chungbuk National University(忠北国立大学)
针对超图神经网络在异质性节点上性能下降的问题,提出异质性感知的自适应蒸馏方法HADES,通过量化节点异质性调节教师知识迁移,使学生模型性能超越教师并实现最高12.3倍加速。
2026-06-08 cs.LG
Class-aware Information for Logit-based Knowledge Distillation
Cornell University(康奈尔大学)
知识蒸馏旨在通过利用教师模型的预测/特征将知识转移到学生模型,并且基于特征的蒸馏最近显示出其优于基于logit的蒸馏。然而,由于额外的特征变换的计算和存储繁琐,基于特征的方法的训练开销远高于基于logit的蒸馏。在这项工作中,我们重温了基于logit的知识蒸馏,并观察到现有的基于logit的蒸馏方法处理的预测logits仅在实例级别,而许多其他有用的语义信息被忽视。为了解决这个问题,我们提出了一个类感知的Logit知识蒸馏(CLKD)方法,扩展的logit蒸馏在实例级和类级。CLKD使学生模型能够从教师模型中模仿更高的语义信息,从而提高了蒸馏性能。我们进一步引入了一种新的损失,称为类相关性损失,迫使学生学习教师的固有类水平的相关性。实证比较表明,所提出的方法优于几个流行的基于logit的方法和基于特征的方法,其中CLKD在各种视觉分类任务上取得了令人信服的结果,并优于最先进的基线。
2022-11-27 cs.CV cs.LG
Explaining Knowledge Distillation by Quantifying the Knowledge
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science & Technology(华中科技大学);Xi’an Jiaotong University(西安交通大学)
本文提出了一种通过量化和分析编码在深度神经网络(DNN)中间层中的任务相关和任务无关的视觉概念来解释知识蒸馏成功的方法。更具体地说,提出了三个假设如下。1.知识蒸馏使DNN学习比从原始数据学习更多的视觉概念。2.知识蒸馏确保DNN易于同时学习各种视觉概念。然而,在从原始数据学习的情况下,DNN顺序地学习视觉概念。3.与从原始数据中学习相比,知识蒸馏产生更稳定的优化方向。因此,我们设计了三种类型的数学指标来评估DNN的特征表示。在实验中,我们诊断了各种DNN,并验证了上述假设。
2020-03-07 cs.CV cs.LG stat.ML
Learn From the Past: Experience Ensemble Knowledge Distillation
Tsinghua University(清华大学);Tianjin University(天津大学)
传统的知识蒸馏将教师网络中的“暗知识”转移到学生网络中,忽略了教师在培训过程中的知识,即教师的经验。然而,在现实的教育场景中,学习体验往往比学习结果更重要。在这项工作中,我们提出了一种新的知识蒸馏方法,通过整合教师的经验知识转移,命名为经验集成知识蒸馏(EEKD)。我们从教师模型的训练过程中统一保存了适量的中间模型,然后通过集成技术将这些中间模型的知识进行集成。在知识转移过程中,自注意模块用于自适应地为不同的中间模型分配权重。从中间模型的质量、权重和数量三个方面探讨了构建EEKD的原则。一个令人惊讶的结论是,强大的合奏教师不一定产生强大的学生。在CIFAR-100和ImageNet上的实验结果表明,EEKD优于主流的知识蒸馏方法,达到了最新水平,特别是在节省训练成本的前提下,EEKD甚至超过了标准的集成蒸馏。
2022-02-25 cs.CV cs.LG
MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
Beihang University(北京航空航天大学)
本文提出MLKD-BERT,通过在教师-学生框架中蒸馏多层级知识并灵活设置学生注意力头数量,在GLUE和抽取式问答任务上超越现有知识蒸馏方法,同时显著降低推理时间。
2024-07-03 cs.CL cs.LG
Parallel Blockwise Knowledge Distillation for Deep Neural Network Compression
深度神经网络(DNN)在解决当今自然语言处理、语音识别和计算机视觉中许多具有挑战性的人工智能任务方面取得了极大的成功。然而,DNN通常是计算密集型的,内存需求量大,耗电量大,这大大限制了它们在资源受限的平台上的使用。因此,已经提出了各种压缩技术(例如,量化、修剪和知识蒸馏)来减小DNN的大小和功耗。贝叶斯知识蒸馏是一种可以有效地减小高度复杂的DNN规模的压缩技术。但由于训练时间较长,没有被广泛采用。在本文中,我们提出了一种新的并行分块蒸馏算法,以加速复杂DNN的蒸馏过程。我们的算法利用本地信息进行独立的分块蒸馏,利用dependently可分离层作为有效的替换块架构,并适当地解决限制因素(如依赖,同步,和负载均衡)影响并行性。在AMD服务器上运行四个Geforce RTX 2080Ti GPU的实验结果表明,我们的算法可以实现3倍的速度和19%的能源节省VGG蒸馏,和3.5倍的速度和29%的能源节省ResNet蒸馏,两者都可以忽略不计的准确性损失。当在分布式集群中使用四个RTX6000 GPU时,ResNet蒸馏的加速比可以进一步提高到3.87。
2020-12-05 cs.LG
Parameter-Efficient and Student-Friendly Knowledge Distillation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));JD Explore Academy(京东探索研究院);Peng Cheng Laboratory(鹏城实验室)
知识蒸馏(KD)已被广泛用于将知识从大的教师模型转移到较小的学生,其中教师的参数在训练期间是固定的(或部分固定的)。最近的研究表明,这种模式可能会导致困难的知识转移,由于不匹配的模型能力。为了缓解不匹配问题,师生联合培训方法,例如,在线蒸馏,但它总是需要昂贵的计算成本。在本文中,我们提出了一个参数有效的和学生友好的知识蒸馏方法,即PESF-KD,以实现有效和充分的知识转移,通过更新相对较少的部分参数。从技术上讲,我们首先在数学上将不匹配表示为它们的预测分布之间的清晰度差距,我们表明这种差距可以通过软标签的适当平滑度缩小。然后,我们为教师引入适配器模块,并且仅更新适配器以获得具有适当平滑度的软标签。在各种基准测试上的实验表明,与先进的在线蒸馏方法相比,PESF-KD可以显着降低训练成本,同时获得有竞争力的结果。代码将在接受后发布。
2022-05-28 cs.AI cs.CL cs.CV
Hint-dynamic Knowledge Distillation
Xiamen University(厦门大学)
知识蒸馏(KD)是将知识从高能力教师模型转移到小规模学生模型。现有的努力通过匹配它们的预测逻辑、特征嵌入等来指导蒸馏,而留下如何有效地利用它们的较少探索的结。在本文中,我们提出了提示动态知识蒸馏,简称为HKD,它挖掘知识,从教师的提示,在一个动态的计划。知识提示的指导作用在不同的学习实例和学习阶段往往不同,这促使我们自适应地为每个实例定制特定的提示学习方式。具体地说,元权重网络被引入到学生模型的动态学习过程的感知中,以产生关于知识提示的实例权重系数。我们进一步提出了一个权重集成策略,以消除潜在的偏差系数估计利用历史静态。在CIFAR-100和Tiny-ImageNet标准基准测试上的实验表明,HKD能有效地提高知识蒸馏任务的效率.
2022-11-30 cs.CV cs.LG
Gradient Knowledge Distillation for Pre-trained Language Models
Peking University(北京大学)
知识蒸馏(KD)是一种将知识从大规模教师转移到紧凑但表现良好的学生的有效框架。先前用于预训练的语言模型的KD实践主要通过在教师和学生之间对齐实例输出来传递知识,而忽略了重要的知识源,即,教师的梯度。梯度表征教师如何响应输入的变化,我们假设这有利于学生更好地近似教师的底层映射函数。因此,我们提出了梯度知识蒸馏(GKD),将梯度对齐目标的蒸馏过程。实验结果表明,GKD优于以前的KD方法对学生的表现。进一步的分析表明,梯度知识的引入使学生的行为与教师的行为更加一致,大大提高了可解释性。
2022-11-02 cs.CL cs.LG
LRMIL: Efficient Low-Resolution Multiple Instance Learning via High-Resolution Knowledge Distillation for Whole Slide Image Classification
Department of Computer Science and Engineering, Korea University, Seoul, Korea(韩国大学计算机科学与工程系)
提出LRMIL框架,通过两阶段知识蒸馏将高分辨率知识迁移到低分辨率表示,在推理时仅使用低分辨率图像块,显著降低计算成本并提升分类性能。
2026-06-05 cs.CV cs.LG
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而,教师模型通常是在相同的标记数据上学习的,它们的预测与groundtruth标签具有高度相关性。因此,他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中,我们提出了一个统一的和有效的集成知识蒸馏方法,蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性,因此在标记数据上,我们根据不同教师的正确性对他们的预测进行加权。此外,我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上,没有基础事实来评估预测的正确性。幸运的是,教师之间的分歧是样本硬度的指示,因此我们基于教师的分歧来加权蒸馏损失,以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
On the Efficacy of Knowledge Distillation
Cornell University(康奈尔大学)
在本文中,我们提出了一个彻底的评估知识蒸馏的功效和它对学生和教师架构的依赖。从观察到更准确的教师往往不是好教师开始,我们试图梳理影响知识蒸馏表现的因素。我们发现,重要的是,更大的模型往往不会成为更好的教师。我们表明,这是一个不匹配的能力的后果,小学生无法模仿大教师。我们发现规避这一点的典型方法(例如执行一系列知识蒸馏步骤)是无效的。最后,我们表明,这种影响可以通过提前停止教师的培训来减轻。我们的研究结果在数据集和模型中具有普遍性。
2019-10-03 cs.CV cs.LG
Relational Knowledge Distillation
POSTECH(浦项科技大学);Microsoft Research(微软研究院)
知识蒸馏旨在将一个模型(教师)中获得的知识转移到另一个模型(学生)中,该模型通常较小。以前的方法可以表示为训练学生模仿由教师表示的单个数据示例的输出激活的形式。我们介绍了一种新的方法,被称为关系知识蒸馏(RKD),而不是转移相互关系的数据示例。对于RKD的具体实现,我们提出了距离和角度蒸馏损失,惩罚关系中的结构差异。在不同任务上进行的实验表明,该方法提高了受过教育的学生模型具有显着的利润率。特别是对于度量学习,它允许学生超越老师的表现,在标准基准数据集上达到最先进的水平。
2019-05-01 cs.CV cs.LG
Knowledge Distillation as Semiparametric Inference
Stanford University(斯坦福大学);Microsoft Research, New England(微软研究院新英格兰分院)
一种流行的模型压缩方法是训练一个便宜的学生模型来模仿一个高度准确但繁琐的教师模型的类概率。令人惊讶的是,这种两步知识蒸馏过程通常比直接在标记数据上训练学生更准确。为了解释和增强这种现象,我们铸造知识蒸馏作为一个半参数推理问题的最佳学生模型为目标,未知的贝叶斯类概率为滋扰,和教师的概率作为一个插件滋扰估计。通过采用现代半参数工具,我们得到新的保证标准蒸馏的预测误差和开发两个增强-交叉拟合和损失校正-以减轻教师过拟合和欠拟合对学生成绩的影响。我们在表格和图像数据上验证了我们的发现,并观察到我们的知识蒸馏增强的一致改进。
2021-04-20 cs.LG stat.ML
Knowledge Distillation Applied to Optical Channel Equalization: Solving the Parallelization Problem of Recurrent Connection
Aston University(阿斯顿大学);Infinera(英飞朗公司)
为了规避基于递归神经网络的均衡器的非并行性,我们提出了知识蒸馏来将RNN重新铸造成可并行的前馈结构。后者示出了38%的延迟减少,同时仅影响Q因子0.5dB。
2022-12-08 cs.LG eess.SP
What Knowledge Gets Distilled in Knowledge Distillation?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究针对知识蒸馏领域对蒸馏过程本质认知不足的问题,通过全面研究验证现有知识蒸馏方法除提升任务性能外,还可间接蒸馏教师网络的目标定位、对抗样本敏感性、数据不变性等特性,并探究了成因与实际意义。
2023-11-06 cs.CV cs.LG
PointDistiller: Structured Knowledge Distillation Towards Efficient and Compact 3D Detection
Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学);DIDI(滴滴出行)
点云表示学习方面的显着突破促进了其在自动驾驶汽车和虚拟现实等现实应用中的使用。然而,这些应用通常对不仅准确而且高效的3D目标检测具有迫切的要求。最近,知识蒸馏已被提出作为一种有效的模型压缩技术,它将知识从过度参数化的教师转移到轻量级的学生,并在2D视觉中实现一致的有效性。然而,由于点云的稀疏性和不规则性,直接将先前基于图像的知识蒸馏方法应用于点云检测器通常会导致性能不理想。为了填补这一空白,本文提出了PointDistiller,一个结构化的知识蒸馏框架,用于基于点云的3D检测。具体而言,PointDistiller包括局部提取,通过动态图卷积和重加权学习策略提取和提取点云的局部几何结构,突出学生对关键点或体素的学习,提高知识蒸馏效率。基于体素和基于原始点的检测器上的大量实验已经证明了我们的方法的有效性超过七个以前的知识蒸馏方法。例如,我们的4倍压缩PointPillars学生在BEV和3D目标检测方面分别实现了2.8和3.4 mAP的改进,分别比老师高出0.9和1.8 mAP。代码已在https://github.com/RunpeiDong/PointDistiller上发布。
2022-05-23 cs.CV cs.LG
Active Large Language Model-based Knowledge Distillation for Session-based Recommendation
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Singapore University of Technology and Design(新加坡科技设计大学);Yonsei University(延世大学)
针对基于会话的推荐中LLM知识蒸馏成本高、部分预测无效的问题,提出主动式LLM知识蒸馏方法,通过主动学习筛选高价值样本,在低成本下实现更优的推荐性能。
2024-12-15 cs.IR cs.LG
Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
Indian Institute of Science Education and Research(印度科学教育与研究学院)
提出统一知识蒸馏框架,通过实例级嵌入蒸馏和关系成对相似性蒸馏,实现细粒度对齐与几何关系保持,在多基准上超越现有方法,学生模型甚至超越教师。
2025-08-15 cs.CV cs.LG
Highlight Every Step: Knowledge Distillation via Collaborative Teaching
Ocean University of China(中国海洋大学)
针对现有知识蒸馏忽略训练过程信息的问题,提出采用从零训练教师与专家教师协同教学的CTKD策略,结合过程引导与关键区域指导,在多个数据集上取得SOTA性能。
2019-07-23 cs.CV cs.LG
Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition
Northwestern Polytechnical University(西北工业大学);Xijing Hospital, The Fourth Military Medical University(第四军医大学西京医院);Beijing Technology And Business University(北京工商大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Nankai University(南开大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
针对传统知识蒸馏仅压缩网络架构、未覆盖图像尺寸相关部署成本的问题,提出像素蒸馏方案,通过ISRD机制、TAS框架及AFP策略实现输入与架构的协同压缩,在分类和检测任务中验证了有效性。
2024-07-10 cs.CV cs.LG