Does Knowledge Distillation Really Work?
NYU(纽约大学);Google Research(谷歌研究院)
知识蒸馏是一种流行的技术,用于训练小型学生网络以模拟较大的教师模型,例如网络的集合。我们发现,虽然知识蒸馏可以提高学生的泛化能力,但它通常并不像人们通常理解的那样起作用:教师和学生的预测分布之间往往存在令人惊讶的巨大差异,即使在学生有能力完全匹配教师的情况下。我们确定优化的困难是学生无法与老师相匹配的关键原因。我们还展示了用于蒸馏的数据集的细节如何在学生与教师的匹配程度上发挥作用-并且更接近地匹配教师并不总是导致更好的学生概括。
2021-12-06 cs.LG stat.ML
CAKD: A Correlation-Aware Knowledge Distillation Framework Based on Decoupling Kullback-Leibler Divergence
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Faculty of Engineering, The University of Sydney(悉尼大学工程学院);School of Mechanical and Electronic Engineering, Wuhan University of Technology(武汉理工大学机电工程学院)
本文提出CAKD框架,将KL散度解耦为二分类散度、强相关散度和弱相关散度,通过优先关注对预测影响最大的蒸馏成分来优化知识迁移,并在多种模型和数据集上验证其优于基线方法。
2024-10-17 cs.LG stat.ML
Explaining Knowledge Distillation by Quantifying the Knowledge
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science & Technology(华中科技大学);Xi’an Jiaotong University(西安交通大学)
本文提出了一种通过量化和分析编码在深度神经网络(DNN)中间层中的任务相关和任务无关的视觉概念来解释知识蒸馏成功的方法。更具体地说,提出了三个假设如下。1.知识蒸馏使DNN学习比从原始数据学习更多的视觉概念。2.知识蒸馏确保DNN易于同时学习各种视觉概念。然而,在从原始数据学习的情况下,DNN顺序地学习视觉概念。3.与从原始数据中学习相比,知识蒸馏产生更稳定的优化方向。因此,我们设计了三种类型的数学指标来评估DNN的特征表示。在实验中,我们诊断了各种DNN,并验证了上述假设。
2020-03-07 cs.CV cs.LG stat.ML
Understanding and Improving Knowledge Distillation
Google, Inc(谷歌公司);Simon Fraser University(西蒙菲莎大学)
知识蒸馏(KD)是一种与模型无关的技术,用于在具有固定容量预算的同时提高模型质量。它是一种常用的模型压缩技术,其中使用具有更好质量的较大容量的教师模型来训练具有更好推理效率的更紧凑的学生模型。通过蒸馏,人们希望从学生的紧凑性中受益,而不会牺牲太多的模型质量。尽管知识蒸馏取得了巨大的成功,但对它如何使学生模型的培训动力学受益的更好理解仍有待探索。本文将教师的知识分为三个层次,并研究其对知识蒸馏的影响:(1)“宇宙”知识,其中KD通过标签平滑带来正则化效应;(2)领域知识,其中教师在学生的logit层几何之前注入类关系;以及(3)实例特定知识,其中教师基于其对事件难度的测量来重新缩放学生模型的每个实例梯度。通过对合成数据集和真实数据集的系统分析和广泛的实证研究,我们证实了上述三个因素在知识蒸馏中起着重要作用。此外,根据我们的研究结果,我们诊断了最近研究中应用KD的一些失败案例。
2021-02-28 cs.AI cs.LG stat.ML
Accelerating Large Scale Knowledge Distillation via Dynamic Importance Sampling
Sun Yat-Sen University(中山大学);University of Alberta(阿尔伯塔大学)
知识蒸馏是将知识从大的教师模型转移到浅的学生的有效技术。然而,就像大规模分类一样,大规模知识蒸馏也给深度神经网络的训练模型带来了沉重的计算成本,因为最后一层的softmax激活涉及计算许多类的概率。在这项工作中,我们将神经机器翻译中经常使用的重要性采样的思想应用于大规模知识蒸馏。我们提出了一种称为动态重要性采样的方法,其中排名类是从一个动态分布,来自教师和学生之间的互动充分蒸馏。我们强调我们的建议之前,帮助学生捕捉损失函数的主要信息的实用程序。我们的方法设法减少训练时的计算成本,同时保持CIFAR-100和Market-1501人员重新识别数据集的竞争力。
2018-12-03 cs.AI cs.LG stat.ML
Graph-based Knowledge Distillation: A survey and experimental evaluation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Zhejiang University(浙江大学);China University of Geosciences (Beijing)(中国地质大学(北京))
图,如引文网络,社交网络和运输网络,在现实世界中是普遍存在的。图神经网络(GNNs)因其强大的表达能力和在各种图应用中的优异性能而受到广泛关注。然而,GNN的有效性在很大程度上依赖于足够的数据标签和复杂的网络模型,前者很难获得,后者的计算成本很高。为了解决GNN的标记数据稀缺性和高复杂性,已经引入了知识蒸馏(KD)来增强现有的GNN。该技术涉及将大型教师模型的软标签监督转移到小型学生模型,同时保持预测性能。本文对基于图的知识蒸馏方法进行了全面的概述,系统地对它们进行了分类和总结,同时讨论了它们的局限性和未来的发展方向。本文首先介绍了图和KD的背景。然后,它提供了三种类型的基于图的知识蒸馏方法的全面总结,即用于深度神经网络(DKD)的基于图的知识蒸馏、用于GNN(GKD)的基于图的知识蒸馏和基于自知识蒸馏的基于图的知识蒸馏(SKD)。每种类型又分为基于输出层、中间层和构造图的知识蒸馏方法。随后,对各种算法的思想进行了分析和比较,得出了各种算法的优缺点,并给出了实验结果。此外,还列举了基于图的知识蒸馏在CV、NLP、RS等领域的应用。最后,对基于图的知识蒸馏进行了总结和展望。我们还在https://github.com/liujing1023/Graph-based-Knowledge-Distillation上发布了相关资源。
2023-02-27 cs.LG
Knowledge distillation using unlabeled mismatched images
TCS Innovation Labs(TCS创新实验室);IIT Bombay(孟买印度理工学院)
当前的知识蒸馏(KD)方法要么直接使用训练数据,要么从训练数据分布中采样。在本文中,我们证明了“不匹配”的未标记的刺激执行KD的图像分类网络的有效性。为了说明,我们考虑这样的场景,其中这是一个完全缺乏训练数据,或不匹配的刺激必须用于增加少量的训练数据。我们证明,刺激的复杂性是蒸馏的良好性能的一个关键因素。我们的例子包括使用各种数据集刺激MNIST和CIFAR教师。
2017-03-21 cs.CV cs.LG stat.ML
Knowledge Distillation with Adversarial Samples Supporting Decision Boundary
Seoul National University(首尔国立大学);Hanyang University(汉阳大学);NAVER Corp(NAVER公司);Clova AI Research(Clova人工智能研究院)
近年来,许多关于知识蒸馏的研究提供了一种新的方法来转移网络的知识,以改善新网络的学习过程,但如何找到一种好的知识蒸馏技术仍然是一个悬而未决的问题。在本文中,我们提供了一个新的视角的基础上的决策边界,这是一个最重要的组成部分的分类。分类器的泛化性能与其决策边界的充分性密切相关,因此一个好的分类器具有一个好的决策边界。因此,传递与决策边界密切相关的信息可以成为知识蒸馏的一种很好的尝试。为了实现这一目标,我们利用对抗攻击来发现支持决策边界的样本。基于这一思想,为了传递更准确的决策边界信息,该算法利用支持决策边界的对抗样本训练学生分类器。实验结果表明,该方法确实提高了知识蒸馏,达到了最先进的性能。
2018-12-14 cs.CV cs.LG stat.ML
A Selective Survey on Versatile Knowledge Distillation Paradigm for Neural Network Models
Samsung Research, Samsung Electronics Co., Ltd.(三星电子株式会社三星研究院)
本文旨在提供一个有选择的调查知识蒸馏(KD)框架的研究人员和从业人员利用它开发新的优化模型在深神经网络领域。为此,我们简要介绍了知识蒸馏和一些相关的工作,包括学习使用特权信息(LUPI)和广义蒸馏(GD)。尽管基于师生体系结构的知识蒸馏最初被设计为模型压缩技术,但它在各种框架上有着广泛的应用。本文从知识蒸馏的三个重要组成部分:蒸馏知识与流失、师生范式和蒸馏过程这一假设出发,对知识蒸馏的特征进行了考察。此外,我们调查的多功能性的知识蒸馏通过研究其直接应用程序和它的使用与其他深度学习范例相结合。最后,我们提出了一些未来的工作在知识蒸馏,包括可解释的知识蒸馏的性能增益的分析研究和自监督学习,这是一个热门的研究课题,在深度学习社区。
2020-11-30 cs.AI cs.LG
Self-Knowledge Distillation in Natural Language Processing
Handong Global University(韩东国际大学)
自从深度学习成为自然语言处理(NLP)的关键角色以来,许多深度学习模型在各种NLP任务中表现出了卓越的性能,在某些情况下,它们甚至超过了人类。如此高的性能可以通过深度学习模型的高效知识表示来解释。虽然已经提出了许多方法来学习更有效的表示,但从预训练的深度网络中知识蒸馏表明,我们可以使用来自软目标概率的更多信息来训练其他神经网络。在本文中,我们提出了一种新的知识蒸馏方法自知识蒸馏,基于训练模型本身的软目标概率,其中多模信息是从softmax层下面的词嵌入空间中提取的。由于时间复杂度,我们的方法近似的软目标概率。在实验中,我们将所提出的方法应用于两个不同的和基本的NLP任务:语言模型和神经机器翻译。实验结果表明,我们提出的方法提高了性能的任务。
2019-08-02 cs.CL cs.LG stat.ML
The State of Knowledge Distillation for Classification
我们调查各种知识蒸馏(KD)策略简单的分类任务,并实现了一套技术,要求国家的最先进的准确性。我们使用标准化的模型架构、固定的计算预算和一致的训练时间表进行的实验表明,这些蒸馏结果中的许多都很难重现。这在使用某种形式的特征提取的方法中尤其明显。进一步的研究揭示了缺乏普遍性,这些技术可能只适用于特定的架构和培训环境。我们观察到,适当调整的经典蒸馏与数据增强训练方案相结合,给出了一个正交的改善其他技术。我们验证了这种方法并开源了我们的代码。
2019-12-20 cs.LG
A Functional Perspective on Knowledge Distillation in Neural Networks
本文从功能角度研究知识蒸馏的压缩能力与知识传递,通过实验协议分析不同数据模态下的知识转移机制,发现知识蒸馏更像数据依赖的正则化方法,存在负向非对称转移风险。
2026-03-16 cs.AI cs.LG
Learning Student-Friendly Teacher Networks for Knowledge Distillation
DIT Center, Samsung Electronics(三星电子DIT中心);ECE & ASRI, Seoul National University(首尔大学电子与计算机工程系及自动化与系统研究所)
我们提出了一种新的知识蒸馏方法,以促进暗知识从教师到学生的转移。与大多数依赖于预先培训的教师对学生模型进行有效培训的现有方法相反,我们的目标是学习对学生友好的教师模型,从而更适合知识转移。换句话说,在优化教师模型的同时,该算法联合学习学生分支以获得学生友好的表示。由于我们的方法的主要目标在于训练教师模型和随后的知识蒸馏过程是简单的,大多数现有的知识蒸馏方法可以采用这种技术,以提高不同的学生模型的准确性和收敛速度方面的性能。该算法在几个著名的知识蒸馏技术与教师和学生模型的各种组合的情况下,即使在他们的架构是异构的,没有先验知识的学生模型在培训教师网络的时候,表现出突出的准确性。
2022-01-23 cs.LG
Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching
CLOVA AI Research, NAVER Corp.(NAVER公司CLOVA人工智能研究院)
知识蒸馏从预先训练的教师网络中提取一般知识,并向目标学生网络提供指导。大多数研究手动绑定教师和学生的中间特征,并通过预定义的链接传递知识。然而,人工选择往往会构建无效的链接,限制了从蒸馏中的改进。已经尝试解决这个问题,但在实际情况下确定有效的联系仍然具有挑战性。在本文中,我们介绍了一种有效的和高效的特征提取方法,利用所有的教师的特征水平,而无需手动选择的链接。具体来说,我们的方法利用基于注意力的元网络,学习特征之间的相对相似性,并应用识别的相似性来控制所有可能对的蒸馏强度。因此,我们的方法比以前的方法更有效地确定主管链接,并提供更好的性能模型压缩和迁移学习任务。进一步的定性分析和烧蚀研究描述了我们的方法如何有助于更好地蒸馏。实现代码可在github.com/clovaai/attention-feature-distillation上获得。
2021-02-05 cs.LG
Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
Meta FAIR Labs(Meta FAIR 实验室);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
我们正式研究了深度学习模型的集成如何提高测试精度,以及如何使用知识蒸馏将集成的优越性能提取到单个模型中。我们考虑一个具有挑战性的情况,其中集成只是几个独立训练的神经网络的输出的平均值,这些神经网络具有神经网络架构,使用神经网络算法在神经网络数据集上训练,并且它们仅通过初始化中使用的随机种子而不同。我们证明了深度学习中的集成/知识蒸馏与传统的学习理论(如boosting或NTK,神经切线核)非常不同。为了正确理解它们,我们开发了一种理论,表明当数据具有我们称为“多视图”的结构时,独立训练的神经网络的集成可以证明提高测试精度,并且这种卓越的测试精度也可以通过训练单个模型来匹配集成的输出而不是真实标签来证明提取到单个模型中。我们的结果揭示了集成如何以与传统定理完全不同的方式在深度学习中工作,以及"暗知识“如何隐藏在集成的输出中并可用于蒸馏。最后,我们证明了自蒸馏也可以被看作是隐含地结合集成和知识蒸馏,以提高测试精度。
2023-02-15 cs.LG cs.NE math.OC
A Note on Knowledge Distillation Loss Function for Object Classification
Zhejiang University(浙江大学)
本文介绍了目标分类中的知识蒸馏损失函数,探讨其与logits匹配损失的联系,并将其视为输出正则化的一种形式,揭示了其与标签平滑及基于熵的正则化的关联。
2024-08-27 cs.AI cs.LG
Adaptive Distillation: Aggregating Knowledge from Multiple Paths for Efficient Distillation
WYZE Labs(WYZE实验室)
知识蒸馏是神经网络压缩算法中的主要趋势之一,以在较大教师模型的指导下提高较小学生模型的泛化性能。知识蒸馏应用的这一重大增长伴随着用于蒸馏知识的许多算法的引入,诸如软目标和提示层。尽管这种进步在不同的技术提取的知识,不同的蒸馏路径的聚合尚未得到全面研究。这一点特别重要,不仅因为不同的路径具有不同的重要性,而且还因为某些路径可能会对学生模型的泛化性能产生负面影响。因此,我们需要自适应地调整每条路径的重要性,以最大限度地提高蒸馏对学生模型的影响。在本文中,我们探讨了不同的方法来聚合这些不同的路径,并介绍了我们提出的自适应方法的基础上多任务学习方法。我们经验证明了所提出的方法的有效性,在分类,语义分割,和目标检测任务的应用程序的知识蒸馏的其他基线。
2021-10-24 cs.CV cs.LG
AdaKD: Dynamic Knowledge Distillation of ASR models using Adaptive Loss Weighting
Indian Institute of Science(印度科学学院)
针对现有知识蒸馏对任务损失与蒸馏损失赋权相同导致性能次优的问题,提出受课程学习启发的AdaKD方法,在样本级基于教师损失自适应加权,即插即用,实验表现优于传统及现有样本级方法。
2024-05-11 cs.AI cs.LG
Student Network Learning via Evolutionary Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Department of Communication Engineering, Shanghai University(上海大学通信工程学院)
知识蒸馏提供了一种通过师生学习进行知识转移的有效方法,现有的蒸馏方法大多采用固定的预训练模型作为教师来监督学生网络的学习。这种方式通常会在学习过程中导致教师和学生网络之间存在很大的能力差距。最近的研究发现,教师与学生之间的能力差距越小,越有利于知识转移。在此基础上,本文提出了一种改进教师知识转移有效性的进化知识蒸馏方法。与固定的预先训练的教师不同,进化教师是在线学习的,并不断传输中间知识来监督学生的网络学习。为了增强中间知识表示和模仿,在相应的教师-学生模块之间引入了几个简单的引导模块。通过这种方式,学生可以同时获得丰富的内部知识并捕捉其成长过程,从而实现有效的学生网络学习。大量的实验清楚地表明,我们的方法的有效性,以及良好的适应性,在低分辨率和少样本的视觉识别场景。
2021-03-23 cs.LG
Learning the Wrong Lessons: Inserting Trojans During Knowledge Distillation
Harvard University(哈佛大学)
近年来,知识蒸馏已成为有效部署机器学习的基石,实验室和行业使用知识蒸馏来训练廉价且资源优化的模型。特洛伊木马攻击在同一时期获得了显著的突出地位,揭示了深度学习模型中的根本漏洞。鉴于广泛使用的知识蒸馏,在这项工作中,我们试图利用未标记的数据知识蒸馏过程中嵌入木马的学生模型,而不引入明显的行为在教师。我们最终设计了一个木马攻击,有效地降低学生的准确性,不改变教师的表现,并在实践中有效地构建。
2023-03-09 cs.AI cs.CR cs.LG
Class-aware Information for Logit-based Knowledge Distillation
Cornell University(康奈尔大学)
知识蒸馏旨在通过利用教师模型的预测/特征将知识转移到学生模型,并且基于特征的蒸馏最近显示出其优于基于logit的蒸馏。然而,由于额外的特征变换的计算和存储繁琐,基于特征的方法的训练开销远高于基于logit的蒸馏。在这项工作中,我们重温了基于logit的知识蒸馏,并观察到现有的基于logit的蒸馏方法处理的预测logits仅在实例级别,而许多其他有用的语义信息被忽视。为了解决这个问题,我们提出了一个类感知的Logit知识蒸馏(CLKD)方法,扩展的logit蒸馏在实例级和类级。CLKD使学生模型能够从教师模型中模仿更高的语义信息,从而提高了蒸馏性能。我们进一步引入了一种新的损失,称为类相关性损失,迫使学生学习教师的固有类水平的相关性。实证比较表明,所提出的方法优于几个流行的基于logit的方法和基于特征的方法,其中CLKD在各种视觉分类任务上取得了令人信服的结果,并优于最先进的基线。
2022-11-27 cs.CV cs.LG
Learn From the Past: Experience Ensemble Knowledge Distillation
Tsinghua University(清华大学);Tianjin University(天津大学)
传统的知识蒸馏将教师网络中的“暗知识”转移到学生网络中,忽略了教师在培训过程中的知识,即教师的经验。然而,在现实的教育场景中,学习体验往往比学习结果更重要。在这项工作中,我们提出了一种新的知识蒸馏方法,通过整合教师的经验知识转移,命名为经验集成知识蒸馏(EEKD)。我们从教师模型的训练过程中统一保存了适量的中间模型,然后通过集成技术将这些中间模型的知识进行集成。在知识转移过程中,自注意模块用于自适应地为不同的中间模型分配权重。从中间模型的质量、权重和数量三个方面探讨了构建EEKD的原则。一个令人惊讶的结论是,强大的合奏教师不一定产生强大的学生。在CIFAR-100和ImageNet上的实验结果表明,EEKD优于主流的知识蒸馏方法,达到了最新水平,特别是在节省训练成本的前提下,EEKD甚至超过了标准的集成蒸馏。
2022-02-25 cs.CV cs.LG
Heterophily-Aware Adaptive Knowledge Distillation for Hypergraph Neural Networks
Chung-Ang University(中央大学);Chungbuk National University(忠北国立大学)
针对超图神经网络在异质性节点上性能下降的问题,提出异质性感知的自适应蒸馏方法HADES,通过量化节点异质性调节教师知识迁移,使学生模型性能超越教师并实现最高12.3倍加速。
2026-06-08 cs.LG
MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
Beihang University(北京航空航天大学)
本文提出MLKD-BERT,通过在教师-学生框架中蒸馏多层级知识并灵活设置学生注意力头数量,在GLUE和抽取式问答任务上超越现有知识蒸馏方法,同时显著降低推理时间。
2024-07-03 cs.CL cs.LG
Parallel Blockwise Knowledge Distillation for Deep Neural Network Compression
深度神经网络(DNN)在解决当今自然语言处理、语音识别和计算机视觉中许多具有挑战性的人工智能任务方面取得了极大的成功。然而,DNN通常是计算密集型的,内存需求量大,耗电量大,这大大限制了它们在资源受限的平台上的使用。因此,已经提出了各种压缩技术(例如,量化、修剪和知识蒸馏)来减小DNN的大小和功耗。贝叶斯知识蒸馏是一种可以有效地减小高度复杂的DNN规模的压缩技术。但由于训练时间较长,没有被广泛采用。在本文中,我们提出了一种新的并行分块蒸馏算法,以加速复杂DNN的蒸馏过程。我们的算法利用本地信息进行独立的分块蒸馏,利用dependently可分离层作为有效的替换块架构,并适当地解决限制因素(如依赖,同步,和负载均衡)影响并行性。在AMD服务器上运行四个Geforce RTX 2080Ti GPU的实验结果表明,我们的算法可以实现3倍的速度和19%的能源节省VGG蒸馏,和3.5倍的速度和29%的能源节省ResNet蒸馏,两者都可以忽略不计的准确性损失。当在分布式集群中使用四个RTX6000 GPU时,ResNet蒸馏的加速比可以进一步提高到3.87。
2020-12-05 cs.LG
How Is Uncertainty Propagated in Knowledge Distillation?
Duke University(杜克大学)
本研究探讨了知识蒸馏中不确定性的传播机制,提出两种方差感知策略以提高蒸馏效果,展示了在不同模型类别中的有效性。
2026-01-26 cs.LG
Hint-dynamic Knowledge Distillation
Xiamen University(厦门大学)
知识蒸馏(KD)是将知识从高能力教师模型转移到小规模学生模型。现有的努力通过匹配它们的预测逻辑、特征嵌入等来指导蒸馏,而留下如何有效地利用它们的较少探索的结。在本文中,我们提出了提示动态知识蒸馏,简称为HKD,它挖掘知识,从教师的提示,在一个动态的计划。知识提示的指导作用在不同的学习实例和学习阶段往往不同,这促使我们自适应地为每个实例定制特定的提示学习方式。具体地说,元权重网络被引入到学生模型的动态学习过程的感知中,以产生关于知识提示的实例权重系数。我们进一步提出了一个权重集成策略,以消除潜在的偏差系数估计利用历史静态。在CIFAR-100和Tiny-ImageNet标准基准测试上的实验表明,HKD能有效地提高知识蒸馏任务的效率.
2022-11-30 cs.CV cs.LG
Gradient Knowledge Distillation for Pre-trained Language Models
Peking University(北京大学)
知识蒸馏(KD)是一种将知识从大规模教师转移到紧凑但表现良好的学生的有效框架。先前用于预训练的语言模型的KD实践主要通过在教师和学生之间对齐实例输出来传递知识,而忽略了重要的知识源,即,教师的梯度。梯度表征教师如何响应输入的变化,我们假设这有利于学生更好地近似教师的底层映射函数。因此,我们提出了梯度知识蒸馏(GKD),将梯度对齐目标的蒸馏过程。实验结果表明,GKD优于以前的KD方法对学生的表现。进一步的分析表明,梯度知识的引入使学生的行为与教师的行为更加一致,大大提高了可解释性。
2022-11-02 cs.CL cs.LG
On the Orthogonality of Knowledge Distillation with Other Techniques: From an Ensemble Perspective
为了将最先进的神经网络投入实际使用,有必要设计一个模型,该模型在测试集上的资源消耗和性能之间具有良好的权衡。许多研究人员和工程师正在开发能够更有效地训练或设计模型的方法。开发一个有效的模型包括几个策略,如网络架构搜索,修剪,量化,知识蒸馏,利用廉价的卷积,正则化,还包括任何工艺,导致更好的性能-资源权衡。当将这些技术结合在一起时,如果性能改进的一个来源不与其他来源冲突,那将是理想的。我们称这种性质为模型效率中的正交性。在本文中,我们专注于知识蒸馏和证明知识蒸馏方法是正交的其他效率提高方法的分析和经验。分析上,我们认为知识蒸馏功能类似于集成方法,自举聚合。本文从知识蒸馏的隐含数据增强性的角度给出了分析解释。经验上,我们验证了知识蒸馏作为一个强大的装置,实际部署的有效神经网络,并介绍了如何将其与其他方法有效地。
2020-09-14 cs.AI cs.LG
KDFP: A first-principles approach to knowledge distillation in large language models
University of Southern California(南加州大学)
该研究针对大语言模型通用知识蒸馏的空白,提出KDFP这一白盒通用知识蒸馏方法,在9个基准测试中性能优于现有方法1.6%-4.9%,训练效率最高提升99.1%。
2026-11-09 cs.LG
Knowledge Distillation Under Ideal Joint Classifier Assumption
The University of Arizona(亚利桑那大学);Clemson University(克莱姆森大学);EpiSci(EpiSci公司)
提出IJCKD框架,基于领域自适应理论分析学生网络误差边界,为知识蒸馏提供理论支撑并实现高效知识迁移。
2024-02-09 cs.LG
Adaptive Weighting in Knowledge Distillation: An Axiomatic Framework for Multi-Scale Teacher Ensemble Optimization
本文提出了一种多尺度教师集合优化的公理框架,用于自适应加权的知识蒸馏,通过公理化方法解决多尺度下的鲁棒性、效率和安全性问题。
2026-01-25 cs.LG
Spot-adaptive Knowledge Distillation
Zhejiang University(浙江大学)
知识蒸馏(KD)已经成为用于压缩深度神经网络的成熟范例。进行知识蒸馏的典型方式是在教师网络的监督下训练学生网络以利用一个或多个点处的知识(即,在教师网络中。蒸馏点,一旦指定,将不会改变所有的训练样品,在整个蒸馏过程中。在这项工作中,我们认为,蒸馏点应适应训练样本和蒸馏时期。因此,我们提出了一种新的蒸馏策略,称为点自适应KD(SAKD),自适应地确定每个样本的教师网络中的蒸馏点,在整个蒸馏期间的每次训练迭代。由于SAKD实际上关注的是“在哪里蒸馏”,而不是大多数现有作品广泛研究的“蒸馏什么”,因此它可以无缝集成到现有的蒸馏方法中,以进一步提高其性能。进行了广泛的实验与10个国家的最先进的蒸馏器,以证明SAKD的有效性,以改善其蒸馏性能,在均相和非均相蒸馏设置。代码可在https://github.com/zju-vipa/spot-adaptive-pytorch上获得
2022-05-05 cs.AI cs.CV cs.LG
Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification
Shanghai Jiao Tong University(上海交通大学)
与传统的从头开始学习相比,知识蒸馏有时会使DNN获得更好的性能。本文提供了一个新的视角来解释知识蒸馏的成功,即,基于信息论,量化DNN中间层中编码的知识点以进行分类。为此,我们将DNN中的信号处理视为逐层信息丢弃。一个知识点被称为一个输入单元,它的信息被丢弃的比其他输入设备少得多。因此,我们提出了三个假设的基础上量化的知识点的知识蒸馏。1.从知识蒸馏学习的DNN比从头开始学习的DNN编码更多的知识点。2.知识蒸馏使DNN更有可能同时学习不同的知识点。相比之下,从头开始学习的DNN倾向于顺序编码各种知识点。3.从知识蒸馏中学习的DNN通常比从头开始学习的DNN更稳定。为了验证上述假设,我们设计了三种带有前景对象标注的度量指标来分析DNN的特征表示、\textit{i.e.}知识点的数量和质量、不同知识点的学习速度以及优化方向的稳定性。在实验中,我们为不同的分类任务诊断了各种DNN,即,图像分类、三维点云分类、二值情感分类和问答等实验验证了上述假设。
2022-08-18 cs.AI cs.CV cs.LG
CLIP-Embed-KD: Computationally Efficient Knowledge Distillation Using Embeddings as Teachers
Georgia Institute of Technology(佐治亚理工学院)
本文提出 CLIP-Embed-KD 方法,利用教师模型嵌入进行知识蒸馏,以显著降低计算开销,实验表明其性能超越全规模蒸馏且节省 9 倍内存和 8 倍训练时间。
2024-04-09 cs.AI cs.LG
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而,教师模型通常是在相同的标记数据上学习的,它们的预测与groundtruth标签具有高度相关性。因此,他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中,我们提出了一个统一的和有效的集成知识蒸馏方法,蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性,因此在标记数据上,我们根据不同教师的正确性对他们的预测进行加权。此外,我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上,没有基础事实来评估预测的正确性。幸运的是,教师之间的分歧是样本硬度的指示,因此我们基于教师的分歧来加权蒸馏损失,以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
ARDIR: Improving Robustness using Knowledge Distillation of Internal Representation
NTT Social Informatics Laboratories(NTT社会信息学实验室)
对抗性训练是针对对抗性样本学习鲁棒模型的最有前途的方法。最近的一项研究表明,相同架构之间的知识蒸馏在提高对抗训练的性能方面是有效的。利用知识蒸馏提高对抗训练水平是一种新的方法,受到了广泛的关注。但是,其性能仍然不足。因此,我们提出了具有内部表示的对抗性鲁棒蒸馏~(ARIDO),以更有效地利用知识蒸馏。除了教师模型的输出之外,ARPNET还使用教师模型的内部表示作为对抗训练的标签。这使得学生模型能够使用更丰富,信息更丰富的标签进行训练。因此,ARPNET可以学习更强大的学生模型。我们在实验中表明,ARPGIS优于以前的方法。
2022-11-01 cs.AI cs.LG
Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation
Westlake University(西湖大学)
本文提出HGMD框架,解耦GNN到MLP知识蒸馏中的两类困难度,并通过非参数方法估计,实现困难度感知蒸馏,显著提升学生MLP性能。
2024-07-20 cs.AI cs.LG
On the Efficacy of Knowledge Distillation
Cornell University(康奈尔大学)
在本文中,我们提出了一个彻底的评估知识蒸馏的功效和它对学生和教师架构的依赖。从观察到更准确的教师往往不是好教师开始,我们试图梳理影响知识蒸馏表现的因素。我们发现,重要的是,更大的模型往往不会成为更好的教师。我们表明,这是一个不匹配的能力的后果,小学生无法模仿大教师。我们发现规避这一点的典型方法(例如执行一系列知识蒸馏步骤)是无效的。最后,我们表明,这种影响可以通过提前停止教师的培训来减轻。我们的研究结果在数据集和模型中具有普遍性。
2019-10-03 cs.CV cs.LG
Relational Knowledge Distillation
POSTECH(浦项科技大学);Microsoft Research(微软研究院)
知识蒸馏旨在将一个模型(教师)中获得的知识转移到另一个模型(学生)中,该模型通常较小。以前的方法可以表示为训练学生模仿由教师表示的单个数据示例的输出激活的形式。我们介绍了一种新的方法,被称为关系知识蒸馏(RKD),而不是转移相互关系的数据示例。对于RKD的具体实现,我们提出了距离和角度蒸馏损失,惩罚关系中的结构差异。在不同任务上进行的实验表明,该方法提高了受过教育的学生模型具有显着的利润率。特别是对于度量学习,它允许学生超越老师的表现,在标准基准数据集上达到最先进的水平。
2019-05-01 cs.CV cs.LG
Exploring Feature-based Knowledge Distillation for Recommender System: A Frequency Perspective
East China Normal University(华东师范大学)
该研究从频域视角分析推荐系统的基于特征的知识蒸馏,指出均等权重分配会忽视重要知识,提出轻量级知识重加权方法FreqD,实验证明其显著优于现有最优知识蒸馏方法。
2025-01-13 cs.AI cs.IR cs.LG
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University(清华大学)
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法,首先学习的知识图谱的表示,然后通过测量实体嵌入之间的相似性进行实体对齐。然而,由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题,它们未能很好地利用关系语义信息。为了解决这个问题,我们提出了关系知识蒸馏实体对齐(RKDEA),图卷积网络(GCN)为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示,考虑图的结构,并通过知识蒸馏将关系语义信息纳入GCN。然后,我们引入了一种新的自适应机制来传递关系知识,从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Knowledge Distillation Applied to Optical Channel Equalization: Solving the Parallelization Problem of Recurrent Connection
Aston University(阿斯顿大学);Infinera(英飞朗公司)
为了规避基于递归神经网络的均衡器的非并行性,我们提出了知识蒸馏来将RNN重新铸造成可并行的前馈结构。后者示出了38%的延迟减少,同时仅影响Q因子0.5dB。
2022-12-08 cs.LG eess.SP
What Knowledge Gets Distilled in Knowledge Distillation?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究针对知识蒸馏领域对蒸馏过程本质认知不足的问题,通过全面研究验证现有知识蒸馏方法除提升任务性能外,还可间接蒸馏教师网络的目标定位、对抗样本敏感性、数据不变性等特性,并探究了成因与实际意义。
2023-11-06 cs.CV cs.LG
An Interpretable Neuron Embedding for Static Knowledge Distillation
Ludwig Maximilian Muenchen Unitversitaet(慕尼黑路德维希-马克西米利安大学)
虽然深度神经网络在各种任务中表现出良好的性能,但模型的可解释性差一直受到批评。本文提出了一种新的可解释的神经网络方法,通过将神经元嵌入到语义空间中来提取其内在的全局语义。与以往的方法,探测模型内部的潜在知识,所提出的语义向量外化的潜在知识的静态知识,这是很容易利用。具体来说,我们假设具有相似激活的神经元具有相似的语义信息。然后,在神经网络的训练过程中,通过连续对齐激活相似度和语义向量相似度来优化语义向量。语义向量的可视化允许对神经网络进行定性解释。此外,我们还通过知识蒸馏任务对静态知识进行了定量评估。可视化实验表明,语义向量能够很好地描述神经元激活语义。在没有教师模型逐个样本指导的情况下,静态知识蒸馏表现出与现有的基于关系的知识蒸馏方法相当甚至更好的性能。
2022-11-14 cs.AI cs.LG
PointDistiller: Structured Knowledge Distillation Towards Efficient and Compact 3D Detection
Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学);DIDI(滴滴出行)
点云表示学习方面的显着突破促进了其在自动驾驶汽车和虚拟现实等现实应用中的使用。然而,这些应用通常对不仅准确而且高效的3D目标检测具有迫切的要求。最近,知识蒸馏已被提出作为一种有效的模型压缩技术,它将知识从过度参数化的教师转移到轻量级的学生,并在2D视觉中实现一致的有效性。然而,由于点云的稀疏性和不规则性,直接将先前基于图像的知识蒸馏方法应用于点云检测器通常会导致性能不理想。为了填补这一空白,本文提出了PointDistiller,一个结构化的知识蒸馏框架,用于基于点云的3D检测。具体而言,PointDistiller包括局部提取,通过动态图卷积和重加权学习策略提取和提取点云的局部几何结构,突出学生对关键点或体素的学习,提高知识蒸馏效率。基于体素和基于原始点的检测器上的大量实验已经证明了我们的方法的有效性超过七个以前的知识蒸馏方法。例如,我们的4倍压缩PointPillars学生在BEV和3D目标检测方面分别实现了2.8和3.4 mAP的改进,分别比老师高出0.9和1.8 mAP。代码已在https://github.com/RunpeiDong/PointDistiller上发布。
2022-05-23 cs.CV cs.LG
Highlight Every Step: Knowledge Distillation via Collaborative Teaching
Ocean University of China(中国海洋大学)
针对现有知识蒸馏忽略训练过程信息的问题,提出采用从零训练教师与专家教师协同教学的CTKD策略,结合过程引导与关键区域指导,在多个数据集上取得SOTA性能。
2019-07-23 cs.CV cs.LG
Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition
Northwestern Polytechnical University(西北工业大学);Xijing Hospital, The Fourth Military Medical University(第四军医大学西京医院);Beijing Technology And Business University(北京工商大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Nankai University(南开大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
针对传统知识蒸馏仅压缩网络架构、未覆盖图像尺寸相关部署成本的问题,提出像素蒸馏方案,通过ISRD机制、TAS框架及AFP策略实现输入与架构的协同压缩,在分类和检测任务中验证了有效性。
2024-07-10 cs.CV cs.LG
DE-RRD: A Knowledge Distillation Framework for Recommender System
POSTECH(浦项科技大学)
最近的推荐系统已经开始采用知识蒸馏,这是一种模型压缩技术,将知识从繁琐的模型(教师)提取到紧凑的模型(学生),以减少推理延迟,同时保持性能。最先进的方法只专注于使学生模型准确地模仿教师模型的预测。但它们的局限性在于预测结果不能完全反映教师的知识水平。在本文中,我们提出了一种新的知识蒸馏框架的推荐系统,称为DE-RRD,它使学生模型学习的潜在知识编码的教师模型,以及从教师的预测。具体地说,DE-RRD包括两种方法:1)蒸馏专家(DE),直接转移潜在的知识从教师模型。DE利用“专家”和一种新颖的专家选择策略,有效地将大量的教师知识提炼给能力有限的学生。2)放松排名蒸馏(RRD),考虑项目之间的放松排名顺序,转移教师预测中揭示的知识。我们广泛的实验表明,DE-RRD的性能优于最先进的竞争对手,并实现了与教师模型相当甚至更好的性能,具有更快的推理时间。
2020-12-08 cs.IR cs.LG
Swing Distillation: A Privacy-Preserving Knowledge Distillation Framework
Tianjin University(天津大学);ByteDance Lark AI(字节跳动飞书人工智能)
知识蒸馏(KD)被广泛用于模型压缩和知识转移。通常情况下,在足够的数据上训练的大型教师模型将知识转移到小型学生模型。然而,尽管KD取得了成功,但很少有人研究KD是否泄漏了教师模型的训练数据。在本文中,我们实验表明,KD遭受隐私泄漏的风险。为了缓解这个问题,我们提出了一种新的知识蒸馏方法-摆动蒸馏,它可以有效地保护教师模型的私有信息不流向学生模型。在我们的框架中,温度系数是动态的,自适应地调整,而不是一个预定义的常数超参数,根据数据中包含的私人信息的程度。它根据位置中的令牌包含隐私信息的可能性为令牌分配不同的温度。此外,我们将噪声注入到提供给学生模型的软目标中,以避免未屏蔽的知识转移。在多个数据集和任务上的实验表明,与KD相比,所提出的摆动蒸馏可以显着降低隐私泄露的风险(在金丝雀暴露方面超过80%),具有竞争力或更好的性能。此外,摆动蒸馏对不断增加的隐私预算具有鲁棒性。
2022-12-16 cs.AI cs.CL cs.CR
Data Efficient Stagewise Knowledge Distillation
VNIT(Visvesvaraya国家理工学院);Mila(米拉研究所)
尽管深度学习(DL)取得了成功,但部署需要大计算能力的现代DL模型对资源受限的系统构成了重大问题。这就需要构建紧凑的网络,在保持性能的同时减少计算。传统的知识蒸馏(KD)方法将知识从教师转移到学生,(a)使用单阶段,(b)在将知识蒸馏给学生的同时需要整个数据集。在这项工作中,我们提出了一种新的方法,称为逐步知识蒸馏(SKD),它建立在传统的KD方法的基础上,通过逐步逐步训练,利用从教师那里获得的知识,从而实现数据高效的蒸馏过程。我们评估我们的分类和语义分割任务的方法。我们显示,在测试的任务,显着的性能增益,即使在蒸馏中使用的数据的一小部分,而不损害的指标。我们还比较了我们的方法与现有的KD技术,并表明SKD优于他们。此外,我们的方法可以被看作是一个广义的模型压缩技术,补充其他模型压缩方法,如量化或修剪。
2020-06-23 cs.CV cs.LG
Uncertainty-Aware Dual-Student Knowledge Distillation for Efficient Image Classification
Department of Electrical Engineering Indian Institute of Technology Bombay 21D070002(电子工程系 印度理工学院班加罗尔 21D070002);Department of Electrical Engineering Indian Institute of Technology Bombay 210010010(电子工程系 印度理工学院班加罗尔 210010010);Department of Electrical Engineering Indian Institute of Technology Bombay 210020023(电子工程系 印度理工学院班加罗尔 210020023)
本文提出一种考虑教师预测不确定性的双学生知识蒸馏方法,通过异构学生架构协作学习提升图像分类性能。
2025-11-24 cs.CV cs.LG
Lipschitz Continuity Guided Knowledge Distillation
Illinois Institute of Technology(伊利诺伊理工学院);Texas State University(德克萨斯州立大学);Shandong University(山东大学)
知识蒸馏通过将知识从较大的教师网络蒸馏到较小的学生网络,已经成为最重要的模型压缩技术之一。尽管通过精心设计各种类型的知识,先前的蒸馏方法已经取得了巨大的成功,但它们忽略了神经网络的功能特性,这使得将这些技术应用于新任务的过程不可靠且不平凡。为了缓解这一问题,本文首先利用Lipschitz连续性来更好地表示神经网络的功能特性,并指导知识蒸馏过程。特别是,我们提出了一种新的Lipschitz连续性引导的知识蒸馏框架,通过最小化两个神经网络的Lipschitz常数之间的距离来忠实地提取知识,这使得教师网络能够更好地正则化学生网络并提高相应的性能。我们通过明确的理论推导出一种可解释的近似算法,以解决计算Lipschitz常数的NP难题。实验结果表明,我们的方法优于其他基准超过几个知识蒸馏任务(例如,分类、分割和目标检测)。
2021-08-29 cs.AI cs.CV cs.LG
Dual Knowledge Distillation for Efficient Sound Event Detection
Fortemedia(富迪科技)
针对设备端声音事件检测计算资源受限的问题,提出双知识蒸馏框架,结合时间平均知识蒸馏与嵌入增强特征蒸馏,以三分之一的参数量在DCASE 2023任务4A上取得更优性能。
2024-02-05 cs.AI cs.CL cs.LG