Parallel Blockwise Knowledge Distillation for Deep Neural Network Compression
深度神经网络(DNN)在解决当今自然语言处理、语音识别和计算机视觉中许多具有挑战性的人工智能任务方面取得了极大的成功。然而,DNN通常是计算密集型的,内存需求量大,耗电量大,这大大限制了它们在资源受限的平台上的使用。因此,已经提出了各种压缩技术(例如,量化、修剪和知识蒸馏)来减小DNN的大小和功耗。贝叶斯知识蒸馏是一种可以有效地减小高度复杂的DNN规模的压缩技术。但由于训练时间较长,没有被广泛采用。在本文中,我们提出了一种新的并行分块蒸馏算法,以加速复杂DNN的蒸馏过程。我们的算法利用本地信息进行独立的分块蒸馏,利用dependently可分离层作为有效的替换块架构,并适当地解决限制因素(如依赖,同步,和负载均衡)影响并行性。在AMD服务器上运行四个Geforce RTX 2080Ti GPU的实验结果表明,我们的算法可以实现3倍的速度和19%的能源节省VGG蒸馏,和3.5倍的速度和29%的能源节省ResNet蒸馏,两者都可以忽略不计的准确性损失。当在分布式集群中使用四个RTX6000 GPU时,ResNet蒸馏的加速比可以进一步提高到3.87。
2020-12-05 cs.LG
How Is Uncertainty Propagated in Knowledge Distillation?
Duke University(杜克大学)
本研究探讨了知识蒸馏中不确定性的传播机制,提出两种方差感知策略以提高蒸馏效果,展示了在不同模型类别中的有效性。
2026-01-26 cs.LG
KDFP: A first-principles approach to knowledge distillation in large language models
University of Southern California(南加州大学)
该研究针对大语言模型通用知识蒸馏的空白,提出KDFP这一白盒通用知识蒸馏方法,在9个基准测试中性能优于现有方法1.6%-4.9%,训练效率最高提升99.1%。
2026-11-09 cs.LG
Knowledge Distillation Under Ideal Joint Classifier Assumption
The University of Arizona(亚利桑那大学);Clemson University(克莱姆森大学);EpiSci(EpiSci公司)
提出IJCKD框架,基于领域自适应理论分析学生网络误差边界,为知识蒸馏提供理论支撑并实现高效知识迁移。
2024-02-09 cs.LG
Adaptive Weighting in Knowledge Distillation: An Axiomatic Framework for Multi-Scale Teacher Ensemble Optimization
本文提出了一种多尺度教师集合优化的公理框架,用于自适应加权的知识蒸馏,通过公理化方法解决多尺度下的鲁棒性、效率和安全性问题。
2026-01-25 cs.LG
A Selective Survey on Versatile Knowledge Distillation Paradigm for Neural Network Models
Samsung Research, Samsung Electronics Co., Ltd.(三星电子株式会社三星研究院)
本文旨在提供一个有选择的调查知识蒸馏(KD)框架的研究人员和从业人员利用它开发新的优化模型在深神经网络领域。为此,我们简要介绍了知识蒸馏和一些相关的工作,包括学习使用特权信息(LUPI)和广义蒸馏(GD)。尽管基于师生体系结构的知识蒸馏最初被设计为模型压缩技术,但它在各种框架上有着广泛的应用。本文从知识蒸馏的三个重要组成部分:蒸馏知识与流失、师生范式和蒸馏过程这一假设出发,对知识蒸馏的特征进行了考察。此外,我们调查的多功能性的知识蒸馏通过研究其直接应用程序和它的使用与其他深度学习范例相结合。最后,我们提出了一些未来的工作在知识蒸馏,包括可解释的知识蒸馏的性能增益的分析研究和自监督学习,这是一个热门的研究课题,在深度学习社区。
2020-11-30 cs.AI cs.LG
A Functional Perspective on Knowledge Distillation in Neural Networks
本文从功能角度研究知识蒸馏的压缩能力与知识传递,通过实验协议分析不同数据模态下的知识转移机制,发现知识蒸馏更像数据依赖的正则化方法,存在负向非对称转移风险。
2026-03-16 cs.AI cs.LG
Knowledge Distillation in Deep Learning and its Applications
King Fahd University of Petroleum and Minerals(法赫德国王石油与矿产大学)
基于深度学习的模型相对较大,并且很难将此类模型部署在资源有限的设备上,例如移动电话和嵌入式设备。一种可能的解决方案是知识蒸馏,由此通过利用来自较大模型(教师模型)的信息来训练较小模型(学生模型)。在本文中,我们提出了一个知识蒸馏技术应用于深度学习模型的调查。为了比较不同技术的性能,我们提出了一个新的度量称为蒸馏度量。蒸馏度量基于大小和准确性分数来比较不同的知识蒸馏算法。在调查的基础上,本文得出了一些有趣的结论。
2020-07-17 cs.LG stat.ML
A Note on Knowledge Distillation Loss Function for Object Classification
Zhejiang University(浙江大学)
本文介绍了目标分类中的知识蒸馏损失函数,探讨其与logits匹配损失的联系,并将其视为输出正则化的一种形式,揭示了其与标签平滑及基于熵的正则化的关联。
2024-08-27 cs.AI cs.LG
On Compressing U-net Using Knowledge Distillation
Stanford University(斯坦福大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们研究了使用知识蒸馏来压缩U-网结构。我们发现,虽然标准蒸馏不足以可靠地训练一个压缩的U-网,引入其他正则化方法,如批量归一化和类重新加权,在知识蒸馏显着提高了训练过程。这使我们能够将U形网络压缩超过1000倍,即,到其原始参数数量的0.1%,性能下降可忽略不计。
2018-12-01 cs.LG stat.ML
Adaptive Distillation: Aggregating Knowledge from Multiple Paths for Efficient Distillation
WYZE Labs(WYZE实验室)
知识蒸馏是神经网络压缩算法中的主要趋势之一,以在较大教师模型的指导下提高较小学生模型的泛化性能。知识蒸馏应用的这一重大增长伴随着用于蒸馏知识的许多算法的引入,诸如软目标和提示层。尽管这种进步在不同的技术提取的知识,不同的蒸馏路径的聚合尚未得到全面研究。这一点特别重要,不仅因为不同的路径具有不同的重要性,而且还因为某些路径可能会对学生模型的泛化性能产生负面影响。因此,我们需要自适应地调整每条路径的重要性,以最大限度地提高蒸馏对学生模型的影响。在本文中,我们探讨了不同的方法来聚合这些不同的路径,并介绍了我们提出的自适应方法的基础上多任务学习方法。我们经验证明了所提出的方法的有效性,在分类,语义分割,和目标检测任务的应用程序的知识蒸馏的其他基线。
2021-10-24 cs.CV cs.LG
Channel Distillation: Channel-Wise Attention for Knowledge Distillation
University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学)
知识蒸馏是将教师网络学到的数据中的知识转移到学生网络中,使学生具有参数少、计算量少的优势,准确度接近教师。本文提出了一种新的蒸馏方法,它包含两种转移蒸馏策略和一种损失衰减策略。第一种传输策略是基于通道注意力的,称为通道蒸馏(CD)。CD将频道信息从教师传输到学生。二是引导式知识蒸馏(GKD)。与知识蒸馏(KD)不同,它允许学生模仿教师的每个样本的预测分布,GKD只允许学生模仿教师的正确输出。早期衰退教师(Early Decay Teacher,EDT)在训练过程中,我们逐渐衰减蒸馏损失的重量。目的是让学生而不是老师逐渐控制优化。我们提出的方法在ImageNet和CIFAR 100上进行了评估。在ImageNet上,我们使用ResNet 18实现了27.68%的top-1错误,优于最先进的方法。在CIFAR 100上,我们取得了令人惊讶的结果,学生优于教师。代码可在https://github.com/zhouzaida/channel-distillation上获得。
2020-06-02 cs.LG stat.ML
AdaKD: Dynamic Knowledge Distillation of ASR models using Adaptive Loss Weighting
Indian Institute of Science(印度科学学院)
针对现有知识蒸馏对任务损失与蒸馏损失赋权相同导致性能次优的问题,提出受课程学习启发的AdaKD方法,在样本级基于教师损失自适应加权,即插即用,实验表现优于传统及现有样本级方法。
2024-05-11 cs.AI cs.LG
Class-aware Information for Logit-based Knowledge Distillation
Cornell University(康奈尔大学)
知识蒸馏旨在通过利用教师模型的预测/特征将知识转移到学生模型,并且基于特征的蒸馏最近显示出其优于基于logit的蒸馏。然而,由于额外的特征变换的计算和存储繁琐,基于特征的方法的训练开销远高于基于logit的蒸馏。在这项工作中,我们重温了基于logit的知识蒸馏,并观察到现有的基于logit的蒸馏方法处理的预测logits仅在实例级别,而许多其他有用的语义信息被忽视。为了解决这个问题,我们提出了一个类感知的Logit知识蒸馏(CLKD)方法,扩展的logit蒸馏在实例级和类级。CLKD使学生模型能够从教师模型中模仿更高的语义信息,从而提高了蒸馏性能。我们进一步引入了一种新的损失,称为类相关性损失,迫使学生学习教师的固有类水平的相关性。实证比较表明,所提出的方法优于几个流行的基于logit的方法和基于特征的方法,其中CLKD在各种视觉分类任务上取得了令人信服的结果,并优于最先进的基线。
2022-11-27 cs.CV cs.LG
Learn From the Past: Experience Ensemble Knowledge Distillation
Tsinghua University(清华大学);Tianjin University(天津大学)
传统的知识蒸馏将教师网络中的“暗知识”转移到学生网络中,忽略了教师在培训过程中的知识,即教师的经验。然而,在现实的教育场景中,学习体验往往比学习结果更重要。在这项工作中,我们提出了一种新的知识蒸馏方法,通过整合教师的经验知识转移,命名为经验集成知识蒸馏(EEKD)。我们从教师模型的训练过程中统一保存了适量的中间模型,然后通过集成技术将这些中间模型的知识进行集成。在知识转移过程中,自注意模块用于自适应地为不同的中间模型分配权重。从中间模型的质量、权重和数量三个方面探讨了构建EEKD的原则。一个令人惊讶的结论是,强大的合奏教师不一定产生强大的学生。在CIFAR-100和ImageNet上的实验结果表明,EEKD优于主流的知识蒸馏方法,达到了最新水平,特别是在节省训练成本的前提下,EEKD甚至超过了标准的集成蒸馏。
2022-02-25 cs.CV cs.LG
MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
Beihang University(北京航空航天大学)
本文提出MLKD-BERT,通过在教师-学生框架中蒸馏多层级知识并灵活设置学生注意力头数量,在GLUE和抽取式问答任务上超越现有知识蒸馏方法,同时显著降低推理时间。
2024-07-03 cs.CL cs.LG
Hint-dynamic Knowledge Distillation
Xiamen University(厦门大学)
知识蒸馏(KD)是将知识从高能力教师模型转移到小规模学生模型。现有的努力通过匹配它们的预测逻辑、特征嵌入等来指导蒸馏,而留下如何有效地利用它们的较少探索的结。在本文中,我们提出了提示动态知识蒸馏,简称为HKD,它挖掘知识,从教师的提示,在一个动态的计划。知识提示的指导作用在不同的学习实例和学习阶段往往不同,这促使我们自适应地为每个实例定制特定的提示学习方式。具体地说,元权重网络被引入到学生模型的动态学习过程的感知中,以产生关于知识提示的实例权重系数。我们进一步提出了一个权重集成策略,以消除潜在的偏差系数估计利用历史静态。在CIFAR-100和Tiny-ImageNet标准基准测试上的实验表明,HKD能有效地提高知识蒸馏任务的效率.
2022-11-30 cs.CV cs.LG
Gradient Knowledge Distillation for Pre-trained Language Models
Peking University(北京大学)
知识蒸馏(KD)是一种将知识从大规模教师转移到紧凑但表现良好的学生的有效框架。先前用于预训练的语言模型的KD实践主要通过在教师和学生之间对齐实例输出来传递知识,而忽略了重要的知识源,即,教师的梯度。梯度表征教师如何响应输入的变化,我们假设这有利于学生更好地近似教师的底层映射函数。因此,我们提出了梯度知识蒸馏(GKD),将梯度对齐目标的蒸馏过程。实验结果表明,GKD优于以前的KD方法对学生的表现。进一步的分析表明,梯度知识的引入使学生的行为与教师的行为更加一致,大大提高了可解释性。
2022-11-02 cs.CL cs.LG
On the Orthogonality of Knowledge Distillation with Other Techniques: From an Ensemble Perspective
为了将最先进的神经网络投入实际使用,有必要设计一个模型,该模型在测试集上的资源消耗和性能之间具有良好的权衡。许多研究人员和工程师正在开发能够更有效地训练或设计模型的方法。开发一个有效的模型包括几个策略,如网络架构搜索,修剪,量化,知识蒸馏,利用廉价的卷积,正则化,还包括任何工艺,导致更好的性能-资源权衡。当将这些技术结合在一起时,如果性能改进的一个来源不与其他来源冲突,那将是理想的。我们称这种性质为模型效率中的正交性。在本文中,我们专注于知识蒸馏和证明知识蒸馏方法是正交的其他效率提高方法的分析和经验。分析上,我们认为知识蒸馏功能类似于集成方法,自举聚合。本文从知识蒸馏的隐含数据增强性的角度给出了分析解释。经验上,我们验证了知识蒸馏作为一个强大的装置,实际部署的有效神经网络,并介绍了如何将其与其他方法有效地。
2020-09-14 cs.AI cs.LG
CLIP-Embed-KD: Computationally Efficient Knowledge Distillation Using Embeddings as Teachers
Georgia Institute of Technology(佐治亚理工学院)
本文提出 CLIP-Embed-KD 方法,利用教师模型嵌入进行知识蒸馏,以显著降低计算开销,实验表明其性能超越全规模蒸馏且节省 9 倍内存和 8 倍训练时间。
2024-04-09 cs.AI cs.LG
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而,教师模型通常是在相同的标记数据上学习的,它们的预测与groundtruth标签具有高度相关性。因此,他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中,我们提出了一个统一的和有效的集成知识蒸馏方法,蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性,因此在标记数据上,我们根据不同教师的正确性对他们的预测进行加权。此外,我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上,没有基础事实来评估预测的正确性。幸运的是,教师之间的分歧是样本硬度的指示,因此我们基于教师的分歧来加权蒸馏损失,以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
ARDIR: Improving Robustness using Knowledge Distillation of Internal Representation
NTT Social Informatics Laboratories(NTT社会信息学实验室)
对抗性训练是针对对抗性样本学习鲁棒模型的最有前途的方法。最近的一项研究表明,相同架构之间的知识蒸馏在提高对抗训练的性能方面是有效的。利用知识蒸馏提高对抗训练水平是一种新的方法,受到了广泛的关注。但是,其性能仍然不足。因此,我们提出了具有内部表示的对抗性鲁棒蒸馏~(ARIDO),以更有效地利用知识蒸馏。除了教师模型的输出之外,ARPNET还使用教师模型的内部表示作为对抗训练的标签。这使得学生模型能够使用更丰富,信息更丰富的标签进行训练。因此,ARPNET可以学习更强大的学生模型。我们在实验中表明,ARPGIS优于以前的方法。
2022-11-01 cs.AI cs.LG
Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation
Westlake University(西湖大学)
本文提出HGMD框架,解耦GNN到MLP知识蒸馏中的两类困难度,并通过非参数方法估计,实现困难度感知蒸馏,显著提升学生MLP性能。
2024-07-20 cs.AI cs.LG
On the Efficacy of Knowledge Distillation
Cornell University(康奈尔大学)
在本文中,我们提出了一个彻底的评估知识蒸馏的功效和它对学生和教师架构的依赖。从观察到更准确的教师往往不是好教师开始,我们试图梳理影响知识蒸馏表现的因素。我们发现,重要的是,更大的模型往往不会成为更好的教师。我们表明,这是一个不匹配的能力的后果,小学生无法模仿大教师。我们发现规避这一点的典型方法(例如执行一系列知识蒸馏步骤)是无效的。最后,我们表明,这种影响可以通过提前停止教师的培训来减轻。我们的研究结果在数据集和模型中具有普遍性。
2019-10-03 cs.CV cs.LG
Relational Knowledge Distillation
POSTECH(浦项科技大学);Microsoft Research(微软研究院)
知识蒸馏旨在将一个模型(教师)中获得的知识转移到另一个模型(学生)中,该模型通常较小。以前的方法可以表示为训练学生模仿由教师表示的单个数据示例的输出激活的形式。我们介绍了一种新的方法,被称为关系知识蒸馏(RKD),而不是转移相互关系的数据示例。对于RKD的具体实现,我们提出了距离和角度蒸馏损失,惩罚关系中的结构差异。在不同任务上进行的实验表明,该方法提高了受过教育的学生模型具有显着的利润率。特别是对于度量学习,它允许学生超越老师的表现,在标准基准数据集上达到最先进的水平。
2019-05-01 cs.CV cs.LG
Knowledge Distillation as Semiparametric Inference
Stanford University(斯坦福大学);Microsoft Research, New England(微软研究院新英格兰分院)
一种流行的模型压缩方法是训练一个便宜的学生模型来模仿一个高度准确但繁琐的教师模型的类概率。令人惊讶的是,这种两步知识蒸馏过程通常比直接在标记数据上训练学生更准确。为了解释和增强这种现象,我们铸造知识蒸馏作为一个半参数推理问题的最佳学生模型为目标,未知的贝叶斯类概率为滋扰,和教师的概率作为一个插件滋扰估计。通过采用现代半参数工具,我们得到新的保证标准蒸馏的预测误差和开发两个增强-交叉拟合和损失校正-以减轻教师过拟合和欠拟合对学生成绩的影响。我们在表格和图像数据上验证了我们的发现,并观察到我们的知识蒸馏增强的一致改进。
2021-04-20 cs.LG stat.ML
Knowledge Distillation Applied to Optical Channel Equalization: Solving the Parallelization Problem of Recurrent Connection
Aston University(阿斯顿大学);Infinera(英飞朗公司)
为了规避基于递归神经网络的均衡器的非并行性,我们提出了知识蒸馏来将RNN重新铸造成可并行的前馈结构。后者示出了38%的延迟减少,同时仅影响Q因子0.5dB。
2022-12-08 cs.LG eess.SP
Learning the Wrong Lessons: Inserting Trojans During Knowledge Distillation
Harvard University(哈佛大学)
近年来,知识蒸馏已成为有效部署机器学习的基石,实验室和行业使用知识蒸馏来训练廉价且资源优化的模型。特洛伊木马攻击在同一时期获得了显著的突出地位,揭示了深度学习模型中的根本漏洞。鉴于广泛使用的知识蒸馏,在这项工作中,我们试图利用未标记的数据知识蒸馏过程中嵌入木马的学生模型,而不引入明显的行为在教师。我们最终设计了一个木马攻击,有效地降低学生的准确性,不改变教师的表现,并在实践中有效地构建。
2023-03-09 cs.AI cs.CR cs.LG
What Knowledge Gets Distilled in Knowledge Distillation?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究针对知识蒸馏领域对蒸馏过程本质认知不足的问题,通过全面研究验证现有知识蒸馏方法除提升任务性能外,还可间接蒸馏教师网络的目标定位、对抗样本敏感性、数据不变性等特性,并探究了成因与实际意义。
2023-11-06 cs.CV cs.LG
Explaining Knowledge Distillation by Quantifying the Knowledge
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science & Technology(华中科技大学);Xi’an Jiaotong University(西安交通大学)
本文提出了一种通过量化和分析编码在深度神经网络(DNN)中间层中的任务相关和任务无关的视觉概念来解释知识蒸馏成功的方法。更具体地说,提出了三个假设如下。1.知识蒸馏使DNN学习比从原始数据学习更多的视觉概念。2.知识蒸馏确保DNN易于同时学习各种视觉概念。然而,在从原始数据学习的情况下,DNN顺序地学习视觉概念。3.与从原始数据中学习相比,知识蒸馏产生更稳定的优化方向。因此,我们设计了三种类型的数学指标来评估DNN的特征表示。在实验中,我们诊断了各种DNN,并验证了上述假设。
2020-03-07 cs.CV cs.LG stat.ML
An Interpretable Neuron Embedding for Static Knowledge Distillation
Ludwig Maximilian Muenchen Unitversitaet(慕尼黑路德维希-马克西米利安大学)
虽然深度神经网络在各种任务中表现出良好的性能,但模型的可解释性差一直受到批评。本文提出了一种新的可解释的神经网络方法,通过将神经元嵌入到语义空间中来提取其内在的全局语义。与以往的方法,探测模型内部的潜在知识,所提出的语义向量外化的潜在知识的静态知识,这是很容易利用。具体来说,我们假设具有相似激活的神经元具有相似的语义信息。然后,在神经网络的训练过程中,通过连续对齐激活相似度和语义向量相似度来优化语义向量。语义向量的可视化允许对神经网络进行定性解释。此外,我们还通过知识蒸馏任务对静态知识进行了定量评估。可视化实验表明,语义向量能够很好地描述神经元激活语义。在没有教师模型逐个样本指导的情况下,静态知识蒸馏表现出与现有的基于关系的知识蒸馏方法相当甚至更好的性能。
2022-11-14 cs.AI cs.LG
PointDistiller: Structured Knowledge Distillation Towards Efficient and Compact 3D Detection
Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学);DIDI(滴滴出行)
点云表示学习方面的显着突破促进了其在自动驾驶汽车和虚拟现实等现实应用中的使用。然而,这些应用通常对不仅准确而且高效的3D目标检测具有迫切的要求。最近,知识蒸馏已被提出作为一种有效的模型压缩技术,它将知识从过度参数化的教师转移到轻量级的学生,并在2D视觉中实现一致的有效性。然而,由于点云的稀疏性和不规则性,直接将先前基于图像的知识蒸馏方法应用于点云检测器通常会导致性能不理想。为了填补这一空白,本文提出了PointDistiller,一个结构化的知识蒸馏框架,用于基于点云的3D检测。具体而言,PointDistiller包括局部提取,通过动态图卷积和重加权学习策略提取和提取点云的局部几何结构,突出学生对关键点或体素的学习,提高知识蒸馏效率。基于体素和基于原始点的检测器上的大量实验已经证明了我们的方法的有效性超过七个以前的知识蒸馏方法。例如,我们的4倍压缩PointPillars学生在BEV和3D目标检测方面分别实现了2.8和3.4 mAP的改进,分别比老师高出0.9和1.8 mAP。代码已在https://github.com/RunpeiDong/PointDistiller上发布。
2022-05-23 cs.CV cs.LG
Highlight Every Step: Knowledge Distillation via Collaborative Teaching
Ocean University of China(中国海洋大学)
针对现有知识蒸馏忽略训练过程信息的问题,提出采用从零训练教师与专家教师协同教学的CTKD策略,结合过程引导与关键区域指导,在多个数据集上取得SOTA性能。
2019-07-23 cs.CV cs.LG
Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition
Northwestern Polytechnical University(西北工业大学);Xijing Hospital, The Fourth Military Medical University(第四军医大学西京医院);Beijing Technology And Business University(北京工商大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Nankai University(南开大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
针对传统知识蒸馏仅压缩网络架构、未覆盖图像尺寸相关部署成本的问题,提出像素蒸馏方案,通过ISRD机制、TAS框架及AFP策略实现输入与架构的协同压缩,在分类和检测任务中验证了有效性。
2024-07-10 cs.CV cs.LG
Spot-adaptive Knowledge Distillation
Zhejiang University(浙江大学)
知识蒸馏(KD)已经成为用于压缩深度神经网络的成熟范例。进行知识蒸馏的典型方式是在教师网络的监督下训练学生网络以利用一个或多个点处的知识(即,在教师网络中。蒸馏点,一旦指定,将不会改变所有的训练样品,在整个蒸馏过程中。在这项工作中,我们认为,蒸馏点应适应训练样本和蒸馏时期。因此,我们提出了一种新的蒸馏策略,称为点自适应KD(SAKD),自适应地确定每个样本的教师网络中的蒸馏点,在整个蒸馏期间的每次训练迭代。由于SAKD实际上关注的是“在哪里蒸馏”,而不是大多数现有作品广泛研究的“蒸馏什么”,因此它可以无缝集成到现有的蒸馏方法中,以进一步提高其性能。进行了广泛的实验与10个国家的最先进的蒸馏器,以证明SAKD的有效性,以改善其蒸馏性能,在均相和非均相蒸馏设置。代码可在https://github.com/zju-vipa/spot-adaptive-pytorch上获得
2022-05-05 cs.AI cs.CV cs.LG
DE-RRD: A Knowledge Distillation Framework for Recommender System
POSTECH(浦项科技大学)
最近的推荐系统已经开始采用知识蒸馏,这是一种模型压缩技术,将知识从繁琐的模型(教师)提取到紧凑的模型(学生),以减少推理延迟,同时保持性能。最先进的方法只专注于使学生模型准确地模仿教师模型的预测。但它们的局限性在于预测结果不能完全反映教师的知识水平。在本文中,我们提出了一种新的知识蒸馏框架的推荐系统,称为DE-RRD,它使学生模型学习的潜在知识编码的教师模型,以及从教师的预测。具体地说,DE-RRD包括两种方法:1)蒸馏专家(DE),直接转移潜在的知识从教师模型。DE利用“专家”和一种新颖的专家选择策略,有效地将大量的教师知识提炼给能力有限的学生。2)放松排名蒸馏(RRD),考虑项目之间的放松排名顺序,转移教师预测中揭示的知识。我们广泛的实验表明,DE-RRD的性能优于最先进的竞争对手,并实现了与教师模型相当甚至更好的性能,具有更快的推理时间。
2020-12-08 cs.IR cs.LG
Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification
Shanghai Jiao Tong University(上海交通大学)
与传统的从头开始学习相比,知识蒸馏有时会使DNN获得更好的性能。本文提供了一个新的视角来解释知识蒸馏的成功,即,基于信息论,量化DNN中间层中编码的知识点以进行分类。为此,我们将DNN中的信号处理视为逐层信息丢弃。一个知识点被称为一个输入单元,它的信息被丢弃的比其他输入设备少得多。因此,我们提出了三个假设的基础上量化的知识点的知识蒸馏。1.从知识蒸馏学习的DNN比从头开始学习的DNN编码更多的知识点。2.知识蒸馏使DNN更有可能同时学习不同的知识点。相比之下,从头开始学习的DNN倾向于顺序编码各种知识点。3.从知识蒸馏中学习的DNN通常比从头开始学习的DNN更稳定。为了验证上述假设,我们设计了三种带有前景对象标注的度量指标来分析DNN的特征表示、\textit{i.e.}知识点的数量和质量、不同知识点的学习速度以及优化方向的稳定性。在实验中,我们为不同的分类任务诊断了各种DNN,即,图像分类、三维点云分类、二值情感分类和问答等实验验证了上述假设。
2022-08-18 cs.AI cs.CV cs.LG
Data Efficient Stagewise Knowledge Distillation
VNIT(Visvesvaraya国家理工学院);Mila(米拉研究所)
尽管深度学习(DL)取得了成功,但部署需要大计算能力的现代DL模型对资源受限的系统构成了重大问题。这就需要构建紧凑的网络,在保持性能的同时减少计算。传统的知识蒸馏(KD)方法将知识从教师转移到学生,(a)使用单阶段,(b)在将知识蒸馏给学生的同时需要整个数据集。在这项工作中,我们提出了一种新的方法,称为逐步知识蒸馏(SKD),它建立在传统的KD方法的基础上,通过逐步逐步训练,利用从教师那里获得的知识,从而实现数据高效的蒸馏过程。我们评估我们的分类和语义分割任务的方法。我们显示,在测试的任务,显着的性能增益,即使在蒸馏中使用的数据的一小部分,而不损害的指标。我们还比较了我们的方法与现有的KD技术,并表明SKD优于他们。此外,我们的方法可以被看作是一个广义的模型压缩技术,补充其他模型压缩方法,如量化或修剪。
2020-06-23 cs.CV cs.LG
Uncertainty-Aware Dual-Student Knowledge Distillation for Efficient Image Classification
Department of Electrical Engineering Indian Institute of Technology Bombay 21D070002(电子工程系 印度理工学院班加罗尔 21D070002);Department of Electrical Engineering Indian Institute of Technology Bombay 210010010(电子工程系 印度理工学院班加罗尔 210010010);Department of Electrical Engineering Indian Institute of Technology Bombay 210020023(电子工程系 印度理工学院班加罗尔 210020023)
本文提出一种考虑教师预测不确定性的双学生知识蒸馏方法,通过异构学生架构协作学习提升图像分类性能。
2025-11-24 cs.CV cs.LG
Knowledge Distillation: A Survey
The University of Sydney(悉尼大学);Birkbeck College, University of London(伦敦大学伯贝克学院);UBTECH(优必选)
近年来,深度神经网络在工业界和学术界都取得了成功,特别是在计算机视觉任务方面。深度学习的巨大成功主要归功于其编码大规模数据和操纵数十亿模型参数的可扩展性。然而,在具有有限资源的设备上部署这些繁琐的深度模型是一个挑战,例如,移动电话和嵌入式设备,这不仅是因为高计算复杂性,而且还因为大的存储需求。为此,已经开发了各种模型压缩和加速技术。知识蒸馏作为一种典型的模型压缩和加速方法,有效地从大型教师模型中学习出小型学生模型。它受到了社会越来越多的关注。本文从知识分类、培训方案、师生结构、提炼算法、性能比较和应用等方面对知识蒸馏进行了全面的综述。最后,简要回顾了知识蒸馏面临的挑战,并对未来的研究方向进行了展望。
2021-05-20 cs.LG stat.ML
Edge Bias in Federated Learning and its Solution by Buffered Knowledge Distillation
Seoul National University(首尔大学)
联邦学习(FL)利用服务器(核心)和本地设备(边缘)之间的通信来间接地从更多数据中学习,是深度学习研究中的新兴领域。近年来,基于知识蒸馏的FL方法以其显著的性能和较高的适用性被提出.在本文中,我们选择基于知识蒸馏的FL方法作为我们的基线,并解决了一个具有挑战性的问题,从使用这些方法。特别是,我们专注于服务器模型中出现的问题,该模型试图模拟不同的数据集,每个数据集对于单个边缘设备都是唯一的。我们将这个问题称为“边缘偏差”,当在不同数据集上训练的多个教师模型单独用于提取知识时会发生这种情况。我们介绍这种滋扰,发生在某些情况下的FL,并减轻它,我们提出了一个简单而有效的蒸馏计划命名为“缓冲蒸馏”。此外,我们还通过实验证明,该方案是有效的,在减轻延迟边缘所造成的掉队的问题。
2021-02-09 cs.CV cs.LG
A Survey on Symbolic Knowledge Distillation of Large Language Models
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
本综述系统梳理大型语言模型符号知识蒸馏的方法与应用,旨在将隐性知识转化为显式符号形式,提升模型可解释性与效率,并指出研究空白与未来方向。
2024-07-12 cs.CL cs.LG
Exploring Feature-based Knowledge Distillation for Recommender System: A Frequency Perspective
East China Normal University(华东师范大学)
该研究从频域视角分析推荐系统的基于特征的知识蒸馏,指出均等权重分配会忽视重要知识,提出轻量级知识重加权方法FreqD,实验证明其显著优于现有最优知识蒸馏方法。
2025-01-13 cs.AI cs.IR cs.LG
Autoregressive Knowledge Distillation through Imitation Learning
ASAPP, Inc.(ASAPP公司)
自回归模型在自然语言生成任务上的性能由于采用了深度、自我关注的架构而得到了显着提高。然而,这些收益是以阻碍推理速度为代价的,使得最先进的模型在现实世界中部署起来很麻烦,时间敏感的设置。我们开发了一种压缩技术的自回归模型,是由模仿学习的角度来看,知识蒸馏。该算法旨在解决曝光偏差问题。在原型语言生成任务,如翻译和摘要,我们的方法始终优于其他蒸馏算法,如序列级知识蒸馏。使用我们的方法训练的学生模型比从头开始训练的模型高出1.4到4.8个BLEU/ROUGE点,同时与教师模型相比,推理速度提高了14倍。
2020-10-29 cs.CL cs.LG
Confidence-Aware Multi-Teacher Knowledge Distillation
首先引入知识蒸馏,以利用来自单个教师模型的额外监督来进行学生模型训练。为了提高学生的成绩,最近的一些变体试图利用来自多个教师的不同知识来源。然而,现有的研究主要是整合来自不同来源的知识,通过平均多个教师的预测或结合他们使用其他各种无标签的策略,这可能会误导学生在低质量的教师预测的存在。为了解决这个问题,我们提出了置信度感知的多教师知识蒸馏(CA-MKD),它自适应地分配样本的可靠性为每个教师预测的帮助下,地面真理标签,与那些教师预测接近一个热标签分配大的权重。此外,CA-MKD还包括中间层,以稳定知识转移过程。大量的实验表明,我们的CA-MKD始终优于所有比较国家的最先进的方法在各种师生架构。
2022-02-14 cs.AI cs.LG
Online Knowledge Distillation with Diverse Peers
Zhejiang University(浙江大学);ZJU-LianlianPay Joint Research Center(浙江大学-连连支付联合研究中心);Zhejiang University of Technology(浙江工业大学)
蒸馏是一种有效的知识转移技术,它使用强大的教师模型的预测分布作为软目标来训练参数化程度较低的学生模型。然而,并不总是能找到一个受过训练的高能力教师。最近提出的在线变体使用多个学生模型的聚合中间预测作为目标来训练每个学生模型。虽然群体衍生的目标提供了一个很好的配方,教师免费蒸馏,群体成员均匀化迅速与简单的聚集功能,导致早期饱和的解决方案。在这项工作中,我们提出了在线知识蒸馏与不同的同行(OKDDip),它执行两级蒸馏过程中的培训与多个辅助同行和一个组长。在第一级蒸馏中,每个辅助节点持有一组单独的聚合权重,这些聚合权重是通过基于注意力的机制生成的,以从其他辅助节点的预测中得出自己的目标。从不同的目标分布中学习有助于提高同伴的多样性,从而提高基于群体的蒸馏的有效性。执行第二级蒸馏以将辅助对等体的集合中的知识进一步传递给组长,即,用于推理的模型。实验结果表明,所提出的框架始终提供更好的性能比国家的最先进的方法,而不牺牲训练或推理的复杂性,证明了所提出的两级蒸馏框架的有效性。
2019-12-05 cs.LG stat.ML
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University(清华大学)
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法,首先学习的知识图谱的表示,然后通过测量实体嵌入之间的相似性进行实体对齐。然而,由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题,它们未能很好地利用关系语义信息。为了解决这个问题,我们提出了关系知识蒸馏实体对齐(RKDEA),图卷积网络(GCN)为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示,考虑图的结构,并通过知识蒸馏将关系语义信息纳入GCN。然后,我们引入了一种新的自适应机制来传递关系知识,从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Interactive Knowledge Distillation
Sichuan University(四川大学);Nankai University(南开大学);TAL Education Group(好未来教育集团)
知识蒸馏是一个标准的师生学习框架,在一个训练有素的大型教师网络的指导下,训练一个轻量级的学生网络。作为一种有效的教学策略,互动教学在学校中被广泛采用,教师在提供知识的同时,也对学生的反应给予建设性的反馈,以提高学生的学习成绩。在这项工作中,我们提出了一个互动的知识蒸馏(IAKD)计划,利用有效的知识蒸馏的互动教学策略。在蒸馏过程中,教师网络和学生网络之间的交互是通过交换操作实现的:用教师网络中的相应块随机替换学生网络中的块。在这种方式中,我们直接涉及教师的强大功能转换能力,大大提高学生的表现。典型师生网络的实验表明,我们的IAKD训练的学生网络取得更好的性能比传统的知识蒸馏方法训练的不同图像分类数据集。
2021-04-15 cs.CV cs.LG
Knowledge Distillation via Token-level Relationship Graph
Huazhong University of Computer Science and Technology(华中计算机科学与技术大学)
本文提出基于Token级关系图的知识蒸馏方法(TRG),利用Token级关系知识增强蒸馏,并引入上下文损失,在视觉分类任务上优于现有基线,达到最先进性能。
2023-06-20 cs.AI cs.LG
Weight Averaging Improves Knowledge Distillation under Domain Shift
HSE University(高等经济学院)
本文研究领域偏移下的知识蒸馏问题,发现SWAD和SMA等权重平均技术可提升学生网络泛化能力,并提出无需验证评估的简化权重平均策略,最终形成WAKD方法。
2023-09-20 cs.CV cs.LG
Patient Knowledge Distillation for BERT Model Compression
Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
预先训练的语言模型(如BERT)已被证明对自然语言处理(NLP)任务非常有效。然而,训练此类模型对计算资源的高需求阻碍了其在实践中的应用。为了缓解大规模模型训练中的这种资源饥饿,我们提出了一种患者知识蒸馏方法,将原始的大模型(教师)压缩成同样有效的轻量级浅层网络(学生)。与以往的知识蒸馏方法不同,这些方法只使用教师网络最后一层的输出进行蒸馏,我们的学生模型耐心地从教师模型的多个中间层学习,以进行增量知识提取,遵循两种策略:($i$)PKD-Last:从最后一个$k$层学习;和($ii$)PKD-Skip:从每个$k$层学习。这两个耐心的蒸馏方案使教师的隐藏层中的丰富信息的开发,并鼓励学生模型耐心地学习和模仿教师通过多层蒸馏过程。从经验上讲,这可以转化为多个NLP任务的改进结果,在不牺牲模型准确性的情况下显著提高训练效率。
2019-08-25 cs.CL cs.LG
MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of British Columbia(英属哥伦比亚大学)
大规模预训练语言模型的出现促进了自然语言处理(NLP)领域的快速发展。虽然这些模型在标准基准测试中的性能随着规模的扩大而扩大,但知识蒸馏等压缩技术是使其实用化的关键。我们提出了一种新的基于文本的对抗训练算法MATE-KD,它提高了知识蒸馏的性能。MATE-KD首先训练一个基于掩码语言模型的生成器,通过最大化教师和学生logits之间的分歧来扰动文本。然后使用知识蒸馏,学生在原始和扰动的训练样本上进行训练。我们使用基于BERT的模型在GLUE基准测试中评估了我们的算法,并证明MATE-KD优于竞争对手的对抗性学习和数据增强基线。在GLUE测试集上,我们基于6层RoBERTa的模型优于BERT-Large。
2021-05-12 cs.CL cs.LG
Locally Linear Region Knowledge Distillation
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
知识蒸馏(KD)是一种将知识从一个神经网络(教师)转移到另一个(学生)从而提高学生成绩的有效技术。为了使学生更好地模仿教师的行为,现有的工作集中在设计不同的标准,以调整他们的逻辑或表示。与这些努力不同,我们从一个新的数据角度解决知识蒸馏。我们认为,在稀疏的训练数据点转移知识不能使学生很好地捕捉教师函数的局部形状。为了解决这个问题,我们提出了局部线性区域知识蒸馏($\rm L^2$ RKD),将知识在局部线性区域从教师转移到学生。这是通过强制学生在局部线性区域中模仿教师函数的输出来实现的。最后,学生能够更好地捕捉教师函数的局部形状,从而实现更好的性能。尽管其简单性,大量的实验表明,$\rm L^2$ RKD是优于原来的KD在许多方面,因为它优于KD和其他国家的最先进的方法由一个大的利润率,显示鲁棒性和优越性下Few-Shot设置,并与现有的蒸馏方法更兼容,以进一步提高其性能显着。
2020-10-19 cs.CV cs.LG
Teacher-Student Architecture for Knowledge Distillation: A Survey
McGill University(麦吉尔大学);Northwest University(西北大学)
本文系统综述了教师-学生架构在知识蒸馏中的多目标应用,涵盖知识压缩、扩展、适应与增强,总结了代表性算法、蒸馏方案及分类、识别、生成等应用,并展望了架构设计、知识质量与回归理论等未来方向。
2023-08-08 cs.AI cs.LG