A Selective Survey on Versatile Knowledge Distillation Paradigm for Neural Network Models
Samsung Research, Samsung Electronics Co., Ltd.（三星电子株式会社三星研究院）
本文旨在提供一个有选择的调查知识蒸馏（KD）框架的研究人员和从业人员利用它开发新的优化模型在深神经网络领域。为此，我们简要介绍了知识蒸馏和一些相关的工作，包括学习使用特权信息（LUPI）和广义蒸馏（GD）。尽管基于师生体系结构的知识蒸馏最初被设计为模型压缩技术，但它在各种框架上有着广泛的应用。本文从知识蒸馏的三个重要组成部分：蒸馏知识与流失、师生范式和蒸馏过程这一假设出发，对知识蒸馏的特征进行了考察。此外，我们调查的多功能性的知识蒸馏通过研究其直接应用程序和它的使用与其他深度学习范例相结合。最后，我们提出了一些未来的工作在知识蒸馏，包括可解释的知识蒸馏的性能增益的分析研究和自监督学习，这是一个热门的研究课题，在深度学习社区。
2020-11-30 cs.AI cs.LG
Controlling the Quality of Distillation in Response-Based Network Compression
Indiana University Bloomington（印第安纳大学伯明顿分校）
基于蒸馏的压缩网络的性能取决于蒸馏的质量。一个大的网络（教师）到一个较小的网络（学生）的次优蒸馏的原因在很大程度上归因于给定的教师-学生对的学习能力的差距。虽然很难提取教师的所有知识，但可以在很大程度上控制提取的质量以获得更好的性能。我们的实验表明，蒸馏的质量在很大程度上取决于教师的反应，这反过来又是严重影响其响应中的相似性信息的存在的质量。一个受过良好训练的大容量教师在学习细粒度的分类鉴别属性的过程中丢失了类之间的相似性信息。相似性信息的缺乏导致蒸馏过程从一个示例-多类学习减少到一个示例-一类学习，从而抑制了来自教师的多样化知识的流动。在隐含的只有灌输的知识才能被提炼的假设下，我们不再只关注知识的提炼过程，而是审视知识的灌输过程。我们认为，对于一个给定的师生对，蒸馏的质量可以提高通过找到批量大小和时代的数量之间的甜蜜点，同时培训教师。我们讨论了找到这个最佳点以更好地蒸馏的步骤。我们还提出了蒸馏假设来区分知识蒸馏和正则化效应之间的蒸馏过程的行为。我们在三个不同的数据集上进行了所有的实验。
2021-12-19 cs.AI cs.CV
Class-aware Information for Logit-based Knowledge Distillation
Cornell University（康奈尔大学）
知识蒸馏旨在通过利用教师模型的预测/特征将知识转移到学生模型，并且基于特征的蒸馏最近显示出其优于基于logit的蒸馏。然而，由于额外的特征变换的计算和存储繁琐，基于特征的方法的训练开销远高于基于logit的蒸馏。在这项工作中，我们重温了基于logit的知识蒸馏，并观察到现有的基于logit的蒸馏方法处理的预测logits仅在实例级别，而许多其他有用的语义信息被忽视。为了解决这个问题，我们提出了一个类感知的Logit知识蒸馏（CLKD）方法，扩展的logit蒸馏在实例级和类级。CLKD使学生模型能够从教师模型中模仿更高的语义信息，从而提高了蒸馏性能。我们进一步引入了一种新的损失，称为类相关性损失，迫使学生学习教师的固有类水平的相关性。实证比较表明，所提出的方法优于几个流行的基于logit的方法和基于特征的方法，其中CLKD在各种视觉分类任务上取得了令人信服的结果，并优于最先进的基线。
2022-11-27 cs.CV cs.LG
Decoupled Knowledge Distillation
MEGVII Technology（旷视科技）；Waseda University（早稻田大学）；Tsinghua University（清华大学）
现有的蒸馏方法主要基于从中间层提取深层特征，而logit蒸馏的重要性被大大忽视。为了提供研究logit蒸馏的新观点，我们将经典的KD损失重新表示为两部分，即，目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们实证研究并证明了这两部分的效果：TCKD转移有关训练样本的“难度”的知识，而NCKD是logit蒸馏工作的突出原因。更重要的是，我们揭示了经典的KD损失是一个耦合的公式，它（1）抑制NCKD的有效性和（2）限制了平衡这两个部分的灵活性。为了解决这些问题，我们提出了解耦的知识蒸馏（DKD），使TCKD和NCKD更有效和灵活地发挥各自的作用。与复杂的基于特征的方法相比，我们的DKD在CIFAR-100、ImageNet和MS-COCO数据集上实现了相当甚至更好的结果，并且在图像分类和目标检测任务中具有更好的训练效率。本文证明了logit蒸馏的巨大潜力，并希望对未来的研究有所帮助。该代码可在www.example.com上获得。
2022-07-12 cs.AI cs.CV
Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation
Westlake University（西湖大学）
本文提出HGMD框架，解耦GNN到MLP知识蒸馏中的两类困难度，并通过非参数方法估计，实现困难度感知蒸馏，显著提升学生MLP性能。
2024-07-20 cs.AI cs.LG
Label-Augmented Dataset Distillation
Yonsei University（延世大学）；KAIST AI（韩国科学技术院人工智能研究院）
提出标签增强的数据集蒸馏框架LADD，通过对合成图像子采样生成密集标签，在极小存储开销下显著提升训练效率、准确率及跨架构鲁棒性。
2024-09-24 cs.AI cs.CV
A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition
National Central University（国立中央大学）；Thai Nguyen University（太原大学）
知识蒸馏是将知识从重网络（教师）有效地转移到小网络（学生），以提高学生的表现。自知识蒸馏，知识蒸馏的特殊情况下，已被提出删除大型教师网络的培训过程，同时保持学生的表现。本文介绍了一种新的自我知识蒸馏方法，通过连体表示学习，最小化来自给定样本的两个不同视图的两个表示向量之间的差异。我们提出的方法，SKD-SRL，利用软标签蒸馏和相似性的表示向量。因此，SKD-SRL可以在同一数据点的各种视图中生成更一致的预测和表示。我们的基准已经在各种标准数据集上进行了评估。实验结果表明，SKD-SRL显着提高了准确性相比，现有的监督学习和知识蒸馏方法，无论网络。
2022-09-03 cs.AI cs.CV
A Functional Perspective on Knowledge Distillation in Neural Networks
本文从功能角度研究知识蒸馏的压缩能力与知识传递，通过实验协议分析不同数据模态下的知识转移机制，发现知识蒸馏更像数据依赖的正则化方法，存在负向非对称转移风险。
2026-03-16 cs.AI cs.LG
Improve Cross-Architecture Generalization on Dataset Distillation
Shanghai Jiao Tong University（上海交通大学）
本文提出“模型池”方法，在数据集蒸馏过程中按概率分布从多样化模型池中选模，并结合知识蒸馏用于测试，以提升合成数据集跨架构泛化能力，实验证明其优于现有方法。
2024-02-20 cs.CV cs.LG
Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition
Northwestern Polytechnical University（西北工业大学）；Xijing Hospital, The Fourth Military Medical University（第四军医大学西京医院）；Beijing Technology And Business University（北京工商大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Nankai University（南开大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对传统知识蒸馏仅压缩网络架构、未覆盖图像尺寸相关部署成本的问题，提出像素蒸馏方案，通过ISRD机制、TAS框架及AFP策略实现输入与架构的协同压缩，在分类和检测任务中验证了有效性。
2024-07-10 cs.CV cs.LG
Fair Feature Distillation for Visual Recognition
Sungkyunkwan University（成均馆大学）；Seoul National University（首尔国立大学）
公平性是计算机视觉中一个越来越重要的问题，尤其是在与人相关的决策系统中。然而，实现算法公平性，这使得一个模型产生对受保护群体不加区别的结果，仍然是一个悬而未决的问题。在本文中，我们设计了一个系统的方法，通过特征蒸馏视觉识别任务，被称为基于MMD的公平蒸馏（MFD），以减少算法的偏见。虽然蒸馏技术已被广泛用于提高预测精度，但据我们所知，还没有明确的工作试图通过蒸馏来提高公平性。并从理论上证明了MFD对知识蒸馏和公平性的影响。在整个广泛的实验中，我们表明我们的MFD显着减轻了对特定少数群体的偏见，而不会损失合成和真实世界人脸数据集的准确性。
2021-06-10 cs.AI cs.CV
Low-Rank Similarity Mining for Multimodal Dataset Distillation
Shanghai Jiao Tong University（上海交通大学）
本文提出低秩相似性挖掘（LoRS）方法，通过同时蒸馏图像-文本对和真实相似性矩阵并利用低秩分解，解决多模态数据集蒸馏中模态对应关系建模的难题，显著提升视觉-语言数据集蒸馏效果。
2024-06-06 cs.CV cs.LG
Label-Guided Knowledge Distillation for 3D-CNNs in Action Recognition
National Engineering Laboratory for Big Data Analytics (NEL-BDA)（大数据分析国家工程实验室）
针对3D-CNN动作识别中特征蒸馏忽视时间维度的问题，提出标签引导知识蒸馏（LGKD），通过样本级与类别级蒸馏学习教师特征，在UCF101和HMDB51上取得竞争力结果。
2026-09-14 cs.AI cs.CV
Multi-to-Single Knowledge Distillation for Point Cloud Semantic Segmentation
Fudan University（复旦大学）；Mogo Auto.（魔门塔汽车）
针对3D点云语义分割中困难类别性能不佳的问题，提出多对单知识蒸馏框架，通过多层级蒸馏及实例感知亲和力蒸馏，在SemanticKITTI数据集上实现了显著性能提升。
2023-04-28 cs.AI cs.CV
Adversarially Robust Distillation
University of Maryland（马里兰大学）
知识蒸馏对于产生用于分类的小型高性能神经网络是有效的，但是这些小型网络容易受到对抗攻击。研究了在知识蒸馏过程中，对抗鲁棒性如何从教师转移到学生。我们发现，大量的鲁棒性可能会继承的学生，即使是在只干净的图像蒸馏。其次，我们引入了逆向鲁棒蒸馏（ARD），用于将鲁棒性蒸馏到学生网络上。除了像传统蒸馏一样产生具有高测试精度的小模型外，ARD还将大型网络的卓越鲁棒性传递给学生。在我们的实验中，我们发现ARD学生模型在鲁棒性准确性方面明显优于相同架构的对抗训练网络，在标准鲁棒性基准上超过了最先进的方法。最后，我们将最近的快速对抗训练方法应用于ARD，以加速鲁棒蒸馏。
2019-12-02 cs.CV cs.LG stat.ML
KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling
Baidu VIS（百度视觉）
本文提出KD-DETR，首个面向DETR的通用知识蒸馏范式，通过引入专用object queries构建一致蒸馏点并解耦检测与蒸馏任务，支持同构和异构蒸馏，使学生模型性能提升2.1%-5.2%。
2025-06-25 cs.CV
MST-Distill: Mixture of Specialized Teachers for Cross-Modal Knowledge Distillation
Xidian University（西安电子科技大学）
提出MST-Distill框架，通过专家混合和实例级路由解决跨模态知识蒸馏中的路径选择和知识漂移问题，在五个多模态数据集上超越现有方法。
2025-07-09 cs.CV cs.LG cs.MM
Structured Knowledge Distillation for Dense Prediction
The University of Adelaide（阿德莱德大学）；Nanjing Institute of Advanced Artificial Intelligence（南京高等人工智能研究院）；Microsoft Research（微软研究院）
在这项工作中，我们考虑将结构信息从大型网络转移到紧凑的密集预测任务在计算机视觉。以往用于密集预测任务的知识蒸馏策略往往直接借用蒸馏方案进行图像分类，并对每个像素分别执行知识蒸馏，导致性能次优。在这里，我们建议从大型网络中提取结构化知识到紧凑网络，考虑到密集预测是一个结构化预测问题。具体来说，我们研究了两种结构化蒸馏方案：i）成对蒸馏，通过构建静态图来提取成对相似性; ii）整体蒸馏，使用对抗训练来提取整体知识。我们的知识蒸馏方法的有效性证明了三个密集的预测任务：语义分割，深度估计和目标检测的实验。代码可在：https://git.io/StructKD
2020-06-14 cs.CV
DynamicKD: An Effective Knowledge Distillation via Dynamic Entropy Correction-Based Distillation for Gap Optimizing
Xidian University（西安电子科技大学）；Southern University of Science and Technology（南方科技大学）
提出基于动态熵校正的知识蒸馏算法，通过调整学生输出熵缩小师生差距，在CIFAR100和ImageNet上验证，较传统和CRD分别提升2.64和0.87个百分点。
2023-05-09 cs.CV
Mixed Sample Augmentation for Online Distillation
OPPO Research Institute（OPPO研究院）
混合样本正则化（MSR），如MixUp或CutMix，是一种强大的数据增强策略，用于泛化卷积神经网络。先前的经验分析已经说明了MSR和传统的离线知识蒸馏（KD）之间的正交性能增益。更具体地说，在序列蒸馏的训练阶段，学生网络可以通过MSR的参与来增强。然而，MSR和在线知识蒸馏之间的相互作用，其中一个合奏的同龄学生相互学习，仍然没有探索。为了弥补这一差距，我们首次尝试将CutMix纳入在线蒸馏，在那里我们根据经验观察到显着的改进。受这一事实的鼓舞，我们提出了一个更强大的MSR专门用于在线蒸馏，命名为切\textsuperscript{n}混合。此外，一个新的在线蒸馏框架上切\textsuperscript{n}混合设计，以提高蒸馏与特征级的相互学习和自集成教师。对CIFAR10和CIFAR100的六种网络结构的综合评估表明，我们的方法可以始终优于最先进的蒸馏方法。
2023-03-02 cs.CV
CLIP-RD: Relational Distillation for Efficient CLIP Knowledge Distillation
Ewha Womans University（东亚妇女大学）
本文提出CLIP-RD框架，通过引入垂直关系蒸馏和交叉关系蒸馏方法，提升学生模型对教师模型多方向关系的保留能力，实现更高效的CLIP知识蒸馏。
2026-09-11 cs.CV
Trust-Aware Diversion for Data-Effective Distillation
The University of Queensland（昆士兰大学）；Auckland University of Technology（奥克兰理工大学）；Jilin University（吉林大学）
本文提出信任感知分流（TAD）数据集蒸馏方法，通过迭代双环优化划分可信与不可信空间并重新校准错误标注样本，在多个错误标注场景下显著提升现有蒸馏方法性能。
2025-02-07 cs.CV
Robust Dataset Distillation by Matching Adversarial Trajectories
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Microsoft Corporation（微软公司）；University of Wollongong（卧龙岗大学）
本文提出鲁棒数据集蒸馏任务及 MAT 方法，通过在轨迹生成中引入对抗样本，使自然训练的模型兼具准确率与对抗鲁棒性。
2025-03-15 cs.CV
Multi-perspective Contrastive Logit Distillation
Hosei University（法政大学）
本文提出多视角对比Logit蒸馏方法MCLD，通过利用logit的语义特性改进KL散度计算，在多个图像分类与迁移学习数据集上取得最先进性能，并展现出优越的训练效率。
2025-03-08 cs.CV
Defensive Distillation is Not Robust to Adversarial Examples
University of California, Berkeley（加利福尼亚大学伯克利分校）
我们发现，防御蒸馏是不安全的：它是没有更多的抵抗有针对性的错误分类攻击比无保护的神经网络。
2016-07-14 cs.CR cs.CV
DOT: A Distillation-Oriented Trainer
MEGVII Technology（旷视科技）；Waseda University（早稻田大学）
针对知识蒸馏中任务损失与蒸馏损失的优化权衡，本文提出DOT，通过分别处理梯度并增大蒸馏损失动量来加速其优化，在ImageNet-1k等实验中显著提升学生模型性能。
2023-07-17 cs.CV
Distillation Dynamics: Towards Understanding Feature-Based Distillation in Vision Transformers
针对基于特征的知识蒸馏在ViT上效果不佳的问题，本文提出蒸馏动力学分析框架，揭示其失效根源为师生表征范式不匹配，为ViT压缩策略设计提供理论指导。
2025-11-15 cs.CV
Progressive Class-level Distillation
School of Computer and Electronic Information, Nanjing Normal University（计算机与电子信息学院，南京师范大学）
针对logit蒸馏中高置信度类别主导导致知识转移不充分的问题，提出Progressive Class-level Distillation（PCD）方法，通过基于师生logits差异排序的分阶段双向蒸馏，实现由细到粗和由粗到细的渐进式知识转移，在分类和检测任务上优于现有方法。
2025-05-30 cs.CV
Simple Distillation Baselines for Improving Small Self-supervised Models
University of Munich（慕尼黑大学）；Tencent（腾讯）；MIT（麻省理工学院）
虽然大型自监督模型的性能与其监督模型的性能不相上下，但小型模型仍在苦苦挣扎。在本报告中，我们探索了通过蒸馏改进小型自监督模型的简单基线，称为SimDis。具体来说，我们提出了一个离线蒸馏基线，它建立了一个新的国家的最先进的，和一个在线蒸馏基线，它实现了类似的性能与最小的计算开销。我们希望这些基线将为未来的相关研究提供有益的经验。代码可在：https://github.com/JindongGu/SimDis/
2021-06-21 cs.CV
Partial to Whole Knowledge Distillation: Progressive Distilling Decomposed Knowledge Boosts Student Better
MEGVII Technology（旷视科技）
知识蒸馏领域通过对各类知识的精细化设计，缩小了紧凑型学生与大型教师之间的绩效差距。这些现有的蒸馏方法仅仅关注于\textit{knowledge quality}的改进，而忽略了\textit{knowledge quantity}对蒸馏过程的显著影响。针对传统的从固定的教师计算图中提取知识的方法，从\textit{knowledge quantity}的新视角探索了一个不可忽视的研究方向，以进一步提高知识蒸馏的效率。本文引入了知识分解的新概念，并进一步提出了\textbf{P}部分到\textbf{W}孔\textbf{K}部分的\textbf{D}分解~（\textbf{PWKD}）范型。具体地说，我们将教师重构为具有相同深度但增加通道宽度的权重共享子网络，并对子网络进行联合训练以获得分解后的知识（通道越多的子网络代表越多的知识）。然后，学生在多个训练阶段中从预先训练的教师中提取部分到全部知识，其中利用循环学习率来加速收敛。通常，\textbf{PWKD}可以被视为与现有离线知识蒸馏方法兼容的插件。为了验证\textbf{PWKD}的有效性，我们在两个基准数据集上进行了实验：~CIFAR-100和ImageNet，综合评估结果表明，\textbf{PWKD}一致地改进了现有的知识蒸馏方法，没有花里胡哨的。
2021-09-26 cs.CV
Temporal Separation with Entropy Regularization for Knowledge Distillation in Spiking Neural Networks
Zhejiang University（浙江大学）；Dalian University of Technology（大连理工大学）
针对SNN与ANN的性能差距，提出一种带有时间分离和熵正则化的新型logit蒸馏方法，通过对不同时间步的logits进行蒸馏并引入熵正则化稳定优化，显著超越了现有SNN蒸馏策略。
2025-04-29 cs.CV
Focal and Global Knowledge Distillation for Detectors
ByteDance Inc（字节跳动公司）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；BeiHang University（北京航空航天大学）
将知识蒸馏成功地应用于图像分类。然而，目标检测是一个非常复杂的问题，大多数知识蒸馏方法都无法解决这一问题，本文指出在目标检测中，教师和学生的特征在不同的区域，特别是在前景和背景中存在很大的差异。如果我们平等地提取它们，特征图之间的不均匀差异将对提取产生负面影响。因此，我们提出了焦点和全局蒸馏（FGD）。焦点蒸馏分离前景和背景，迫使学生专注于教师的关键像素和通道。全局蒸馏重建不同像素之间的关系，并将其从教师转移到学生，补偿焦点蒸馏中丢失的全局信息。由于我们的方法只需要计算特征图上的损失，因此FGD可以应用于各种检测器。我们对具有不同主干的各种检测器进行了实验，结果表明学生检测器实现了出色的mAP改进。例如，基于ResNet-50的RetinaNet，Faster RCNN，RepPoints和Mask RCNN使用我们的蒸馏方法在COCO 2017上实现了40.7%，42.0%，42.0%和42.1%的mAP，分别比基线高3.3，3.6，3.4和2.9。我们的代码可在https://github.com/yzd-v/FGD上获得。
2022-03-09 cs.CV
DistilCSE: Effective Knowledge Distillation For Contrastive Sentence Embeddings
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）；Zhongnan University of Economics and Law（中南财经政法大学）
大规模的对比学习模型可以学习非常丰富的句子嵌入，但由于模型规模巨大，很难在线提供。因此，他们往往扮演着“老师”的角色，通过知识蒸馏，将能力传递给小“学生”模型。然而，知识蒸馏不可避免地带来了嵌入效果的下降。为了解决这个问题，我们提出了一个有效的知识蒸馏框架对比句子嵌入，称为蒸馏CSE。它首先在大量未标记数据上应用知识蒸馏，然后在有限的标记数据上通过对比学习微调学生模型。为了达到更好的蒸馏效果，我们进一步提出了对比知识蒸馏（CKD）。CKD使用InfoNCE作为知识蒸馏的损失函数，增强了教师模型训练、知识蒸馏和学生模型微调之间的目标一致性。大量的实验表明，使用所提出的DistilCSE和CKD训练的学生模型几乎没有甚至没有性能下降，并且始终优于相同参数大小的相应模型。令人印象深刻的是，我们的1.1亿学生模型优于最新的最先进的模型，即，句子-T5（11B），只有1%的参数和0.25%的未标记数据。
2023-01-30 cs.AI
FAKD: Feature Augmented Knowledge Distillation for Semantic Segmentation
Alibaba Group（阿里巴巴集团）；University of Adelaide（阿德莱德大学）
在这项工作中，我们探索数据增强知识蒸馏语义分割。为了避免对教师网络中的噪声过度拟合，大量的训练样本对于知识蒸馏是必不可少的。在以往的知识蒸馏框架中，图像级的论证技术如翻转、平移、旋转等被广泛采用。受到特征空间上语义方向最新进展的启发，我们建议在特征空间中包含增强以进行高效提取。具体而言，给定语义方向，可以在特征空间中为学生获得无限数量的增强。此外，分析表明，这些增广可以同时优化的增广定义的损失最小化的上限。在此基础上，提出了一种新的语义分割知识蒸馏算法。在四个语义分割基准上的实验表明，该方法可以在不增加任何开销的情况下提高现有知识蒸馏方法的性能.代码可从以下网址获得：https://github.com/jianlong-yuan/FAKD。
2022-08-30 cs.CV
CanKD: Cross-Attention-based Non-local operation for Feature-based Knowledge Distillation
Tokyo Denki University（东京Denki大学）
CanKD通过引入交叉注意力机制，实现更高效的非局部知识转移，提升特征表示学习，优于现有知识蒸馏方法。
2025-11-26 cs.CV
Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Looko Inc.（洛可公司）
知识蒸馏是一种将知识从预训练的复杂教师模型转移到学生模型的方法，因此较小的网络可以在部署阶段取代大型教师网络。为了减少训练大型教师模型的必要性，最近的文献引入了自知识蒸馏，其在没有预先训练的教师网络的情况下逐步训练学生网络以提取其自身的知识。虽然自知识蒸馏主要分为基于数据增强的方法和基于辅助网络的方法，但数据增强方法在增强过程中丢失了其局部信息，这阻碍了其对诸如语义分割的各种视觉任务的适用性。此外，这些知识蒸馏方法不接收在目标检测和语义分割社区中普遍存在的细化的特征图。本文提出了一种新的自知识提取方法--基于自知识蒸馏的特征精炼（FRSKD），它利用辅助自教师网络向分类器网络传递精炼后的知识。我们提出的方法，FRSKD，可以利用软标签和特征图蒸馏的自我知识蒸馏。因此，FRSKD可以应用于分类，语义分割，强调保持局部信息。我们证明了FRSKD的有效性，列举其在不同的任务和基准数据集的性能改进。实现的代码可在https://github.com/MingiJi/FRSKD上获得。
2021-03-15 cs.CV
Similarity-Preserving Knowledge Distillation
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（Borealis人工智能研究院）
知识蒸馏是一种广泛适用的技术，用于在经过训练的教师网络的指导下训练学生神经网络。例如，在神经网络压缩中，一个高能力的教师被提炼出来训练一个紧凑的学生;在特权学习中，一个用特权数据训练的教师被提炼出来训练一个没有访问该数据的学生。蒸馏损失决定了教师的知识如何被捕获并转移到学生身上。在本文中，我们提出了一种新的形式的知识蒸馏损失的灵感来自于观察，语义相似的输入往往会引发类似的激活模式在一个训练有素的网络。相似性保持知识蒸馏指导学生网络的训练，使得在教师网络中产生相似（不相似）激活的输入对在学生网络中产生相似（不相似）激活。与以前的蒸馏方法相比，学生不需要模仿教师的表示空间，而是在自己的表示空间中保留成对的相似性。在三个公共数据集上的实验证明了我们方法的潜力。
2019-08-01 cs.CV
Neural Collapse Inspired Knowledge Distillation
Huazhong University of Science and Technology（华中科技大学）
提出神经坍缩启发的知识蒸馏（NCKD），将教师的神经坍缩结构转移给学生，以缩小师生知识差距，提升学生模型泛化能力与准确率。
2024-12-16 cs.CV
MOD: A Deep Mixture Model with Online Knowledge Distillation for Large Scale Video Temporal Concept Localization
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
在本文中，我们提出并讨论了一个深度混合模型与在线知识蒸馏（MOD）的大规模视频时间概念定位，这是排名第三的第三届YouTube-8 M视频理解挑战。具体来说，我们发现，通过在线蒸馏实现知识共享，在较小的数据集上微调混合模型可以实现更好的评估性能。基于这一观察结果，在我们的最终解决方案中，我们训练和微调了12个NeXtVLAD模型，并使用2层在线蒸馏结构。实验结果表明，该蒸馏结构能有效地避免过拟合，具有较好的泛化性能。该代码可在以下网址公开获取：https://github.com/linrongc/solution_youtube8m_v3
2019-10-27 cs.CV
Delving Deep into Semantic Relation Distillation
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出SeRKD方法，利用超像素语义关系改进知识蒸馏，在视觉变换器上提升模型性能与泛化能力。
2025-03-27 cs.CV
Collaboratively Guided Adversarial Robust Distillation with Teacher-Favorable Examples
Yunnan University（云南大学）；Yunnan Normal University（云南师范大学）
针对现有对抗蒸馏未充分利用扰动邻域内教师偏好监督的问题，提出CGARD方法，联合优化学生对抗样本与教师协同样本，在CIFAR-10/100上的实验显示其鲁棒性优于强基线。
2026-10-09 cs.CV
SimReg: Regression as a Simple Yet Effective Tool for Self-supervised Knowledge Distillation
University of California, Davis（加利福尼亚大学戴维斯分校）
特征回归是一种将大型神经网络模型提取为较小模型的简单方法。我们表明，通过对网络架构的简单更改，回归可以胜过更复杂的最先进的方法，用于从自监督模型中提取知识蒸馏。令人惊讶的是，在CNN主干中添加多层感知器头是有益的，即使仅在蒸馏期间使用并在下游任务中丢弃。因此，更深的非线性投影可以用来准确地模仿教师，而不改变推理架构和时间。此外，我们利用独立的投影头同时提取多个教师网络。我们还发现，使用相同的弱增强图像作为教师和学生网络的输入有助于蒸馏。ImageNet数据集上的实验证明了在各种自监督蒸馏设置中所提出的变化的有效性。
2022-01-13 cs.CV
Progressive Label Distillation: Learning Input-Efficient Deep Neural Networks
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（达尔文人工智能公司）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
知识蒸馏领域的大部分焦点一直是将知识从较大的教师网络蒸馏到较小的学生网络。然而，很少有研究如何利用蒸馏的概念来提取封装在训练数据本身中的知识，使其成为简化的形式。在这项研究中，我们探索了渐进式标签蒸馏的概念，其中我们利用一系列教师-学生网络对来逐步生成用于学习深度神经网络的蒸馏训练数据，大大降低了输入维度。为了研究所提出的渐进式标签蒸馏方法的有效性，我们实验了基于从1000 ms源训练数据渐进地蒸馏的生成的500 ms输入话语来学习深度有限词汇语音识别网络，并且与直接学习相比，测试准确度显著提高了近78%。
2019-01-26 cs.AI cs.NE
DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning
Qualcomm AI Research（高通人工智能研究部）
本文提出DDIL框架，通过模仿学习结合数据分布与学生分布训练，解决扩散蒸馏中的协变量偏移，提升生成多样性与稳定性，优于PD、LCM和DMD2等基线方法。
2025-03-29 cs.AI cs.CV cs.LG
Adaptive Distillation: Aggregating Knowledge from Multiple Paths for Efficient Distillation
WYZE Labs（WYZE实验室）
知识蒸馏是神经网络压缩算法中的主要趋势之一，以在较大教师模型的指导下提高较小学生模型的泛化性能。知识蒸馏应用的这一重大增长伴随着用于蒸馏知识的许多算法的引入，诸如软目标和提示层。尽管这种进步在不同的技术提取的知识，不同的蒸馏路径的聚合尚未得到全面研究。这一点特别重要，不仅因为不同的路径具有不同的重要性，而且还因为某些路径可能会对学生模型的泛化性能产生负面影响。因此，我们需要自适应地调整每条路径的重要性，以最大限度地提高蒸馏对学生模型的影响。在本文中，我们探讨了不同的方法来聚合这些不同的路径，并介绍了我们提出的自适应方法的基础上多任务学习方法。我们经验证明了所提出的方法的有效性，在分类，语义分割，和目标检测任务的应用程序的知识蒸馏的其他基线。
2021-10-24 cs.CV cs.LG
Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）；The University of Florida（佛罗里达大学）
本文提出分数恒等式蒸馏（SiD），一种无数据方法，通过三个分数相关恒等式构建损失机制，利用生成器自身合成图像训练，实现预训练扩散模型向单步生成器的指数级快速蒸馏，FID接近或超过教师模型，并在四个基准数据集上超越现有蒸馏方法。
2024-05-24 cs.AI cs.CV cs.LG
Normalized Feature Distillation for Semantic Segmentation
Hikvision Research Institute（海康威视研究院）
知识蒸馏是一种很有前途的模型压缩方法，它通过将冗余模型中的知识转移到压缩模型中，从而提高压缩模型的性能。用于指导学生培训的知识种类很重要。语义分割中的先前蒸馏方法努力从特征中提取各种形式的知识，这涉及依赖于先验信息的精细手动设计并且具有有限的性能增益。在本文中，我们提出了一种简单而有效的特征蒸馏方法，称为归一化特征蒸馏（NFD），旨在使有效的蒸馏与原始特征，而不需要手动设计新形式的知识。其关键思想是防止学生专注于模仿教师的特征响应的大小。我们的方法在Cityscapes、VOC 2012和ADE 20K数据集上实现了最先进的语义分割提取结果。代码将可用。
2022-07-12 cs.CV
Adaptive Instance Distillation for Object Detection in Autonomous Driving
Bowling Green State University（鲍灵格林州立大学）
近年来，知识蒸馏（KD）被广泛用于获得有效的模型。通过模仿大型教师模型，轻量级学生模型可以以更高的效率实现相当的性能。然而，大多数现有的知识蒸馏方法集中在分类任务。只有有限数量的研究将知识蒸馏应用于目标检测，特别是在时间敏感的自动驾驶场景中。在本文中，我们提出了自适应实例蒸馏（AID）有选择地传授教师的知识给学生，以提高知识蒸馏的性能。与以往的KD方法，平等地对待所有的实例，我们的AID可以用心调整的基础上，教师模型的预测损失的实例的蒸馏权重。通过在KITTI和COCO流量数据集上的实验，验证了该方法的有效性。结果表明，我们的方法提高了最先进的注意力引导和非局部蒸馏方法的性能，并在单级和两级检测器上实现了更好的蒸馏结果。与基线相比，我们的AID使单级和两级探测器的平均mAP分别增加了2.7%和2.1%。此外，我们的AID也被证明是有用的自蒸馏，以提高教师模型的性能。
2023-03-22 cs.CV
SAMKD: Spatial-aware Adaptive Masking Knowledge Distillation for Object Detection
School of Computer and Electronic Information, Nanjing Normal University（南京师范大学计算机与电子信息学院）
针对现有注意力引导特征掩码蒸馏缺乏细粒度线索的问题，提出空间感知自适应掩码知识蒸馏框架SAMKD，结合空间分层特征掩码与掩码logit蒸馏，显著提升目标检测学生模型性能。
2025-03-24 cs.CV
Distill Any Depth: Distillation Creates a Stronger Monocular Depth Estimator
Zhejiang University of Technology（浙江工业大学）；AGI Lab, Westlake University（西湖大学AGI实验室）；Lanzhou University（兰州大学）；Nanyang Technological University（南洋理工大学）
提出跨上下文蒸馏及辅助引导策略，结合全局与局部深度线索及扩散教师先验，提升伪标签质量，在基准上超越现有最先进单目深度估计方法。
2025-04-21 cs.CV
Dual Relation Knowledge Distillation for Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baidu Inc.（百度公司）
针对目标检测中前景背景特征不平衡及小目标表示不足的问题，本文提出DRKD双重关系知识蒸馏方法，通过像素级与实例级关系蒸馏提升一阶段和两阶段检测器性能。
2023-06-01 cs.CV
