Normalized Feature Distillation for Semantic Segmentation
Hikvision Research Institute（海康威视研究院）
知识蒸馏是一种很有前途的模型压缩方法，它通过将冗余模型中的知识转移到压缩模型中，从而提高压缩模型的性能。用于指导学生培训的知识种类很重要。语义分割中的先前蒸馏方法努力从特征中提取各种形式的知识，这涉及依赖于先验信息的精细手动设计并且具有有限的性能增益。在本文中，我们提出了一种简单而有效的特征蒸馏方法，称为归一化特征蒸馏（NFD），旨在使有效的蒸馏与原始特征，而不需要手动设计新形式的知识。其关键思想是防止学生专注于模仿教师的特征响应的大小。我们的方法在Cityscapes、VOC 2012和ADE 20K数据集上实现了最先进的语义分割提取结果。代码将可用。
2022-07-12 cs.CV
Distilling Object Detectors with Task Adaptive Regularization
Shanghai Jiaotong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
目前最先进的目标检测器以高计算成本为代价，并且难以部署到低端设备。知识蒸馏，其目的是训练一个更小的学生网络，从一个较大的教师模型转移知识，是一个有前途的解决方案模型小型化。在本文中，我们深入研究了一个典型的检测器的每个模块，并提出了一个通用的蒸馏框架，自适应地转移知识从教师到学生根据任务特定的先验。直觉是，简单地从教师到学生提取所有信息是不可取的，相反，我们应该只从学生表现不好的教师模型中借用先验。为了实现这一目标，我们提出了一个区域建议共享机制，交流区域之间的教师和学生模型的反应。在此基础上，我们自适应地转移知识的三个层次，\emph{i.e.}，特征骨干，分类头，和限界框回归头，根据模型的性能更合理。此外，考虑到同时最小化蒸馏损失和检测损失会引入优化困境，我们提出了一种蒸馏衰减策略，通过逐步减少蒸馏损失来提高模型的泛化能力。广泛使用的检测基准上的实验证明了我们的方法的有效性。特别是，使用FPN作为实例的Faster R-CNN，我们在COCO数据集上使用Resnet-50实现了$39.0\%$的准确性，超过了基线$36.3\%$的$2.7\%$点，甚至比使用$38.5\%$ mAP的教师模型更好。
2020-06-23 cs.CV
Distilling Efficient Vision Transformers from CNNs for Semantic Segmentation
HKUST(GZ)（香港科技大学（广州））；Brown University（布朗大学）；University of Science and Technology of China（中国科学技术大学）；HKUST（香港科技大学）
本文提出C2VKD框架，通过视觉-语言特征蒸馏和像素级解耦蒸馏，将CNN教师知识有效转移至紧凑ViT学生模型，在语义分割基准上mIoU增量超过SoTA KD方法的200%。
2023-10-11 cs.CV
Distilling Knowledge from Heterogeneous Architectures for Semantic Segmentation
Xiangtan University（湘潭大学）；Fudan University（复旦大学）；Hunan Normal University（湖南师范大学）
本文首次提出异构架构语义分割知识蒸馏方法HeteroAKD，通过将师生中间特征投影到对齐logits空间，并引入知识混合与评估机制，在多个基准上超越了现有知识蒸馏方法。
2025-04-10 cs.CV cs.LG
KTAN: Knowledge Transfer Adversarial Network
Beijing University of Posts and Telecommunications（北京邮电大学）；JD AI Research（京东人工智能研究院）；Columbia University（哥伦比亚大学）
为了减少深度卷积神经网络的大计算和存储成本，基于知识蒸馏的方法已经率先将大型（教师）深度网络的泛化能力转移到轻量（学生）网络。然而，这些方法主要集中在传输教师网络中softmax层的概率分布，从而忽略了中间表示。在本文中，我们提出了一个知识转移对抗网络，以更好地训练学生网络。我们的技术从整体上考虑了教师网络的中间表示和概率分布。为了传递中间表示的知识，我们将高级教师特征图设置为目标，并向其训练学生特征图。具体来说，我们安排了一个教师到学生层，使我们的框架适合各种学生结构。与仅使用概率分布相比，中间表示有助于学生网络更好地理解传递的泛化。此外，我们通过使用一个神经网络来注入对抗性学习过程，该网络可以在训练学生网络时充分利用特征图的空间相关性。实验结果表明，该方法可以显着提高性能的学生网络上的图像分类和目标检测任务。
2018-10-18 cs.CV cs.LG stat.ML
Transferring Inter-Class Correlation
University of Electronic Science and Technology of China（电子科技大学）；National Key Lab on Communication, University of Electronic Science and Technology of China（电子科技大学通信抗干扰技术国家级重点实验室）；NVIDIA Semiconductor Technology (Shanghai) Co., Ltd.（英伟达半导体科技（上海）有限公司）
教师-学生（Teacher-Student，T-S）框架在分类任务中得到广泛应用，通过该框架，一个神经网络（学生）的性能可以通过从另一个训练好的神经网络（教师）传递知识来提高。由于知识的传递与师生之间的网络能力和网络结构有关，如何界定有效知识一直是一个悬而未决的问题。为了解决这个问题，我们在输出层设计了一种新的传递知识的方法，基于自注意的类间关联（ICC）映射，并提出了我们的T-S框架，类间关联传递（ICCT）。
2020-08-11 cs.CV cs.LG
Heterogeneous Feature Distillation Network for SAR Image Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
由于合成孔径雷达（SAR）具有全天时、全天候的成像能力，SAR图像的语义分割近年来受到遥感界的广泛关注。然而，SAR图像中不可避免地存在相干斑噪声和重叠，使得SAR图像的分割比光电（EO）图像更困难。为了解决这个问题，我们研究了如何引入EO特征来帮助SAR分割模型的训练，并提出了一种用于分割SAR图像的异构特征蒸馏网络，称为HFD网络，其中SAR分割学生模型从预先训练的EO分割教师模型中获得知识。在建议HFD-Net，学生和教师模型采用相同的架构，但不同的参数配置，和异构的特征提取模型进行了探索，潜在的EO功能从教师模型转移到学生模型，然后提高SAR图像分割的学生模型的能力。此外，一个异构的特征对齐模块进行了探索，聚合多尺度特征分割的学生模型和教师模型。在两个公开数据集上的实验结果表明，HFD-Net的分割性能优于现有的七种SAR图像语义分割方法。
2022-10-17 cs.CV eess.IV
Distilling Image Classifiers in Object Detectors
EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）
知识蒸馏是一种简单而有效的方法，通过利用更强大的教师的知识来提高紧凑的学生网络的性能。然而，知识蒸馏文献仍然局限于学生和教师处理相同任务的场景。在这里，我们调查的问题，不仅跨架构，而且跨任务的知识转移。为此，我们研究了目标检测的情况下，而不是按照标准的检测器到检测器蒸馏方法，引入一个分类器到检测器的知识转移框架。特别是，我们提出的策略，利用分类教师，以提高检测器的识别精度和定位性能。我们在几个具有不同骨架的检测器上的实验证明了我们方法的有效性，使我们能够胜过最先进的检测器到检测器蒸馏方法。
2022-02-10 cs.AI cs.CV cs.LG
Like What You Like: Knowledge Distill via Neuron Selectivity Transfer
TuSimple（图森未来）
尽管深度神经网络在各种应用中表现出非凡的能力，但其卓越的性能是以高存储和计算成本为代价的。因此，神经网络的加速和压缩技术近年来引起了广泛的关注。知识转移（KT）旨在通过从较大的教师模型中转移知识来训练较小的学生网络，是流行的解决方案之一。在本文中，我们提出了一种新的知识转移方法，将其视为一个分布匹配问题。特别是，我们匹配教师和学生网络之间的神经元选择性模式的分布。为了实现这一目标，我们设计了一个新的KT损失函数，通过最小化这些分布之间的最大均值离散（MMD）度量。结合原有的损失函数，我们的方法可以显著提高学生网络的性能。我们在多个数据集上验证了我们的方法的有效性，并进一步将其与其他KT方法相结合，以探索可能的最佳结果。最后但并非最不重要的是，我们对模型进行了微调，以适应其他任务，例如目标检测。结果也是令人鼓舞的，这证实了学习功能的可转移性。
2017-12-18 cs.CV cs.LG cs.NE
QUEST: Quantized embedding space for transferring knowledge
University of Crete（克里特大学）；Sorbonne University（索邦大学）
知识蒸馏是指通过从高容量的教师网络学习来训练紧凑的学生网络以实现更好的准确性的过程。现有的大多数知识蒸馏方法通过匹配教师的输出、特征图或它们的分布来引导学生跟随教师。在这项工作中，我们提出了一种新的方法来实现这一目标：通过量化空间提取知识。根据我们的方法，教师的特征图被量化，以表示包含在特征图中的主要视觉概念。然后，学生被要求预测量化的表示，从而形成了学生用来向老师学习的任务。尽管它的简单性，我们表明，我们的方法是能够产生的结果，提高最先进的知识蒸馏。为此，我们在几种网络架构和最常用的基准数据集上进行了广泛的评估。
2020-07-17 cs.CV cs.LG
Transferring Knowledge with Attention Distillation for Multi-Domain Image-to-Image Translation
University of California Riverside（加州大学河滨分校）；University of Parma（帕尔马大学）
基于注意力的注意力建模作为一种可视化和理解卷积神经网络的方法得到了广泛的应用。然而，在生成对抗网络（GANs）的训练过程中利用这些视觉解释是计算机视觉研究中尚未探索的领域。事实上，我们认为这种信息可以用来以积极的方式影响GANs训练。出于这个原因，在本文中，它示出了如何梯度为基础的注意力可以被用来作为知识传达在教师-学生范例的多域图像到图像的翻译任务，以提高学生建筑的结果。此外，它演示了如何“伪”-注意力也可以在训练过程中，教师和学生网络的训练时，在不同的域共享一些相似之处。该方法在多领域人脸属性迁移和表情合成上得到了验证，得到了定性和定量的结果。
2021-08-17 cs.CV eess.IV
It's All in the Head: Representation Knowledge Distillation through Classifier Sharing
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
表示知识蒸馏旨在将丰富的信息从一个模型转移到另一个模型。表示蒸馏的常见方法主要集中在模型嵌入向量之间的距离度量的直接最小化。这样的直接方法可能在传递嵌入在表示向量中的高阶依赖关系或处理教师和学生模型之间的能力差距方面受到限制。此外，在标准的知识蒸馏中，教师在没有意识到学生的特点和能力的情况下接受培训。在本文中，我们探讨了两种机制，提高代表蒸馏使用教师和学生之间的分类器共享。我们首先调查一个简单的方案，教师的分类器连接到学生骨干，作为一个额外的分类头。然后，我们提出了一个学生意识的机制，要求量身定制的教师模型，以一个学生的能力有限，通过培训教师与一个临时的学生的头。我们分析和比较这两种机制，并显示其有效性的各种数据集和任务，包括图像分类，细粒度分类，人脸验证。特别是，我们在MobileFaceNet模型的IJB-C数据集上实现了最先进的人脸验证结果：TAR@（FAR= 1 e-5）=93.7\%。代码可在https://github.com/Alibaba-MIIL/HeadSharingKD上获得。
2022-04-05 cs.CV
Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution
知识蒸馏（KD）可以有效地将知识从笨重的网络（教师）转移到紧凑的网络（学生），在一些计算机视觉应用中已经展示了其优势。知识的表示对于知识的传递和学生的学习至关重要，通常以手工方式定义或直接使用中间特征。针对单幅图像的超分辨率任务，提出了一种师生架构下的模型无关Meta知识蒸馏方法。它提供了一种更灵活、更准确的方式，帮助教师根据学生的能力，通过知识表示网络（KRNets）与可学习的参数传递知识。为了提高知识表示对学生需求的感知能力，提出利用KRNets中学生的特征和师生之间的相关性，解决中间输出到传递知识的转化过程。具体地说，纹理感知的动态核生成，然后提取纹理特征进行改进和相应的教师指导，从而将蒸馏问题分解为纹理方面的监督，以进一步提高高频细节的恢复质量。此外，KRNets优化元学习的方式，以确保知识转移和学生的学习，有利于提高学生的重建质量。在不同的单图像超分辨率数据集上进行的实验表明，该方法优于现有定义的知识表示相关提取方法，并且可以帮助超分辨率算法在不引入任何推理复杂度的情况下获得更好的重建质量。
2022-07-18 cs.CV
Distilling and Transferring Knowledge via cGAN-generated Samples for Image Classification and Regression
University of British Columbia（不列颠哥伦比亚大学）
知识蒸馏（KD）已经被积极地研究用于深度学习中的图像分类任务，旨在基于来自教师的知识来提高学生的表现。然而，应用KD在图像回归与标量响应变量的研究很少，并存在KD方法适用于分类和回归任务尚未。此外，现有的KD方法通常需要从业者仔细选择或调整教师和学生架构，使得这些方法在实践中不太灵活。为了以统一的方式解决上述问题，我们提出了一个基于cGAN的综合KD框架，称为cGAN-KD。从根本上不同于现有的KD方法，cGAN-KD通过cGAN生成的样本将知识从教师模型提取并转移到学生模型。这种新机制使cGAN-KD适合分类和回归任务，与其他KD方法兼容，并且对教师和学生架构不敏感。在这项工作中，导出了在cGAN-KD框架中训练的学生模型的误差界，为cGAN-KD的有效性提供了理论依据，并指导了cGAN-KD的实际实施。在CIFAR-100和ImageNet-100上的大量实验表明，我们可以将最先进的KD方法与cGAN-KD框架结合起来，产生一种新的最先进的方法。此外，在Steering Angle和UTKFace上的实验证明了cGAN-KD在图像回归任务中的有效性，现有的KD方法不适用。
2022-12-27 cs.CV stat.ML
Grid-Preserving Knowledge Distillation: Transferring Convolutional Inductive Bias to Vision Transformers under Data Scarcity
本文提出iBKD蒸馏框架，在数据稀缺场景下通过保留网格的核心模块向ViT迁移卷积归纳偏置，在多基准上优于相关方法且优势随数据减少而扩大。
2026-08-14 cs.CV
Neural Collapse Inspired Knowledge Distillation
Huazhong University of Science and Technology（华中科技大学）
提出神经坍缩启发的知识蒸馏（NCKD），将教师的神经坍缩结构转移给学生，以缩小师生知识差距，提升学生模型泛化能力与准确率。
2024-12-16 cs.CV
Student-Teacher Learning from Clean Inputs to Noisy Inputs
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
基于学习的学生-教师学习是一种鼓励学生的隐藏特征模仿教师网络的训练方法，在将知识从预先训练的教师网络转移到学生网络方面取得了经验上的成功。此外，最近的实验结果表明，即使学生的输入样本被噪声破坏，教师的特征也可以提高学生网络的泛化能力。然而，有一个缺乏理论的见解，为什么以及何时这种方法的知识转移可以成功之间的异构任务。我们使用深度线性网络从理论上分析了这种方法，并使用非线性网络进行了实验。我们确定了该方法成功的三个关键因素：（1）学生是否被训练到零训练损失;（2）教师在干净输入问题上的知识水平;（3）教师如何将其知识分解为隐藏特征。这三个因素中的任何一个缺乏适当的控制都会导致师生学习方法的失败。
2021-03-13 cs.CV cs.LG stat.ML
Transferring Visual Explanations: How Cross-Architecture Knowledge Distillation Affects Model Interpretability
XIV High School of Stanislaw Staszic（斯坦尼斯瓦夫·斯塔希茨第十四中学）；Ukrainian Catholic University（乌克兰天主教大学）
本研究通过跨架构知识蒸馏实验，发现蒸馏主要传递空间关注区域而非像素级归因，可解释性对软标签权重敏感，且受学生模型结构偏差限制。
2026-09-22 cs.CV
Difference Feature Map Distillation: Transferring Inter-Sample Relational Knowledge Towards Efficient Transformer-Based Tracking
Bowling Green State University（博林格林州立大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
提出差分特征图知识蒸馏（DFM-KD），通过样本间差异传递关系知识，提升基于Transformer的视觉跟踪在资源受限平台的效率与性能。
2026-10-06 cs.CV
Switchable Online Knowledge Distillation
Hefei University of Technology（合肥工业大学）；The University of Queensland（昆士兰大学）
在线知识蒸馏（OKD）通过充分利用教师和学生之间的差异来改进相关模型。它们之间的差距存在几个关键的瓶颈-例如，为什么以及何时大的差距会损害表现，特别是对学生来说？如何量化师生之间的差距？--得到了有限的正式研究。在本文中，我们提出了可切换的在线知识蒸馏（SwitOKD），回答这些问题。SwitOKD的核心思想是通过专家模式（暂停教师而保持学生学习）和学习模式（重新启动教师）两种模式之间的切换策略来自适应地校准训练阶段的间隙，即蒸馏间隙，而不是现有技术中的测试阶段的准确性间隙。为了具有适当的蒸馏间隙，我们进一步设计了一个自适应切换阈值，它提供了一个正式的标准，当切换到学习模式或专家模式，从而提高学生的表现。同时，教师受益于我们的自适应切换阈值，基本上与其他在线艺术保持一致。我们进一步扩展到多个网络的两个基本拓扑结构的SwitOKD。最后，大量的实验和分析验证了SwitOKD的优点，在国家的最先进的分类。我们的代码可在https://github.com/hfutqian/SwitOKD上获得。
2022-09-12 cs.CV
Heterogeneous Knowledge Distillation using Information Flow Modeling
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
知识蒸馏（KD）方法能够将编码在大型和复杂的教师中的知识转移到较小和较快的学生中。早期的方法通常仅限于在网络的最后几层之间传输知识，而后面的方法能够执行多层KD，进一步提高了学生的准确性。然而，尽管这些方法的性能有所改善，但它们仍然受到限制其效率和灵活性的几个限制。首先，现有的KD方法通常忽略了神经网络在训练过程中经历不同的学习阶段，这通常需要对每个阶段进行不同类型的监督。此外，现有的多层KD方法通常不能有效地处理具有显著不同的架构（异构KD）的网络。在本文中，我们提出了一种新的KD方法，其工作原理是通过建模的信息流，通过教师模型的各个层，然后训练学生模型来模仿这个信息流。所提出的方法是能够克服上述的限制，通过使用适当的监督方案在不同阶段的培训过程中，以及通过设计和培训一个适当的辅助教师模型，作为一个代理模型能够“解释”的方式，教师的作品的学生。使用四个图像数据集和几个不同的评价设置证明了所提出的方法的有效性。
2020-05-02 cs.CV
MED-TEX: Transferring and Explaining Knowledge with Less Data from Pretrained Medical Imaging Models
Monash University（蒙纳士大学）
深度学习方法通常需要大量的训练数据，并且缺乏可解释性。在本文中，我们提出了一种新的知识蒸馏和模型解释框架的医学图像分类，共同解决了上述两个问题。具体来说，为了解决数据饥渴的问题，通过从繁琐的预先训练的教师模型中提取知识，以较少的数据学习小型学生模型。为了解释教师模型并帮助学生学习，引入了解释器模块来突出显示对教师模型预测重要的输入区域。此外，联合框架是由一个原则性的方式从信息论的角度来训练。与眼底数据集上的最先进方法相比，我们的框架在知识蒸馏和模型解释任务上表现出色。
2022-01-12 cs.CV cs.LG eess.IV
Feature Representation Transferring to Lightweight Models via Perception Coherence
Ampere Software Technology（Ampere软件技术公司）；Institut de mathématiques de Toulouse（图卢兹数学研究所）；Institut de Recherche en Informatique de Toulouse（图卢兹信息研究所）；Laboratoire Jean Alexandre Dieudonné, Université Côte d’Azur（Jean Alexandre Dieudonné实验室，蔚蓝海岸大学）；Université Côte d’Azur（蔚蓝海岸大学）
本文提出通过感知一致性方法，从教师模型向轻量学生模型转移特征表示，提升模型性能。
2026-02-21 cs.AI cs.CV cs.LG
Multi-granularity for knowledge distillation
Jiangnan University（江南大学）
考虑到学生理解教师传授知识的能力不同，提出了一种多粒度蒸馏机制，为学生网络传输更容易理解的知识。设计了教师网络的多粒度自分析模块，使学生网络能够从不同的教学模式中学习知识。此外，提出了一种稳定的激励方案，用于学生训练的鲁棒监督。所提出的蒸馏机制可以嵌入到不同的蒸馏框架中，这些框架被视为基线。实验结果表明，该机制平均提高了0.58%的准确性，最好的1.08%，这使得它的性能优于国家的最先进的。它还利用，学生的微调能力和鲁棒性的噪声输入可以通过所提出的机制得到改善。该代码可在https://github.com/shaoeric/multi-granularity-distillation上获得。
2021-08-15 cs.CV
ResKD: Residual-Guided Knowledge Distillation
Zhejiang University（浙江大学）
知识蒸馏旨在将知识从繁重的教师网络转移到轻量级的学生网络，已经成为压缩神经网络的一种有前途的技术。然而，由于重师与轻生之间的能力差距，他们之间仍然存在着显着的绩效差距。在本文中，我们看到了知识蒸馏在一个新的光，利用知识差距，或剩余，教师和学生之间的指导，训练一个更轻量级的学生，称为res-student。我们把学生和res-student结合成一个新的学生，res-student纠正前一个学生的错误。这样的残差引导过程可以重复，直到用户在精度和成本之间取得平衡。在推理时，我们提出了一个样本自适应策略，以决定哪些res-student是不必要的每个样本，这可以节省计算成本。实验结果表明，在CIFAR-10、CIFAR-100、Tiny-ImageNet和ImageNet数据集上，教师的计算成本分别为18.04 $\%$、23.14 $\%$、53.59 $\%$和56.86 $\%$。最后，对该方法进行了深入的理论和实证分析。
2021-03-09 cs.CV
Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation
School of Computer Science and Technology East China Normal University（华东师范大学计算机科学与技术学院）；Wenzhou University（温州大学）
针对师生模型差异导致知识迁移效果不佳的问题，提出SoKD方法，通过可学习特征增强策略动态精炼教师知识，并利用DAM模块聚焦共同感兴趣区域，有效提升了知识蒸馏的性能与泛化能力。
2024-09-27 cs.CV
Knowledge Condensation Distillation
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯优图实验室）；Hunan University（湖南大学）
知识蒸馏（KD）将高能力教师网络的知识转移到较小的学生身上。现有的方法主要集中在挖掘知识暗示，并将全部知识传递给学生。然而，由于知识在不同的学习阶段对学生表现出不同的价值，从而产生了知识冗余。在本文中，我们提出了知识浓缩蒸馏（KCD）。具体地说，每个样本上的知识值是动态估计的，在此基础上的期望最大化（EM）框架是伪造的迭代浓缩从教师的紧凑的知识集，以指导学生学习。我们的方法很容易建立在现成的KD方法之上，没有额外的训练参数，计算开销可以忽略不计。因此，它提供了一个新的视角KD，其中学生主动识别教师的知识符合自己的能力，可以学会更有效地学习。在标准基准测试上的实验表明，所提出的KCD可以很好地提高学生模型的性能，甚至更高的蒸馏效率。代码可在https://github.com/dzy3/KCD上获得。
2022-07-12 cs.CV
Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation
The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Lab（上海人工智能实验室）
知识蒸馏（KD）在将学习表征从大模型（教师）转移到小模型（学生）方面显示出非常有前途的能力。然而，随着学生和教师之间的能力差距越来越大，现有的KD方法无法取得更好的效果。我们的工作表明，“先验知识”是至关重要的KD，特别是在应用大型教师。特别地，我们提出了动态先验知识（DPK），它集成了教师的部分特征作为特征提取之前的先验知识。这意味着我们的方法也将教师的特征作为“输入”，而不仅仅是“目标”。此外，我们在训练阶段根据特征间隙动态调整先验知识的比例，从而指导学生在适当的难度。为了评估所提出的方法，我们在两个图像分类基准（即CIFAR100和ImageNet）和一个目标检测基准（即MS COCO.结果表明，我们的方法在不同的设置下的性能的优越性。此外，我们的DPK使学生模型的性能与教师模型的性能正相关，这意味着我们可以通过应用更大的教师来进一步提高学生的准确性。更重要的是，DPK为任何给定的模型提供了教师模型选择的快速解决方案。
2023-03-23 cs.CV
Variational Information Distillation for Knowledge Transfer
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）；École des Ponts ParisTech（巴黎高科桥路学院）；Amazon（亚马逊）
将知识从在相同或相似任务上预训练的教师神经网络转移到学生神经网络可以显著提高学生神经网络的性能。现有的知识转移方法匹配教师和学生网络的激活或相应的手工制作的功能。我们提出了一个信息理论框架的知识转移，制定知识转移最大限度地提高教师和学生网络之间的互信息。我们比较我们的方法与现有的知识转移方法的知识蒸馏和迁移学习任务，并表明我们的方法始终优于现有的方法。我们通过将知识从卷积神经网络（CNN）转移到CIFAR-10上的多层感知器（MLP），进一步证明了我们的方法在异构网络架构中的知识转移能力。由此产生的MLP显著优于最先进的方法，并且它实现了与具有单个卷积层的CNN相似的性能。
2019-04-11 cs.AI cs.CV cs.LG
DAIT: Distillation from Vision-Language Models to Lightweight Classifiers with Adaptive Intermediate Teacher Transfer
School of Computer and Electronic Information, Nanjing Normal University, Nanjing, China（南京师范大学计算机与电子信息学院）；Medical Artificial Intelligence Lab, Westlake University（西湖大学医学人工智能实验室）
本文提出DAIT方法，通过引入可训练的中间教师模型，从冻结的视觉-语言模型中适应性地蒸馏出任务对齐的知识，提升细粒度视觉分类性能。
2026-03-16 cs.CV
AttTrack: Online Deep Attention Transfer for Multi-object Tracking
McMaster University（麦克马斯特大学）
多目标跟踪（MOT）是智能视频分析应用（如监控和自动驾驶）的重要组成部分。执行用于视觉对象跟踪的深度学习模型所需的时间和存储复杂性阻碍了它们在计算能力有限的嵌入式设备上的采用。在本文中，我们的目标是通过在训练和推理时将知识从复杂网络（教师）的高级特征转移到轻量级网络（学生）来加速MOT。所提出的AttTrack框架有三个关键组件：1）跨模型特征学习，以对齐教师和学生模型的中间表示，2）在推理时交错执行两个模型，以及3）将教师模型的更新预测作为先验知识，以帮助学生模型。使用两个不同的目标检测骨干YOLOv5和DLA 34在MOT17和MOT15数据集上进行行人跟踪任务的实验表明，AttTrack可以显着提高学生模型跟踪性能，同时仅牺牲跟踪速度的轻微下降。
2022-10-27 cs.CV
I2CKD : Intra- and Inter-Class Knowledge Distillation for Semantic Segmentation
LabISEN, Vision-AD, ISEN Ouest（LabISEN视觉与人工智能研究所）
针对语义分割，提出I2CKD知识蒸馏方法，通过类别原型与三元组损失对齐师生模型的类内、类间特征分布，并在三个数据集上验证有效。
2025-02-21 cs.CV
Semi-supervised Domain Adaptation via Sample-to-Sample Self-Distillation
Pohang University of Science Technology (POSTECH)（浦项科技大学）
半监督领域自适应（Semi-supervised domain adaptation，SSDA）是指在给定一个大的标注数据集的情况下，利用少量的标注样本使学习器适应新的领域。在本文中，我们提出了一种基于对的SSDA方法，该方法使用样本对自蒸馏将模型适应于目标域。每个样本对由来自标记数据集的教师样本组成（即，源或标记的目标）及其来自未标记数据集的学生样本（即，未标记的目标）。我们的方法通过在教师和学生之间传递中间风格来生成辅助特征，然后通过最小化学生和辅助特征之间的输出差异来训练模型。在培训过程中，助理逐渐弥合这两个领域之间的差异，从而使学生能够轻松地向老师学习。标准基准测试的实验结果表明，我们的方法有效地最大限度地减少了域间和域内的差异，从而实现了显着的改进，最近的方法。
2021-11-29 cs.CV
KD-MVS: Knowledge Distillation Based Self-supervised Learning for Multi-view Stereo
Megvii Research（旷视研究院）；Tsinghua University（清华大学）
针对有监督多视图立体方法需大量真实深度数据的难题，提出基于知识蒸馏的自监督训练框架KD-MVS，经自监督教师训练与概率知识迁移，学生模型性能超越教师及有监督方法。
2023-08-20 cs.CV
Relational Knowledge Distillation
POSTECH（浦项科技大学）；Microsoft Research（微软研究院）
知识蒸馏旨在将一个模型（教师）中获得的知识转移到另一个模型（学生）中，该模型通常较小。以前的方法可以表示为训练学生模仿由教师表示的单个数据示例的输出激活的形式。我们介绍了一种新的方法，被称为关系知识蒸馏（RKD），而不是转移相互关系的数据示例。对于RKD的具体实现，我们提出了距离和角度蒸馏损失，惩罚关系中的结构差异。在不同任务上进行的实验表明，该方法提高了受过教育的学生模型具有显着的利润率。特别是对于度量学习，它允许学生超越老师的表现，在标准基准数据集上达到最先进的水平。
2019-05-01 cs.CV cs.LG
UltraDiff: Transferring High-Fidelity Priors to Compressed Latent Spaces for High-Resolution Image Generation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Adobe Research（奥多比研究院）
UltraDiff框架通过联合潜在扩散学习与边缘分数蒸馏，借助MixTeacher双分支DiT及向量场蒸馏，在f32压缩潜在空间实现接近f8的图像质量，效率较f8基准提升40倍以上。
2026-10-16 cs.CV
Collaborative Learning for Enhanced Unsupervised Domain Adaptation
Ewha W. University（梨花女子大学）
针对无监督域适应中教师模型因域偏移产生非显著参数导致知识蒸馏效果差的问题，提出CLDA协同学习方法，通过师生模型互更新参数，在语义分割任务中显著提升了师生模型的mIoU性能。
2025-04-16 cs.CV
Learnable Instance Attention Filtering for Adaptive Detector Distillation
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Bowling Green State University（博林格林州立大学）
本文提出LIAF-KD框架，通过可学习的实例选择器动态评估和重新加权实例重要性，提升检测器蒸馏效果，在KITTI和COCO数据集上实现2%的提升。
2026-03-27 cs.CV
ProxylessKD: Direct Knowledge Distillation with Inherited Classifier for Face Recognition
YITU Technology（依图科技）；Northeastern University of China（中国东北大学）
知识蒸馏（KD）是指将知识从一个大模型转移到一个小模型中，广泛用于提高机器学习中模型的性能。它试图对齐从教师和学生模型生成的嵌入空间（即，使对应于相同语义的图像在不同模型中共享相同的嵌入）。在这项工作中，我们专注于它在人脸识别中的应用。我们观察到，现有的知识蒸馏模型优化代理任务，迫使学生模仿教师的行为，而不是直接优化人脸识别的准确性。因此，不能保证获得的学生模型在目标任务上是最优的，或者能够受益于高级约束，例如大余量约束（例如基于余量的softmax）。然后，我们提出了一种名为ProxylessKD的新方法，通过继承教师的分类器作为学生的分类器来指导学生学习教师的嵌入空间中的判别嵌入，直接优化人脸识别的准确性。所提出的ProxylessKD是非常容易实现和足够的通用扩展到人脸识别以外的其他任务。我们进行了广泛的实验标准的人脸识别基准，结果表明，ProxylessKD实现优于现有的知识蒸馏方法的性能。
2020-10-31 cs.CV
InDistill: Information flow-preserving knowledge distillation for model compression
Information Technologies Institute, CERTH（CERTH信息技术研究所）；VRG, FEE, Czech Technical University in Prague（布拉格捷克技术大学电气工程学院视觉研究组）
InDistill通过课程学习预热阶段转移关键信息流路径，并采用剪枝匹配层宽，在多个数据集上提升知识蒸馏性能。
2025-01-22 cs.CV
CoupleFace: Relation Matters for Face Recognition Distillation
Beihang University（北京航空航天大学）；SenseTime Group Limited（商汤集团有限公司）
知识蒸馏是提高轻量级神经网络（即，学生模型）通过传递性能良好的神经网络的知识（即，教师模型），该模型已被广泛应用于包括人脸识别在内的许多计算机视觉任务中。然而，当前的人脸识别提取方法通常利用特征一致性提取（FCD）（例如，L2距离）对教师和学生模型为每个样本提取的学习嵌入进行估计，这无法将知识从教师完全转移到学生以进行人脸识别。在这项工作中，我们观察到，样本之间的相互关系知识也是重要的，以提高学生模型的学习表示的判别能力，并提出了一种有效的人脸识别蒸馏方法，称为CoupleFace，另外引入相互关系蒸馏（MRD）到现有的蒸馏框架。具体来说，在MRD中，我们首先提出挖掘信息的相互关系，然后引入的知识感知蒸馏（RAD）损失，教师模型的相互关系知识转移到学生模型。在多个基准数据集上的大量实验结果证明了我们提出的CoupleFace人脸识别的有效性。此外，基于我们提出的CoupleFace，我们在ICCV21蒙面人脸识别挑战赛（MS1M赛道）中获得了第一名。
2022-11-17 cs.CV
AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation
Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud（华为云）
针对无数据知识蒸馏中教师域与学生域差异导致的性能下降，提出AuG-KD方法，利用锚点对齐和混合学习平衡域外知识蒸馏，实验验证其稳定性与优越性。
2024-03-18 cs.CV cs.LG
How to Choose Your Teacher for Fine Grained Image Recognition
National Tsing Hua University, Taiwan（台湾国立清华大学）；National Yang Ming Chiao Tung University, Taiwan（台湾国立阳明交通大学）
本文提出Ratio 1-2指标，通过分析实验数据提升教师选择效果，使小模型在细粒度图像识别中获得17%的准确率提升。
2026-05-15 cs.CV
Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）
针对未知协变量偏移下知识蒸馏效果受限的问题，提出置信度引导的扩散数据增强策略，经实验验证可提升多数据集上的相关准确率与虚假特征得分。
2026-09-17 cs.CV
Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge
Rutgers University（罗格斯大学）；University of Delaware（特拉华大学）
跨模态知识蒸馏涉及将知识从用高级模态（教师）训练的模型转移到用弱模态（学生）训练的另一个模型。现有的方法需要成对的训练样本存在于两种模态中。然而，从高级模态访问数据可能并不总是可行的。例如，在3D手部姿态估计的情况下，深度图、点云或立体图像通常比RGB图像捕获更好的手部结构，但是它们中的大多数采集起来是昂贵的。在本文中，我们提出了一种新的计划，训练学生在目标数据集的教师是不可用的。我们的主要思想是通过将知识建模为学生参数的先验知识，将从源数据集（包含来自两种模态的配对示例）中学习到的提取的跨模态知识推广到目标数据集。我们将我们的方法命名为“跨模态知识泛化”，并证明我们的方案在标准基准数据集上的3D手姿态估计具有竞争力的性能。
2020-04-01 cs.CV
Mutual-Learning Knowledge Distillation for Nighttime UAV Tracking
Tongji University（同济大学）
针对夜间无人机跟踪中低光增强器计算负担重且与跟踪方法耦合不足的问题，提出互学习知识蒸馏框架MLKD，通过教师知识迁移和多学生互学习训练紧凑跟踪器MLKD-Track，在真实测试中验证了有效性。
2023-12-22 cs.CV
Distilling Holistic Knowledge with Graph Neural Networks
Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
知识蒸馏（Knowledge Distillation，KD）的目的是将知识从一个较大的优化教师网络转移到一个较小的可学习学生网络，现有的KD方法主要考虑了两类知识，即个体知识和关系知识。然而，这两种类型的知识通常是独立建模，而它们之间的内在联系在很大程度上被忽视。充分的学生网络学习的关键是整合个人知识和关系知识，同时保留其内在的相关性。在本文中，我们提出了提取新的整体知识的基础上构建的实例之间的属性图。通过图神经网络聚合关系邻域样本中的个体知识，将整体知识表示为统一的基于图的嵌入，学生网络通过对比提取整体知识进行学习。在基准数据集上进行了大量的实验和消融研究，结果证明了该方法的有效性。该代码已发布在https://github.com/wyc-ruiker/HKD上
2021-08-12 cs.CV
Teacher-Class Network: A Neural Network Compression Mechanism
Rensselaer Polytechnic Institute（伦斯勒理工学院）
为了减少深度神经网络（DNN）的庞大规模，师生方法试图将知识从复杂的教师网络转移到简单的学生网络。相反，我们提出了一种称为教师类网络的新方法，该网络由单个教师和多个学生网络（即学生类）组成。该方法不是只将知识转移给一个学生，而是将一大块知识转移给每个学生。我们的学生没有接受针对特定问题的逻辑训练，他们被训练来模仿教师网络学习的知识（密集表示），因此学生班级学习的组合知识也可以用于解决其他问题。建议的教师级架构进行评估的几个基准数据集，如MNIST，时尚MNIST，IMDB电影评论，CAMVid，CIFAR-10和ImageNet的多个任务，包括图像分类，情感分类和分割。我们的方法优于国家的最先进的单学生的方法在精度以及计算成本，同时实现10-30倍的参数减少。
2021-10-29 cs.CV cs.LG stat.ML
Distilling Knowledge via Intermediate Classifiers
Ontario Tech University（安大略理工大学）
知识蒸馏的关键是在预先训练好的大规模教师模型的指导下，有效地训练资源有限的学生模型。然而，当教师和学生的模型复杂度之间存在较大差异时（即，能力差距），知识蒸馏失去了将知识从教师转移到学生的力量，从而培养出一个较弱的学生。为了减轻能力差距的影响，我们通过中间头引入知识蒸馏。通过用分类器头扩展教师的中间层（在不同的深度），我们廉价地获得了一批异构的预先训练的教师。中间分类器头可以一起有效地学习，同时冻结预先训练的教师的骨干。教师（包括原来的教师）的队列共同教学生同时进行。我们在不同师生对和数据集上的实验表明，该方法优于规范的知识蒸馏方法及其扩展。
2021-05-31 cs.AI cs.CV cs.LG
HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation
University of Science and Technology of China（中国科学技术大学）；The University of Adelaide（阿德莱德大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出HVDistill框架，利用图像与点云间的混合视图（图像平面和鸟瞰）对应关系，以无监督方式将图像知识蒸馏到点云网络，无需标注，在多个数据集上显著提升下游任务性能。
2024-03-18 cs.CV
Similarity Transfer for Knowledge Distillation
College of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学院）；School of Creative Technologies, University of Portsmouth（朴茨茅斯大学创意技术学院）
知识蒸馏是通过将知识从大模型转移到较小模型来学习可移植神经网络的流行范例。大多数现有的方法通过利用教师模型提供的实例级类别之间的相似性信息来增强学生模型。然而，这些工作忽略了不同实例之间的相似性相关性，在置信度预测中起着重要作用。为了解决这个问题，本文提出了一种新的方法，称为相似性转移知识蒸馏（STKD），其目的是充分利用多个样本的类别之间的相似性。此外，我们建议更好地捕捉不同的实例之间的相似性相关性的混合技术，它创建一个加权线性插值的虚拟样本。注意，我们的蒸馏损失可以通过混合标签充分利用不正确的类相似性。该方法提高了学生模型的性能，因为由多个图像创建的虚拟样本在教师和学生网络中产生相似的概率分布。在CIFAR-10、CIFAR-100、CINIC-10和Tiny-ImageNet等公共分类数据集上的实验和消融研究表明，该轻量级方法可以有效地提高紧凑学生模型的性能。它表明，STKD大大优于香草知识蒸馏，并取得了优越的精度超过国家的最先进的知识蒸馏方法。
2021-03-18 cs.CV
Distilling Calibrated Student from an Uncalibrated Teacher
Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
知识蒸馏是一种用于通过从教师网络传输信息来改善浅学生网络的性能的常用技术，教师网络通常相对较大且较深。这些教师网络是预先训练的，通常未经校准，因为在训练时没有校准技术应用于教师模型。网络的校准测量其任何预测的正确性概率，这在高风险领域至关重要。在本文中，我们研究了如何从一个未校准的教师获得校准的学生。我们的方法依赖于融合的数据增强技术，包括但不限于剪切，mixup和CutMix，与知识蒸馏。我们扩展了我们的方法，超越了传统的知识蒸馏，并发现它适用于关系知识蒸馏和对比表示蒸馏。这项工作的新颖之处在于，它提供了一个框架，可以从未校准的教师模型中提取校准的学生，而不会影响提取学生的准确性。我们在各种数据集上进行了大量的实验来验证我们的方法，包括CIFAR-10，CIFAR-100，CINIC-10和TinyImageNet，并获得了校准的学生模型。我们还观察到我们的方法的鲁棒性能，同时评估它对损坏的CIFAR-100C数据。
2023-02-22 cs.AI cs.CV cs.LG
Locally Linear Region Knowledge Distillation
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
知识蒸馏（KD）是一种将知识从一个神经网络（教师）转移到另一个（学生）从而提高学生成绩的有效技术。为了使学生更好地模仿教师的行为，现有的工作集中在设计不同的标准，以调整他们的逻辑或表示。与这些努力不同，我们从一个新的数据角度解决知识蒸馏。我们认为，在稀疏的训练数据点转移知识不能使学生很好地捕捉教师函数的局部形状。为了解决这个问题，我们提出了局部线性区域知识蒸馏（$\rm L^2$ RKD），将知识在局部线性区域从教师转移到学生。这是通过强制学生在局部线性区域中模仿教师函数的输出来实现的。最后，学生能够更好地捕捉教师函数的局部形状，从而实现更好的性能。尽管其简单性，大量的实验表明，$\rm L^2$ RKD是优于原来的KD在许多方面，因为它优于KD和其他国家的最先进的方法由一个大的利润率，显示鲁棒性和优越性下Few-Shot设置，并与现有的蒸馏方法更兼容，以进一步提高其性能显着。
2020-10-19 cs.CV cs.LG
Knowledge distillation via adaptive instance normalization
Computer Vision Laboratory, University of Nottingham, UK（诺丁汉大学计算机视觉实验室）；Samsung AI Center, Cambridge, UK（三星人工智能中心剑桥）；Queen Mary University of London, London, UK（伦敦玛丽女王大学）
本文通过知识蒸馏来解决模型压缩问题。为此，我们提出了一种新的知识蒸馏方法的基础上转移的特征统计，特别是通道明智的均值和方差，从教师到学生。我们的方法超越了标准的方式，通过$L_2$损失，我们发现它是有限的有效性，强制学生的均值和方差与教师的均值和方差相似。具体来说，我们提出了一个新的损失的基础上自适应实例规范化，有效地转移的特征统计。其主要思想是通过自适应实例规范化（以学生为条件）将学习到的统计数据传输回教师，并让教师网络通过损失“评估”学生学习到的统计数据是否可靠地传输。我们表明，我们的蒸馏方法优于其他国家的最先进的蒸馏方法在一个大的实验设置，包括不同的（a）网络架构，（b）师生能力，（c）数据集，和（d）域。
2020-03-09 cs.CV cs.LG
