Non-target Divergence Hypothesis: Toward Understanding Domain Gaps in Cross-Modal Knowledge Distillation
本文提出非目标发散假说（NTDH），揭示模态间域差距通过非目标类别分布差异影响跨模态知识蒸馏性能，并基于VC理论推导误差上下界，在五个数据集上验证了该假说的有效性。
2024-09-04 cs.CV
M2KD: Multi-model and Multi-level Knowledge Distillation for Incremental Learning
University of Maryland（马里兰大学）；Adobe Research（奥多比研究中心）
增量学习的目标是在新类别上取得良好的性能，而不会忘记旧类别。知识蒸馏已被证明是至关重要的，在保留旧类的性能。然而，传统方法仅从最后一个模型中顺序地提取知识，导致在稍后的增量学习步骤中旧类的性能下降。本文提出了一种多模型、多层次的知识蒸馏策略。我们不是只从最后一个模型中顺序地提取知识，而是直接利用所有以前的模型快照。此外，我们采用了辅助蒸馏，以进一步保留在中间特征级别编码的知识。为了提高模型的内存效率，我们采用基于掩码的修剪来重建所有以前的模型，占用的内存很小。在标准增量学习基准上的实验表明，我们的方法更好地保留了旧类的知识，并提高了标准蒸馏技术的整体性能。
2020-09-05 cs.CV
CanKD: Cross-Attention-based Non-local operation for Feature-based Knowledge Distillation
Tokyo Denki University（东京Denki大学）
CanKD通过引入交叉注意力机制，实现更高效的非局部知识转移，提升特征表示学习，优于现有知识蒸馏方法。
2025-11-26 cs.CV
Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation
School of Computer Science and Technology East China Normal University（华东师范大学计算机科学与技术学院）；Wenzhou University（温州大学）
针对师生模型差异导致知识迁移效果不佳的问题，提出SoKD方法，通过可学习特征增强策略动态精炼教师知识，并利用DAM模块聚焦共同感兴趣区域，有效提升了知识蒸馏的性能与泛化能力。
2024-09-27 cs.CV
A Comprehensive Review of Knowledge Distillation in Computer Vision
Bharti School of Telecommunication Technology and management, Indian Institute of Technology New Delhi（印度理工学院新德里分校巴蒂电信技术与管理学院）；National Institute of Technology Srinagar（斯利那加国家理工学院）
本文全面综述了知识蒸馏在计算机视觉领域的研究现状、主要原理与技术及其应用，并探讨了其优势及需克服的问题，以解决深度学习模型在资源受限环境下的部署挑战。
2024-07-23 cs.CV
Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
知识蒸馏涉及从教师网络提取“暗知识”以指导学生网络的学习，已经成为模型压缩和迁移学习的基本技术。与以往关注学生网络准确性的工作不同，在这里我们研究了一个很少探索但很重要的问题，即，知识蒸馏效率。我们的目标是在训练过程中以较低的计算成本实现与传统知识蒸馏相当的性能。我们表明，不确定性感知mIXup（UNIX）可以作为一个干净而有效的解决方案。不确定性抽样策略用于评估每个训练样本的信息量。对不确定样本进行自适应混叠，达到知识压缩的目的。我们进一步证明了传统知识蒸馏的冗余性在于对简单样本的过度学习。通过结合不确定性和混淆，我们的方法减少了冗余，并更好地利用教师网络的每个查询。我们在CIFAR100和ImageNet上验证了我们的方法。值得注意的是，仅用79%的计算成本，我们在CIFAR100上的性能优于传统的知识蒸馏，并在ImageNet上获得了相当的结果。
2020-12-17 cs.CV
Recurrent knowledge distillation
Delft University of Technology（代尔夫特理工大学）
知识蒸馏通过让一个小的学生网络从一个大的教师网络中学习来压缩深度网络。最近知识蒸馏的准确性得益于添加剩余层。我们建议通过将教师网络中的多个剩余层重新转换为单个循环学生层来进一步减小学生网络的大小。我们提出了三种将经常性连接添加到学生网络中的变体，并在CIFAR-10，Scenes和MiniPlaces上进行了实验，我们可以在精度损失不大的情况下减少参数的数量。
2018-05-18 cs.CV
MOD: A Deep Mixture Model with Online Knowledge Distillation for Large Scale Video Temporal Concept Localization
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
在本文中，我们提出并讨论了一个深度混合模型与在线知识蒸馏（MOD）的大规模视频时间概念定位，这是排名第三的第三届YouTube-8 M视频理解挑战。具体来说，我们发现，通过在线蒸馏实现知识共享，在较小的数据集上微调混合模型可以实现更好的评估性能。基于这一观察结果，在我们的最终解决方案中，我们训练和微调了12个NeXtVLAD模型，并使用2层在线蒸馏结构。实验结果表明，该蒸馏结构能有效地避免过拟合，具有较好的泛化性能。该代码可在以下网址公开获取：https://github.com/linrongc/solution_youtube8m_v3
2019-10-27 cs.CV
DynamicKD: An Effective Knowledge Distillation via Dynamic Entropy Correction-Based Distillation for Gap Optimizing
Xidian University（西安电子科技大学）；Southern University of Science and Technology（南方科技大学）
提出基于动态熵校正的知识蒸馏算法，通过调整学生输出熵缩小师生差距，在CIFAR100和ImageNet上验证，较传统和CRD分别提升2.64和0.87个百分点。
2023-05-09 cs.CV
Improving Knowledge Distillation via Transferring Learning Ability
Xi’an University of Technology（西安理工大学）
本文针对知识蒸馏中教师与学生网络学习能力差异导致的能力差距问题，提出SLKD方法，通过迁移学习能力来改进知识蒸馏效果。
2023-09-18 cs.CV
Towards a Unified View of Affinity-Based Knowledge Distillation
KTH Royal Institute of Technology（瑞典皇家理工学院）
人工神经网络之间的知识传递已经成为深度学习中的一个重要课题。其中一个悬而未决的问题是，什么样的知识需要为转让而保存，以及如何有效地实现转让。最近的几项工作表明，使用基于关系的知识的蒸馏方法具有良好的性能。这些算法是非常有吸引力的，因为它们是基于简单的样本间的相似性。然而，在这种情况下，一个适当的亲和力度量和使用它还远没有得到很好的理解。在本文中，明确模块化知识蒸馏到一个框架的三个组成部分，即亲和力，规范化，和损失，我们给了一个统一的治疗这些算法，以及研究了一些未开发的模块组合。有了这个框架，我们进行了广泛的评估，许多蒸馏目标的图像分类，并获得一些有用的见解，有效的设计选择，同时展示了如何基于关系的知识蒸馏可以实现可比的性能，尽管简单的最先进的。
2022-09-30 cs.CV
KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling
Baidu VIS（百度视觉）
本文提出KD-DETR，首个面向DETR的通用知识蒸馏范式，通过引入专用object queries构建一致蒸馏点并解耦检测与蒸馏任务，支持同构和异构蒸馏，使学生模型性能提升2.1%-5.2%。
2025-06-25 cs.CV
Similarity-Preserving Knowledge Distillation
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（Borealis人工智能研究院）
知识蒸馏是一种广泛适用的技术，用于在经过训练的教师网络的指导下训练学生神经网络。例如，在神经网络压缩中，一个高能力的教师被提炼出来训练一个紧凑的学生;在特权学习中，一个用特权数据训练的教师被提炼出来训练一个没有访问该数据的学生。蒸馏损失决定了教师的知识如何被捕获并转移到学生身上。在本文中，我们提出了一种新的形式的知识蒸馏损失的灵感来自于观察，语义相似的输入往往会引发类似的激活模式在一个训练有素的网络。相似性保持知识蒸馏指导学生网络的训练，使得在教师网络中产生相似（不相似）激活的输入对在学生网络中产生相似（不相似）激活。与以前的蒸馏方法相比，学生不需要模仿教师的表示空间，而是在自己的表示空间中保留成对的相似性。在三个公共数据集上的实验证明了我们方法的潜力。
2019-08-01 cs.CV
Multi-granularity for knowledge distillation
Jiangnan University（江南大学）
考虑到学生理解教师传授知识的能力不同，提出了一种多粒度蒸馏机制，为学生网络传输更容易理解的知识。设计了教师网络的多粒度自分析模块，使学生网络能够从不同的教学模式中学习知识。此外，提出了一种稳定的激励方案，用于学生训练的鲁棒监督。所提出的蒸馏机制可以嵌入到不同的蒸馏框架中，这些框架被视为基线。实验结果表明，该机制平均提高了0.58%的准确性，最好的1.08%，这使得它的性能优于国家的最先进的。它还利用，学生的微调能力和鲁棒性的噪声输入可以通过所提出的机制得到改善。该代码可在https://github.com/shaoeric/multi-granularity-distillation上获得。
2021-08-15 cs.CV
TopKD: Top-scaled Knowledge Distillation
Hosei University（立命馆大学）
提出TopKD框架，通过Top-K缩放模块和解耦损失增强基于logit的蒸馏，在多个数据集上超越现有方法，并适用于视觉Transformer。
2025-08-06 cs.CV
Fixing the Teacher-Student Knowledge Discrepancy in Distillation
SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室，香港中文大学）
在较大的教师网络的指导下训练较小的学生网络是促进学生成绩的有效途径。以往的知识蒸馏方法中，尽管教师和学生的类型不同，但用于蒸馏的引导知识对于不同的师生对总是保持不变的。然而，我们发现，具有不同网络或从不同初始化训练的教师和学生模型在不同通道之间可能具有不同的特征表示。(e.g.不同类别的高激活通道）。我们将这种渠道的不协调表征称为蒸馏过程中的师生知识差异。忽视教师和学生模型的知识差异问题，将使学生向教师学习更加困难。针对这一问题，本文提出了一种新的基于学生的蒸馏方法--知识一致性蒸馏，该方法使教师的知识与学生的知识更加一致，并为不同的学生网络提供最适合的知识进行蒸馏。在不同数据集（CIFAR 100，ImageNet，COCO）和任务（图像分类，目标检测）上的实验揭示了教师和学生之间普遍存在的知识差异问题，证明了该方法的有效性。我们的方法非常灵活，可以很容易地与其他最先进的方法相结合。
2021-03-31 cs.CV
Delving Deep into Semantic Relation Distillation
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出SeRKD方法，利用超像素语义关系改进知识蒸馏，在视觉变换器上提升模型性能与泛化能力。
2025-03-27 cs.CV
Open-Vocabulary One-Stage Detection with Hierarchical Visual-Language Knowledge Distillation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beijing Institute of Basic Medical Sciences（北京基础医学研究所）；Nanchang Hangkong University（南昌航空大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
开放词汇目标检测的目的是检测训练集之外的新对象类别。先进的开放词汇两阶段检测器采用实例级视觉到视觉知识蒸馏来将检测器的视觉空间与预训练视觉语言模型（PVLM）的语义空间对齐。然而，在更有效的一级检测器中，类不可知的对象建议的缺乏阻碍了对看不见的对象的知识蒸馏，导致严重的性能下降。本文提出了一种层次化的可视化语言知识蒸馏方法，HierKD，用于开放词汇单阶段检测。具体而言，一个全球级的知识蒸馏探索从PVLM的看不见的类别的知识转移到检测器。此外，我们结合所提出的全球层面的知识蒸馏和共同的实例层面的知识蒸馏学习的知识，同时看到和看不见的类别。在MS-COCO上进行的大量实验表明，我们的方法在零次检测（zero-shot detection）和广义零次检测（generalized zero-shot detection）设置下分别获得11.9%和6.7%的$AP_{50}$增益，显着超过了之前最好的一级检测器，并将$AP_{50}$性能差距从14%缩小到7.3%与最好的两级检测器相比。
2022-03-20 cs.CV
Neural Collapse Inspired Knowledge Distillation
Huazhong University of Science and Technology（华中科技大学）
提出神经坍缩启发的知识蒸馏（NCKD），将教师的神经坍缩结构转移给学生，以缩小师生知识差距，提升学生模型泛化能力与准确率。
2024-12-16 cs.CV
Channel Self-Supervision for Online Knowledge Distillation
近年来，研究者对在线知识蒸馏表现出越来越大的兴趣。在线知识蒸馏采用单阶段、端到端的训练方式，使用多个对等模型的聚合中介预测进行训练。然而，缺乏一个强有力的教师模型可能会导致小组同伴之间的同质性问题，影响小组蒸馏的有效性。在本文中，我们提出了一种新的在线知识蒸馏方法，\textbf{C}通道\textbf{S} elf-\textbf{S}在线知识蒸馏（CSS），结构多样性的输入，目标和网络，以减轻同质化问题。具体来说，我们构建了一个双网络多分支结构，并通过自监督学习，采用特征级变换和增加相应的标签，提高分支间的多样性。同时，双网络结构具有较大的独立参数空间，可以抵抗精馏过程中的均匀化问题。在CIFAR-100上进行的大量定量实验表明，我们的方法比OKDDip提供了更大的多样性，并且我们也提供了相当的性能改进，甚至超过了最先进的PCL。三个细粒度数据集（StanfordDogs，StanfordCars，CUB-200-211）上的结果也显示了我们的方法的显着泛化能力。
2022-03-23 cs.CV
Multi-Mode Online Knowledge Distillation for Self-Supervised Visual Representation Learning
Megvii Technology（旷视科技）
本文提出多模式在线知识蒸馏方法 MOKD，通过自蒸馏与交叉蒸馏相结合，并引入交叉注意力特征搜索策略，使两个异构模型在自监督学习中相互促进，从而提升视觉表示学习性能。
2023-06-01 cs.CV
Semi-Online Knowledge Distillation
South China University of Technology（华南理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
知识蒸馏是一种通过知识转移进行模型压缩的有效而稳定的方法。传统的知识蒸馏（KD）是将知识从一个大的、预先训练好的教师网络转移到一个小的学生网络，这是一个单向的过程。最近，深度相互学习（DML）被提出来帮助学生网络同时协作学习。然而，据我们所知，KD和DML从来没有在一个统一的框架中共同探索，以解决知识蒸馏问题。在本文中，我们调查，教师模型支持更值得信赖的监督信号在KD，而学生捕捉更多的类似行为，从教师在DML。基于这些观察，我们首先提出将KD与DML结合在一个统一的框架中。此外，我们提出了一个半在线知识蒸馏（SOKD）的方法，有效地提高了学生和教师的表现。在该方法中，我们引入了DML中的同伴教学训练方式，以减轻学生的模仿困难，并充分利用KD中训练有素的教师提供的监督信号。此外，我们还表明，我们的框架可以很容易地扩展到基于特征的蒸馏方法。在CIFAR-100和ImageNet数据集上的大量实验表明，该方法具有最先进的性能。
2021-11-23 cs.CV
Multi-level Knowledge Distillation via Knowledge Alignment and Correlation
Clemson University（克莱姆森大学）；University at Buffalo（布法罗大学）
知识蒸馏（KD）已成为模型压缩和知识转移的重要技术。在这项工作中，我们首先进行了全面的分析，通过不同的KD方法传递的知识。我们证明了传统的KD方法，它最大限度地减少了网络之间的softmax输出的KL分歧，只与单个样本的知识对齐有关。同时，目前基于对比学习的知识发现方法主要是在不同样本之间传递相关知识，即知识关联。在教师向学生传递完整知识的过程中，我们引入了多层次知识蒸馏（MLKD），有效地考虑了知识对齐和相关性。MLKD是任务不可知和模型不可知的，可以很容易地从监督或自我监督的预培训教师转移知识。我们表明，MLKD可以提高学习表示的可靠性和可转移性。实验表明，MLKD在大量实验设置上优于其他最先进的方法，包括不同的（a）预训练策略（b）网络架构（c）数据集（d）任务。
2021-06-04 cs.CV
Multi scale Feature Extraction and Fusion for Online Knowledge Distillation
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Key Laboratory of Space-ground Interconnection and Convergence（北京天地互联与融合重点实验室）
在线知识蒸馏在所有学生模型之间进行知识转移，以减轻对预训练模型的依赖。然而，现有的在线方法严重依赖于预测分布，而忽略了对代表性知识的进一步探索。本文提出了一种新的多尺度特征提取与融合方法（MFEF）用于在线知识蒸馏，该方法包括三个关键部分：多尺度特征提取、双注意和特征融合，以生成更多信息的特征图用于提取。为了提高特征图的多尺度表示能力，提出了基于通道维分割拼接的多尺度特征提取方法。为了获得更准确的信息，我们设计了一个双注意力，以加强重要的通道和空间区域自适应。此外，我们通过特征融合对先前处理的特征图进行聚合和融合，以辅助学生模型的训练。在CIF AR-10、CIF AR-100和CINIC-10上的大量实验表明，MFEF传递了更多有益的表征知识，并且在各种网络结构中优于替代方法
2022-06-16 cs.CV
Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution
知识蒸馏（KD）可以有效地将知识从笨重的网络（教师）转移到紧凑的网络（学生），在一些计算机视觉应用中已经展示了其优势。知识的表示对于知识的传递和学生的学习至关重要，通常以手工方式定义或直接使用中间特征。针对单幅图像的超分辨率任务，提出了一种师生架构下的模型无关Meta知识蒸馏方法。它提供了一种更灵活、更准确的方式，帮助教师根据学生的能力，通过知识表示网络（KRNets）与可学习的参数传递知识。为了提高知识表示对学生需求的感知能力，提出利用KRNets中学生的特征和师生之间的相关性，解决中间输出到传递知识的转化过程。具体地说，纹理感知的动态核生成，然后提取纹理特征进行改进和相应的教师指导，从而将蒸馏问题分解为纹理方面的监督，以进一步提高高频细节的恢复质量。此外，KRNets优化元学习的方式，以确保知识转移和学生的学习，有利于提高学生的重建质量。在不同的单图像超分辨率数据集上进行的实验表明，该方法优于现有定义的知识表示相关提取方法，并且可以帮助超分辨率算法在不引入任何推理复杂度的情况下获得更好的重建质量。
2022-07-18 cs.CV
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University（国立阳明交通大学）
最近，基于变换器的方法已被用于提高人类动作识别的性能。然而，大多数这些研究假设多视图数据是完整的，这可能并不总是在现实世界的情况下。因此，本文提出了一种新的多视图知识蒸馏Transformer（MKDT）框架，由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言，多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明，我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
Learning an Augmented RGB Representation with Cross-Modal Knowledge Distillation for Action Detection
Inria（法国国家信息与自动化研究所）；Stony Brook University（石溪大学）
在视频理解中，大多数跨模态知识蒸馏（KD）方法都是针对分类任务定制的，专注于修剪视频的区分表示。然而，动作检测不仅需要对动作进行分类，还需要在未修剪的视频中定位它们。因此，转移有关时间关系的知识对于这项任务至关重要，这在以前的跨模态KD框架中是缺失的。为此，我们的目标是学习用于动作检测的增强RGB表示，通过KD在训练时利用额外的模态。我们提出了一个KD框架，包括两个层次的蒸馏。一方面，原子级蒸馏鼓励RGB学生以对比的方式从老师那里学习动作的子表示。另一方面，序列级蒸馏鼓励学生从教师那里学习时间知识，包括转移全局上下文关系和动作边界显著性。结果是增强RGB流，其可以实现与双流网络一样的竞争性能，同时在推理时仅使用RGB。大量的实验分析表明，我们提出的蒸馏框架是通用的，并优于其他流行的跨模态蒸馏方法在动作检测任务。
2021-08-08 cs.CV
Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning
Zhejiang University（浙江大学）
针对现有多教师知识蒸馏方法忽略弱学习能力学生适配性的问题，提出基于元学习的自适应多教师知识蒸馏MMKD，通过元权重网络融合多层教师知识定制集成教师，经多基准实验验证有效且灵活。
2023-06-11 cs.CV
Student-friendly Knowledge Distillation
Beihang University（北京航空航天大学）
在知识蒸馏中，教师模型中的知识往往过于复杂，学生模型无法完全处理。然而，在现实生活中，好的老师总是在教学生之前把复杂的材料简化。受此启发，我们提出了学生友好的知识蒸馏（SKD），以简化教师输出到新的知识表示，这使得学习的学生模型更容易和更有效。SKD包含一个软化处理和一个学习软化器。首先，软化处理使用温度超参数来软化教师模型的输出logits，这在一定程度上简化了输出，并且使得学习简化器更容易处理。学习简化器利用注意力机制进一步简化教师模型的知识，并利用蒸馏损失与学生模型联合训练，这意味着简化的过程与学生模型的训练目标相关，并确保简化的新教师知识表示更适合特定的学生模型。此外，由于SKD不会改变蒸馏损失的形式，因此可以很容易地与基于logits或中间层特征的其他蒸馏方法结合，以提高其有效性。因此，SKD具有广泛的适用性。在CIFAR-100和ImageNet数据集上的实验结果表明，我们的方法在保持高训练效率的同时达到了最先进的性能。
2023-05-18 cs.CV
Preparing Lessons: Improve Knowledge Distillation with Better Supervision
知识蒸馏（KD）被广泛应用于训练一个紧凑的模型，并由另一个大模型监督，可以有效地提高性能。以往的方法主要集中在两个方面：1）训练学生模仿教师的表征空间; 2）逐步训练模型或添加额外的模块，如图3。来自老师的知识是有用的，但与地面真理相比，它仍然不完全正确。此外，过于不确定的监督也影响结果。我们引入了两种新的方法，知识调整（KA）和动态温度蒸馏（DTD），以惩罚不良的监督和改善学生模型。在CIFAR-100，CINIC-10和Tiny ImageNet上的实验表明，与现有方法相比，我们的方法获得了令人鼓舞的性能。当与其他基于KD的方法相结合时，性能将进一步提高。
2020-07-24 cs.CV
The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework
China Academy of Railway Sciences（中国铁道科学研究院）；NVIDIA（英伟达）
针对视频分类知识蒸馏中蒸馏方法与师生结构关系被忽视的问题，提出弱监督分阶段蒸馏框架，融合渐进级联训练、伪标签优化和特征分布损失，提升学生模型效率与准确率。
2023-07-16 cs.CV
Conditional Generative Data-free Knowledge Distillation
Zhejiang University of Technology（浙江工业大学）
知识蒸馏在模型压缩方面取得了显著的成果。然而，大多数现有的方法需要原始的训练数据，这通常是不可用的，由于隐私和安全问题。在本文中，我们提出了一个条件生成无数据知识蒸馏（CGDD）框架，用于在没有任何训练数据的情况下训练轻量级网络。该方法基于条件图像生成实现了高效的知识蒸馏。具体来说，我们把预设的标签作为地面实况训练一个条件生成器在半监督的方式。经过训练的生成器可以生成指定类别的训练图像。为了训练学生网络，我们迫使它提取隐藏在教师特征图中的知识，这些特征图为学习过程提供了关键线索。此外，通过设计多个损失函数，构建了一个提高精馏性能的对抗性训练框架。这个框架帮助学生模型探索更大的数据空间。为了证明所提出的方法的有效性，我们在不同的数据集上进行了广泛的实验。与其他无数据作品相比，我们的工作在CIFAR100，Caltech101和不同版本的ImageNet数据集上获得了最先进的结果。密码将会被释放。
2022-08-12 cs.CV
Adaptive Multi-Teacher Multi-level Knowledge Distillation
East China Normal University（华东师范大学）
知识蒸馏（KD）是一种有效的学习范式，通过利用教师网络中的额外监督知识来提高轻量级学生网络的性能。大多数开创性的研究要么只从一个老师那里学习，忽视了学生可以同时从多个老师那里学习的潜力，要么简单地把每个老师都视为同等重要，无法揭示教师对具体例子的不同重要性。为了弥补这一差距，我们提出了一种新的自适应多教师多层次知识蒸馏学习框架~（AMTML-KD），其中包括两个新的见解：（i）将每个教师与潜在表示相关联，以自适应地学习用于获取集成软目标的实例级教师重要性权重。（ii）通过所提出的多组提示策略，使中级提示~（中级知识）能够从多个教师处收集。因此，学生模型可以通过AMTML-KD从多个教师那里学习多层次的知识。在公开数据集上的广泛结果表明，所提出的学习框架确保学生比强大的竞争对手取得更好的成绩。
2021-03-06 cs.CV
Two-in-one Knowledge Distillation for Efficient Facial Forgery Detection
University of Sydney（悉尼大学）；UNSW Canberra（新南威尔士大学堪培拉分校）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61研究所）
人脸伪造检测是一个重要但极具挑战性的课题，随着伪造技术的快速发展，使得人工合成的人工制品变得高度不可区分。先前的工作表明，通过挖掘空间和频率信息，可以大大提高深度学习模型的伪造检测性能。然而，利用多种类型的信息通常需要神经网络中的多个分支，这使得模型变得沉重和繁琐。知识蒸馏作为一种有效建模的重要技术，可能是一种可能的补救措施。我们发现现有的知识蒸馏方法很难将双分支模型蒸馏成单分支模型。更具体地，在空间和频率分支上的知识蒸馏比仅在空间分支上的蒸馏具有劣化的性能。针对这一问题，本文提出了一种新的二合一知识蒸馏框架，该框架利用不同的特征投影器和梯度均匀化技术，将大型双分支网络中的信息平滑地合并到小型单分支网络中.在FaceForensics++和Celeb-DF两个数据集上的实验分析表明，该框架具有更少的参数，实现了更好的面部伪造检测性能。
2023-02-21 cs.CV
Frequency Attention for Knowledge Distillation
Monash University（莫纳什大学）；University of Surrey（萨里大学）
针对现有空间域注意力蒸馏难以捕获全局信息的问题，提出频域注意力模块，通过可学习全局滤波器在教师特征指导下调整学生特征频率，并结合知识回顾构建增强蒸馏模型，在分类和检测任务上性能优于现有方法。
2024-03-09 cs.CV
Model Distillation with Knowledge Transfer from Face Classification to Alignment and Verification
Beijing Orion Star Technology Co., Ltd.（北京猎户星空科技有限公司）
知识蒸馏是解决模型压缩问题的一种潜在方法。其思想是使一个小的学生网络模仿一个大的教师网络的目标，然后学生网络可以竞争的教师之一。大多数以前的研究集中在分类任务中的模型蒸馏，他们为学生网络提出了不同的架构师和初始化。然而，只有分类任务是不够的，其他相关的任务，如回归和检索几乎没有考虑。针对这一问题，本文以人脸识别为切入点，提出了从人脸分类到比对和验证的模型蒸馏和知识转移。通过选择合适的初始化和目标的知识转移，蒸馏可以更容易在非分类任务。在CelebA和CASIA-WebFace数据集上的实验表明，学生网络在对齐和验证方面可以与教师网络竞争，甚至在特定压缩率下超过教师网络。此外，为了实现更强的知识传递，我们还使用了一个常见的初始化技巧来提高分类的蒸馏性能。在CASIA-Webface和大规模MS-Celeb-1 M数据集上的评估显示了这个简单技巧的有效性。
2017-10-23 cs.CV
Explicit and Implicit Knowledge Distillation via Unlabeled Data
Fudan University（复旦大学）
无数据知识蒸馏是一个具有挑战性的模型轻量级任务的场景中，原始数据集是不可用的。以前的方法需要大量额外的计算成本来更新一个或多个生成器，并且它们幼稚的模仿学习导致较低的蒸馏效率。基于这些观察，我们首先提出了一种高效的无标记样本选择方法来取代高计算量的生成器，并专注于提高所选样本的训练效率。然后，设计了一种类丢弃机制来抑制数据域偏移引起的标签噪声。最后，我们提出了一种结合显式特征和隐式结构关系的蒸馏方法，以提高蒸馏的效果。实验结果表明，该方法能够快速收敛，并获得更高的精度比其他国家的最先进的方法。
2023-02-23 cs.CV
Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection
Hunan University（湖南大学）；Beijing University of Technology（北京理工大学）；Stanford University（斯坦福大学）；University of Technology Sydney（悉尼大学）
本文提出一种考虑知识不确定性的特征蒸馏方法，通过蒙特卡洛滴答技术提升学生模型对潜在知识的探索能力，在多种检测策略和架构中验证了方法的有效性。
2024-06-11 cs.CV
Understanding the Role of Mixup in Knowledge Distillation: An Empirical Study
Arizona State University（亚利桑那州立大学）
Mixup是一种流行的数据增强技术，基于通过在两个给定数据样本之间进行线性插值来创建新样本，以提高训练模型的泛化性和鲁棒性。另一方面，知识蒸馏（KD）广泛用于模型压缩和迁移学习，其涉及使用较大网络的隐式知识来指导较小网络的学习。乍一看，这两种技术似乎非常不同，然而，我们发现“平滑”是两者之间的连接纽带，也是理解KD与mixup相互作用的关键属性。虽然已经提出了许多混淆变体和蒸馏方法，但关于混淆在知识蒸馏中的作用仍有许多有待理解。本文对混淆与知识蒸馏相容性的各个重要维度进行了详细的实证研究。我们还通过对图像分类的广泛分析、可视化和综合实验，根据知识蒸馏，仔细检查了用混合训练的网络的行为。最后，根据我们的研究结果，我们提出了改进策略，以指导学生网络，以提高其有效性。此外，本研究的结果为通常使用KD技术的研究人员和从业人员提供了有见地的建议。我们的代码可在www.example.com上获得。
2022-11-09 cs.CV
Spirit Distillation: A Model Compression Method with Multi-domain Knowledge Transfer
Jilin University（吉林大学）
由于训练数据不足和计算资源有限，最近的应用对机器学习模型提出了跨领域知识转移和模型压缩的要求。本文提出了一种新的知识蒸馏模型--Spirit Distillation（SD），它是一种多领域知识转移的模型压缩方法。紧凑的学生网络模拟出相当于教师网络的前部的表示，通过该表示，一般知识可以从源域（教师）转移到目标域（学生）。为了进一步提高学生的鲁棒性，我们扩展SD增强精神蒸馏（ESD）在利用更全面的知识，通过引入接近域，这是类似的目标域特征提取。实验结果表明，该方法在分割方差为78.2%的情况下，mIOU和高精度准确率分别提高了1.4%和8.2%，并且可以以仅41.8%的FLOP获得精确的紧凑网络。
2021-04-29 cs.CV
Curriculum Temperature for Knowledge Distillation
Megvii（旷视科技）
大多数现有的蒸馏方法忽略了温度在损失函数中的灵活作用，并将其固定为可以通过低效的网格搜索来确定的超参数。一般来说，温度控制两个分布之间的差异，并可以忠实地确定蒸馏任务的难度水平。保持恒定的温度，即，任务难度的固定水平，通常是次优的成长中的学生在其渐进的学习阶段。在本文中，我们提出了一个简单的基于知识的技术，称为课程温度知识蒸馏（CTKD），它控制任务的难度水平，在学生的学习生涯中，通过一个动态的和可学习的温度。具体来说，遵循由易到难的课程，我们逐渐增加蒸馏损失w.r.t.温度，导致以对抗方式增加蒸馏难度。作为一种易于使用的插件技术，CTKD可以无缝集成到现有的知识蒸馏框架，并带来了一般的改进，在一个微不足道的额外的计算成本。在CIFAR-100、ImageNet-2012和MS-COCO上的大量实验证明了该方法的有效性。我们的代码可在https://github.com/zhengli97/CTKD上获得。
2022-12-24 cs.CV
Knowledge Distillation by On-the-Fly Native Ensemble
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Ltd（视觉语义有限公司）
知识蒸馏是一种有效的训练小而通用的网络模型，以满足低内存和快速运行的要求。现有的离线蒸馏方法依赖于一个强大的预先培训的教师，这使得有利的知识发现和转移，但需要一个复杂的两阶段培训程序。在线同行以缺乏高能力教师为代价解决了这一限制。在这项工作中，我们提出了一个在飞本地Encriminator（ONE）的一级在线蒸馏策略。具体来说，ONE只训练一个多分支网络，同时在运行中建立一个强大的老师来增强目标网络的学习。广泛的评估表明，ONE在CIFAR 10、CIFAR 100、SVHN和ImageNet四个图像分类数据集上比其他方法更显著地提高了各种深度神经网络的泛化性能，同时具有计算效率优势。
2018-09-08 cs.CV
KDTwin: Task-Aware Knowledge Distillation for Lightweight Multi-Task Driving Scene Segmentation
KDTwin提出任务感知知识蒸馏框架，通过编码器成对蒸馏和任务特定解码器损失，在不增加推理开销下提升轻量级多任务驾驶场景分割性能。
2026-09-17 cs.CV
MoKD: Multi-Task Optimization for Knowledge Distillation
MoKD将知识蒸馏重构为多目标优化，解决梯度冲突与主导问题，并引入子空间学习提升知识迁移，在ImageNet-1K和COCO上达到最先进性能。
2025-08-02 cs.CV
A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition
National Central University（国立中央大学）；Thai Nguyen University（太原大学）
知识蒸馏是将知识从重网络（教师）有效地转移到小网络（学生），以提高学生的表现。自知识蒸馏，知识蒸馏的特殊情况下，已被提出删除大型教师网络的培训过程，同时保持学生的表现。本文介绍了一种新的自我知识蒸馏方法，通过连体表示学习，最小化来自给定样本的两个不同视图的两个表示向量之间的差异。我们提出的方法，SKD-SRL，利用软标签蒸馏和相似性的表示向量。因此，SKD-SRL可以在同一数据点的各种视图中生成更一致的预测和表示。我们的基准已经在各种标准数据集上进行了评估。实验结果表明，SKD-SRL显着提高了准确性相比，现有的监督学习和知识蒸馏方法，无论网络。
2022-09-03 cs.AI cs.CV
Class-aware Information for Logit-based Knowledge Distillation
Cornell University（康奈尔大学）
知识蒸馏旨在通过利用教师模型的预测/特征将知识转移到学生模型，并且基于特征的蒸馏最近显示出其优于基于logit的蒸馏。然而，由于额外的特征变换的计算和存储繁琐，基于特征的方法的训练开销远高于基于logit的蒸馏。在这项工作中，我们重温了基于logit的知识蒸馏，并观察到现有的基于logit的蒸馏方法处理的预测logits仅在实例级别，而许多其他有用的语义信息被忽视。为了解决这个问题，我们提出了一个类感知的Logit知识蒸馏（CLKD）方法，扩展的logit蒸馏在实例级和类级。CLKD使学生模型能够从教师模型中模仿更高的语义信息，从而提高了蒸馏性能。我们进一步引入了一种新的损失，称为类相关性损失，迫使学生学习教师的固有类水平的相关性。实证比较表明，所提出的方法优于几个流行的基于logit的方法和基于特征的方法，其中CLKD在各种视觉分类任务上取得了令人信服的结果，并优于最先进的基线。
2022-11-27 cs.CV cs.LG
Learn From the Past: Experience Ensemble Knowledge Distillation
Tsinghua University（清华大学）；Tianjin University（天津大学）
传统的知识蒸馏将教师网络中的“暗知识”转移到学生网络中，忽略了教师在培训过程中的知识，即教师的经验。然而，在现实的教育场景中，学习体验往往比学习结果更重要。在这项工作中，我们提出了一种新的知识蒸馏方法，通过整合教师的经验知识转移，命名为经验集成知识蒸馏（EEKD）。我们从教师模型的训练过程中统一保存了适量的中间模型，然后通过集成技术将这些中间模型的知识进行集成。在知识转移过程中，自注意模块用于自适应地为不同的中间模型分配权重。从中间模型的质量、权重和数量三个方面探讨了构建EEKD的原则。一个令人惊讶的结论是，强大的合奏教师不一定产生强大的学生。在CIFAR-100和ImageNet上的实验结果表明，EEKD优于主流的知识蒸馏方法，达到了最新水平，特别是在节省训练成本的前提下，EEKD甚至超过了标准的集成蒸馏。
2022-02-25 cs.CV cs.LG
Hint-dynamic Knowledge Distillation
Xiamen University（厦门大学）
知识蒸馏（KD）是将知识从高能力教师模型转移到小规模学生模型。现有的努力通过匹配它们的预测逻辑、特征嵌入等来指导蒸馏，而留下如何有效地利用它们的较少探索的结。在本文中，我们提出了提示动态知识蒸馏，简称为HKD，它挖掘知识，从教师的提示，在一个动态的计划。知识提示的指导作用在不同的学习实例和学习阶段往往不同，这促使我们自适应地为每个实例定制特定的提示学习方式。具体地说，元权重网络被引入到学生模型的动态学习过程的感知中，以产生关于知识提示的实例权重系数。我们进一步提出了一个权重集成策略，以消除潜在的偏差系数估计利用历史静态。在CIFAR-100和Tiny-ImageNet标准基准测试上的实验表明，HKD能有效地提高知识蒸馏任务的效率.
2022-11-30 cs.CV cs.LG
Decoupled Knowledge Distillation
MEGVII Technology（旷视科技）；Waseda University（早稻田大学）；Tsinghua University（清华大学）
现有的蒸馏方法主要基于从中间层提取深层特征，而logit蒸馏的重要性被大大忽视。为了提供研究logit蒸馏的新观点，我们将经典的KD损失重新表示为两部分，即，目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们实证研究并证明了这两部分的效果：TCKD转移有关训练样本的“难度”的知识，而NCKD是logit蒸馏工作的突出原因。更重要的是，我们揭示了经典的KD损失是一个耦合的公式，它（1）抑制NCKD的有效性和（2）限制了平衡这两个部分的灵活性。为了解决这些问题，我们提出了解耦的知识蒸馏（DKD），使TCKD和NCKD更有效和灵活地发挥各自的作用。与复杂的基于特征的方法相比，我们的DKD在CIFAR-100、ImageNet和MS-COCO数据集上实现了相当甚至更好的结果，并且在图像分类和目标检测任务中具有更好的训练效率。本文证明了logit蒸馏的巨大潜力，并希望对未来的研究有所帮助。该代码可在www.example.com上获得。
2022-07-12 cs.AI cs.CV
On the Efficacy of Knowledge Distillation
Cornell University（康奈尔大学）
在本文中，我们提出了一个彻底的评估知识蒸馏的功效和它对学生和教师架构的依赖。从观察到更准确的教师往往不是好教师开始，我们试图梳理影响知识蒸馏表现的因素。我们发现，重要的是，更大的模型往往不会成为更好的教师。我们表明，这是一个不匹配的能力的后果，小学生无法模仿大教师。我们发现规避这一点的典型方法（例如执行一系列知识蒸馏步骤）是无效的。最后，我们表明，这种影响可以通过提前停止教师的培训来减轻。我们的研究结果在数据集和模型中具有普遍性。
2019-10-03 cs.CV cs.LG
Classification of Diabetic Retinopathy Using Unlabeled Data and Knowledge Distillation
Isfahan University of Technology（伊斯法罕理工大学）；Seattle University（西雅图大学）；McMaster University（麦克马斯特大学）
知识蒸馏允许将知识从预先训练的模型转移到另一个模型。然而，它受到限制，与两个模型相关的约束需要在架构上相似。知识蒸馏通过将复杂的模型推广到更轻的模型来解决与迁移学习相关的一些缺点。然而，知识的某些部分可能没有被知识蒸馏充分地蒸馏。提出了一种基于迁移学习的知识提取方法。该方法将模型的全部知识转移到一个新的较小的模型中。为了实现这一点，以无监督的方式使用未标记的数据，将最大量的知识转移到新的精简模型中。所提出的方法可以是有益的医学图像分析，标记的数据通常是稀缺的。所提出的方法进行评估的背景下，分类的图像诊断糖尿病视网膜病变的两个公开可用的数据集，包括Messidor和EyePACS。仿真结果表明，该方法可以有效地将知识从复杂模型转移到较轻的模型。此外，实验结果表明，不同的小模型的性能显着提高使用未标记的数据和知识蒸馏。
2020-09-01 cs.CV eess.IV
Relational Knowledge Distillation
POSTECH（浦项科技大学）；Microsoft Research（微软研究院）
知识蒸馏旨在将一个模型（教师）中获得的知识转移到另一个模型（学生）中，该模型通常较小。以前的方法可以表示为训练学生模仿由教师表示的单个数据示例的输出激活的形式。我们介绍了一种新的方法，被称为关系知识蒸馏（RKD），而不是转移相互关系的数据示例。对于RKD的具体实现，我们提出了距离和角度蒸馏损失，惩罚关系中的结构差异。在不同任务上进行的实验表明，该方法提高了受过教育的学生模型具有显着的利润率。特别是对于度量学习，它允许学生超越老师的表现，在标准基准数据集上达到最先进的水平。
2019-05-01 cs.CV cs.LG
Data-free Knowledge Distillation for Segmentation using Data-Enriching GAN
Indian Institute of Science（印度科学研究所）
从巨大的预训练网络中提取知识以提高微型网络的性能，有利于深度学习模型在许多实时和移动应用中的使用。在这一领域取得成功的几种方法利用了真实的训练数据集来提取相关知识。然而，在没有True数据集的情况下，从深度网络中提取知识仍然是一个挑战。最近的工作无数据知识蒸馏展示了这样的分类任务的技术。为此，我们探讨了无数据知识蒸馏的任务分割任务。首先，我们确定了细分所特有的几个挑战。我们利用DeGAN训练框架提出了一种新的损失函数，用于在少数类别代表性不足的情况下实施多样性。此外，我们探索了一个新的培训框架进行知识蒸馏在无数据的设置。与以前的方法相比，我们的平均IoU提高了6.93%。
2020-11-02 cs.CV eess.IV
What Knowledge Gets Distilled in Knowledge Distillation?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对知识蒸馏领域对蒸馏过程本质认知不足的问题，通过全面研究验证现有知识蒸馏方法除提升任务性能外，还可间接蒸馏教师网络的目标定位、对抗样本敏感性、数据不变性等特性，并探究了成因与实际意义。
2023-11-06 cs.CV cs.LG
