Teaching What You Should Teach: A Data-Based Distillation Method
Beijing Institute of Technology（北京理工大学）；Hunan University（湖南大学）；Tsinghua University（清华大学）
受真实教学启发，本文提出基于数据的蒸馏方法TST，通过设计带先验偏置的数据增强模块生成符合教师优势与学生弱点的样本，在多项视觉任务上达到最先进性能。
2023-05-20 cs.CV
Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Looko Inc.（洛可公司）
知识蒸馏是一种将知识从预训练的复杂教师模型转移到学生模型的方法，因此较小的网络可以在部署阶段取代大型教师网络。为了减少训练大型教师模型的必要性，最近的文献引入了自知识蒸馏，其在没有预先训练的教师网络的情况下逐步训练学生网络以提取其自身的知识。虽然自知识蒸馏主要分为基于数据增强的方法和基于辅助网络的方法，但数据增强方法在增强过程中丢失了其局部信息，这阻碍了其对诸如语义分割的各种视觉任务的适用性。此外，这些知识蒸馏方法不接收在目标检测和语义分割社区中普遍存在的细化的特征图。本文提出了一种新的自知识提取方法--基于自知识蒸馏的特征精炼（FRSKD），它利用辅助自教师网络向分类器网络传递精炼后的知识。我们提出的方法，FRSKD，可以利用软标签和特征图蒸馏的自我知识蒸馏。因此，FRSKD可以应用于分类，语义分割，强调保持局部信息。我们证明了FRSKD的有效性，列举其在不同的任务和基准数据集的性能改进。实现的代码可在https://github.com/MingiJi/FRSKD上获得。
2021-03-15 cs.CV
Cascaded channel pruning using hierarchical self-distillation
Imperial College London（帝国理工学院）
本文提出了一种基于教师、助教和学生框架的分层知识蒸馏过滤级剪枝方法。我们的方法利用教学助理在中间修剪水平，共享相同的架构和权重的目标学生。我们建议使用来自其对应老师的梯度信息来独立地修剪每个模型。通过考虑每个学生-教师对的相对大小，该公式提供了知识蒸馏的能力差距和过滤器显著性更新的偏差之间的自然权衡。我们的研究结果表明，使用VGG 16和ResNet 50架构的CIFAR 10和ImageNet分类任务在可达到的准确性和模型压缩方面有所改进。我们提供了一个广泛的评估，证明了使用不同数量的教学助理模型在不同大小的好处。
2020-08-16 cs.CV
Perspective-Aware Teaching: Adapting Knowledge for Heterogeneous Distillation
National Yang Ming Chiao Tung University（阳明交通大学）；Jilin University（吉林大学）；National Taiwan University（台湾大学）
本文提出视角感知教学（PAT）知识蒸馏框架，通过提示调优块和区域感知注意力解决异构架构间的特征蒸馏问题，在CIFAR、ImageNet和COCO上验证了其优越性。
2025-10-16 cs.CV
Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection
Hunan University（湖南大学）；Beijing University of Technology（北京理工大学）；Stanford University（斯坦福大学）；University of Technology Sydney（悉尼大学）
本文提出一种考虑知识不确定性的特征蒸馏方法，通过蒙特卡洛滴答技术提升学生模型对潜在知识的探索能力，在多种检测策略和架构中验证了方法的有效性。
2024-06-11 cs.CV
MonoTAKD: Teaching Assistant Knowledge Distillation for Monocular 3D Object Detection
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）；Cisco Systems, Inc.（思科系统公司）；Taijitu AI, Inc.（太极图人工智能公司）；National Taiwan Normal University（国立台湾师范大学）；National Taiwan University（国立台湾大学）
针对单目3D检测中深度模糊导致的知识蒸馏性能下降，提出MonoTAKD方法，引入相机助教模型和残差3D空间线索，在KITTI3D上达到最优，并验证了泛化性。
2025-03-26 cs.CV
Unifying Heterogeneous Classifiers with Distillation
IBM Research（IBM研究院）；Amazon（亚马逊）
在本文中，我们研究的问题，统一的知识从一组不同的架构和目标类的分类到一个单一的分类器，只给一个通用的一组未标记的数据。我们称之为统一异构分类器（UHC）。这个问题是由从多个源收集数据的场景引起的，但是源不能共享它们的数据，例如，由于隐私问题，只有私人训练的模型可以共享。此外，由于每个源处的数据可用性，每个源可能不能够收集数据以训练所有类别，并且由于不同的计算资源，可能不能够训练相同的分类模型。为了解决这个问题，我们提出了一个概括的知识蒸馏合并HC。我们推导出一个概率关系之间的输出的HC和概率在所有类。基于这种关系，我们提出了两类基于交叉熵最小化和矩阵分解的方法，这使我们能够估计软标签在所有类别的未标记的样本，并使用它们代替地面真值标签训练一个统一的分类器。我们在ImageNet、LSUN和Places365数据集上进行的大量实验表明，我们的方法明显优于蒸馏的朴素扩展，并且可以达到与以集中式监督方式训练的分类器几乎相同的准确性。
2019-04-12 cs.CV cs.LG
Teaching MLP More Graph Information: A Three-stage Multitask Knowledge Distillation Framework
Xi’an Jiaotong University（西安交通大学）；Arizona State University（亚利桑那州立大学）；Tongji University（同济大学）
针对 GNN 在大规模图推理中的高时空开销及图知识蒸馏到 MLP 时的位置信息丢失、泛化不足问题，提出融合位置编码、Neural Heat Kernels 与隐藏层匹配的三阶段多任务蒸馏框架。
2026-10-14 cs.AI cs.LG
Densely Guided Knowledge Distillation using Multiple Teacher Assistants
Ajou University（亚洲大学）
随着深度神经网络的成功，引导小型学生网络从大型教师网络学习的知识蒸馏正在被积极研究，用于模型压缩和迁移学习。然而，很少有研究已经进行，以解决学生网络的学习效果差的问题时，学生和教师模型的大小显着不同。在本文中，我们提出了一个密集的指导知识蒸馏使用多个教师助理，逐渐减少模型的大小，有效地弥合教师和学生网络之间的巨大差距。为了刺激学生网络的更有效学习，我们迭代地将每个教师助理引导到每个其他较小的教师助理。具体而言，当在下一步骤中教导较小的教师助理时，使用来自前一步骤的现有较大的教师助理以及教师网络。此外，我们设计随机教学，对于每个小批量，教师或教师助理随机下降。这作为一个正规化，以提高学生网络的教学效率。因此，学生总是可以从多个来源学习突出的提炼知识。我们使用CIFAR-10、CIFAR-100和ImageNet验证了所提出的方法对分类任务的有效性。我们还通过ResNet、WideResNet和VGG等各种骨干架构实现了显著的性能提升。
2021-08-09 cs.CV
MSD: Multi-Self-Distillation Learning via Multi-classifiers within Deep Neural Networks
Peking University（北京大学）
随着神经网络的发展，越来越多的深度神经网络被应用于各种任务中，如图像分类。然而，由于计算开销巨大，这些网络无法应用于移动设备或其他低延迟场景。为了解决这个难题，提出了多分类器卷积网络，以允许通过具有相应分类器的早期分类器进行更快的推理。这些网络利用复杂的设计来提高早期分类器的准确性。然而，天真地训练多分类器网络可能会损害深度神经网络的性能（准确性），因为早期的分类器会干扰特征生成过程。在本文中，我们提出了一个通用的训练框架称为多自蒸馏学习（MSD），挖掘同一网络中的不同分类器的知识，提高每个分类器的准确性。我们的方法不仅可以应用于多分类器网络，还可以应用于现代CNN（例如，ResNet系列），增加了额外的侧支分类器。我们使用基于采样的分支增强技术将单分类器网络转换为多分类器网络。这减小了不同分类器之间的能力差距，提高了应用MSD的有效性。我们的实验表明，MSD提高了各种网络的准确性：对于现有的多分类器网络（MSDNet），显著提高了每个分类器的准确性，改进了具有高准确性的内部分类器的香草单分类器网络，同时也提高了最终的准确性。
2019-12-02 cs.CV
Knowledge Distillation with Adversarial Samples Supporting Decision Boundary
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；NAVER Corp（NAVER公司）；Clova AI Research（Clova人工智能研究院）
近年来，许多关于知识蒸馏的研究提供了一种新的方法来转移网络的知识，以改善新网络的学习过程，但如何找到一种好的知识蒸馏技术仍然是一个悬而未决的问题。在本文中，我们提供了一个新的视角的基础上的决策边界，这是一个最重要的组成部分的分类。分类器的泛化性能与其决策边界的充分性密切相关，因此一个好的分类器具有一个好的决策边界。因此，传递与决策边界密切相关的信息可以成为知识蒸馏的一种很好的尝试。为了实现这一目标，我们利用对抗攻击来发现支持决策边界的样本。基于这一思想，为了传递更准确的决策边界信息，该算法利用支持决策边界的对抗样本训练学生分类器。实验结果表明，该方法确实提高了知识蒸馏，达到了最先进的性能。
2018-12-14 cs.CV cs.LG stat.ML
Knowledge Transfer via Dense Cross-Layer Mutual-Distillation
Intel Labs China（英特尔中国研究院）
基于知识蒸馏（KD）的方法采用单向知识转移（KT）方案，其中训练低能力学生网络由预先训练的高能力教师网络引导。最近，深度相互学习（DML）提出了一种双向KT策略，表明学生网络也有助于改善教师网络。在本文中，我们提出了密集跨层相互蒸馏（DCM），一种改进的双向KT方法，其中教师和学生网络从头开始协同训练。为了增强知识表示学习，精心设计的辅助分类器被添加到教师和学生网络的某些隐藏层。为了提高KT性能，我们在附加分类器的层之间引入密集的双向KD操作。在训练之后，所有辅助分类器都被丢弃，因此没有额外的参数被引入到最终模型中。我们测试我们的方法在各种KT任务，显示其优越性，相关的方法。代码可在https://github.com/sundw2014/DCM上获得
2020-08-18 cs.CV cs.LG
Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction
提出LT-OPD框架，通过在线策略自蒸馏和预算课程，在极端视觉令牌缩减下恢复MLLM性能，平均保留性能从68.6%提升至82.3%，并显著降低KV缓存和预填充计算量。
2026-10-02 cs.CL cs.CV cs.LG
Towards Understanding Knowledge Distillation
IST Austria (Institute of Science and Technology Austria)（奥地利科学技术研究所）
知识蒸馏，即，根据另一分类器的输出训练一个分类器，这是一种经验上非常成功的分类器之间知识转移技术。甚至已经观察到，如果使用另一个分类器的输出作为软标签进行训练，而不是从地面真实数据进行训练，则分类器学习得更快，更可靠。然而，到目前为止，还没有令人满意的理论解释这一现象。在这项工作中，我们通过研究线性和深度线性分类器的特殊情况，首次深入了解了蒸馏的工作机制。具体来说，我们证明了一个泛化界，建立蒸馏训练的线性分类器的预期风险的快速收敛。从边界及其证明中我们提取出决定蒸馏成功的三个关键因素：* 数据几何--数据分布的几何性质，特别是类分离，对风险的收敛速度有直接影响; * 优化偏差--梯度下降优化找到一个非常有利的蒸馏目标的最小值;* 强单调性-当训练集的大小增加时，学生分类器的预期风险总是降低。
2021-05-27 cs.LG stat.ML
Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Snap Inc.（色拉布公司）
图神经网络（GNN）是图机器学习的热门工具，在广泛的节点分类任务中表现出了很好的效果。然而，由于数据依赖性带来的可扩展性挑战，它们在行业实际部署中不太受欢迎。也就是说，GNN推理依赖于距离目标多跳的邻居节点，并且获取它们会给延迟受限的应用程序带来负担。现有的推理加速方法（如修剪和量化）可以通过减少乘法和累积（MAC）操作来加速GNN，但由于数据依赖性没有得到解决，因此改进是有限的。相反，多层感知器（MLP）没有图形依赖性，并且比GNN更快地进行推断，即使它们通常在节点分类方面不如GNN准确。在这些互补的优势和劣势的激励下，我们通过知识蒸馏（KD）将GNN和MLP结合在一起。我们的工作表明，使用GNN KD可以大幅提高MLP的性能。我们称提取的MLP为无图神经网络（GLNN），因为它们没有推理图依赖。我们发现，具有竞争力准确性的GLNN比GNN的推断速度快146倍-273倍，比其他加速方法快14倍-27倍。在涉及7个数据集的转换和归纳预测的生产环境下，GLNN的准确性平均比独立的MLP提高了12.36%，并在6/7个数据集上与GNN相匹配。综合分析显示了GLNN何时以及为什么可以达到与GNN竞争的精度，并建议GLNN作为延迟受限应用的方便选择。
2022-03-23 cs.AI cs.LG
Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
在本文中，我们解决多目标领域自适应（MTDA），其中给定一个标记的源数据集和多个未标记的目标数据集，不同的数据分布，任务是学习一个强大的预测器的所有目标域。我们确定了两个关键方面，可以帮助减轻多个领域的转移MTDA：功能聚合和课程学习。为此，我们提出了使用双分类器头的课程图协同教学（CGCT），其中一个是图卷积网络（GCN），它聚合了来自不同领域相似样本的特征。为了防止分类器过度拟合自己的嘈杂伪标签，我们开发了一种与双分类器头的联合教学策略，该策略由课程学习辅助，以获得更可靠的伪标签。此外，当领域标签可用时，我们提出了领域感知课程学习（DCL），一个顺序的适应策略，首先适应较容易的目标领域，其次是较难的。我们通过实验证明了我们提出的框架在几个基准测试中的有效性，并大幅提升了MTDA的最新水平（例如，在DomainNet上提升了+5.6%）。
2021-04-01 cs.CV
Distilling Image Classifiers in Object Detectors
EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）
知识蒸馏是一种简单而有效的方法，通过利用更强大的教师的知识来提高紧凑的学生网络的性能。然而，知识蒸馏文献仍然局限于学生和教师处理相同任务的场景。在这里，我们调查的问题，不仅跨架构，而且跨任务的知识转移。为此，我们研究了目标检测的情况下，而不是按照标准的检测器到检测器蒸馏方法，引入一个分类器到检测器的知识转移框架。特别是，我们提出的策略，利用分类教师，以提高检测器的识别精度和定位性能。我们在几个具有不同骨架的检测器上的实验证明了我们方法的有效性，使我们能够胜过最先进的检测器到检测器蒸馏方法。
2022-02-10 cs.AI cs.CV cs.LG
Distilling Knowledge via Intermediate Classifiers
Ontario Tech University（安大略理工大学）
知识蒸馏的关键是在预先训练好的大规模教师模型的指导下，有效地训练资源有限的学生模型。然而，当教师和学生的模型复杂度之间存在较大差异时（即，能力差距），知识蒸馏失去了将知识从教师转移到学生的力量，从而培养出一个较弱的学生。为了减轻能力差距的影响，我们通过中间头引入知识蒸馏。通过用分类器头扩展教师的中间层（在不同的深度），我们廉价地获得了一批异构的预先训练的教师。中间分类器头可以一起有效地学习，同时冻结预先训练的教师的骨干。教师（包括原来的教师）的队列共同教学生同时进行。我们在不同师生对和数据集上的实验表明，该方法优于规范的知识蒸馏方法及其扩展。
2021-05-31 cs.AI cs.CV cs.LG
It's All in the Head: Representation Knowledge Distillation through Classifier Sharing
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
表示知识蒸馏旨在将丰富的信息从一个模型转移到另一个模型。表示蒸馏的常见方法主要集中在模型嵌入向量之间的距离度量的直接最小化。这样的直接方法可能在传递嵌入在表示向量中的高阶依赖关系或处理教师和学生模型之间的能力差距方面受到限制。此外，在标准的知识蒸馏中，教师在没有意识到学生的特点和能力的情况下接受培训。在本文中，我们探讨了两种机制，提高代表蒸馏使用教师和学生之间的分类器共享。我们首先调查一个简单的方案，教师的分类器连接到学生骨干，作为一个额外的分类头。然后，我们提出了一个学生意识的机制，要求量身定制的教师模型，以一个学生的能力有限，通过培训教师与一个临时的学生的头。我们分析和比较这两种机制，并显示其有效性的各种数据集和任务，包括图像分类，细粒度分类，人脸验证。特别是，我们在MobileFaceNet模型的IJB-C数据集上实现了最先进的人脸验证结果：TAR@（FAR= 1 e-5）=93.7\%。代码可在https://github.com/Alibaba-MIIL/HeadSharingKD上获得。
2022-04-05 cs.CV
Generalized Knowledge Distillation via Relationship Matching
Nanjing University（南京大学）
经过良好训练的深度神经网络（也称为“教师”）对于学习类似的任务是有价值的。知识蒸馏从教师那里提取知识，并将其与目标模型（即“学生”），这扩大了学生的知识，提高了学习效率。我们不是强迫老师和学生做同样的任务，而是从一个从一般标签空间训练出来的老师那里借用知识--在这个“广义知识蒸馏（GKD）"中，老师和学生的类可能是相同的，完全不同的，或者部分重叠的。我们声称，实例之间的比较能力作为一个必要的因素线程的知识跨任务，并提出了关系Facilitated本地classifiEr蒸馏（REFILLED）的方法，它简化了GKD流程的嵌入和顶层分类器。特别是，与协调模型之间的实例标签置信度不同，REFILLED要求教师重新加权学生推送的硬元组，然后匹配实例之间的相似性比较水平。基于教师模型的嵌入诱导分类器监督学生的分类信心，并自适应地强调教师最相关的监督。REFILLED在教师的类从相同到完全不重叠的集合w.r.t.那个学生它还在标准知识蒸馏、一步增量学习和少样本学习任务上实现了最先进的性能。
2022-05-04 cs.CV cs.LG
Knowledge Distillation Under Ideal Joint Classifier Assumption
The University of Arizona（亚利桑那大学）；Clemson University（克莱姆森大学）；EpiSci（EpiSci公司）
提出IJCKD框架，基于领域自适应理论分析学生网络误差边界，为知识蒸馏提供理论支撑并实现高效知识迁移。
2024-02-09 cs.LG
ProxylessKD: Direct Knowledge Distillation with Inherited Classifier for Face Recognition
YITU Technology（依图科技）；Northeastern University of China（中国东北大学）
知识蒸馏（KD）是指将知识从一个大模型转移到一个小模型中，广泛用于提高机器学习中模型的性能。它试图对齐从教师和学生模型生成的嵌入空间（即，使对应于相同语义的图像在不同模型中共享相同的嵌入）。在这项工作中，我们专注于它在人脸识别中的应用。我们观察到，现有的知识蒸馏模型优化代理任务，迫使学生模仿教师的行为，而不是直接优化人脸识别的准确性。因此，不能保证获得的学生模型在目标任务上是最优的，或者能够受益于高级约束，例如大余量约束（例如基于余量的softmax）。然后，我们提出了一种名为ProxylessKD的新方法，通过继承教师的分类器作为学生的分类器来指导学生学习教师的嵌入空间中的判别嵌入，直接优化人脸识别的准确性。所提出的ProxylessKD是非常容易实现和足够的通用扩展到人脸识别以外的其他任务。我们进行了广泛的实验标准的人脸识别基准，结果表明，ProxylessKD实现优于现有的知识蒸馏方法的性能。
2020-10-31 cs.CV
Knowledge Distillation with the Reused Teacher Classifier
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；ZJU-Bangsun Joint Research Center（浙江大学-邦盛联合研究中心）；Zhejiang University of Technology（浙江工业大学）
知识蒸馏的目标是将一个强大而繁琐的教师模型压缩成一个轻量级的学生模型，而不会牺牲太多的性能。为此目的，在过去的几年中，已经提出了各种方法，通常与精心设计的知识表示，这反过来又增加了模型开发和解释的难度。相反，我们的经验表明，一个简单的知识蒸馏技术是足以显着缩小师生绩效差距。我们直接从预训练的教师模型中重用判别分类器用于学生推理，并通过具有单个$\ell_2$损失的特征对齐来训练学生编码器。通过这种方式，学生模型能够实现与教师模型完全相同的性能，前提是它们提取的特征完全对齐。一个额外的投影仪的开发，以帮助学生编码器匹配的教师分类器，这使得我们的技术适用于各种教师和学生的架构。大量的实验表明，我们的技术实现了国家的最先进的结果在适度的压缩比的成本，由于增加了投影仪。
2022-03-26 cs.CV
Revisiting Distillation and Incremental Classifier Learning
National University of Sciences and Technology（国家科技大学）；School of Electrical Engineering and Computer Science（电子工程与计算机科学学院）；National Center of Artificial Intelligence（国家人工智能中心）
人类和人工神经网络（ANN）的学习机制之间的关键区别之一是人类一次学习一项任务的能力。另一方面，ANN只能同时学习多个任务。任何学习新任务的尝试都会导致他们完全忘记以前的任务。这种缺乏增量学习能力的现象被称为灾难性遗忘，被认为是构建真正的人工智能系统的主要障碍。在本文中，我们的目标是将真正有效的增量学习思想与那些只在特定条件下有效的思想分离开来。为此，我们首先深入分析了当前最先进的增量学习方法（iCaRL），并证明了系统的良好性能并不是因为现有文献中提出的原因。我们的结论是，iCaRL的成功主要是由于知识蒸馏和认识到一个关键的限制知识蒸馏，即，它往往会导致偏见的分类。最后，我们提出了一个动态阈值移动算法，能够成功地消除这种偏见。我们证明了我们的算法在CIFAR100和MNIST数据集上的有效性，显示出接近最佳的结果。我们的实现可以在https://github.com/Khurramjaved96/incremental-learning上获得。
2019-03-25 cs.CV cs.LG stat.ML
Feature Fusion for Online Mutual Knowledge Distillation
Seoul National University（首尔大学）
我们提出了一个名为特征融合学习（FFL）的学习框架，有效地训练一个强大的分类器，通过一个融合模块，结合从并行神经网络生成的特征图。具体来说，我们训练了一些并行的神经网络作为子网络，然后我们使用融合模块将每个子网络的特征图组合起来，以创建一个更有意义的特征图。融合后的特征图被传递到融合分类器进行整体分类。与现有的特征融合方法不同，在我们的框架中，子网络分类器的集成将其知识传递到融合分类器，然后融合分类器将其知识传递回每个子网络，以在线知识蒸馏的方式相互教学。这种互教系统不仅提高了融合分类器的性能，而且在各个子网络中也获得了性能增益。此外，我们的模型是更有益的，因为不同类型的网络可以用于每个子网络。我们在CIFAR-10、CIFAR-100和ImageNet等多个数据集上进行了各种实验，证明了我们的方法在子网络和融合分类器的性能方面都比其他方法更有效。
2020-07-21 cs.CV
Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation
Megvii（旷视科技）
知识蒸馏通常将知识从预先训练的笨重的教师网络转移到紧凑的学生网络，这遵循经典的教师-教学-学生范式。基于这种范例，以前的方法主要集中在如何有效地训练更好的学生网络进行部署。不同于现有的实践，在本文中，我们提出了一种新的学生帮助教师公式，教师进化通过自我知识蒸馏（TESKD），其中目标教师（部署）是学习与多层次的学生通过共享结构骨干的帮助。来自多个学生的不同反馈允许教师通过共享的特征表示来改进自己。我们提出的框架的有效性通过在两个标准基准测试（包括CIFAR-100和ImageNet）上使用各种网络设置进行的广泛实验来证明。值得注意的是，当与我们提出的方法一起训练时，ResNet-18在CIFAR-100和ImageNet上实现了79.15%和71.14%的准确率，分别比基线结果高出4.74%和1.43%。该代码可从以下网址获取：https://github.com/zhengli427/TESKD。
2021-10-13 cs.CV cs.LG
Fuzzy Knowledge Distillation from High-Order TSK to Low-Order TSK
Huzhou University（湖州师范学院）；Zhejiang Normal University（浙江师范大学）；Jiangnan University（江南大学）；Huazhong University of Science and Technology（华中科技大学）；Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）
高阶TSK（High-order Takagi-Sugeno-Kang）模糊分类器具有较强的分类性能，但模糊规则较少，训练时间呈指数增长，模糊规则后件部分使用高阶多项式，可解释性较差;低阶TSK模糊分类器运行速度快，可解释性高，但模糊规则较多，分类性能相对较差。针对这一问题，提出了一种嵌入深度学习中知识蒸馏的TSK模糊分类器HTSK-LLM-DKD。HTSK-LLM-DKD具有以下独特的特点：1）采用高阶TSK分类器作为教师模型，低阶TSK模糊分类器作为学生模型，利用LLM-DKD（Least Learning Machine based Decoupling知识蒸馏）将模糊暗知识从高阶TSK模糊分类器提取到低阶TSK模糊分类器，这导致低阶TSK模糊分类器被赋予超过或至少与高阶TSK分类器相当的增强性能以及高可解释性;具体地说，2）教师模型的输出与每个类之间的负欧式距离被用来获得教师logits，3）通过对Kullback-Leibler散度的重新定义，将模糊暗知识分解为目标类知识和非目标类知识，并将其转化为学生模型。HTSK-LLM-DKD的优势在基准UCI数据集和克利夫兰心脏病的真实数据集上得到了验证，包括分类性能和模型可解释性。
2023-02-16 cs.LG
Classifier-guided CLIP Distillation for Unsupervised Multi-label Classification
Samsung Electronics（三星电子）；KAIST（韩国科学技术院）
针对CLIP用于无监督多标签分类时存在的视图依赖预测和固有偏差问题，提出分类器引导的CLIP蒸馏方法CCD，借助分类器CAM选择目标附近多视图并对CLIP伪标签去偏，在多数据集上取得优于现有方法的效果。
2025-03-21 cs.AI cs.CV
Bi-directional Weakly Supervised Knowledge Distillation for Whole Slide Image Classification
Fudan University（复旦大学）
基于全切片图像分类的计算机辅助病理诊断在临床实践中发挥着重要作用，通常将其描述为弱监督多实例学习问题。现有的方法从包分类或实例分类的角度解决了这个问题。在本文中，我们提出了一个端到端的弱监督知识蒸馏框架（WENO）的WSI分类，它集成了一个袋分类器和一个实例分类器的知识蒸馏框架，以相互提高两个分类器的性能。具体地，基于注意力的袋分类器被用作教师网络，其用弱袋标签训练，并且实例分类器被用作学生网络，其使用从教师网络获得的归一化注意力分数作为正袋中的实例的软伪标签来训练。教师和学生之间共享一个实例特征提取器，以进一步加强他们之间的知识交流。此外，我们提出了一种基于学生网络输出的硬正例挖掘策略，以迫使教师网络继续挖掘硬正例。WENO是一个即插即用的框架，可以很容易地应用于任何现有的基于注意力的袋子分类方法。在五个数据集上的实验证明了WENO的有效性。代码可在https://github.com/miccaiif/WENO上获得。
2022-10-10 cs.CV
CES-KD: Curriculum-based Expert Selection for Guided Knowledge Distillation
McGill University（麦吉尔大学）
知识蒸馏（KD）是压缩边缘设备深分类模型的有效工具。然而，KD的性能受到教师和学生网络之间的大容量差距的影响。最近的方法已经求助于KD的多教师助理（TA）设置，其顺序地减小教师模型的大小以相对地弥合这些模型之间的大小差距。本文提出了一种新的技术，称为课程专家选择知识蒸馏（CES-KD），有效地提高能力差距问题下的紧凑型学生的学习。这种技术是建立在这样的假设之上的，即学生网络应该使用分层教学课程来逐步引导，因为它从较低（较高）容量的教师网络中更好、更快地学习简单（硬）数据样本。具体来说，我们的方法是一个渐进的TA为基础的KD技术，选择一个单一的教师，每个输入图像的基础上，课程驱动的分类图像的难度。在这项工作中，我们根据经验验证了我们的假设，并对CIFAR-10、CIFAR-100、CINIC-10和ImageNet数据集进行了严格的实验，并在VGG类模型、ResNets和WideResNets架构上显示出更高的准确性。
2022-09-15 cs.CV cs.LG
Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；School of Information Technology and Electrical Engineering, The University of Queensland（信息科技与电气工程学院，昆士兰大学）
为解决 HGNN 推理延迟高的问题，提出 HG2M 和 HG2M+ 知识蒸馏框架，将 HGNN 的异构语义知识蒸馏到 MLP 中，在保持高精度的同时实现 379.24 倍的推理加速。
2025-07-14 cs.LG
Multi-granularity for knowledge distillation
Jiangnan University（江南大学）
考虑到学生理解教师传授知识的能力不同，提出了一种多粒度蒸馏机制，为学生网络传输更容易理解的知识。设计了教师网络的多粒度自分析模块，使学生网络能够从不同的教学模式中学习知识。此外，提出了一种稳定的激励方案，用于学生训练的鲁棒监督。所提出的蒸馏机制可以嵌入到不同的蒸馏框架中，这些框架被视为基线。实验结果表明，该机制平均提高了0.58%的准确性，最好的1.08%，这使得它的性能优于国家的最先进的。它还利用，学生的微调能力和鲁棒性的噪声输入可以通过所提出的机制得到改善。该代码可在https://github.com/shaoeric/multi-granularity-distillation上获得。
2021-08-15 cs.CV
VividDreamer: Invariant Score Distillation For Hyper-Realistic Text-to-3D Generation
State Key Laboratory of Brain-machine Intelligence, Zhejiang University（浙江大学脑机智能国家重点实验室）；ReLER Lab, CCAI, Zhejiang University（浙江大学CCAI的ReLER实验室）
本文提出不变分数蒸馏（ISD）方法，通过替换SDS中的重建项并采用中等引导尺度，解决文本到3D生成中的过饱和与过平滑问题，实现单阶段高保真3D物体生成。
2024-07-17 cs.CV
Knowledge Distillation for Reservoir-based Classifier: Human Activity Recognition
Kyushu Institute of Technology（九州工业大学）
针对边缘设备上人类活动识别的能耗问题，本文提出基于储备池机制的轻量级模型PatchEchoClassifier，通过知识蒸馏从MLP-Mixer教师模型学习，在保持80%以上准确率的同时大幅降低计算成本，实现实时节能分类。
2025-05-29 cs.AI cs.LG cs.PF
Decomposed Knowledge Distillation for Class-Incremental Semantic Segmentation
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
类增量语义分割（CISS）是将图像中的每个像素连续地标记为相应的对象类。为此，至关重要的是要逐步学习新的课程，而不会忘记以前学过的知识。当前的CISS方法通常使用知识蒸馏（KD）技术来保存分类器logits，或者冻结特征提取器，以避免遗忘问题。然而，强约束阻止学习新类的区分特征。我们引入了一个CISS框架，该框架可以解决遗忘问题，并有助于有效地学习新课程。我们发现，logit可以分解为两项。它们量化了输入是否属于特定类的可能性，为模型的推理过程提供了线索。在这种情况下，KD技术保留两项的和（即，类logit），这表明每个都可以改变，因此KD不模仿推理过程。为了明确地对每个术语施加约束，我们提出了一种新的分解知识蒸馏（DKD）技术，提高了模型的刚性，更有效地解决了遗忘问题。我们还介绍了一种新的初始化方法，训练新的分类器的新类。在CISS中，新类的负训练样本的数量不足以区分旧类。为了缓解这一问题，我们建议使用辅助分类器将否定知识连续转移到分类器，从而显着提高性能。标准CISS基准测试的实验结果表明，我们的框架的有效性。
2022-10-12 cs.CV
FedDr+: Stabilizing Dot-regression with Global Feature Distillation for Federated Learning
KAIST（韩国科学技术院）；Michigan State University（密歇根州立大学）
针对联邦学习中客户端漂移及局部对齐导致模型过度强调已见类别的问题，提出FedDr+算法，通过点回归损失和单纯形ETF冻结分类器增强局部对齐，并利用特征蒸馏保留未见类信息，有效提升了全局与个性化FL性能。
2024-06-04 cs.AI cs.CV cs.DC
Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head
Nanyang Technological University（南洋理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Southeast University（东南大学）
本文提出双头知识蒸馏方法，通过分离分类头和骨干网络，解决传统知识蒸馏中logit级损失与概率级损失结合导致的分类头崩溃问题，提升模型性能。
2025-05-28 cs.CV cs.LG
DisCoM-KD: Cross-Modal Knowledge Distillation via Disentanglement Representation and Adversarial Learning
INRAE（法国国家农业、食品与环境研究院）；INRIA（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）
针对跨模态知识蒸馏中传统教师-学生范式的固有局限，提出结合解耦表示学习与对抗域自适应的DisCoM-KD框架，可同时学习单模态分类器，在多模态基准上的性能优于现有SOTA方法。
2024-08-05 cs.AI cs.CV cs.LG
SKDCGN: Source-free Knowledge Distillation of Counterfactual Generative Networks using cGANs
University of Amsterdam（阿姆斯特丹大学）
通过使用适当的归纳偏差，反事实生成网络（CGN）可以从形状，纹理和背景流形的随机组合中生成新颖的图像。这些图像可以用来训练不变分类器，避免深度架构学习虚假相关性而不是有意义的相关性的广泛问题。因此，提高了域外鲁棒性。然而，CGN架构包括多个过参数化网络，即BigGAN和U2-Net。训练这些网络需要适当的背景知识和广泛的计算。由于人们并不总是能够获得精确的训练细节，也不总是拥有反事实的必要知识，我们的工作解决了以下问题：我们能否使用预训练CGN中嵌入的知识来训练较低容量的模型，假设黑盒访问（即，仅访问预训练的CGN模型）到架构的组件？在这个方向上，我们提出了一个新的工作命名为SKDCGN，尝试使用知识蒸馏（KD）的知识转移。在我们提出的架构中，每个独立的机制（形状，纹理，背景）都由一个学生“TinyGAN”表示，该学生从预训练的老师“BigGAN”学习。我们使用最先进的数据集，如ImageNet和MNIST，通过使用KD和适当的损失函数证明了所提出的方法的有效性。此外，作为一个额外的贡献，我们的论文进行了深入的研究的CGN的组成机制，以获得更好的理解，如何每个机制影响的分类精度不变的分类器。代码可在：https://github.com/ambekarsameer96/SKDCGN
2022-09-01 cs.CV cs.LG
Teaching Small Language Models to Reason
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
本文提出用大型教师模型生成的思维链微调小型学生模型，通过知识蒸馏将推理能力迁移到千亿参数以下模型，并显著提升多类推理任务表现。
2023-06-01 cs.CL cs.LG
What do larger image classifiers memorise?
Google（谷歌）
该研究针对更大的图像分类模型是否记忆更多内容的问题开展实证分析，发现不同规模模型下训练样本记忆轨迹多样，知识蒸馏可抑制记忆并提升泛化，揭示了其提升泛化的机制。
2023-10-09 cs.CV cs.LG
Online Knowledge Distillation via Multi-branch Diversity Enhancement
Virtual Reality and Intelligent Systems Research Institute, Hangzhou Normal University（杭州师范大学虚拟现实与智能系统研究院）；School of Information Science & Engineering, Hangzhou Normal University（杭州师范大学信息科学与工程学院）；Alibaba business school, Hangzhou Normal University（杭州师范大学阿里巴巴商学院）；College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）
知识蒸馏是将知识从笨重的教师模型转移到轻量级的学生模型的有效方法。在线知识蒸馏以多个学生模型的集成预测结果作为软指标对每个学生模型进行训练。然而，均匀化问题将导致难以进一步提高模型性能。在这项工作中，我们提出了一种新的蒸馏方法，以提高多个学生模型之间的多样性。我们引入了特征融合模块（FFM），它通过整合多个学生模型的最后一块中包含的丰富语义信息来提高网络中注意力机制的性能。此外，我们使用分类器多样化（CD）损失函数来加强学生模型之间的差异，并提供更好的集成结果。大量的实验证明，我们的方法显着提高学生模型之间的多样性，带来更好的蒸馏性能。我们评估我们的方法上的三个图像分类数据集：CIFAR-10/100和CINIC-10。结果表明，我们的方法在这些数据集上实现了最先进的性能。
2020-11-13 cs.CV cs.LG
Semi-Online Knowledge Distillation
South China University of Technology（华南理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
知识蒸馏是一种通过知识转移进行模型压缩的有效而稳定的方法。传统的知识蒸馏（KD）是将知识从一个大的、预先训练好的教师网络转移到一个小的学生网络，这是一个单向的过程。最近，深度相互学习（DML）被提出来帮助学生网络同时协作学习。然而，据我们所知，KD和DML从来没有在一个统一的框架中共同探索，以解决知识蒸馏问题。在本文中，我们调查，教师模型支持更值得信赖的监督信号在KD，而学生捕捉更多的类似行为，从教师在DML。基于这些观察，我们首先提出将KD与DML结合在一个统一的框架中。此外，我们提出了一个半在线知识蒸馏（SOKD）的方法，有效地提高了学生和教师的表现。在该方法中，我们引入了DML中的同伴教学训练方式，以减轻学生的模仿困难，并充分利用KD中训练有素的教师提供的监督信号。此外，我们还表明，我们的框架可以很容易地扩展到基于特征的蒸馏方法。在CIFAR-100和ImageNet数据集上的大量实验表明，该方法具有最先进的性能。
2021-11-23 cs.CV
Unlimited Knowledge Distillation for Action Recognition in the Dark
A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）；Nanyang Technological University (NTU)（南洋理工大学）
针对黑暗视频动作识别中多教师知识整合显存消耗过高的问题，提出UKD，以低显存整合不限数量教师模型的知识，并在ARID上使单流网络性能超过双流网络。
2023-08-18 cs.CV
Masked Video Distillation: Rethinking Masked Feature Modeling for Self-supervised Video Representation Learning
Microsoft Cloud + AI（微软云与人工智能部门）
得益于掩蔽视觉建模，自监督视频表示学习取得了显著的进展。然而，现有的方法专注于通过重建原始像素RGB值等低级特征从头开始学习表示。在本文中，我们提出了掩蔽视频蒸馏（MVD），这是一种简单而有效的用于视频表示学习的两阶段掩蔽特征建模框架：首先，我们通过恢复掩蔽补丁的低级特征来预训练图像（或视频）模型，然后我们使用得到的特征作为掩蔽特征建模的目标。对于教师模型的选择，我们观察到，由视频教师教授的学生在时间繁重的视频任务上表现更好，而图像教师在空间繁重的视频任务中转移了更强的空间表征。可视化分析还表明，不同的教师对学生产生不同的学习模式。基于这一观察，我们设计了一种时空协同教学的MVD方法。具体来说，我们提取学生模型从视频教师和图像教师掩蔽特征建模。大量的实验结果表明，用时空协同教学预训练的视频Transformers在大量视频数据集上的表现优于用单个教师提取的模型。与以前的监督或自监督方法相比，我们的MVD与vanilla ViT在几个具有挑战性的视频下游任务上实现了最先进的性能。例如，使用ViT-Large模型，我们的MVD在Kinetics-400和Something-Something-v2上达到了86.4%和76.7%的Top-1准确率，分别比VideoMAE高出1.2%和2.4%。当采用更大的ViT-Huge模型时，MVD在Something-Something-v2上实现了…
2023-03-06 cs.CV
Student-friendly Knowledge Distillation
Beihang University（北京航空航天大学）
在知识蒸馏中，教师模型中的知识往往过于复杂，学生模型无法完全处理。然而，在现实生活中，好的老师总是在教学生之前把复杂的材料简化。受此启发，我们提出了学生友好的知识蒸馏（SKD），以简化教师输出到新的知识表示，这使得学习的学生模型更容易和更有效。SKD包含一个软化处理和一个学习软化器。首先，软化处理使用温度超参数来软化教师模型的输出logits，这在一定程度上简化了输出，并且使得学习简化器更容易处理。学习简化器利用注意力机制进一步简化教师模型的知识，并利用蒸馏损失与学生模型联合训练，这意味着简化的过程与学生模型的训练目标相关，并确保简化的新教师知识表示更适合特定的学生模型。此外，由于SKD不会改变蒸馏损失的形式，因此可以很容易地与基于logits或中间层特征的其他蒸馏方法结合，以提高其有效性。因此，SKD具有广泛的适用性。在CIFAR-100和ImageNet数据集上的实验结果表明，我们的方法在保持高训练效率的同时达到了最先进的性能。
2023-05-18 cs.CV
Knowledge Distillation in Automated Annotation: Supervised Text Classification with LLM-Generated Training Labels
University of Pennsylvania（宾夕法尼亚大学）
本文评估了用生成式LLM生成的标签替代人工标注数据来微调监督文本分类器的潜力，提出推荐工作流并在14个任务上复现实验，发现基于LLM标签微调的模型表现与人工标注相当，是一种快速高效且低成本的构建方法。
2024-06-25 cs.CL cs.LG
Knowledge Distillation: Bad Models Can Be Good Role Models
Harvard University（哈佛大学）；Mobileye（Mobileye公司）；Hebrew University（希伯来大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
在超参数化状态下训练的大型神经网络能够将噪声拟合到零训练误差。最近的工作\citep{nakkiran2020distributional}经验性地观察到，这样的网络表现为“条件采样器”从噪声分布。也就是说，他们将训练数据中的噪声复制到看不见的例子中。我们给出了一个理论框架，在学习理论的背景下研究这种条件抽样行为。我们将这样的采样器的概念与知识蒸馏联系起来，在知识蒸馏中，学生网络模仿教师对未标记数据的输出。我们表明，采样器，而坏分类，可以是好老师。具体地说，我们证明，从采样蒸馏保证产生一个学生近似贝叶斯最优分类。最后，我们展示了一些常见的学习算法（例如，最近邻和核机器）可以生成采样器时，应用在过参数化制度。
2022-03-28 cs.AI cs.LG stat.ML
Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits
Yonsei University（延世大学）
本文提出了一种新的基于知识蒸馏的学习方法，以提高卷积神经网络（CNN）的分类性能，而无需预先训练的教师网络，称为出口集成蒸馏。我们的方法利用多出口架构，在传统的CNN中间添加辅助分类器（称为出口），通过它可以获得早期的推理结果。我们的方法的思想是训练网络使用出口的集合作为蒸馏目标，这大大提高了整个网络的分类性能。我们的方法提出了一个新的范式知识蒸馏，不像传统的蒸馏概念，教师只教学生，我们表明，学生也可以帮助其他学生，甚至教师学习得更好。实验结果表明，我们的方法在各种流行的CNN架构（VGG，ResNet，ResNeXt，WideResNet等）上实现了分类性能的显着改善。此外，所提出的方法可以加快学习的收敛速度，提高稳定性。我们的代码将在Github上提供。
2021-04-05 cs.AI cs.CV cs.LG
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而，教师模型通常是在相同的标记数据上学习的，它们的预测与groundtruth标签具有高度相关性。因此，他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中，我们提出了一个统一的和有效的集成知识蒸馏方法，蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性，因此在标记数据上，我们根据不同教师的正确性对他们的预测进行加权。此外，我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上，没有基础事实来评估预测的正确性。幸运的是，教师之间的分歧是样本硬度的指示，因此我们基于教师的分歧来加权蒸馏损失，以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
On the Failure of Boundary-Seeking Distillation in Bottlenecked Generative Architectures
研究无数据知识蒸馏中边界寻求原则能否用于自动编码器蒸馏，通过在MNIST数据集实验发现其在瓶颈生成架构中不适定，CAKE方法会产生梯度冲突，流形感知合成绕过冲突，为无数据生成蒸馏建立有效基线。
2026-07-20 cs.AI cs.LG
Multi-head Knowledge Distillation for Model Compression
MERL（三菱电机研究实验室）
针对神经网络压缩问题，提出了几种知识蒸馏方法。虽然它们都使用KL发散损失来将学生模型的软输出与教师模型的软输出更紧密地对齐，但各种方法在如何鼓励学生的中间特征与教师的中间特征相匹配方面有所不同。在本文中，我们提出了一个简单的实现方法，使用辅助分类器在中间层的匹配功能，我们称之为多头知识蒸馏（MHKD）。我们添加损失项来训练学生，以测量辅助分类器的学生和教师输出之间的差异。同时，所提出的方法还提供了一种自然的方式来测量中间层的差异，即使内部教师和学生特征的维度可能不同。通过在多个数据集上的图像分类实验，我们表明，所提出的方法优于文献中提出的相关方法。
2020-12-05 cs.AI cs.CV cs.LG
Avatar Knowledge Distillation: Self-ensemble Teacher Paradigm with Uncertainty
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）
本文提出Avatar知识蒸馏（AKD），通过扰动变换生成教师模型的推理集成体Avatars，并利用不确定性感知因子自适应调整其知识转移贡献，在不增加计算成本下显著提升了密集预测任务的性能。
2023-11-20 cs.CV
The Emotions of the Crowd: Learning Image Sentiment from Tweets via Cross-modal Distillation
Università di Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；IIT-CNR（意大利国家研究委员会信息技术研究所）
针对社交媒体图像情感极性预测依赖人工标注训练集的问题，提出基于跨模态蒸馏的自动化方法，用文本教师模型指导视觉学生模型训练，构建约150万张的弱标注数据集，在五个基准上超越当前最优水平。
2023-04-28 cs.CV
