FEED: Feature-level Ensemble for Knowledge Distillation
Graduate School of Convergence Science and Technology（融合科学与技术研究生院）；Seoul National University（首尔国立大学）
知识蒸馏（KD）的目的是在教师-学生框架中传递知识，在训练阶段将教师网络的预测提供给学生网络，帮助学生网络更好地泛化。它可以使用具有高容量的教师或多个教师的集合。然而，后者是不方便的，当人们想要使用基于特征图的蒸馏方法。针对这一问题，提出了一种功能强大的特征级集成知识蒸馏（FEED）训练算法，该算法利用多个教师网络进行集成知识的传递。我们介绍了几个训练算法，将集成知识传递给特征图级别的学生。在基于特征图的蒸馏方法中，并行使用几个非线性变换来传递多个教师的知识有助于学生找到更一般化的解决方案。在CIFAR-100和ImageNet上的实验结果表明，该方法在测试时没有引入任何额外的参数或计算，具有明显的性能增强。我们还显示了实验结果，顺序喂养教师的信息给学生，因此名称顺序FEED，并讨论所获得的教训。此外，在特征图上测量重建误差的经验结果为增强提供了提示。
2019-09-24 cs.AI cs.CV cs.LG
Distilling Knowledge via Intermediate Classifiers
Ontario Tech University（安大略理工大学）
知识蒸馏的关键是在预先训练好的大规模教师模型的指导下，有效地训练资源有限的学生模型。然而，当教师和学生的模型复杂度之间存在较大差异时（即，能力差距），知识蒸馏失去了将知识从教师转移到学生的力量，从而培养出一个较弱的学生。为了减轻能力差距的影响，我们通过中间头引入知识蒸馏。通过用分类器头扩展教师的中间层（在不同的深度），我们廉价地获得了一批异构的预先训练的教师。中间分类器头可以一起有效地学习，同时冻结预先训练的教师的骨干。教师（包括原来的教师）的队列共同教学生同时进行。我们在不同师生对和数据集上的实验表明，该方法优于规范的知识蒸馏方法及其扩展。
2021-05-31 cs.AI cs.CV cs.LG
NEO-KD: Knowledge-Distillation-Based Adversarial Training for Robust Multi-Exit Neural Networks
KAIST（韩国科学技术院）；Purdue University（普渡大学）
NEO-KD提出基于知识蒸馏的对抗训练策略，通过邻居知识蒸馏和逐出口正交知识蒸馏，在降低计算预算的同时提升多出口神经网络的对抗鲁棒性。
2023-11-01 cs.LG
Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation
Megvii（旷视科技）
知识蒸馏通常将知识从预先训练的笨重的教师网络转移到紧凑的学生网络，这遵循经典的教师-教学-学生范式。基于这种范例，以前的方法主要集中在如何有效地训练更好的学生网络进行部署。不同于现有的实践，在本文中，我们提出了一种新的学生帮助教师公式，教师进化通过自我知识蒸馏（TESKD），其中目标教师（部署）是学习与多层次的学生通过共享结构骨干的帮助。来自多个学生的不同反馈允许教师通过共享的特征表示来改进自己。我们提出的框架的有效性通过在两个标准基准测试（包括CIFAR-100和ImageNet）上使用各种网络设置进行的广泛实验来证明。值得注意的是，当与我们提出的方法一起训练时，ResNet-18在CIFAR-100和ImageNet上实现了79.15%和71.14%的准确率，分别比基线结果高出4.74%和1.43%。该代码可从以下网址获取：https://github.com/zhengli427/TESKD。
2021-10-13 cs.CV cs.LG
CLIP-Embed-KD: Computationally Efficient Knowledge Distillation Using Embeddings as Teachers
Georgia Institute of Technology（佐治亚理工学院）
本文提出 CLIP-Embed-KD 方法，利用教师模型嵌入进行知识蒸馏，以显著降低计算开销，实验表明其性能超越全规模蒸馏且节省 9 倍内存和 8 倍训练时间。
2024-04-09 cs.AI cs.LG
ERDE: Entropy-Regularized Distillation for Early-exit
INSA Lyon（里昂国立应用科学学院）；CNRS（国家科学研究中心）；Université Claude Bernard Lyon 1（里昂第一大学）；LIRIS（LIRIS研究中心）；UMR5205（法国国家科研机构（UMR）5205）
针对深度神经网络计算成本高的问题，提出融合早退与知识蒸馏的ERDE方法，通过新增针对教师分类错误样本的熵损失训练学生早退模型，在不损失精度的同时显著降低计算复杂度，经多个图像分类数据集验证有效。
2025-10-06 cs.CV cs.LG
Powerful Teachers Matter: Text-Guided Multi-view Knowledge Distillation with Visual Prior Enhancement
Hangzhou Dianzi University（杭州电子科技大学）
本文提出文本引导多视图知识蒸馏(TMKD)，通过双模态教师（视觉教师和文本教师）提供更丰富的监督信号，利用视觉先验增强和语义权重生成提升学生模型性能，实验表明TMKD在五个基准上提升了知识蒸馏性能达4.49%。
2026-03-25 cs.AI cs.CV
Early Exit and Multi Stage Knowledge Distillation in VLMs for Video Summarization
Department of Computer Science and Engineering, IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Center of Machine Intelligence and Data Science (C-MInDS), IIT Bombay（印度理工学院班加罗尔人工智能与数据科学中心）
本文提出DEEVISum，一种结合多阶段知识蒸馏与早期退出的轻量级视觉语言模型，用于分段视频摘要，在TVSum上以3B模型取得61.1的F1，兼顾性能与效率。
2025-09-11 cs.AI cs.CV
On the Efficacy of Knowledge Distillation
Cornell University（康奈尔大学）
在本文中，我们提出了一个彻底的评估知识蒸馏的功效和它对学生和教师架构的依赖。从观察到更准确的教师往往不是好教师开始，我们试图梳理影响知识蒸馏表现的因素。我们发现，重要的是，更大的模型往往不会成为更好的教师。我们表明，这是一个不匹配的能力的后果，小学生无法模仿大教师。我们发现规避这一点的典型方法（例如执行一系列知识蒸馏步骤）是无效的。最后，我们表明，这种影响可以通过提前停止教师的培训来减轻。我们的研究结果在数据集和模型中具有普遍性。
2019-10-03 cs.CV cs.LG
Selective Cross-Task Distillation
Nanjing University（南京大学）
各种预训练模型的大量涌现为知识蒸馏提供了丰富的教师资源，但缺乏一个成熟的机制来充分利用这些教师。有了一个由经过不同任务培训的教师组成的庞大的模型库，我们在使用知识蒸馏学习新任务时必须克服两个障碍。首先，给定一个固定的计算预算，它是负担不起的尝试每个教师和训练学生反复，使之有必要寻找最有贡献的教师准确和有效。第二，由于教师和目标学生接受的培训任务不同，他们之间存在语义差距。因此，我们需要从一个可能与学生不同的一般标签空间中提取知识。面对这两个挑战，我们研究了一个新的设置命名为选择性跨任务蒸馏，包括教师评价和广义知识重用。我们通过最优传输将教师的标签空间和学生的标签空间连接起来。从教师的预测到学生的预测的运输成本测量两个任务之间的相关性，并作为蒸馏的目标。我们的方法重用来自不同标签空间的跨任务知识，并在不枚举模型库的情况下有效地评估教师。实验证明了该方法的有效性。
2022-09-28 cs.CV cs.LG
Learning from a Lightweight Teacher for Efficient Knowledge Distillation
East China Normal University（华东师范大学）
知识蒸馏（KD）是一种有效的压缩深度学习模型的框架，通过学生-教师范式实现，需要小型学生网络来模仿训练有素的教师生成的软目标。然而，教师通常被认为是复杂的，需要在与学生相同的数据集上进行培训。这导致了一个耗时的培训过程。最近的研究表明，vanilla KD起着类似于标签平滑的作用，并开发了无教师KD，有效并减轻了从繁重教师那里学习的问题。但是，由于无教师KD依赖于手工制作的输出分布，对于属于同一类的所有数据实例保持相同，因此其灵活性和性能相对有限。针对上述问题，本文提出了一种高效的知识蒸馏学习框架LW-KD，简称轻量级知识蒸馏。它首先在一个合成的简单数据集上训练一个轻量级的教师网络，其中可调的类数等于目标数据集的类数。教师然后生成软目标，由此增强的KD损失可以指导学生学习，这是KD损失和对抗性损失的组合，用于使学生输出与教师的输出不可区分。在多个不同模态的公共数据集上的实验表明，LWKD是有效和高效的，表明了其主要设计原则的合理性。
2020-05-19 cs.CV cs.LG
Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias
China Mobile Information Technology Co.,Ltd.（中国移动信息技术有限公司）；Fudan University（复旦大学）
针对现有知识蒸馏忽略教师模型相对预测中的关系归纳偏置导致曝光偏差的问题，提出GRKD框架，通过组相对损失学习类别间相对排序，在分类基准上取得更优泛化能力。
2025-04-29 cs.AI cs.LG
Controlling the Quality of Distillation in Response-Based Network Compression
Indiana University Bloomington（印第安纳大学伯明顿分校）
基于蒸馏的压缩网络的性能取决于蒸馏的质量。一个大的网络（教师）到一个较小的网络（学生）的次优蒸馏的原因在很大程度上归因于给定的教师-学生对的学习能力的差距。虽然很难提取教师的所有知识，但可以在很大程度上控制提取的质量以获得更好的性能。我们的实验表明，蒸馏的质量在很大程度上取决于教师的反应，这反过来又是严重影响其响应中的相似性信息的存在的质量。一个受过良好训练的大容量教师在学习细粒度的分类鉴别属性的过程中丢失了类之间的相似性信息。相似性信息的缺乏导致蒸馏过程从一个示例-多类学习减少到一个示例-一类学习，从而抑制了来自教师的多样化知识的流动。在隐含的只有灌输的知识才能被提炼的假设下，我们不再只关注知识的提炼过程，而是审视知识的灌输过程。我们认为，对于一个给定的师生对，蒸馏的质量可以提高通过找到批量大小和时代的数量之间的甜蜜点，同时培训教师。我们讨论了找到这个最佳点以更好地蒸馏的步骤。我们还提出了蒸馏假设来区分知识蒸馏和正则化效应之间的蒸馏过程的行为。我们在三个不同的数据集上进行了所有的实验。
2021-12-19 cs.AI cs.CV
Toward Student-Oriented Teacher Network Training For Knowledge Distillation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
针对最优教师未必教出最优学生的问题，本文提出面向学生表现的 SoTeacher 教师训练方法，通过 Lipschitz 与一致性正则化增强 ERM，并验证其可稳定提升知识蒸馏的学生准确率。
2024-05-09 cs.AI cs.LG
Teacher-Student Knowledge Distillation for Radar Perception on Embedded Accelerators
Aptiv Technical Center（安波福技术中心）；Aptiv Advance Research Center（安波福高级研究中心）
许多雷达信号处理方法正在开发用于关键的道路安全感知任务。不幸的是，这些信号处理算法通常不适合在汽车中使用的嵌入式硬件加速器上运行。相反，端到端的机器学习（ML）方法可以更好地利用专用加速器带来的性能提升。在本文中，我们提出了一个教师-学生知识蒸馏的方法，低层次的雷达感知任务。我们利用静止目标检测的混合模型作为教师来训练端到端的ML学生模型。学生可以有效地利用嵌入式计算进行实时部署。我们证明了所提出的学生模型的运行速度比教师模型快100倍。
2023-03-14 cs.AI cs.LG
Differentiable Feature Aggregation Search for Knowledge Distillation
Peking University（北京大学）；Megvii (Face++) Technology Inc（旷视科技（Face++））；National Engineering Laboratory for Big Data Analysis and Applications（大数据分析与应用技术国家工程实验室）；DiDi AI Labs（滴滴人工智能实验室）
在模型压缩中，知识蒸馏变得越来越重要。它通过监督来自复杂教师网络的输出分布和特征图来提高小型化学生网络的性能。最近的一些作品介绍了多教师蒸馏，以提供更多的监督，以学生网络。然而，多教师蒸馏方法的有效性伴随着昂贵的计算资源。为了解决知识蒸馏的效率和效果，我们引入特征聚合来模拟多教师蒸馏的单教师蒸馏框架，通过从多个教师特征图中提取信息监督。具体来说，我们引入DFA，一个两阶段的可区分的特征聚合搜索方法的DARTS在神经结构搜索的动机，有效地找到聚合。在第一阶段中，DFA将搜索问题制定为双层优化，并利用由学生到教师路径和教师到学生路径组成的新型桥损失来找到合适的特征聚合。这两条路径充当相互对抗的两个参与者，试图将统一的架构参数优化到相反的方向，同时保证特征聚合的表达性和可学习性。在第二阶段，DFA执行知识蒸馏与派生的特征聚合。实验结果表明，DFA优于现有的方法在CIFAR-100和CINIC-10数据集上的各种师生设置，验证了设计的有效性和鲁棒性。
2020-08-02 cs.CV cs.LG
Knowledge Distillation under Teacher Misspecification: An Order-Parameter Analysis of the Gap between Teacher Mimicry and Task Performance
Nihon University（日本大学）；The Institute of Statistical Mathematics（统计数理研究所）
该研究在极简三方模型中分析教师模型误设定下的知识蒸馏，证明蒸馏误差对失配强度不变但真实误差及对应差距随其递增，警示仅用教师模仿指标评估蒸馏的局限性。
2026-09-01 cs.AI cs.LG
Collaboratively Guided Adversarial Robust Distillation with Teacher-Favorable Examples
Yunnan University（云南大学）；Yunnan Normal University（云南师范大学）
针对现有对抗蒸馏未充分利用扰动邻域内教师偏好监督的问题，提出CGARD方法，联合优化学生对抗样本与教师协同样本，在CIFAR-10/100上的实验显示其鲁棒性优于强基线。
2026-10-09 cs.CV
Improving Group Fairness in Knowledge Distillation via Laplace Approximation of Early Exits
EESC KTH Royal Institute of Technology（皇家理工学院电子与系统工程系）；CSE IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）
本文提出利用拉普拉斯近似获得校准良好的不确定性估计，对知识蒸馏中的困难实例进行重新加权，以改善学生模型的群体公平性，并在MultiNLI数据集上验证了其优于边际方法的稳健性。
2025-05-02 cs.AI cs.LG
Dynamic Rectification Knowledge Distillation
North South University（南北大学）
知识蒸馏（Knowledge Distillation）是一种利用暗知识将信息从一个庞大的、经过良好训练的神经网络（教师模型）压缩并传输到一个较小的、能力较差的神经网络（学生模型）的技术，其推理效率得到了提高。这种提取知识的方法由于在边缘计算设备上部署的这种繁琐模型的极其复杂的性质而受到欢迎。通常，用于教授较小的学生模型的教师模型本质上是笨重的，并且训练昂贵。为了完全消除繁琐的教师模型的必要性，我们提出了一个简单而有效的知识蒸馏框架，我们称之为动态整流知识蒸馏（DR-KD）。我们的方法将学生转变为自己的老师，如果自学者在提取信息时做出错误的预测，则在提取知识之前纠正错误。具体来说，教师目标是由地面实况机构动态调整的，同时提取从传统培训中获得的知识。我们提出的DR-KD在没有复杂繁琐的教师模型的情况下表现得非常好，并且在由低成本的动态有礼貌的教师实施时，与现有的最先进的无教师知识蒸馏框架实现了相当的性能。我们的方法包罗万象，可用于任何需要分类或对象识别的深度神经网络训练。DR-KD将Tiny ImageNet上的测试准确率提高了2.65%，显著优于任何其他知识蒸馏方法，同时不需要额外的培训成本。
2022-01-27 cs.AI cs.CV
AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition
研究针对设备端语音情感识别中大型模型成本高的问题，提出自适应多教师关系蒸馏方法。通过单类支持向量机分配教师权重，用关系蒸馏损失捕捉结构，在多数据集和学生架构上优于单教师蒸馏，两组件互补增益。
2026-07-29 cs.LG
Curriculum Learning-Guided Progressive Distillation in Large Language Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究）
本文提出CLPD框架，通过结合数据难度与教师强度，改进知识蒸馏方法，实验证明其在推理任务中优于传统方法。
2026-05-11 cs.AI cs.LG
Interactive Knowledge Distillation
Sichuan University（四川大学）；Nankai University（南开大学）；TAL Education Group（好未来教育集团）
知识蒸馏是一个标准的师生学习框架，在一个训练有素的大型教师网络的指导下，训练一个轻量级的学生网络。作为一种有效的教学策略，互动教学在学校中被广泛采用，教师在提供知识的同时，也对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了一个互动的知识蒸馏（IAKD）计划，利用有效的知识蒸馏的互动教学策略。在蒸馏过程中，教师网络和学生网络之间的交互是通过交换操作实现的：用教师网络中的相应块随机替换学生网络中的块。在这种方式中，我们直接涉及教师的强大功能转换能力，大大提高学生的表现。典型师生网络的实验表明，我们的IAKD训练的学生网络取得更好的性能比传统的知识蒸馏方法训练的不同图像分类数据集。
2021-04-15 cs.CV cs.LG
Teacher-Student Architecture for Knowledge Distillation: A Survey
McGill University（麦吉尔大学）；Northwest University（西北大学）
本文系统综述了教师-学生架构在知识蒸馏中的多目标应用，涵盖知识压缩、扩展、适应与增强，总结了代表性算法、蒸馏方案及分类、识别、生成等应用，并展望了架构设计、知识质量与回归理论等未来方向。
2023-08-08 cs.AI cs.LG
Lightweight Remote Sensing Scene Classification on Edge Devices via Knowledge Distillation and Early-exit
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳研究院）
针对边缘设备上遥感场景分类模型难以兼顾精度、延迟与能耗的问题，提出结合频域蒸馏GFNet和动态早退机制的轻量化E3C框架，在多设备多数据集上实现推理提速1.3倍、能效提升超40%且保持高精度。
2025-07-28 cs.AI cs.CV
Highlight Every Step: Knowledge Distillation via Collaborative Teaching
Ocean University of China（中国海洋大学）
针对现有知识蒸馏忽略训练过程信息的问题，提出采用从零训练教师与专家教师协同教学的CTKD策略，结合过程引导与关键区域指导，在多个数据集上取得SOTA性能。
2019-07-23 cs.CV cs.LG
Learn From the Past: Experience Ensemble Knowledge Distillation
Tsinghua University（清华大学）；Tianjin University（天津大学）
传统的知识蒸馏将教师网络中的“暗知识”转移到学生网络中，忽略了教师在培训过程中的知识，即教师的经验。然而，在现实的教育场景中，学习体验往往比学习结果更重要。在这项工作中，我们提出了一种新的知识蒸馏方法，通过整合教师的经验知识转移，命名为经验集成知识蒸馏（EEKD）。我们从教师模型的训练过程中统一保存了适量的中间模型，然后通过集成技术将这些中间模型的知识进行集成。在知识转移过程中，自注意模块用于自适应地为不同的中间模型分配权重。从中间模型的质量、权重和数量三个方面探讨了构建EEKD的原则。一个令人惊讶的结论是，强大的合奏教师不一定产生强大的学生。在CIFAR-100和ImageNet上的实验结果表明，EEKD优于主流的知识蒸馏方法，达到了最新水平，特别是在节省训练成本的前提下，EEKD甚至超过了标准的集成蒸馏。
2022-02-25 cs.CV cs.LG
Consistently Informative Soft-Label Temperature for Knowledge Distillation
Rochester Institute of Technology（罗切斯特理工学院）；Oakland University（奥克兰大学）
本文提出CIST方法，通过为教师和学生分配样本级自适应温度，解决传统固定温度设计中教师软标签熵不一致和教师-学生logit尺度对齐过严的问题，从而提升知识蒸馏效果。
2026-05-19 cs.AI cs.LG
Improved Knowledge Distillation via Teacher Assistant
Washington State University（华盛顿州立大学）；DeepMind（深度思维）；D.E. Shaw（德劭集团）
尽管深度神经网络是功能强大的模型，并且在许多任务上都取得了令人瞩目的结果，但它们太大了，无法部署在智能手机或嵌入式传感器节点等边缘设备上。人们一直在努力压缩这些网络，一种流行的方法是知识蒸馏，其中使用一个大型（教师）预训练网络来训练一个较小的（学生）网络。然而，在本文中，我们表明，学生网络的性能下降时，学生和教师之间的差距很大。在一个固定的学生网络中，教师的人数是不可以任意增加的，换句话说，教师可以有效地把知识传授给一定规模的学生，而不是更小的学生。为了缓解这一缺点，我们引入了多步知识蒸馏，它采用了一个中等规模的网络（教师助理），以弥合学生和教师之间的差距。此外，我们还研究了教师助理规模的影响，并将框架扩展到多步蒸馏。在CIFAR-10，100和ImageNet数据集以及CNN和ResNet架构上的理论分析和广泛实验证实了我们所提出的方法的有效性。
2019-12-17 cs.AI cs.LG stat.ML
Generalized Knowledge Distillation via Relationship Matching
Nanjing University（南京大学）
经过良好训练的深度神经网络（也称为“教师”）对于学习类似的任务是有价值的。知识蒸馏从教师那里提取知识，并将其与目标模型（即“学生”），这扩大了学生的知识，提高了学习效率。我们不是强迫老师和学生做同样的任务，而是从一个从一般标签空间训练出来的老师那里借用知识--在这个“广义知识蒸馏（GKD）"中，老师和学生的类可能是相同的，完全不同的，或者部分重叠的。我们声称，实例之间的比较能力作为一个必要的因素线程的知识跨任务，并提出了关系Facilitated本地classifiEr蒸馏（REFILLED）的方法，它简化了GKD流程的嵌入和顶层分类器。特别是，与协调模型之间的实例标签置信度不同，REFILLED要求教师重新加权学生推送的硬元组，然后匹配实例之间的相似性比较水平。基于教师模型的嵌入诱导分类器监督学生的分类信心，并自适应地强调教师最相关的监督。REFILLED在教师的类从相同到完全不重叠的集合w.r.t.那个学生它还在标准知识蒸馏、一步增量学习和少样本学习任务上实现了最先进的性能。
2022-05-04 cs.CV cs.LG
Teacher Network Calibration Improves Cross-Quality Knowledge Distillation
AdaLab UG（AdaLab有限责任公司）；Universität Hamburg（汉堡大学）；inovex GmbH（inovex有限责任公司）
本文研究跨质量知识蒸馏，将全分辨率教师网络的知识迁移到低分辨率学生网络，并证明对教师输出进行高温平滑校准可提升学生网络的熵、校准误差和分类准确率。
2023-04-15 cs.AI cs.CV
From Teacher to Student: Tracking Memorization Through Model Distillation
Indian Institute of Technology, Roorkee（印度理工学院拉胡尔学院）
本文研究知识蒸馏对模型记忆的影响，发现将微调后的大型教师模型蒸馏为较小模型，可在降低计算成本的同时显著减少训练数据记忆风险。
2025-08-15 cs.AI cs.LG
Orderly Dual-Teacher Knowledge Distillation for Lightweight Human Pose Estimation
Hefei University of Technology（合肥工业大学）
虽然深度卷积神经网络（DCNN）在人体姿态估计方面取得了优异的性能，但这些网络往往具有大量的参数和计算，导致推理速度缓慢。对于这个问题，一个有效的解决方案是知识蒸馏，它将知识从一个大的预先训练的网络（教师）转移到一个小的网络（学生）。然而，现有的教学方法也存在一些缺陷：（1）只采用单一教师，忽视了学生可以从多个教师那里学习的潜力。(II)人类分割掩模可以被视为额外的先验信息，以限制关键点的位置，这是从来没有使用。(III)只有少量参数的学生无法完全模仿数据集和教师提供的热图。(IV)教师生成的热图中存在噪声，导致模型退化。为了克服这些缺陷，我们提出了一个有序的双教师知识蒸馏（ODKD）框架，它由两个教师具有不同的能力。具体来说，较弱的一个（初级教师，PT）被用来教关键点信息，较强的一个（高级教师，ST）被用来通过添加人类分割掩模来传递分割和关键点信息。以双师协同为例，提出了有序学习策略，以促进知识的吸收。此外，我们采用了二值化操作，进一步提高了学生的学习能力，并减少了热图中的噪声。COCO和OCHuman关键点数据集上的实验结果表明，我们提出的ODKD可以大幅度提高不同轻量级模型的性能，配备ODKD的HRNet-W16在轻量级人体姿态估计方面达到了最先进的性能。
2021-06-17 cs.AI cs.CV
Single-Teacher View Augmentation: Boosting Knowledge Distillation via Angular Diversity
GIST（韩国科学技术院）；POSTECH（延世大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
提出一种单教师多分支生成角度多样视图的知识蒸馏增强方法，通过两个角度多样性损失提升集成多样性，理论降低损失上界，实验验证优于现有方法且即插即用。
2025-10-26 cs.AI cs.CV
Adaptive Multi-Teacher Multi-level Knowledge Distillation
East China Normal University（华东师范大学）
知识蒸馏（KD）是一种有效的学习范式，通过利用教师网络中的额外监督知识来提高轻量级学生网络的性能。大多数开创性的研究要么只从一个老师那里学习，忽视了学生可以同时从多个老师那里学习的潜力，要么简单地把每个老师都视为同等重要，无法揭示教师对具体例子的不同重要性。为了弥补这一差距，我们提出了一种新的自适应多教师多层次知识蒸馏学习框架~（AMTML-KD），其中包括两个新的见解：（i）将每个教师与潜在表示相关联，以自适应地学习用于获取集成软目标的实例级教师重要性权重。（ii）通过所提出的多组提示策略，使中级提示~（中级知识）能够从多个教师处收集。因此，学生模型可以通过AMTML-KD从多个教师那里学习多层次的知识。在公开数据集上的广泛结果表明，所提出的学习框架确保学生比强大的竞争对手取得更好的成绩。
2021-03-06 cs.CV
MST-Distill: Mixture of Specialized Teachers for Cross-Modal Knowledge Distillation
Xidian University（西安电子科技大学）
提出MST-Distill框架，通过专家混合和实例级路由解决跨模态知识蒸馏中的路径选择和知识漂移问题，在五个多模态数据集上超越现有方法。
2025-07-09 cs.CV cs.LG cs.MM
Linear Projections of Teacher Embeddings for Few-Class Distillation
MIT（麻省理工学院）；Google Research（谷歌研究院）；University of Michigan（密歇根大学）
针对知识蒸馏在二分类和少类别NLP任务中效果不佳的问题，本文提出LELP方法，通过识别教师嵌入空间的线性子空间并构造伪子类来训练学生，实验显示其性能稳定优于现有蒸馏算法。
2024-10-02 cs.AI cs.LG
H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation
Beijing University of Posts and Telecommunications（北京邮电大学）；ByteDance（字节跳动）；USTC（中国科学技术大学）；Beijing Key Laboratory of Network System and Network Culture（北京网络系统与网络文化重点实验室）；Key Laboratory of Interactive Technology and Experience System, Ministry of Culture and Tourism（文化和旅游部互动技术与体验系统重点实验室）；Zhongguancun Academy（中关村科学城）
研究多模态推理的在线策略蒸馏问题，提出H-OPD框架，通过验证异构教师互补性，以令牌级教师仲裁取代任务或样本级路由，结合视觉与文本教师，在多基准测试中性能优越。
2026-10-12 cs.CV cs.LG
Mitigating Accuracy-Robustness Trade-off via Balanced Multi-Teacher Adversarial Distillation
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
本文提出均衡多教师对抗鲁棒性蒸馏（B-MTARD），通过强干净教师与强鲁棒教师分别处理干净和对抗样本，并设计熵均衡与归一化损失均衡算法，有效缓解准确率与鲁棒性之间的权衡，在多个数据集上超越现有方法。
2024-06-16 cs.CV cs.LG
Wisdom of Committee: Diverse Distillation from Large Foundation Models and Domain Experts
Rice University（Rice大学）；Google DeepMind（谷歌DeepMind）；Google Inc（谷歌公司）；University of California, Davis（加州大学戴维斯分校）
针对基础模型向紧凑领域模型蒸馏时能力、架构和模态差异大的问题，提出DiverseDistill框架，通过可学习的问答机制和对齐异构教师输出，在推荐和视觉任务上恢复73-114%的性能差距。
2026-06-19 cs.AI cs.LG
Learning Student-Friendly Teacher Networks for Knowledge Distillation
DIT Center, Samsung Electronics（三星电子DIT中心）；ECE & ASRI, Seoul National University（首尔大学电子与计算机工程系及自动化与系统研究所）
我们提出了一种新的知识蒸馏方法，以促进暗知识从教师到学生的转移。与大多数依赖于预先培训的教师对学生模型进行有效培训的现有方法相反，我们的目标是学习对学生友好的教师模型，从而更适合知识转移。换句话说，在优化教师模型的同时，该算法联合学习学生分支以获得学生友好的表示。由于我们的方法的主要目标在于训练教师模型和随后的知识蒸馏过程是简单的，大多数现有的知识蒸馏方法可以采用这种技术，以提高不同的学生模型的准确性和收敛速度方面的性能。该算法在几个著名的知识蒸馏技术与教师和学生模型的各种组合的情况下，即使在他们的架构是异构的，没有先验知识的学生模型在培训教师网络的时候，表现出突出的准确性。
2022-01-23 cs.LG
Wasserstein Contrastive Representation Distillation
Duke University（杜克大学）；Microsoft Corporation（微软公司）
知识蒸馏（KD）的主要目标是将从教师网络学习到的模型信息封装到学生网络中，后者比前者更紧凑。现有工作，例如，使用Kullback-Leibler散度进行提取，可能无法捕获教师网络中的重要结构知识，并且通常缺乏特征泛化的能力，特别是在构建教师和学生以解决不同分类任务的情况下。我们提出了Wasserstein对比表示蒸馏（WCoRD），它利用原始和对偶形式的Wasserstein距离KD。对偶形式用于全局知识转移，产生最大化教师和学生网络之间的互信息的下界的对比学习目标。原始形式用于小批量内的局部对比知识转移，有效地匹配教师和学生网络之间的特征分布。实验结果表明，WCoRD方法在特权信息提取、模型压缩和跨模态传递等方面优于现有方法.
2021-03-29 cs.CV cs.LG
Multi-Teacher Knowledge Distillation with Reinforcement Learning for Visual Recognition
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出MTKD-RL，利用强化学习优化多教师知识蒸馏中的教师权重，在视觉识别任务上达到最先进性能。
2025-02-22 cs.CV
Teacher's pet: understanding and mitigating biases in distillation
Google Research（谷歌研究院）
知识蒸馏被广泛地用作使用来自复杂教师模型的预测来改进相对简单的学生模型的性能的手段。一些作品表明，蒸馏显着提高学生的整体表现，但是，这些收益均匀所有数据分组？在本文中，我们证明了蒸馏可以损害某些子群的性能，例如，类与一些相关的样本。我们将这种行为追溯到教师分布转移到学生模型并被学生模型放大所产生的错误。为了缓解这个问题，我们提出了技术，软化教师的影响，它是不太可靠的子群。在多个图像分类基准上的实验表明，这些改进的蒸馏保持了整体准确性的提高，同时还确保了子组性能的提高。
2021-07-08 cs.LG
Fixing the Teacher-Student Knowledge Discrepancy in Distillation
SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室，香港中文大学）
在较大的教师网络的指导下训练较小的学生网络是促进学生成绩的有效途径。以往的知识蒸馏方法中，尽管教师和学生的类型不同，但用于蒸馏的引导知识对于不同的师生对总是保持不变的。然而，我们发现，具有不同网络或从不同初始化训练的教师和学生模型在不同通道之间可能具有不同的特征表示。(e.g.不同类别的高激活通道）。我们将这种渠道的不协调表征称为蒸馏过程中的师生知识差异。忽视教师和学生模型的知识差异问题，将使学生向教师学习更加困难。针对这一问题，本文提出了一种新的基于学生的蒸馏方法--知识一致性蒸馏，该方法使教师的知识与学生的知识更加一致，并为不同的学生网络提供最适合的知识进行蒸馏。在不同数据集（CIFAR 100，ImageNet，COCO）和任务（图像分类，目标检测）上的实验揭示了教师和学生之间普遍存在的知识差异问题，证明了该方法的有效性。我们的方法非常灵活，可以很容易地与其他最先进的方法相结合。
2021-03-31 cs.CV
Reinforcement-aware Knowledge Distillation for LLM Reasoning
Meta；Guo et al.；Lin et al.；Xu et al.；Shao et al.；Schulman et al.；Xie et al.
提出RL感知蒸馏（RLAD），通过信任区域比率蒸馏（TRRD）在强化学习后训练中实现选择性模仿，解决分布不匹配和目标干扰问题，在逻辑推理和数学基准上优于现有方法。
2026-06-19 cs.AI cs.LG
Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning
Zhejiang University（浙江大学）
针对现有多教师知识蒸馏方法忽略弱学习能力学生适配性的问题，提出基于元学习的自适应多教师知识蒸馏MMKD，通过元权重网络融合多层教师知识定制集成教师，经多基准实验验证有效且灵活。
2023-06-11 cs.CV
Multi-Teacher Knowledge Distillation via Teacher-Informed Mixture Priors
Department of Statistics, University of Georgia（佐治亚大学统计系）；Department of Statistics, Harvard University（哈佛大学统计系）
提出多教师贝叶斯知识蒸馏（MT-BKD）框架，利用贝叶斯推断和教师引导的先验分布，结合熵加权机制，实现多教师知识的高效融合与不确定性量化。
2026-05-27 cs.AI cs.LG stat.ME
UNIC: Universal Classification Models via Multi-teacher Distillation
NAVER LABS Europe（NAVER欧洲实验室）
本文提出UNIC，通过分析并改进多教师蒸馏，利用可扩展投影器阶梯和teacher dropping训练单一通用分类编码器，使其在容量不变的情况下保持或超越各任务最佳教师。
2024-08-09 cs.CV
Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks
Monash University（莫纳什大学）；Bytedance（字节跳动）
知识蒸馏通过从繁琐的教师模型中提取知识来学习轻量级的学生模型，是学习紧凑的深度神经网络（DNN）的一种有吸引力的方法。最近的工作通过利用多个教师网络进一步提高了学生网络的性能。然而，大多数现有的基于知识蒸馏的多教师方法使用单独的预先培训的教师。这限制了教师之间的合作学习和师生之间的相互学习。网络量化是学习紧凑DNN的另一种有吸引力的方法。然而，大多数现有的网络量化方法的开发和评估没有考虑多教师支持，以提高量化的学生模型的性能。在本文中，我们提出了一种新的框架，利用多教师知识蒸馏和网络量化来学习低位宽DNN。该方法鼓励量化教师之间的协作学习和量化教师和量化学生之间的相互学习。在学习过程中，教师的知识在相应的层次上形成一个重要性感知的共享知识，作为后续层次教师的输入，也用于指导学生。我们在CIFAR100和ImageNet数据集上的实验结果表明，与其他最先进的方法相比，用我们的方法训练的紧凑量化学生模型取得了有竞争力的结果，在某些情况下，确实超过了全精度模型。
2022-10-27 cs.CV
Channel Distillation: Channel-Wise Attention for Knowledge Distillation
University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）
知识蒸馏是将教师网络学到的数据中的知识转移到学生网络中，使学生具有参数少、计算量少的优势，准确度接近教师。本文提出了一种新的蒸馏方法，它包含两种转移蒸馏策略和一种损失衰减策略。第一种传输策略是基于通道注意力的，称为通道蒸馏（CD）。CD将频道信息从教师传输到学生。二是引导式知识蒸馏（GKD）。与知识蒸馏（KD）不同，它允许学生模仿教师的每个样本的预测分布，GKD只允许学生模仿教师的正确输出。早期衰退教师（Early Decay Teacher，EDT）在训练过程中，我们逐渐衰减蒸馏损失的重量。目的是让学生而不是老师逐渐控制优化。我们提出的方法在ImageNet和CIFAR 100上进行了评估。在ImageNet上，我们使用ResNet 18实现了27.68%的top-1错误，优于最先进的方法。在CIFAR 100上，我们取得了令人惊讶的结果，学生优于教师。代码可在https://github.com/zhouzaida/channel-distillation上获得。
2020-06-02 cs.LG stat.ML
How to Backdoor Image Knowledge Distillation
The Pennsylvania State University（宾夕法尼亚州立大学）；Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
本文提出了一种通过污染知识蒸馏数据集来攻击学员模型的新方法，揭示了知识蒸馏过程中的安全漏洞。
2026-11-06 cs.AI cs.CR cs.LG
IDeaL: Data-Free Multi-Teacher Distillation via Improved Dead Leaves
NAVER LABS Europe（NAVER欧洲实验室）
该研究针对多教师蒸馏需依赖真实数据的前提，提出IDeaL无数据蒸馏方法，通过去相关损失生成改进样本，所得学生模型性能可与基于少量真实图像蒸馏的模型媲美。
2026-08-26 cs.CV
Knowledge Distillation in Wide Neural Networks: Risk Bound, Data Efficiency and Imperfect Teacher
Peking University（北京大学）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Data Science, Peking University（北京大学数据科学中心）
本文基于神经切线核的线性化近似，对宽神经网络知识蒸馏开展理论分析，给出迁移风险界与数据低效性指标，揭示完美/不完美教师场景下软、硬标签的作用机制，为相关实践提供理论支撑。
2020-10-20 cs.AI cs.LG stat.ML
