Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
虽然深度学习在各种任务中的表现优于其他方法，但解释其原因的理论框架尚未完全建立。为了解决这个问题，我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险，其中学生网络通过其输出学习未知的教师网络。特别地，我们考虑了与教师网络具有相同宽度的学生网络，并且在两个阶段进行训练：首先通过噪声梯度下降，然后通过香草梯度下降。我们的结果表明，学生网络可证明达到一个接近全局最优解，并优于任何核方法估计（更一般地说，线性估计），包括神经正切核方法，随机特征模型，和其他核方法，在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的，学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
Pseudo-label Correction for Instance-dependent Noise Using Teacher-student Framework
University of California, San Diego（加州大学圣地亚哥分校）
提出P-LC框架，通过将教师网络重构为三元编码器并利用三元组损失，在师生网络中实现伪标签校正，有效应对实例依赖标签噪声，在多个数据集上超越现有方法。
2023-11-24 cs.CV cs.LG
Fixing the Teacher-Student Knowledge Discrepancy in Distillation
SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室，香港中文大学）
在较大的教师网络的指导下训练较小的学生网络是促进学生成绩的有效途径。以往的知识蒸馏方法中，尽管教师和学生的类型不同，但用于蒸馏的引导知识对于不同的师生对总是保持不变的。然而，我们发现，具有不同网络或从不同初始化训练的教师和学生模型在不同通道之间可能具有不同的特征表示。(e.g.不同类别的高激活通道）。我们将这种渠道的不协调表征称为蒸馏过程中的师生知识差异。忽视教师和学生模型的知识差异问题，将使学生向教师学习更加困难。针对这一问题，本文提出了一种新的基于学生的蒸馏方法--知识一致性蒸馏，该方法使教师的知识与学生的知识更加一致，并为不同的学生网络提供最适合的知识进行蒸馏。在不同数据集（CIFAR 100，ImageNet，COCO）和任务（图像分类，目标检测）上的实验揭示了教师和学生之间普遍存在的知识差异问题，证明了该方法的有效性。我们的方法非常灵活，可以很容易地与其他最先进的方法相结合。
2021-03-31 cs.CV
Teacher-Guided Student Self-Knowledge Distillation Using Diffusion Model
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
教师引导的学生自知识蒸馏使用扩散模型，通过轻量级扩散模型和局部敏感哈希方法提升学生模型对教师知识的学习效果。
2026-02-02 cs.CV
Student Capacity Moderates Knowledge Distillation Effectiveness: A Systematic Study Across ResNet Teacher-Student Pairs on CIFAR-10
通过ResNet教师-学生对在CIFAR-10上的图像分类实验，系统研究学生容量如何调节知识蒸馏（KD）的有效性，发现学生容量是蒸馏增益的关键调节因素，并指出实现正确性和输入分辨率感知架构的重要性。
2026-07-14 cs.CV cs.LG
Teacher-Student Compression with Generative Adversarial Networks
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
更精确的机器学习模型在测试时通常需要更多的计算和内存，这使得它们难以部署在CPU或内存受限的设备上。教师-学生压缩（TSC），也称为蒸馏，通过训练一个不太昂贵的学生模型来模仿昂贵的教师模型，同时保持大部分原始准确性，从而减轻了这一负担。然而，当新数据不可用于压缩任务时，教师的训练数据通常被重用，导致次优压缩。在这项工作中，我们建议增加压缩数据集与合成数据从生成对抗网络（GAN），旨在近似的训练数据分布。我们的GAN-assisted TSC（GAN-TSC）显著提高了昂贵模型（如大型随机森林和深度神经网络）在表格和图像数据集上的学生准确性。基于这些结果，我们提出了一个全面的度量-TSC得分-基于其诱导TSC性能来评估合成数据集的质量。TSC得分捕获数据多样性和类的亲和力，我们说明了它的好处超过流行的初始得分的背景下，图像分类。
2020-03-20 cs.LG stat.ML
Interactive Knowledge Distillation
Sichuan University（四川大学）；Nankai University（南开大学）；TAL Education Group（好未来教育集团）
知识蒸馏是一个标准的师生学习框架，在一个训练有素的大型教师网络的指导下，训练一个轻量级的学生网络。作为一种有效的教学策略，互动教学在学校中被广泛采用，教师在提供知识的同时，也对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了一个互动的知识蒸馏（IAKD）计划，利用有效的知识蒸馏的互动教学策略。在蒸馏过程中，教师网络和学生网络之间的交互是通过交换操作实现的：用教师网络中的相应块随机替换学生网络中的块。在这种方式中，我们直接涉及教师的强大功能转换能力，大大提高学生的表现。典型师生网络的实验表明，我们的IAKD训练的学生网络取得更好的性能比传统的知识蒸馏方法训练的不同图像分类数据集。
2021-04-15 cs.CV cs.LG
Distilling Calibrated Student from an Uncalibrated Teacher
Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
知识蒸馏是一种用于通过从教师网络传输信息来改善浅学生网络的性能的常用技术，教师网络通常相对较大且较深。这些教师网络是预先训练的，通常未经校准，因为在训练时没有校准技术应用于教师模型。网络的校准测量其任何预测的正确性概率，这在高风险领域至关重要。在本文中，我们研究了如何从一个未校准的教师获得校准的学生。我们的方法依赖于融合的数据增强技术，包括但不限于剪切，mixup和CutMix，与知识蒸馏。我们扩展了我们的方法，超越了传统的知识蒸馏，并发现它适用于关系知识蒸馏和对比表示蒸馏。这项工作的新颖之处在于，它提供了一个框架，可以从未校准的教师模型中提取校准的学生，而不会影响提取学生的准确性。我们在各种数据集上进行了大量的实验来验证我们的方法，包括CIFAR-10，CIFAR-100，CINIC-10和TinyImageNet，并获得了校准的学生模型。我们还观察到我们的方法的鲁棒性能，同时评估它对损坏的CIFAR-100C数据。
2023-02-22 cs.AI cs.CV cs.LG
Distilling Knowledge via Intermediate Classifiers
Ontario Tech University（安大略理工大学）
知识蒸馏的关键是在预先训练好的大规模教师模型的指导下，有效地训练资源有限的学生模型。然而，当教师和学生的模型复杂度之间存在较大差异时（即，能力差距），知识蒸馏失去了将知识从教师转移到学生的力量，从而培养出一个较弱的学生。为了减轻能力差距的影响，我们通过中间头引入知识蒸馏。通过用分类器头扩展教师的中间层（在不同的深度），我们廉价地获得了一批异构的预先训练的教师。中间分类器头可以一起有效地学习，同时冻结预先训练的教师的骨干。教师（包括原来的教师）的队列共同教学生同时进行。我们在不同师生对和数据集上的实验表明，该方法优于规范的知识蒸馏方法及其扩展。
2021-05-31 cs.AI cs.CV cs.LG
Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation
School of Computer Science and Technology East China Normal University（华东师范大学计算机科学与技术学院）；Wenzhou University（温州大学）
针对师生模型差异导致知识迁移效果不佳的问题，提出SoKD方法，通过可学习特征增强策略动态精炼教师知识，并利用DAM模块聚焦共同感兴趣区域，有效提升了知识蒸馏的性能与泛化能力。
2024-09-27 cs.CV
Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits
Yonsei University（延世大学）
本文提出了一种新的基于知识蒸馏的学习方法，以提高卷积神经网络（CNN）的分类性能，而无需预先训练的教师网络，称为出口集成蒸馏。我们的方法利用多出口架构，在传统的CNN中间添加辅助分类器（称为出口），通过它可以获得早期的推理结果。我们的方法的思想是训练网络使用出口的集合作为蒸馏目标，这大大提高了整个网络的分类性能。我们的方法提出了一个新的范式知识蒸馏，不像传统的蒸馏概念，教师只教学生，我们表明，学生也可以帮助其他学生，甚至教师学习得更好。实验结果表明，我们的方法在各种流行的CNN架构（VGG，ResNet，ResNeXt，WideResNet等）上实现了分类性能的显着改善。此外，所提出的方法可以加快学习的收敛速度，提高稳定性。我们的代码将在Github上提供。
2021-04-05 cs.AI cs.CV cs.LG
Flipped Classroom: Aligning Teacher Attention with Student in Generalized Category Discovery
State Grid Corporation of China（国家电网有限公司）；Lenovo Research（联想研究院）；Baidu Inc（百度公司）
针对GCD中新类先验缺失导致教师误导及师生注意力学习不同步的问题，本文提出FlipClass，从能量视角动态对齐师生注意力，并在多个基准上取得领先性能。
2024-10-25 cs.CV
Continual Learning in the Teacher-Student Setup: Impact of Task Similarity
Imperial College（帝国理工学院）；International School of Advanced Studies (SISSA)（国际高等研究学院（SISSA））；University of Oxford（牛津大学）；Facebook AI Research（脸书人工智能研究院）
连续学习--按顺序学习多项任务的能力--对于人工学习系统至关重要。然而，深度网络的标准训练方法经常遭受灾难性的遗忘，学习新任务会擦除早期任务的知识。虽然灾难性遗忘是这个问题的标志，但任务之间相互干扰的理论原因仍然不清楚。在这里，我们试图缩小理论和实践之间的差距，通过研究在师生设置的继续学习。我们扩展了以前的分析工作，在两层网络的教师-学生设置多个教师。使用每个教师代表一个不同的任务，我们调查教师之间的关系如何影响的遗忘量和转让时，学生所表现出的任务切换。在最近的工作，我们发现，当任务依赖于类似的功能，中间任务相似性导致最大的遗忘。然而，特征相似性只是任务可能相关的一种方式。教师-学生方法允许我们在读出（隐藏到输出权重）和特征（输入到隐藏权重）的水平上解开任务相似性。我们发现这两种类型的相似性，初始传输/遗忘率，最大传输/遗忘，和长期传输/遗忘之间的复杂的相互作用。总之，这些结果有助于阐明导致灾难性遗忘的各种因素。
2021-07-09 cond-mat.stat-mech cs.LG stat.ML
Can Students Beyond The Teacher? Distilling Knowledge from Teacher's Bias
Tianjin University of Technology（天津理工大学）；Hangzhou Normal University（杭州师范大学）；Technical University of Denmark（丹麦技术大学）；Norwegian University of Science and Technology（挪威科技大学）
该研究针对知识蒸馏中教师传递偏差误导学生的问题，提出含偏差消除、校正及动态学习的策略，首次让学生模型超越教师，且可即插即用适配主流KD框架。
2024-12-13 cs.CV
Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation
The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Lab（上海人工智能实验室）
知识蒸馏（KD）在将学习表征从大模型（教师）转移到小模型（学生）方面显示出非常有前途的能力。然而，随着学生和教师之间的能力差距越来越大，现有的KD方法无法取得更好的效果。我们的工作表明，“先验知识”是至关重要的KD，特别是在应用大型教师。特别地，我们提出了动态先验知识（DPK），它集成了教师的部分特征作为特征提取之前的先验知识。这意味着我们的方法也将教师的特征作为“输入”，而不仅仅是“目标”。此外，我们在训练阶段根据特征间隙动态调整先验知识的比例，从而指导学生在适当的难度。为了评估所提出的方法，我们在两个图像分类基准（即CIFAR100和ImageNet）和一个目标检测基准（即MS COCO.结果表明，我们的方法在不同的设置下的性能的优越性。此外，我们的DPK使学生模型的性能与教师模型的性能正相关，这意味着我们可以通过应用更大的教师来进一步提高学生的准确性。更重要的是，DPK为任何给定的模型提供了教师模型选择的快速解决方案。
2023-03-23 cs.CV
PrUE: Distilling Knowledge from Sparse Teacher Networks
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Beijing University of Posts and Telecommunication（北京邮电大学）
尽管深度神经网络在各种任务中取得了显着的成功，但其不断增加的规模也给部署带来了显着的开销。为了压缩这些模型，提出了知识蒸馏，将知识从笨重的（教师）网络转移到轻量级的（学生）网络。然而，教师的指导并不总是提高学生的概括，特别是当学生和教师之间的大小差距很大。以前的作品认为，这是由于教师的高度确定性，导致难以适应的更硬的标签。为了软化这些标签，我们提出了一种修剪方法，称为预测不确定性增强（PrUE），以简化教师。具体来说，我们的方法旨在降低教师对数据的确定性，从而为学生生成软预测。我们通过在CIFAR-10/100、Tiny-ImageNet和ImageNet上的实验，实证研究了所提出方法的有效性。结果表明，稀疏教师训练的学生网络具有更好的性能。此外，我们的方法允许研究人员从更深的网络中提取知识，以进一步提高学生的能力。我们的代码在以下网址公开：\url{https://github.com/wangshaopu/prue}。
2022-07-03 cs.AI cs.CV cs.LG
Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation
Nanjing University（南京大学）；Fudan University（复旦大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
针对多模态在线策略蒸馏中学生感知瓶颈，提出S-OPD框架，通过教师校准策略对比和策略一致性两个目标强化学生视觉学习，无需额外标注或参数，在八个基准上持续提升性能，最高提升4.25分。
2026-10-01 cs.CV
Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks
Monash University（莫纳什大学）；Bytedance（字节跳动）
知识蒸馏通过从繁琐的教师模型中提取知识来学习轻量级的学生模型，是学习紧凑的深度神经网络（DNN）的一种有吸引力的方法。最近的工作通过利用多个教师网络进一步提高了学生网络的性能。然而，大多数现有的基于知识蒸馏的多教师方法使用单独的预先培训的教师。这限制了教师之间的合作学习和师生之间的相互学习。网络量化是学习紧凑DNN的另一种有吸引力的方法。然而，大多数现有的网络量化方法的开发和评估没有考虑多教师支持，以提高量化的学生模型的性能。在本文中，我们提出了一种新的框架，利用多教师知识蒸馏和网络量化来学习低位宽DNN。该方法鼓励量化教师之间的协作学习和量化教师和量化学生之间的相互学习。在学习过程中，教师的知识在相应的层次上形成一个重要性感知的共享知识，作为后续层次教师的输入，也用于指导学生。我们在CIFAR100和ImageNet数据集上的实验结果表明，与其他最先进的方法相比，用我们的方法训练的紧凑量化学生模型取得了有竞争力的结果，在某些情况下，确实超过了全精度模型。
2022-10-27 cs.CV
Densely Guided Knowledge Distillation using Multiple Teacher Assistants
Ajou University（亚洲大学）
随着深度神经网络的成功，引导小型学生网络从大型教师网络学习的知识蒸馏正在被积极研究，用于模型压缩和迁移学习。然而，很少有研究已经进行，以解决学生网络的学习效果差的问题时，学生和教师模型的大小显着不同。在本文中，我们提出了一个密集的指导知识蒸馏使用多个教师助理，逐渐减少模型的大小，有效地弥合教师和学生网络之间的巨大差距。为了刺激学生网络的更有效学习，我们迭代地将每个教师助理引导到每个其他较小的教师助理。具体而言，当在下一步骤中教导较小的教师助理时，使用来自前一步骤的现有较大的教师助理以及教师网络。此外，我们设计随机教学，对于每个小批量，教师或教师助理随机下降。这作为一个正规化，以提高学生网络的教学效率。因此，学生总是可以从多个来源学习突出的提炼知识。我们使用CIFAR-10、CIFAR-100和ImageNet验证了所提出的方法对分类任务的有效性。我们还通过ResNet、WideResNet和VGG等各种骨干架构实现了显著的性能提升。
2021-08-09 cs.CV
Conditional Teacher-Student Learning
Microsoft Corporation（微软公司）
师生（T/S）学习已被证明是有效的各种问题，如领域自适应和模型压缩。T/S学习的一个缺点是，教师模型并不总是完美的，偶尔会以后验概率的形式产生错误的指导，将学生模型误导到次优的表现。为了克服这个问题，我们提出了一个有条件的T/S学习方案，其中一个“聪明”的学生模型选择性地选择从教师模型或地面真理标签学习，条件是教师是否可以正确地预测地面真理。与两个知识源的朴素线性组合不同，当教师模型的预测是正确的时，条件学习仅与教师模型进行，否则退回到基本事实。因此，学生模型能够有效地从老师那里学习，甚至有可能超越老师。我们研究了两个任务：领域自适应的CHiME-3数据集和微软短信听写数据集上的扬声器自适应的学习计划。该方法实现了9.8%和12.8%的相对字出错率减少，分别比T/S学习的环境适应和说话人无关模型的说话人自适应。
2019-04-28 cs.CL cs.LG cs.SD
Good Teachers Explain: Explanation-Enhanced Knowledge Distillation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出解释增强的知识蒸馏（e²KD），通过同时优化经典KD损失和师生解释相似性，提升学生模型准确率及与教师的一致性，并确保学习到正确特征，且对架构和数据量鲁棒。
2024-07-21 cs.AI cs.CV cs.LG
Training Self-localization Models for Unseen Unfamiliar Places via Teacher-to-Student Data-Free Knowledge Transfer
University of Fukui（福井大学）
针对开放世界中机器人自定位模型训练数据缺失问题，提出一种教师到学生的无数据知识迁移方案，通过重建伪训练数据集实现持续学习，在递归知识蒸馏中稳定提升性能。
2024-03-13 cs.AI cs.CV cs.LG
Knowledge Distillation in Generations: More Tolerant Teachers Educate Better Students
The Johns Hopkins University（约翰斯·霍普金斯大学）
我们专注于在几代人中训练深度神经网络的问题。其流程是，为了优化目标网络（学生），首先训练另一个具有相同架构的网络（教师），并在下一阶段用于提供部分监督信号。虽然该策略导致更高的准确性，但是许多方面（例如，师生优化为什么有帮助）还需要进一步探索。本文从教师网络培训严格性控制的角度对这一问题进行了研究。现有的方法大多使用硬分布（例如，one-hot vectors），导致严格的老师，其本身具有高准确性，但我们认为老师需要更宽容，尽管这通常意味着较低的准确性。实施起来非常简单，只需要在教师网络中添加一个额外的损失项，就可以产生一些辅助类，并补充初级类。因此，教师提供更温和的监督信号（较少的峰值分布），并且使得学生可以从类间相似性中学习，并且潜在地降低过度拟合的风险。在标准图像分类任务（CIFAR 100和ILSVRC 2012）上进行实验。虽然教师网络表现得不那么强大，但学生表现出持续的能力增长，最终实现了比其他竞争对手更高的分类准确率。模型集成和迁移特征提取也验证了该方法的有效性。
2018-09-07 cs.CV
Improving Fast Segmentation With Teacher-student Learning
Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
最近，分割神经网络已显着改善，表现出非常有前途的准确性在公共基准。然而，这些模型非常笨重，并且通常遭受低推理速度，这限制了它们在实践中的应用场景。同时，现有的快速分割模型在公共基准上通常不能获得令人满意的分割精度。在本文中，我们提出了一个教师-学生学习框架，该框架将通过繁重且性能更好的分割网络（即教师）获得的知识转移到快速分割网络（即学生）的学习中。具体来说，在精细注释的图像和未标记的辅助数据中描述的零阶和一阶知识都被转移，以规范我们的学生学习。该方法可以改善现有的快速分割模型，而不会产生额外的计算开销，因此它仍然可以处理图像具有相同的快速速度。在Pascal Context、Cityscape和VOC 2012数据集上进行的大量实验表明，所提出的师生学习框架能够显著提高学生网络的性能。
2018-10-19 cs.CV
SFT-KD-Recon: Learning a Student-friendly Teacher for Knowledge Distillation in Magnetic Resonance Image Reconstruction
Indian Institute of Technology, Madras（马德拉斯印度理工学院）；HealthCare Technology Innovation Center（医疗保健技术创新中心）
提出SFT-KD-Recon方法，通过联合训练教师与学生并引入模仿损失，使教师感知学生结构，从而提升磁共振图像重建中知识蒸馏的性能，显著缩小师生差距。
2023-04-11 cs.AI cs.CV eess.IV
Knowledge Distillation with the Reused Teacher Classifier
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；ZJU-Bangsun Joint Research Center（浙江大学-邦盛联合研究中心）；Zhejiang University of Technology（浙江工业大学）
知识蒸馏的目标是将一个强大而繁琐的教师模型压缩成一个轻量级的学生模型，而不会牺牲太多的性能。为此目的，在过去的几年中，已经提出了各种方法，通常与精心设计的知识表示，这反过来又增加了模型开发和解释的难度。相反，我们的经验表明，一个简单的知识蒸馏技术是足以显着缩小师生绩效差距。我们直接从预训练的教师模型中重用判别分类器用于学生推理，并通过具有单个$\ell_2$损失的特征对齐来训练学生编码器。通过这种方式，学生模型能够实现与教师模型完全相同的性能，前提是它们提取的特征完全对齐。一个额外的投影仪的开发，以帮助学生编码器匹配的教师分类器，这使得我们的技术适用于各种教师和学生的架构。大量的实验表明，我们的技术实现了国家的最先进的结果在适度的压缩比的成本，由于增加了投影仪。
2022-03-26 cs.CV
Descriptor Distillation: a Teacher-Student-Regularized Framework for Learning Local Descriptors
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
针对局部描述符学习中三元组损失收敛效果有限、计算速度待提升的问题，提出DesDis师生正则化蒸馏框架，可训练出性能更优的等参模型和速度提升8倍以上的轻量模型。
2024-03-08 cs.CV
SCB-Dataset: A Dataset for Detecting Student and Teacher Classroom Behavior
Fan Yang
本文构建了涵盖19个类别、包含目标检测与图像分类任务的SCB-Dataset师生课堂行为数据集，并使用YOLO系列算法和大型视觉语言模型进行基准测试，为人工智能在教育领域的应用奠定了基础。
2025-08-12 cs.CV
Multi-Teacher Knowledge Distillation with Reinforcement Learning for Visual Recognition
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出MTKD-RL，利用强化学习优化多教师知识蒸馏中的教师权重，在视觉识别任务上达到最先进性能。
2025-02-22 cs.CV
Augmenting Knowledge Distillation With Peer-To-Peer Mutual Learning For Model Compression
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
知识蒸馏（KD）是一种有效的模型压缩技术，其中紧凑的学生网络被教导模仿复杂且高度训练的教师网络的行为。相比之下，相互学习（ML）提供了一种替代策略，即使在没有强大但静态的教师网络的情况下，多个简单的学生网络也可以从共享知识中受益。受这些发现的启发，我们提出了一个单教师，多学生的框架，利用KD和ML来实现更好的性能。此外，在线蒸馏策略，利用训练教师和学生同时进行。为了评估所提出的方法的性能，进行了广泛的实验，使用三个不同版本的师生网络的基准生物医学分类（MSI与MSS）和目标检测（息肉检测）的任务。与单独使用KD或ML训练的学生群体相比，以所提出的方式训练的学生网络的增强取得了更好的结果，建立了通过学生之间的对等学习来增强从教师到学生的知识转移的好处。
2021-10-22 cs.CV
Teacher-Student Consistency For Multi-Source Domain Adaptation
Bar-Ilan University（巴伊兰大学）；Nvidia Research（英伟达研究院）
在多源领域自适应（MSDA）中，模型在来自多个源领域的样本上进行训练，并用于在不同的目标领域上进行推理。主流的领域自适应方法学习源域和目标域的联合表示。不幸的是，联合表示可能会强调对源域有用的特征，但会损害对目标域的推断（负传递），或删除有关目标域的基本信息（知识衰落）。我们提出了多源学生教师（MUST），旨在缓解这些问题的一种新的程序。其核心思想有两个步骤：首先，我们训练一个教师网络的源标签和推断伪标签的目标。然后，我们使用伪标签训练一个学生网络，并正则化教师以拟合学生预测。这种正则化有助于教师对目标数据的预测在各时期之间保持一致。MUST在三个MSDA基准上的评估：数字，文本情感分析和视觉对象识别显示，MUST优于当前的SoTA，有时是非常大的差距。我们进一步分析了优化的解决方案和动态，表明学习的模型遵循目标分布密度，隐式地将其用作未标记目标数据中的信息。
2020-10-20 cs.LG
Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning
Zhejiang University（浙江大学）
针对现有多教师知识蒸馏方法忽略弱学习能力学生适配性的问题，提出基于元学习的自适应多教师知识蒸馏MMKD，通过元权重网络融合多层教师知识定制集成教师，经多基准实验验证有效且灵活。
2023-06-11 cs.CV
Student-Teacher Learning from Clean Inputs to Noisy Inputs
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
基于学习的学生-教师学习是一种鼓励学生的隐藏特征模仿教师网络的训练方法，在将知识从预先训练的教师网络转移到学生网络方面取得了经验上的成功。此外，最近的实验结果表明，即使学生的输入样本被噪声破坏，教师的特征也可以提高学生网络的泛化能力。然而，有一个缺乏理论的见解，为什么以及何时这种方法的知识转移可以成功之间的异构任务。我们使用深度线性网络从理论上分析了这种方法，并使用非线性网络进行了实验。我们确定了该方法成功的三个关键因素：（1）学生是否被训练到零训练损失;（2）教师在干净输入问题上的知识水平;（3）教师如何将其知识分解为隐藏特征。这三个因素中的任何一个缺乏适当的控制都会导致师生学习方法的失败。
2021-03-13 cs.CV cs.LG stat.ML
Teacher-Class Network: A Neural Network Compression Mechanism
Rensselaer Polytechnic Institute（伦斯勒理工学院）
为了减少深度神经网络（DNN）的庞大规模，师生方法试图将知识从复杂的教师网络转移到简单的学生网络。相反，我们提出了一种称为教师类网络的新方法，该网络由单个教师和多个学生网络（即学生类）组成。该方法不是只将知识转移给一个学生，而是将一大块知识转移给每个学生。我们的学生没有接受针对特定问题的逻辑训练，他们被训练来模仿教师网络学习的知识（密集表示），因此学生班级学习的组合知识也可以用于解决其他问题。建议的教师级架构进行评估的几个基准数据集，如MNIST，时尚MNIST，IMDB电影评论，CAMVid，CIFAR-10和ImageNet的多个任务，包括图像分类，情感分类和分割。我们的方法优于国家的最先进的单学生的方法在精度以及计算成本，同时实现10-30倍的参数减少。
2021-10-29 cs.CV cs.LG stat.ML
Student-Teacher Curriculum Learning via Reinforcement Learning: Predicting Hospital Inpatient Admission Location
University of Oxford（牛津大学）；Oxford University Hospitals Trust（牛津大学医院信托）
由于临床环境中的资源限制和空间可用性，准确可靠地预测入院位置非常重要，特别是在处理来自急诊科的患者时。在这项工作中，我们提出了一个学生-教师网络通过强化学习来处理这个特定的问题。学生网络的权重表示被视为状态，并作为教师网络的输入。教师网络的动作是从根据熵排序的训练集中选择最合适的一批数据来训练学生网络。通过在三个数据集上进行验证，我们不仅表明我们的方法在表格数据上优于最先进的方法，在图像识别上具有竞争力，而且教师网络还学习了新的课程。我们通过实验证明，教师网络可以主动学习学生网络，并引导它实现比单独训练更好的性能。
2020-07-01 cs.CV cs.LG stat.ML
CARD: Closing the Teacher-Student Loop for Adversarial Robustness Distillation
Yunnan University（云南大学）；Yunnan Normal University（云南师范大学）
本研究提出闭环框架CARD，通过将蒸馏学生模型的反馈用于优化教师模型并回传增益，突破单向鲁棒性迁移范式，在多数据集上提升对抗鲁棒性且保持干净准确率。
2026-10-14 cs.CV cs.LG
Noisy student-teacher training for robust keyword spotting
Google Inc.（谷歌公司）
我们提出了自训练与嘈杂的学生-教师的方法流关键字发现，可以利用大规模的未标记的数据和积极的数据增强。所提出的方法应用积极的数据增强（光谱增强）的学生和教师的输入，并利用未标记的数据在规模，这显着提高了学生的准确性，对具有挑战性的条件。当与带有硬标记数据的监督训练一起使用时，这种积极的增强通常会降低模型性能。实验表明，积极规范增强基线监督训练方法降低准确性，而提出的自我训练与嘈杂的学生-教师培训提高了一些困难的条件测试集的准确性高达60%。
2021-06-03 cs.LG stat.ML
Residual-as-Teacher: Mitigating Bias Propagation in Student--Teacher Estimation
Massachusetts Institute of Technology（麻省理工学院）
本文提出残差-教师方法，通过估计学生预测的残差来减少教师偏差影响，理论分析显示其优于直接匹配方法，且在核基学生-教师对中达到最优率。
2026-03-26 cs.LG math.ST stat.ML
Representation Consolidation for Training Expert Students
Amazon AWS Rekognition（亚马逊AWS图像识别服务）
传统上，蒸馏已被用于训练学生模型，以模仿教师的输入/输出功能。一个比仿真更有用的目标是让学生学习能够很好地转移到未来任务中的特征表示，但这一目标尚未得到充分探索。然而，我们观察到，对特定任务教师的标准蒸馏实际上 * 减少了 * 学生表征向下游任务的转移。我们表明，使用未标记代理数据集和通才教师的多头多任务蒸馏方法足以巩固特定任务教师的表示并提高下游性能，优于教师和ImageNet预训练特征的强基线。我们的方法还可以将在一个或多个领域上训练的多个教师的代表性知识结合到单个模型中，其代表性在所有教师的领域上得到改进。
2021-07-16 cs.CV cs.LG
On Learnability via Gradient Method for Two-Layer ReLU Neural Networks in Teacher-Student Setting
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
深度学习在许多应用中经验性地实现了高性能，但其训练动态在理论上尚未得到充分理解。在本文中，我们探索了在师生回归模型中训练两层ReLU神经网络的理论分析，其中学生网络通过其输出学习未知的教师网络。我们表明，通过特定的正则化和充分的过参数化，学生网络可以通过具有范数依赖步长的梯度下降以高概率识别教师网络的参数，即使目标函数是高度非凸的。关键的理论工具是测量表示的神经网络和一个新的应用程序的双证书参数稀疏估计的测量空间。在测度空间中分析了算法的全局极小性和全局收敛性。
2021-06-29 cs.LG stat.ML
Zero-shot Knowledge Transfer via Adversarial Belief Matching
University of Edinburgh（爱丁堡大学）
在现代深度学习应用中，从大型教师网络向较小的学生进行知识转移是一项受欢迎的任务。然而，由于不断增长的数据集大小和更严格的隐私法规，无法访问用于训练教师的数据的情况越来越普遍。我们提出了一种新的方法，该方法训练学生在不使用任何数据或元数据的情况下匹配老师的预测。我们通过训练一个对抗生成器来搜索学生与老师不匹配的图像，然后用它们来训练学生。我们得到的学生在SVHN等简单数据集上非常接近老师，而在CIFAR10上，我们改进了最先进的Few-Shot蒸馏（每类100张图像），尽管没有使用数据。最后，我们还提出了一个度量，以量化的程度，教师和学生之间的信念匹配的决策边界附近，并观察到一个显着更高的匹配我们的zero-shot学生和教师之间，比一个学生与真实数据和教师之间的蒸馏。代码可在：https://github.com/polo5/ZeroShotKnowledgeTransfer
2019-11-25 cs.LG stat.ML
JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition
University of Bucharest（布加勒斯特大学）；Politehnica University of Bucharest（布加勒斯特理工大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
JEDI提出一种多数据集半监督学习方法，通过联合端到端的学生-教师蒸馏框架融合多个专家知识，在四个视频动作识别数据集上显著提升了模型泛化性能。
2023-08-09 cs.CV cs.LG
Does Knowledge Distillation Really Work?
NYU（纽约大学）；Google Research（谷歌研究院）
知识蒸馏是一种流行的技术，用于训练小型学生网络以模拟较大的教师模型，例如网络的集合。我们发现，虽然知识蒸馏可以提高学生的泛化能力，但它通常并不像人们通常理解的那样起作用：教师和学生的预测分布之间往往存在令人惊讶的巨大差异，即使在学生有能力完全匹配教师的情况下。我们确定优化的困难是学生无法与老师相匹配的关键原因。我们还展示了用于蒸馏的数据集的细节如何在学生与教师的匹配程度上发挥作用-并且更接近地匹配教师并不总是导致更好的学生概括。
2021-12-06 cs.LG stat.ML
Switching Temporary Teachers for Semi-Supervised Semantic Segmentation
Ajou University（明知大学）；NAVER AI Lab（NAVER AI实验室）；University of Birmingham（伯明翰大学）
针对半监督语义分割中教师-学生权重耦合问题，提出Dual Teacher方法，通过双临时教师轮班生成伪标签训练学生，在多个基准上以更短训练时间取得有竞争力性能。
2023-10-28 cs.CV cs.LG
Lifelong Teacher-Student Network Learning
University of York（约克大学）
人类独特的认知能力在于他们能够从一系列的经验中获得新的知识和技能。与此同时，人工智能系统擅长只学习最后一个给定的任务，而不能记住过去学习的数据库。我们提出了一种新的终身学习方法，采用师生网络框架。当学生模块使用新的给定数据库进行训练时，教师模块将提醒学生过去学习的信息。由生成对抗网络（GAN）实现的教师被训练来保存和重放与先前学习的数据库的概率表示相对应的过去知识。同时，学生模块由变分自编码器（VAE）实现，该变分自编码器从教师模块的输出以及新可用的数据库推断其潜在变量表示。此外，学生模块经过训练，可以捕获不同领域的连续和离散底层数据表示。提出的终身学习框架应用于监督，半监督和无监督的培训。代码可用~：\url{https://github.com/dtuzi123/Lifelong-Teacher-Student-Network-Learning}
2021-07-09 cs.AI cs.CV cs.LG
Learning Student-Friendly Teacher Networks for Knowledge Distillation
DIT Center, Samsung Electronics（三星电子DIT中心）；ECE & ASRI, Seoul National University（首尔大学电子与计算机工程系及自动化与系统研究所）
我们提出了一种新的知识蒸馏方法，以促进暗知识从教师到学生的转移。与大多数依赖于预先培训的教师对学生模型进行有效培训的现有方法相反，我们的目标是学习对学生友好的教师模型，从而更适合知识转移。换句话说，在优化教师模型的同时，该算法联合学习学生分支以获得学生友好的表示。由于我们的方法的主要目标在于训练教师模型和随后的知识蒸馏过程是简单的，大多数现有的知识蒸馏方法可以采用这种技术，以提高不同的学生模型的准确性和收敛速度方面的性能。该算法在几个著名的知识蒸馏技术与教师和学生模型的各种组合的情况下，即使在他们的架构是异构的，没有先验知识的学生模型在培训教师网络的时候，表现出突出的准确性。
2022-01-23 cs.LG
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
Masters通过掩码教师和强化学生的方法，解决视觉-语言模型蒸馏中的大小差距问题，提升学生模型的表示学习能力。
2025-12-23 cs.AI cs.CV cs.LG
Teacher-Student Training and Triplet Loss for Facial Expression Recognition under Occlusion
Novustech Services（诺沃斯特科技服务公司）；University of Bucharest（布加勒斯特大学）
本文研究了强遮挡条件下的人脸表情识别问题。我们对50%的面部被遮挡的情况特别感兴趣，例如当受试者佩戴虚拟现实（VR）耳机时。虽然以前的研究表明，预训练卷积神经网络（CNN）的完全可见（非遮挡）的脸提高了准确性，我们建议采用知识蒸馏，以实现进一步的改进。首先，我们采用经典的教师-学生训练策略，其中教师是在完全可见的面部上训练的CNN，学生是在遮挡面部上训练的CNN。其次，提出了一种基于三元组损失的知识蒸馏方法。在训练过程中，目标是减少锚嵌入与正嵌入之间的距离，锚嵌入由学生CNN（将遮挡的面部作为输入）产生，正嵌入由教师CNN（在完全可见的面部上训练）产生，因此它变得小于锚与负嵌入之间的距离（来自与锚不同的类别），由学生CNN产生。第三，我们建议将通过经典的师生策略和我们基于三重丢失的新颖师生策略获得的提取嵌入组合成单个嵌入向量。我们在FER+和AffectNet两个基准上进行了实验，使用两种CNN架构VGG-f和VGG-face，表明知识蒸馏可以在VR设置中为遮挡面部设计的最先进的方法上带来显着的改进。
2021-02-25 cs.CV cs.LG
STUDD: A Student-Teacher Method for Unsupervised Concept Drift Detection
University of Waikato（怀卡托大学）；Télécom ParisTech（巴黎高科电信学院）；Dalhousie University（达尔豪斯大学）
概念漂移检测是数据流演化环境中的一项重要任务。设计用于解决该问题的大多数最先进的方法监视预测模型的损失。然而，这种方法在许多现实世界的场景中是不够的，在这些场景中，真实的标签并不容易用于计算损失。在这种情况下，人们越来越关注以无监督方式执行概念漂移检测的方法，即，而无法接触到真正的标签。我们提出了一种新的方法，无监督的概念漂移检测的基础上，学生-教师学习范式。从本质上讲，我们创建了一个辅助模型（学生）来模仿主模型（教师）的行为。在运行时，我们的方法是使用教师预测新的实例，并监测模仿学生的概念漂移检测损失。在一组使用19个数据流的实验中，我们表明，所提出的方法可以检测概念漂移，并提出了一个竞争的行为相对于国家的最先进的方法。
2021-03-01 cs.LG stat.ML
Asymmetric Student-Teacher Networks for Industrial Anomaly Detection
Leibniz University Hannover（汉诺威莱布尼茨大学）；Linköping University（林雪平大学）
工业缺陷检测通常使用异常检测（AD）方法来解决，其中没有或只有不完整的潜在发生缺陷的数据可用。这项工作发现了以前未知的问题，学生-教师的方法AD，并提出了一个解决方案，其中两个神经网络进行训练，以产生相同的输出为无缺陷的训练样本。学生-教师网络的核心假设是，两个网络的输出之间的距离对于异常来说更大，因为它们在训练中不存在。然而，以前的方法受到学生和教师架构的相似性，使得距离对于异常是不期望的小。为此，我们提出了非对称的学生-教师网络（AST）。我们训练一个用于密度估计的归一化流作为教师，一个传统的前馈网络作为学生，以触发异常的大距离：归一化流的双射性强制教师输出与正常数据相比异常的发散。在训练分布之外，由于其根本不同的架构，学生无法模仿这种分歧。我们的AST网络通过归一化流补偿错误估计的可能性，该归一化流在以前的工作中可用于异常检测。我们表明，我们的方法在两个目前最相关的缺陷检测数据集MVTec AD和MVTec 3D-AD上产生了最先进的结果，这些数据集涉及RGB和3D数据的图像级异常检测。
2022-10-18 cs.AI cs.CV cs.LG
Student-Informed Teacher Training
University of Zurich（苏黎世大学）
针对特权模仿学习中师生不对称导致学生难以模仿的问题，提出联合训练框架，通过动作差异惩罚项和师生对齐步骤，使教师学习可被学生模仿的行为，并在迷宫导航及四旋翼飞行和操作任务中验证有效性。
2025-02-27 cs.LG cs.RO
Learning to Teach with Student Feedback
Fudan University（复旦大学）
知识蒸馏（KD）由于其在压缩大规模预训练模型方面的有效性而受到广泛关注。在典型的KD方法中，小学生模型经过训练以匹配大教师模型生成的软目标。然而，学生和教师之间的互动是单向的。教师通常是固定的，一旦培训，导致静态的软目标被提炼。这种单向的互动导致教师无法感知学生的特点及其训练进度。为了解决这个问题，我们提出了交互式知识蒸馏（IKD），它也允许教师从学生的反馈中学习教学。特别地，IKD训练教师模型，以在每个训练步骤为特定学生生成特定的软目标。教师和学生的联合优化通过两个迭代步骤实现：课程步骤以教师的软目标优化学生，考试步骤以学生的反馈优化教师。IKD是一个通用的框架，是正交的大多数现有的知识蒸馏方法。实验结果表明，IKD优于传统的KD方法在各种NLP任务。
2021-09-10 cs.LG
How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Shenzhen Future Network of Intelligence Institute (FNiI-Shenzhen)（深圳市未来智能网络研究院）；Guangdong Provincial Key Laboratory of Future Networks of Intelligence, CUHK(SZ)（广东省未来智能网络重点实验室（香港中文大学（深圳）））
提出Prep-OPD，在蒸馏前用强化学习训练教师适应学生推理状态并纠错，显著提升数学推理蒸馏性能。
2026-10-06 cs.LG
Customizing Student Networks From Heterogeneous Teachers via Adaptive Knowledge Amalgamation
Zhejiang University（浙江大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
开发人员已经在线发布了大量训练有素的深度网络。这些网络可能专注于不同的任务，并且在许多情况下针对不同的数据集进行了优化。在本文中，我们研究如何利用这种异构的预先训练的网络，称为教师，以便训练一个定制的学生网络，解决一组由用户定义的选择性任务。我们假设没有人类注释可用，每个教师可能是单任务或多任务。为此，我们引入了一个双步骤的策略，首先从共享同一子任务的异构教师中提取特定于任务的知识，然后合并提取的知识来构建学生网络。为了便于训练，我们采用了一种选择性学习方案，对于每个未标记的样本，学生只从具有最小预测模糊性的老师那里自适应地学习。我们评估了所提出的方法在几个数据集和实验结果表明，学生，学习这种自适应知识融合，取得的成绩甚至比那些教师。
2019-08-20 cs.AI cs.CV cs.LG
