Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation
Nanjing University（南京大学）；Fudan University（复旦大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
针对多模态在线策略蒸馏中学生感知瓶颈，提出S-OPD框架，通过教师校准策略对比和策略一致性两个目标强化学生视觉学习，无需额外标注或参数，在八个基准上持续提升性能，最高提升4.25分。
2026-10-01 cs.CV
Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks
Monash University（莫纳什大学）；Bytedance（字节跳动）
知识蒸馏通过从繁琐的教师模型中提取知识来学习轻量级的学生模型，是学习紧凑的深度神经网络（DNN）的一种有吸引力的方法。最近的工作通过利用多个教师网络进一步提高了学生网络的性能。然而，大多数现有的基于知识蒸馏的多教师方法使用单独的预先培训的教师。这限制了教师之间的合作学习和师生之间的相互学习。网络量化是学习紧凑DNN的另一种有吸引力的方法。然而，大多数现有的网络量化方法的开发和评估没有考虑多教师支持，以提高量化的学生模型的性能。在本文中，我们提出了一种新的框架，利用多教师知识蒸馏和网络量化来学习低位宽DNN。该方法鼓励量化教师之间的协作学习和量化教师和量化学生之间的相互学习。在学习过程中，教师的知识在相应的层次上形成一个重要性感知的共享知识，作为后续层次教师的输入，也用于指导学生。我们在CIFAR100和ImageNet数据集上的实验结果表明，与其他最先进的方法相比，用我们的方法训练的紧凑量化学生模型取得了有竞争力的结果，在某些情况下，确实超过了全精度模型。
2022-10-27 cs.CV
Densely Guided Knowledge Distillation using Multiple Teacher Assistants
Ajou University（亚洲大学）
随着深度神经网络的成功，引导小型学生网络从大型教师网络学习的知识蒸馏正在被积极研究，用于模型压缩和迁移学习。然而，很少有研究已经进行，以解决学生网络的学习效果差的问题时，学生和教师模型的大小显着不同。在本文中，我们提出了一个密集的指导知识蒸馏使用多个教师助理，逐渐减少模型的大小，有效地弥合教师和学生网络之间的巨大差距。为了刺激学生网络的更有效学习，我们迭代地将每个教师助理引导到每个其他较小的教师助理。具体而言，当在下一步骤中教导较小的教师助理时，使用来自前一步骤的现有较大的教师助理以及教师网络。此外，我们设计随机教学，对于每个小批量，教师或教师助理随机下降。这作为一个正规化，以提高学生网络的教学效率。因此，学生总是可以从多个来源学习突出的提炼知识。我们使用CIFAR-10、CIFAR-100和ImageNet验证了所提出的方法对分类任务的有效性。我们还通过ResNet、WideResNet和VGG等各种骨干架构实现了显著的性能提升。
2021-08-09 cs.CV
Knowledge Distillation in Generations: More Tolerant Teachers Educate Better Students
The Johns Hopkins University（约翰斯·霍普金斯大学）
我们专注于在几代人中训练深度神经网络的问题。其流程是，为了优化目标网络（学生），首先训练另一个具有相同架构的网络（教师），并在下一阶段用于提供部分监督信号。虽然该策略导致更高的准确性，但是许多方面（例如，师生优化为什么有帮助）还需要进一步探索。本文从教师网络培训严格性控制的角度对这一问题进行了研究。现有的方法大多使用硬分布（例如，one-hot vectors），导致严格的老师，其本身具有高准确性，但我们认为老师需要更宽容，尽管这通常意味着较低的准确性。实施起来非常简单，只需要在教师网络中添加一个额外的损失项，就可以产生一些辅助类，并补充初级类。因此，教师提供更温和的监督信号（较少的峰值分布），并且使得学生可以从类间相似性中学习，并且潜在地降低过度拟合的风险。在标准图像分类任务（CIFAR 100和ILSVRC 2012）上进行实验。虽然教师网络表现得不那么强大，但学生表现出持续的能力增长，最终实现了比其他竞争对手更高的分类准确率。模型集成和迁移特征提取也验证了该方法的有效性。
2018-09-07 cs.CV
Improving Fast Segmentation With Teacher-student Learning
Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
最近，分割神经网络已显着改善，表现出非常有前途的准确性在公共基准。然而，这些模型非常笨重，并且通常遭受低推理速度，这限制了它们在实践中的应用场景。同时，现有的快速分割模型在公共基准上通常不能获得令人满意的分割精度。在本文中，我们提出了一个教师-学生学习框架，该框架将通过繁重且性能更好的分割网络（即教师）获得的知识转移到快速分割网络（即学生）的学习中。具体来说，在精细注释的图像和未标记的辅助数据中描述的零阶和一阶知识都被转移，以规范我们的学生学习。该方法可以改善现有的快速分割模型，而不会产生额外的计算开销，因此它仍然可以处理图像具有相同的快速速度。在Pascal Context、Cityscape和VOC 2012数据集上进行的大量实验表明，所提出的师生学习框架能够显著提高学生网络的性能。
2018-10-19 cs.CV
Knowledge Distillation with the Reused Teacher Classifier
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；ZJU-Bangsun Joint Research Center（浙江大学-邦盛联合研究中心）；Zhejiang University of Technology（浙江工业大学）
知识蒸馏的目标是将一个强大而繁琐的教师模型压缩成一个轻量级的学生模型，而不会牺牲太多的性能。为此目的，在过去的几年中，已经提出了各种方法，通常与精心设计的知识表示，这反过来又增加了模型开发和解释的难度。相反，我们的经验表明，一个简单的知识蒸馏技术是足以显着缩小师生绩效差距。我们直接从预训练的教师模型中重用判别分类器用于学生推理，并通过具有单个$\ell_2$损失的特征对齐来训练学生编码器。通过这种方式，学生模型能够实现与教师模型完全相同的性能，前提是它们提取的特征完全对齐。一个额外的投影仪的开发，以帮助学生编码器匹配的教师分类器，这使得我们的技术适用于各种教师和学生的架构。大量的实验表明，我们的技术实现了国家的最先进的结果在适度的压缩比的成本，由于增加了投影仪。
2022-03-26 cs.CV
Descriptor Distillation: a Teacher-Student-Regularized Framework for Learning Local Descriptors
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
针对局部描述符学习中三元组损失收敛效果有限、计算速度待提升的问题，提出DesDis师生正则化蒸馏框架，可训练出性能更优的等参模型和速度提升8倍以上的轻量模型。
2024-03-08 cs.CV
SCB-Dataset: A Dataset for Detecting Student and Teacher Classroom Behavior
Fan Yang
本文构建了涵盖19个类别、包含目标检测与图像分类任务的SCB-Dataset师生课堂行为数据集，并使用YOLO系列算法和大型视觉语言模型进行基准测试，为人工智能在教育领域的应用奠定了基础。
2025-08-12 cs.CV
Multi-Teacher Knowledge Distillation with Reinforcement Learning for Visual Recognition
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出MTKD-RL，利用强化学习优化多教师知识蒸馏中的教师权重，在视觉识别任务上达到最先进性能。
2025-02-22 cs.CV
Augmenting Knowledge Distillation With Peer-To-Peer Mutual Learning For Model Compression
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
知识蒸馏（KD）是一种有效的模型压缩技术，其中紧凑的学生网络被教导模仿复杂且高度训练的教师网络的行为。相比之下，相互学习（ML）提供了一种替代策略，即使在没有强大但静态的教师网络的情况下，多个简单的学生网络也可以从共享知识中受益。受这些发现的启发，我们提出了一个单教师，多学生的框架，利用KD和ML来实现更好的性能。此外，在线蒸馏策略，利用训练教师和学生同时进行。为了评估所提出的方法的性能，进行了广泛的实验，使用三个不同版本的师生网络的基准生物医学分类（MSI与MSS）和目标检测（息肉检测）的任务。与单独使用KD或ML训练的学生群体相比，以所提出的方式训练的学生网络的增强取得了更好的结果，建立了通过学生之间的对等学习来增强从教师到学生的知识转移的好处。
2021-10-22 cs.CV
Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning
Zhejiang University（浙江大学）
针对现有多教师知识蒸馏方法忽略弱学习能力学生适配性的问题，提出基于元学习的自适应多教师知识蒸馏MMKD，通过元权重网络融合多层教师知识定制集成教师，经多基准实验验证有效且灵活。
2023-06-11 cs.CV
Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation
Megvii（旷视科技）
知识蒸馏通常将知识从预先训练的笨重的教师网络转移到紧凑的学生网络，这遵循经典的教师-教学-学生范式。基于这种范例，以前的方法主要集中在如何有效地训练更好的学生网络进行部署。不同于现有的实践，在本文中，我们提出了一种新的学生帮助教师公式，教师进化通过自我知识蒸馏（TESKD），其中目标教师（部署）是学习与多层次的学生通过共享结构骨干的帮助。来自多个学生的不同反馈允许教师通过共享的特征表示来改进自己。我们提出的框架的有效性通过在两个标准基准测试（包括CIFAR-100和ImageNet）上使用各种网络设置进行的广泛实验来证明。值得注意的是，当与我们提出的方法一起训练时，ResNet-18在CIFAR-100和ImageNet上实现了79.15%和71.14%的准确率，分别比基线结果高出4.74%和1.43%。该代码可从以下网址获取：https://github.com/zhengli427/TESKD。
2021-10-13 cs.CV cs.LG
Teacher-Student Architecture for Knowledge Learning: A Survey
McGill University（麦吉尔大学）；Northwest University（西北大学）
虽然深度神经网络（DNN）在许多领域显示出强大的解决大规模问题的能力，但这种具有大量参数的DNN很难在实时系统中部署。为了解决这个问题，教师-学生架构首先用于知识蒸馏，其中简单的学生网络可以实现与深度教师网络相当的性能。近年来，师生架构已被广泛应用于各种知识学习目标，包括知识蒸馏、知识扩展、知识适应和多任务学习。在师生架构的帮助下，目前的研究能够通过轻量级和有效的学生网络来实现多个知识学习目标。与现有的知识蒸馏调查不同，本调查详细讨论了具有多个知识学习目标的师生架构。此外，我们系统地介绍了知识学习过程中的知识构建和优化过程，然后分析了各种师生架构和有效的学习方案，已被利用来学习代表性和鲁棒性的知识。本文还总结了基于不同目的的师生体系结构的最新应用（即，分类、识别和生成）。最后，从师生结构设计、知识质量和回归学习理论研究三个方面探讨了知识学习的潜在研究方向。通过这项全面的调查，行业从业者和学术界都可以了解有关教师-学生架构的多个知识学习目标的有见地的指导方针。
2022-10-28 cs.CV cs.LG
Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
知识蒸馏的目的是通过从一个大得多的映射函数中学习映射函数来获得一个紧凑而有效的模型。由于学生的能力有限，学生将不适合老师。因此，学生的表现会出乎意料地下降时，从一个超大的教师，称为能力差距问题。我们通过对教师与学生之间的信任差距的研究来探讨这一问题。我们发现，自信的大小不是知识蒸馏的必要条件，如果学生被迫学习自信，可能会损害学生的表现。我们提出了球形知识蒸馏来消除这个差距明确，这缓解了欠拟合问题。我们发现，这种新的知识表示可以改善紧凑的模型与更大的教师，是强大的温度。我们在CIFAR100和ImageNet上进行了实验，并取得了显著的改善。具体来说，我们训练ResNet 18达到73.0的准确度，这比以前的SOTA有了很大的改进，与resnet34相当，几乎是学生人数的两倍。该实现已在https://github.com/forjiuzhou/Spherical-Knowledge-Distillation上共享。
2021-01-12 cs.CV cs.LG
Teacher-Student Competition for Unsupervised Domain Adaptation
Tianjin University（天津大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
现有的无监督领域自适应（UDA）方法主要从共享特征提取器中学习领域不变表示，源域的监督仅在类级进行，存在源偏差问题。提出了一种基于教师-学生竞争的无监督领域自适应方法。特别地，引入学生网络来学习特定于目标的特征空间，并且我们设计了一种新的竞争机制来选择更可信的伪标签用于学生网络的训练。我们引入了一个教师网络与现有的传统UDA方法的结构，教师和学生网络竞争提供目标伪标签，以约束每个目标样本的训练在学生网络。大量的实验表明，我们提出的TSC框架显着优于国家的最先进的领域自适应方法在Office-31和ImageCLEF-DA基准。
2020-10-20 cs.CV cs.LG
Pseudo-label Correction for Instance-dependent Noise Using Teacher-student Framework
University of California, San Diego（加州大学圣地亚哥分校）
提出P-LC框架，通过将教师网络重构为三元编码器并利用三元组损失，在师生网络中实现伪标签校正，有效应对实例依赖标签噪声，在多个数据集上超越现有方法。
2023-11-24 cs.CV cs.LG
SFT-KD-Recon: Learning a Student-friendly Teacher for Knowledge Distillation in Magnetic Resonance Image Reconstruction
Indian Institute of Technology, Madras（马德拉斯印度理工学院）；HealthCare Technology Innovation Center（医疗保健技术创新中心）
提出SFT-KD-Recon方法，通过联合训练教师与学生并引入模仿损失，使教师感知学生结构，从而提升磁共振图像重建中知识蒸馏的性能，显著缩小师生差距。
2023-04-11 cs.AI cs.CV eess.IV
Student Capacity Moderates Knowledge Distillation Effectiveness: A Systematic Study Across ResNet Teacher-Student Pairs on CIFAR-10
通过ResNet教师-学生对在CIFAR-10上的图像分类实验，系统研究学生容量如何调节知识蒸馏（KD）的有效性，发现学生容量是蒸馏增益的关键调节因素，并指出实现正确性和输入分辨率感知架构的重要性。
2026-07-14 cs.CV cs.LG
Distilling Calibrated Student from an Uncalibrated Teacher
Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
知识蒸馏是一种用于通过从教师网络传输信息来改善浅学生网络的性能的常用技术，教师网络通常相对较大且较深。这些教师网络是预先训练的，通常未经校准，因为在训练时没有校准技术应用于教师模型。网络的校准测量其任何预测的正确性概率，这在高风险领域至关重要。在本文中，我们研究了如何从一个未校准的教师获得校准的学生。我们的方法依赖于融合的数据增强技术，包括但不限于剪切，mixup和CutMix，与知识蒸馏。我们扩展了我们的方法，超越了传统的知识蒸馏，并发现它适用于关系知识蒸馏和对比表示蒸馏。这项工作的新颖之处在于，它提供了一个框架，可以从未校准的教师模型中提取校准的学生，而不会影响提取学生的准确性。我们在各种数据集上进行了大量的实验来验证我们的方法，包括CIFAR-10，CIFAR-100，CINIC-10和TinyImageNet，并获得了校准的学生模型。我们还观察到我们的方法的鲁棒性能，同时评估它对损坏的CIFAR-100C数据。
2023-02-22 cs.AI cs.CV cs.LG
Interactive Knowledge Distillation
Sichuan University（四川大学）；Nankai University（南开大学）；TAL Education Group（好未来教育集团）
知识蒸馏是一个标准的师生学习框架，在一个训练有素的大型教师网络的指导下，训练一个轻量级的学生网络。作为一种有效的教学策略，互动教学在学校中被广泛采用，教师在提供知识的同时，也对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了一个互动的知识蒸馏（IAKD）计划，利用有效的知识蒸馏的互动教学策略。在蒸馏过程中，教师网络和学生网络之间的交互是通过交换操作实现的：用教师网络中的相应块随机替换学生网络中的块。在这种方式中，我们直接涉及教师的强大功能转换能力，大大提高学生的表现。典型师生网络的实验表明，我们的IAKD训练的学生网络取得更好的性能比传统的知识蒸馏方法训练的不同图像分类数据集。
2021-04-15 cs.CV cs.LG
Learning Student Networks via Feature Embedding
Peking University（北京大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；The University of Sydney（悉尼大学）
深度卷积神经网络已被广泛应用于众多应用中，但其苛刻的存储和计算资源要求阻碍了其在移动设备上的应用。知识蒸馏旨在通过从训练有素的重型教师网络获取知识来优化便携式学生网络。传统的基于教师-学生的方法依赖于额外的全连接层来桥接教师和学生网络的中间层，这带来了大量的辅助参数。相比之下，本文的目的是传播信息从教师到学生，而不引入新的变量，需要优化。我们从特征嵌入的新视角看待师生范式。通过引入局部保持损失，鼓励学生网络生成低维特征，这些特征可以继承教师网络相应高维特征的内在属性。因此，所得到的便携式网络可以自然地保持教师网络的性能。理论分析证明了该方法具有较低的计算复杂度。在基准数据集和训练有素的网络上的实验表明，该算法在计算和存储复杂度方面优于最先进的师生学习方法。
2018-12-17 cs.CV cs.LG stat.ML
Distilling Knowledge via Intermediate Classifiers
Ontario Tech University（安大略理工大学）
知识蒸馏的关键是在预先训练好的大规模教师模型的指导下，有效地训练资源有限的学生模型。然而，当教师和学生的模型复杂度之间存在较大差异时（即，能力差距），知识蒸馏失去了将知识从教师转移到学生的力量，从而培养出一个较弱的学生。为了减轻能力差距的影响，我们通过中间头引入知识蒸馏。通过用分类器头扩展教师的中间层（在不同的深度），我们廉价地获得了一批异构的预先训练的教师。中间分类器头可以一起有效地学习，同时冻结预先训练的教师的骨干。教师（包括原来的教师）的队列共同教学生同时进行。我们在不同师生对和数据集上的实验表明，该方法优于规范的知识蒸馏方法及其扩展。
2021-05-31 cs.AI cs.CV cs.LG
Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits
Yonsei University（延世大学）
本文提出了一种新的基于知识蒸馏的学习方法，以提高卷积神经网络（CNN）的分类性能，而无需预先训练的教师网络，称为出口集成蒸馏。我们的方法利用多出口架构，在传统的CNN中间添加辅助分类器（称为出口），通过它可以获得早期的推理结果。我们的方法的思想是训练网络使用出口的集合作为蒸馏目标，这大大提高了整个网络的分类性能。我们的方法提出了一个新的范式知识蒸馏，不像传统的蒸馏概念，教师只教学生，我们表明，学生也可以帮助其他学生，甚至教师学习得更好。实验结果表明，我们的方法在各种流行的CNN架构（VGG，ResNet，ResNeXt，WideResNet等）上实现了分类性能的显着改善。此外，所提出的方法可以加快学习的收敛速度，提高稳定性。我们的代码将在Github上提供。
2021-04-05 cs.AI cs.CV cs.LG
PrUE: Distilling Knowledge from Sparse Teacher Networks
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Beijing University of Posts and Telecommunication（北京邮电大学）
尽管深度神经网络在各种任务中取得了显着的成功，但其不断增加的规模也给部署带来了显着的开销。为了压缩这些模型，提出了知识蒸馏，将知识从笨重的（教师）网络转移到轻量级的（学生）网络。然而，教师的指导并不总是提高学生的概括，特别是当学生和教师之间的大小差距很大。以前的作品认为，这是由于教师的高度确定性，导致难以适应的更硬的标签。为了软化这些标签，我们提出了一种修剪方法，称为预测不确定性增强（PrUE），以简化教师。具体来说，我们的方法旨在降低教师对数据的确定性，从而为学生生成软预测。我们通过在CIFAR-10/100、Tiny-ImageNet和ImageNet上的实验，实证研究了所提出方法的有效性。结果表明，稀疏教师训练的学生网络具有更好的性能。此外，我们的方法允许研究人员从更深的网络中提取知识，以进一步提高学生的能力。我们的代码在以下网址公开：\url{https://github.com/wangshaopu/prue}。
2022-07-03 cs.AI cs.CV cs.LG
Dual Student: Breaking the Limits of the Teacher in Semi-supervised Learning
City University of Hong Kong（香港城市大学）；SenseTime Research（商汤科技研究院）
最近，基于一致性的方法在半监督学习（SSL）中取得了最新的成果。这些方法总是涉及两个角色，显式或隐式教师模型和学生模型，并通过一致性约束惩罚不同扰动下的预测。然而，这两个角色的权重是紧密耦合的，因为教师本质上是学生的指数移动平均值（EMA）。在这项工作中，我们表明，耦合EMA教师造成的性能瓶颈。为了解决这个问题，我们引入了双学生，用另一个学生代替老师。我们还定义了一个新的概念，稳定的样本，以下的稳定约束设计为我们的结构是可训练的。此外，我们还讨论了我们的方法的两个变体，它们可以产生更高的性能。大量的实验表明，我们的方法提高了分类性能显着几个主要的SSL基准。具体来说，它将13层CNN的出错率在具有1 k标签的CIFAR-10上从16.84%降至12.39%，在具有10 k标签的CIFAR-100上从34.10%降至31.56%。此外，我们的方法在领域自适应方面也有明显的改进。
2019-09-03 cs.CV cs.LG stat.ML
Good Teachers Explain: Explanation-Enhanced Knowledge Distillation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出解释增强的知识蒸馏（e²KD），通过同时优化经典KD损失和师生解释相似性，提升学生模型准确率及与教师的一致性，并确保学习到正确特征，且对架构和数据量鲁棒。
2024-07-21 cs.AI cs.CV cs.LG
Robust Student Network Learning
Peking University（北京大学）；The University of Sydney（悉尼大学）
深度神经网络在各种应用中带来了令人印象深刻的准确性，但成功往往依赖于沉重的网络架构。经典的师生学习范式以训练良好的重网络为教师，旨在学习轻量级但准确的学生网络。通过这种方式，具有显著较少参数的便携式学生网络可以实现与教师网络相当的精度。然而，除了准确性之外，学习的学生网络对扰动的鲁棒性对于实际应用也是必不可少的。现有的师生学习框架主要关注准确率和压缩比，而忽略了鲁棒性。在本文中，我们使学生网络产生更有信心的预测与教师网络的帮助下，并分析了扰动的下限，将破坏学生网络的信心。两个重要的目标，预测分数和梯度的例子开发，以最大限度地提高这个下限，从而提高学生网络的鲁棒性，而不牺牲性能。在基准数据集上的实验表明，该方法可以有效地学习鲁棒的学生网络，具有令人满意的精度和紧凑的大小。
2018-07-31 cs.CV cs.LG stat.ML
Training Self-localization Models for Unseen Unfamiliar Places via Teacher-to-Student Data-Free Knowledge Transfer
University of Fukui（福井大学）
针对开放世界中机器人自定位模型训练数据缺失问题，提出一种教师到学生的无数据知识迁移方案，通过重建伪训练数据集实现持续学习，在递归知识蒸馏中稳定提升性能。
2024-03-13 cs.AI cs.CV cs.LG
Spatial Ensemble: a Novel Model Smoothing Mechanism for Student-Teacher Framework
Megvii Technology（旷视科技）
模型平滑对于在学生-教师框架中获得可靠的教师模型至关重要，其中教师生成代理监督信号以训练学生。一种流行的模型平滑方法是时间移动平均（TMA），它连续平均教师参数与最新的学生参数。在本文中，我们提出了“空间包围”，一种新的模型平滑机制与TMA并行。空间包围随机选取学生模型的一个小片段，直接替换教师模型的相应片段。因此，它将历史学生模型的不同片段缝合成一个整体，产生了“空间包围”的效果。空间包围获得可比的师生学习性能本身，并表现出宝贵的互补性与时间移动平均。他们的整合，命名为时空平滑，带来了一般（有时显着）的改善，以各种国家的最先进的方法，学生-教师的学习框架。例如，基于自监督方法BYOL，它在ImageNet上产生了+0.9%的top-1准确率提高，而基于半监督方法FixMatch，当只有很少的训练标签可用时，它在CIFAR-10上将top-1准确率提高了约+6%。代码和模型可在https://github.com/tengteng95/Spatial_Ensemble上获得。
2021-10-04 cs.CV
Unsupervised Anomaly Detection with an Enhanced Teacher for Student-Teacher Feature Pyramid Matching
University of Tehran（德黑兰大学）
本文提出了一种增强教师的学生-教师特征金字塔匹配框架，用于提升无监督异常检测的性能，实验结果显示在图像和像素级均取得较高的准确率。
2025-12-20 cs.CV
Periodically Exchange Teacher-Student for Source-Free Object Detection
Fuzhou University（福州大学）；College of Computer and Data Science（计算机与数据科学学院）
针对无源目标检测中单一教师模型崩溃导致训练不稳定的问题，提出PETS多教师框架，通过周期性交换师生权重和共识机制减少误差累积并提供高质量伪标签，实现了最先进的性能。
2023-11-23 cs.CV
Uninformed Students: Student-Teacher Anomaly Detection with Discriminative Latent Embeddings
MVTec Software GmbH（MVTec软件有限公司）
我们引入了一个强大的学生-教师框架，用于解决高分辨率图像中无监督异常检测和像素精确异常分割的挑战性问题。学生网络被训练为回归描述性教师网络的输出，该教师网络是在来自自然图像的大数据集上预训练的。这避免了对先前数据注释的需要。当学生网络的输出不同于教师网络的输出时，检测到异常。当它们无法在无异常训练数据的流形之外进行泛化时，就会发生这种情况。学生网络中的固有不确定性被用作指示异常的附加评分函数。我们将我们的方法与大量现有的基于深度学习的无监督异常检测方法进行比较。我们的实验证明了在许多现实世界的数据集，包括最近推出的MVTec异常检测数据集，是专门设计的基准异常分割算法的最先进的方法的改进。
2020-03-18 cs.CV
ShrinkTeaNet: Million-scale Lightweight Face Recognition via Shrinking Teacher-Student Networks
Concordia University（康考迪亚大学）；University of Arkansas（阿肯色大学）；Carnegie Mellon University（卡内基梅隆大学）
大规模的野外人脸识别在许多实际应用中已经取得了成熟的性能。然而，此类系统构建在GPU平台上，并且大多部署了重型深度网络架构。给定一个高性能的重网络作为教师，这项工作提出了一个简单而优雅的师生学习范式，即ShrinkTeaNet，训练一个便携式的学生网络，具有显着更少的参数和竞争力的准确性对教师网络。与以往主要关注闭集问题的准确率和压缩比的师生框架不同，我们提出的师生网络被证明对开集问题（即大规模人脸识别）更具鲁棒性。此外，本文还引入了一种新的角蒸馏损失提取教师超球到学生的特征方向和样本分布。然后，ShrinkTeaNet框架可以有效地指导学生的学习过程与教师的知识呈现在中间和最后阶段的特征嵌入。对LFW、CFP-FP、CFDB、IJB-B和IJB-C Janus以及具有100万个干扰项的MegaFace的评估表明，所提出的方法可以有效地学习具有令人满意的精度和紧凑尺寸的鲁棒学生网络。我们的ShrinkTeaNet能够支持轻量级架构，实现高性能，在LFW上达到99.77%，在大规模Megaface协议上达到95.64%。
2019-05-25 cs.CV
Your Student is Better Than Expected: Adaptive Teacher-Student Collaboration for Text-Conditional Diffusion Models
Yandex Research（Yandex研究院）
本文发现蒸馏学生扩散模型的部分样本质量可超越教师模型，据此提出学生先采样、判定器决定是否由教师模型进一步优化的自适应师生协作框架，在多种推理预算下提升文本到图像合成的人类偏好表现。
2024-04-05 cs.CV
Cross-Space Distillation: Teaching One-Step Students with Modern Diffusion Teachers
Qualcomm AI Research（高通AI研究院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Johns Hopkins University（约翰霍普金斯大学）；Rutgers University（罗格斯大学）
提出跨空间蒸馏框架，通过轻量级潜在接口Bridge解决教师与学生模型潜在空间不匹配问题，实现异构教师蒸馏到紧凑学生模型，显著提升性能。
2026-07-01 cs.CV
DualFete: Revisiting Teacher-Student Interactions from a Feedback Perspective for Semi-supervised Medical Image Segmentation
针对半监督医学图像分割中师生范式易受错误监督导致自我强化偏差的问题，本研究引入反馈机制及双教师反馈模型，通过学生反馈优化教师伪标签，在三个基准上有效缓解错误传播。
2025-11-12 cs.CV
Competitive Ensembling Teacher-Student Framework for Semi-Supervised Left Atrium MRI Segmentation
Northwest University（西北大学）；Fudan University（复旦大学）
提出一种竞争性集成师生框架，通过引入两个任务级扰动学生模型相互学习并结合竞争性集成策略，在左心房MRI分割中有效利用未标记数据并显著提升性能。
2023-10-21 cs.CV
3DG-STFM: 3D Geometric Guided Student-Teacher Feature Matching
Purdue University（普渡大学）；XPeng Motors（小鹏汽车）
我们解决了在一对图像之间找到密集的视觉对应的基本任务。这是一个具有挑战性的问题，由于各种因素，如不良的纹理，重复的模式，照明变化，和运动模糊的实际情况。与使用密集对应地面实况作为局部特征匹配训练的直接监督的方法相比，我们训练3DG-STFM：多模态匹配模型（教师），以在3D密集对应监督下加强深度一致性，并将知识转移到2D单峰匹配模型（学生）。教师和学生模型都由两个基于变换器的匹配模块组成，它们以从粗到细的方式获得密集的对应关系。教师模型引导学生模型学习RGB诱导的深度信息，用于粗分支和细分支上的匹配目的。我们还评估了3DG-STFM的模型压缩任务。据我们所知，3DG-STFM是第一个用于局部特征匹配任务的学生-教师学习方法。实验表明，我们的方法优于国家的最先进的方法在室内和室外摄像机的姿态估计，单应性估计问题。代码可在：https://github.com/Ryan-prime/3DG-STFM.
2022-07-19 cs.CV
Humble Teachers Teach Better Students for Semi-Supervised Object Detection
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services（亚马逊云科技）
我们提出了一个半监督的方法，当代对象检测器以下的师生双模型框架。我们的方法的特点是：1）指数移动平均策略，以在线更新教师从学生，2）使用大量的区域建议和软伪标签作为学生的训练目标，和3）一个轻量级的检测特定的数据集成，为教师生成更可靠的伪标签。与最近的国家的最先进的- STAC，它使用稀疏选择的硬伪样本的硬标签，在我们的模型中的教师暴露更丰富的信息，学生与软标签的许多建议。当使用VOC 12作为未标记数据时，我们的模型在VOC 07 val集上实现了53.04%的COCO风格AP，比STAC好8.4%。在MS-COCO上，当只有一小部分数据被标记时，它的性能优于以前的工作。它在MS-COCO测试开发中也达到了53.8%的AP，比完全监督的ResNet-152级联R-CNN有3.1%的增益，通过利用与标记数据大小相似的未标记数据。
2021-06-19 cs.CV
Teacher-Student Adversarial Depth Hallucination to Improve Face Recognition
Queen’s University（女王大学）
为了提高人脸识别系统的性能，我们提出了师生生成对抗网络（TS-GAN）来从单个RGB图像生成深度图像。为了使我们的方法能够很好地推广到看不见的数据集，我们在架构中设计了两个组件，一个老师和一个学生。教师本身由生成器和学习器组成，以监督的方式学习输入RGB和成对深度图像之间的潜在映射。学生由两个生成器（一个与教师共享）和一个学习器组成，从没有可用的成对深度信息的新RGB数据中学习，以改进泛化。然后，经过完全训练的共享生成器可以在运行时用于从RGB中产生深度，以用于下游应用，例如人脸识别。我们进行了严格的实验，以显示TS-GAN在生成合成深度图像方面优于其他方法。此外，人脸识别实验表明，与单一RGB模式相比，我们的超分辨率深度以及输入RGB图像在各种架构中的性能分别提高了IIIT-D，EURECOM和LFW数据集的平均值+1.2%，+2.6%和+2.6%。我们在https://github.com/hardik-uppal/teacher-student-gan.git上公开我们的实现。
2021-08-29 cs.CV
Teacher-Student Diffusion Model for Text-Driven 3D Hand Motion Generation
Singapore Management University（新加坡管理大学）
本文提出TSHaMo模型，通过文本生成逼真3D手部运动，利用教师-学生扩散框架提升运动质量和多样性，支持多种辅助输入。
2026-03-25 cs.CV
Teacher-Student Network for 3D Point Cloud Anomaly Detection with Few Normal Samples
University of Fukui（福井大学）；Niigata University（新潟大学）
本文提出一种教师-学生网络模型，利用特征对齐和多尺度损失，仅需少量正常样本即可实现高效的3D点云异常检测，在ShapeNet-Part数据集上优于现有方法。
2023-05-09 cs.CV
Snapshot Distillation: Teacher-Student Optimization in One Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；Kingsoft（金山软件）
优化深度神经网络是计算机视觉中的一项基本任务，但直接训练方法通常会遇到过拟合问题。师生优化旨在从先前训练的模型中提供补充线索，但这些方法通常相当慢，因为要依次训练几代，即，时间复杂度增加了几倍。本文介绍了快照蒸馏（SD），第一个框架，使师生优化在一代。SD的思想非常简单：我们不是从前几代人那里借用监督信号，而是从同一代人的早期时期提取这些信息，同时确保教师和学生之间的差异足够大，以防止欠拟合。为了实现这一目标，我们在循环学习率策略中实现SD，其中每个周期的最后一个快照被用作下一个周期中所有迭代的教师，并且教师信号被平滑以提供更丰富的信息。在标准图像分类基准测试中，例如CIFAR100和ILSVRC 2012，SD实现了一致的准确度增益，而没有沉重的计算开销。我们还验证了用SD预训练的模型可以很好地转移到PascalVOC数据集中的目标检测和语义分割。
2018-12-01 cs.CV
Invariant Teacher and Equivariant Student for Unsupervised 3D Human Pose Estimation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作媒体创新中心）
我们提出了一种新的方法，基于教师-学生学习框架的三维人体姿态估计没有任何3D注释或边信息。为了解决这个无监督学习问题，教师网络采用基于姿势字典的建模进行正则化，以估计物理上合理的3D姿势。为了处理教师网络中的分解模糊性，我们提出了一个循环一致的架构，促进三维旋转不变的属性训练教师网络。为了进一步提高估计精度，学生网络采用了一种新颖的图形卷积网络，以灵活地直接估计3D坐标。另一个循环一致的架构，促进三维旋转等变属性，利用几何一致性，连同知识蒸馏从教师网络，以提高姿态估计性能。我们在Human3.6M和MPI-INF-3DHP上进行了广泛的实验。与最先进的无监督方法相比，我们的方法将3D联合预测误差降低了11.4%，并且优于许多使用Human3.6M边信息的弱监督方法。代码将在https://github.com/sjtuxcx/ITES上提供。
2020-12-17 cs.CV
Reconstructed Student-Teacher and Discriminative Networks for Anomaly Detection
Meijo University（名城大学）
异常检测是计算机视觉中的一个重要问题，然而，异常样本的稀缺性使得这项任务变得困难。因此，最近的异常检测方法仅使用没有异常区域的正常图像进行训练。在这项工作中，一个强大的异常检测方法，提出了基于学生-教师特征金字塔匹配（STPM），其中包括一个学生和教师网络。生成模型是异常检测的另一种方法。它们从输入重建法线图像，并计算预测法线与输入之间的差异。不幸的是，STPM没有生成正常图像的能力。为了提高STPM的准确性，这项工作使用了学生网络，在生成模型，重建正常功能。这提高了准确性;然而，正常图像的异常图并不干净，因为STPM不使用异常图像进行训练，这降低了图像级异常检测的准确性。为了进一步提高准确性，在我们的方法中使用了一个判别网络，该网络由两对学生-教师网络和一个判别网络组成。该方法在MVTec异常检测数据集上显示出较高的准确性。
2022-10-14 cs.CV
Pseudo Supervised Monocular Depth Estimation with Teacher-Student Network
McMaster University（麦克马斯特大学）；University at Buffalo（布法罗大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管监督单目深度估计最近有所改进，但缺乏高质量的逐像素地面实况注释已成为进一步进展的主要障碍。在这项工作中，我们提出了一种新的无监督深度估计方法的伪监督机制的基础上，通过训练的师生网络与知识蒸馏。它策略性地集成了监督和无监督单目深度估计以及无监督双目深度估计的优点。具体地，教师网络利用双目深度估计的有效性来产生精确的视差图，然后将其用作伪地面实况以训练学生网络进行单目深度估计。这有效地将无监督学习的问题转换为监督学习。我们广泛的实验结果表明，所提出的方法优于国家的最先进的KITTI基准。
2021-10-22 cs.CV
Teacher Supervises Students How to Learn From Partially Labeled Images for Facial Landmark Detection
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）
人脸标志点检测的目的是定位人脸的解剖定义点。在本文中，我们研究了部分标记的人脸图像中的人脸标志点检测。典型的方法是（1）在标记的图像上训练检测器;（2）使用该检测器的预测作为未标记的图像的伪标记来生成新的训练样本;（3）在标记的样本和部分伪标记的样本上重新训练检测器。通过这种方式，检测器可以从标记和未标记的数据中学习，从而变得鲁棒。在本文中，我们提出了一个教师和两个学生之间的互动机制，以产生更可靠的伪标签的未标记的数据，这是有益的半监督人脸标志检测。具体来说，两个学生被实例化为双检测器。教师学习判断学生生成的伪标签的质量，并在再训练阶段之前过滤掉不合格的样本。通过这种方式，学生检测器从他们的老师那里得到反馈，并通过自己生成的优质数据进行重新训练。由于这两个学生是由不同的样本训练的，因此与任何一个预测相比，他们的预测组合作为最终预测将更加稳健。在300-W和AFLW基准上的大量实验表明，教师和学生之间的交互有助于更好地利用未标记数据，并实现了最先进的性能。
2019-08-13 cs.CV
Reconstruction Student with Attention for Student-Teacher Pyramid Matching
Meijo University（名城大学）
异常检测与定位是计算机视觉中的重要问题。最近，卷积神经网络（CNN）已经用于视觉检测。特别是，异常样本的稀缺性增加了这项任务的难度，基于无监督学习的方法正在引起人们的注意。我们专注于学生-教师特征金字塔匹配（STPM），它可以只从正常图像与少量的时期进行训练。在这里，我们提出了一个强大的方法，弥补了STPM的缺点。提出的方法由两个学生和两个教师组成，一对学生-教师网络是相同的STPM。另一个学生-教师网络具有重构正常产品特征的作用。通过从异常图像重建正常产品的特征，可以通过获取它们之间的差异来以更高的精度检测异常。新的学生-教师网络使用注意力模块和不同于原始STPM的教师网络。注意力机制用于成功地重建输入图像中的正常区域。不同的教师网络阻止查看与原始STPM相同的区域。使用从两个学生-教师网络获得的六个异常图来计算最终的异常图。与原始STPM相比，用于重建特征的学生-教师网络改善了像素级和图像级的AUC分数。
2022-03-09 cs.CV eess.IV
CARD: Closing the Teacher-Student Loop for Adversarial Robustness Distillation
Yunnan University（云南大学）；Yunnan Normal University（云南师范大学）
本研究提出闭环框架CARD，通过将蒸馏学生模型的反馈用于优化教师模型并回传增益，突破单向鲁棒性迁移范式，在多数据集上提升对抗鲁棒性且保持干净准确率。
2026-10-14 cs.CV cs.LG
Student-Teacher Learning from Clean Inputs to Noisy Inputs
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
基于学习的学生-教师学习是一种鼓励学生的隐藏特征模仿教师网络的训练方法，在将知识从预先训练的教师网络转移到学生网络方面取得了经验上的成功。此外，最近的实验结果表明，即使学生的输入样本被噪声破坏，教师的特征也可以提高学生网络的泛化能力。然而，有一个缺乏理论的见解，为什么以及何时这种方法的知识转移可以成功之间的异构任务。我们使用深度线性网络从理论上分析了这种方法，并使用非线性网络进行了实验。我们确定了该方法成功的三个关键因素：（1）学生是否被训练到零训练损失;（2）教师在干净输入问题上的知识水平;（3）教师如何将其知识分解为隐藏特征。这三个因素中的任何一个缺乏适当的控制都会导致师生学习方法的失败。
2021-03-13 cs.CV cs.LG stat.ML
Representation Consolidation for Training Expert Students
Amazon AWS Rekognition（亚马逊AWS图像识别服务）
传统上，蒸馏已被用于训练学生模型，以模仿教师的输入/输出功能。一个比仿真更有用的目标是让学生学习能够很好地转移到未来任务中的特征表示，但这一目标尚未得到充分探索。然而，我们观察到，对特定任务教师的标准蒸馏实际上 * 减少了 * 学生表征向下游任务的转移。我们表明，使用未标记代理数据集和通才教师的多头多任务蒸馏方法足以巩固特定任务教师的表示并提高下游性能，优于教师和ImageNet预训练特征的强基线。我们的方法还可以将在一个或多个领域上训练的多个教师的代表性知识结合到单个模型中，其代表性在所有教师的领域上得到改进。
2021-07-16 cs.CV cs.LG
Teacher-Class Network: A Neural Network Compression Mechanism
Rensselaer Polytechnic Institute（伦斯勒理工学院）
为了减少深度神经网络（DNN）的庞大规模，师生方法试图将知识从复杂的教师网络转移到简单的学生网络。相反，我们提出了一种称为教师类网络的新方法，该网络由单个教师和多个学生网络（即学生类）组成。该方法不是只将知识转移给一个学生，而是将一大块知识转移给每个学生。我们的学生没有接受针对特定问题的逻辑训练，他们被训练来模仿教师网络学习的知识（密集表示），因此学生班级学习的组合知识也可以用于解决其他问题。建议的教师级架构进行评估的几个基准数据集，如MNIST，时尚MNIST，IMDB电影评论，CAMVid，CIFAR-10和ImageNet的多个任务，包括图像分类，情感分类和分割。我们的方法优于国家的最先进的单学生的方法在精度以及计算成本，同时实现10-30倍的参数减少。
2021-10-29 cs.CV cs.LG stat.ML
JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition
University of Bucharest（布加勒斯特大学）；Politehnica University of Bucharest（布加勒斯特理工大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
JEDI提出一种多数据集半监督学习方法，通过联合端到端的学生-教师蒸馏框架融合多个专家知识，在四个视频动作识别数据集上显著提升了模型泛化性能。
2023-08-09 cs.CV cs.LG
Switching Temporary Teachers for Semi-Supervised Semantic Segmentation
Ajou University（明知大学）；NAVER AI Lab（NAVER AI实验室）；University of Birmingham（伯明翰大学）
针对半监督语义分割中教师-学生权重耦合问题，提出Dual Teacher方法，通过双临时教师轮班生成伪标签训练学生，在多个基准上以更短训练时间取得有竞争力性能。
2023-10-28 cs.CV cs.LG
