Fixing the Teacher-Student Knowledge Discrepancy in Distillation
SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室，香港中文大学）
在较大的教师网络的指导下训练较小的学生网络是促进学生成绩的有效途径。以往的知识蒸馏方法中，尽管教师和学生的类型不同，但用于蒸馏的引导知识对于不同的师生对总是保持不变的。然而，我们发现，具有不同网络或从不同初始化训练的教师和学生模型在不同通道之间可能具有不同的特征表示。(e.g.不同类别的高激活通道）。我们将这种渠道的不协调表征称为蒸馏过程中的师生知识差异。忽视教师和学生模型的知识差异问题，将使学生向教师学习更加困难。针对这一问题，本文提出了一种新的基于学生的蒸馏方法--知识一致性蒸馏，该方法使教师的知识与学生的知识更加一致，并为不同的学生网络提供最适合的知识进行蒸馏。在不同数据集（CIFAR 100，ImageNet，COCO）和任务（图像分类，目标检测）上的实验揭示了教师和学生之间普遍存在的知识差异问题，证明了该方法的有效性。我们的方法非常灵活，可以很容易地与其他最先进的方法相结合。
2021-03-31 cs.CV
Teacher-Guided Student Self-Knowledge Distillation Using Diffusion Model
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
教师引导的学生自知识蒸馏使用扩散模型，通过轻量级扩散模型和局部敏感哈希方法提升学生模型对教师知识的学习效果。
2026-02-02 cs.CV
Spatial Ensemble: a Novel Model Smoothing Mechanism for Student-Teacher Framework
Megvii Technology（旷视科技）
模型平滑对于在学生-教师框架中获得可靠的教师模型至关重要，其中教师生成代理监督信号以训练学生。一种流行的模型平滑方法是时间移动平均（TMA），它连续平均教师参数与最新的学生参数。在本文中，我们提出了“空间包围”，一种新的模型平滑机制与TMA并行。空间包围随机选取学生模型的一个小片段，直接替换教师模型的相应片段。因此，它将历史学生模型的不同片段缝合成一个整体，产生了“空间包围”的效果。空间包围获得可比的师生学习性能本身，并表现出宝贵的互补性与时间移动平均。他们的整合，命名为时空平滑，带来了一般（有时显着）的改善，以各种国家的最先进的方法，学生-教师的学习框架。例如，基于自监督方法BYOL，它在ImageNet上产生了+0.9%的top-1准确率提高，而基于半监督方法FixMatch，当只有很少的训练标签可用时，它在CIFAR-10上将top-1准确率提高了约+6%。代码和模型可在https://github.com/tengteng95/Spatial_Ensemble上获得。
2021-10-04 cs.CV
Unsupervised Anomaly Detection with an Enhanced Teacher for Student-Teacher Feature Pyramid Matching
University of Tehran（德黑兰大学）
本文提出了一种增强教师的学生-教师特征金字塔匹配框架，用于提升无监督异常检测的性能，实验结果显示在图像和像素级均取得较高的准确率。
2025-12-20 cs.CV
Uninformed Students: Student-Teacher Anomaly Detection with Discriminative Latent Embeddings
MVTec Software GmbH（MVTec软件有限公司）
我们引入了一个强大的学生-教师框架，用于解决高分辨率图像中无监督异常检测和像素精确异常分割的挑战性问题。学生网络被训练为回归描述性教师网络的输出，该教师网络是在来自自然图像的大数据集上预训练的。这避免了对先前数据注释的需要。当学生网络的输出不同于教师网络的输出时，检测到异常。当它们无法在无异常训练数据的流形之外进行泛化时，就会发生这种情况。学生网络中的固有不确定性被用作指示异常的附加评分函数。我们将我们的方法与大量现有的基于深度学习的无监督异常检测方法进行比较。我们的实验证明了在许多现实世界的数据集，包括最近推出的MVTec异常检测数据集，是专门设计的基准异常分割算法的最先进的方法的改进。
2020-03-18 cs.CV
Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation
School of Computer Science and Technology East China Normal University（华东师范大学计算机科学与技术学院）；Wenzhou University（温州大学）
针对师生模型差异导致知识迁移效果不佳的问题，提出SoKD方法，通过可学习特征增强策略动态精炼教师知识，并利用DAM模块聚焦共同感兴趣区域，有效提升了知识蒸馏的性能与泛化能力。
2024-09-27 cs.CV
Flipped Classroom: Aligning Teacher Attention with Student in Generalized Category Discovery
State Grid Corporation of China（国家电网有限公司）；Lenovo Research（联想研究院）；Baidu Inc（百度公司）
针对GCD中新类先验缺失导致教师误导及师生注意力学习不同步的问题，本文提出FlipClass，从能量视角动态对齐师生注意力，并在多个基准上取得领先性能。
2024-10-25 cs.CV
ShrinkTeaNet: Million-scale Lightweight Face Recognition via Shrinking Teacher-Student Networks
Concordia University（康考迪亚大学）；University of Arkansas（阿肯色大学）；Carnegie Mellon University（卡内基梅隆大学）
大规模的野外人脸识别在许多实际应用中已经取得了成熟的性能。然而，此类系统构建在GPU平台上，并且大多部署了重型深度网络架构。给定一个高性能的重网络作为教师，这项工作提出了一个简单而优雅的师生学习范式，即ShrinkTeaNet，训练一个便携式的学生网络，具有显着更少的参数和竞争力的准确性对教师网络。与以往主要关注闭集问题的准确率和压缩比的师生框架不同，我们提出的师生网络被证明对开集问题（即大规模人脸识别）更具鲁棒性。此外，本文还引入了一种新的角蒸馏损失提取教师超球到学生的特征方向和样本分布。然后，ShrinkTeaNet框架可以有效地指导学生的学习过程与教师的知识呈现在中间和最后阶段的特征嵌入。对LFW、CFP-FP、CFDB、IJB-B和IJB-C Janus以及具有100万个干扰项的MegaFace的评估表明，所提出的方法可以有效地学习具有令人满意的精度和紧凑尺寸的鲁棒学生网络。我们的ShrinkTeaNet能够支持轻量级架构，实现高性能，在LFW上达到99.77%，在大规模Megaface协议上达到95.64%。
2019-05-25 cs.CV
Can Students Beyond The Teacher? Distilling Knowledge from Teacher's Bias
Tianjin University of Technology（天津理工大学）；Hangzhou Normal University（杭州师范大学）；Technical University of Denmark（丹麦技术大学）；Norwegian University of Science and Technology（挪威科技大学）
该研究针对知识蒸馏中教师传递偏差误导学生的问题，提出含偏差消除、校正及动态学习的策略，首次让学生模型超越教师，且可即插即用适配主流KD框架。
2024-12-13 cs.CV
Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation
The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Lab（上海人工智能实验室）
知识蒸馏（KD）在将学习表征从大模型（教师）转移到小模型（学生）方面显示出非常有前途的能力。然而，随着学生和教师之间的能力差距越来越大，现有的KD方法无法取得更好的效果。我们的工作表明，“先验知识”是至关重要的KD，特别是在应用大型教师。特别地，我们提出了动态先验知识（DPK），它集成了教师的部分特征作为特征提取之前的先验知识。这意味着我们的方法也将教师的特征作为“输入”，而不仅仅是“目标”。此外，我们在训练阶段根据特征间隙动态调整先验知识的比例，从而指导学生在适当的难度。为了评估所提出的方法，我们在两个图像分类基准（即CIFAR100和ImageNet）和一个目标检测基准（即MS COCO.结果表明，我们的方法在不同的设置下的性能的优越性。此外，我们的DPK使学生模型的性能与教师模型的性能正相关，这意味着我们可以通过应用更大的教师来进一步提高学生的准确性。更重要的是，DPK为任何给定的模型提供了教师模型选择的快速解决方案。
2023-03-23 cs.CV
Your Student is Better Than Expected: Adaptive Teacher-Student Collaboration for Text-Conditional Diffusion Models
Yandex Research（Yandex研究院）
本文发现蒸馏学生扩散模型的部分样本质量可超越教师模型，据此提出学生先采样、判定器决定是否由教师模型进一步优化的自适应师生协作框架，在多种推理预算下提升文本到图像合成的人类偏好表现。
2024-04-05 cs.CV
Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation
Nanjing University（南京大学）；Fudan University（复旦大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
针对多模态在线策略蒸馏中学生感知瓶颈，提出S-OPD框架，通过教师校准策略对比和策略一致性两个目标强化学生视觉学习，无需额外标注或参数，在八个基准上持续提升性能，最高提升4.25分。
2026-10-01 cs.CV
Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks
Monash University（莫纳什大学）；Bytedance（字节跳动）
知识蒸馏通过从繁琐的教师模型中提取知识来学习轻量级的学生模型，是学习紧凑的深度神经网络（DNN）的一种有吸引力的方法。最近的工作通过利用多个教师网络进一步提高了学生网络的性能。然而，大多数现有的基于知识蒸馏的多教师方法使用单独的预先培训的教师。这限制了教师之间的合作学习和师生之间的相互学习。网络量化是学习紧凑DNN的另一种有吸引力的方法。然而，大多数现有的网络量化方法的开发和评估没有考虑多教师支持，以提高量化的学生模型的性能。在本文中，我们提出了一种新的框架，利用多教师知识蒸馏和网络量化来学习低位宽DNN。该方法鼓励量化教师之间的协作学习和量化教师和量化学生之间的相互学习。在学习过程中，教师的知识在相应的层次上形成一个重要性感知的共享知识，作为后续层次教师的输入，也用于指导学生。我们在CIFAR100和ImageNet数据集上的实验结果表明，与其他最先进的方法相比，用我们的方法训练的紧凑量化学生模型取得了有竞争力的结果，在某些情况下，确实超过了全精度模型。
2022-10-27 cs.CV
Densely Guided Knowledge Distillation using Multiple Teacher Assistants
Ajou University（亚洲大学）
随着深度神经网络的成功，引导小型学生网络从大型教师网络学习的知识蒸馏正在被积极研究，用于模型压缩和迁移学习。然而，很少有研究已经进行，以解决学生网络的学习效果差的问题时，学生和教师模型的大小显着不同。在本文中，我们提出了一个密集的指导知识蒸馏使用多个教师助理，逐渐减少模型的大小，有效地弥合教师和学生网络之间的巨大差距。为了刺激学生网络的更有效学习，我们迭代地将每个教师助理引导到每个其他较小的教师助理。具体而言，当在下一步骤中教导较小的教师助理时，使用来自前一步骤的现有较大的教师助理以及教师网络。此外，我们设计随机教学，对于每个小批量，教师或教师助理随机下降。这作为一个正规化，以提高学生网络的教学效率。因此，学生总是可以从多个来源学习突出的提炼知识。我们使用CIFAR-10、CIFAR-100和ImageNet验证了所提出的方法对分类任务的有效性。我们还通过ResNet、WideResNet和VGG等各种骨干架构实现了显著的性能提升。
2021-08-09 cs.CV
Cross-Space Distillation: Teaching One-Step Students with Modern Diffusion Teachers
Qualcomm AI Research（高通AI研究院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Johns Hopkins University（约翰霍普金斯大学）；Rutgers University（罗格斯大学）
提出跨空间蒸馏框架，通过轻量级潜在接口Bridge解决教师与学生模型潜在空间不匹配问题，实现异构教师蒸馏到紧凑学生模型，显著提升性能。
2026-07-01 cs.CV
Knowledge Distillation in Generations: More Tolerant Teachers Educate Better Students
The Johns Hopkins University（约翰斯·霍普金斯大学）
我们专注于在几代人中训练深度神经网络的问题。其流程是，为了优化目标网络（学生），首先训练另一个具有相同架构的网络（教师），并在下一阶段用于提供部分监督信号。虽然该策略导致更高的准确性，但是许多方面（例如，师生优化为什么有帮助）还需要进一步探索。本文从教师网络培训严格性控制的角度对这一问题进行了研究。现有的方法大多使用硬分布（例如，one-hot vectors），导致严格的老师，其本身具有高准确性，但我们认为老师需要更宽容，尽管这通常意味着较低的准确性。实施起来非常简单，只需要在教师网络中添加一个额外的损失项，就可以产生一些辅助类，并补充初级类。因此，教师提供更温和的监督信号（较少的峰值分布），并且使得学生可以从类间相似性中学习，并且潜在地降低过度拟合的风险。在标准图像分类任务（CIFAR 100和ILSVRC 2012）上进行实验。虽然教师网络表现得不那么强大，但学生表现出持续的能力增长，最终实现了比其他竞争对手更高的分类准确率。模型集成和迁移特征提取也验证了该方法的有效性。
2018-09-07 cs.CV
Improving Fast Segmentation With Teacher-student Learning
Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
最近，分割神经网络已显着改善，表现出非常有前途的准确性在公共基准。然而，这些模型非常笨重，并且通常遭受低推理速度，这限制了它们在实践中的应用场景。同时，现有的快速分割模型在公共基准上通常不能获得令人满意的分割精度。在本文中，我们提出了一个教师-学生学习框架，该框架将通过繁重且性能更好的分割网络（即教师）获得的知识转移到快速分割网络（即学生）的学习中。具体来说，在精细注释的图像和未标记的辅助数据中描述的零阶和一阶知识都被转移，以规范我们的学生学习。该方法可以改善现有的快速分割模型，而不会产生额外的计算开销，因此它仍然可以处理图像具有相同的快速速度。在Pascal Context、Cityscape和VOC 2012数据集上进行的大量实验表明，所提出的师生学习框架能够显著提高学生网络的性能。
2018-10-19 cs.CV
Knowledge Distillation with the Reused Teacher Classifier
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；ZJU-Bangsun Joint Research Center（浙江大学-邦盛联合研究中心）；Zhejiang University of Technology（浙江工业大学）
知识蒸馏的目标是将一个强大而繁琐的教师模型压缩成一个轻量级的学生模型，而不会牺牲太多的性能。为此目的，在过去的几年中，已经提出了各种方法，通常与精心设计的知识表示，这反过来又增加了模型开发和解释的难度。相反，我们的经验表明，一个简单的知识蒸馏技术是足以显着缩小师生绩效差距。我们直接从预训练的教师模型中重用判别分类器用于学生推理，并通过具有单个$\ell_2$损失的特征对齐来训练学生编码器。通过这种方式，学生模型能够实现与教师模型完全相同的性能，前提是它们提取的特征完全对齐。一个额外的投影仪的开发，以帮助学生编码器匹配的教师分类器，这使得我们的技术适用于各种教师和学生的架构。大量的实验表明，我们的技术实现了国家的最先进的结果在适度的压缩比的成本，由于增加了投影仪。
2022-03-26 cs.CV
Descriptor Distillation: a Teacher-Student-Regularized Framework for Learning Local Descriptors
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
针对局部描述符学习中三元组损失收敛效果有限、计算速度待提升的问题，提出DesDis师生正则化蒸馏框架，可训练出性能更优的等参模型和速度提升8倍以上的轻量模型。
2024-03-08 cs.CV
Competitive Ensembling Teacher-Student Framework for Semi-Supervised Left Atrium MRI Segmentation
Northwest University（西北大学）；Fudan University（复旦大学）
提出一种竞争性集成师生框架，通过引入两个任务级扰动学生模型相互学习并结合竞争性集成策略，在左心房MRI分割中有效利用未标记数据并显著提升性能。
2023-10-21 cs.CV
3DG-STFM: 3D Geometric Guided Student-Teacher Feature Matching
Purdue University（普渡大学）；XPeng Motors（小鹏汽车）
我们解决了在一对图像之间找到密集的视觉对应的基本任务。这是一个具有挑战性的问题，由于各种因素，如不良的纹理，重复的模式，照明变化，和运动模糊的实际情况。与使用密集对应地面实况作为局部特征匹配训练的直接监督的方法相比，我们训练3DG-STFM：多模态匹配模型（教师），以在3D密集对应监督下加强深度一致性，并将知识转移到2D单峰匹配模型（学生）。教师和学生模型都由两个基于变换器的匹配模块组成，它们以从粗到细的方式获得密集的对应关系。教师模型引导学生模型学习RGB诱导的深度信息，用于粗分支和细分支上的匹配目的。我们还评估了3DG-STFM的模型压缩任务。据我们所知，3DG-STFM是第一个用于局部特征匹配任务的学生-教师学习方法。实验表明，我们的方法优于国家的最先进的方法在室内和室外摄像机的姿态估计，单应性估计问题。代码可在：https://github.com/Ryan-prime/3DG-STFM.
2022-07-19 cs.CV
SCB-Dataset: A Dataset for Detecting Student and Teacher Classroom Behavior
Fan Yang
本文构建了涵盖19个类别、包含目标检测与图像分类任务的SCB-Dataset师生课堂行为数据集，并使用YOLO系列算法和大型视觉语言模型进行基准测试，为人工智能在教育领域的应用奠定了基础。
2025-08-12 cs.CV
Teacher-Student Adversarial Depth Hallucination to Improve Face Recognition
Queen’s University（女王大学）
为了提高人脸识别系统的性能，我们提出了师生生成对抗网络（TS-GAN）来从单个RGB图像生成深度图像。为了使我们的方法能够很好地推广到看不见的数据集，我们在架构中设计了两个组件，一个老师和一个学生。教师本身由生成器和学习器组成，以监督的方式学习输入RGB和成对深度图像之间的潜在映射。学生由两个生成器（一个与教师共享）和一个学习器组成，从没有可用的成对深度信息的新RGB数据中学习，以改进泛化。然后，经过完全训练的共享生成器可以在运行时用于从RGB中产生深度，以用于下游应用，例如人脸识别。我们进行了严格的实验，以显示TS-GAN在生成合成深度图像方面优于其他方法。此外，人脸识别实验表明，与单一RGB模式相比，我们的超分辨率深度以及输入RGB图像在各种架构中的性能分别提高了IIIT-D，EURECOM和LFW数据集的平均值+1.2%，+2.6%和+2.6%。我们在https://github.com/hardik-uppal/teacher-student-gan.git上公开我们的实现。
2021-08-29 cs.CV
Teacher-Student Diffusion Model for Text-Driven 3D Hand Motion Generation
Singapore Management University（新加坡管理大学）
本文提出TSHaMo模型，通过文本生成逼真3D手部运动，利用教师-学生扩散框架提升运动质量和多样性，支持多种辅助输入。
2026-03-25 cs.CV
Multi-Teacher Knowledge Distillation with Reinforcement Learning for Visual Recognition
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出MTKD-RL，利用强化学习优化多教师知识蒸馏中的教师权重，在视觉识别任务上达到最先进性能。
2025-02-22 cs.CV
Teacher-Student Network for 3D Point Cloud Anomaly Detection with Few Normal Samples
University of Fukui（福井大学）；Niigata University（新潟大学）
本文提出一种教师-学生网络模型，利用特征对齐和多尺度损失，仅需少量正常样本即可实现高效的3D点云异常检测，在ShapeNet-Part数据集上优于现有方法。
2023-05-09 cs.CV
Augmenting Knowledge Distillation With Peer-To-Peer Mutual Learning For Model Compression
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
知识蒸馏（KD）是一种有效的模型压缩技术，其中紧凑的学生网络被教导模仿复杂且高度训练的教师网络的行为。相比之下，相互学习（ML）提供了一种替代策略，即使在没有强大但静态的教师网络的情况下，多个简单的学生网络也可以从共享知识中受益。受这些发现的启发，我们提出了一个单教师，多学生的框架，利用KD和ML来实现更好的性能。此外，在线蒸馏策略，利用训练教师和学生同时进行。为了评估所提出的方法的性能，进行了广泛的实验，使用三个不同版本的师生网络的基准生物医学分类（MSI与MSS）和目标检测（息肉检测）的任务。与单独使用KD或ML训练的学生群体相比，以所提出的方式训练的学生网络的增强取得了更好的结果，建立了通过学生之间的对等学习来增强从教师到学生的知识转移的好处。
2021-10-22 cs.CV
Reconstructed Student-Teacher and Discriminative Networks for Anomaly Detection
Meijo University（名城大学）
异常检测是计算机视觉中的一个重要问题，然而，异常样本的稀缺性使得这项任务变得困难。因此，最近的异常检测方法仅使用没有异常区域的正常图像进行训练。在这项工作中，一个强大的异常检测方法，提出了基于学生-教师特征金字塔匹配（STPM），其中包括一个学生和教师网络。生成模型是异常检测的另一种方法。它们从输入重建法线图像，并计算预测法线与输入之间的差异。不幸的是，STPM没有生成正常图像的能力。为了提高STPM的准确性，这项工作使用了学生网络，在生成模型，重建正常功能。这提高了准确性;然而，正常图像的异常图并不干净，因为STPM不使用异常图像进行训练，这降低了图像级异常检测的准确性。为了进一步提高准确性，在我们的方法中使用了一个判别网络，该网络由两对学生-教师网络和一个判别网络组成。该方法在MVTec异常检测数据集上显示出较高的准确性。
2022-10-14 cs.CV
Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning
Zhejiang University（浙江大学）
针对现有多教师知识蒸馏方法忽略弱学习能力学生适配性的问题，提出基于元学习的自适应多教师知识蒸馏MMKD，通过元权重网络融合多层教师知识定制集成教师，经多基准实验验证有效且灵活。
2023-06-11 cs.CV
Pseudo Supervised Monocular Depth Estimation with Teacher-Student Network
McMaster University（麦克马斯特大学）；University at Buffalo（布法罗大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管监督单目深度估计最近有所改进，但缺乏高质量的逐像素地面实况注释已成为进一步进展的主要障碍。在这项工作中，我们提出了一种新的无监督深度估计方法的伪监督机制的基础上，通过训练的师生网络与知识蒸馏。它策略性地集成了监督和无监督单目深度估计以及无监督双目深度估计的优点。具体地，教师网络利用双目深度估计的有效性来产生精确的视差图，然后将其用作伪地面实况以训练学生网络进行单目深度估计。这有效地将无监督学习的问题转换为监督学习。我们广泛的实验结果表明，所提出的方法优于国家的最先进的KITTI基准。
2021-10-22 cs.CV
Teacher Supervises Students How to Learn From Partially Labeled Images for Facial Landmark Detection
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）
人脸标志点检测的目的是定位人脸的解剖定义点。在本文中，我们研究了部分标记的人脸图像中的人脸标志点检测。典型的方法是（1）在标记的图像上训练检测器;（2）使用该检测器的预测作为未标记的图像的伪标记来生成新的训练样本;（3）在标记的样本和部分伪标记的样本上重新训练检测器。通过这种方式，检测器可以从标记和未标记的数据中学习，从而变得鲁棒。在本文中，我们提出了一个教师和两个学生之间的互动机制，以产生更可靠的伪标签的未标记的数据，这是有益的半监督人脸标志检测。具体来说，两个学生被实例化为双检测器。教师学习判断学生生成的伪标签的质量，并在再训练阶段之前过滤掉不合格的样本。通过这种方式，学生检测器从他们的老师那里得到反馈，并通过自己生成的优质数据进行重新训练。由于这两个学生是由不同的样本训练的，因此与任何一个预测相比，他们的预测组合作为最终预测将更加稳健。在300-W和AFLW基准上的大量实验表明，教师和学生之间的交互有助于更好地利用未标记数据，并实现了最先进的性能。
2019-08-13 cs.CV
Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation
Megvii（旷视科技）
知识蒸馏通常将知识从预先训练的笨重的教师网络转移到紧凑的学生网络，这遵循经典的教师-教学-学生范式。基于这种范例，以前的方法主要集中在如何有效地训练更好的学生网络进行部署。不同于现有的实践，在本文中，我们提出了一种新的学生帮助教师公式，教师进化通过自我知识蒸馏（TESKD），其中目标教师（部署）是学习与多层次的学生通过共享结构骨干的帮助。来自多个学生的不同反馈允许教师通过共享的特征表示来改进自己。我们提出的框架的有效性通过在两个标准基准测试（包括CIFAR-100和ImageNet）上使用各种网络设置进行的广泛实验来证明。值得注意的是，当与我们提出的方法一起训练时，ResNet-18在CIFAR-100和ImageNet上实现了79.15%和71.14%的准确率，分别比基线结果高出4.74%和1.43%。该代码可从以下网址获取：https://github.com/zhengli427/TESKD。
2021-10-13 cs.CV cs.LG
Reconstruction Student with Attention for Student-Teacher Pyramid Matching
Meijo University（名城大学）
异常检测与定位是计算机视觉中的重要问题。最近，卷积神经网络（CNN）已经用于视觉检测。特别是，异常样本的稀缺性增加了这项任务的难度，基于无监督学习的方法正在引起人们的注意。我们专注于学生-教师特征金字塔匹配（STPM），它可以只从正常图像与少量的时期进行训练。在这里，我们提出了一个强大的方法，弥补了STPM的缺点。提出的方法由两个学生和两个教师组成，一对学生-教师网络是相同的STPM。另一个学生-教师网络具有重构正常产品特征的作用。通过从异常图像重建正常产品的特征，可以通过获取它们之间的差异来以更高的精度检测异常。新的学生-教师网络使用注意力模块和不同于原始STPM的教师网络。注意力机制用于成功地重建输入图像中的正常区域。不同的教师网络阻止查看与原始STPM相同的区域。使用从两个学生-教师网络获得的六个异常图来计算最终的异常图。与原始STPM相比，用于重建特征的学生-教师网络改善了像素级和图像级的AUC分数。
2022-03-09 cs.CV eess.IV
CARD: Closing the Teacher-Student Loop for Adversarial Robustness Distillation
Yunnan University（云南大学）；Yunnan Normal University（云南师范大学）
本研究提出闭环框架CARD，通过将蒸馏学生模型的反馈用于优化教师模型并回传增益，突破单向鲁棒性迁移范式，在多数据集上提升对抗鲁棒性且保持干净准确率。
2026-10-14 cs.CV cs.LG
Teacher-Student Architecture for Knowledge Learning: A Survey
McGill University（麦吉尔大学）；Northwest University（西北大学）
虽然深度神经网络（DNN）在许多领域显示出强大的解决大规模问题的能力，但这种具有大量参数的DNN很难在实时系统中部署。为了解决这个问题，教师-学生架构首先用于知识蒸馏，其中简单的学生网络可以实现与深度教师网络相当的性能。近年来，师生架构已被广泛应用于各种知识学习目标，包括知识蒸馏、知识扩展、知识适应和多任务学习。在师生架构的帮助下，目前的研究能够通过轻量级和有效的学生网络来实现多个知识学习目标。与现有的知识蒸馏调查不同，本调查详细讨论了具有多个知识学习目标的师生架构。此外，我们系统地介绍了知识学习过程中的知识构建和优化过程，然后分析了各种师生架构和有效的学习方案，已被利用来学习代表性和鲁棒性的知识。本文还总结了基于不同目的的师生体系结构的最新应用（即，分类、识别和生成）。最后，从师生结构设计、知识质量和回归学习理论研究三个方面探讨了知识学习的潜在研究方向。通过这项全面的调查，行业从业者和学术界都可以了解有关教师-学生架构的多个知识学习目标的有见地的指导方针。
2022-10-28 cs.CV cs.LG
Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
知识蒸馏的目的是通过从一个大得多的映射函数中学习映射函数来获得一个紧凑而有效的模型。由于学生的能力有限，学生将不适合老师。因此，学生的表现会出乎意料地下降时，从一个超大的教师，称为能力差距问题。我们通过对教师与学生之间的信任差距的研究来探讨这一问题。我们发现，自信的大小不是知识蒸馏的必要条件，如果学生被迫学习自信，可能会损害学生的表现。我们提出了球形知识蒸馏来消除这个差距明确，这缓解了欠拟合问题。我们发现，这种新的知识表示可以改善紧凑的模型与更大的教师，是强大的温度。我们在CIFAR100和ImageNet上进行了实验，并取得了显著的改善。具体来说，我们训练ResNet 18达到73.0的准确度，这比以前的SOTA有了很大的改进，与resnet34相当，几乎是学生人数的两倍。该实现已在https://github.com/forjiuzhou/Spherical-Knowledge-Distillation上共享。
2021-01-12 cs.CV cs.LG
Teacher-Student Competition for Unsupervised Domain Adaptation
Tianjin University（天津大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
现有的无监督领域自适应（UDA）方法主要从共享特征提取器中学习领域不变表示，源域的监督仅在类级进行，存在源偏差问题。提出了一种基于教师-学生竞争的无监督领域自适应方法。特别地，引入学生网络来学习特定于目标的特征空间，并且我们设计了一种新的竞争机制来选择更可信的伪标签用于学生网络的训练。我们引入了一个教师网络与现有的传统UDA方法的结构，教师和学生网络竞争提供目标伪标签，以约束每个目标样本的训练在学生网络。大量的实验表明，我们提出的TSC框架显着优于国家的最先进的领域自适应方法在Office-31和ImageCLEF-DA基准。
2020-10-20 cs.CV cs.LG
Student-Teacher Learning from Clean Inputs to Noisy Inputs
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
基于学习的学生-教师学习是一种鼓励学生的隐藏特征模仿教师网络的训练方法，在将知识从预先训练的教师网络转移到学生网络方面取得了经验上的成功。此外，最近的实验结果表明，即使学生的输入样本被噪声破坏，教师的特征也可以提高学生网络的泛化能力。然而，有一个缺乏理论的见解，为什么以及何时这种方法的知识转移可以成功之间的异构任务。我们使用深度线性网络从理论上分析了这种方法，并使用非线性网络进行了实验。我们确定了该方法成功的三个关键因素：（1）学生是否被训练到零训练损失;（2）教师在干净输入问题上的知识水平;（3）教师如何将其知识分解为隐藏特征。这三个因素中的任何一个缺乏适当的控制都会导致师生学习方法的失败。
2021-03-13 cs.CV cs.LG stat.ML
Representation Consolidation for Training Expert Students
Amazon AWS Rekognition（亚马逊AWS图像识别服务）
传统上，蒸馏已被用于训练学生模型，以模仿教师的输入/输出功能。一个比仿真更有用的目标是让学生学习能够很好地转移到未来任务中的特征表示，但这一目标尚未得到充分探索。然而，我们观察到，对特定任务教师的标准蒸馏实际上 * 减少了 * 学生表征向下游任务的转移。我们表明，使用未标记代理数据集和通才教师的多头多任务蒸馏方法足以巩固特定任务教师的表示并提高下游性能，优于教师和ImageNet预训练特征的强基线。我们的方法还可以将在一个或多个领域上训练的多个教师的代表性知识结合到单个模型中，其代表性在所有教师的领域上得到改进。
2021-07-16 cs.CV cs.LG
Pseudo-label Correction for Instance-dependent Noise Using Teacher-student Framework
University of California, San Diego（加州大学圣地亚哥分校）
提出P-LC框架，通过将教师网络重构为三元编码器并利用三元组损失，在师生网络中实现伪标签校正，有效应对实例依赖标签噪声，在多个数据集上超越现有方法。
2023-11-24 cs.CV cs.LG
Teacher-Class Network: A Neural Network Compression Mechanism
Rensselaer Polytechnic Institute（伦斯勒理工学院）
为了减少深度神经网络（DNN）的庞大规模，师生方法试图将知识从复杂的教师网络转移到简单的学生网络。相反，我们提出了一种称为教师类网络的新方法，该网络由单个教师和多个学生网络（即学生类）组成。该方法不是只将知识转移给一个学生，而是将一大块知识转移给每个学生。我们的学生没有接受针对特定问题的逻辑训练，他们被训练来模仿教师网络学习的知识（密集表示），因此学生班级学习的组合知识也可以用于解决其他问题。建议的教师级架构进行评估的几个基准数据集，如MNIST，时尚MNIST，IMDB电影评论，CAMVid，CIFAR-10和ImageNet的多个任务，包括图像分类，情感分类和分割。我们的方法优于国家的最先进的单学生的方法在精度以及计算成本，同时实现10-30倍的参数减少。
2021-10-29 cs.CV cs.LG stat.ML
JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition
University of Bucharest（布加勒斯特大学）；Politehnica University of Bucharest（布加勒斯特理工大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
JEDI提出一种多数据集半监督学习方法，通过联合端到端的学生-教师蒸馏框架融合多个专家知识，在四个视频动作识别数据集上显著提升了模型泛化性能。
2023-08-09 cs.CV cs.LG
SFT-KD-Recon: Learning a Student-friendly Teacher for Knowledge Distillation in Magnetic Resonance Image Reconstruction
Indian Institute of Technology, Madras（马德拉斯印度理工学院）；HealthCare Technology Innovation Center（医疗保健技术创新中心）
提出SFT-KD-Recon方法，通过联合训练教师与学生并引入模仿损失，使教师感知学生结构，从而提升磁共振图像重建中知识蒸馏的性能，显著缩小师生差距。
2023-04-11 cs.AI cs.CV eess.IV
Lifelong Teacher-Student Network Learning
University of York（约克大学）
人类独特的认知能力在于他们能够从一系列的经验中获得新的知识和技能。与此同时，人工智能系统擅长只学习最后一个给定的任务，而不能记住过去学习的数据库。我们提出了一种新的终身学习方法，采用师生网络框架。当学生模块使用新的给定数据库进行训练时，教师模块将提醒学生过去学习的信息。由生成对抗网络（GAN）实现的教师被训练来保存和重放与先前学习的数据库的概率表示相对应的过去知识。同时，学生模块由变分自编码器（VAE）实现，该变分自编码器从教师模块的输出以及新可用的数据库推断其潜在变量表示。此外，学生模块经过训练，可以捕获不同领域的连续和离散底层数据表示。提出的终身学习框架应用于监督，半监督和无监督的培训。代码可用~：\url{https://github.com/dtuzi123/Lifelong-Teacher-Student-Network-Learning}
2021-07-09 cs.AI cs.CV cs.LG
Student Capacity Moderates Knowledge Distillation Effectiveness: A Systematic Study Across ResNet Teacher-Student Pairs on CIFAR-10
通过ResNet教师-学生对在CIFAR-10上的图像分类实验，系统研究学生容量如何调节知识蒸馏（KD）的有效性，发现学生容量是蒸馏增益的关键调节因素，并指出实现正确性和输入分辨率感知架构的重要性。
2026-07-14 cs.CV cs.LG
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
Masters通过掩码教师和强化学生的方法，解决视觉-语言模型蒸馏中的大小差距问题，提升学生模型的表示学习能力。
2025-12-23 cs.AI cs.CV cs.LG
Teacher-Student Training and Triplet Loss for Facial Expression Recognition under Occlusion
Novustech Services（诺沃斯特科技服务公司）；University of Bucharest（布加勒斯特大学）
本文研究了强遮挡条件下的人脸表情识别问题。我们对50%的面部被遮挡的情况特别感兴趣，例如当受试者佩戴虚拟现实（VR）耳机时。虽然以前的研究表明，预训练卷积神经网络（CNN）的完全可见（非遮挡）的脸提高了准确性，我们建议采用知识蒸馏，以实现进一步的改进。首先，我们采用经典的教师-学生训练策略，其中教师是在完全可见的面部上训练的CNN，学生是在遮挡面部上训练的CNN。其次，提出了一种基于三元组损失的知识蒸馏方法。在训练过程中，目标是减少锚嵌入与正嵌入之间的距离，锚嵌入由学生CNN（将遮挡的面部作为输入）产生，正嵌入由教师CNN（在完全可见的面部上训练）产生，因此它变得小于锚与负嵌入之间的距离（来自与锚不同的类别），由学生CNN产生。第三，我们建议将通过经典的师生策略和我们基于三重丢失的新颖师生策略获得的提取嵌入组合成单个嵌入向量。我们在FER+和AffectNet两个基准上进行了实验，使用两种CNN架构VGG-f和VGG-face，表明知识蒸馏可以在VR设置中为遮挡面部设计的最先进的方法上带来显着的改进。
2021-02-25 cs.CV cs.LG
Teacher Encoder-Student Decoder Denoising Guided Segmentation Network for Anomaly Detection
School of Computer Science, Chengdu University of Information Science and Technology（成都信息科技大学计算机科学学院）；Purdue University（普渡大学）；University at Albany（阿尔巴尼大学）
PFADSeg通过教师编码器-学生解码器去噪机制和自适应特征融合，提升异常检测性能，实现高精度分割与检测。
2025-11-24 cs.AI cs.CV
Addressing data annotation scarcity in Brain Tumor Segmentation on 3D MRI scan Using a Semi-Supervised Teacher-Student Framework
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（人工智能学院，南京航空航天大学）；Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education（脑机智能技术重点实验室，教育部）；Shenzhen Research Institute, Nanjing University of Aeronautics and Astronautics（深圳研究院，南京航空航天大学）
本文提出半监督教师-学生框架，通过置信度驱动课程学习和选择性遗忘，在有限标注下实现高效脑肿瘤分割，提升分割精度和鲁棒性。
2026-02-09 cs.AI cs.CV
Distilling Calibrated Student from an Uncalibrated Teacher
Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
知识蒸馏是一种用于通过从教师网络传输信息来改善浅学生网络的性能的常用技术，教师网络通常相对较大且较深。这些教师网络是预先训练的，通常未经校准，因为在训练时没有校准技术应用于教师模型。网络的校准测量其任何预测的正确性概率，这在高风险领域至关重要。在本文中，我们研究了如何从一个未校准的教师获得校准的学生。我们的方法依赖于融合的数据增强技术，包括但不限于剪切，mixup和CutMix，与知识蒸馏。我们扩展了我们的方法，超越了传统的知识蒸馏，并发现它适用于关系知识蒸馏和对比表示蒸馏。这项工作的新颖之处在于，它提供了一个框架，可以从未校准的教师模型中提取校准的学生，而不会影响提取学生的准确性。我们在各种数据集上进行了大量的实验来验证我们的方法，包括CIFAR-10，CIFAR-100，CINIC-10和TinyImageNet，并获得了校准的学生模型。我们还观察到我们的方法的鲁棒性能，同时评估它对损坏的CIFAR-100C数据。
2023-02-22 cs.AI cs.CV cs.LG
Interactive Knowledge Distillation
Sichuan University（四川大学）；Nankai University（南开大学）；TAL Education Group（好未来教育集团）
知识蒸馏是一个标准的师生学习框架，在一个训练有素的大型教师网络的指导下，训练一个轻量级的学生网络。作为一种有效的教学策略，互动教学在学校中被广泛采用，教师在提供知识的同时，也对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了一个互动的知识蒸馏（IAKD）计划，利用有效的知识蒸馏的互动教学策略。在蒸馏过程中，教师网络和学生网络之间的交互是通过交换操作实现的：用教师网络中的相应块随机替换学生网络中的块。在这种方式中，我们直接涉及教师的强大功能转换能力，大大提高学生的表现。典型师生网络的实验表明，我们的IAKD训练的学生网络取得更好的性能比传统的知识蒸馏方法训练的不同图像分类数据集。
2021-04-15 cs.CV cs.LG
Learning Student Networks via Feature Embedding
Peking University（北京大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；The University of Sydney（悉尼大学）
深度卷积神经网络已被广泛应用于众多应用中，但其苛刻的存储和计算资源要求阻碍了其在移动设备上的应用。知识蒸馏旨在通过从训练有素的重型教师网络获取知识来优化便携式学生网络。传统的基于教师-学生的方法依赖于额外的全连接层来桥接教师和学生网络的中间层，这带来了大量的辅助参数。相比之下，本文的目的是传播信息从教师到学生，而不引入新的变量，需要优化。我们从特征嵌入的新视角看待师生范式。通过引入局部保持损失，鼓励学生网络生成低维特征，这些特征可以继承教师网络相应高维特征的内在属性。因此，所得到的便携式网络可以自然地保持教师网络的性能。理论分析证明了该方法具有较低的计算复杂度。在基准数据集和训练有素的网络上的实验表明，该算法在计算和存储复杂度方面优于最先进的师生学习方法。
2018-12-17 cs.CV cs.LG stat.ML
Asymmetric Student-Teacher Networks for Industrial Anomaly Detection
Leibniz University Hannover（汉诺威莱布尼茨大学）；Linköping University（林雪平大学）
工业缺陷检测通常使用异常检测（AD）方法来解决，其中没有或只有不完整的潜在发生缺陷的数据可用。这项工作发现了以前未知的问题，学生-教师的方法AD，并提出了一个解决方案，其中两个神经网络进行训练，以产生相同的输出为无缺陷的训练样本。学生-教师网络的核心假设是，两个网络的输出之间的距离对于异常来说更大，因为它们在训练中不存在。然而，以前的方法受到学生和教师架构的相似性，使得距离对于异常是不期望的小。为此，我们提出了非对称的学生-教师网络（AST）。我们训练一个用于密度估计的归一化流作为教师，一个传统的前馈网络作为学生，以触发异常的大距离：归一化流的双射性强制教师输出与正常数据相比异常的发散。在训练分布之外，由于其根本不同的架构，学生无法模仿这种分歧。我们的AST网络通过归一化流补偿错误估计的可能性，该归一化流在以前的工作中可用于异常检测。我们表明，我们的方法在两个目前最相关的缺陷检测数据集MVTec AD和MVTec 3D-AD上产生了最先进的结果，这些数据集涉及RGB和3D数据的图像级异常检测。
2022-10-18 cs.AI cs.CV cs.LG
Distilling Knowledge via Intermediate Classifiers
Ontario Tech University（安大略理工大学）
知识蒸馏的关键是在预先训练好的大规模教师模型的指导下，有效地训练资源有限的学生模型。然而，当教师和学生的模型复杂度之间存在较大差异时（即，能力差距），知识蒸馏失去了将知识从教师转移到学生的力量，从而培养出一个较弱的学生。为了减轻能力差距的影响，我们通过中间头引入知识蒸馏。通过用分类器头扩展教师的中间层（在不同的深度），我们廉价地获得了一批异构的预先训练的教师。中间分类器头可以一起有效地学习，同时冻结预先训练的教师的骨干。教师（包括原来的教师）的队列共同教学生同时进行。我们在不同师生对和数据集上的实验表明，该方法优于规范的知识蒸馏方法及其扩展。
2021-05-31 cs.AI cs.CV cs.LG
