Generalizing Teacher Networks for Effective Knowledge Distillation Across Student Architectures
本文提出 Generic Teacher Network（GTN），通过权重共享超网络让教师一次性适配架构池中多种学生容量，从而提升跨架构知识蒸馏效果并分摊训练成本。
2025-01-08 cs.AI cs.LG
Teacher-Student Curriculum Learning
University of Tartu（塔尔图大学）；OpenAI；University of Amsterdam（阿姆斯特丹大学）
我们提出了教师-学生课程学习（TSCL），自动课程学习的框架，其中学生试图学习一个复杂的任务和教师自动选择子任务从一个给定的集合为学生训练上。我们描述了一个家庭的教师算法，依赖于直觉，学生应该实践更多的任务，它使最快的进展，即学习曲线的斜率最高的位置。此外，教师算法还通过选择学生表现越来越差的任务来解决遗忘问题。我们证明了TSCL在两个任务中匹配或超越了精心手工制作的课程的结果：使用LSTM添加十进制数和在Minecraft中导航。使用我们自动生成的课程能够解决Minecraft迷宫，当直接训练解决迷宫时根本无法解决，并且学习比子任务的均匀采样快一个数量级。
2017-11-29 cs.AI cs.LG
Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents
Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队）；Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
针对多轮自主智能体，提出结果引导在线蒸馏（OG-OPD），利用最终任务结果校准监督权重，解决师生差距与收益不匹配问题，在多个基准上显著提升任务成功率。
2026-09-29 cs.AI cs.LG
Teacher-Student Architecture for Knowledge Distillation: A Survey
McGill University（麦吉尔大学）；Northwest University（西北大学）
本文系统综述了教师-学生架构在知识蒸馏中的多目标应用，涵盖知识压缩、扩展、适应与增强，总结了代表性算法、蒸馏方案及分类、识别、生成等应用，并展望了架构设计、知识质量与回归理论等未来方向。
2023-08-08 cs.AI cs.LG
Toward Student-Oriented Teacher Network Training For Knowledge Distillation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
针对最优教师未必教出最优学生的问题，本文提出面向学生表现的 SoTeacher 教师训练方法，通过 Lipschitz 与一致性正则化增强 ERM，并验证其可稳定提升知识蒸馏的学生准确率。
2024-05-09 cs.AI cs.LG
Teaching the Teacher: The Role of Teacher-Student Smoothness Alignment in Genetic Programming-based Symbolic Distillation
Indian Institute of Technology Kharagpur（印度理工学院卡里格普尔分校）；National University of Singapore（新加坡国立大学）
本文研究了教师-学生平滑对齐在基于遗传编程的符号蒸馏中的作用，通过引入雅可比和利普希茨惩罚项正则化教师函数的平滑性，提升学生模型的预测精度。
2026-04-14 cs.AI cs.LG
PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Sun Yat-sen University（中山大学）
PAST将完整学生轨迹作为OPSD教师的额外特权信息，通过前向KL蒸馏等方法优化教师，在三个数学推理基准上使Avg@12宏观平均值较Vanilla OPSD提升5.6个百分点。
2026-08-11 cs.AI cs.LG
Confidence-Aware Multi-Teacher Knowledge Distillation
首先引入知识蒸馏，以利用来自单个教师模型的额外监督来进行学生模型训练。为了提高学生的成绩，最近的一些变体试图利用来自多个教师的不同知识来源。然而，现有的研究主要是整合来自不同来源的知识，通过平均多个教师的预测或结合他们使用其他各种无标签的策略，这可能会误导学生在低质量的教师预测的存在。为了解决这个问题，我们提出了置信度感知的多教师知识蒸馏（CA-MKD），它自适应地分配样本的可靠性为每个教师预测的帮助下，地面真理标签，与那些教师预测接近一个热标签分配大的权重。此外，CA-MKD还包括中间层，以稳定知识转移过程。大量的实验表明，我们的CA-MKD始终优于所有比较国家的最先进的方法在各种师生架构。
2022-02-14 cs.AI cs.LG
Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers
本研究提出迁移分层在线策略蒸馏（TS-OPD），通过按学生与教师联合成功筛选问题并路由至门控前向/反向KL，在数学推理中实现强化学习改进教师对学生模型的结构化迁移，提升宏平均正确率。
2026-10-06 cs.AI cs.LG
Can Language Models Teach Weaker Agents? Teacher Explanations Improve Students via Personalization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本研究提出师生框架，探索LLM教师如何通过预算受限的个性化自然语言解释提升较弱学生的表现，并验证其泛化性与误导风险。
2023-11-14 cs.AI cs.CL cs.LG
When the Strongest Teacher Is Not the Best Teacher: Student-Centric Answer Selection
University of Washington（华盛顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Southern California（南加州大学）；Independent Researcher（独立研究者）；National University of Singapore（新加坡国立大学）；Microsoft（微软）；Google（谷歌）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Northwestern University（西北大学）；Allen Institute for AI (AI2)（人工智能研究院（AI2））
提出以学生为中心的答案采样（SCAS）框架，通过估计学生中心的学习成本选择教师生成的答案，从而提升学生模型性能。
2026-09-02 cs.AI cs.CL cs.LG
UM4: Unified Multilingual Multiple Teacher-Student Model for Zero-Resource Neural Machine Translation
Microsoft Research（微软研究院）；Tencent Cloud（腾讯云）；Beihang University（北京航空航天大学）
语言间的翻译任务大多属于零资源翻译问题，在这种情况下，平行语料库不可用。多语言神经机器翻译（MNMT）与两遍枢轴翻译相比，可以使用所有语言的共享语义空间进行一遍翻译，但通常表现不佳。在本文中，我们提出了一种新的方法，命名为统一的多语言多师生模型NMT（UM 4）。我们的方法统一了源教师，目标教师，并指导学生模型的零资源翻译的教师模型。源语教师和译语教师通过源语和译语双方的知识精华迫使学生学习直接源语到译语的翻译。单语语料库被进一步利用的教师-教师模型，以提高学生模型。实验结果表明，我们的72个方向的模型显着优于以前的方法在WMT基准。
2022-08-24 cs.AI cs.CL cs.LG
Lifelong Teacher-Student Network Learning
University of York（约克大学）
人类独特的认知能力在于他们能够从一系列的经验中获得新的知识和技能。与此同时，人工智能系统擅长只学习最后一个给定的任务，而不能记住过去学习的数据库。我们提出了一种新的终身学习方法，采用师生网络框架。当学生模块使用新的给定数据库进行训练时，教师模块将提醒学生过去学习的信息。由生成对抗网络（GAN）实现的教师被训练来保存和重放与先前学习的数据库的概率表示相对应的过去知识。同时，学生模块由变分自编码器（VAE）实现，该变分自编码器从教师模块的输出以及新可用的数据库推断其潜在变量表示。此外，学生模块经过训练，可以捕获不同领域的连续和离散底层数据表示。提出的终身学习框架应用于监督，半监督和无监督的培训。代码可用~：\url{https://github.com/dtuzi123/Lifelong-Teacher-Student-Network-Learning}
2021-07-09 cs.AI cs.CV cs.LG
Learning Student-Friendly Teacher Networks for Knowledge Distillation
DIT Center, Samsung Electronics（三星电子DIT中心）；ECE & ASRI, Seoul National University（首尔大学电子与计算机工程系及自动化与系统研究所）
我们提出了一种新的知识蒸馏方法，以促进暗知识从教师到学生的转移。与大多数依赖于预先培训的教师对学生模型进行有效培训的现有方法相反，我们的目标是学习对学生友好的教师模型，从而更适合知识转移。换句话说，在优化教师模型的同时，该算法联合学习学生分支以获得学生友好的表示。由于我们的方法的主要目标在于训练教师模型和随后的知识蒸馏过程是简单的，大多数现有的知识蒸馏方法可以采用这种技术，以提高不同的学生模型的准确性和收敛速度方面的性能。该算法在几个著名的知识蒸馏技术与教师和学生模型的各种组合的情况下，即使在他们的架构是异构的，没有先验知识的学生模型在培训教师网络的时候，表现出突出的准确性。
2022-01-23 cs.LG
On the Off-Policy Teacher in On-Policy Distillation
Washington University in St. Louis（圣路易斯华盛顿大学）；AWS AI Labs（AWS AI 实验室）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
针对在线策略蒸馏中教师面对学生生成前缀时续写性能下降的问题，提出SCOUT协同训练框架，通过可验证奖励的强化学习适配教师，提升蒸馏效果。
2026-10-01 cs.AI cs.CL cs.LG
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
Masters通过掩码教师和强化学生的方法，解决视觉-语言模型蒸馏中的大小差距问题，提升学生模型的表示学习能力。
2025-12-23 cs.AI cs.CV cs.LG
Distilling Calibrated Student from an Uncalibrated Teacher
Indian Institute of Technology, Jodhpur（焦特布尔印度理工学院）
知识蒸馏是一种用于通过从教师网络传输信息来改善浅学生网络的性能的常用技术，教师网络通常相对较大且较深。这些教师网络是预先训练的，通常未经校准，因为在训练时没有校准技术应用于教师模型。网络的校准测量其任何预测的正确性概率，这在高风险领域至关重要。在本文中，我们研究了如何从一个未校准的教师获得校准的学生。我们的方法依赖于融合的数据增强技术，包括但不限于剪切，mixup和CutMix，与知识蒸馏。我们扩展了我们的方法，超越了传统的知识蒸馏，并发现它适用于关系知识蒸馏和对比表示蒸馏。这项工作的新颖之处在于，它提供了一个框架，可以从未校准的教师模型中提取校准的学生，而不会影响提取学生的准确性。我们在各种数据集上进行了大量的实验来验证我们的方法，包括CIFAR-10，CIFAR-100，CINIC-10和TinyImageNet，并获得了校准的学生模型。我们还观察到我们的方法的鲁棒性能，同时评估它对损坏的CIFAR-100C数据。
2023-02-22 cs.AI cs.CV cs.LG
VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
VISTA 复用标准 OPSD 的 rollout 与损失函数，通过结果验证的 rollout 将教师适配学生分布，在多基准数据集上提升了不同规模 Qwen3 模型的 Avg@12。
2026-08-31 cs.AI cs.CL cs.LG
Asymmetric Student-Teacher Networks for Industrial Anomaly Detection
Leibniz University Hannover（汉诺威莱布尼茨大学）；Linköping University（林雪平大学）
工业缺陷检测通常使用异常检测（AD）方法来解决，其中没有或只有不完整的潜在发生缺陷的数据可用。这项工作发现了以前未知的问题，学生-教师的方法AD，并提出了一个解决方案，其中两个神经网络进行训练，以产生相同的输出为无缺陷的训练样本。学生-教师网络的核心假设是，两个网络的输出之间的距离对于异常来说更大，因为它们在训练中不存在。然而，以前的方法受到学生和教师架构的相似性，使得距离对于异常是不期望的小。为此，我们提出了非对称的学生-教师网络（AST）。我们训练一个用于密度估计的归一化流作为教师，一个传统的前馈网络作为学生，以触发异常的大距离：归一化流的双射性强制教师输出与正常数据相比异常的发散。在训练分布之外，由于其根本不同的架构，学生无法模仿这种分歧。我们的AST网络通过归一化流补偿错误估计的可能性，该归一化流在以前的工作中可用于异常检测。我们表明，我们的方法在两个目前最相关的缺陷检测数据集MVTec AD和MVTec 3D-AD上产生了最先进的结果，这些数据集涉及RGB和3D数据的图像级异常检测。
2022-10-18 cs.AI cs.CV cs.LG
Distilling Knowledge via Intermediate Classifiers
Ontario Tech University（安大略理工大学）
知识蒸馏的关键是在预先训练好的大规模教师模型的指导下，有效地训练资源有限的学生模型。然而，当教师和学生的模型复杂度之间存在较大差异时（即，能力差距），知识蒸馏失去了将知识从教师转移到学生的力量，从而培养出一个较弱的学生。为了减轻能力差距的影响，我们通过中间头引入知识蒸馏。通过用分类器头扩展教师的中间层（在不同的深度），我们廉价地获得了一批异构的预先训练的教师。中间分类器头可以一起有效地学习，同时冻结预先训练的教师的骨干。教师（包括原来的教师）的队列共同教学生同时进行。我们在不同师生对和数据集上的实验表明，该方法优于规范的知识蒸馏方法及其扩展。
2021-05-31 cs.AI cs.CV cs.LG
Learning to Teach with Student Feedback
Fudan University（复旦大学）
知识蒸馏（KD）由于其在压缩大规模预训练模型方面的有效性而受到广泛关注。在典型的KD方法中，小学生模型经过训练以匹配大教师模型生成的软目标。然而，学生和教师之间的互动是单向的。教师通常是固定的，一旦培训，导致静态的软目标被提炼。这种单向的互动导致教师无法感知学生的特点及其训练进度。为了解决这个问题，我们提出了交互式知识蒸馏（IKD），它也允许教师从学生的反馈中学习教学。特别地，IKD训练教师模型，以在每个训练步骤为特定学生生成特定的软目标。教师和学生的联合优化通过两个迭代步骤实现：课程步骤以教师的软目标优化学生，考试步骤以学生的反馈优化教师。IKD是一个通用的框架，是正交的大多数现有的知识蒸馏方法。实验结果表明，IKD优于传统的KD方法在各种NLP任务。
2021-09-10 cs.LG
How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Shenzhen Future Network of Intelligence Institute (FNiI-Shenzhen)（深圳市未来智能网络研究院）；Guangdong Provincial Key Laboratory of Future Networks of Intelligence, CUHK(SZ)（广东省未来智能网络重点实验室（香港中文大学（深圳）））
提出Prep-OPD，在蒸馏前用强化学习训练教师适应学生推理状态并纠错，显著提升数学推理蒸馏性能。
2026-10-06 cs.LG
Customizing Student Networks From Heterogeneous Teachers via Adaptive Knowledge Amalgamation
Zhejiang University（浙江大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
开发人员已经在线发布了大量训练有素的深度网络。这些网络可能专注于不同的任务，并且在许多情况下针对不同的数据集进行了优化。在本文中，我们研究如何利用这种异构的预先训练的网络，称为教师，以便训练一个定制的学生网络，解决一组由用户定义的选择性任务。我们假设没有人类注释可用，每个教师可能是单任务或多任务。为此，我们引入了一个双步骤的策略，首先从共享同一子任务的异构教师中提取特定于任务的知识，然后合并提取的知识来构建学生网络。为了便于训练，我们采用了一种选择性学习方案，对于每个未标记的样本，学生只从具有最小预测模糊性的老师那里自适应地学习。我们评估了所提出的方法在几个数据集和实验结果表明，学生，学习这种自适应知识融合，取得的成绩甚至比那些教师。
2019-08-20 cs.AI cs.CV cs.LG
Amalgamating Filtered Knowledge: Learning Task-customized Student from Multi-task Teachers
Zhejiang University（浙江大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Alibaba Group（阿里巴巴集团）
许多训练有素的卷积神经网络（CNN）模型现在已经被开发人员在线发布，以便轻松复制。在本文中，我们将这种预先训练的网络视为教师，并探索如何使用处理不同任务的多个教师来学习目标学生网络以完成定制任务。我们假设没有人类标记的注释可用，每个教师模型可以是单任务或多任务网络，其中前者是后者的退化情况。学生模型根据定制的任务，学习从多个教师过滤的相关知识，并最终掌握所有教师的完整或子集的专业知识。为此，我们采用了分层的训练策略，将学生要学习的网络块与相应的教师纠缠在一起。正如几个基准测试所证明的那样，学习的学生网络取得了非常有希望的结果，甚至在定制任务上超过了教师。
2019-05-28 cs.LG
Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation
Megvii（旷视科技）
知识蒸馏通常将知识从预先训练的笨重的教师网络转移到紧凑的学生网络，这遵循经典的教师-教学-学生范式。基于这种范例，以前的方法主要集中在如何有效地训练更好的学生网络进行部署。不同于现有的实践，在本文中，我们提出了一种新的学生帮助教师公式，教师进化通过自我知识蒸馏（TESKD），其中目标教师（部署）是学习与多层次的学生通过共享结构骨干的帮助。来自多个学生的不同反馈允许教师通过共享的特征表示来改进自己。我们提出的框架的有效性通过在两个标准基准测试（包括CIFAR-100和ImageNet）上使用各种网络设置进行的广泛实验来证明。值得注意的是，当与我们提出的方法一起训练时，ResNet-18在CIFAR-100和ImageNet上实现了79.15%和71.14%的准确率，分别比基线结果高出4.74%和1.43%。该代码可从以下网址获取：https://github.com/zhengli427/TESKD。
2021-10-13 cs.CV cs.LG
When does the student surpass the teacher? Federated Semi-supervised Learning with Teacher-Student EMA
Meta Platforms, Inc.（元平台公司）
半监督学习（Semi-Supervised Learning，SSL）在计算机视觉领域受到了广泛的关注，导致了FixMatch等有前途的方法的发展。在训练数据分散并驻留在客户端设备上的情况下，SSL必须与隐私感知培训技术（如联邦学习）集成。我们认为，联邦图像分类的问题，并研究现有的联邦SSL（FSSL）的方法的性能和隐私的挑战。首先，我们注意到，即使是最先进的FSSL算法也可能轻微地损害客户端隐私和其他现实世界的约束，如客户端无状态和通信成本。其次，我们观察到将EMA（指数移动平均线）更新集成到联邦设置中具有挑战性，这需要在性能和通信成本之间进行权衡。我们提出了一种新的方法FedSwitch，通过指数移动平均（EMA）更新来提高隐私和泛化性能。FedSwitch利用联邦半监督教师-学生EMA框架，具有两个功能-本地教师自适应和教师和学生之间的自适应切换以生成伪标签。我们提出的方法优于联邦图像分类的最先进的，可以适应现实世界的约束，并实现了良好的泛化性能，最小的通信成本开销。
2023-01-24 cs.LG
Embedding Compression for Teacher-to-Student Knowledge Transfer
Georgia Institute of Technology（佐治亚理工学院）
针对教师嵌入包含目标任务无关知识的问题，提出带有可训练教师变换的嵌入压缩模块以获取紧凑教师嵌入，实验证明该方法提升了分类性能及学生模型的泛化能力。
2024-02-09 cs.LG
Representation Evaluation Block-based Teacher-Student Network for the Industrial Quality-relevant Performance Modeling and Monitoring
East China University of Science and Technology（华东理工大学）；Tongji University（同济大学）
质量相关故障检测在工业过程中起着重要的作用，而目前基于神经网络的质量相关故障检测方法主要集中于过程相关变量，忽略了质量相关变量，限制了过程监控的应用。因此，本文提出了一种基于改进的师生网络的故障检测方案，用于质量相关的故障检测。在传统的师生网络中，由于教师网络和学生网络的特征差异会导致学生网络的性能下降，提出了表征评估块（REB）来量化教师网络和学生网络的特征差异，并在建模过程中使用不确定性建模来增加这种差异，有利于减少特征差异，提高学生网络的性能。在此基础上，将REB和不确定性建模应用于师生网络中，命名为不确定性建模师生不确定性自动编码器（TSUAE）。然后，提出的TSUAE应用于过程监测，它可以有效地检测故障的过程相关的子空间和质量相关的子空间。通过两个仿真实验验证了所提出的基于TSUAE的故障检测方法，与其他故障检测方法相比，该方法具有令人满意的故障检测性能。
2021-01-20 cs.LG
Improved Knowledge Distillation via Teacher Assistant
Washington State University（华盛顿州立大学）；DeepMind（深度思维）；D.E. Shaw（德劭集团）
尽管深度神经网络是功能强大的模型，并且在许多任务上都取得了令人瞩目的结果，但它们太大了，无法部署在智能手机或嵌入式传感器节点等边缘设备上。人们一直在努力压缩这些网络，一种流行的方法是知识蒸馏，其中使用一个大型（教师）预训练网络来训练一个较小的（学生）网络。然而，在本文中，我们表明，学生网络的性能下降时，学生和教师之间的差距很大。在一个固定的学生网络中，教师的人数是不可以任意增加的，换句话说，教师可以有效地把知识传授给一定规模的学生，而不是更小的学生。为了缓解这一缺点，我们引入了多步知识蒸馏，它采用了一个中等规模的网络（教师助理），以弥合学生和教师之间的差距。此外，我们还研究了教师助理规模的影响，并将框架扩展到多步蒸馏。在CIFAR-10，100和ImageNet数据集以及CNN和ResNet架构上的理论分析和广泛实验证实了我们所提出的方法的有效性。
2019-12-17 cs.AI cs.LG stat.ML
Dual-Forward Path Teacher Knowledge Distillation: Bridging the Capacity Gap Between Teacher and Student
Xi’an University of Technology（西安理工大学）
针对知识蒸馏中师生能力差距问题，提出双前向路径教师蒸馏（DFPT-KD），通过提示调优使知识兼容学生能力，并进一步微调得到DFPT-KD+，实现最先进准确率。
2025-06-23 cs.LG
Teacher Geometry Shapes Learnability in Teacher-Student Networks
EPFL（洛桑联邦理工学院）；University of Oxford（牛津大学）；RWTH Aachen（亚琛工业大学）
本研究通过分析教师几何对可学习性的影响，发现最大化节点不相似性可提高成功率，并提出调整学习率策略以优化教师-学生网络的训练。
2026-09-10 cs.AI cs.LG cs.NE
Optimizing Teacher-Student Partitioning for Scalable Knowledge Distillation on HPC Systems
Qualcomm AI Research（高通AI研究）
针对知识蒸馏中师生模型不对称性，提出 HPC 感知方法，通过解耦师生划分、避免冗余数据结构并选择最优拆分策略，在 HPC 集群上实现高达 67% 的吞吐量提升。
2026-06-29 cs.AI cs.DC cs.LG
Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits
Yonsei University（延世大学）
本文提出了一种新的基于知识蒸馏的学习方法，以提高卷积神经网络（CNN）的分类性能，而无需预先训练的教师网络，称为出口集成蒸馏。我们的方法利用多出口架构，在传统的CNN中间添加辅助分类器（称为出口），通过它可以获得早期的推理结果。我们的方法的思想是训练网络使用出口的集合作为蒸馏目标，这大大提高了整个网络的分类性能。我们的方法提出了一个新的范式知识蒸馏，不像传统的蒸馏概念，教师只教学生，我们表明，学生也可以帮助其他学生，甚至教师学习得更好。实验结果表明，我们的方法在各种流行的CNN架构（VGG，ResNet，ResNeXt，WideResNet等）上实现了分类性能的显着改善。此外，所提出的方法可以加快学习的收敛速度，提高稳定性。我们的代码将在Github上提供。
2021-04-05 cs.AI cs.CV cs.LG
Student Network Learning via Evolutionary Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Department of Communication Engineering, Shanghai University（上海大学通信工程学院）
知识蒸馏提供了一种通过师生学习进行知识转移的有效方法，现有的蒸馏方法大多采用固定的预训练模型作为教师来监督学生网络的学习。这种方式通常会在学习过程中导致教师和学生网络之间存在很大的能力差距。最近的研究发现，教师与学生之间的能力差距越小，越有利于知识转移。在此基础上，本文提出了一种改进教师知识转移有效性的进化知识蒸馏方法。与固定的预先训练的教师不同，进化教师是在线学习的，并不断传输中间知识来监督学生的网络学习。为了增强中间知识表示和模仿，在相应的教师-学生模块之间引入了几个简单的引导模块。通过这种方式，学生可以同时获得丰富的内部知识并捕捉其成长过程，从而实现有效的学生网络学习。大量的实验清楚地表明，我们的方法的有效性，以及良好的适应性，在低分辨率和少样本的视觉识别场景。
2021-03-23 cs.LG
Student-Informed Teacher Training
University of Zurich（苏黎世大学）
针对特权模仿学习中师生不对称导致学生难以模仿的问题，提出联合训练框架，通过动作差异惩罚项和师生对齐步骤，使教师学习可被学生模仿的行为，并在迷宫导航及四旋翼飞行和操作任务中验证有效性。
2025-02-27 cs.LG cs.RO
PrUE: Distilling Knowledge from Sparse Teacher Networks
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Beijing University of Posts and Telecommunication（北京邮电大学）
尽管深度神经网络在各种任务中取得了显着的成功，但其不断增加的规模也给部署带来了显着的开销。为了压缩这些模型，提出了知识蒸馏，将知识从笨重的（教师）网络转移到轻量级的（学生）网络。然而，教师的指导并不总是提高学生的概括，特别是当学生和教师之间的大小差距很大。以前的作品认为，这是由于教师的高度确定性，导致难以适应的更硬的标签。为了软化这些标签，我们提出了一种修剪方法，称为预测不确定性增强（PrUE），以简化教师。具体来说，我们的方法旨在降低教师对数据的确定性，从而为学生生成软预测。我们通过在CIFAR-10/100、Tiny-ImageNet和ImageNet上的实验，实证研究了所提出方法的有效性。结果表明，稀疏教师训练的学生网络具有更好的性能。此外，我们的方法允许研究人员从更深的网络中提取知识，以进一步提高学生的能力。我们的代码在以下网址公开：\url{https://github.com/wangshaopu/prue}。
2022-07-03 cs.AI cs.CV cs.LG
Teacher-Student Architecture for Knowledge Learning: A Survey
McGill University（麦吉尔大学）；Northwest University（西北大学）
虽然深度神经网络（DNN）在许多领域显示出强大的解决大规模问题的能力，但这种具有大量参数的DNN很难在实时系统中部署。为了解决这个问题，教师-学生架构首先用于知识蒸馏，其中简单的学生网络可以实现与深度教师网络相当的性能。近年来，师生架构已被广泛应用于各种知识学习目标，包括知识蒸馏、知识扩展、知识适应和多任务学习。在师生架构的帮助下，目前的研究能够通过轻量级和有效的学生网络来实现多个知识学习目标。与现有的知识蒸馏调查不同，本调查详细讨论了具有多个知识学习目标的师生架构。此外，我们系统地介绍了知识学习过程中的知识构建和优化过程，然后分析了各种师生架构和有效的学习方案，已被利用来学习代表性和鲁棒性的知识。本文还总结了基于不同目的的师生体系结构的最新应用（即，分类、识别和生成）。最后，从师生结构设计、知识质量和回归学习理论研究三个方面探讨了知识学习的潜在研究方向。通过这项全面的调查，行业从业者和学术界都可以了解有关教师-学生架构的多个知识学习目标的有见地的指导方针。
2022-10-28 cs.CV cs.LG
Residual-as-Teacher: Mitigating Bias Propagation in Student--Teacher Estimation
Massachusetts Institute of Technology（麻省理工学院）
本文提出残差-教师方法，通过估计学生预测的残差来减少教师偏差影响，理论分析显示其优于直接匹配方法，且在核基学生-教师对中达到最优率。
2026-03-26 cs.LG math.ST stat.ML
On student-teacher deviations in distillation: does it pay to disobey?
Google Research（谷歌研究院）
本文通过分析知识蒸馏中学生与教师概率偏差的精确性质，发现偏差源于置信度夸大和梯度下降隐式偏差的放大，并证明这种夸大同时带来更好的泛化，从而解释了学生超越教师的悖论。
2024-03-18 cs.AI cs.LG stat.ML
Decoupled Optimization for Teacher-Student Semi-Supervised Learning via a Pioneer Student
Beijing Jiaotong University（北京交通大学）；Communication University of China（中国传媒大学）
针对半监督学习中教师-学生框架的参数耦合和损失不平衡问题，提出独立参数空间的先锋学生辅助分支，定期回传知识，作为即插即用模块提升主流SSL方法。
2026-10-08 cs.LG
Good Teachers Explain: Explanation-Enhanced Knowledge Distillation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出解释增强的知识蒸馏（e²KD），通过同时优化经典KD损失和师生解释相似性，提升学生模型准确率及与教师的一致性，并确保学习到正确特征，且对架构和数据量鲁棒。
2024-07-21 cs.AI cs.CV cs.LG
DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation
DuoOPD通过师生联合结果指导在线策略蒸馏，根据学生与教师成功情况动态调整反馈方向与权重，在Qwen3和Llama上平均宏精度较OPD提升2.58和5.98个百分点，并优于五个基线。
2026-09-29 cs.LG
Privacy-Preserving Kickstarting Deep Reinforcement Learning with Privacy-Aware Learners
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Florida（佛罗里达大学）
启动深度强化学习算法促进了代理之间的师生关系，并允许表现良好的教师与学生分享演示，以加快学生的培训。然而，尽管已知的好处，演示可能包含有关教师的训练数据和现有的kickstarting方法不采取任何措施来保护它的敏感信息。因此，我们使用的框架差分隐私开发一个机制，安全地共享教师的演示与学生。该机制允许教师根据其消耗的隐私预算来决定其演示的准确性，从而授予教师对其数据隐私的完全控制。然后，我们为学生开发了一个启动的深度强化学习算法，该算法具有隐私意识，因为我们使用教师隐私机制的参数来校准其目标。该算法的隐私意识设计使得它可以启动学生的学习，尽管由隐私机制引起的扰动。从数值实验中，我们突出了三个实证结果：（i）该算法成功地加快了学生的学习，（ii）学生收敛到一个性能水平，这是不可能没有示范，和（iii）学生保持其增强的性能，即使在教师停止共享有用的演示，由于其隐私预算的限制。
2021-06-04 cs.AI cs.CR cs.LG
Know Thy Student: Interactive Learning with Gaussian Processes
Stanford University（斯坦福大学）
学习通常涉及多个代理之间的互动。人类师生环境最好地说明了互动如何导致有效的知识传递，教师根据学生的能力构建课程。机器教学的先前工作研究了教师应该如何构建最佳教学数据集，假设教师了解学生的一切。然而，在现实世界中，教师并不掌握学生的全部信息。教师必须在教学之前与学生互动并诊断学生。我们的工作提出了一个简单的诊断算法，使用高斯过程推断学生相关的信息，构建教学数据集之前。我们将其应用于两种设置。一种是学生从头开始学习，老师必须弄清楚学生的学习算法参数，例如。岭回归或支持向量机中的正则化参数。二是学生已经部分探索了环境，教师必须找出学生没有探索的重要区域;我们在离线强化学习设置中研究这一点，教师必须向学生提供演示并避免发送冗余轨迹。我们的实验强调了教学前诊断的重要性，并展示了学生如何在互动教师的帮助下更有效地学习。最后，我们概述了诊断与教学相结合，将比被动学习更可取。
2022-04-26 cs.LG cs.MA
Noisy student-teacher training for robust keyword spotting
Google Inc.（谷歌公司）
我们提出了自训练与嘈杂的学生-教师的方法流关键字发现，可以利用大规模的未标记的数据和积极的数据增强。所提出的方法应用积极的数据增强（光谱增强）的学生和教师的输入，并利用未标记的数据在规模，这显着提高了学生的准确性，对具有挑战性的条件。当与带有硬标记数据的监督训练一起使用时，这种积极的增强通常会降低模型性能。实验表明，积极规范增强基线监督训练方法降低准确性，而提出的自我训练与嘈杂的学生-教师培训提高了一些困难的条件测试集的准确性高达60%。
2021-06-03 cs.LG stat.ML
Student-Teacher Learning from Clean Inputs to Noisy Inputs
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
基于学习的学生-教师学习是一种鼓励学生的隐藏特征模仿教师网络的训练方法，在将知识从预先训练的教师网络转移到学生网络方面取得了经验上的成功。此外，最近的实验结果表明，即使学生的输入样本被噪声破坏，教师的特征也可以提高学生网络的泛化能力。然而，有一个缺乏理论的见解，为什么以及何时这种方法的知识转移可以成功之间的异构任务。我们使用深度线性网络从理论上分析了这种方法，并使用非线性网络进行了实验。我们确定了该方法成功的三个关键因素：（1）学生是否被训练到零训练损失;（2）教师在干净输入问题上的知识水平;（3）教师如何将其知识分解为隐藏特征。这三个因素中的任何一个缺乏适当的控制都会导致师生学习方法的失败。
2021-03-13 cs.CV cs.LG stat.ML
Collaborative Teacher-Student Learning via Multiple Knowledge Transfer
Jiangsu University（江苏大学）；The University of Sydney（悉尼大学）；Monash University（莫纳什大学）
知识蒸馏（KD）作为一种高效的模型压缩技术，在深度学习中受到了广泛的关注。其成功的关键是将知识从大型教师网络转移到小型学生网络。然而，现有的大多数知识蒸馏方法只考虑师生学习中通过特定的蒸馏策略从实例特征或实例关系中学习到的一类知识。很少有作品探讨了在一个统一的框架中，以不同的蒸馏策略转移不同类型的知识的想法。此外，由于固定的师生架构，经常使用的离线蒸馏遭受有限的学习能力。在本文中，我们提出了一个合作的师生学习通过多重知识转移（CTSL-MKT），提示自主学习和合作学习。它允许多个学生以协作的方式从单个实例和实例关系中学习知识。在通过自我升华自我学习的同时，他们还可以通过在线升华相互指导。在四个图像数据集上的实验和消融研究表明，所提出的CTSL-MKT显着优于国家的最先进的KD方法。
2021-01-27 cs.LG
Iterative Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback
MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
提出耦合校准与学习（CCL）算法，通过令牌级分支耦合教师校准与学生更新，仅用源反馈，在理论上证明可消除教师偏差并收敛至最优学生，无需目标域奖励。
2026-10-30 cs.AI cs.LG math.ST
Statistical Mechanics of On-line Learning when a Moving Teacher Goes around an Unlearnable True Teacher
在在线学习的框架中，由于教师和学习机之间的结构或输出功能的差异，学习机可能会在教师周围移动。在本文中，我们分析了一个新的学生监督的运动机器的泛化性能。一个模型组成的一个固定的真正的老师，一个移动的老师，和一个学生理论上使用统计力学，真正的老师是一个非单调的感知器和其他人是简单的感知器。计算的泛化误差的数值，我们表明，泛化误差的学生可以暂时变得小于移动的教师，即使学生只使用移动的教师的例子。然而，学生的泛化误差最终变成与移动教师的泛化误差相同的值。这种行为与线性模型的行为有质的不同。
2006-12-22 cond-mat.dis-nn cs.LG
Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
知识蒸馏的目的是通过从一个大得多的映射函数中学习映射函数来获得一个紧凑而有效的模型。由于学生的能力有限，学生将不适合老师。因此，学生的表现会出乎意料地下降时，从一个超大的教师，称为能力差距问题。我们通过对教师与学生之间的信任差距的研究来探讨这一问题。我们发现，自信的大小不是知识蒸馏的必要条件，如果学生被迫学习自信，可能会损害学生的表现。我们提出了球形知识蒸馏来消除这个差距明确，这缓解了欠拟合问题。我们发现，这种新的知识表示可以改善紧凑的模型与更大的教师，是强大的温度。我们在CIFAR100和ImageNet上进行了实验，并取得了显著的改善。具体来说，我们训练ResNet 18达到73.0的准确度，这比以前的SOTA有了很大的改进，与resnet34相当，几乎是学生人数的两倍。该实现已在https://github.com/forjiuzhou/Spherical-Knowledge-Distillation上共享。
2021-01-12 cs.CV cs.LG
Teacher-Student Competition for Unsupervised Domain Adaptation
Tianjin University（天津大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
现有的无监督领域自适应（UDA）方法主要从共享特征提取器中学习领域不变表示，源域的监督仅在类级进行，存在源偏差问题。提出了一种基于教师-学生竞争的无监督领域自适应方法。特别地，引入学生网络来学习特定于目标的特征空间，并且我们设计了一种新的竞争机制来选择更可信的伪标签用于学生网络的训练。我们引入了一个教师网络与现有的传统UDA方法的结构，教师和学生网络竞争提供目标伪标签，以约束每个目标样本的训练在学生网络。大量的实验表明，我们提出的TSC框架显着优于国家的最先进的领域自适应方法在Office-31和ImageCLEF-DA基准。
2020-10-20 cs.CV cs.LG
Training Self-localization Models for Unseen Unfamiliar Places via Teacher-to-Student Data-Free Knowledge Transfer
University of Fukui（福井大学）
针对开放世界中机器人自定位模型训练数据缺失问题，提出一种教师到学生的无数据知识迁移方案，通过重建伪训练数据集实现持续学习，在递归知识蒸馏中稳定提升性能。
2024-03-13 cs.AI cs.CV cs.LG
Modeling Structured Data Learning with Restricted Boltzmann Machines in the Teacher-Student Setting
Scuola Normale Superiore di Pisa（比萨高等师范学校）；University of Bologna（博洛尼亚大学）；The University of British Columbia（不列颠哥伦比亚大学）
该研究在师生场景下探究学生RBM学习教师RBM生成结构化数据的规律，验证无相关性下的性能猜想，揭示临界数据量、推理温度对学习的影响，并将相关结论推广到任意有限隐藏单元的情况。
2025-05-20 cond-mat.dis-nn cs.LG
Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models
针对视觉语言模型在线策略蒸馏中教师修正与学生能力不匹配的问题，提出FP-OPD方法，在8B到2B的蒸馏中使7个多模态基准平均得分分别提升2.77和1.60个点。
2026-08-07 cs.LG
