Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers
本研究提出迁移分层在线策略蒸馏(TS-OPD),通过按学生与教师联合成功筛选问题并路由至门控前向/反向KL,在数学推理中实现强化学习改进教师对学生模型的结构化迁移,提升宏平均正确率。
2026-10-06 cs.AI cs.LG
Knowledge Distillation under Teacher Misspecification: An Order-Parameter Analysis of the Gap between Teacher Mimicry and Task Performance
Nihon University(日本大学);The Institute of Statistical Mathematics(统计数理研究所)
该研究在极简三方模型中分析教师模型误设定下的知识蒸馏,证明蒸馏误差对失配强度不变但真实误差及对应差距随其递增,警示仅用教师模仿指标评估蒸馏的局限性。
2026-09-01 cs.AI cs.LG
Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization
TikTok(字节跳动);The Pennsylvania State University(宾夕法尼亚州立大学)
该研究针对现有在线策略自蒸馏的训练不稳定、推理性能下降等问题,提出PBSD方法,经实验验证其在数学推理等基准上性能更优且训练稳定。
2026-08-24 cs.AI cs.LG
Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation
Ant Group(蚂蚁集团)
针对在线策略蒸馏中教师监督不可靠的问题,提出自适应续写方法AC-OPD,通过理论分析和实验验证,在数学推理和代码生成任务上持续优于标准方法。
2026-09-22 cs.AI cs.LG
Beyond Policy Discrepancy: Capability-Aware Multi-Teacher On-Policy Distillation
Tsinghua University(清华大学)
提出CA-MOPD方法,通过合并强化学习专家并基于师生能力差距调整监督强度,在六个基准测试中平均得分32.22,优于多种现有方法。
2026-10-22 cs.AI cs.LG
Teacher-Student Architecture for Knowledge Distillation: A Survey
McGill University(麦吉尔大学);Northwest University(西北大学)
本文系统综述了教师-学生架构在知识蒸馏中的多目标应用,涵盖知识压缩、扩展、适应与增强,总结了代表性算法、蒸馏方案及分类、识别、生成等应用,并展望了架构设计、知识质量与回归理论等未来方向。
2023-08-08 cs.AI cs.LG
Curriculum Learning-Guided Progressive Distillation in Large Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Research(谷歌研究)
本文提出CLPD框架,通过结合数据难度与教师强度,改进知识蒸馏方法,实验证明其在推理任务中优于传统方法。
2026-05-11 cs.AI cs.LG
Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress
针对在线策略蒸馏中教师奖励与真实推理进度不匹配的问题,提出R2-OPD方法,通过过滤冲突奖励提升推理性能,实现对标准OPD的改进。
2026-08-21 cs.AI cs.LG
Steering the Teacher: Improving On-Policy Self-Distillation for Thinking Models
Arizona State University(亚利桑那州立大学)
本研究针对思维模型在线策略自蒸馏的参考幻觉与重新考虑抑制问题,提出引导教师 OPSD 方法,通过激活引导优化教师,在 AIME、HMMT 实验中提升准确率并恢复相关指标至基础模型水平。
2026-10-27 cs.AI cs.LG
Trajectory Learnability for Offline On-Policy Distillation with Imperfect Teachers
National University of Singapore(新加坡国立大学)
针对不完美教师监督的离线在线策略蒸馏,提出基于教师成功问题定义可学习性信号并加权损失的方法,无需额外生成,在数学推理和代码生成上提升最多2.7个百分点,且计算成本更低。
2026-10-23 cs.AI cs.LG
Consistently Informative Soft-Label Temperature for Knowledge Distillation
Rochester Institute of Technology(罗切斯特理工学院);Oakland University(奥克兰大学)
本文提出CIST方法,通过为教师和学生分配样本级自适应温度,解决传统固定温度设计中教师软标签熵不一致和教师-学生logit尺度对齐过严的问题,从而提升知识蒸馏效果。
2026-05-19 cs.AI cs.LG
From Teacher to Student: Tracking Memorization Through Model Distillation
Indian Institute of Technology, Roorkee(印度理工学院拉胡尔学院)
本文研究知识蒸馏对模型记忆的影响,发现将微调后的大型教师模型蒸馏为较小模型,可在降低计算成本的同时显著减少训练数据记忆风险。
2025-08-15 cs.AI cs.LG
Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Nagoya University(名古屋大学);RIKEN AIP(理化学研究所人工智能项目)
该研究剖析同策略自蒸馏(OPSD)的性能来源,提出 OP²SD 方法,实验显示其优于基础模型、与 OPSD 相当,表明教师的上下文诱导行为是 OPSD 性能提升的重要因素。
2026-08-11 cs.AI cs.LG
No Pain, More Gain: Iterative Merging for Effective Multi-Teacher On-Policy Distillation
KAIST AI(韩国科学技术院人工智能学院);Kakao(Kakao公司)
针对多教师在线蒸馏中初始化影响恢复的问题,提出迭代合并方法,从均匀合并逐步添加任务向量,在5领域设置中实现更高平均归一化恢复。
2026-09-29 cs.AI cs.LG
Teaching the Teacher: The Role of Teacher-Student Smoothness Alignment in Genetic Programming-based Symbolic Distillation
Indian Institute of Technology Kharagpur(印度理工学院卡里格普尔分校);National University of Singapore(新加坡国立大学)
本文研究了教师-学生平滑对齐在基于遗传编程的符号蒸馏中的作用,通过引入雅可比和利普希茨惩罚项正则化教师函数的平滑性,提升学生模型的预测精度。
2026-04-14 cs.AI cs.LG
Linear Projections of Teacher Embeddings for Few-Class Distillation
MIT(麻省理工学院);Google Research(谷歌研究院);University of Michigan(密歇根大学)
针对知识蒸馏在二分类和少类别NLP任务中效果不佳的问题,本文提出LELP方法,通过识别教师嵌入空间的线性子空间并构造伪子类来训练学生,实验显示其性能稳定优于现有蒸馏算法。
2024-10-02 cs.AI cs.LG
Teacher-Guided Policy Optimization for On-Policy Reasoning Distillation under Large Policy Divergence
School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院);Tsinghua University(清华大学);Meituan(美团);Meta AI;NiuTrans Research, Shenyang, China(新译研究院,沈阳,中国)
针对在线蒸馏中教师与学生策略差异大时反向KL监督失效的问题,提出教师引导策略优化(TGPO),通过教师直接指导学生上下文的token级生成并结合RLVR奖励,在推理基准上优于现有方法。
2026-11-10 cs.AI cs.LG
Learn from Whoever Is Right: Answer-Verified Multi-Teacher Distillation for Multi-Domain LLMs
National University of Defense Technology(国防科技大学);Zhejiang University(浙江大学);Intelligent Game and Decision Lab(智能游戏与决策实验室)
本文提出MT-SDPO方法,通过答案验证识别可靠教师而非依赖领域,将多教师蒸馏统一为单模型,提升了Qwen3-8B的领域性能并缩小了差距。
2026-09-03 cs.AI cs.LG
Wisdom of Committee: Diverse Distillation from Large Foundation Models and Domain Experts
Rice University(Rice大学);Google DeepMind(谷歌DeepMind);Google Inc(谷歌公司);University of California, Davis(加州大学戴维斯分校)
针对基础模型向紧凑领域模型蒸馏时能力、架构和模态差异大的问题,提出DiverseDistill框架,通过可学习的问答机制和对齐异构教师输出,在推荐和视觉任务上恢复73-114%的性能差距。
2026-06-19 cs.AI cs.LG
Composing What Each Teacher Learned: Delta Distillation for Multi-Teacher On-Policy Learning
Iowa State University(爱荷华州立大学);LinkedIn(领英);Harvard University(哈佛大学)
提出Δ-MOPD,通过转移教师相对基础模型的偏移并重新锚定到学生初始化,改善多教师在线策略蒸馏,在组合和路由设置中提升性能并减少顺序偏差。
2026-10-21 cs.AI cs.LG
AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition
研究针对设备端语音情感识别中大型模型成本高的问题,提出自适应多教师关系蒸馏方法。通过单类支持向量机分配教师权重,用关系蒸馏损失捕捉结构,在多数据集和学生架构上优于单教师蒸馏,两组件互补增益。
2026-07-29 cs.LG
Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits
Yonsei University(延世大学)
本文提出了一种新的基于知识蒸馏的学习方法,以提高卷积神经网络(CNN)的分类性能,而无需预先训练的教师网络,称为出口集成蒸馏。我们的方法利用多出口架构,在传统的CNN中间添加辅助分类器(称为出口),通过它可以获得早期的推理结果。我们的方法的思想是训练网络使用出口的集合作为蒸馏目标,这大大提高了整个网络的分类性能。我们的方法提出了一个新的范式知识蒸馏,不像传统的蒸馏概念,教师只教学生,我们表明,学生也可以帮助其他学生,甚至教师学习得更好。实验结果表明,我们的方法在各种流行的CNN架构(VGG,ResNet,ResNeXt,WideResNet等)上实现了分类性能的显着改善。此外,所提出的方法可以加快学习的收敛速度,提高稳定性。我们的代码将在Github上提供。
2021-04-05 cs.AI cs.CV cs.LG
Improved Knowledge Distillation via Teacher Assistant
Washington State University(华盛顿州立大学);DeepMind(深度思维);D.E. Shaw(德劭集团)
尽管深度神经网络是功能强大的模型,并且在许多任务上都取得了令人瞩目的结果,但它们太大了,无法部署在智能手机或嵌入式传感器节点等边缘设备上。人们一直在努力压缩这些网络,一种流行的方法是知识蒸馏,其中使用一个大型(教师)预训练网络来训练一个较小的(学生)网络。然而,在本文中,我们表明,学生网络的性能下降时,学生和教师之间的差距很大。在一个固定的学生网络中,教师的人数是不可以任意增加的,换句话说,教师可以有效地把知识传授给一定规模的学生,而不是更小的学生。为了缓解这一缺点,我们引入了多步知识蒸馏,它采用了一个中等规模的网络(教师助理),以弥合学生和教师之间的差距。此外,我们还研究了教师助理规模的影响,并将框架扩展到多步蒸馏。在CIFAR-10,100和ImageNet数据集以及CNN和ResNet架构上的理论分析和广泛实验证实了我们所提出的方法的有效性。
2019-12-17 cs.AI cs.LG stat.ML
When to Follow the Teacher: Advantage-Based On-Policy Distillation
University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学)
该研究提出AOPD方法,通过优势加权教师动作优化在线策略蒸馏,在数学、编码等任务中较基线取得性能提升。
2026-10-23 cs.AI cs.LG stat.ML
Learning Student-Friendly Teacher Networks for Knowledge Distillation
DIT Center, Samsung Electronics(三星电子DIT中心);ECE & ASRI, Seoul National University(首尔大学电子与计算机工程系及自动化与系统研究所)
我们提出了一种新的知识蒸馏方法,以促进暗知识从教师到学生的转移。与大多数依赖于预先培训的教师对学生模型进行有效培训的现有方法相反,我们的目标是学习对学生友好的教师模型,从而更适合知识转移。换句话说,在优化教师模型的同时,该算法联合学习学生分支以获得学生友好的表示。由于我们的方法的主要目标在于训练教师模型和随后的知识蒸馏过程是简单的,大多数现有的知识蒸馏方法可以采用这种技术,以提高不同的学生模型的准确性和收敛速度方面的性能。该算法在几个著名的知识蒸馏技术与教师和学生模型的各种组合的情况下,即使在他们的架构是异构的,没有先验知识的学生模型在培训教师网络的时候,表现出突出的准确性。
2022-01-23 cs.LG
Teacher's pet: understanding and mitigating biases in distillation
Google Research(谷歌研究院)
知识蒸馏被广泛地用作使用来自复杂教师模型的预测来改进相对简单的学生模型的性能的手段。一些作品表明,蒸馏显着提高学生的整体表现,但是,这些收益均匀所有数据分组?在本文中,我们证明了蒸馏可以损害某些子群的性能,例如,类与一些相关的样本。我们将这种行为追溯到教师分布转移到学生模型并被学生模型放大所产生的错误。为了缓解这个问题,我们提出了技术,软化教师的影响,它是不太可靠的子群。在多个图像分类基准上的实验表明,这些改进的蒸馏保持了整体准确性的提高,同时还确保了子组性能的提高。
2021-07-08 cs.LG
Strong Teacher Not Needed? On Distillation in LLM Pretraining
Princeton University(普林斯顿大学)
本文通过构造不同强弱关系的师生模型,研究大语言模型预训练中知识蒸馏的有效性,发现弱教师也能提升学生模型,且强教师不一定更好。
2026-10-28 cs.CL cs.LG
Multi-Level Feature Distillation of Joint Teachers Trained on Distinct Image Datasets
University of Bucharest(布加勒斯特大学)
本研究提出一种多级特征蒸馏师生框架,通过融合多数据集训练的不同教师模型的多层级特征并微调,再将知识蒸馏到对应学生模型,在图像分类和动作识别基准上性能优于单数据集及联合训练的等效架构。
2024-10-29 cs.AI cs.CV cs.LG
Reliable Adversarial Distillation with Unreliable Teachers
Hong Kong Baptist University(香港浸会大学);Alibaba Group(阿里巴巴集团);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Sydney(悉尼大学)
在普通的蒸馏中,学生网络是用预先训练好的教师网络给出的软标签(SL)训练的,学生被期望在教师身上有所改进,因为SL比原来的硬标签有更强的监督。然而,在考虑对抗鲁棒性时,教师可能变得不可靠,对抗蒸馏可能无法工作:教师在自己的对抗数据上进行了预先训练,要求教师也擅长学生查询的每个对抗数据过于苛刻。因此,在本文中,我们提出了可靠的内省对抗蒸馏(IAD),学生部分而不是完全信任他们的老师。具体来说,IAD区分了三种情况:(a)如果教师擅长AD,则其SL是完全信任的;(b)如果教师擅长ND但不擅长AD,则其SL是部分信任的,并且学生也考虑了自己的SL;(c)否则,学生只依赖于自己的SL。实验证明了IAD在提高教师对抗鲁棒性方面的有效性。
2022-03-10 cs.LG
Merge-of-Thought Distillation
Zhejiang University(浙江大学);Inclusion AI, Ant Group(蚂蚁集团 inclusion AI)
提出思维合并蒸馏(MoT),通过交替进行教师特定微调与权重合并,将多教师推理能力统一至学生模型,在竞赛数学上超越强模型并提升通用推理。
2025-10-16 cs.AI cs.CL cs.LG
Teacher as a Lenient Expert: Teacher-Agnostic Data-Free Knowledge Distillation
Inha University(仁荷大学)
本文针对无数据知识蒸馏对教师模型敏感、易出现灾难性失败的问题,提出教师无关的 TA-DFKD 方法,将教师视为宽容专家并通过选择性接纳干净样本提升蒸馏的鲁棒性与稳定性。
2024-02-18 cs.AI cs.CV cs.LG
Knowledge Distillation in Wide Neural Networks: Risk Bound, Data Efficiency and Imperfect Teacher
Peking University(北京大学);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Center for Data Science, Peking University(北京大学数据科学中心)
本文基于神经切线核的线性化近似,对宽神经网络知识蒸馏开展理论分析,给出迁移风险界与数据低效性指标,揭示完美/不完美教师场景下软、硬标签的作用机制,为相关实践提供理论支撑。
2020-10-20 cs.AI cs.LG stat.ML
On the Off-Policy Teacher in On-Policy Distillation
Washington University in St. Louis(圣路易斯华盛顿大学);AWS AI Labs(AWS AI 实验室);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
针对在线策略蒸馏中教师面对学生生成前缀时续写性能下降的问题,提出SCOUT协同训练框架,通过可验证奖励的强化学习适配教师,提升蒸馏效果。
2026-10-01 cs.AI cs.CL cs.LG
Multi-Teacher Knowledge Distillation via Teacher-Informed Mixture Priors
Department of Statistics, University of Georgia(佐治亚大学统计系);Department of Statistics, Harvard University(哈佛大学统计系)
提出多教师贝叶斯知识蒸馏(MT-BKD)框架,利用贝叶斯推断和教师引导的先验分布,结合熵加权机制,实现多教师知识的高效融合与不确定性量化。
2026-05-27 cs.AI cs.LG stat.ME
How to Backdoor Image Knowledge Distillation
The Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
本文提出了一种通过污染知识蒸馏数据集来攻击学员模型的新方法,揭示了知识蒸馏过程中的安全漏洞。
2026-11-06 cs.AI cs.CR cs.LG
Structural Knowledge Distillation: Tractably Distilling Information for Structured Predictor
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
知识蒸馏是在模型之间传递知识的关键技术,通常是从大型模型(教师)到更细粒度的模型(学生)。知识蒸馏的目标函数通常是教师和学生的输出分布之间的交叉熵。然而,对于结构化预测问题,输出空间的大小是指数级的;因此,交叉熵目标变得难以直接计算和优化。在本文中,我们推导出结构化预测的知识蒸馏目标的因式分解形式,这是易于处理的教师和学生模型的许多典型的选择。特别地,我们在四种不同的情况下,展示了序列标记和依存句法分析模型之间的结构知识蒸馏的易处理性和经验有效性:1)教师和学生共享输出结构评分函数的相同分解形式; 2)学生分解比教师分解产生更多的细粒度子结构; 3)教师分解比学生分解产生更多的细粒度子结构; 4)教师和学生的分解形式是不相容的。
2021-06-02 cs.AI cs.CL cs.LG
The Role of Teacher Calibration in Knowledge Distillation
Department of Intelligence and Information, Seoul National University(智能与信息系,首尔国立大学)
本文揭示教师模型校准误差与学生准确率强相关,提出通过降低教师校准误差即可提升知识蒸馏性能,且该方法通用并可与现有方法集成。
2025-08-27 cs.AI cs.CV cs.LG
LoOPSD: On-Policy Self-Distillation with Looped Teachers
Anhui Province Key Laboratory of Digital Security(安徽省数字安全重点实验室);Token Foundry, Alibaba Group(阿里巴巴集团 Token Foundry)
本文提出LoOPSD,通过搜索模型层执行顺序构建教师模型并交替搜索与蒸馏,在GSM8K等任务上提升了Qwen3-1.7B等模型的推理准确率,为自蒸馏开辟了新方向。
2026-10-14 cs.AI cs.CL cs.LG
MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings
Dalian University of Technology(大连理工大学);Macquarie University(麦考瑞大学)
基于知识图谱嵌入的链接预测技术旨在预测新的三元组以自动构建知识图谱。然而,最近的KGE模型通过过度增加嵌入维数来实现性能改进,这可能会导致巨大的训练成本并需要更多的存储空间。在本文中,而不是训练高维模型,我们提出了MulDE,一种新的知识蒸馏框架,其中包括多个低维双曲KGE模型作为教师和两个学生组件,即初中和高中。在一种新的迭代蒸馏策略下,低维KGE模型Junior组件根据其初步预测结果主动询问教师,Senior组件基于关系特定缩放和对比注意两种机制自适应地整合教师知识对Junior组件进行训练.实验结果表明,MulDE能有效提高低维KGE模型的性能和训练速度。与几个广泛使用的数据集上的最先进的高维方法相比,蒸馏的32维模型具有竞争力。
2021-04-01 cs.AI cs.CL cs.LG
Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective
The University of Tokyo(东京大学);CyberAgent
本文从实用角度重新审视链式思维蒸馏中的容量差距问题,提出更现实的评估协议,发现容量差距影响并非在所有任务和设置中主导,尤其当候选教师性能差异显著时,为选择合适的教师-学生对提供实践指导。
2026-09-30 cs.AI cs.CL cs.LG
Multi-Teacher Ensemble Distillation: A Mathematical Framework for Probability-Domain Knowledge Aggregation
Sparse-Tech
本文提出了一种概率域知识聚合的数学框架,通过公理化方法定义了多教师集成蒸馏的核心原理,并提供了理论保障和多种实现策略。
2026-01-14 cs.LG
Improving Knowledge Distillation with Teacher's Explanation
University of Toronto(多伦多大学);TELUS Communications(研科通信)
针对知识蒸馏仅传递教师预测、知识受限的问题,提出KED框架,让学生同时学习教师预测与超特征解释,并在多数据集上显著优于同复杂度KD学生。
2023-10-04 cs.LG
Channel Distillation: Channel-Wise Attention for Knowledge Distillation
University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学)
知识蒸馏是将教师网络学到的数据中的知识转移到学生网络中,使学生具有参数少、计算量少的优势,准确度接近教师。本文提出了一种新的蒸馏方法,它包含两种转移蒸馏策略和一种损失衰减策略。第一种传输策略是基于通道注意力的,称为通道蒸馏(CD)。CD将频道信息从教师传输到学生。二是引导式知识蒸馏(GKD)。与知识蒸馏(KD)不同,它允许学生模仿教师的每个样本的预测分布,GKD只允许学生模仿教师的正确输出。早期衰退教师(Early Decay Teacher,EDT)在训练过程中,我们逐渐衰减蒸馏损失的重量。目的是让学生而不是老师逐渐控制优化。我们提出的方法在ImageNet和CIFAR 100上进行了评估。在ImageNet上,我们使用ResNet 18实现了27.68%的top-1错误,优于最先进的方法。在CIFAR 100上,我们取得了令人惊讶的结果,学生优于教师。代码可在https://github.com/zhouzaida/channel-distillation上获得。
2020-06-02 cs.LG stat.ML
Distillation Scaling Laws
Apple(苹果公司);University of Oxford, UK(牛津大学)
本文提出蒸馏缩放定律,依据计算预算及师生模型分配预测蒸馏性能,并给出教师已存在和需训练两类场景下的计算最优方案。
2025-07-25 cs.AI cs.CL cs.LG
FEED: Feature-level Ensemble for Knowledge Distillation
Graduate School of Convergence Science and Technology(融合科学与技术研究生院);Seoul National University(首尔国立大学)
知识蒸馏(KD)的目的是在教师-学生框架中传递知识,在训练阶段将教师网络的预测提供给学生网络,帮助学生网络更好地泛化。它可以使用具有高容量的教师或多个教师的集合。然而,后者是不方便的,当人们想要使用基于特征图的蒸馏方法。针对这一问题,提出了一种功能强大的特征级集成知识蒸馏(FEED)训练算法,该算法利用多个教师网络进行集成知识的传递。我们介绍了几个训练算法,将集成知识传递给特征图级别的学生。在基于特征图的蒸馏方法中,并行使用几个非线性变换来传递多个教师的知识有助于学生找到更一般化的解决方案。在CIFAR-100和ImageNet上的实验结果表明,该方法在测试时没有引入任何额外的参数或计算,具有明显的性能增强。我们还显示了实验结果,顺序喂养教师的信息给学生,因此名称顺序FEED,并讨论所获得的教训。此外,在特征图上测量重建误差的经验结果为增强提供了提示。
2019-09-24 cs.AI cs.CV cs.LG
Dual-Forward Path Teacher Knowledge Distillation: Bridging the Capacity Gap Between Teacher and Student
Xi’an University of Technology(西安理工大学)
针对知识蒸馏中师生能力差距问题,提出双前向路径教师蒸馏(DFPT-KD),通过提示调优使知识兼容学生能力,并进一步微调得到DFPT-KD+,实现最先进准确率。
2025-06-23 cs.LG
Distilling Knowledge via Intermediate Classifiers
Ontario Tech University(安大略理工大学)
知识蒸馏的关键是在预先训练好的大规模教师模型的指导下,有效地训练资源有限的学生模型。然而,当教师和学生的模型复杂度之间存在较大差异时(即,能力差距),知识蒸馏失去了将知识从教师转移到学生的力量,从而培养出一个较弱的学生。为了减轻能力差距的影响,我们通过中间头引入知识蒸馏。通过用分类器头扩展教师的中间层(在不同的深度),我们廉价地获得了一批异构的预先训练的教师。中间分类器头可以一起有效地学习,同时冻结预先训练的教师的骨干。教师(包括原来的教师)的队列共同教学生同时进行。我们在不同师生对和数据集上的实验表明,该方法优于规范的知识蒸馏方法及其扩展。
2021-05-31 cs.AI cs.CV cs.LG
Distillation as Probability Transport: Routed On-Policy Distillation
Tencent(腾讯)
针对在线策略蒸馏中教师知识分配不明确的问题,提出RouteOPD方法,通过概率输运显式建模师生分歧,在多个基准上优于现有方法。
2026-09-09 cs.CL cs.LG
Optimizing Teacher-Student Partitioning for Scalable Knowledge Distillation on HPC Systems
Qualcomm AI Research(高通AI研究)
针对知识蒸馏中师生模型不对称性,提出 HPC 感知方法,通过解耦师生划分、避免冗余数据结构并选择最优拆分策略,在 HPC 集群上实现高达 67% 的吞吐量提升。
2026-06-29 cs.AI cs.DC cs.LG
A Survey on Recent Teacher-student Learning Studies
Northwestern Polytechnic University(西北工业大学)
本文综述了知识蒸馏及其变体(助教蒸馏、课程蒸馏、掩码蒸馏和解耦蒸馏),这些方法通过引入额外组件或改变学习过程来提升模型性能。
2023-04-10 cs.LG stat.ML
Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation
Megvii(旷视科技)
知识蒸馏通常将知识从预先训练的笨重的教师网络转移到紧凑的学生网络,这遵循经典的教师-教学-学生范式。基于这种范例,以前的方法主要集中在如何有效地训练更好的学生网络进行部署。不同于现有的实践,在本文中,我们提出了一种新的学生帮助教师公式,教师进化通过自我知识蒸馏(TESKD),其中目标教师(部署)是学习与多层次的学生通过共享结构骨干的帮助。来自多个学生的不同反馈允许教师通过共享的特征表示来改进自己。我们提出的框架的有效性通过在两个标准基准测试(包括CIFAR-100和ImageNet)上使用各种网络设置进行的广泛实验来证明。值得注意的是,当与我们提出的方法一起训练时,ResNet-18在CIFAR-100和ImageNet上实现了79.15%和71.14%的准确率,分别比基线结果高出4.74%和1.43%。该代码可从以下网址获取:https://github.com/zhengli427/TESKD。
2021-10-13 cs.CV cs.LG
Adaptive Weighting in Knowledge Distillation: An Axiomatic Framework for Multi-Scale Teacher Ensemble Optimization
本文提出了一种多尺度教师集合优化的公理框架,用于自适应加权的知识蒸馏,通过公理化方法解决多尺度下的鲁棒性、效率和安全性问题。
2026-01-25 cs.LG
When Less Data Favors Smaller Teachers: Rethinking Teacher Capacity and Data Selection for Knowledge Distillation
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
本文研究知识蒸馏中数据剪枝下教师容量与数据预算的关系,提出DVA方法,利用小教师进行难度过滤和关系容量最大化,无需训练动态即可优于免训练基线。
2026-09-29 cs.LG
Reinforced Multi-Teacher Selection for Knowledge Distillation
Microsoft STCA(微软STCA)
在自然语言处理(NLP)任务中,推理速度慢和GPU占用量大仍然是在生产中应用预训练深度模型的瓶颈。作为一种流行的模型压缩方法,知识蒸馏将知识从一个或多个大的(教师)模型转移到一个小的(学生)模型。当多个教师模型在蒸馏中可用时,最先进的方法在整个蒸馏中为教师模型分配固定的权重。此外,大多数现有方法为每个教师模型分配相等的权重。在本文中,我们观察到,由于训练样本的复杂性和学生模型能力的差异,从教师模型的差异学习可以导致更好的性能的学生模型提取。我们系统地开发了一种增强的方法来动态分配权重的教师模型为不同的训练实例,并优化学生模型的性能。我们在几个NLP任务上的大量实验结果清楚地验证了我们方法的可行性和有效性。
2020-12-14 cs.CL cs.LG