Towards Oracle Knowledge Distillation with Neural Architecture Search
Seoul National University（首尔国立大学）；POSTECH（浦项科技大学）
我们提出了一个新的框架，知识蒸馏，是能够学习强大而有效的学生模型，从合奏教师网络。我们的方法解决了教师和学生之间固有的模型能力问题，旨在通过减少他们的能力差距，最大限度地提高教师模型在蒸馏过程中的利益。具体来说，我们采用了神经架构搜索技术，以增加有用的结构和操作，搜索网络是适当的知识蒸馏对学生模型和自由的牺牲其性能通过固定的网络容量。我们还引入了一个甲骨文知识蒸馏损失，以方便模型搜索和蒸馏使用基于集成的教师模型，其中学生网络学习模仿甲骨文性能的教师。我们使用各种网络对图像分类数据集--CIFAR-100和TinyImageNet--进行了广泛的实验。我们还表明，搜索一个新的学生模型是有效的准确性和内存大小，搜索的模型往往优于他们的教师模型由于神经架构搜索与甲骨文知识蒸馏。
2019-11-29 cs.LG stat.ML
Exploring Dark Knowledge under Various Teacher Capacities and Addressing Capacity Mismatch
School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学）；National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学）
本文研究知识蒸馏中不同容量教师的暗知识差异，发现大教师对错误类别的区分度较低是导致容量不匹配的关键原因，并提出多种简单有效的方法解决该问题，取得优于以往方法的实验结果。
2025-06-06 cs.LG
Information-Theoretic Criteria for Knowledge Distillation in Multimodal Learning
Scuola Internazionale Superiore di Studi Avanzati (SISSA)（国际先进研究高等学院）；École Polytechnique Fédérale de Lausanne (EPFL)（日内瓦联邦理工学院）
本文提出跨模态互补性假设（CCH），用互信息比较判断知识蒸馏有效性，并在高斯模型及多模态数据上验证，为选择教师模态提供理论指导。
2025-10-15 cs.LG
Improved Knowledge Distillation via Teacher Assistant
Washington State University（华盛顿州立大学）；DeepMind（深度思维）；D.E. Shaw（德劭集团）
尽管深度神经网络是功能强大的模型，并且在许多任务上都取得了令人瞩目的结果，但它们太大了，无法部署在智能手机或嵌入式传感器节点等边缘设备上。人们一直在努力压缩这些网络，一种流行的方法是知识蒸馏，其中使用一个大型（教师）预训练网络来训练一个较小的（学生）网络。然而，在本文中，我们表明，学生网络的性能下降时，学生和教师之间的差距很大。在一个固定的学生网络中，教师的人数是不可以任意增加的，换句话说，教师可以有效地把知识传授给一定规模的学生，而不是更小的学生。为了缓解这一缺点，我们引入了多步知识蒸馏，它采用了一个中等规模的网络（教师助理），以弥合学生和教师之间的差距。此外，我们还研究了教师助理规模的影响，并将框架扩展到多步蒸馏。在CIFAR-10，100和ImageNet数据集以及CNN和ResNet架构上的理论分析和广泛实验证实了我们所提出的方法的有效性。
2019-12-17 cs.AI cs.LG stat.ML
Time Series Data Augmentation for Neural Networks by Time Warping with a Discriminative Teacher
Kyushu Univeristy（九州大学）
神经网络已经成为模式识别中的强大工具，其成功的部分原因是使用大型数据集的泛化。然而，与其他领域不同，时间序列分类数据集通常很小。为了解决这个问题，我们提出了一种新的时间序列数据增强称为引导翘曲。虽然许多数据增强方法基于随机变换，但引导扭曲利用动态时间扭曲（DTW）和shapeDTW（一种基于形状描述符的高级DTW方法）的元素对齐特性来确定性地扭曲样本模式。以这种方式，通过扭曲样本模式的特征以匹配参考模式的时间步长来混合时间序列。此外，我们还引入了一个判别教师，以作为指导翘曲的直接参考。我们使用深度卷积神经网络（CNN）和递归神经网络（RNN）对2015年UCR时间序列档案中的所有85个数据集进行了评估。可以在https://github.com/uchidalab/time_series_augmentation上找到易于使用的实现代码。
2020-04-19 cs.LG stat.ML
Trust Functions: Near-Lossless Weak-to-Strong Generalization by Learning When to Trust the Weak Teacher
University of Washington（华盛顿大学）
提出信任函数为弱标签分配信任分数并据此过滤弱监督，在多个领域实现近乎无损的弱到强泛化，且能通过迭代链放大收益。
2026-05-31 cs.CL cs.LG
Every Node Counts: Self-Ensembling Graph Convolutional Networks for Semi-Supervised Learning
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）
图卷积网络（GCN）为基于图的半监督任务提供了一种强有力的手段。然而，作为谱图卷积的局部一阶近似，经典的GCN不能充分利用未标记数据，特别是当未标记节点远离标记节点时。为了利用来自未标记节点的信息来促进GCN的训练，我们提出了一个名为Self-Ensembling GCN（SEGCN）的新框架，该框架将GCN与Mean Teacher -半监督学习中的另一个强大模型-结合在一起。SEGCN包含一个学生模型和一个教师模型。作为一名学生，它不仅学会正确地对标记的节点进行分类，而且在更具有挑战性的情况下，如高辍学率和图崩溃，它还试图在未标记的节点上与老师保持一致。作为教师，它会对学生模型权重进行平均，并生成更准确的预测来引导学生。在这种相互促进的过程中，标记和未标记的样本都可以充分利用反向传播的有效梯度训练GCN。在三个文章分类任务，即Citeseer，Cora和Pubmed中，我们验证了所提出的方法在分类精度上与最新技术相匹配。
2018-09-26 cs.AI cs.LG stat.ML
OrthKD: Extracting Generalized Clinical Knowledge from Heterogeneous Teachers for Lightweight Deployment
Tongji University（同济大学）
研究针对初级护理中糖尿病视网膜病变筛查模型的部署问题，提出OrthKD框架，从异构教师中选择性蒸馏知识，在资源受限设备上实现实用筛查，提升模型性能，如MobileNetV3学生模型在相关数据集上取得更好的指标。
2026-07-29 cs.CV cs.LG
Does Weak-to-strong Generalization Happen under Spurious Correlations?
本文研究了在存在伪相关性的情况下，通过强预训练学生在下游任务中使用伪标签进行弱到强泛化是否发生，并提出改进方法。
2026-03-19 cs.LG stat.ML
Multi-Teacher Knowledge Distillation via Teacher-Informed Mixture Priors
Department of Statistics, University of Georgia（佐治亚大学统计系）；Department of Statistics, Harvard University（哈佛大学统计系）
提出多教师贝叶斯知识蒸馏（MT-BKD）框架，利用贝叶斯推断和教师引导的先验分布，结合熵加权机制，实现多教师知识的高效融合与不确定性量化。
2026-05-27 cs.AI cs.LG stat.ME
Improving Knowledge Distillation with Teacher's Explanation
University of Toronto（多伦多大学）；TELUS Communications（研科通信）
针对知识蒸馏仅传递教师预测、知识受限的问题，提出KED框架，让学生同时学习教师预测与超特征解释，并在多数据集上显著优于同复杂度KD学生。
2023-10-04 cs.LG
Weak-to-Strong Generalization is Nearly Inevitable (in Linear Models)
University of Washington（华盛顿大学）
研究显示在线性逻辑回归中，在轻微的数据分布假设下，弱到强泛化现象几乎不可避免，挑战了传统理论中关于模型容量不匹配是关键机制的观点。
2026-05-07 cs.LG
Automated Graph Self-supervised Learning via Multi-teacher Knowledge Distillation
Westlake University（西湖大学）
图上的自监督学习在图表示学习中取得了显著的成功。在过去的几年里，随着数百个自我监督的借口任务的提出，研究界已经有了很大的发展，关键不再是设计更强大但复杂的借口任务，而是更有效地利用现有的借口任务。本文研究了如何从给定的任务池中自动、自适应、动态地学习每个节点的实例级自监督学习策略的问题。本文提出了一种新的多教师知识蒸馏框架，用于自动图自监督学习（AGSSL），该框架包括两个主要分支：（i）知识提取：用不同的托辞任务训练多个教师，从而提取具有不同归纳偏差的不同层次的知识;（ii）知识整合：整合不同层次的知识并将其提取到学生模型中。我们没有简单地把不同的教师同等重要，而是为如何整合不同教师的知识提供了一个可证明的理论指导，即，综合教师概率应接近真实的贝叶斯类概率。为了在实践中接近理论最优，本文提出了两种适应性知识整合策略，以构建一个相对“好”的整合型教师。在8个数据集上进行的大量实验表明，AGSSL可以从多个借口任务中受益，优于相应的单个任务;通过组合一些简单但经典的借口任务，所产生的性能与其他领先的同行相当。
2022-10-05 cs.LG
Revisiting Knowledge Distillation via Label Smoothing Regularization
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
知识蒸馏（KD）旨在将繁琐的教师模型中的知识蒸馏成轻量级的学生模型。它的成功通常归因于教师模型提供的类别之间相似性的特权信息，从这个意义上说，只有强大的教师模型才能在实践中教授较弱的学生。在这项工作中，我们通过以下实验观察来挑战这种普遍的信念：1）除了承认教师可以提高学生之外，学生也可以通过逆转KD程序来显着提高教师; 2）一个训练不足的教师，准确性比学生低得多，仍然可以显着提高后者。为了解释这些观察结果，我们提供了KD和标签平滑正则化之间的关系的理论分析。我们证明了1）KD是一种学习的标签平滑正则化，2）标签平滑正则化为KD提供了一个虚拟的教师模型。从这些结果中，我们认为KD的成功并不完全是由于教师的类别之间的相似性信息，但也要正则化的软目标，这是同样重要，甚至更重要。基于这些分析，我们进一步提出了一种新的无教师知识蒸馏（Tf-KD）框架，其中学生模型从自身或手动设计的正则化分布中学习。Tf-KD实现了与来自优秀教师的正常KD相当的性能，这在更强的教师模型不可用时很好地应用。同时，Tf-KD是通用的，可以直接用于训练深度神经网络。在没有任何额外计算成本的情况下，Tf-KD在ImageNet上实现了0.65%的改进，优于标签平滑正则化。
2021-03-04 cs.CV cs.LG
Weak-to-Strong Generalization via Bregman Bias-Variance Decomposition
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
本研究通过Bregman偏差-方差分解理论揭示弱到强泛化的产生机制，给出平方、交叉熵损失下的收敛条件，实验验证反向交叉熵可提升学生模型性能。
2026-08-20 cs.LG
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
KAIST AI（韩国科学技术院人工智能学院）；Microsoft（微软公司）；University of Toronto（多伦多大学）；Mila（米拉计算科学研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（加拿大高级研究院人工智能主席项目机构）
提出在策略反向蒸馏（OPRD），通过评估教师策略偏移并放大验证器驱动的梯度分量，在弱到强泛化中加速学生优化并超越教师，且适用于多教师和强到弱蒸馏场景。
2026-10-20 cs.CL cs.LG
Asymmetric Temperature Scaling Makes Larger Networks Teach Well Again
Nanjing University（南京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
知识蒸馏（KD）旨在将性能良好的神经网络（{ \it教师}）的知识转移到较弱的神经网络（{ \it学生}）。一个奇怪的现象是，更精确的模型不一定教得更好，温度调节也不能缓解不匹配的容量。为了解释这一点，我们将KD的功效分解为三个部分：{ \it正确指导}、{ \it平滑正则化}和{ \it类区分度}。最后一项描述教师在KD中提供的{ \it错误类概率}的区别。复杂的教师往往过于自信，传统的温度缩放限制了{ \it类区分度}的功效，导致区分错误类的概率较低。因此，我们提出了{ \it非对称温度缩放（ATS）}，其分别将较高/较低的温度应用于正确/错误的类。ATS扩大了教师标签中错误类概率的方差，使学生尽可能有区别地把握错误类与目标类的绝对接近度。理论分析和大量的实验结果都证明了ATS的有效性。在Mindspore中开发的演示可在https://gitee.com/lxcnju/ats-mindspore上获得，并将在https://gitee.com/mindspore/models/tree/master/research/cv/ats上获得。
2022-10-11 cs.LG
Knowledge Distillation Layer that Lets the Student Decide
Middle East Technical University（中东技术大学）；Center for Image Analysis (OGAM)（图像分析中心（OGAM））
提出一种可学习的知识蒸馏层，通过赋予学生模型利用教师知识并前馈至深层的能力，显式地将教师知识嵌入特征变换，在3个分类基准上验证了有效性。
2023-09-06 cs.CV cs.LG stat.ML
Interactive Knowledge Distillation
Sichuan University（四川大学）；Nankai University（南开大学）；TAL Education Group（好未来教育集团）
知识蒸馏是一个标准的师生学习框架，在一个训练有素的大型教师网络的指导下，训练一个轻量级的学生网络。作为一种有效的教学策略，互动教学在学校中被广泛采用，教师在提供知识的同时，也对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了一个互动的知识蒸馏（IAKD）计划，利用有效的知识蒸馏的互动教学策略。在蒸馏过程中，教师网络和学生网络之间的交互是通过交换操作实现的：用教师网络中的相应块随机替换学生网络中的块。在这种方式中，我们直接涉及教师的强大功能转换能力，大大提高学生的表现。典型师生网络的实验表明，我们的IAKD训练的学生网络取得更好的性能比传统的知识蒸馏方法训练的不同图像分类数据集。
2021-04-15 cs.CV cs.LG
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
Meta Superintelligence Labs（Meta 超智能实验室）
本文提出自蒸馏推理器，通过单个LLM同时担任教师和学生，利用特权信息提升推理效率，优于强化学习和离线蒸馏方法。
2026-03-20 cs.CL cs.LG
X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation
NVIDIA
本文提出X-Token，一种通过投影引导的跨分词器知识蒸馏方法，解决传统方法在处理不同分词器间知识迁移时的不足，通过两个互补的损失函数改进知识蒸馏效果。
2026-05-20 cs.CL cs.LG
Online Knowledge Distillation with Diverse Peers
Zhejiang University（浙江大学）；ZJU-LianlianPay Joint Research Center（浙江大学-连连支付联合研究中心）；Zhejiang University of Technology（浙江工业大学）
蒸馏是一种有效的知识转移技术，它使用强大的教师模型的预测分布作为软目标来训练参数化程度较低的学生模型。然而，并不总是能找到一个受过训练的高能力教师。最近提出的在线变体使用多个学生模型的聚合中间预测作为目标来训练每个学生模型。虽然群体衍生的目标提供了一个很好的配方，教师免费蒸馏，群体成员均匀化迅速与简单的聚集功能，导致早期饱和的解决方案。在这项工作中，我们提出了在线知识蒸馏与不同的同行（OKDDip），它执行两级蒸馏过程中的培训与多个辅助同行和一个组长。在第一级蒸馏中，每个辅助节点持有一组单独的聚合权重，这些聚合权重是通过基于注意力的机制生成的，以从其他辅助节点的预测中得出自己的目标。从不同的目标分布中学习有助于提高同伴的多样性，从而提高基于群体的蒸馏的有效性。执行第二级蒸馏以将辅助对等体的集合中的知识进一步传递给组长，即，用于推理的模型。实验结果表明，所提出的框架始终提供更好的性能比国家的最先进的方法，而不牺牲训练或推理的复杂性，证明了所提出的两级蒸馏框架的有效性。
2019-12-05 cs.LG stat.ML
FEED: Feature-level Ensemble for Knowledge Distillation
Graduate School of Convergence Science and Technology（融合科学与技术研究生院）；Seoul National University（首尔国立大学）
知识蒸馏（KD）的目的是在教师-学生框架中传递知识，在训练阶段将教师网络的预测提供给学生网络，帮助学生网络更好地泛化。它可以使用具有高容量的教师或多个教师的集合。然而，后者是不方便的，当人们想要使用基于特征图的蒸馏方法。针对这一问题，提出了一种功能强大的特征级集成知识蒸馏（FEED）训练算法，该算法利用多个教师网络进行集成知识的传递。我们介绍了几个训练算法，将集成知识传递给特征图级别的学生。在基于特征图的蒸馏方法中，并行使用几个非线性变换来传递多个教师的知识有助于学生找到更一般化的解决方案。在CIFAR-100和ImageNet上的实验结果表明，该方法在测试时没有引入任何额外的参数或计算，具有明显的性能增强。我们还显示了实验结果，顺序喂养教师的信息给学生，因此名称顺序FEED，并讨论所获得的教训。此外，在特征图上测量重建误差的经验结果为增强提供了提示。
2019-09-24 cs.AI cs.CV cs.LG
It's All In the Teacher: Zero-Shot Quantization Brought Closer to the Teacher
Yonsei University（延世大学）；NAVER（NAVER公司）
模型量化被认为是一种很有前途的方法，可以大大降低深度神经网络的资源需求。为了解决量化误差引起的性能下降，一种流行的方法是使用训练数据来微调量化网络。然而，在现实世界的环境中，这样的方法通常是不可行的，因为训练数据由于安全、隐私或机密性问题而不可用。Zero-shot量化解决了这些问题，通常通过从全精度教师网络的权重中获取信息来补偿量化网络的性能下降。在本文中，我们首先分析了国家的最先进的zero-shot量化技术的损失面，并提供了几个发现。与通常知识蒸馏问题相比，zero-shot量化通常遭受1）一起优化多个损失项的困难，以及2）由于使用合成样本而导致的较差的泛化能力。此外，我们观察到许多权重在训练量化网络期间未能越过舍入阈值，即使为了更好的性能而必须这样做。基于这些观察，我们提出了AIT，一种简单而强大的zero-shot量化技术，它以以下方式解决了上述两个问题：AIT i）仅使用KL距离损失而没有交叉熵损失，以及ii）操纵梯度以保证在越过舍入阈值后正确更新某一部分权重。实验表明，AIT的性能优于许多现有的方法的很大幅度，接管在该领域的整体国家的最先进的位置。
2022-04-01 cs.CV cs.LG
Beyond Student: An Asymmetric Network for Neural Network Inheritance
Zhejiang University（浙江大学）；Shanghai University of Finance and Economics（上海金融学院）；Swansea University（斯旺西大学）
InherNet通过非对称低秩分解和SVD初始化，实现比传统学生网络更高效的神经网络继承，提升模型压缩性能。
2026-02-11 cs.LG
Uncertainty-Aware Dual-Student Knowledge Distillation for Efficient Image Classification
Department of Electrical Engineering Indian Institute of Technology Bombay 21D070002（电子工程系 印度理工学院班加罗尔 21D070002）；Department of Electrical Engineering Indian Institute of Technology Bombay 210010010（电子工程系 印度理工学院班加罗尔 210010010）；Department of Electrical Engineering Indian Institute of Technology Bombay 210020023（电子工程系 印度理工学院班加罗尔 210020023）
本文提出一种考虑教师预测不确定性的双学生知识蒸馏方法，通过异构学生架构协作学习提升图像分类性能。
2025-11-24 cs.CV cs.LG
Adaptive Teaching with Shared Classifier for Knowledge Distillation
The Catholic University of Korea（韩国天主教大学）；DenComm；AI Lab（AI实验室）
本文提出ATSC知识蒸馏方法，通过共享分类器并让预训练教师依据学生能力自适应调整，在单教师和多教师场景的CIFAR-100与ImageNet上达到最先进性能。
2024-06-14 cs.CV cs.LG
Distilling Image Classifiers in Object Detectors
EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）
知识蒸馏是一种简单而有效的方法，通过利用更强大的教师的知识来提高紧凑的学生网络的性能。然而，知识蒸馏文献仍然局限于学生和教师处理相同任务的场景。在这里，我们调查的问题，不仅跨架构，而且跨任务的知识转移。为此，我们研究了目标检测的情况下，而不是按照标准的检测器到检测器蒸馏方法，引入一个分类器到检测器的知识转移框架。特别是，我们提出的策略，利用分类教师，以提高检测器的识别精度和定位性能。我们在几个具有不同骨架的检测器上的实验证明了我们方法的有效性，使我们能够胜过最先进的检测器到检测器蒸馏方法。
2022-02-10 cs.AI cs.CV cs.LG
Introspective Learning by Distilling Knowledge from Online Self-explanation
Siemens AG, Corporate Technology（西门子公司企业技术部）；University of Munich（慕尼黑大学）
近年来，已经提出了许多解释方法来解释深度神经网络的个体分类。然而，如何利用创建的解释，以改善学习过程中一直较少探索。模型的解释作为特权信息，可以用来指导模型本身的学习过程。在社区中，另一个被深入研究的用于指导模型训练的特权信息是来自强大教师模型的知识。本研究的目的是通过借鉴知识蒸馏的思想，利用自我解释来改善学习过程。我们首先调查从教师网络转移到学生网络的知识的有效组成部分。我们的调查显示，在非地面真理类的反应和类相似性信息的教师的输出有助于成功的知识蒸馏。受此结论的启发，我们提出了一种通过从在线自我解释中提取知识来实现内省学习的方法。使用内省学习过程训练的模型优于使用标准学习过程训练的模型，以及使用不同正则化方法训练的模型。当与从同伴网络或教师网络学习的模型相比时，我们的模型也显示出有竞争力的性能，并且既不需要同伴也不需要教师。
2020-09-19 cs.CV cs.LG
Discovering and Preserving Category Correlation Knowledge via Adaptive Reciprocal Knowledge Distillation
Wuhan University of Technology（武汉理工大学）；Tongji University（同济大学）
提出自适应互惠知识蒸馏（AR-KD），通过匹配教师类别相关性矩阵与学生关系表示来简化教师输出，缓解暗知识崩溃，在CIFAR-100和ImageNet-1k上显著提升学生性能。
2026-09-15 cs.CV cs.LG
HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
知识蒸馏已被证明是一种强大的模型压缩方法，以促进在实践中部署预训练的语言模型。本文主要研究任务不可知的蒸馏。它产生一个紧凑的预训练模型，可以很容易地在各种任务上进行微调，计算成本和内存占用都很小。尽管有实际的好处，任务不可知的蒸馏是具有挑战性的。由于教师模型具有比学生模型大得多的容量和更强的表示能力，因此学生很难在大量的开放域训练数据上产生与教师相匹配的预测。如此大的预测差异往往会削弱知识蒸馏的好处。为了解决这一挑战，我们提出了同伦蒸馏（HomoDistil），一种新的任务不可知的蒸馏方法，配备了迭代修剪。具体来说，我们从教师模型初始化学生模型，并迭代地修剪学生的神经元，直到达到目标宽度。这种方法在整个提炼过程中保持了教师和学生预测之间的微小差异，这确保了知识转移的有效性。大量的实验表明，HomoDistil在现有的基线上实现了显着的改进。
2023-02-19 cs.CL cs.LG
Weak-to-Strong On-Policy Distillation
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出W2S-OPD框架，从多个弱模型蒸馏提升强学生模型，在数学、代码基准测试中优于OPD，可让学生超越领域教师，监督源更弱时仍能提升性能。
2026-08-04 cs.LG
Less is More: Task-aware Layer-wise Distillation for Language Model Compression
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
针对逐层蒸馏中学生容量不足且教师表示冗余的问题，本文提出TED，通过任务感知滤波器逐层选择有用知识并对齐师生隐藏表示，在持续预训练和微调中均显著优于现有方法。
2023-06-05 cs.AI cs.CL cs.LG
Ensemble Knowledge Distillation for CTR Prediction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-Sen University（中山大学）
本文提出基于知识蒸馏的CTR预测训练策略，用教师集成、教师门控和蒸馏损失早停训练简化DNN学生模型，在三个工业数据集上验证其优于12个现有模型。
2023-07-05 cs.IR cs.LG
Model compression via distillation and quantization
ETH Zürich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）；IST Austria（奥地利科学技术研究所）
深度神经网络（DNN）继续取得重大进展，解决从图像分类到翻译或强化学习的任务。该领域受到相当大关注的一个方面是在资源受限的环境中有效地执行深度模型，例如移动或嵌入式设备。本文针对这一问题，提出了两种新的压缩方法，它们联合利用权重量化和将较大的教师网络蒸馏成较小的学生网络。我们提出的第一种方法被称为量化蒸馏，并在训练过程中利用蒸馏，通过将蒸馏损失（相对于教师表示）纳入学生网络的训练中，该网络的权重被量化到有限的一组水平。第二种方法是可微分量化，通过随机梯度下降优化量化点的位置，以更好地拟合教师模型的行为。我们通过对卷积和递归架构的实验来验证这两种方法。我们表明，量化的浅学生可以达到类似的精度水平，全精度教师模型，同时提供数量级压缩，推理加速，是线性的深度减少。总之，我们的研究结果使DNN能够在资源受限的环境中利用在更强大的设备上开发的架构和准确性进步。
2018-02-15 cs.LG cs.NE
More Than One Teacher: Adaptive Multi-Guidance Policy Optimization for Diverse Exploration
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）；Shanghai AI Lab（上海人工智能实验室）；National University of Singapore（新加坡国立大学）；University of Electronic Science and Technology of China（电子科技大学）
提出自适应多引导策略优化（AMPO）框架，按需利用多个教师模型引导，结合基于理解的筛选机制，提升LLM推理多样性与性能，在数学和分布外任务上分别提升4.3%和12.2%。
2025-10-09 cs.AI cs.CL cs.LG
Knowledge distillation: A good teacher is patient and consistent
Google Research（谷歌研究院）
在计算机视觉中，实现最先进性能的大规模模型和在实际应用中负担得起的模型之间的差异越来越大。在本文中，我们解决这个问题，并显着弥合这两种类型的模型之间的差距。在我们的实证研究中，我们的目标并不一定是提出一种新的方法，而是努力确定一个强大而有效的配方，使最先进的大规模模型在实践中负担得起。我们证明，正确执行时，知识蒸馏可以是一个强大的工具，减少大型模型的大小，而不影响其性能。特别是，我们发现，有一些隐含的设计选择，这可能会大大影响蒸馏的有效性。我们的主要贡献是明确识别这些设计选择，这是以前没有在文献中阐述。我们通过一项全面的实证研究来支持我们的研究结果，在广泛的视觉数据集上展示了令人信服的结果，特别是为ImageNet获得了最先进的ResNet-50模型，该模型达到了82.8%的top-1准确率。
2022-06-21 cs.AI cs.CV cs.LG
Cooperative Knowledge Distillation: A Learner Agnostic Approach
University of California, Davis（加利福尼亚大学戴维斯分校）
提出协作蒸馏方法，让多模型互为师生，通过反事实实例生成针对性传递知识，实现跨架构算法蒸馏，优于现有基线。
2024-02-02 cs.AI cs.LG
Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems
Google LLC（谷歌有限责任公司）；Google DeepMind（谷歌DeepMind）；University of California, Davis（加州大学戴维斯分校）
本文针对推荐系统中知识蒸馏被忽视的数据分布偏移、教师配置寻优及标签共享等挑战，提出并在Google多个大规模视频推荐系统上评估了稳健的KD系统，在线实验证明其显著提升了学生模型性能并保障了高质量教师标签的持续生成。
2024-08-26 cs.AI cs.IR cs.LG
Robust Active Distillation
Google Research（谷歌研究院）
在半监督学习环境中，将知识从大型教师模型提取到轻量级模型是一种广泛成功的方法，可以在有限数量的标记数据中生成紧凑，强大的模型。然而，在大规模的应用中，教师往往会提供大量不正确的软标签，从而损害学生的表现。教师的庞大规模还限制了由于过高的计算和/或财务成本而可以查询的软标签的数量。实现同时\emph{efficiency}（即，最小化软标签查询）和\emph{robustness}（即，避免学生由于不正确的标签而导致的不准确性）损害了知识蒸馏在许多现代任务中的广泛应用。在本文中，我们提出了一种无参数的方法与可证明的保证，查询点的软标签，同时提供信息，并正确标记的教师。在我们的工作的核心在于一个博弈论的制定，明确考虑输入实例的信息量和正确性之间的固有权衡。我们建立了我们的方法，即使在最坏的情况下蒸馏实例的预期性能的界限。我们目前的经验评估流行的基准，证明了改进的蒸馏性能，使我们的工作相对于国家的最先进的主动学习和主动蒸馏方法。
2023-02-04 cs.AI cs.LG
Teach Me to Trick: Exploring Adversarial Transferability via Knowledge Distillation
本研究探索多教师知识蒸馏对对抗样本迁移性的增强作用，采用两种蒸馏策略训练轻量学生模型，实验证明其攻击效果媲美集成基线且生成效率最高提升6倍，为黑盒对抗攻击优化提供了新路径。
2025-07-29 cs.AI cs.LG
Synergy Between the Strong and the Weak: Spiking Neural Networks are Inherently Self-Distillers
School of Information and Software Engineering University of Electronic Science and Technology of China（信息与软件工程学院 电子科技大学）
本文提出将脉冲神经网络按时间步分解为子模型，通过强弱子模型间的双向自蒸馏（强到弱和弱到强）提升整体性能与对抗鲁棒性，无需额外教师模型。
2025-10-09 cs.LG
CoCaRS: Correlation Calibration-Based Redundancy Suppression for Heterogeneous Knowledge Distillation
本文针对异构知识蒸馏中冗余抑制的缺陷，提出CoCaRS方法，通过CEE、SAC和ACR校准冗余抑制，在CIFAR-100等数据集上验证了其性能优势。
2026-07-30 cs.AI cs.LG
Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation
Westlake University（西湖大学）
本文提出HGMD框架，解耦GNN到MLP知识蒸馏中的两类困难度，并通过非参数方法估计，实现困难度感知蒸馏，显著提升学生MLP性能。
2024-07-20 cs.AI cs.LG
Alignahead: Online Cross-Layer Knowledge Extraction on Graph Neural Networks
Zhejiang University（浙江大学）；ZJU-Bangsun Joint Research Center（浙大邦生联合研究中心）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）
现有的图神经网络（GNN）上的知识蒸馏方法几乎是离线的，其中学生模型从强大的教师模型中提取知识以提高其性能。然而，一个预先训练的教师模型并不总是访问由于培训成本，隐私等，在本文中，我们提出了一种新的在线知识蒸馏框架来解决这个问题。具体来说，每个学生GNN模型在交替训练过程中从另一个同时训练的对应物中学习提取的局部结构。我们进一步开发了一种跨层蒸馏策略，通过将一个学生层与另一个学生模型的不同深度的层对齐，理论上使结构信息分散在所有层上。在PPI、Coauthor-CS/Physics和Amazon-Computer/Photo等五个数据集上的实验结果表明，在没有预先训练的教师模型的监督下，学生的成绩在我们的协作训练框架中得到了持续的提高。此外，我们还发现，我们的alignahead技术可以加快模型的收敛速度，其有效性可以通过增加训练中的学生人数普遍提高。代码可用：https://github.com/GuoJY-eatsTG/Alignahead
2022-05-05 cs.AI cs.LG
Weak-to-Strong Generalization via Direct On-Policy Distillation
SIA-Lab of Tsinghua AIR and ByteDance Seed（清华-字节跳动联合研究中心SIA实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Peking University（北京大学）
针对可验证奖励RL在大模型上成本高的问题，提出Direct-OPD方法迁移小模型RL的策略偏移，无需在大模型上跑RL即可实现性能提升。
2026-07-09 cs.AI cs.CL cs.LG
QKD: Quantization-aware Knowledge Distillation
Seoul National University（首尔国立大学）；Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
量化和知识蒸馏（KD）方法被广泛用于减少深度神经网络（DNN）的存储器和功耗，特别是对于资源受限的边缘设备。虽然它们的组合很有希望满足这些要求，但它可能不会如所期望的那样工作。这主要是因为KD的正则化效应进一步减少了量化模型已经降低的表示能力。为了解决这个问题，我们提出了量化感知的知识蒸馏（QKD），其中量化和KD在三个阶段中仔细协调。首先，自学习（SS）阶段微调一个量化的低精度学生网络，没有KD，以获得一个良好的初始化。第二，合作学习（CS）阶段试图对教师进行训练，使其比固定教师更量化、更强大。最后，辅导（TU）阶段将知识从受过培训的教师转移到学生。我们在ImageNet和CIFAR-10/100数据集上对我们的方法进行了广泛的评估，并对具有标准卷积和深度可分离卷积的网络进行了消融研究。所提出的QKD优于现有的最先进的方法（例如，在使用W 4A 4的ResNet-18上提高1.3%，在使用W 4A 4的MobileNetV 2上提高2.6%）。此外，QKD可以在ResNet上的W3 A3量化和MobilenetV 2上的W 6A 6量化下恢复全精度精度。
2019-11-28 cs.CV cs.LG
Recurrent Neural Operators: Stable Long-Term PDE Prediction
Shanghai Normal University（上海师范大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
提出循环神经算子（RNOs），通过训练时递归应用自身预测对齐推理动态，将长期PDE预测的误差增长从指数降为线性，并在标准基准上显著提升稳定性与准确性。
2025-05-27 cs.LG cs.NA math.NA
Knowledge Distillation for Speech Denoising by Latent Representation Alignment with Cosine Distance
Tampere University（塔尔库大学）；Nokia Technologies（诺基亚技术）
本文提出一种基于降噪自编码器、线性倒置瓶颈和余弦相似度的知识蒸馏方法，用于语音降噪，实验表明学生模型在多种师生不匹配场景下性能优于基线并具有更强鲁棒性。
2025-05-06 cs.LG cs.SD eess.AS
Evaluation of LLM-based Explanations for a Learning Analytics Dashboard
Faculty of Technology, Bielefeld University（技术学院，比勒菲尔德大学）
针对学习分析仪表盘数据可解释性不足的问题，本研究引入大语言模型生成数据解释，经专家对照实验证实该类解释更受教育者认可，可在符合教学标准的前提下优化学习体验。
2025-11-11 cs.HC cs.LG
Improving Group Fairness in Knowledge Distillation via Laplace Approximation of Early Exits
EESC KTH Royal Institute of Technology（皇家理工学院电子与系统工程系）；CSE IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）
本文提出利用拉普拉斯近似获得校准良好的不确定性估计，对知识蒸馏中的困难实例进行重新加权，以改善学生模型的群体公平性，并在MultiNLI数据集上验证了其优于边际方法的稳健性。
2025-05-02 cs.AI cs.LG
Knowledge Distillation via Token-level Relationship Graph
Huazhong University of Computer Science and Technology（华中计算机科学与技术大学）
本文提出基于Token级关系图的知识蒸馏方法（TRG），利用Token级关系知识增强蒸馏，并引入上下文损失，在视觉分类任务上优于现有基线，达到最先进性能。
2023-06-20 cs.AI cs.LG
