Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective
The University of Tokyo（东京大学）；CyberAgent
本文从实用角度重新审视链式思维蒸馏中的容量差距问题，提出更现实的评估协议，发现容量差距影响并非在所有任务和设置中主导，尤其当候选教师性能差异显著时，为选择合适的教师-学生对提供实践指导。
2026-09-30 cs.AI cs.CL cs.LG
UNDO: Understanding Distillation as Optimization
UC San Diego（加州大学圣地亚哥分校）；ETH Zurich（苏黎世联邦理工学院）
本文提出 UNDO 框架，将知识蒸馏视为优化问题，通过迭代识别学生模型错误并促使教师优化解释，在数学与常识推理任务上性能提升达 20%，且适用于不同学生模型。
2025-04-03 cs.CL
ACTD: Anchor-Based Cross-Tokenizer Distillation with Residual Regularization
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
针对跨分词器蒸馏的词汇与序列不对齐及对齐噪声问题，提出带残差正则化的ACTD方法，在五个推理基准上用三种教师模型评估取得SOTA，多教师扩展版性能优于基线。
2026-09-01 cs.CL
SWITCH: Studying with Teacher for Knowledge Distillation of Large Language Models
IPAI, Seoul National University（首尔国立大学IPAI）；LG AI Research（LG人工智能研究院）；Seoul National University（首尔国立大学）；SNU-LG AI Research Center（首尔国立大学-LG人工智能研究中心）
SWITCH 提出一种在长序列生成中策略性引入教师模型干预的知识蒸馏方法，通过识别师生令牌概率差异减少误导，在三个模型家族和五个数据集上超越传统方法。
2025-04-22 cs.CL
Gradient Knowledge Distillation for Pre-trained Language Models
Peking University（北京大学）
知识蒸馏（KD）是一种将知识从大规模教师转移到紧凑但表现良好的学生的有效框架。先前用于预训练的语言模型的KD实践主要通过在教师和学生之间对齐实例输出来传递知识，而忽略了重要的知识源，即，教师的梯度。梯度表征教师如何响应输入的变化，我们假设这有利于学生更好地近似教师的底层映射函数。因此，我们提出了梯度知识蒸馏（GKD），将梯度对齐目标的蒸馏过程。实验结果表明，GKD优于以前的KD方法对学生的表现。进一步的分析表明，梯度知识的引入使学生的行为与教师的行为更加一致，大大提高了可解释性。
2022-11-02 cs.CL cs.LG
ERNIE-Tiny : A Progressive Distillation Framework for Pretrained Transformer Compression
Baidu Inc.（百度公司）
预训练语言模型（PLM），如BERT，采用了一种训练范式，首先在一般数据中预训练模型，然后在特定任务数据中微调模型，最近取得了巨大的成功。然而，PLM因其庞大的参数和难以部署在现实生活中的应用程序是臭名昭著的。知识蒸馏通过在一组数据上将知识从一个大的教师转移到一个小得多的学生来解决这个问题。我们认为，三个关键组成部分，即教师，训练数据和学习目标的选择，是至关重要的蒸馏的有效性。因此，我们提出了一个四阶段渐进蒸馏框架ERNIE-Tiny来压缩PLM，它从一般级别到特定任务级别逐渐改变这三个组件。具体而言，第一阶段，一般蒸馏，在预先培训的教师的指导下进行蒸馏，一般数据和潜在的蒸馏损失。其次，广义强化蒸馏法将教师模式从预培训教师转变为精调教师。之后，任务自适应蒸馏将训练数据从一般数据转换为特定于任务的数据。最后，特定任务蒸馏增加了两个额外的损失，即软标签和硬标签损失到最后一个阶段。实验结果表明，基于GLUE的4层ERNIE-Tiny模型，其12层教师BERT的性能保持在98.0%以上，在相同参数的情况下，比最先进的SOTA模型提高了1.0%GLUE.此外，ERNIE-Tiny在五个中文NLP任务上实现了新的压缩SOTA，比BERT基准精度高0.4%，参数减少7.5倍，推理速度提高9.4倍。
2021-06-04 cs.CL
TwT: Thinking without Tokens by Habitual Reasoning Distillation with Multi-Teachers' Guidance
Nankai University（南开大学）；BeijingJiaoTong University（北京交通大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对LLM推理输出Token过多导致计算成本高的问题，提出TwT方法，通过多教师引导的习惯性推理蒸馏和双标准拒绝采样技术，将显式推理内化为模型习惯性行为，在减少输出Token的同时保持高性能，实现高效部署。
2025-11-04 cs.CL
PADD: Path-Aligned Decompression Distillation for Non-Router Teacher to Guide MoE Student Learning
University of Science and Technology of China（中国科学技术大学）
提出路径对齐解压缩蒸馏（PADD）框架，通过四阶段两阶段流程将密集教师知识蒸馏到混合专家（MoE）学生中，同时学习高质量路由策略，在数学推理任务上显著优于基线。
2026-06-09 cs.CL cs.LG
Reference-Based Distillation Detection in LLMs
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Southern California（南加利福尼亚大学）；OpenAI
研究旨在检测大语言模型是否经蒸馏而来，提出基于参考的成员推理蒸馏检测方法，通过比较模型与不同候选教师输出的优先对齐程度识别教师及蒸馏证据，能处理未知管道，扩展到开放世界设置，应用于当代模型获潜在蒸馏关系新证据。
2026-07-14 cs.CL cs.LG
ChemOPD: Multi-Teacher On-Policy Distillation for Multi-Task Chemical Reasoning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
ChemOPD通过亲和性引导的专家分组和锚定残差多教师在线策略蒸馏，在ChemCoTBench上提升了多任务化学推理能力，证明专业化和能力整合是相关但独立的设计问题。
2026-09-29 cs.CL cs.LG
Reliability Gated Multi-Teacher Distillation for Low Resource Abstractive Summarization
BRAC University（BRAC大学）
本文研究了从可靠性角度出发的多教师知识蒸馏，提出EWAD和CPDP机制，通过实验发现logit级KD效果最佳，复杂蒸馏提升短摘要语义相似性但影响长摘要，跨语言伪标签KD在压缩率下保持ROUGE L分数，揭示了单判 pipelines 的校准偏差。
2026-04-03 cs.AI cs.CL
AMTSS: An Adaptive Multi-Teacher Single-Student Knowledge Distillation Framework For Multilingual Language Inference
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tencent（腾讯）
提出AMTSS自适应多教师单学生知识蒸馏框架，通过自适应学习策略和共享编码器，在多语言推理任务中实现高效知识迁移，并在XNLI和阿里电商数据集上取得有竞争力的结果。
2023-05-13 cs.AI cs.CL
On the Off-Policy Teacher in On-Policy Distillation
Washington University in St. Louis（圣路易斯华盛顿大学）；AWS AI Labs（AWS AI 实验室）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
针对在线策略蒸馏中教师面对学生生成前缀时续写性能下降的问题，提出SCOUT协同训练框架，通过可验证奖励的强化学习适配教师，提升蒸馏效果。
2026-10-01 cs.AI cs.CL cs.LG
TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment
University of Virginia（弗吉尼亚大学）；Netflix（网飞）；University of Washington（华盛顿大学）；Florida State University（佛罗里达州立大学）；Microsoft（微软）
针对推理蒸馏中教师模型与学生模型能力差距导致的性能下降问题，提出基于强化学习的教师对齐方法TeacherGRPO，通过课程选择性对齐和重要性自适应长度正则化实现有效对齐，显著提升多种基准上的蒸馏性能。
2026-09-29 cs.CL
Structural Knowledge Distillation: Tractably Distilling Information for Structured Predictor
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
知识蒸馏是在模型之间传递知识的关键技术，通常是从大型模型（教师）到更细粒度的模型（学生）。知识蒸馏的目标函数通常是教师和学生的输出分布之间的交叉熵。然而，对于结构化预测问题，输出空间的大小是指数级的;因此，交叉熵目标变得难以直接计算和优化。在本文中，我们推导出结构化预测的知识蒸馏目标的因式分解形式，这是易于处理的教师和学生模型的许多典型的选择。特别地，我们在四种不同的情况下，展示了序列标记和依存句法分析模型之间的结构知识蒸馏的易处理性和经验有效性：1）教师和学生共享输出结构评分函数的相同分解形式; 2）学生分解比教师分解产生更多的细粒度子结构; 3）教师分解比学生分解产生更多的细粒度子结构; 4）教师和学生的分解形式是不相容的。
2021-06-02 cs.AI cs.CL cs.LG
MulDE: Multi-teacher Knowledge Distillation for Low-dimensional Knowledge Graph Embeddings
Dalian University of Technology（大连理工大学）；Macquarie University（麦考瑞大学）
基于知识图谱嵌入的链接预测技术旨在预测新的三元组以自动构建知识图谱。然而，最近的KGE模型通过过度增加嵌入维数来实现性能改进，这可能会导致巨大的训练成本并需要更多的存储空间。在本文中，而不是训练高维模型，我们提出了MulDE，一种新的知识蒸馏框架，其中包括多个低维双曲KGE模型作为教师和两个学生组件，即初中和高中。在一种新的迭代蒸馏策略下，低维KGE模型Junior组件根据其初步预测结果主动询问教师，Senior组件基于关系特定缩放和对比注意两种机制自适应地整合教师知识对Junior组件进行训练.实验结果表明，MulDE能有效提高低维KGE模型的性能和训练速度。与几个广泛使用的数据集上的最先进的高维方法相比，蒸馏的32维模型具有竞争力。
2021-04-01 cs.AI cs.CL cs.LG
LoOPSD: On-Policy Self-Distillation with Looped Teachers
Anhui Province Key Laboratory of Digital Security（安徽省数字安全重点实验室）；Token Foundry, Alibaba Group（阿里巴巴集团 Token Foundry）
本文提出LoOPSD，通过搜索模型层执行顺序构建教师模型并交替搜索与蒸馏，在GSM8K等任务上提升了Qwen3-1.7B等模型的推理准确率，为自蒸馏开辟了新方向。
2026-10-14 cs.AI cs.CL cs.LG
Distillation Scaling Laws
Apple（苹果公司）；University of Oxford, UK（牛津大学）
本文提出蒸馏缩放定律，依据计算预算及师生模型分配预测蒸馏性能，并给出教师已存在和需训练两类场景下的计算最优方案。
2025-07-25 cs.AI cs.CL cs.LG
Distillation as Probability Transport: Routed On-Policy Distillation
Tencent（腾讯）
针对在线策略蒸馏中教师知识分配不明确的问题，提出RouteOPD方法，通过概率输运显式建模师生分歧，在多个基准上优于现有方法。
2026-09-09 cs.CL cs.LG
Dual-Teacher De-biasing Distillation Framework for Multi-domain Fake News Detection
Jinan University（暨南大学）；Guilin University of Electronic Technology（桂林电子科技大学）
本文提出双教师去偏蒸馏框架DTDBD，通过无偏教师和干净教师联合指导学生模型，结合对抗性去偏蒸馏损失与动量动态调整算法，在保持性能的同时有效缓解多领域假新闻检测中的领域偏差问题。
2023-12-02 cs.CL
SKDBERT: Compressing BERT via Stochastic Knowledge Distillation
Meituan（美团）
在本文中，我们提出了随机知识蒸馏（SKD）获得紧凑的BERT风格的语言模型称为SKDBERT。在每次迭代中，SKD从预定义的教师集合中抽取教师模型，该教师集合由多个具有多级能力的教师模型组成，以一对一的方式将知识传递到学生模型中。抽样分布在SKD中起着重要的作用。我们简要地提出了三种类型的抽样分布分配适当的概率多层次的教师模型。SKD有两个优点：1）通过在每次迭代中随机抽取单个教师模型，可以保持多级教师模型的多样性; 2）当教师模型和学生模型之间存在较大容量差距时，通过多级教师模型可以提高知识蒸馏的效率。在GLUE基准测试上的实验结果表明，SKDBERT在保持99.5%的语言理解性能的同时，将BERT $_{\rm BASE}$模型的规模减小了40%，并且速度提高了100%.
2022-11-29 cs.CL
Reinforced Multi-Teacher Selection for Knowledge Distillation
Microsoft STCA（微软STCA）
在自然语言处理（NLP）任务中，推理速度慢和GPU占用量大仍然是在生产中应用预训练深度模型的瓶颈。作为一种流行的模型压缩方法，知识蒸馏将知识从一个或多个大的（教师）模型转移到一个小的（学生）模型。当多个教师模型在蒸馏中可用时，最先进的方法在整个蒸馏中为教师模型分配固定的权重。此外，大多数现有方法为每个教师模型分配相等的权重。在本文中，我们观察到，由于训练样本的复杂性和学生模型能力的差异，从教师模型的差异学习可以导致更好的性能的学生模型提取。我们系统地开发了一种增强的方法来动态分配权重的教师模型为不同的训练实例，并优化学生模型的性能。我们在几个NLP任务上的大量实验结果清楚地验证了我们方法的可行性和有效性。
2020-12-14 cs.CL cs.LG
Imprinting: Knowledge Distillation Can Shift Student Behavior
National Yang Ming Chiao Tung University（国立阳明交通大学）
该研究发现知识蒸馏会使学生模型获得任务能力的同时，行为倾向向源教师的安全-实用主义转变，即“印记”现象，且可通过调整源教师或干预措施改变该印记效应。
2026-10-14 cs.CL
Model Compression with Two-stage Multi-teacher Knowledge Distillation for Web Question Answering System
Microsoft（微软）
深度预训练和微调模型（如BERT和OpenAI GPT）在问答领域表现出了出色的效果。然而，由于模型参数的数量庞大，这些模型的推理速度非常慢。如何将这些复杂的模型应用到实际的业务场景中成为一个具有挑战性但又具有实际意义的问题。以往的模型压缩方法在模型压缩过程中存在信息丢失的问题，导致压缩后的模型质量不如原始模型。为了解决这一问题，我们提出了一种两阶段多教师知识蒸馏（简称TMKD）方法用于Web问答系统。我们首先开发了一个通用的Q\&A蒸馏任务用于学生模型的预训练，并进一步对这个预训练的学生模型进行微调，在下游任务（如Web Q\&A任务，MNLI，SNLI，来自GLUE的RTE任务）上进行多教师知识蒸馏，这有效地减少了单个教师模型中的过拟合偏差，并将更多的一般知识转移到学生模型中。实验结果表明，我们的方法可以显着优于基线方法，甚至达到与原始教师模型相当的结果，随着模型推理的大幅加速。
2019-10-18 cs.CL
Exploring Knowledge Purification in Multi-Teacher Knowledge Distillation for LLMs
Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出知识净化方法，通过整合多个教师模型的推理以减少冲突并提升效率，实验表明其在知识蒸馏中提升性能并促进轻量模型部署。
2026-04-11 cs.CL
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而，教师模型通常是在相同的标记数据上学习的，它们的预测与groundtruth标签具有高度相关性。因此，他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中，我们提出了一个统一的和有效的集成知识蒸馏方法，蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性，因此在标记数据上，我们根据不同教师的正确性对他们的预测进行加权。此外，我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上，没有基础事实来评估预测的正确性。幸运的是，教师之间的分歧是样本硬度的指示，因此我们基于教师的分歧来加权蒸馏损失，以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
Pro-KD: Progressive Distillation by Following the Footsteps of the Teacher
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Waterloo（滑铁卢大学）
随着神经网络模型规模的不断扩大，知识蒸馏作为神经网络模型压缩的重要工具受到了越来越多的关注。然而，在文献中有反直觉的观察结果显示KD的一些具有挑战性的限制。一个恰当的例子是，教师的最佳表现检查点不一定是训练学生KD的最佳教师。所以，如何找到老师的最佳境界点进行升华，是一个很重要的问题。搜索教师的检查点将是一个非常繁琐且计算代价高昂的过程，我们将其称为\textit{checkpoint-search problem}。此外，另一个观察结果是，在KD中，体型较大的教师不一定是更好的教师，这被称为\textit{capacity-gap}问题。为了解决这些具有挑战性的问题，在这项工作中，我们引入了我们的渐进式知识蒸馏（Pro-KD）技术，该技术通过遵循教师的培训足迹为学生定义了一条更顺畅的培训路径，而不是仅仅依赖于从一个成熟的受过全面培训的教师那里蒸馏。我们证明，我们的技术是相当有效的，在减轻能力差距问题和检查点搜索问题。我们使用一组全面的实验来评估我们的技术，这些实验针对不同的任务，例如图像分类（CIFAR-10和CIFAR-100）、GLUE基准测试的自然语言理解任务以及使用基于BERT的模型的问答（SQuAD 1.1和2.0），并始终获得优于最先进技术的结果。
2021-10-16 cs.CL
Do Not Blindly Imitate the Teacher: Using Perturbed Loss for Knowledge Distillation
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
针对知识蒸馏中盲目模仿教师输出分布导致性能不佳的问题，提出基于Maclaurin级数扰动前导项的PTLoss目标，隐式构建更接近真实分布的代理教师，并在五个数据集上显著提升不同规模教师的蒸馏效果。
2023-05-08 cs.CL cs.LG
On Teacher Hacking in Language Model Distillation
Google DeepMind（谷歌DeepMind）
本文提出并研究语言模型蒸馏中的教师黑客现象，通过受控实验发现固定离线数据会引发该问题且可由收敛规律偏离检测，而在线数据生成与数据多样性可有效缓解。
2025-02-04 cs.AI cs.CL cs.LG
SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling
Zhejiang University（浙江大学）；Hunan University（湖南大学）；Tianjin University（天津大学）；Shanghai Jiao Tong University（上海交通大学）；Jilin University（吉林大学）
针对在线蒸馏中轨迹级对齐和教师偏好均匀可靠性假设的失效问题，提出SG-OPD方法，通过符号一致性门控和分阶段教师采样改进蒸馏效果，在竞赛级数学推理任务上平均提升1.98和7.50。
2026-06-08 cs.CL cs.LG
Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models
NVIDIA（英伟达）
Lightning OPD 2.0通过交叉拟合风格残差化缓解大型推理模型跨教师在线策略蒸馏的风格偏差，在数学推理与代码生成基准中优于原方法，实现了跨教师设置下的性能提升。
2026-07-31 cs.CL
Learning Speech Attribute Representations via Multi-Teacher Distillation
LIA Avignon Université（阿维尼翁大学LIA实验室）
本研究提出多属性多教师蒸馏框架，用共享SSL骨干从四个冻结教师模型学习多类语音属性表示，实验显示其性能接近专用单任务模型，还揭示了语音属性在编码器不同深度的分布规律。
2026-10-16 cs.CL
Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯科技有限公司）
针对知识蒸馏初期师生模型分布不匹配的问题，本文提出Warmup-Distill，在正式蒸馏前借助教师检查并修正学生低概率知识，七个基准上平均至少提升0.4分，数学任务准确率最高提升1.9%。
2025-02-17 cs.CL
ALP-KD: Attention-Based Layer Projection for Knowledge Distillation
Huawei（华为）
知识蒸馏被认为是一种训练和压缩策略，其中两个神经网络，即教师和学生，在训练过程中耦合在一起。教师网络应该是一个值得信赖的预测器，学生试图模仿它的预测。通常，选择具有较轻架构的学生，以便我们可以实现压缩，同时提供高质量的结果。在这种情况下，蒸馏只发生在最终的预测，而学生也可以受益于教师的监督内部组件。受此启发，我们研究了中间层的精馏问题。由于在学生层和教师层之间可能不存在一对一的对齐，因此现有技术跳过一些教师层并且仅从其中的子集提取。这个缺点直接影响质量，所以我们提出了一种依赖于注意力的组合技术。我们的模型融合了教师端的信息，并考虑到每一层的重要性，然后进行合并的教师层和学生层之间的蒸馏。使用我们的技术，我们将12层BERT（Devlin et al. 2019）提取为6层、4层和2层对应物，并在GLUE任务中对其进行评估（Wang et al. 2018）。实验结果表明，我们的组合方法是能够优于其他现有的技术。
2020-12-27 cs.CL
Knowledge Distillation from Internal Representations
University of Houston（休斯顿大学）；Amazon（亚马逊）
知识蒸馏通常通过训练一个小模型（学生）来模仿一个大而笨重的模型（教师）来进行。这个想法是通过使用其输出概率作为软标签来优化学生来压缩来自教师的知识。然而，当教师的规模相当大时，教师的内部知识不能保证会转移到学生身上;即使学生与软标签非常匹配，其内部表征也可能有很大的不同。这种内在的不匹配可能会破坏原本打算从教师转移到学生身上的概括能力。在本文中，我们提出了一个大的模型，如BERT的内部表示提取到一个简化的版本。我们制定了两种方法来提取这样的表示和各种算法进行蒸馏。我们对来自GLUE基准测试的数据集进行了实验，并一致表明，从内部表示中添加知识蒸馏是一种比仅使用软标签蒸馏更强大的方法。
2020-01-16 cs.CL
In Good GRACEs: Principled Teacher Selection for Knowledge Distillation
Princeton Language and Intelligence（普林斯顿语言与智能研究所）；Kempner Institute, Harvard（哈佛凯普纳研究所）；Microsoft Research, New York（微软研究院（纽约））；University of Pennsylvania（宾夕法尼亚大学）
GRACE通过量化教师有效性，为知识蒸馏提供原则性教师选择和蒸馏指导，提升学生模型性能。
2025-12-20 cs.CL cs.LG
Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Science and Technology of China（中国科学技术大学）；Shanghai University of Finance and Economics（上海财经大学）
该研究针对采样 token 在线策略蒸馏的多样性瓶颈，提出 IDA-OPD 方法，通过保留熵扩张更新、替换熵收缩更新，在降低成本的同时提升 pass@k，继承教师模型的多样性，且保持普通 OPD 的 pass@1 性能。
2026-09-01 cs.CL cs.LG
MiniDisc: Minimal Distillation Schedule for Language Model Compression
Beijing Institute of Technology（北京理工大学）；Meituan NLP（美团自然语言处理）；Meta AI
针对现有教师助理式语言模型蒸馏需多次试验选最优助理的低效问题，提出基于λ-权衡指标的MiniDistil方案，可在最少一次试验内选出最优教师助理，在GLUE基准上效率优于现有基线，且具备十亿级参数模型的可扩展性。
2024-01-29 cs.CL cs.LG
Robust Knowledge Distillation from RNN-T Models With Noisy Training Labels Using Full-Sum Loss
Google（谷歌）
本文研究了知识蒸馏（KD）问题，并针对递归神经网络转换器（RNN-T）模型提出了知识蒸馏的约束条件。在硬蒸馏中，教师模型转录大量未标记的语音来训练学生模型。软蒸馏是另一种流行的KD方法，它提取教师模型的输出logits。由于RNN-T比对的性质，在具有不同后验分布的RNN-T架构之间应用软蒸馏是具有挑战性的。此外，高错字率的差教师会降低KD的效能。我们研究如何有效地提取知识的可变质量ASR教师，这还没有被研究之前，我们的知识。我们证明了序列级KD，全和蒸馏，优于RNN-T模型的其他蒸馏方法，特别是对于糟糕的教师。我们还提出了一个变种的全和蒸馏，蒸馏的顺序判别知识的老师，导致进一步改善WER。我们在公共数据集SpeechStew和LibriSpeech以及内部生产数据上进行实验。
2023-03-10 cs.CL cs.SD eess.AS
Language-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASR
针对多语言ASR的跨语言优化冲突问题，提出LS-MOPD方法，通过语言专业化教师与多语言学生的在线策略蒸馏，在多语言基准测试中实现了优于RL基线及最优教师的性能。
2026-08-11 cs.CL cs.SD eess.AS
Tailoring Instructions to Student's Learning Levels Boosts Knowledge Distillation
Tsinghua University（清华大学）；Boson AI（玻色人工智能）
针对高性能教师模型未必能培养强学生模型的问题，提出LGTM训练技术，引入蒸馏影响概念优先选取能提升学生泛化能力的样本，在GLUE基准6项文本分类任务上优于10种常用知识蒸馏基线。
2024-05-15 cs.CL cs.LG
When Better Teachers Don't Make Better Students: Revisiting Knowledge Distillation for CLIP Models in VQA
VISTEC；Bangkok Christian International School（巴吞普林国际学校）；AI Singapore（AI新加坡）
本文重新审视了CLIP模型在视觉问答中的知识蒸馏，发现更强教师不必然产生更好学生，揭示了现有蒸馏框架的局限性，并指明了参数高效多模态模型的设计新方向。
2026-08-24 cs.CL cs.CV
PROD: Progressive Distillation for Dense Retrieval
Xiamen University（厦门大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
针对稠密检索中强教师模型因师生差距导致蒸馏出差学生模型的问题，提出渐进式蒸馏方法PROD，通过教师渐进式蒸馏和数据渐进式蒸馏逐步提升学生模型，在五个基准上达到同类方法最优。
2023-06-24 cs.CL cs.IR
K2P: Label-Free Knowledge to Prompt Distillation
University of Georgia（佐治亚大学）
K2P提出无标签知识到提示蒸馏方法，通过合成、细化及答案一致性选择提示，在无真实标签下提升冻结学生模型推理性能，并理论保证准确性。
2026-10-01 cs.CL cs.LG
Patient Knowledge Distillation for BERT Model Compression
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
预先训练的语言模型（如BERT）已被证明对自然语言处理（NLP）任务非常有效。然而，训练此类模型对计算资源的高需求阻碍了其在实践中的应用。为了缓解大规模模型训练中的这种资源饥饿，我们提出了一种患者知识蒸馏方法，将原始的大模型（教师）压缩成同样有效的轻量级浅层网络（学生）。与以往的知识蒸馏方法不同，这些方法只使用教师网络最后一层的输出进行蒸馏，我们的学生模型耐心地从教师模型的多个中间层学习，以进行增量知识提取，遵循两种策略：（$i$）PKD-Last：从最后一个$k$层学习;和（$ii$）PKD-Skip：从每个$k$层学习。这两个耐心的蒸馏方案使教师的隐藏层中的丰富信息的开发，并鼓励学生模型耐心地学习和模仿教师通过多层蒸馏过程。从经验上讲，这可以转化为多个NLP任务的改进结果，在不牺牲模型准确性的情况下显著提高训练效率。
2019-08-25 cs.CL cs.LG
Multi-Teacher Language-Aware Knowledge Distillation for Multilingual Speech Emotion Recognition
Department of lnformation and Communications Engineering（信息与通信工程系）
本文提出一种多教师语言感知知识蒸馏方法，用于提升英语、芬兰语和法语的语音情感识别性能，通过蒸馏多个教师模型的知识，实现多语言情感识别的高召回率。
2025-06-10 cs.CL cs.SD eess.AS
Comparison of Soft and Hard Target RNN-T Distillation for Large-scale ASR
Google LLC（谷歌有限责任公司）
知识蒸馏是一种有效的机器学习技术，用于将知识从教师模型转移到较小的学生模型，特别是对于未标记的数据。在本文中，我们专注于知识蒸馏的RNN-T模型，这是广泛使用的最先进的（SoTA）自动语音识别（ASR）。具体来说，我们比较了使用软目标蒸馏和硬目标蒸馏在LibriSpeech/LibriLight公共数据集（60 k小时）和我们的内部数据（600 k小时）上训练大规模RNN-T模型。我们发现，当教师和学生具有不同的结构时，如大教师和小分流学生，硬目标更有效。另一方面，软目标蒸馏在自我培训场景中效果更好，如迭代式大型教师培训。对于具有0.6B权重的大型模型，我们使用具有软目标蒸馏的噪声学生训练在LibriSpeech上实现了新的SoTA单词出错率（WER）（相对于dev-other提高了8%）。它还允许我们的生产教师不断适应新的数据域。
2022-10-28 cs.CL cs.LG cs.SD
