Teacher as a Lenient Expert: Teacher-Agnostic Data-Free Knowledge Distillation
Inha University（仁荷大学）
本文针对无数据知识蒸馏对教师模型敏感、易出现灾难性失败的问题，提出教师无关的 TA-DFKD 方法，将教师视为宽容专家并通过选择性接纳干净样本提升蒸馏的鲁棒性与稳定性。
2024-02-18 cs.AI cs.CV cs.LG
DISTAL: Distillation and Self-Supervised Pretraining for Structure-Agnostic Materials Property Prediction
Jilin University（吉林大学）；Jilin University of Chemical Technology（吉林化工学院）
针对低数据下材料属性预测依赖结构的问题，提出 DISTAL 框架，结合自监督组成预训练与结构感知蒸馏，在 39 项基准任务中表现最优，实现仅基于组成的稳健预测。
2026-09-02 cs.AI cs.ET cs.LG
Arch-Net: Model Distillation for Architecture Agnostic Model Deployment
Megvii Inc.（旷视科技有限公司）
深度神经网络对计算能力的巨大需求是其现实世界应用的主要障碍。许多最近的专用集成电路（ASIC）芯片具有对神经网络加速的专用硬件支持。然而，由于ASIC需要多年的开发时间，它们不可避免地被神经架构研究的最新发展所超越。例如，Transformer网络在许多流行的芯片上没有本地支持，因此难以部署。在本文中，我们提出了Arch-Net，这是一系列神经网络，仅由大多数ASIC架构有效支持的运算符组成。当生成Arch-Net时，不太常见的网络结构，如层归一化和嵌入层，通过无标记的Boundary模型蒸馏以渐进的方式被消除，同时执行亚8位量化以最大化性能。机器翻译和图像分类任务的实证结果证实，我们可以将最新开发的神经架构转换为快速运行和准确的Arch-Net，准备部署在多个大规模生产的ASIC芯片上。该代码将在https://github.com/megvii-research/Arch-Net上提供。
2022-04-11 cs.CV cs.LG
How to Distill your BERT: An Empirical Study on the Impact of Weight Initialisation and Distillation Objectives
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文首次在任务特定与任务无关两种设置下全面评估BERT中间层蒸馏目标，发现注意力迁移总体最优，并证明用教师低层初始化学生模型可显著提升任务特定蒸馏性能，同时发布了高效Transformer蒸馏框架。
2023-05-24 cs.AI cs.CL cs.LG
On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）；University of Toronto（多伦多大学）
本文提出广义知识蒸馏（GKD），通过让学生从自生成输出中利用教师反馈进行在线策略学习，解决分布不匹配问题，并支持替代损失函数和与RLHF集成，在摘要、翻译、算术推理及指令微调上验证了有效性。
2024-01-17 cs.AI cs.CL cs.LG
MKD: a Multi-Task Knowledge Distillation Approach for Pretrained Language Models
University of Waterloo（滑铁卢大学）；Salesforce Research（赛富时研究院）
预训练的语言模型在许多NLP任务中带来了显着的性能提升。然而，密集的计算资源训练这样的模型仍然是一个问题。知识蒸馏通过学习一个轻量级学生模型来解决这个问题。到目前为止，蒸馏方法都是针对特定任务的。本文探讨了多任务学习环境下的知识蒸馏。学生在不同的任务中共同提炼。它通过多任务蒸馏获得更一般的表示能力，并可以进一步微调，以改善目标域中的模型。与其他专门为基于transformer架构设计的BERT提取方法不同，我们提供了一个通用的学习框架。我们的方法是模型不可知的，可以很容易地应用于不同的未来教师模型架构。我们在基于transformer和基于LSTM的学生模型上评估了我们的方法。与一个强大的，类似的基于LSTM的方法相比，我们在相同的计算约束下实现了更好的质量。与现有技术相比，我们以更快的推理速度达到了可比的结果。
2020-04-30 cs.CL cs.LG
XtremeDistil: Multi-stage Distillation for Massive Multilingual Models
Microsoft Research AI（微软研究院AI）
深度和大型预训练语言模型是各种自然语言处理任务的最新技术。然而，这些模型的巨大尺寸可能会阻碍在实践中使用它们。一些最近和同时进行的工作使用知识蒸馏来压缩这些庞大的模型到浅的。在这项工作中，我们研究知识蒸馏的重点是多语言命名实体识别（NER）。特别是，我们研究了几种蒸馏策略，并提出了一个阶段式的优化方案，利用教师内部表示，是不可知的教师架构，并表明它优于在以前的作品中采用的策略。此外，我们还研究了几个因素的作用，例如未标记数据的数量，注释资源，模型架构和推理延迟等。我们表明，我们的方法可以将类似MBERT的教师模型在参数方面压缩高达35倍，在批处理推理延迟方面压缩51倍，同时保留41种语言的NER的95%的F1分数。
2020-05-05 cs.CL cs.LG
Adversarial Moment-Matching Distillation of Large Language Models
SI-TECH Information Technology（SI-TECH信息技术）
本文提出一种基于模仿学习的对抗矩匹配蒸馏方法，通过联合估计和最小化教师行为动作价值矩的距离优化学生策略，在指令遵循等实验中实现了大型语言模型蒸馏的新SOTA性能。
2024-06-05 cs.CL cs.LG
Task-Specific Knowledge Distillation via Intermediate Probes
本文提出一种通过冻结教师模型隐藏状态训练轻量级探针的方法，利用探针预测而非输出logits作为监督信号，提升四个推理基准测试的性能，尤其在数据有限时效果更显著。
2026-02-18 cs.AI cs.CL
Adaptive Weighting in Knowledge Distillation: An Axiomatic Framework for Multi-Scale Teacher Ensemble Optimization
本文提出了一种多尺度教师集合优化的公理框架，用于自适应加权的知识蒸馏，通过公理化方法解决多尺度下的鲁棒性、效率和安全性问题。
2026-01-25 cs.LG
Neural Tangent Knowledge Distillation for Optical Convolutional Networks
Department of Electrical and Computer Engineering, University of Washington（电气与计算机工程系，华盛顿大学）；Department of Physics, University of Washington（物理系，华盛顿大学）；Department of Applied Mathematics, University of Washington（应用数学系，华盛顿大学）
针对光学神经网络精度低与仿实差异问题，提出任务与硬件无关的流水线，引入NTKD对齐电子教师网络缩小精度差距，并指导制造后微调，全面提升ONN性能与部署能力。
2025-08-11 cs.AI cs.CV cs.LG
Understanding and Improving Knowledge Distillation
Google, Inc（谷歌公司）；Simon Fraser University（西蒙菲莎大学）
知识蒸馏（KD）是一种与模型无关的技术，用于在具有固定容量预算的同时提高模型质量。它是一种常用的模型压缩技术，其中使用具有更好质量的较大容量的教师模型来训练具有更好推理效率的更紧凑的学生模型。通过蒸馏，人们希望从学生的紧凑性中受益，而不会牺牲太多的模型质量。尽管知识蒸馏取得了巨大的成功，但对它如何使学生模型的培训动力学受益的更好理解仍有待探索。本文将教师的知识分为三个层次，并研究其对知识蒸馏的影响：（1）“宇宙”知识，其中KD通过标签平滑带来正则化效应;（2）领域知识，其中教师在学生的logit层几何之前注入类关系;以及（3）实例特定知识，其中教师基于其对事件难度的测量来重新缩放学生模型的每个实例梯度。通过对合成数据集和真实数据集的系统分析和广泛的实证研究，我们证实了上述三个因素在知识蒸馏中起着重要作用。此外，根据我们的研究结果，我们诊断了最近研究中应用KD的一些失败案例。
2021-02-28 cs.AI cs.LG stat.ML
KD-Lib: A PyTorch library for Knowledge Distillation, Pruning and Quantization
近年来，神经网络的规模不断增长，导致了大量关于压缩技术的研究，以减轻这种大规模的缺点。这些研究工作大多可以分为三大类：知识蒸馏、剪枝和量化。虽然在这一领域已经有了稳定的研究，但所提出的技术的采用和商业使用并没有以这样的速度取得进展。我们提出了KD-Lib，一个基于PyTorch的开源库，它包含了来自多个抽象层之上的三个家族的算法的最先进的模块化实现。KD-Lib是模型和算法不可知的，扩展了对使用Optuna和Tensorboard进行日志记录和监控的超参数调优的支持。该库可以在https://github.com/SforAiDl/KD_Lib上找到。
2020-11-30 cs.LG
Distillation of Large Language Models via Concrete Score Matching
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出具体分数蒸馏（CSD）目标，通过离散分数匹配克服softmax平滑和logit平移不变性限制，实现学生与教师模型间所有词汇对相对logit差异的灵活加权，在GPT-2、OpenLLaMA和GEMMA上优于现有蒸馏方法。
2026-05-30 cs.AI cs.LG
Knowledge Distillation Detection for Open-weights Models
Department of Statistics, Purdue University（普渡大学统计学系）；Department of Computer Science, Purdue University（普渡大学计算机科学系）
本研究提出知识蒸馏检测任务，构建结合无数据输入合成与统计得分计算的模型无关框架，在仅获学生权重与教师API的场景下检测蒸馏，在多个数据集和任务上准确率显著优于基线。
2025-10-02 cs.LG
Consistently Informative Soft-Label Temperature for Knowledge Distillation
Rochester Institute of Technology（罗切斯特理工学院）；Oakland University（奥克兰大学）
本文提出CIST方法，通过为教师和学生分配样本级自适应温度，解决传统固定温度设计中教师软标签熵不一致和教师-学生logit尺度对齐过严的问题，从而提升知识蒸馏效果。
2026-05-19 cs.AI cs.LG
SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）
针对知识蒸馏中无差别token监督放大噪声的问题，提出即插即用的SelecTKD框架，通过“提议-验证”流程选择性加权token损失，在多任务场景下提升小型模型性能，无需架构修改或额外参考模型。
2025-11-16 cs.AI cs.CL
What Deserves Memory: Adaptive Memory Distillation for LLM Agents
Fudan University（复旦大学）；Shanda Group（上海莎anda集团）；Beihang University（北航）；Shanghai University of Finance and Economics（上海财经大学）
本文提出NEMORI框架，通过预测性来评估经验的未来效用，实现自适应记忆蒸馏，提升LLM代理的记忆性能与存储效率。
2026-04-16 cs.AI
Distill to Delete: Unlearning in Graph Networks with Knowledge Distillation
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；RespAI Lab, KIIT Bhubaneswar, India（印度基特布巴内斯瓦尔RespAI实验室）
本文提出D2DGN框架，通过知识蒸馏将图知识划分为保留与删除两部分，在删除目标节点或边的同时保留其余图知识，在多个真实图数据集上超越现有方法，且具有更高效率和零额外开销。
2024-06-08 cs.LG
Multi-Teacher Ensemble Distillation: A Mathematical Framework for Probability-Domain Knowledge Aggregation
Sparse-Tech
本文提出了一种概率域知识聚合的数学框架，通过公理化方法定义了多教师集成蒸馏的核心原理，并提供了理论保障和多种实现策略。
2026-01-14 cs.LG
CoDi: Conversational Distillation for Grounded Question Answering
Reality Labs at Meta（元宇宙实验室（Meta旗下））；FAIR at Meta（Meta人工智能研究院）
提出对话蒸馏框架CoDi，为约10亿参数的小语言模型合成大规模对话数据，在接地问答任务上达到与人工数据相当的性能，并超越更大规模指令微调模型。
2024-08-20 cs.AI cs.CL
Follow Your Path: a Progressive Method for Knowledge Distillation
Bytedance AI Lab（字节跳动人工智能实验室）
深度神经网络通常具有大量的参数，这在具有有限的存储器和计算能力的应用场景中的部署中提出了挑战。知识蒸馏是一种从大模型中获得紧凑模型的方法。然而，已经观察到，收敛的重教师模型对于学习紧凑的学生网络具有很强的约束，并且可能使优化受到较差的局部最优解的影响。在本文中，我们提出ProKT，一个新的模型不可知的方法，通过投影到学生的参数空间的教师模型的监督信号。这种投影通过利用近似镜像下降技术将训练目标分解为局部中间目标来实现。所提出的方法可以在优化过程中对怪癖不太敏感，这可以导致更好的局部最优。图像和文本数据集上的实验表明，我们提出的ProKT一贯取得优越的性能相比，其他现有的知识蒸馏方法。
2021-07-20 cs.CV cs.LG
Implicit Word Reordering with Knowledge Distillation for Cross-Lingual Dependency Parsing
Beihang University（北京航空航天大学）；SKLSDE
针对跨语言依存句法分析中的词序差异问题，提出 IWR-KD 框架，通过词序重排教师向句法分析学生蒸馏隐式重排能力，并在31种语言上验证其优于竞争方法。
2025-03-14 cs.CL cs.LG
WAVER: Writing-style Agnostic Text-Video Retrieval via Distilling Vision-Language Models Through Open-Vocabulary Knowledge
FPT Software AI Center（FPT软件人工智能中心）；International University, VNU-HCM（越南胡志明市国家大学国际大学）；RMIT University, Vietnam（澳大利亚皇家墨尔本理工大学越南分校）；University of Liverpool, UK（英国利物浦大学）；University of Arkansas, USA（美国阿肯色大学）
针对视频描述受写作风格影响的问题，提出跨域知识蒸馏框架WAVER，利用预训练视觉语言模型的开放词汇特性将文本知识从教师模型转移至视觉学生模型，在四个基准数据集上实现了最先进的文本-视频检索性能。
2024-01-10 cs.AI cs.CV
Task-agnostic Distillation of Encoder-Decoder Language Models
Beijing Institute of Technology（北京理工大学）；Meituan NLP（美团自然语言处理团队）
针对现有任务无关蒸馏方法无法处理编码器-解码器语言模型的问题，提出MiniEnD方法，成功实现任务无关的编码器-解码器模型蒸馏，并在语言理解与摘要任务及3B模型扩展中验证了其有效性与竞争力。
2023-05-21 cs.CL
Deep geometric knowledge distillation with graphs
IMT Atlantique（大西洋国立高等矿业电信学校）；University of Southern California（南加州大学）；Mila（米拉研究所）；HEC Montréal（蒙特利尔高等商学院）
在大多数情况下，深度学习架构的训练与操作量和能耗无关。然而，一些应用程序，如嵌入式系统，在推理过程中可能会受到资源约束。减少深度学习架构规模的一种流行方法是将知识从较大的网络（教师）提取到较小的网络（学生）。直接训练学生模仿教师的表征可能是有效的，但它需要两者共享相同的潜在空间维度。在这项工作中，我们专注于相对知识蒸馏（RKD），它考虑了各自的潜在空间的几何形状，允许知识的维度不可知转移。具体来说，我们介绍了一个基于图的RKD方法，其中图是用来捕捉潜在空间的几何形状。使用经典的计算机视觉基准，我们证明了所提出的方法，有效地蒸馏知识从教师到学生的能力，导致更好的准确性为相同的预算相比，现有的RKD替代品。
2019-11-08 cs.LG stat.ML
Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?
Chapman University（查普曼大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
研究反馈增强的自蒸馏在智能体搜索中失效的原因，发现模型存在解码崩溃现象，因监督信号不一致致学习不稳定，将其分解为模型和提示不一致，引入EMA教师减轻不一致，最终提高模型性能。
2026-07-21 cs.AI
Dual-Space Knowledge Distillation for Large Language Models
Beijing Jiaotong University（北京交通大学）
针对大语言模型知识蒸馏中输出空间不一致及词表差异问题，提出双空间知识蒸馏框架DSKD，通过统一输出空间和跨模型注意力机制对齐表示，显著提升不同词表模型间的蒸馏效果。
2024-10-01 cs.AI cs.CL
HAD-Net: A Hierarchical Adversarial Knowledge Distillation Network for Improved Enhanced Tumour Segmentation Without Post-Contrast Images
McGill University（麦吉尔大学）；Centre for Intelligent Machines (CIM)（智能机器中心 (CIM)）；Department of Electrical and Computer Engineering（电气与计算机工程系）
从MRI分割增强的肿瘤或病变对于在许多临床背景下检测新的疾病活动是重要的。然而，准确的分割需要包含医学图像（例如，T1对比后MRI）在向患者注射造影剂（例如，钆），这一过程不再被认为是安全的。虽然在过去几年中已经开发了一些模态不可知分割网络，但在增强病理分割的背景下，它们的成功有限。在这项工作中，我们提出了HAD-Net，这是一种新型的离线对抗知识蒸馏（KD）技术，通过这种技术，一个预先训练的教师分割网络可以访问所有MRI序列，通过分层对抗训练来教导学生网络，以更好地克服在推理过程中缺少关键图像时出现的大域偏移。特别是，我们将HAD-Net应用于无法获得造影后成像时增强肿瘤分割的挑战性任务。该网络在BraTS 2019脑肿瘤分割挑战数据集上进行了训练和测试，与最近的模态不可知分割方法相比，其性能提高了16% - 26%（U-HeMIS，U-HVED），（b）适用于该问题的KD-网络，（c）预训练的学生网络和（d）网络的非分层版本（AD-网络），在增强肿瘤（ET）的Dice评分方面。该网络还显示了肿瘤核心（TC）Dice评分的改善。最后，该网络在不确定性量化方面优于基线学生网络和AD-Net，以基于BraTs 2019不确定性挑战指标增强肿瘤分割。我们的代码可在https://github.com/SaverioVad/HAD_Net上公开获取
2021-05-12 cs.CV cs.LG eess.IV
When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation
针对在线策略蒸馏中存在的虚假信号问题，提出SA-OPD框架，通过输入接地性代理过滤误导性token级监督，实验表明其性能优于普通OPD及其他选择性方法。
2026-08-05 cs.AI
ERNIE 3.0 Tiny: Frustratingly Simple Method to Improve Task-Agnostic Distillation Generalization
Baidu Inc.（百度公司）
任务无关的知识蒸馏试图解决在资源受限的场景中部署大型预训练语言模型的问题，方法是将一个称为教师的大型预训练模型压缩成一个称为学生的较小模型，以便学生可以在下游任务上直接微调并保持相当的性能。然而，我们的经验发现，在现有的方法中，学生和教师之间存在着泛化差距。在这项工作中，我们表明，我们可以利用多任务学习的任务不可知的蒸馏，以提高学生的概括。特别是，我们提出了多任务注入任务不可知的知识蒸馏（MITKD）。我们首先通过在多个下游任务上对教师进行多任务培训来增强教师，然后进行蒸馏以产生学生。实验结果表明，我们的方法产生了一个学生更好的泛化，显着优于现有的基线，并建立了一个新的国家的最先进的结果，在域内，域外，和低资源数据集的设置任务不可知蒸馏。此外，我们的方法在SQuAD和四个GLUE任务上甚至超过了8倍的BERT $_{\text{Base}}$。此外，通过结合ERNIE 3.0，我们的方法在10个中国数据集上取得了最先进的结果。
2023-01-09 cs.CL
Bridging the Topological Divide: Dual-Branch Graph Distillation with Semantic Priors for Robust Cold-Start Recommendation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对图协同过滤在冷启动场景的表示崩溃问题，提出双分支图知识蒸馏框架DualGCN，通过两阶段训练与动态范数重构机制，在三个数据集上实现冷启动推荐性能提升。
2026-10-14 cs.IR cs.LG
InfGraND: An Influence-Guided GNN-to-MLP Knowledge Distillation
InfGraND通过识别图中结构重要节点，提升MLP在图结构学习中的性能，优于传统知识蒸馏方法。
2026-01-12 cs.LG
Federated Reasoning Distillation Framework with Model Learnability-Aware Data Allocation
Beihang University（北航）；Heilongjiang University（黑龙江大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）；Yanshan University（燕山大学）；Shandong University（山东大学）；Renmin University of China（中国人民大学）
LaDa是一种联邦推理蒸馏框架，通过模型可学习性感知的数据分配和领域自适应推理蒸馏方法，解决双向模型可学习性差距和领域无关推理迁移问题。
2026-02-21 cs.AI
Extract then Distill: Efficient and Effective Task-Agnostic BERT Distillation
Tsinghua University（清华大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
与任务无关的知识蒸馏是一个师生框架，已被证明是有效的BERT压缩。虽然在NLP任务上取得了很好的结果，但它需要大量的计算资源。在本文中，我们提出提取然后蒸馏（ETD），一个通用的和灵活的策略，以重用教师的参数，高效和有效的任务不可知蒸馏，它可以适用于任何规模的学生。具体来说，我们介绍了两个变种的ETD，ETD-Rand和ETD-Impt，提取教师的参数在一个随机的方式，并通过以下的重要性度量分别。这样，学生在蒸馏过程开始时就已经掌握了一些知识，这使得蒸馏过程收敛得更快。我们证明了ETD在GLUE基准和SQuAD上的有效性。实验结果表明：（1）与未采用ETD策略的基线算法相比，ETD算法可以节省70%的计算量。此外，当使用相同的计算资源时，它实现了比基线更好的结果。(2)ETD是通用的，并且已被证明对不同的蒸馏方法有效（例如，TinyBERT和MiniLM）和不同大小的学生。源代码将在发布时公开提供。
2021-04-24 cs.CL
Mosaicking to Distill: Knowledge Distillation from Out-of-Domain Data
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；National University of Singapore（新加坡国立大学）；Central South University（中南大学）
知识蒸馏~（KD）的目的是制作一个紧凑的学生模型，模仿一个预先培训的教师在目标领域的行为。先前的KD方法，尽管它们的令人满意的结果，在很大程度上依赖于\emph{in-domain}数据可用于执行知识转移的前提。不幸的是，这种假设在许多情况下违反了实际设置，因为由于隐私或版权原因，原始训练数据甚至数据域通常是不可访问的。在本文中，我们试图解决一个雄心勃勃的任务，被称为\emph{out-of-domain}知识蒸馏~（OOD-KD），它允许我们进行KD只使用OOD数据，可以很容易地获得在一个非常低的成本。不可否认，由于不可知的领域差距，OOD-KD本质上是一项极具挑战性的任务。为此，我们介绍了一种方便但令人惊讶的有效方法，称为~ \textit{MosaicKD}。MosaicKD背后的关键洞察力在于，来自不同领域的样本共享共同的局部模式，即使它们的全局语义可能会有很大的不同;这些共享的局部模式反过来可以类似于马赛克拼接进行重新组装，以近似域内数据并进一步缓解域差异。在MosaicKD中，这是通过一个四人的最小-最大游戏来实现的，在这个游戏中，一个生成器、一个学习者、一个学生网络以对抗的方式进行集体训练，部分是在一个预先训练过的老师的指导下进行的。我们在各种基准测试中验证了MosaicKD在{分类和语义分割任务}上的有效性，并证明它产生的结果远远优于OOD数据上最先进的同行。我们的…
2021-10-27 cs.AI cs.CV cs.LG
LEALLA: Learning Lightweight Language-agnostic Sentence Embeddings with Knowledge Distillation
Google Research（谷歌研究院）；Kyoto University（京都大学）
本研究提出LEALLA，通过知识蒸馏和薄深编码器，在109种语言上构建轻量级语言无关句子嵌入，在多个基准上验证了其有效性。
2023-12-26 cs.CL
Sparse Knowledge Distillation: A Mathematical Framework for Probability-Domain Temperature Scaling and Multi-Stage Compression
PhD. research（博士研究）
本文提出概率域温度缩放与多阶段压缩的数学框架，通过算子层面分析揭示稀疏学生优于密集教师的条件，并提供收敛保证与等价类特征化，为知识蒸馏和模型压缩提供理论支持。
2026-01-06 cs.LG
Single-Channel Tissue Segmentation via Cross-Modal Distillation from Foundation Models
Department of Engineering Technology（工程技术系）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Mechanical Engineering（机械工程系）
提出跨模态知识蒸馏框架，将多通道输入的基础模型教师知识迁移到仅使用核通道的轻量级学生网络，实现单通道组织分割性能大幅提升。
2026-05-30 cs.CV cs.LG
Knowledge distillation for semi-supervised domain adaptation
University of Copenhagen（哥本哈根大学）；Cerebriu A/S（Cerebriu公司）；Biomediq A/S（Biomediq公司）；King’s College London（伦敦国王学院）
在缺乏足够的数据变化的情况下（例如，扫描器和协议可变性），深度神经网络（DNN）在训练过程中往往会过拟合。因此，与来自与训练数据相同的源的数据的性能相比，它们在来自不可见源的数据上的性能显著较低。半监督领域自适应方法可以通过将网络调整到新的目标域而无需来自这些域的注释数据来缓解这个问题。对抗领域自适应（ADA）方法是一种流行的选择，旨在以生成的特征是域不可知的方式训练网络。然而，这些方法需要仔细选择超参数的特定于网络的超参数，例如网络的复杂度，以便实现合理的性能。我们建议使用知识蒸馏（KD）-一种在不同DNN之间转移知识的有效方法-用于DNN的半监督域自适应。它不需要特定于集群的超参数调优，使其具有普遍适用性。所提出的方法相比，ADA的分割白质高信号（WMH）的磁共振成像（MRI）扫描扫描仪所产生的不是训练集的一部分。与基线DNN（仅在源域上训练并且不对目标域进行任何自适应）和使用ADA进行半监督领域自适应相比，所提出的方法实现了显著更高的WMH骰子分数。
2019-08-16 cs.LG eess.IV stat.ML
Distilling Black-Box Travel Mode Choice Model for Behavioral Interpretation
University of Florida（佛罗里达大学）；Cornell University（康奈尔大学）；University of Michigan（密歇根大学）；Georgia Institute of Technology（佐治亚理工学院）
机器学习已被证明在旅行行为建模中进行预测非常成功。然而，大多数机器学习模型都具有复杂的模型结构，并且很少或根本没有解释它们是如何得出这些预测的。出行行为模型的解释对于决策者了解出行者的偏好并据此制定政策干预措施至关重要。因此，本文提出应用和扩展模型蒸馏方法，一种模型不可知的机器学习解释方法，来解释黑箱出行方式选择模型如何对整个人群和感兴趣的子人群进行预测。模型蒸馏的目的是将知识从复杂的模型（教师）压缩成可理解和可解释的模型（学生）。特别是，本文将模型蒸馏与市场细分相结合，通过考虑异质性来产生更多的见解。此外，本文还将学生模型与基准模型（决策树）和教师模型（梯度提升树）进行了全面的比较，以量化学生解释的保真度和准确性。
2019-10-30 cs.CY cs.LG stat.ML
Improving Task-Agnostic BERT Distillation with Layer Mapping Search
Huazhong University of Science and Technology（华中科技大学）；Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）
知识蒸馏（KD）是将教师模型中的知识转化为学生模型中的知识的一种方法，近年来被广泛应用于BERT模型的压缩。除了原始KD中输出的监督之外，最近的工作表明，层级监督对学生BERT模型的性能至关重要。然而，先前的工作设计了层映射策略（例如，均匀或最后一层），这可能导致较差的性能。在本文中，我们提出了使用遗传算法（GA）自动搜索最佳层映射。为了加快搜索过程，我们进一步提出了一个代理设置，其中一小部分的训练语料库进行采样蒸馏，并选择三个代表性的任务进行评估。在获得最佳层映射后，我们用它对整个语料进行任务无关的BERT蒸馏，以构建一个紧凑的学生模型，该模型可以直接在下游任务上进行微调。在评估基准上的综合实验表明：1）层映射策略对任务无关的BERT提取有显著的影响，不同的层映射会导致不同的性能：2）所提出的搜索过程中的最优层映射策略始终优于其他启发式策略; 3）通过最佳层映射，我们的学生模型在GLUE任务上实现了最先进的性能。
2020-12-11 cs.CL
Uncertainty-Aware Multi-Expert Knowledge Distillation for Imbalanced Disease Grading
School of Public Health, Zhejiang University（浙江大学公共卫生学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Liangzhu Laboratory and WeDoctor Cloud（良渚实验室和WeDoctor云）；State Key Laboratory of Transvascular Implantation Devices, The Second Affiliated Hospital Zhejiang University School of Medicine（浙江大学医学院第二附属医院心血管植入器械国家重点实验室）；Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence（浙江省医学影像人工智能重点实验室）；School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）
提出不确定性感知多专家知识蒸馏（UMKD）框架，通过特征解耦和不确定性感知解耦蒸馏（UDD）机制，将多专家知识转移到单一学生模型，解决数据不平衡导致的领域偏移和模型异质性问题，在疾病图像分级任务上达到最先进水平。
2025-05-01 cs.CV cs.LG
Reward-Based 1-bit Compressed Federated Distillation on Blockchain
Tsinghua University（清华大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
最近出现的各种形式的联邦知识蒸馏（FD）为新一代鲁棒且通信高效的联邦学习（FL）铺平了道路，其中仅仅聚合软标签，而不是像以前的FL方案中所做的深度神经网络（DNN）的整个梯度。这种基于设计的安全方法与性能日益提高的物联网（IoT）和移动设备相结合，开辟了一个新的可能性领域，可以利用来自行业和个人的私人数据作为人工智能模型训练的输入。然而，在以前的FL系统中，由于工人和中央权威机构之间的权力不平衡而缺乏信任，利他主义工人参与的假设以及无法正确衡量和比较工人的贡献，阻碍了这项技术从已经委托实体的小团体扩展到大规模采用。这项工作旨在通过引入一种新型的分散式联邦学习框架来缓解上述问题，在该框架中，高度压缩的1位软标签（类似于1-hot label预测）被聚合在智能合约上。在一个上下文中，工人的贡献，现在很容易比较，我们修改了同行的真相血清众包机制（PTSC）FD奖励诚实的参与的基础上同行一致性的激励兼容的方式。由于计算复杂性和存储的大幅降低，我们的框架是一个完全基于区块链的FL系统，在简单的智能合约上是可行的，因此与区块链无关。我们实验测试我们的新框架，并验证其理论特性。
2021-06-27 cs.CR cs.DC cs.LG
BLEND: Behavior-guided Neural Population Dynamics Modeling via Privileged Knowledge Distillation
The Hong Kong University of Science and Technology（香港科技大学）；Beijing Institute of Collaborative Innovation（北京协同创新研究院）；Peking University（北京大学）；Beihang University（北京航空航天大学）
BLEND框架通过将行为作为特权信息训练教师模型，再仅用神经活动蒸馏学生模型，以模型无关的方式在推理时无需行为输入即可提升神经动力学建模，在行为解码和神经元身份预测上分别取得超过50%和15%的提升。
2025-02-06 cs.LG cs.NE q-bio.NC
LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression
Tsinghua University（清华大学）；Microsoft Corporation（微软公司）
针对现有提示压缩方法信息熵指标的缺陷，提出基于数据蒸馏的LLMLingua-2方法，将压缩建模为词元分类任务，用小模型实现了更优性能、更强泛化性与更高压缩效率。
2024-08-12 cs.CL cs.LG
MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers
Microsoft Research（微软研究院）
预先训练的语言模型（例如，BERT（Devlin等人，2018）及其变体）在各种NLP任务中取得了显着的成功。然而，这些模型通常由数亿个参数组成，由于延迟和容量限制，这给实际应用中的微调和在线服务带来了挑战。在这项工作中，我们提出了一种简单有效的方法来压缩大型Transformer（Vaswani等人，2017）基于预训练的模型，称为深度自我注意蒸馏。小模型（学生）是通过深度模仿大模型（教师）的自我注意模块来训练的，自我注意模块在Transformer网络中起着至关重要的作用。具体来说，我们建议提取教师的最后一层Transformer的自我注意力模块，这对学生来说是有效和灵活的。此外，除了注意力分布（即，查询和键的缩放点积）。此外，我们表明，引入教师助理（Mirzadeh等人，2019）还有助于提炼大型预训练的Transformer模型。实验结果表明，我们的单语模型优于国家的最先进的基线在不同的参数大小的学生模型。特别是，它在SQuAD 2.0和几个GLUE基准测试任务上保持了99%以上的准确性，使用了50%的Transformer参数和教师模型的计算。我们还在将深度自注意力蒸馏应用于多语言预训练模型方面取得了有竞争力的结果。
2020-04-06 cs.CL
SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本研究提出SimpleOPD方法，通过共享文本空间对齐令牌、引入学生参考KL损失并屏蔽特殊终止令牌优势，将长上下文模型SU-01的推理能力迁移至多类学生模型，在数学及科学基准上取得显著提升。
2026-08-17 cs.AI cs.CL
Deep versus Wide: An Analysis of Student Architectures for Task-Agnostic Knowledge Distillation of Self-Supervised Speech Models
NTT Corporation（日本电报电话公司）
自监督学习（Self-supervised learning，SSL）被认为是一种非常有前途的方法，在多个语音下游任务中具有很高的性能。由于SSL模型的参数通常如此之大，以至于训练和推断需要大量的存储器和计算成本，因此期望通过应用诸如知识蒸馏（KD）的压缩方法来产生紧凑的SSL模型而没有显著的性能降级。虽然KD方法能够缩小SSL模型结构的深度和/或宽度，但很少有人研究深度和宽度的变化如何影响小足迹模型的内部表示。本文提供了一个解决这个问题的实证研究。我们调查SUPERB的性能，而不同的结构和KD方法，以保持参数的数量不变，这使我们能够分析通过改变模型架构引入的表示的贡献。实验表明，一定的深度是必不可少的解决面向内容的任务（例如自动语音识别）准确，而一定的宽度是必要的，以实现高性能的几个面向说话人的任务（例如说话人辨识）。基于这些观察结果，我们确定了SUPERB，一个更压缩的模型，比以前的研究具有更好的性能。
2022-09-01 cs.CL cs.SD eess.AS
Why Can You Lay Off Heads? Investigating How BERT Heads Transfer
National Taiwan University（台湾大学）
广泛使用的BERT系列模型的巨大规模导致了最近关于模型蒸馏的努力。蒸馏的主要目标是创建一个与任务无关的预训练模型，该模型可以在下游任务上进行微调，而无需对其全尺寸版本进行微调。尽管蒸馏的进展，在何种程度上，以及出于何种原因，可以从蒸馏创建一个任务不可知模型还没有得到很好的研究。此外，这些BERT模型的迁移学习背后的机制也没有得到很好的研究。因此，本工作着重于分析蒸馏时可接受的扣除，以指导未来的蒸馏程序。具体来说，我们首先使用Michel等人（2019）提出的头部重要性估计来检查RoBERTa和ALBERT中Transformer头部的可修剪性，然后检查预训练任务和下游任务之间重要头部的一致性。因此，在提取模型时，可以从结果中得出预训练任务的可接受性能推断，并且我们进一步比较了微调前后修剪模型的行为。我们的研究为BERT族模型蒸馏的未来发展方向提供了指导。
2021-06-14 cs.CL
Gumbel Distillation for Parallel Text Generation
Department of Computer Science（计算机科学系）
本文提出Gumbel Distillation技术，通过Gumbel-Max技巧使并行解码器有效学习token序列的联合分布，提升生成质量，在LM1B和OpenWebText数据集上取得显著改进。
2026-07-24 cs.CL cs.LG
AutoDistil: Few-shot Task-agnostic Neural Architecture Search for Distilling Large Language Models
The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Research（微软研究院）
知识蒸馏（KD）方法将大模型压缩成较小的学生，其具有给定预先指定的计算成本的手动设计的学生架构。这需要几次试验来找到一个可行的学生，并进一步重复每个学生或计算预算变化的过程。我们使用神经架构搜索（NAS）自动提取几个压缩的学生与可变成本从一个大的模型。目前的工程训练一个单一的超级LM组成的数以百万计的子网的权重共享，导致不同大小的子网之间的干扰。我们的框架AutoDistil通过以下步骤解决了上述挑战：（a）将归纳偏差和分类法用于将Transformer搜索空间划分为K个紧凑的子空间（对于基本、小和微小的典型学生大小，K=3）;（b）使用任务不可知目标（例如，自我注意力蒸馏）与学生的权重共享;（c）轻量级搜索最佳学生，无需重新训练。完全与任务无关的训练和搜索允许学生在任何下游任务上进行微调。在GLUE基准测试中对最先进的KD和NAS方法进行的实验表明，AutoDistil的性能优于领先的压缩技术，计算成本降低了2.7倍，任务性能损失可以忽略不计。
2022-02-20 cs.CL
Dynamic Self-Distillation via Previous Mini-batches for Fine-tuning Small Language Models
Case Western Reserve University（凯斯西储大学）
针对传统知识蒸馏依赖教师模型、现有自蒸馏需架构修改的问题，提出模型与任务无关的DynSDPB方法，通过先前小批量logits蒸馏并动态调整参数，在多类语言模型及NLU/NLG任务上验证了优越性能。
2024-11-25 cs.CL
What Should Feature Distillation Transfer in LLMs? A Task-Tangent Geometry View
Department of Computer Science, King Abdullah University of Science and Technology（卡布斯大学计算机科学系）
本文提出Flex-KD方法，通过任务切线几何视角实现有效的特征蒸馏，提升模型在语言理解和生成任务中的性能。
2026-02-10 cs.CL
