Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy
Accelerator Architecture Lab（加速器架构实验室）；Intel Labs（英特尔实验室）
深度学习网络已经在计算机视觉工作负载（如图像分类和目标检测）上实现了最先进的精度。然而，高性能系统通常涉及具有众多参数的大型模型。一旦经过训练，这种表现最好的模型的一个挑战性方面是部署在资源受限的推理系统上-模型（通常是深度网络或广域网或两者）是计算和内存密集型的。使用知识蒸馏的低精度数值和模型压缩是降低这些部署模型的计算要求和内存占用的流行技术。在本文中，我们研究了这两种技术的结合，并表明，低精度网络的性能可以显着提高使用知识蒸馏技术。我们的方法Apprentice使用ImageNet数据集上ResNet架构变体的三进制精度和4位精度实现了最先进的精度。我们提出了三种方案，使用它可以将知识蒸馏技术应用到训练和部署管道的各个阶段。
2017-11-15 cs.CV cs.LG cs.NE
Distilling Multi-Level X-vector Knowledge for Small-footprint Speaker Verification
National Institute of Informatics（国立信息学研究所）；Institute for Advancing Intelligence, TCG CREST（TCG CREST 智能促进研究所）；University of Eastern Finland（东芬兰大学）
针对深度说话人模型尺寸大难部署的问题，提出融合x-vector教师网络多层嵌入蒸馏训练紧凑学生模型的方法，实现模型尺寸75%-91%的缩减且性能接近教师，方法可推广至其他x-vector变体。
2023-12-19 cs.LG cs.SD eess.AS
Improving Neural Topic Models with Wasserstein Knowledge Distillation
Indian Association for the Cultivation of Science（印度文化协会）
针对大型神经主题模型内存占用大的问题，提出结合软标签交叉熵和平方2-Wasserstein距离的知识蒸馏框架，可在压缩模型的同时提升主题连贯性，效果超越教师模型及其他主流主题模型。
2024-06-20 cs.CL cs.IR cs.LG
Knowledge Distillation of Russian Language Models with Reduction of Vocabulary
MIPT（莫斯科物理技术学院）；AIRI
如今，Transformer语言模型作为大多数自然语言处理任务的核心组件。这种模型的工业应用需要最小化计算时间和内存占用。知识蒸馏是实现这一目标的途径之一。该领域中的现有方法主要集中在减少嵌入/隐藏表示的层数或维数上。另一种选择是减少词汇表中的标记数量，从而减少学生模型的嵌入矩阵。词汇量最小化的主要问题是输入序列与教师和学生模型的输出类分布之间的不匹配。因此，不可能直接应用基于KL的知识蒸馏。我们提出两个简单而有效的对齐技术，使知识蒸馏的学生减少词汇。对俄罗斯的一些常见基准，如俄罗斯SuperGLUE，SberQuAD，RuSentiment，ParaPhaser，Collection-3的蒸馏模型的评估表明，我们的技术允许实现从$17\times$到$49\times$的压缩，同时保持$1.7\times$压缩学生与全尺寸词汇的质量，但只减少了Transformer层的数量。我们提供我们的代码和提炼模型。
2022-05-04 cs.CL cs.LG
Device-Directed Speech Detection: Regularization via Distillation for Weakly-Supervised Models
Apple（苹果公司）
我们解决的问题，检测语音指向一个设备，不包含一个特定的唤醒词。具体来说，我们专注于音频来自基于触摸的调用。减少由于意外按下按钮而导致的虚拟助理（VA）激活对于用户体验至关重要。虽然大多数用于错误触发缓解（FTM）的方法被设计为检测目标关键字的存在，但是在不存在关键字的情况下推断用户意图是困难的。由于用户数据中固有的模糊性，这在为此类系统创建训练/评估数据时也构成了挑战。为此，我们提出了一种新的FTM方法，该方法使用新引入的数据采样策略获得的弱标记训练数据。虽然这种采样策略减少了数据注释工作，但数据标签是嘈杂的，因为数据不是手动注释的。我们使用这些数据来训练一个仅用于FTM任务的声学模型，通过从基于ASR的（LatticeRNN）模型中进行知识蒸馏来正则化其损失函数。这改善了模型决策，导致66%的准确性增益，如通过等误差率（EER）测量的，超过基础声学模型。我们还表明，LatticeRNN和声蒸馏模型的集成带来了20%的进一步准确性提高。
2022-03-30 cs.HC cs.LG cs.SD
Generation-Distillation for Efficient Natural Language Understanding in Low-Data Settings
在过去的一年里，大规模语言模型（LM）迁移学习的出现，在广泛的自然语言理解任务中带来了巨大的性能提升。然而，这些大型LM的大小和内存占用使得它们难以在许多场景中部署（例如在移动电话上）。最近的研究指出，知识蒸馏作为一个潜在的解决方案，表明当训练数据为一个给定的任务是丰富的，它是可能的提取一个大的（教师）LM到一个小的任务特定的（学生）网络的性能损失最小。然而，当这些数据稀缺时，大型预训练LM和较小的特定任务模型之间仍然存在显着的性能差距，即使通过蒸馏进行训练。在本文中，我们用一种新的训练方法弥合了这一差距，称为生成蒸馏，该方法以两种方式利用大型微调LM：（1）生成新的（未标记的）训练样本，以及（2）使用这些样本将其知识提取到一个小型网络中。在三个低资源的文本分类数据集，我们实现了相当的性能BERT，而使用少300倍的参数，我们优于以前的方法蒸馏文本分类，而使用少3倍的参数。
2020-01-25 cs.AI cs.CL cs.LG
Post-Pruning Accuracy Recovery via Data-Free Knowledge Distillation
本文提出无数据知识蒸馏方法，通过合成隐私保护图像实现模型剪枝后的精度恢复，无需访问原始训练数据。
2025-11-24 cs.AI cs.LG
On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）；University of Toronto（多伦多大学）
本文提出广义知识蒸馏（GKD），通过让学生从自生成输出中利用教师反馈进行在线策略学习，解决分布不匹配问题，并支持替代损失函数和与RLHF集成，在摘要、翻译、算术推理及指令微调上验证了有效性。
2024-01-17 cs.AI cs.CL cs.LG
Optimizing Teacher-Student Partitioning for Scalable Knowledge Distillation on HPC Systems
Qualcomm AI Research（高通AI研究）
针对知识蒸馏中师生模型不对称性，提出 HPC 感知方法，通过解耦师生划分、避免冗余数据结构并选择最优拆分策略，在 HPC 集群上实现高达 67% 的吞吐量提升。
2026-06-29 cs.AI cs.DC cs.LG
StreamKL: Fast and Memory-Efficient KL Divergence for Boosting Attention Distillation
Shanghai Jiao Tong University（上海交通大学）；Huawei（华为）；Fudan University（复旦大学）
提出StreamKL，首个融合GPU原语，通过在线公式和逐块重计算将注意力蒸馏的内存和IO成本从O(N_QN_K)降至O(1)，实现高达43倍前向和14倍反向加速。
2026-06-19 cs.AI cs.LG
HEiMDaL: Highly Efficient Method for Detection and Localization of wake-words
Apple（苹果公司）
流式关键字识别是用于激活语音助理的广泛使用的解决方案。基于隐马尔可夫模型的深度神经网络（DNN-HMM）方法已被证明是有效的，并在该领域得到广泛采用，主要是因为它能够以低计算成本检测和识别唤醒词的开始和结束。然而，当DNN和HMM被独立训练时，这种混杂系统遭受损失度量失配。由于固有的马尔可夫操作风格，序列判别训练不能完全减轻损失度量不匹配。我们提出了一个低足迹的CNN模型，称为HEiMDaL，在流媒体条件下检测和本地化的关键字。我们引入了一个基于偏移的分类损失来检测关键字的出现，以及偏移损失来预测关键字的开始。HEiMDaL在检测指标方面减少了73%，同时具有与现有DNN-HMM风格模型相同的定位精度和内存占用。
2022-10-26 cs.LG cs.SD eess.AS
DistiLLM: Towards Streamlined Distillation for Large Language Models
KAIST AI（韩国科学技术院人工智能学院）；Microsoft（微软公司）
DistiLLM提出一种高效的大语言模型知识蒸馏框架，通过偏斜KL散度损失和自适应离策略方法，在保持学生模型性能的同时实现最高4.3倍加速。
2024-07-03 cs.AI cs.CL cs.LG
Variational Student: Learning Compact and Sparser Networks in Knowledge Distillation Framework
TCS Research（塔塔咨询服务公司研究院）；IIT Kharagpur（印度理工学院克勒格布尔分校）
深入神经网络研究的圣杯是在嵌入式平台上移植内存和计算密集型网络模型，同时最大限度地降低模型精度。为此，我们提出了一种新的方法，称为变分学生，在那里我们获得的好处的压缩性的知识蒸馏（KD）框架，和稀疏诱导能力的变分推理（VI）技术。从本质上讲，我们建立了一个稀疏的学生网络，其稀疏性是通过优化基于VI的损失函数发现的变分参数引起的，利用了准确但复杂的预训练教师网络所学到的知识。此外，为了增强稀疏性，我们还在教师和学生网络权重的级联张量上采用了块稀疏正则化器。我们证明了KD和VI技术的婚姻继承了KD框架的压缩特性，并提高了VI方法的稀疏性水平，同时在模型精度方面具有最小的妥协。我们在LeNet MLP和VGGNet（CNN）上对我们的结果进行了基准测试，并在这些MLP和CNN变体上分别说明了64倍和213倍的内存占用减少，而无需重新训练教师网络。此外，在低数据状态下，我们观察到我们的方法在准确性方面优于最先进的贝叶斯技术。
2019-10-26 cs.LG stat.ML
Wearable Accelerometer Foundation Models for Health via Knowledge Distillation
Apple Inc（苹果公司）
本文提出通过知识蒸馏将PPG编码器知识迁移至加速度计编码器，构建健康基础模型，在预测心率等健康目标上显著提升性能并展现跨模态对齐能力。
2025-01-31 cs.AI cs.LG eess.SP
Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation
University of Toronto（多伦多大学）；Meta AI
本研究提出跨分词器似然评分算法，通过BPE递归结构解决词汇不匹配问题，提升蒸馏效率和性能。
2025-12-16 cs.CL cs.LG
Knowledge Distillation from Large Language Models for Household Energy Modeling
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出利用五种大语言模型生成六个国家的家庭能源数据，通过四阶段方法和知识蒸馏生成文化敏感、行为特定的用电数据，为场景化能源优化提供经济高效途径。
2025-02-05 cs.CL cs.LG
Robust and Resource-Efficient Data-Free Knowledge Distillation by Generative Pseudo Replay
Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）
针对无数据知识蒸馏中因合成数据分布偏移导致的知识退化问题，提出基于变分自编码器的生成式伪回放方法，无需存储样本即可防止知识退化，在提升模型准确率期望的同时消除了内存开销。
2024-07-29 cs.AI cs.LG
Distill to Delete: Unlearning in Graph Networks with Knowledge Distillation
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；RespAI Lab, KIIT Bhubaneswar, India（印度基特布巴内斯瓦尔RespAI实验室）
本文提出D2DGN框架，通过知识蒸馏将图知识划分为保留与删除两部分，在删除目标节点或边的同时保留其余图知识，在多个真实图数据集上超越现有方法，且具有更高效率和零额外开销。
2024-06-08 cs.LG
RepCNN: Micro-sized, Mighty Models for Wakeword Detection
Apple Inc.（苹果公司）
RepCNN 通过多分支训练、单分支推理的重新参数化方法，在保持极低内存和计算占用的同时，显著提升了常开唤醒词检测模型的准确率与运行效率。
2024-08-01 cs.AI cs.LG eess.AS
Accurate Detection of Wake Word Start and End Using a CNN
Amazon Alexa Research（亚马逊Alexa研究院）
小尺寸嵌入式设备需要具有小模型尺寸和检测延迟的关键字定位器（KWS）来启用语音助理。这样的关键字通常被称为\textit{wake word}，因为它用于唤醒启用语音助理的设备。与唤醒词检测一起，准确估计唤醒词端点（开始和结束）是KWS的重要任务。在本文中，我们提出了两种新的方法来检测唤醒词的端点在神经KWS，使用单级词级神经网络。我们的结果表明，与人类注释相比，新技术在检测唤醒词端点方面具有高达50毫秒的标准误差，与传统声学模型加HMM强制对齐相当。据我们所知，这是第一次研究唤醒词端点检测方法的单阶段神经KWS。
2020-08-09 cs.LG cs.SD eess.AS
Tiny is not small enough: High-quality, low-resource facial animation models through hybrid knowledge distillation
Electronic Arts（电子艺术）
本文通过混合知识蒸馏与伪标签方法，提出了一种设备端实时面部动画模型，显著减少内存占用并保持高质量动画，为模型驱动的数字角色发展提供新方向。
2026-02-12 cs.GR cs.LG cs.MM
Divide and Conquer: Leveraging Intermediate Feature Representations for Quantized Training of Neural Networks
University of California San Diego（加利福尼亚大学圣地亚哥分校）
现代神经网络的深层在输入通过网络传播时提取相当丰富的特征集。本文旨在以最小的精度损失收获这些丰富的中间表示进行量化，同时显着降低DNN的内存占用和计算强度。本文通过师生范式利用知识蒸馏（Hinton等人，2015）在一种新颖的设置中，该设置利用DNN的特征提取能力进行更高精度的量化。因此，我们的算法在逻辑上将预训练的全精度DNN划分为多个部分，每个部分都暴露了中间特征，以便在量化域中独立地训练一组学生。事实上，这种分而治之的策略使得每个学生部分的训练可以孤立进行，而所有这些独立训练的部分随后被缝合在一起以形成等效的完全量化的网络。我们的算法是一种面向知识蒸馏的分段方法，并且在整个网络上进行一次知识蒸馏之前，不将中间表示视为预训练的提示（Romero等人，2015年）。在各种DNN（AlexNet、LeNet、MobileNet、ResNet-18、ResNet-20、SVHN和VGG-11）上的实验表明，这种称为DCQ（Divide and Conquer Quantization）的方法平均而言提高了最先进的量化训练技术DoReFa-Net（Zhou et al.，2016年），分别为21.6%和9.3%的二进制和三进制量化。此外，我们表明，将DCQ纳入现有的量化训练方法，导致提高精度相比，以前报道的多个国家的最先进的量化训练方法。
2020-03-02 cs.LG stat.ML
KVSculpt: KV Cache Compression as Distillation
Temple University（天普大学）
KVSculpt通过优化连续嵌入空间中的小规模KV对，保留各层注意力行为，相比传统方法在压缩比下显著降低KL散度，引入自适应预算分配提升压缩效果。
2026-03-29 cs.AI cs.CL cs.LG
Distil-DCCRN: A Small-footprint DCCRN Leveraging Feature-based Knowledge Distillation in Speech Enhancement
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）
本文提出小型化语音增强模型Distil-DCCRN，通过融合注意力迁移与KL散度的知识蒸馏方法，以Uformer为教师模型，在参数量仅为DCCRN的30%的情况下实现了更优的增强性能。
2024-08-08 cs.SD eess.AS
An Ultra-low Power RNN Classifier for Always-On Voice Wake-Up Detection Robust to Real-World Scenarios
CEA-Leti, Université Grenoble Alpes（法国原子能委员会电子与信息技术实验室，格勒诺布尔大学）
本文提出了一种基于超低功耗（ULP）递归神经网络（RNN）的分类器，用于始终在线的语音唤醒传感器（WUS），其性能适合于现实世界的应用。我们的传感器的目的是将诸如自动语音识别、关键词定位、说话人验证等的始终开启的语音处理算法的背景噪声中的功耗降低至少100倍。我们设计的唤醒传感器对看不见的真实通过仔细设计数据集和损失函数，为真实的语音和噪声水平提供世界噪声。我们还专门训练它只标记语音开始，而不是采用传统的语音活动检测（VAD）方法。我们实现了小于3%的无触发率（NTR）的占空比小于1%，在具有挑战性的背景噪声汇集使用模拟前端的模型。与其他测试方法相比，我们证明了RNN在此任务上的优越性，RNN本身在65 nm CMOS中的估计功耗为45 nW，最小内存占用为0.52 kB。
2021-03-08 cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
A Hierarchical End-of-Turn Model with Primary Speaker Segmentation for Real-Time Conversational AI
Meta
本文提出一种实时前端，通过结合主发言人分割与分层末端检测，实现两说话人场景中的自然轮询。系统通过持续识别和跟踪主用户，确保下游检测不受背景对话干扰，并通过压缩的MFCC表示实现高效部署。
2026-03-10 cs.LG cs.SD
Efficient Speech Translation through Model Compression and Knowledge Distillation
ADAPT Centre School of Computer Science and Statistics（ADAPT中心计算机科学与统计学学院）
针对大型音频语言模型计算需求大的问题，本文结合迭代层剪枝、QLoRA和知识蒸馏，在IWSLT 2025模型压缩赛道中使Qwen2-Audio-7B-Instruct的参数与存储减半，且保留97-100%翻译质量。
2025-06-02 cs.CL cs.SD eess.AS
Deep versus Wide: An Analysis of Student Architectures for Task-Agnostic Knowledge Distillation of Self-Supervised Speech Models
NTT Corporation（日本电报电话公司）
自监督学习（Self-supervised learning，SSL）被认为是一种非常有前途的方法，在多个语音下游任务中具有很高的性能。由于SSL模型的参数通常如此之大，以至于训练和推断需要大量的存储器和计算成本，因此期望通过应用诸如知识蒸馏（KD）的压缩方法来产生紧凑的SSL模型而没有显著的性能降级。虽然KD方法能够缩小SSL模型结构的深度和/或宽度，但很少有人研究深度和宽度的变化如何影响小足迹模型的内部表示。本文提供了一个解决这个问题的实证研究。我们调查SUPERB的性能，而不同的结构和KD方法，以保持参数的数量不变，这使我们能够分析通过改变模型架构引入的表示的贡献。实验表明，一定的深度是必不可少的解决面向内容的任务（例如自动语音识别）准确，而一定的宽度是必要的，以实现高性能的几个面向说话人的任务（例如说话人辨识）。基于这些观察结果，我们确定了SUPERB，一个更压缩的模型，比以前的研究具有更好的性能。
2022-09-01 cs.CL cs.SD eess.AS
