Efficient Speech Translation through Model Compression and Knowledge Distillation
ADAPT Centre School of Computer Science and Statistics（ADAPT中心计算机科学与统计学学院）
针对大型音频语言模型计算需求大的问题，本文结合迭代层剪枝、QLoRA和知识蒸馏，在IWSLT 2025模型压缩赛道中使Qwen2-Audio-7B-Instruct的参数与存储减半，且保留97-100%翻译质量。
2025-06-02 cs.CL cs.SD eess.AS
Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation
University of Toronto（多伦多大学）；Meta AI
本研究提出跨分词器似然评分算法，通过BPE递归结构解决词汇不匹配问题，提升蒸馏效率和性能。
2025-12-16 cs.CL cs.LG
Structured Prompting and Multi-Agent Knowledge Distillation for Traffic Video Interpretation and Risk Inference
Smart Mobility and Infrastructure Lab（智能移动与基础设施实验室）；College of Engineering, University of Georgia（工程学院，佐治亚大学）
本文提出结构化提示与多智能体知识蒸馏框架，利用GPT-4o和o3-mini生成伪标注，训练3B级轻量模型VISTA，实现交通视频风险感知描述与边缘端实时监测。
2025-08-19 cs.AI cs.CL cs.CV
Deep versus Wide: An Analysis of Student Architectures for Task-Agnostic Knowledge Distillation of Self-Supervised Speech Models
NTT Corporation（日本电报电话公司）
自监督学习（Self-supervised learning，SSL）被认为是一种非常有前途的方法，在多个语音下游任务中具有很高的性能。由于SSL模型的参数通常如此之大，以至于训练和推断需要大量的存储器和计算成本，因此期望通过应用诸如知识蒸馏（KD）的压缩方法来产生紧凑的SSL模型而没有显著的性能降级。虽然KD方法能够缩小SSL模型结构的深度和/或宽度，但很少有人研究深度和宽度的变化如何影响小足迹模型的内部表示。本文提供了一个解决这个问题的实证研究。我们调查SUPERB的性能，而不同的结构和KD方法，以保持参数的数量不变，这使我们能够分析通过改变模型架构引入的表示的贡献。实验表明，一定的深度是必不可少的解决面向内容的任务（例如自动语音识别）准确，而一定的宽度是必要的，以实现高性能的几个面向说话人的任务（例如说话人辨识）。基于这些观察结果，我们确定了SUPERB，一个更压缩的模型，比以前的研究具有更好的性能。
2022-09-01 cs.CL cs.SD eess.AS
Extremely Small BERT Models from Mixed-Vocabulary Training
University of Pittsburgh（匹兹堡大学）；Google Research（谷歌研究院）；Kuaishou Technology（快手科技）；Google Brain（谷歌大脑）
像BERT这样的预训练语言模型在NLP任务上取得了很好的效果，但由于内存占用，在资源有限的设备上是不切实际的。这种占用的很大一部分来自具有大输入词汇表和嵌入维度的输入嵌入。现有的用于模型压缩的知识蒸馏方法不能直接应用于训练词汇量减少的学生模型。为此，我们提出了一种蒸馏方法，通过混合词汇训练来调整教师和学生的嵌入。我们的方法将BERT-LARGE压缩为具有较小词汇量和隐藏维度的任务不可知模型，该模型比其他蒸馏BERT模型小一个数量级，并且在语言理解基准测试以及实际对话任务上提供了更好的大小准确性权衡。
2021-02-06 cs.CL
A Survey on Green Deep Learning
ByteDance AI Lab（字节跳动人工智能实验室）；Peking University（北京大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
近年来，更大更深的模型如雨后春笋般涌现，并不断推动自然语言处理（NLP）和计算机视觉（CV）等各个领域的最先进（SOTA）结果。然而，尽管结果令人鼓舞，但需要注意的是，SOTA模型所需的计算量已呈指数级增长。大规模计算不仅有惊人的碳足迹，而且对研究的包容性和实际应用的部署也有负面影响。绿色深度学习是一个越来越热门的研究领域，它呼吁研究人员在模型训练和推理过程中关注能源使用和碳排放。目标是通过轻量级和高效的技术产生新的结果。许多技术可以用来实现这一目标，如模型压缩和知识蒸馏。本文重点对绿色深度学习技术的发展进行了系统的回顾。我们将这些方法分为四类：（1）紧凑网络，（2）节能训练策略，（3）节能推理方法，以及（4）有效的数据使用。对于每个类别，我们讨论已经取得的进展和尚未解决的挑战。
2021-11-10 cs.CL cs.LG
Who Taught You That? Tracing Teachers in Model Distillation
Northeastern University（东北大学）
该研究针对模型蒸馏后的教师溯源问题，在摘要、问答和指令遵循等任务上，将候选教师视为黑盒并利用词汇特征构建判别模型，发现 n-gram 相似性不可靠而词性模板可揭示师生关系。
2025-05-20 cs.CL
TRILLsson: Distilled Universal Paralinguistic Speech Representations
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
自我监督的最新进展显着提高了语音表示的质量。然而，在设备上部署最先进的嵌入模型由于其有限的公共可用性和巨大的资源占用而受到限制。我们的工作通过公开发布一系列小型且接近最先进性能的非语言学语音模型来解决这些问题。我们的方法基于知识蒸馏，我们的模型仅基于公共数据。我们探索不同的架构，并在非语义语音（NOSS）基准上彻底评估我们的模型。我们最大的蒸馏模型的大小不到原始模型的15%（314MB vs 2.2GB），在7个任务中的6个任务上达到了96%以上的准确率，并在6.5%的数据上进行了训练。最小的模型大小为1%（22MB），在7个任务中的6个任务上达到了90%以上的准确率。我们的模型在7个任务中的6个任务上优于开源Wav2Vec 2.0模型，我们最小的模型在两个情感识别任务上都优于开源Wav2Vec 2.0，尽管大小只有开源Wav2Vec 2.0的7%。
2022-03-20 cs.CL cs.LG cs.SD
TALAS: Teacher-Anchored Layer Alignment with Adaptive Sharpness-Aware Minimization for Embedding Distillation
Hanoi University of Science and Technology（河内科技大学）；VNU University of Engineering and Technology（越南国立大学工程与技术大学）；University of Oregon（俄勒冈大学）；Monash University（莫纳什大学）
提出TALAS框架，通过教师锚定机制仅蒸馏最终句子嵌入到学生上层，结合层对齐自蒸馏和自适应锐度感知最小化，在降低计算成本的同时提升句子嵌入蒸馏性能。
2026-06-23 cs.CL
Dynamic Self-Distillation via Previous Mini-batches for Fine-tuning Small Language Models
Case Western Reserve University（凯斯西储大学）
针对传统知识蒸馏依赖教师模型、现有自蒸馏需架构修改的问题，提出模型与任务无关的DynSDPB方法，通过先前小批量logits蒸馏并动态调整参数，在多类语言模型及NLU/NLG任务上验证了优越性能。
2024-11-25 cs.CL
HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
知识蒸馏已被证明是一种强大的模型压缩方法，以促进在实践中部署预训练的语言模型。本文主要研究任务不可知的蒸馏。它产生一个紧凑的预训练模型，可以很容易地在各种任务上进行微调，计算成本和内存占用都很小。尽管有实际的好处，任务不可知的蒸馏是具有挑战性的。由于教师模型具有比学生模型大得多的容量和更强的表示能力，因此学生很难在大量的开放域训练数据上产生与教师相匹配的预测。如此大的预测差异往往会削弱知识蒸馏的好处。为了解决这一挑战，我们提出了同伦蒸馏（HomoDistil），一种新的任务不可知的蒸馏方法，配备了迭代修剪。具体来说，我们从教师模型初始化学生模型，并迭代地修剪学生的神经元，直到达到目标宽度。这种方法在整个提炼过程中保持了教师和学生预测之间的微小差异，这确保了知识转移的有效性。大量的实验表明，HomoDistil在现有的基线上实现了显着的改进。
2023-02-19 cs.CL cs.LG
A Survey of Techniques for Optimizing Transformer Inference
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Argonne National Laboratory（阿贡国家实验室）
本文系统综述Transformer推理在算法与硬件层面的优化技术，定量总结参数量、FLOPs与准确率权衡，并指出未来研究方向。
2023-07-16 cs.AR cs.CL cs.CV
Distilling Neural Networks for Greener and Faster Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
近年来，自然语言处理研究的碳足迹一直在增加，因为它依赖于大型且低效的神经网络实现。蒸馏是一种网络压缩技术，它试图将知识从一个大的模型传递到一个较小的模型。我们使用师生蒸馏来提高Biaffine依赖解析器的效率，该解析器在准确性和解析速度方面获得了最先进的性能（Dozat和Manning，2017）。当提取到原始模型的可训练参数的20%时，我们在许多不同的通用依赖树库中仅观察到UAS和LAS的平均$\sim$ 1点下降，同时在推理时间比CPU（GPU）上的基线模型快2.30倍（1.19倍）。我们还观察到一个小的性能提高时，压缩到80%的一些树库。最后，通过蒸馏，我们得到一个解析器，这不仅是更快，而且更准确的比最快的现代解析器在Penn树库。
2020-06-01 cs.CL
Knowledge Distillation for Large Language Models
本文提出一种高效的压缩框架，结合引导的思维链强化学习，通过知识蒸馏和链式思维提示提升模型效率，实现更小规模的模型部署。
2026-03-14 cs.AI cs.CL
Improving Neural Topic Models with Wasserstein Knowledge Distillation
Indian Association for the Cultivation of Science（印度文化协会）
针对大型神经主题模型内存占用大的问题，提出结合软标签交叉熵和平方2-Wasserstein距离的知识蒸馏框架，可在压缩模型的同时提升主题连贯性，效果超越教师模型及其他主流主题模型。
2024-06-20 cs.CL cs.IR cs.LG
On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
Google DeepMind（谷歌DeepMind）；Mila（米拉研究所）；University of Toronto（多伦多大学）
本文提出广义知识蒸馏（GKD），通过让学生从自生成输出中利用教师反馈进行在线策略学习，解决分布不匹配问题，并支持替代损失函数和与RLHF集成，在摘要、翻译、算术推理及指令微调上验证了有效性。
2024-01-17 cs.AI cs.CL cs.LG
Generation-Distillation for Efficient Natural Language Understanding in Low-Data Settings
在过去的一年里，大规模语言模型（LM）迁移学习的出现，在广泛的自然语言理解任务中带来了巨大的性能提升。然而，这些大型LM的大小和内存占用使得它们难以在许多场景中部署（例如在移动电话上）。最近的研究指出，知识蒸馏作为一个潜在的解决方案，表明当训练数据为一个给定的任务是丰富的，它是可能的提取一个大的（教师）LM到一个小的任务特定的（学生）网络的性能损失最小。然而，当这些数据稀缺时，大型预训练LM和较小的特定任务模型之间仍然存在显着的性能差距，即使通过蒸馏进行训练。在本文中，我们用一种新的训练方法弥合了这一差距，称为生成蒸馏，该方法以两种方式利用大型微调LM：（1）生成新的（未标记的）训练样本，以及（2）使用这些样本将其知识提取到一个小型网络中。在三个低资源的文本分类数据集，我们实现了相当的性能BERT，而使用少300倍的参数，我们优于以前的方法蒸馏文本分类，而使用少3倍的参数。
2020-01-25 cs.AI cs.CL cs.LG
Knowledge Distillation from Large Language Models for Household Energy Modeling
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出利用五种大语言模型生成六个国家的家庭能源数据，通过四阶段方法和知识蒸馏生成文化敏感、行为特定的用电数据，为场景化能源优化提供经济高效途径。
2025-02-05 cs.CL cs.LG
The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Research Spark Hub Inc（Research Spark Hub公司）
本研究以机器翻译为案例，对比全尺寸、蒸馏及量化大语言模型的翻译质量与效率，发现模型压缩可在维持翻译质量的同时大幅降低计算与环境成本，提出应将效率与可持续性纳入NLP评估核心维度。
2025-10-02 cs.AI cs.CL
Squat: Quant Small Language Models on the Edge
Northeastern University（东北大学）；MIT（麻省理工学院）；Harvard University（哈佛大学）
本文提出Squat框架，通过熵引导蒸馏、令牌自适应量化及SIMD多核混合精度乘法器，在移动设备上实现小型语言模型的高效可部署量化，取得最高2.37倍加速。
2025-07-01 cs.AI cs.CL cs.LG
