Keep Decoding Parallel with Effective Knowledge Distillation from Language Models to End-to-end Speech Recognisers
LINE WORKS Corporation（LINE WORKS公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；LINE Corporation（LINE公司）
提出利用 BERT 中间层和最终层 token 概率向 ASR 模型蒸馏语言模型知识的方法，在 LibriSpeech 上提升 CTC 贪心解码准确率并保持并行解码速度。
2024-01-22 cs.CL cs.SD eess.AS
Language-Universal Adapter Learning with Knowledge Distillation for End-to-End Multilingual Speech Recognition
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个语言通用的适配器学习框架的基础上，预先训练的模型，端到端的多语言自动语音识别（ASR）。对于声学建模，wav2vec 2.0预训练模型通过插入特定语言和通用语言适配器进行微调。然后使用在线知识蒸馏来使语言通用适配器能够学习语言特定的和通用的特征。利用语言标识符（LID）也减少了语言信息的混乱。使用LID，我们对多头注意力输出进行位置方面的修改。在推理过程中，特定于语言的适配器被移除，而语言通用适配器保持激活。该方法提高了识别精度，并解决了常见的多语种自动语音识别系统中适配器参数数量随语种数量线性增加的问题。在BABEL数据集上的实验证实了该框架的有效性。与传统的多语言模型相比，实现了3.3%的绝对出错率降低。该代码可从以下网址获得：https://github.com/shen9712/UniversalAdapterLearning。
2023-02-28 cs.CL cs.SD eess.AS
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
NAVER LABS Europe（NAVER欧洲实验室）；Télécom Paris（巴黎电信学院）
DistilWhisper通过语言特定专家和知识蒸馏提升欠代表语言的ASR性能，同时保持多任务和多语言能力。
2025-11-29 cs.CL cs.SD eess.AS
Application of Knowledge Distillation to Multi-task Speech Representation Learning
Qualcomm Technologies（高通技术公司）
本文研究将知识蒸馏应用于语音表征学习模型并与多下游任务联合微调，在缩减近75%模型尺寸的同时仅产生极小性能损失，有效解决了边缘AI设备部署挑战。
2023-05-19 cs.CL cs.SD eess.AS
Deep versus Wide: An Analysis of Student Architectures for Task-Agnostic Knowledge Distillation of Self-Supervised Speech Models
NTT Corporation（日本电报电话公司）
自监督学习（Self-supervised learning，SSL）被认为是一种非常有前途的方法，在多个语音下游任务中具有很高的性能。由于SSL模型的参数通常如此之大，以至于训练和推断需要大量的存储器和计算成本，因此期望通过应用诸如知识蒸馏（KD）的压缩方法来产生紧凑的SSL模型而没有显著的性能降级。虽然KD方法能够缩小SSL模型结构的深度和/或宽度，但很少有人研究深度和宽度的变化如何影响小足迹模型的内部表示。本文提供了一个解决这个问题的实证研究。我们调查SUPERB的性能，而不同的结构和KD方法，以保持参数的数量不变，这使我们能够分析通过改变模型架构引入的表示的贡献。实验表明，一定的深度是必不可少的解决面向内容的任务（例如自动语音识别）准确，而一定的宽度是必要的，以实现高性能的几个面向说话人的任务（例如说话人辨识）。基于这些观察结果，我们确定了SUPERB，一个更压缩的模型，比以前的研究具有更好的性能。
2022-09-01 cs.CL cs.SD eess.AS
SSR: Alignment-Aware Modality Connector for Speech Language Models
Johns Hopkins University（约翰霍普金斯大学）；Meta AI Research（Meta AI研究）
针对语音融合预训练语言模型时长语音编码低效、文本模态灾难性遗忘的问题，提出带两阶段训练的SSR-Connector，利用语音文本对齐分段压缩语音特征，在提升语音理解效果的同时保留预训练文本能力。
2025-05-17 cs.CL cs.SD eess.AS
Reducing the Output-Mode Gap in Speech Language Models via Joint-Output On-Policy Distillation
Leibniz Research Center, Huawei（华为莱布尼茨研究中心）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
针对语音语言模型中S2TS模式与S2T模式间的输出模式差距，提出联合输出在策略蒸馏方法，利用教师软目标显著降低准确率差距，实验验证其有效性。
2026-09-15 cs.CL cs.SD eess.AS
Improving Streaming Automatic Speech Recognition With Non-Streaming Model Distillation On Unsupervised Data
Google Inc.（谷歌公司）
流传输端到端自动语音识别（ASR）模型广泛用于智能扬声器和设备上应用。由于这些模型预计将以最小的延迟转录语音，因此与非流媒体模型相比，它们被限制为因果关系，没有未来的上下文。因此，流式模型通常比非流式模型表现更差。我们提出了一种新颖有效的学习方法，利用非流ASR模型作为教师在任意大的数据集上生成成绩单，然后用于将知识提取到流ASR模型中。通过这种方式，我们可以将流媒体模型的训练扩展到高达300万小时的YouTube音频。实验表明，该方法不仅在LibriSpeech上，而且在四种语言的YouTube数据上都能显著降低RNNT模型的单词出错率（WER）。例如，在法语中，通过利用在与基线相同数量的标记数据上训练的非流教师模型，我们能够将WER相对于基线流模型降低16.4%。
2021-02-21 cs.CL cs.SD eess.AS
Knowledge Transfer from Pre-trained Language Models to Cif-based Speech Recognizers via Hierarchical Distillation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）
本文提出分层知识蒸馏方法，在声学和语言两个层面将预训练语言模型的知识迁移到基于CIF的语音识别器，在AISHELL-1和LibriSpeech上分别降低15%和9%的相对错误率。
2023-05-28 cs.AI cs.CL cs.SD
Stable Distillation: Regularizing Continued Pre-training for Low-Resource Automatic Speech Recognition
IIT Madras（印度理工学院马德拉斯分校）；University of Maryland（马里兰大学）
针对低资源ASR，提出稳定蒸馏方法，以自蒸馏作为持续预训练的正则化，缓解过拟合，并在多种实验设置下将WER降低0.8至7。
2023-12-20 cs.AI cs.CL cs.SD
Noise robust distillation of self-supervised speech models via correlation metrics
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research (I2R)（资讯通信研究院）；National Taiwan University（国立台湾大学）；ASUS Intelligent Cloud Services（华硕智能云端服务）；Speech Lab of DAMO Academy, Alibaba Group（阿里巴巴达摩院语音实验室）
针对小型蒸馏语音模型噪声鲁棒性下降的问题，提出基于相关性度量的蒸馏方法，结合互相关最大化与自相关最小化提升鲁棒性，还设计了权重自动调整启发式策略，在SUPERB多任务上实现干净与噪声场景泛化能力的提升。
2023-12-19 cs.SD eess.AS
LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization
Department of Artificial Intelligence, Korea University（韩国大学人工智能系）；Multi-modal Model Training, Kakao Corp（Kakao公司多模态模型训练部）
提出LM-SPT方法，通过语义语音重合成蒸馏，在不降低帧率的情况下生成与语言模型更对齐的离散语音标记，在ASR和TTS任务中优于现有方法。
2026-06-16 cs.AI cs.CL cs.SD
Knowledge distillation from language model to acoustic model: a hierarchical multi-task learning approach
Hanyang University（汉阳大学）
使用自监督学习的预训练语言模型（LM）的显著性能导致了自然语言处理研究的重大范式转变。与这些变化相一致，利用具有大规模基于深度学习的LM的语音识别系统的性能是语音识别研究的主要课题。在将LM应用于语音识别系统的各种方法中，在本文中，我们专注于跨模态知识蒸馏方法，该方法在具有不同模态的两种类型的深度神经网络之间传输知识。我们提出了一个声学模型结构与多个辅助输出层的跨模态蒸馏和证明，所提出的方法有效地弥补了现有的标签插值蒸馏方法的缺点。此外，我们将所提出的方法扩展到分层蒸馏方法，使用在不同单位（句音，单音和子词）训练的LM，并通过消融研究揭示了分层蒸馏方法的有效性。
2021-10-20 cs.CL cs.LG cs.SD
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon（亚马逊公司）；Rasa Technologies（Rasa科技公司）
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据，并评估两种说话模式的匹配测试集：无声和模态语音。我们观察到，与模态语音识别相比，来自成像数据的无声语音识别表现不佳，这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术，如fMLLR和无监督模型自适应，来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间，我们计算从超声舌图像中提取的舌样条的凸包。总的来说，我们观察到，沉默语的持续时间比情态语的持续时间长，并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义，但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Inter-KD: Intermediate Knowledge Distillation for CTC-Based Automatic Speech Recognition
Seoul National University（首尔大学）
最近，深度学习的进步在端到端语音识别领域带来了相当大的改进，简化了传统的管道，同时产生了有希望的结果。在端到端模型中，基于联结主义时态分类（CTC）的模型由于其非自回归性质而引起了研究兴趣。然而，这样的CTC模型需要大量的计算成本来实现出色的性能。为了减轻计算负担，我们提出了一个简单而有效的知识蒸馏（KD）的CTC框架，即跨KD，另外转移教师的知识到学生网络的中间CTC层。从LibriSpeech上的实验结果来看，我们验证了Inter-KD与传统KD方法相比具有更好的效果。在不使用任何语言模型（LM）和数据增强的情况下，Inter-KD将单词错误率（WER）性能从8.85%提高到了6.30%。
2022-11-28 cs.SD eess.AS
Knowledge Distillation Leveraging Alternative Soft Targets from Non-Parallel Qualified Speech Data
IBM Research AI（IBM研究院人工智能部门）
本文描述了一种新的知识蒸馏框架，利用声学合格的语音数据包括在现有的训练数据池作为特权信息。在我们提出的框架中，一个学生网络的训练与多个软目标为每个话语，包括主要的软目标从原始扬声器的话语和替代目标从其他扬声器的话语在更好的声学条件下发言作为辅助视图。这些合格的话语从其他扬声器，用于产生更好的软目标，收集从一个合格的数据池，通过使用严格的限制，在字/电话/状态持续时间。我们提出的方法是一种形式的目标侧数据增强，创建多个副本的数据与相应的更好的软目标从一个合格的数据池。我们在声学模型自适应设置下的实验表明，所提出的方法，利用更好的软目标从各种扬声器，可以进一步提高识别精度相比，传统的方法只使用软目标从原始扬声器。
2021-12-16 cs.SD eess.AS
Knowledge Transfer and Distillation from Autoregressive to Non-Autoregressive Speech Recognition
Shanghai Jiao Tong University（上海交通大学）
现代非自回归（NAR）语音识别系统的目标是加快推理速度，但与自回归（AR）模型相比，它们的性能下降，并且存在模型规模过大的问题。我们提出了一种新的知识转移和蒸馏架构，利用AR模型的知识，以提高NAR的性能，同时减少模型的大小。框架级和序列级目标是为迁移学习精心设计的。为了进一步提高NAR的性能，提出了一种基于Mask-CTC的束搜索方法，以扩大推理阶段的搜索空间。实验结果表明，NAR束搜索在允许的实时因子RTF增量下，相对于AISHELL-1基准测试，CER降低了5%以上。通过知识转移，与AR老师身材相同的NAR学生在AISHELL-1开发/测试集上获得了8/16%的相对CER减少，在LibriSpeech测试干净/其他集上获得了超过25%的相对WER减少。此外，在AISHELL-1和LibriSpeech基准测试中，通过提出的知识转移和蒸馏，约9倍小的NAR模型实现了约25%的相对CER/WER降低。
2022-07-15 cs.SD eess.AS
Knowledge Distillation from BERT Transformer to Speech Transformer for Intent Classification
National University of Singapore（新加坡国立大学）
使用语音的端到端意图分类与使用自动语音识别（ASR）、随后是自然语言处理模块的常规流水线方法相比具有许多优点。它试图在不使用中间ASR模块的情况下从语音中预测意图。然而，这样的端到端框架遭受在口语语言理解中具有较高声学变化的大语音资源的不可用。在这项工作中，我们利用范围的Transformer蒸馏方法，专门设计用于知识蒸馏从Transformer为基础的语言模型的Transformer为基础的语音模型。在这方面，我们利用可靠的和广泛使用的双向编码器表示从Transformers（BERT）模型作为语言模型和转移的知识，以建立一个声学模型使用语音的意图分类。特别是，一个多级Transformer为基础的教师-学生模型的设计，和知识蒸馏进行跨注意和隐藏的子层的不同Transformer层的学生和教师模型。我们实现了一个意图分类准确率为99.10%和88.79%的流利的语音语料库和ATIS数据库，分别。此外，所提出的方法表现出更好的性能和鲁棒性在声学退化的条件下相比，基线方法。
2021-08-05 cs.CL cs.HC
A Change of Heart: Improving Speech Emotion Recognition through Speech-to-Text Modality Conversion
Sharif University of Technology（谢里夫理工大学）
针对语音情感识别任务，提出语音到文本的模态转换思路，通过两种转换方法在MELD数据集上验证，其中理想ASR下的方法超越现有语音类SOTA的加权F1得分，展现模态转换的应用潜力。
2023-07-21 cs.CL cs.LG cs.SD
QUADS: QUAntized Distillation Framework for Efficient Speech Language Understanding
Worcester Polytechnic Institute（沃斯特理工大学）
针对口语语言理解系统中蒸馏与量化分开应用导致压缩效果欠佳的问题，提出统一框架QUADS，通过多阶段训练优化两者，在SLURP和FSC数据集上实现高效压缩且仅出现轻微性能下降。
2025-05-19 cs.AI cs.CL cs.LG
Sequence-Level Knowledge Distillation for Model Compression of Attention-based Sequence-to-Sequence Speech Recognition
Tokyo Institute of Technology（东京工业大学）
本文研究了大词汇量连续语音识别（LVSCR）中序列到序列（Seq 2Seq）模型的序列级知识蒸馏的可行性。我们首先使用预先训练的更大的教师模型通过束搜索为每个话语生成多个假设。使用相同的输入，我们然后使用从教师生成的这些假设作为伪标签来代替原始的地面真实标签来训练学生模型。我们使用华尔街日报（WSJ）语料库评估我们提出的方法。它实现了高达$ 9.8 \times$参数减少与高达7.0\%的字-出错率（WER）增加的准确性损失
2018-11-12 cs.CL
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tongji University（同济大学）；Microsoft（微软）；Peng Cheng Laboratory（鹏城实验室）
受T5（Text-To-Text Transfer Transformer）在预训练自然语言处理模型中的成功启发，我们提出了一个统一模态SpeechT5框架，该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态（语音/文本）的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后，共享的编码器-解码器网络对序列到序列的变换进行建模，然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据，我们对SpeechT5进行了预训练，以学习统一的模态表示，希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中，我们提出了一种跨模态矢量量化方法，该方法将语音/文本状态与潜在单元随机混合，作为编码器和解码器之间的接口。广泛的评估表明，所提出的SpeechT5框架在各种各样的口头语言处理任务，包括自动语音识别，语音合成，语音翻译，语音转换，语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation
CLSP JHU（杰斯罗大学计算机科学与工程系）；HLTCOE JHU（杰斯罗大学人类语言技术与计算机工程系）；Xiaomi（小米公司）
提出HENT-SRT框架，通过任务分解、CTC一致性自蒸馏、层级高效编码器及空白惩罚，在保持ASR性能的同时提升语音翻译质量并降低训练成本。
2025-06-02 cs.CL eess.AS
Adaptive Knowledge Distillation for Device-Directed Speech Detection
Apple（苹果公司）；Meta
提出自适应知识蒸馏方法，利用ASR预训练编码器作为教师，通过任务适配器提升设备定向语音检测的准确率，在关键词和免关键词场景下EER分别降低26%和19%，并适用于多种模型架构。
2025-08-04 cs.AI cs.SD eess.AS
Speech Emotion: Investigating Model Representations, Multi-Task Learning and Knowledge Distillation
Apple（苹果公司）
在过去的几年里，从声学语音信号中估计维度情感，如激活，效价和优势，已经被广泛探索。虽然从言语中准确估计激活和支配似乎是可能的，但对效价的估计仍然具有挑战性。以往的研究表明，使用词汇信息可以提高配价估计的性能。词汇信息可以从预先训练的声学模型中获得，其中学习的表示可以改善语音的效价估计。我们研究使用预训练的模型表示来改进声学语音信号的效价估计。我们还探讨了表征的融合，以提高所有三个情感维度的情感估计：激活，效价和优势。此外，我们还研究了预训练模型的表示是否可以提取到使用低级特征训练的模型中，从而产生具有较少参数的模型。我们发现，与标准声学特征基线（mel滤波器组能量）相比，预训练模型嵌入的融合导致效价估计的一致性相关系数CCC相对提高了79%，而从预训练模型嵌入到低维表示的蒸馏产生了相对12%的改善。在两个评估集上观察到这样的性能增益，这表明我们提出的架构在这些评估集上具有普遍性。我们报告新的国家的最先进的“无文本”的声音只有维度情感估计$CCC$值的两个MSP播客评估集。
2022-07-02 cs.AI cs.CL cs.LG
Knowledge Distillation from Multiple Foundation Models for End-to-End Speech Recognition
虽然通过自监督学习预训练的大型基础模型在包括自动语音识别（ASR）在内的许多任务中已经实现了最先进的性能，但在实践中通常需要知识蒸馏（KD）将大型教师模型学习到的知识转移到具有可承受的计算和存储成本的更小的学生模型中。本文提出了一种新的两阶段KD框架，从多个语音基础模型作为教师到一个单一的学生神经传感器模型的ASR的知识。在第一阶段，学生模型编码器使用从多个教师模型提取的嵌入进行预训练。在第二阶段，学生编码器根据ASR任务使用音频文本对进行微调。LibriSpeech 100小时子集上的实验表明，当只使用一个教师时，所提出的KD框架提高了流媒体和非流媒体学生模型的性能。当多个教师联合使用时，学生模型的性能可以进一步提高，单词错误率降低17.5%和10.6%。我们提出的框架可以与其他现有的KD方法相结合，以实现进一步的改进。通过在编码器预训练期间合并额外的未标记数据来获得进一步的WERR，从而在非流学生模型上获得55.0%的总相对WERR。
2023-03-20 cs.SD eess.AS
WavSLM: Single-Stream Speech Language Modeling via WavLM Distillation
Concordia University（康科迪亚大学）；Mila-Quebec AI Institute（蒙特利尔AI研究所）；Université Laval（拉瓦尔大学）
提出WavSLM，通过量化蒸馏WavLM自监督表示到单一码本并优化自回归下一块预测，实现无文本监督的单流语音语言建模，在一致性和生成任务上表现竞争。
2026-06-16 cs.AI cs.CL cs.LG
JEP-KD: Joint-Embedding Predictive Architecture Based Knowledge Distillation for Visual Speech Recognition
First Research Institute of the Ministry of Public Security of PRC（中华人民共和国公安部第一研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出JEP-KD方法，通过在嵌入层引入生成网络并利用预训练ASR音频特征进行知识蒸馏，配合多模态多阶段训练，有效缩小视觉语音识别与自动语音识别的性能差距，并验证了其跨平台通用性。
2024-03-04 cs.CL cs.CV cs.LG
Multi-Teacher Distillation for Cross-Domain Streaming Electrolaryngeal Speech Encoding
Graz University of Technology（格拉茨技术大学）；Medical University of Vienna（维也纳医科大学）
提出多教师蒸馏框架训练轻量流式编码器，融合SSL离散目标和EL微调连续特征，将EL词错误率从39.3%降至21.2%，Mel-Conformer实现最佳效率与精度平衡。
2026-09-17 cs.SD
Cross-Modal Knowledge Distillation Method for Automatic Cued Speech Recognition
Tianjin University（天津大学）；Tianjin International Engineering Institute, Tianjin University（天津大学天津国际工程师学院）；Institute of Linguistics, Chinese Academy of Social Science（中国社会科学院语言研究所）；Shenzhen Research Institute of Big Data, the Chinese University of Hong Kong（香港中文大学（深圳）深圳市大数据研究院）
提示语音（CS）是为聋人或听力障碍者设计的一种视觉交流系统。它结合了嘴唇运动与手的线索，以获得一个完整的语音剧目。当前基于深度学习的CS自动识别方法存在一个共同的问题，即数据稀缺。到目前为止，只有法语（238句）和英国英语（97句）的两个公共单说话者数据集。在这项工作中，我们提出了一个跨模态的知识蒸馏方法与师生结构，该方法将音频语音信息转移到CS，以克服有限的数据问题。首先，我们使用大量开源音频语音数据预训练CS识别的教师模型，同时使用CS数据预训练嘴唇和手的特征提取器。然后，采用框架级和序列级的知识提取策略，将教师模型中的知识提取到学生模型中。重要的是，对于帧级，我们利用多任务学习来自动权衡损失，以获得平衡系数。此外，我们首次建立了一个五人的英式英语CS数据集。该方法在法国和英国英语CS数据集上进行了评估，显示出优越的CS识别性能，以最先进的（SOTA）的大幅度。
2021-06-25 cs.MM cs.SD eess.AS
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性，但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中，我们提出了u-HuBERT，这是一个自监督的预训练框架，可以利用多模态和单峰语音，并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃，我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外，我们的模型微调音频可以很好地执行视听和视觉语音输入，实现zero-shot模态泛化多个语音处理任务。特别是，我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
Distilling Knowledge from Ensembles of Acoustic Models for Joint CTC-Attention End-to-End Speech Recognition
University of Cambridge（剑桥大学）；Avignon University（阿维尼翁大学）；Samsung AI（三星人工智能）
知识蒸馏已被广泛用于压缩现有的深度学习模型，同时在广泛的应用中保持性能。在自动语音识别（ASR）的特定背景下，最近从声学模型的集合中提取在提高识别性能方面显示出有希望的结果。在本文中，我们提出了一个扩展的多教师蒸馏方法联合CTC注意端到端ASR系统。我们还介绍了三种新的蒸馏策略。他们背后的核心直觉是将出错率指标整合到教师选择中，而不是仅仅关注观察到的损失。通过这种方式，我们直接提取和优化学生对语音识别的相关度量。我们在不同的数据集（TIMIT，Librispeech，Common Voice）和各种语言（英语，法语，意大利语）上选择训练程序来评估这些策略。特别是，国家的最先进的出错率的共同语音法语，意大利语和TIMIT数据集的报告。
2021-07-04 cs.LG cs.SD eess.AS
Distillation-based Layer Dropping (DLD): Effective End-to-end Framework for Dynamic Speech Networks
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·克塞勒基金会）；Johannes Kepler University Linz（林茨约翰尼斯·开普勒大学）；MBZUAI U.A.E.（阿联酋MBZUAI）；Linz Institute of Technology（林茨技术研究所）
本文提出基于知识蒸馏的层丢弃框架，通过端到端方法提升动态语音网络的性能，减少词错误率并降低训练时间。
2026-01-27 cs.CV cs.SD
USAD: Universal Speech and Audio Representation via Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
USAD通过从领域特定SSL模型进行逐层蒸馏，将语音、声音和音乐统一到一个音频表示模型中，在SUPERB和HEAR等基准上以单一编码器取得接近最先进水平的性能。
2025-08-18 cs.CL cs.SD eess.AS
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器，通过捕获噪声无关的表现力表征，在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
Adaptive Knowledge Distillation between Text and Speech Pre-trained Models
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
在大量语音语料库上学习导致了许多自监督语音模型最近的成功。通过知识蒸馏，这些模型还可以受益于由语言模型编码的知识，这些语言模型是在丰富的文本源上预先训练的。然而，由于文本和语音嵌入空间之间的模态差异，蒸馏过程具有挑战性。本文研究了基于度量的提取方法，在不改变模型结构的情况下，利用少量数据对齐文本和语音的嵌入空间。由于文献中忽略了文本和语音之间的语义和粒度差距，这损害了蒸馏，我们提出了先验信息自适应知识蒸馏（PAD），自适应地利用可变粒度和先验分布的文本/语音单元，以实现文本和语音预训练模型之间更好的全局和局部对齐。我们对三个口语语言理解基准进行了评估，结果表明，PAD在传递语言知识方面比其他基于度量的蒸馏方法更有效。
2023-03-07 cs.CL cs.LG cs.SD
BLSP-KD: Bootstrapping Language-Speech Pre-training via Knowledge Distillation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Alibaba Group（阿里巴巴集团）；Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
BLSP-KD通过知识蒸馏优化语音-文本对齐，并采用连续积分-触发策略实现细粒度对齐，引入PLoRA适配方法，使LLM在语音输入下优于端到端基线和级联系统。
2024-05-29 cs.CL cs.SD eess.AS
Efficient Interleaved Speech Modeling through Knowledge Distillation
Nlpie Research University of Zurich（Nlpie研究所 瑞士苏黎世大学）
针对语音语言模型规模大、延迟高难以部署的问题，提出层对齐知识蒸馏方法，推出2B参数的TinyWave模型家族，在多项基准上接近教师模型性能，优于同规模基线，适配消费级硬件并开源相关资源。
2025-10-21 cs.CL cs.SD eess.AS
DPHuBERT: Joint Distillation and Pruning of Self-Supervised Speech Models
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）
本文提出任务无关的语音自监督模型压缩方法 DPHuBERT，通过联合蒸馏与剪枝在 SUPERB 上超越纯蒸馏方法，训练开销低且适用于资源受限场景。
2023-05-28 cs.CL cs.SD eess.AS
Efficient Speech Translation through Model Compression and Knowledge Distillation
ADAPT Centre School of Computer Science and Statistics（ADAPT中心计算机科学与统计学学院）
针对大型音频语言模型计算需求大的问题，本文结合迭代层剪枝、QLoRA和知识蒸馏，在IWSLT 2025模型压缩赛道中使Qwen2-Audio-7B-Instruct的参数与存储减半，且保留97-100%翻译质量。
2025-06-02 cs.CL cs.SD eess.AS
Multi-Teacher Language-Aware Knowledge Distillation for Multilingual Speech Emotion Recognition
Department of lnformation and Communications Engineering（信息与通信工程系）
本文提出一种多教师语言感知知识蒸馏方法，用于提升英语、芬兰语和法语的语音情感识别性能，通过蒸馏多个教师模型的知识，实现多语言情感识别的高召回率。
2025-06-10 cs.CL cs.SD eess.AS
Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation
Kyoto University（京都大学）；Johns Hopkins University（约翰霍普金斯大学）
提高端到端语音翻译（E2 E-ST）模型的性能的常规方法是经由预训练和与自动语音识别（ASR）和神经机器翻译（NMT）任务的联合训练来利用源转录。然而，由于输入方式不同，很难成功地利用源语言文本。在这项工作中，我们专注于序列级知识蒸馏（SeqKD）从外部基于文本的NMT模型。为了充分利用源语言信息的全部潜力，我们提出了后向SeqKD，SeqKD来自目标到源的后向NMT模型。为此，我们训练一个双语E2 E-ST模型，以预测释义transmittance作为一个辅助任务与单个解码器。通过回译从双文本中的译文生成释义。我们进一步提出了双向SeqKD，其中组合了来自前向和后向NMT模型的SeqKD。在自回归和非自回归模型上的实验评估表明，SeqKD在每个方向上都一致地提高了翻译性能，并且无论模型容量如何，其有效性都是互补的。
2021-04-13 cs.CL cs.SD eess.AS
Sub-Band Knowledge Distillation Framework for Speech Enhancement
Inner Mongolia University（内蒙古大学）；Sogou Inc.（搜狗公司）；Westlake University（西湖大学）
在单通道语音增强中，基于全频带谱特征的语音增强方法得到了广泛的研究。然而，只有少数方法关注非全波段光谱特征。本文提出了一种基于子带谱映射的单通道语音增强知识提取框架。具体来说，我们将整个频段划分为多个子带，并为每个子带预训练精英级子带增强模型（教师模型）。这些教师模型专用于处理它们自己的子带。其次，在教师模型的指导下，我们训练了一个通用的子带增强模型（学生模型），适用于所有的子带。在不增加模型参数数量和计算复杂度的情况下，进一步提高了学生模型的性能。为了评估我们提出的方法，我们在一个开源数据集上进行了大量的实验。最后的实验结果表明，从精英级教师模型的指导显着提高学生模型的性能，它超过了全带模型，采用更少的参数。
2020-10-29 cs.CL cs.SD eess.AS
End-to-End Speech-Translation with Knowledge Distillation: FBK@IWSLT2020
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
本文介绍了FBK参与IWITH 2020离线语音翻译（ST）任务的情况。该任务评估系统将英语TED演讲音频翻译成德语文本的能力。测试会谈有两个版本：一个包含已经用自动工具分割的数据，另一个是没有任何分割的原始数据。参与者可以决定是否进行自定义细分。我们使用提供的分割。我们的系统是一个端到端的模型的基础上适应的Transformer的语音数据。它的训练过程是本文的主要重点，它基于：i）迁移学习（ASR预训练和知识蒸馏），ii）数据增强（SpecAugment，时间拉伸和合成数据），iii）将合成和真实数据标记为不同的域，iv）使用CTC损失的多任务学习。最后，在单词级知识蒸馏的训练完成后，我们的ST模型使用标签平滑交叉熵进行微调。我们最好的模型在Must-C En-De测试集上获得了29 BLEU，与最近的论文相比，这是一个很好的结果，并且在使用VAD分割的相同数据上获得了23.7 BLEU，这表明需要研究解决这种特定数据条件的解决方案。
2020-06-04 cs.CL cs.SD eess.AS
Decouple Non-parametric Knowledge Distillation For End-to-end Speech Translation
University of Information Engineering（信息工程大学）；Tsinghua University（清华大学）
针对无转写文本场景下的端到端语音翻译数据效率问题，提出 DNKD，利用 kNN 非参数数据存储替代 MT 教师，并解耦蒸馏损失以利用暗知识，在 MuST-C 上持续超越强基线。
2023-04-20 cs.CL cs.SD eess.AS
Fast Speech Foundation Model Distillation Using Interleaved Stacking
IPAI；AIIS；Dept. of Intelligence and Information（智能与信息系）
提出交错堆叠方法加速语音基础模型蒸馏训练，通过保持层位置一致性解决性能下降问题，在SUPERB上验证有效性。
2026-06-17 cs.AI cs.CL cs.SD
FitHuBERT: Going Thinner and Deeper for Knowledge Distillation of Speech Self-Supervised Learning
KAIST（韩国科学技术院）
大规模语音自监督学习（SSL）已经成为语音处理的主流领域，然而其庞大的规模所带来的计算代价问题使得学术界的进入门槛很高。此外，语音SSL模型的现有蒸馏技术通过减少层来压缩模型，这导致语言模式识别任务（例如音素识别（PR））的性能下降。在本文中，我们提出了FitHuBERT，这使得更薄的尺寸在几乎所有的模型组件和更深的层相比，以前的语音SSL蒸馏工程。此外，我们采用了一个时间减少层，以加快推理时间，并提出了一种基于提示的蒸馏方法，以减少性能下降。与HuBERT相比，我们的方法将模型的大小减少到23.8%，推理时间减少到35.9%。此外，我们实现了12.1%的单词错误率和13.3%的音素错误率的SUPERB基准，这是优于以前的工作。
2022-07-01 cs.CL cs.LG eess.AS
DistilHuBERT: Speech Representation Learning by Layer-wise Distillation of Hidden-unit BERT
National Center for High-performance Computing（国家高速网络与计算中心）；National Applied Research Laboratories（国家实验研究院）
像wav2vec 2.0和隐藏单元BERT（HuBERT）这样的自监督语音表示学习方法利用未标记的语音数据进行预训练，并为许多语音处理任务提供良好的表示。尽管这些方法取得了成功，但它们需要大量的内存和高昂的预训练成本，这使得学术界和小公司的研究人员无法使用它们。因此，本文引入了DistilHuBERT，一种新的多任务学习框架，直接从HuBERT模型中提取隐藏的表示。这种方法将HuBERT的大小减少了75%，同时在10个不同的任务中保持了最高的性能。此外，DistilHuBERT只需要很少的训练时间和数据，为预先训练个人和设备上的语音SSL模型提供了可能性。
2022-04-28 cs.CL eess.AS
Intra- and Inter-modal Context Interaction Modeling for Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）
针对对话语音合成中多模态历史与目标语句交互建模不足的问题，本文提出III-CSS系统，通过四种模态组合和对比学习模块显式建模模态内与模态间交互，在DailyTalk上取得了更优的韵律表现力。
2024-12-25 cs.CL cs.SD eess.AS
SKILL: Similarity-aware Knowledge distILLation for Speech Self-Supervised Learning
Sony Europe B.V.（索尼欧洲有限公司）
SKILL提出基于层相似性层次聚类的跨层组知识蒸馏方法，用于压缩语音自监督模型，在30M参数级别多个SUPERB任务上超越DPHuBERT并达到最先进性能。
2024-02-26 cs.CL cs.LG cs.SD
Learning Speech Attribute Representations via Multi-Teacher Distillation
LIA Avignon Université（阿维尼翁大学LIA实验室）
本研究提出多属性多教师蒸馏框架，用共享SSL骨干从四个冻结教师模型学习多类语音属性表示，实验显示其性能接近专用单任务模型，还揭示了语音属性在编码器不同深度的分布规律。
2026-10-16 cs.CL
Sentence-wise Speech Summarization: Task, Datasets, and End-to-End Modeling with LM Knowledge Distillation
NTT Corporation（NTT公司）
本文提出逐句语音摘要任务及两个数据集，并针对端到端模型性能不足的问题，引入基于级联模型伪摘要的知识蒸馏方法，在两个数据集上有效提升了端到端模型的摘要性能。
2024-08-01 cs.CL eess.AS
On Knowledge Distillation for Direct Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；AppTek
直接语音翻译（ST）已被证明是一个复杂的任务，需要从它的子任务：自动语音识别（ASR）和机器翻译（MT）的知识转移。对于机器翻译来说，知识蒸馏是最有前途的知识转移技术之一。在本文中，我们比较了不同的解决方案，以提取知识的序列到序列的任务，如ST。此外，我们分析了这种方法的最终缺点，以及如何减轻他们保持翻译质量方面的好处。
2020-12-09 cs.CL
