Self-Supervised Learning for Multi-Channel Neural Transducer
Advanced Media, Inc.（Advanced Media公司）
本文研究基于 wav2vec 2.0 的多通道神经转录器自监督学习方法，比较三种特征量化策略，发现逐特征量化最优，在远场内部数据集上字符错误率相对降低 66%。
2024-08-06 cs.CL cs.SD eess.AS
Conformer with dual-mode chunked attention for joint online and offline ASR
在本文中，我们提出了一个深入的研究在线注意机制和蒸馏技术的双模的【形】（即，联合在线和离线）使用Conformer传感器的ASR。在双模的【形】Conformer Transducer模型中，各层可以在线或离线工作，同时共享参数，并在训练中应用从离线到在线模式的就地知识蒸馏，以提高在线精度。在我们的研究中，我们首先证明了在Conformer编码器中使用分块注意力与有和没有前瞻的自回归注意力相比的准确性提高。此外，我们探讨了有效的KLD和1-最好的KLD损失与不同的移动之间的在线和离线输出的知识蒸馏。最后，我们表明，一个简化的双模的【形】构象，只有模式特定的自注意力，以及一个也有模式特定的卷积和归一化。我们的实验是基于两个非常不同的数据集：Librispeech任务和医疗对话的内部语料库。结果表明，所提出的双模式系统，使用组块注意力产生5%和4%的相对WER改善的Librispeech和医疗任务，相比，双模的【形】系统，使用自回归注意力与类似的平均前瞻。
2022-06-22 eess.AS
Synergistic Effects of Knowledge Distillation and Structured Pruning for Self-Supervised Speech Models
本文研究在自监督语音模型中结合知识蒸馏与低秩分解、l0正则化等剪枝技术，并提出联合剪枝与训练RNN-T ASR模型的策略，显著降低流式与非流式ASR的词错误率。
2025-02-09 eess.AS
Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition
Samsung Research（三星研究院）
智能设备中较小的内存带宽促使开发较小的自动语音识别（ASR）模型。为了获得较小的模型，可以采用模型压缩技术。知识蒸馏（KD）是一种流行的模型压缩方法，它可以实现较小的模型大小，同时降低模型性能。在这种方法中，知识是从一个受过训练的大尺寸的教师模型提取到一个较小尺寸的学生模型。此外，基于换能器的模型最近已被证明对于设备上流式传输ASR任务表现良好，而一致性模型在处理长期依赖性方面是有效的。因此，在这项工作中，我们采用了一个流传感器架构与conformer作为编码器。我们提出了一个多阶段的渐进方法来压缩的构象换能器模型使用KD。我们逐步更新我们的教师模型与蒸馏学生模型在多阶段设置。在标准LibriSpeech数据集上，我们的实验结果成功地实现了大于60%的压缩率，与较大的教师模型相比，性能没有显着下降。
2022-10-01 cs.LG cs.SD eess.AS
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple（苹果公司）
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中，我们研究如何优化基于神经传感器的双语自动语音识别（ASR）模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况，我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能，并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率（MER）的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比，以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Predicting Multi-Codebook Vector Quantization Indexes for Knowledge Distillation
Xiaomi Corp.（小米公司）；Meaning.Team Inc（Meaning.Team公司）
知识蒸馏（KD）是在自动语音识别（ASR）中提高模型性能的常用方法，其中学生模型被训练成模仿教师模型的输出行为。然而，传统的知识库方法存在教师标签存储问题，特别是当训练语料库很大时。虽然动态教师标签生成解决了这个问题，但训练速度明显较慢，因为教师模型必须在每个批次进行评估。在本文中，我们重新制定的教师标签的生成作为一个编解码器的问题。我们提出了一种新的多码本矢量量化（MVQ）的方法，压缩教师嵌入码本索引（CI）。在此基础上，提出了一个KD训练框架（MVQ-KD），其中学生模型预测从自监督预训练教师模型的嵌入中生成的CI。在LibriSpeech clean-100 hour上的实验表明，MVQ-KD框架实现了与传统KD方法（l1，l2）相当的性能，同时需要的存储量减少了256倍。当使用完整的LibriSpeech数据集时，MVQ-KD框架导致非流式转换器在测试-干净和测试-其他上的相对字错误率降低13.8%和8.2%，以及流式转换器的4.0%和4.9%。这项工作的实现已经作为开源项目icefall的一部分发布。
2022-10-31 cs.CL cs.SD eess.AS
Distillation and Pruning for Scalable Self-Supervised Representation-Based Speech Quality Assessment
Institute of Electronic Music and Acoustics（电子音乐与声学研究所）；Microsoft Research（微软研究院）
针对基于自监督表示的非侵入式语音质量评估模型尺寸问题，研究蒸馏与剪枝方法，通过在大规模MOS数据集重训练XLS-R-SQA作为教师模型生成伪标签训练学生模型，结合数据驱动剪枝，实现小模型尺寸下有效缩小与教师模型的性能差距。
2025-02-07 cs.SD eess.AS
On-Device Constrained Self-Supervised Speech Representation Learning for Keyword Spotting via Knowledge Distillation
University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）；Zoom Video Communications, Inc.（祖姆视频通信公司）
本文提出基于知识蒸馏的设备端自监督语音表示学习架构，通过师生框架和双视图互相关蒸馏，在资源受限条件下实现高效关键词识别。
2023-07-06 cs.CL cs.SD eess.AS
Pushing the limits of self-supervised speaker verification using regularized distillation framework
Speech Lab of DAMO Academy, Alibaba Group（阿里巴巴集团达摩院语音实验室）
本文针对无标签说话人验证任务，应用非对比自监督框架DINO并引入保证多样性与去相关变量的两个正则化项，结合时频域数据增强，在VoxCeleb上实现了单阶段自监督设置下的最优性能。
2023-08-03 cs.SD eess.AS
One-Step Knowledge Distillation and Fine-Tuning in Using Large Pre-Trained Self-Supervised Learning Models for Speaker Verification
University of Seoul（首尔大学）
针对说话人验证中大型SSL模型计算成本高的问题，提出OS-KDFT，在知识蒸馏中同步面向SV微调学生模型，实现显著压缩、加速与低EER。
2023-06-08 cs.SD eess.AS
FitHuBERT: Going Thinner and Deeper for Knowledge Distillation of Speech Self-Supervised Learning
KAIST（韩国科学技术院）
大规模语音自监督学习（SSL）已经成为语音处理的主流领域，然而其庞大的规模所带来的计算代价问题使得学术界的进入门槛很高。此外，语音SSL模型的现有蒸馏技术通过减少层来压缩模型，这导致语言模式识别任务（例如音素识别（PR））的性能下降。在本文中，我们提出了FitHuBERT，这使得更薄的尺寸在几乎所有的模型组件和更深的层相比，以前的语音SSL蒸馏工程。此外，我们采用了一个时间减少层，以加快推理时间，并提出了一种基于提示的蒸馏方法，以减少性能下降。与HuBERT相比，我们的方法将模型的大小减少到23.8%，推理时间减少到35.9%。此外，我们实现了12.1%的单词错误率和13.3%的音素错误率的SUPERB基准，这是优于以前的工作。
2022-07-01 cs.CL cs.LG eess.AS
Robust Knowledge Distillation from RNN-T Models With Noisy Training Labels Using Full-Sum Loss
Google（谷歌）
本文研究了知识蒸馏（KD）问题，并针对递归神经网络转换器（RNN-T）模型提出了知识蒸馏的约束条件。在硬蒸馏中，教师模型转录大量未标记的语音来训练学生模型。软蒸馏是另一种流行的KD方法，它提取教师模型的输出logits。由于RNN-T比对的性质，在具有不同后验分布的RNN-T架构之间应用软蒸馏是具有挑战性的。此外，高错字率的差教师会降低KD的效能。我们研究如何有效地提取知识的可变质量ASR教师，这还没有被研究之前，我们的知识。我们证明了序列级KD，全和蒸馏，优于RNN-T模型的其他蒸馏方法，特别是对于糟糕的教师。我们还提出了一个变种的全和蒸馏，蒸馏的顺序判别知识的老师，导致进一步改善WER。我们在公共数据集SpeechStew和LibriSpeech以及内部生产数据上进行实验。
2023-03-10 cs.CL cs.SD eess.AS
Ensemble knowledge distillation of self-supervised speech models
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
近年来，蒸馏自监督模型显示出具有竞争力的性能和效率。然而，在联合提取多个自监督语音模型方面缺乏经验。在我们的工作中，我们对各种自监督语音模型（如HuBERT，RobustHuBERT和WavLM）进行了Ensemble Knowledge Distillation（EKD）。我们尝试了两种不同的聚合技术，分层平均和分层连接，不同的教师模型的表示，发现前者是更有效的。在此基础上，我们提出了一种学生模型的多预测头方法，可以同时预测多个教师模型的不同层输出。实验结果表明，该方法在SUPERB测试的隐藏集跟踪下，提高了提取模型在音素识别、说话人识别、情感识别和自动语音识别四个下游语音处理任务上的性能。
2023-02-24 cs.CL cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Masked Self-distilled Transducer-based Keyword Spotting with Semi-autoregressive Decoding
MoE Key Lab of Artificial Intelligence, AI Institute, X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China（人工智能大模型实验室、人工智能研究院、X-LANCE实验室、上海交通大学）；Taobao & Tmall Group of Alibaba, China（阿里巴巴淘宝与天猫集团）
本文提出掩码自蒸馏训练策略和半自回归解码方法，有效缓解了RNN-T关键词检测中的过拟合问题，并融合了自回归与非自回归解码的优势以保持卓越性能。
2025-05-30 cs.SD eess.AS
Pushing the Frontiers of Self-Distillation Prototypes Network with Dimension Regularization and Score Normalization
Alibaba GroupChina（阿里巴巴集团）
本研究针对无标签说话人验证中自监督与监督方法的性能差距，通过为自蒸馏原型网络添加维度正则化解决坍缩问题、结合分数归一化技术，在VoxCeleb1基准上大幅刷新自监督说话人验证的最优性能。
2025-05-20 cs.SD eess.AS
A comprehensive study on self-supervised distillation for speaker representation learning
Shanghai Jiao Tong University（上海交通大学）；Microsoft Cognitive Services Research（微软认知服务研究部）
在实际应用场景中，由于说话人隐私问题，获取大量的标记数据用于说话人表示学习往往是一个挑战。无标签的自监督学习是解决这一问题的一种很有前途的方法，与对比学习相比，自提炼学习方法只使用损失函数中的正样本，因而更具吸引力。在本文中，我们提出了一个全面的研究自蒸馏自监督说话人表示学习，特别是关键数据增强。我们提出的音频扰动增强策略将扬声器表示的性能推向了一个新的极限。实验结果表明，我们的模型可以实现一个新的SoTA上Voxceleb 1说话人确认评估基准（即，相等的出错率（EER），对于试验Vox 1-O、Vox 1-E和Vox 1-H分别为2.505%、2.473%和4.791%），在训练阶段丢弃任何说话者标签。
2022-11-25 cs.SD eess.AS
UNFUSED: UNsupervised Finetuning Using SElf supervised Distillation
University of Maryland, College Park（马里兰大学帕克分校）；IIT Madras（印度理工学院马德拉斯分校）
提出UnFuSeD方法，通过自监督预训练编码器生成伪标签并指导随机初始化模型的自蒸馏以实现无监督微调，在低资源音频分类任务上以更少参数取得最优性能。
2023-05-18 cs.AI eess.AS
Self-Supervised Audio-Visual Speech Representations Learning By Multimodal Self-Distillation
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）
在这项工作中，我们提出了一种新的方法，名为AV 2 vec，学习视听语音表示多模态自蒸馏。AV 2 vec有一个学生和一个教师模块，其中学生使用教师在线生成的多模态目标特征执行掩蔽的潜在特征回归任务。教师模型的参数是学生的动量更新。由于我们的目标特征是在线生成的，AV 2 vec不需要像AV-HuBERT那样的迭代步骤，总训练时间成本减少到不到五分之一。在这项研究中，我们进一步提出了AV 2 vec-MLM，它使用多任务学习通过掩蔽语言模型（MLM）风格的损失来增强AV 2 vec。我们的实验结果表明，AV 2 vec实现了与AV-HuBERT基线相当的性能。当与MLM类型的损失相结合时，AV 2 vec-MLM的性能优于基线，并在下游任务上实现了最佳性能。
2022-12-06 cs.SD eess.AS
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器，通过捕获噪声无关的表现力表征，在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
Joint framework with deep feature distillation and adaptive focal loss for weakly supervised audio tagging and acoustic event detection
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技股份有限公司）；ByteDance（字节跳动）
一个好的联合训练框架有助于同时提高弱监督音频标记和声学事件检测的性能。在这项研究中，我们提出了三种方法来改进IEEE AASP声学场景和事件检测和分类挑战赛（DCASE）2019任务4中的最佳师生框架，用于音频标记和声学事件检测任务。首先提出了一种基于帧级目标事件的深度特征提取方法，旨在利用弱监督框架中有限的强标记数据来学习更好的中间特征图。然后，我们提出了一个自适应的焦点损失和两个阶段的训练策略，使一个有效的和更准确的模型训练，其中的贡献，硬和容易的声学事件的总代价函数可以自动调整。此外，一个特定的事件后处理的设计，以提高目标事件的时间戳的预测。在公开的DCASE 2019 Task 4数据集上进行了实验，结果表明，该方法在AT（81.2% F1-score）和AED（49.8% F1-score）任务上都取得了较好的性能.
2022-02-12 cs.SD eess.AS
Noise robust distillation of self-supervised speech models via correlation metrics
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research (I2R)（资讯通信研究院）；National Taiwan University（国立台湾大学）；ASUS Intelligent Cloud Services（华硕智能云端服务）；Speech Lab of DAMO Academy, Alibaba Group（阿里巴巴达摩院语音实验室）
针对小型蒸馏语音模型噪声鲁棒性下降的问题，提出基于相关性度量的蒸馏方法，结合互相关最大化与自相关最小化提升鲁棒性，还设计了权重自动调整启发式策略，在SUPERB多任务上实现干净与噪声场景泛化能力的提升。
2023-12-19 cs.SD eess.AS
DPHuBERT: Joint Distillation and Pruning of Self-Supervised Speech Models
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）
本文提出任务无关的语音自监督模型压缩方法 DPHuBERT，通过联合蒸馏与剪枝在 SUPERB 上超越纯蒸馏方法，训练开销低且适用于资源受限场景。
2023-05-28 cs.CL cs.SD eess.AS
SKILL: Similarity-aware Knowledge distILLation for Speech Self-Supervised Learning
Sony Europe B.V.（索尼欧洲有限公司）
SKILL提出基于层相似性层次聚类的跨层组知识蒸馏方法，用于压缩语音自监督模型，在30M参数级别多个SUPERB任务上超越DPHuBERT并达到最先进性能。
2024-02-26 cs.CL cs.LG cs.SD
DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech
Department of Artificial Intelligence（人工智能系）
提出DiEmo-TTS，通过自监督蒸馏和聚类匹配学习说话人无关的情感嵌入，实现跨说话人情感迁移，减少说话人泄漏并提升合成质量。
2025-10-17 cs.AI cs.SD eess.AS
Revisiting the Entropy Semiring for Neural Speech Recognition
Google（谷歌）
本研究再探熵半环在神经语音识别中的应用，提出用对齐熵通过正则化或蒸馏监督模型，开源半环框架下的CTC和RNN-T实现，实验证明对齐蒸馏可提升流式语音识别的准确率与延迟性能，在Librispeech数据集达SOTA。
2023-12-19 cs.LG cs.SD eess.AS
USAD 2.0: Scaling Representation Distillation for Universal Audio Understanding
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Amazon（亚马逊）
提出USAD 2.0通用音频编码器，通过领域感知蒸馏融合自监督和监督基础模型知识，并扩展至音乐领域，经深度缩放达到十亿参数，在探测和基于LLM的评估中取得领先性能。
2026-06-04 cs.CL cs.SD eess.AS
FADA: Fast Diffusion Avatar Synthesis with Mixed-Supervised Multi-CFG Distillation
Zhejiang University（浙江大学）；Bytedance Intelligent Creation（字节跳动智能创作）
本文提出FADA，通过混合监督损失与带可学习令牌的多CFG蒸馏，在保持生成质量的同时显著加速扩散虚拟人合成，实现4.17至12.5倍NFE加速。
2025-04-04 cs.AI cs.CV cs.GR
Deep versus Wide: An Analysis of Student Architectures for Task-Agnostic Knowledge Distillation of Self-Supervised Speech Models
NTT Corporation（日本电报电话公司）
自监督学习（Self-supervised learning，SSL）被认为是一种非常有前途的方法，在多个语音下游任务中具有很高的性能。由于SSL模型的参数通常如此之大，以至于训练和推断需要大量的存储器和计算成本，因此期望通过应用诸如知识蒸馏（KD）的压缩方法来产生紧凑的SSL模型而没有显著的性能降级。虽然KD方法能够缩小SSL模型结构的深度和/或宽度，但很少有人研究深度和宽度的变化如何影响小足迹模型的内部表示。本文提供了一个解决这个问题的实证研究。我们调查SUPERB的性能，而不同的结构和KD方法，以保持参数的数量不变，这使我们能够分析通过改变模型架构引入的表示的贡献。实验表明，一定的深度是必不可少的解决面向内容的任务（例如自动语音识别）准确，而一定的宽度是必要的，以实现高性能的几个面向说话人的任务（例如说话人辨识）。基于这些观察结果，我们确定了SUPERB，一个更压缩的模型，比以前的研究具有更好的性能。
2022-09-01 cs.CL cs.SD eess.AS
DiceHuBERT: Distilling HuBERT with a Self-Supervised Learning Objective
Apple（苹果公司）
DiceHuBERT通过用学生模型直接替换HuBERT并复用其自监督预训练目标实现知识蒸馏，在SUPERB上音素识别提升超21%、ASR提升超14%，无需额外模块或架构约束。
2025-06-25 cs.AI cs.LG cs.SD
Multiple-hypothesis RNN-T Loss for Unsupervised Fine-tuning and Self-training of Neural Transducer
Cambridge Research Laboratory, Toshiba Europe Limited（东芝欧洲有限公司剑桥研究实验室）
针对递归神经网络（RNN）-转换器（RNN-T）端到端（E2 E）自动语音识别（ASR）系统，提出了一种利用未标记语音数据进行无监督微调和自训练的新方法。传统系统在使用未标记的音频数据时使用ASR假设作为目标来执行微调/自训练，并且易受基础模型的ASR性能的影响。在这里，为了减轻使用未标记数据时ASR错误的影响，我们提出了一种多假设RNN-T损失，将多个ASR 1-最佳假设纳入损失函数。对于微调任务，在Librispeech上的ASR实验表明，与单假设方法相比，在test_other集上，多假设方法实现了14.2%的单词出错率（WER）的相对降低。对于自训练任务，ASR模型使用来自华尔街日报（WSJ）的监督数据，Aurora-4以及CHiME-4真实噪声数据作为未标记数据进行训练。与单假设方法相比，多假设方法在CHiME-4的单通道真实噪声评估集上产生3.3%的WER相对降低。
2022-07-29 cs.CL cs.SD eess.AS
Exploring Effective Distillation of Self-Supervised Speech Models for Automatic Speech Recognition
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；MoE Key Lab of Artificial Intelligence, AI Institute（人工智能联合实验室）；X-LANCE Lab, Department of Computer Science and Engineering（X-LANCE实验室，计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）；Peng Cheng Laboratory（鹏城实验室）
本文研究基于HuBERT的自监督语音模型在ASR中的蒸馏方法，通过引入判别性损失和前端特征蒸馏，在低资源场景下提升性能，并实现17%参数减少与推理速度翻倍。
2023-10-22 cs.CL cs.SD eess.AS
