Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology（计算、信息与技术学院）；Institute of Neuroinformatics（神经信息研究所）；Department of Computational Linguistics（计算语言学系）
针对Whisper等ASR模型识别非规范受损语音困难的问题，提出一种轻量级语义重链流水线，通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型，实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
USM-Lite: Quantization and Sparsity Aware Fine-tuning for Speech Recognition with Universal Speech Models
Google LLC（谷歌有限责任公司）；Google DeepMind（谷歌DeepMind）
本文提出 USM-Lite 微调方法，通过低位量化与 N:M 结构化稀疏感知压缩 20 亿参数通用语音模型，在仅 7.3% 相对 WER 回退下将模型压缩至 9.4% 大小。
2024-01-16 cs.SD eess.AS
One-pass Multiple Conformer and Foundation Speech Systems Compression and Quantization Using An All-in-one Neural Model
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
提出一体化神经模型的单遍多 ASR 系统联合压缩量化方法，可一次构建多种嵌套配置，并在显著压缩模型、缩短训练时间的同时保持或降低 WER。
2024-06-14 cs.AI cs.SD eess.AS
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI（亚马逊Alexa人工智能部门）
对于设备上自动语音识别（ASR），量化感知训练（QAT）是普遍存在的，以实现模型预测性能和效率之间的权衡。在现有的QAT方法中，一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制，我们引入了一个正则化的自由，“软到硬”的压缩机制与自我可调的质心在μ律约束的空间，从而在一个更简单，但更通用的量化方案，称为通用量化器（GQ）。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器（RNN-T）和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下，GQ可以将RNN-T和Conformer压缩到8位以下，对于某些RNN-T层，可以压缩到1位，以实现快速准确的推理。通过物理设备基准测试，我们观察到与8位QAT相比，内存占用节省了30.73%，用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
Resource-Efficient Adaptation of Speech Foundation Models for Multi-Speaker ASR
NVIDIA（英伟达）
本文研究语音基础模型在数据稀缺条件下的多说话人 ASR 适配问题，仅用电话数据进行适配并通过消融实验验证其泛化性与参数影响。
2024-12-03 cs.SD eess.AS
ViP-VL: Vietnamese Self-supervised Speech Pretraining Model with Vector-Quantization Learning
VinUniversity（越南 Vin 大学）
提出ViP-VL模型，通过声学堆叠、感受野对齐和掩码选择策略，在BEST-RQ框架上实现高效自监督预训练，在越南语ASR、情感识别、方言分类和说话人验证四项任务上取得最优结果。
2026-06-11 cs.SD
Integer-only Zero-shot Quantization for Efficient Speech Recognition
University of California, Berkeley（加州大学伯克利分校）
端到端神经网络模型在各种自动语音识别（ASR）任务上实现了改进的性能。然而，由于大量的内存和计算需求，这些模型在边缘硬件上表现不佳。虽然将模型权重和/或激活量化到低精度可能是一个有前途的解决方案，但以前对量化ASR模型的研究是有限的。特别是，以前的方法在推理过程中使用浮点运算，因此它们不能充分利用有效的整数处理单元。此外，它们在量化期间需要训练和/或验证数据，由于安全或隐私问题，这些数据可能不可用。为了解决这些限制，我们提出了一个整数，zero-shot量化方案的ASR模型。特别是，我们生成的合成数据的运行时统计数据类似于真实数据，我们用它来校准模型在量化。我们将我们的方法应用于QuartzNet，Jasper和Conformer，与全精度基线模型相比，即使没有使用任何数据，WER的退化也可以忽略不计。此外，我们在T4 GPU上实现了高达2.35倍的加速和4倍的压缩率，使用INT 8量化时WER降低<1%。
2022-01-30 cs.CL cs.SD eess.AS
Speech Recognition Rescoring with Large Speech-Text Foundation Models
Amazon Science（亚马逊科学研究院）
本文提出利用多模态大型语言模型进行ASR重打分的新技术，结合判别式训练与跨模态知识迁移，实验证明其相对Whisper large ASR和纯文本LLM分别实现高达20%和15%的提升。
2024-09-25 cs.CL cs.SD eess.AS
MOSEL: 950,000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
针对现有语音基础模型未真正开源权重、代码与训练数据的问题，本文构建MODEL语料，汇集95万小时欧盟24种官方语言语音数据，并发布44.1万小时无标注数据的CC-BY自动转写。
2024-10-01 cs.AI cs.CL cs.SD
Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition
Chinese University of Hong Kong（香港中文大学）
以长短期记忆循环神经网络（LSTM-RNN）和Transformers为代表的最先进语言模型（LM）对于实际应用来说变得越来越复杂和昂贵。低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。目前的量化方法是基于统一的精度，并没有考虑到在不同部分的LM量化误差的变化的性能灵敏度。为此，本文提出了一种新的混合精度神经网络LM量化方法。使用三种技术自动学习LSTM-RNN和基于Transformer的神经LM的最佳局部精度选择。前两种方法是基于量化灵敏度度量，其形式为在全精度和量化LM之间测量的KL发散，或者可以使用无矩阵技术有效地近似的Hessian迹加权量化扰动。第三种方法是基于混合精度神经结构搜索。为了克服梯度下降法直接估计离散量化权值的困难，采用交替方向乘子法（ADMM）有效地训练量化LM。实验进行了国家的最先进的LF-MMI CNN-TDNN系统具有速度扰动，i-Vector和学习隐藏单元贡献（LHUC）为基础的扬声器适应两个任务：总机电话语音和AMI会议转录。所提出的混合精度量化技术在两个任务上实现了“无损”量化，通过在全精度LSTM和Transformer基线LM上产生高达约16倍的模型大小压缩比，同时不会导致统计上显著的字出错率增加。
2021-11-29 cs.CL cs.SD eess.AS
Chunk Based Speech Pre-training with High Resolution Finite Scalar Quantization
Samsung Research America（三星美国研究）
本文提出基于分块的自监督学习算法，利用高分辨率有限标量量化提升语音预训练效果，实现流式和离线语音任务的高效性能。
2025-12-31 cs.CL cs.SD eess.AS
Mixed Precision of Quantization of Transformer Language Models for Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
以Transformers为代表的最先进的神经语言模型对于实际应用来说正变得越来越复杂和昂贵。低比特深度神经网络量化技术提供了一个强大的解决方案，以显着减少其模型的大小。当前的低比特量化方法基于统一的精度，并且不能考虑系统的不同部分对量化误差的变化的性能敏感度。为此，本文提出了新的混合精度DNN量化方法。使用两种技术自动学习最佳局部精度设置。第一种是基于量化灵敏度度量的海森迹加权量化扰动的形式。第二种是基于混合精度的Transformer结构搜索。交替方向乘法器（ADMM）被用来有效地训练混合精度量化DNN系统。在Penn Treebank（PTB）和Switchboard语料库训练的LF-MMI TDNN系统上进行的实验表明，所提出的混合精度Transformer量化技术在全精度基线上实现了高达16倍的模型大小压缩比，而没有识别性能下降。当用于压缩具有更多层的更大的全精度Transformer LM时，获得了高达1.7%绝对（18%相对）的总体字出错率（WER）降低。
2021-11-29 cs.CL cs.SD eess.AS
Resource-Efficient Transfer Learning From Speech Foundation Model Using Hierarchical Feature Fusion
Google LLC（谷歌有限责任公司）
语音基础模型的自我监督预训练，然后进行监督微调，在自动语音识别（ASR）任务上显示出令人印象深刻的质量改进。由于基础模型通常非常大，因此为许多下游任务微调单独的基础模型是昂贵的。参数高效微调方法（例如适配器、稀疏更新方法）提供了一种替代范例，其中更新一小组参数以使基础模型适应新任务。然而，这些方法仍然存在高计算内存成本和低训练速度的问题，因为它们在每一步都需要通过整个神经网络进行反向传播。在本文中，我们分析了在语音识别任务的基础模型的不同层的功能的性能，并提出了一种新的分层特征融合方法的资源有效的迁移学习从语音基础模型。实验结果表明，与现有算法相比，该方法在语音识别任务上具有更好的性能，且可训练参数少，计算内存开销小，训练速度快。在所有层与Adapters相结合后，该方法可以实现与微调整个模型相同的性能，但$97\%$可训练的编码器参数更少，$53\%$训练速度更快。
2022-11-04 cs.LG cs.SD eess.AS
4-bit Quantization of LSTM-based Speech Recognition Models
IBM Research（IBM研究院）
我们研究了两类基于LSTM的大型自动语音识别架构（ASR）中权重和激活的积极低精度表示的影响：混合深度双向LSTM -隐马尔可夫模型（DBLSTM-Hacking）和递归神经网络-传感器（RNN-Ts）。使用4位整数表示，应用于这些模型的LSTM部分的简单量化方法会导致显着的字出错率（WER）下降。另一方面，我们表明，最小的精度损失是可以实现的量化器和初始化的适当选择。特别是，我们根据网络的局部属性定制量化方案，在限制计算时间的同时提高识别性能。我们证明了我们的解决方案的交换机（SWB）和呼叫中心（CH）测试集的NIST集线器5 -2000的评估。用300或2000小时的SWB数据训练的DBLSTM-Hashion分别实现了$<$ 0.5%和$<$ 1%的平均WER降级。在更具挑战性的RNN-T模型上，我们的量化策略将4位推理的退化限制在1.3%。
2021-08-27 cs.CL cs.LG cs.SD
Edge-ASR: Towards Low-Bit Quantization of Automatic Speech Recognition Models
Qualcomm AI Research（高通人工智能研究）
本文提出Edge-ASR基准，系统评估八种训练后量化方法在Whisper和Moonshine模型上的效果，发现3位量化结合先进技术可兼顾效率与精度，为边缘设备部署提供指导。
2025-08-01 cs.LG cs.SD eess.AS
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge（剑桥大学）
本文提出一种通用声学对抗攻击方法，通过在输入语音前添加简短的对抗性声学片段，无需访问模型提示即可覆盖 ASR 基础模型的设置，成功控制 Whisper 模型将语音转录强制转变为语音翻译，揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
On-the-fly Routing for Zero-shot MoE Speaker Adaptation of Speech Foundation Models for Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；China National Research Council Canada（中国国家研究委员会加拿大）；Institute of Software（软件研究所）
本文提出一种基于MoE的零样本说话人自适应框架，通过即时预测路由参数动态组合适配器专家，在UASpeech语料库上实现构音障碍语音识别的实时处理与显著WER降低。
2025-05-28 cs.SD eess.AS
Self-Supervised Speech Quality Assessment (S3QA): Leveraging Speech Foundation Models for a Scalable Speech Quality Metric
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
本文提出自监督语音质量评估模型S3QA，利用WavLM嵌入余弦距离作为训练目标，在多种退化条件下预测语音质量，并与MOS和ASR性能对齐，实现可扩展的自动评估。
2025-10-08 cs.SD eess.AS
Evaluation of Speech Foundation Models for ASR on Child-Adult Conversations in Autism Diagnostic Sessions
Signal Analysis and Interpretation Laboratory（信号分析与解释实验室）；Department of Psychiatry（精神病学系）；Semel Institute of Neuroscience and Human Behavior（Semel神经科学与人类行为研究所）
本研究评估了Whisper等语音基础模型在自闭症诊断会话儿童-成人对话ASR中的表现，发现儿童语音识别存在明显性能下降，并通过LoRA微调显著提升了识别准确率。
2025-08-14 cs.LG cs.SD eess.AS
OWSM-CTC: An Open Encoder-Only Speech Foundation Model for Speech Recognition, Translation, and Language Identification
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute Japan（日本本田研究所）
提出基于CTC的仅编码器语音基础模型OWSM-CTC，使用180k小时公开数据训练，在ASR和ST任务上取得竞争力且推理更快，促进开放科学。
2024-08-27 cs.CL cs.SD eess.AS
Cascaded encoders for fine-tuning ASR models on overlapped speech
Google Inc.（谷歌公司）
本文提出一种级联RNN-T编码器配置的MT-ASR模型，通过结合基础模型与多说话人掩码模型，在不牺牲非重叠语音性能的前提下，显著提升了重叠语音的识别准确率。
2023-06-28 cs.SD eess.AS
Unfolding A Few Structures for The Many: Memory-Efficient Compression of Conformer and Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Institute of Software（软件研究所）；Department of Electronic Engineering（电子工程系）
本文提出一种内存高效的模型压缩方法，通过训练并多次展开少量结构的种子模型来模拟大模型，结合自蒸馏最小化性能差距，在Conformer和wav2vec2上实现无性能损失的参数量减少。
2025-05-27 cs.SD eess.AS
Knowledge Distillation from Multiple Foundation Models for End-to-End Speech Recognition
虽然通过自监督学习预训练的大型基础模型在包括自动语音识别（ASR）在内的许多任务中已经实现了最先进的性能，但在实践中通常需要知识蒸馏（KD）将大型教师模型学习到的知识转移到具有可承受的计算和存储成本的更小的学生模型中。本文提出了一种新的两阶段KD框架，从多个语音基础模型作为教师到一个单一的学生神经传感器模型的ASR的知识。在第一阶段，学生模型编码器使用从多个教师模型提取的嵌入进行预训练。在第二阶段，学生编码器根据ASR任务使用音频文本对进行微调。LibriSpeech 100小时子集上的实验表明，当只使用一个教师时，所提出的KD框架提高了流媒体和非流媒体学生模型的性能。当多个教师联合使用时，学生模型的性能可以进一步提高，单词错误率降低17.5%和10.6%。我们提出的框架可以与其他现有的KD方法相结合，以实现进一步的改进。通过在编码器预训练期间合并额外的未标记数据来获得进一步的WERR，从而在非流学生模型上获得55.0%的总相对WERR。
2023-03-20 cs.SD eess.AS
M-BEST-RQ: A Multi-Channel Speech Foundation Model for Smart Glasses
Meta；The Ohio State University（俄亥俄州立大学）
针对智能眼镜等多通道可穿戴设备现有任务模型无法利用大量无标注数据的问题，提出首个阵列几何无关的多通道语音基础模型M-BEST-RQ，在多个真实下游任务上性能达到或超越监督模型，仅用8小时标注数据的ASR效果超2000小时标注的监督基线。
2024-09-17 cs.SD eess.AS
Safeguarding Privacy in Edge Speech Understanding with Tiny Foundation Models
Department of Computer Science（计算机科学系）；University of Virginia（弗吉尼亚大学）
SpeechShield通过在边缘设备上利用小型基础模型实现语音隐私保护，有效过滤敏感信息并提升转录性能。
2025-11-30 cs.LG cs.SD eess.AS
Muting Whisper: A Universal Acoustic Adversarial Attack on Speech Foundation Models
本文提出一种通用声学对抗攻击，通过学习Whisper的<|endoftext|>标记的声学实现并前置到语音上，使模型忽略语音并仅转录该标记，实现97%以上样本的静音效果，且可跨数据集迁移，既带来风险也有隐私保护等潜在益处。
2024-07-17 cs.CL cs.SD eess.AS
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models
Nanyang Technological University（南洋理工大学）；NVIDIA Research（英伟达研究院）；IBM Research（IBM研究院）；Tsinghua University（清华大学）
提出无监督自适应框架STAR，利用未标记数据提升语音基础模型在噪声和口音等领域的鲁棒性，通过新颖指标评估伪标签质量，实现平均13.5%的词错误率降低，并防止灾难性遗忘，数据高效且泛化性强。
2024-05-23 cs.AI cs.CL cs.LG
Self-supervised representations in speech-based depression detection
University of Cambridge（剑桥大学）
本文利用自监督预训练基础模型解决语音抑郁症检测的数据稀疏问题，通过融合ASR和情绪识别模型的多层表征，在DAIC-WOZ数据集上取得了最先进结果。
2023-07-06 cs.CL cs.SD eess.AS
On the Effects of Heterogeneous Data Sources on Speech-to-Text Foundation Models
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出 OWSM v3.2，通过代理任务过滤数据并利用开放 LLM 恢复标点与真实大小写，在训练数据减少15%的情况下超越 OWSM v3.1。
2024-06-13 cs.CL cs.SD eess.AS
Benchmarking Children's ASR with Supervised and Self-supervised Speech Foundation Models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究针对儿童 ASR 缺乏系统基准的问题，评估多种监督与自监督语音基础模型，并比较数据增强和 PEFT 微调策略，提出 PIF 损失以稳定增强数据微调。
2024-06-15 cs.CL cs.SD eess.AS
LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data
LESS通过利用大规模语言模型校正野外数据生成的伪标签，提升了语音基础模型在多种语言和任务中的性能，显著降低了词错误率并提高了BLEU分数。
2026-03-13 cs.CL cs.SD eess.AS
Deep Learning Models in Speech Recognition: Measuring GPU Energy Consumption, Impact of Noise and Model Quantization for Edge Deployment
Texas A&M University（德克萨斯A&M大学）
本文在NVIDIA Jetson Orin Nano上系统评估了不同ASR模型在FP32、FP16和INT8量化下的能耗、内存与准确率权衡，发现FP16可使能耗减半且性能损失极小，为边缘端高效ASR部署提供了实证依据。
2024-05-02 cs.AI cs.CV cs.HC
Do speech foundation models really learn words?
University of Toronto（多伦多大学）
本文通过残差化方法剔除音素信息，证明HuBERT和wav2vec 2.0在深层确实学习到独立于词形的词汇表示，并能增强词汇发现任务中的高阶语言信息。
2026-09-10 cs.CL cs.SD
Efficient Domain Adaptation for Speech Foundation Models
Google LLC（谷歌有限责任公司）
基础模型（FM）是在广泛的数据上进行大规模训练的，并且能够适应广泛的下游任务，已经引起了研究界的极大兴趣。基础模型得益于不同模态、语言和应用领域等多种数据源，表现出较强的泛化能力和知识转移能力。在本文中，我们提出了一个开拓性的研究，建立一个有效的解决方案，基于FM的语音识别系统。我们采用最近开发的自监督BEST-RQ进行预训练，并提出使用JUST Hydra对源和无监督目标域数据进行联合微调。FM编码器适配器和解码器然后被微调到具有少量监督域内数据的目标域。在一个大规模的YouTube和语音搜索任务中，我们的方法被证明是数据和模型参数有效的。它仅使用21.6M监督域内数据和130.8M微调参数就达到了相同的质量，而731.1M模型则是在额外的300 M监督域内数据上从头开始训练的。
2023-02-03 cs.CL cs.LG cs.SD
SAGE: Spliced-Audio Generated Data for Enhancing Foundational Models in Low-Resource Arabic-English Code-Switched Speech Recognition
Emotech Ltd.（埃莫科技有限公司）
本文提出SAGE音频拼接数据生成方法，结合经验回放与少样本微调，有效提升了低资源阿拉伯语-英语语码转换语音识别性能，以更小模型规模超越了大规模多语言模型。
2025-06-27 cs.CL cs.SD eess.AS
BiRQ: Bi-Level Self-Labeling Random Quantization for Self-Supervised Speech Recognition
University of Rochester（罗切斯特大学）；IBM Research（IBM研究院）；Cornell University（康奈尔大学）
BiRQ 提出一种双层自监督语音识别框架，复用模型自身中间表征经随机投影量化生成增强伪标签，并以原始输入锚定标签稳定训练，通过一阶双层优化端到端求解，在多个数据集上以低复杂度持续优于 BEST-RQ。
2025-09-18 cs.CL cs.SD eess.AS
Investigation on the Robustness of Acoustic Foundation Models on Post Exercise Speech
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Auckland（奥克兰大学）；Duke University（杜克大学）；Columbia University（哥伦比亚大学）
本文研究了运动后语音中自动语音识别的鲁棒性，比较了多种模型在不同条件下的表现，发现领域微调能显著提升CTC模型性能，但Whisper适应性不稳定，非流畅说话者表现更差。
2026-03-29 cs.SD
Quantization for OpenAI's Whisper Models: A Comparative Analysis
Independent Researcher Washington DC, United States
该研究比较三种 Whisper 模型，并在 LibriSpeech 上评估 whispercpp 的 INT4、INT5、INT8 量化，证明其可降低延迟与体积且保持 WER。
2025-03-12 cs.CL cs.LG cs.SD
ZO-ASR: Zeroth-Order Fine-Tuning of Speech Foundation Models without Back-Propagation
X-LANCE Lab, School of Computer Science, MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（X-LANCE实验室、计算机科学学院、人工智能重点实验室、上海交通大学）
ZO-ASR通过零阶方法无需反向传播实现高效语音模型微调，有效降低内存消耗并在领域适应和测试时间适应任务中取得优于现有方法的性能。
2025-12-01 cs.MM cs.SD
Evolution Strategy-Based Calibration for Low-Bit Quantization of Speech Models
cortAIx Labs（cortAIx实验室）
本文提出ESC方法，通过进化策略解决音频信号低比特量化中的校准问题，在INT8和INT4量化中实现接近无损性能。
2026-07-21 cs.AI cs.SD
Speech Enhancement with Multi-granularity Vector Quantization
University of Science and Technology of China (USTC)（中国科学技术大学（USTC））
随着深度学习的进步，基于神经网络的语音增强（SE）在过去十年中得到了快速发展。同时，自监督预训练模型和矢量量化（VQ）在许多语音相关的任务上取得了优异的性能，而它们在SE上的探索较少。正如我们之前的工作所示，利用VQ模块离散化带噪语音表示有利于语音去噪，因此在这项工作中，我们研究了在不同层使用不同数量的码本的VQ的影响。不同的VQ模块确实能够提取多粒度语音特征。遵循注意机制，由预训练模型提取的上下文特征与由编码器提取的局部特征融合，使得全局和局部信息都被保留以重建增强的语音。在Valentini数据集上的实验结果表明，该模型可以提高SE性能，其中也揭示了选择预训练模型的影响。
2023-02-16 cs.SD eess.AS
Mixed Precision DNN Qunatization for Overlapped Speech Separation and Recognition
Tencent AI lab（腾讯AI实验室）
重叠语音的识别一直是一个极具挑战性的任务。多通道语音分离系统在实际应用中变得越来越复杂和昂贵。为此，低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。然而，目前的量化方法是基于统一的精度，并没有考虑到不同的模型组件的量化误差的变化的性能灵敏度。本文提出了一种新的混合精度DNN量化方法，通过将局部可变位宽应用于基于TF掩蔽的多通道语音分离系统的各个TCN分量。使用三种技术自动学习最佳局部精度设置。前两种方法利用基于均方误差（MSE）损失函数曲率或在全精度和量化分离模型之间测量的KL发散的量化灵敏度度量。第三种方法是基于混合精度神经结构搜索。LRS 3-TED语料库模拟重叠语音数据上进行的实验表明，所提出的混合精度量化技术始终优于可比位宽的均匀精度基线语音分离系统的SI-SNR和PESQ分数，以及字出错率（WER）减少高达2.88%的绝对（8%相对）。
2021-11-29 cs.SD eess.AS
Unveiling the Best Practices for Applying Speech Foundation Models to Speech Intelligibility Prediction for Hearing-Impaired People
Orka Labs Inc.（Orka Labs 公司）；Stanford University（斯坦福大学）
本文系统评估5个语音基础模型在听障人士语音可懂度预测中的适配方式，发现单层编码器、时序预测头及多模型集成更优。
2025-05-13 cs.AI cs.SD eess.AS
A study on speech enhancement using exponent-only floating point quantized neural network (EOFP-QNN)
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）
许多研究已经调查了神经网络量化对模式分类任务的有效性。本研究，第一次，研究了性能的语音增强（语音处理中的回归任务）使用一种新的指数只有浮点量化神经网络（EOFP-QNN）。EOFP-QNN由两个阶段组成：尾数量化和指数量化。在尾数量化阶段，EOFP-QNN学习如何在使用最小尾数精度保持回归精度的同时对模型参数的尾数位进行量化。在指数量化阶段，参数的指数部分被进一步量化，而不会导致任何额外的性能下降。我们评估了两种类型的神经网络，即双向长短期记忆（BLSTM）和全卷积神经网络（FCN），在语音增强任务的建议EOFP量化技术。实验结果表明，在保持语音增强效果的同时，量化后的BLSTM和FCN模型的模型大小分别仅为原始模型的18.75%和21.89%，大大减小了模型大小。
2018-10-30 cs.AI cs.LG cs.SD
Resource-Efficient Speech Quality Prediction through Quantization Aware Training and Binary Activation Maps
Friedrich Miescher Institute for Biomedical Research（弗里德里希·米舍尔生物医学研究所）；GN Audio（GN音频公司）；Technical University of Denmark（丹麦技术大学）；University of Basel（巴塞尔大学）
本文提出基于DNSMOS的卷积架构结合二值激活图（BAMs）与量化感知训练，在匹配基线预测性能的同时结合8位权重量化实现25倍内存减少，为资源受限设备上的语音质量预测提供高效方案。
2024-07-05 cs.NE cs.SD eess.AS
Emotion-Aware Quantization for Discrete Speech Representations: An Analysis of Emotion Preservation
The University of Melbourne, Australia（墨尔本大学）；Massachusetts Institute of Technology, USA（麻省理工学院）；Monash University, Australia（墨尔本大学）
研究探讨了残差向量量化对离散语音表示中情感信息的影响，提出情感感知量化方法以提升情感感知的保留度，并改进低比特率下的情感识别性能。
2026-03-22 cs.SD
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China（上海交通大学X-LANCE实验室）；Shanghai Innovation Institute, China（上海创新研究院）；Soul AI Lab, China（Soul AI实验室）
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力，实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning
CMU（卡内基梅隆大学）；SJTU（上海交通大学）
PURE编码器通过预训练语音增强模型指导多阶段量化，提升低比特率语音编码的训练稳定性与重建质量，尤其在嘈杂环境下表现优异。
2025-11-27 cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
语音转换是指在保留话语内容的同时改变语音的音色。最近，许多工作集中在基于分离的学习技术，从语音信号中分离音色和语言内容信息。一旦成功，语音转换将是可行和直接的。提出了一种基于矢量量化语音转换（VQVC）和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中，以更有效地从语音中分离出内容和音色信息。实验结果表明，该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
Speech Enhancement Using Self-Supervised Pre-Trained Model and Vector Quantization
University of Science and Technology of China（中国科学技术大学）；National Engineering Research Center for Speech and Language Information Processing（国家语音及语言信息处理工程技术研究中心）
随着深度学习的发展，基于神经网络的语音增强（SE）模型表现出了优异的性能。同时，研究表明，自监督预训练模型的开发可以应用于各种下游任务。在本文中，我们将考虑将预训练模型应用于实时SE问题。具体来说，DEMUCS模型的编码器和瓶颈层使用自监督预训练WavLM模型进行初始化，编码器中的卷积由因果卷积代替，瓶颈层中的Transformer编码器基于因果注意掩码。此外，由于离散化含噪语音表示更有利于去噪，我们利用量化模块对瓶颈层输出的表示进行离散化，然后将其输入解码器以重建干净的语音波形。在Valentini数据集和内部数据集上的实验结果表明，基于预训练模型的初始化可以提高SE性能，离散化操作在一定程度上抑制了表示中的噪声分量，这可以进一步提高性能。
2022-09-28 cs.SD eess.AS
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室、AI研究院）
本文提出 DQ-Whisper 框架，通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper，在几乎不损失性能的前提下将模型缩小最多 5.18 倍，有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
ParaGSE: Parallel Generative Speech Enhancement with Group-Vector-Quantization-based Neural Speech Codec
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家级工程研究中心）；University of Science and Technology of China（中国科学技术大学）
ParaGSE通过基于分组向量量化神经语音编解码器的并行生成式语音增强方法，实现了更高的效率和更优的语音质量。
2026-02-02 cs.SD
Unlocking Foundation Models for Privacy-Enhancing Speech Understanding: An Early Study on Low Resource Speech Training Leveraging Label-guided Synthetic Speech Content
University of Southern California（南加州大学）
本研究探索用基础模型助力隐私增强语音计算，提出仅靠标签引导的预训练生成模型合成语音作为训练数据的方法，发现其零样本学习仍有挑战，但合成数据训练的模型可作为低资源ASU训练的有效初始化点，有望减少用户数据收集以增强隐私。
2023-06-13 cs.SD eess.AS
Speech Foundation Model Ensembles for the Controlled Singing Voice Deepfake Detection (CtrSVDD) Challenge 2024
Vellore Institute of Technology（韦洛尔理工大学）
本文针对2024年歌声深度伪造检测挑战赛，提出基于语音基础模型集成与新颖压缩激励聚合（SEA）方法的反欺骗系统，在CtrSVDD评估集上取得1.79%的领先等错误率。
2024-09-03 cs.AI cs.SD eess.AS
