Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech
NVIDIA（英伟达）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出VQScore自监督语音质量评估指标及基于向量量化与自蒸馏对抗训练的语音增强模型，仅用干净语音训练即可达到与监督基线相当的性能。
2024-02-26 cs.AI cs.LG cs.SD
Wireless Hearables With Programmable Speech AI Accelerators
Paul G. Allen School, University of Washington, Seattle, WA USA（保罗·格雷厄姆·艾伦学校，华盛顿大学，西雅图，华盛顿州，美国）；Department of Otolaryngology, University of Washington USA（耳鼻喉科系，华盛顿大学，美国）
针对无线可听戴设备端侧语音AI算力与功耗受限的问题，提出NeuralAids系统，通过硬件平台、优化网络及软硬件协同设计实现低功耗实时语音增强，性能优于现有端侧模型。
2025-10-22 cs.SD eess.AS
Absorbing Discrete Diffusion for Speech Enhancement
Department of Health Technology, Technical University of Denmark（丹麦技术大学健康技术系）
本文提出了一种基于吸收式离散扩散的语音增强方法ADDSE，结合神经音频编解码器的潜在空间和扩散模型的非自回归采样过程，以提高低信噪比下的语音增强性能。
2026-06-04 cs.SD eess.AS
On granularity of prosodic representations in expressive text-to-speech
Amazon Text-to-Speech Research（亚马逊语音合成研究部）
在表达性语音合成中，广泛采用潜在韵律表示来处理训练过程中数据的变化。相同的文本可以对应于不同的声学实现，这被称为文本转语音中的一对多映射问题。在自动编码设置中从目标信号中提取话语、单词或音素级表示，以补充语音输入并简化该映射。本文比较了韵律嵌入在不同的粒度级别，并检查其预测文本。我们发现，话语级嵌入有不足的容量和音素级倾向于引入不稳定性时，从文本预测。词级表示在容量和可预测性之间施加平衡。因此，我们将LibriTTS数据集上的合成语音和录音之间的自然度差距缩小了90%，而不会牺牲清晰度。
2023-01-26 cs.SD eess.AS
Accelerating RNN-based Speech Enhancement on a Multi-Core MCU with Mixed FP16-INT8 Post-Training Quantization
Universita’ di Bologna（博洛尼亚大学）；Greenwaves Technologies（绿波科技）
本文提出了一种优化方法，用于在最先进的微控制器单元（MCU）上设计和部署基于循环神经网络（RNN）的语音增强（SE）算法，该MCU具有1+8个通用RISC-V核心。为了实现低延迟执行，我们提出了一种优化的软件流水线，交错并行计算LSTM或GRU递归块，具有矢量化的8位整数（INT 8）和16位浮点（FP 16）计算单元，手动管理模型参数的内存传输。为了确保相对于全精度模型的最小精度下降，我们提出了一种新的FP 16-INT 8混合精度训练后量化（PTQ）方案，该方案将递归层压缩到8位，而其余层的位精度保持为FP 16。实验在Valentini数据集上训练的多个基于LSTM和GRU的SE模型上进行，具有多达124万个参数。由于所提出的方法，相对于无损FP 16基线，我们将计算速度提高了4倍。与PESQ分数平均降低0.3的均匀8位量化相比，混合精度PTQ方案导致仅0.06的低降级，同时实现1.4- 1.7倍的内存节省。得益于这种压缩，我们通过将大模型安装在有限的片上非易失性存储器上来降低外部存储器的功耗成本，并通过将电源电压从0.8V降低到0.65V来实现高达2.5倍的MCU功耗节省，同时仍符合实时限制。我们的设计比部署在单核MCU上的最先进的SE解决方案高出10倍的能效，这些解决方案使用更小的模型和量化感知训练。
2022-10-14 cs.LG cs.SD cs.SY
Mixture of LoRA Experts with Multi-Modal and Multi-Granularity LLM Generative Error Correction for Accented Speech Recognition
本文针对口音语音识别提出多模态与多粒度生成式纠错方法，并通过HDMoLE分层路由与动态阈值混合单口音LoRA专家，在多口音英语数据上将词错误率相对基线Whisper-large-v3降低67.35%。
2025-07-19 cs.SD eess.AS
General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个自监督学习框架，命名为MGF，通用语音表示学习。在MGF的设计中，考虑了语音的层次性。具体来说，我们建议使用生成学习方法在小时间尺度上捕获细粒度信息，并使用判别学习方法在大时间尺度上提取粗粒度或语义信息。对于音素级学习，我们借用了掩蔽语言模型的思想，但通过用对比损失代替分类损失来为连续语音信号定制它。我们证实了我们的设计，通过评估MGF表示在各种下游任务，包括音素分类，说话人分类，语音识别，和情感分类。实验表明，在不同的时间尺度上进行训练需要不同的训练目标和损失函数，这在总体上是相辅相成的，从而导致更好的性能。
2021-02-03 cs.LG cs.SD eess.AS
Cross-Lingual Multi-Granularity Framework for Interpretable Parkinson's Disease Diagnosis from Speech
本研究针对现有语音PD检测忽略细粒度语音元素的问题，提出跨语言多粒度框架，通过提取音素、音节、单词特征结合双向LSTM多头注意力，在多语言数据集上实现更优诊断性能，且特征与临床协议一致。
2025-10-04 cs.CL cs.SD eess.AS
MMGER: Multi-modal and Multi-granularity Generative Error Correction with LLM for Joint Accent and Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Huawei IIRC（华为智能基础设施研究院）
本文提出统一ASR-AR生成式纠错模型MMGER，通过多模态帧级纠错与多粒度语句级纠错结合大语言模型，在多口音场景下显著提升口音识别准确率并降低ASR字符错误率。
2024-05-06 cs.SD eess.AS
Sandglasset: A Light Multi-Granularity Self-attentive Network For Time-Domain Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
领先的单通道语音分离（SS）模型之一是基于具有双路径分段技术的TasNet，其中每个段的大小在所有层中保持不变。相比之下，我们的主要发现是，多粒度的功能是必不可少的，以提高上下文建模和计算效率。我们引入了一种具有新颖沙漏形状的自我关注网络，即Sandglasset，它以显著较小的模型大小和计算成本提高了最先进的（SOTA）SS性能。沿着Sandglasset内部的每个块向前，特征的时间粒度逐渐变得更粗，直到达到网络块的一半，然后朝着原始信号水平逐渐变得更细。我们还揭示了具有相同粒度的特征之间的残余连接对于通过瓶颈层后保留信息是至关重要的。实验表明，我们的Sandglasset只有2.3M的参数已经取得了最好的结果在两个基准SS数据集-WSJ 0 - 2 mix和WSJ 0 - 3 mix，其中SI-SNRi分数已分别提高了绝对0.8 dB和2.4 dB，与以前的SOTA结果相比。
2021-03-08 cs.AI cs.LG cs.SD
Quantization of Acoustic Model Parameters in Automatic Speech Recognition Framework
Idiap Research Institute（伊迪亚普研究所）
最先进的混合自动语音识别（ASR）系统利用基于深度神经网络（DNN）的声学模型（AM），所述声学模型（AM）利用无格最大互信息（LF-MMI）准则和n-gram语言模型进行训练。AM通常具有数百万个参数，并且需要显著的参数减少以在嵌入式设备上操作。本文研究了参数量化对整体词识别性能的影响。提出了以下方法：（i）在Kaldi框架中使用传统的因子化TDNN（TDNN-F）架构训练AM，（ii）使用C++包装器将Kaldi中构建的TDNN AM加载到PyTorch工具包中进行训练后量化，（iii）在PyTorch中为Kaldi TDNN模型进行量化感知训练，（iv）在Kaldi中进行量化感知训练。在标准Librispeech设置上获得的结果提供了一个有趣的识别精度w.r.t.应用量化方案。
2020-11-20 cs.SD eess.AS
Outlier Reduction with Gated Attention for Improved Post-training Quantization in Large Sequence-to-sequence Speech Foundation Models
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）；Intel Labs（英特尔实验室）
针对 Whisper 语音模型蒸馏后 PTQ 受权重与激活异常值影响的问题，本文在学生模型注意力块中引入门控机制以减少异常值，实现有效 8 比特量化并降低词错误率。
2024-06-16 cs.SD eess.AS
On the Impact of Quantization and Pruning of Self-Supervised Speech Models for Downstream Speech Recognition Tasks "In-the-Wild''
Institut National de la Recherche Scientifique（国家科学研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文评估量化与剪枝对鲁棒 wav2vec 2.0 在噪声、混响等训练/测试不匹配条件下语音识别准确率的影响，以推动自监督模型在边缘设备部署。
2023-09-25 cs.SD eess.AS
Mixed Precision DNN Qunatization for Overlapped Speech Separation and Recognition
Tencent AI lab（腾讯AI实验室）
重叠语音的识别一直是一个极具挑战性的任务。多通道语音分离系统在实际应用中变得越来越复杂和昂贵。为此，低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。然而，目前的量化方法是基于统一的精度，并没有考虑到不同的模型组件的量化误差的变化的性能灵敏度。本文提出了一种新的混合精度DNN量化方法，通过将局部可变位宽应用于基于TF掩蔽的多通道语音分离系统的各个TCN分量。使用三种技术自动学习最佳局部精度设置。前两种方法利用基于均方误差（MSE）损失函数曲率或在全精度和量化分离模型之间测量的KL发散的量化灵敏度度量。第三种方法是基于混合精度神经结构搜索。LRS 3-TED语料库模拟重叠语音数据上进行的实验表明，所提出的混合精度量化技术始终优于可比位宽的均匀精度基线语音分离系统的SI-SNR和PESQ分数，以及字出错率（WER）减少高达2.88%的绝对（8%相对）。
2021-11-29 cs.SD eess.AS
Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；PAII Inc.（平安科技（美国）有限公司）
语音自动评估是帮助自主学习者的一项重要技术。虽然发音质量具有多个方面，包括准确性、流畅性、完整性和韵律，但是先前的努力通常仅对一个方面（例如，精度）在一个粒度（例如，在音素级）。在这项工作中，我们探索建模多方面的发音评估在多个粒度。具体来说，我们用多任务学习训练了一个基于发音特征的Transformer（GOPT）。实验结果表明，GOPT在基于Libris语音库训练的公共自动语音识别（ASR）声学模型上，在Speechocean 762上取得了最好的效果。
2022-05-06 cs.LG cs.SD eess.AS
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China（上海交通大学X-LANCE实验室）；Shanghai Innovation Institute, China（上海创新研究院）；Soul AI Lab, China（Soul AI实验室）
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力，实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning
CMU（卡内基梅隆大学）；SJTU（上海交通大学）
PURE编码器通过预训练语音增强模型指导多阶段量化，提升低比特率语音编码的训练稳定性与重建质量，尤其在嘈杂环境下表现优异。
2025-11-27 cs.SD eess.AS
3M: An Effective Multi-view, Multi-granularity, and Multi-aspect Modeling Approach to English Pronunciation Assessment
National Taiwan Normal University（台湾师范大学）
作为计算机辅助发音训练（CAPT）中不可或缺的一部分，自动发音评估（APA）通过提供多方面、及时的反馈，对自主学习者起着至关重要的作用。然而，至少有两个潜在的障碍可能会阻碍其实际使用的性能。一方面，大多数的研究只集中在利用分段（语音）水平的功能，如良好的发音（GOP），然而，这可能会导致差异的特征粒度时，执行超分段（韵律）水平的发音评估。另一方面，语音自动评测仍然缺乏大规模的非母语者的标记语音数据，这不可避免地限制了语音评测的性能。在本文中，我们解决这些问题，通过整合多个韵律和音韵特征，提供一个多视图，多粒度，多方面（3 M）的发音建模。具体来说，我们增加GOP的韵律和自监督学习（SSL）功能，同时开发一个元音/辅音位置嵌入更多的音韵意识的自动发音评估。在公开的speechocean 762数据集上进行的一系列实验表明，与以往的工作相比，该方法在几个评估粒度上都有显著的改进，尤其是在口语流利度和语音韵律的评估上.
2022-09-12 cs.SD eess.AS eess.SP
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
语音转换是指在保留话语内容的同时改变语音的音色。最近，许多工作集中在基于分离的学习技术，从语音信号中分离音色和语言内容信息。一旦成功，语音转换将是可行和直接的。提出了一种基于矢量量化语音转换（VQVC）和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中，以更有效地从语音中分离出内容和音色信息。实验结果表明，该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
USM-Lite: Quantization and Sparsity Aware Fine-tuning for Speech Recognition with Universal Speech Models
Google LLC（谷歌有限责任公司）；Google DeepMind（谷歌DeepMind）
本文提出 USM-Lite 微调方法，通过低位量化与 N:M 结构化稀疏感知压缩 20 亿参数通用语音模型，在仅 7.3% 相对 WER 回退下将模型压缩至 9.4% 大小。
2024-01-16 cs.SD eess.AS
VoCodec: A Low-bitrate Streamable Neural Speech Codec with Voicing-driven Quantization
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
提出VoCodec，通过浊音驱动量化（对浊音帧分配高比特率、清音帧分配低比特率）在1.1 kbps比特率下超越基线神经语音编解码器，相比均匀量化降低约27%比特率。
2026-06-04 eess.AS
Generative De-Quantization for Neural Speech Codec via Latent Diffusion
Electronics and Telecommunications Research Institute（韩国电子通信研究院）
本文提出将表示学习与重建分离，用端到端编码器学习离散令牌，并用潜在扩散模型去量化，在1.5和3 kbps低比特率下优于现有最优方法。
2023-11-15 cs.SD eess.AS
Resource-Efficient Speech Quality Prediction through Quantization Aware Training and Binary Activation Maps
Friedrich Miescher Institute for Biomedical Research（弗里德里希·米舍尔生物医学研究所）；GN Audio（GN音频公司）；Technical University of Denmark（丹麦技术大学）；University of Basel（巴塞尔大学）
本文提出基于DNSMOS的卷积架构结合二值激活图（BAMs）与量化感知训练，在匹配基线预测性能的同时结合8位权重量化实现25倍内存减少，为资源受限设备上的语音质量预测提供高效方案。
2024-07-05 cs.NE cs.SD eess.AS
ReLMCodec: Designing Predictable Speech Tokens from Pre-Quantization Phoneme Structure
Peking University（北京大学）；Tencent（腾讯）
ReLMCodec 基于预量化音素结构，通过保留-控制-细化原则设计低比特率单码本语音编解码器，提升了语音 token 的可预测性与重建性能，且利于下游 TTS 合成。
2026-08-11 cs.SD eess.AS
Privacy-Preserving Speech Representation Learning using Vector Quantization
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究实验室）；Le Mans Université（勒芒大学）；LIUM（勒芒大学信息学实验室）
随着虚拟助理（例如，Siri、Alexa），语音识别的使用现在越来越广泛。然而，语音信号包含了很多敏感信息，比如说话人的身份，实验结果表明，语音识别网络深层提取的语音表示中包含说话人信息，本文旨在产生一种匿名的语音表示，同时保持语音识别性能。为此，我们提出使用矢量量化来约束表示空间，并诱导网络抑制说话人身份，量化字典大小的选择允许在实用性（语音识别）和隐私性（说话人身份隐藏）之间进行权衡。
2022-03-15 cs.AI cs.CL cs.CR
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室、AI研究院）
本文提出 DQ-Whisper 框架，通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper，在几乎不损失性能的前提下将模型缩小最多 5.18 倍，有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI（亚马逊Alexa人工智能部门）
对于设备上自动语音识别（ASR），量化感知训练（QAT）是普遍存在的，以实现模型预测性能和效率之间的权衡。在现有的QAT方法中，一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制，我们引入了一个正则化的自由，“软到硬”的压缩机制与自我可调的质心在μ律约束的空间，从而在一个更简单，但更通用的量化方案，称为通用量化器（GQ）。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器（RNN-T）和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下，GQ可以将RNN-T和Conformer压缩到8位以下，对于某些RNN-T层，可以压缩到1位，以实现快速准确的推理。通过物理设备基准测试，我们观察到与8位QAT相比，内存占用节省了30.73%，用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
An Ultra-Low-Bitrate Neural Speech Codec with Plain-to-Pseudo Synergistic Vector Quantization
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Co., Ltd.（科大讯飞股份有限公司）；Tsinghua University（清华大学）
提出P2PSynCodec，通过朴素到伪协同矢量量化器（P2PSVQ）结合一个朴素VQ和多个伪VQ，在0.5 kbps下实现与2.0 kbps竞品相当的语音重建质量。
2026-06-04 eess.AS
Enhancement by postfiltering for speech and audio coding in ad-hoc sensor networks
Aalto University（阿尔托大学）；School of Electrical Engineering（电气工程学院）
针对传统无线声学传感器网络增强方法因量化噪声高斯近似在低比特率下性能受限的问题，提出一种显式建模样量化噪声的贝叶斯后置滤波方法，经多指标实验验证可有效提升自组织传感器网络的信号质量。
2020-11-07 cs.SD eess.AS
Neural Speech Coding for Real-time Communications using Constant Bitrate Scalar Quantization
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所（弗劳恩霍夫IIS））
本文提出基于投影标量量化（SQ）的神经语音编码替代方案，结合新的因果网络架构和STFT表示，在低复杂度、低延迟和低比特率下实现高效实时语音通信，无需额外损失或码本存储。
2024-09-19 cs.SD eess.AS
Adaptive Knowledge Distillation between Text and Speech Pre-trained Models
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
在大量语音语料库上学习导致了许多自监督语音模型最近的成功。通过知识蒸馏，这些模型还可以受益于由语言模型编码的知识，这些语言模型是在丰富的文本源上预先训练的。然而，由于文本和语音嵌入空间之间的模态差异，蒸馏过程具有挑战性。本文研究了基于度量的提取方法，在不改变模型结构的情况下，利用少量数据对齐文本和语音的嵌入空间。由于文献中忽略了文本和语音之间的语义和粒度差距，这损害了蒸馏，我们提出了先验信息自适应知识蒸馏（PAD），自适应地利用可变粒度和先验分布的文本/语音单元，以实现文本和语音预训练模型之间更好的全局和局部对齐。我们对三个口语语言理解基准进行了评估，结果表明，PAD在传递语言知识方面比其他基于度量的蒸馏方法更有效。
2023-03-07 cs.CL cs.LG cs.SD
Integer-only Zero-shot Quantization for Efficient Speech Recognition
University of California, Berkeley（加州大学伯克利分校）
端到端神经网络模型在各种自动语音识别（ASR）任务上实现了改进的性能。然而，由于大量的内存和计算需求，这些模型在边缘硬件上表现不佳。虽然将模型权重和/或激活量化到低精度可能是一个有前途的解决方案，但以前对量化ASR模型的研究是有限的。特别是，以前的方法在推理过程中使用浮点运算，因此它们不能充分利用有效的整数处理单元。此外，它们在量化期间需要训练和/或验证数据，由于安全或隐私问题，这些数据可能不可用。为了解决这些限制，我们提出了一个整数，zero-shot量化方案的ASR模型。特别是，我们生成的合成数据的运行时统计数据类似于真实数据，我们用它来校准模型在量化。我们将我们的方法应用于QuartzNet，Jasper和Conformer，与全精度基线模型相比，即使没有使用任何数据，WER的退化也可以忽略不计。此外，我们在T4 GPU上实现了高达2.35倍的加速和4倍的压缩率，使用INT 8量化时WER降低<1%。
2022-01-30 cs.CL cs.SD eess.AS
Unsupervised Speech Representation Pooling Using Vector Quantization
Sogang University（西江大学）
针对语音表示长度可变的池化问题，提出一种无需额外训练的基于向量量化的无监督池化方法，通过压缩声学相似表示，在多个下游任务上优于平均池化。
2023-04-08 cs.AI cs.LG cs.SD
Enhancing Noise Robustness for Neural Speech Codecs through Resource-Efficient Progressive Quantization Perturbation Simulation
针对神经语音编解码器在真实噪声场景中因输入扰动导致量化码字偏移的问题，提出一种仅在纯净语音上训练的资源高效策略，通过距离加权概率top-K采样和渐进式量化扰动模拟，显著提升了编解码器的噪声鲁棒性并改善了纯净语音质量。
2025-10-13 eess.AS
Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition
Chinese University of Hong Kong（香港中文大学）
以长短期记忆循环神经网络（LSTM-RNN）和Transformers为代表的最先进语言模型（LM）对于实际应用来说变得越来越复杂和昂贵。低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。目前的量化方法是基于统一的精度，并没有考虑到在不同部分的LM量化误差的变化的性能灵敏度。为此，本文提出了一种新的混合精度神经网络LM量化方法。使用三种技术自动学习LSTM-RNN和基于Transformer的神经LM的最佳局部精度选择。前两种方法是基于量化灵敏度度量，其形式为在全精度和量化LM之间测量的KL发散，或者可以使用无矩阵技术有效地近似的Hessian迹加权量化扰动。第三种方法是基于混合精度神经结构搜索。为了克服梯度下降法直接估计离散量化权值的困难，采用交替方向乘子法（ADMM）有效地训练量化LM。实验进行了国家的最先进的LF-MMI CNN-TDNN系统具有速度扰动，i-Vector和学习隐藏单元贡献（LHUC）为基础的扬声器适应两个任务：总机电话语音和AMI会议转录。所提出的混合精度量化技术在两个任务上实现了“无损”量化，通过在全精度LSTM和Transformer基线LM上产生高达约16倍的模型大小压缩比，同时不会导致统计上显著的字出错率增加。
2021-11-29 cs.CL cs.SD eess.AS
Chunk Based Speech Pre-training with High Resolution Finite Scalar Quantization
Samsung Research America（三星美国研究）
本文提出基于分块的自监督学习算法，利用高分辨率有限标量量化提升语音预训练效果，实现流式和离线语音任务的高效性能。
2025-12-31 cs.CL cs.SD eess.AS
2-bit Conformer quantization for automatic speech recognition
本文研究将ASR模型权重量化至2-bit，结合对称/非对称量化、子通道量化和裁剪，在LibriSpeech上实现无损且模型缩小32%，在大规模数据上缩小超40%但词错误率相对上升17%。
2023-05-26 eess.AS
Mixed Precision of Quantization of Transformer Language Models for Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
以Transformers为代表的最先进的神经语言模型对于实际应用来说正变得越来越复杂和昂贵。低比特深度神经网络量化技术提供了一个强大的解决方案，以显着减少其模型的大小。当前的低比特量化方法基于统一的精度，并且不能考虑系统的不同部分对量化误差的变化的性能敏感度。为此，本文提出了新的混合精度DNN量化方法。使用两种技术自动学习最佳局部精度设置。第一种是基于量化灵敏度度量的海森迹加权量化扰动的形式。第二种是基于混合精度的Transformer结构搜索。交替方向乘法器（ADMM）被用来有效地训练混合精度量化DNN系统。在Penn Treebank（PTB）和Switchboard语料库训练的LF-MMI TDNN系统上进行的实验表明，所提出的混合精度Transformer量化技术在全精度基线上实现了高达16倍的模型大小压缩比，而没有识别性能下降。当用于压缩具有更多层的更大的全精度Transformer LM时，获得了高达1.7%绝对（18%相对）的总体字出错率（WER）降低。
2021-11-29 cs.CL cs.SD eess.AS
SECodec: Structural Entropy-based Compressive Speech Representation Codec for Speech Language Models
Yunnan Key Laboratory of Artificial Intelligence, Kunming, China（云南人工智能重点实验室）
本文提出基于结构熵的语音表示编解码器SECodec，通过图建模和二维SE最小化构建码本并自适应量化，其SESLM在语音重建和零样本文本到语音任务中表现优异。
2024-12-16 cs.SD eess.AS
Efficient Speech Representation Learning with Low-Bit Quantization
Meta AI
随着机器学习硬件的发展，更新的模型通常以增加的尺寸和计算复杂性为代价。在努力提高这些模型的效率，我们应用和研究最近的量化技术的语音表示学习模型。在SUPERB基准上对量化技术进行了评估。在ASR任务中，通过积极量化到1位，我们实现了86.32%的存储减少（184.42 -> 25.23），88%的估计运行时间减少（1.00 -> 0.12），同时增加了字错误率（7.06 -> 15.96）。与同样致力于模型压缩的DistillHuBERT相比，2位配置产生了更小的存储（35.84 vs. 46.98），更好的字错误率（12.68 vs. 13.37）和更有效的估计运行时间（0.15 vs. 0.73）。
2022-12-14 cs.CL eess.AS
Edge-ASR: Towards Low-Bit Quantization of Automatic Speech Recognition Models
Qualcomm AI Research（高通人工智能研究）
本文提出Edge-ASR基准，系统评估八种训练后量化方法在Whisper和Moonshine模型上的效果，发现3位量化结合先进技术可兼顾效率与精度，为边缘设备部署提供指导。
2025-08-01 cs.LG cs.SD eess.AS
TTS-Q: Speaker-Aware Post-Training Quantization of Text-to-Speech Diffusion Transformers
本文针对TTS扩散Transformer的后训练量化问题，提出感知引导的TTS-Q方法，通过混合精度调度恢复4位量化后的音色，同时降低GPU内存，为资源受限的TTS部署提供参考。
2026-10-21 cs.LG cs.SD eess.AS
BitTTS: Highly Compact Text-to-Speech Using 1.58-bit Quantization and Weight Indexing
LY Corporation（LY公司）
本文提出BitTTS，通过1.58位量化感知训练和权重索引方法，在端侧实现模型规模缩减83%，且合成质量优于同规模未量化基线。
2025-06-04 cs.LG cs.SD eess.AS
Effective and Efficient Mixed Precision Quantization of Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）
本研究提出一种将混合精度学习与参数量化整合至单阶段的语音基础模型混合精度量化新方法，在LibriSpeech数据集上验证了其在提升压缩比、缩短压缩时间的同时可维持甚至降低词错误率。
2025-01-11 cs.AI cs.SD eess.AS
QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对语音驱动手势生成中的运动抖动和语音异步问题，提出基于量化和相位引导的运动匹配框架，通过手势 VQ-VAE 码本与 Levenshtein 距离对齐优化生成质量，实验证明其优于现有方法。
2023-05-18 cs.CV cs.HC cs.MM
4-bit Quantization of LSTM-based Speech Recognition Models
IBM Research（IBM研究院）
我们研究了两类基于LSTM的大型自动语音识别架构（ASR）中权重和激活的积极低精度表示的影响：混合深度双向LSTM -隐马尔可夫模型（DBLSTM-Hacking）和递归神经网络-传感器（RNN-Ts）。使用4位整数表示，应用于这些模型的LSTM部分的简单量化方法会导致显着的字出错率（WER）下降。另一方面，我们表明，最小的精度损失是可以实现的量化器和初始化的适当选择。特别是，我们根据网络的局部属性定制量化方案，在限制计算时间的同时提高识别性能。我们证明了我们的解决方案的交换机（SWB）和呼叫中心（CH）测试集的NIST集线器5 -2000的评估。用300或2000小时的SWB数据训练的DBLSTM-Hashion分别实现了$<$ 0.5%和$<$ 1%的平均WER降级。在更具挑战性的RNN-T模型上，我们的量化策略将4位推理的退化限制在1.3%。
2021-08-27 cs.CL cs.LG cs.SD
VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
单次语音转换（One-shot Voice Conversion，VC）是一种基于语音表示解纠缠的转换方法，它只需要一个目标说话人的语音作为参考，就可以在任意说话人之间进行转换。现有的工作通常忽略了不同的语音表示之间的相关性在训练过程中，这会导致泄漏的内容信息到扬声器表示，从而降低VC的性能。为了缓解这个问题，我们采用矢量量化（VQ）进行内容编码，并在训练过程中引入互信息（MI）作为相关性度量，通过以无监督的方式减少它们的相互依赖性，实现内容，扬声器和音高表示的适当解纠缠。实验结果反映了该方法在学习有效的解纠缠语音表示保留源语言内容和语调变化，同时捕捉目标说话人特征的优势。在这样做时，所提出的方法实现了更高的语音自然度和扬声器相似性比当前国家的最先进的单次VC系统。我们的代码、预训练模型和演示可在https://github.com/Wendison/VQMIVC上获得。
2021-06-18 cs.CL cs.MM cs.SD
StableQuant: Layer Adaptive Post-Training Quantization for Speech Foundation Models
Department of Electrical and Electronic Engineering, Yonsei University（电子工程系，延世大学）
本文提出StableQuant，一种层自适应训练后量化算法，通过分析尺度分布和整体性能确定每层量化范围，在HuBERT和wav2vec2.0上实现模型缩减至四分之一、推理速度翻倍，且WER下降小于0.3%。
2025-04-21 cs.AI eess.AS
ESC: Efficient Speech Coding with Cross-Scale Residual Vector Quantized Transformers
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）
本文提出高效语音编解码器ESC，通过跨尺度残差向量量化与镜像分层窗口Transformer实现从粗到细的逐步解码，以更低模型复杂度取得高保真语音重建效果。
2024-10-03 cs.SD eess.AS
Multi-Granularity Adaptive Time-Frequency Attention Framework for Audio Deepfake Detection under Real-World Communication Degradations
针对真实通信劣化下音频深度伪造检测性能下降问题，提出含多粒度自适应注意力与自适应融合的统一框架，在多类劣化场景中性能优于现有最优基线，具备实际部署潜力。
2025-08-02 eess.AS
4-bit Conformer with Native Quantization Aware Training for Speech Recognition
Google LLC（谷歌有限责任公司）
降低延迟和模型大小一直是现场自动语音识别（ASR）应用场景的重要研究问题。沿着这个方向，模型量化已经成为压缩神经网络和降低计算成本的一种越来越流行的方法。大多数现有的实际ASR系统应用训练后的8位量化。为了在不引入额外性能回归的情况下实现更高的压缩率，在这项研究中，我们建议开发具有本地量化感知训练的4位ASR模型，该模型利用本地整数运算来有效地优化训练和推理。我们进行了两个实验的国家的最先进的一致性为基础的ASR模型，以评估我们提出的量化技术。首先，我们探索了权重和激活量化的不同精度对LibriSpeech数据集的影响，并获得了一个无损的4位Conformer模型，与float32模型相比，其大小减少了5.8倍。在此之后，我们首次研究并揭示了4位量化在使用大规模数据集训练的实际ASR系统上的可行性，并产生了具有混合4位和8位权重的无损Conformer ASR模型，与float32模型相比，其大小减少了5倍。
2023-03-03 cs.LG eess.AS
Enhancing Fully Formatted End-to-End Speech Recognition with Knowledge Distillation via Multi-Codebook Vector Quantization
Cisco Systems（思科系统）
本文提出通过多代码本向量量化和知识蒸馏增强端到端语音识别，显著提升标点和大写预测精度。
2025-12-22 eess.AS
Autoregressive Speech Synthesis without Vector Quantization
The Chinese University of Hong Kong（香港中文大学）；Microsoft Corporation（微软公司）
本文提出MELLE，一种无需向量量化的自回归语音合成方法，通过回归损失和变分推断直接生成连续梅尔频谱，相比VALL-E更简化且性能更优。
2025-05-27 cs.CL cs.SD eess.AS
Sub-8-Bit Quantization Aware Training for 8-Bit Neural Network Accelerator with On-Device Speech Recognition
Alexa AI, Amazon（亚马逊Alexa人工智能部门）；Hardware Compute Group, Amazon（亚马逊硬件计算组）
我们提出了一种新的子8位量化感知训练（S8 BQAT）方案，用于8位神经网络加速器。我们的方法的灵感来自于PMD-Max压缩理论，并在训练过程中针对可行的计算开销进行了实际调整。通过从32位基线导出的量化质心，我们使用多区域绝对余弦（MRACos）正则化器来增加训练损失，该正则化器将权重聚合到其最近的质心，有效地充当伪压缩器。此外，引入了一个周期性调用的硬压缩器，通过模拟运行时模型权重量化来提高收敛速度。我们使用递归神经网络转换器（RNN-T）架构将S8 BQAT应用于语音识别任务。使用S8 BQAT，我们能够增加模型参数大小，从而将字错误率相对降低4-16%，同时仍将延迟提高5%。
2022-06-30 cs.AI eess.AS eess.SP
