2-bit Conformer quantization for automatic speech recognition
本文研究将ASR模型权重量化至2-bit，结合对称/非对称量化、子通道量化和裁剪，在LibriSpeech上实现无损且模型缩小32%，在大规模数据上缩小超40%但词错误率相对上升17%。
2023-05-26 eess.AS
Speech Quality Factors for Traditional and Neural-Based Low Bit Rate Vocoders
University College Dublin（都柏林大学学院）；Google（谷歌）
本研究比较了低比特率下不同语音编码算法的性能。除了广泛部署的传统声码器，最近开发的基于生成模型的编码器在不同的比特率的选择进行了对比。编码语音的性能分析评估不同的质量方面：基音周期估计的准确性，自动语音识别的字错误率，和扬声器性别和编码延迟的影响。将从公开数据库中获取的语音样本的许多性能指标与主观评分进行比较。主观质量评估的结果与现有的全参考语音质量度量不相关。结果提供了有价值的见解方面的语音信号，将被用来开发一种新的度量，以准确地预测语音质量从基于生成模型的编码器。
2020-03-26 cs.SD eess.AS
Quantization of Acoustic Model Parameters in Automatic Speech Recognition Framework
Idiap Research Institute（伊迪亚普研究所）
最先进的混合自动语音识别（ASR）系统利用基于深度神经网络（DNN）的声学模型（AM），所述声学模型（AM）利用无格最大互信息（LF-MMI）准则和n-gram语言模型进行训练。AM通常具有数百万个参数，并且需要显著的参数减少以在嵌入式设备上操作。本文研究了参数量化对整体词识别性能的影响。提出了以下方法：（i）在Kaldi框架中使用传统的因子化TDNN（TDNN-F）架构训练AM，（ii）使用C++包装器将Kaldi中构建的TDNN AM加载到PyTorch工具包中进行训练后量化，（iii）在PyTorch中为Kaldi TDNN模型进行量化感知训练，（iv）在Kaldi中进行量化感知训练。在标准Librispeech设置上获得的结果提供了一个有趣的识别精度w.r.t.应用量化方案。
2020-11-20 cs.SD eess.AS
Enhancing Noise Robustness for Neural Speech Codecs through Resource-Efficient Progressive Quantization Perturbation Simulation
针对神经语音编解码器在真实噪声场景中因输入扰动导致量化码字偏移的问题，提出一种仅在纯净语音上训练的资源高效策略，通过距离加权概率top-K采样和渐进式量化扰动模拟，显著提升了编解码器的噪声鲁棒性并改善了纯净语音质量。
2025-10-13 eess.AS
Towards One-bit ASR: Extremely Low-bit Conformer Quantization Using Co-training and Stochastic Precision
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文提出利用多精度模型协同训练、随机精度及张量级可学习缩放因子，实现Conformer ASR系统的2-bit和1-bit极低位宽量化，在Switchboard和LibriSpeech语料库上分别达到16.2倍和16.6倍的无损压缩比且词错率无显著增加。
2025-05-27 cs.SD eess.AS
4-bit Conformer with Native Quantization Aware Training for Speech Recognition
Google LLC（谷歌有限责任公司）
降低延迟和模型大小一直是现场自动语音识别（ASR）应用场景的重要研究问题。沿着这个方向，模型量化已经成为压缩神经网络和降低计算成本的一种越来越流行的方法。大多数现有的实际ASR系统应用训练后的8位量化。为了在不引入额外性能回归的情况下实现更高的压缩率，在这项研究中，我们建议开发具有本地量化感知训练的4位ASR模型，该模型利用本地整数运算来有效地优化训练和推理。我们进行了两个实验的国家的最先进的一致性为基础的ASR模型，以评估我们提出的量化技术。首先，我们探索了权重和激活量化的不同精度对LibriSpeech数据集的影响，并获得了一个无损的4位Conformer模型，与float32模型相比，其大小减少了5.8倍。在此之后，我们首次研究并揭示了4位量化在使用大规模数据集训练的实际ASR系统上的可行性，并产生了具有混合4位和8位权重的无损Conformer ASR模型，与float32模型相比，其大小减少了5倍。
2023-03-03 cs.LG eess.AS
MSR-Codec: A Low-Bitrate Multi-Stream Residual Codec for High-Fidelity Speech Generation with Information Disentanglement
LIGHTSPEED（光速）；The Hong Kong University of Science and Technology（香港科技大学）
MSR-Codec通过低比特率多流残差编解码器实现高质量语音生成，利用信息解耦技术提升语音合成与转换性能。
2026-02-24 eess.AS
Optimizing Neural Speech Codec for Low-Bitrate Compression via Multi-Scale Encoding
Interactive Entertainment Group Tencent（腾讯互动娱乐集团）
本文提出多尺度神经语音编解码器MsCodec，通过为不同信息密度的语音特征分配不同时间尺度的离散编码并引入互信息损失，解决了RVQ统一时间尺度导致的冗余编码问题，显著提升了低比特率下的语音压缩性能。
2024-10-21 cs.SD eess.AS
Low Bit-Rate Wideband Speech Coding: A Deep Generative Model based Approach
National University of Defense Technology（国防科技大学）；Army Engineering University of PLA（中国人民解放军陆军工程大学）
传统的低速率语音编码方法只能处理8 kHz的窄带语音，这限制了语音质量的进一步提高。受最近成功探索用于图像和语音压缩的深度学习方法的启发，本文提出了一种新方法，通过梅尔频率倒谱系数（MFCC）的矢量量化（VQ）并使用称为WaveGlow的深度生成模型来提供高效和高质量的语音编码。对于16 kHz宽带语音，其编码特征是80维MFCC矢量，通过对MFCC矢量采用不同的矢量量化方案，可以实现1000-2000 bit/s码率的语音编码。这种新的基于深度生成网络的编解码器工作速度很快，因为WaveGlow模型放弃了逐样本自回归机制。我们在多说话人TIMIT语料库上对这种新方法进行了评估，实验结果表明，与最先进的经典MELPe编解码器相比，它在较低的比特率下提供了更好的语音质量。
2021-02-04 cs.LG cs.MM cs.SD
Speech Enhancement with Multi-granularity Vector Quantization
University of Science and Technology of China (USTC)（中国科学技术大学（USTC））
随着深度学习的进步，基于神经网络的语音增强（SE）在过去十年中得到了快速发展。同时，自监督预训练模型和矢量量化（VQ）在许多语音相关的任务上取得了优异的性能，而它们在SE上的探索较少。正如我们之前的工作所示，利用VQ模块离散化带噪语音表示有利于语音去噪，因此在这项工作中，我们研究了在不同层使用不同数量的码本的VQ的影响。不同的VQ模块确实能够提取多粒度语音特征。遵循注意机制，由预训练模型提取的上下文特征与由编码器提取的局部特征融合，使得全局和局部信息都被保留以重建增强的语音。在Valentini数据集上的实验结果表明，该模型可以提高SE性能，其中也揭示了选择预训练模型的影响。
2023-02-16 cs.SD eess.AS
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google（谷歌）
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音，但它们使用的递归或卷积层通常会限制它们的有效感受域，这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率，由于它们的电感偏置，能够利用输入信号中的长程依赖性。因此，我们使用预训练的Transformer与卷积编码器串联，卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明，用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器，当以相同的比特率训练时，该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明，所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
Sub-8-Bit Quantization Aware Training for 8-Bit Neural Network Accelerator with On-Device Speech Recognition
Alexa AI, Amazon（亚马逊Alexa人工智能部门）；Hardware Compute Group, Amazon（亚马逊硬件计算组）
我们提出了一种新的子8位量化感知训练（S8 BQAT）方案，用于8位神经网络加速器。我们的方法的灵感来自于PMD-Max压缩理论，并在训练过程中针对可行的计算开销进行了实际调整。通过从32位基线导出的量化质心，我们使用多区域绝对余弦（MRACos）正则化器来增加训练损失，该正则化器将权重聚合到其最近的质心，有效地充当伪压缩器。此外，引入了一个周期性调用的硬压缩器，通过模拟运行时模型权重量化来提高收敛速度。我们使用递归神经网络转换器（RNN-T）架构将S8 BQAT应用于语音识别任务。使用S8 BQAT，我们能够增加模型参数大小，从而将字错误率相对降低4-16%，同时仍将延迟提高5%。
2022-06-30 cs.AI eess.AS eess.SP
VoCodec: An Efficient Lightweight Low-Bitrate Speech Codec
Nanjing University（南京大学）；Horizon Robotics（地平线机器人）
VoCodec是一种低计算复杂度和低延迟的语音编解码器，利用Vocos作为骨干，在LRAC挑战赛中取得优异成绩，并通过前端轻量级网络提升语音增强能力。
2026-01-19 eess.AS
Outlier Reduction with Gated Attention for Improved Post-training Quantization in Large Sequence-to-sequence Speech Foundation Models
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）；Intel Labs（英特尔实验室）
针对 Whisper 语音模型蒸馏后 PTQ 受权重与激活异常值影响的问题，本文在学生模型注意力块中引入门控机制以减少异常值，实现有效 8 比特量化并降低词错误率。
2024-06-16 cs.SD eess.AS
FOAdapter: A Plug-and-Play Spatial Tokenizer for Low-Bitrate FOA Speech Coding
KAIST（韩国科学技术院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对神经语音编解码器难以保留低比特率FOA语音空间线索的问题，提出即插即用的FOAdapter空间分词器，可结合预训练单声道编解码器在低比特率下同时保留语言与空间信息，经评估效果稳定。
2026-10-14 cs.SD eess.AS
On the Impact of Quantization and Pruning of Self-Supervised Speech Models for Downstream Speech Recognition Tasks "In-the-Wild''
Institut National de la Recherche Scientifique（国家科学研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文评估量化与剪枝对鲁棒 wav2vec 2.0 在噪声、混响等训练/测试不匹配条件下语音识别准确率的影响，以推动自监督模型在边缘设备部署。
2023-09-25 cs.SD eess.AS
Mixed Precision DNN Qunatization for Overlapped Speech Separation and Recognition
Tencent AI lab（腾讯AI实验室）
重叠语音的识别一直是一个极具挑战性的任务。多通道语音分离系统在实际应用中变得越来越复杂和昂贵。为此，低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。然而，目前的量化方法是基于统一的精度，并没有考虑到不同的模型组件的量化误差的变化的性能灵敏度。本文提出了一种新的混合精度DNN量化方法，通过将局部可变位宽应用于基于TF掩蔽的多通道语音分离系统的各个TCN分量。使用三种技术自动学习最佳局部精度设置。前两种方法利用基于均方误差（MSE）损失函数曲率或在全精度和量化分离模型之间测量的KL发散的量化灵敏度度量。第三种方法是基于混合精度神经结构搜索。LRS 3-TED语料库模拟重叠语音数据上进行的实验表明，所提出的混合精度量化技术始终优于可比位宽的均匀精度基线语音分离系统的SI-SNR和PESQ分数，以及字出错率（WER）减少高达2.88%的绝对（8%相对）。
2021-11-29 cs.SD eess.AS
StableQuant: Layer Adaptive Post-Training Quantization for Speech Foundation Models
Department of Electrical and Electronic Engineering, Yonsei University（电子工程系，延世大学）
本文提出StableQuant，一种层自适应训练后量化算法，通过分析尺度分布和整体性能确定每层量化范围，在HuBERT和wav2vec2.0上实现模型缩减至四分之一、推理速度翻倍，且WER下降小于0.3%。
2025-04-21 cs.AI eess.AS
VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
单次语音转换（One-shot Voice Conversion，VC）是一种基于语音表示解纠缠的转换方法，它只需要一个目标说话人的语音作为参考，就可以在任意说话人之间进行转换。现有的工作通常忽略了不同的语音表示之间的相关性在训练过程中，这会导致泄漏的内容信息到扬声器表示，从而降低VC的性能。为了缓解这个问题，我们采用矢量量化（VQ）进行内容编码，并在训练过程中引入互信息（MI）作为相关性度量，通过以无监督的方式减少它们的相互依赖性，实现内容，扬声器和音高表示的适当解纠缠。实验结果反映了该方法在学习有效的解纠缠语音表示保留源语言内容和语调变化，同时捕捉目标说话人特征的优势。在这样做时，所提出的方法实现了更高的语音自然度和扬声器相似性比当前国家的最先进的单次VC系统。我们的代码、预训练模型和演示可在https://github.com/Wendison/VQMIVC上获得。
2021-06-18 cs.CL cs.MM cs.SD
A Streamwise GAN Vocoder for Wideband Speech Coding at Very Low Bit Rate
Fraunhofer（弗劳恩霍夫）；Fantasmo（范塔斯莫）
最近，GAN声码器在语音合成方面取得了快速进展，开始以更高的生成速度在感知质量方面优于自回归模型。然而，自回归声码器仍然是以非常低的比特率编码的语音信号的神经生成的常见选择。在本文中，我们提出了一个GAN声码器，它能够产生宽带语音波形的参数编码在1.6 kbit/s。该模型是一个修改版本的StyleMelGAN声码器，可以运行在逐帧的方式，使其适合于流媒体应用。实验结果表明，该模型在极低比特率语音编码中的性能明显优于LPCNet等自回归声码器，计算复杂度约为5 GMAC，为该领域提供了一个新的发展方向.此外，这种流式对抗声码器在干净语音上以5.9 kbit/s提供与高级语音编解码器（例如EVS）竞争的质量，这促使前馈全卷积模型进一步用于低比特率语音编码。
2021-08-09 cs.LG cs.SD eess.AS
Resource-Efficient Speech Quality Prediction through Quantization Aware Training and Binary Activation Maps
Friedrich Miescher Institute for Biomedical Research（弗里德里希·米舍尔生物医学研究所）；GN Audio（GN音频公司）；Technical University of Denmark（丹麦技术大学）；University of Basel（巴塞尔大学）
本文提出基于DNSMOS的卷积架构结合二值激活图（BAMs）与量化感知训练，在匹配基线预测性能的同时结合8位权重量化实现25倍内存减少，为资源受限设备上的语音质量预测提供高效方案。
2024-07-05 cs.NE cs.SD eess.AS
CQNV: A combination of coarsely quantized bitstream and neural vocoder for low rate speech coding
Wuhan University（武汉大学）；Supercomputing Center of Wuhan University（武汉大学超级计算中心）
针对传统参数与神经声码器结合的语音编码架构参数量化冗余问题，提出CQNV框架，结合传统粗量化参数与神经声码器并加入参数处理模块，在1.1kbps下实现优于3kbps的Lyra和Encodec的语音质量。
2023-07-25 cs.SD eess.AS
BitTTS: Highly Compact Text-to-Speech Using 1.58-bit Quantization and Weight Indexing
LY Corporation（LY公司）
本文提出BitTTS，通过1.58位量化感知训练和权重索引方法，在端侧实现模型规模缩减83%，且合成质量优于同规模未量化基线。
2025-06-04 cs.LG cs.SD eess.AS
Improving Opus Low Bit Rate Quality with Neural Speech Synthesis
Mozilla
Opus音频编码器的语音模式可以以6 kb/s至40 kb/s的比特率压缩宽带语音。然而，Opus的核心是一个波形匹配编码器，当速率下降到10 kb/s以下时，质量会迅速下降。随着速率进一步降低，参数编码器往往比波形编码器表现得更好。在本文中，我们提出了一种通过从解码参数重新合成语音来提高低比特率Opus质量的向后兼容方法。我们比较了两种不同的神经生成模型，WaveNet和LPCNet。WaveNet是一种功能强大、高复杂度和高延迟的架构，对于实际系统来说是不可行的，但它提供了一种最好的生成模型可实现的质量。LPCNet是一个低复杂度、低延迟的基于RNN的生成模型，实际上可以在手机上实现。我们应用这些系统与Opus编码在6 kb/s的参数作为条件功能的生成模型。收听测试表明，对于相同的6 kb/s Opus比特流，使用LPCNet的合成语音明显优于标准Opus解码器的输出。这开辟了在不破坏兼容性的情况下提高现有语音和音频波形编码器的解码质量的方法。
2020-08-10 cs.SD eess.AS
Entropy-Guided GRVQ for Ultra-Low Bitrate Neural Speech Codec
Waseda University（早稻田大学）；NTT, Inc.（日本电信电话株式会社）
本文提出熵引导的组残差向量量化方法，用于超低比特率神经语音编解码器，以提升语音信号的重建质量和可懂度。
2026-03-02 eess.AS eess.SP
Unsupervised Speech Representation Pooling Using Vector Quantization
Sogang University（西江大学）
针对语音表示长度可变的池化问题，提出一种无需额外训练的基于向量量化的无监督池化方法，通过压缩声学相似表示，在多个下游任务上优于平均池化。
2023-04-08 cs.AI cs.LG cs.SD
Deep Vocoder: Low Bit Rate Compression of Speech with Deep Autoencoder
National University of Defense Technology（国防科技大学）；Army Engineering University of PLA（中国人民解放军陆军工程大学）
受深度神经网络（DNN）在语音处理中的成功启发，本文提出了一种带深度自动编码器（DAE）的直接端到端低比特率语音压缩方法--深度声码器（Deep Vocoder）。在深度声码器中，DAE用于提取语音的潜在代表特征（LRF），然后通过合成分析矢量量化（AbS VQ）方法对其进行有效量化。AbS VQ的目标是最小化感知频谱重建失真，而不是LRF向量本身的失真。此外，提出了一种次优码本搜索技术，以进一步降低计算复杂性。实验结果表明，与传统的基于SQ或VQ的编解码器的输出相比，深度声码器在频率加权分段SNR、STOI和PESQ得分方面产生了实质性的改善。对于2400 bit/s和1200 bit/s的语音编码，在TIMIT语料库上产生的PESQ分数分别为3.34和3.08。
2019-05-14 cs.IT cs.MM cs.SD
Sub 8-Bit Quantization of Streaming Keyword Spotting Models for Embedded Chipsets
Amazon（亚马逊）
我们提出了一种新的2阶段子8位量化感知训练算法的所有组件的250 K参数前馈，流，无状态的关键字定位模型。对于第一阶段，我们采用最近提出的量化技术，使用tanh（.）密集层的权重。在第二阶段，我们对网络的其余部分使用线性量化方法，包括其他参数（偏置，增益，batchnorm），输入和激活。我们进行了大规模的实验，对26,000小时的去识别化制作、远场和近场音频数据进行了训练（对4,000小时的数据进行了评估）。我们组织我们的结果在两个嵌入式芯片组设置：a）与商品ARM NEON指令集和8位容器，我们目前的准确性，CPU和内存的结果，使用子8位权重（4、5、8位）和8位量化网络的其余部分; b）使用现成的神经网络加速器，对于一定范围的权重位宽（1和5位），在呈现准确性结果的同时，我们预计减少存储器利用率。在这两种配置中，我们的结果表明，所提出的算法可以实现：a）奇偶校验与一个完整的浮点模型的工作点上的检测错误权衡（DET）曲线在错误检测率（FDR）在错误拒绝率（FRR）; b）显着减少计算和内存，产生高达3倍的改善CPU消耗和超过4倍的改善内存消耗。
2022-09-08 cs.LG cs.SD eess.AS
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI（亚马逊Alexa人工智能部门）
对于设备上自动语音识别（ASR），量化感知训练（QAT）是普遍存在的，以实现模型预测性能和效率之间的权衡。在现有的QAT方法中，一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制，我们引入了一个正则化的自由，“软到硬”的压缩机制与自我可调的质心在μ律约束的空间，从而在一个更简单，但更通用的量化方案，称为通用量化器（GQ）。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器（RNN-T）和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下，GQ可以将RNN-T和Conformer压缩到8位以下，对于某些RNN-T层，可以压缩到1位，以实现快速准确的推理。通过物理设备基准测试，我们观察到与8位QAT相比，内存占用节省了30.73%，用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
Scaling Transformers for Low-Bitrate High-Quality Speech Coding
Stability AI（稳定性人工智能公司）
针对语音标记化任务，本研究扩展大参数Transformer架构并结合灵活有限标量量化（FSQ）瓶颈，在400或700比特/秒极低比特率下实现最先进语音质量，且在主客观测试中显著优于现有基准。
2024-11-29 cs.AI cs.LG cs.SD
Towards Green ASR: Lossless 4-bit Quantization of a Hybrid TDNN System on the 300-hr Switchboard Corpus
The Chinese University of Hong Kong（香港中文大学）
现有技术水平的时间自动语音识别（ASR）系统对于实际应用而言正变得越来越复杂和昂贵。本文提出了一个高性能和低占用4位量化LF-MMI训练的因子化时间延迟神经网络（TDNNs）的ASR系统的300小时的交换机语料库的发展。整个系统设计的一个关键特征是考虑到不同模型组件对量化误差的细粒度、变化的性能灵敏度。为此，使用一组神经架构压缩和混合精度量化方法来促进最佳因子化TDNN权重矩阵子空间维度和量化位宽的隐藏层级自动配置。所提出的技术也被用来产生2位混合精度量化的Transformer语言模型。在交换机数据上进行的实验表明，所提出的神经架构压缩和混合精度量化技术在字出错率（WER）方面始终优于可比位宽的均匀精度量化基线系统。在包括TDNN和Transformer组件的基线全精度系统上获得了13.6的总体"无损"压缩比，同时没有引起统计上显著的WER增加。
2022-06-23 cs.HC cs.SD eess.AS
A study on speech enhancement using exponent-only floating point quantized neural network (EOFP-QNN)
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）
许多研究已经调查了神经网络量化对模式分类任务的有效性。本研究，第一次，研究了性能的语音增强（语音处理中的回归任务）使用一种新的指数只有浮点量化神经网络（EOFP-QNN）。EOFP-QNN由两个阶段组成：尾数量化和指数量化。在尾数量化阶段，EOFP-QNN学习如何在使用最小尾数精度保持回归精度的同时对模型参数的尾数位进行量化。在指数量化阶段，参数的指数部分被进一步量化，而不会导致任何额外的性能下降。我们评估了两种类型的神经网络，即双向长短期记忆（BLSTM）和全卷积神经网络（FCN），在语音增强任务的建议EOFP量化技术。实验结果表明，在保持语音增强效果的同时，量化后的BLSTM和FCN模型的模型大小分别仅为原始模型的18.75%和21.89%，大大减小了模型大小。
2018-10-30 cs.AI cs.LG cs.SD
Memory Requirement Reduction of Deep Neural Networks Using Low-bit Quantization of Parameters
University of Pisa（比萨大学）；Tampere University（坦佩雷大学）
深度神经网络（DNN）在移动设备和嵌入式系统中的有效应用受到内存和计算能力要求的阻碍。本文提出了一种非均匀量化方法，该方法允许对不同层和同一层内的DNN参数进行动态量化。为了提高该方案的准确性，还提出了一种虚拟比特移位（VBS）方案。我们的方法降低了内存需求，保持了网络的性能。在一个语音增强应用中，我们的方法的性能得到了验证，其中一个完全连接的DNN被用来从输入的噪声语音频谱预测干净的语音频谱。DNN被优化，其内存占用和性能使用短时客观可懂度（STOI）指标进行评估。低位量化的应用允许DNN内存占用减少50%，而STOI性能仅下降2.7%。
2019-11-01 cs.LG cs.PF cs.SD
End-to-end Keyword Spotting using Neural Architecture Search and Quantization
Graz University of Technology（格拉茨工业大学）
本文介绍了神经架构搜索（NAS），用于在有限资源环境中自动发现端到端关键字定位（KWS）模型。我们采用可区分的NAS方法来优化对原始音频波形进行操作的卷积神经网络（CNN）的结构。在NAS中找到合适的KWS模型后，我们对权重和激活进行量化，以减少内存占用。我们对Google语音命令数据集进行了广泛的实验。特别是，我们比较我们的端到端的方法梅尔频率倒谱系数（MFCC）为基础的系统。对于量化，我们比较了固定位宽量化和训练位宽量化。仅使用NAS，我们就能够获得一个高效的模型，使用75.7k个参数和13.6M次操作，准确率达到95.55%。使用训练的位宽量化，相同的模型实现了93.76%的测试准确度，而平均每个激活仅使用2.91位，每个权重仅使用2.51位。
2021-04-14 cs.LG cs.SD eess.AS
QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对语音驱动手势生成中的运动抖动和语音异步问题，提出基于量化和相位引导的运动匹配框架，通过手势 VQ-VAE 码本与 Levenshtein 距离对齐优化生成质量，实验证明其优于现有方法。
2023-05-18 cs.CV cs.HC cs.MM
