Adaptive Activation Network For Low Resource Multilingual Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
低资源自动语音识别（ASR）是一项有用但棘手的任务，因为深度学习ASR模型通常需要大量的训练数据。现有的模型大多通过在大型源语言上进行预训练，然后再转移到资源较少的目标语言上，从而建立瓶颈层。本文在ASR模型的上层引入了自适应激活网络，并对不同的语言应用了不同的激活函数。我们还提出了两种训练模型的方法：（1）跨语言学习，将源语言的激活函数替换为目标语言的激活函数;（2）多语言学习，联合训练每种语言的连接主义时间分类（CTC）损失和不同语言的相关性。我们在IARPA Babel数据集上的实验表明，我们的方法优于从头开始训练和传统的基于瓶颈特征的方法。此外，将跨语言学习和多语言学习结合起来，可以进一步提高多语言语音识别的性能。
2022-05-28 cs.CL cs.SD eess.AS
Mitigating Attention Sinks and Massive Activations in Audio-Visual Speech Recognition with LLMs
University of British Columbia, Canada（不列颠哥伦比亚大学）；Imperial College London, UK（伦敦帝国学院）
本文提出了一种简单有效的去相关损失，通过减少BOS与其它token的余弦相似性，缓解音频视觉语音识别中的注意力下沉和大规模激活问题，同时在高下采样率下降低词错误率。
2026-01-27 cs.CV cs.SD eess.AS
Privacy-Preserving Speech Representation Learning using Vector Quantization
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究实验室）；Le Mans Université（勒芒大学）；LIUM（勒芒大学信息学实验室）
随着虚拟助理（例如，Siri、Alexa），语音识别的使用现在越来越广泛。然而，语音信号包含了很多敏感信息，比如说话人的身份，实验结果表明，语音识别网络深层提取的语音表示中包含说话人信息，本文旨在产生一种匿名的语音表示，同时保持语音识别性能。为此，我们提出使用矢量量化来约束表示空间，并诱导网络抑制说话人身份，量化字典大小的选择允许在实用性（语音识别）和隐私性（说话人身份隐藏）之间进行权衡。
2022-03-15 cs.AI cs.CL cs.CR
Emotion-Aware Quantization for Discrete Speech Representations: An Analysis of Emotion Preservation
The University of Melbourne, Australia（墨尔本大学）；Massachusetts Institute of Technology, USA（麻省理工学院）；Monash University, Australia（墨尔本大学）
研究探讨了残差向量量化对离散语音表示中情感信息的影响，提出情感感知量化方法以提升情感感知的保留度，并改进低比特率下的情感识别性能。
2026-03-22 cs.SD
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China（上海交通大学X-LANCE实验室）；Shanghai Innovation Institute, China（上海创新研究院）；Soul AI Lab, China（Soul AI实验室）
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力，实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning
CMU（卡内基梅隆大学）；SJTU（上海交通大学）
PURE编码器通过预训练语音增强模型指导多阶段量化，提升低比特率语音编码的训练稳定性与重建质量，尤其在嘈杂环境下表现优异。
2025-11-27 cs.SD eess.AS
Gradient-Adjusted Neuron Activation Profiles for Comprehensive Introspection of Convolutional Speech Recognition Models
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
基于深度学习的自动语音识别（ASR）模型非常成功，但很难解释。为了更好地理解人工神经网络（ANN）如何完成它们的任务，已经提出了内省方法。将这样的技术从计算机视觉应用到语音识别并不简单，因为语音数据比图像数据更复杂且更难解释。在这项工作中，我们引入了顺应性调整的神经元激活轮廓（GradNAP）作为解释深度神经网络中的特征和表示的手段。GradNAP是ANN对特定输入组的特征响应，其中包含用于预测的神经元的相关性。我们展示了如何利用GradNAP来深入了解数据如何在ANN中处理。这包括不同的可视化功能和GradNAP聚类的方式，以比较给定网络的任何层中不同输入组的嵌入。我们使用全卷积ASR模型演示了我们提出的技术。
2020-02-19 cs.LG cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
语音转换是指在保留话语内容的同时改变语音的音色。最近，许多工作集中在基于分离的学习技术，从语音信号中分离音色和语言内容信息。一旦成功，语音转换将是可行和直接的。提出了一种基于矢量量化语音转换（VQVC）和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中，以更有效地从语音中分离出内容和音色信息。实验结果表明，该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
Speech Enhancement Using Self-Supervised Pre-Trained Model and Vector Quantization
University of Science and Technology of China（中国科学技术大学）；National Engineering Research Center for Speech and Language Information Processing（国家语音及语言信息处理工程技术研究中心）
随着深度学习的发展，基于神经网络的语音增强（SE）模型表现出了优异的性能。同时，研究表明，自监督预训练模型的开发可以应用于各种下游任务。在本文中，我们将考虑将预训练模型应用于实时SE问题。具体来说，DEMUCS模型的编码器和瓶颈层使用自监督预训练WavLM模型进行初始化，编码器中的卷积由因果卷积代替，瓶颈层中的Transformer编码器基于因果注意掩码。此外，由于离散化含噪语音表示更有利于去噪，我们利用量化模块对瓶颈层输出的表示进行离散化，然后将其输入解码器以重建干净的语音波形。在Valentini数据集和内部数据集上的实验结果表明，基于预训练模型的初始化可以提高SE性能，离散化操作在一定程度上抑制了表示中的噪声分量，这可以进一步提高性能。
2022-09-28 cs.SD eess.AS
USM-Lite: Quantization and Sparsity Aware Fine-tuning for Speech Recognition with Universal Speech Models
Google LLC（谷歌有限责任公司）；Google DeepMind（谷歌DeepMind）
本文提出 USM-Lite 微调方法，通过低位量化与 N:M 结构化稀疏感知压缩 20 亿参数通用语音模型，在仅 7.3% 相对 WER 回退下将模型压缩至 9.4% 大小。
2024-01-16 cs.SD eess.AS
DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室、AI研究院）
本文提出 DQ-Whisper 框架，通过动态匹配蒸馏与量化感知蒸馏联合压缩 Whisper，在几乎不损失性能的前提下将模型缩小最多 5.18 倍，有效提升小型模型的多语言语音识别能力。
2024-09-29 cs.CL cs.SD eess.AS
Unsupervised Speech Representation Pooling Using Vector Quantization
Sogang University（西江大学）
针对语音表示长度可变的池化问题，提出一种无需额外训练的基于向量量化的无监督池化方法，通过压缩声学相似表示，在多个下游任务上优于平均池化。
2023-04-08 cs.AI cs.LG cs.SD
ParaGSE: Parallel Generative Speech Enhancement with Group-Vector-Quantization-based Neural Speech Codec
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家级工程研究中心）；University of Science and Technology of China（中国科学技术大学）
ParaGSE通过基于分组向量量化神经语音编解码器的并行生成式语音增强方法，实现了更高的效率和更优的语音质量。
2026-02-02 cs.SD
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI（亚马逊Alexa人工智能部门）
对于设备上自动语音识别（ASR），量化感知训练（QAT）是普遍存在的，以实现模型预测性能和效率之间的权衡。在现有的QAT方法中，一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制，我们引入了一个正则化的自由，“软到硬”的压缩机制与自我可调的质心在μ律约束的空间，从而在一个更简单，但更通用的量化方案，称为通用量化器（GQ）。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器（RNN-T）和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下，GQ可以将RNN-T和Conformer压缩到8位以下，对于某些RNN-T层，可以压缩到1位，以实现快速准确的推理。通过物理设备基准测试，我们观察到与8位QAT相比，内存占用节省了30.73%，用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
EmoSteer-TTS: Fine-Grained and Training-Free Emotion-Controllable Text-to-Speech via Activation Steering
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Tencent AI Lab（腾讯人工智能实验室）
提出EmoSteer-TTS，通过激活引导实现无需训练的细粒度语音情感控制，支持转换、插值和擦除，优于现有最先进方法。
2025-10-25 cs.AI cs.SD eess.AS
Evolution Strategy-Based Calibration for Low-Bit Quantization of Speech Models
cortAIx Labs（cortAIx实验室）
本文提出ESC方法，通过进化策略解决音频信号低比特量化中的校准问题，在INT8和INT4量化中实现接近无损性能。
2026-07-21 cs.AI cs.SD
Spiking and Event-driven Neuromorphic Mamba Models for Efficient Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
提出脉冲和事件驱动的神经形态Mamba模型，通过激活稀疏性提升语音识别效率，在LibriSpeech上实现超过60%的激活稀疏性且精度损失小于1%，并开发周期精确的事件驱动模拟器实现算法-硬件协同优化。
2026-05-31 cs.NE cs.SD
ViP-VL: Vietnamese Self-supervised Speech Pretraining Model with Vector-Quantization Learning
VinUniversity（越南 Vin 大学）
提出ViP-VL模型，通过声学堆叠、感受野对齐和掩码选择策略，在BEST-RQ框架上实现高效自监督预训练，在越南语ASR、情感识别、方言分类和说话人验证四项任务上取得最优结果。
2026-06-11 cs.SD
Integer-only Zero-shot Quantization for Efficient Speech Recognition
University of California, Berkeley（加州大学伯克利分校）
端到端神经网络模型在各种自动语音识别（ASR）任务上实现了改进的性能。然而，由于大量的内存和计算需求，这些模型在边缘硬件上表现不佳。虽然将模型权重和/或激活量化到低精度可能是一个有前途的解决方案，但以前对量化ASR模型的研究是有限的。特别是，以前的方法在推理过程中使用浮点运算，因此它们不能充分利用有效的整数处理单元。此外，它们在量化期间需要训练和/或验证数据，由于安全或隐私问题，这些数据可能不可用。为了解决这些限制，我们提出了一个整数，zero-shot量化方案的ASR模型。特别是，我们生成的合成数据的运行时统计数据类似于真实数据，我们用它来校准模型在量化。我们将我们的方法应用于QuartzNet，Jasper和Conformer，与全精度基线模型相比，即使没有使用任何数据，WER的退化也可以忽略不计。此外，我们在T4 GPU上实现了高达2.35倍的加速和4倍的压缩率，使用INT 8量化时WER降低<1%。
2022-01-30 cs.CL cs.SD eess.AS
Generative De-Quantization for Neural Speech Codec via Latent Diffusion
Electronics and Telecommunications Research Institute（韩国电子通信研究院）
本文提出将表示学习与重建分离，用端到端编码器学习离散令牌，并用潜在扩散模型去量化，在1.5和3 kbps低比特率下优于现有最优方法。
2023-11-15 cs.SD eess.AS
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University（西北工业大学）；Chongqing Changan Automobile Co., Ltd.（重庆长安汽车有限公司）
针对ASR中子词独立增强损害短语完整性的问题，提出基于动态词表预测与激活的短语级语境化ASR方法，引入偏置损失和置信度激活解码，在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
A study on speech enhancement using exponent-only floating point quantized neural network (EOFP-QNN)
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）
许多研究已经调查了神经网络量化对模式分类任务的有效性。本研究，第一次，研究了性能的语音增强（语音处理中的回归任务）使用一种新的指数只有浮点量化神经网络（EOFP-QNN）。EOFP-QNN由两个阶段组成：尾数量化和指数量化。在尾数量化阶段，EOFP-QNN学习如何在使用最小尾数精度保持回归精度的同时对模型参数的尾数位进行量化。在指数量化阶段，参数的指数部分被进一步量化，而不会导致任何额外的性能下降。我们评估了两种类型的神经网络，即双向长短期记忆（BLSTM）和全卷积神经网络（FCN），在语音增强任务的建议EOFP量化技术。实验结果表明，在保持语音增强效果的同时，量化后的BLSTM和FCN模型的模型大小分别仅为原始模型的18.75%和21.89%，大大减小了模型大小。
2018-10-30 cs.AI cs.LG cs.SD
Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition
Chinese University of Hong Kong（香港中文大学）
以长短期记忆循环神经网络（LSTM-RNN）和Transformers为代表的最先进语言模型（LM）对于实际应用来说变得越来越复杂和昂贵。低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。目前的量化方法是基于统一的精度，并没有考虑到在不同部分的LM量化误差的变化的性能灵敏度。为此，本文提出了一种新的混合精度神经网络LM量化方法。使用三种技术自动学习LSTM-RNN和基于Transformer的神经LM的最佳局部精度选择。前两种方法是基于量化灵敏度度量，其形式为在全精度和量化LM之间测量的KL发散，或者可以使用无矩阵技术有效地近似的Hessian迹加权量化扰动。第三种方法是基于混合精度神经结构搜索。为了克服梯度下降法直接估计离散量化权值的困难，采用交替方向乘子法（ADMM）有效地训练量化LM。实验进行了国家的最先进的LF-MMI CNN-TDNN系统具有速度扰动，i-Vector和学习隐藏单元贡献（LHUC）为基础的扬声器适应两个任务：总机电话语音和AMI会议转录。所提出的混合精度量化技术在两个任务上实现了“无损”量化，通过在全精度LSTM和Transformer基线LM上产生高达约16倍的模型大小压缩比，同时不会导致统计上显著的字出错率增加。
2021-11-29 cs.CL cs.SD eess.AS
Non-linear predictive vector quantization of speech
Escola Universitària Politècnica de Mataró（马塔罗理工学院）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出了一种基于多层感知器的非线性预测矢量量化器（PVQ）用于语音编码。我们还提出了一种方法来评估量化器是否设计良好，以及它是否利用了连续输出之间的相关性。虽然非线性PVQ的结果没有改善非线性标量预测器的结果，但我们检查PVQ有一些改进的空间。
2022-03-07 cs.LG cs.SD
Chunk Based Speech Pre-training with High Resolution Finite Scalar Quantization
Samsung Research America（三星美国研究）
本文提出基于分块的自监督学习算法，利用高分辨率有限标量量化提升语音预训练效果，实现流式和离线语音任务的高效性能。
2025-12-31 cs.CL cs.SD eess.AS
EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Hong Kong Polytechnic University（香港理工大学）；Tianjin University（天津大学）
EmoShift通过轻量级激活引导框架提升情感感知语音合成的情感表达与自然性。
2026-01-30 cs.AI cs.CL cs.SD
ReLMCodec: Designing Predictable Speech Tokens from Pre-Quantization Phoneme Structure
Peking University（北京大学）；Tencent（腾讯）
ReLMCodec 基于预量化音素结构，通过保留-控制-细化原则设计低比特率单码本语音编解码器，提升了语音 token 的可预测性与重建性能，且利于下游 TTS 合成。
2026-08-11 cs.SD eess.AS
Loud and Clear: Dynamic Activation Steering for Improving Speech Intelligibility in Noisy Environments
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；KIT Campus Transfer (KCT)（KIT 校园转移中心）；Carnegie Mellon University (CMU)（卡内基梅隆大学）
本研究提出一种无需重训练的激活引导方法，通过动态调整发声努力和过度发音，提升TTS在嘈杂环境下的语音可懂度，保持说话人相似度并显著降低词错误率。
2026-10-07 cs.CL cs.SD
Mixed Precision of Quantization of Transformer Language Models for Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
以Transformers为代表的最先进的神经语言模型对于实际应用来说正变得越来越复杂和昂贵。低比特深度神经网络量化技术提供了一个强大的解决方案，以显着减少其模型的大小。当前的低比特量化方法基于统一的精度，并且不能考虑系统的不同部分对量化误差的变化的性能敏感度。为此，本文提出了新的混合精度DNN量化方法。使用两种技术自动学习最佳局部精度设置。第一种是基于量化灵敏度度量的海森迹加权量化扰动的形式。第二种是基于混合精度的Transformer结构搜索。交替方向乘法器（ADMM）被用来有效地训练混合精度量化DNN系统。在Penn Treebank（PTB）和Switchboard语料库训练的LF-MMI TDNN系统上进行的实验表明，所提出的混合精度Transformer量化技术在全精度基线上实现了高达16倍的模型大小压缩比，而没有识别性能下降。当用于压缩具有更多层的更大的全精度Transformer LM时，获得了高达1.7%绝对（18%相对）的总体字出错率（WER）降低。
2021-11-29 cs.CL cs.SD eess.AS
Steerspeech: Activation Steering For Emotion Control In Generated Speech
Netflix（奈飞）
SteerSpeech通过注入轻量级引导向量实现TTS推理时的连续情感控制，无需训练，且保持说话者身份，目标情感分数提升1.08-7.12倍。
2026-10-08 cs.LG cs.SD eess.AS
QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对语音驱动手势生成中的运动抖动和语音异步问题，提出基于量化和相位引导的运动匹配框架，通过手势 VQ-VAE 码本与 Levenshtein 距离对齐优化生成质量，实验证明其优于现有方法。
2023-05-18 cs.CV cs.HC cs.MM
PACodec: A Low-bitrate Neural Speech Codec with Parallel Additive Vector Quantization
National Engineering Research Center of Speech and Language Information Processing（国家语言与语音信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于并行加性矢量量化（PAVQ）的PACodec，采用“全局-局部-全局”设计，在相同解码质量下比基线降低30%码率，且具备解纠缠友好性，可应用于语音转换等下游任务。
2026-09-04 cs.SD
VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
单次语音转换（One-shot Voice Conversion，VC）是一种基于语音表示解纠缠的转换方法，它只需要一个目标说话人的语音作为参考，就可以在任意说话人之间进行转换。现有的工作通常忽略了不同的语音表示之间的相关性在训练过程中，这会导致泄漏的内容信息到扬声器表示，从而降低VC的性能。为了缓解这个问题，我们采用矢量量化（VQ）进行内容编码，并在训练过程中引入互信息（MI）作为相关性度量，通过以无监督的方式减少它们的相互依赖性，实现内容，扬声器和音高表示的适当解纠缠。实验结果反映了该方法在学习有效的解纠缠语音表示保留源语言内容和语调变化，同时捕捉目标说话人特征的优势。在这样做时，所提出的方法实现了更高的语音自然度和扬声器相似性比当前国家的最先进的单次VC系统。我们的代码、预训练模型和演示可在https://github.com/Wendison/VQMIVC上获得。
2021-06-18 cs.CL cs.MM cs.SD
BitTTS: Highly Compact Text-to-Speech Using 1.58-bit Quantization and Weight Indexing
LY Corporation（LY公司）
本文提出BitTTS，通过1.58位量化感知训练和权重索引方法，在端侧实现模型规模缩减83%，且合成质量优于同规模未量化基线。
2025-06-04 cs.LG cs.SD eess.AS
4-bit Quantization of LSTM-based Speech Recognition Models
IBM Research（IBM研究院）
我们研究了两类基于LSTM的大型自动语音识别架构（ASR）中权重和激活的积极低精度表示的影响：混合深度双向LSTM -隐马尔可夫模型（DBLSTM-Hacking）和递归神经网络-传感器（RNN-Ts）。使用4位整数表示，应用于这些模型的LSTM部分的简单量化方法会导致显着的字出错率（WER）下降。另一方面，我们表明，最小的精度损失是可以实现的量化器和初始化的适当选择。特别是，我们根据网络的局部属性定制量化方案，在限制计算时间的同时提高识别性能。我们证明了我们的解决方案的交换机（SWB）和呼叫中心（CH）测试集的NIST集线器5 -2000的评估。用300或2000小时的SWB数据训练的DBLSTM-Hashion分别实现了$<$ 0.5%和$<$ 1%的平均WER降级。在更具挑战性的RNN-T模型上，我们的量化策略将4位推理的退化限制在1.3%。
2021-08-27 cs.CL cs.LG cs.SD
It Takes Few to TANGO: A Quantized Distributed Model for Binaural Speech Enhancement
研究基于神经网络的多通道语音增强系统在资源受限设备上的低精度推理，以 TANGO 为对象，评估其神经组件量化方法，利用空间滤波阶段对量化误差的补偿能力简化模型，结合多种技术减小模型大小和计算复杂度并保持性能。
2026-07-10 cs.SD
Edge-ASR: Towards Low-Bit Quantization of Automatic Speech Recognition Models
Qualcomm AI Research（高通人工智能研究）
本文提出Edge-ASR基准，系统评估八种训练后量化方法在Whisper和Moonshine模型上的效果，发现3位量化结合先进技术可兼顾效率与精度，为边缘设备部署提供指导。
2025-08-01 cs.LG cs.SD eess.AS
Interpreting DNN output layer activations: A strategy to cope with unseen data in speech recognition
University of Maryland（马里兰大学）；SRI International（斯坦福国际研究院）；Apple Inc.（苹果公司）
看不见的数据会降低深度神经网络声学模型的性能。为了应对看不见的数据，部署了适应技术。对于未标记的未知数据，必须在给定现有模型的情况下生成一些假设，这些假设用作模型自适应的标签。然而，评估假设的好坏可能很困难，错误的假设可能会导致训练不佳的模型。在这种情况下，选择具有可靠假设的数据的策略可以确保更好的模型适应性。这项工作提出了一种DNN模型自适应的数据选择策略，其中DNN输出层激活用于确定生成的假设的良好性。在DNN声学模型中，输出层激活用于生成目标类别概率。在看不见的数据条件下，最可能的目标和下一个最可能的目标之间的差异与看到的数据相比有所减少，这表明模型在生成其假设时可能是不确定的。这项工作提出了一种策略来评估模型的性能，通过分析输出层的激活，通过使用最有可能的目标和下一个最有可能的目标，这是用于执行无监督适应的数据选择之间的距离测量。
2018-02-16 cs.CL cs.SD eess.AS
TTS-Q: Speaker-Aware Post-Training Quantization of Text-to-Speech Diffusion Transformers
本文针对TTS扩散Transformer的后训练量化问题，提出感知引导的TTS-Q方法，通过混合精度调度恢复4位量化后的音色，同时降低GPU内存，为资源受限的TTS部署提供参考。
2026-10-21 cs.LG cs.SD eess.AS
Effective and Efficient Mixed Precision Quantization of Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）
本研究提出一种将混合精度学习与参数量化整合至单阶段的语音基础模型混合精度量化新方法，在LibriSpeech数据集上验证了其在提升压缩比、缩短压缩时间的同时可维持甚至降低词错误率。
2025-01-11 cs.AI cs.SD eess.AS
Increasing Compactness Of Deep Learning Based Speech Enhancement Models With Parameter Pruning And Quantization Techniques
最近关于基于深度学习的语音增强（SE）的研究主要集中在提高去噪性能上。然而，成功的SE应用需要在真实场景中的去噪性能和计算成本之间取得理想的平衡。在这项研究中，我们提出了一种新的参数修剪（PP）技术，它消除了神经网络中的冗余通道。此外，一个参数量化（PQ）技术被应用到减少神经网络的规模表示权值与更少的聚类质心。由于这些技术是基于不同的概念导出的，因此可以集成PP和PQ以提供更紧凑的SE模型。实验结果表明，PP和PQ技术产生一个紧凑的SE模型的大小只有10.03%相比，原来的模型，导致轻微的性能损失为1.43%（从0.70到0.69）的STOI和3.24%（从1.85到1.79）的PESQ。有希望的结果表明，PP和PQ技术可以用于SE系统中的设备与有限的存储和计算资源。
2019-07-31 cs.LG cs.SD eess.AS
Memory Requirement Reduction of Deep Neural Networks Using Low-bit Quantization of Parameters
University of Pisa（比萨大学）；Tampere University（坦佩雷大学）
深度神经网络（DNN）在移动设备和嵌入式系统中的有效应用受到内存和计算能力要求的阻碍。本文提出了一种非均匀量化方法，该方法允许对不同层和同一层内的DNN参数进行动态量化。为了提高该方案的准确性，还提出了一种虚拟比特移位（VBS）方案。我们的方法降低了内存需求，保持了网络的性能。在一个语音增强应用中，我们的方法的性能得到了验证，其中一个完全连接的DNN被用来从输入的噪声语音频谱预测干净的语音频谱。DNN被优化，其内存占用和性能使用短时客观可懂度（STOI）指标进行评估。低位量化的应用允许DNN内存占用减少50%，而STOI性能仅下降2.7%。
2019-11-01 cs.LG cs.PF cs.SD
Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech
NVIDIA（英伟达）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出VQScore自监督语音质量评估指标及基于向量量化与自蒸馏对抗训练的语音增强模型，仅用干净语音训练即可达到与监督基线相当的性能。
2024-02-26 cs.AI cs.LG cs.SD
SACodec: Asymmetric Quantization with Semantic Anchoring for Low-Bitrate High-Fidelity Neural Speech Codecs
SACodec通过非对称双量化器和语义锚定机制，在低比特率下实现语音保真度与语义丰富性的平衡，提升语音重建质量与下游任务的语义表现。
2025-12-24 cs.SD
