UBGAN: Enhancing Coded Speech with Blind and Guided Bandwidth Extension
Fraunhofer IIS（弗劳恩霍夫研究所信息技术研究中心）；International Audio Laboratories（国际音频实验室）
UBGAN通过模块化轻量的GAN模型实现宽带语音的带宽扩展，提升编码语音的感知质量并增强多编解码器的适应性。
2026-02-24 cs.SD eess.AS
A lightweight and robust method for blind wideband-to-fullband extension of speech
本文提出一种仅约370K参数、140 MFLOPS的轻量鲁棒盲宽带至全频带扩展方法，帧长10 ms、前瞻0.27 ms，与Opus 1.5配合在9 kb/s下可达到3GPP EVS 9.6 kb/s及Opus 1.4 18 kb/s的质量，实现向后兼容的质量提升。
2025-07-18 cs.SD eess.AS
DelightfulTTS 2: End-to-End Speech Synthesis with Adversarial Vector-Quantized Auto-Encoders
Microsoft Azure Speech（微软Azure语音）；Microsoft Research Asia（微软亚洲研究院）
当前的文本到语音（TTS）系统通常利用级联的声学模型和声码器流水线，其中梅尔频谱图作为中间表示，其受到两个限制：1）声学模型和声码器是单独训练的，而不是联合优化的，这导致级联的误差; 2）中间语音表示（例如，MEL频谱图）是预先设计的，并且丢失了相位信息，这是次优的。为了解决这些问题，本文开发了DelightfulTTS 2，这是一种新型端到端语音合成系统，具有自动学习的语音表示以及联合优化的声学模型和声码器。具体而言，1）我们提出了一种新的基于矢量量化自编码器与对抗训练（VQ-GAN）的编解码器网络，以提取中间帧级语音表示（而不是像梅尔频谱图这样的传统表示）并重建语音波形; 2）共同优化声学模型（基于DelightfulTTS）和声码器（VQ-GAN的解码器），在声学模型上具有辅助损失以预测中间语音表示。实验表明，DelightfulTTS 2的CMOS增益比DelightfulTTS提高了+0.14，进一步的方法分析进一步验证了所开发系统的有效性。
2022-07-11 cs.SD eess.AS eess.SP
Waveform Modeling and Generation Using Hierarchical Recurrent Neural Networks for Speech Bandwidth Extension
University of Science and Technology of China（中国科学技术大学）；Baidu Speech Department（百度语音部门）
提出了一种基于层次循环神经网络的语音信号波形建模与生成方法。与传统的BWE方法预测频谱参数重建宽带语音波形不同，该方法不需要声码器，直接对波形样本进行建模和预测。受无条件神经音频生成器SampleRNN的启发，HRNN模型使用由长短期记忆（LSTM）层和前馈（FF）层组成的神经网络来表示以输入窄带波形样本为条件的每个宽带或高频波形样本的分布。LSTM层形成了一个分层结构，每一层都以特定的时间分辨率运行，以有效地捕获时间序列之间的长跨度依赖关系。此外，附加的条件，如瓶颈（BN）的特征，从窄带语音使用基于深度神经网络（DNN）的状态分类器，被用作辅助输入，以进一步提高所生成的宽带语音的质量。对比几种波形建模方法的实验结果表明，与基于扩展卷积神经网络（DCNN）的方法和基于简单样本级递归神经网络（SRNN）的方法相比，基于HRNN的方法可以获得更好的语音质量和运行时间效率。我们提出的方法也优于传统的基于声码器的BWE方法，使用LSTM-RNN重建的宽带语音的主观质量方面。
2018-01-24 cs.SD eess.AS
ProsoSpeech: Enhancing Prosody With Quantized Vector Pre-training in Text-to-Speech
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
表达型文本转语音（TTS）是近年来的研究热点，主要研究语音中的韵律建模。韵律建模存在几个挑战：1）在先前的韵律建模工作中使用的提取的音高存在不可避免的错误，这损害了韵律建模; 2）韵律的不同属性（例如，音高、时长和能量）相互依赖，共同产生自然韵律; 3）由于韵律的高度可变性和用于TTS训练的高质量数据的有限量，韵律的分布不能完全成形。为了解决这些问题，我们提出了ProsoSpeech，它使用在大规模未配对和低质量文本和语音数据上预训练的量化潜在向量来增强韵律。具体来说，我们首先介绍了一个字级韵律编码器，它量化的低频段的语音和压缩的韵律属性的潜在韵律向量（LPV）。然后，我们介绍了一个LPV预测器，预测LPV给定的词序列。我们在大规模文本和低质量语音数据上预训练LPV预测器，并在高质量TTS数据集上对其进行微调。最后，我们的模型可以生成表达语音的预测LPV的条件。实验结果表明，与基线方法相比，ProsoSpeech可以生成具有更丰富韵律的语音。
2022-02-16 cs.CL cs.SD eess.AS
QS-TTS: Towards Semi-Supervised Text-to-Speech Synthesis via Vector-Quantized Self-Supervised Speech Representation Learning
Chinese University of Hong Kong（香港中文大学）；Xiaohongshu（小红书）
QS-TTS通过向量量化自监督语音表征学习，利用无标签音频降低监督数据需求，提升半监督TTS质量，在低资源场景下取得最优性能。
2023-08-31 cs.CL cs.SD eess.AS
Style-Label-Free: Cross-Speaker Style Transfer by Quantized VAE and Speaker-wise Normalization in Speech Synthesis
Kwai（快手）
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。以前的大多数方法都依赖于带有样式标签的数据，但是手动注释的标签成本很高，而且并不总是可靠的。针对这一问题，本文提出了一种跨说话人风格转换方法Style-Label-Free，该方法可以实现从源说话人到目标说话人的风格转换，而无需使用风格标签。首先，设计了一种基于量化变分自编码器（Q-VAE）和风格瓶颈的参考编码器结构来提取离散风格表示。其次，提出了一个逐说话人批量归一化层，以减少源说话人泄漏。为了提高参考编码器的风格提取能力，提出了一种风格不变和对比度增强的数据增强方法。实验结果表明，该方法优于基线。我们提供了一个网站与音频样本。
2022-12-13 cs.AI cs.CL cs.SD
A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
最近的文本到语音（TTS）系统在阅读或表演语料库的训练已经达到接近人类水平的自然。然而，人类语言的多样性往往超出了这些语料库的覆盖范围。我们认为，处理这种多样性的能力对于人工智能系统实现人类水平的沟通至关重要。我们的工作探索了使用更丰富的真实世界的数据来构建语音合成器。我们使用来自YouTube和播客的真实语音来训练TTS系统。我们观察到基于梅尔谱图的自回归模型中训练和推理对齐之间的不匹配，导致难以理解的合成，并证明多个代码组中的学习离散代码有效地解决了这个问题。我们介绍我们的MQTTS系统，其架构是专为多个代码生成和单调对齐，随着使用一个干净的沉默提示，以提高合成质量。我们进行消融分析，以确定我们的方法的有效性。我们表明，MQTTS优于现有的TTS系统在几个客观和主观的措施。
2023-02-08 cs.AI cs.LG cs.SD
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain（谷歌大脑）
最近的神经文本转语音（TTS）模型与细粒度的潜在功能，使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器（VAE）结构，提取每个输入令牌处的潜在特征（例如，音素）。然而，使用标准VAE先验生成样本通常会导致不自然和不连续的语音，令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验，可以生成更自然的声音样本。这是通过使用矢量量化（VQ）对潜在特征进行离散化，并针对结果单独训练自回归（AR）先验模型来实现的。我们评估的方法，使用听力测试，客观指标的自动语音识别（ASR）的性能，和韵律属性的测量。实验结果表明，该模型显著提高了随机样本生成的自然度。此外，初步的实验表明，从所提出的模型中随机采样可以作为数据增强，以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
AffectEcho: Speaker Independent and Language-Agnostic Emotion and Affect Transfer for Speech Synthesis
Purdue University（普渡大学）
本文提出 AffectEcho，利用五级情绪强度的 VQ 码本隐式建模量化情绪嵌入，在双语语料上实现说话人无关、语言无关的语音情绪迁移，并取得最优定性与定量结果。
2023-08-16 cs.CL cs.HC cs.SD
Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding
Universidade de São Paulo（圣保罗大学）
本研究提出一种基于mel语谱图4×4块单阶段量化的神经语音编解码器，结合VQ-VAE后期对抗微调与HiFi-GAN声码器，在7.5kbits/s速率下达到与现有先进方案相当的语音质量，为低延迟编解码器提供开放基础。
2025-09-02 cs.CL cs.SD eess.AS
crank: An Open-Source Software for Nonparallel Voice Conversion Based on Vector-Quantized Variational Autoencoder
Nagoya University（名古屋大学）；TARVO, Inc.（TARVO公司）
在本文中，我们提出了一个开源软件开发的非并行语音转换（VC）系统命名曲柄。尽管我们在上一次VC挑战赛中发布了一个基于高斯混合模型的开源VC软件，名为sprocket，但应用任何语音语料库并不简单，因为需要准备源和目标说话人的并行话语来建模统计转换函数。为了解决这个问题，在这项研究中，我们开发了一个新的开源VC软件，使用户能够只使用一个非平行的语音语料库模型的转换功能。为了实现VC软件，我们使用了矢量量化变分自编码器（VQVAE）。为了快速检查在这个研究领域开发的最新技术的有效性，Crank还支持基于自动编码器的VC方法的几个代表性工作，例如使用分层架构，循环架构，生成对抗网络，说话人对抗训练和神经声码器。此外，它可以自动估计客观的措施，如梅尔倒谱失真和伪平均意见分数的基础上MOSNet。在本文中，我们描述了代表性的功能开发曲柄，并作出简要的比较，客观评价。
2021-03-04 cs.SD eess.AS
CodecFlow: Efficient Bandwidth Extension via Conditional Flow Matching in Neural Codec Latent Space
Singapore Institute of Technology（新加坡理工学院）；Nanyang Technological University（南洋理工大学）；National University of Singapore（国立新加坡大学）
CodecFlow通过条件流匹配和结构受限量化器，在神经编解码器潜在空间中实现高效语音带宽扩展，提升频谱保真度和感知质量。
2026-10-14 cs.AI cs.SD
A Novel Semantic Compression Approach for Ultra-low Bandwidth Voice Communication
本文提出一种利用生成式语音模型高层语义表示的新型语义通信方法，在比特率降低2-4倍的情况下，于转录、情感分析和说话人验证任务上达到或超越现有音频编解码器，并在感知质量与说话人验证上超越Encodec。
2025-09-18 cs.SD eess.AS
A Fully Time-domain Neural Model for Subband-based Speech Synthesizer
Korea Advanced Institute of Science and Technology（韩国科学技术院）；KAIST Institute for Artificial Intelligence（KAIST人工智能研究院）
介绍了一种用于子带语音合成器的深度神经网络模型。该模型利用子带信号的短带宽，降低了时域语音发生器的复杂度。我们采用多层次小波分析/合成分解/重构信号到子带的时域。受WaveNet的启发，提出了一种卷积神经网络（CNN）模型，在时域内对子带语音信号进行完全预测。由于子带的带宽较短，简单的网络架构足以精确地训练子带的简单模式。在教师强迫的地面实况实验中，子带合成器在主观和客观测量方面都显着优于全带模型。此外，通过使用发音字典的音素序列上的条件的模型，我们已经实现了基于子带的文本到语音（TTS）合成器，这是近端到端的全时域神经模型。生成的语音的子带TTS表现出相当的质量作为全带一个与一个更轻的网络结构为每个子带。
2019-07-02 cs.LG cs.SD eess.AS
Quantize More, Lose Less: Autoregressive Generation from Residually Quantized Speech Representations
AMAP Speech（AMAP语音）
提出基于残差量化音频编解码器QDAC的TTS框架QTTS，通过分层并行和延迟多头策略实现多码本自回归建模，有效提升合成质量与推理速度。
2025-07-16 cs.AI cs.SD
Improved Prosody from Learned F0 Codebook Representations for VQ-VAE Speech Waveform Reconstruction
National Institute of Informatics（国立信息学研究所）；Massachusetts Institute of Technology（麻省理工学院）；University of Edinburgh（爱丁堡大学）
矢量量化变分自动编码器（VQ-VAE）是一个强大的表示学习框架，可以在没有监督的情况下从语音信号中发现离散的特征组。到目前为止，VQ-VAE架构之前已经对单独类型的语音特征进行了建模，例如仅电话或仅F0。本文介绍了VQ-VAE的一个重要扩展，用于同时学习F0相关的超分段信息和传统的音素特征。该框架使用两个编码器，使得F0轨迹和语音波形都输入到系统中，因此学习两个独立的码本。我们使用WaveRNN声码器作为VQ-VAE的解码器组件。我们的非特定人VQ-VAE是用来自多说话人日语语音数据库的原始语音波形训练的。实验结果表明，所提出的扩展减少了所有看不见的测试扬声器的重构语音的F0失真，并导致显着更高的偏好分数从听力测试。我们还使用单说话者普通话语音进行了实验，以证明我们的架构在另一种严重依赖于F0的语言中的优势。
2020-05-16 cs.SD eess.AS
Discrete Acoustic Space for an Efficient Sampling in Neural Text-To-Speech
Amazon, Alexa AI（亚马逊Alexa人工智能部门）
提出SVQ-VAE架构用于NTTS，通过离散化潜在空间在保留表示能力的同时实现从文本高效预测，在自然度上显著优于VAE和VQ-VAE，并将标准常量向量合成与声码器录音的差距缩小32%。
2023-09-14 cs.LG cs.SD eess.AS
Intelligible Lip-to-Speech Synthesis with Speech Units
KAIST（韩国科学技术院）
本文提出一种唇语到语音合成框架，通过引入量化自监督语音单元作为额外预测目标，在无需文本标注的情况下增强内容监督，并结合多输入声码器提升波形生成质量，实现了从无声唇动视频合成可懂语音。
2023-05-31 cs.CV cs.SD eess.AS
FoundationTTS: Text-to-Speech for ASR Customization with Generative Language Model
Microsoft（微软）
神经文本转语音（TTS）通常包括具有单独优化的声学模型和声码器的级联架构，或者具有连续梅尔频谱图或自提取语音帧作为中间表示以桥接声学模型和声码器的端到端架构，其遭受两个限制：1）连续的声学帧很难仅用音素来预测，并且还需要诸如持续时间或音高的声学信息来解决一对多问题，其在大规模和噪声数据集上不容易缩放; 2）为了实现基于连续语音特征的多样化语音输出，通常需要复杂的VAE或基于流的模型。在本文中，我们提出了FoundationTTS，一个新的语音合成系统与神经音频编解码器的离散语音令牌提取和波形重建和一个大的语言模型的离散令牌生成语言（音素）令牌。具体而言，1）我们提出了一种基于矢量量化自编码器对抗训练（VQ-GAN）的分层编解码器网络，该网络首先使用细粒度编解码器提取连续帧级语音表示，然后使用粗粒度编解码器从每个连续语音帧中提取离散令牌; 2）将语音标记、语言标记、说话人标记与一个大的语言模型联合优化，并对离散的语音标记进行自回归预测。实验表明，与基线系统相比，FoundationTTS实现了+0.14的MOS增益。在ASR定制任务中，我们的方法在两个强定制ASR基线上分别获得了7.09%和10.35%的WERR。
2023-03-08 cs.SD eess.AS
Interpretable Style Transfer for Text-to-Speech with ControlVAE and Diffusion Bridge
Xiamen University（厦门大学）
本文提出一种结合ControlVAE、量化VAE扩散桥和扩散细化器的TTS系统，在LibriTTS上实现了可解释且高保真的风格迁移，优于基线模型。
2023-07-11 cs.SD eess.AS
Neural Vocoder is All You Need for Speech Super-resolution
University of Surrey（萨里大学）；Queen Mary University of London（伦敦玛丽女王大学）；ByteDance（字节跳动）；The Ohio State University（俄亥俄州立大学）
针对现有语音超分辨率方法受固定上采样比等约束、泛化性差的问题，提出含三模块的NVSR方法，在VCTK基准上取得最优性能，验证了预训练声码器先验知识的关键作用。
2022-03-28 cs.AI cs.LG cs.SD
Disentangled Feature Learning for Real-Time Neural Speech Coding
Microsoft Research Asia（微软亚洲研究院）
最近，端到端神经音频/语音编码已经显示出其优于传统的基于信号分析的音频编解码器的巨大潜力。这主要是通过遵循VQ-VAE范式来实现的，其中盲特征被学习、矢量量化和编码。在本文中，而不是盲目的端到端的学习，我们提出学习解纠缠的功能，实时的【形】神经语音编码。具体而言，更全球化的扬声器身份和本地内容特征与解纠缠表示语音学习。这种紧凑的特征分解不仅通过利用不同特征之间的比特分配来实现更好的编码效率，而且还提供了在嵌入空间中进行音频编辑的灵活性，例如实时的【形】通信中的语音转换。主观和客观的结果都证明了它的编码效率，我们发现学习的解纠缠特征在任何到任何语音转换上表现出与现代自监督语音表示学习模型相当的性能，具有更少的参数和低延迟，显示了我们的神经编码框架的潜力。
2023-02-25 cs.LG cs.SD eess.AS
Wavenet based low rate speech coding
Google Inc.（谷歌公司）；DeepMind（深度思维）；Victoria University of Wellington（惠灵顿维多利亚大学）
传统的语音参数编码虽然速率低，但由于模型的不足，重建质量差。我们描述了如何可以使用WaveNet生成语音模型来从以2.4 kb/s操作的标准参数编码器的比特流生成高质量的语音。我们比较这个参数编码器与波形编码器的基础上相同的生成模型，并表明，近似的信号波形会导致一个大的速率惩罚。我们的实验证实了基于WaveNet的编码器的高性能，并表明该系统产生的语音能够额外执行隐式带宽扩展，并且不会显着损害人类听众对原始扬声器的识别，即使该扬声器在生成模型的训练期间没有使用。
2017-12-01 cs.SD eess.AS eess.SP
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google（谷歌）
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音，但它们使用的递归或卷积层通常会限制它们的有效感受域，这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率，由于它们的电感偏置，能够利用输入信号中的长程依赖性。因此，我们使用预训练的Transformer与卷积编码器串联，卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明，用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器，当以相同的比特率训练时，该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明，所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
End-to-End Binaural Speech Synthesis
Nagoya University（名古屋大学）；Meta Reality Labs Research（Meta现实实验室）
在这项工作中，我们提出了一个端到端的双耳语音合成系统，它结合了一个低比特率的音频编解码器与一个强大的双耳解码器，能够准确的语音双耳，同时忠实地重建环境因素，如环境噪声或混响。该网络是一种改进的矢量量化变分自编码器，采用几个精心设计的目标进行训练，包括对抗性损失。我们评估所提出的系统在内部双耳数据集与客观指标和感知研究。结果表明，所提出的方法比以前的方法更紧密地匹配地面真实数据。特别是，我们证明了对抗性损失的能力，在捕捉环境的影响，需要创建一个真实的听觉场景。
2022-07-08 cs.AI cs.LG cs.SD
DSE-TTS: Dual Speaker Embedding for Cross-Lingual Text-to-Speech
Shanghai Jiao Tong University（上海交通大学）
本文提出DSE-TTS框架，通过双说话人嵌入分别学习语言风格和模仿音色，显著提升了跨语言语音合成的母语感与说话人相似度。
2023-06-25 cs.CL cs.SD eess.AS
Narrowband Voice Communication Using Streaming Neural Compression
University of Maryland, College Park（马里兰大学帕克分校）
针对资源受限边缘设备上的低比特率语音通信难题，提出TinyCall轻量级神经音频编解码器，通过伪前瞻解码和RFSQ量化实现流式压缩，在树莓派3上以2.3 kbps比特率实时重建可懂语音。
2026-09-23 cs.SD
Large Speech Model Enabled Semantic Communication
School of Electronics, Peking University（北京大学电子学院）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）；Department of Computer Science and Engineering, Kyung Hee University（庆熙大学计算机科学与工程系）
本文提出基于大语音模型的语义通信系统，利用Mimi编解码器和LoRA微调技术，实现适应性压缩与鲁棒传输，支持低带宽下的高质量语音传输。
2025-12-04 cs.AI cs.SD
DiffProsody: Diffusion-based Latent Prosody Generation for Expressive Speech Synthesis with Prosody Conditional Adversarial Training
Korea University（高丽大学）
提出DiffProsody，利用扩散潜在韵律生成器和韵律条件对抗训练，实现快速且高质量的富有表现力语音合成，韵律生成速度提升16倍。
2023-07-31 cs.CL cs.SD eess.AS
Deep Vocoder: Low Bit Rate Compression of Speech with Deep Autoencoder
National University of Defense Technology（国防科技大学）；Army Engineering University of PLA（中国人民解放军陆军工程大学）
受深度神经网络（DNN）在语音处理中的成功启发，本文提出了一种带深度自动编码器（DAE）的直接端到端低比特率语音压缩方法--深度声码器（Deep Vocoder）。在深度声码器中，DAE用于提取语音的潜在代表特征（LRF），然后通过合成分析矢量量化（AbS VQ）方法对其进行有效量化。AbS VQ的目标是最小化感知频谱重建失真，而不是LRF向量本身的失真。此外，提出了一种次优码本搜索技术，以进一步降低计算复杂性。实验结果表明，与传统的基于SQ或VQ的编解码器的输出相比，深度声码器在频率加权分段SNR、STOI和PESQ得分方面产生了实质性的改善。对于2400 bit/s和1200 bit/s的语音编码，在TIMIT语料库上产生的PESQ分数分别为3.34和3.08。
2019-05-14 cs.IT cs.MM cs.SD
BAE-Net: A Low complexity and high fidelity Bandwidth-Adaptive neural network for speech super-resolution
Kuaishou Technology（快手科技）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
本文提出BAE-Net，一种流式自适应带宽扩展网络，通过双流架构同时修复幅度和细化相位，处理未知变化带宽的低分辨率语音，并推出轻量版BAE-NET-lite，在性能和效率上优于现有方法。
2023-12-21 cs.SD eess.AS
Real-time Speech Frequency Bandwidth Extension
Google Research（谷歌研究院）
在本文中，我们提出了一个轻量级的语音信号的频率带宽扩展模型，增加采样频率从8kHz到16kHz，同时恢复高频内容的水平几乎无法区分从16kHz的地面真相。该模型架构基于SEANet（Sound Enhancement Network，声音增强网络），这是一种波到波的完全卷积模型，它使用特征损失和对抗损失的组合来重建输入语音的增强版本。此外，我们提出了一种SEANet的变体，可以以流模式部署在设备上，实现16 ms的架构延迟。当在移动CPU的单核上进行分析时，处理一个16毫秒的帧只需要1.5毫秒。低延迟使得它对于双向语音通信系统是可行的。
2021-02-09 cs.SD eess.AS
Multi-Stage Speech Bandwidth Extension with Flexible Sampling Rate Control
National Engineering Research Center of Speech and Language Information Processing（国家语言与语音信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
提出多阶段语音带宽扩展模型MS-BWE，通过级联双流架构实现幅度与相位的逐阶段扩展及灵活采样率控制，质量媲美SOTA且生成效率极高。
2024-06-04 cs.SD eess.AS
Joint domain adaptation and speech bandwidth extension using time-domain GANs for speaker verification
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（卓越人类语言技术中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
为特定的声学域和采样频率选择而开发的语音系统不容易转换为其他系统。通常的做法是独立地学习域自适应和带宽扩展模型。与此相反，我们建议一起学习这两项任务。特别地，我们学习将窄带对话电话语音映射到宽带麦克风语音。我们开发了并行和非并行学习解决方案，利用配对和非配对数据。首先，我们首先讨论针对我们的任务的多个生成模型的联合和不联合训练。然后，我们提出了一个两阶段的学习解决方案，在带宽扩展训练中使用预训练的域自适应系统进行预处理。我们评估了我们的计划上的发言人验证下游任务。我们使用JHU-MIT的NIST SRE 21实验装置，包括SRE 16，SRE-CTS超集和SRE 21。我们的研究结果提供了第一个证据，证明学习两项任务比只学习一项任务更好。在SRE 16上，我们最好的系统在等错误率方面实现了22%的相对改进。直接学习基线和8%的w.r.t.强大的带宽扩展系统。
2022-03-30 cs.SD eess.AS
A Unified Deep Speaker Embedding Framework for Mixed-Bandwidth Speech Data
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）；Sun Yat-sen University（中山大学）
本文提出了一个统一的深度说话人嵌入框架，用于对不同采样率的语音数据进行建模。将窄带频谱图作为宽带频谱图的子图像，以图像分类的方式解决混合带宽数据的联合建模问题。从这个角度出发，我们阐述了几种不同的训练和测试数据场景下的混合带宽联合训练策略。所提出的系统能够灵活地处理混合带宽的语音数据在一个单一的扬声器嵌入模型，没有任何额外的下采样，上采样，带宽扩展，或填充操作。我们对VoxCeleb1数据集进行了广泛的实验研究。此外，所提出的方法的有效性进行了验证，通过SITW和NIST SRE 2016数据集。
2020-12-01 cs.CL cs.SD eess.AS
EBEN: Extreme bandwidth extension network applied to speech signals captured with noise-resilient body-conduction microphones
LMSSC；Conservatoire national des arts et métiers（法国国立工艺学院）；HESAM Université（HESAM大学）；French-German Research Institute of Saint-Louis (ISL)（圣路易法德研究院（ISL））
本文提出EBEN，一种基于GAN的极限带宽扩展网络，利用多频带分解和U-Net结构，结合特征与对抗损失，以轻量级生成器实现骨传导麦克风语音的实时宽带增强，达到最先进性能。
2023-03-03 cs.SD eess.AS
A vector quantized masked autoencoder for speech emotion recognition
IETR UMR CNRS 6164（法国国家科学研究中心雷恩电子与电信研究所（UMR 6164））
针对语音情感识别标注数据不足的问题，提出在向量量化变分自编码器离散潜在空间中运行的自监督VQ-MAE-S模型，并证明其优于原始频谱图MAE及现有方法。
2023-04-21 cs.LG cs.SD eess.AS
Metis: A Foundation Speech Generation Model with Masked Generative Pre-training
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
Metis 通过在大规模无标注语音数据上进行掩码生成预训练并结合任务特定微调，构建了一个统一语音生成基础模型，在五个语音生成任务上以更少参数和数据超越现有最先进系统。
2025-02-05 cs.AI cs.LG cs.SD
Towards Unsupervised Speech Recognition and Synthesis with Quantized Speech Representation Learning
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
在本文中，我们提出了一个顺序表示量化自动编码器（SeqRQ-AE）学习主要是不成对的音频数据，并产生序列的表示非常接近的语音发音的音素序列。这是通过适当的时间分割，使表示音素同步，和适当的语音聚类，有不同的表示接近音素的数量的总数。不同的表示和音素之间的映射是从少量的注释配对数据中学习的。在LJSpeech上的初步实验表明，学习到的元音表征在潜在空间中的相对位置与语言学专家定义的IPA元音图中所示的位置很好地平行。在不到20分钟的注释语音中，我们的方法在音素识别方面优于现有方法，并且能够合成击败我们的基线模型的可理解语音。
2020-02-05 cs.CL cs.SD eess.AS
Configurable EBEN: Extreme Bandwidth Extension Network to enhance body-conducted speech capture
Laboratoire de Mécanique des Structures et des Systèmes Couplés（机械与耦合系统实验室）；Conservatoire national des arts et métiers（法国国立工艺学院）；HESAM Université（HESAM大学）；French-German Research Institute of Saint-Louis (ISL)（圣路易法德研究所）
本文提出可配置EBEN，一种基于GAN的轻量级网络，通过多频带分解和U-Net结构增强骨导麦克风采集的语音，恢复全带宽，实现合成数据上最先进的实时增强效果。
2023-09-12 cs.SD eess.AS
Causal Speech Enhancement with Predicting Semantics based on Quantized Self-supervised Learning Features
The University of Tokyo（东京大学）
本文首次将因果自监督学习特征引入语音增强模型，通过向量量化表示语义令牌，并在多任务学习中预测未来语义令牌，在VoiceBank + DEMAND数据集上取得PESQ 2.88，验证了语义预测对因果语音增强的重要性。
2024-12-26 cs.SD eess.AS
Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在自动语音识别（ASR）中，具有不同采样率的宽带（WB）和窄带（NB）语音信号通常使用单独的声学模型。因此，混合带宽（MB）声学建模对ASR系统部署具有重要的实用价值。在本文中，我们使用1，150小时的WB数据和2，300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略，包括下采样，上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据，使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
A study on speech enhancement using exponent-only floating point quantized neural network (EOFP-QNN)
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）
许多研究已经调查了神经网络量化对模式分类任务的有效性。本研究，第一次，研究了性能的语音增强（语音处理中的回归任务）使用一种新的指数只有浮点量化神经网络（EOFP-QNN）。EOFP-QNN由两个阶段组成：尾数量化和指数量化。在尾数量化阶段，EOFP-QNN学习如何在使用最小尾数精度保持回归精度的同时对模型参数的尾数位进行量化。在指数量化阶段，参数的指数部分被进一步量化，而不会导致任何额外的性能下降。我们评估了两种类型的神经网络，即双向长短期记忆（BLSTM）和全卷积神经网络（FCN），在语音增强任务的建议EOFP量化技术。实验结果表明，在保持语音增强效果的同时，量化后的BLSTM和FCN模型的模型大小分别仅为原始模型的18.75%和21.89%，大大减小了模型大小。
2018-10-30 cs.AI cs.LG cs.SD
Bandwidth Extension of Narrowband Speech for Low Bit-Rate Wideband Coding
VoiceAge Corp.（VoiceAge公司）
无线电话语音通常限于300-3400 Hz频带，这降低了其质量。因此，对从50 Hz到8000 Hz传输的宽带语音系统的需求不断增长。本文提出了一种利用低至500 bits/s的边信息从窄带语音生成宽带语音的算法。从窄带信号预测50-300 Hz频带。源激励模型用于3400-8000 Hz频带，其中在接收器处外推激励，并且传输频谱包络。虽然存在一些伪像，但是与窄带语音相比，所得到的宽带语音具有增强的质量。
2016-02-26 cs.SD
A Simplified Fully Quantized Transformer for End-to-end Speech Recognition
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然近年来在端到端自动语音识别（ASR）性能方面已经取得了显著的改进，但是这种改进是通过使用非常大的神经网络来获得的，不适合在边缘设备上嵌入式使用。话虽如此，在本文中，我们致力于简化和压缩基于Transformer的编码器-解码器架构，以实现端到端ASR任务。我们经验性地引入了一个更紧凑的语音变压器，通过研究丢弃特定模块对模型性能的影响。此外，我们评估了降低网络权重和激活的数值精度，同时保持全精度模型的性能。我们的实验表明，我们可以减少全精度模型的参数数量，然后通过完全量化到8位定点精度来进一步压缩模型4x。
2020-03-24 cs.CL cs.SD eess.AS
HiFi++: a Unified Framework for Bandwidth Extension and Speech Enhancement
Samsung Research（三星研究院）；Higher School of Economics（高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）
本文提出基于 HiFi 声码器并改进生成器架构的统一框架 HiFi++，在带宽扩展和语音增强任务上以更少算力达到优于或可比肩 SOTA 的性能。
2023-12-10 cs.LG cs.SD eess.AS
AnyBand: Unified Multi-Bandwidth Speech Extension via Frequency-Aware In-Context Spectral Infilling
该研究提出统一多带宽语音扩展框架AnyBand，采用频率感知扩散Transformer等技术，可在连续输入带宽范围实现高质量语音带宽扩展，性能优于现有基准。
2026-08-04 cs.SD
A vector quantized masked autoencoder for audiovisual speech emotion recognition
CentraleSupélec（中央理工学院）；IETR（信息与电信研究实验室）；UMR CNRS 6164（法国国家科学研究中心6164号研究单位）
本文提出VQ-MAE-AV自监督多模态模型，通过向量量化与掩码自编码器从无标签视听语音中学习帧级和序列级表示，并在多个数据集上取得最先进的情感识别性能。
2025-05-09 cs.LG cs.MM cs.SD
On the Relevance of Bandwidth Extension for Speaker Verification
Escola Universitària Politècnica de Mataró (UPC)（马塔罗理工大学学院（加泰罗尼亚理工大学））
在本文中，我们考虑的窄带语音信号（0.3-3.4 kHz）的带宽扩展到0.3-8 kHz的说话人确认的效果。使用协方差矩阵为基础的验证系统与检测误差权衡曲线，我们比较系统的性能在窄带，宽带（0-8 kHz），和带宽扩展的语音。实验进行了不同的短时间频谱参数化来自麦克风和ISDN语音数据库。所研究的带宽扩展算法没有引入影响说话人验证任务的文物，我们实现了1%和10%（取决于模型的顺序）之间的改进设计用于窄带语音的验证系统时，梅尔频率倒谱系数的短时间频谱参数化被使用。
2022-04-05 cs.CR cs.SD eess.AS
Speech bandwidth extension with WaveNet
DeepMind（深度思维）
大规模移动通信系统往往包含具有窄带瓶颈的传统传输信道，从而导致特征“电话质量”音频。虽然存在更高质量的编解码器，但由于网络的规模和异构性，使用现代高质量音频编解码器传输更高采样率的音频在实践中可能是困难的。本文提出了一种方法，其中通信节点可以替代地扩展可能已经通过低速率编解码器的带限传入语音信号的带宽。为此，我们提出了一种基于WaveNet的模型，其条件是带宽受限的语音音频信号的8 kHz和具有来自GSM全速率（FR）压缩的伪影的音频的对数梅尔频谱图表示，以重构更高分辨率的信号。在我们的实验MUSHRA评估中，我们表明，经过训练从通过8 kHz GSM-FR编解码器的音频上采样到24 kHz语音信号的模型能够重建质量仅略低于16 kHz自适应多速率宽带音频编解码器（AMR-WB）编解码器的音频，并关闭原始编码信号和以24 kHz采样的原始语音之间的感知质量差距的一半左右。我们进一步表明，当相同的模型通过8 kHz的音频，还没有被压缩，能够再次重建音频的质量略好于16 kHz AMR-WB，在相同的MUSHRA评估。
2019-07-05 cs.LG cs.SD eess.AS
Task and Perception-aware Distributed Source Coding for Correlated Speech under Bandwidth-constrained Channels
Stanford University（斯坦福大学）；University of Oklahoma（俄克拉荷马大学）
提出NDPCA辅助的分布式信源编码算法，通过感知感知任务损失函数平衡真实感与任务性能，在带宽受限下PSNR显著提升并逼近理论上限。
2025-01-20 cs.AI cs.IT cs.SD
Towards High-Quality and Efficient Speech Bandwidth Extension with Parallel Amplitude and Phase Prediction
National Engineering Research Center of Speech and Language Information Processing（国家语音与语言信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
提出基于GAN的AP-BWE模型，通过并行预测幅度和相位谱实现高质量高效率的语音带宽扩展，在16kHz和48kHz任务中达到最先进性能，并首次直接扩展高频相位谱。
2024-12-14 cs.SD eess.AS eess.SP
Speech Pre-training with Acoustic Piece
Microsoft Research Asia（微软亚洲研究院）
之前的语音预训练方法，例如wav2vec2.0和HuBERT，预训练Transformer编码器以从音频数据学习深度表示，目标是预测来自潜在向量量化空间的元素或使用离线聚类的预生成标签（称为目标代码）。然而，这些训练信号（量化元素或代码）在不同的令牌之间是独立的，而不考虑它们的关系。根据我们的观察和分析，目标代码与语音化文本数据有明显的模式。在此基础上，我们建议利用这些模式来更好地预训练模型，考虑代码之间的关系。我们提取的模式，称为“声学片段”，是从HuBERT码的句子片段结果中提取的。利用声学片段作为训练信号，我们可以隐式地桥接输入音频和自然语言，这有利于音频到文本任务，例如自动语音识别（ASR）。简单但有效，我们的方法“HuBERT-AP”在LibriSpeech ASR任务上的表现明显优于强基线。
2022-04-07 cs.SD eess.AS
