UTDUSS: UTokyo-SaruLab System for Interspeech2024 Speech Processing Using Discrete Speech Unit Challenge
The University of Tokyo（东京大学）
我们提出UTDUSS，UTokyo-SaruLab系统提交给Interspeech 2024使用离散语音单元挑战的语音处理。挑战的重点是使用从大型语音语料库中学习的离散语音单元来完成某些任务。我们将UTDUSS系统提交给两个文本到语音的轨道：声码器和声学+声码器。我们的系统采用了神经音频编解码器（NAC）只在语音语料库上进行预训练，这使得学习的编解码器代表了高保真语音重建所需的丰富声学特征。对于声学+声码器音轨，我们训练了一个基于Transformer编码器-解码器的声学模型，该编码器-解码器从文本输入预测预训练的NAC标记。我们描述了构建这些模型的策略，例如数据选择，下采样和超参数调整。我们的系统分别在声码器和声学+声码器音轨中排名第二和第一。
2024-03-20 cs.SD eess.AS
FeatherWave: An efficient high-fidelity neural vocoder with multi-band linear prediction
Tencent（腾讯）
在本文中，我们提出了FeatherWave，又一个变体的WaveRNN声码器结合多带信号处理和线性预测编码。LPCNet是最近提出的一种神经声码器，它利用了WaveRNN结构中语音信号的线性预测特性，可以在单个CPU核上以比实时更快的速度生成高质量的语音。然而，LPCNet对于在线语音生成任务仍然不够高效。为了解决这个问题，我们采用多带线性预测编码的WaveRNN声码器。多带方法使该模型能够在一个步骤中并行生成多个语音样本。因此，它可以显著提高语音合成的效率。所提出的模型与4个子带需要不到1.6 GFLOPS的语音生成。在我们的实验中，它可以在单个CPU上生成24 kHz高保真音频，速度比实时快9倍，比LPCNet声码器快得多。此外，我们的主观听力测试表明，FeatherWave可以生成比LPCNet更好的语音质量。
2020-09-03 cs.SD eess.AS
Speaker independence of neural vocoders and their effect on parametric resynthesis speech enhancement
The Graduate Center, CUNY（纽约市立大学研究生院）；Brooklyn College（布鲁克林学院）
传统的语音增强系统产生具有折衷质量的语音。在这里，我们建议使用高质量的语音生成能力的神经声码器更好的质量语音增强。我们称之为参数再合成（PR）。在以前的工作中，我们证明了PR系统使用两个神经声码器WaveNet和WaveGlow为单个扬声器生成高质量的语音。这两种声码器传统上都依赖于扬声器。在这里，我们首先表明，当训练足够多的说话者的数据时，这些声码器可以从看不见的说话者（男性和女性）生成语音，其质量与训练中看到的说话者相似。接下来，使用这两个声码器和一个新的声码器LPCNet，我们评估了PR对看不见的扬声器的降噪质量，并表明客观信号和整体质量高于最先进的语音增强系统Wave-U-Net，Wavenet-denoise和SEGAN。此外，在主观质量，多扬声器PR优于甲骨文维纳面具。
2019-11-14 cs.LG cs.SD eess.AS
A Vocoder-free WaveNet Voice Conversion with Non-Parallel Data
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
在典型的语音转换系统中，声码器通常用于语音到特征分析和特征到语音合成。然而，声码器可以是语音质量降级的来源。本文提出了一种基于WaveNet的非并行训练数据的无声码器语音转换方法。该方法不需要处理中间特征，而是利用WaveNet将语音后验图（PPG）直接映射到波形样本。这样，我们就避免了声码器和特征转换所带来的估计误差。此外，由于PPG被假定为说话人独立的，所提出的方法还减少了基于WaveNet声码器的方法中的特征失配问题。在CMU-ARCTIC数据库上的实验结果表明，该方法在语音质量方面明显优于基线方法。
2019-09-17 cs.SD eess.AS
Quasi-Periodic Parallel WaveGAN Vocoder: A Non-autoregressive Pitch-dependent Dilated Convolution Model for Parametric Speech Generation
Nagoya University（名古屋大学）
在本文中，我们提出了一个并行的WaveGAN（PWG）类神经声码器与准周期（QP）架构，以提高PWG的音调可控性。PWG是一种紧凑的非自回归（non-AR）语音生成模型，其生成速度远远快于实时。在利用PWG作为声码器以基于诸如频谱和韵律特征的声学特征来生成语音的同时，PWG生成高保真语音。然而，当输入的声学特征包括看不见的音高时，PWG生成的语音的音高准确性降低，因为PWG的固定和通用网络没有语音周期性的先验知识。QPPWG采用了一个基音相关的扩张卷积网络（PDCNN）模块，通过动态改变网络结构将基音信息引入PWG，提高了vanilla PWG的基音可控性和语音建模能力。客观和主观评价结果表明，当QPPWG模型大小仅为vanilla PWG模型大小的70%时，QPPWG生成的语音具有更高的基音精度和相当的语音质量。
2020-08-07 cs.SD eess.AS
Collapsed speech segment detection and suppression for WaveNet vocoder
Nagoya University（名古屋大学）
在本文中，我们提出了一种技术，以减轻崩溃的语音段有时产生的WaveNet声码器所造成的质量下降。WaveNet声码器用于从声学特征生成自然语音的有效性已在最近的工作中得到证明。然而，当只有有限数量的训练数据可用或训练数据和测试数据之间存在显著的声学失配时，它有时会生成具有折叠语音段的非常嘈杂的语音。这种对语料库的限制和有限的模型能力很容易出现在某些语音生成应用中，例如语音转换和语音增强。为了解决这个问题，我们提出了一种技术来自动检测崩溃的语音段。此外，为了细化检测到的片段，我们还提出了一种波形生成技术的WaveNet使用线性预测编码约束。验证和主观测试进行调查所提出的技术的有效性。验证结果表明，该检测技术可以检测到大多数塌陷段。语音转换的主观评价表明，该生成技术显着提高了语音质量，同时保持相同的说话人相似性。
2018-08-09 cs.SD eess.AS
Towards Parametric Speech Synthesis Using Gaussian-Markov Model of Spectral Envelope and Wavelet-Based Decomposition of F0
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
基于神经网络的文语转换（Text-to-Speech）技术显著提高了合成语音的质量。突出的方法（例如，Tacotron 2、FastSpeech、FastPitch）通常从文本生成Mel频谱图，然后使用声码器（例如，WaveNet、WaveGlow、HiFiGAN）。与传统的参数方法（例如，STRAIGHT和WORLD），基于神经声码器的端到端模型存在推理速度慢的问题，并且合成的语音通常不鲁棒且缺乏可控性。在这项工作中，我们提出了一种新的更新声码器，这是一个简单的信号模型，训练和容易产生的波形。我们使用高斯马尔可夫模型对强大的学习谱包络和基于小波的统计信号处理的特点和分解F0功能。它能保持语音的精细谱包络，实现自然语音的高度可控性。实验结果表明，我们提出的声码器实现了更好的自然度重建语音比传统的直声码器，略优于WaveNet，并略差于WaveRNN。
2022-08-15 cs.SD eess.AS
Neural Vocoders as Speech Enhancers
Institute of Acoustics Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
本文发现语音增强与神经声码在秩行为上存在共性，提出统一模型可同时处理两个任务，实验证明联合训练性能与单独训练相当，为语音恢复提供统一框架。
2025-01-23 cs.SD eess.AS
Source-Filter-Based Generative Adversarial Neural Vocoder for High Fidelity Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于声源-滤波器的生成对抗神经声码器SF-GAN，通过引入F0激励信号结合多分辨率卷积滤波器重建波形，在AS和TTS任务中超越HiFi-GAN和Fre-GAN，合成质量媲美真实音频。
2023-04-26 cs.SD eess.AS
ExcitNet vocoder: A neural excitation model for parametric speech synthesis systems
NAVER Corp.（NAVER公司）；Yonsei University（延世大学）
提出了一种基于WaveNet的神经元激励模型（ExcitNet），用于统计参数化语音合成系统。传统的基于WaveNet的神经语音编码系统通过自回归框架统计地生成语音波形的时间序列来显著地提高合成语音的感知质量。然而，他们往往遭受噪声输出，因为在捕捉语音信号的复杂的时变性质的困难。为了提高建模效率，所提出的ExcitNet声码器采用自适应逆滤波器来将频谱分量从语音信号中解耦。然后在WaveNet框架内训练和生成残差分量，即激励信号。通过这种方式，可以进一步提高合成语音信号的质量，因为频谱分量由深度学习框架很好地表示，此外，残差分量由WaveNet框架有效地生成。实验结果表明，建议的ExcitNet声码器，训练的说话人相关和说话人无关，优于传统的线性预测声码器和类似配置的传统WaveNet声码器。
2019-08-21 cs.LG cs.SD eess.AS
Statistical Voice Conversion with Quasi-Periodic WaveNet Vocoder
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Graduate School of Information Science, Nagoya University（名古屋大学情报科学研究科）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
在本文中，我们调查的有效性的准周期波网（QPNet）声码器结合统计频谱转换技术的语音转换任务。WaveNet（WN）声码器已被应用于许多不同的语音转换框架中的波形生成模块，并取得了显着的改善，比传统的声码器。然而，由于固定的扩张卷积和通用的网络架构，WN声码器缺乏对看不见的输入功能的鲁棒性，往往需要一个巨大的网络规模，以实现可接受的语音质量。这种限制通常会导致语音转换任务的性能下降。为了克服这个问题，应用了QPNet声码器，它包括一个与音调相关的扩张卷积组件，以增强音调可控性并获得比WN声码器更紧凑的网络。在所提出的方法中，首先使用逐帧深度神经网络转换输入频谱特征，然后QPNet声码器基于线性转换的韵律和变换后的频谱特征生成转换后的语音。实验结果证实，QPNet声码器实现了显着更好的性能比相同大小的WN声码器，同时保持可比的语音质量的两倍大小的WN声码器。索引术语：WaveNet，声码器，语音转换，音高相关的扩张卷积，音高可控性
2020-03-22 cs.SD eess.AS
Avocodo: Generative Adversarial Network for Artifact-free Vocoder
NCSOFT（NCSoft公司）
基于生成式对抗神经网络（GAN）的神经声码器由于其快速的推理速度和轻量级的网络，同时产生高质量的语音波形而得到广泛应用。由于感知上重要的语音分量主要集中在低频段中，因此大多数基于GAN的声码器执行多尺度分析，以评估下采样的语音波形。这种多尺度分析有助于生成器提高语音清晰度。然而，在初步的实验中，我们发现集中于低频段的多尺度分析会导致非预期的伪影，例如，混叠和成像伪像，这降低了合成语音波形的质量。因此，在本文中，我们研究了这些伪影与基于GAN的声码器之间的关系，并提出了一种基于GAN的声码器，称为Avocodo，它允许合成高保真语音，减少伪影。我们介绍了两种鉴别器，以评估语音波形在不同的角度：一个合作的多带鉴别器和子带鉴别器。我们还利用伪正交镜像滤波器组，以获得下采样的多频带语音波形，同时避免混叠。根据实验结果，Avocodo在客观和主观上都优于基于GAN的基线声码器，同时以更少的伪影再现语音。
2023-01-03 cs.AI cs.SD eess.AS
Improving Resource-Efficient Speech Enhancement via Neural Differentiable DSP Vocoder Refinement
Meta Reality Labs（Meta现实实验室）；Meta AI
针对可穿戴设备计算资源有限的问题，提出基于可微分数字信号处理（DDSP）声码器的高效端到端语音增强框架，通过紧凑网络预测声学特征并合成波形，在不增加计算量的情况下提升可懂度和质量。
2025-08-20 cs.SD eess.AS
Reconstructing Speech from Real-Time Articulatory MRI Using Neural Vocoders
University of Szeged（塞格德大学）
存在用于记录发音运动的几种方法，例如电磁和永磁发音描记术、超声舌成像和表面肌电图。尽管磁共振成像（MRI）比上述方法更昂贵，但该领域的最新发展现在允许以可接受的分辨率记录咬合架的实时的【形】MRI视频。在这里，我们尝试使用深度神经网络从实时的【形】MRI记录中重建语音信号。我们的网络不是直接估计语音，而是经过训练输出一个频谱向量，然后使用WaveGlow神经声码器重建语音信号。我们比较了三种深度神经架构在估计任务中的性能，结合了卷积（CNN）和基于递归（LSTM）的神经层。除了我们的网络的平均绝对误差（MAE），我们还通过比较使用几个客观的语音质量指标，如平均倒谱失真（MCD），短时客观可懂度（STOI），语音质量的感知评估（PESQ）和信号失真比（SDR）获得的语音信号来评估我们的模型。结果表明，我们的方法可以成功地重建总的光谱形状，但需要更多的改进，以重现精细的光谱细节。
2021-04-23 cs.SD eess.AS
A Streamwise GAN Vocoder for Wideband Speech Coding at Very Low Bit Rate
Fraunhofer（弗劳恩霍夫）；Fantasmo（范塔斯莫）
最近，GAN声码器在语音合成方面取得了快速进展，开始以更高的生成速度在感知质量方面优于自回归模型。然而，自回归声码器仍然是以非常低的比特率编码的语音信号的神经生成的常见选择。在本文中，我们提出了一个GAN声码器，它能够产生宽带语音波形的参数编码在1.6 kbit/s。该模型是一个修改版本的StyleMelGAN声码器，可以运行在逐帧的方式，使其适合于流媒体应用。实验结果表明，该模型在极低比特率语音编码中的性能明显优于LPCNet等自回归声码器，计算复杂度约为5 GMAC，为该领域提供了一个新的发展方向.此外，这种流式对抗声码器在干净语音上以5.9 kbit/s提供与高级语音编解码器（例如EVS）竞争的质量，这促使前馈全卷积模型进一步用于低比特率语音编码。
2021-08-09 cs.LG cs.SD eess.AS
Speaker-adaptive neural vocoders for parametric speech synthesis systems
NAVER Corp.（NAVER 公司）；Yonsei University（延世大学）
本文提出了一种用于参数化文语转换（TTS）系统的说话人自适应神经声码器。最近提出的基于WaveNet的神经语音编码系统成功地产生了一个时间序列的语音信号与自回归框架。然而，当目标说话人的训练数据量不足时，合成高质量的语音仍然是一个挑战。为了在有限训练数据的约束下生成更自然的语音信号，我们提出了一种说话人自适应任务，该任务具有有效的神经声码模型变体。在该方法中，一个说话人无关的训练方法被应用到捕捉通用属性嵌入在多个说话人，然后训练的模型进行优化，以代表目标说话人的具体特征。实验结果验证了所提出的TTS系统与说话人自适应神经声码器优于传统的基于源滤波器模型的声码器和WaveNet声码器，训练无论是说话人相关或说话人无关。特别是，我们的TTS系统实现了3.80和3.77 MOS的韩国男性和韩国女性发言人，分别，即使我们只使用十分钟的语音语料库训练模型。
2020-08-01 cs.LG cs.SD eess.AS
VocBench: A Neural Vocoder Benchmark for Speech Synthesis
Facebook AI（脸书人工智能研究院）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）
用于将音频信号的频谱表示转换为波形的神经声码器是语音合成流水线中常用的组件。它专注于从低维表示合成波形，例如Mel频谱图。近年来，已经引入了不同的方法来开发这样的声码器。然而，评估这些新的声码器并将其性能与以前的声码器进行比较变得更具挑战性。为了解决这个问题，我们提出了VocBench，一个基准测试最先进的神经声码器性能的框架。VocBench使用系统的研究来评估共享环境中不同的神经声码器，从而能够在它们之间进行公平的比较。在我们的实验中，我们对所有神经声码器的数据集、训练管道和评估指标使用相同的设置。我们进行了主观和客观的评价，比较性能的每个声码器沿不同的轴。我们的研究结果表明，该框架是能够显示的竞争力和质量的合成样本为每个声码器。VocBench框架可在https://github.com/facebookresearch/vocoder-benchmark上获得。
2021-12-06 cs.CL cs.SD eess.AS
Spoofed training data for speech spoofing countermeasure can be efficiently created using neural vocoders
National Institute of Informatics（国立信息学研究所）
用于语音欺骗对策的良好训练集需要不同的TTS和VC欺骗攻击，但是为目标说话者生成TTS和VC欺骗试验可能在技术上要求很高。这项研究没有使用成熟的TTS和VC系统，而是使用基于神经网络的声码器对真实的话语进行复制合成。输出数据可用作欺骗数据。为了更好地利用成对的真实数据和欺骗数据，本研究引入了一种可以插入标准训练标准的对比特征损失。在ASVspoof 2019逻辑访问训练集的真实试验的基础上，本研究根据经验比较了使用一些神经非自回归声码器以所提出的方式创建的一些训练集。多个测试集的结果表明了良好的实践，例如使用来自目标域的真实数据微调神经声码器。实验结果也证明了对比特征丢失的有效性。结合最佳实践，经过培训的CM实现了整体竞争力。其在ASVspoof 2021隐藏子集上的EER也超过了前1名的挑战提交。
2023-02-22 cs.SD eess.AS
FlowVocoder: A small Footprint Neural Vocoder based Normalizing flow for Speech Synthesis
Vinai Research（Vinai研究公司）；Deezer Research（Deezer研究公司）
最近，自回归神经声码器在产生高保真语音方面提供了显著的性能，并且已经能够实时产生合成语音。然而，自回归神经声码器（如WaveFlow）能够从梅尔频谱图中建模波形信号，其参数数量对于部署在边缘设备上非常重要。虽然NanoFlow具有少量参数，是最先进的自回归神经声码器，但NanoFlow的性能略低于WaveFlow。因此，我们提出了一种新型的自回归神经声码器称为FlowVocoder，它具有较小的内存占用，能够实时生成高保真音频。我们提出的模型改进了流块的密度估计，利用混合的累积分布函数（CDF）的二分变换。因此，所提出的模型能够对波形信号进行建模，而其内存占用比WaveFlow小得多。实验结果表明，FlowVocoder算法在主观和客观评价方面都取得了与基线算法相当的效果，更适合于实时的文语转换应用。
2022-03-25 cs.LG cs.SD eess.AS
Ultrasound-based Silent Speech Interface Built on a Continuous Vocoder
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；University of Szeged（塞格德大学）
最近表明，在无声语音接口（SSI）领域内，使用深度神经网络进行发音到声学映射，可以从超声舌图像（UTI）作为发音输入预测F0。此外，当使用连续音调估计时，文本到语音合成器被示出产生更高质量的语音，该连续音调估计即使在不存在浊音时也采用非零音调值。因此，在本文中基于UTI的SSI，我们使用一个简单的连续F0跟踪器，不适用于严格的有声/无声的决定。连续声码器参数（ContF 0，最大浊音频率和梅尔广义倒谱）预测使用卷积神经网络，与UTI作为输入。结果表明，在发音声学映射实验中，连续F0预测具有较低的误差，并且连续声码器产生比使用标准不连续F0的基线声码器稍微更自然的合成语音。
2019-06-24 cs.SD eess.AS eess.IV
Wave-Trainer-Fit: Neural Vocoder with Trainable Prior and Fixed-Point Iteration towards High-Quality Speech Generation from SSL features
Nara Institute of Science and Technology（奈良科学技术大学）；LY Corporation（LY公司）
WaveTrainerFit通过引入可训练先验和固定点迭代，提升从SSL特征生成高质量语音的效果，减少推理步骤并提高语音相似度。
2026-02-05 cs.SD eess.AS
LP-WaveNet: Linear Prediction-based WaveNet Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）；Naver Corporation（Naver公司）；Yonsei University（延世大学）
提出了一种基于WaveNet语音编码框架的线性预测（LP）波形生成方法.基于WaveNet的神经声码器显著提高了参数化文语转换（TTS）系统的质量。然而，当目标数据库包含大量的声学信息，如韵律、风格或表现力时，有效地训练神经声码器是具有挑战性的。作为一种解决方案，已经提出了仅通过神经声码器产生语音源分量的方法。然而，它们往往会产生合成噪声，因为声源分量是独立处理的，而没有考虑整个语音产生过程;其中不可避免地会出现声源和声道滤波器之间的失配。为了解决这个问题，我们提出了一个LP-WaveNet声码器，其中声源和声道分量之间的复杂相互作用是在基于混合密度网络的WaveNet模型内联合训练的。实验结果表明，该系统在客观和主观上都优于传统的WaveNet声码器。特别是，所提出的方法实现了4.47 MOS的TTS框架内。
2020-03-04 cs.SD eess.AS
DSPGAN: a GAN-based universal vocoder for high-fidelity TTS by time-frequency domain supervision from DSP
Northwestern Polytechnical University（西北工业大学）；TAL Education Group（好未来集团）
本文提出DSPGAN，一种基于GAN的通用神经声码器，通过引入来自DSP模块的时频域监督和正弦激励时域监督，解决训练与推理阶段频谱不匹配问题，实现跨说话人、语言和风格的高保真语音合成。
2023-05-28 cs.SD eess.AS
Parallel WaveNet conditioned on VAE latent vectors
最近，最先进的文本到语音合成系统已经转移到两个模型的方法：一个序列到序列模型来预测语音的表示（通常是梅尔频谱图），其次是一个“神经声码器”模型，它产生的时域语音波形从这个中间的语音表示。这种方法能够合成与自然语音记录混淆的语音。然而，神经声码器方法的推理速度是将该技术用于商业应用的主要障碍。并行WaveNet是为解决这一问题而开发的一种方法，它牺牲了一些合成质量，以获得更快的推理速度。在本文中，我们研究了使用一个并行的WaveNet神经声码器的信号质量，以提高一个电平调节向量。我们用来自Tacotron 2型序列到序列模型的预训练VAE分量的潜在向量来调节神经声码器。这样，我们就能够显著提高声码语音的质量。
2020-12-17 cs.SD eess.AS
ESTVocoder: An Excitation-Spectral-Transformed Neural Vocoder Conditioned on Mel Spectrogram
National Engineering Research Center of Speech and Language Information Processing（国家语言语音信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于源-滤波器理论的ESTVocoder，利用ConvNeXt v2将F0激励的幅度与相位谱转换为语音频谱并经ISTFT重建波形，实验表明其在语音质量上优于或媲美主流基线，且有效加速了模型收敛。
2024-11-18 cs.SD eess.AS
Towards Robust Neural Vocoding for Speech Generation: A Survey
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学电信工程学研究所）
近年来，神经声码器已广泛应用于语音合成任务，包括文本到语音和语音转换。然而，当遇到训练和推理之间的数据分布不匹配时，在真实数据上训练的神经声码器通常会在不可见的场景中降低语音质量。本文在五个不同的数据集上交替训练了WaveNet、WaveRNN、FFTNet、Parallel WaveGAN四种常用的神经元声码器。为了研究神经声码器的鲁棒性，我们使用来自可见/不可见扬声器，可见/不可见语言，文本到语音模型和语音转换模型的声学特征来评估模型。我们发现，对于实现通用声码器来说，说话者的多样性比语言更重要。通过我们的实验，我们表明WaveNet和WaveRNN更适合于文本到语音模型，而并行WaveGAN更适合于语音转换应用。大量的主观MOS结果的自然度的所有声码器，为未来的研究。
2020-08-20 cs.LG cs.SD eess.AS
Knowledge-and-Data-Driven Amplitude Spectrum Prediction for Hierarchical Neural Vocoders
University of Science and Technology of China（中国科学技术大学）
在我们以前的工作中，我们提出了一个神经声码器称为HiNet恢复语音波形预测幅度和相位谱分层输入的声学特征。在HiNet中，幅度谱预测器（ASP）从输入声学特征预测对数幅度谱（LAS）。本文提出了一种新的知识和数据驱动的ASP（KDD-ASP），以改善传统的。首先，声学特征（即，F0和梅尔倒谱）通过知识驱动的LAS恢复模块以获得近似LAS（ALAS）。该模块是基于短时傅里叶变换和信源滤波器理论相结合的方法设计的，其中信源部分和滤波器部分分别基于输入F0和梅尔倒谱进行设计。然后，由数据驱动的LAS细化模块处理恢复的LAS，该模块由多个可训练卷积层组成，以获得最终的LAS。实验结果表明，在文本到语音（TTS）任务中，使用KDD-ASP的HiNet声码器可以获得比使用传统ASP和WaveRNN声码器更高的合成语音质量。
2020-05-18 cs.SD eess.AS
Parametric Resynthesis with neural vocoders
The Graduate Center, CUNY（纽约城市大学研究生中心）；Brooklyn College（布鲁克林学院）；Computer Science（计算机科学系）；Computer and Information Science（计算机与信息科学系）
噪声抑制系统通常产生具有折衷质量的输出语音。我们建议利用高品质的语音生成能力的神经声码器的噪声抑制。我们使用一个神经网络来预测干净的梅尔频谱图功能，从嘈杂的语音，然后比较两个神经声码器，WaveNet和WaveGlow，从预测梅尔频谱图合成干净的语音。WaveNet和WaveGlow都比声源分离模型Chimera++获得了更好的主观和客观质量分数。此外，WaveNet和WaveGlow还实现了比Oracle Wiener掩码更好的主观质量评级。此外，我们观察到，在WaveNet和WaveGlow之间，WaveNet实现了最佳的主观质量分数，尽管代价是波形生成速度要慢得多。
2019-11-14 cs.LG cs.SD eess.AS
StyleMelGAN: An Efficient High-Fidelity Adversarial Vocoder with Temporal Adaptive Normalization
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
近年来，神经声码器在合成语音的自然度和感知质量方面已经超过了经典的语音生成方法。像WaveNet和WaveGlow这样的计算量大的模型实现了最佳结果，而轻量级的GAN模型，例如MelGAN和Parallel WaveGAN，在感知质量方面仍然较差。因此，我们提出了StyleMelGAN，一个轻量级的神经声码器，允许合成高保真语音，计算复杂度低。StyleMelGAN采用时间自适应归一化来对具有目标语音的声学特征的低维噪声向量进行样式化。为了有效的训练，多个随机窗口鉴别器逆向评估由滤波器组分析的语音信号，其中正则化由多尺度频谱重建损失提供。高度并行化的语音生成速度比CPU和GPU上的实时速度快几倍。MUSHRA和P.800听力测试表明，StyleMelGAN在复制合成和文本到语音场景中优于先前的神经声码器。
2021-02-12 cs.LG cs.SD eess.AS
Bunched LPCNet : Vocoder for Low-cost Neural Text-To-Speech Systems
Samsung AI Centre（三星人工智能中心）；Samsung Research（三星研究院）；University of Cambridge（剑桥大学）
LPCNet是一种高效的声码器，它结合了线性预测和深度神经网络模块，以保持较低的计算复杂度。在这项工作中，我们提出了两种技术，以进一步降低其复杂性，旨在低成本的LPCNet声码器为基础的神经文本转语音（TTS）系统。这些技术是：1）样本聚束，允许LPCNet为每个推理生成多个音频样本; 2）比特聚束，减少LPCNet最后一层的计算。使用所提出的聚束技术，LPCNet结合深度卷积TTS（DCTTS）声学模型，在移动终端上运行时，显示出比基线运行时间提高2.19倍，TTS平均意见评分（MOS）下降不到0.1。
2020-08-11 cs.LG cs.SD eess.AS
A Post Auto-regressive GAN Vocoder Focused on Spectrum Fracture
生成对抗网络（GANs）在实时语音合成中的应用显示了其优越性。然而，它们中的大多数使用深度卷积层作为其骨干，这可能导致先前信号信息的缺失。然而，语音信号的生成在其重构中总是需要在前的波形样本，因为缺少这一点会导致生成的语音中的伪像。为了解决这一矛盾，本文提出了一种改进的模型：一个后自回归（AR）GAN声码器与自注意层，其中合并的自注意在AR循环。它不会参与推理，但可以帮助生成器在训练中学习帧内的时间依赖性。此外，还进行了消融研究，以确认每个部件的贡献。系统的实验表明，我们的模型导致了一致的改善客观和主观的评价性能。
2023-02-16 cs.SD eess.AS
Towards achieving robust universal neural vocoding
本文探讨了神经声码器的潜在普遍性。我们训练一个基于WaveRNN的声码器，使用来自17种语言的74个扬声器。这种声码器被证明是能够产生的语音质量一贯良好（98%的相对平均MUSHRA相比，自然语音），无论输入的频谱图是否来自扬声器或在训练过程中看到的风格或从域外的情况下，录音条件是录音室质量。当录音显示出质量的显著变化时，或者当向非语音发声或唱歌移动时，声码器仍然显著优于说话者相关声码器，但是以75%的较低平均相对MUSHRA操作。这些结果在不同的语言中是一致的，无论它们在训练过程中被看到（例如英语或日语）还是看不见（例如沃洛夫语，斯瓦希里语，阿赫马尔语）。
2019-07-04 cs.SD eess.AS
Vocoder-Free Non-Parallel Conversion of Whispered Speech With Masked Cycle-Consistent Generative Adversarial Networks
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡技术大学乔治·西蒙·欧姆学院）
本研究提出一种免声码器的统一模型，结合循环一致训练与自监督任务，实现非平行耳语语音转换，主观测试显示相对基线提升达6.7%。
2025-06-21 cs.SD eess.AS
BiVocoder: A Bidirectional Neural Vocoder Integrating Feature Extraction and Waveform Generation
National Engineering Research Center of Speech and Language Information Processing（国家语言信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出双向神经声码器BiVocoder，在STFT域内集成特征提取与波形生成，支持TTS任务且在语音质量与推理速度上优于基线。
2024-06-04 cs.SD eess.AS
Deep Vocoder: Low Bit Rate Compression of Speech with Deep Autoencoder
National University of Defense Technology（国防科技大学）；Army Engineering University of PLA（中国人民解放军陆军工程大学）
受深度神经网络（DNN）在语音处理中的成功启发，本文提出了一种带深度自动编码器（DAE）的直接端到端低比特率语音压缩方法--深度声码器（Deep Vocoder）。在深度声码器中，DAE用于提取语音的潜在代表特征（LRF），然后通过合成分析矢量量化（AbS VQ）方法对其进行有效量化。AbS VQ的目标是最小化感知频谱重建失真，而不是LRF向量本身的失真。此外，提出了一种次优码本搜索技术，以进一步降低计算复杂性。实验结果表明，与传统的基于SQ或VQ的编解码器的输出相比，深度声码器在频率加权分段SNR、STOI和PESQ得分方面产生了实质性的改善。对于2400 bit/s和1200 bit/s的语音编码，在TIMIT语料库上产生的PESQ分数分别为3.34和3.08。
2019-05-14 cs.IT cs.MM cs.SD
FBWave: Efficient and Scalable Neural Vocoders for Streaming Text-To-Speech on the Edge
Facebook Reality Labs（Facebook现实实验室）；Facebook AI（Facebook人工智能实验室）；UC Berkeley（加州大学伯克利分校）
目前，越来越多的应用可以受益于基于边缘的文本到语音（TTS）。然而，大多数现有的TTS模型在计算上过于昂贵，并且不够灵活，无法部署在具有同样不同计算能力的各种边缘设备上。为了解决这个问题，我们提出了FBWave，这是一系列高效且可扩展的神经声码器，可以为不同的边缘设备实现最佳的性能效率权衡。FBWave是一种基于流的混合生成模型，结合了自回归和非自回归模型的优点。它可以产生高质量的音频，并在推理过程中支持流式传输，同时保持高度的计算效率。我们的实验表明，FBWave可以实现与WaveRNN相似的音频质量，同时将MAC减少40倍。更高效的FBWave变体可以实现高达109倍的MAC，同时仍然提供可接受的音频质量。音频演示可在https://bichenwu09.github.io/vocoder_demos上获得。
2020-11-25 cs.LG cs.SD eess.AS
Distinguishing Neural Speech Synthesis Models Through Fingerprints in Speech Waveforms
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文利用多说话人 LibriTTS 数据集研究合成语音波形中的模型指纹，发现声学模型与声码器均留下专属指纹，且声码器指纹更主导，可用于合成语音来源识别。
2024-06-15 cs.SD eess.AS
RAF: Relativistic Adversarial Feedback For Universal Speech Synthesis
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出相对论对抗反馈（RAF）训练目标，通过自监督语音模型和相对论配对改进GAN声码器的域内保真度和泛化能力，在参数减少88%的情况下超越LSGAN训练的BigVGAN。
2026-06-11 cs.SD eess.AS
An Initial study on Birdsong Re-synthesis Using Neural Vocoders
University of Eastern Finland（东芬兰大学）
现代语音合成使用神经声码器直接对原始波形样本进行建模。这种增加的多功能性已经将声码器的范围从语音扩展到其他领域，例如音乐。我们解决另一个有趣的生物声学领域。我们提供了初步的比较分析，再合成实验的鸟鸣使用传统的（世界）和两个神经（WaveNet自动编码器，并行WaveGAN）声码器。我们的主观结果表明，在三个声码器的物种歧视（ABX测试）方面没有差异。尽管如此，WORLD声码器样本在保持类似鸟的质量（MOS测试）方面被评为更高。所有声码器都面临音高和发声的问题。我们的研究结果表明，在处理低质量的野生动物音频数据的一些挑战。
2022-09-21 cs.SD eess.AS eess.SP
A Neural Vocoder Based Packet Loss Concealment Algorithm
Beijing University of Technology（北京工业大学）
IP语音（Voice over IP，VoIP）环境中的丢包问题严重影响了VoIP的服务质量。在本文中，我们研究了基于在线接收器的数据包丢失隐藏，这是更便携和适用。为了保证语音的自然度，该算法不需要直接对时域波形进行处理或在频域分别进行幅值和相位重构，而是采用基于流的神经声码器，由设计良好的神经预测器根据历史语音内容生成Mel-谱图，生成丢失包的替代波形。此外，一个基于波形相似性的平滑后处理被创建，以减轻语音的不连续性和避免的伪影。实验结果表明了该方法的优越性能。
2022-03-26 cs.SD eess.AS
Comparative Analysis of Fast and High-Fidelity Neural Vocoders for Low-Latency Streaming Synthesis in Resource-Constrained Environments
Nagoya University（名古屋大学）；LY Corporation（LY公司）
本文提出多流 Wavehax（MS-Wavehax），通过多流分解扩展无混叠神经声码器 Wavehax，实现低延迟流式语音合成，并分析 CPU 环境下的延迟-吞吐量权衡及关键瓶颈，验证其在资源受限场景中的高质量与易部署性。
2025-06-04 cs.SD eess.AS
Ultra-lightweight Neural Differential DSP Vocoder For High Quality Speech Synthesis
Meta
本文提出超轻量 DDSP 声码器，通过声学模型与 DSP 声码器联合优化，在保持极低算力和实时效率的同时达到接近神经声码器的音质。
2024-01-19 cs.LG cs.SD eess.AS
APNet: An All-Frame-Level Neural Vocoder Incorporating Direct Prediction of Amplitude and Phase Spectra
National Engineering Research Center of Speech and Language Information Processing（语音及语言信息处理国家工程研究中心）；University of Science and Technology of China（中国科学技术大学）
APNet是一种全帧级神经声码器，通过直接预测幅度谱和相位谱并利用ISTFT重建语音，在CPU上实现比HiFi-GAN v1快约8倍的推理速度，同时保持相当的语音质量。
2023-05-13 cs.SD eess.AS
Puffin: pitch-synchronous neural waveform generation for fullband speech on modest devices
SpeakUnique Ltd.（SpeakUnique有限公司）；University of Edinburgh（爱丁堡大学）
针对低功耗设备神经声码器复杂度过高的问题，研究提出Puffin神经声码器，结合现代与老一代声码器技术，采用基音同步ISTFT和对抗训练，以极低计算量实现了媲美HiFi-GAN的48kHz语音合成质量。
2023-06-08 cs.SD eess.AS
DeepA: A Deep Neural Analyzer For Speech And Singing Vocoding
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
传统的声码器通常用作分析工具，为诸如语音合成和语音转换之类的下游任务提供可解释的特征。它们是在关于遵循信号处理原理的信号的某些假设下建立的，因此，不容易推广到不同的音频，例如，从语音到唱歌。在本文中，我们提出了一种深度神经分析器，表示为DeepA -一种神经声码器，从输入语音中提取F0和音色/非周期性编码，模拟传统声码器中定义的那些。因此，所得到的参数比其他潜在神经表征更可解释。与此同时，由于深度神经分析器是可学习的，因此预计它将更准确地进行信号重建和操作，并可从语音推广到唱歌。建议的神经分析器是建立在一个变分自动编码器（VAE）架构的基础上。我们表明，DeepA比传统的声码器（WORLD）提高了F0估计。据我们所知，这是第一项致力于开发神经框架以提取可学习的声码器类参数的研究。
2021-10-13 cs.LG cs.SD eess.AS
QHARMA-GAN: Quasi-Harmonic Neural Vocoder based on Autoregressive Moving Average Model
Graduate School of Informatics, Nagoya University（信息科学研究生院，名古屋大学）；Information Technology Center, Nagoya University（信息科技中心，名古屋大学）
本文提出QHARMA-GAN神经声码器，将神经网络与准谐波模型及ARMA函数结合，实现高质量、可灵活修改且更快速的语音合成。
2025-07-02 cs.SD eess.AS eess.SP
Robust MelGAN: A robust universal neural vocoder for high-fidelity TTS
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
在目前的两阶段神经文本到语音（TTS）的范例，它是理想的，有一个通用的神经声码器，一旦训练，这是强大的不完美的梅尔频谱预测从声学模型。为此，我们提出了鲁棒MelGAN声码器，解决了原来的多频带MelGAN的金属声问题，并增加其泛化能力。具体来说，我们引入了一个细粒度的网络丢弃策略的生成器。通过一个专门设计的过平滑处理器，将语音信号的周期性和非周期性成分分离，只对周期性成分进行网络丢弃，消除了金属音，保持了良好的说话人相似性。为了进一步提高泛化能力，我们引入了几种数据增强方法来增强伪数据，包括谐波偏移、谐波噪声和相位噪声。实验表明，鲁棒MelGAN可以作为一个通用的声码器，显着提高语音合成系统的声音质量建立在各种类型的数据。
2022-11-02 cs.SD eess.AS
Universal Adaptor: Converting Mel-Spectrograms Between Different Configurations for Speech Synthesis
National Taiwan University（国立台湾大学）
最新的语音合成系统由合成器和声码器组成。然而，现有的合成器和声码器只能匹配到用特定配置提取的声学特征。因此，我们不能将任意的合成器和声码器组合在一起形成一个完整的系统，更不用说应用于新开发的模型。在本文中，我们提出了通用适配器，它采取由源配置参数化的梅尔频谱图，并将其转换成由目标配置参数化的梅尔频谱图，只要我们在源和目标配置的饲料。实验结果表明，无论是在单说话人还是多说话人情况下，基于Universal Adaptor的语音合成质量都可以与基于真实Mel-声谱图的语音合成质量相媲美。此外，通用适配器可以应用于最近的TTS系统和语音转换系统，而不会降低质量。
2022-10-29 cs.SD eess.AS
Glow-WaveGAN: Learning Speech Representations from GAN-based Variational Auto-Encoder For High Fidelity Flow-based Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
当前的两阶段TTS框架通常将声学模型与声码器集成-声学模型预测诸如Mel频谱的低分辨率中间表示，而声码器从中间表示生成波形。虽然中间表示作为一个桥梁，仍然存在的声学模型和声码器之间的关键不匹配，因为它们通常是分开学习和工作在不同的分布的表示，导致不可避免的人工合成的语音。在这项工作中，不同于使用预先设计的中间表示在大多数以前的研究中，我们提出使用VAE结合GAN直接从语音学习的潜在表示，然后利用基于流的声学模型来模拟的潜在表示从文本的分布。通过这种方式，当两个阶段在相同的分布上工作时，不匹配问题被迁移。结果表明，基于流的声学模型可以准确地模拟我们学习的语音表示的分布，并且所提出的TTS框架，即Glow-WaveGAN，可以产生高保真语音，优于最先进的基于GAN的模型。
2021-06-22 cs.SD eess.AS
Wasserstein GAN and Waveform Loss-based Acoustic Model Training for Multi-speaker Text-to-Speech Synthesis Systems Using a WaveNet Vocoder
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
最近的神经网络，如直接从语音波形样本学习的WaveNet和sampleRNN，即使在多扬声器文本转语音合成系统中，也在自然度和扬声器相似性方面实现了非常高质量的合成语音。这种神经网络被用作声码器的替代方案，因此它们通常被称为神经声码器。神经声码器使用声学特征作为局部条件参数，这些参数需要由另一个声学模型准确预测。然而，还不清楚如何训练该声学模型，这是有问题的，因为合成语音的最终质量受声学模型的性能的显著影响。发生显著的退化，特别是当预测的声学特征与自然特征相比具有不匹配的特征时。为了减少自然和生成的声学特征之间的不匹配特性，我们提出了将条件生成对抗网络（GAN）或其变体Wasserstein GAN与梯度惩罚（WGAN-GP）结合到使用WaveNet声码器的多扬声器语音合成中的框架。我们还扩展了GAN框架，并使用经过良好训练的WaveNet的离散化混合逻辑损失以及均方误差和对抗损失作为目标函数的一部分。实验结果表明，使用WGAN-GP框架训练的声学模型，使用反向传播离散混合物流（DML）损失在质量和扬声器相似性方面达到最高的主观评价分数。
2018-07-31 cs.CL cs.SD eess.AS
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London（帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）；Meta
视听语音增强的目的是从噪声环境中提取干净的语音，不仅利用音频本身，而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强，特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展，但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频，通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中，我们提出了LA-VocE，一种新的两阶段方法，通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图，然后使用神经声码器（HiFi-GAN）将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估，并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明，LA-VocE优于现有的方法，根据多个指标，特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
Ultrasound-based Articulatory-to-Acoustic Mapping with WaveGlow Speech Synthesis
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（匈牙利科学院-厄特沃什·罗兰大学伦杜莱特语言发音研究组）；University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；Eötvös Loránd University（厄特沃什·罗兰大学）
对于使用深度神经网络的发音到声学映射，通常声码器的频谱和激励参数已被用作训练目标。然而，声码往往导致嗡嗡声和低沉的最终语音质量。因此，在这篇关于基于超声波的发音到声学转换的论文中，我们使用了一个基于流的神经声码器（WaveGlow），它在大量的英语和匈牙利语语音数据上进行了预训练。卷积神经网络的输入是超声舌图像。训练目标是80维梅尔频谱图，这导致比先前使用的25维梅尔广义倒谱更精细的详细频谱表示。根据超声到梅尔频谱图预测的输出，WaveGlow推断产生合成语音。我们比较拟议的基于WaveGlow的系统与连续声码器，它不使用严格的有声/无声的决定时，预测F0。结果表明，在发音声学映射实验中，WaveGlow神经声码器产生的合成语音比基线系统更自然。此外，WaveGlow的优点是F0包含在梅尔谱图表示中，并且不需要单独预测激发。
2020-08-06 cs.SD eess.AS
Enhancing Kurdish Text-to-Speech with Native Corpus Training: A High-Quality WaveGlow Vocoder Approach
University of Kurdistan Hewlêr（休勒库尔德斯坦大学）；Soran University（索兰大学）；University of Tehran（德黑兰大学）
针对 Central Kurdish 低资源 TTS 问题，通过在 21 小时原生语料上训练 WaveGlow 声码器以改进 Tacotron 系统，使 MOS 达到 4.91，显著超越英文预训练基线并树立新基准。
2024-09-24 cs.CL cs.SD eess.AS
Training Generative Adversarial Network-Based Vocoder with Limited Data Using Augmentation-Conditional Discriminator
NTT Corporation（NTT公司）
针对GAN声码器在有限数据下易过拟合的问题，提出增强条件判别器AugCondD，通过输入增强状态评估语音，在有限数据下提升语音质量且不损害充足数据下的表现。
2024-03-25 cs.LG cs.SD eess.AS
