Improve GAN-based Neural Vocoder using Pointwise Relativistic LeastSquare GAN
Xmov（影眸科技）
基于GAN的神经声码器，如并行WaveGAN和MelGAN，由于其轻量级和并行结构，使其能够以实时方式生成高保真波形，因此引起了人们的极大兴趣。在本文中，相对论GAN的启发下，我们介绍了一种新的变体的LSGAN框架下的波形合成，命名为逐点相对论LSGAN（PRLSGAN）。在这种方法中，我们考虑到真理分数分布，并结合原始的MSE损失与建议逐点相对差异损失，以增加生成器的难度，以欺骗欺骗，从而提高生成质量。此外，PRLSGAN是一个通用框架，可以与任何基于GAN的神经声码器相结合，以提高其生成质量。实验表明，基于并行WaveGAN和MelGAN的性能提高一致，证明了我们提出的PRLSGAN神经声码器的有效性和强大的泛化能力。
2021-03-29 cs.AI cs.CL cs.SD
An Initial study on Birdsong Re-synthesis Using Neural Vocoders
University of Eastern Finland（东芬兰大学）
现代语音合成使用神经声码器直接对原始波形样本进行建模。这种增加的多功能性已经将声码器的范围从语音扩展到其他领域，例如音乐。我们解决另一个有趣的生物声学领域。我们提供了初步的比较分析，再合成实验的鸟鸣使用传统的（世界）和两个神经（WaveNet自动编码器，并行WaveGAN）声码器。我们的主观结果表明，在三个声码器的物种歧视（ABX测试）方面没有差异。尽管如此，WORLD声码器样本在保持类似鸟的质量（MOS测试）方面被评为更高。所有声码器都面临音高和发声的问题。我们的研究结果表明，在处理低质量的野生动物音频数据的一些挑战。
2022-09-21 cs.SD eess.AS eess.SP
StyleMelGAN: An Efficient High-Fidelity Adversarial Vocoder with Temporal Adaptive Normalization
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
近年来，神经声码器在合成语音的自然度和感知质量方面已经超过了经典的语音生成方法。像WaveNet和WaveGlow这样的计算量大的模型实现了最佳结果，而轻量级的GAN模型，例如MelGAN和Parallel WaveGAN，在感知质量方面仍然较差。因此，我们提出了StyleMelGAN，一个轻量级的神经声码器，允许合成高保真语音，计算复杂度低。StyleMelGAN采用时间自适应归一化来对具有目标语音的声学特征的低维噪声向量进行样式化。为了有效的训练，多个随机窗口鉴别器逆向评估由滤波器组分析的语音信号，其中正则化由多尺度频谱重建损失提供。高度并行化的语音生成速度比CPU和GPU上的实时速度快几倍。MUSHRA和P.800听力测试表明，StyleMelGAN在复制合成和文本到语音场景中优于先前的神经声码器。
2021-02-12 cs.LG cs.SD eess.AS
VocGAN: A High-Fidelity Real-time Vocoder with a Hierarchically-nested Adversarial Network
NCSOFT（NCSoft公司）；Handong Global University（韩东国际大学）
我们提出了一种新的高保真实时神经声码器称为VocGAN。最近开发的基于GAN的声码器MelGAN实时产生语音波形。然而，它经常产生质量不足或与输入梅尔频谱图的声学特性不一致的波形。VocGAN几乎与MelGAN一样快，但它显著提高了输出波形的质量和一致性。VocGAN应用多尺度波形发生器和分层嵌套的学习器，以平衡的方式学习多个级别的声学特性。它还应用了联合条件和无条件目标，这在高分辨率图像合成中显示了成功的结果。在实验中，VocGAN在GTX 1080Ti GPU上合成语音波形的速度比实时快416.7倍，在CPU上合成语音波形的速度比实时快3.24倍。与MelGAN相比，它在多个评估指标（包括平均意见分数（MOS））方面也表现出显着提高的质量，同时具有最小的额外开销。此外，与最近开发的另一种高保真声码器并行WaveGAN相比，VocGAN在CPU上的速度快6.98倍，并且具有更高的MOS。
2020-07-30 cs.LG cs.SD eess.AS
Baseline System of Voice Conversion Challenge 2020 with Cyclic Variational Autoencoder and Parallel WaveGAN
Graduate School of Information Science, Nagoya University（名古屋大学信息科学研究生院）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
在本文中，我们描述了具有循环变分自编码器（CycleVAE）和并行WaveGAN（PWG）的语音转换挑战赛（VCC）2020的基线系统，即，循环VAEPWG。CycleVAE是一种基于非并行VAE的语音转换，它利用转换后的声学特征在优化过程中考虑循环重建频谱。另一方面，PWG是一种基于生成对抗网络的非自回归神经声码器，用于高质量和快速的波形发生器。在实践中，CycleVAEPWG系统可以直接使用VCC 2020数据集开发，使用任务1（语内）和任务2（跨语言）的统一模型，我们的开源实现可在https://github.com/bigpon/vcc20_baseline_cyclevae上获得。VCC 2020的结果表明，CycleVAEPWG基线实现了以下目标：1）对于任务1，自然度的平均意见得分（MOS）为2.87，说话者相似度百分比（Sim）为75.37%，以及2）对于任务2，MOS为2.56，Sim为56.46%，示出了近似或接近自然度的平均分数和高于说话者相似性的平均分数。
2020-10-09 cs.CL cs.SD eess.AS
MSR-NV: Neural Vocoder Using Multiple Sampling Rates
rinna Co., Ltd.（Rinna株式会社）
神经声码器（NVs）的发展导致了高质量和快速生成波形。然而，常规NV以单个采样率为目标，并且在应用于不同采样率时需要重新训练。由于语音质量和生成速度之间的权衡，合适的采样率因应用而异。在这项研究中，我们提出了一种方法来处理多个采样率在一个单一的NV，称为MSR-NV。通过从低采样率开始逐步生成波形，MSR-NV可以有效地学习每个频段的特性，并以多个采样率合成高质量的语音。它可以被看作是以前提出的NVs的扩展，在这项研究中，我们扩展了并行WaveGAN（PWG）的结构。实验结果表明，该方法在不增加推理时间的前提下，显著提高了在16、24和48 kHz下训练的PWG的主观质量。我们还表明，MSR-NV可以利用语音与较低的采样率，以进一步提高合成语音的质量。
2022-06-24 cs.LG cs.SD eess.AS
Statistical Voice Conversion with Quasi-Periodic WaveNet Vocoder
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Graduate School of Information Science, Nagoya University（名古屋大学情报科学研究科）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
在本文中，我们调查的有效性的准周期波网（QPNet）声码器结合统计频谱转换技术的语音转换任务。WaveNet（WN）声码器已被应用于许多不同的语音转换框架中的波形生成模块，并取得了显着的改善，比传统的声码器。然而，由于固定的扩张卷积和通用的网络架构，WN声码器缺乏对看不见的输入功能的鲁棒性，往往需要一个巨大的网络规模，以实现可接受的语音质量。这种限制通常会导致语音转换任务的性能下降。为了克服这个问题，应用了QPNet声码器，它包括一个与音调相关的扩张卷积组件，以增强音调可控性并获得比WN声码器更紧凑的网络。在所提出的方法中，首先使用逐帧深度神经网络转换输入频谱特征，然后QPNet声码器基于线性转换的韵律和变换后的频谱特征生成转换后的语音。实验结果证实，QPNet声码器实现了显着更好的性能比相同大小的WN声码器，同时保持可比的语音质量的两倍大小的WN声码器。索引术语：WaveNet，声码器，语音转换，音高相关的扩张卷积，音高可控性
2020-03-22 cs.SD eess.AS
WOLONet: Wave Outlooker for Efficient and High Fidelity Speech Synthesis
最近，基于GAN的神经声码器（如Parallel WaveGAN、MelGAN、HiFiGAN和UnivNet）由于其轻量级和并行结构而变得流行，从而即使在CPU上也能实现高保真的实时合成波形。HiFiGAN和UnivNet是两种SOTA声码器。尽管质量很高，但仍有改进的余地。本文借鉴计算机视觉中的Vision Outlooker结构，提出了一种高效、轻量级的神经声码器WOLONet。在这个网络中，我们开发了一个新的轻量级块，它使用一个位置可变的，通道独立的，依赖性的动态卷积内核，具有正弦激活的动态内核权重。为了证明我们的方法的有效性和通用性，我们进行了消融研究来验证我们的新设计，并与典型的基于GAN的声码器进行了主观和客观的比较。结果表明，我们的WOLONet实现了最好的生成质量，同时需要更少的参数比两个神经SOTA声码器，HiFiGAN和UnivNet。
2022-06-20 cs.AI cs.CL cs.SD
NatiQ: An End-to-end Text-to-Speech System for Arabic
Qatar Computing Research Institute - Hamad Bin Khalifa University（哈马德·本·哈利法大学卡塔尔计算研究所）；Özyeğin University（奥兹耶金大学）；aiXplain Inc.（aiXplain公司）
NatiQ是阿拉伯语的端到端文本到语音系统。我们的语音合成器使用的编码器-解码器架构与关注。我们使用基于tacotron的模型（tacotron-1和tacotron-2）和更快的Transformer模型从字符中生成mel光谱图。我们将Tacotron 1与WaveRNN声码器、Tacotron 2与WaveGlow声码器以及ESPnet Transformer与并行wavegan声码器级联，以从频谱图合成波形。我们使用两种声音的内部语音数据：1）中性男性“Hamza”-讲述一般内容和新闻，2）富有表现力的女性“Amina”-讲述儿童故事书来训练我们的模型。我们最好的系统分别为Amina和Hamza实现了4.21和4.40的平均意见得分（MOS）。使用字和字符出错率（WER和CER）以及通过实时因素测量的响应时间对系统进行客观评估有利于端到端架构ESPnet。NatiQ演示版可在https://tts.qcri.org网站上获得
2022-11-16 cs.CL cs.SD eess.AS
NeuralDPS: Neural Deterministic Plus Stochastic Model with Multiband Excitation for Noise-Controllable Waveform Generation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
传统声码器具有合成效率高、可解释性强、语音可编辑等优点，而神经元声码器具有合成质量高的优点。为了结合两种声码器的优点，受传统的确定性加随机性模型的启发，提出了一种新的神经声码器NeuralDPS，它既能保持高的语音质量，又能获得高的合成效率和噪声可控性。首先，该框架包含四个模块：确定性源模块、随机源模块、神经V/UV决策模块和神经滤波器模块。声码器所需的输入仅为频谱参数，避免了估计额外参数（如F0）所带来的误差。其次，针对不同频段可能存在确定性成分和随机性成分比例不同的问题，采用多频段激励策略，以产生更精确的激励信号，减少神经滤波器的负担。第三，提出了一种语音噪声控制方法。这样，语音的信噪比（SNR）可以很容易地调节。客观和主观的实验结果表明，我们提出的NeuralDPS声码器可以获得类似的性能与WaveNet，它产生的波形至少比WaveNet声码器快280倍。它也比WaveGAN在单个CPU核心上的合成效率快28%。实验证明，该方法能有效地抑制预测语音中的噪声成分，调节语音的信噪比。生成的语音的示例可以在https://hairuo55.github.io/NeuralDPS找到。
2022-03-05 cs.CL cs.SD eess.AS
Very Low Complexity Speech Synthesis Using Framewise Autoregressive GAN (FARGAN) with Pitch Prediction
针对神经声码器复杂度过高的问题，提出利用长期音高预测、无需教师强制的逐帧自回归声码器 FARGAN，以 600 MFLOPS 实现优于低复杂度方案并媲美高复杂度方案的语音质量。
2024-08-05 eess.AS
HiFi-WaveGAN: Generative Adversarial Network with Auxiliary Spectrogram-Phase Loss for High-Fidelity Singing Voice Generation
Beijing Bombax XiaoIce Technology Co., Ltd（北京木棉小冰科技有限公司）；National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；Tsinghua University（清华大学）
本文提出HiFi-WaveGAN，通过扩展WaveNet生成器、多周期与多分辨率频谱判别器、脉冲提取器及辅助频谱-相位损失，实现48kHz高保真歌声的实时合成，MOS达4.23，显著优于其他神经声码器。
2023-09-17 cs.SD eess.AS
Unified Source-Filter GAN with Harmonic-plus-Noise Source Excitation Generation
Nagoya University（名古屋大学）
本文介绍了一种具有谐波加噪声源激励产生机制的统一源滤波器网络。在我们以前的工作中，我们提出了统一的源滤波器GAN（uSF GAN）开发一个高保真的神经声码器灵活的语音可控性使用统一的源滤波器神经网络架构。然而，uSFGAN对非周期性源激励信号进行建模的能力是不足的，并且在自然语音和生成语音之间的声音质量中仍然存在差距。为了提高声源激励的建模和生成的声音质量，提出了一种新的声源激励生成网络，分别生成周期和非周期分量。还采用了HiFiGAN的高级对抗训练过程来取代原始uSFGAN中使用的并行WaveGAN。客观和主观评价结果均表明，改进后的uSFGAN在保持语音可控性的同时，显著改善了基本uSFGAN的音质。
2022-07-01 cs.LG cs.SD eess.AS
StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion
Columbia University（哥伦比亚大学）
我们提出了一种无监督的非并行多对多语音转换（VC）方法，使用生成对抗网络（GAN）称为StarGAN v2。使用对抗源分类器损失和感知损失的组合，我们的模型显着优于以前的VC模型。虽然我们的模型只训练了20名英语使用者，但它可以推广到各种语音转换任务，例如任意到多个，跨语言和唱歌转换。使用风格编码器，我们的框架还可以将普通阅读语音转换为风格语音，如情感语音和假声语音。主观和客观的评价实验的非并行多对多语音转换任务显示，我们的模型产生自然的声音，接近最先进的文本到语音（TTS）的语音转换方法，而不需要文本标签的声音质量。此外，我们的模型是完全卷积的，并且具有比实时更快的声码器，如并行WaveGAN，可以执行实时语音转换。
2021-07-23 cs.LG cs.SD eess.AS
TTS-by-TTS: TTS-driven Data Augmentation for Fast and High-Quality Speech Synthesis
Search Solutions Inc.（搜索解决方案公司）；LINE Corp.（LINE公司）；NAVER Corp.（NAVER公司）
在本文中，我们提出了一个文本到语音（TTS）驱动的数据增强方法，以提高非自回归（AR）TTS系统的质量。最近提出的非AR模型，如FastSpeech 2，已经成功地实现了快速语音合成系统。然而，它们的质量并不令人满意，特别是当训练数据量不足时。为了解决这个问题，我们提出了一个有效的数据增强方法，使用一个精心设计的AR TTS系统。在该方法中，大规模的合成语料库，包括文本波形对音素持续时间的AR TTS系统产生，然后用于训练目标非AR模型。实验结果表明，该方法显著提高了非AR语音合成系统的质量。特别是，我们将5小时的训练数据库增加到179小时的合成数据库。使用这些数据库，我们的TTS系统组成的FastSpeech 2声学模型与并行WaveGAN声码器实现了平均意见得分为3.74，这是40%，比传统的方法实现的。
2020-10-26 cs.SD eess.AS
Enhancing Gappy Speech Audio Signals with Generative Adversarial Networks
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（洞察数据分析中心）
本文利用生成对抗网络，通过将音频转化为梅尔频谱图进行图像修复，再经Parallel-WaveGAN声码器还原，实现长达320毫秒语音间隙的近乎实时高质量再生，在240毫秒间隙上达到3.737的MOS评分。
2023-05-09 cs.LG cs.SD eess.AS
HiFiSinger: Towards High-Fidelity Neural Singing Voice Synthesis
Microsoft STC Asia（微软亚洲软件技术中心）；Microsoft Research Asia（微软亚洲研究院）
高保真歌声通常需要更高的采样率（例如，48kHz）来传达表情和情感。然而，更高的采样率导致更宽的频段和更长的波形序列，这给歌唱声合成（SVS）在频域和时域上都带来了挑战。采用小采样率的传统SVS系统不能很好地解决上述挑战。在本文中，我们开发了HiFiSinger，一个面向高保真歌唱声音的SVS系统。HiFiSinger由基于FastSpeech的声学模型和基于并行WaveGAN的声码器组成，以确保快速训练和推理以及高语音质量。针对高采样率（宽频段、长波形）给歌唱建模带来的困难，在声学模型和声码器中引入多尺度对抗训练，提高歌唱建模的效果。具体而言，1）为了处理由更高采样率引起的更大频率范围，我们提出了一种新的子频率GAN（SF-GAN）梅尔频谱图生成，其将完整的80维梅尔频率划分为多个子带，并用单独的子带对每个子带进行建模。2)针对采样率较高导致的波形序列较长的问题，提出了一种多长度GAN（ML-GAN GAN）的波形生成方法，利用不同的鉴别器对不同长度的波形序列进行建模。3)我们还介绍了HiFiSinger中的几个额外的设计和发现，这些设计和发现对于高保真语音至关重要，例如添加F0（音高）和V/UV（浊音/清音标志）作为声学特征，为梅尔频谱图选择合适的窗口/跳数大小，以及增加声码器中长元音建模的感受野。实验结果表明，HiFiSinger合成高保真歌唱声，具有更高的质量：0.32/0…
2020-09-03 cs.CL cs.LG cs.SD
