A Streamwise GAN Vocoder for Wideband Speech Coding at Very Low Bit Rate
Fraunhofer（弗劳恩霍夫）；Fantasmo（范塔斯莫）
最近，GAN声码器在语音合成方面取得了快速进展，开始以更高的生成速度在感知质量方面优于自回归模型。然而，自回归声码器仍然是以非常低的比特率编码的语音信号的神经生成的常见选择。在本文中，我们提出了一个GAN声码器，它能够产生宽带语音波形的参数编码在1.6 kbit/s。该模型是一个修改版本的StyleMelGAN声码器，可以运行在逐帧的方式，使其适合于流媒体应用。实验结果表明，该模型在极低比特率语音编码中的性能明显优于LPCNet等自回归声码器，计算复杂度约为5 GMAC，为该领域提供了一个新的发展方向.此外，这种流式对抗声码器在干净语音上以5.9 kbit/s提供与高级语音编解码器（例如EVS）竞争的质量，这促使前馈全卷积模型进一步用于低比特率语音编码。
2021-08-09 cs.LG cs.SD eess.AS
Multi-Scale Sub-Band Constant-Q Transform Discriminator for High-Fidelity Vocoder
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））
提出多尺度子带常数Q变换判别器以解决STFT固定分辨率问题，通过多尺度与子带处理提升音高与谐波建模能力，联合训练使HiFi-GAN在歌声合成上的MOS显著提升。
2023-11-25 cs.SD eess.AS
Framewise WaveGAN: High Speed Adversarial Vocoder in Time Domain with Very Low Computational Complexity
Amazon Web Services（亚马逊云科技）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
GAN声码器是目前用于构建高质量神经波形生成模型的最先进方法之一。然而，他们的架构大多需要数十亿次浮点运算每秒（GFLOPS），以产生语音波形的采样方式。这使得GAN声码器在没有加速器或并行计算机的普通CPU上运行仍然具有挑战性。在这项工作中，我们提出了一种新的架构，GAN声码器，主要依赖于经常性和全连接的网络直接产生的时域信号在帧的方式。这导致计算成本的显著降低，并且能够在GPU和低复杂度CPU上非常快速地生成。实验结果表明，我们的Framewise WaveGAN声码器实现了显着更高的质量比自回归最大似然声码器，如LPCNet在一个非常低的复杂度为1.2 GFLOPS。这使得GAN声码器在边缘和低功耗设备上更加实用。
2023-03-02 cs.LG cs.SD eess.AS
Improve GAN-based Neural Vocoder using Pointwise Relativistic LeastSquare GAN
Xmov（影眸科技）
基于GAN的神经声码器，如并行WaveGAN和MelGAN，由于其轻量级和并行结构，使其能够以实时方式生成高保真波形，因此引起了人们的极大兴趣。在本文中，相对论GAN的启发下，我们介绍了一种新的变体的LSGAN框架下的波形合成，命名为逐点相对论LSGAN（PRLSGAN）。在这种方法中，我们考虑到真理分数分布，并结合原始的MSE损失与建议逐点相对差异损失，以增加生成器的难度，以欺骗欺骗，从而提高生成质量。此外，PRLSGAN是一个通用框架，可以与任何基于GAN的神经声码器相结合，以提高其生成质量。实验表明，基于并行WaveGAN和MelGAN的性能提高一致，证明了我们提出的PRLSGAN神经声码器的有效性和强大的泛化能力。
2021-03-29 cs.AI cs.CL cs.SD
Enhancing GAN-Based Vocoders with Contrastive Learning Under Data-limited Condition
University of California, Berkeley（加州大学伯克利分校）
针对基于 GAN 的声码器在数据有限时表示学习不足的问题，本文引入梅尔频谱图与波形对比学习辅助任务，并与 GAN 目标联合优化，在不改变架构或增加数据的情况下显著提升感知质量。
2023-12-18 cs.SD eess.AS
DSPGAN: a GAN-based universal vocoder for high-fidelity TTS by time-frequency domain supervision from DSP
Northwestern Polytechnical University（西北工业大学）；TAL Education Group（好未来集团）
本文提出DSPGAN，一种基于GAN的通用神经声码器，通过引入来自DSP模块的时频域监督和正弦激励时域监督，解决训练与推理阶段频谱不匹配问题，实现跨说话人、语言和风格的高保真语音合成。
2023-05-28 cs.SD eess.AS
Basis-MelGAN: Efficient Neural Vocoder Based on Audio Decomposition
Sun Yat-Sen University（中山大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室，人工智能研究院）
最近的研究表明，基于生成对抗网络（GAN）的神经声码器可以生成高质量的音频。虽然基于GAN的神经声码器已被证明在计算上比基于自回归预测的神经声码器效率高得多，但在CPU上实时生成最高质量音频仍然是一项非常具有挑战性的任务。所有基于GAN的神经声码器的一个主要计算来自堆叠的上采样层，其设计用于匹配波形的输出长度和时间分辨率。同时，上采样网络的计算复杂性与为每个窗口生成的样本数量密切相关。为了减少上采样层的计算，我们提出了一种新的基于GAN的神经声码器，称为Basis-MelGAN，其中原始音频样本用学习的基础及其相关权重进行分解。由于Basis-MelGAN的预测目标是与每个学习基础相关联的权重值而不是原始音频样本，因此Basis-MelGAN中的上采样层可以用更简单的网络来设计。与其他基于GAN的神经声码器相比，所提出的Basis-Mel GAN可以产生相当高质量的音频，但显着降低了计算复杂性从HiFi-GAN V1的17.74 GFLOPs到7.95 GFLOPs。
2021-06-25 cs.SD eess.AS
A Post Auto-regressive GAN Vocoder Focused on Spectrum Fracture
生成对抗网络（GANs）在实时语音合成中的应用显示了其优越性。然而，它们中的大多数使用深度卷积层作为其骨干，这可能导致先前信号信息的缺失。然而，语音信号的生成在其重构中总是需要在前的波形样本，因为缺少这一点会导致生成的语音中的伪像。为了解决这一矛盾，本文提出了一种改进的模型：一个后自回归（AR）GAN声码器与自注意层，其中合并的自注意在AR循环。它不会参与推理，但可以帮助生成器在训练中学习帧内的时间依赖性。此外，还进行了消融研究，以确认每个部件的贡献。系统的实验表明，我们的模型导致了一致的改善客观和主观的评价性能。
2023-02-16 cs.SD eess.AS
Source-Filter-Based Generative Adversarial Neural Vocoder for High Fidelity Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于声源-滤波器的生成对抗神经声码器SF-GAN，通过引入F0激励信号结合多分辨率卷积滤波器重建波形，在AS和TTS任务中超越HiFi-GAN和Fre-GAN，合成质量媲美真实音频。
2023-04-26 cs.SD eess.AS
BigVGAN: A Universal Neural Vocoder with Large-Scale Training
Seoul National University（首尔国立大学）；NVIDIA（英伟达）
尽管最近在基于生成对抗网络（GAN）的声码器中取得了进展，其中模型生成以声学特征为条件的原始波形，但是在各种记录环境中为众多扬声器合成高保真音频是具有挑战性的。在这项工作中，我们提出了BigVGAN，一个通用的声码器，以及推广各种出分布的情况下，没有微调。我们在GAN生成器中引入了周期性激活函数和抗锯齿表示，这为音频合成带来了所需的电感偏置，显著提高了音频质量。此外，我们训练我们的GAN声码器在最大规模高达112 M的参数，这是前所未有的文献。我们识别并解决大规模GAN音频训练中的故障模式，同时保持高保真输出而不过度正则化。我们的BigVGAN仅在干净语音（LibriTTS）上进行训练，可在各种zero-shot（分发外）条件下实现最先进的性能，包括看不见的扬声器、语言、录音环境、歌声、音乐和乐器音频。我们发布我们的代码和模型：https://github.com/NVIDIA/BigVGAN
2023-02-16 cs.CL cs.LG cs.SD
Avocodo: Generative Adversarial Network for Artifact-free Vocoder
NCSOFT（NCSoft公司）
基于生成式对抗神经网络（GAN）的神经声码器由于其快速的推理速度和轻量级的网络，同时产生高质量的语音波形而得到广泛应用。由于感知上重要的语音分量主要集中在低频段中，因此大多数基于GAN的声码器执行多尺度分析，以评估下采样的语音波形。这种多尺度分析有助于生成器提高语音清晰度。然而，在初步的实验中，我们发现集中于低频段的多尺度分析会导致非预期的伪影，例如，混叠和成像伪像，这降低了合成语音波形的质量。因此，在本文中，我们研究了这些伪影与基于GAN的声码器之间的关系，并提出了一种基于GAN的声码器，称为Avocodo，它允许合成高保真语音，减少伪影。我们介绍了两种鉴别器，以评估语音波形在不同的角度：一个合作的多带鉴别器和子带鉴别器。我们还利用伪正交镜像滤波器组，以获得下采样的多频带语音波形，同时避免混叠。根据实验结果，Avocodo在客观和主观上都优于基于GAN的基线声码器，同时以更少的伪影再现语音。
2023-01-03 cs.AI cs.SD eess.AS
WaveFit: An Iterative and Non-autoregressive Neural Vocoder based on Fixed-Point Iteration
Google Research（谷歌研究院）；Tokyo University of Agriculture and Technology（东京农工大学）
去噪扩散概率模型（DDPM）和生成对抗网络（GANs）是用于神经声码器的流行生成模型。DDPM和GANs可以分别由迭代去噪框架和对抗训练来表征。本文提出了一种快速、高质量的神经声码器\textit{WaveFit}，它将GANs的本质集成到基于定点迭代的类DDPM迭代框架中。WaveFit迭代地对输入信号进行去噪，并训练深度神经网络（DNN），以最小化从所有迭代的中间输出计算的对抗损失。主观（并排）听力测试显示，人类自然语音与WaveFit五次迭代合成的语音之间的自然度没有统计学显著差异。此外，WaveFit的推理速度比WaveRNN快240倍。音频演示可在\url{google.github.io/df-conformer/wavefit/}上获得。
2022-10-03 cs.LG cs.SD eess.AS
BemaGANv2: Discriminator Combination Strategies for GAN-based Vocoders in Long-Term Audio Generation
Department of Electronic Engineering, Kwangwoon University, Seoul, South Korea（韩国首尔 Kwangwoon 大学电子工程系）；Graduate School of Smart Convergence, Kwangwoon University, Seoul, South Korea（韩国首尔 Kwangwoon 大学智能融合研究生院）；Department of Electrical and Electronic Computer Engineering, DGIST, Daegu, South Korea（韩国大邱 DGIST 电子与计算机工程系）；Ewha Womans University College of Medicine Seoul, South Korea（韩国首尔 Ewha 女子大学医学院）；School of Medicine, Kyung Hee University Seoul, South Korea（韩国首尔 Kyung Hee 大学医学院）
BemaGANv2通过改进的判别器组合策略提升长期音频生成的保真度与一致性
2026-03-09 cs.AI cs.LG cs.LO
Unified Source-Filter GAN: Unified Source-filter Network Based On Factorization of Quasi-Periodic Parallel WaveGAN
Nagoya University（名古屋大学）
我们提出了一个统一的方法，数据驱动的源滤波器建模使用一个单一的神经网络开发的神经声码器能够生成高质量的合成语音波形，同时保留灵活性的源滤波器模型，以控制他们的语音特性。我们提出的网络称为统一的源滤波器生成对抗网络（uSFGAN）的开发，通过分解准周期并行WaveGAN（QPPWG），神经声码器的基础上一个单一的神经网络，到一个源激励生成网络和声道共振滤波网络通过额外实现正则化损失。此外，受神经源滤波器（NSF）的启发，仅正弦波形被另外用作最简单的线索以生成周期性源激励波形，同时最小化源滤波器模型中的近似的影响。实验结果表明，uSFGAN优于传统的神经声码器，如QPPWG和NSF在语音质量和音高可控性。
2021-06-27 cs.LG cs.SD eess.AS
SCP-GAN: Self-Correcting Discriminator Optimization for Training Consistency Preserving Metric GAN on Speech Enhancement Tasks
Microsoft（微软）
近年来，生成对抗网络（GANs）在语音增强（SE）任务中产生了显着改善的结果。然而，他们很难训练。在这项工作中，我们对GAN训练方案进行了几项改进，这些改进可以应用于大多数基于GAN的SE模型。我们建议使用一致性损失函数，其目标是由傅立叶变换和逆傅立叶变换引起的时域和时频域的不一致性。我们还提出了自校正优化，用于在SE任务上训练GAN训练器，这有助于避免部分训练损失函数的“有害”训练方向。我们已经在几个最先进的基于GAN的SE模型上测试了我们提出的方法，并获得了一致的改进，包括Voice Bank+DEMAND数据集的最新结果。
2022-10-26 cs.LG cs.SD eess.AS
Wasserstein GAN and Waveform Loss-based Acoustic Model Training for Multi-speaker Text-to-Speech Synthesis Systems Using a WaveNet Vocoder
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
最近的神经网络，如直接从语音波形样本学习的WaveNet和sampleRNN，即使在多扬声器文本转语音合成系统中，也在自然度和扬声器相似性方面实现了非常高质量的合成语音。这种神经网络被用作声码器的替代方案，因此它们通常被称为神经声码器。神经声码器使用声学特征作为局部条件参数，这些参数需要由另一个声学模型准确预测。然而，还不清楚如何训练该声学模型，这是有问题的，因为合成语音的最终质量受声学模型的性能的显著影响。发生显著的退化，特别是当预测的声学特征与自然特征相比具有不匹配的特征时。为了减少自然和生成的声学特征之间的不匹配特性，我们提出了将条件生成对抗网络（GAN）或其变体Wasserstein GAN与梯度惩罚（WGAN-GP）结合到使用WaveNet声码器的多扬声器语音合成中的框架。我们还扩展了GAN框架，并使用经过良好训练的WaveNet的离散化混合逻辑损失以及均方误差和对抗损失作为目标函数的一部分。实验结果表明，使用WGAN-GP框架训练的声学模型，使用反向传播离散混合物流（DML）损失在质量和扬声器相似性方面达到最高的主观评价分数。
2018-07-31 cs.CL cs.SD eess.AS
Speaking-Rate-Controllable HiFi-GAN Using Feature Interpolation
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；National Institute of Information and Communications Technology（日本信息与通信技术研究所）
本文提出了一种语速可控的HiFi-GAN神经声码器。原始HiFi-GAN是一种高保真度、计算效率高且占用空间小的神经声码器。我们试图将一个说话速率控制功能到HiFi-GAN，以提高合成语音的可访问性。该方法在HiFi-GAN架构中插入可微插值层。该方法采用了信号重构和图像缩放两种方法，对神经元声码器的梅尔谱图或隐藏特征进行变形。我们还设计并开源了一个包含三种说话速率的日语语音语料库，以评估所提出的说话速率控制方法。综合客观和主观评价的实验结果表明：1）所提出的方法在语音自然度方面优于基线时间尺度修改算法; 2）在所有提出的方法中，通过图像缩放来扭曲梅尔频谱图获得了最佳性能; 3）所提出的说话速率控制方法可以在不损失计算效率的情况下并入HiFi-GAN。
2022-04-22 cs.SD eess.AS
RAF: Relativistic Adversarial Feedback For Universal Speech Synthesis
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出相对论对抗反馈（RAF）训练目标，通过自监督语音模型和相对论配对改进GAN声码器的域内保真度和泛化能力，在参数减少88%的情况下超越LSGAN训练的BigVGAN。
2026-06-11 cs.SD eess.AS
PhaseGAN: High-Fidelity Vocoder via Decoupled Amplitude and GAN-Driven Phase Reconstruction
Inner Mongolia University（内蒙古大学）
PhaseGAN通过解耦幅度与相位重建的轻量级声码器，以少量参数实现高保真音频合成，并展现跨领域泛化能力。
2026-09-14 cs.SD
AdaVocoder: Adaptive Vocoder for Custom Voice
VXI, China（VXI（中国））
自定义语音是指通过目标语音的少量记录，将源语音合成模型适配到目标模型，从而构建个性化的语音合成系统。构造自定义语音的解决方案是将自适应声学模型与鲁棒声码器相结合。然而，训练鲁棒的声码器通常需要多说话者数据集，该数据集应该包括各种年龄组和各种音色，以便训练的声码器可以用于看不见的说话者。收集这样的多说话人数据集是困难的，并且数据集分布总是与目标说话人数据集的分布不匹配。本文从另一个新的角度提出了一种自适应定制语音声码器来解决上述问题。自适应声码器主要使用跨域一致性损失来解决基于GAN的神经声码器在Few-Shot场景的迁移学习中遇到的过拟合问题。我们构建了两个自适应声码器，AdaMelGAN和AdaHiFi-GAN。首先，我们分别在AISHELL 3和CSMSC数据集上对源声码器模型进行预训练。然后，在内部数据集VXI上对其进行微调-适应数据很少的儿童。实验结果表明，自适应声学模型与自适应声码器相结合可以构建高质量的定制语音系统。
2023-01-05 cs.CL cs.SD eess.AS
StyleMelGAN: An Efficient High-Fidelity Adversarial Vocoder with Temporal Adaptive Normalization
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
近年来，神经声码器在合成语音的自然度和感知质量方面已经超过了经典的语音生成方法。像WaveNet和WaveGlow这样的计算量大的模型实现了最佳结果，而轻量级的GAN模型，例如MelGAN和Parallel WaveGAN，在感知质量方面仍然较差。因此，我们提出了StyleMelGAN，一个轻量级的神经声码器，允许合成高保真语音，计算复杂度低。StyleMelGAN采用时间自适应归一化来对具有目标语音的声学特征的低维噪声向量进行样式化。为了有效的训练，多个随机窗口鉴别器逆向评估由滤波器组分析的语音信号，其中正则化由多尺度频谱重建损失提供。高度并行化的语音生成速度比CPU和GPU上的实时速度快几倍。MUSHRA和P.800听力测试表明，StyleMelGAN在复制合成和文本到语音场景中优于先前的神经声码器。
2021-02-12 cs.LG cs.SD eess.AS
Wave-U-Net Discriminator: Fast and Lightweight Discriminator for Generative Adversarial Network-Based Speech Synthesis
NTT Communication Science Laboratories, NTT Corporation（NTT 公司 NTT 通信科学实验室）
在语音合成中，生成对抗网络（GAN），在最小-最大游戏中训练生成器（语音合成器）和训练器，被广泛用于提高语音质量。在最近的神经声码器（例如，HiFi-GAN）和端到端文本到语音（TTS）系统（例如，VITS）从多个角度仔细检查波形。这种鉴别器允许合成语音充分接近真实语音;然而，它们需要根据鉴别器数量的增加而增加模型大小和计算时间。或者，本研究提出了一个Wave-U-Net的架构，这是一个单一的，但富有表现力的Wave-U-Net的架构。这是独一无二的;它可以以与输入信号相同的分辨率以逐样本方式评估波形，同时通过具有跳跃连接的编码器和解码器提取多级特征。这种结构为生成器提供了足够丰富的信息，以使合成语音与真实语音紧密匹配。在实验过程中，所提出的想法被应用到一个代表性的神经声码器（HiFi-GAN）和一个端到端的TTS系统（VITS）。结果表明，所提出的模型可以实现相当的语音质量与2.31倍的速度和14.5倍更轻量级的编码时，用于HiFi-GAN和1.90倍的速度和9.62倍更轻量级的编码时，用于VITS。音频样本可在https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/waveunetd/上获得。
2023-03-24 cs.LG cs.SD eess.AS
A Multi-Scale Time-Frequency Spectrogram Discriminator for GAN-based Non-Autoregressive TTS
The Chinese University of Hong Kong（香港中文大学）
生成对抗网络（GAN）通过使用区分真实语音和生成语音的额外模型进行对抗训练，在改善非自回归TTS（NAR-TTS）方面表现出了出色的能力。为了最大限度地发挥GAN的优势，找到一种能够捕获丰富可区分信息的强大的搜索引擎至关重要。在本文中，我们提出了一个多尺度的时间-频率谱图的迭代，以帮助NAR-TTS生成高保真梅尔频谱图。它将频谱图视为二维图像，以利用时频域中不同分量之间的相关性。采用基于U-Net的模型结构在不同尺度下进行区分，以捕获粗粒度和细粒度的信息。我们进行主观测试，以评估所提出的方法。多尺度和时频鉴别技术的引入，大大提高了图像的自然度和逼真度。当结合神经声码器时，它比微调声码器更有效和简洁。最后，我们可视化的判别图，比较它们的差异，以验证多尺度判别的有效性。
2022-03-22 cs.SD eess.AS
Glow-WaveGAN: Learning Speech Representations from GAN-based Variational Auto-Encoder For High Fidelity Flow-based Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
当前的两阶段TTS框架通常将声学模型与声码器集成-声学模型预测诸如Mel频谱的低分辨率中间表示，而声码器从中间表示生成波形。虽然中间表示作为一个桥梁，仍然存在的声学模型和声码器之间的关键不匹配，因为它们通常是分开学习和工作在不同的分布的表示，导致不可避免的人工合成的语音。在这项工作中，不同于使用预先设计的中间表示在大多数以前的研究中，我们提出使用VAE结合GAN直接从语音学习的潜在表示，然后利用基于流的声学模型来模拟的潜在表示从文本的分布。通过这种方式，当两个阶段在相同的分布上工作时，不匹配问题被迁移。结果表明，基于流的声学模型可以准确地模拟我们学习的语音表示的分布，并且所提出的TTS框架，即Glow-WaveGAN，可以产生高保真语音，优于最先进的基于GAN的模型。
2021-06-22 cs.SD eess.AS
GELP: GAN-Excited Linear Prediction for Speech Synthesis from Mel-spectrogram
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
基于神经网络的文本到语音的最新进展已经在合成语音中达到人类水平的自然度。本序列到序列模型可以直接将文本映射到梅尔频谱图声学特征，这便于建模，但对声码化提出了额外的挑战（即，从声学特征产生波形）。高质量的合成可以通过神经声码器实现，例如WaveNet，但是这种自回归模型会受到缓慢的顺序推理的影响。同时，它们现有的并行推理对应物难以训练，并且需要越来越大的模型尺寸。在本文中，我们提出了一种替代的训练策略的并行神经声码器利用生成对抗网络，并集成了线性预测合成滤波器的模型。实验结果表明，该模型在推理速度上有显著提高，同时在复制合成质量上优于WaveNet。
2019-06-26 cs.LG cs.SD eess.AS
QHARMA-GAN: Quasi-Harmonic Neural Vocoder based on Autoregressive Moving Average Model
Graduate School of Informatics, Nagoya University（信息科学研究生院，名古屋大学）；Information Technology Center, Nagoya University（信息科技中心，名古屋大学）
本文提出QHARMA-GAN神经声码器，将神经网络与准谐波模型及ARMA函数结合，实现高质量、可灵活修改且更快速的语音合成。
2025-07-02 cs.SD eess.AS eess.SP
RingFormer: A Neural Vocoder with Ring Attention and Convolution-Augmented Transformer
Kwangwoon University（光云大学）
RingFormer通过引入环注意力机制和卷积增强变换器，提升神经语音合成器在实时音频生成中的性能。
2025-07-19 cs.LG cs.SD eess.AS
Robust MelGAN: A robust universal neural vocoder for high-fidelity TTS
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
在目前的两阶段神经文本到语音（TTS）的范例，它是理想的，有一个通用的神经声码器，一旦训练，这是强大的不完美的梅尔频谱预测从声学模型。为此，我们提出了鲁棒MelGAN声码器，解决了原来的多频带MelGAN的金属声问题，并增加其泛化能力。具体来说，我们引入了一个细粒度的网络丢弃策略的生成器。通过一个专门设计的过平滑处理器，将语音信号的周期性和非周期性成分分离，只对周期性成分进行网络丢弃，消除了金属音，保持了良好的说话人相似性。为了进一步提高泛化能力，我们引入了几种数据增强方法来增强伪数据，包括谐波偏移、谐波噪声和相位噪声。实验表明，鲁棒MelGAN可以作为一个通用的声码器，显着提高语音合成系统的声音质量建立在各种类型的数据。
2022-11-02 cs.SD eess.AS
VocGAN: A High-Fidelity Real-time Vocoder with a Hierarchically-nested Adversarial Network
NCSOFT（NCSoft公司）；Handong Global University（韩东国际大学）
我们提出了一种新的高保真实时神经声码器称为VocGAN。最近开发的基于GAN的声码器MelGAN实时产生语音波形。然而，它经常产生质量不足或与输入梅尔频谱图的声学特性不一致的波形。VocGAN几乎与MelGAN一样快，但它显著提高了输出波形的质量和一致性。VocGAN应用多尺度波形发生器和分层嵌套的学习器，以平衡的方式学习多个级别的声学特性。它还应用了联合条件和无条件目标，这在高分辨率图像合成中显示了成功的结果。在实验中，VocGAN在GTX 1080Ti GPU上合成语音波形的速度比实时快416.7倍，在CPU上合成语音波形的速度比实时快3.24倍。与MelGAN相比，它在多个评估指标（包括平均意见分数（MOS））方面也表现出显着提高的质量，同时具有最小的额外开销。此外，与最近开发的另一种高保真声码器并行WaveGAN相比，VocGAN在CPU上的速度快6.98倍，并且具有更高的MOS。
2020-07-30 cs.LG cs.SD eess.AS
Universal MelGAN: A Robust Neural Vocoder for High-Fidelity Waveform Generation in Multiple Domains
Kakao Enterprise Corp.（Kakao 企业公司）；Kakao Corp.（Kakao公司）
我们提出了通用MelGAN，声码器，在多个域合成高保真语音。为了在使用数百个扬声器的数据集训练基于MelGAN的结构时保持音质，我们添加了多分辨率频谱图鉴别器来锐化生成波形的频谱分辨率。这使得模型能够通过减轻大覆盖区模型的高频段中的过平滑问题来生成多扬声器的真实波形。我们的结构通过在训练过程中区分波形和频谱图，在不降低推理速度的情况下生成接近地面实况数据的信号。该模型在大多数情况下使用地面实况mel-spectrogram作为输入，实现了最佳的平均意见得分（MOS）。特别是，它表现出优越的性能在看不见的领域方面的发言人，情感和语言。此外，在一个多说话人的文本到语音的场景中，使用由Transformer模型生成的梅尔频谱图，它合成高保真语音的4.22 MOS。这些结果，实现没有外部域的信息，突出了所提出的模型作为一个通用的声码器的潜力。
2021-03-04 cs.CL cs.LG cs.SD
Measure-conditional Discriminator with Stationary Optimum for GANs and Statistical Distance Surrogates
Brown University（布朗大学）
我们提出了一种简单但有效的鉴别器修改，即测量条件鉴别器，作为不同GANs的即插即用模块。通过将生成的分布作为输入的一部分，使目标最优的最佳的是固定的，建议的最佳的最佳比香草的更强大。测量条件分布的变体也可以处理多个目标分布，或者作为统计距离的代理模型，例如KL散度，应用于迁移学习。
2021-01-17 cs.LG
ESTVocoder: An Excitation-Spectral-Transformed Neural Vocoder Conditioned on Mel Spectrogram
National Engineering Research Center of Speech and Language Information Processing（国家语言语音信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于源-滤波器理论的ESTVocoder，利用ConvNeXt v2将F0激励的幅度与相位谱转换为语音频谱并经ISTFT重建波形，实验表明其在语音质量上优于或媲美主流基线，且有效加速了模型收敛。
2024-11-18 cs.SD eess.AS
SnakeGAN: A Universal Vocoder Leveraging DDSP Prior Knowledge and Periodic Inductive Bias
The Chinese University of Hong Kong（香港中文大学）
提出基于 GAN 的通用声码器 SnakeGAN，利用 DDSP 先验和 Snake 激活引入周期性归纳偏置，仅用语音数据训练即可在多种分布外场景生成高保真音频。
2023-09-14 cs.SD eess.AS
JenGAN: Stacked Shifted Filters in GAN-Based Speech Synthesis
Seoul National University (SNU)（首尔大学（SNU））；Supertone Inc.（Supertone公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对GAN神经声码器生成结果中的可听伪影问题，本文提出JenGAN训练策略，通过堆叠移位低通滤波器保证移位等变性以防止混叠并减少伪影，实验表明其能持续提升声码器模型在多数指标上的性能。
2024-06-10 cs.AI cs.SD eess.AS
Boosting Star-GANs for Voice Conversion with Contrastive Discriminator
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；School of Economics and Finance, Shanghai International Studies University（上海外国语大学经济与金融学院）
StarGAN-VC等非并行多域语音转换方法已经在很多场景中得到了广泛应用。然而，由于这些模型复杂的对抗性网络架构，它们的训练通常会带来挑战。为了解决这个问题，在这项工作中，我们利用了最先进的对比学习技术，并将一个有效的暹罗网络结构纳入StarGAN网络。我们的方法被称为SimSiam-StarGAN-VC，它提高了训练的稳定性，有效地防止了训练过程中的过拟合问题。我们对语音转换挑战（VCC 2018）数据集进行了实验，并进行了用户研究，以验证我们框架的性能。我们的实验结果表明，SimSiam-StarGAN-VC在客观和主观指标方面都明显优于现有的StarGAN-VC方法。
2022-09-27 cs.AI cs.LG cs.SD
HiFTNet: A Fast High-Quality Neural Vocoder with Harmonic-plus-Noise Filter and Inverse Short Time Fourier Transform
Columbia University（哥伦比亚大学）
本文提出HiFTNet，通过在iSTFTNet中引入谐波加噪声源滤波器并利用预训练F0估计网络，在保持高质量语音合成的同时显著降低计算成本和参数规模，速度达BigVGAN四倍且参数仅为其1/6。
2023-09-18 cs.AI cs.SD eess.AS
APNet: An All-Frame-Level Neural Vocoder Incorporating Direct Prediction of Amplitude and Phase Spectra
National Engineering Research Center of Speech and Language Information Processing（语音及语言信息处理国家工程研究中心）；University of Science and Technology of China（中国科学技术大学）
APNet是一种全帧级神经声码器，通过直接预测幅度谱和相位谱并利用ISTFT重建语音，在CPU上实现比HiFi-GAN v1快约8倍的推理速度，同时保持相当的语音质量。
2023-05-13 cs.SD eess.AS
Rob-GAN: Generator, Discriminator, and Adversarial Attacker
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了对抗深度学习中的两个重要概念--对抗训练和生成对抗网络（GAN）。对抗性训练是在训练阶段将对抗性攻击者和训练器相结合来提高训练器鲁棒性的技术。GAN通常用于通过联合优化卷积和生成器来生成图像。我们证明了这两个概念确实是密切相关的，可以用来加强彼此-在对抗训练过程中添加一个生成器可以提高鉴别器的鲁棒性，在GAN训练中添加一个对抗攻击可以提高收敛速度并产生更好的生成器。结合这两种见解，我们开发了一个名为Rob-GAN的框架，以在存在对抗攻击的情况下联合优化生成器和伪装者-生成器生成虚假图像以欺骗伪装者;对抗攻击者扰动真实图像以欺骗伪装者，伪装者希望在虚假和对抗图像下最小化损失。通过这种端到端的训练过程，我们能够同时提高GAN训练的收敛速度、合成图像的质量以及在强对抗攻击下的鲁棒性。实验结果表明，所获得的分类器比最先进的对抗训练方法更鲁棒，并且生成器在ImageNet-143上的性能优于SN-GAN。
2019-04-15 cs.AI cs.LG stat.ML
WOLONet: Wave Outlooker for Efficient and High Fidelity Speech Synthesis
最近，基于GAN的神经声码器（如Parallel WaveGAN、MelGAN、HiFiGAN和UnivNet）由于其轻量级和并行结构而变得流行，从而即使在CPU上也能实现高保真的实时合成波形。HiFiGAN和UnivNet是两种SOTA声码器。尽管质量很高，但仍有改进的余地。本文借鉴计算机视觉中的Vision Outlooker结构，提出了一种高效、轻量级的神经声码器WOLONet。在这个网络中，我们开发了一个新的轻量级块，它使用一个位置可变的，通道独立的，依赖性的动态卷积内核，具有正弦激活的动态内核权重。为了证明我们的方法的有效性和通用性，我们进行了消融研究来验证我们的新设计，并与典型的基于GAN的声码器进行了主观和客观的比较。结果表明，我们的WOLONet实现了最好的生成质量，同时需要更少的参数比两个神经SOTA声码器，HiFiGAN和UnivNet。
2022-06-20 cs.AI cs.CL cs.SD
Bi-Discriminator Class-Conditional Tabular GAN
École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院）；IVADO Institution（IVADO研究所）；The Fédération des Caisses Desjardins du Québec（魁北克加鼎银行联合会）；École Polytechnique de Montréal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
本文介绍了一种双列GAN，用于合成包含连续、二元和离散列的表格数据集。我们所提出的方法采用了自适应的预处理方案和一个新的条件项的生成器网络，以更有效地捕捉输入样本分布。此外，我们实现了简单而有效的架构，旨在提供更多的判别梯度信息的生成器的神经网络。我们在四个基准公共数据集上的实验结果证实了我们的GAN在似然适应度度量和机器学习功效方面的优越性能。
2021-12-02 cs.LG
A Neural Vocoder with Hierarchical Generation of Amplitude and Phase Spectra for Statistical Parametric Speech Synthesis
本文提出了一种神经元声码器HiNet，它通过对幅度谱和相位谱的分层预测，从声学特征中重构语音波形。与现有的WaveNet、SampleRNN和WaveRNN等直接使用单个神经网络产生波形样本的神经声码器不同，HiNet声码器由幅度谱预测器（ASP）和相位谱预测器（PSP）组成。ASP是一个简单的DNN模型，它从声学特征预测对数振幅谱（LAS）。预测的LAS被发送到PSP中用于相位恢复。考虑到相位扭曲问题和相位建模的困难，PSP是通过级联一个神经源滤波器（NSF）波形发生器和相位提取器。我们还将生成对抗网络（GANs）引入ASP和PSP。最后，将ASP和PSP的输出结合起来，通过短时傅立叶合成来重构语音波形。由于两种预测器都没有自回归结构，HiNet声码器可以高效地产生语音波形。客观和主观的实验结果表明，我们提出的HiNet声码器实现了更好的自然度比传统的STRAIGHT声码器，一个16位的WaveNet声码器使用开源实现和NSF声码器具有类似的复杂度的PSP，并获得类似的性能与16位的WaverRNN声码器的重建语音。我们还发现，在一定程度上，HiNet的性能是不敏感的神经波形发生器在PSP中的复杂性。在简化其模型结构后，使用GPU生成16kHz语音的1s波形所消耗的时间可以从0.34s进一步减少到0.19s，而不会显着降低质量。
2020-02-05 cs.SD eess.AS
Generative Adversarial Network based Speaker Adaptation for High Fidelity WaveNet Vocoder
Tencent Technology Co., Ltd（腾讯科技有限公司）
虽然最先进的并行WaveNet已经解决了实时波形生成的问题，但仍然存在问题。首先，由于模型的噪声输入信号，在生成的波形和自然波形的质量之间仍然存在差距。其次，在蒸馏框架下训练并行WaveNet，这使得将经过良好训练的模型适应新的扬声器变得繁琐。针对这两个问题，本文提出了一种基于生成对抗网络（GAN）的端到端自适应方法，该方法可以减少训练新说话人自适应的计算量。我们的主观实验表明，所提出的训练方法可以进一步减少生成的波形和自然波形之间的质量差距。
2019-07-19 cs.SD eess.AS
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
本文提出MGMD-GAN框架，通过多生成器与多判别器结合不相交训练数据分区学习混合分布，缩小泛化差距，从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
iSTFTNet: Fast and Lightweight Mel-Spectrogram Vocoder Incorporating Inverse Short-Time Fourier Transform
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社通信科学实验室）
在最近的文本到语音合成和语音转换系统中，梅尔频谱图通常被用作中间表示，并且梅尔频谱图声码器的必要性正在增加。梅尔频谱声码器必须解决三个逆问题：恢复原始尺度幅度频谱，相位重建和频率到时间转换。当直接计算原始波形时，典型的卷积梅尔频谱图声码器使用包括时间上采样层的卷积神经网络来联合地和隐式地解决这些问题。这种方法允许在波形合成期间跳过冗余过程（例如，高维原始尺度谱图的直接重建）。相比之下，该方法解决了黑盒中的所有问题，并且不能有效地利用梅尔谱图中存在的时频结构。因此，我们提出了iSTFTNet，它取代了一些输出侧层的梅尔频谱声码器与逆短时傅立叶变换（iSTFT）后，充分降低了频率维度使用上采样层，降低了黑盒建模的计算成本，并避免冗余估计的高维频谱。在我们的实验中，我们将我们的想法应用于三个HiFi-GAN变体，并使模型更快，更轻量级，具有合理的语音质量。音频样本可在https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/istftnet/上获得。
2022-03-04 cs.LG cs.SD eess.AS
Dropout-GAN: Learning from a Dynamic Ensemble of Discriminators
Hasso Plattner Institute（哈索·普拉特纳研究所）；Alibaba Group（阿里巴巴集团）
我们建议在生成式多对抗网络中加入对抗性丢弃，通过在每个批次结束时以一定的概率忽略或丢弃框架中每个节点的反馈。我们的方法迫使单一的发电机不限制其输出，以满足一个单一的干扰，但相反，以满足一个动态的合奏鉴别。我们表明，这导致了一个更广义的生成器，促进了生成样本的多样性，并避免了生成对抗网络（GANs）通常遇到的模式坍塌问题。我们进一步提供证据表明，名为Dropout-GAN的拟议框架可以促进时代内和跨时代的样本多样性，消除模式坍塌并稳定训练。
2020-01-20 cs.LG stat.ML
FreeV: Free Lunch For Vocoders Through Pseudo Inversed Mel Filter
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc.（爱奇艺公司）
针对频域 GAN 声码器参数量大的问题，本文提出 FreeV，利用伪逆 Mel 滤波器初始化幅度谱并精简预测分支，以近半参数实现 1.8 倍提速且重合成质量更优。
2024-06-12 cs.SD eess.AS
DigGAN: Discriminator gradIent Gap Regularization for GAN Training with Limited Data
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
生成对抗网络（GANs）在学习从给定数据集指定的分布中采样方面非常成功，特别是如果给定数据集与其维度相比相当大。然而，由于数据有限，经典的GANs一直在努力，输出正则化，数据增强，使用预训练模型和修剪等策略已被证明可以带来改进。值得注意的是，这些策略的适用性1）通常限于特定的设置，例如，预训练的GAN的可用性;或者2）增加训练时间，例如，当使用修剪。相比之下，我们提出了一个鉴别器梯度间隙正则化GAN（DigGAN）配方，可以添加到任何现有的GAN。DigGAN增强了现有的GANs，鼓励缩小神经网络预测的梯度范数与r.t.之间的差距。真实图像和w.r.t.\生成的样本。我们观察这个公式以避免GAN损失景观中的不良吸引子，并且我们发现DigGAN在有限的数据可用时显着改善了GAN训练的结果。代码可在\url{https://github.com/AilsaF/DigGAN}上获得。
2022-11-27 cs.CV cs.LG
Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
生成对抗网络（GANs）在高维数据建模方面显示出巨大的潜力。GANs的学习目标通常是最小化一些度量差异，\textit{e.g.}，$f$ -散度~（$f$ -GANs）或积分概率度量~（Wasserstein GANs）。以$f$ -散度为目标函数，该算法本质上是对密度比的估计，并且该估计的密度比被证明对进一步提高生成器的样本质量是有用的。然而，如何利用Wasserstein GANs（WGAN）中包含的信息却很少被探索。本文基于WGAN的特征及其与能量模型的关系，引入了鉴别器对比散度。与标准GANs相比，其中直接利用生成器来获得新样本，我们的方法提出了一种半摊销生成过程，其中以生成器的输出作为初始状态来生成样本。然后，几个步骤的朗之万动力学进行使用的梯度的。我们证明了显着改善生成的好处，合成数据和几个真实世界的图像生成基准。
2020-04-05 cs.CV cs.LG stat.ML
Data Interpolants -- That's What Discriminators in Higher-order Gradient-regularized GANs Are
Robert Bosch Center for Cyber-Physical Systems（罗伯特·博世信息物理系统研究中心）；Indian Institute of Science（印度科学学院）
本文证明高阶梯度正则化 GAN 的最优判别器等价于 n 维多调和 RBF 数据插值，并提出 Poly-LSGAN 与 Poly-WGAN，闭式实现显著优于任意架构。
2023-06-01 cs.LG stat.ML
DelightfulTTS 2: End-to-End Speech Synthesis with Adversarial Vector-Quantized Auto-Encoders
Microsoft Azure Speech（微软Azure语音）；Microsoft Research Asia（微软亚洲研究院）
当前的文本到语音（TTS）系统通常利用级联的声学模型和声码器流水线，其中梅尔频谱图作为中间表示，其受到两个限制：1）声学模型和声码器是单独训练的，而不是联合优化的，这导致级联的误差; 2）中间语音表示（例如，MEL频谱图）是预先设计的，并且丢失了相位信息，这是次优的。为了解决这些问题，本文开发了DelightfulTTS 2，这是一种新型端到端语音合成系统，具有自动学习的语音表示以及联合优化的声学模型和声码器。具体而言，1）我们提出了一种新的基于矢量量化自编码器与对抗训练（VQ-GAN）的编解码器网络，以提取中间帧级语音表示（而不是像梅尔频谱图这样的传统表示）并重建语音波形; 2）共同优化声学模型（基于DelightfulTTS）和声码器（VQ-GAN的解码器），在声学模型上具有辅助损失以预测中间语音表示。实验表明，DelightfulTTS 2的CMOS增益比DelightfulTTS提高了+0.14，进一步的方法分析进一步验证了所开发系统的有效性。
2022-07-11 cs.SD eess.AS eess.SP
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London（帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）；Meta
视听语音增强的目的是从噪声环境中提取干净的语音，不仅利用音频本身，而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强，特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展，但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频，通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中，我们提出了LA-VocE，一种新的两阶段方法，通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图，然后使用神经声码器（HiFi-GAN）将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估，并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明，LA-VocE优于现有的方法，根据多个指标，特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
How Does GAN-based Semi-supervised Learning Work?
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
生成对抗网络（GANs）已被广泛使用，并在半监督学习中取得了有竞争力的成绩。本文从理论上分析了基于GAN的半监督学习（GAN-SSL）的工作原理。我们首先证明，给定一个固定的生成器，优化GAN-SSL的优化等价于优化监督学习。因此，GAN-SSL中的最佳匹配预计在标记数据上是完美的。然后，如果完美的随机数可以进一步使优化目标达到其理论最大值，则最优生成器将匹配真实的数据分布。由于在实践中不可能达到理论上的最大值，因此不能期望获得用于生成数据的完美生成器，这显然与GANs的目标不同。此外，如果标记的数据可以遍历数据流形的所有连接子域，这在半监督分类中是合理的，我们还期望GAN-SSL中的最优分类在未标记的数据上也是完美的。总之，GAN-SSL中的极大极小优化理论上将通过意外地学习不完美的生成器，即，GAN-SSL通过利用未标记的信息，可以有效地提高神经网络的泛化能力。
2020-07-11 cs.LG stat.ML
Instability and Local Minima in GAN Training with Kernel Discriminators
UCLA（加州大学洛杉矶分校）；UC, San Diego（加州大学圣地亚哥分校）；NYU（纽约大学）
生成对抗网络（GANs）是一种广泛用于复杂数据生成建模的工具。尽管他们的经验成功，GANs的训练并没有完全理解，由于最小-最大优化的发电机和可编程逻辑器件。本文分析了这些联合动力学时，真实的样本，以及所产生的样本，是离散的，有限的集合，和基于核的。介绍了一个简单而富有表现力的训练分析框架，称为$\textit{Isolated Points Model}$。在该模型中，真实样本之间的距离大大超过核宽度，因此每个生成的点最多只受一个真实点的影响。我们的模型能够精确表征收敛的条件，无论是好的还是坏的最小值。特别是，分析解释了两种常见的故障模式：（i）近似的模式坍塌和（ii）发散。提供了可预测地复制这些行为的数值模拟。
2022-08-21 cs.LG
Lower Dimensional Kernels for Video Discriminators
The University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）；FiveAI
这项工作提出了一个用于视频生成对抗网络（GANs）的鉴别器的分析。我们发现，无约束的视频流架构诱导高曲率的损失面，使优化困难。我们还表明，这种曲率变得更加极端的视频鉴别器的最大内核尺寸的增加。有了这些观察结果，我们提出了一系列有效的低维视频鉴别器GANs（LDVD GANs）。所提出的鉴别器系列提高了它们所应用的视频GAN模型的性能，并在复杂和多样化的数据集（如UCF-101）上表现出良好的性能。特别是，我们证明了它们可以将Temporal-GAN的性能提高一倍，并在单个GPU上提供最先进的性能。
2019-12-18 cs.CV cs.LG eess.IV
