Reducing over-smoothness in speech synthesis using Generative Adversarial Networks
Novosibirsk State University（新西伯利亚国立大学）
语音合成在许多实际应用中有着广泛的应用。近年来，语音合成技术发展迅速。然而，合成语音不自然的原因之一是它经常具有过度平滑。为了提高合成语音的自然度，首先提取语音的mel-声谱图并将其转换为真实图像，然后将过平滑的mel-声谱图图像作为输入，使用图像到图像翻译生成对抗网络（GANs）框架生成更真实的mel-声谱图。实验结果表明，该方法大大降低了合成语音的过平滑度，使合成语音的梅尔谱图更接近真实语音。
2018-12-17 cs.SD eess.AS
Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-to-Speech
The University of Tokyo（东京大学）
提出了一种新的基于多任务对抗训练的多说话人神经文语转换（TTS）模型的训练算法。传统的基于生成对抗网络（GAN）的训练算法通过减少自然语音和合成语音之间的统计差异来显著提高合成语音的质量。然而，该算法不能保证训练的TTS模型在合成未被包括在训练数据中的不可见说话者的语音时的泛化性能。我们的算法交替训练两个深度神经网络：多任务训练和多说话者神经TTS模型（即，GANs的生成器）。训练语音识别器不仅区分自然语音和合成语音，而且验证输入语音的说话者是存在还是不存在（即，通过内插所见说话者的嵌入向量而新生成）。同时，生成器被训练为最小化语音重建损失和对抗损失的加权和，以欺骗目标说话人，即使目标说话人看不见，也能实现高质量的多说话人TTS。实验结果表明，该算法比传统的GANSpeech算法更好地提高了合成语音的质量。
2022-09-26 cs.AI cs.LG cs.SD
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University（首尔大学）
最近提出的几种文本转语音（TTS）模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而，将新说话者的语音与单个参考音频合成，通常称为zero-shot多说话者文本转语音（ZSM-TTS），仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题，我们提出了对抗性说话者一致性学习（ASCL）。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后，该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明，该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
High Fidelity Speech Synthesis with Adversarial Networks
Imperial College London（帝国理工学院）；DeepMind（深度思维）
生成对抗网络近年来发展迅速，并在图像生成建模方面取得了显着进步。然而，它们在音频域中的应用受到了有限的关注，并且自回归模型（诸如WaveNet）仍然是音频信号（诸如人类语音）的生成建模的最新技术。为了解决这一问题，我们引入了GAN-TTS，这是一种用于文本到语音的生成对抗网络。我们的架构是由一个有条件的前馈生成器产生原始语音音频，和一个合奏的歧视，不同大小的随机窗口上操作。鉴别器分析音频的一般真实性以及音频与应该发音的话语的对应程度。为了衡量GAN-TTS的性能，我们采用了主观的人类评价（MOS -平均意见得分）以及新的定量指标（Fréchet DeepSpeech距离和Kernel DeepSpeech距离），我们发现这些指标与MOS有很好的相关性。我们表明，GAN-TTS能够生成高保真语音，其自然度可与最先进的模型相媲美，并且与自回归模型不同，由于高效的前馈发生器，它具有高度的并行性。请在https://storage.googleapis.com/deepmind-media/research/abstract.wav上收听GAN-TTS阅读这篇摘要。
2019-09-26 cs.LG cs.SD eess.AS
WaveCycleGAN: Synthetic-to-natural speech waveform conversion using cycle-consistent adversarial networks
NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）
我们提出了一种基于学习的滤波器，它允许我们直接将合成语音波形修改为自然语音波形。使用诸如统计参数语音合成和语音转换的声码器框架的语音处理系统特别对于有限数量的数据是方便的，因为可以在紧凑的空间上表示和处理可解释的声学特征，诸如基频（F0）和梅尔倒谱。然而，导致生成的语音的质量劣化的公知问题是消除生成/转换的声学特征的一些详细结构的过平滑效应。为了解决这个问题，我们提出了一种合成到自然语音波形转换技术，该技术使用周期一致的对抗网络，并且在对抗学习中不需要对语音波形进行任何明确的假设。与目前的技术相比，由于我们的修改是在波形水平上进行的，我们预计，所提出的方法也将使它有可能产生“声码器少”发声语音，即使输入语音合成使用声码器框架。实验结果表明，我们提出的方法可以1）减轻过度平滑的声学特征，尽管直接修改的方法用于波形和2）大大提高所生成的语音的自然度。
2018-09-28 cs.LG cs.SD eess.AS
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
VITS2: Improving Quality and Efficiency of Single-Stage Text-to-Speech with Adversarial Learning and Architecture Design
SK Telecom（SK电信）
提出单阶段文本转语音模型 VITS2，通过改进架构与训练机制提升语音自然度、计算效率及多说话者相似性，并显著降低对音素转换的依赖，实现完全端到端合成。
2023-07-31 cs.LG cs.SD eess.AS
Speech Representation Disentanglement with Adversarial Mutual Information Learning for One-shot Voice Conversion
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；The Chinese University of Hong Kong（香港中文大学）
仅参考单个目标说话人语音的一次性语音转换（VC）已成为研究热点。现有的作品通常会将音色分解，而关于音高、节奏和内容的信息仍然混合在一起。为了有效地执行一次性VC，进一步解开这些语音分量，我们采用随机重定向的音高和内容编码器，并使用变分对比对数比互信息和基于梯度反转层的对抗性互信息学习的上限，以确保在训练过程中潜在空间的不同部分只包含所需的解开表示。在VCTK数据集上的实验表明，该模型在自然度和可重构性方面达到了一次性VC的最佳性能。此外，我们可以通过语音表示解纠缠来分别传递单次VC在音色、音高和节奏上的特征。我们的代码、预训练模型和演示可在https://im1eon.github.io/IS2022-SRDVC/上获得。
2022-08-18 cs.LG cs.SD eess.AS
Training Generative Adversarial Network-Based Vocoder with Limited Data Using Augmentation-Conditional Discriminator
NTT Corporation（NTT公司）
针对GAN声码器在有限数据下易过拟合的问题，提出增强条件判别器AugCondD，通过输入增强状态评估语音，在有限数据下提升语音质量且不损害充足数据下的表现。
2024-03-25 cs.LG cs.SD eess.AS
StyleMelGAN: An Efficient High-Fidelity Adversarial Vocoder with Temporal Adaptive Normalization
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
近年来，神经声码器在合成语音的自然度和感知质量方面已经超过了经典的语音生成方法。像WaveNet和WaveGlow这样的计算量大的模型实现了最佳结果，而轻量级的GAN模型，例如MelGAN和Parallel WaveGAN，在感知质量方面仍然较差。因此，我们提出了StyleMelGAN，一个轻量级的神经声码器，允许合成高保真语音，计算复杂度低。StyleMelGAN采用时间自适应归一化来对具有目标语音的声学特征的低维噪声向量进行样式化。为了有效的训练，多个随机窗口鉴别器逆向评估由滤波器组分析的语音信号，其中正则化由多尺度频谱重建损失提供。高度并行化的语音生成速度比CPU和GPU上的实时速度快几倍。MUSHRA和P.800听力测试表明，StyleMelGAN在复制合成和文本到语音场景中优于先前的神经声码器。
2021-02-12 cs.LG cs.SD eess.AS
Learning Expressive Disentangled Speech Representations with Soft Speech Units and Adversarial Style Augmentation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出SAVC框架，利用HuBERT-soft软语音单元，通过对抗风格增强消除说话人信息，并借助知识蒸馏建模韵律，实现表达性语音转换，在可懂度和自然度上优于已有方法。
2024-05-01 cs.SD eess.AS
An Adaptive Learning based Generative Adversarial Network for One-To-One Voice Conversion
National Institute of Technology Durgapur（杜尔加布尔国立理工学院）；Indian Statistical Institute（印度统计研究所）
近年来，语音转换（VC）由于其在语音辅助技术、自动电影配音和语音到歌唱转换（仅举几例）中的新兴应用而成为语音合成领域中的重要研究领域。语音转换基本上是在保持语言内容不变的情况下，将说话人的语音风格转换为说话人的语音风格。VC任务通过由语音分析、语音特征映射和语音重构组成的三级流水线来执行。生成对抗网络（GAN）模型是目前广泛使用的语音特征映射模型。在本文中，我们提出了一个自适应学习为基础的GAN模型称为ALGAN-VC的一个有效的一对一VC的发言人。我们的ALGAN-VC框架包括一些方法来提高语音质量和语音相似性之间的源和目标扬声器。该模型采用了一个密集的残差网络（DRN）类似的架构，以有效的语音特征学习的生成器网络，源到目标语音特征转换。我们还集成了自适应学习机制来计算所提出的模型的损失函数。此外，我们使用一个提升的学习率的方法，以提高所提出的模型的学习能力。该模型通过同时使用正向和反向映射来训练一对一VC。该模型在语音转换挑战（VCC）2016年，2018年和2020年数据集以及我们自己准备的语音数据集上进行了测试，该数据集已用印度地区语言和英语记录。生成的语音样本的主观和客观评价表明，该模型优雅地执行语音转换任务，实现高的说话人相似性和足够的语音质量。
2021-04-25 cs.LG cs.SD eess.AS
Noise-robust voice conversion with domain adversarial training
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
语音转换在过去的几年里取得了很大的进展，在演播室质量的测试场景下，在语音质量和说话人相似性方面。然而，在实际应用中，源说话人或目标说话人的测试语音会受到各种环境噪声的干扰，严重影响语音质量和说话人相似度。在本文中，我们提出了一种新的基于编码器-解码器的噪声鲁棒语音转换框架，该框架包括一个扬声器编码器，一个内容编码器，一个解码器，和两个域对抗神经网络。具体来说，我们将解纠缠扬声器和内容表示技术与域对抗训练技术相结合。领域对抗训练使说话人编码器和内容编码器分别从干净语音和含噪语音中提取出说话人表示和内容表示。以这种方式，学习的说话者和内容表示是噪声不变的。因此，解码器可以将这两个噪声不变表示作为输入，以预测干净的转换频谱。实验结果表明，我们提出的方法可以合成干净的转换语音在嘈杂的测试场景下，源语音和目标语音可以被损坏的训练过程中看到或看不到的噪声类型。此外，语音质量和说话人相似度都得到了提高。
2022-01-26 cs.SD eess.AS
Voice Reenactment with F0 and timing constraints and adversarial learning of conversions
IRCAM（声学与音乐研究中心）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文介绍了语音再现作为语音转换（VC）的任务，在转换过程中，源说话人的表现力被保留，而目标说话人的身份被转移。为此，提出了一种基于序列到序列语音转换（S2 S-VC）的原始神经- VC架构，其中在转换期间保留源说话人的语音韵律。首先，修改S2 S-VC架构，以便通过语音持续时间编码使转换后的语音与源语音同步;其次，解码器以所需的F0值序列为条件，并在源扬声器的F0与转换后的语音之一之间制定明确的F0损失。此外，在S2 S-VC架构中集成了转换的对抗学习，以便在训练期间利用原始语音和具有操纵属性的转换语音的重建的优点，然后减少训练和转换之间的不一致性。VCTK语音数据库上的实验评估表明，语音韵律可以有效地保留在转换过程中，和所提出的对抗性学习不断提高转换和再现语音的自然度。
2022-05-31 cs.SD eess.AS
StyleTTS 2: Towards Human-Level Text-to-Speech through Style Diffusion and Adversarial Training with Large Speech Language Models
Columbia University（哥伦比亚大学）
提出StyleTTS 2模型，通过风格扩散和结合大型语音语言模型的对抗训练，首次在单/多说话人数据集上实现人类水平的文本转语音合成。
2023-11-20 cs.AI cs.CL cs.LG
Speech Bandwidth Expansion Via High Fidelity Generative Adversarial Networks
Lebanese American University（黎巴嫩美国大学）
本文提出一种基于高保真生成对抗网络的端到端语音带宽扩展方法，将多种上采样比率集成于单一模型，在多种扩展因子下展现零样本能力，且性能优于现有端到端及传统技术。
2024-07-29 cs.AI cs.SD eess.AS
Generative adversarial network-based glottal waveform model for statistical parametric speech synthesis
Aalto University（阿尔托大学）
最近的研究表明，使用声门声码可以提高文本到语音合成的质量。这是指声码器，参数化语音分为两个部分，声门兴奋和声道，发生在人类的语音生产设备。当前的声门声码器通过使用深度神经网络（DNN）来生成声门激励波形。然而，目前声门激励模型的基于平方误差的训练仅限于生成条件平均波形，其未能捕获波形的随机变化。因此，作为后处理添加了整形噪声。在这项研究中，我们提出了一种新的方法来预测声门波形的生成对抗网络（GANs）。GANs是生成模型，旨在将数据分布嵌入潜在空间中，通过随机采样潜在分布来生成与原始实例非常相似的新实例。由GANs产生的声门脉冲显示出类似于自然声门脉冲的随机分量。在我们的实验中，我们比较了使用DNN和GANs产生的声门波形生成的合成语音。结果表明，新提出的GANs实现了与广泛使用的DNN相当的合成质量，而不使用加性噪声分量。
2019-03-14 cs.CL cs.LG cs.SD
GANtron: Emotional Speech Synthesis with Generative Adversarial Networks
Maastricht University（马斯特里赫特大学）
语音合成广泛应用于各种行业。尽管如此，它总是听起来平淡或机器人。允许韵律控制的现有技术方法使用起来非常麻烦，并且不允许容易的调谐。为了解决其中的一些缺点，在这项工作中，我们的目标是实现一个文本到语音模型，其中推断的语音可以调整所需的情绪。为此，我们使用生成对抗网络（GANs）以及使用注意力机制的序列到序列模型。我们评估了四种不同的配置，考虑不同的输入和训练策略，研究它们，并证明我们的最佳模型如何生成与初始训练数据集分布相同的语音文件。此外，提出了一种新的策略，以提高训练的收敛性，通过应用引导的注意力损失。
2021-10-06 cs.AI cs.SD eess.AS
End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks
Imperial College London（伦敦帝国理工学院）；Samsung AI Centre Cambridge（三星剑桥人工智能中心）；University of Augsburg（奥格斯堡大学）；Facebook London（脸书伦敦）
视频到语音是从语音的视频重构音频语音的过程。以前的方法，这个任务依赖于一个两步的过程，其中一个中间表示是从视频推断，然后解码成波形音频使用声码器或波形重建算法。在这项工作中，我们提出了一个新的端到端的视频到语音模型的基础上生成的生成对抗网络（GANs），将语音视频转换为波形端到端，而不使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器-解码器架构组成，该架构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和功率评论家。使用基于这两个批评者的对抗性损失可以直接合成原始音频波形并确保其真实性。此外，使用我们的三个比较损失有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够重建语音与显着的现实主义的约束数据集，如网格，它是第一个端到端的模型，以产生可理解的语音LRW（唇读在野外），具有数百名发言者记录完全“在野外”。我们评估生成的样本在两个不同的情况下-看到的和看不见的扬声器-使用四个客观的指标，衡量人工语音的质量和可懂度。我们证明，所提出的方法优于所有以前的作品在大多数指标的网格和LRW。
2022-08-15 cs.CV cs.LG cs.SD
Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech
Kakao Enterprise（Kakao企业）；School of Computing, KAIST（韩国科学技术院计算学院）
最近几个端到端的文本到语音（TTS）模型，使单阶段的训练和并行采样已被提出，但它们的样本质量不匹配的两个阶段的TTS系统。在这项工作中，我们提出了一个并行的端到端的TTS方法，产生更自然的声音比目前的两阶段模型的音频。我们的方法采用变分推理与规范化流程和对抗性训练过程，提高了生成建模的表达能力。我们还提出了一个随机的持续时间预测合成语音与不同的节奏从输入文本。通过对潜在变量和随机持续时间预测器的不确定性建模，我们的方法表达了自然的一对多关系，其中文本输入可以以多种方式以不同的音高和节奏进行说话。对LJ Speech（单个说话者数据集）的主观人类评价（平均意见得分或MOS）表明，我们的方法优于最好的公开TTS系统，并实现了与地面实况相当的MOS。
2021-06-11 cs.SD eess.AS
Adversarial Learning of Intermediate Acoustic Feature for End-to-End Lightweight Text-to-Speech
Yonsei University（延世大学）
针对隐式学习中间隐表示的轻量TTS语音变化性不足的问题，提出添加韵律嵌入并通过GAN从文本估计该嵌入的方法，兼具高效性与鲁棒对齐能力，以更低参数量和复杂度超越多个公开模型。
2023-08-28 cs.SD eess.AS
Wave-U-Net Discriminator: Fast and Lightweight Discriminator for Generative Adversarial Network-Based Speech Synthesis
NTT Communication Science Laboratories, NTT Corporation（NTT 公司 NTT 通信科学实验室）
在语音合成中，生成对抗网络（GAN），在最小-最大游戏中训练生成器（语音合成器）和训练器，被广泛用于提高语音质量。在最近的神经声码器（例如，HiFi-GAN）和端到端文本到语音（TTS）系统（例如，VITS）从多个角度仔细检查波形。这种鉴别器允许合成语音充分接近真实语音;然而，它们需要根据鉴别器数量的增加而增加模型大小和计算时间。或者，本研究提出了一个Wave-U-Net的架构，这是一个单一的，但富有表现力的Wave-U-Net的架构。这是独一无二的;它可以以与输入信号相同的分辨率以逐样本方式评估波形，同时通过具有跳跃连接的编码器和解码器提取多级特征。这种结构为生成器提供了足够丰富的信息，以使合成语音与真实语音紧密匹配。在实验过程中，所提出的想法被应用到一个代表性的神经声码器（HiFi-GAN）和一个端到端的TTS系统（VITS）。结果表明，所提出的模型可以实现相当的语音质量与2.31倍的速度和14.5倍更轻量级的编码时，用于HiFi-GAN和1.90倍的速度和9.62倍更轻量级的编码时，用于VITS。音频样本可在https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/waveunetd/上获得。
2023-03-24 cs.LG cs.SD eess.AS
Collaborative Watermarking for Adversarial Speech Synthesis
Aalto University（阿尔托大学）；National Institute of Informatics（国立情报学研究所）
本文提出用于合成语音水印的协作训练方案，使HiFi-GAN声码器与ASVspoof 2021基线模型协作，在保持感知质量的同时提升检测性能与鲁棒性。
2024-01-02 cs.AI cs.LG cs.SD
Speech waveform synthesis from MFCC sequences with generative adversarial networks
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）
本文提出了一种从滤波器组梅尔频率倒谱系数（MFCC）生成语音的方法，MFCC被广泛用于语音应用，如ASR，但通常被认为不能用于语音合成。首先，我们预测基频和浊音信息的MFCC与自回归递归神经网络。其次，包含在MFCC的频谱包络信息被转换为全极点滤波器，并与这些滤波器匹配的桨距同步励磁模型的训练。最后，我们引入了一个基于生成对抗网络的噪声模型，以向建模的激励信号添加一个真实的高频随机分量。实验结果表明，在测试时只需要MFCC信息，就可以得到高质量的语音重建。
2018-04-03 cs.CL cs.SD eess.AS
DelightfulTTS 2: End-to-End Speech Synthesis with Adversarial Vector-Quantized Auto-Encoders
Microsoft Azure Speech（微软Azure语音）；Microsoft Research Asia（微软亚洲研究院）
当前的文本到语音（TTS）系统通常利用级联的声学模型和声码器流水线，其中梅尔频谱图作为中间表示，其受到两个限制：1）声学模型和声码器是单独训练的，而不是联合优化的，这导致级联的误差; 2）中间语音表示（例如，MEL频谱图）是预先设计的，并且丢失了相位信息，这是次优的。为了解决这些问题，本文开发了DelightfulTTS 2，这是一种新型端到端语音合成系统，具有自动学习的语音表示以及联合优化的声学模型和声码器。具体而言，1）我们提出了一种新的基于矢量量化自编码器与对抗训练（VQ-GAN）的编解码器网络，以提取中间帧级语音表示（而不是像梅尔频谱图这样的传统表示）并重建语音波形; 2）共同优化声学模型（基于DelightfulTTS）和声码器（VQ-GAN的解码器），在声学模型上具有辅助损失以预测中间语音表示。实验表明，DelightfulTTS 2的CMOS增益比DelightfulTTS提高了+0.14，进一步的方法分析进一步验证了所开发系统的有效性。
2022-07-11 cs.SD eess.AS eess.SP
Source-Filter-Based Generative Adversarial Neural Vocoder for High Fidelity Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于声源-滤波器的生成对抗神经声码器SF-GAN，通过引入F0激励信号结合多分辨率卷积滤波器重建波形，在AS和TTS任务中超越HiFi-GAN和Fre-GAN，合成质量媲美真实音频。
2023-04-26 cs.SD eess.AS
Waveform generation for text-to-speech synthesis using pitch-synchronous multi-scale generative adversarial networks
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
文本转语音合成的最新技术水平最近由于新颖的神经波形生成方法（例如WaveNet）而得到了相当大的改进。然而，这些方法遭受缓慢的顺序推理过程，而他们的并行版本是难以训练，甚至更昂贵的计算。与此同时，生成对抗网络（GANs）在图像生成方面取得了令人印象深刻的成果，并正在进入音频应用;并行推理是其利润丰厚的特性之一。本研究采用GAN训练技术的最新进展，研究了两个领域（语音信号和声门激励）的TTS波形生成。听力测试结果表明，虽然使用GAN的直接波形生成仍然远远落后于WaveNet，但基于GAN的声门激励模型可以实现与WaveNet声码器相当的质量和语音相似性。
2018-10-30 cs.SD eess.AS stat.ML
DiffProsody: Diffusion-based Latent Prosody Generation for Expressive Speech Synthesis with Prosody Conditional Adversarial Training
Korea University（高丽大学）
提出DiffProsody，利用扩散潜在韵律生成器和韵律条件对抗训练，实现快速且高质量的富有表现力语音合成，韵律生成速度提升16倍。
2023-07-31 cs.CL cs.SD eess.AS
MFCCGAN: A Novel MFCC-Based Speech Synthesizer Using Adversarial Learning
Shahid Beheshti University（沙希德·贝赫什蒂大学）
本文提出基于对抗学习的语音合成器MFCCGAN，以MFCCs为输入生成原始波形，在STOI和NISQA指标上显著优于Librosa和WORLD，提升了语音可懂度与自然度。
2023-06-22 cs.AI cs.SD eess.AS
Avocodo: Generative Adversarial Network for Artifact-free Vocoder
NCSOFT（NCSoft公司）
基于生成式对抗神经网络（GAN）的神经声码器由于其快速的推理速度和轻量级的网络，同时产生高质量的语音波形而得到广泛应用。由于感知上重要的语音分量主要集中在低频段中，因此大多数基于GAN的声码器执行多尺度分析，以评估下采样的语音波形。这种多尺度分析有助于生成器提高语音清晰度。然而，在初步的实验中，我们发现集中于低频段的多尺度分析会导致非预期的伪影，例如，混叠和成像伪像，这降低了合成语音波形的质量。因此，在本文中，我们研究了这些伪影与基于GAN的声码器之间的关系，并提出了一种基于GAN的声码器，称为Avocodo，它允许合成高保真语音，减少伪影。我们介绍了两种鉴别器，以评估语音波形在不同的角度：一个合作的多带鉴别器和子带鉴别器。我们还利用伪正交镜像滤波器组，以获得下采样的多频带语音波形，同时避免混叠。根据实验结果，Avocodo在客观和主观上都优于基于GAN的基线声码器，同时以更少的伪影再现语音。
2023-01-03 cs.AI cs.SD eess.AS
Time Domain Adversarial Voice Conversion for ADD 2022
Beike（贝壳）
在本文中，我们描述了我们的语音生成系统，用于第一次音频深度合成检测挑战赛（ADD 2022）。首先，我们建立了一个任意到多的语音转换（VC）系统，将具有任意语言内容的源语音转换为目标说话人的假语音。然后对VC生成的转换语音进行时域后处理，以提高欺骗能力。实验结果表明，我们的系统具有对抗反欺骗检测器的能力，在音频质量和说话人相似性的一点妥协。该系统在ADD 2022的Track 3.1中排名第一，表明我们的方法也可以对不同的检测器获得良好的泛化能力。
2022-04-20 cs.CR cs.SD eess.AS
Statistical Parametric Speech Synthesis Using Generative Adversarial Networks Under A Multi-task Learning Framework
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
在本文中，我们的目标是提高合成语音的性能在统计参数语音合成（SPSS）的生成对抗网络（GAN）的基础上。特别是，我们提出了一种新的架构结合传统的声学损失函数和GAN的歧视性损失下的多任务学习（MTL）框架。均方误差（MSE）通常用于估计深度神经网络的参数，它只考虑原始音频和合成音频之间的数值差异。为了缓解这个问题，我们引入了GAN作为第二个任务，以确定输入是否是具有特定条件的自然语音。在此MTL框架中，MSE优化提高了GAN的稳定性，同时GAN产生的样本具有更接近自然语音的分布。听力测试表明，多任务结构可以产生更自然的语音，满足人类的感知比传统的方法。
2017-07-11 cs.SD
Combining Adversarial Training and Disentangled Speech Representation for Robust Zero-Resource Subword Modeling
The Chinese University of Hong Kong（香港中文大学）
本研究针对非转录语音的无监督子字单元发现问题。它构成了ZeroSpeech 2019最终目标的基础，即构建没有文本标签的文本到语音系统。在这项工作中，单位发现制定为一个管道的语音判别特征学习和单位推理。鲁棒无监督特征学习的一个主要困难是处理说话人变异。在这里，通过应用对抗训练和基于FHVAE的分离语音表示学习来实现对说话人变化的鲁棒性。在DNN瓶颈特征（DNN-BNF）架构中对这两种方法及其组合进行了比较研究。实验在ZeroSpeech 2019和2017上进行。ZeroSpeech 2017上的实验结果表明，两种方法都是有效的，而后者更为突出，并且它们的组合带来了跨说话人条件的进一步边际改善。ZeroSpeech 2019的结果显示，在ABX辨别力任务中，我们的方法显著优于官方基线，并且与官方背线竞争甚至优于官方背线。所提出的单位序列平滑算法提高了合成质量，在ABX的可辨别性略有下降的成本。
2019-08-09 cs.CL cs.SD eess.AS
TGAVC: Improving Autoencoder Voice Conversion with Text-Guided and Adversarial Training
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）；Aquinas International Academy（阿奎那国际学院）
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。最近，AutoVC，一种基于条件自动编码器的方法，通过使用信息约束瓶颈解开说话人身份和语音内容，实现了出色的转换结果。然而，由于纯自动编码器训练方法，很难评估内容和说话人身份的分离效果。提出了一种新的语音转换框架$\boldsymbol T$ ext $\boldsymbol G$ guided $\boldsymbol A$ utoVC（TGAVC），能够更有效地从语音中分离出内容和音色。此外，对抗性训练应用于消除从语音提取的估计内容嵌入中的说话人身份信息。在期望内容嵌入和对抗训练的指导下，训练内容编码器从语音中提取与说话人无关的内容嵌入。在AIShell-3数据集上的实验表明，该模型在转换语音的自然度和相似度方面优于AutoVC。
2022-08-08 cs.AI cs.SD eess.AS
On the robustness of non-intrusive speech quality model by adversarial examples
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
最近已经表明，基于深度学习的模型在语音质量预测上是有效的，并且可以在各种方面优于传统的度量。虽然网络模型有可能成为复杂人类听觉感知的替代品，但它们可能包含预测的不稳定性。这项工作表明，深度语音质量预测器可能容易受到对抗性扰动的影响，其中与语音输入相比，预测可能会因小至$-30$ dB的不明显扰动而急剧变化。除了暴露深度语音质量预测因子的脆弱性外，我们还进一步探索和确认对抗训练对于增强模型鲁棒性的可行性。
2022-11-11 cs.LG cs.SD eess.AS
Robust Federated Learning Against Adversarial Attacks for Speech Emotion Recognition
Imperial College London（伦敦帝国理工学院）；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）；University of Augsburg（奥格斯堡大学）
由于机器学习和语音处理的发展，语音情感识别成为近年来的研究热点。然而，在语音情感识别的物联网应用中，语音数据在服务器上上传和处理时无法得到保护。此外，深度神经网络已被证明易受人类无法区分的对抗性扰动的影响。由扰动产生的对抗攻击可能导致深度神经网络错误地预测情绪状态。我们提出了一种新的联邦对抗学习框架，用于保护数据和深度神经网络。拟议的框架包括：i）用于数据隐私的联邦学习，以及ii）用于模型鲁棒性的训练阶段的对抗训练和测试阶段的随机化。实验结果表明，该框架能够有效地保护语音数据的局部安全，提高模型对一系列对抗攻击的鲁棒性。
2022-03-09 cs.LG cs.SD eess.AS
Whispered-to-voiced Alaryngeal Speech Conversion with Generative Adversarial Networks
1 Universitat Polit\`ecnica de Catalunya, Barcelona, Spain 2 Telef\'onica Research, Barcelona, Spain 3 Universidad de M\'alaga, M\'alaga, Spain
大多数用于失音症患者的声音恢复方法要么产生低声讲话，要么产生单调讲话。除了可理解性之外，这种类型的语音由于缺乏音高（耳语语音）或人工生成音高（单调语音）而缺乏表现力和自然性。用于恢复韵律信息的现有技术通常将参数化语音信号的声码器与预测韵律信息的机器学习技术组合。相反，本文描述了一种端到端的神经方法，用于从低声的喉音语音中估计全浊音语音波形。通过调整我们以前的工作在语音增强与生成对抗网络，我们开发了一个说话人相关的模型来执行耳语到有声语音转换。初步的定性结果表明，在重新生成有声语音的有效性，与现实的音高轮廓的创建。
2018-11-05 cs.LG cs.SD eess.AS
Adversarial Privacy Protection on Speech Enhancement
College of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）
语音很容易在不知不觉中泄露，比如在不同的情况下被手机录下来。语音中的隐私内容可能通过语音增强技术被恶意提取。语音增强技术随着深度神经网络（DNN）的发展而迅速发展，但对抗性示例可能会导致DNN失败。在这项工作中，我们提出了一个对抗性的方法来降低语音增强系统。实验结果表明，生成的对抗性样例可以擦除原样例中的大部分内容信息，或者通过语音增强用目标语音内容替换。增强后的原始样本与增强后的对抗样本识别结果之间的单词出错率（WER）可达89.0%。增强对抗样本与目标样本的目标攻击WER较低，为33.75%。对抗扰动可以使原始示例的变化率超过1.4430。这项工作可以防止语音的恶意提取。
2022-06-16 cs.CR cs.LG cs.SD
Characterizing the adversarial vulnerability of speech self-supervised learning
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；The Chinese University of Hong Kong（香港中文大学）
一个名为Speech processing Universal Permeable Benchmark（SUPERB）的排行榜，其目的是以最小的架构修改和少量的数据来对跨各种下游语音任务的共享自监督学习（SSL）语音模型的性能进行基准测试，推动了语音表示学习的研究。SUPERB演示了语音SSL上游模型通过最小的调整提高了各种下游任务的性能。随着自监督学习的上游模型和下游任务的研究受到越来越多的关注，表征这种模型的对抗鲁棒性具有重要意义。在本文中，我们第一次尝试研究这种模式下的攻击脆弱性的零知识的对手和有限知识的对手。实验结果表明，SUPERB提出的攻击范式对有限知识攻击者具有严重的脆弱性，零知识攻击者产生的攻击具有可转移性。XAB测试验证了精心制作的对抗攻击的不可感知性。
2022-03-29 cs.LG cs.SD eess.AS
Towards Robust Speech-to-Text Adversarial Attack
本文介绍了一种新的对抗算法，用于攻击最先进的语音到文本系统，即DeepSpeech，Kaldi和Lingvo。我们的方法是基于开发一个扩展的传统的失真条件的对抗性优化配方使用Cramèr积分概率度量。最小化这个度量，它测量原始样本和对抗样本分布之间的差异，有助于制作非常接近合法语音记录子空间的信号。这有助于产生针对空中回放的更鲁棒的对抗信号，而不采用对变换操作的昂贵期望或静态房间脉冲响应模拟。我们的方法优于其他有针对性的和非有针对性的算法在字出错率和匹配级别的准确性与竞争力的性能上制作的对抗信号的质量。与其他七种强大的白盒和黑盒对抗攻击相比，我们提出的方法对多个连续的空中回放具有更强的弹性，证实了其在嘈杂环境中的更高鲁棒性。
2021-03-15 cs.LG cs.SD eess.AS
RSD-GAN: Regularized Sobolev Defense GAN Against Speech-to-Text Adversarial Attacks
Fédération des Caisses Desjardins du Québec（魁北克德雅尔丹储蓄信贷联盟）
本文介绍了一种新的基于合成的防御算法，用于对抗各种对抗攻击，这些攻击是为了挑战尖端的语音到文本转录系统的性能而开发的。我们的算法实现了一个基于Sobolev的GAN，并提出了一种新的正则化器，用于有效地控制整个生成模型的功能，特别是在训练过程中的神经网络。我们在受害者DeepSpeech、Kaldi和Lingvo语音转录系统上进行了大量实验，取得的结果证实了我们的防御方法在针对性和非针对性对抗攻击方面的卓越性能。
2022-09-24 cs.LG cs.SD eess.AS
Towards Generalized Speech Enhancement with Generative Adversarial Networks
Amazon Research（亚马逊研究院）
语音增强的任务通常包括去除加性噪声或混响，这些噪声或混响部分掩盖了口语，影响了它们的可懂度。然而，很少有人注意到其他的，也许更积极的信号失真，如削波，块消除，或频带去除。这种失真不仅对可懂度，而且对自然度甚至说话人身份都有很大的影响，并且需要仔细的信号重建。在这项工作中，我们充分考虑了这种广义的语音增强任务，并表明它可以用时域生成对抗网络（GAN）来解决。特别是，我们扩展了以前的基于GAN的语音增强系统，以处理四种类型的侵略性失真的混合物。首先，我们提出了一个对抗性的声学回归损失，促进了更丰富的特征提取的边缘。其次，我们还使用了两步对抗训练计划，作为热身和微调序列。客观和主观评价表明，这两个增加带来了改进的语音重建，更好地匹配原始扬声器的身份和自然。
2019-04-06 cs.LG cs.SD eess.AS
Time-domain Speech Enhancement with Generative Adversarial Learning
Harbin Engineering University（哈尔滨工程大学）；ByteDance（字节跳动）；University of Surrey（萨里大学）
语音增强的目的是从含噪语音中获得高清晰度和高质量的语音信号。最近的工作已经证明了时域深度学习方法（如Conv-TasNet）的出色性能。然而，这些方法可以退化的任意尺度的波形引起的尺度不变的信噪比（SI-SNR）的损失。本文提出了一种新的时域语音增强生成对抗网络（TSE GAN）框架，它是生成对抗网络（GAN）在时域上的扩展，具有度量评估功能，以减轻缩放问题，并提供模型训练稳定性，从而实现性能改进。此外，本文还提出了一种基于目标函数映射的度量GAN性能理论分析方法，并解释了其优于Wasserstein GAN的原因。实验结果表明了该方法的有效性，说明了度量GAN的优越性.
2021-09-19 cs.LG cs.SD eess.AS
CycleGAN with Dual Adversarial Loss for Bone-Conducted Speech Enhancement
Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University（安徽大学智能计算与信号处理教育部重点实验室）
骨导语音与气导语音相比，具有屏蔽背景噪声的独特优势。增强骨导语音有助于提高其质量和可懂度。本文提出了一种新的具有双重对抗损失的CycleGAN（CycleGAN-DAL）用于骨导语音增强。该方法同时使用对抗性损失和循环一致性损失来学习前向和循环映射，其中对抗性损失被替换为分类对抗性损失和缺陷对抗性损失以巩固前向映射。与传统的基线方法相比，它可以学习骨导语音和目标语音之间的特征映射，而无需额外的空气传导语音辅助。此外，所提出的方法还避免了通常发生在传统的统计模型的过光滑问题。实验结果表明，该方法优于基线方法，如CycleGAN，GMM和BLSTM。关键词：骨导语音增强，双对抗损失，并行CycleGAN，高频语音重建
2021-11-02 cs.SD eess.AS
HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
MetricGAN: Generative Adversarial Networks based Black-box Metric Scores Optimization for Speech Enhancement
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
条件生成对抗网络（GAN）中的对抗性损失并不被设计为直接优化目标任务的评估度量，因此可能并不总是引导GAN中的生成器生成具有改进的度量分数的数据。为了克服这个问题，我们提出了一种新的MetricGAN方法，旨在优化生成器的一个或多个评估指标。此外，基于MetricGAN，生成数据的度量分数也可以由用户任意指定。我们在语音增强任务上测试了所提出的MetricGAN，这特别适合于验证所提出的方法，因为存在测量语音信号的不同方面的多个度量。此外，这些指标通常是复杂的，并且不能通过Lp或传统的对抗性损失来完全优化。
2019-05-13 cs.LG cs.SD eess.AS
Are Modern Speech Enhancement Systems Vulnerable to Adversarial Attacks?
Signal Processing (SP), University of Hamburg, Germany（汉堡大学信号处理系，德国）；CISPA Helmholtz Center for Information Security, Germany（德国海德堡信息安全研究中心）
研究揭示现代语音增强系统存在对抗攻击漏洞，展示对抗噪声可改变语义，同时指出扩散模型具有固有鲁棒性。
2026-01-30 cs.LG cs.SD eess.AS
On the Use of Audio Fingerprinting Features for Speech Enhancement with Generative Adversarial Network
McGill University（麦吉尔大学）；Concordia University（康考迪亚大学）
语音增强中基于学习的方法的出现已经恢复了对鲁棒且可靠的训练特征的需要，所述训练特征能够在保留语音信号的重要信息的同时对语音信号进行压缩表示。时间-频率域特征，例如短期傅里叶变换（STFT）和梅尔频率倒谱系数（MFCC），在许多方法中是优选的。虽然MFCC提供了紧凑的表示，但它们忽略了每个梅尔尺度子带中的能量的动态和分布。在这项工作中，语音增强系统的生成对抗网络（GAN）的基础上实现和测试的音频指纹（AFP）的功能从MFCC和归一化频谱子带质心（NSSC）的组合。NSSC捕获语音共振峰的位置，并以关键的方式补充MFCC。在不同说话人和噪声类型的实验中，基于GAN的语音增强与所提出的AFP特征组合实现了最佳的客观性能，同时减少了内存需求和训练时间。
2020-07-27 cs.LG cs.SD eess.AS
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST（韩国科学技术院）；Mokwon University（木原大学）；KAIST Institute for Artificial Intelligence（韩国科学技术院人工智能研究所）
许多语音增强方法试图学习噪声和干净语音之间的关系，使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标，这项工作的目标是提出一种替代学习算法，称为声学和对抗监督（AAS）。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性，又具有干净语音的一般特征，这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试，包括加性噪声没有混响和混响，Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音，我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
Exploring Speech Enhancement with Generative Adversarial Networks for Robust Speech Recognition
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
我们研究了生成对抗网络（GANs）用于语音增强的有效性，在提高自动语音识别（ASR）系统的噪声鲁棒性的背景下。先前的工作表明，GANs可以有效地抑制原始波形语音信号中的加性噪声，提高感知质量指标;然而，这种技术在ASR的背景下并不合理。在这项工作中，我们进行了详细的研究，以衡量GANs在增强受加性和混响噪声污染的语音的有效性。受图像处理最新进展的启发，我们提出在log-Mel滤波器组谱而不是波形上操作GANs，这需要更少的计算，并且对混响噪声更具鲁棒性。虽然GAN增强提高了干净训练的ASR系统对噪声语音的性能，但它达不到传统多风格训练（MTR）所实现的性能。通过将GAN增强功能附加到噪声输入和再训练，我们实现了相对于MTR系统7%的WER改善。
2018-10-31 cs.LG cs.NE cs.SD
Adversarial speech for voice privacy protection from Personalized Speech generation
University of Science and Technology of China (USTC)（中国科学技术大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出基于I-FGSM对抗攻击的说话人保护方法，通过最小扰动语音使YourTTS无法生成目标说话人声音，实验验证了其有效性。
2024-01-22 cs.SD eess.AS
Language and Noise Transfer in Speech Enhancement Generative Adversarial Network
Chungnam National University（忠南大学）
语音增强深度学习系统通常需要大量的训练数据才能在广泛的条件或实际应用中运行。这使得这些系统对新的低资源环境的适应性成为一个重要的课题。在这项工作中，我们提出了适应语音增强生成对抗网络的结果，通过微调生成器与少量的数据。我们调查的最低要求，以获得一个稳定的行为在两个非常不同的语言：加泰罗尼亚语和韩语的几个客观指标。我们还研究了测试性能的变化，看不见的噪音作为一个功能的不同类型的噪音可用于培训。结果表明，用10分钟的数据调整预训练的英语模型已经达到了与多两个数量级的数据相当的性能。它们还证明了测试性能相对于训练噪声类型的数量的相对稳定性。
2017-12-18 cs.LG cs.SD eess.AS
Universal Adversarial Perturbations for Speech Recognition Systems
UC San Diego（加州大学圣地亚哥分校）
在这项工作中，我们证明了普遍存在的对抗性音频扰动，导致错误的转录音频信号的自动语音识别（ASR）系统。我们提出了一种算法，找到一个单一的准不可感知的扰动，当添加到任何任意的语音信号，将最有可能欺骗受害者语音识别模型。我们的实验通过为最先进的ASR系统- Mozilla DeepSpeech制作音频不可知的通用扰动来展示我们所提出的技术的应用。此外，我们还通过对基于WaveNet的ASR系统进行可转移性测试，证明了这种扰动在训练过程中不可用的模型中具有很大的普遍性。
2019-08-15 cs.LG cs.SD eess.AS
