GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
WaveNeXt 2: ConvNeXt-Based Fast Neural Vocoders With Residual Denoising and Sub-Modeling for GAN and Diffusion Models
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；National Institute of Information and Communications Technology（信息通信研究机构）
提出WaveNeXt 2统一框架，通过残差去噪和子建模使ConvNeXt架构同时适用于GAN和扩散声码器，在多说话人数据集上实现更快推理和竞争性合成质量。
2026-05-25 eess.AS
Low-Resource Domain Adaptation for Speaker Recognition Using Cycle-GANs
Center for Language and Speech Processing, Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）
当前的说话人识别技术利用x向量方法提供了很好的性能。然而，当评估域与训练域不同时，性能会降低，这是通常使用域自适应方法解决的问题。最近，使用周期一致的生成对抗网络（CycleGAN）的无监督域自适应受到了很多关注。CycleGAN学习给定非并行数据的两个域的特征之间的映射。我们调查他们的有效性在低资源的情况下，即当有限的目标域数据可用于适应，在以前的作品中未探索的情况下。我们实验了两个适应任务：麦克风电话和一个新的混响清洁适应，最终目标是提高说话人识别性能。在源域和目标域中存在的说话者的数量分别为7000和191。通过在CycleGAN训练期间向目标域添加噪声，与CycleGAN在更大的目标数据上训练的自适应系统相比，我们能够实现更好的性能。在混响到干净的适应任务中，与在干净数据上训练的系统相比，我们的模型在VOiCES数据集上将EER提高了18.3%。他们还略微改进了最先进的加权预测误差（WPE）去混响算法。
2019-10-25 cs.SD eess.AS
RawBoost: A Raw Data Boosting and Augmentation Method applied to Automatic Speaker Verification Anti-Spoofing
EURECOM（欧洲通信学院）
本文介绍了RawBoost，这是一种数据提升和增强方法，用于设计更可靠的欺骗检测解决方案，直接在原始波形输入上操作。虽然RawBoost不需要额外的数据源，例如噪声记录或脉冲响应，并且与数据，应用程序和模型无关，但它是为电话场景而设计的。基于线性和非线性卷积噪声、脉冲信号相关的加性噪声和平稳信号无关的加性噪声的组合，RawBoost对源于例如以下的滋扰可变性进行建模：编码、传输、麦克风和放大器，以及线性和非线性失真。使用ASVspoof 2021逻辑访问数据库进行的实验表明，RawBoost将最先进的原始端到端基线系统的性能提高了27%，并且仅优于依赖外部数据或需要在模型级别进行额外干预的解决方案。
2022-02-22 cs.CR cs.SD eess.AS
Wasserstein GAN and Waveform Loss-based Acoustic Model Training for Multi-speaker Text-to-Speech Synthesis Systems Using a WaveNet Vocoder
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
最近的神经网络，如直接从语音波形样本学习的WaveNet和sampleRNN，即使在多扬声器文本转语音合成系统中，也在自然度和扬声器相似性方面实现了非常高质量的合成语音。这种神经网络被用作声码器的替代方案，因此它们通常被称为神经声码器。神经声码器使用声学特征作为局部条件参数，这些参数需要由另一个声学模型准确预测。然而，还不清楚如何训练该声学模型，这是有问题的，因为合成语音的最终质量受声学模型的性能的显著影响。发生显著的退化，特别是当预测的声学特征与自然特征相比具有不匹配的特征时。为了减少自然和生成的声学特征之间的不匹配特性，我们提出了将条件生成对抗网络（GAN）或其变体Wasserstein GAN与梯度惩罚（WGAN-GP）结合到使用WaveNet声码器的多扬声器语音合成中的框架。我们还扩展了GAN框架，并使用经过良好训练的WaveNet的离散化混合逻辑损失以及均方误差和对抗损失作为目标函数的一部分。实验结果表明，使用WGAN-GP框架训练的声学模型，使用反向传播离散混合物流（DML）损失在质量和扬声器相似性方面达到最高的主观评价分数。
2018-07-31 cs.CL cs.SD eess.AS
MTGAN: Speaker Verification through Multitasking Triplet Generative Adversarial Networks
Tsinghua University（清华大学）
在本文中，我们提出了一种增强的三元组方法，通过联合利用生成对抗机制和多任务优化来改进嵌入的编码过程。我们使用生成对抗网络（GANs）和softmax损失函数扩展了我们的三元组编码器。GAN用于增加样本的通用性和多样性，而softmax用于增强说话人的特征。为了简化，我们将我们的方法称为多任务三元组生成对抗网络（MTGAN）。实验结果表明，MTGAN在短话语上的验证等出错率（EER）相对于传统的i向量方法和最新的三重丢失方法分别降低了67%和32%。这有效地表明，MTGAN在表达说话人信息的高层特征方面优于三元组方法。
2018-03-24 cs.SD eess.AS
LG Uplus System with Multi-Speaker IDs and Discriminator-based Sub-Judges for the WildSpoof Challenge
LG Uplus
本文提出了一种结合多说话人ID和基于判别器的子裁判系统的LG Uplus系统，用于提高在高保真TTS攻击下的说话人验证性能。
2025-12-09 eess.AS
Many-to-Many Voice Conversion with Out-of-Dataset Speaker Support
Intel AI Lab（英特尔人工智能实验室）
我们提出了一种基于Cycle-GAN的多对多语音转换方法，可以在不在训练集中的扬声器之间进行转换。该属性通过由与Cycle-GAN联合训练的神经网络生成的扬声器嵌入来实现。与此领域的先前工作相比，我们的方法能够在数据集外的说话者和目标说话者之间进行转换，并且不需要重新训练。使用独立训练的说话人识别模型来评估数据集外的说话人转换质量，并且对于先前未听到的说话人显示出良好的风格转换特性。对人类听众的主观测试显示，数据集内说话者的风格转换质量与最先进的基线模型相当。
2019-04-30 cs.CL cs.SD eess.AS
FA-GAN: Artifacts-free and Phase-aware High-fidelity GAN-based Vocoder
本文提出FA-GAN声码器，通过抗混叠孪生反卷积模块和细粒度多分辨率实虚部损失抑制频谱伪影并建模相位信息，在音频质量和未见说话人场景下均优于现有方法。
2024-07-05 eess.AS
Joint domain adaptation and speech bandwidth extension using time-domain GANs for speaker verification
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（卓越人类语言技术中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
为特定的声学域和采样频率选择而开发的语音系统不容易转换为其他系统。通常的做法是独立地学习域自适应和带宽扩展模型。与此相反，我们建议一起学习这两项任务。特别地，我们学习将窄带对话电话语音映射到宽带麦克风语音。我们开发了并行和非并行学习解决方案，利用配对和非配对数据。首先，我们首先讨论针对我们的任务的多个生成模型的联合和不联合训练。然后，我们提出了一个两阶段的学习解决方案，在带宽扩展训练中使用预训练的域自适应系统进行预处理。我们评估了我们的计划上的发言人验证下游任务。我们使用JHU-MIT的NIST SRE 21实验装置，包括SRE 16，SRE-CTS超集和SRE 21。我们的研究结果提供了第一个证据，证明学习两项任务比只学习一项任务更好。在SRE 16上，我们最好的系统在等错误率方面实现了22%的相对改进。直接学习基线和8%的w.r.t.强大的带宽扩展系统。
2022-03-30 cs.SD eess.AS
Adversarial Data Augmentation Using VAE-GAN for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件，往往与共同发生的身体残疾，导致难以收集大量的受损语音所需的ASR系统的发展。本文提出了一种新的变分自动编码器生成对抗网络（VAE-GAN）的个性化的无序语音增强方法，同时学习编码，生成和歧视合成受损语音。单独的潜在功能，推导出学习构音障碍的语音特征和音素上下文表示。还包含了自我监督的预训练Wav 2 vec 2.0嵌入功能。在UASpeech语料库上进行的实验表明，所提出的对抗性数据增强方法始终优于基线速度扰动和非VAE GAN增强方法，具有训练的混合TDNN和端到端Conformer系统。在LHUC扬声器自适应之后，使用基于VAE-GAN的增强的最佳系统在16个构音障碍扬声器的UASpeech测试集上产生了27.78%的总体WER，并且在具有“非常低”可懂度的扬声器子集上产生了57.31%的最低公布WER。
2023-03-19 cs.SD eess.AS
Measuring the Effectiveness of Voice Conversion on Speaker Identification and Automatic Speech Recognition Systems
本文评估了基于Cycle-GAN的语音转换器（VC）在四个说话人识别（SID）系统和自动语音识别（ASR）系统中的有效性。由VC模型转换的音频样本被SID系统分类为250多个扬声器中高达46%的前1精度的预期目标。这一令人鼓舞的模仿目标风格的结果促使我们研究转换（合成）样本是否可以用于改善ASR训练。不幸的是，将合成数据添加到ASR训练集只能略微提高单词和字符错误率。我们的研究结果表明，即使VC模型可以成功地模仿SID系统测量的目标扬声器的风格，提高ASR训练与VC系统的合成数据需要进一步的研究，以建立其功效。
2019-05-29 eess.AS
Speaker-independent neural formant synthesis
提出一种由共振峰频率等少量语音参数驱动的说话人无关神经合成方法，通过预测梅尔频谱图并结合 WaveNet 或 HiFi-GAN 声码器生成高质量、可控语音。
2023-06-02 eess.AS
Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-to-Speech
The University of Tokyo（东京大学）
提出了一种新的基于多任务对抗训练的多说话人神经文语转换（TTS）模型的训练算法。传统的基于生成对抗网络（GAN）的训练算法通过减少自然语音和合成语音之间的统计差异来显著提高合成语音的质量。然而，该算法不能保证训练的TTS模型在合成未被包括在训练数据中的不可见说话者的语音时的泛化性能。我们的算法交替训练两个深度神经网络：多任务训练和多说话者神经TTS模型（即，GANs的生成器）。训练语音识别器不仅区分自然语音和合成语音，而且验证输入语音的说话者是存在还是不存在（即，通过内插所见说话者的嵌入向量而新生成）。同时，生成器被训练为最小化语音重建损失和对抗损失的加权和，以欺骗目标说话人，即使目标说话人看不见，也能实现高质量的多说话人TTS。实验结果表明，该算法比传统的GANSpeech算法更好地提高了合成语音的质量。
2022-09-26 cs.AI cs.LG cs.SD
Using Inaudible Audio and Voice Assistants to Transmit Sensitive Data over Telephony
Georgia Institute of Technology（佐治亚理工学院）
由于语音助理（VA）部署在家庭和企业网中的日益普及，出现了新的安全和隐私问题。许多过去的研究结果已经证明了恶意行为者如何使用隐藏的命令来让VA执行某些操作，即使有人可能在他们附近。然而，这些工作还没有探索接近VA的受损计算机如何利用电话渠道在VA的帮助下泄露数据。在描述了通过命令VA拨打电话号码而建立的通信信道后，我们演示了恶意软件如何将数据编码为音频并通过电话信道发送。这种攻击可以远程、大规模和低成本地进行，可以用来绕过可能针对敏感数据泄漏而部署的网络防御。我们使用双音多频音调将任意二进制数据编码为音频，这些音频可以通过计算机扬声器播放，并通过VA介导的电话信道发送到远程系统。我们表明，少量的数据可以传输具有高精度与持续几分钟的短电话。这可以在使音频对于大多数人来说几乎听不见的同时通过使用具有接近人类听觉范围的高端的频率的载波对其进行调制来完成。有几个因素影响数据传送率，包括计算机和VA之间的距离、可能存在的环境噪声和调制载波的频率。在我们建立的原型的帮助下，我们实验评估这些因素对数据传送率和传输精度的影响。我们的研究结果表明，计算机附近的语音助手可能会对存储在这些计算机上的数据构成新的威胁。传统的主机和网络防御无法解决这些威胁。我们简要讨论可能的缓解方法。
2020-09-21 cs.CR cs.SD eess.AS
Rhythm-Flexible Voice Conversion without Parallel Data Using Cycle-GAN over Phoneme Posteriorgram Sequences
National Taiwan University（台湾大学）
语速是指单位时间内音素的平均数量，而节奏模式是指不同音素在不同语音结构中实现的持续时间分布。它们都是语音韵律的重要组成部分，但不同的说话人的语音韵律不同。像循环一致对抗网络（Cycle-GAN）和变分自动编码器（VAE）这样的模型已经成功地应用于没有并行数据的语音转换任务。然而，由于这些方法所选择的神经网络架构和特征向量，预测话语的长度必须固定到输入话语的长度，这限制了模仿目标说话者的说话速率和节奏模式的灵活性。另一方面，序列到序列学习模型被用来去除上述长度约束，但需要并行的训练数据。在本文中，我们提出了一种方法，利用序列到序列模型训练与无监督Cycle-GAN执行之间的转换音素后验序列不同的发言人。通过这种方式，去除了上述长度约束，以提供节奏灵活的语音转换，而不需要并行数据。对两个数据集的初步评估显示了非常令人鼓舞的结果。
2018-08-09 cs.SD eess.AS
Generative Adversarial Speaker Embedding Networks for Domain Robust End-to-End Speaker Verification
McGill University（麦吉尔大学）；Computer Research Institute of Montreal（蒙特利尔计算机研究所）
本文提出了一种使用生成对抗网络学习域不变说话人嵌入的新方法。其主要思想是混淆域映射，使其无法分辨嵌入是来自源域还是目标域。我们训练几个GAN变种使用我们提出的框架，并将它们应用到说话人验证任务。在具有挑战性的NIST-SRE 2016数据集上，我们能够匹配强基线x向量系统的性能。与依赖于降维（LDA）和外部分类器（PLDA）的基线系统相比，我们提出的说话人嵌入可以使用简单的余弦距离进行评分。这是通过使用角裕度损失函数端到端优化我们的模型来实现的。此外，我们能够通过在分数水平上平均我们不同的GAN模型来显着提高验证性能，相对于基线提高了7.2%。
2018-11-07 cs.CV cs.SD eess.AS
CinC-GAN for Effective F0 prediction for Whisper-to-Normal Speech Conversion
Speech Research Lab, DA-IICT（DA-IICT 语音研究实验室）
最近，基于生成对抗网络（GAN）的方法对于语音转换和WHISPer-to-normal SPeeCH（WHSP 2SPCH）转换已经显示出显著的性能。WHSP 2SPCH转换的关键挑战之一是基频（F0）的预测。最近，作者提出了用于WHSP 2SPCH转换的最先进的方法循环一致生成对抗网络（CycleGAN）。基于CycleGAN的方法使用两种不同的模型，一种用于Mel倒谱系数（MCC）映射，另一种用于F0预测，其中F0高度依赖于MCC映射的预训练模型。这导致预测的F0中的额外非线性噪声。为了抑制这种噪声，我们提出了循环中循环GAN（即，CinC-GAN）。它是专门设计的，以提高F0预测的有效性，而不会失去MCC映射的准确性。我们评估了所提出的方法上的非平行设置和分析特定于扬声器，和性别的任务。客观和主观测试表明，CinC-GAN显着优于CycleGAN。此外，我们分析了CycleGAN和CinC-GAN的不可见扬声器，结果显示了CinC-GAN的明显优势。
2020-08-18 cs.LG eess.AS
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology（东京工业大学）
基于i向量的文本无关说话人确认（SV）系统在短话语下通常具有较差的性能，因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络（GAN）的i向量补偿方法，其中生成器网络被训练为从短话语i向量生成补偿的i向量，而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外，我们还为GAN分配了另外两个学习任务，以稳定其训练，并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明，该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
NU-GAN: High resolution neural upsampling with GAN
Descript Inc.（Descript公司）；Mila, Quebec Artificial Intelligence Institute（米拉魁北克人工智能研究所）
在本文中，我们提出了NU-GAN，一种新的方法，用于从较低到较高的采样率（上采样）的resstriving音频。音频上采样是一个重要的问题，因为产品化生成语音技术需要在高采样率下操作。这样的应用使用44.1 kHz或48 kHz分辨率的音频，而当前的语音合成方法被配备为处理最大24 kHz分辨率。NU-GAN通过利用使用GANs的音频生成技术，将音频上采样作为文本到语音（TTS）管道中的一个单独组件来解决。ABX偏好测试表明，我们的NU-GAN重采样器能够重采样22 kHz至44.1 kHz的音频，与原始音频区分开来，仅比单扬声器数据集的随机机会高7.4%，比多扬声器数据集的机会高10.8%。
2020-10-22 cs.AI cs.CL cs.LG
The 2021 NIST Speaker Recognition Evaluation
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
2021年说话人识别评估（SRE 21）是美国国家标准与技术研究院（NIST）自1996年以来进行的持续评估系列的最新周期。这是NIST组织的第二次大规模多模式说话人/人识别评估（第一次是SRE 19）。与SRE 19类似，它有两个核心评估轨道，即音频和视听，以及一个可选的视觉轨道。除了提供固定和开放的培训条件外，它还为社区带来了新的挑战，这要归功于新的多式联运（即，音频、视频和自拍图像）和多语言（即，语言数据联合会（LDC）在北美以外收集的名为WeCanTalk的语料库。这些挑战包括：1）试验（目标和非目标），招募和测试部分来自不同的领域（即，电话对视频），以及2）具有以不同语言说出的登记和测试段的试验（目标和非目标）（即，跨语言试验）。本文介绍了SRE 21的概述，包括任务，性能指标，数据，评估协议，结果和系统性能分析。来自学术界和工业界的23个组织（组成15个小组）参加了SRE 21，并提交了158个有效的系统输出。评价结果表明：视听融合在性能上比仅音频或仅视觉系统产生实质性的增益;最佳表现的说话者和面部识别系统在该评估中存在的匹配域条件下表现出相当的性能;以及，使用复杂神经网络体系结构（例如，ResNet）以及具有裕度的角度损失、数据增强以及长持续时间微调有助于仅音频说话人识别任务的显著性能改进。
2022-04-21 cs.LG cs.SD eess.AS
VAW-GAN for Disentanglement and Recomposition of Emotional Elements in Speech
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换（EVC）的目的是将语音的情感从一种状态转换到另一种状态，同时保持语言内容和说话人身份。本文利用变分自编码Wasserstein生成对抗网络（VAW-GAN）研究语音中情感成分的分解和重组。我们提出了一种基于VAW-GAN的说话人相关EVC框架，该框架包括两个VAW-GAN管道，一个用于频谱转换，另一个用于韵律转换。我们训练一个频谱编码器，解开情感和韵律（F0）的信息从频谱特征，我们也训练韵律编码器，解开情感调制的韵律（情感韵律）从语言韵律。在运行时，频谱VAW-GAN的解码器以韵律VAW-GAN的输出为条件。声码器采用转换后的频谱和韵律特征来生成目标情感语音。实验验证了我们提出的方法在客观和主观评价的有效性。
2020-11-03 cs.CL cs.SD eess.AS
MASTERKEY: Practical Backdoor Attack Against Speaker Verification Systems
Michigan State University（密歇根州立大学）；Samsung Research America（三星美国研究院）；UT Dallas（德克萨斯大学达拉斯分校）
提出针对说话人验证系统的后门攻击 MASTERKEY，在攻击者对受害者一无所知的实用设置下，通过优化通用后门并嵌入说话人特征与信道失真，在多个模型和现实场景中实现高成功率的隐蔽攻击。
2023-09-13 cs.AI cs.CR cs.LG
The NIST CTS Speaker Recognition Challenge
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
自2020年8月以来，美国国家标准与技术研究院（NIST）一直在进行CTS挑战的第二次迭代。CTS挑战赛的当前迭代是使用从LDC收集的Call My Net 2（CMN 2）和多语言语音（MLS）语料库的未公开部分提取的电话数据进行的排行榜风格的说话人识别评估。CTS挑战赛目前的组织方式与SRE 19 CTS挑战赛类似，仅提供使用两个评估子集（即进度和测试）的开放训练条件。与SRE 19挑战赛不同，最初没有发布培训或开发集，NIST已公开发布CTS挑战赛两个子集的排行榜。哪个子集（即，对于挑战参与者来说，试验所属的进度或测试是未知的，并且每个系统提交都需要包含所有试验的输出。CTS挑战赛也是并将继续作为进入常规SRE（如SRE 21）的先决条件。自2020年8月以来，共有53个来自学术界和工业界的组织（组成33个团队）参加了CTS挑战赛，并提交了超过4400个有效的系统输出。本文概述了CTS挑战赛中一些主要条件下的系统性能评估和分析。到目前为止，CTS Challenge的结果表明，由于1）使用大规模和复杂的神经网络架构（如ResNets）提取的扬声器嵌入以及用于扬声器嵌入提取的角度裕度损失，2）广泛的数据增强，3）使用来自大量标记扬声器的大量内部专有数据，4）长时间微调，性能得到了显着改善。
2022-04-21 cs.LG cs.SD eess.AS
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
SE-MelGAN -- Speaker Agnostic Rapid Speech Enhancement
SYSTEM CORP.（系统公司）
语音合成领域[3]、[2]中生成对抗网络的最新进展表明，可以以可靠的方式训练GANs [8]，以从梅尔频谱图生成高质量的相干波形。我们提出，有可能将MelGAN [3]在学习语音特征方面的鲁棒性转移到语音增强和降噪领域，而无需任何模型修改任务。我们提出的方法推广到多说话人语音数据集，并能够鲁棒地处理看不见的背景噪声在推理。此外，我们表明，通过增加这种特定方法的批量大小，不仅会产生更好的语音结果，而且很容易在多说话人数据集上推广，并导致更快的收敛。此外，它在两个领域优于用于语音增强SE GAN [5]的现有技术GAN方法：1.质量; 2.速度所提出的方法在GPU上的运行速度比实时快100倍以上，在CPU上的运行速度比实时快2倍以上，无需任何硬件优化任务，与MelGAN的速度相当[3]。
2020-06-13 cs.CL cs.SD eess.AS
Spoofing Speaker Verification Systems with Deep Multi-speaker Text-to-speech Synthesis
Tsinghua University（清华大学）；University of Rochester（罗切斯特大学）
提出了一种用于欺骗说话人确认系统的深度多说话人文本转语音（TTS）模型。该模型采用一个网络从文本输入合成时间下采样的梅尔频谱图，另一个网络将其转换为线性频谱图，然后使用Griffin-Lim算法将其进一步转换为时域。这两个网络分别在生成对抗网络（GAN）框架下进行训练。在两个最先进的SV系统（i-vectors和Google的GE 2 E）上的欺骗实验表明，所提出的系统可以成功地欺骗这些系统，成功率很高。反欺骗系统上的欺骗实验（即，用于区分真实语音和合成语音的二进制分类器）也显示出当这种反欺骗系统的结构暴露于所提出的TTS系统时的高欺骗成功率。
2019-10-29 cs.SD eess.AS
Time out of Mind: Generating Rate of Speech conditioned on emotion and speaker
语音合成在过去十年中取得了显着的进步，从而产生了高度可理解的语音。进一步的研究已经产生了可以产生可变语音的模型，包括有条件的情感表达。问题在于，然而，在一个短语级的修改和韵律声乐功能的重点。使用CREMA-D数据集，我们训练了一个以情感为条件的GAN，为给定的输入文本生成价值长度。这些字长是相对于中性语音的，并且可以通过语音合成置标语言（SSML）提供给文本到语音（TTS）系统以生成更有表达力的语音。此外，还使用隐式最大似然估计（IMLE）训练生成模型，并包括与GANs的比较分析。与开箱即用的模型相比，我们能够在中性语音的客观测量方面实现更好的性能，并在快乐语音方面实现更好的时间对齐。然而，主观评价还需要进一步的研究。
2023-01-31 cs.CL cs.SD eess.AS
SC-GlowTTS: an Efficient Zero-Shot Multi-Speaker Text-To-Speech Model
DefinedCrowd Corp.（DefinedCrowd公司）；Coqui（Coqui公司）；Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）；Federal University of Goias（戈亚斯联邦大学）；Federal University of Technology – Paraná（巴拉那联邦理工大学）
在本文中，我们提出了SC-GlowTTS：一个有效的zero-shot多说话人文本转语音模型，提高了训练过程中看不见的说话人的相似性。我们提出了一个扬声器的条件架构，探讨了基于流的解码器，工作在一个zero-shot的情况。作为文本编码器，我们探索了一种基于扩张残差卷积的编码器，基于门控卷积的编码器和基于变换的编码器。此外，我们已经证明，针对TTS模型在训练数据集上预测的频谱图调整基于GAN的声码器可以显着提高新说话者的相似性和语音质量。我们的模型仅使用11个扬声器进行收敛，达到了与新扬声器相似的最先进结果，以及高语音质量。
2021-06-15 cs.SD eess.AS
Controlling your Attributes in Voice
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种无需平行数据的语音属性控制方法，结合基于GAN的变分自编码器和两阶段语音转换模型，在保持语音质量与说话人身份的同时操控年龄和性别属性。
2025-01-03 cs.SD eess.AS
Investigating Deep Neural Structures and their Interpretability in the Domain of Voice Conversion
University of Sheffield（谢菲尔德大学）
生成对抗网络（GANs）是基于创建合成数据的机器学习网络。语音转换（VC）是语音翻译的一个子集，它涉及将源说话人的语言特征翻译成目标说话人，同时保留语言信息。VC的非并行条件GANs的目的是将声学语音特征序列从一个域转换到另一个域，而不使用配对数据。在这里报告的研究中，我们研究了VC领域中非并行GANs的最新实现的可解释性。我们发现，在一个特定的GAN架构的重复层的学习表示保持接近其原始的随机初始化参数，这表明它是重复层的数量，更负责的输出质量。我们还分析了在另一个数据集上进行迁移学习时，在一个特定数据集上训练的模型的学习表示。这表明整个网络的相似性非常高。总之，这些结果为深度生成网络的学习表示在学习过程中如何变化以及层数的重要性提供了新的见解。
2021-02-22 cs.SD eess.AS
Harnessing AI for Speech Reconstruction using Multi-view Silent Video Feed
Adobe Systems（奥多比系统公司）；Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；National Institute of Informatics（国立信息学研究所）；National University of Singapore（新加坡国立大学）
唇读是从说话人的唇、脸、牙、舌等视觉特征中理解和获取语音特征的一种技术。它有广泛的多媒体应用，如监控，互联网电话，并作为一个人的听力障碍的援助。然而，语音阅读的大部分工作都局限于从无声视频中生成文本。最近，研究已经开始冒险从无声视频序列生成（音频）语音，但迄今为止在处理不同的观点和说话者的姿势方面还没有进展。因此，虽然我们有多个摄像机馈送用于用户的语音，但是我们未能使用这些多个视频馈送来处理不同的姿势。为此，本文提出了世界上第一个多视角语音阅读和重建系统。这项工作涵盖了多媒体研究的边界，提出了一个模型，利用多个摄像机记录同一主题的无声视频馈送，为扬声器生成智能语音。初步结果证实了利用多个摄像机视图在构建高效的语音阅读和重建系统方面的有用性。它进一步显示了相机的最佳位置，这将导致最大的语音清晰度。接下来，它列出了所提出的系统的各种创新应用程序，重点关注其潜在的巨大影响，不仅在安全领域，但在许多其他多媒体分析问题。
2018-08-12 cs.SD eess.AS
TSELM: Target Speaker Extraction using Discrete Tokens and Language Models
Duke Kunshan University（昆山杜克大学）
本研究提出新型目标说话人提取网络TSELM，以WavLM离散层为输入token，结合交叉注意力、语言模型与可扩展HiFi-GAN，通过交叉熵损失将音频生成回归问题转为分类任务，在语音质量上表现优异、可懂度效果可比。
2024-09-17 cs.LG cs.SD eess.AS
ECAPA-TDNN for Multi-speaker Text-to-speech Synthesis
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Language and Culture University（北京语言大学）；Unisound AI Technology Co., Ltd（云知声人工智能科技股份有限公司）
近年来，基于神经网络的多说话人文本到语音合成（TTS）方法取得了重大进展。然而，这些方法中使用的现有说话人编码器模型仍然不能捕获足够的说话人信息。在本文中，我们专注于精确的说话人编码器建模，并提出了一种端到端的方法，可以生成高质量的语音和更好的相似性，为可见和不可见的扬声器。所提出的架构由三个单独训练的组件组成：一个扬声器编码器的基础上，最先进的ECAPA-TDNN模型，这是来自扬声器验证任务，FastSpeech 2为基础的合成器，和HiFi-GAN声码器。不同的说话人编码模型之间的比较表明，我们提出的方法可以实现更好的自然度和相似度。为了有效地评估我们的合成语音，我们首次采用基于深度学习的自动MOS评估方法来评估我们的结果，这些方法在自动语音质量评估中显示出巨大的潜力。
2022-03-26 cs.LG cs.SD eess.AS
Single Channel Far Field Feature Enhancement For Speaker Verification In The Wild
Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究了一种增强和域自适应方法，使说话人确认系统对远场语音的扰动具有鲁棒性。在增强方法中，使用成对（并行）混响干净语音，我们训练了一个有监督的生成对抗网络（GAN）以及一个特征映射损失。对于域自适应方法，我们训练了一个循环一致的生成对抗网络（CycleGAN），它将远场域的特征映射到说话人嵌入训练域。这是以无监督的方式在未配对的数据上训练的。这两个网络，分别称为监督增强网络（SEN）和域自适应网络（DAN），在（滤波器组）特征域的多任务目标进行训练。在模拟测试设置中，我们首先注意到在SEN中使用特征映射（FM）损失和对抗性损失的好处。然后，我们在几个真实的噪声数据集上测试了监督和无监督方法。我们观察到的相对改善幅度为2%至31%。使用三种训练方案，我们还建立了新的DAN方法的有效性。
2020-05-17 cs.SD eess.AS
Conditional Generative Adversarial Networks for Speech Enhancement and Noise-Robust Speaker Verification
Aalborg University（奥尔堡大学）
提高语音系统在噪声环境中的性能一直是一个具有挑战性的课题，而语音增强（SE）是解决这一问题的有效技术之一。受生成对抗网络（GANs）在各种图像处理任务中的良好结果的启发，我们探索了条件GANs（cGANs）用于SE的潜力，特别是，我们利用Isola等人提出的图像处理框架。[1]学习从噪声语音的频谱图到增强对应物的映射。SE cGAN由两个网络组成，以对抗的方式进行训练：一个生成器试图增强输入的噪声频谱图，另一个生成器试图区分生成器提供的增强频谱图和使用噪声频谱图作为条件的数据库中的干净频谱图。我们在语音质量的感知评估（PESQ），短时客观可懂度（STOI）和说话人验证的等错误率（EER）（示例应用）方面评估了cGAN方法的性能。实验结果表明，cGAN方法的整体性能优于经典的短时谱幅度最小均方误差（STSA-MMSE）SE算法，并且与基于深度神经网络的SE方法（DNN-SE）相当。
2017-09-07 cs.LG cs.SD eess.AS
Enhancing Pre-trained ASR System Fine-tuning for Dysarthric Speech Recognition using Adversarial Data Augmentation
The Chinese University of Hong Kong（香港中文大学）
本文针对构音障碍语音识别数据少、微调泛化差的问题，比较了多种数据增强方法，提出基于GAN的对抗数据增强，在UASpeech上显著降低WER并取得已发表最低错误率16.53%。
2024-01-01 cs.SD eess.AS
HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
Multi-target Voice Conversion without Parallel Data by Adversarially Learning Disentangled Audio Representations
National Taiwan University（台湾大学）
最近，周期一致性对抗网络（Cycle-GAN）已成功应用于语音转换到不同的扬声器，而无需并行数据，尽管在这些方法中，每个目标扬声器都需要一个单独的模型。在本文中，我们提出了一个用于语音转换的对抗性学习框架，通过将说话者特征与语音信号中的语言内容分离，可以训练单个模型将语音转换为许多不同的说话者，所有这些都没有并行数据。首先训练一个自动编码器，分别提取说话人独立的潜在表示和说话人嵌入，使用另一个辅助说话人分类器来正则化潜在表示。然后，解码器将说话者无关潜在表示和目标说话者嵌入作为输入，以生成具有源话语的语言内容的目标说话者的语音。解码器输出的质量通过与由另一对发生器和ADC产生的残余信号进行修补而进一步提高。在初步实验中测试了20个目标说话人集的大小，并且获得了非常好的语音质量。报告常规语音转换度量。我们还表明，说话人的信息已被适当减少的潜在表示。
2018-06-24 cs.CL cs.SD eess.AS
BigVGAN: A Universal Neural Vocoder with Large-Scale Training
Seoul National University（首尔国立大学）；NVIDIA（英伟达）
尽管最近在基于生成对抗网络（GAN）的声码器中取得了进展，其中模型生成以声学特征为条件的原始波形，但是在各种记录环境中为众多扬声器合成高保真音频是具有挑战性的。在这项工作中，我们提出了BigVGAN，一个通用的声码器，以及推广各种出分布的情况下，没有微调。我们在GAN生成器中引入了周期性激活函数和抗锯齿表示，这为音频合成带来了所需的电感偏置，显著提高了音频质量。此外，我们训练我们的GAN声码器在最大规模高达112 M的参数，这是前所未有的文献。我们识别并解决大规模GAN音频训练中的故障模式，同时保持高保真输出而不过度正则化。我们的BigVGAN仅在干净语音（LibriTTS）上进行训练，可在各种zero-shot（分发外）条件下实现最先进的性能，包括看不见的扬声器、语言、录音环境、歌声、音乐和乐器音频。我们发布我们的代码和模型：https://github.com/NVIDIA/BigVGAN
2023-02-16 cs.CL cs.LG cs.SD
Adversarial Training of Denoising Diffusion Model Using Dual Discriminators for High-Fidelity Multi-Speaker TTS
School of Robotics, Kwangwoon University（光云大学机器人学院）
为提升DiffGAN-TTS性能，提出结合扩散判别器与频谱图判别器的双判别器对抗训练语音合成模型，在多项客观与主观指标上优于FastSpeech2等基线。
2023-08-03 cs.LG cs.SD eess.AS
An Adaptive Learning based Generative Adversarial Network for One-To-One Voice Conversion
National Institute of Technology Durgapur（杜尔加布尔国立理工学院）；Indian Statistical Institute（印度统计研究所）
近年来，语音转换（VC）由于其在语音辅助技术、自动电影配音和语音到歌唱转换（仅举几例）中的新兴应用而成为语音合成领域中的重要研究领域。语音转换基本上是在保持语言内容不变的情况下，将说话人的语音风格转换为说话人的语音风格。VC任务通过由语音分析、语音特征映射和语音重构组成的三级流水线来执行。生成对抗网络（GAN）模型是目前广泛使用的语音特征映射模型。在本文中，我们提出了一个自适应学习为基础的GAN模型称为ALGAN-VC的一个有效的一对一VC的发言人。我们的ALGAN-VC框架包括一些方法来提高语音质量和语音相似性之间的源和目标扬声器。该模型采用了一个密集的残差网络（DRN）类似的架构，以有效的语音特征学习的生成器网络，源到目标语音特征转换。我们还集成了自适应学习机制来计算所提出的模型的损失函数。此外，我们使用一个提升的学习率的方法，以提高所提出的模型的学习能力。该模型通过同时使用正向和反向映射来训练一对一VC。该模型在语音转换挑战（VCC）2016年，2018年和2020年数据集以及我们自己准备的语音数据集上进行了测试，该数据集已用印度地区语言和英语记录。生成的语音样本的主观和客观评价表明，该模型优雅地执行语音转换任务，实现高的说话人相似性和足够的语音质量。
2021-04-25 cs.LG cs.SD eess.AS
A framework of text-dependent speaker verification for chinese numerical string corpus
University of Chinese Academy of Sciences（中国科学院大学）
针对文本相关说话人验证易受朗读节奏干扰的问题，提出解耦说话人与文本信息的端到端系统，结合新数据集与增强技术，在两个数据集上实现显著EER降低。
2024-05-21 cs.SD eess.AS
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi（印度理工学院德里分校）
本文提出Prosodic Diff-TTS，通过条件韵律层归一化将风格描述嵌入扩散GAN，在仅4步去噪内实现高保真语音合成，并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
MnTTS2: An Open-Source Multi-Speaker Mongolian Text-to-Speech Synthesis Dataset
Inner Mongolia University（内蒙古大学）
低资源语言的文本转语音（TTS）合成是当前学术界和工业界的一个研究热点。蒙古语是内蒙古自治区的官方语言，也是一种代表性的低资源语言，全球有1000多万人使用。然而，蒙古文TTS的开源数据集相对缺乏。因此，我们公开了一个开源的多说话人蒙古文TTS数据集，命名为MnTTS 2，以供相关研究人员参考。在这项工作中，我们准备了各种主题的转录，并邀请三名专业的蒙古语播音员组成一个三人TTS数据集，其中每个播音员记录了10个小时的蒙古语演讲，总共30小时。此外，我们建立了基于最先进的FastSpeech 2模型和HiFi-GAN声码器的基线系统。实验结果表明，所构建的MnTTS 2数据集足以构建鲁棒的多说话人TTS模型，用于现实世界的应用。MnTTS 2数据集、训练配方和预训练模型发布于：\url{https://github.com/ssmlkl/MnTTS2}
2022-12-11 cs.AI cs.CL eess.AS
Lip to Speech Synthesis with Visual Context Attentional GAN
KAIST（韩国科学技术院）
在本文中，我们提出了一种新的唇到语音生成对抗网络，视觉上下文注意GAN（VCA-GAN），它可以在语音合成过程中联合建模局部和全局嘴唇运动。具体而言，建议VCA-GAN合成语音从本地唇视觉特征，通过找到一个映射函数的视位到音素，而全球视觉上下文被嵌入到中间层的生成器，以澄清的歧义引起的homopolymer映射。为了实现这一点，提出了一个视觉上下文注意模块，它从局部视觉特征编码全局表示，并提供所需的全局视觉上下文对应于给定的粗语音表示的生成器通过视听注意。除了局部和全局视觉表示的显式建模之外，同步学习被引入作为对比学习的一种形式，其引导生成器与给定的输入嘴唇运动同步地合成语音。大量的实验表明，所提出的VCA-GAN优于现有的国家的最先进的，能够有效地合成语音从多个扬声器，几乎没有处理在以前的作品。
2022-04-04 cs.AI cs.CV eess.AS
Facetron: A Multi-speaker Face-to-Speech Model based on Cross-modal Latent Representations
Yonsei University（延世大学）
在本文中，我们提出了一个多说话人的脸到语音波形生成模型，也适用于看不见的说话人的条件。使用生成对抗网络（GAN）与语言和说话人特征作为辅助条件，我们的方法直接将人脸图像转换为语音波形下的端到端的训练框架。使用唇读模型从嘴唇运动中提取语言特征，并且使用具有预训练声学模型的跨模态学习从人脸图像中预测说话人特征特征。由于这两个特征是不相关的和独立控制的，我们可以灵活地合成语音波形的说话人的特征取决于输入的人脸图像。我们表明，我们提出的模型优于传统的方法在客观和主观的评价结果。具体来说，我们评估的语言特征的性能，通过测量其准确性的自动语音识别任务。此外，我们估计扬声器和性别相似性多扬声器和看不见的条件下，分别。我们还使用平均意见得分（MOS）测试和非侵入性客观语音质量评估（NISQA）来评估合成语音波形的自然度。所提出的模型和其他模型的演示样本可以在https://sam-0927.github.io/上获得
2023-03-15 cs.CV cs.LG cs.SD
Language vs Speaker Change: A Comparative Study
本研究对比口语语言变化检测（LCD）与说话人变化检测（SCD）任务，发现LCD需更长时频谱信息，进而探索两类自动LCD方法，验证了增加时频谱时长可提升LCD性能。
2023-10-06 cs.SD eess.AS eess.SP
Generative Adversarial Networks for Unpaired Voice Transformation on Impaired Speech
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
本文主要研究如何利用语音转换（VC）来提高切除部分发音器官的手术患者的语音清晰度。由于数据采集的困难，VC中没有并行数据是非常可取的。虽然已经开发了用于非并行VC的技术，例如CycleGAN，但它们通常专注于转换说话者身份，并直接将一个说话者的语音转换为另一个说话者的语音，因此不解决这里的任务。在本文中，我们提出了一种新的方法，非并行VC。该方法将受损语音转换为正常语音，同时保留语言内容和说话人特征。据我们所知，这是第一个应用于受损语音的端到端基于GAN的无监督VC模型。实验结果表明，该方法优于CycleGAN。
2019-08-22 cs.LG cs.SD eess.AS
DSPGAN: a GAN-based universal vocoder for high-fidelity TTS by time-frequency domain supervision from DSP
Northwestern Polytechnical University（西北工业大学）；TAL Education Group（好未来集团）
本文提出DSPGAN，一种基于GAN的通用神经声码器，通过引入来自DSP模块的时频域监督和正弦激励时域监督，解决训练与推理阶段频谱不匹配问题，实现跨说话人、语言和风格的高保真语音合成。
2023-05-28 cs.SD eess.AS
A Cycle-GAN Approach to Model Natural Perturbations in Speech for ASR Applications
TCS Research（塔塔咨询服务公司研究院）
由说话人的情绪和身体状态引起的音频信号中自然引入的扰动会显著降低自动语音识别（ASR）系统的性能。在本文中，我们提出了一个基于循环一致生成对抗网络（CycleGAN）的前端，它将自然扰动语音转换为正常语音，从而提高了ASR系统的鲁棒性。CycleGAN模型在扰动和正常语音的非平行示例上进行训练。在自发笑声语音和吱吱声语音数据集上的实验表明，与直接使用原始扰动语音相比，使用从基于CycleGAN的前端获得的语音，四种不同的ASR系统的性能得到改善。可视化的笑声扰动语音的功能和所提出的前端产生的进一步证明了我们的方法的有效性。
2019-12-18 cs.CL cs.SD eess.AS
WhisperVC: Decoupled Cross-Domain Alignment and Speech Generation for Low-Resource Whisper-to-Normal Conversion
Wuhan University（武汉大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；OPPO
WhisperVC通过解耦跨域对齐与语音生成，实现低资源条件下的语音到正常语音转换，提升语音质量与语音相似度。
2026-07-21 eess.AS
Personalized Adversarial Data Augmentation for Dysarthric and Elderly Speech Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出基于说话人相关GAN的数据增强方法，通过建模正常与构音障碍及老年人语音的细粒度差异来生成增强数据，在四个数据集上显著降低了ASR系统的词错率。
2022-06-24 cs.AI eess.AS
DarkStream: real-time speech anonymization with low latency
Engineering Texas A\&M University College Station, US
本研究提出流式语音合成模型DarkStream，通过因果编码器、神经声码器及GAN伪嵌入实现低延迟实时语音匿名化，在接近随机的验证错误率下保持可接受的语音可懂度，为隐私语音通信提供实用方案。
2025-09-04 cs.CL cs.LG eess.AS
