HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
EffiFusion-GAN: Efficient Fusion Generative Adversarial Network for Speech Enhancement
Universiti Sains Malaysia（马来西亚理科大学）
该研究提出轻量高效的语音增强模型EffiFusion-GAN，通过多尺度块深度可分离卷积、增强注意力机制及动态剪枝优化性能与效率，在VoiceBank+DEMAND数据集上获3.45的PESQ得分，优于同参数现有模型。
2025-08-20 cs.AI cs.SD eess.AS
Unrestricted Global Phase Bias-Aware Single-channel Speech Enhancement with Conformer-based Metric GAN
Waseda University（早稻田大学）；NTT Coporation（NTT公司）
针对神经网络增强相位谱效果不佳的问题，提出允许全局相位偏置的相位重建优化方法，应用于CMGAN基线模型，在无额外计算开销下实现了最先进的单通道语音增强性能。
2024-06-04 cs.SD eess.AS
Time-domain Speech Enhancement with Generative Adversarial Learning
Harbin Engineering University（哈尔滨工程大学）；ByteDance（字节跳动）；University of Surrey（萨里大学）
语音增强的目的是从含噪语音中获得高清晰度和高质量的语音信号。最近的工作已经证明了时域深度学习方法（如Conv-TasNet）的出色性能。然而，这些方法可以退化的任意尺度的波形引起的尺度不变的信噪比（SI-SNR）的损失。本文提出了一种新的时域语音增强生成对抗网络（TSE GAN）框架，它是生成对抗网络（GAN）在时域上的扩展，具有度量评估功能，以减轻缩放问题，并提供模型训练稳定性，从而实现性能改进。此外，本文还提出了一种基于目标函数映射的度量GAN性能理论分析方法，并解释了其优于Wasserstein GAN的原因。实验结果表明了该方法的有效性，说明了度量GAN的优越性.
2021-09-19 cs.LG cs.SD eess.AS
Improved Normalizing Flow-Based Speech Enhancement using an All-pole Gammatone Filterbank for Conditional Input Representation
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
近年来，用于语音增强（SE）的深度生成模型受到越来越多的关注。最突出的例子是生成对抗网络（GANs），而规范化流（NF）尽管有潜力，但受到的关注较少。在以前的工作的基础上，提出了架构修改，以及不同的条件输入表示的调查。尽管在相关的工作中是一个常见的选择，梅尔频谱证明是不够的给定的情况下。另外，提出了一种新的具有高时间分辨率的全极点伽玛通滤波器组（APG）。虽然计算评估指标结果表明，最先进的基于GAN的方法性能最好，但通过收听测试进行的感知评估表明，所提出的NF方法（基于时域和APG）性能最好，特别是在较低的SNR下。平均而言，APG输出被评为具有良好的质量，这是其他方法（包括GAN）无法比拟的。
2022-10-21 cs.SD eess.AS
Transformation of low-quality device-recorded speech to high-quality speech using improved SEGAN model
National Institute of Informatics（信息学研究所）；University of Edinburgh（爱丁堡大学）
如今，大量的语音数据是从低质量的记录设备（如智能手机、平板电脑、笔记本电脑和中等质量的麦克风）中记录的。本研究的目的是研究从低质量的设备记录的语音中自动生成高质量的语音，然后可以应用于许多语音生成任务。在本文中，我们首先介绍了我们新的设备记录的语音数据集，然后提出了一种改进的端到端的方法，自动转换低质量的设备记录的语音到专业的高质量的语音。我们的方法是基于生成对抗网络（GAN）的语音增强模型（称为语音增强GAN（SE GAN））的扩展，我们提出了两个修改，使模型训练更强大和稳定。最后，从一个大规模的听力测试，我们表明，我们的方法可以显着提高设备记录的语音信号的质量。
2019-11-20 cs.SD eess.AS
CycleGAN-based Non-parallel Speech Enhancement with an Adaptive Attention-in-attention Mechanism
State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室）；Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动研究重点实验室）
由于在实际应用中缺乏足够的带噪和成对的干净语音语料，非并行训练是基于DNN的语音增强方法的一个困难但必不可少的任务。在本文中，我们提出了一种新的自适应注意中注意CycleGAN（AIA-CycleGAN）的非并行语音增强。在以前的基于CycleGAN的非并行语音增强方法中，生成器有限的映射能力可能会导致性能下降和特征学习不足。为了减轻这种退化，我们提出了一个自适应时频注意力（ATFA）和自适应分层注意力（AHA）的整合，形成一个注意力（AIA）模块，在映射过程中更灵活的特征学习。更具体地说，ATFA可以捕获更有效的特征表示的长距离的时间-频谱上下文信息，而AHA可以灵活地聚合不同的AFTA的中间输出特征图的自适应注意力权重取决于全球范围内。大量的实验结果表明，该方法在非并行训练中始终比以前的基于GAN和基于CycleGAN的方法具有更优越的性能。此外，并行训练实验验证了所提出的AIA-CycleGAN也优于最先进的基于GAN和基于Non-GAN的语音增强方法，特别是在保持语音完整性和减少语音失真方面。
2021-09-14 cs.SD eess.AS
A Flow-Based Neural Network for Time Domain Speech Enhancement
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
语音增强涉及目标语音信号与干扰背景的区分。尽管近年来使用变分自编码器或生成对抗网络（GANs）的生成方法越来越多地被使用，但基于归一化流（NF）的系统仍然很少，尽管它们在相关领域取得了成功。因此，在本文中，我们提出了一个NF框架，直接建模的增强过程中的密度估计干净的语音话语的条件下，他们的嘈杂的同行。来自语音合成的WaveGlow模型适于使得能够在时域中直接增强有噪声的话语。此外，我们还证明了非线性输入压扩通过均衡输入样本的分布来提高模型性能。对公开数据集的实验评估显示，与当前最先进的基于GAN的方法相比，结果相当，同时使用客观评估指标超越了所选基线。
2021-06-16 cs.SD eess.AS
Study of Lightweight Transformer Architectures for Single-Channel Speech Enhancement
IDLab, Department of Electronics and Information Systems（ID实验室，电子与信息系统系）
本文提出了一种轻量级因果变换器架构LCT-GAN，通过改进的频谱和时序建模，在保持高性能的同时显著降低计算开销。
2025-05-27 cs.SD eess.AS
Single channel speech enhancement by colored spectrograms
University of Engineering and Technology, Peshawar（白沙瓦工程技术大学）；College of Engineering, Qatar University（卡塔尔大学工程学院）；National Center of Artificial Intelligence（国家人工智能中心）
本文提出基于彩色频谱图和 pix2pix GAN 的单通道语音增强方法，以极低计算成本取得与基线相当的 PESQ 和 STOI 提升。
2023-10-26 cs.SD eess.AS
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab（vivo人工智能实验室）；Trinity College Dublin（都柏林大学三一学院）
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响，因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架，涉及语音增强的视觉信息，通过结合生成对抗网络（GAN）。具体地说，提出的视觉语音增强GAN由两个以对抗方式训练的网络组成：i）一个采用多层特征融合卷积网络增强输入含噪语音的生成器，ii）一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明，该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
Improving GANs for Speech Enhancement
Queen Mary University of London（伦敦玛丽女王大学）；Singapore Institute of Technology（新加坡理工学院）；University of Kent（肯特大学）；University of Oxford（牛津大学）；KU Leuven（鲁汶大学）；University of Lübeck（吕贝克大学）；Leuven.AI - KU Leuven institute for AI（鲁汶大学人工智能研究所）
生成对抗网络（GAN）最近被证明是有效的语音增强。然而，大多数（如果不是全部的话）现有的语音增强GANs（SEGAN）利用单个生成器来执行一级增强映射。在这项工作中，我们建议使用多个生成器，链接执行多级增强映射，逐步细化的噪声输入信号在一个阶段的方式。此外，我们研究了两种情况：（1）发电机共享其参数和（2）发电机的参数是独立的。前者约束生成器学习在所有增强阶段迭代应用的公共映射，并导致小的模型占用空间。相反，后者允许生成器在网络的不同阶段灵活地学习不同的增强映射，代价是增加模型大小。我们证明了所提出的多阶段增强方法优于单阶段SEGAN基线，其中独立发电机比捆绑发电机导致更有利的结果。源代码可在http://github.com/pquochuy/idsegan上获得。
2020-09-12 cs.LG cs.SD eess.AS
QC-GAN: A Parameter-Efficient Quaternion Conformer GAN for High-Fidelity Speech Enhancement
The Asahi Shimbun Company（朝日新闻社）；Tokyo Woman's Christian University（东京女子基督教大学）
提出参数高效的QC-GAN，结合四元数Conformer生成器和MetricGAN训练，通过汉密尔顿积共享权重减少参数量，在VoiceBank+DEMAND上以0.89M参数达到PESQ 3.48，性能媲美两倍大小模型。
2026-06-19 cs.AI cs.LG cs.SD
CMGAN: Conformer-based Metric GAN for Speech Enhancement
University of Stuttgart（斯图加特大学）
本文提出CMGAN，在时频域利用两阶段Conformer块聚合幅度与复数频谱信息，并结合度量判别器优化生成器，在Voice Bank+DEMAND数据集上取得PESQ 3.41和SSNR 11.10 dB的领先语音增强性能。
2024-03-03 cs.AI cs.LG cs.SD
SE-MelGAN -- Speaker Agnostic Rapid Speech Enhancement
SYSTEM CORP.（系统公司）
语音合成领域[3]、[2]中生成对抗网络的最新进展表明，可以以可靠的方式训练GANs [8]，以从梅尔频谱图生成高质量的相干波形。我们提出，有可能将MelGAN [3]在学习语音特征方面的鲁棒性转移到语音增强和降噪领域，而无需任何模型修改任务。我们提出的方法推广到多说话人语音数据集，并能够鲁棒地处理看不见的背景噪声在推理。此外，我们表明，通过增加这种特定方法的批量大小，不仅会产生更好的语音结果，而且很容易在多说话人数据集上推广，并导致更快的收敛。此外，它在两个领域优于用于语音增强SE GAN [5]的现有技术GAN方法：1.质量; 2.速度所提出的方法在GPU上的运行速度比实时快100倍以上，在CPU上的运行速度比实时快2倍以上，无需任何硬件优化任务，与MelGAN的速度相当[3]。
2020-06-13 cs.CL cs.SD eess.AS
On the Use of Audio Fingerprinting Features for Speech Enhancement with Generative Adversarial Network
McGill University（麦吉尔大学）；Concordia University（康考迪亚大学）
语音增强中基于学习的方法的出现已经恢复了对鲁棒且可靠的训练特征的需要，所述训练特征能够在保留语音信号的重要信息的同时对语音信号进行压缩表示。时间-频率域特征，例如短期傅里叶变换（STFT）和梅尔频率倒谱系数（MFCC），在许多方法中是优选的。虽然MFCC提供了紧凑的表示，但它们忽略了每个梅尔尺度子带中的能量的动态和分布。在这项工作中，语音增强系统的生成对抗网络（GAN）的基础上实现和测试的音频指纹（AFP）的功能从MFCC和归一化频谱子带质心（NSSC）的组合。NSSC捕获语音共振峰的位置，并以关键的方式补充MFCC。在不同说话人和噪声类型的实验中，基于GAN的语音增强与所提出的AFP特征组合实现了最佳的客观性能，同时减少了内存需求和训练时间。
2020-07-27 cs.LG cs.SD eess.AS
Towards Generalized Speech Enhancement with Generative Adversarial Networks
Amazon Research（亚马逊研究院）
语音增强的任务通常包括去除加性噪声或混响，这些噪声或混响部分掩盖了口语，影响了它们的可懂度。然而，很少有人注意到其他的，也许更积极的信号失真，如削波，块消除，或频带去除。这种失真不仅对可懂度，而且对自然度甚至说话人身份都有很大的影响，并且需要仔细的信号重建。在这项工作中，我们充分考虑了这种广义的语音增强任务，并表明它可以用时域生成对抗网络（GAN）来解决。特别是，我们扩展了以前的基于GAN的语音增强系统，以处理四种类型的侵略性失真的混合物。首先，我们提出了一个对抗性的声学回归损失，促进了更丰富的特征提取的边缘。其次，我们还使用了两步对抗训练计划，作为热身和微调序列。客观和主观评价表明，这两个增加带来了改进的语音重建，更好地匹配原始扬声器的身份和自然。
2019-04-06 cs.LG cs.SD eess.AS
MetricGAN: Generative Adversarial Networks based Black-box Metric Scores Optimization for Speech Enhancement
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
条件生成对抗网络（GAN）中的对抗性损失并不被设计为直接优化目标任务的评估度量，因此可能并不总是引导GAN中的生成器生成具有改进的度量分数的数据。为了克服这个问题，我们提出了一种新的MetricGAN方法，旨在优化生成器的一个或多个评估指标。此外，基于MetricGAN，生成数据的度量分数也可以由用户任意指定。我们在语音增强任务上测试了所提出的MetricGAN，这特别适合于验证所提出的方法，因为存在测量语音信号的不同方面的多个度量。此外，这些指标通常是复杂的，并且不能通过Lp或传统的对抗性损失来完全优化。
2019-05-13 cs.LG cs.SD eess.AS
Speech Dereverberation Using Fully Convolutional Networks
Bar-Ilan University（巴伊兰大学）
本文讨论了使用单个麦克风的语音derverberation。最近的成功的全卷积网络（FCN）在许多图像处理应用的动机，我们调查他们的适用性，以增强语音信号表示的短时傅里叶变换（STFT）的图像。我们提出两种变化：一个“U-Net”，它是一个具有跳跃连接的编码器-解码器网络，以及一个具有U-Net作为生成器的生成对抗网络（GAN），它产生了一个更直观的代价函数用于训练。为了评估我们的方法，我们使用了来自REVERB挑战的数据，并将我们的结果与相同条件下的其他方法进行了比较。我们已经发现，我们的方法优于竞争的方法在大多数情况下。
2019-04-03 cs.SD eess.AS
Attention does not guarantee best performance in speech enhancement
Key Laboratory of Modern Acoustics, Nanjing University（南京大学现代声学重点实验室）；NJU-Horizon Intelligent Audio Lab, Horizon Robotics（南京大学-地平线智能音频实验室，地平线机器人）；Nanjing Institute of Advanced Artificial Intelligence（南京先进人工智能研究院）
注意力机制在理论上能够有效地模拟信号在时域和谱域的长期内在联系，因此在语音增强中得到了广泛的应用。然而，通常使用的全局注意力机制可能不是最好的选择，因为在语音增强中，相邻信息自然比相距较远的信息施加更大的影响。在本文中，我们通过在两个典型的最先进的（SOTA）模型中用RNN替换注意力来验证这一猜想，即具有轴向注意力的多尺度时间频率卷积网络（MTFAA）和基于一致性的度量GAN网络（CMGAN）。
2023-02-11 cs.SD eess.AS
CMGAN: Conformer-Based Metric-GAN for Monaural Speech Enhancement
Institute of Signal Processing and System Theory, University of Stuttgart（斯图加特大学信号处理与系统理论研究所）
本文提出CMGAN模型，通过深入消融研究和架构改进，在去噪、去混响和超分辨率三大语音增强任务上超越现有最先进方法，并首次尝试复杂TF域超分辨率。
2024-05-03 cs.AI cs.LG cs.SD
FINALLY: fast and universal speech enhancement with studio-like quality
Samsung Research（三星研究院）
针对真实录音的语音增强难题，该研究基于GAN理论分析，结合WavLM感知损失与MS-STFT对抗训练，在HiFi++架构基础上构建了FINALLY模型，实现48kHz工作室级音质的快速通用语音增强，性能达当前最优。
2024-10-31 cs.AI cs.SD eess.AS
Self-Attention Generative Adversarial Network for Speech Enhancement
Queen Mary University of London（伦敦玛丽女王大学）；HCMC University of Technology（胡志明市工业大学）；University of Oxford（牛津大学）；Singapore Institute of Technology（新加坡理工学院）
现有的用于语音增强的生成对抗网络（GANs）仅依赖于卷积运算，这可能会模糊序列输入的时间依赖性。为了解决这个问题，我们提出了一个自注意力层适应非本地注意力，再加上卷积和卷积层的语音增强GAN（SE GAN）使用原始信号输入。此外，我们经验性地研究了将自我注意力层放置在具有不同层索引的（去）卷积层以及在内存允许的情况下放置在所有卷积层的效果。我们的实验表明，引入自我注意SEGAN导致一致的改进，在增强性能的客观评价指标。此外，应用于不同的卷积（解）层不会显著改变性能，这表明它可以方便地应用于最高级别的卷积（解）层，具有最小的内存开销。
2021-02-06 cs.LG cs.SD eess.AS
Spoken Speech Enhancement using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们演示了使用生成对抗网络（GAN）为基础的模型，门控递归单元（GRU）回归为基础的模型，时间卷积网络（TCN）回归模型，最后使用混合TCN GRU回归模型使用脑电图（EEG）信号的语音增强。我们比较了我们的基于EEG的语音增强的结果与传统的对数最小均方误差（MMSE）语音增强算法和我们提出的方法表现出显着的改善语音增强质量相比，传统的方法。我们的总体结果表明，EEG功能可以用来清洁语音记录在存在背景噪声。据我们所知，这是第一次口头语音增强证明使用EEG功能记录在并行与口头讲话。
2020-04-19 cs.LG cs.SD eess.AS
Coarse-to-fine Optimization for Speech Enhancement
Apple Inc.（苹果公司）
在本文中，我们提出了由粗到细的优化语音增强的任务。余弦相似性损失[1]已被证明是衡量语音信号相似性的有效度量。然而，由于在高维空间中即使具有相同的余弦相似性损失的增强语音的大方差，利用该损失学习的深度神经网络可能无法预测具有良好质量的增强语音。我们的粗到细的策略优化了不同粒度的余弦相似性损失，使更多的约束被添加到从高维到相对低维的预测。以这种方式，增强的语音将更好地类似于干净的语音。实验结果表明，我们提出的粗到精的优化在判别模型和生成模型的有效性。此外，我们将粗到细的策略应用到生成对抗网络（GAN）中的对抗损失，并提出了动态感知损失，它动态地计算从粗分辨率到细分辨率的对抗损失。与其他生成模型相比，动态感知损失进一步提高了准确性，并实现了最先进的结果。
2019-08-21 cs.LG cs.SD eess.AS
AeGAN: Time-Frequency Speech Denoising via Generative Adversarial Networks
University of Stuttgart（斯图加特大学）
自动语音识别（ASR）系统在诸如语音到文本处理和语言翻译的常见任务中是至关重要的。这就需要一个能够在现实拥挤环境中运行的ASR系统。因此，语音增强是ASR系统和诸如助听器、智能电话和电话会议系统的其他应用中的有价值的构建块。在本文中，生成对抗网络（GAN）为基础的框架进行了研究的语音增强的任务，更具体地说，语音去噪的音轨。基于CasNet生成器的新架构和额外的基于特征的损失被合并以获得逼真的去噪语音。最后，所提出的框架被证明优于其他学习和传统的基于模型的语音增强方法。
2020-06-06 cs.LG cs.NE cs.SD
IR-GAN: Room Impulse Response Generator for Far-field Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）
提出了一种基于生成对抗网络（GAN）的房间脉冲响应生成器（IR-GAN），用于生成真实的合成房间脉冲响应（RIR）。IR-GAN从捕获的真实世界RIR中提取声学参数，并使用这些参数生成新的合成RIR。我们使用这些生成的合成RIR来提高远场自动语音识别在新的环境中，是不同的训练数据集中使用的。特别是，我们通过将我们的合成RIR与干净的LibriSpeech数据集进行卷积来增强远场语音训练集。我们在使用来自BUT ReverbDB和AIR数据集的真实世界RIR创建的真实世界LibriSpeech测试集上评估了我们的合成RIR的质量。在远场语音识别基准测试中，我们的IR-GAN报告的出错率比几何声学模拟器（GAS）低8.95%。当我们将我们的合成RIR与使用GAS生成的合成脉冲响应相结合时，我们进一步提高了性能。在远场语音识别基准测试中，这种组合可以将单词出错率降低高达14.3%。
2021-04-06 cs.SD eess.AS
Study of GANs for Noisy Speech Simulation from Clean Speech
Manipal Institute of Technology（马尼帕尔理工学院）；Nanyang Technological University（南洋理工大学）；Indian Institute of Technology, Indore（印度理工学院印多尔分校）
针对纯净语音模型在带噪条件下性能下降的问题，提出四种GAN模拟带噪语音，在约3分钟小数据集上于RATS等三个数据集的MSSL指标取得22.8%至55.8%的提升。
2023-05-21 cs.SD eess.AS
Glow-WaveGAN: Learning Speech Representations from GAN-based Variational Auto-Encoder For High Fidelity Flow-based Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
当前的两阶段TTS框架通常将声学模型与声码器集成-声学模型预测诸如Mel频谱的低分辨率中间表示，而声码器从中间表示生成波形。虽然中间表示作为一个桥梁，仍然存在的声学模型和声码器之间的关键不匹配，因为它们通常是分开学习和工作在不同的分布的表示，导致不可避免的人工合成的语音。在这项工作中，不同于使用预先设计的中间表示在大多数以前的研究中，我们提出使用VAE结合GAN直接从语音学习的潜在表示，然后利用基于流的声学模型来模拟的潜在表示从文本的分布。通过这种方式，当两个阶段在相同的分布上工作时，不匹配问题被迁移。结果表明，基于流的声学模型可以准确地模拟我们学习的语音表示的分布，并且所提出的TTS框架，即Glow-WaveGAN，可以产生高保真语音，优于最先进的基于GAN的模型。
2021-06-22 cs.SD eess.AS
Adversarial Data Augmentation Using VAE-GAN for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件，往往与共同发生的身体残疾，导致难以收集大量的受损语音所需的ASR系统的发展。本文提出了一种新的变分自动编码器生成对抗网络（VAE-GAN）的个性化的无序语音增强方法，同时学习编码，生成和歧视合成受损语音。单独的潜在功能，推导出学习构音障碍的语音特征和音素上下文表示。还包含了自我监督的预训练Wav 2 vec 2.0嵌入功能。在UASpeech语料库上进行的实验表明，所提出的对抗性数据增强方法始终优于基线速度扰动和非VAE GAN增强方法，具有训练的混合TDNN和端到端Conformer系统。在LHUC扬声器自适应之后，使用基于VAE-GAN的增强的最佳系统在16个构音障碍扬声器的UASpeech测试集上产生了27.78%的总体WER，并且在具有“非常低”可懂度的扬声器子集上产生了57.31%的最低公布WER。
2023-03-19 cs.SD eess.AS
PostGAN: A GAN-Based Post-Processor to Enhance the Quality of Coded Speech
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
通过变换编码进行编码的语音质量受到各种伪像的影响，特别是当用于消除频率分量的比特率变得太低时。为了减轻这些编码伪像并提高编码语音的质量，传统上在解码器侧采用依赖于从编码器发送的先验信息的后处理器。近年来，一些数据驱动的后后处理器已被提出，表现出优于传统的方法。在本文中，我们提出了PostGAN，这是一种基于GAN的神经后处理器，它在子带域中运行，依赖于U-Net架构和学习的仿射变换。它已在最近标准化的低复杂度，低延迟蓝牙编解码器（LC 3）的宽带语音在最低比特率（16 kbit/s）进行了测试。主观评价和客观分数表明，新引入的后处理器超过以前公布的方法，可以提高编码语音的质量约20个MUSHRA点。
2022-01-31 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology（依图科技）；National University of Singapore（新加坡国立大学）
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统，通过保持原始话语中的内容并替换为来自目标说话者的声音特征，将源说话者的话语转换为目标说话者的另一话语。现有的解决方案，例如，StarGAN-VC 2，目前有希望的结果，只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换，但它需要一个外部的预先训练的说话者验证模型。在本文中，我们提出了我们新的基于GAN的zero-shot语音转换解决方案，称为GAZEV，其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失，以及自适应实例归一化策略，以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明，输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
RSD-GAN: Regularized Sobolev Defense GAN Against Speech-to-Text Adversarial Attacks
Fédération des Caisses Desjardins du Québec（魁北克德雅尔丹储蓄信贷联盟）
本文介绍了一种新的基于合成的防御算法，用于对抗各种对抗攻击，这些攻击是为了挑战尖端的语音到文本转录系统的性能而开发的。我们的算法实现了一个基于Sobolev的GAN，并提出了一种新的正则化器，用于有效地控制整个生成模型的功能，特别是在训练过程中的神经网络。我们在受害者DeepSpeech、Kaldi和Lingvo语音转录系统上进行了大量实验，取得的结果证实了我们的防御方法在针对性和非针对性对抗攻击方面的卓越性能。
2022-09-24 cs.LG cs.SD eess.AS
Source-Filter-Based Generative Adversarial Neural Vocoder for High Fidelity Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于声源-滤波器的生成对抗神经声码器SF-GAN，通过引入F0激励信号结合多分辨率卷积滤波器重建波形，在AS和TTS任务中超越HiFi-GAN和Fre-GAN，合成质量媲美真实音频。
2023-04-26 cs.SD eess.AS
Speech-to-Singing Conversion based on Boundary Equilibrium GAN
National Taiwan University（国立台湾大学）
本文研究了使用生成对抗网络（GAN）为基础的模型转换语音信号的频谱图到一个唱歌的，而不参考的音素序列的语音。这是通过将语音到歌唱转换视为风格转换问题来实现的。具体而言，给定语音输入，以及可选的目标歌唱的F0轮廓，所提出的模型生成作为输出的歌唱信号与渐进增长的编码器/解码器架构和边界平衡GAN损失函数。我们的定量和定性分析表明，该模型生成的歌声比现有的非对抗训练的基线具有更高的自然度。为了可重复性，代码将在纸质出版后在GitHub存储库中公开提供。
2020-08-05 cs.LG cs.SD eess.AS
VAW-GAN for Disentanglement and Recomposition of Emotional Elements in Speech
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换（EVC）的目的是将语音的情感从一种状态转换到另一种状态，同时保持语言内容和说话人身份。本文利用变分自编码Wasserstein生成对抗网络（VAW-GAN）研究语音中情感成分的分解和重组。我们提出了一种基于VAW-GAN的说话人相关EVC框架，该框架包括两个VAW-GAN管道，一个用于频谱转换，另一个用于韵律转换。我们训练一个频谱编码器，解开情感和韵律（F0）的信息从频谱特征，我们也训练韵律编码器，解开情感调制的韵律（情感韵律）从语言韵律。在运行时，频谱VAW-GAN的解码器以韵律VAW-GAN的输出为条件。声码器采用转换后的频谱和韵律特征来生成目标情感语音。实验验证了我们提出的方法在客观和主观评价的有效性。
2020-11-03 cs.CL cs.SD eess.AS
Investigating Generative Adversarial Networks based Speech Dereverberation for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
我们研究了生成对抗网络（GANs）在语音去混响中的使用，以实现鲁棒的语音识别。最近已经研究了GANs用于语音增强以去除加性噪声，但是仍然缺乏研究它们在语音去混响中的能力的工作，并且使用GANs的优点还没有完全建立。在本文中，我们对ASR中基于GAN的去混响前端的使用进行了深入的研究。首先，我们研究了不同去混响网络（GAN中的生成器）的有效性，并发现LSTM在我们的数据集中与前馈DNN和CNN相比有显著的改进。其次，在深层LSTM中进一步添加剩余连接也可以提高性能。最后，我们发现，对于GAN的成功，重要的是在训练期间使用相同的小批量数据更新生成器和训练器。此外，使用混响声谱图作为一个条件，在以前的研究中建议，可能会降低性能。总之，当在强多条件训练声学模型上进行测试时，与基线DNN去混响网络相比，我们基于GAN的去混响前端实现了14%-19%的相对CER减少。
2018-10-25 cs.CL cs.SD eess.AS
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
GAN You Hear Me? Reclaiming Unconditional Speech Synthesis from Diffusion Models
Stellenbosch University（斯泰伦博斯大学）
我们提出了AudioStyleGAN（ASGAN），一种新的生成对抗网络（GAN），用于无条件语音合成。与StyleGAN系列图像合成模型一样，ASGAN将采样的噪声映射到一个解纠缠的潜在向量，然后将其映射到一系列音频特征，以便在每一层抑制信号混叠。为了成功地训练ASGAN，我们引入了一些新的技术，包括修改自适应增强的概率跳过更新。ASGAN在Google Speech Commands数据集上实现了最先进的无条件语音合成结果。它也比性能最好的扩散模型快得多。通过鼓励解开的设计，ASGAN能够执行语音转换和语音编辑，而无需经过明确的训练。ASGAN证明了GANs与扩散模型相比仍然具有很强的竞争力。代码，模型，样品：https://github.com/RF5/simple-asgan/.
2022-10-11 cs.AI cs.SD eess.AS
Improving EEG based continuous speech recognition using GAN
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们证明了它是可能的，以产生更有意义的脑电图（EEG）的原始特征使用生成对抗网络（GAN），以提高基于EEG的连续语音识别系统的性能。我们改进了作者在[1]中证明的结果，对于某些测试时间实验，我们使用他们的数据集，对于其他情况，我们的结果与他们的结果相当。我们提出的方法可以在不使用任何附加传感器信息的情况下实现，而在[1]中，作者使用了声学或发音信息等附加特征来提高基于EEG的连续语音识别系统的性能。
2020-05-29 cs.LG cs.SD eess.AS
Speaking-Rate-Controllable HiFi-GAN Using Feature Interpolation
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；National Institute of Information and Communications Technology（日本信息与通信技术研究所）
本文提出了一种语速可控的HiFi-GAN神经声码器。原始HiFi-GAN是一种高保真度、计算效率高且占用空间小的神经声码器。我们试图将一个说话速率控制功能到HiFi-GAN，以提高合成语音的可访问性。该方法在HiFi-GAN架构中插入可微插值层。该方法采用了信号重构和图像缩放两种方法，对神经元声码器的梅尔谱图或隐藏特征进行变形。我们还设计并开源了一个包含三种说话速率的日语语音语料库，以评估所提出的说话速率控制方法。综合客观和主观评价的实验结果表明：1）所提出的方法在语音自然度方面优于基线时间尺度修改算法; 2）在所有提出的方法中，通过图像缩放来扭曲梅尔频谱图获得了最佳性能; 3）所提出的说话速率控制方法可以在不损失计算效率的情况下并入HiFi-GAN。
2022-04-22 cs.SD eess.AS
GANtron: Emotional Speech Synthesis with Generative Adversarial Networks
Maastricht University（马斯特里赫特大学）
语音合成广泛应用于各种行业。尽管如此，它总是听起来平淡或机器人。允许韵律控制的现有技术方法使用起来非常麻烦，并且不允许容易的调谐。为了解决其中的一些缺点，在这项工作中，我们的目标是实现一个文本到语音模型，其中推断的语音可以调整所需的情绪。为此，我们使用生成对抗网络（GANs）以及使用注意力机制的序列到序列模型。我们评估了四种不同的配置，考虑不同的输入和训练策略，研究它们，并证明我们的最佳模型如何生成与初始训练数据集分布相同的语音文件。此外，提出了一种新的策略，以提高训练的收敛性，通过应用引导的注意力损失。
2021-10-06 cs.AI cs.SD eess.AS
A Post Auto-regressive GAN Vocoder Focused on Spectrum Fracture
生成对抗网络（GANs）在实时语音合成中的应用显示了其优越性。然而，它们中的大多数使用深度卷积层作为其骨干，这可能导致先前信号信息的缺失。然而，语音信号的生成在其重构中总是需要在前的波形样本，因为缺少这一点会导致生成的语音中的伪像。为了解决这一矛盾，本文提出了一种改进的模型：一个后自回归（AR）GAN声码器与自注意层，其中合并的自注意在AR循环。它不会参与推理，但可以帮助生成器在训练中学习帧内的时间依赖性。此外，还进行了消融研究，以确认每个部件的贡献。系统的实验表明，我们的模型导致了一致的改善客观和主观的评价性能。
2023-02-16 cs.SD eess.AS
A Cycle-GAN Approach to Model Natural Perturbations in Speech for ASR Applications
TCS Research（塔塔咨询服务公司研究院）
由说话人的情绪和身体状态引起的音频信号中自然引入的扰动会显著降低自动语音识别（ASR）系统的性能。在本文中，我们提出了一个基于循环一致生成对抗网络（CycleGAN）的前端，它将自然扰动语音转换为正常语音，从而提高了ASR系统的鲁棒性。CycleGAN模型在扰动和正常语音的非平行示例上进行训练。在自发笑声语音和吱吱声语音数据集上的实验表明，与直接使用原始扰动语音相比，使用从基于CycleGAN的前端获得的语音，四种不同的ASR系统的性能得到改善。可视化的笑声扰动语音的功能和所提出的前端产生的进一步证明了我们的方法的有效性。
2019-12-18 cs.CL cs.SD eess.AS
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi（印度理工学院德里分校）
本文提出Prosodic Diff-TTS，通过条件韵律层归一化将风格描述嵌入扩散GAN，在仅4步去噪内实现高保真语音合成，并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
JETS: Jointly Training FastSpeech2 and HiFi-GAN for End to End Text to Speech
Kakao Enterprise Corporation（Kakao企业公司）
在神经文语转换（TTS）中，两阶段系统或级联的独立学习模型已经显示出接近人类语音的合成质量。例如，FastSpeech 2将输入文本转换为mel频谱图，然后HiFi-GAN从mel频谱图生成原始波形，它们分别被称为声学特征生成器和神经声码器。然而，他们的训练管道有点麻烦，因为它需要微调和准确的语音文本对齐以获得最佳性能。在这项工作中，我们提出了端到端的文本到语音（E2 E-TTS）模型，该模型具有简化的训练管道，并且优于单独学习的级联模型。具体来说，我们提出的模型是联合训练的FastSpeech 2和HiFi-GAN与对齐模块。由于训练和推理之间没有声学特征不匹配，因此不需要微调。此外，我们通过在我们的联合训练框架中采用对齐学习目标来消除对外部语音文本对齐工具的依赖。在LJSpeech语料库上的实验表明，该模型在主观评价（MOS）和部分客观评价方面优于现有的ESPNet 2-TTS实现。
2022-07-01 cs.LG cs.SD eess.AS
Exploring Speech Enhancement with Generative Adversarial Networks for Robust Speech Recognition
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
我们研究了生成对抗网络（GANs）用于语音增强的有效性，在提高自动语音识别（ASR）系统的噪声鲁棒性的背景下。先前的工作表明，GANs可以有效地抑制原始波形语音信号中的加性噪声，提高感知质量指标;然而，这种技术在ASR的背景下并不合理。在这项工作中，我们进行了详细的研究，以衡量GANs在增强受加性和混响噪声污染的语音的有效性。受图像处理最新进展的启发，我们提出在log-Mel滤波器组谱而不是波形上操作GANs，这需要更少的计算，并且对混响噪声更具鲁棒性。虽然GAN增强提高了干净训练的ASR系统对噪声语音的性能，但它达不到传统多风格训练（MTR）所实现的性能。通过将GAN增强功能附加到噪声输入和再训练，我们实现了相对于MTR系统7%的WER改善。
2018-10-31 cs.LG cs.NE cs.SD
RAF: Relativistic Adversarial Feedback For Universal Speech Synthesis
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出相对论对抗反馈（RAF）训练目标，通过自监督语音模型和相对论配对改进GAN声码器的域内保真度和泛化能力，在参数减少88%的情况下超越LSGAN训练的BigVGAN。
2026-06-11 cs.SD eess.AS
DSPGAN: a GAN-based universal vocoder for high-fidelity TTS by time-frequency domain supervision from DSP
Northwestern Polytechnical University（西北工业大学）；TAL Education Group（好未来集团）
本文提出DSPGAN，一种基于GAN的通用神经声码器，通过引入来自DSP模块的时频域监督和正弦激励时域监督，解决训练与推理阶段频谱不匹配问题，实现跨说话人、语言和风格的高保真语音合成。
2023-05-28 cs.SD eess.AS
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
A Streamwise GAN Vocoder for Wideband Speech Coding at Very Low Bit Rate
Fraunhofer（弗劳恩霍夫）；Fantasmo（范塔斯莫）
最近，GAN声码器在语音合成方面取得了快速进展，开始以更高的生成速度在感知质量方面优于自回归模型。然而，自回归声码器仍然是以非常低的比特率编码的语音信号的神经生成的常见选择。在本文中，我们提出了一个GAN声码器，它能够产生宽带语音波形的参数编码在1.6 kbit/s。该模型是一个修改版本的StyleMelGAN声码器，可以运行在逐帧的方式，使其适合于流媒体应用。实验结果表明，该模型在极低比特率语音编码中的性能明显优于LPCNet等自回归声码器，计算复杂度约为5 GMAC，为该领域提供了一个新的发展方向.此外，这种流式对抗声码器在干净语音上以5.9 kbit/s提供与高级语音编解码器（例如EVS）竞争的质量，这促使前馈全卷积模型进一步用于低比特率语音编码。
2021-08-09 cs.LG cs.SD eess.AS
Enhancing Unsupervised Speech Recognition with Diffusion GANs
NVIDIA（英伟达）
我们通过扩散GAN增强了无监督自动语音识别（ASR）的香草对抗训练方法。我们的模型（1）将各种强度的实例噪声注入到生成器的输出和未标记的参考文本中，这些参考文本是从具有长度约束的预训练音素语言模型中采样的，（2）要求扩散时间步长相关的鉴别器将它们分离，以及（3）反向传播梯度以更新生成器。单词/音素出错率比较与wav 2 vec-U在Librispeech（3.1%的测试清洁和5.6%的测试其他），TIMIT和MLS数据集，表明我们的增强策略有效地工作。
2023-03-23 cs.CL cs.LG cs.SD
SEFGAN: Harvesting the Power of Normalizing Flows and GANs for Efficient High-Quality Speech Enhancement
本文提出SEFGAN，将归一化流作为GAN生成器并结合最大似然训练用于语音增强，在不增加复杂度的情况下显著优于NF基线，并与最先进模型相竞争。
2023-12-04 eess.AS
SpecDiff-GAN: A Spectrally-Shaped Noise Diffusion GAN for Speech and Music Synthesis
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
本文提出SpecDiff-GAN，一种基于HiFi-GAN的神经声码器，通过向判别器输入前添加高斯噪声及频谱成形噪声的扩散过程增强训练稳定性，在语音和音乐合成上实现更优的音频质量与效率。
2024-01-30 cs.LG cs.SD eess.AS
