Robust Channel Learning for Large-Scale Radio Speaker Verification
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；University of Copenhagen（哥本哈根大学）；National Institute of Information and Communications Technology（日本信息通信研究机构）
本文提出CRSL框架，通过带宽增强、流形空间噪声注入和高效微调，结合大规模无线电语音语料库与基准，提升无线电场景下说话人验证的鲁棒性。
2024-06-16 cs.LG cs.SD eess.AS
Conditional Generative Adversarial Networks for Speech Enhancement and Noise-Robust Speaker Verification
Aalborg University（奥尔堡大学）
提高语音系统在噪声环境中的性能一直是一个具有挑战性的课题，而语音增强（SE）是解决这一问题的有效技术之一。受生成对抗网络（GANs）在各种图像处理任务中的良好结果的启发，我们探索了条件GANs（cGANs）用于SE的潜力，特别是，我们利用Isola等人提出的图像处理框架。[1]学习从噪声语音的频谱图到增强对应物的映射。SE cGAN由两个网络组成，以对抗的方式进行训练：一个生成器试图增强输入的噪声频谱图，另一个生成器试图区分生成器提供的增强频谱图和使用噪声频谱图作为条件的数据库中的干净频谱图。我们在语音质量的感知评估（PESQ），短时客观可懂度（STOI）和说话人验证的等错误率（EER）（示例应用）方面评估了cGAN方法的性能。实验结果表明，cGAN方法的整体性能优于经典的短时谱幅度最小均方误差（STSA-MMSE）SE算法，并且与基于深度神经网络的SE方法（DNN-SE）相当。
2017-09-07 cs.LG cs.SD eess.AS
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
Learning Speaker Representations with Mutual Information
Mila（米拉研究所）
学习好的表示在深度学习中至关重要。互信息（MI）或类似的统计依赖性测量是以无监督的方式学习这些表示的有前途的工具。尽管两个随机变量之间的互信息很难在高维空间中直接测量，但最近的一些研究表明，可以使用类似于生成对抗网络（GANs）的编码器-网络架构来实现MI的隐式优化。在这项工作中，我们学习表示，捕获扬声器的身份，通过最大限度地提高从同一句话中随机采样的语音块的编码表示之间的互信息。所提出的编码器依赖于SincNet架构，并将原始语音波形转换成一个紧凑的特征向量。该算法由正样本（编码块的联合分布）或负样本（来自边缘的乘积）提供，并被训练以分离它们。我们报告的实验表明，这种方法有效地学习有用的说话人表示，导致说话人识别和验证任务的有希望的结果。我们的实验考虑了无监督和半监督设置，并比较了不同目标函数的性能。
2019-04-05 cs.CL cs.LG cs.NE
Self-FiLM: Conditioning GANs with self-supervised representations for bandwidth extension based speaker recognition
语音超分辨率/带宽扩展（BWE）可以改善自动说话人验证（ASV）等下游任务。我们引入了一种简单的新技术，称为自电影注入自我监督到现有的斗轮挖掘机模型通过智能线性调制。我们假设，这些信息捕获域/环境信息，这可以给zero-shot概括。在SRE 21测试中，使用最先进的ASV系统，Self-Film Conditional GAN（CGAN）在等错误率和最小决策代价函数方面提供了18%的相对改进和8.5%的相对改进。我们进一步通过1）时域模型的深度特征丢失和2）在自然宽带（VoxCeleb）和电话数据（SRE超集等）上重新训练data 2 vec 2.0模型。最后，我们将自我监督与CycleGAN相结合，提出了一个完全无监督的解决方案，该解决方案与半监督性能相匹配。
2023-03-07 eess.AS
Audio-to-Image Encoding for Improved Voice Characteristic Detection Using Deep Convolutional Neural Networks
本文提出一种音频到图像编码框架，将原始音频、统计描述符和空间化特征分别编码到RGB三通道，并利用深度卷积神经网络实现98%的说话人分类准确率。
2025-03-07 cs.AI cs.SD eess.AS
ChildAugment: Data Augmentation Methods for Zero-Resource Children's Speaker Verification
School of Computing, University of Eastern Finland（东芬兰大学计算机学院）；Institute for Advancing Intelligence, TCG CREST（TCG CREST智能推进研究所）；Academy of Scientific and Innovative Research (AcSIR)（科学与创新研究院）
本文提出ChildAugment数据增强方法，通过修改成人语音共振峰频率和带宽模拟儿童语音，并设计低复杂度加权余弦评分，在零资源儿童说话人验证中显著提升ECAPA-TDNN性能。
2024-02-23 cs.SD eess.AS
STCTS: Generative Semantic Compression for Ultra-Low Bitrate Speech via Explicit Text-Prosody-Timbre Decomposition
Fudan University（复旦大学）；Tsinghua University（清华大学）
STCTS通过显式分解语音为语言内容、语调和音色，实现80bps下的高质量超低比特率语音压缩，兼顾效率与质量。
2025-12-03 cs.MM cs.SD
SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions
Carnegie Mellon University（卡内基梅隆大学）；INESC-ID（INESC-ID 研究所）
本文提出 SVeritas 综合基准，覆盖自然、恶意及人口统计相关压力条件，用于评估并诊断说话人验证模型的鲁棒性与公平性。
2025-09-29 cs.CL cs.SD
Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-to-Speech
The University of Tokyo（东京大学）
提出了一种新的基于多任务对抗训练的多说话人神经文语转换（TTS）模型的训练算法。传统的基于生成对抗网络（GAN）的训练算法通过减少自然语音和合成语音之间的统计差异来显著提高合成语音的质量。然而，该算法不能保证训练的TTS模型在合成未被包括在训练数据中的不可见说话者的语音时的泛化性能。我们的算法交替训练两个深度神经网络：多任务训练和多说话者神经TTS模型（即，GANs的生成器）。训练语音识别器不仅区分自然语音和合成语音，而且验证输入语音的说话者是存在还是不存在（即，通过内插所见说话者的嵌入向量而新生成）。同时，生成器被训练为最小化语音重建损失和对抗损失的加权和，以欺骗目标说话人，即使目标说话人看不见，也能实现高质量的多说话人TTS。实验结果表明，该算法比传统的GANSpeech算法更好地提高了合成语音的质量。
2022-09-26 cs.AI cs.LG cs.SD
Investigating Deep Neural Structures and their Interpretability in the Domain of Voice Conversion
University of Sheffield（谢菲尔德大学）
生成对抗网络（GANs）是基于创建合成数据的机器学习网络。语音转换（VC）是语音翻译的一个子集，它涉及将源说话人的语言特征翻译成目标说话人，同时保留语言信息。VC的非并行条件GANs的目的是将声学语音特征序列从一个域转换到另一个域，而不使用配对数据。在这里报告的研究中，我们研究了VC领域中非并行GANs的最新实现的可解释性。我们发现，在一个特定的GAN架构的重复层的学习表示保持接近其原始的随机初始化参数，这表明它是重复层的数量，更负责的输出质量。我们还分析了在另一个数据集上进行迁移学习时，在一个特定数据集上训练的模型的学习表示。这表明整个网络的相似性非常高。总之，这些结果为深度生成网络的学习表示在学习过程中如何变化以及层数的重要性提供了新的见解。
2021-02-22 cs.SD eess.AS
Filterbank design for end-to-end speech separation
University de Lorraine（洛林大学）
由于ConvTasNet中使用的学习滤波器组，单通道语音分离最近取得了很大进展。同时，参数化滤波器组已被提出用于说话人识别，其中仅学习中心频率和带宽。在这项工作中，我们将实值学习和参数化滤波器组扩展到复值分析滤波器组，并定义了一组相应的表示和掩蔽策略。我们评估这些滤波器组在一个新发布的嘈杂的语音分离数据集（WHAM）。结果表明，所提出的分析学习滤波器组始终优于ConvTasNet的实值滤波器组。此外，我们验证了参数化滤波器组的使用，并表明复值表示和掩码在所有条件下都是有益的。最后，我们表明，STFT达到其最佳性能为2ms的窗口。
2020-02-28 cs.LG cs.SD eess.AS
A Novel Semantic Compression Approach for Ultra-low Bandwidth Voice Communication
本文提出一种利用生成式语音模型高层语义表示的新型语义通信方法，在比特率降低2-4倍的情况下，于转录、情感分析和说话人验证任务上达到或超越现有音频编解码器，并在感知质量与说话人验证上超越Encodec。
2025-09-18 cs.SD eess.AS
DiffGAN-TTS: High-Fidelity and Efficient Text-to-Speech with Denoising Diffusion GANs
Tencent AI Lab（腾讯AI实验室）
去噪扩散概率模型（DDPM）是一种表达能力很强的生成模型，已被用于解决各种语音合成问题。然而，由于它们的高采样成本，DDPM难以用于实时语音处理应用。在本文中，我们介绍了DiffGAN-TTS，一种新的基于DDPM的文本转语音（TTS）模型，实现高保真和高效的语音合成。DiffGAN-TTS基于去噪扩散生成对抗网络（GANs），其采用对抗训练的表达模型来近似去噪分布。我们用多说话人TTS实验表明，DiffGAN-TTS可以在4个去噪步骤内生成高保真语音样本。我们提出了一个积极的浅扩散机制，以进一步加快推理。一个两阶段的训练计划，提出了一个基本的TTS声学模型在第一阶段训练提供有价值的先验信息的DDPM在第二阶段训练。我们的实验表明，DiffGAN-TTS可以实现高的合成性能，只有1个去噪步骤。
2022-01-28 cs.CL cs.SD eess.AS
SE-MelGAN -- Speaker Agnostic Rapid Speech Enhancement
SYSTEM CORP.（系统公司）
语音合成领域[3]、[2]中生成对抗网络的最新进展表明，可以以可靠的方式训练GANs [8]，以从梅尔频谱图生成高质量的相干波形。我们提出，有可能将MelGAN [3]在学习语音特征方面的鲁棒性转移到语音增强和降噪领域，而无需任何模型修改任务。我们提出的方法推广到多说话人语音数据集，并能够鲁棒地处理看不见的背景噪声在推理。此外，我们表明，通过增加这种特定方法的批量大小，不仅会产生更好的语音结果，而且很容易在多说话人数据集上推广，并导致更快的收敛。此外，它在两个领域优于用于语音增强SE GAN [5]的现有技术GAN方法：1.质量; 2.速度所提出的方法在GPU上的运行速度比实时快100倍以上，在CPU上的运行速度比实时快2倍以上，无需任何硬件优化任务，与MelGAN的速度相当[3]。
2020-06-13 cs.CL cs.SD eess.AS
Time-domain speech super-resolution with GAN based modeling for telephony speaker verification
自动说话人验证（ASV）技术在虚拟助理中已经变得司空见惯。然而，当训练域和测试域之间不匹配时，其性能受到影响。混合带宽训练，即，汇集来自这两个域的训练数据是开发适用于窄带域和宽带域的通用模型的优选选择。我们建议通过对窄带信号进行神经上采样来补充这种技术，也称为带宽扩展。我们的主要目标是发现和分析基于高性能时域生成对抗网络（GAN）的模型，以改进我们下游最先进的ASV系统。我们选择GANs是因为它们（1）对于学习条件分布是强大的，（2）允许在训练下游任务（ASV）时灵活地使用插件作为预处理器。以前的工作主要集中在特征域的带宽扩展和有限的实验设置。我们通过1）使用时域扩展模型，2）报告三个真实测试集的结果，2）扩展训练数据，以及3）设计新的测试时间方案来解决这些限制。我们比较了有监督的（条件GAN）和无监督的GANs（循环GAN），并证明了平均相对改善相等错误率分别为8.6%和7.7%。为了进一步分析，我们研究了声谱图视觉质量，音频感知质量，t-SNE嵌入和ASV分数分布的变化。我们表明，我们的带宽扩展导致的现象，如移动电话（测试）嵌入宽带（训练）信号，感知质量与下游性能的负相关性，和条件无关的分数校准。
2022-09-04 eess.AS
Time out of Mind: Generating Rate of Speech conditioned on emotion and speaker
语音合成在过去十年中取得了显着的进步，从而产生了高度可理解的语音。进一步的研究已经产生了可以产生可变语音的模型，包括有条件的情感表达。问题在于，然而，在一个短语级的修改和韵律声乐功能的重点。使用CREMA-D数据集，我们训练了一个以情感为条件的GAN，为给定的输入文本生成价值长度。这些字长是相对于中性语音的，并且可以通过语音合成置标语言（SSML）提供给文本到语音（TTS）系统以生成更有表达力的语音。此外，还使用隐式最大似然估计（IMLE）训练生成模型，并包括与GANs的比较分析。与开箱即用的模型相比，我们能够在中性语音的客观测量方面实现更好的性能，并在快乐语音方面实现更好的时间对齐。然而，主观评价还需要进一步的研究。
2023-01-31 cs.CL cs.SD eess.AS
Hi-Fi Multi-Speaker English TTS Dataset
本文介绍了一种新的多说话人英语数据集的训练文本到语音模型。该数据集基于LibriVox有声读物和Project Gutenberg文本，两者都在公共领域。新数据集包含来自10个说话者的约292小时的语音，每个说话者至少17小时，以44.1 kHz采样。为了选择具有高质量的语音样本，我们考虑了具有至少13 kHz的信号带宽和至少32 dB的信噪比（SNR）的音频记录。该数据集在http://www.openslr.org/109/上公开发布。
2021-06-14 eess.AS
Adversarial Training of Denoising Diffusion Model Using Dual Discriminators for High-Fidelity Multi-Speaker TTS
School of Robotics, Kwangwoon University（光云大学机器人学院）
为提升DiffGAN-TTS性能，提出结合扩散判别器与频谱图判别器的双判别器对抗训练语音合成模型，在多项客观与主观指标上优于FastSpeech2等基线。
2023-08-03 cs.LG cs.SD eess.AS
Unsupervised Representation Disentanglement using Cross Domain Features and Adversarial Learning in Variational Autoencoder based Voice Conversion
Nagoya University（名古屋大学）；Academia Sinica（中央研究院）
语音转换（VC）的一个有效方法是将语言内容从语音信号的其他成分中分离出来。例如，基于变分自动编码器（VAE）的VC（VAE-VC）的有效性强烈依赖于该原理。在我们之前的工作中，我们提出了一个跨域VAE-VC（CDVAE-VC）框架，它利用不同属性的声学特征，以提高VAE-VC的性能。我们相信，成功来自于更清晰的潜在表征。在本文中，我们通过引入对抗学习的概念来扩展CDVAE-VC框架，以进一步提高解纠缠的程度，从而提高转换语音的质量和相似性。更具体地说，我们首先研究了将生成对抗网络（GANs）与CDVAE-VC相结合的有效性。然后，我们考虑域对抗训练的概念，并添加一个显式约束的潜在表示，实现了一个扬声器分类器，明确消除扬声器的信息，驻留在潜在代码。实验结果表明，GANs和说话人分类器都可以提高学习到的潜在表征的解纠缠程度。同时，主观评价结果的质量和相似性分数证明了我们提出的方法的有效性。
2020-02-07 cs.CL cs.LG cs.SD
Bandwidth Extension on Raw Audio via Generative Adversarial Networks
University of Michigan（密歇根大学）；University of Washington（华盛顿大学）
基于神经网络的方法最近已经展示了关于图像合成和超分辨率任务的最先进的结果，特别是通过使用具有监督特征损失的生成对抗网络（GANs）的变体。然而，以前的特征丢失公式依赖于大型辅助分类器网络的可用性，以及使这些分类器能够被训练的标记数据集。此外，探索基于GAN的方法对图像和视频以外的领域的适用性的工作相对较少。在这项工作中，我们探索了一种基于GAN的音频处理方法，并开发了一种卷积神经网络架构来执行音频超分辨率。除了用于音频处理的几个新的架构构建块之外，我们方法的一个关键组成部分是使用基于自动编码器的损失，该损失能够在GAN框架中进行训练，其中特征损失来自未标记的数据。我们探讨了我们的建筑选择的影响，并展示了显着的改善，在客观和感知质量方面比以前的作品。
2019-03-21 cs.SD eess.AS
Video-Driven Speech Reconstruction using Generative Adversarial Networks
Imperial College London（帝国理工学院）；Samsung AI Centre（三星人工智能中心）
语音是一种依靠听觉和视觉信息进行交流的手段。缺乏一种模式往往会导致信息的混乱或误解。在本文中，我们提出了一个端到端的时间模型，能够直接从无声视频合成音频，而不需要转换到和从中间功能。我们提出的基于GANs的方法能够产生与视频同步的自然声音，可理解的语音。我们的模型的性能进行评估的GRID数据集的扬声器相关和扬声器独立的情况下。据我们所知，这是第一种将视频直接映射到原始音频的方法，也是第一种在以前看不见的扬声器上测试时产生可理解语音的方法。我们不仅根据声音质量，而且还根据口语的准确性来评估合成音频。
2019-06-14 cs.CV cs.SD eess.AS
Analysis by Adversarial Synthesis -- A Novel Approach for Speech Vocoding
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
经典的参数语音编码技术为语音信号提供了紧凑的表示。这提供了非常低的传输速率，但是具有降低的重构信号的感知质量。最近，诸如WaveNet和SampleRNN的自回归深度生成模型已经被用作语音声码器，以在不增加编码速率的情况下按比例增加重构信号的感知质量。然而，这种模型由于其逐样本建模方法而遭受非常缓慢的信号生成机制。在这项工作中，我们介绍了一种新的方法，神经语音声码生成对抗网络（GANs）的基础上。使用条件GANs作为深度生成模型，从声门激励的非常压缩的表示生成假语音信号。然后，使用原始语音信号的LPC参数对该伪语音进行细化，以获得自然的重构。基于这种方法的重建语音波形表现出更高的感知质量比经典的声码器对应物根据主观和客观评价分数为30名男性和女性发言人的数据集。此外，与自回归生成模型相比，使用GANs能够一次性生成信号。这使得GANs有希望探索实现高质量的神经声码器。
2019-07-01 cs.LG cs.SD eess.AS
F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder
Adobe Research（Adobe研究院）
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。许多风格转移启发的方法，如生成对抗网络（GANs）和变分自编码器（VAE）已被提出。最近，AutoVC，一个条件自动编码器（CAE）为基础的方法取得了国家的最先进的成果，通过解开使用信息约束瓶颈的说话人身份和语音内容，它实现了zero-shot转换，通过交换在不同的说话人的身份嵌入合成一个新的声音。然而，我们发现，虽然说话人身份从语音内容中解脱出来，但大量的韵律信息，如源F0，通过瓶颈泄漏，导致目标F0不自然地波动。此外，AutoVC无法控制转换后的F0，因此不适用于许多应用。在本文中，我们修改和改进了基于自动编码器的语音转换，以同时解开内容，F0和说话人身份。因此，我们可以控制F0轮廓，生成与目标说话人F0一致的语音，并显着提高质量和相似度。我们通过定量和定性分析来支持我们的改进。
2020-04-15 cs.LG cs.SD eess.AS
Low Pass Filtering and Bandwidth Extension for Robust Anti-spoofing Countermeasure Against Codec Variabilities
University of Yamanashi（山梨大学）；Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）
可靠的语音反欺骗对抗系统需要在各种欺骗场景中鲁棒地保护自动说话人确认（ASV）系统。然而，对抗系统的性能可能会受到信道效应和编解码器的影响。在本文中，我们表明，使用信号的低频子带作为输入可以减轻编解码器对对抗系统的负面影响。为了验证这一点，两种类型的低通滤波器具有不同的截止频率应用于对抗系统，和相等的出错率（EER）降低了高达25%的相对。此外，我们提出了一种基于深度学习的带宽扩展方法，以进一步提高检测精度。最近的研究表明，当语音活动检测（VAD）去除静音部分时，对抗系统的出错率会急剧增加，我们的实验结果表明，在应用语音活动检测（VAD）的编解码条件下，滤波和带宽扩展方法也是有效的。
2022-11-12 cs.SD eess.AS
Analysis of Speaker Verification Performance Trade-offs with Neural Audio Codec Transmission
Indian Institute of Science Education and Research, Bhopal（印度科学教育与研究学院，博帕尔）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）；Menlo Research（Menlo研究）
该研究分析不同比特率下传统与神经音频编解码器对说话人验证性能的影响，发现神经编解码器在低带宽下更优，高比特率略逊于Opus，验证了其作为传统编解码器替代方案的可行性。
2025-09-02 cs.SD eess.AS
BANC: Towards Efficient Binaural Audio Neural Codec for Overlapping Speech
University of Maryland（马里兰大学）；Tencent AI Lab（腾讯AI实验室）
本文提出双耳音频神经编解码器BANC，通过分离压缩语音内容与空间线索，支持重叠语音编解码，并将双耳语音压缩带宽降低48%。
2024-11-25 cs.SD eess.AS
Learnable Frequency Filters for Speech Feature Extraction in Speaker Verification
Mel尺度谱特征用于语音信号的各种识别和分类任务。没有理由期望这些功能对于所有不同的任务都是最佳的，包括说话人验证（SV）。本文描述了一种可学习的前端特征提取模型。该模型包括一组滤波器来变换傅立叶频谱。定义这些滤波器的模型参数是端到端训练的，并专门针对说话人验证任务进行了优化。与标准的梅尔尺度滤波器组相比，滤波器的带宽和中心频率可调。实验结果表明，应用可学习的声学前端提高说话人确认性能比传统的梅尔尺度频谱特征。对学习的滤波器参数的分析表明，窄带信息有利于SV系统的性能。该模型实现了性能和计算成本之间的良好平衡。在资源受限的计算环境中，该模型的性能明显优于基于CNN的可学习前端。该模型在不同的嵌入提取模型和数据集上的泛化能力也得到了验证。
2022-06-15 eess.AS
Array Configuration-Agnostic Personalized Speech Enhancement using Long-Short-Term Spatial Coherence
National Tsing Hua University（国立清华大学）
个性化的语音增强已经成为抑制类语音干扰（speechlike emergers）（例如竞争的说话者或电视对话）的活跃研究领域。与单通道方法相比，通过利用麦克风信号中的空间信息，多通道PSE系统可以在不利的声学条件下更有效。然而，在家庭应用中实现多通道PSE以适应广泛的阵列拓扑可能具有挑战性。为了开发一个阵列配置不可知的PSE系统，我们定义了一个空间特征，称为长期短期空间相干性作为输入功能的卷积递归网络，以监测语音活动的目标扬声器。作为另一种改进，可以使用等效矩形带宽缩放的LSTSC特征来降低计算成本。进行了实验，以比较所提出的PSE系统，包括完整的和简化的版本与两个基线使用看不见的房间响应和阵列配置中存在的电视噪声和竞争的扬声器。结果表明，所提出的多通道PSE网络训练LSTSC功能实现了优越的增强性能，而无需精确的阵列配置和房间响应的知识。
2022-11-16 cs.SD eess.AS
HiFiTTS-2: A Large-Scale High Bandwidth Speech Dataset
本文提出HiFiTTS-2大规模高带宽语音数据集，基于LibriVox构建，含数万小时22.05/44.1 kHz英语语音及元数据，并验证其可有效训练高质量零样本TTS模型。
2025-09-19 eess.AS
StarGAN-VC: Non-parallel many-to-many voice conversion with star generative adversarial networks
NTT Communication Science Laboratories, NTT Corporation（NTT集团NTT通信科学实验室）
本文提出了一种方法，允许非并行多对多语音转换（VC），通过使用生成对抗网络（GAN）的变体称为星GAN。我们的方法，我们称之为StarGAN-VC，值得注意的是，它（1）不需要用于语音生成器训练的并行话语，transmittance或时间对齐过程，（2）使用单个生成器网络同时学习跨不同属性域的多对多映射，（3）能够足够快地生成转换的语音信号以允许实时实现，以及（4）仅需要几分钟的训练样本来生成相当逼真的语音。在非并行多对多说话人身份转换任务上的主观评价实验表明，与基于变分自编码GANs的方法相比，该方法获得了更高的声音质量和说话人相似度。
2018-06-29 cs.LG cs.SD eess.AS
French Listening Tests for the Assessment of Intelligibility, Quality, and Identity of Body-Conducted Speech Enhancement
本研究通过法语听力测试评估EBEN模型在骨导语音中的表现，证实其能提升语音质量与可懂度，并揭示了STOI与感知质量的相关性及现有指标在预测可懂度上的局限性。
2025-06-04 eess.AS
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
Pureformer-VC: Non-parallel Voice Conversion with Pure Stylized Transformer Blocks and Triplet Discriminative Training
School of Computer Science Xiangtan University（计算机科学学院 湘潭大学）；School of Software Microelectronics Peking University（软件微电子学院 清华大学）
提出 Pureformer-VC 非并行语音转换框架，通过 Conformer 解耦编码器、Zipformer 风格迁移解码器、VAE 变分解耦与三元组判别训练提升转换效果。
2025-06-10 cs.SD eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University（西江大学）；Naver Corp.（NAVER公司）；Clova AI Research（Clova人工智能研究院）
通常，由于训练环境和测试环境之间的不匹配，自动语音识别（ASR）系统的性能显著降低。最近，提出了一种基于深度学习的图像到图像翻译技术，将图像从源域翻译到所需域，并应用循环一致性对抗网络（CycleGAN）来学习从说话人到目标说话人的语音到语音转换的映射。然而，该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量，因为它被设计为转换语音本身。在本文中，我们提出了一种基于生成对抗网络（GANs）的域自适应方法，具有解纠缠表示学习，以实现ASR系统的鲁棒性。特别是，两个独立的编码器，上下文和域编码器，引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR，将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外，与基于CycleGAN的方法类似，该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
A Survey of Advancing Audio Super-Resolution and Bandwidth Extension from Discriminative to Generative Models
Discovery Partners Institute（发现伙伴研究所）
本文综述了音频超分辨率和带宽扩展领域，从判别模型向生成模型的转变，总结了早期判别模型的局限性以及生成模型在表示域、架构、条件机制等方面的改进，探讨了大语言模型和多模态基础模型等新兴方向，并指出了感知评估、相位建模和实际应用泛化等开放挑战。
2026-08-18 cs.SD eess.AS eess.SP
Generative Speech Foundation Model Pretraining for High-Quality Speech Extraction and Restoration
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）；Massachusetts Institute of Technology（麻省理工学院）
提出一种生成式预训练语音基础模型，直接处理复数值STFT系数以避免声码器限制，在语音去噪、带宽扩展和目标说话人提取等恢复任务中超越强基线。
2024-09-25 cs.SD eess.AS
Subband-based Generative Adversarial Network for Non-parallel Many-to-many Voice Conversion
Southern University of Science and Technology（南方科技大学）；University of Technology Sydney（悉尼科技大学）；National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
语音转换是指根据源语音内容和目标语音风格生成新的语音。在本文中，我们专注于一个一般设置，即，非并行多对多语音转换，接近真实场景。顾名思义，非并行多对多语音转换不需要成对的源语音和参考语音，并且可以应用于任意语音传输。近年来，生成对抗网络（GANs）和其他技术，如条件变分自编码器（CVAE）在这一领域取得了长足的进步。然而，由于语音转换的复杂性，转换后的语音的风格相似性仍然不令人满意。受mel-声谱图固有结构的启发，我们提出了一种新的语音转换框架，即，基于子带的语音转换生成对抗网络。SGAN-VC通过显式地利用不同子带之间的空间特性来单独地转换源语音的每个子带内容。SGAN-VC包含一个样式编码器、一个内容编码器和一个解码器。特别地，风格编码器网络被设计为学习目标说话者的不同子带的风格代码。内容编码器网络可以捕获关于源语音的内容信息。最后，解码器生成特定的子带内容。此外，我们提出了一个音高转换模块来微调源扬声器的音高，使转换后的音调更准确和可解释的。大量的实验表明，所提出的方法在VCTK语料库和AISHELL 3数据集上实现了定性和定量的最先进的性能，无论是在可见或不可见的数据。此外，SGAN-VC在看不见的数据上的内容清晰度甚至超过了具有ASR网络辅助的StarGANv 2-VC。
2022-07-27 cs.MM cs.SD eess.AS
Instance-Specific Test-Time Training for Speech Editing in the Wild
Korea Electronics Technology Institute（韩国电子技术研究院）
针对真实场景语音编辑难以适应未知声学条件的问题，提出实例特定测试时训练方法，通过直接与间接监督及掩码长度调整优化声学过渡与语速控制，在客观和主观评估中均优于现有系统。
2025-11-03 cs.SD eess.AS
