Streaming non-autoregressive model for any-to-many voice conversion
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音转换模型已经发展了几十年，目前主流的研究主要集中在非流式语音转换。但是，流式语音转换比非流式语音转换更适合实际应用场景。本文提出了一种基于完全非自回归模型的流任意到多语音转换方法，该方法包括基于流Transformer的声学模型和流声码器。基于流式Transformer的声学模型由基于流式端到端自动语音识别模型的预训练编码器和基于FastSpeech块修改的解码器组成。流声码器采用伪正交镜像滤波器组和因果卷积技术，实现了流声码器的设计。实验结果表明，该方法在延迟和转换质量方面都取得了显著的性能，并且可以在CPU和GPU上实现实时性。
2022-06-15 cs.SD eess.AS
An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning
Singapore University of Technology and Design（新加坡科技设计大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；National University of Singapore（新加坡国立大学）
说话人身份是人类言语的重要特征之一。在语音转换中，我们将说话者身份从一个转换为另一个，同时保持语言内容不变。语音转换涉及多种语音处理技术，例如语音分析、频谱转换、韵律转换、说话人特征化和声码。随着理论和实践的发展，我们现在能够产生具有高说话人相似度的人一样的语音质量。在本文中，我们全面概述了最先进的语音转换技术及其性能评估方法，从统计方法到深度学习，并讨论了它们的前景和局限性。我们还将报告最近的语音转换挑战（VCC），当前技术状态的性能，并提供语音转换研究可用资源的摘要。
2020-11-17 cs.SD eess.AS
AC-VC: Non-parallel Low Latency Phonetic Posteriorgrams Based Voice Conversion
Logitech Europe S.A.（罗技欧洲公司）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
本文介绍了一种基于语音后验图的语音转换系统AC-VC（Almost Causal Voice Conversion），该系统可以实现任意对多语音转换，同时具有57.5 ms的未来预测能力。整个系统由三个分别用非并行数据训练的神经网络组成。虽然目前大多数语音转换系统主要关注质量，而不考虑算法延迟，但这项工作详细说明了使用最少量的未来上下文设计方法，从而允许未来的实时实现。根据在这项工作中组织的主观听力测试，所提出的AC-VC系统在自然度方面与2020年语音转换挑战赛的非因果性ASR-TTS基线达到了等同，MOS为3.5。与此相反，结果表明，未来的上下文缺失会影响说话人的相似性。获得的相似度百分比为65%，低于当前最好的语音转换系统的相似度。
2021-11-12 cs.SD eess.AS
DGC-vector: A new speaker embedding for zero-shot voice conversion
Netease Games AI Lab（网易游戏AI实验室）
近年来，越来越多的zero-shot语音转换算法被提出。说话人嵌入作为zero-shot语音转换的基础部分，是提高转换语音的说话人相似度的关键。在本文中，我们研究了说话人嵌入对zero-shot语音转换性能的影响。为了在zero-shot语音转换中更好地表达目标说话人的特征，提高说话人相似度，本文提出了一种新的说话人表示方法。我们的方法结合了D-向量，全局风格令牌（GST）的说话人表示和辅助监督的优点。客观和主观评价结果表明，该方法在zero-shot语音转换上取得了较好的效果，与D-向量和基于GST的说话人嵌入相比，该方法显著提高了说话人相似度。
2022-03-18 cs.SD eess.AS
CVC: Contrastive Learning for Non-parallel Voice Conversion
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Shanghai Qi Zhi Institute（上海期智研究院）
基于循环一致生成对抗网络（CycleGAN）和变分自编码器（VAE）的模型近年来在非并行语音转换中得到了广泛的应用。然而，他们往往遭受困难的培训过程和不满意的结果。在本文中，我们提出了CVC，一种基于对比学习的对抗性语音转换方法。与以前的基于CycleGAN的方法相比，CVC只需要一个有效的单向GAN训练，利用对比学习的优势。当涉及到非并行的一对一语音转换时，CVC与CycleGAN和VAE不相上下或更好，同时有效地减少了训练时间。CVC在多对一语音转换方面进一步展示了卓越的性能，能够从看不见的扬声器进行转换。
2021-04-02 cs.SD eess.AS
Defending Your Voice: Adversarial Attack on Voice Conversion
National Taiwan University（台湾大学）
近年来，语音转换已经取得了实质性的进步，它将一个话语的说话者特征转换成另一个说话者的特征，而不改变话语的语言内容。尽管如此，改进的转换技术也导致了对隐私和身份验证的担忧。因此，非常希望能够防止人们的语音被这种语音转换技术不适当地利用。这就是为什么我们在本文中报告了对语音转换进行对抗性攻击的第一次已知尝试。我们将人类无法察觉的噪音引入说话者的话语中，说话者的声音是要被保护的。鉴于这些对抗性的例子，语音转换模型不能转换其他话语，以便听起来像是由被辩护的说话者产生的。在两个目前最先进的zero-shot语音转换模型上进行了初步实验。在白盒和黑盒的情况下的客观和主观的评价结果报告。结果表明，转换后的话语的说话人特征明显不同于被辩护说话人的说话人特征，而被辩护说话人的对抗性实例与真实话语无法区分。
2021-05-04 cs.LG cs.SD eess.AS
Invertible Voice Conversion
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
在本文中，我们提出了一个用于语音转换的可逆深度学习框架，称为INVVC。它旨在应对语音转换系统固有的潜在威胁。具体来说，我们开发了一个可逆的框架，使源身份可追溯。该框架是建立在一系列可逆的$1\times1$卷积和流组成的仿射耦合层。我们提出的框架，一对一的语音转换和多对一的转换，使用并行训练数据。实验结果表明，这种方法在语音转换上产生了令人印象深刻的性能，而且，转换后的结果可以利用与转发相同的参数被反转回源输入。
2022-01-26 cs.LG cs.SD eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab（腾讯人工智能实验室）
歌唱声音转换是指在保持歌唱内容不变的前提下，将源歌唱的音色转换为目标说话人的声音。然而，歌唱数据的目标说话人是更难以收集相比，正常的语音数据。在本文中，我们介绍了一个歌唱声转换算法，能够产生高品质的目标说话人的歌声，只用他/她的正常语音数据。首先，我们通过统一标准语音合成系统和歌唱合成系统中使用的特征，将语音和歌唱的训练和转换过程集成到一个框架中。此外，为了实现一次转换，本文还设计了一个说话人嵌入模块，利用语音和歌唱数据，在转换过程中提供目标说话人的识别信息。实验结果表明，所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
Many-to-Many Voice Conversion using Conditional Cycle-Consistent Adversarial Networks
语音转换是指在不改变说话人语言内容的前提下，对说话人的特征进行转换。语音转换的许多工作需要具有并行的训练数据，这是非常昂贵的获取。最近，周期一致对抗网络（CycleGAN），它不需要并行训练数据，已被应用于语音转换，显示出最先进的性能。然而，基于CycleGAN的语音转换只能用于一对扬声器，即，两个扬声器之间的一对一语音转换。在本文中，我们通过在扬声器上调节网络来扩展CycleGAN。因此，该方法可以使用单个生成对抗网络（GAN）在多个说话者之间执行多对多语音转换。与为每对扬声器构建多个CycleGAN相比，所提出的方法显著降低了计算和空间成本，而不会影响转换后语音的音质。在VCC2018语料库上的实验结果验证了该方法的有效性。
2020-02-15 cs.LG cs.SD eess.AS
The NU Voice Conversion System for the Voice Conversion Challenge 2020: On the Effectiveness of Sequence-to-sequence Models and Autoregressive Neural Vocoders
Nagoya University（名古屋大学）
在本文中，我们介绍了名古屋大学（NU）为2020年语音转换挑战赛（VCC 2020）开发的语音转换（VC）系统。我们的目标是确定VC中最近两种重要技术的有效性：序列到序列（seq 2seq）模型和自回归（AR）神经声码器。针对挑战中的两个任务开发了两个相应的系统：对于任务1，我们采用了语音Transformer网络，这是一种基于transformer的seq 2seq VC模型，并使用合成并行数据对其进行扩展以处理非并行数据;对于任务2，我们使用基于帧的循环变分自编码器（CycleVAE）来模拟语音波形的频谱特征，并使用AR WaveNet声码器进行额外的微调。通过与基线系统的比较，我们证实了seq 2seq建模可以提高转换的相似性，并且使用AR声码器可以提高转换语音的自然度。
2020-10-09 cs.CL cs.SD eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的框架，建立一个语音转换（VC）系统的学习从文本到语音（TTS）合成系统，即TTS-VC迁移学习。首先，我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构，其中编码器提取强大的语言表示的文本，和解码器，条件下的目标说话人嵌入，需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实，并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中，编码器以语音代替文本作为输入，而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入，因此系统可以在非并行数据上进行训练，以进行任意到任意的语音转换。在语音转换训练过程中，我们分别提出了文本和语音到语音合成和语音转换网络。在运行时，语音转换网络使用自己的编码器-解码器架构。实验表明，该方法优于两个竞争的语音转换基线一致，即语音后验图和变分自动编码器的方法，在语音质量，自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
语音转换是指在保留话语内容的同时改变语音的音色。最近，许多工作集中在基于分离的学习技术，从语音信号中分离音色和语言内容信息。一旦成功，语音转换将是可行和直接的。提出了一种基于矢量量化语音转换（VQVC）和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中，以更有效地从语音中分离出内容和音色信息。实验结果表明，该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
The IQIYI System for Voice Conversion Challenge 2020
IQIYI Inc.（爱奇艺公司）
本文介绍了用于语音转换2020的IQIYI语音转换系统（T24）。在比赛中，每个目标说话人有70个句子。我们已经建立了一个基于PPG的端到端语音转换系统。首先，ASR声学模型计算BN特征，其表示语音中的内容相关信息。然后通过改进的韵律tacotron模型计算Mel特征。最后，通过改进的LPCNet将Mel谱转换为wav。评测结果表明，该系统能够达到较好的语音转换效果。在使用16 k而不是24 k采样率音频的情况下，转换结果在自然度和相似性方面相对较好。其中，我们最好的结果是在任务2的相似性评价，第2次在基于ASV的客观评价和第5次在主观评价。
2020-10-29 cs.SD eess.AS
VCTR: A Transformer-Based Model for Non-parallel Voice Conversion
Independent Researcher（独立研究者）
本文提出VCTR，一种基于Transformer的非平行语音转换模型，通过混合感知模块和双剪枝自注意力捕获长距离依赖，结合对比学习对抗方法，解决了现有方法训练困难及全局语义捕获不足的问题。
2025-10-14 cs.SD
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
我们提出了一种新的训练方案，优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失，而且说话人身份损失。我们引入了一个周期的一致性损失，限制转换后的语音，以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络，但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明，该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion
Columbia University（哥伦比亚大学）
我们提出了一种无监督的非并行多对多语音转换（VC）方法，使用生成对抗网络（GAN）称为StarGAN v2。使用对抗源分类器损失和感知损失的组合，我们的模型显着优于以前的VC模型。虽然我们的模型只训练了20名英语使用者，但它可以推广到各种语音转换任务，例如任意到多个，跨语言和唱歌转换。使用风格编码器，我们的框架还可以将普通阅读语音转换为风格语音，如情感语音和假声语音。主观和客观的评价实验的非并行多对多语音转换任务显示，我们的模型产生自然的声音，接近最先进的文本到语音（TTS）的语音转换方法，而不需要文本标签的声音质量。此外，我们的模型是完全卷积的，并且具有比实时更快的声码器，如并行WaveGAN，可以执行实时语音转换。
2021-07-23 cs.LG cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型，实现轻量级流式零样本有声与耳语语音转换，并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
The Academia Sinica Systems of Voice Conversion for VCC2020
The Academia Sinica（中央研究院）
本文介绍了中央研究院为2020年语音转换挑战赛的两个任务所设计的系统，即同一语言内的语音转换（任务1）和跨语言语音转换（任务2）。对于这两个任务，我们遵循级联ASR+TTS结构，使用语音标记作为TTS输入，而不是文本或字符。对于任务1，我们使用国际音标（IPA）作为TTS模型的输入。对于任务2，我们使用由矢量量化变分自动编码器（VQVAE）提取的无监督语音符号。在评估中，听力测试表明我们的系统在VCC 2020挑战赛中表现良好。
2020-10-06 cs.SD eess.AS
FasterVoiceGrad: Faster One-step Diffusion-Based Voice Conversion with Adversarial Diffusion Conversion Distillation
NTT, Inc.（日本NTT公司）
针对现有扩散语音转换模型转换慢或依赖计算密集型内容编码器的问题，提出FasterVoiceGrad，通过对抗扩散转换蒸馏同时蒸馏扩散模型和内容编码器，在保持竞争力性能的同时，GPU和CPU速度分别提升6.6-6.9倍和1.8倍。
2025-08-25 cs.AI cs.LG cs.SD
Beyond Voice Identity Conversion: Manipulating Voice Attributes by Adversarial Learning of Structured Disentangled Representations
Ircam（法国声学/音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
语音转换（VC）包括数字化改变个人的声音，以操纵其部分内容，主要是其身份，同时保持其余不变。神经VC的研究已经取得了相当大的突破，能够使用少量数据以高度逼真的渲染来伪造语音身份。本文超越了语音身份，并提出了一种神经架构，允许操纵语音属性（例如，性别和年龄）。利用结构化语音表示的对抗学习的最新进展，提出了一种新的结构化神经网络，其中多个自动编码器用于将语音编码为一组理想独立的语言和语言外表示，这些表示是对抗学习的，并且可以在VC期间进行操作。此外，所提出的架构是时间同步的，以便在转换过程中保留原始语音时序，从而允许唇同步应用。应用于真实世界的VCTK数据集上的语音性别转换，我们提出的架构可以成功地学习性别无关的表示，并转换语音性别具有非常高的效率和自然。
2021-07-27 cs.LG cs.SD eess.AS
Unsupervised Singing Voice Conversion
Facebook AI Research（脸书人工智能研究院）；Tel Aviv University（特拉维夫大学）
提出了一种基于深度学习的歌声转换方法。所提出的网络不以文本或音符为条件，它直接将一个歌手的音频转换为另一个歌手的声音。训练是在没有任何形式的监督的情况下进行的：没有歌词或任何类型的语音特征，没有音符，也没有歌手之间的匹配样本。所提出的网络采用一个单一的CNN编码器的所有歌手，一个单一的WaveNet解码器，和一个分类器，强制执行潜在的表示是歌手不可知的。每个歌手是由一个嵌入向量，解码器的conditionedon.In为了处理相对较小的datasets，我们提出了一个新的数据增强计划，以及新的训练损失和协议，是基于反向翻译。我们的评估提出的证据表明，转换产生的自然签署的声音是高度可识别的目标歌手。
2019-09-25 cs.LG cs.SD eess.AS
Spectrum and Prosody Conversion for Cross-lingual Voice Conversion with CycleGAN
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
跨语言语音转换是指当源语者和目标语者使用不同的语言时，将源语者的语音转换为目标语者的语音。它依赖于来自两种不同语言的非并行训练数据，因此比单语言语音转换更具挑战性。以往的跨语言语音转换研究主要集中在频谱转换与线性变换的F0转移。然而，作为一个重要的韵律因素，F0是内在的层次性，因此，它是不够的，只是使用线性的方法进行转换。我们建议使用连续小波变换（CWT）分解的F0建模。CWT提供了一种将信号分解为不同时间尺度的方法，这些时间尺度可以在不同的时间分辨率下解释韵律。我们还建议训练两个CycleGAN管道分别用于频谱和韵律映射。通过这种方式，我们消除了对任何两种语言的并行数据和任何对齐技术的需要。实验结果表明，我们提出的Spectrum-Prosody-CycleGAN框架在主观评价方面优于Spectrum-CycleGAN基线。据我们所知，这是第一次研究韵律在跨语言语音转换。
2020-11-03 cs.CL cs.SD eess.AS
HiFi-VC: High Quality ASR-Based Voice Conversion
Tinkoff（Tinkoff银行）
语音转换（VC）的目标是将输入语音转换为与目标说话人的语音相匹配，同时保持文本和韵律完整。VC通常用于娱乐和语音辅助系统，以及用于语音数据生成和增强。任何对任何VC系统的开发，能够在模型训练期间生成不可见的声音，对研究人员和行业都特别感兴趣。尽管最近取得了进展，但任何到任何转换的质量仍然不如自然语音。在这项工作中，我们提出了一个新的任意到任意的语音转换管道。我们的方法使用自动语音识别（ASR）功能，音高跟踪，和一个国家的最先进的波形预测模型。根据多个主观和客观的评价，我们的方法优于现代基线的语音质量，相似性和一致性。
2022-03-31 cs.LG cs.SD eess.AS
NVC-Net: End-to-End Adversarial Voice Conversion
Sony Europe B.V.（索尼欧洲公司）
在语音合成的许多应用中，语音转换越来越受欢迎。这个想法是改变语音身份从一个发言者到另一个，同时保持语言内容不变。许多语音转换方法依赖于使用声码器来从声学特征重构语音，因此，语音质量在很大程度上取决于这样的声码器。在本文中，我们提出了NVC-Net，这是一种端到端的对抗网络，它直接对任意长度的原始音频波形进行语音转换。通过从语音内容中分离出说话者身份，NVC-Net能够执行非并行的传统多对多语音转换以及从看不见的目标说话者的短话语中进行zero-shot语音转换。重要的是，NVC-Net是非自回归和完全卷积的，可以实现快速推理。我们的模型能够在NVIDIA V100 GPU上以超过3600 kHz的速率生成样本，在相同的硬件配置下比最先进的方法快几个数量级。非并行多对多语音转换任务的客观和主观评价表明，NVC-Net获得了具有竞争力的结果，具有显着更少的参数。
2021-06-02 cs.AI cs.SD eess.AS
DualVC: Dual-mode Voice Conversion using Intra-model Knowledge Distillation and Hybrid Predictive Coding
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）；Shanghai Jiao Tong University（上海交通大学）
DualVC提出一种双模式语音转换方法，通过模型内知识蒸馏、混合预测编码和数据增强解决流式转换中因缺失未来信息导致的性能下降问题，在仅252.8毫秒延迟下达到与非流式顶级系统相当的性能。
2023-05-31 cs.SD eess.AS
How Far Are We from Robust Voice Conversion: A Survey
College of Electrical Engineering（电气工程学院）；Computer Science, National Taiwan University, Taiwan（台湾大学计算机科学系）
近年来，在深度学习的帮助下，语音转换技术得到了很大的改进，但它们在不同条件下产生自然发声的能力仍然不清楚。本文对已知VC模型的鲁棒性进行了深入的研究。我们还修改了这些模型，例如更换扬声器嵌入，以进一步提高其性能。我们发现采样率和音频持续时间对语音转换有很大的影响。所有的VC模型都受到不可见数据的影响，但AdaIN-VC相对更健壮。此外，联合训练的说话人嵌入比说话人识别训练的说话人嵌入更适合于语音转换。
2021-05-03 cs.SD eess.AS
Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion
National Institute of Informatics（国立信息学研究所）；Nagoya University（名古屋大学）；National University of Singapore（新加坡国立大学）；University of Eastern Finland（东芬兰大学）；University of Science and Technology of China（中国科学技术大学）
语音转换挑战赛是一项每两年举办一次的科学活动，旨在比较和了解基于通用数据集构建的不同语音转换（VC）系统。2020年，我们组织了第三届挑战赛，并为两个任务构建和分发了一个新的数据库，即语言内半并行和跨语言VC。经过两个月的挑战期，我们收到了33份提交，包括3个基于数据库的基线。从众包听力测试的结果中，我们观察到，由于先进的深度学习方法，VC方法进展迅速。特别是，扬声器相似性分数的几个系统被证明是一样高的目标扬声器在语言内半并行VC任务。然而，我们证实，对于相同的任务，它们中没有一个达到人类水平的自然性。跨语言转换任务，正如预期的那样，是一个更困难的任务，和整体的自然度和相似性分数低于那些内语言转换任务。然而，我们观察到令人鼓舞的结果，最好的系统的MOS得分高于4.0。我们还展示了一些额外的分析结果，以帮助更好地理解跨语言VC。
2020-08-28 cs.SD eess.AS
CycleGAN Voice Conversion of Spectral Envelopes using Adversarial Weights
IRCAM（声学/音乐协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文在语音转换的背景下处理GAN优化和稳定性问题。首先，为了简化转换任务，我们建议使用频谱包络作为输入。其次，我们提出了两种对抗性的权重训练范式，广义加权GAN和生成器影响GAN，都旨在减少生成器对训练的影响，因此两者都可以在训练过程中更渐进，更有效地学习。将能量约束应用于cycleGAN范例大大提高了转换质量。在语音转换挑战2018数据集上对语音转换任务进行的主观实验表明，首先，尽管网络复杂性显着降低，但所提出的方法实现了最先进的结果，其次，所提出的加权GAN方法优于先前提出的方法。
2020-07-11 cs.LG cs.SD eess.AS
Vocoder-free End-to-End Voice Conversion with Transformer Network
Kyungpook National University（庆北国立大学）
与原始频谱相比，基于梅尔频率滤波器组（MFB）的方法具有学习语音的优势，因为MFB具有较小的特征尺寸。然而，采用MFB方法的语音发生器需要额外的声码器，这需要大量的计算开销用于训练过程。额外的预/后处理，如MFB和声码器，对于将真实的人类语音转换为其他语音并不重要。可以仅使用原始频谱以及相位来生成具有清晰发音的不同风格的语音。在这方面，我们提出了一种快速有效的方法来转换现实的声音，使用原始频谱的并行方式。我们的基于transformer的模型架构没有任何CNN或RNN层，显示了快速学习的优势，解决了传统RNN顺序计算的局限性。本文介绍了一种利用Transformer网络实现无声码器端到端语音转换的方法。该转换模型也可用于语音识别的说话人自适应。我们的方法可以将源语音转换为目标语音，而无需使用MFB和声码器。通过将转换后的幅度与相位相乘，可以得到用于语音识别的自适应MFB。我们在TIDIGITS数据集上进行了语音转换实验，分别使用自然度，相似度和清晰度等指标与平均意见得分。
2020-02-05 cs.LG cs.SD eess.AS
Stepback: Enhanced Disentanglement for Voice Conversion via Multi-Task Learning
Shanghai International Studies University（上海外国语大学）；University of Cambridge（剑桥大学）
本文提出Stepback网络，利用非并行数据和深度学习技术，通过多任务学习结合双重流及自我毁灭性修正约束优化内容编码器，显著提升了语音转换的解耦效果与语言内容保留，在降低训练成本的同时实现高质量转换。
2025-01-26 cs.CL cs.SD eess.AS
F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder
Adobe Research（Adobe研究院）
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。许多风格转移启发的方法，如生成对抗网络（GANs）和变分自编码器（VAE）已被提出。最近，AutoVC，一个条件自动编码器（CAE）为基础的方法取得了国家的最先进的成果，通过解开使用信息约束瓶颈的说话人身份和语音内容，它实现了zero-shot转换，通过交换在不同的说话人的身份嵌入合成一个新的声音。然而，我们发现，虽然说话人身份从语音内容中解脱出来，但大量的韵律信息，如源F0，通过瓶颈泄漏，导致目标F0不自然地波动。此外，AutoVC无法控制转换后的F0，因此不适用于许多应用。在本文中，我们修改和改进了基于自动编码器的语音转换，以同时解开内容，F0和说话人身份。因此，我们可以控制F0轮廓，生成与目标说话人F0一致的语音，并显着提高质量和相似度。我们通过定量和定性分析来支持我们的改进。
2020-04-15 cs.LG cs.SD eess.AS
Neural Concatenative Singing Voice Conversion: Rethinking Concatenation-Based Approach for One-Shot Singing Voice Conversion
ARC Lab, Tencent PCG（腾讯PCG ARC实验室）
针对任意到任意歌声转换中的“音色泄漏”问题，提出NeuCoSVC框架，利用自监督学习特征替换和保留源音频谐波与响度实现一次性转换，有效解决音色泄漏并在多场景下优于传统解耦方法。
2024-01-08 cs.SD eess.AS
Enhancing Polyglot Voices by Leveraging Cross-Lingual Fine-Tuning in Any-to-One Voice Conversion
Università degli studi di Torino（都灵大学）；Cerence Inc（赛伦斯公司）
本文提出一种基于自监督学习的跨语言任意到一语音转换系统及微调策略，无需目标说话人多语言数据即可保留源口音，显著提升了多语言语音的可懂度与整体质量。
2024-09-25 cs.SD eess.AS
Self Voice Conversion as an Attack against Neural Audio Watermarking
研究提出自我语音转换作为对抗神经音频水印的攻击方法，展示了其对现有水印技术可靠性的破坏性影响。
2026-03-16 cs.AI cs.SD
One-shot Voice Conversion by Separating Speaker and Content Representations with Instance Normalization
National Taiwan University（台湾大学）
最近，没有并行数据的语音转换（VC）已经成功地适应多目标场景，其中单个模型被训练成将输入语音转换为多个不同的说话人。然而，这种模型的局限性在于它只能将语音转换为训练数据中的说话人，这缩小了VC的适用场景。在本文中，我们提出了一种新的一次性VC方法，能够执行VC只有一个例子发言，分别从源和目标说话人，和源和目标说话人甚至不需要看到在训练过程中。这是通过使用实例规范化（IN）来解开扬声器和内容表示来实现的。客观和主观评价表明，我们的模型是能够产生类似的目标说话人的声音。除了性能测量之外，我们还证明了该模型能够在没有任何监督的情况下学习有意义的说话人表示。
2019-08-22 cs.LG cs.SD eess.AS
Towards Low-Resource StarGAN Voice Conversion using Weight Adaptive Instance Normalization
University of Sheffield（谢菲尔德大学）
近年来，具有非并行训练数据的多对多语音转换已经取得了显著的进展。基于StarGAN的模型一直是语音转换的研究热点。然而，大多数基于StarGAN的方法只针对说话人数量较少、训练数据量较大的情况进行语音转换实验。在这项工作中，我们的目标是提高模型的数据效率，并在训练样本有限的情况下，为相对大量的说话者实现多对多的非并行基于StarGAN的语音转换。为了提高数据效率，该模型使用说话人编码器提取说话人嵌入，并对卷积权重进行自适应实例归一化（AdaIN）。实验在两种低资源情况下进行，其中每个说话人的训练样本数分别为20和5。客观评价表明，该模型优于基线方法。此外，主观评价表明，无论是自然度和相似性，该模型优于基线方法。
2021-04-10 cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
在大多数实际应用中，广播系统必须在噪声环境中传递语音信息，而在这种环境中，背景噪声是无法消除的。本地噪声降低了语音的可懂度，增加了收听者的收听努力，从而影响了广播系统的有效性。有报道指出，在嘈杂的环境中，专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明，语音清晰度可能与专业播音员的说话风格有关，可以通过语音转换方法进行调整。基于这一思想，本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势，我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实，在低信噪比条件下，转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
Hear Your Face: Face-based voice conversion with F0 estimation
Seoul National University（首尔大学）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究院）
该研究聚焦基于人脸的语音转换任务，提出一种仅从目标人脸图像提取平均基频的转换框架，可提升语音生成质量并实现人脸特征与嗓音特征的对齐。
2024-08-19 cs.CV cs.SD eess.AS
Voice conversion with limited data and limitless data augmentations
Voctro Labs S.L.；Voicemod
将改变应用于输入语音信号以将感知的语音说话者改变为目标，同时保持输入的内容是一项具有挑战性但有趣的任务，称为语音转换（VC）。在过去的几年里，这项任务已经获得了显着的兴趣，其中大多数系统使用数据驱动的机器学习模型。在低延迟的真实场景中进行转换更具挑战性，因为受到高质量数据可用性的限制。数据增强（例如音调移位和噪声添加）通常用于增加用于训练用于此任务的基于机器学习的模型的数据量。在本文中，我们探讨了常见的数据增强技术的实时语音转换的有效性，并介绍了新的技术，数据增强的基础上，音频和语音转换效果。我们使用客观和主观的评价方法来评估男性和女性目标说话人的转换。
2022-12-27 cs.SD eess.AS
Discl-VC: Disentangled Discrete Tokens and In-Context Learning for Controllable Zero-Shot Voice Conversion
School of Informatics（信息学院）；School of Electronic Science and Engineering（电子科学与工程学院）
提出Discl-VC框架，通过解耦自监督语音表示中的内容与韵律信息，结合流匹配变换器上下文学习和掩码生成变换器预测离散韵律标记，实现了高精度的零样本语音转换与韵律控制。
2025-05-30 cs.AI cs.SD eess.AS
Voice Conversion with Conditional SampleRNN
Dolby Laboratories（杜比实验室）
在这里，我们提出了一种新的方法来调节语音转换（VC）的SampleRNN生成模型。VC的传统方法通过在源和目标声学特征之间转换来修改感知的说话者身份。我们的方法侧重于保留语音内容，并依赖于生成网络来学习语音风格。我们首先训练一个多扬声器SampleRNN模型的语言特征，音高轮廓，和扬声器身份使用多扬声器语音语料库的条件。利用从源说话人中提取的语言特征和音高轮廓以及目标说话人身份生成语音转换语音。我们证明，我们的系统是能够多对多的语音转换，而不需要并行数据，使广泛的应用。主观评价表明，我们的方法优于传统的VC方法。
2018-08-24 cs.LG cs.SD eess.AS
LatentVoiceGrad: Nonparallel Voice Conversion with Latent Diffusion/Flow-Matching Models
NTT Communication Science Laboratories, NTT, Inc.（日本通标标准电气公司通信科学实验室）
本文提出LatentVoiceGrad，将潜在扩散与流匹配模型引入VoiceGrad，以提升非平行语音转换的质量与速度，实验验证了其有效性。
2025-09-10 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology（依图科技）；National University of Singapore（新加坡国立大学）
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统，通过保持原始话语中的内容并替换为来自目标说话者的声音特征，将源说话者的话语转换为目标说话者的另一话语。现有的解决方案，例如，StarGAN-VC 2，目前有希望的结果，只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换，但它需要一个外部的预先训练的说话者验证模型。在本文中，我们提出了我们新的基于GAN的zero-shot语音转换解决方案，称为GAZEV，其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失，以及自适应实例归一化策略，以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明，输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
PitchNet: Unsupervised Singing Voice Conversion with Pitch Adversarial Network
Tencent AI Lab（腾讯人工智能实验室）
演唱声音转换是指在不改变演唱内容的前提下，将演唱者的声音转换成另一个人的声音。最近的工作表明，无监督的歌声转换可以通过基于自动编码器的方法实现[1]。然而，转换后的歌声很容易跑调，这表明现有的方法不能精确地对音高信息进行建模。在本文中，我们建议改进[1]中提出的现有无监督歌唱声音转换方法，以实现更准确的音高转换和灵活的音高操作。具体来说，所提出的PitchNet添加了一个经过逆向训练的音高回归网络，以强制编码器网络学习音高不变的音素表示，并添加了一个单独的模块，将从源音频中提取的音高馈送到解码器网络。我们的评估表明，该方法可以大大提高转换后的歌声质量（2.92比3.75 MOS）。我们还证明了转换歌唱的音高可以很容易地控制在生成过程中通过改变提取的音高的水平，然后将其传递到解码器网络。
2020-02-18 cs.CL cs.SD eess.AS
A Comparative Study of Voice Conversion Models with Large-Scale Speech and Singing Data: The T13 Systems for the Singing Voice Conversion Challenge 2023
Nagoya University（名古屋大学）；LINE Corp.（LINE公司）
本研究面向2023年歌唱语音转换挑战赛，提出基于扩散模型的任意到任意语音转换T13系统，先利用750小时大规模语音歌唱数据预训练再针对目标对象微调，在跨域任务中取得有竞争力的效果，验证了大数据对跨域SVC的增益。
2023-10-08 cs.CL cs.LG cs.SD
Expressive Voice Conversion: A Joint Framework for Speaker Identity and Emotional Style Transfer
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
传统的语音转换（VC）一直专注于说话人身份转换的语音与中性的表达。我们注意到，情感表达在日常交流中起着至关重要的作用，言语的情感风格可能取决于说话者。在本文中，我们研究的技术，共同转换的说话人身份和说话人依赖的情感风格，即表达的声音转换。我们提出了一个基于StarGAN的框架来学习不同说话者之间的多对多映射，该框架考虑了说话者依赖的情感风格，而不需要并行数据。为了实现这一点，我们的条件生成器的情感风格编码来自一个预先训练的语音情感识别（SER）模型。实验验证了我们提出的框架在客观和主观评价的有效性。据我们所知，这是第一次研究表达语音转换。
2021-10-20 cs.SD eess.AS
Face-Driven Zero-Shot Voice Conversion with Memory-based Face-Voice Alignment
University of Science and Technology of China（中国科学技术大学）
本文提出基于单张人脸图像的零样本语音转换任务，并设计基于记忆的人脸-语音对齐模块与混合监督策略，通过知识迁移和系统评估验证了方法的有效性。
2023-09-18 cs.LG cs.MM cs.SD
Voice Conversion-based Privacy through Adversarial Information Hiding
The University of Edinburgh（爱丁堡大学）；SpeakUnique Ltd.（斯皮克尤尼克有限公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Southampton（南安普顿大学）
本文提出一种基于对抗信息隐藏的隐私保护语音转换机制，通过控制身份信息泄露实现说话人身份修改与源语音特征保留的权衡，优于CycleGAN等传统方法和ASR-TTS流程。
2024-09-23 cs.SD eess.AS
Catch You and I Can: Revealing Source Voiceprint Against Voice Conversion
Zhejiang University（浙江大学）；Wuhan University（武汉大学）
语音转换（VC）技术可能被恶意方滥用，将其音频转换为听起来像目标说话者，使得人类或说话者验证/识别系统难以追踪源说话者。本文首次尝试从高可信度的语音转换方法合成的音频中恢复源声纹。然而，从转换的音频中揭示源说话者的特征是具有挑战性的，因为语音转换操作旨在解开原始特征并注入目标说话者的特征。为了实现我们的目标，我们开发了Revelio，一个表示学习模型，它学习从转换后的音频样本中有效地提取源说话人的声纹。我们为Revelio配备了精心设计的差分校正算法，通过去除与目标说话人的声纹平行的表示分量来消除目标说话人的影响。我们进行了大量的实验来评估Revelio从VQVC、VQVC+、AGAIN和BNE转换的音频中恢复声纹的能力。实验证明，Revelio能够重建声纹，可以通过说话人验证和识别系统跟踪到源说话人。Revelio在跨性别转换、看不见的语言和电话网络下也表现出了强劲的性能。
2023-02-24 cs.AI cs.SD eess.AS
Voice Reenactment with F0 and timing constraints and adversarial learning of conversions
IRCAM（声学与音乐研究中心）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文介绍了语音再现作为语音转换（VC）的任务，在转换过程中，源说话人的表现力被保留，而目标说话人的身份被转移。为此，提出了一种基于序列到序列语音转换（S2 S-VC）的原始神经- VC架构，其中在转换期间保留源说话人的语音韵律。首先，修改S2 S-VC架构，以便通过语音持续时间编码使转换后的语音与源语音同步;其次，解码器以所需的F0值序列为条件，并在源扬声器的F0与转换后的语音之一之间制定明确的F0损失。此外，在S2 S-VC架构中集成了转换的对抗学习，以便在训练期间利用原始语音和具有操纵属性的转换语音的重建的优点，然后减少训练和转换之间的不一致性。VCTK语音数据库上的实验评估表明，语音韵律可以有效地保留在转换过程中，和所提出的对抗性学习不断提高转换和再现语音的自然度。
2022-05-31 cs.SD eess.AS
A Comparison of Discrete and Soft Speech Units for Improved Voice Conversion
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯泰伦博斯大学）
语音转换的目标是将源语音转换为目标语音，保持内容不变。在本文中，我们专注于语音转换的自监督表示学习。具体来说，我们将离散语音单元和软语音单元作为输入特征进行比较。我们发现，离散表示有效地删除扬声器信息，但放弃一些语言内容-导致发音错误。作为解决方案，我们提出了软语音单元。为了学习软单元，我们预测离散语音单元的分布。通过对不确定性进行建模，软单元捕获了更多的内容信息，提高了转换后语音的可懂度和自然度。样品可在https://ubisoft-laforge.github.io/speech/soft-vc/上获得。代码可在https://github.com/bshall/soft-vc/获得。
2022-06-08 cs.SD eess.AS
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum（博洛尼亚大学）
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而，对于现实世界的应用程序，并行数据很少可用。我们提出了MelGAN-VC，一种语音转换方法，依赖于非并行语音数据，能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图，然后使用生成对抗网络（GAN）架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息，而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集，以及与嘈杂的现实世界的语音例子的集合。最后，我们采用相同的方法来执行音乐风格的转移，翻译任意长的音乐样本从一个流派到另一个，并表明我们的框架是灵活的，可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
End-to-End Zero-Shot Voice Conversion with Location-Variable Convolutions
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出端到端零样本语音转换模型 LVC-VC，利用位置可变卷积联合建模转换与合成，在风格迁移和语音可懂度之间取得均衡表现。
2023-05-22 cs.SD eess.AS
VAW-GAN for Singing Voice Conversion with Non-parallel Training Data
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
歌唱声音转换是指在不改变演唱内容的前提下，将演唱者的声音从源声转换为目标声。并行训练数据通常需要用于训练歌唱声音转换系统，然而这在现实生活中的应用中是不实际的。最近的编码器-解码器结构，如变分自编码Wasserstein生成对抗网络（VAW-GAN），提供了一种通过非并行训练数据学习映射的有效方法。在本文中，我们提出了一个歌唱的声音转换框架，是基于VAW-GAN。我们训练一个编码器，以解开歌手身份和歌唱韵律（F0轮廓）从语音内容。通过以歌手身份和F0为条件，解码器生成具有不可见目标歌手身份的输出频谱特征，并改进F0渲染。实验结果表明，该框架实现了更好的性能比基线框架。
2020-11-03 cs.CL cs.SD eess.AS
