Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的框架，建立一个语音转换（VC）系统的学习从文本到语音（TTS）合成系统，即TTS-VC迁移学习。首先，我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构，其中编码器提取强大的语言表示的文本，和解码器，条件下的目标说话人嵌入，需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实，并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中，编码器以语音代替文本作为输入，而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入，因此系统可以在非并行数据上进行训练，以进行任意到任意的语音转换。在语音转换训练过程中，我们分别提出了文本和语音到语音合成和语音转换网络。在运行时，语音转换网络使用自己的编码器-解码器架构。实验表明，该方法优于两个竞争的语音转换基线一致，即语音后验图和变分自动编码器的方法，在语音质量，自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
语音转换是指在保留话语内容的同时改变语音的音色。最近，许多工作集中在基于分离的学习技术，从语音信号中分离音色和语言内容信息。一旦成功，语音转换将是可行和直接的。提出了一种基于矢量量化语音转换（VQVC）和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中，以更有效地从语音中分离出内容和音色信息。实验结果表明，该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
The IQIYI System for Voice Conversion Challenge 2020
IQIYI Inc.（爱奇艺公司）
本文介绍了用于语音转换2020的IQIYI语音转换系统（T24）。在比赛中，每个目标说话人有70个句子。我们已经建立了一个基于PPG的端到端语音转换系统。首先，ASR声学模型计算BN特征，其表示语音中的内容相关信息。然后通过改进的韵律tacotron模型计算Mel特征。最后，通过改进的LPCNet将Mel谱转换为wav。评测结果表明，该系统能够达到较好的语音转换效果。在使用16 k而不是24 k采样率音频的情况下，转换结果在自然度和相似性方面相对较好。其中，我们最好的结果是在任务2的相似性评价，第2次在基于ASV的客观评价和第5次在主观评价。
2020-10-29 cs.SD eess.AS
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
我们提出了一种新的训练方案，优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失，而且说话人身份损失。我们引入了一个周期的一致性损失，限制转换后的语音，以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络，但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明，该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型，实现轻量级流式零样本有声与耳语语音转换，并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
The Academia Sinica Systems of Voice Conversion for VCC2020
The Academia Sinica（中央研究院）
本文介绍了中央研究院为2020年语音转换挑战赛的两个任务所设计的系统，即同一语言内的语音转换（任务1）和跨语言语音转换（任务2）。对于这两个任务，我们遵循级联ASR+TTS结构，使用语音标记作为TTS输入，而不是文本或字符。对于任务1，我们使用国际音标（IPA）作为TTS模型的输入。对于任务2，我们使用由矢量量化变分自动编码器（VQVAE）提取的无监督语音符号。在评估中，听力测试表明我们的系统在VCC 2020挑战赛中表现良好。
2020-10-06 cs.SD eess.AS
DualVC: Dual-mode Voice Conversion using Intra-model Knowledge Distillation and Hybrid Predictive Coding
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）；Shanghai Jiao Tong University（上海交通大学）
DualVC提出一种双模式语音转换方法，通过模型内知识蒸馏、混合预测编码和数据增强解决流式转换中因缺失未来信息导致的性能下降问题，在仅252.8毫秒延迟下达到与非流式顶级系统相当的性能。
2023-05-31 cs.SD eess.AS
How Far Are We from Robust Voice Conversion: A Survey
College of Electrical Engineering（电气工程学院）；Computer Science, National Taiwan University, Taiwan（台湾大学计算机科学系）
近年来，在深度学习的帮助下，语音转换技术得到了很大的改进，但它们在不同条件下产生自然发声的能力仍然不清楚。本文对已知VC模型的鲁棒性进行了深入的研究。我们还修改了这些模型，例如更换扬声器嵌入，以进一步提高其性能。我们发现采样率和音频持续时间对语音转换有很大的影响。所有的VC模型都受到不可见数据的影响，但AdaIN-VC相对更健壮。此外，联合训练的说话人嵌入比说话人识别训练的说话人嵌入更适合于语音转换。
2021-05-03 cs.SD eess.AS
Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion
National Institute of Informatics（国立信息学研究所）；Nagoya University（名古屋大学）；National University of Singapore（新加坡国立大学）；University of Eastern Finland（东芬兰大学）；University of Science and Technology of China（中国科学技术大学）
语音转换挑战赛是一项每两年举办一次的科学活动，旨在比较和了解基于通用数据集构建的不同语音转换（VC）系统。2020年，我们组织了第三届挑战赛，并为两个任务构建和分发了一个新的数据库，即语言内半并行和跨语言VC。经过两个月的挑战期，我们收到了33份提交，包括3个基于数据库的基线。从众包听力测试的结果中，我们观察到，由于先进的深度学习方法，VC方法进展迅速。特别是，扬声器相似性分数的几个系统被证明是一样高的目标扬声器在语言内半并行VC任务。然而，我们证实，对于相同的任务，它们中没有一个达到人类水平的自然性。跨语言转换任务，正如预期的那样，是一个更困难的任务，和整体的自然度和相似性分数低于那些内语言转换任务。然而，我们观察到令人鼓舞的结果，最好的系统的MOS得分高于4.0。我们还展示了一些额外的分析结果，以帮助更好地理解跨语言VC。
2020-08-28 cs.SD eess.AS
Neural Concatenative Singing Voice Conversion: Rethinking Concatenation-Based Approach for One-Shot Singing Voice Conversion
ARC Lab, Tencent PCG（腾讯PCG ARC实验室）
针对任意到任意歌声转换中的“音色泄漏”问题，提出NeuCoSVC框架，利用自监督学习特征替换和保留源音频谐波与响度实现一次性转换，有效解决音色泄漏并在多场景下优于传统解耦方法。
2024-01-08 cs.SD eess.AS
Enhancing Polyglot Voices by Leveraging Cross-Lingual Fine-Tuning in Any-to-One Voice Conversion
Università degli studi di Torino（都灵大学）；Cerence Inc（赛伦斯公司）
本文提出一种基于自监督学习的跨语言任意到一语音转换系统及微调策略，无需目标说话人多语言数据即可保留源口音，显著提升了多语言语音的可懂度与整体质量。
2024-09-25 cs.SD eess.AS
Towards Low-Resource StarGAN Voice Conversion using Weight Adaptive Instance Normalization
University of Sheffield（谢菲尔德大学）
近年来，具有非并行训练数据的多对多语音转换已经取得了显著的进展。基于StarGAN的模型一直是语音转换的研究热点。然而，大多数基于StarGAN的方法只针对说话人数量较少、训练数据量较大的情况进行语音转换实验。在这项工作中，我们的目标是提高模型的数据效率，并在训练样本有限的情况下，为相对大量的说话者实现多对多的非并行基于StarGAN的语音转换。为了提高数据效率，该模型使用说话人编码器提取说话人嵌入，并对卷积权重进行自适应实例归一化（AdaIN）。实验在两种低资源情况下进行，其中每个说话人的训练样本数分别为20和5。客观评价表明，该模型优于基线方法。此外，主观评价表明，无论是自然度和相似性，该模型优于基线方法。
2021-04-10 cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
在大多数实际应用中，广播系统必须在噪声环境中传递语音信息，而在这种环境中，背景噪声是无法消除的。本地噪声降低了语音的可懂度，增加了收听者的收听努力，从而影响了广播系统的有效性。有报道指出，在嘈杂的环境中，专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明，语音清晰度可能与专业播音员的说话风格有关，可以通过语音转换方法进行调整。基于这一思想，本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势，我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实，在低信噪比条件下，转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
Voice Conversion for Stuttered Speech, Instruments, Unseen Languages and Textually Described Voices
Stellenbosch University（斯泰伦博斯大学）
本研究探索kNN-VC语音转换模型在口吃、跨语言、乐器和文本描述声音等非标准任务上的表现，发现其在口吃和跨语言任务中保持高性能，但乐器转换效果不一，整体展示广泛适用性及分布外样本的局限。
2023-10-12 cs.CL cs.SD eess.AS
Voice conversion with limited data and limitless data augmentations
Voctro Labs S.L.；Voicemod
将改变应用于输入语音信号以将感知的语音说话者改变为目标，同时保持输入的内容是一项具有挑战性但有趣的任务，称为语音转换（VC）。在过去的几年里，这项任务已经获得了显着的兴趣，其中大多数系统使用数据驱动的机器学习模型。在低延迟的真实场景中进行转换更具挑战性，因为受到高质量数据可用性的限制。数据增强（例如音调移位和噪声添加）通常用于增加用于训练用于此任务的基于机器学习的模型的数据量。在本文中，我们探讨了常见的数据增强技术的实时语音转换的有效性，并介绍了新的技术，数据增强的基础上，音频和语音转换效果。我们使用客观和主观的评价方法来评估男性和女性目标说话人的转换。
2022-12-27 cs.SD eess.AS
LatentVoiceGrad: Nonparallel Voice Conversion with Latent Diffusion/Flow-Matching Models
NTT Communication Science Laboratories, NTT, Inc.（日本通标标准电气公司通信科学实验室）
本文提出LatentVoiceGrad，将潜在扩散与流匹配模型引入VoiceGrad，以提升非平行语音转换的质量与速度，实验验证了其有效性。
2025-09-10 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology（依图科技）；National University of Singapore（新加坡国立大学）
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统，通过保持原始话语中的内容并替换为来自目标说话者的声音特征，将源说话者的话语转换为目标说话者的另一话语。现有的解决方案，例如，StarGAN-VC 2，目前有希望的结果，只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换，但它需要一个外部的预先训练的说话者验证模型。在本文中，我们提出了我们新的基于GAN的zero-shot语音转换解决方案，称为GAZEV，其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失，以及自适应实例归一化策略，以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明，输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
Expressive Voice Conversion: A Joint Framework for Speaker Identity and Emotional Style Transfer
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
传统的语音转换（VC）一直专注于说话人身份转换的语音与中性的表达。我们注意到，情感表达在日常交流中起着至关重要的作用，言语的情感风格可能取决于说话者。在本文中，我们研究的技术，共同转换的说话人身份和说话人依赖的情感风格，即表达的声音转换。我们提出了一个基于StarGAN的框架来学习不同说话者之间的多对多映射，该框架考虑了说话者依赖的情感风格，而不需要并行数据。为了实现这一点，我们的条件生成器的情感风格编码来自一个预先训练的语音情感识别（SER）模型。实验验证了我们提出的框架在客观和主观评价的有效性。据我们所知，这是第一次研究表达语音转换。
2021-10-20 cs.SD eess.AS
Voice Conversion-based Privacy through Adversarial Information Hiding
The University of Edinburgh（爱丁堡大学）；SpeakUnique Ltd.（斯皮克尤尼克有限公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Southampton（南安普顿大学）
本文提出一种基于对抗信息隐藏的隐私保护语音转换机制，通过控制身份信息泄露实现说话人身份修改与源语音特征保留的权衡，优于CycleGAN等传统方法和ASR-TTS流程。
2024-09-23 cs.SD eess.AS
Voice Reenactment with F0 and timing constraints and adversarial learning of conversions
IRCAM（声学与音乐研究中心）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文介绍了语音再现作为语音转换（VC）的任务，在转换过程中，源说话人的表现力被保留，而目标说话人的身份被转移。为此，提出了一种基于序列到序列语音转换（S2 S-VC）的原始神经- VC架构，其中在转换期间保留源说话人的语音韵律。首先，修改S2 S-VC架构，以便通过语音持续时间编码使转换后的语音与源语音同步;其次，解码器以所需的F0值序列为条件，并在源扬声器的F0与转换后的语音之一之间制定明确的F0损失。此外，在S2 S-VC架构中集成了转换的对抗学习，以便在训练期间利用原始语音和具有操纵属性的转换语音的重建的优点，然后减少训练和转换之间的不一致性。VCTK语音数据库上的实验评估表明，语音韵律可以有效地保留在转换过程中，和所提出的对抗性学习不断提高转换和再现语音的自然度。
2022-05-31 cs.SD eess.AS
A Comparison of Discrete and Soft Speech Units for Improved Voice Conversion
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯泰伦博斯大学）
语音转换的目标是将源语音转换为目标语音，保持内容不变。在本文中，我们专注于语音转换的自监督表示学习。具体来说，我们将离散语音单元和软语音单元作为输入特征进行比较。我们发现，离散表示有效地删除扬声器信息，但放弃一些语言内容-导致发音错误。作为解决方案，我们提出了软语音单元。为了学习软单元，我们预测离散语音单元的分布。通过对不确定性进行建模，软单元捕获了更多的内容信息，提高了转换后语音的可懂度和自然度。样品可在https://ubisoft-laforge.github.io/speech/soft-vc/上获得。代码可在https://github.com/bshall/soft-vc/获得。
2022-06-08 cs.SD eess.AS
End-to-End Zero-Shot Voice Conversion with Location-Variable Convolutions
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出端到端零样本语音转换模型 LVC-VC，利用位置可变卷积联合建模转换与合成，在风格迁移和语音可懂度之间取得均衡表现。
2023-05-22 cs.SD eess.AS
Building Multi lingual TTS using Cross Lingual Voice Conversion
Research & Development Group, Hitachi, Ltd.（日立公司研发集团）
在本文中，我们提出了一种新的跨语言的语音转换（VC）的方法，它可以生成所有的语音参数（MCEP，LF0，BAP）从一个DNN模型使用PPG（语音后验）从输入的语音使用几个ASR声学模型提取。使用建议的VC方法，我们尝试了三种不同的方法来建立一个多语种的TTS系统，而无需记录多语种的语音语料库。进行了听力测试，以评估语音质量（自然度）和转换后的语音和目标语音之间的语音相似度。结果表明，方法1实现了最高水平的自然性（3.28 MOS的5点量表）和相似性（2.77 MOS）。
2020-12-28 cs.SD eess.AS
DRVC: A Framework of Any-to-Any Voice Conversion with Self-Supervised Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）
任意到任意语音转换问题的目的是转换源和目标说话人的语音，这是出于训练数据。以前的作品广泛使用基于解缠的模型。基于解缠的模型假设语音由内容和说话者风格信息组成，并旨在解开它们以改变用于转换的风格信息。以往的研究主要集中在语音降维以获取内容信息。但由于其尺寸难以确定，导致解缠重叠问题。我们提出了解纠缠表示语音转换（DRVC）模型来解决这个问题。DRVC模型是一个端到端的自我监督模型，由内容编码器、音色编码器和生成器组成。而不是以前的工作，减少语音大小，以获得内容，我们提出了一个循环，限制解纠缠的循环重建损失和相同的损失。实验结果表明，转换后的语音在质量和相似度上都有一定的提高。
2022-02-22 cs.SD eess.AS
Disentanglement of Emotional Style and Speaker Identity for Expressive Voice Conversion
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
表达性语音转换通过对说话人身份和情感风格的联合转换来实现情感说话人的身份转换。由于言语情感的层次结构，区分不同说话人的情感风格具有挑战性。受变分自动编码器（VAE）最近成功的扬声器解纠缠的启发，我们提出了一个任意到任意表达的语音转换框架，这是所谓的StyleVC。StyleVC旨在理清语言内容、说话者身份、音高和情感风格信息。我们研究了使用风格编码器来明确地建模情感风格。在运行时，StyleVC为任意说话者转换说话者身份和情感风格。实验验证了我们提出的框架在客观和主观评价的有效性。
2022-07-21 cs.SD eess.AS
Enhancing Expressive Voice Conversion with Discrete Pitch-Conditioned Flow Matching Model
Zhejiang University（浙江大学）；LightSpeed Studios, Tencent（腾讯光速工作室）
针对现有语音转换在表现力增强上的不足，本文提出PFlow-VC模型，通过离散基音标记和目标说话人提示，结合基音VQVAE与掩码基音条件流匹配，提升风格迁移与音色相似度，在LibriTTS和ESD数据集上表现优异。
2025-02-08 cs.SD eess.AS
MASS: Multi-task Anthropomorphic Speech Synthesis Framework
Institute of Cyberspace Security, Zhejiang University of Technology（浙江工业大学网络空间安全研究院）；College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
文语转换（TTS）合成在人机交互中起着重要的作用。目前，大多数TTS技术都关注语音的自然性，即使语音听起来像人。然而，语音合成技术中的情感表达和说话人身份识别这两个关键任务却被忽略了，这限制了语音合成技术的应用场景。为了使合成的语音更加逼真，扩展应用场景，提出了一种多任务拟人语音合成框架（MASS），该框架可以从文本中合成具有特定情感和说话人身份的语音。MASS框架包括一个基本的TTS模块和两个新的语音转换模块：情感语音转换模块和扬声器语音转换模块。提出了基于卷积残差网络的深度情感语音转换模型（DEVC）和深度说话人语音转换模型（DSVC）。它解决了语音转换过程中的特征丢失问题。模型训练独立于并行数据集，并且能够进行多对多语音转换。在情感语音转换实验、说话人语音转换实验以及多任务语音合成实验中，实验结果表明DEVC和DSVC对语音转换效果良好。多任务语音合成实验的定量和定性评价结果表明，MASS能够有效地合成具有特定文本、情感和说话人身份的语音。
2021-05-10 cs.SD eess.AS
EmoCat: Language-agnostic Emotional Voice Conversion
Amazon（亚马逊）
情感语音转换模型在不改变说话人身份或语言内容的情况下适应语音中的情感。与文本到语音模型相比，它们对数据的需求更少，并且可以为下游任务生成大量的情感数据。在这项工作中，我们提出了一个与语言无关的情感语音转换模型-Cat。它通过利用美国英语中的大量情感数据，在不到45分钟的德语情感录音中实现了高质量的德语情感转换。PencilCat是一个基于CopyCat的编码器-解码器模型，CopyCat是一个传输韵律的语音转换系统。我们使用对抗训练来消除从编码器到解码器的情感泄漏。对抗训练通过对梯度反转的新贡献来改进，以真正反转梯度。这允许仅移除泄漏信息，并以更高的转换性能收敛到更好的最优值。评估表明，Mascat可以转换为不同的情绪，但与录音相比，情绪强度有所下降，特别是对于非常富有表现力的情绪。在六种测试的情感强度中，有五种的音频质量与录音相当。
2021-01-14 cs.SD eess.AS
Recognition-Synthesis Based Non-Parallel Voice Conversion with Adversarial Learning
University of Science and Technology of China（中国科学技术大学）
本文提出了一种基于语音合成的非并行语音转换的对抗学习方法。识别器用于将声学特征转换为语言表示，而合成器从识别器输出中恢复输出特征以及说话人身份。通过将说话人特征从语言表示中分离出来，用目标身份代替说话人身份，实现语音转换。在我们提出的方法中，采用了说话人对抗损失，以获得说话人独立的语言表示使用识别器。此外，鉴别器的引入和生成对抗网络（GAN）的损失是用来防止预测的功能被过度平滑。对于模型参数的训练，设计了先在多说话人数据集上进行预训练，然后在源-目标说话人对上进行微调的策略。我们的方法比在2018年语音转换挑战赛中获得最佳性能的基线模型实现了更高的相似性。
2020-08-05 cs.SD eess.AS
Defending Your Voice: Adversarial Attack on Voice Conversion
National Taiwan University（台湾大学）
近年来，语音转换已经取得了实质性的进步，它将一个话语的说话者特征转换成另一个说话者的特征，而不改变话语的语言内容。尽管如此，改进的转换技术也导致了对隐私和身份验证的担忧。因此，非常希望能够防止人们的语音被这种语音转换技术不适当地利用。这就是为什么我们在本文中报告了对语音转换进行对抗性攻击的第一次已知尝试。我们将人类无法察觉的噪音引入说话者的话语中，说话者的声音是要被保护的。鉴于这些对抗性的例子，语音转换模型不能转换其他话语，以便听起来像是由被辩护的说话者产生的。在两个目前最先进的zero-shot语音转换模型上进行了初步实验。在白盒和黑盒的情况下的客观和主观的评价结果报告。结果表明，转换后的话语的说话人特征明显不同于被辩护说话人的说话人特征，而被辩护说话人的对抗性实例与真实话语无法区分。
2021-05-04 cs.LG cs.SD eess.AS
Invertible Voice Conversion
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
在本文中，我们提出了一个用于语音转换的可逆深度学习框架，称为INVVC。它旨在应对语音转换系统固有的潜在威胁。具体来说，我们开发了一个可逆的框架，使源身份可追溯。该框架是建立在一系列可逆的$1\times1$卷积和流组成的仿射耦合层。我们提出的框架，一对一的语音转换和多对一的转换，使用并行训练数据。实验结果表明，这种方法在语音转换上产生了令人印象深刻的性能，而且，转换后的结果可以利用与转发相同的参数被反转回源输入。
2022-01-26 cs.LG cs.SD eess.AS
CLN-VC: Text-Free Voice Conversion Based on Fine-Grained Style Control and Contrastive Learning with Negative Samples Augmentation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
提出CLN-VC方法，通过说话人融合模块生成困难负样本增强对比学习，并用参考编码器提取细粒度风格，提升相似说话人间的语音转换质量。
2023-11-15 cs.SD eess.AS
Non-Parallel Sequence-to-Sequence Voice Conversion with Disentangled Linguistic and Speaker Representations
University of Science and Technology of China（中国科学技术大学）
本文提出了一种使用非并行训练数据的序列到序列（seq2seq）语音转换方法。在该方法中，从声学特征中提取分离的语言和说话人表示，并通过保留源话语的语言表示而用目标话语替换说话人表示来实现语音转换。我们的模型是建立在编码器-解码器神经网络的框架下。设计了一个识别编码器，通过两种策略来学习解纠缠的语言表示。首先，介绍了训练数据的音素转换，为学习音频信号的语言表示提供参考。其次，采用对抗性训练策略进一步消除语言表征中的说话人信息。同时，通过扬声器编码器从音频信号中提取扬声器表示。通过两阶段训练来估计模型参数，包括使用多说话者数据集的预训练阶段和使用特定转换对的数据集的微调阶段。由于用于恢复声学特征的识别编码器和解码器都是seq2seq神经网络，因此在我们提出的方法中没有帧对齐和逐帧转换的约束。实验结果表明，我们的方法比2018年语音转换挑战赛中最好的非并行语音转换方法获得了更高的相似度和自然度。此外，我们提出的方法的性能接近最先进的并行seq2seq语音转换方法。
2019-12-13 cs.SD eess.AS
Learning Noise-independent Speech Representation for High-quality Voice Conversion for Noisy Target Speakers
Tencent AI Lab（腾讯人工智能实验室）
构建一个语音转换系统的嘈杂的目标扬声器，如用户提供嘈杂的样本或互联网上找到的数据，是一个具有挑战性的任务，因为在模型训练中使用污染的语音将明显降低转换性能。在本文中，我们利用我们最近提出的Glow-WaveGAN的进步，并提出了一个独立于噪声的语音表示学习方法，用于高质量的语音转换嘈杂的目标扬声器。具体来说，我们学习一个潜在的特征空间，在这里我们确保转换模型建模的目标分布完全来自波形发生器的建模分布。在此前提下，我们进一步设法使潜在特征是噪声不变的。具体来说，我们介绍了一个噪声可控的WaveGAN，它直接学习噪声独立的声学表示波形的编码器和进行噪声控制在隐藏空间通过一个电影模块在解码器。至于转换模型，重要的是，我们使用一个基于流的模型来学习分布的噪声无关，但说话人相关的潜在功能，从音素后验图。实验结果表明，该模型在含噪目标说话人的语音转换中具有较高的语音质量和说话人相似度。
2022-07-02 cs.SD eess.AS
A Vocoder-free WaveNet Voice Conversion with Non-Parallel Data
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
在典型的语音转换系统中，声码器通常用于语音到特征分析和特征到语音合成。然而，声码器可以是语音质量降级的来源。本文提出了一种基于WaveNet的非并行训练数据的无声码器语音转换方法。该方法不需要处理中间特征，而是利用WaveNet将语音后验图（PPG）直接映射到波形样本。这样，我们就避免了声码器和特征转换所带来的估计误差。此外，由于PPG被假定为说话人独立的，所提出的方法还减少了基于WaveNet声码器的方法中的特征失配问题。在CMU-ARCTIC数据库上的实验结果表明，该方法在语音质量方面明显优于基线方法。
2019-09-17 cs.SD eess.AS
Many-to-Many Voice Conversion using Conditional Cycle-Consistent Adversarial Networks
语音转换是指在不改变说话人语言内容的前提下，对说话人的特征进行转换。语音转换的许多工作需要具有并行的训练数据，这是非常昂贵的获取。最近，周期一致对抗网络（CycleGAN），它不需要并行训练数据，已被应用于语音转换，显示出最先进的性能。然而，基于CycleGAN的语音转换只能用于一对扬声器，即，两个扬声器之间的一对一语音转换。在本文中，我们通过在扬声器上调节网络来扩展CycleGAN。因此，该方法可以使用单个生成对抗网络（GAN）在多个说话者之间执行多对多语音转换。与为每对扬声器构建多个CycleGAN相比，所提出的方法显著降低了计算和空间成本，而不会影响转换后语音的音质。在VCC2018语料库上的实验结果验证了该方法的有效性。
2020-02-15 cs.LG cs.SD eess.AS
Data Augmentation for Diverse Voice Conversion in Noisy Environments
University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文研究噪声环境下的语音转换问题，提出在预训练中使用更多样化数据和简单数据增强技术，使现有SOTA编码器-解码器模型对口音、背景噪声和麦克风差异具有鲁棒性并具备自然去噪能力。
2023-05-18 cs.SD eess.AS
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架，利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份，并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
The NU Voice Conversion System for the Voice Conversion Challenge 2020: On the Effectiveness of Sequence-to-sequence Models and Autoregressive Neural Vocoders
Nagoya University（名古屋大学）
在本文中，我们介绍了名古屋大学（NU）为2020年语音转换挑战赛（VCC 2020）开发的语音转换（VC）系统。我们的目标是确定VC中最近两种重要技术的有效性：序列到序列（seq 2seq）模型和自回归（AR）神经声码器。针对挑战中的两个任务开发了两个相应的系统：对于任务1，我们采用了语音Transformer网络，这是一种基于transformer的seq 2seq VC模型，并使用合成并行数据对其进行扩展以处理非并行数据;对于任务2，我们使用基于帧的循环变分自编码器（CycleVAE）来模拟语音波形的频谱特征，并使用AR WaveNet声码器进行额外的微调。通过与基线系统的比较，我们证实了seq 2seq建模可以提高转换的相似性，并且使用AR声码器可以提高转换语音的自然度。
2020-10-09 cs.CL cs.SD eess.AS
Residual Speaker Representation for One-Shot Voice Conversion
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）；Qiyuan Laboratory（启元实验室）
本文提出残差说话人模块，利用多层残差近似token增强单次语音转换对未见说话人的鲁棒性，并实现音色可控，在主观与客观评估中均优于基线方法。
2024-08-11 cs.SD eess.AS
Voice Conversion for Likability Control via Automated Rating of Speech Synthesis Corpora
National Institute of Advanced Industrial Science and Technology (AIST)（日本先进工业科学和技术研究所）；Keio University（庆应大学）；The University of Tokyo（东京大学）
本文提出一种语音转换方法，通过训练好感度预测器自动标注大型语音合成语料库，在保留说话人身份和语言内容的同时有效控制语音好感度，实验验证了其有效性。
2025-07-02 cs.SD eess.AS
Statistical Voice Conversion with Quasi-Periodic WaveNet Vocoder
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Graduate School of Information Science, Nagoya University（名古屋大学情报科学研究科）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
在本文中，我们调查的有效性的准周期波网（QPNet）声码器结合统计频谱转换技术的语音转换任务。WaveNet（WN）声码器已被应用于许多不同的语音转换框架中的波形生成模块，并取得了显着的改善，比传统的声码器。然而，由于固定的扩张卷积和通用的网络架构，WN声码器缺乏对看不见的输入功能的鲁棒性，往往需要一个巨大的网络规模，以实现可接受的语音质量。这种限制通常会导致语音转换任务的性能下降。为了克服这个问题，应用了QPNet声码器，它包括一个与音调相关的扩张卷积组件，以增强音调可控性并获得比WN声码器更紧凑的网络。在所提出的方法中，首先使用逐帧深度神经网络转换输入频谱特征，然后QPNet声码器基于线性转换的韵律和变换后的频谱特征生成转换后的语音。实验结果证实，QPNet声码器实现了显着更好的性能比相同大小的WN声码器，同时保持可比的语音质量的两倍大小的WN声码器。索引术语：WaveNet，声码器，语音转换，音高相关的扩张卷积，音高可控性
2020-03-22 cs.SD eess.AS
Building Bilingual and Code-Switched Voice Conversion with Limited Training Data Using Embedding Consistency Loss
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）；Wuhan University（武汉大学）；Advanced Computing East China Sub-center（先进计算华东分中心）
长期以来，为多个说话者和多种语言构建跨语言语音转换（VC）系统一直是一项具有挑战性的任务。本文描述了一种并行的非自回归网络，以实现双语和代码切换的语音转换，多个扬声器时，只有单语种语料库的每种语言。通过应用双语瓶颈特征，实现了多说话人汉语语音和多说话人英语语音的跨语言VC。为了提高语音克隆的性能，我们使用一个带有梯度反转层的对抗性说话人分类器来减少编码器输出中的源说话人信息。此外，为了提高参考语音和转换语音之间的说话人相似性，我们在我们的网络中采用合成语音和其自然参考语音之间的嵌入一致性损失。实验结果表明，我们提出的方法可以实现高质量的转换语音的平均意见得分（MOS）约4。该转换系统在说话人相似度方面表现良好，无论是集内说话人转换还是集外一次转换。
2021-04-22 cs.SD eess.AS
Zero-Shot Sing Voice Conversion: built upon clustering-based phoneme representations
Kyoto University（京都大学）；Kwai Technology（快手科技）；Xiamen University（厦门大学）；Tsinghua University（清华大学）
本研究提出一种基于聚类音素表示的Zero-Shot any-to-any SVC方法，有效分离内容、音色与风格，经万小时数据测试显著提升音质与音色准确度，并为离散语音表示研究奠定基础。
2024-10-14 cs.SD eess.AS
VoiceGrad: Non-Parallel Any-to-Many Voice Conversion with Annealed Langevin Dynamics
NTT Communication Science Laboratories, Nippon Telegraph and Telephone Corporation（日本电报电话公司NTT通信科学实验室）
本研究提出基于分数匹配与退火朗之万动力学的VoiceGrad语音转换方法，采用U-Net结构全卷积网络作为分数近似器，实现了无需并行语料的任意到多非并行语音转换。
2024-03-09 cs.SD eess.AS
StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion
Columbia University（哥伦比亚大学）
我们提出了一种无监督的非并行多对多语音转换（VC）方法，使用生成对抗网络（GAN）称为StarGAN v2。使用对抗源分类器损失和感知损失的组合，我们的模型显着优于以前的VC模型。虽然我们的模型只训练了20名英语使用者，但它可以推广到各种语音转换任务，例如任意到多个，跨语言和唱歌转换。使用风格编码器，我们的框架还可以将普通阅读语音转换为风格语音，如情感语音和假声语音。主观和客观的评价实验的非并行多对多语音转换任务显示，我们的模型产生自然的声音，接近最先进的文本到语音（TTS）的语音转换方法，而不需要文本标签的声音质量。此外，我们的模型是完全卷积的，并且具有比实时更快的声码器，如并行WaveGAN，可以执行实时语音转换。
2021-07-23 cs.LG cs.SD eess.AS
SSL-GMMVC: Interpretable Voice Conversion via Locally Linear GMM Transforms in Self-Supervised Representation Space
The University of Tokyo, Japan（东京大学）
提出SSL-GMMVC方法，在自监督语音空间中用高斯混合模型建模源-目标特征，通过后验加权仿射变换实现可解释的语音转换，在保持可理解性和自然度的同时提升说话人相似度。
2026-06-09 cs.SD eess.AS
Improving robustness of one-shot voice conversion with deep discriminative speaker encoder
Northwestern Polytechnical University（西北工业大学）
单次语音转换由于只需要源说话人和目标说话人分别发出一个语音而受到广泛关注。此外，在训练过程中，源说话人和目标说话人不需要被看到。然而，可用的单次语音转换方法对于看不见的说话者是不稳定的，因为从看不见的说话者的一个话语中提取的说话者嵌入是不可靠的。在本文中，我们提出了一个深度区分说话人编码器，以更有效地提取说话人嵌入从一个话语。具体地说，说话人编码器首先集成残差网络和挤压和激励网络，通过建模逐帧和逐通道的特征相互依赖性，在帧级提取有区别的说话人信息。然后引入注意力机制，通过对帧级说话人信息赋予不同的权重，进一步强调说话人相关信息。最后，使用统计池层聚合加权的帧级说话人信息，形成话语级说话人嵌入。实验结果表明，我们提出的扬声器编码器可以提高鲁棒性的一次性语音转换为看不见的扬声器，并优于基线系统的语音质量和扬声器相似性。
2021-06-19 cs.SD eess.AS
Disentangled Speech Representation Learning for One-Shot Cross-lingual Voice Conversion Using $β$-VAE
The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence, CUHK（香港中文大学感知与交互智能中心）；Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
我们提出了一种无监督学习方法，将语音分解为内容表示和说话人身份表示。我们将此方法应用于具有挑战性的一次性跨语言语音转换任务，以证明解纠缠的有效性。受$β$ -VAE的启发，我们引入了一个学习目标，该目标在内容和说话人表示所捕获的信息之间进行平衡。此外，来自架构设计和训练数据集的归纳偏差进一步鼓励了所需的解纠缠。客观和主观评价表明，该方法在语音解纠缠和一次跨语言语音转换的有效性。
2022-10-25 cs.SD eess.AS
QuickVC: Any-to-many Voice Conversion Using Inverse Short-time Fourier Transform for Faster Conversion
RIKEN（理化学研究所）；Osaka University（大阪大学）；Advanced Telecommunications Research Institute International（国际先进电信研究所）
随着自动语音识别（ASR）和文语转换（TTS）技术的发展，通过提取源内容信息和目标说话人信息重构波形，可以实现高质量的语音转换（VC）。然而，目前的方法仍然需要改进的推理速度。在这项研究中，我们提出了一个轻量级的基于VITS的VC模型，使用的HuBERT-Soft模型提取内容信息的功能，没有说话人的信息。通过对合成语音的主观和客观实验，该模型在自然度和相似度方面表现出了竞争性的结果。重要的是，与原始的VITS模型不同，我们使用逆短时傅立叶变换（iSTFT）来替换计算成本最高的部分。实验结果表明，我们的模型可以在3090 GPU上生成超过5000 kHz的样本，在i9- 10900 K CPU上生成超过250 kHz的样本，在相同的硬件配置下实现了有竞争力的速度。
2023-02-23 cs.SD eess.AS
SYKI-SVC: Advancing Singing Voice Conversion with Post-Processing Innovations and an Open-Source Professional Testset
Happy Elements（乐元素）；Union Wheatland Culture and Media Ltd.（联合麦田文化传媒有限公司）
本文提出基于 SVCC T02 的高保真歌声转换系统，结合 ContentVec、Whisper 特征提取与源信号高频后处理，并发布专业测试集，验证其自然度和设计有效性。
2025-01-06 cs.SD eess.AS
Beyond Voice Identity Conversion: Manipulating Voice Attributes by Adversarial Learning of Structured Disentangled Representations
Ircam（法国声学/音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
语音转换（VC）包括数字化改变个人的声音，以操纵其部分内容，主要是其身份，同时保持其余不变。神经VC的研究已经取得了相当大的突破，能够使用少量数据以高度逼真的渲染来伪造语音身份。本文超越了语音身份，并提出了一种神经架构，允许操纵语音属性（例如，性别和年龄）。利用结构化语音表示的对抗学习的最新进展，提出了一种新的结构化神经网络，其中多个自动编码器用于将语音编码为一组理想独立的语言和语言外表示，这些表示是对抗学习的，并且可以在VC期间进行操作。此外，所提出的架构是时间同步的，以便在转换过程中保留原始语音时序，从而允许唇同步应用。应用于真实世界的VCTK数据集上的语音性别转换，我们提出的架构可以成功地学习性别无关的表示，并转换语音性别具有非常高的效率和自然。
2021-07-27 cs.LG cs.SD eess.AS
Spectrum and Prosody Conversion for Cross-lingual Voice Conversion with CycleGAN
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
跨语言语音转换是指当源语者和目标语者使用不同的语言时，将源语者的语音转换为目标语者的语音。它依赖于来自两种不同语言的非并行训练数据，因此比单语言语音转换更具挑战性。以往的跨语言语音转换研究主要集中在频谱转换与线性变换的F0转移。然而，作为一个重要的韵律因素，F0是内在的层次性，因此，它是不够的，只是使用线性的方法进行转换。我们建议使用连续小波变换（CWT）分解的F0建模。CWT提供了一种将信号分解为不同时间尺度的方法，这些时间尺度可以在不同的时间分辨率下解释韵律。我们还建议训练两个CycleGAN管道分别用于频谱和韵律映射。通过这种方式，我们消除了对任何两种语言的并行数据和任何对齐技术的需要。实验结果表明，我们提出的Spectrum-Prosody-CycleGAN框架在主观评价方面优于Spectrum-CycleGAN基线。据我们所知，这是第一次研究韵律在跨语言语音转换。
2020-11-03 cs.CL cs.SD eess.AS
HiFi-VC: High Quality ASR-Based Voice Conversion
Tinkoff（Tinkoff银行）
语音转换（VC）的目标是将输入语音转换为与目标说话人的语音相匹配，同时保持文本和韵律完整。VC通常用于娱乐和语音辅助系统，以及用于语音数据生成和增强。任何对任何VC系统的开发，能够在模型训练期间生成不可见的声音，对研究人员和行业都特别感兴趣。尽管最近取得了进展，但任何到任何转换的质量仍然不如自然语音。在这项工作中，我们提出了一个新的任意到任意的语音转换管道。我们的方法使用自动语音识别（ASR）功能，音高跟踪，和一个国家的最先进的波形预测模型。根据多个主观和客观的评价，我们的方法优于现代基线的语音质量，相似性和一致性。
2022-03-31 cs.LG cs.SD eess.AS
