SIG-VC: A Speaker Information Guided Zero-shot Voice Conversion System for Both Human Beings and Machines
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）
本文提出SIG-VC，一种面向人类和机器的说话人信息引导零样本语音转换系统，通过说话人-内容解耦和说话人信息控制模块，在减少零样本语音转换权衡问题的同时保持高欺骗能力。
2023-04-02 cs.AI cs.SD eess.AS
HQ-SVC: Towards High-Quality Zero-Shot Singing Voice Conversion in Low-Resource Scenarios
针对现有零样本歌声转换方法存在声学信息丢失、资源消耗高的问题，提出HQ-SVC框架，通过解耦编解码器联合提取特征、结合音高音量建模与扩散优化，实现低资源下更高质量、更高效的零样本歌声转换，还原生支持语音超分辨率。
2025-11-15 cs.AI cs.SD eess.AS
VibE-SVC: Vibrato Extraction with High-frequency F0 Contour for Singing Voice Conversion
Department of Artificial Intelligence（人工智能系）
针对歌声转换中颤音难建模控制的问题，提出VibE-SVC可控模型，通过离散小波变换分解F0轮廓显式提取操控颤音，实现精准风格迁移且保留说话人相似度，转换质量经主客观评估验证。
2025-10-05 cs.AI cs.SD eess.AS
Streaming non-autoregressive model for any-to-many voice conversion
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音转换模型已经发展了几十年，目前主流的研究主要集中在非流式语音转换。但是，流式语音转换比非流式语音转换更适合实际应用场景。本文提出了一种基于完全非自回归模型的流任意到多语音转换方法，该方法包括基于流Transformer的声学模型和流声码器。基于流式Transformer的声学模型由基于流式端到端自动语音识别模型的预训练编码器和基于FastSpeech块修改的解码器组成。流声码器采用伪正交镜像滤波器组和因果卷积技术，实现了流声码器的设计。实验结果表明，该方法在延迟和转换质量方面都取得了显著的性能，并且可以在CPU和GPU上实现实时性。
2022-06-15 cs.SD eess.AS
An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning
Singapore University of Technology and Design（新加坡科技设计大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；National University of Singapore（新加坡国立大学）
说话人身份是人类言语的重要特征之一。在语音转换中，我们将说话者身份从一个转换为另一个，同时保持语言内容不变。语音转换涉及多种语音处理技术，例如语音分析、频谱转换、韵律转换、说话人特征化和声码。随着理论和实践的发展，我们现在能够产生具有高说话人相似度的人一样的语音质量。在本文中，我们全面概述了最先进的语音转换技术及其性能评估方法，从统计方法到深度学习，并讨论了它们的前景和局限性。我们还将报告最近的语音转换挑战（VCC），当前技术状态的性能，并提供语音转换研究可用资源的摘要。
2020-11-17 cs.SD eess.AS
AC-VC: Non-parallel Low Latency Phonetic Posteriorgrams Based Voice Conversion
Logitech Europe S.A.（罗技欧洲公司）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
本文介绍了一种基于语音后验图的语音转换系统AC-VC（Almost Causal Voice Conversion），该系统可以实现任意对多语音转换，同时具有57.5 ms的未来预测能力。整个系统由三个分别用非并行数据训练的神经网络组成。虽然目前大多数语音转换系统主要关注质量，而不考虑算法延迟，但这项工作详细说明了使用最少量的未来上下文设计方法，从而允许未来的实时实现。根据在这项工作中组织的主观听力测试，所提出的AC-VC系统在自然度方面与2020年语音转换挑战赛的非因果性ASR-TTS基线达到了等同，MOS为3.5。与此相反，结果表明，未来的上下文缺失会影响说话人的相似性。获得的相似度百分比为65%，低于当前最好的语音转换系统的相似度。
2021-11-12 cs.SD eess.AS
DGC-vector: A new speaker embedding for zero-shot voice conversion
Netease Games AI Lab（网易游戏AI实验室）
近年来，越来越多的zero-shot语音转换算法被提出。说话人嵌入作为zero-shot语音转换的基础部分，是提高转换语音的说话人相似度的关键。在本文中，我们研究了说话人嵌入对zero-shot语音转换性能的影响。为了在zero-shot语音转换中更好地表达目标说话人的特征，提高说话人相似度，本文提出了一种新的说话人表示方法。我们的方法结合了D-向量，全局风格令牌（GST）的说话人表示和辅助监督的优点。客观和主观评价结果表明，该方法在zero-shot语音转换上取得了较好的效果，与D-向量和基于GST的说话人嵌入相比，该方法显著提高了说话人相似度。
2022-03-18 cs.SD eess.AS
SPA-SVC: Self-supervised Pitch Augmentation for Singing Voice Conversion
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
本文提出SPA-SVC方法，通过循环音高偏移训练策略和SSIM损失，在不增加数据和参数的情况下提升歌声转换质量，尤其在跨领域音高差异大的场景中效果显著。
2024-06-09 cs.AI cs.SD eess.AS
CVC: Contrastive Learning for Non-parallel Voice Conversion
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Shanghai Qi Zhi Institute（上海期智研究院）
基于循环一致生成对抗网络（CycleGAN）和变分自编码器（VAE）的模型近年来在非并行语音转换中得到了广泛的应用。然而，他们往往遭受困难的培训过程和不满意的结果。在本文中，我们提出了CVC，一种基于对比学习的对抗性语音转换方法。与以前的基于CycleGAN的方法相比，CVC只需要一个有效的单向GAN训练，利用对比学习的优势。当涉及到非并行的一对一语音转换时，CVC与CycleGAN和VAE不相上下或更好，同时有效地减少了训练时间。CVC在多对一语音转换方面进一步展示了卓越的性能，能够从看不见的扬声器进行转换。
2021-04-02 cs.SD eess.AS
An Improved StarGAN for Emotional Voice Conversion: Enhancing Voice Quality and Data Augmentation
Imperial College London（伦敦帝国理工学院）；The University of Tokyo（东京大学）；University of Augsburg（奥格斯堡大学）
情感语音转换（EVC）的目的是将源语音信号的情感风格转换为目标风格，同时保留其内容和说话人身份信息。以前的情感转换研究没有将情感信息与应该保留的情感独立信息分开，从而以单一的方式转换所有信息，并生成低质量的音频，并伴有语言失真。为了解决这个失真问题，我们提出了一个新的StarGAN框架，以及一个两阶段的训练过程，通过使用具有两个编码器的自动编码器作为生成对抗网络（GAN）的生成器，将情感特征与独立于情感的特征分离。该模型在失真度的客观评价和主观评价方面都取得了较好的效果，表明该模型能够有效地降低失真度。此外，在端到端语音情感识别的数据增强实验中，与基线StarGAN模型相比，所提出的StarGAN模型在Micro-F1和Macro-F1上分别提高了2%和5%，这表明所提出的模型更适合于数据增强。
2021-07-18 cs.AI cs.SD eess.AS
Defense Against Synthetic Speech: Real-Time Detection of RVC Voice Conversion Attacks
Northeastern University（东北大学）；University of Toronto（多伦多大学）；MIT Art, Design and Technology（MIT艺术设计与技术大学）
本研究提出了一种实时检测RVC语音转换攻击的方法，通过流分类任务和短窗口声学特征提取，实现了低延迟的语音检测与分析。
2025-12-31 cs.AI cs.SD eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab（腾讯人工智能实验室）
歌唱声音转换是指在保持歌唱内容不变的前提下，将源歌唱的音色转换为目标说话人的声音。然而，歌唱数据的目标说话人是更难以收集相比，正常的语音数据。在本文中，我们介绍了一个歌唱声转换算法，能够产生高品质的目标说话人的歌声，只用他/她的正常语音数据。首先，我们通过统一标准语音合成系统和歌唱合成系统中使用的特征，将语音和歌唱的训练和转换过程集成到一个框架中。此外，为了实现一次转换，本文还设计了一个说话人嵌入模块，利用语音和歌唱数据，在转换过程中提供目标说话人的识别信息。实验结果表明，所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
Voice Conversion for Stuttered Speech, Instruments, Unseen Languages and Textually Described Voices
Stellenbosch University（斯泰伦博斯大学）
本研究探索kNN-VC语音转换模型在口吃、跨语言、乐器和文本描述声音等非标准任务上的表现，发现其在口吃和跨语言任务中保持高性能，但乐器转换效果不一，整体展示广泛适用性及分布外样本的局限。
2023-10-12 cs.CL cs.SD eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的框架，建立一个语音转换（VC）系统的学习从文本到语音（TTS）合成系统，即TTS-VC迁移学习。首先，我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构，其中编码器提取强大的语言表示的文本，和解码器，条件下的目标说话人嵌入，需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实，并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中，编码器以语音代替文本作为输入，而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入，因此系统可以在非并行数据上进行训练，以进行任意到任意的语音转换。在语音转换训练过程中，我们分别提出了文本和语音到语音合成和语音转换网络。在运行时，语音转换网络使用自己的编码器-解码器架构。实验表明，该方法优于两个竞争的语音转换基线一致，即语音后验图和变分自动编码器的方法，在语音质量，自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
语音转换是指在保留话语内容的同时改变语音的音色。最近，许多工作集中在基于分离的学习技术，从语音信号中分离音色和语言内容信息。一旦成功，语音转换将是可行和直接的。提出了一种基于矢量量化语音转换（VQVC）和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中，以更有效地从语音中分离出内容和音色信息。实验结果表明，该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
The IQIYI System for Voice Conversion Challenge 2020
IQIYI Inc.（爱奇艺公司）
本文介绍了用于语音转换2020的IQIYI语音转换系统（T24）。在比赛中，每个目标说话人有70个句子。我们已经建立了一个基于PPG的端到端语音转换系统。首先，ASR声学模型计算BN特征，其表示语音中的内容相关信息。然后通过改进的韵律tacotron模型计算Mel特征。最后，通过改进的LPCNet将Mel谱转换为wav。评测结果表明，该系统能够达到较好的语音转换效果。在使用16 k而不是24 k采样率音频的情况下，转换结果在自然度和相似性方面相对较好。其中，我们最好的结果是在任务2的相似性评价，第2次在基于ASV的客观评价和第5次在主观评价。
2020-10-29 cs.SD eess.AS
MulliVC: Multi-lingual Voice Conversion With Cycle Consistency
ByteDance（字节跳动）
针对多语言语音转换中语言差异大、同一说话人成对数据稀缺的问题，提出无需成对数据的 MulliVC 三步循环一致性训练系统，实现音色转换并保留内容与源语言韵律。
2024-08-08 cs.AI cs.SD eess.AS
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
我们提出了一种新的训练方案，优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失，而且说话人身份损失。我们引入了一个周期的一致性损失，限制转换后的语音，以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络，但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明，该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
Zero-shot Voice Conversion via Self-supervised Prosody Representation Learning
University of St. Gallen（圣加仑大学）
针对未见过说话者的语音转换（VC），也称为zero-shot VC，是一个有吸引力的研究课题，因为它可以实现语音定制，动画制作等一系列应用。最近的工作在这一领域取得了进展，分离的话语内容和说话人的特征，从语音录音的方法。然而，这些方法中的许多方法都受到韵律泄漏的影响（例如，音调、音量），从而导致合成语音中的说话者语音不同于期望的目标说话者。为了防止这个问题，我们提出了一种新的自我监督的方法，有效地学习解开音高和音量表示，可以代表不同的扬声器的韵律风格。然后，我们使用学习到的韵律表示作为条件信息来训练和增强我们的VC模型以进行zero-shot转换。在我们的实验中，我们表明，我们的韵律表示是解开和丰富的韵律信息。此外，我们证明，除了我们的韵律表示提高了我们的VC性能和超越国家的最先进的zero-shot VC性能。
2022-05-31 cs.AI cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型，实现轻量级流式零样本有声与耳语语音转换，并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
SpeechSplit 2.0: Unsupervised speech disentanglement for voice conversion Without tuning autoencoder Bottlenecks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
SpeechSplit可以通过使用多个自动编码器以无监督的方式将语音分解为内容，节奏，音高和音色来执行特定于方面的语音转换。然而，SpeechSplit需要仔细调整自动编码器瓶颈，这可能很耗时，而且不太可靠。本文提出了SpeechSplit 2.0，它约束的语音分量的信息流，使用有效的信号处理方法，而不是瓶颈调整的自动编码器输入解开。评估结果表明，SpeechSplit 2.0在语音解纠缠和对瓶颈大小变化的鲁棒性方面与SpeechSplit具有相当的性能。我们的代码可在https://github.com/biggytruck/SpeechSplit2上获得。
2022-03-26 cs.AI cs.SD eess.AS
The Academia Sinica Systems of Voice Conversion for VCC2020
The Academia Sinica（中央研究院）
本文介绍了中央研究院为2020年语音转换挑战赛的两个任务所设计的系统，即同一语言内的语音转换（任务1）和跨语言语音转换（任务2）。对于这两个任务，我们遵循级联ASR+TTS结构，使用语音标记作为TTS输入，而不是文本或字符。对于任务1，我们使用国际音标（IPA）作为TTS模型的输入。对于任务2，我们使用由矢量量化变分自动编码器（VQVAE）提取的无监督语音符号。在评估中，听力测试表明我们的系统在VCC 2020挑战赛中表现良好。
2020-10-06 cs.SD eess.AS
Defending Your Voice: Adversarial Attack on Voice Conversion
National Taiwan University（台湾大学）
近年来，语音转换已经取得了实质性的进步，它将一个话语的说话者特征转换成另一个说话者的特征，而不改变话语的语言内容。尽管如此，改进的转换技术也导致了对隐私和身份验证的担忧。因此，非常希望能够防止人们的语音被这种语音转换技术不适当地利用。这就是为什么我们在本文中报告了对语音转换进行对抗性攻击的第一次已知尝试。我们将人类无法察觉的噪音引入说话者的话语中，说话者的声音是要被保护的。鉴于这些对抗性的例子，语音转换模型不能转换其他话语，以便听起来像是由被辩护的说话者产生的。在两个目前最先进的zero-shot语音转换模型上进行了初步实验。在白盒和黑盒的情况下的客观和主观的评价结果报告。结果表明，转换后的话语的说话人特征明显不同于被辩护说话人的说话人特征，而被辩护说话人的对抗性实例与真实话语无法区分。
2021-05-04 cs.LG cs.SD eess.AS
Invertible Voice Conversion
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
在本文中，我们提出了一个用于语音转换的可逆深度学习框架，称为INVVC。它旨在应对语音转换系统固有的潜在威胁。具体来说，我们开发了一个可逆的框架，使源身份可追溯。该框架是建立在一系列可逆的$1\times1$卷积和流组成的仿射耦合层。我们提出的框架，一对一的语音转换和多对一的转换，使用并行训练数据。实验结果表明，这种方法在语音转换上产生了令人印象深刻的性能，而且，转换后的结果可以利用与转发相同的参数被反转回源输入。
2022-01-26 cs.LG cs.SD eess.AS
DualVC: Dual-mode Voice Conversion using Intra-model Knowledge Distillation and Hybrid Predictive Coding
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）；Shanghai Jiao Tong University（上海交通大学）
DualVC提出一种双模式语音转换方法，通过模型内知识蒸馏、混合预测编码和数据增强解决流式转换中因缺失未来信息导致的性能下降问题，在仅252.8毫秒延迟下达到与非流式顶级系统相当的性能。
2023-05-31 cs.SD eess.AS
Many-to-Many Voice Conversion using Conditional Cycle-Consistent Adversarial Networks
语音转换是指在不改变说话人语言内容的前提下，对说话人的特征进行转换。语音转换的许多工作需要具有并行的训练数据，这是非常昂贵的获取。最近，周期一致对抗网络（CycleGAN），它不需要并行训练数据，已被应用于语音转换，显示出最先进的性能。然而，基于CycleGAN的语音转换只能用于一对扬声器，即，两个扬声器之间的一对一语音转换。在本文中，我们通过在扬声器上调节网络来扩展CycleGAN。因此，该方法可以使用单个生成对抗网络（GAN）在多个说话者之间执行多对多语音转换。与为每对扬声器构建多个CycleGAN相比，所提出的方法显著降低了计算和空间成本，而不会影响转换后语音的音质。在VCC2018语料库上的实验结果验证了该方法的有效性。
2020-02-15 cs.LG cs.SD eess.AS
Converting Anyone's Emotion: Towards Speaker-Independent Emotional Voice Conversion
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是将语音的情感从一种状态转换到另一种状态，同时保持语言内容和说话人身份。以往的情感语音转换研究大多是在情感依赖于说话人的假设下进行的。我们认为，在口语中，说话者之间存在一个共同的情感表达代码，因此，说话者独立的情感状态之间的映射是可能的。在本文中，我们提出了一个独立于说话人的情感语音转换框架，可以转换任何人的情感，而不需要并行数据。我们提出了一种基于VAW-GAN的编码器-解码器结构来学习频谱和韵律映射。我们使用连续小波变换（CWT）进行韵律转换的时间依赖模型。我们还研究了使用F0作为解码器的额外输入，以提高情感转换性能。实验表明，所提出的说话人无关的框架实现了有竞争力的结果，为可见和不可见的发言人。
2020-10-13 cs.AI cs.CL cs.SD
How Far Are We from Robust Voice Conversion: A Survey
College of Electrical Engineering（电气工程学院）；Computer Science, National Taiwan University, Taiwan（台湾大学计算机科学系）
近年来，在深度学习的帮助下，语音转换技术得到了很大的改进，但它们在不同条件下产生自然发声的能力仍然不清楚。本文对已知VC模型的鲁棒性进行了深入的研究。我们还修改了这些模型，例如更换扬声器嵌入，以进一步提高其性能。我们发现采样率和音频持续时间对语音转换有很大的影响。所有的VC模型都受到不可见数据的影响，但AdaIN-VC相对更健壮。此外，联合训练的说话人嵌入比说话人识别训练的说话人嵌入更适合于语音转换。
2021-05-03 cs.SD eess.AS
The NU Voice Conversion System for the Voice Conversion Challenge 2020: On the Effectiveness of Sequence-to-sequence Models and Autoregressive Neural Vocoders
Nagoya University（名古屋大学）
在本文中，我们介绍了名古屋大学（NU）为2020年语音转换挑战赛（VCC 2020）开发的语音转换（VC）系统。我们的目标是确定VC中最近两种重要技术的有效性：序列到序列（seq 2seq）模型和自回归（AR）神经声码器。针对挑战中的两个任务开发了两个相应的系统：对于任务1，我们采用了语音Transformer网络，这是一种基于transformer的seq 2seq VC模型，并使用合成并行数据对其进行扩展以处理非并行数据;对于任务2，我们使用基于帧的循环变分自编码器（CycleVAE）来模拟语音波形的频谱特征，并使用AR WaveNet声码器进行额外的微调。通过与基线系统的比较，我们证实了seq 2seq建模可以提高转换的相似性，并且使用AR声码器可以提高转换语音的自然度。
2020-10-09 cs.CL cs.SD eess.AS
Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion
National Institute of Informatics（国立信息学研究所）；Nagoya University（名古屋大学）；National University of Singapore（新加坡国立大学）；University of Eastern Finland（东芬兰大学）；University of Science and Technology of China（中国科学技术大学）
语音转换挑战赛是一项每两年举办一次的科学活动，旨在比较和了解基于通用数据集构建的不同语音转换（VC）系统。2020年，我们组织了第三届挑战赛，并为两个任务构建和分发了一个新的数据库，即语言内半并行和跨语言VC。经过两个月的挑战期，我们收到了33份提交，包括3个基于数据库的基线。从众包听力测试的结果中，我们观察到，由于先进的深度学习方法，VC方法进展迅速。特别是，扬声器相似性分数的几个系统被证明是一样高的目标扬声器在语言内半并行VC任务。然而，我们证实，对于相同的任务，它们中没有一个达到人类水平的自然性。跨语言转换任务，正如预期的那样，是一个更困难的任务，和整体的自然度和相似性分数低于那些内语言转换任务。然而，我们观察到令人鼓舞的结果，最好的系统的MOS得分高于4.0。我们还展示了一些额外的分析结果，以帮助更好地理解跨语言VC。
2020-08-28 cs.SD eess.AS
StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion
Columbia University（哥伦比亚大学）
我们提出了一种无监督的非并行多对多语音转换（VC）方法，使用生成对抗网络（GAN）称为StarGAN v2。使用对抗源分类器损失和感知损失的组合，我们的模型显着优于以前的VC模型。虽然我们的模型只训练了20名英语使用者，但它可以推广到各种语音转换任务，例如任意到多个，跨语言和唱歌转换。使用风格编码器，我们的框架还可以将普通阅读语音转换为风格语音，如情感语音和假声语音。主观和客观的评价实验的非并行多对多语音转换任务显示，我们的模型产生自然的声音，接近最先进的文本到语音（TTS）的语音转换方法，而不需要文本标签的声音质量。此外，我们的模型是完全卷积的，并且具有比实时更快的声码器，如并行WaveGAN，可以执行实时语音转换。
2021-07-23 cs.LG cs.SD eess.AS
VoicePrompter: Robust Zero-Shot Voice Conversion with Voice Prompt and Conditional Flow Matching
Gen AI Lab（通用人工智能实验室）
提出 VoicePrompter 零样本语音转换模型，结合语音成分分解、基于 DiT 的条件流匹配解码器与潜在 mixup 技术，显著提升了零样本场景下的说话人相似度、语音可懂度与音频质量。
2025-01-29 cs.AI cs.SD eess.AS
Neural Concatenative Singing Voice Conversion: Rethinking Concatenation-Based Approach for One-Shot Singing Voice Conversion
ARC Lab, Tencent PCG（腾讯PCG ARC实验室）
针对任意到任意歌声转换中的“音色泄漏”问题，提出NeuCoSVC框架，利用自监督学习特征替换和保留源音频谐波与响度实现一次性转换，有效解决音色泄漏并在多场景下优于传统解耦方法。
2024-01-08 cs.SD eess.AS
Enhancing Polyglot Voices by Leveraging Cross-Lingual Fine-Tuning in Any-to-One Voice Conversion
Università degli studi di Torino（都灵大学）；Cerence Inc（赛伦斯公司）
本文提出一种基于自监督学习的跨语言任意到一语音转换系统及微调策略，无需目标说话人多语言数据即可保留源口音，显著提升了多语言语音的可懂度与整体质量。
2024-09-25 cs.SD eess.AS
Beyond Voice Identity Conversion: Manipulating Voice Attributes by Adversarial Learning of Structured Disentangled Representations
Ircam（法国声学/音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
语音转换（VC）包括数字化改变个人的声音，以操纵其部分内容，主要是其身份，同时保持其余不变。神经VC的研究已经取得了相当大的突破，能够使用少量数据以高度逼真的渲染来伪造语音身份。本文超越了语音身份，并提出了一种神经架构，允许操纵语音属性（例如，性别和年龄）。利用结构化语音表示的对抗学习的最新进展，提出了一种新的结构化神经网络，其中多个自动编码器用于将语音编码为一组理想独立的语言和语言外表示，这些表示是对抗学习的，并且可以在VC期间进行操作。此外，所提出的架构是时间同步的，以便在转换过程中保留原始语音时序，从而允许唇同步应用。应用于真实世界的VCTK数据集上的语音性别转换，我们提出的架构可以成功地学习性别无关的表示，并转换语音性别具有非常高的效率和自然。
2021-07-27 cs.LG cs.SD eess.AS
Self Voice Conversion as an Attack against Neural Audio Watermarking
研究提出自我语音转换作为对抗神经音频水印的攻击方法，展示了其对现有水印技术可靠性的破坏性影响。
2026-03-16 cs.AI cs.SD
Towards Low-Resource StarGAN Voice Conversion using Weight Adaptive Instance Normalization
University of Sheffield（谢菲尔德大学）
近年来，具有非并行训练数据的多对多语音转换已经取得了显著的进展。基于StarGAN的模型一直是语音转换的研究热点。然而，大多数基于StarGAN的方法只针对说话人数量较少、训练数据量较大的情况进行语音转换实验。在这项工作中，我们的目标是提高模型的数据效率，并在训练样本有限的情况下，为相对大量的说话者实现多对多的非并行基于StarGAN的语音转换。为了提高数据效率，该模型使用说话人编码器提取说话人嵌入，并对卷积权重进行自适应实例归一化（AdaIN）。实验在两种低资源情况下进行，其中每个说话人的训练样本数分别为20和5。客观评价表明，该模型优于基线方法。此外，主观评价表明，无论是自然度和相似性，该模型优于基线方法。
2021-04-10 cs.SD eess.AS
Spectrum and Prosody Conversion for Cross-lingual Voice Conversion with CycleGAN
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
跨语言语音转换是指当源语者和目标语者使用不同的语言时，将源语者的语音转换为目标语者的语音。它依赖于来自两种不同语言的非并行训练数据，因此比单语言语音转换更具挑战性。以往的跨语言语音转换研究主要集中在频谱转换与线性变换的F0转移。然而，作为一个重要的韵律因素，F0是内在的层次性，因此，它是不够的，只是使用线性的方法进行转换。我们建议使用连续小波变换（CWT）分解的F0建模。CWT提供了一种将信号分解为不同时间尺度的方法，这些时间尺度可以在不同的时间分辨率下解释韵律。我们还建议训练两个CycleGAN管道分别用于频谱和韵律映射。通过这种方式，我们消除了对任何两种语言的并行数据和任何对齐技术的需要。实验结果表明，我们提出的Spectrum-Prosody-CycleGAN框架在主观评价方面优于Spectrum-CycleGAN基线。据我们所知，这是第一次研究韵律在跨语言语音转换。
2020-11-03 cs.CL cs.SD eess.AS
HiFi-VC: High Quality ASR-Based Voice Conversion
Tinkoff（Tinkoff银行）
语音转换（VC）的目标是将输入语音转换为与目标说话人的语音相匹配，同时保持文本和韵律完整。VC通常用于娱乐和语音辅助系统，以及用于语音数据生成和增强。任何对任何VC系统的开发，能够在模型训练期间生成不可见的声音，对研究人员和行业都特别感兴趣。尽管最近取得了进展，但任何到任何转换的质量仍然不如自然语音。在这项工作中，我们提出了一个新的任意到任意的语音转换管道。我们的方法使用自动语音识别（ASR）功能，音高跟踪，和一个国家的最先进的波形预测模型。根据多个主观和客观的评价，我们的方法优于现代基线的语音质量，相似性和一致性。
2022-03-31 cs.LG cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
在大多数实际应用中，广播系统必须在噪声环境中传递语音信息，而在这种环境中，背景噪声是无法消除的。本地噪声降低了语音的可懂度，增加了收听者的收听努力，从而影响了广播系统的有效性。有报道指出，在嘈杂的环境中，专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明，语音清晰度可能与专业播音员的说话风格有关，可以通过语音转换方法进行调整。基于这一思想，本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势，我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实，在低信噪比条件下，转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
Voice conversion with limited data and limitless data augmentations
Voctro Labs S.L.；Voicemod
将改变应用于输入语音信号以将感知的语音说话者改变为目标，同时保持输入的内容是一项具有挑战性但有趣的任务，称为语音转换（VC）。在过去的几年里，这项任务已经获得了显着的兴趣，其中大多数系统使用数据驱动的机器学习模型。在低延迟的真实场景中进行转换更具挑战性，因为受到高质量数据可用性的限制。数据增强（例如音调移位和噪声添加）通常用于增加用于训练用于此任务的基于机器学习的模型的数据量。在本文中，我们探讨了常见的数据增强技术的实时语音转换的有效性，并介绍了新的技术，数据增强的基础上，音频和语音转换效果。我们使用客观和主观的评价方法来评估男性和女性目标说话人的转换。
2022-12-27 cs.SD eess.AS
LatentVoiceGrad: Nonparallel Voice Conversion with Latent Diffusion/Flow-Matching Models
NTT Communication Science Laboratories, NTT, Inc.（日本通标标准电气公司通信科学实验室）
本文提出LatentVoiceGrad，将潜在扩散与流匹配模型引入VoiceGrad，以提升非平行语音转换的质量与速度，实验验证了其有效性。
2025-09-10 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology（依图科技）；National University of Singapore（新加坡国立大学）
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统，通过保持原始话语中的内容并替换为来自目标说话者的声音特征，将源说话者的话语转换为目标说话者的另一话语。现有的解决方案，例如，StarGAN-VC 2，目前有希望的结果，只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换，但它需要一个外部的预先训练的说话者验证模型。在本文中，我们提出了我们新的基于GAN的zero-shot语音转换解决方案，称为GAZEV，其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失，以及自适应实例归一化策略，以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明，输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
FasterVoiceGrad: Faster One-step Diffusion-Based Voice Conversion with Adversarial Diffusion Conversion Distillation
NTT, Inc.（日本NTT公司）
针对现有扩散语音转换模型转换慢或依赖计算密集型内容编码器的问题，提出FasterVoiceGrad，通过对抗扩散转换蒸馏同时蒸馏扩散模型和内容编码器，在保持竞争力性能的同时，GPU和CPU速度分别提升6.6-6.9倍和1.8倍。
2025-08-25 cs.AI cs.LG cs.SD
Expressive Voice Conversion: A Joint Framework for Speaker Identity and Emotional Style Transfer
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
传统的语音转换（VC）一直专注于说话人身份转换的语音与中性的表达。我们注意到，情感表达在日常交流中起着至关重要的作用，言语的情感风格可能取决于说话者。在本文中，我们研究的技术，共同转换的说话人身份和说话人依赖的情感风格，即表达的声音转换。我们提出了一个基于StarGAN的框架来学习不同说话者之间的多对多映射，该框架考虑了说话者依赖的情感风格，而不需要并行数据。为了实现这一点，我们的条件生成器的情感风格编码来自一个预先训练的语音情感识别（SER）模型。实验验证了我们提出的框架在客观和主观评价的有效性。据我们所知，这是第一次研究表达语音转换。
2021-10-20 cs.SD eess.AS
Voice Conversion-based Privacy through Adversarial Information Hiding
The University of Edinburgh（爱丁堡大学）；SpeakUnique Ltd.（斯皮克尤尼克有限公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Southampton（南安普顿大学）
本文提出一种基于对抗信息隐藏的隐私保护语音转换机制，通过控制身份信息泄露实现说话人身份修改与源语音特征保留的权衡，优于CycleGAN等传统方法和ASR-TTS流程。
2024-09-23 cs.SD eess.AS
CycleGAN Voice Conversion of Spectral Envelopes using Adversarial Weights
IRCAM（声学/音乐协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文在语音转换的背景下处理GAN优化和稳定性问题。首先，为了简化转换任务，我们建议使用频谱包络作为输入。其次，我们提出了两种对抗性的权重训练范式，广义加权GAN和生成器影响GAN，都旨在减少生成器对训练的影响，因此两者都可以在训练过程中更渐进，更有效地学习。将能量约束应用于cycleGAN范例大大提高了转换质量。在语音转换挑战2018数据集上对语音转换任务进行的主观实验表明，首先，尽管网络复杂性显着降低，但所提出的方法实现了最先进的结果，其次，所提出的加权GAN方法优于先前提出的方法。
2020-07-11 cs.LG cs.SD eess.AS
Voice Reenactment with F0 and timing constraints and adversarial learning of conversions
IRCAM（声学与音乐研究中心）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文介绍了语音再现作为语音转换（VC）的任务，在转换过程中，源说话人的表现力被保留，而目标说话人的身份被转移。为此，提出了一种基于序列到序列语音转换（S2 S-VC）的原始神经- VC架构，其中在转换期间保留源说话人的语音韵律。首先，修改S2 S-VC架构，以便通过语音持续时间编码使转换后的语音与源语音同步;其次，解码器以所需的F0值序列为条件，并在源扬声器的F0与转换后的语音之一之间制定明确的F0损失。此外，在S2 S-VC架构中集成了转换的对抗学习，以便在训练期间利用原始语音和具有操纵属性的转换语音的重建的优点，然后减少训练和转换之间的不一致性。VCTK语音数据库上的实验评估表明，语音韵律可以有效地保留在转换过程中，和所提出的对抗性学习不断提高转换和再现语音的自然度。
2022-05-31 cs.SD eess.AS
A Comparison of Discrete and Soft Speech Units for Improved Voice Conversion
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯泰伦博斯大学）
语音转换的目标是将源语音转换为目标语音，保持内容不变。在本文中，我们专注于语音转换的自监督表示学习。具体来说，我们将离散语音单元和软语音单元作为输入特征进行比较。我们发现，离散表示有效地删除扬声器信息，但放弃一些语言内容-导致发音错误。作为解决方案，我们提出了软语音单元。为了学习软单元，我们预测离散语音单元的分布。通过对不确定性进行建模，软单元捕获了更多的内容信息，提高了转换后语音的可懂度和自然度。样品可在https://ubisoft-laforge.github.io/speech/soft-vc/上获得。代码可在https://github.com/bshall/soft-vc/获得。
2022-06-08 cs.SD eess.AS
End-to-End Zero-Shot Voice Conversion with Location-Variable Convolutions
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出端到端零样本语音转换模型 LVC-VC，利用位置可变卷积联合建模转换与合成，在风格迁移和语音可懂度之间取得均衡表现。
2023-05-22 cs.SD eess.AS
Building Multi lingual TTS using Cross Lingual Voice Conversion
Research & Development Group, Hitachi, Ltd.（日立公司研发集团）
在本文中，我们提出了一种新的跨语言的语音转换（VC）的方法，它可以生成所有的语音参数（MCEP，LF0，BAP）从一个DNN模型使用PPG（语音后验）从输入的语音使用几个ASR声学模型提取。使用建议的VC方法，我们尝试了三种不同的方法来建立一个多语种的TTS系统，而无需记录多语种的语音语料库。进行了听力测试，以评估语音质量（自然度）和转换后的语音和目标语音之间的语音相似度。结果表明，方法1实现了最高水平的自然性（3.28 MOS的5点量表）和相似性（2.77 MOS）。
2020-12-28 cs.SD eess.AS
Stepback: Enhanced Disentanglement for Voice Conversion via Multi-Task Learning
Shanghai International Studies University（上海外国语大学）；University of Cambridge（剑桥大学）
本文提出Stepback网络，利用非并行数据和深度学习技术，通过多任务学习结合双重流及自我毁灭性修正约束优化内容编码器，显著提升了语音转换的解耦效果与语言内容保留，在降低训练成本的同时实现高质量转换。
2025-01-26 cs.CL cs.SD eess.AS
DRVC: A Framework of Any-to-Any Voice Conversion with Self-Supervised Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）
任意到任意语音转换问题的目的是转换源和目标说话人的语音，这是出于训练数据。以前的作品广泛使用基于解缠的模型。基于解缠的模型假设语音由内容和说话者风格信息组成，并旨在解开它们以改变用于转换的风格信息。以往的研究主要集中在语音降维以获取内容信息。但由于其尺寸难以确定，导致解缠重叠问题。我们提出了解纠缠表示语音转换（DRVC）模型来解决这个问题。DRVC模型是一个端到端的自我监督模型，由内容编码器、音色编码器和生成器组成。而不是以前的工作，减少语音大小，以获得内容，我们提出了一个循环，限制解纠缠的循环重建损失和相同的损失。实验结果表明，转换后的语音在质量和相似度上都有一定的提高。
2022-02-22 cs.SD eess.AS
Disentanglement of Emotional Style and Speaker Identity for Expressive Voice Conversion
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
表达性语音转换通过对说话人身份和情感风格的联合转换来实现情感说话人的身份转换。由于言语情感的层次结构，区分不同说话人的情感风格具有挑战性。受变分自动编码器（VAE）最近成功的扬声器解纠缠的启发，我们提出了一个任意到任意表达的语音转换框架，这是所谓的StyleVC。StyleVC旨在理清语言内容、说话者身份、音高和情感风格信息。我们研究了使用风格编码器来明确地建模情感风格。在运行时，StyleVC为任意说话者转换说话者身份和情感风格。实验验证了我们提出的框架在客观和主观评价的有效性。
2022-07-21 cs.SD eess.AS
