MeanVoiceFlow: One-step Nonparallel Voice Conversion with Mean Flows
NTT, Inc.（日本NTT公司）
MeanVoiceFlow是一种基于均值流的一步非并行语音转换模型，通过结构边缘重建损失和条件扩散输入训练，实现从头开始训练的高效语音转换。
2026-02-20 cs.AI cs.LG cs.SD
Using joint training speaker encoder with consistency loss to achieve cross-lingual voice conversion and expressive voice conversion
提出联合训练说话人编码器与 Whisper 内容特征实现高质量跨语言语音转换，并引入说话人一致性损失提升相似度，利用音素后验图重现参考语音的说话人特征与情感。
2023-07-01 eess.AS
Vowels and Prosody Contribution in Neural Network Based Voice Conversion Algorithm with Noisy Training Data
提出了一种基于神经网络的语音转换模型。虽然已知的事实是浊音和韵律是语音转换框架的最重要的组成部分，但不知道的是它们的客观贡献，特别是在嘈杂和不受控制的环境中。该模型采用2层前馈神经网络将源说话人的线性预测分析系数映射到目标说话人的声学向量空间，以客观地确定声音的浊音、清音和超音段分量对语音转换模型的贡献。结果表明，元音“a”、“i”、“o "对转换成功率的贡献最大。无噪声的声音也被发现受到噪声训练数据的影响最大。平均噪声水平为40分贝以上的噪声地板被发现降低了语音转换成功的55.14%，相对于有声的声音。研究结果还表明，对于跨性别语音转换，韵律转换是更显着的情况下，女性是目标发言人。
2020-03-10 eess.AS
Semi-supervised voice conversion with amortized variational inference
Intel AI Lab（英特尔人工智能实验室）
在这项工作中，我们引入了一个半监督的方法来语音转换问题，其中从源扬声器的语音转换成目标扬声器的语音。该方法在训练过程中同时使用来自源和目标的平行和非平行话语。这种方法可以用来扩展现有的并行数据语音转换系统，使他们可以训练与半监督。我们表明，在许多实际应用中，当并行话语的数量有限时，与完全监督训练相比，结合半监督提高了语音转换性能。此外，我们发现，当并行训练数据量保持不变时，增加训练中使用的非并行话语的数量会继续提高性能。
2019-09-30 cs.LG eess.AS stat.ML
Non-parallel voice conversion based on source-to-target direct mapping
利用语音后验图（PPG）进行非并行语音转换的最近工作已经显著增加了语音转换的可用性，因为不再需要源DB和目标DB来匹配内容。在这种方法中，PPG被用作源和目标说话人特征之间的语言桥梁。然而，这种基于PPG的非并行语音转换具有一定的局限性，即在转换时需要两个级联网络，使得其不太适合实时应用，并且在转换阶段容易受到源说话人可懂度的影响。为了解决这个问题，我们提出了一种新的非并行语音转换技术，采用一个单一的神经网络的直接源到目标的语音参数映射。通过这种单一的网络结构，所提出的方法可以减少转换时间和网络参数的数量，这在嵌入式或实时环境中是特别重要的因素。此外，它通过在转换阶段跳过电话识别器来提高语音转换的质量。它可以有效地防止可能的语音信息丢失的PPG为基础的间接方法遭受。实验表明，我们的方法减少了网络参数的数量和转换时间分别为41.9%和44.5%，提高了语音相似度比原来的PPG为基础的方法。
2020-06-12 eess.AS
Learning in your voice: Non-parallel voice conversion based on speaker consistency loss
在本文中，我们提出了一种新的语音转换策略，以解决训练和转换场景之间的不匹配时，并行语音语料库无法用于训练。基于自动编码器和解纠缠框架，我们设计了所提出的模型来提取身份和内容表示，同时重建输入语音信号本身。由于我们在训练过程中使用了其他说话人的身份信息，因此训练理念自然与语音转换过程的目标相匹配。此外，我们有效地设计了解纠缠框架，以可靠地保留语言信息，并提高转换后的语音信号的质量。该方法的优越性在主观听力测试以及客观的措施。
2020-11-04 eess.AS
Singing voice conversion with non-parallel data
Snap Research, Snap Inc.（Snap公司Snap研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
演唱声音转换是将源歌手演唱的歌曲转换为目标歌手的声音的任务。在本文中，我们提出了使用并行数据自由，多对一的声音转换技术的歌声。首先通过鲁棒的自动语音识别引擎（ASR）解码歌声来生成语音后验特征。然后，使用具有深度双向长短期记忆（DBLSTM）结构的训练的递归神经网络（RNN）来对从与人无关的内容到目标人的声学特征的映射进行建模。通过原始演唱声提取F0和非周期性特征，结合声学特征，通过声码器重构出目标演唱声。在所获得的歌声中，目标歌手和源歌手听起来相似。据我们所知，这是第一个研究，使用非并行数据训练歌唱声音转换系统。主观评价表明，该方法有效地转换歌声。
2019-03-11 cs.LG cs.SD eess.AS
Hierarchical Sequence to Sequence Voice Conversion with Limited Data
Ford Greenfield Labs（福特格林菲尔德实验室）
我们提出了一个语音转换解决方案，使用递归序列到序列建模DNN。我们的解决方案利用了神经机器翻译（NMT），文本到语音（TTS）和自动语音识别（ASR）领域中基于注意力建模的最新进展。问题在于当{ \it $<$源、目标$>$ }音频对可用时，在并行设置中的语音之间进行转换。我们的seq 2seq架构利用分层编码器来汇总输入音频帧。在解码器端，我们使用的注意力为基础的架构在最近的TTS作品。由于缺乏训练DNN所需的大型多说话者语音转换数据库，我们采用大型单说话者数据集作为自动编码器来训练网络。然后，这适用于可用于语音转换的较小的多说话者语音转换数据集。与其他使用$F_0$，持续时间和语言特征的语音转换作品相比，我们的系统使用梅尔频谱图作为音频表示。输出梅尔帧转换回音频使用波网声码器。
2019-07-15 cs.LG cs.SD eess.AS
DisC-VC: Disentangled and F0-Controllable Neural Voice Conversion
NTT Communication Science Laboratories（NTT通信科学实验室）
语音转换是一个任务，以转换一个给定的话语的非语言特征。由于语音的自然度强烈地依赖于其音高模式，因此在某些应用中，期望在改变说话者身份的同时保持原始的上升/下降音高模式。现有的一些方法通过使用源过滤器模型或开发将F0模式作为模型输入的神经网络来解决这个问题。虽然后一种方法可以实现相对较高的声音质量相比，前者，有没有考虑之间的差异的目标和生成的F0模式在其训练过程中。在本文中，我们提出了一种新的变分自动编码器为基础的语音转换模型伴随着一个辅助网络，它确保转换结果正确地反映指定的F0/音色信息。通过客观和主观的评价，我们证明了所提出的方法的有效性。
2022-10-20 cs.SD eess.AS stat.ML
Black-box Attacks on Automatic Speaker Verification using Feedback-controlled Voice Conversion
自动说话人确认系统在实际应用中极易受到欺骗攻击。最新的语音转换技术能够产生模仿任何目标扬声器的感知自然的声音语音。然而，与说话者身份的感知接近度可能不足以欺骗ASV系统。在这项工作中，我们提出了一个框架，使用ASV系统的输出分数作为语音转换系统的反馈。攻击者框架是一个黑盒对手，窃取一个人的语音身份，因为它不需要任何关于ASV系统的知识，但系统输出。在ASVspoof 2019数据库上进行的实验结果证实，所提出的反馈控制语音转换框架产生的对抗样本比直接的语音转换更具欺骗性，从而提高了冒名顶替者ASV得分。此外，感知评估研究表明，转换后的语音不会对基线系统的语音质量产生不利影响。
2019-10-29 eess.AS
Spatial Voice Conversion: Voice Conversion Preserving Spatial Information and Non-target Signals
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
本文提出空间语音转换任务，旨在转换目标语音时保留空间信息与非目标信号，通过整合盲源分离、语音转换和空间混合处理多通道波形，为未来研究提供基准。
2024-06-25 cs.SD eess.AS
Self-Supervised Representations for Singing Voice Conversion
演唱声音转换模型将任意源演唱者的声音中的歌曲转换为目标演唱者的声音。最近，利用自监督音频表示的方法，如HuBERT和Wav 2 Vec 2.0，有助于进一步发展最先进的技术。虽然这些方法产生更自然和旋律的歌唱输出，但它们通常依赖于混淆和解纠缠损失来呈现自监督表示扬声器和音高不变。在本文中，我们绕过了解纠缠训练，并提出了一种新的模型，该模型利用ASR微调的自监督表示作为HiFi-GAN神经声码器的输入，用于歌唱语音转换。我们对不同的f0编码方案进行了实验，结果表明，使用并行转置卷积（PBTC）以及ASR微调Wav 2 Vec 2.0功能的f0谐波生成模块可以获得最佳的歌唱声音转换质量。此外，该模型能够使语音唱歌。我们还表明，一个简单的f0移位方案在推理过程中有助于保留歌手的身份，并支持我们的歌声转换模型的性能。我们的结果得到了广泛的MOS研究的支持，这些研究比较了不同的消融和基线。
2023-03-21 eess.AS
The NU Voice Conversion System for the Voice Conversion Challenge 2020: On the Effectiveness of Sequence-to-sequence Models and Autoregressive Neural Vocoders
Nagoya University（名古屋大学）
在本文中，我们介绍了名古屋大学（NU）为2020年语音转换挑战赛（VCC 2020）开发的语音转换（VC）系统。我们的目标是确定VC中最近两种重要技术的有效性：序列到序列（seq 2seq）模型和自回归（AR）神经声码器。针对挑战中的两个任务开发了两个相应的系统：对于任务1，我们采用了语音Transformer网络，这是一种基于transformer的seq 2seq VC模型，并使用合成并行数据对其进行扩展以处理非并行数据;对于任务2，我们使用基于帧的循环变分自编码器（CycleVAE）来模拟语音波形的频谱特征，并使用AR WaveNet声码器进行额外的微调。通过与基线系统的比较，我们证实了seq 2seq建模可以提高转换的相似性，并且使用AR声码器可以提高转换语音的自然度。
2020-10-09 cs.CL cs.SD eess.AS
Error Reduction Network for DBLSTM-based Voice Conversion
到目前为止，许多用于语音转换的深度学习方法都是通过使用大量的训练数据来产生高质量的语音。本文提出了一种基于深度双向长短期记忆（DBLSTM）的语音转换框架，该框架可以使用有限的训练数据。我们建议实现一个基于DBLSTM的平均模型，该模型使用来自许多扬声器的数据进行训练。然后，我们建议使用有限的目标数据进行自适应。最后但并非最不重要的是，我们提出了一个错误减少网络，可以进一步提高语音转换质量。拟议框架的动机是三个意见。首先，DBLSTM通过考虑语音话语的长期依赖性，可以实现显著的语音转换。其次，基于DBLSTM的平均模型可以很容易地适应少量的数据，以实现听起来更接近目标的语音。第三，可以用少量的训练数据训练误差减少网络，并且可以有效地提高转换质量。实验结果表明，该语音转换框架是灵活的工作与有限的训练数据，并优于传统的框架在客观和主观评价。
2018-09-26 eess.AS
Streaming non-autoregressive model for any-to-many voice conversion
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音转换模型已经发展了几十年，目前主流的研究主要集中在非流式语音转换。但是，流式语音转换比非流式语音转换更适合实际应用场景。本文提出了一种基于完全非自回归模型的流任意到多语音转换方法，该方法包括基于流Transformer的声学模型和流声码器。基于流式Transformer的声学模型由基于流式端到端自动语音识别模型的预训练编码器和基于FastSpeech块修改的解码器组成。流声码器采用伪正交镜像滤波器组和因果卷积技术，实现了流声码器的设计。实验结果表明，该方法在延迟和转换质量方面都取得了显著的性能，并且可以在CPU和GPU上实现实时性。
2022-06-15 cs.SD eess.AS
Identifying Source Speakers for Voice Conversion based Spoofing Attacks on Speaker Verification Systems
自动说话人确认系统旨在确认语音信号的说话人身份。然而，语音转换系统可以操纵一个人的语音信号，使其听起来像另一个说话者的声音，并欺骗说话者验证系统。针对基于语音转换的欺骗攻击的大多数对策被设计成用于区分说话人验证系统的真实语音和欺骗语音。在本文中，我们研究的问题，源说话人识别-推断身份的源说话人给定的语音转换语音。为了进行源说话人识别，我们只需在说话人嵌入网络训练期间将带有源说话人身份标签的语音转换语音数据添加到真实语音数据集。实验结果表明，当使用来自相同语音转换模型的转换语音进行训练和测试时，源说话人识别是可行的。此外，我们的研究结果表明，有更多的转换话语从各种语音转换模型的训练有助于提高源说话人识别性能转换话语从看不见的语音转换模型。
2022-10-31 cs.CR eess.AS
An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning
Singapore University of Technology and Design（新加坡科技设计大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；National University of Singapore（新加坡国立大学）
说话人身份是人类言语的重要特征之一。在语音转换中，我们将说话者身份从一个转换为另一个，同时保持语言内容不变。语音转换涉及多种语音处理技术，例如语音分析、频谱转换、韵律转换、说话人特征化和声码。随着理论和实践的发展，我们现在能够产生具有高说话人相似度的人一样的语音质量。在本文中，我们全面概述了最先进的语音转换技术及其性能评估方法，从统计方法到深度学习，并讨论了它们的前景和局限性。我们还将报告最近的语音转换挑战（VCC），当前技术状态的性能，并提供语音转换研究可用资源的摘要。
2020-11-17 cs.SD eess.AS
AC-VC: Non-parallel Low Latency Phonetic Posteriorgrams Based Voice Conversion
Logitech Europe S.A.（罗技欧洲公司）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
本文介绍了一种基于语音后验图的语音转换系统AC-VC（Almost Causal Voice Conversion），该系统可以实现任意对多语音转换，同时具有57.5 ms的未来预测能力。整个系统由三个分别用非并行数据训练的神经网络组成。虽然目前大多数语音转换系统主要关注质量，而不考虑算法延迟，但这项工作详细说明了使用最少量的未来上下文设计方法，从而允许未来的实时实现。根据在这项工作中组织的主观听力测试，所提出的AC-VC系统在自然度方面与2020年语音转换挑战赛的非因果性ASR-TTS基线达到了等同，MOS为3.5。与此相反，结果表明，未来的上下文缺失会影响说话人的相似性。获得的相似度百分比为65%，低于当前最好的语音转换系统的相似度。
2021-11-12 cs.SD eess.AS
Voice Conversion for Stuttered Speech, Instruments, Unseen Languages and Textually Described Voices
Stellenbosch University（斯泰伦博斯大学）
本研究探索kNN-VC语音转换模型在口吃、跨语言、乐器和文本描述声音等非标准任务上的表现，发现其在口吃和跨语言任务中保持高性能，但乐器转换效果不一，整体展示广泛适用性及分布外样本的局限。
2023-10-12 cs.CL cs.SD eess.AS
DGC-vector: A new speaker embedding for zero-shot voice conversion
Netease Games AI Lab（网易游戏AI实验室）
近年来，越来越多的zero-shot语音转换算法被提出。说话人嵌入作为zero-shot语音转换的基础部分，是提高转换语音的说话人相似度的关键。在本文中，我们研究了说话人嵌入对zero-shot语音转换性能的影响。为了在zero-shot语音转换中更好地表达目标说话人的特征，提高说话人相似度，本文提出了一种新的说话人表示方法。我们的方法结合了D-向量，全局风格令牌（GST）的说话人表示和辅助监督的优点。客观和主观评价结果表明，该方法在zero-shot语音转换上取得了较好的效果，与D-向量和基于GST的说话人嵌入相比，该方法显著提高了说话人相似度。
2022-03-18 cs.SD eess.AS
Scyclone: High-Quality and Parallel-Data-Free Voice Conversion Using Spectrogram and Cycle-Consistent Adversarial Networks
提出了一种无需并行数据训练的高质量语音转换（VC）技术Scyclone。Scyclone通过引入基于CycleGAN的频谱图转换和简化的基于WaveRNN的声码器来提高转换语音的语音自然度和说话者相似性。在Scyclone中，使用线性频谱图作为转换特征而不是声码器参数，这避免了由于基频和浊音/清音参数的提取误差而导致的质量下降。源和目标说话人的频谱图由改进的CycleGAN网络建模，并使用具有单个高斯概率密度函数的简化WaveRNN重建波形。使用完全不成对的训练数据进行的主观实验表明，Scyclone明显优于CycleGAN-VC 2，CycleGAN-VC 2是现有的最先进的无并行数据VC技术之一。
2020-05-07 eess.AS
CVC: Contrastive Learning for Non-parallel Voice Conversion
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Shanghai Qi Zhi Institute（上海期智研究院）
基于循环一致生成对抗网络（CycleGAN）和变分自编码器（VAE）的模型近年来在非并行语音转换中得到了广泛的应用。然而，他们往往遭受困难的培训过程和不满意的结果。在本文中，我们提出了CVC，一种基于对比学习的对抗性语音转换方法。与以前的基于CycleGAN的方法相比，CVC只需要一个有效的单向GAN训练，利用对比学习的优势。当涉及到非并行的一对一语音转换时，CVC与CycleGAN和VAE不相上下或更好，同时有效地减少了训练时间。CVC在多对一语音转换方面进一步展示了卓越的性能，能够从看不见的扬声器进行转换。
2021-04-02 cs.SD eess.AS
Real-Time and Accurate: Zero-shot High-Fidelity Singing Voice Conversion with Multi-Condition Flow Synthesis
针对歌声转换中潜在变量提取困难和处理效率低的问题，提出 RASVC 流模型，结合多解耦特征约束、潜在属性编码器与 MS-iSTFT，实现零样本高保真且快速的歌声转换。
2024-09-09 eess.AS
Emotion-Aware Prefix: Towards Explicit Emotion Control in Voice Conversion Models
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出情感感知前缀方法，通过双阶段语音转换模型实现显式情感控制，显著提升情感转换性能至85.50%并保持语音质量。
2026-03-10 eess.AS
DreamVoice: Text-Guided Voice Conversion
针对传统一次性语音转换推理需目标录音的问题，该研究构建了含900名说话人音色标注的DreamVoiceDB数据集，提出DreamVC端到端扩散模型与DreamVG通用插件两种文本引导语音转换方法，实现了贴合文本提示的高质量音色转换。
2024-06-24 eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab（腾讯人工智能实验室）
歌唱声音转换是指在保持歌唱内容不变的前提下，将源歌唱的音色转换为目标说话人的声音。然而，歌唱数据的目标说话人是更难以收集相比，正常的语音数据。在本文中，我们介绍了一个歌唱声转换算法，能够产生高品质的目标说话人的歌声，只用他/她的正常语音数据。首先，我们通过统一标准语音合成系统和歌唱合成系统中使用的特征，将语音和歌唱的训练和转换过程集成到一个框架中。此外，为了实现一次转换，本文还设计了一个说话人嵌入模块，利用语音和歌唱数据，在转换过程中提供目标说话人的识别信息。实验结果表明，所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
Many-to-Many Voice Conversion using Cycle-Consistent Variational Autoencoder with Multiple Decoders
Korea University（高丽大学）；Artificial Intelligence Laboratory（人工智能实验室）
多对多语音转换中的一个障碍是需要并行训练数据，这些数据包含不同说话人说出的具有相同语言内容的话语对。由于收集这种并行数据是一项非常昂贵的任务，许多作品试图使用非并行训练数据进行多对多语音转换。其中一种方法是使用变分自动编码器（VAE）。基于VAE的语音转换方法虽然可以处理多对多的语音转换而无需并行训练，但是转换后的语音质量不高。其中一个主要原因是因为VAE只学习了自重构路径，而转换路径根本没有经过训练。在本文中，我们提出了一个周期一致性损失的VAE显式学习的转换路径。此外，我们提出了使用多个解码器，以进一步改善传统的基于VAE的语音转换方法的音质。通过客观评价和主观评价验证了该方法的有效性。
2020-02-02 cs.CL eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的框架，建立一个语音转换（VC）系统的学习从文本到语音（TTS）合成系统，即TTS-VC迁移学习。首先，我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构，其中编码器提取强大的语言表示的文本，和解码器，条件下的目标说话人嵌入，需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实，并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中，编码器以语音代替文本作为输入，而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入，因此系统可以在非并行数据上进行训练，以进行任意到任意的语音转换。在语音转换训练过程中，我们分别提出了文本和语音到语音合成和语音转换网络。在运行时，语音转换网络使用自己的编码器-解码器架构。实验表明，该方法优于两个竞争的语音转换基线一致，即语音后验图和变分自动编码器的方法，在语音质量，自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
Unsupervised Singing Voice Conversion
Facebook AI Research（脸书人工智能研究院）；Tel Aviv University（特拉维夫大学）
提出了一种基于深度学习的歌声转换方法。所提出的网络不以文本或音符为条件，它直接将一个歌手的音频转换为另一个歌手的声音。训练是在没有任何形式的监督的情况下进行的：没有歌词或任何类型的语音特征，没有音符，也没有歌手之间的匹配样本。所提出的网络采用一个单一的CNN编码器的所有歌手，一个单一的WaveNet解码器，和一个分类器，强制执行潜在的表示是歌手不可知的。每个歌手是由一个嵌入向量，解码器的conditionedon.In为了处理相对较小的datasets，我们提出了一个新的数据增强计划，以及新的训练损失和协议，是基于反向翻译。我们的评估提出的证据表明，转换产生的自然签署的声音是高度可识别的目标歌手。
2019-09-25 cs.LG cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
语音转换是指在保留话语内容的同时改变语音的音色。最近，许多工作集中在基于分离的学习技术，从语音信号中分离音色和语言内容信息。一旦成功，语音转换将是可行和直接的。提出了一种基于矢量量化语音转换（VQVC）和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中，以更有效地从语音中分离出内容和音色信息。实验结果表明，该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
Defending Your Voice: Adversarial Attack on Voice Conversion
National Taiwan University（台湾大学）
近年来，语音转换已经取得了实质性的进步，它将一个话语的说话者特征转换成另一个说话者的特征，而不改变话语的语言内容。尽管如此，改进的转换技术也导致了对隐私和身份验证的担忧。因此，非常希望能够防止人们的语音被这种语音转换技术不适当地利用。这就是为什么我们在本文中报告了对语音转换进行对抗性攻击的第一次已知尝试。我们将人类无法察觉的噪音引入说话者的话语中，说话者的声音是要被保护的。鉴于这些对抗性的例子，语音转换模型不能转换其他话语，以便听起来像是由被辩护的说话者产生的。在两个目前最先进的zero-shot语音转换模型上进行了初步实验。在白盒和黑盒的情况下的客观和主观的评价结果报告。结果表明，转换后的话语的说话人特征明显不同于被辩护说话人的说话人特征，而被辩护说话人的对抗性实例与真实话语无法区分。
2021-05-04 cs.LG cs.SD eess.AS
The IQIYI System for Voice Conversion Challenge 2020
IQIYI Inc.（爱奇艺公司）
本文介绍了用于语音转换2020的IQIYI语音转换系统（T24）。在比赛中，每个目标说话人有70个句子。我们已经建立了一个基于PPG的端到端语音转换系统。首先，ASR声学模型计算BN特征，其表示语音中的内容相关信息。然后通过改进的韵律tacotron模型计算Mel特征。最后，通过改进的LPCNet将Mel谱转换为wav。评测结果表明，该系统能够达到较好的语音转换效果。在使用16 k而不是24 k采样率音频的情况下，转换结果在自然度和相似性方面相对较好。其中，我们最好的结果是在任务2的相似性评价，第2次在基于ASV的客观评价和第5次在主观评价。
2020-10-29 cs.SD eess.AS
Invertible Voice Conversion
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
在本文中，我们提出了一个用于语音转换的可逆深度学习框架，称为INVVC。它旨在应对语音转换系统固有的潜在威胁。具体来说，我们开发了一个可逆的框架，使源身份可追溯。该框架是建立在一系列可逆的$1\times1$卷积和流组成的仿射耦合层。我们提出的框架，一对一的语音转换和多对一的转换，使用并行训练数据。实验结果表明，这种方法在语音转换上产生了令人印象深刻的性能，而且，转换后的结果可以利用与转发相同的参数被反转回源输入。
2022-01-26 cs.LG cs.SD eess.AS
FasterVoiceGrad: Faster One-step Diffusion-Based Voice Conversion with Adversarial Diffusion Conversion Distillation
NTT, Inc.（日本NTT公司）
针对现有扩散语音转换模型转换慢或依赖计算密集型内容编码器的问题，提出FasterVoiceGrad，通过对抗扩散转换蒸馏同时蒸馏扩散模型和内容编码器，在保持竞争力性能的同时，GPU和CPU速度分别提升6.6-6.9倍和1.8倍。
2025-08-25 cs.AI cs.LG cs.SD
Boosting Star-GANs for Voice Conversion with Contrastive Discriminator
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；School of Economics and Finance, Shanghai International Studies University（上海外国语大学经济与金融学院）
StarGAN-VC等非并行多域语音转换方法已经在很多场景中得到了广泛应用。然而，由于这些模型复杂的对抗性网络架构，它们的训练通常会带来挑战。为了解决这个问题，在这项工作中，我们利用了最先进的对比学习技术，并将一个有效的暹罗网络结构纳入StarGAN网络。我们的方法被称为SimSiam-StarGAN-VC，它提高了训练的稳定性，有效地防止了训练过程中的过拟合问题。我们对语音转换挑战（VCC 2018）数据集进行了实验，并进行了用户研究，以验证我们框架的性能。我们的实验结果表明，SimSiam-StarGAN-VC在客观和主观指标方面都明显优于现有的StarGAN-VC方法。
2022-09-27 cs.AI cs.LG cs.SD
Many-to-Many Voice Conversion using Conditional Cycle-Consistent Adversarial Networks
语音转换是指在不改变说话人语言内容的前提下，对说话人的特征进行转换。语音转换的许多工作需要具有并行的训练数据，这是非常昂贵的获取。最近，周期一致对抗网络（CycleGAN），它不需要并行训练数据，已被应用于语音转换，显示出最先进的性能。然而，基于CycleGAN的语音转换只能用于一对扬声器，即，两个扬声器之间的一对一语音转换。在本文中，我们通过在扬声器上调节网络来扩展CycleGAN。因此，该方法可以使用单个生成对抗网络（GAN）在多个说话者之间执行多对多语音转换。与为每对扬声器构建多个CycleGAN相比，所提出的方法显著降低了计算和空间成本，而不会影响转换后语音的音质。在VCC2018语料库上的实验结果验证了该方法的有效性。
2020-02-15 cs.LG cs.SD eess.AS
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
我们提出了一种新的训练方案，优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失，而且说话人身份损失。我们引入了一个周期的一致性损失，限制转换后的语音，以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络，但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明，该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型，实现轻量级流式零样本有声与耳语语音转换，并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
Multi-Target Emotional Voice Conversion With Neural Vocoders
情感语音转换（EVC）是生成富有表情的合成语音的单向式方法之一。以前的方法主要集中在建模一对一映射，即，从一种情绪状态到另一种情绪状态的转换，用梅尔倒频谱声码器。在本文中，我们研究建立一个多目标EVC（MTEVC）架构，它结合了一个深双向长短期记忆（DBLSTM）为基础的转换模型和神经声码器。语音后验图（PPG）包含丰富的语言信息被纳入转换模型作为辅助输入功能，提高转换性能。为了利用新出现的神经声码器的优势，我们研究了条件WaveNet和基于流的WaveNet（FloWaveNet）作为语音生成器。声码器采用附加的说话人信息和情感信息作为辅助特征，并使用多说话人和多情感语音语料库进行训练。客观指标和主观评价的实验结果验证了所提出的MTEVC架构的EVC的有效性。
2020-04-08 eess.AS
The Academia Sinica Systems of Voice Conversion for VCC2020
The Academia Sinica（中央研究院）
本文介绍了中央研究院为2020年语音转换挑战赛的两个任务所设计的系统，即同一语言内的语音转换（任务1）和跨语言语音转换（任务2）。对于这两个任务，我们遵循级联ASR+TTS结构，使用语音标记作为TTS输入，而不是文本或字符。对于任务1，我们使用国际音标（IPA）作为TTS模型的输入。对于任务2，我们使用由矢量量化变分自动编码器（VQVAE）提取的无监督语音符号。在评估中，听力测试表明我们的系统在VCC 2020挑战赛中表现良好。
2020-10-06 cs.SD eess.AS
Vocoder-free End-to-End Voice Conversion with Transformer Network
Kyungpook National University（庆北国立大学）
与原始频谱相比，基于梅尔频率滤波器组（MFB）的方法具有学习语音的优势，因为MFB具有较小的特征尺寸。然而，采用MFB方法的语音发生器需要额外的声码器，这需要大量的计算开销用于训练过程。额外的预/后处理，如MFB和声码器，对于将真实的人类语音转换为其他语音并不重要。可以仅使用原始频谱以及相位来生成具有清晰发音的不同风格的语音。在这方面，我们提出了一种快速有效的方法来转换现实的声音，使用原始频谱的并行方式。我们的基于transformer的模型架构没有任何CNN或RNN层，显示了快速学习的优势，解决了传统RNN顺序计算的局限性。本文介绍了一种利用Transformer网络实现无声码器端到端语音转换的方法。该转换模型也可用于语音识别的说话人自适应。我们的方法可以将源语音转换为目标语音，而无需使用MFB和声码器。通过将转换后的幅度与相位相乘，可以得到用于语音识别的自适应MFB。我们在TIDIGITS数据集上进行了语音转换实验，分别使用自然度，相似度和清晰度等指标与平均意见得分。
2020-02-05 cs.LG cs.SD eess.AS
StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion
Columbia University（哥伦比亚大学）
我们提出了一种无监督的非并行多对多语音转换（VC）方法，使用生成对抗网络（GAN）称为StarGAN v2。使用对抗源分类器损失和感知损失的组合，我们的模型显着优于以前的VC模型。虽然我们的模型只训练了20名英语使用者，但它可以推广到各种语音转换任务，例如任意到多个，跨语言和唱歌转换。使用风格编码器，我们的框架还可以将普通阅读语音转换为风格语音，如情感语音和假声语音。主观和客观的评价实验的非并行多对多语音转换任务显示，我们的模型产生自然的声音，接近最先进的文本到语音（TTS）的语音转换方法，而不需要文本标签的声音质量。此外，我们的模型是完全卷积的，并且具有比实时更快的声码器，如并行WaveGAN，可以执行实时语音转换。
2021-07-23 cs.LG cs.SD eess.AS
F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder
Adobe Research（Adobe研究院）
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。许多风格转移启发的方法，如生成对抗网络（GANs）和变分自编码器（VAE）已被提出。最近，AutoVC，一个条件自动编码器（CAE）为基础的方法取得了国家的最先进的成果，通过解开使用信息约束瓶颈的说话人身份和语音内容，它实现了zero-shot转换，通过交换在不同的说话人的身份嵌入合成一个新的声音。然而，我们发现，虽然说话人身份从语音内容中解脱出来，但大量的韵律信息，如源F0，通过瓶颈泄漏，导致目标F0不自然地波动。此外，AutoVC无法控制转换后的F0，因此不适用于许多应用。在本文中，我们修改和改进了基于自动编码器的语音转换，以同时解开内容，F0和说话人身份。因此，我们可以控制F0轮廓，生成与目标说话人F0一致的语音，并显着提高质量和相似度。我们通过定量和定性分析来支持我们的改进。
2020-04-15 cs.LG cs.SD eess.AS
Towards Identity Preserving Normal to Dysarthric Voice Conversion
Nagoya University（名古屋大学）；Delft University of Technology（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）；Netherlands Cancer Institute（荷兰癌症研究所）
我们提出了一个语音转换框架，将正常的语音转换成构音障碍的语音，同时保留扬声器的身份。这样的框架对于（1）临床决策过程和减轻患者压力，（2）构音障碍语音识别的数据增强是必不可少的。这是一个特别具有挑战性的任务，因为转换后的样本应该捕捉构音障碍语音的严重程度，同时是高度自然的，并拥有正常扬声器的扬声器身份。为此，我们采用了一个两阶段的框架，其中包括一个序列到序列的模型和一个非平行的帧明智的模型。对UASpeech数据集进行了客观和主观评价，结果表明，该方法能够产生合理的自然度和捕获病理语音的严重程度。另一方面，与正常源说话人的声音的相似性是有限的，需要进一步改进。
2021-10-15 cs.CL cs.SD eess.AS
DualVC: Dual-mode Voice Conversion using Intra-model Knowledge Distillation and Hybrid Predictive Coding
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）；Shanghai Jiao Tong University（上海交通大学）
DualVC提出一种双模式语音转换方法，通过模型内知识蒸馏、混合预测编码和数据增强解决流式转换中因缺失未来信息导致的性能下降问题，在仅252.8毫秒延迟下达到与非流式顶级系统相当的性能。
2023-05-31 cs.SD eess.AS
RefXVC: Cross-Lingual Voice Conversion with Enhanced Reference Leveraging
针对现有跨语言语音转换未考虑发音带来的音色变化、单参考语音难覆盖音色范围等问题，提出RefXVC方法，结合全局与局部说话人嵌入、音色编码器与发音匹配网络及多参考语音，提升了语音质量与说话人相似度。
2024-06-24 eess.AS
How Far Are We from Robust Voice Conversion: A Survey
College of Electrical Engineering（电气工程学院）；Computer Science, National Taiwan University, Taiwan（台湾大学计算机科学系）
近年来，在深度学习的帮助下，语音转换技术得到了很大的改进，但它们在不同条件下产生自然发声的能力仍然不清楚。本文对已知VC模型的鲁棒性进行了深入的研究。我们还修改了这些模型，例如更换扬声器嵌入，以进一步提高其性能。我们发现采样率和音频持续时间对语音转换有很大的影响。所有的VC模型都受到不可见数据的影响，但AdaIN-VC相对更健壮。此外，联合训练的说话人嵌入比说话人识别训练的说话人嵌入更适合于语音转换。
2021-05-03 cs.SD eess.AS
One-shot Voice Conversion by Separating Speaker and Content Representations with Instance Normalization
National Taiwan University（台湾大学）
最近，没有并行数据的语音转换（VC）已经成功地适应多目标场景，其中单个模型被训练成将输入语音转换为多个不同的说话人。然而，这种模型的局限性在于它只能将语音转换为训练数据中的说话人，这缩小了VC的适用场景。在本文中，我们提出了一种新的一次性VC方法，能够执行VC只有一个例子发言，分别从源和目标说话人，和源和目标说话人甚至不需要看到在训练过程中。这是通过使用实例规范化（IN）来解开扬声器和内容表示来实现的。客观和主观评价表明，我们的模型是能够产生类似的目标说话人的声音。除了性能测量之外，我们还证明了该模型能够在没有任何监督的情况下学习有意义的说话人表示。
2019-08-22 cs.LG cs.SD eess.AS
FastSVC: Fast Cross-Domain Singing Voice Conversion with Feature-wise Linear Modulation
介绍了一种轻量级的跨域歌唱声转换系统FastSVC，该系统具有较高的转换性能，推理速度比CPU上的实时速度快4倍。FastSVC使用基于Conformer的音素识别器从歌唱信号中提取与歌唱者无关的语言特征。基于特征线性调制的发生器用于直接从语言特征合成波形，利用来自正弦激励信号和响度特征的信息。波形发生器可以方便地使用多分辨率频谱损失和对抗损失来训练。实验结果表明，所提出的FastSVC系统，与计算繁重的基线系统相比，可以实现相当的转换性能在某些情况下，并显着更好的转换性能在其他情况下。此外，所提出的FastSVC系统实现了理想的跨语言歌唱转换性能。FastSVC系统的推理速度分别比GPU和CPU上的基线系统快3倍和70倍。
2021-05-23 eess.AS
Investigation into Target Speaking Rate Adaptation for Voice Conversion
将语音信号的说话者和内容属性分解为单独的潜在表示，然后用交换的说话者表示对内容进行解码，这是一种流行的语音转换方法，可以用非并行和未标记的语音数据进行训练。然而，以前的方法仅通过某种信息瓶颈或归一化来隐式地执行解纠缠，其中通常难以在语音转换和内容重构之间找到良好的折衷。此外，以前的作品通常不考虑说话速率对目标说话者的适应，或者他们对数据或用例施加了一些主要限制。因此，这项工作的贡献是双重的。首先，我们采用了一种明确的、完全无监督的解纠缠方法，这种方法以前只用于表示学习，并表明它可以获得更好的语音转换和内容重建。其次，我们调查简单和通用的方法来线性地适应语音信号的长度，因此，说话速率，目标扬声器，并表明，所提出的适应允许增加相对于目标扬声器的说话速率相似性。
2022-09-05 eess.AS
Beyond Voice Identity Conversion: Manipulating Voice Attributes by Adversarial Learning of Structured Disentangled Representations
Ircam（法国声学/音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
语音转换（VC）包括数字化改变个人的声音，以操纵其部分内容，主要是其身份，同时保持其余不变。神经VC的研究已经取得了相当大的突破，能够使用少量数据以高度逼真的渲染来伪造语音身份。本文超越了语音身份，并提出了一种神经架构，允许操纵语音属性（例如，性别和年龄）。利用结构化语音表示的对抗学习的最新进展，提出了一种新的结构化神经网络，其中多个自动编码器用于将语音编码为一组理想独立的语言和语言外表示，这些表示是对抗学习的，并且可以在VC期间进行操作。此外，所提出的架构是时间同步的，以便在转换过程中保留原始语音时序，从而允许唇同步应用。应用于真实世界的VCTK数据集上的语音性别转换，我们提出的架构可以成功地学习性别无关的表示，并转换语音性别具有非常高的效率和自然。
2021-07-27 cs.LG cs.SD eess.AS
Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion
National Institute of Informatics（国立信息学研究所）；Nagoya University（名古屋大学）；National University of Singapore（新加坡国立大学）；University of Eastern Finland（东芬兰大学）；University of Science and Technology of China（中国科学技术大学）
语音转换挑战赛是一项每两年举办一次的科学活动，旨在比较和了解基于通用数据集构建的不同语音转换（VC）系统。2020年，我们组织了第三届挑战赛，并为两个任务构建和分发了一个新的数据库，即语言内半并行和跨语言VC。经过两个月的挑战期，我们收到了33份提交，包括3个基于数据库的基线。从众包听力测试的结果中，我们观察到，由于先进的深度学习方法，VC方法进展迅速。特别是，扬声器相似性分数的几个系统被证明是一样高的目标扬声器在语言内半并行VC任务。然而，我们证实，对于相同的任务，它们中没有一个达到人类水平的自然性。跨语言转换任务，正如预期的那样，是一个更困难的任务，和整体的自然度和相似性分数低于那些内语言转换任务。然而，我们观察到令人鼓舞的结果，最好的系统的MOS得分高于4.0。我们还展示了一些额外的分析结果，以帮助更好地理解跨语言VC。
2020-08-28 cs.SD eess.AS
Spectrum and Prosody Conversion for Cross-lingual Voice Conversion with CycleGAN
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
跨语言语音转换是指当源语者和目标语者使用不同的语言时，将源语者的语音转换为目标语者的语音。它依赖于来自两种不同语言的非并行训练数据，因此比单语言语音转换更具挑战性。以往的跨语言语音转换研究主要集中在频谱转换与线性变换的F0转移。然而，作为一个重要的韵律因素，F0是内在的层次性，因此，它是不够的，只是使用线性的方法进行转换。我们建议使用连续小波变换（CWT）分解的F0建模。CWT提供了一种将信号分解为不同时间尺度的方法，这些时间尺度可以在不同的时间分辨率下解释韵律。我们还建议训练两个CycleGAN管道分别用于频谱和韵律映射。通过这种方式，我们消除了对任何两种语言的并行数据和任何对齐技术的需要。实验结果表明，我们提出的Spectrum-Prosody-CycleGAN框架在主观评价方面优于Spectrum-CycleGAN基线。据我们所知，这是第一次研究韵律在跨语言语音转换。
2020-11-03 cs.CL cs.SD eess.AS
HiFi-VC: High Quality ASR-Based Voice Conversion
Tinkoff（Tinkoff银行）
语音转换（VC）的目标是将输入语音转换为与目标说话人的语音相匹配，同时保持文本和韵律完整。VC通常用于娱乐和语音辅助系统，以及用于语音数据生成和增强。任何对任何VC系统的开发，能够在模型训练期间生成不可见的声音，对研究人员和行业都特别感兴趣。尽管最近取得了进展，但任何到任何转换的质量仍然不如自然语音。在这项工作中，我们提出了一个新的任意到任意的语音转换管道。我们的方法使用自动语音识别（ASR）功能，音高跟踪，和一个国家的最先进的波形预测模型。根据多个主观和客观的评价，我们的方法优于现代基线的语音质量，相似性和一致性。
2022-03-31 cs.LG cs.SD eess.AS
