Beyond Voice Identity Conversion: Manipulating Voice Attributes by Adversarial Learning of Structured Disentangled Representations
Ircam（法国声学/音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
语音转换（VC）包括数字化改变个人的声音，以操纵其部分内容，主要是其身份，同时保持其余不变。神经VC的研究已经取得了相当大的突破，能够使用少量数据以高度逼真的渲染来伪造语音身份。本文超越了语音身份，并提出了一种神经架构，允许操纵语音属性（例如，性别和年龄）。利用结构化语音表示的对抗学习的最新进展，提出了一种新的结构化神经网络，其中多个自动编码器用于将语音编码为一组理想独立的语言和语言外表示，这些表示是对抗学习的，并且可以在VC期间进行操作。此外，所提出的架构是时间同步的，以便在转换过程中保留原始语音时序，从而允许唇同步应用。应用于真实世界的VCTK数据集上的语音性别转换，我们提出的架构可以成功地学习性别无关的表示，并转换语音性别具有非常高的效率和自然。
2021-07-27 cs.LG cs.SD eess.AS
HiFi-VC: High Quality ASR-Based Voice Conversion
Tinkoff（Tinkoff银行）
语音转换（VC）的目标是将输入语音转换为与目标说话人的语音相匹配，同时保持文本和韵律完整。VC通常用于娱乐和语音辅助系统，以及用于语音数据生成和增强。任何对任何VC系统的开发，能够在模型训练期间生成不可见的声音，对研究人员和行业都特别感兴趣。尽管最近取得了进展，但任何到任何转换的质量仍然不如自然语音。在这项工作中，我们提出了一个新的任意到任意的语音转换管道。我们的方法使用自动语音识别（ASR）功能，音高跟踪，和一个国家的最先进的波形预测模型。根据多个主观和客观的评价，我们的方法优于现代基线的语音质量，相似性和一致性。
2022-03-31 cs.LG cs.SD eess.AS
CycleGAN Voice Conversion of Spectral Envelopes using Adversarial Weights
IRCAM（声学/音乐协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文在语音转换的背景下处理GAN优化和稳定性问题。首先，为了简化转换任务，我们建议使用频谱包络作为输入。其次，我们提出了两种对抗性的权重训练范式，广义加权GAN和生成器影响GAN，都旨在减少生成器对训练的影响，因此两者都可以在训练过程中更渐进，更有效地学习。将能量约束应用于cycleGAN范例大大提高了转换质量。在语音转换挑战2018数据集上对语音转换任务进行的主观实验表明，首先，尽管网络复杂性显着降低，但所提出的方法实现了最先进的结果，其次，所提出的加权GAN方法优于先前提出的方法。
2020-07-11 cs.LG cs.SD eess.AS
Voice Conversion with Conditional SampleRNN
Dolby Laboratories（杜比实验室）
在这里，我们提出了一种新的方法来调节语音转换（VC）的SampleRNN生成模型。VC的传统方法通过在源和目标声学特征之间转换来修改感知的说话者身份。我们的方法侧重于保留语音内容，并依赖于生成网络来学习语音风格。我们首先训练一个多扬声器SampleRNN模型的语言特征，音高轮廓，和扬声器身份使用多扬声器语音语料库的条件。利用从源说话人中提取的语言特征和音高轮廓以及目标说话人身份生成语音转换语音。我们证明，我们的系统是能够多对多的语音转换，而不需要并行数据，使广泛的应用。主观评价表明，我们的方法优于传统的VC方法。
2018-08-24 cs.LG cs.SD eess.AS
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum（博洛尼亚大学）
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而，对于现实世界的应用程序，并行数据很少可用。我们提出了MelGAN-VC，一种语音转换方法，依赖于非并行语音数据，能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图，然后使用生成对抗网络（GAN）架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息，而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集，以及与嘈杂的现实世界的语音例子的集合。最后，我们采用相同的方法来执行音乐风格的转移，翻译任意长的音乐样本从一个流派到另一个，并表明我们的框架是灵活的，可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
Voice Conversion with Diverse Intonation using Conditional Variational Auto-Encoder
Seoul National University（首尔大学）；Kakao Brain
针对传统语音转换模型仅能生成单一结果的局限，提出基于条件变分自动编码器（CVAE）结合逆自回归流（IAF）的方法，实现语调多样且音质更优的语音转换。
2025-04-16 cs.LG cs.SD eess.AS
Toward Degradation-Robust Voice Conversion
National Taiwan University（台湾大学）
任何到任何语音转换技术将话语的音色转换为任何扬声器，即使在训练期间看不见。虽然已经有几种最先进的任意语音转换模型，但它们都是基于干净的话语来成功转换的。然而，在现实世界的场景中，很难收集说话者的干净话语，并且它们通常被噪声或混响降级。因此，非常需要了解这些退化如何影响语音转换并建立退化鲁棒模型。我们在本文中报告的第一个全面的研究退化鲁棒性的任何到任何语音转换。我们发现，性能的国家的最先进的模型，现在受到严重阻碍，退化的话语。为此，我们提出了语音增强级联和去噪训练，以提高鲁棒性。除了常见的退化之外，我们还考虑了对抗性噪声，这些噪声会显著改变模型输出，但人类无法感知。实验结果表明，与现有语音增强模型的级联和对语音转换模型的去噪训练都能提高鲁棒性，但各有优缺点。
2022-04-29 cs.LG cs.SD eess.AS
Many-to-Many Voice Conversion based Feature Disentanglement using Variational Autoencoder
Vinai Research（维奈研究院）；Deezer Research and Development（迪泽研发中心）
语音转换是一项具有挑战性的任务，它将源说话人的语音特征转换为目标说话人，而不改变语言内容。近年来，基于变分自编码器（VAE）的多对多语音转换（VC）取得了很好的效果，但这些方法缺乏区分说话人身份和语言内容的能力，无法在说话人不存在的情况下取得良好的性能。本文提出了一种基于特征分解的多对多语音转换方法。该方法具有从话语中分离出说话人身份和语言内容的能力，它可以通过单个自编码器网络从多个源说话人转换为多个目标说话人。此外，它自然地处理看不见的目标说话者场景。我们进行客观和主观的评价，以显示我们提出的方法与其他国家的最先进的模型相比，在自然度和目标说话人相似性的竞争力表现。
2021-07-11 cs.LG cs.SD eess.AS
Hierarchical disentangled representation learning for singing voice conversion
Sony（索尼）
由于数据的高维性，传统的歌唱声转换（SVC）方法通常在高分辨率音频中操作。在本文中，我们提出了一个分层的表示学习，使独立的多分辨率的解纠缠表示的学习。利用学习到的解纠缠表示，所提出的方法从低到高分辨率逐步执行SVC。实验结果表明，所提出的方法优于基线操作与一个单一的分辨率方面的平均意见得分（MOS），相似性得分，和音高准确性。
2021-04-26 cs.LG cs.SD eess.AS
NoiseVC: Towards High Quality Zero-Shot Voice Conversion
University of St.Gallen（圣加仑大学）
语音转换（VC）是将语音从目标音频转换为源音频而不丢失语言内容的任务，特别是当源和目标说话人在训练期间不可见（zero-shot VC）时，它是具有挑战性的。以前的方法需要预先训练的模型或语言数据来进行zero-shot转换。同时，具有矢量量化（VQ）或实例归一化（IN）的VC模型能够从音频中分离内容并实现成功的转换。然而，这些模型中的解纠缠高度依赖于严重受限的瓶颈层，因此，声音质量被大大牺牲。在本文中，我们提出了NoiseVC，一种可以基于VQ和对比预测编码（CPC）来解开内容的方法。此外，执行噪声增强以进一步增强解纠缠能力。我们进行了几个实验，并证明了NoiseVC具有很强的解纠缠能力与一个小的牺牲的质量。
2021-04-13 cs.LG cs.SD eess.AS
Zero-shot Voice Conversion with Diffusion Transformers
Nanyang Technological University（南洋理工大学）
提出Seed-VC框架，通过引入外部音色转换器和扩散Transformer解决零样本语音转换中的音色泄露等问题，在语音和歌唱转换任务中均取得优异性能。
2024-11-15 cs.LG cs.SD eess.AS
Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion
Red Pill Lab（红丸实验室）
跨语言语音转换（VC）是指在源语和目标语使用不同语言的情况下，合成具有相同内容的目标语语音。它的挑战在于源数据和目标数据自然是非并行的，甚至很难在没有transmittance的情况下弥合语言之间的差距。在本文中，我们专注于知识转移从单语言ASR跨语言VC，以解决内容不匹配的问题。为了实现这一点，我们首先训练源语言的单语声学模型，使用它来提取VC数据集中所有语音的语音特征，然后训练Seq 2Seq转换模型来预测mel-声谱图。我们成功地解决了跨语言VC没有任何转录或特定语言的知识，为外国演讲。我们在Voice Conversion Challenge 2020数据集上进行了实验，结果表明，我们的说话者相关转换模型优于zero-shot基线，在跨语言转换的语音质量和说话者相似性方面实现了3.83和3.54的MOS。与Cascade ASR-TTS方法相比，我们提出的方法显著降低了跨语言转换和跨语言转换之间的MOS下降。
2020-09-30 cs.LG cs.SD eess.AS
Taco-VC: A Single Speaker Tacotron based Voice Conversion with Limited Data
Tel Aviv University（特拉维夫大学）
本文介绍了一种基于Tacotron合成器的语音转换架构Taco-VC，它是一种带注意力的序列到序列模型。多说话人语音转换系统的训练需要大量的资源，无论是训练资源还是语料库规模。Taco-VC使用基于语音后验图（PPG）的单扬声器Tacotron合成器和基于梅尔频谱图的单扬声器WaveNet声码器来实现。为了提高转换后的语音质量，并克服过平滑，Tacotron的输出通过一个新的语音增强网络，它是由音素识别和Tacotron网络的组合。我们的系统只使用单个说话人语料库进行训练，并且只使用几分钟的训练数据就能适应新的说话人。使用中等大小的公共数据集，我们的方法在VCC 2018 SPOKE非并行语音转换任务中的表现优于基线，并且与在大型私有数据集上训练的多扬声器网络相比，取得了有竞争力的结果。
2020-06-19 cs.LG cs.SD eess.AS
Phoneme Hallucinator: One-shot Voice Conversion via Set Expansion
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对语音转换中可懂度与说话人相似度难以兼得的问题，提出音素幻觉器，通过幻觉目标说话人音素并基于邻居转换，实现一次性、无文本、任意到任意的语音转换，在可懂度和相似度上均优于现有方法。
2023-12-30 cs.LG cs.SD eess.AS
Non-Parallel Voice Conversion for ASR Augmentation
Google（谷歌）
自动语音识别（ASR）需要对说话人差异具有鲁棒性。语音转换（VC）修改输入语音的说话人特征。这是ASR数据增强的一个有吸引力的特征。在本文中，我们证明了语音转换可以作为一种数据增强技术，以提高ASR性能，即使在LibriSpeech，其中包含2,456扬声器。对于ASR增强，需要VC模型对大范围的输入语音具有鲁棒性。这促使使用非自回归、非并行VC模型，以及在VC模型内使用预训练的ASR编码器。这项工作表明，尽管包括许多扬声器，扬声器的多样性可能仍然是一个限制ASR质量。最后，对我国风险投资绩效的调查为客观评价风险投资质量提供了有用的指标。
2022-09-15 cs.LG cs.SD eess.AS
Robust One-Shot Singing Voice Conversion
针对失真歌声下未见过歌手的高质量歌声转换难题，提出基于生成对抗网络的鲁棒一次性SVC模型、两阶段Robustify训练法及分层扩散声码器，显著提升转换质量与抗失真鲁棒性。
2023-10-06 cs.LG cs.SD eess.AS
Axial Residual Networks for CycleGAN-based Voice Conversion
MoneyBrain Inc.（MoneyBrain公司）
我们提出了一种新的架构和改进的非并行语音转换的训练目标。我们提出的基于CycleGAN的模型直接对高频率分辨率幅度谱图进行形状保持变换，转换其风格（即说话人身份），同时保留语音内容。在整个转换过程中，该模型不采用任何类型的压缩中间表示（例如，梅尔频谱图，低分辨率频谱图，分解的网络特征）。我们提出了一个有效的轴向残差块架构来支持这个昂贵的过程和对CycleGAN损失的各种修改，以稳定训练过程。我们通过实验证明，即使没有采用神经声码器，我们提出的模型的性能也优于Scyclone，并且表现出与CycleGAN-VC 2相当或更好的性能。
2021-08-24 cs.LG cs.SD eess.AS
Rhythm Modeling for Voice Conversion
Stellenbosch University（斯泰伦博斯大学）；Ubisoft La Forge（育碧La Forge）
本文提出无监督节奏转换方法 Urhythmic，通过自监督表示分段并建模时长分布、时间拉伸语音以匹配目标节奏，在音质和韵律上优于现有无监督方法。
2023-07-12 cs.LG cs.SD eess.AS
ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations
NVIDIA（英伟达）
在这项工作中，我们提出了一种使用经过自监督学习训练的语音表示的零射击（zero-shot）语音转换方法。首先，我们开发了一个多任务模型，将语音话语分解为语言内容，说话人特征和说话风格等特征。为了理清内容和扬声器表示，我们提出了一种基于Siamese网络的训练策略，该策略鼓励原始音频和音高偏移音频的内容表示之间的相似性。接下来，我们开发了一个合成模型与音高和持续时间预测，可以有效地重建语音信号从其分解表示。我们的框架允许可控和扬声器自适应合成，以执行zero-shot任何到任何语音转换，实现最先进的结果的度量评估扬声器的相似性，可理解性和自然性。对于目标说话者，仅使用10秒的数据，我们的框架就可以执行语音交换，并实现了5.5%的说话者验证EER，对于看不见的说话者，EER为8.4%。
2023-02-16 cs.LG cs.SD eess.AS
Assem-VC: Realistic Voice Conversion by Assembling Modern Speech Synthesis Techniques
MINDsLab Inc.（MINDsLab公司）；Seoul National University（首尔国立大学）
最近关于语音转换（VC）的工作重点是保留节奏和语调以及语言内容。为了从源代码中保留这些功能，我们将当前的非并行VC系统分解为两个编码器和一个解码器。我们分析了每个模块的几个实验和重新组装的最佳组件，提出汇编VC，一个新的国家的最先进的任何对许多非并行VC系统。我们还研究了PPG和Cotatron功能是依赖于说话者的，并试图通过对抗训练来消除说话者身份。代码和音频示例可在https://github.com/mindslab-ai/assem-vc上获得。
2021-10-11 cs.LG cs.SD eess.AS
Spatial Voice Conversion: Voice Conversion Preserving Spatial Information and Non-target Signals
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
本文提出空间语音转换任务，旨在转换目标语音时保留空间信息与非目标信号，通过整合盲源分离、语音转换和空间混合处理多通道波形，为未来研究提供基准。
2024-06-25 cs.SD eess.AS
StreamVC: Real-Time Low-Latency Voice Conversion
Google LLC（谷歌有限责任公司）
提出流式语音转换方案 StreamVC，利用 SoundStream 架构实现移动端低延迟高质量合成，通过因果学习软语音单元和白化基频信息提升音高稳定性且不泄露源音色。
2024-01-05 cs.LG cs.SD eess.AS
An Adaptive Learning based Generative Adversarial Network for One-To-One Voice Conversion
National Institute of Technology Durgapur（杜尔加布尔国立理工学院）；Indian Statistical Institute（印度统计研究所）
近年来，语音转换（VC）由于其在语音辅助技术、自动电影配音和语音到歌唱转换（仅举几例）中的新兴应用而成为语音合成领域中的重要研究领域。语音转换基本上是在保持语言内容不变的情况下，将说话人的语音风格转换为说话人的语音风格。VC任务通过由语音分析、语音特征映射和语音重构组成的三级流水线来执行。生成对抗网络（GAN）模型是目前广泛使用的语音特征映射模型。在本文中，我们提出了一个自适应学习为基础的GAN模型称为ALGAN-VC的一个有效的一对一VC的发言人。我们的ALGAN-VC框架包括一些方法来提高语音质量和语音相似性之间的源和目标扬声器。该模型采用了一个密集的残差网络（DRN）类似的架构，以有效的语音特征学习的生成器网络，源到目标语音特征转换。我们还集成了自适应学习机制来计算所提出的模型的损失函数。此外，我们使用一个提升的学习率的方法，以提高所提出的模型的学习能力。该模型通过同时使用正向和反向映射来训练一对一VC。该模型在语音转换挑战（VCC）2016年，2018年和2020年数据集以及我们自己准备的语音数据集上进行了测试，该数据集已用印度地区语言和英语记录。生成的语音样本的主观和客观评价表明，该模型优雅地执行语音转换任务，实现高的说话人相似性和足够的语音质量。
2021-04-25 cs.LG cs.SD eess.AS
Singing voice conversion with non-parallel data
Snap Research, Snap Inc.（Snap公司Snap研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
演唱声音转换是将源歌手演唱的歌曲转换为目标歌手的声音的任务。在本文中，我们提出了使用并行数据自由，多对一的声音转换技术的歌声。首先通过鲁棒的自动语音识别引擎（ASR）解码歌声来生成语音后验特征。然后，使用具有深度双向长短期记忆（DBLSTM）结构的训练的递归神经网络（RNN）来对从与人无关的内容到目标人的声学特征的映射进行建模。通过原始演唱声提取F0和非周期性特征，结合声学特征，通过声码器重构出目标演唱声。在所获得的歌声中，目标歌手和源歌手听起来相似。据我们所知，这是第一个研究，使用非并行数据训练歌唱声音转换系统。主观评价表明，该方法有效地转换歌声。
2019-03-11 cs.LG cs.SD eess.AS
FreeVC: Towards High-Quality Text-Free One-Shot Voice Conversion
Wuhan University（武汉大学）
语音转换（VC）可以通过首先提取源内容信息和目标说话人信息，然后利用这些信息重构波形来实现。然而，目前的方法通常要么提取肮脏的内容信息与说话人信息泄漏，或需要大量的注释数据进行训练。此外，转换模型与声码器之间的不匹配也会降低重构波形的质量。在本文中，我们采用了端到端的框架，高品质的波形重建的VITS，并提出了清洁的内容信息抽取没有文本注释的策略。我们通过对WavLM特征施加信息瓶颈来解开内容信息，并提出基于频谱图调整大小的数据增强来提高提取的内容信息的纯度。实验结果表明，该方法优于最新的VC模型训练的注释数据，并具有更大的鲁棒性。
2022-10-27 cs.LG cs.SD eess.AS
Towards end-to-end F0 voice conversion based on Dual-GAN with convolutional wavelet kernels
IRCAM（声学/音乐研究与协作研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文提出了一个端到端的框架F0转换的表达语音转换的上下文中。提出了一个单一的神经网络，其中第一个模块用于学习不同时间尺度上的F0表示，第二个对抗模块用于学习从一种情感到另一种情感的转换。第一个模块由具有小波核的卷积层组成，使得可以有效地编码F0变化的各种时间尺度。单个分解/变换网络允许直接从原始F0信号以端到端的方式学习相对于变换最优的F0分解。
2021-04-15 cs.LG cs.SD eess.AS
FastVC: Fast Voice Conversion with non-parallel data
Logitech Europe S.A.（罗技欧洲公司）
本文介绍了FastVC，一个端到端的快速语音转换（VC）模型。该模型可以将任意长度的语音从多个源说话人转换为多个目标说话人。FastVC基于在非并行数据上训练的条件自动编码器（AE），并且根本不需要注释。该模型的潜在表示被证明是说话人独立的，类似于音素，这是VC系统的一个理想的功能。虽然目前的VC系统主要集中在实现最高的整体语音质量，本文试图平衡的发展所需的资源来运行系统。尽管所提出的模型结构简单，但在自然性方面，它在跨语言任务上的表现优于VC Challenge 2020基线。
2020-10-08 cs.LG cs.SD eess.AS
Hierarchical Sequence to Sequence Voice Conversion with Limited Data
Ford Greenfield Labs（福特格林菲尔德实验室）
我们提出了一个语音转换解决方案，使用递归序列到序列建模DNN。我们的解决方案利用了神经机器翻译（NMT），文本到语音（TTS）和自动语音识别（ASR）领域中基于注意力建模的最新进展。问题在于当{ \it $<$源、目标$>$ }音频对可用时，在并行设置中的语音之间进行转换。我们的seq 2seq架构利用分层编码器来汇总输入音频帧。在解码器端，我们使用的注意力为基础的架构在最近的TTS作品。由于缺乏训练DNN所需的大型多说话者语音转换数据库，我们采用大型单说话者数据集作为自动编码器来训练网络。然后，这适用于可用于语音转换的较小的多说话者语音转换数据集。与其他使用$F_0$，持续时间和语言特征的语音转换作品相比，我们的系统使用梅尔频谱图作为音频表示。输出梅尔帧转换回音频使用波网声码器。
2019-07-15 cs.LG cs.SD eess.AS
Streaming non-autoregressive model for any-to-many voice conversion
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音转换模型已经发展了几十年，目前主流的研究主要集中在非流式语音转换。但是，流式语音转换比非流式语音转换更适合实际应用场景。本文提出了一种基于完全非自回归模型的流任意到多语音转换方法，该方法包括基于流Transformer的声学模型和流声码器。基于流式Transformer的声学模型由基于流式端到端自动语音识别模型的预训练编码器和基于FastSpeech块修改的解码器组成。流声码器采用伪正交镜像滤波器组和因果卷积技术，实现了流声码器的设计。实验结果表明，该方法在延迟和转换质量方面都取得了显著的性能，并且可以在CPU和GPU上实现实时性。
2022-06-15 cs.SD eess.AS
Face-Driven Zero-Shot Voice Conversion with Memory-based Face-Voice Alignment
University of Science and Technology of China（中国科学技术大学）
本文提出基于单张人脸图像的零样本语音转换任务，并设计基于记忆的人脸-语音对齐模块与混合监督策略，通过知识迁移和系统评估验证了方法的有效性。
2023-09-18 cs.LG cs.MM cs.SD
An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning
Singapore University of Technology and Design（新加坡科技设计大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；National University of Singapore（新加坡国立大学）
说话人身份是人类言语的重要特征之一。在语音转换中，我们将说话者身份从一个转换为另一个，同时保持语言内容不变。语音转换涉及多种语音处理技术，例如语音分析、频谱转换、韵律转换、说话人特征化和声码。随着理论和实践的发展，我们现在能够产生具有高说话人相似度的人一样的语音质量。在本文中，我们全面概述了最先进的语音转换技术及其性能评估方法，从统计方法到深度学习，并讨论了它们的前景和局限性。我们还将报告最近的语音转换挑战（VCC），当前技术状态的性能，并提供语音转换研究可用资源的摘要。
2020-11-17 cs.SD eess.AS
AC-VC: Non-parallel Low Latency Phonetic Posteriorgrams Based Voice Conversion
Logitech Europe S.A.（罗技欧洲公司）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
本文介绍了一种基于语音后验图的语音转换系统AC-VC（Almost Causal Voice Conversion），该系统可以实现任意对多语音转换，同时具有57.5 ms的未来预测能力。整个系统由三个分别用非并行数据训练的神经网络组成。虽然目前大多数语音转换系统主要关注质量，而不考虑算法延迟，但这项工作详细说明了使用最少量的未来上下文设计方法，从而允许未来的实时实现。根据在这项工作中组织的主观听力测试，所提出的AC-VC系统在自然度方面与2020年语音转换挑战赛的非因果性ASR-TTS基线达到了等同，MOS为3.5。与此相反，结果表明，未来的上下文缺失会影响说话人的相似性。获得的相似度百分比为65%，低于当前最好的语音转换系统的相似度。
2021-11-12 cs.SD eess.AS
DGC-vector: A new speaker embedding for zero-shot voice conversion
Netease Games AI Lab（网易游戏AI实验室）
近年来，越来越多的zero-shot语音转换算法被提出。说话人嵌入作为zero-shot语音转换的基础部分，是提高转换语音的说话人相似度的关键。在本文中，我们研究了说话人嵌入对zero-shot语音转换性能的影响。为了在zero-shot语音转换中更好地表达目标说话人的特征，提高说话人相似度，本文提出了一种新的说话人表示方法。我们的方法结合了D-向量，全局风格令牌（GST）的说话人表示和辅助监督的优点。客观和主观评价结果表明，该方法在zero-shot语音转换上取得了较好的效果，与D-向量和基于GST的说话人嵌入相比，该方法显著提高了说话人相似度。
2022-03-18 cs.SD eess.AS
CVC: Contrastive Learning for Non-parallel Voice Conversion
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Shanghai Qi Zhi Institute（上海期智研究院）
基于循环一致生成对抗网络（CycleGAN）和变分自编码器（VAE）的模型近年来在非并行语音转换中得到了广泛的应用。然而，他们往往遭受困难的培训过程和不满意的结果。在本文中，我们提出了CVC，一种基于对比学习的对抗性语音转换方法。与以前的基于CycleGAN的方法相比，CVC只需要一个有效的单向GAN训练，利用对比学习的优势。当涉及到非并行的一对一语音转换时，CVC与CycleGAN和VAE不相上下或更好，同时有效地减少了训练时间。CVC在多对一语音转换方面进一步展示了卓越的性能，能够从看不见的扬声器进行转换。
2021-04-02 cs.SD eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab（腾讯人工智能实验室）
歌唱声音转换是指在保持歌唱内容不变的前提下，将源歌唱的音色转换为目标说话人的声音。然而，歌唱数据的目标说话人是更难以收集相比，正常的语音数据。在本文中，我们介绍了一个歌唱声转换算法，能够产生高品质的目标说话人的歌声，只用他/她的正常语音数据。首先，我们通过统一标准语音合成系统和歌唱合成系统中使用的特征，将语音和歌唱的训练和转换过程集成到一个框架中。此外，为了实现一次转换，本文还设计了一个说话人嵌入模块，利用语音和歌唱数据，在转换过程中提供目标说话人的识别信息。实验结果表明，所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的框架，建立一个语音转换（VC）系统的学习从文本到语音（TTS）合成系统，即TTS-VC迁移学习。首先，我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构，其中编码器提取强大的语言表示的文本，和解码器，条件下的目标说话人嵌入，需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实，并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中，编码器以语音代替文本作为输入，而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入，因此系统可以在非并行数据上进行训练，以进行任意到任意的语音转换。在语音转换训练过程中，我们分别提出了文本和语音到语音合成和语音转换网络。在运行时，语音转换网络使用自己的编码器-解码器架构。实验表明，该方法优于两个竞争的语音转换基线一致，即语音后验图和变分自动编码器的方法，在语音质量，自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
The IQIYI System for Voice Conversion Challenge 2020
IQIYI Inc.（爱奇艺公司）
本文介绍了用于语音转换2020的IQIYI语音转换系统（T24）。在比赛中，每个目标说话人有70个句子。我们已经建立了一个基于PPG的端到端语音转换系统。首先，ASR声学模型计算BN特征，其表示语音中的内容相关信息。然后通过改进的韵律tacotron模型计算Mel特征。最后，通过改进的LPCNet将Mel谱转换为wav。评测结果表明，该系统能够达到较好的语音转换效果。在使用16 k而不是24 k采样率音频的情况下，转换结果在自然度和相似性方面相对较好。其中，我们最好的结果是在任务2的相似性评价，第2次在基于ASV的客观评价和第5次在主观评价。
2020-10-29 cs.SD eess.AS
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
我们提出了一种新的训练方案，优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失，而且说话人身份损失。我们引入了一个周期的一致性损失，限制转换后的语音，以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络，但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明，该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型，实现轻量级流式零样本有声与耳语语音转换，并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
The Academia Sinica Systems of Voice Conversion for VCC2020
The Academia Sinica（中央研究院）
本文介绍了中央研究院为2020年语音转换挑战赛的两个任务所设计的系统，即同一语言内的语音转换（任务1）和跨语言语音转换（任务2）。对于这两个任务，我们遵循级联ASR+TTS结构，使用语音标记作为TTS输入，而不是文本或字符。对于任务1，我们使用国际音标（IPA）作为TTS模型的输入。对于任务2，我们使用由矢量量化变分自动编码器（VQVAE）提取的无监督语音符号。在评估中，听力测试表明我们的系统在VCC 2020挑战赛中表现良好。
2020-10-06 cs.SD eess.AS
DualVC: Dual-mode Voice Conversion using Intra-model Knowledge Distillation and Hybrid Predictive Coding
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）；Shanghai Jiao Tong University（上海交通大学）
DualVC提出一种双模式语音转换方法，通过模型内知识蒸馏、混合预测编码和数据增强解决流式转换中因缺失未来信息导致的性能下降问题，在仅252.8毫秒延迟下达到与非流式顶级系统相当的性能。
2023-05-31 cs.SD eess.AS
How Far Are We from Robust Voice Conversion: A Survey
College of Electrical Engineering（电气工程学院）；Computer Science, National Taiwan University, Taiwan（台湾大学计算机科学系）
近年来，在深度学习的帮助下，语音转换技术得到了很大的改进，但它们在不同条件下产生自然发声的能力仍然不清楚。本文对已知VC模型的鲁棒性进行了深入的研究。我们还修改了这些模型，例如更换扬声器嵌入，以进一步提高其性能。我们发现采样率和音频持续时间对语音转换有很大的影响。所有的VC模型都受到不可见数据的影响，但AdaIN-VC相对更健壮。此外，联合训练的说话人嵌入比说话人识别训练的说话人嵌入更适合于语音转换。
2021-05-03 cs.SD eess.AS
Voice Conversion for Stuttered Speech, Instruments, Unseen Languages and Textually Described Voices
Stellenbosch University（斯泰伦博斯大学）
本研究探索kNN-VC语音转换模型在口吃、跨语言、乐器和文本描述声音等非标准任务上的表现，发现其在口吃和跨语言任务中保持高性能，但乐器转换效果不一，整体展示广泛适用性及分布外样本的局限。
2023-10-12 cs.CL cs.SD eess.AS
Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion
National Institute of Informatics（国立信息学研究所）；Nagoya University（名古屋大学）；National University of Singapore（新加坡国立大学）；University of Eastern Finland（东芬兰大学）；University of Science and Technology of China（中国科学技术大学）
语音转换挑战赛是一项每两年举办一次的科学活动，旨在比较和了解基于通用数据集构建的不同语音转换（VC）系统。2020年，我们组织了第三届挑战赛，并为两个任务构建和分发了一个新的数据库，即语言内半并行和跨语言VC。经过两个月的挑战期，我们收到了33份提交，包括3个基于数据库的基线。从众包听力测试的结果中，我们观察到，由于先进的深度学习方法，VC方法进展迅速。特别是，扬声器相似性分数的几个系统被证明是一样高的目标扬声器在语言内半并行VC任务。然而，我们证实，对于相同的任务，它们中没有一个达到人类水平的自然性。跨语言转换任务，正如预期的那样，是一个更困难的任务，和整体的自然度和相似性分数低于那些内语言转换任务。然而，我们观察到令人鼓舞的结果，最好的系统的MOS得分高于4.0。我们还展示了一些额外的分析结果，以帮助更好地理解跨语言VC。
2020-08-28 cs.SD eess.AS
Unsupervised Singing Voice Conversion
Facebook AI Research（脸书人工智能研究院）；Tel Aviv University（特拉维夫大学）
提出了一种基于深度学习的歌声转换方法。所提出的网络不以文本或音符为条件，它直接将一个歌手的音频转换为另一个歌手的声音。训练是在没有任何形式的监督的情况下进行的：没有歌词或任何类型的语音特征，没有音符，也没有歌手之间的匹配样本。所提出的网络采用一个单一的CNN编码器的所有歌手，一个单一的WaveNet解码器，和一个分类器，强制执行潜在的表示是歌手不可知的。每个歌手是由一个嵌入向量，解码器的conditionedon.In为了处理相对较小的datasets，我们提出了一个新的数据增强计划，以及新的训练损失和协议，是基于反向翻译。我们的评估提出的证据表明，转换产生的自然签署的声音是高度可识别的目标歌手。
2019-09-25 cs.LG cs.SD eess.AS
A Comparative Study of Voice Conversion Models with Large-Scale Speech and Singing Data: The T13 Systems for the Singing Voice Conversion Challenge 2023
Nagoya University（名古屋大学）；LINE Corp.（LINE公司）
本研究面向2023年歌唱语音转换挑战赛，提出基于扩散模型的任意到任意语音转换T13系统，先利用750小时大规模语音歌唱数据预训练再针对目标对象微调，在跨域任务中取得有竞争力的效果，验证了大数据对跨域SVC的增益。
2023-10-08 cs.CL cs.LG cs.SD
V2S attack: building DNN-based voice conversion from automatic speaker verification
The University of Tokyo（东京大学）；Nippon Telegraph and Telephone Corporation（日本电报电话公司）
本文提出了一种新的语音模仿攻击使用语音转换（VC）。为自动说话人验证（ASV）注册个人语音提供了自然和灵活的生物识别认证系统。基本上，ASV系统不包括用户的语音数据。然而，如果ASV系统意外地暴露并被恶意攻击者攻击，则存在攻击者将使用VC技术来再现注册用户的语音的风险。我们将其命名为“验证到合成（V2S）攻击”，并建议使用ASV和预训练的自动语音识别（ASR）模型进行VC训练，而不需要目标说话人的语音数据。VC模型通过欺骗ASV模型来再现目标说话人的个性，并通过匹配由ASR模型预测的语音后验图来恢复输入语音的语音属性。实验评估比较转换的声音之间的建议的方法，不使用目标扬声器的语音数据和标准的VC，使用的数据。实验结果表明，该方法的性能优于现有的VC方法，使用非常少量的并行语音数据进行训练。
2019-08-05 cs.CR cs.LG cs.SD
Neural Concatenative Singing Voice Conversion: Rethinking Concatenation-Based Approach for One-Shot Singing Voice Conversion
ARC Lab, Tencent PCG（腾讯PCG ARC实验室）
针对任意到任意歌声转换中的“音色泄漏”问题，提出NeuCoSVC框架，利用自监督学习特征替换和保留源音频谐波与响度实现一次性转换，有效解决音色泄漏并在多场景下优于传统解耦方法。
2024-01-08 cs.SD eess.AS
Enhancing Polyglot Voices by Leveraging Cross-Lingual Fine-Tuning in Any-to-One Voice Conversion
Università degli studi di Torino（都灵大学）；Cerence Inc（赛伦斯公司）
本文提出一种基于自监督学习的跨语言任意到一语音转换系统及微调策略，无需目标说话人多语言数据即可保留源口音，显著提升了多语言语音的可懂度与整体质量。
2024-09-25 cs.SD eess.AS
Towards Low-Resource StarGAN Voice Conversion using Weight Adaptive Instance Normalization
University of Sheffield（谢菲尔德大学）
近年来，具有非并行训练数据的多对多语音转换已经取得了显著的进展。基于StarGAN的模型一直是语音转换的研究热点。然而，大多数基于StarGAN的方法只针对说话人数量较少、训练数据量较大的情况进行语音转换实验。在这项工作中，我们的目标是提高模型的数据效率，并在训练样本有限的情况下，为相对大量的说话者实现多对多的非并行基于StarGAN的语音转换。为了提高数据效率，该模型使用说话人编码器提取说话人嵌入，并对卷积权重进行自适应实例归一化（AdaIN）。实验在两种低资源情况下进行，其中每个说话人的训练样本数分别为20和5。客观评价表明，该模型优于基线方法。此外，主观评价表明，无论是自然度和相似性，该模型优于基线方法。
2021-04-10 cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
在大多数实际应用中，广播系统必须在噪声环境中传递语音信息，而在这种环境中，背景噪声是无法消除的。本地噪声降低了语音的可懂度，增加了收听者的收听努力，从而影响了广播系统的有效性。有报道指出，在嘈杂的环境中，专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明，语音清晰度可能与专业播音员的说话风格有关，可以通过语音转换方法进行调整。基于这一思想，本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势，我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实，在低信噪比条件下，转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
Vocoder-free End-to-End Voice Conversion with Transformer Network
Kyungpook National University（庆北国立大学）
与原始频谱相比，基于梅尔频率滤波器组（MFB）的方法具有学习语音的优势，因为MFB具有较小的特征尺寸。然而，采用MFB方法的语音发生器需要额外的声码器，这需要大量的计算开销用于训练过程。额外的预/后处理，如MFB和声码器，对于将真实的人类语音转换为其他语音并不重要。可以仅使用原始频谱以及相位来生成具有清晰发音的不同风格的语音。在这方面，我们提出了一种快速有效的方法来转换现实的声音，使用原始频谱的并行方式。我们的基于transformer的模型架构没有任何CNN或RNN层，显示了快速学习的优势，解决了传统RNN顺序计算的局限性。本文介绍了一种利用Transformer网络实现无声码器端到端语音转换的方法。该转换模型也可用于语音识别的说话人自适应。我们的方法可以将源语音转换为目标语音，而无需使用MFB和声码器。通过将转换后的幅度与相位相乘，可以得到用于语音识别的自适应MFB。我们在TIDIGITS数据集上进行了语音转换实验，分别使用自然度，相似度和清晰度等指标与平均意见得分。
2020-02-05 cs.LG cs.SD eess.AS
A Unified Model For Voice and Accent Conversion In Speech and Singing using Self-Supervised Learning and Feature Extraction
BVRIT Hyderabad College of Engineering for Women（BVRIT海德拉巴女子工程学院）
本研究提出一种基于HuBERT编码器与HiFi-GAN解码器的统一嗓音转换模型，融合基频与歌手嵌入，可实现语音与歌唱的嗓音及口音转换，提升转换自然度与灵活性，适用于配音、内容创作等多场景。
2024-12-11 cs.LG cs.MM cs.SD
F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder
Adobe Research（Adobe研究院）
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。许多风格转移启发的方法，如生成对抗网络（GANs）和变分自编码器（VAE）已被提出。最近，AutoVC，一个条件自动编码器（CAE）为基础的方法取得了国家的最先进的成果，通过解开使用信息约束瓶颈的说话人身份和语音内容，它实现了zero-shot转换，通过交换在不同的说话人的身份嵌入合成一个新的声音。然而，我们发现，虽然说话人身份从语音内容中解脱出来，但大量的韵律信息，如源F0，通过瓶颈泄漏，导致目标F0不自然地波动。此外，AutoVC无法控制转换后的F0，因此不适用于许多应用。在本文中，我们修改和改进了基于自动编码器的语音转换，以同时解开内容，F0和说话人身份。因此，我们可以控制F0轮廓，生成与目标说话人F0一致的语音，并显着提高质量和相似度。我们通过定量和定性分析来支持我们的改进。
2020-04-15 cs.LG cs.SD eess.AS
