StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion
Columbia University(哥伦比亚大学)
我们提出了一种无监督的非并行多对多语音转换(VC)方法,使用生成对抗网络(GAN)称为StarGAN v2。使用对抗源分类器损失和感知损失的组合,我们的模型显着优于以前的VC模型。虽然我们的模型只训练了20名英语使用者,但它可以推广到各种语音转换任务,例如任意到多个,跨语言和唱歌转换。使用风格编码器,我们的框架还可以将普通阅读语音转换为风格语音,如情感语音和假声语音。主观和客观的评价实验的非并行多对多语音转换任务显示,我们的模型产生自然的声音,接近最先进的文本到语音(TTS)的语音转换方法,而不需要文本标签的声音质量。此外,我们的模型是完全卷积的,并且具有比实时更快的声码器,如并行WaveGAN,可以执行实时语音转换。
2021-07-23 cs.LG cs.SD eess.AS
Beyond Voice Identity Conversion: Manipulating Voice Attributes by Adversarial Learning of Structured Disentangled Representations
Ircam(法国声学/音乐研究与协调研究所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
语音转换(VC)包括数字化改变个人的声音,以操纵其部分内容,主要是其身份,同时保持其余不变。神经VC的研究已经取得了相当大的突破,能够使用少量数据以高度逼真的渲染来伪造语音身份。本文超越了语音身份,并提出了一种神经架构,允许操纵语音属性(例如,性别和年龄)。利用结构化语音表示的对抗学习的最新进展,提出了一种新的结构化神经网络,其中多个自动编码器用于将语音编码为一组理想独立的语言和语言外表示,这些表示是对抗学习的,并且可以在VC期间进行操作。此外,所提出的架构是时间同步的,以便在转换过程中保留原始语音时序,从而允许唇同步应用。应用于真实世界的VCTK数据集上的语音性别转换,我们提出的架构可以成功地学习性别无关的表示,并转换语音性别具有非常高的效率和自然。
2021-07-27 cs.LG cs.SD eess.AS
Unsupervised Singing Voice Conversion
Facebook AI Research(脸书人工智能研究院);Tel Aviv University(特拉维夫大学)
提出了一种基于深度学习的歌声转换方法。所提出的网络不以文本或音符为条件,它直接将一个歌手的音频转换为另一个歌手的声音。训练是在没有任何形式的监督的情况下进行的:没有歌词或任何类型的语音特征,没有音符,也没有歌手之间的匹配样本。所提出的网络采用一个单一的CNN编码器的所有歌手,一个单一的WaveNet解码器,和一个分类器,强制执行潜在的表示是歌手不可知的。每个歌手是由一个嵌入向量,解码器的conditionedon.In为了处理相对较小的datasets,我们提出了一个新的数据增强计划,以及新的训练损失和协议,是基于反向翻译。我们的评估提出的证据表明,转换产生的自然签署的声音是高度可识别的目标歌手。
2019-09-25 cs.LG cs.SD eess.AS
HiFi-VC: High Quality ASR-Based Voice Conversion
Tinkoff(Tinkoff银行)
语音转换(VC)的目标是将输入语音转换为与目标说话人的语音相匹配,同时保持文本和韵律完整。VC通常用于娱乐和语音辅助系统,以及用于语音数据生成和增强。任何对任何VC系统的开发,能够在模型训练期间生成不可见的声音,对研究人员和行业都特别感兴趣。尽管最近取得了进展,但任何到任何转换的质量仍然不如自然语音。在这项工作中,我们提出了一个新的任意到任意的语音转换管道。我们的方法使用自动语音识别(ASR)功能,音高跟踪,和一个国家的最先进的波形预测模型。根据多个主观和客观的评价,我们的方法优于现代基线的语音质量,相似性和一致性。
2022-03-31 cs.LG cs.SD eess.AS
FasterVoiceGrad: Faster One-step Diffusion-Based Voice Conversion with Adversarial Diffusion Conversion Distillation
NTT, Inc.(日本NTT公司)
针对现有扩散语音转换模型转换慢或依赖计算密集型内容编码器的问题,提出FasterVoiceGrad,通过对抗扩散转换蒸馏同时蒸馏扩散模型和内容编码器,在保持竞争力性能的同时,GPU和CPU速度分别提升6.6-6.9倍和1.8倍。
2025-08-25 cs.AI cs.LG cs.SD
CycleGAN Voice Conversion of Spectral Envelopes using Adversarial Weights
IRCAM(声学/音乐协调研究所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本文在语音转换的背景下处理GAN优化和稳定性问题。首先,为了简化转换任务,我们建议使用频谱包络作为输入。其次,我们提出了两种对抗性的权重训练范式,广义加权GAN和生成器影响GAN,都旨在减少生成器对训练的影响,因此两者都可以在训练过程中更渐进,更有效地学习。将能量约束应用于cycleGAN范例大大提高了转换质量。在语音转换挑战2018数据集上对语音转换任务进行的主观实验表明,首先,尽管网络复杂性显着降低,但所提出的方法实现了最先进的结果,其次,所提出的加权GAN方法优于先前提出的方法。
2020-07-11 cs.LG cs.SD eess.AS
Vocoder-free End-to-End Voice Conversion with Transformer Network
Kyungpook National University(庆北国立大学)
与原始频谱相比,基于梅尔频率滤波器组(MFB)的方法具有学习语音的优势,因为MFB具有较小的特征尺寸。然而,采用MFB方法的语音发生器需要额外的声码器,这需要大量的计算开销用于训练过程。额外的预/后处理,如MFB和声码器,对于将真实的人类语音转换为其他语音并不重要。可以仅使用原始频谱以及相位来生成具有清晰发音的不同风格的语音。在这方面,我们提出了一种快速有效的方法来转换现实的声音,使用原始频谱的并行方式。我们的基于transformer的模型架构没有任何CNN或RNN层,显示了快速学习的优势,解决了传统RNN顺序计算的局限性。本文介绍了一种利用Transformer网络实现无声码器端到端语音转换的方法。该转换模型也可用于语音识别的说话人自适应。我们的方法可以将源语音转换为目标语音,而无需使用MFB和声码器。通过将转换后的幅度与相位相乘,可以得到用于语音识别的自适应MFB。我们在TIDIGITS数据集上进行了语音转换实验,分别使用自然度,相似度和清晰度等指标与平均意见得分。
2020-02-05 cs.LG cs.SD eess.AS
F0-consistent many-to-many non-parallel voice conversion via conditional autoencoder
Adobe Research(Adobe研究院)
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。许多风格转移启发的方法,如生成对抗网络(GANs)和变分自编码器(VAE)已被提出。最近,AutoVC,一个条件自动编码器(CAE)为基础的方法取得了国家的最先进的成果,通过解开使用信息约束瓶颈的说话人身份和语音内容,它实现了zero-shot转换,通过交换在不同的说话人的身份嵌入合成一个新的声音。然而,我们发现,虽然说话人身份从语音内容中解脱出来,但大量的韵律信息,如源F0,通过瓶颈泄漏,导致目标F0不自然地波动。此外,AutoVC无法控制转换后的F0,因此不适用于许多应用。在本文中,我们修改和改进了基于自动编码器的语音转换,以同时解开内容,F0和说话人身份。因此,我们可以控制F0轮廓,生成与目标说话人F0一致的语音,并显着提高质量和相似度。我们通过定量和定性分析来支持我们的改进。
2020-04-15 cs.LG cs.SD eess.AS
One-shot Voice Conversion by Separating Speaker and Content Representations with Instance Normalization
National Taiwan University(台湾大学)
最近,没有并行数据的语音转换(VC)已经成功地适应多目标场景,其中单个模型被训练成将输入语音转换为多个不同的说话人。然而,这种模型的局限性在于它只能将语音转换为训练数据中的说话人,这缩小了VC的适用场景。在本文中,我们提出了一种新的一次性VC方法,能够执行VC只有一个例子发言,分别从源和目标说话人,和源和目标说话人甚至不需要看到在训练过程中。这是通过使用实例规范化(IN)来解开扬声器和内容表示来实现的。客观和主观评价表明,我们的模型是能够产生类似的目标说话人的声音。除了性能测量之外,我们还证明了该模型能够在没有任何监督的情况下学习有意义的说话人表示。
2019-08-22 cs.LG cs.SD eess.AS
Spatial Voice Conversion: Voice Conversion Preserving Spatial Information and Non-target Signals
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
本文提出空间语音转换任务,旨在转换目标语音时保留空间信息与非目标信号,通过整合盲源分离、语音转换和空间混合处理多通道波形,为未来研究提供基准。
2024-06-25 cs.SD eess.AS
Voice Conversion with Conditional SampleRNN
Dolby Laboratories(杜比实验室)
在这里,我们提出了一种新的方法来调节语音转换(VC)的SampleRNN生成模型。VC的传统方法通过在源和目标声学特征之间转换来修改感知的说话者身份。我们的方法侧重于保留语音内容,并依赖于生成网络来学习语音风格。我们首先训练一个多扬声器SampleRNN模型的语言特征,音高轮廓,和扬声器身份使用多扬声器语音语料库的条件。利用从源说话人中提取的语言特征和音高轮廓以及目标说话人身份生成语音转换语音。我们证明,我们的系统是能够多对多的语音转换,而不需要并行数据,使广泛的应用。主观评价表明,我们的方法优于传统的VC方法。
2018-08-24 cs.LG cs.SD eess.AS
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum(博洛尼亚大学)
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而,对于现实世界的应用程序,并行数据很少可用。我们提出了MelGAN-VC,一种语音转换方法,依赖于非并行语音数据,能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图,然后使用生成对抗网络(GAN)架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息,而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集,以及与嘈杂的现实世界的语音例子的集合。最后,我们采用相同的方法来执行音乐风格的转移,翻译任意长的音乐样本从一个流派到另一个,并表明我们的框架是灵活的,可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
Voice Conversion for Stuttered Speech, Instruments, Unseen Languages and Textually Described Voices
Stellenbosch University(斯泰伦博斯大学)
本研究探索kNN-VC语音转换模型在口吃、跨语言、乐器和文本描述声音等非标准任务上的表现,发现其在口吃和跨语言任务中保持高性能,但乐器转换效果不一,整体展示广泛适用性及分布外样本的局限。
2023-10-12 cs.CL cs.SD eess.AS
Voice Conversion with Diverse Intonation using Conditional Variational Auto-Encoder
Seoul National University(首尔大学);Kakao Brain
针对传统语音转换模型仅能生成单一结果的局限,提出基于条件变分自动编码器(CVAE)结合逆自回归流(IAF)的方法,实现语调多样且音质更优的语音转换。
2025-04-16 cs.LG cs.SD eess.AS
Toward Degradation-Robust Voice Conversion
National Taiwan University(台湾大学)
任何到任何语音转换技术将话语的音色转换为任何扬声器,即使在训练期间看不见。虽然已经有几种最先进的任意语音转换模型,但它们都是基于干净的话语来成功转换的。然而,在现实世界的场景中,很难收集说话者的干净话语,并且它们通常被噪声或混响降级。因此,非常需要了解这些退化如何影响语音转换并建立退化鲁棒模型。我们在本文中报告的第一个全面的研究退化鲁棒性的任何到任何语音转换。我们发现,性能的国家的最先进的模型,现在受到严重阻碍,退化的话语。为此,我们提出了语音增强级联和去噪训练,以提高鲁棒性。除了常见的退化之外,我们还考虑了对抗性噪声,这些噪声会显著改变模型输出,但人类无法感知。实验结果表明,与现有语音增强模型的级联和对语音转换模型的去噪训练都能提高鲁棒性,但各有优缺点。
2022-04-29 cs.LG cs.SD eess.AS
Many-to-Many Voice Conversion based Feature Disentanglement using Variational Autoencoder
Vinai Research(维奈研究院);Deezer Research and Development(迪泽研发中心)
语音转换是一项具有挑战性的任务,它将源说话人的语音特征转换为目标说话人,而不改变语言内容。近年来,基于变分自编码器(VAE)的多对多语音转换(VC)取得了很好的效果,但这些方法缺乏区分说话人身份和语言内容的能力,无法在说话人不存在的情况下取得良好的性能。本文提出了一种基于特征分解的多对多语音转换方法。该方法具有从话语中分离出说话人身份和语言内容的能力,它可以通过单个自编码器网络从多个源说话人转换为多个目标说话人。此外,它自然地处理看不见的目标说话者场景。我们进行客观和主观的评价,以显示我们提出的方法与其他国家的最先进的模型相比,在自然度和目标说话人相似性的竞争力表现。
2021-07-11 cs.LG cs.SD eess.AS
Face-Driven Zero-Shot Voice Conversion with Memory-based Face-Voice Alignment
University of Science and Technology of China(中国科学技术大学)
本文提出基于单张人脸图像的零样本语音转换任务,并设计基于记忆的人脸-语音对齐模块与混合监督策略,通过知识迁移和系统评估验证了方法的有效性。
2023-09-18 cs.LG cs.MM cs.SD
Streaming non-autoregressive model for any-to-many voice conversion
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
语音转换模型已经发展了几十年,目前主流的研究主要集中在非流式语音转换。但是,流式语音转换比非流式语音转换更适合实际应用场景。本文提出了一种基于完全非自回归模型的流任意到多语音转换方法,该方法包括基于流Transformer的声学模型和流声码器。基于流式Transformer的声学模型由基于流式端到端自动语音识别模型的预训练编码器和基于FastSpeech块修改的解码器组成。流声码器采用伪正交镜像滤波器组和因果卷积技术,实现了流声码器的设计。实验结果表明,该方法在延迟和转换质量方面都取得了显著的性能,并且可以在CPU和GPU上实现实时性。
2022-06-15 cs.SD eess.AS
An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning
Singapore University of Technology and Design(新加坡科技设计大学);National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学);National University of Singapore(新加坡国立大学)
说话人身份是人类言语的重要特征之一。在语音转换中,我们将说话者身份从一个转换为另一个,同时保持语言内容不变。语音转换涉及多种语音处理技术,例如语音分析、频谱转换、韵律转换、说话人特征化和声码。随着理论和实践的发展,我们现在能够产生具有高说话人相似度的人一样的语音质量。在本文中,我们全面概述了最先进的语音转换技术及其性能评估方法,从统计方法到深度学习,并讨论了它们的前景和局限性。我们还将报告最近的语音转换挑战(VCC),当前技术状态的性能,并提供语音转换研究可用资源的摘要。
2020-11-17 cs.SD eess.AS
AC-VC: Non-parallel Low Latency Phonetic Posteriorgrams Based Voice Conversion
Logitech Europe S.A.(罗技欧洲公司);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
本文介绍了一种基于语音后验图的语音转换系统AC-VC(Almost Causal Voice Conversion),该系统可以实现任意对多语音转换,同时具有57.5 ms的未来预测能力。整个系统由三个分别用非并行数据训练的神经网络组成。虽然目前大多数语音转换系统主要关注质量,而不考虑算法延迟,但这项工作详细说明了使用最少量的未来上下文设计方法,从而允许未来的实时实现。根据在这项工作中组织的主观听力测试,所提出的AC-VC系统在自然度方面与2020年语音转换挑战赛的非因果性ASR-TTS基线达到了等同,MOS为3.5。与此相反,结果表明,未来的上下文缺失会影响说话人的相似性。获得的相似度百分比为65%,低于当前最好的语音转换系统的相似度。
2021-11-12 cs.SD eess.AS
A Comparative Study of Voice Conversion Models with Large-Scale Speech and Singing Data: The T13 Systems for the Singing Voice Conversion Challenge 2023
Nagoya University(名古屋大学);LINE Corp.(LINE公司)
本研究面向2023年歌唱语音转换挑战赛,提出基于扩散模型的任意到任意语音转换T13系统,先利用750小时大规模语音歌唱数据预训练再针对目标对象微调,在跨域任务中取得有竞争力的效果,验证了大数据对跨域SVC的增益。
2023-10-08 cs.CL cs.LG cs.SD
Hierarchical disentangled representation learning for singing voice conversion
Sony(索尼)
由于数据的高维性,传统的歌唱声转换(SVC)方法通常在高分辨率音频中操作。在本文中,我们提出了一个分层的表示学习,使独立的多分辨率的解纠缠表示的学习。利用学习到的解纠缠表示,所提出的方法从低到高分辨率逐步执行SVC。实验结果表明,所提出的方法优于基线操作与一个单一的分辨率方面的平均意见得分(MOS),相似性得分,和音高准确性。
2021-04-26 cs.LG cs.SD eess.AS
DGC-vector: A new speaker embedding for zero-shot voice conversion
Netease Games AI Lab(网易游戏AI实验室)
近年来,越来越多的zero-shot语音转换算法被提出。说话人嵌入作为zero-shot语音转换的基础部分,是提高转换语音的说话人相似度的关键。在本文中,我们研究了说话人嵌入对zero-shot语音转换性能的影响。为了在zero-shot语音转换中更好地表达目标说话人的特征,提高说话人相似度,本文提出了一种新的说话人表示方法。我们的方法结合了D-向量,全局风格令牌(GST)的说话人表示和辅助监督的优点。客观和主观评价结果表明,该方法在zero-shot语音转换上取得了较好的效果,与D-向量和基于GST的说话人嵌入相比,该方法显著提高了说话人相似度。
2022-03-18 cs.SD eess.AS
NoiseVC: Towards High Quality Zero-Shot Voice Conversion
University of St.Gallen(圣加仑大学)
语音转换(VC)是将语音从目标音频转换为源音频而不丢失语言内容的任务,特别是当源和目标说话人在训练期间不可见(zero-shot VC)时,它是具有挑战性的。以前的方法需要预先训练的模型或语言数据来进行zero-shot转换。同时,具有矢量量化(VQ)或实例归一化(IN)的VC模型能够从音频中分离内容并实现成功的转换。然而,这些模型中的解纠缠高度依赖于严重受限的瓶颈层,因此,声音质量被大大牺牲。在本文中,我们提出了NoiseVC,一种可以基于VQ和对比预测编码(CPC)来解开内容的方法。此外,执行噪声增强以进一步增强解纠缠能力。我们进行了几个实验,并证明了NoiseVC具有很强的解纠缠能力与一个小的牺牲的质量。
2021-04-13 cs.LG cs.SD eess.AS
Zero-shot Voice Conversion with Diffusion Transformers
Nanyang Technological University(南洋理工大学)
提出Seed-VC框架,通过引入外部音色转换器和扩散Transformer解决零样本语音转换中的音色泄露等问题,在语音和歌唱转换任务中均取得优异性能。
2024-11-15 cs.LG cs.SD eess.AS
CVC: Contrastive Learning for Non-parallel Voice Conversion
Tsinghua University(清华大学);Zhejiang University(浙江大学);Shanghai Qi Zhi Institute(上海期智研究院)
基于循环一致生成对抗网络(CycleGAN)和变分自编码器(VAE)的模型近年来在非并行语音转换中得到了广泛的应用。然而,他们往往遭受困难的培训过程和不满意的结果。在本文中,我们提出了CVC,一种基于对比学习的对抗性语音转换方法。与以前的基于CycleGAN的方法相比,CVC只需要一个有效的单向GAN训练,利用对比学习的优势。当涉及到非并行的一对一语音转换时,CVC与CycleGAN和VAE不相上下或更好,同时有效地减少了训练时间。CVC在多对一语音转换方面进一步展示了卓越的性能,能够从看不见的扬声器进行转换。
2021-04-02 cs.SD eess.AS
Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion
Red Pill Lab(红丸实验室)
跨语言语音转换(VC)是指在源语和目标语使用不同语言的情况下,合成具有相同内容的目标语语音。它的挑战在于源数据和目标数据自然是非并行的,甚至很难在没有transmittance的情况下弥合语言之间的差距。在本文中,我们专注于知识转移从单语言ASR跨语言VC,以解决内容不匹配的问题。为了实现这一点,我们首先训练源语言的单语声学模型,使用它来提取VC数据集中所有语音的语音特征,然后训练Seq 2Seq转换模型来预测mel-声谱图。我们成功地解决了跨语言VC没有任何转录或特定语言的知识,为外国演讲。我们在Voice Conversion Challenge 2020数据集上进行了实验,结果表明,我们的说话者相关转换模型优于zero-shot基线,在跨语言转换的语音质量和说话者相似性方面实现了3.83和3.54的MOS。与Cascade ASR-TTS方法相比,我们提出的方法显著降低了跨语言转换和跨语言转换之间的MOS下降。
2020-09-30 cs.LG cs.SD eess.AS
The NU Voice Conversion System for the Voice Conversion Challenge 2020: On the Effectiveness of Sequence-to-sequence Models and Autoregressive Neural Vocoders
Nagoya University(名古屋大学)
在本文中,我们介绍了名古屋大学(NU)为2020年语音转换挑战赛(VCC 2020)开发的语音转换(VC)系统。我们的目标是确定VC中最近两种重要技术的有效性:序列到序列(seq 2seq)模型和自回归(AR)神经声码器。针对挑战中的两个任务开发了两个相应的系统:对于任务1,我们采用了语音Transformer网络,这是一种基于transformer的seq 2seq VC模型,并使用合成并行数据对其进行扩展以处理非并行数据;对于任务2,我们使用基于帧的循环变分自编码器(CycleVAE)来模拟语音波形的频谱特征,并使用AR WaveNet声码器进行额外的微调。通过与基线系统的比较,我们证实了seq 2seq建模可以提高转换的相似性,并且使用AR声码器可以提高转换语音的自然度。
2020-10-09 cs.CL cs.SD eess.AS
Taco-VC: A Single Speaker Tacotron based Voice Conversion with Limited Data
Tel Aviv University(特拉维夫大学)
本文介绍了一种基于Tacotron合成器的语音转换架构Taco-VC,它是一种带注意力的序列到序列模型。多说话人语音转换系统的训练需要大量的资源,无论是训练资源还是语料库规模。Taco-VC使用基于语音后验图(PPG)的单扬声器Tacotron合成器和基于梅尔频谱图的单扬声器WaveNet声码器来实现。为了提高转换后的语音质量,并克服过平滑,Tacotron的输出通过一个新的语音增强网络,它是由音素识别和Tacotron网络的组合。我们的系统只使用单个说话人语料库进行训练,并且只使用几分钟的训练数据就能适应新的说话人。使用中等大小的公共数据集,我们的方法在VCC 2018 SPOKE非并行语音转换任务中的表现优于基线,并且与在大型私有数据集上训练的多扬声器网络相比,取得了有竞争力的结果。
2020-06-19 cs.LG cs.SD eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab(腾讯人工智能实验室)
歌唱声音转换是指在保持歌唱内容不变的前提下,将源歌唱的音色转换为目标说话人的声音。然而,歌唱数据的目标说话人是更难以收集相比,正常的语音数据。在本文中,我们介绍了一个歌唱声转换算法,能够产生高品质的目标说话人的歌声,只用他/她的正常语音数据。首先,我们通过统一标准语音合成系统和歌唱合成系统中使用的特征,将语音和歌唱的训练和转换过程集成到一个框架中。此外,为了实现一次转换,本文还设计了一个说话人嵌入模块,利用语音和歌唱数据,在转换过程中提供目标说话人的识别信息。实验结果表明,所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
Phoneme Hallucinator: One-shot Voice Conversion via Set Expansion
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对语音转换中可懂度与说话人相似度难以兼得的问题,提出音素幻觉器,通过幻觉目标说话人音素并基于邻居转换,实现一次性、无文本、任意到任意的语音转换,在可懂度和相似度上均优于现有方法。
2023-12-30 cs.LG cs.SD eess.AS
DisC-VC: Disentangled and F0-Controllable Neural Voice Conversion
NTT Communication Science Laboratories(NTT通信科学实验室)
语音转换是一个任务,以转换一个给定的话语的非语言特征。由于语音的自然度强烈地依赖于其音高模式,因此在某些应用中,期望在改变说话者身份的同时保持原始的上升/下降音高模式。现有的一些方法通过使用源过滤器模型或开发将F0模式作为模型输入的神经网络来解决这个问题。虽然后一种方法可以实现相对较高的声音质量相比,前者,有没有考虑之间的差异的目标和生成的F0模式在其训练过程中。在本文中,我们提出了一种新的变分自动编码器为基础的语音转换模型伴随着一个辅助网络,它确保转换结果正确地反映指定的F0/音色信息。通过客观和主观的评价,我们证明了所提出的方法的有效性。
2022-10-20 cs.SD eess.AS stat.ML
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University(东南大学);National University of Singapore(新加坡国立大学)
本文提出了一种新的框架,建立一个语音转换(VC)系统的学习从文本到语音(TTS)合成系统,即TTS-VC迁移学习。首先,我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构,其中编码器提取强大的语言表示的文本,和解码器,条件下的目标说话人嵌入,需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实,并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中,编码器以语音代替文本作为输入,而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入,因此系统可以在非并行数据上进行训练,以进行任意到任意的语音转换。在语音转换训练过程中,我们分别提出了文本和语音到语音合成和语音转换网络。在运行时,语音转换网络使用自己的编码器-解码器架构。实验表明,该方法优于两个竞争的语音转换基线一致,即语音后验图和变分自动编码器的方法,在语音质量,自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
语音转换是指在保留话语内容的同时改变语音的音色。最近,许多工作集中在基于分离的学习技术,从语音信号中分离音色和语言内容信息。一旦成功,语音转换将是可行和直接的。提出了一种基于矢量量化语音转换(VQVC)和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中,以更有效地从语音中分离出内容和音色信息。实验结果表明,该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
The IQIYI System for Voice Conversion Challenge 2020
IQIYI Inc.(爱奇艺公司)
本文介绍了用于语音转换2020的IQIYI语音转换系统(T24)。在比赛中,每个目标说话人有70个句子。我们已经建立了一个基于PPG的端到端语音转换系统。首先,ASR声学模型计算BN特征,其表示语音中的内容相关信息。然后通过改进的韵律tacotron模型计算Mel特征。最后,通过改进的LPCNet将Mel谱转换为wav。评测结果表明,该系统能够达到较好的语音转换效果。在使用16 k而不是24 k采样率音频的情况下,转换结果在自然度和相似性方面相对较好。其中,我们最好的结果是在任务2的相似性评价,第2次在基于ASV的客观评价和第5次在主观评价。
2020-10-29 cs.SD eess.AS
Non-Parallel Voice Conversion for ASR Augmentation
Google(谷歌)
自动语音识别(ASR)需要对说话人差异具有鲁棒性。语音转换(VC)修改输入语音的说话人特征。这是ASR数据增强的一个有吸引力的特征。在本文中,我们证明了语音转换可以作为一种数据增强技术,以提高ASR性能,即使在LibriSpeech,其中包含2,456扬声器。对于ASR增强,需要VC模型对大范围的输入语音具有鲁棒性。这促使使用非自回归、非并行VC模型,以及在VC模型内使用预训练的ASR编码器。这项工作表明,尽管包括许多扬声器,扬声器的多样性可能仍然是一个限制ASR质量。最后,对我国风险投资绩效的调查为客观评价风险投资质量提供了有用的指标。
2022-09-15 cs.LG cs.SD eess.AS
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University(西北工业大学);National University of Singapore(新加坡国立大学)
我们提出了一种新的训练方案,优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失,而且说话人身份损失。我们引入了一个周期的一致性损失,限制转换后的语音,以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络,但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明,该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型,实现轻量级流式零样本有声与耳语语音转换,并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
Spectrum and Prosody Conversion for Cross-lingual Voice Conversion with CycleGAN
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
跨语言语音转换是指当源语者和目标语者使用不同的语言时,将源语者的语音转换为目标语者的语音。它依赖于来自两种不同语言的非并行训练数据,因此比单语言语音转换更具挑战性。以往的跨语言语音转换研究主要集中在频谱转换与线性变换的F0转移。然而,作为一个重要的韵律因素,F0是内在的层次性,因此,它是不够的,只是使用线性的方法进行转换。我们建议使用连续小波变换(CWT)分解的F0建模。CWT提供了一种将信号分解为不同时间尺度的方法,这些时间尺度可以在不同的时间分辨率下解释韵律。我们还建议训练两个CycleGAN管道分别用于频谱和韵律映射。通过这种方式,我们消除了对任何两种语言的并行数据和任何对齐技术的需要。实验结果表明,我们提出的Spectrum-Prosody-CycleGAN框架在主观评价方面优于Spectrum-CycleGAN基线。据我们所知,这是第一次研究韵律在跨语言语音转换。
2020-11-03 cs.CL cs.SD eess.AS
Robust One-Shot Singing Voice Conversion
针对失真歌声下未见过歌手的高质量歌声转换难题,提出基于生成对抗网络的鲁棒一次性SVC模型、两阶段Robustify训练法及分层扩散声码器,显著提升转换质量与抗失真鲁棒性。
2023-10-06 cs.LG cs.SD eess.AS
NVC-Net: End-to-End Adversarial Voice Conversion
Sony Europe B.V.(索尼欧洲公司)
在语音合成的许多应用中,语音转换越来越受欢迎。这个想法是改变语音身份从一个发言者到另一个,同时保持语言内容不变。许多语音转换方法依赖于使用声码器来从声学特征重构语音,因此,语音质量在很大程度上取决于这样的声码器。在本文中,我们提出了NVC-Net,这是一种端到端的对抗网络,它直接对任意长度的原始音频波形进行语音转换。通过从语音内容中分离出说话者身份,NVC-Net能够执行非并行的传统多对多语音转换以及从看不见的目标说话者的短话语中进行zero-shot语音转换。重要的是,NVC-Net是非自回归和完全卷积的,可以实现快速推理。我们的模型能够在NVIDIA V100 GPU上以超过3600 kHz的速率生成样本,在相同的硬件配置下比最先进的方法快几个数量级。非并行多对多语音转换任务的客观和主观评价表明,NVC-Net获得了具有竞争力的结果,具有显着更少的参数。
2021-06-02 cs.AI cs.SD eess.AS
The Academia Sinica Systems of Voice Conversion for VCC2020
The Academia Sinica(中央研究院)
本文介绍了中央研究院为2020年语音转换挑战赛的两个任务所设计的系统,即同一语言内的语音转换(任务1)和跨语言语音转换(任务2)。对于这两个任务,我们遵循级联ASR+TTS结构,使用语音标记作为TTS输入,而不是文本或字符。对于任务1,我们使用国际音标(IPA)作为TTS模型的输入。对于任务2,我们使用由矢量量化变分自动编码器(VQVAE)提取的无监督语音符号。在评估中,听力测试表明我们的系统在VCC 2020挑战赛中表现良好。
2020-10-06 cs.SD eess.AS
Axial Residual Networks for CycleGAN-based Voice Conversion
MoneyBrain Inc.(MoneyBrain公司)
我们提出了一种新的架构和改进的非并行语音转换的训练目标。我们提出的基于CycleGAN的模型直接对高频率分辨率幅度谱图进行形状保持变换,转换其风格(即说话人身份),同时保留语音内容。在整个转换过程中,该模型不采用任何类型的压缩中间表示(例如,梅尔频谱图,低分辨率频谱图,分解的网络特征)。我们提出了一个有效的轴向残差块架构来支持这个昂贵的过程和对CycleGAN损失的各种修改,以稳定训练过程。我们通过实验证明,即使没有采用神经声码器,我们提出的模型的性能也优于Scyclone,并且表现出与CycleGAN-VC 2相当或更好的性能。
2021-08-24 cs.LG cs.SD eess.AS
Rhythm Modeling for Voice Conversion
Stellenbosch University(斯泰伦博斯大学);Ubisoft La Forge(育碧La Forge)
本文提出无监督节奏转换方法 Urhythmic,通过自监督表示分段并建模时长分布、时间拉伸语音以匹配目标节奏,在音质和韵律上优于现有无监督方法。
2023-07-12 cs.LG cs.SD eess.AS
ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations
NVIDIA(英伟达)
在这项工作中,我们提出了一种使用经过自监督学习训练的语音表示的零射击(zero-shot)语音转换方法。首先,我们开发了一个多任务模型,将语音话语分解为语言内容,说话人特征和说话风格等特征。为了理清内容和扬声器表示,我们提出了一种基于Siamese网络的训练策略,该策略鼓励原始音频和音高偏移音频的内容表示之间的相似性。接下来,我们开发了一个合成模型与音高和持续时间预测,可以有效地重建语音信号从其分解表示。我们的框架允许可控和扬声器自适应合成,以执行zero-shot任何到任何语音转换,实现最先进的结果的度量评估扬声器的相似性,可理解性和自然性。对于目标说话者,仅使用10秒的数据,我们的框架就可以执行语音交换,并实现了5.5%的说话者验证EER,对于看不见的说话者,EER为8.4%。
2023-02-16 cs.LG cs.SD eess.AS
Assem-VC: Realistic Voice Conversion by Assembling Modern Speech Synthesis Techniques
MINDsLab Inc.(MINDsLab公司);Seoul National University(首尔国立大学)
最近关于语音转换(VC)的工作重点是保留节奏和语调以及语言内容。为了从源代码中保留这些功能,我们将当前的非并行VC系统分解为两个编码器和一个解码器。我们分析了每个模块的几个实验和重新组装的最佳组件,提出汇编VC,一个新的国家的最先进的任何对许多非并行VC系统。我们还研究了PPG和Cotatron功能是依赖于说话者的,并试图通过对抗训练来消除说话者身份。代码和音频示例可在https://github.com/mindslab-ai/assem-vc上获得。
2021-10-11 cs.LG cs.SD eess.AS
DualVC: Dual-mode Voice Conversion using Intra-model Knowledge Distillation and Hybrid Predictive Coding
Northwestern Polytechnical University(西北工业大学);NetEase Inc.(网易公司);Shanghai Jiao Tong University(上海交通大学)
DualVC提出一种双模式语音转换方法,通过模型内知识蒸馏、混合预测编码和数据增强解决流式转换中因缺失未来信息导致的性能下降问题,在仅252.8毫秒延迟下达到与非流式顶级系统相当的性能。
2023-05-31 cs.SD eess.AS
How Far Are We from Robust Voice Conversion: A Survey
College of Electrical Engineering(电气工程学院);Computer Science, National Taiwan University, Taiwan(台湾大学计算机科学系)
近年来,在深度学习的帮助下,语音转换技术得到了很大的改进,但它们在不同条件下产生自然发声的能力仍然不清楚。本文对已知VC模型的鲁棒性进行了深入的研究。我们还修改了这些模型,例如更换扬声器嵌入,以进一步提高其性能。我们发现采样率和音频持续时间对语音转换有很大的影响。所有的VC模型都受到不可见数据的影响,但AdaIN-VC相对更健壮。此外,联合训练的说话人嵌入比说话人识别训练的说话人嵌入更适合于语音转换。
2021-05-03 cs.SD eess.AS
StreamVC: Real-Time Low-Latency Voice Conversion
Google LLC(谷歌有限责任公司)
提出流式语音转换方案 StreamVC,利用 SoundStream 架构实现移动端低延迟高质量合成,通过因果学习软语音单元和白化基频信息提升音高稳定性且不泄露源音色。
2024-01-05 cs.LG cs.SD eess.AS
An Adaptive Learning based Generative Adversarial Network for One-To-One Voice Conversion
National Institute of Technology Durgapur(杜尔加布尔国立理工学院);Indian Statistical Institute(印度统计研究所)
近年来,语音转换(VC)由于其在语音辅助技术、自动电影配音和语音到歌唱转换(仅举几例)中的新兴应用而成为语音合成领域中的重要研究领域。语音转换基本上是在保持语言内容不变的情况下,将说话人的语音风格转换为说话人的语音风格。VC任务通过由语音分析、语音特征映射和语音重构组成的三级流水线来执行。生成对抗网络(GAN)模型是目前广泛使用的语音特征映射模型。在本文中,我们提出了一个自适应学习为基础的GAN模型称为ALGAN-VC的一个有效的一对一VC的发言人。我们的ALGAN-VC框架包括一些方法来提高语音质量和语音相似性之间的源和目标扬声器。该模型采用了一个密集的残差网络(DRN)类似的架构,以有效的语音特征学习的生成器网络,源到目标语音特征转换。我们还集成了自适应学习机制来计算所提出的模型的损失函数。此外,我们使用一个提升的学习率的方法,以提高所提出的模型的学习能力。该模型通过同时使用正向和反向映射来训练一对一VC。该模型在语音转换挑战(VCC)2016年,2018年和2020年数据集以及我们自己准备的语音数据集上进行了测试,该数据集已用印度地区语言和英语记录。生成的语音样本的主观和客观评价表明,该模型优雅地执行语音转换任务,实现高的说话人相似性和足够的语音质量。
2021-04-25 cs.LG cs.SD eess.AS
Stepback: Enhanced Disentanglement for Voice Conversion via Multi-Task Learning
Shanghai International Studies University(上海外国语大学);University of Cambridge(剑桥大学)
本文提出Stepback网络,利用非并行数据和深度学习技术,通过多任务学习结合双重流及自我毁灭性修正约束优化内容编码器,显著提升了语音转换的解耦效果与语言内容保留,在降低训练成本的同时实现高质量转换。
2025-01-26 cs.CL cs.SD eess.AS
VCTR: A Transformer-Based Model for Non-parallel Voice Conversion
Independent Researcher(独立研究者)
本文提出VCTR,一种基于Transformer的非平行语音转换模型,通过混合感知模块和双剪枝自注意力捕获长距离依赖,结合对比学习对抗方法,解决了现有方法训练困难及全局语义捕获不足的问题。
2025-10-14 cs.SD
Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion
National Institute of Informatics(国立信息学研究所);Nagoya University(名古屋大学);National University of Singapore(新加坡国立大学);University of Eastern Finland(东芬兰大学);University of Science and Technology of China(中国科学技术大学)
语音转换挑战赛是一项每两年举办一次的科学活动,旨在比较和了解基于通用数据集构建的不同语音转换(VC)系统。2020年,我们组织了第三届挑战赛,并为两个任务构建和分发了一个新的数据库,即语言内半并行和跨语言VC。经过两个月的挑战期,我们收到了33份提交,包括3个基于数据库的基线。从众包听力测试的结果中,我们观察到,由于先进的深度学习方法,VC方法进展迅速。特别是,扬声器相似性分数的几个系统被证明是一样高的目标扬声器在语言内半并行VC任务。然而,我们证实,对于相同的任务,它们中没有一个达到人类水平的自然性。跨语言转换任务,正如预期的那样,是一个更困难的任务,和整体的自然度和相似性分数低于那些内语言转换任务。然而,我们观察到令人鼓舞的结果,最好的系统的MOS得分高于4.0。我们还展示了一些额外的分析结果,以帮助更好地理解跨语言VC。
2020-08-28 cs.SD eess.AS
V2S attack: building DNN-based voice conversion from automatic speaker verification
The University of Tokyo(东京大学);Nippon Telegraph and Telephone Corporation(日本电报电话公司)
本文提出了一种新的语音模仿攻击使用语音转换(VC)。为自动说话人验证(ASV)注册个人语音提供了自然和灵活的生物识别认证系统。基本上,ASV系统不包括用户的语音数据。然而,如果ASV系统意外地暴露并被恶意攻击者攻击,则存在攻击者将使用VC技术来再现注册用户的语音的风险。我们将其命名为“验证到合成(V2S)攻击”,并建议使用ASV和预训练的自动语音识别(ASR)模型进行VC训练,而不需要目标说话人的语音数据。VC模型通过欺骗ASV模型来再现目标说话人的个性,并通过匹配由ASR模型预测的语音后验图来恢复输入语音的语音属性。实验评估比较转换的声音之间的建议的方法,不使用目标扬声器的语音数据和标准的VC,使用的数据。实验结果表明,该方法的性能优于现有的VC方法,使用非常少量的并行语音数据进行训练。
2019-08-05 cs.CR cs.LG cs.SD