A Comparative Study of Voice Conversion Models with Large-Scale Speech and Singing Data: The T13 Systems for the Singing Voice Conversion Challenge 2023
Nagoya University(名古屋大学);LINE Corp.(LINE公司)
本研究面向2023年歌唱语音转换挑战赛,提出基于扩散模型的任意到任意语音转换T13系统,先利用750小时大规模语音歌唱数据预训练再针对目标对象微调,在跨域任务中取得有竞争力的效果,验证了大数据对跨域SVC的增益。
2023-10-08 cs.CL cs.LG cs.SD
Beyond Voice Identity Conversion: Manipulating Voice Attributes by Adversarial Learning of Structured Disentangled Representations
Ircam(法国声学/音乐研究与协调研究所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
语音转换(VC)包括数字化改变个人的声音,以操纵其部分内容,主要是其身份,同时保持其余不变。神经VC的研究已经取得了相当大的突破,能够使用少量数据以高度逼真的渲染来伪造语音身份。本文超越了语音身份,并提出了一种神经架构,允许操纵语音属性(例如,性别和年龄)。利用结构化语音表示的对抗学习的最新进展,提出了一种新的结构化神经网络,其中多个自动编码器用于将语音编码为一组理想独立的语言和语言外表示,这些表示是对抗学习的,并且可以在VC期间进行操作。此外,所提出的架构是时间同步的,以便在转换过程中保留原始语音时序,从而允许唇同步应用。应用于真实世界的VCTK数据集上的语音性别转换,我们提出的架构可以成功地学习性别无关的表示,并转换语音性别具有非常高的效率和自然。
2021-07-27 cs.LG cs.SD eess.AS
Spectrum and Prosody Conversion for Cross-lingual Voice Conversion with CycleGAN
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
跨语言语音转换是指当源语者和目标语者使用不同的语言时,将源语者的语音转换为目标语者的语音。它依赖于来自两种不同语言的非并行训练数据,因此比单语言语音转换更具挑战性。以往的跨语言语音转换研究主要集中在频谱转换与线性变换的F0转移。然而,作为一个重要的韵律因素,F0是内在的层次性,因此,它是不够的,只是使用线性的方法进行转换。我们建议使用连续小波变换(CWT)分解的F0建模。CWT提供了一种将信号分解为不同时间尺度的方法,这些时间尺度可以在不同的时间分辨率下解释韵律。我们还建议训练两个CycleGAN管道分别用于频谱和韵律映射。通过这种方式,我们消除了对任何两种语言的并行数据和任何对齐技术的需要。实验结果表明,我们提出的Spectrum-Prosody-CycleGAN框架在主观评价方面优于Spectrum-CycleGAN基线。据我们所知,这是第一次研究韵律在跨语言语音转换。
2020-11-03 cs.CL cs.SD eess.AS
HiFi-VC: High Quality ASR-Based Voice Conversion
Tinkoff(Tinkoff银行)
语音转换(VC)的目标是将输入语音转换为与目标说话人的语音相匹配,同时保持文本和韵律完整。VC通常用于娱乐和语音辅助系统,以及用于语音数据生成和增强。任何对任何VC系统的开发,能够在模型训练期间生成不可见的声音,对研究人员和行业都特别感兴趣。尽管最近取得了进展,但任何到任何转换的质量仍然不如自然语音。在这项工作中,我们提出了一个新的任意到任意的语音转换管道。我们的方法使用自动语音识别(ASR)功能,音高跟踪,和一个国家的最先进的波形预测模型。根据多个主观和客观的评价,我们的方法优于现代基线的语音质量,相似性和一致性。
2022-03-31 cs.LG cs.SD eess.AS
CycleGAN Voice Conversion of Spectral Envelopes using Adversarial Weights
IRCAM(声学/音乐协调研究所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本文在语音转换的背景下处理GAN优化和稳定性问题。首先,为了简化转换任务,我们建议使用频谱包络作为输入。其次,我们提出了两种对抗性的权重训练范式,广义加权GAN和生成器影响GAN,都旨在减少生成器对训练的影响,因此两者都可以在训练过程中更渐进,更有效地学习。将能量约束应用于cycleGAN范例大大提高了转换质量。在语音转换挑战2018数据集上对语音转换任务进行的主观实验表明,首先,尽管网络复杂性显着降低,但所提出的方法实现了最先进的结果,其次,所提出的加权GAN方法优于先前提出的方法。
2020-07-11 cs.LG cs.SD eess.AS
Stepback: Enhanced Disentanglement for Voice Conversion via Multi-Task Learning
Shanghai International Studies University(上海外国语大学);University of Cambridge(剑桥大学)
本文提出Stepback网络,利用非并行数据和深度学习技术,通过多任务学习结合双重流及自我毁灭性修正约束优化内容编码器,显著提升了语音转换的解耦效果与语言内容保留,在降低训练成本的同时实现高质量转换。
2025-01-26 cs.CL cs.SD eess.AS
Spatial Voice Conversion: Voice Conversion Preserving Spatial Information and Non-target Signals
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
本文提出空间语音转换任务,旨在转换目标语音时保留空间信息与非目标信号,通过整合盲源分离、语音转换和空间混合处理多通道波形,为未来研究提供基准。
2024-06-25 cs.SD eess.AS
Voice Conversion with Conditional SampleRNN
Dolby Laboratories(杜比实验室)
在这里,我们提出了一种新的方法来调节语音转换(VC)的SampleRNN生成模型。VC的传统方法通过在源和目标声学特征之间转换来修改感知的说话者身份。我们的方法侧重于保留语音内容,并依赖于生成网络来学习语音风格。我们首先训练一个多扬声器SampleRNN模型的语言特征,音高轮廓,和扬声器身份使用多扬声器语音语料库的条件。利用从源说话人中提取的语言特征和音高轮廓以及目标说话人身份生成语音转换语音。我们证明,我们的系统是能够多对多的语音转换,而不需要并行数据,使广泛的应用。主观评价表明,我们的方法优于传统的VC方法。
2018-08-24 cs.LG cs.SD eess.AS
PitchNet: Unsupervised Singing Voice Conversion with Pitch Adversarial Network
Tencent AI Lab(腾讯人工智能实验室)
演唱声音转换是指在不改变演唱内容的前提下,将演唱者的声音转换成另一个人的声音。最近的工作表明,无监督的歌声转换可以通过基于自动编码器的方法实现[1]。然而,转换后的歌声很容易跑调,这表明现有的方法不能精确地对音高信息进行建模。在本文中,我们建议改进[1]中提出的现有无监督歌唱声音转换方法,以实现更准确的音高转换和灵活的音高操作。具体来说,所提出的PitchNet添加了一个经过逆向训练的音高回归网络,以强制编码器网络学习音高不变的音素表示,并添加了一个单独的模块,将从源音频中提取的音高馈送到解码器网络。我们的评估表明,该方法可以大大提高转换后的歌声质量(2.92比3.75 MOS)。我们还证明了转换歌唱的音高可以很容易地控制在生成过程中通过改变提取的音高的水平,然后将其传递到解码器网络。
2020-02-18 cs.CL cs.SD eess.AS
Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining
Nagoya University(名古屋大学);NTT Communication Science Laboratories(NTT通信科学实验室)
我们介绍了一种新的序列到序列(seq2seq)语音转换(VC)模型的基础上Transformer架构与文本转语音(TTS)预训练。Seq2seq VC模型由于其转换韵律的能力而具有吸引力。虽然基于递归神经网络(RNN)和卷积神经网络(CNN)的seq2seq模型已成功应用于VC,但尚未研究Transformer网络的使用,该网络已在各种语音处理任务中显示出有希望的结果。尽管如此,它们的数据饥渴属性和转换后语音的错误发音使得seq2seq模型远不实用。为此,我们提出了一种简单而有效的预训练技术,从学习的TTS模型中转移知识,这些模型受益于大规模,易于访问的TTS语料库。用这种预训练的模型参数初始化的VC模型能够为高保真、高度可理解的转换语音生成有效的隐藏表示。实验结果表明,这样的预训练方案可以促进数据有效的训练,并在可理解性,自然度和相似性方面优于基于RNN的seq2seq VC模型。
2019-12-14 cs.CL cs.LG cs.SD
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum(博洛尼亚大学)
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而,对于现实世界的应用程序,并行数据很少可用。我们提出了MelGAN-VC,一种语音转换方法,依赖于非并行语音数据,能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图,然后使用生成对抗网络(GAN)架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息,而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集,以及与嘈杂的现实世界的语音例子的集合。最后,我们采用相同的方法来执行音乐风格的转移,翻译任意长的音乐样本从一个流派到另一个,并表明我们的框架是灵活的,可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
VAW-GAN for Singing Voice Conversion with Non-parallel Training Data
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
歌唱声音转换是指在不改变演唱内容的前提下,将演唱者的声音从源声转换为目标声。并行训练数据通常需要用于训练歌唱声音转换系统,然而这在现实生活中的应用中是不实际的。最近的编码器-解码器结构,如变分自编码Wasserstein生成对抗网络(VAW-GAN),提供了一种通过非并行训练数据学习映射的有效方法。在本文中,我们提出了一个歌唱的声音转换框架,是基于VAW-GAN。我们训练一个编码器,以解开歌手身份和歌唱韵律(F0轮廓)从语音内容。通过以歌手身份和F0为条件,解码器生成具有不可见目标歌手身份的输出频谱特征,并改进F0渲染。实验结果表明,该框架实现了更好的性能比基线框架。
2020-11-03 cs.CL cs.SD eess.AS
Voice Conversion with Diverse Intonation using Conditional Variational Auto-Encoder
Seoul National University(首尔大学);Kakao Brain
针对传统语音转换模型仅能生成单一结果的局限,提出基于条件变分自动编码器(CVAE)结合逆自回归流(IAF)的方法,实现语调多样且音质更优的语音转换。
2025-04-16 cs.LG cs.SD eess.AS
Singing voice conversion with non-parallel data
Snap Research, Snap Inc.(Snap公司Snap研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
演唱声音转换是将源歌手演唱的歌曲转换为目标歌手的声音的任务。在本文中,我们提出了使用并行数据自由,多对一的声音转换技术的歌声。首先通过鲁棒的自动语音识别引擎(ASR)解码歌声来生成语音后验特征。然后,使用具有深度双向长短期记忆(DBLSTM)结构的训练的递归神经网络(RNN)来对从与人无关的内容到目标人的声学特征的映射进行建模。通过原始演唱声提取F0和非周期性特征,结合声学特征,通过声码器重构出目标演唱声。在所获得的歌声中,目标歌手和源歌手听起来相似。据我们所知,这是第一个研究,使用非并行数据训练歌唱声音转换系统。主观评价表明,该方法有效地转换歌声。
2019-03-11 cs.LG cs.SD eess.AS
Toward Degradation-Robust Voice Conversion
National Taiwan University(台湾大学)
任何到任何语音转换技术将话语的音色转换为任何扬声器,即使在训练期间看不见。虽然已经有几种最先进的任意语音转换模型,但它们都是基于干净的话语来成功转换的。然而,在现实世界的场景中,很难收集说话者的干净话语,并且它们通常被噪声或混响降级。因此,非常需要了解这些退化如何影响语音转换并建立退化鲁棒模型。我们在本文中报告的第一个全面的研究退化鲁棒性的任何到任何语音转换。我们发现,性能的国家的最先进的模型,现在受到严重阻碍,退化的话语。为此,我们提出了语音增强级联和去噪训练,以提高鲁棒性。除了常见的退化之外,我们还考虑了对抗性噪声,这些噪声会显著改变模型输出,但人类无法感知。实验结果表明,与现有语音增强模型的级联和对语音转换模型的去噪训练都能提高鲁棒性,但各有优缺点。
2022-04-29 cs.LG cs.SD eess.AS
Hierarchical Sequence to Sequence Voice Conversion with Limited Data
Ford Greenfield Labs(福特格林菲尔德实验室)
我们提出了一个语音转换解决方案,使用递归序列到序列建模DNN。我们的解决方案利用了神经机器翻译(NMT),文本到语音(TTS)和自动语音识别(ASR)领域中基于注意力建模的最新进展。问题在于当{ \it $<$源、目标$>$ }音频对可用时,在并行设置中的语音之间进行转换。我们的seq 2seq架构利用分层编码器来汇总输入音频帧。在解码器端,我们使用的注意力为基础的架构在最近的TTS作品。由于缺乏训练DNN所需的大型多说话者语音转换数据库,我们采用大型单说话者数据集作为自动编码器来训练网络。然后,这适用于可用于语音转换的较小的多说话者语音转换数据集。与其他使用$F_0$,持续时间和语言特征的语音转换作品相比,我们的系统使用梅尔频谱图作为音频表示。输出梅尔帧转换回音频使用波网声码器。
2019-07-15 cs.LG cs.SD eess.AS
Many-to-Many Voice Conversion based Feature Disentanglement using Variational Autoencoder
Vinai Research(维奈研究院);Deezer Research and Development(迪泽研发中心)
语音转换是一项具有挑战性的任务,它将源说话人的语音特征转换为目标说话人,而不改变语言内容。近年来,基于变分自编码器(VAE)的多对多语音转换(VC)取得了很好的效果,但这些方法缺乏区分说话人身份和语言内容的能力,无法在说话人不存在的情况下取得良好的性能。本文提出了一种基于特征分解的多对多语音转换方法。该方法具有从话语中分离出说话人身份和语言内容的能力,它可以通过单个自编码器网络从多个源说话人转换为多个目标说话人。此外,它自然地处理看不见的目标说话者场景。我们进行客观和主观的评价,以显示我们提出的方法与其他国家的最先进的模型相比,在自然度和目标说话人相似性的竞争力表现。
2021-07-11 cs.LG cs.SD eess.AS
PPG-based singing voice conversion with adversarial representation learning
ByteDance AI Lab(字节跳动人工智能实验室)
歌唱声音转换是指在保持歌唱内容和旋律的前提下,将一个歌唱者的声音转换为另一个歌唱者的声音。在最近的语音转换工作的顶部,我们提出了一个新的模型,稳步转换歌曲,同时保持其自然性和语调。我们建立了一个端到端的架构,以语音后验图(PPG)作为输入,并生成梅尔频谱图。具体来说,我们实现了两个独立的编码器:一个编码PPG作为内容,另一个压缩梅尔频谱图提供声学和音乐信息。为了提高模型在音色和旋律方面的性能,设计了对抗性的歌手混淆模块和梅尔回归表示学习模块。在我们的私人汉语歌唱语料库上进行了客观实验和主观实验。与基线相比,我们的方法可以显着提高转换性能的自然度,旋律,和语音相似性。此外,我们的PPG为基础的方法被证明是强大的噪声源。
2020-10-28 cs.CL cs.SD eess.AS
Streaming non-autoregressive model for any-to-many voice conversion
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
语音转换模型已经发展了几十年,目前主流的研究主要集中在非流式语音转换。但是,流式语音转换比非流式语音转换更适合实际应用场景。本文提出了一种基于完全非自回归模型的流任意到多语音转换方法,该方法包括基于流Transformer的声学模型和流声码器。基于流式Transformer的声学模型由基于流式端到端自动语音识别模型的预训练编码器和基于FastSpeech块修改的解码器组成。流声码器采用伪正交镜像滤波器组和因果卷积技术,实现了流声码器的设计。实验结果表明,该方法在延迟和转换质量方面都取得了显著的性能,并且可以在CPU和GPU上实现实时性。
2022-06-15 cs.SD eess.AS
DiffSVC: A Diffusion Probabilistic Model for Singing Voice Conversion
Tencent AI Lab(腾讯人工智能实验室)
歌唱声转换技术是一种很有前途的技术,它赋予计算机产生高保真、富有表现力的歌唱声的能力,丰富了人机交互的方式。在本文中,我们提出了DiffSVC,SVC系统的基础上去噪扩散概率模型。DiffSVC使用语音后验图(PPG)作为内容特征。在DiffSVC中训练去噪模块,该模块将扩散/前向过程产生的破坏的mel谱图及其相应的步长信息作为输入,预测添加的高斯噪声。我们使用PPG、基频特征和响度特征作为辅助输入来辅助去噪过程。实验表明,DiffSVC可以实现优越的转换性能,在自然度和语音相似性,目前国家的最先进的SVC方法。
2021-05-28 cs.CL cs.SD eess.AS
An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning
Singapore University of Technology and Design(新加坡科技设计大学);National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学);National University of Singapore(新加坡国立大学)
说话人身份是人类言语的重要特征之一。在语音转换中,我们将说话者身份从一个转换为另一个,同时保持语言内容不变。语音转换涉及多种语音处理技术,例如语音分析、频谱转换、韵律转换、说话人特征化和声码。随着理论和实践的发展,我们现在能够产生具有高说话人相似度的人一样的语音质量。在本文中,我们全面概述了最先进的语音转换技术及其性能评估方法,从统计方法到深度学习,并讨论了它们的前景和局限性。我们还将报告最近的语音转换挑战(VCC),当前技术状态的性能,并提供语音转换研究可用资源的摘要。
2020-11-17 cs.SD eess.AS
AC-VC: Non-parallel Low Latency Phonetic Posteriorgrams Based Voice Conversion
Logitech Europe S.A.(罗技欧洲公司);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
本文介绍了一种基于语音后验图的语音转换系统AC-VC(Almost Causal Voice Conversion),该系统可以实现任意对多语音转换,同时具有57.5 ms的未来预测能力。整个系统由三个分别用非并行数据训练的神经网络组成。虽然目前大多数语音转换系统主要关注质量,而不考虑算法延迟,但这项工作详细说明了使用最少量的未来上下文设计方法,从而允许未来的实时实现。根据在这项工作中组织的主观听力测试,所提出的AC-VC系统在自然度方面与2020年语音转换挑战赛的非因果性ASR-TTS基线达到了等同,MOS为3.5。与此相反,结果表明,未来的上下文缺失会影响说话人的相似性。获得的相似度百分比为65%,低于当前最好的语音转换系统的相似度。
2021-11-12 cs.SD eess.AS
Hierarchical disentangled representation learning for singing voice conversion
Sony(索尼)
由于数据的高维性,传统的歌唱声转换(SVC)方法通常在高分辨率音频中操作。在本文中,我们提出了一个分层的表示学习,使独立的多分辨率的解纠缠表示的学习。利用学习到的解纠缠表示,所提出的方法从低到高分辨率逐步执行SVC。实验结果表明,所提出的方法优于基线操作与一个单一的分辨率方面的平均意见得分(MOS),相似性得分,和音高准确性。
2021-04-26 cs.LG cs.SD eess.AS
Many-to-Many Voice Conversion with Out-of-Dataset Speaker Support
Intel AI Lab(英特尔人工智能实验室)
我们提出了一种基于Cycle-GAN的多对多语音转换方法,可以在不在训练集中的扬声器之间进行转换。该属性通过由与Cycle-GAN联合训练的神经网络生成的扬声器嵌入来实现。与此领域的先前工作相比,我们的方法能够在数据集外的说话者和目标说话者之间进行转换,并且不需要重新训练。使用独立训练的说话人识别模型来评估数据集外的说话人转换质量,并且对于先前未听到的说话人显示出良好的风格转换特性。对人类听众的主观测试显示,数据集内说话者的风格转换质量与最先进的基线模型相当。
2019-04-30 cs.CL cs.SD eess.AS
AutoCycle-VC: Towards Bottleneck-Independent Zero-Shot Cross-Lingual Voice Conversion
POSTECH(浦项科技大学)
本文提出AutoCycle-VC,一种采用循环一致性和梅尔频谱预处理的零样本语音转换系统,通过提取全局说话人表示,实现跨语言转换并提升合成质量,超越现有最先进方法。
2023-10-10 cs.CL cs.SD eess.AS
DGC-vector: A new speaker embedding for zero-shot voice conversion
Netease Games AI Lab(网易游戏AI实验室)
近年来,越来越多的zero-shot语音转换算法被提出。说话人嵌入作为zero-shot语音转换的基础部分,是提高转换语音的说话人相似度的关键。在本文中,我们研究了说话人嵌入对zero-shot语音转换性能的影响。为了在zero-shot语音转换中更好地表达目标说话人的特征,提高说话人相似度,本文提出了一种新的说话人表示方法。我们的方法结合了D-向量,全局风格令牌(GST)的说话人表示和辅助监督的优点。客观和主观评价结果表明,该方法在zero-shot语音转换上取得了较好的效果,与D-向量和基于GST的说话人嵌入相比,该方法显著提高了说话人相似度。
2022-03-18 cs.SD eess.AS
StarGAN-ZSVC: Towards Zero-Shot Voice Conversion in Low-Resource Contexts
Stellenbosch University(斯泰伦博斯大学)
语音转换是将来自源说话者的口语话语转换成不同目标说话者的话语,同时保留话语的语言内容的任务。最近的进展已经导致语音转换系统的质量的重大改进。然而,为了在更广泛的背景下有用,语音转换系统需要(i)在不访问并行数据的情况下可训练,(ii)在zero-shot设置中工作,其中源和目标说话者在训练期间都不可见,以及(iii)实时或更快地运行。最近的技术满足了其中的一个或两个要求,但不是所有三个。本文扩展了最近基于生成对抗网络(GANs)的语音转换模型,以满足所有这三个条件。我们专门扩展了最近的StarGAN-VC模型,将其条件化为说话者嵌入(来自潜在的不可见说话者)。这使得该模型可以在zero-shot设置中使用,因此我们称之为StarGAN-RightVC。我们使用一个小的9分钟的训练集,在低资源环境中将StarGAN-GARVC与其他语音转换技术进行比较。与AutoVC(另一种最近的神经zero-shot方法)相比,我们观察到StarGAN-RightVC在zero-shot设置方面有很小的改进,这表明即使对于在非常少的数据上训练的模型,实时zero-shot语音转换也是可能的。需要进一步的工作来确定扩大StarGAN-STARVC是否也会提高高资源环境中的zero-shot语音转换质量。
2021-05-31 cs.CL cs.SD eess.AS
NoiseVC: Towards High Quality Zero-Shot Voice Conversion
University of St.Gallen(圣加仑大学)
语音转换(VC)是将语音从目标音频转换为源音频而不丢失语言内容的任务,特别是当源和目标说话人在训练期间不可见(zero-shot VC)时,它是具有挑战性的。以前的方法需要预先训练的模型或语言数据来进行zero-shot转换。同时,具有矢量量化(VQ)或实例归一化(IN)的VC模型能够从音频中分离内容并实现成功的转换。然而,这些模型中的解纠缠高度依赖于严重受限的瓶颈层,因此,声音质量被大大牺牲。在本文中,我们提出了NoiseVC,一种可以基于VQ和对比预测编码(CPC)来解开内容的方法。此外,执行噪声增强以进一步增强解纠缠能力。我们进行了几个实验,并证明了NoiseVC具有很强的解纠缠能力与一个小的牺牲的质量。
2021-04-13 cs.LG cs.SD eess.AS
Zero-shot Voice Conversion with Diffusion Transformers
Nanyang Technological University(南洋理工大学)
提出Seed-VC框架,通过引入外部音色转换器和扩散Transformer解决零样本语音转换中的音色泄露等问题,在语音和歌唱转换任务中均取得优异性能。
2024-11-15 cs.LG cs.SD eess.AS
Face-Driven Zero-Shot Voice Conversion with Memory-based Face-Voice Alignment
University of Science and Technology of China(中国科学技术大学)
本文提出基于单张人脸图像的零样本语音转换任务,并设计基于记忆的人脸-语音对齐模块与混合监督策略,通过知识迁移和系统评估验证了方法的有效性。
2023-09-18 cs.LG cs.MM cs.SD
CVC: Contrastive Learning for Non-parallel Voice Conversion
Tsinghua University(清华大学);Zhejiang University(浙江大学);Shanghai Qi Zhi Institute(上海期智研究院)
基于循环一致生成对抗网络(CycleGAN)和变分自编码器(VAE)的模型近年来在非并行语音转换中得到了广泛的应用。然而,他们往往遭受困难的培训过程和不满意的结果。在本文中,我们提出了CVC,一种基于对比学习的对抗性语音转换方法。与以前的基于CycleGAN的方法相比,CVC只需要一个有效的单向GAN训练,利用对比学习的优势。当涉及到非并行的一对一语音转换时,CVC与CycleGAN和VAE不相上下或更好,同时有效地减少了训练时间。CVC在多对一语音转换方面进一步展示了卓越的性能,能够从看不见的扬声器进行转换。
2021-04-02 cs.SD eess.AS
Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion
Red Pill Lab(红丸实验室)
跨语言语音转换(VC)是指在源语和目标语使用不同语言的情况下,合成具有相同内容的目标语语音。它的挑战在于源数据和目标数据自然是非并行的,甚至很难在没有transmittance的情况下弥合语言之间的差距。在本文中,我们专注于知识转移从单语言ASR跨语言VC,以解决内容不匹配的问题。为了实现这一点,我们首先训练源语言的单语声学模型,使用它来提取VC数据集中所有语音的语音特征,然后训练Seq 2Seq转换模型来预测mel-声谱图。我们成功地解决了跨语言VC没有任何转录或特定语言的知识,为外国演讲。我们在Voice Conversion Challenge 2020数据集上进行了实验,结果表明,我们的说话者相关转换模型优于zero-shot基线,在跨语言转换的语音质量和说话者相似性方面实现了3.83和3.54的MOS。与Cascade ASR-TTS方法相比,我们提出的方法显著降低了跨语言转换和跨语言转换之间的MOS下降。
2020-09-30 cs.LG cs.SD eess.AS
Multi-target Voice Conversion without Parallel Data by Adversarially Learning Disentangled Audio Representations
National Taiwan University(台湾大学)
最近,周期一致性对抗网络(Cycle-GAN)已成功应用于语音转换到不同的扬声器,而无需并行数据,尽管在这些方法中,每个目标扬声器都需要一个单独的模型。在本文中,我们提出了一个用于语音转换的对抗性学习框架,通过将说话者特征与语音信号中的语言内容分离,可以训练单个模型将语音转换为许多不同的说话者,所有这些都没有并行数据。首先训练一个自动编码器,分别提取说话人独立的潜在表示和说话人嵌入,使用另一个辅助说话人分类器来正则化潜在表示。然后,解码器将说话者无关潜在表示和目标说话者嵌入作为输入,以生成具有源话语的语言内容的目标说话者的语音。解码器输出的质量通过与由另一对发生器和ADC产生的残余信号进行修补而进一步提高。在初步实验中测试了20个目标说话人集的大小,并且获得了非常好的语音质量。报告常规语音转换度量。我们还表明,说话人的信息已被适当减少的潜在表示。
2018-06-24 cs.CL cs.SD eess.AS
The Sequence-to-Sequence Baseline for the Voice Conversion Challenge 2020: Cascading ASR and TTS
Nagoya University(名古屋大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文介绍了2020年语音转换挑战赛(VCC)的序列到序列(seq2seq)基线系统。我们考虑了一种简单的语音转换(VC)方法,即首先使用自动语音识别(ASR)模型对输入语音进行转录,然后使用转录器使用文本到语音(TTS)模型生成目标的语音。我们利用ESPnet(一个开源的端到端语音处理工具包)和社区提供的许多配置良好的预训练模型,在序列到序列(seq2seq)框架下重新审视这种方法。官方评估结果表明,我们的系统在参与系统中的转换相似性,展示了seq2seq模型转换说话人身份的能力。该实现在https://github.com/espnet/espnet/tree/master/egs/vcc20上开源。
2020-10-06 cs.CL cs.SD eess.AS
Taco-VC: A Single Speaker Tacotron based Voice Conversion with Limited Data
Tel Aviv University(特拉维夫大学)
本文介绍了一种基于Tacotron合成器的语音转换架构Taco-VC,它是一种带注意力的序列到序列模型。多说话人语音转换系统的训练需要大量的资源,无论是训练资源还是语料库规模。Taco-VC使用基于语音后验图(PPG)的单扬声器Tacotron合成器和基于梅尔频谱图的单扬声器WaveNet声码器来实现。为了提高转换后的语音质量,并克服过平滑,Tacotron的输出通过一个新的语音增强网络,它是由音素识别和Tacotron网络的组合。我们的系统只使用单个说话人语料库进行训练,并且只使用几分钟的训练数据就能适应新的说话人。使用中等大小的公共数据集,我们的方法在VCC 2018 SPOKE非并行语音转换任务中的表现优于基线,并且与在大型私有数据集上训练的多扬声器网络相比,取得了有竞争力的结果。
2020-06-19 cs.LG cs.SD eess.AS
SEF-VC: Speaker Embedding Free Zero-Shot Voice Conversion with Cross Attention
Shanghai Jiao Tong University(上海交通大学)
针对零样本语音转换中说话人相似度不足的问题,提出无需说话人嵌入的SEF-VC模型,通过位置无关交叉注意力融合参考音色并非自回归重建波形,在短参考下也能实现更优的语音质量与目标相似度。
2024-01-30 cs.CL cs.SD eess.AS
Voice Conversion With Just Nearest Neighbors
Stellenbosch University(斯泰伦博斯大学)
本文提出kNN-VC方法,通过将源语音的自监督表示逐帧替换为参考语音中的最近邻,再经预训练声码器合成,以极简方式实现任意到任意语音转换,并在保持可懂度的同时提升说话人相似度。
2023-05-30 cs.CL cs.SD eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab(腾讯人工智能实验室)
歌唱声音转换是指在保持歌唱内容不变的前提下,将源歌唱的音色转换为目标说话人的声音。然而,歌唱数据的目标说话人是更难以收集相比,正常的语音数据。在本文中,我们介绍了一个歌唱声转换算法,能够产生高品质的目标说话人的歌声,只用他/她的正常语音数据。首先,我们通过统一标准语音合成系统和歌唱合成系统中使用的特征,将语音和歌唱的训练和转换过程集成到一个框架中。此外,为了实现一次转换,本文还设计了一个说话人嵌入模块,利用语音和歌唱数据,在转换过程中提供目标说话人的识别信息。实验结果表明,所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
Phoneme Hallucinator: One-shot Voice Conversion via Set Expansion
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对语音转换中可懂度与说话人相似度难以兼得的问题,提出音素幻觉器,通过幻觉目标说话人音素并基于邻居转换,实现一次性、无文本、任意到任意的语音转换,在可懂度和相似度上均优于现有方法。
2023-12-30 cs.LG cs.SD eess.AS
The Singing Voice Conversion Challenge 2023
Nagoya University(名古屋大学);Tencent AI Lab(腾讯人工智能实验室);Carnegie Mellon University(卡内基梅隆大学)
本文介绍2023年歌声转换挑战赛(SVCC),通过域内与跨域任务和众包听测评估26个系统,发现自然度可达人类水平但相似度仍不足,且现有客观指标大多无法预测感知性能。
2023-07-06 cs.CL cs.SD eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University(东南大学);National University of Singapore(新加坡国立大学)
本文提出了一种新的框架,建立一个语音转换(VC)系统的学习从文本到语音(TTS)合成系统,即TTS-VC迁移学习。首先,我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构,其中编码器提取强大的语言表示的文本,和解码器,条件下的目标说话人嵌入,需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实,并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中,编码器以语音代替文本作为输入,而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入,因此系统可以在非并行数据上进行训练,以进行任意到任意的语音转换。在语音转换训练过程中,我们分别提出了文本和语音到语音合成和语音转换网络。在运行时,语音转换网络使用自己的编码器-解码器架构。实验表明,该方法优于两个竞争的语音转换基线一致,即语音后验图和变分自动编码器的方法,在语音质量,自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
语音转换是指在保留话语内容的同时改变语音的音色。最近,许多工作集中在基于分离的学习技术,从语音信号中分离音色和语言内容信息。一旦成功,语音转换将是可行和直接的。提出了一种基于矢量量化语音转换(VQVC)和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中,以更有效地从语音中分离出内容和音色信息。实验结果表明,该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
Whispered-to-voiced Alaryngeal Speech Conversion with Generative Adversarial Networks
1 Universitat Polit\`ecnica de Catalunya, Barcelona, Spain 2 Telef\'onica Research, Barcelona, Spain 3 Universidad de M\'alaga, M\'alaga, Spain
大多数用于失音症患者的声音恢复方法要么产生低声讲话,要么产生单调讲话。除了可理解性之外,这种类型的语音由于缺乏音高(耳语语音)或人工生成音高(单调语音)而缺乏表现力和自然性。用于恢复韵律信息的现有技术通常将参数化语音信号的声码器与预测韵律信息的机器学习技术组合。相反,本文描述了一种端到端的神经方法,用于从低声的喉音语音中估计全浊音语音波形。通过调整我们以前的工作在语音增强与生成对抗网络,我们开发了一个说话人相关的模型来执行耳语到有声语音转换。初步的定性结果表明,在重新生成有声语音的有效性,与现实的音高轮廓的创建。
2018-11-05 cs.LG cs.SD eess.AS
The IQIYI System for Voice Conversion Challenge 2020
IQIYI Inc.(爱奇艺公司)
本文介绍了用于语音转换2020的IQIYI语音转换系统(T24)。在比赛中,每个目标说话人有70个句子。我们已经建立了一个基于PPG的端到端语音转换系统。首先,ASR声学模型计算BN特征,其表示语音中的内容相关信息。然后通过改进的韵律tacotron模型计算Mel特征。最后,通过改进的LPCNet将Mel谱转换为wav。评测结果表明,该系统能够达到较好的语音转换效果。在使用16 k而不是24 k采样率音频的情况下,转换结果在自然度和相似性方面相对较好。其中,我们最好的结果是在任务2的相似性评价,第2次在基于ASV的客观评价和第5次在主观评价。
2020-10-29 cs.SD eess.AS
On Prosody Modeling for ASR+TTS based Voice Conversion
Nagoya University(名古屋大学);Carnegie Mellon University(卡内基梅隆大学)
在语音转换(VC)中,在最新的语音转换挑战(VCC)2020中显示出有希望的结果的方法是首先使用自动语音识别(ASR)模型将源语音转录为底层语言内容;然后将其用作文本到语音(TTS)系统的输入以生成转换后的语音。这种被称为ASR+TTS的模式忽略了韵律的建模,而韵律在语音自然度和转换相似度方面起着重要作用。虽然有些研究者考虑从源语音中转移韵律线索,但在训练和转换过程中会出现说话人不匹配的情况。为了解决这个问题,在这项工作中,我们提出了直接预测韵律的语言表示在一个目标说话人依赖的方式,被称为目标文本预测(TTP)。我们在VCC 2020基准上评估了这两种方法,并考虑了不同的语言表示。结果表明,TTP的有效性,在客观和主观评价。
2021-07-20 cs.CL cs.SD eess.AS
Non-Parallel Voice Conversion for ASR Augmentation
Google(谷歌)
自动语音识别(ASR)需要对说话人差异具有鲁棒性。语音转换(VC)修改输入语音的说话人特征。这是ASR数据增强的一个有吸引力的特征。在本文中,我们证明了语音转换可以作为一种数据增强技术,以提高ASR性能,即使在LibriSpeech,其中包含2,456扬声器。对于ASR增强,需要VC模型对大范围的输入语音具有鲁棒性。这促使使用非自回归、非并行VC模型,以及在VC模型内使用预训练的ASR编码器。这项工作表明,尽管包括许多扬声器,扬声器的多样性可能仍然是一个限制ASR质量。最后,对我国风险投资绩效的调查为客观评价风险投资质量提供了有用的指标。
2022-09-15 cs.LG cs.SD eess.AS
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University(西北工业大学);National University of Singapore(新加坡国立大学)
我们提出了一种新的训练方案,优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失,而且说话人身份损失。我们引入了一个周期的一致性损失,限制转换后的语音,以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络,但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明,该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
Custom Data Augmentation for low resource ASR using Bark and Retrieval-Based Voice Conversion
Florida State University, USA(佛罗里达州立大学);MES College of Engineering, Pune, India(浦那MES工程学院);Technische Hochschule Ingolstad, Germany(英戈尔施塔特应用技术大学)
本文提出两种创新方法,分别利用Bark结合enCodec与HuBert模型,以及基于检索的语音转换(RVC)和Ozen工具包,为印地语等低资源语言构建定制的Common Voice数据集,推动了ASR技术及个性化语音生成的发展。
2024-01-09 cs.CL cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型,实现轻量级流式零样本有声与耳语语音转换,并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
Robust One-Shot Singing Voice Conversion
针对失真歌声下未见过歌手的高质量歌声转换难题,提出基于生成对抗网络的鲁棒一次性SVC模型、两阶段Robustify训练法及分层扩散声码器,显著提升转换质量与抗失真鲁棒性。
2023-10-06 cs.LG cs.SD eess.AS
Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology(代尔夫特理工大学);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们提出了一种新的方法,病理语音合成。而不是使用健康的语音作为源,我们定制一个现有的病理语音样本,以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题,因为在我们的方法中,语音转换(VC)模型不需要针对语音退化进行优化,而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念,我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明,合理的自然度高清晰度构音障碍的扬声器,虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比,地面真理。对于低清晰度和高清晰度的说话人,说话人特性转换是成功的,但对于中清晰度的说话人,转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
Axial Residual Networks for CycleGAN-based Voice Conversion
MoneyBrain Inc.(MoneyBrain公司)
我们提出了一种新的架构和改进的非并行语音转换的训练目标。我们提出的基于CycleGAN的模型直接对高频率分辨率幅度谱图进行形状保持变换,转换其风格(即说话人身份),同时保留语音内容。在整个转换过程中,该模型不采用任何类型的压缩中间表示(例如,梅尔频谱图,低分辨率频谱图,分解的网络特征)。我们提出了一个有效的轴向残差块架构来支持这个昂贵的过程和对CycleGAN损失的各种修改,以稳定训练过程。我们通过实验证明,即使没有采用神经声码器,我们提出的模型的性能也优于Scyclone,并且表现出与CycleGAN-VC 2相当或更好的性能。
2021-08-24 cs.LG cs.SD eess.AS
Rhythm Modeling for Voice Conversion
Stellenbosch University(斯泰伦博斯大学);Ubisoft La Forge(育碧La Forge)
本文提出无监督节奏转换方法 Urhythmic,通过自监督表示分段并建模时长分布、时间拉伸语音以匹配目标节奏,在音质和韵律上优于现有无监督方法。
2023-07-12 cs.LG cs.SD eess.AS
The Academia Sinica Systems of Voice Conversion for VCC2020
The Academia Sinica(中央研究院)
本文介绍了中央研究院为2020年语音转换挑战赛的两个任务所设计的系统,即同一语言内的语音转换(任务1)和跨语言语音转换(任务2)。对于这两个任务,我们遵循级联ASR+TTS结构,使用语音标记作为TTS输入,而不是文本或字符。对于任务1,我们使用国际音标(IPA)作为TTS模型的输入。对于任务2,我们使用由矢量量化变分自动编码器(VQVAE)提取的无监督语音符号。在评估中,听力测试表明我们的系统在VCC 2020挑战赛中表现良好。
2020-10-06 cs.SD eess.AS