Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology(代尔夫特理工大学);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们提出了一种新的方法,病理语音合成。而不是使用健康的语音作为源,我们定制一个现有的病理语音样本,以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题,因为在我们的方法中,语音转换(VC)模型不需要针对语音退化进行优化,而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念,我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明,合理的自然度高清晰度构音障碍的扬声器,虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比,地面真理。对于低清晰度和高清晰度的说话人,说话人特性转换是成功的,但对于中清晰度的说话人,转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
Building African Voices
Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition(Inspired Cognition公司)
现代语音合成技术可以在给定足够的高质量数据和计算资源的情况下产生听起来自然的语音。然而,许多语文的这类数据并不容易获得。本文主要研究非洲低资源语言的语音合成,从语料库的创建到文本到语音(TTS)系统的共享和部署。我们首先创建了一套通用的指令建设语音合成系统与最低限度的技术资源和主题的专业知识。接下来,我们通过参与式方法创建新的数据集并从“发现”数据(现有记录)中管理数据集,同时考虑可访问性,质量和广度。我们证明,我们可以开发合成器,生成清晰的语音与25分钟的创建语音,即使在次优环境中记录。最后,我们发布了12种非洲语言的语音数据、代码和训练语音,以支持研究人员和开发人员。
2022-07-01 cs.CL cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学);Waseda University(早稻田大学)
在大多数实际应用中,广播系统必须在噪声环境中传递语音信息,而在这种环境中,背景噪声是无法消除的。本地噪声降低了语音的可懂度,增加了收听者的收听努力,从而影响了广播系统的有效性。有报道指出,在嘈杂的环境中,专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明,语音清晰度可能与专业播音员的说话风格有关,可以通过语音转换方法进行调整。基于这一思想,本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势,我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实,在低信噪比条件下,转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
Improve Cross-lingual Voice Cloning Using Low-quality Code-switched Data
NetEase Games AI Lab(网易游戏人工智能实验室)
最近,序列到序列(seq-to-seq)模型已经成功地应用于文本到语音(TTS)合成语音的单语言文本。为了合成多种语言的语音,通常需要来自目标说话人的多语言语音。然而,它是既费力又昂贵的收集高质量的目标说话人的多语种TTS数据。本文提出了利用非目标说话人的低质量语码转换数据来实现目标说话人的跨语言语音克隆。实验表明,我们提出的方法可以产生高质量的代码转换语音的目标声音在自然度和说话人一致性。更重要的是,我们发现,我们的方法可以实现一个比较的结果,最先进的(SOTA)的跨语言语音克隆的性能。
2022-11-17 cs.CL cs.SD eess.AS
Emotional Voice Conversion using Multitask Learning with Text-to-speech
KI for Artificial Intelligence, KAIST(韩国科学技术院人工智能研究所);Information and Electronics Research Institute, KAIST(韩国科学技术院信息与电子研究所)
语音转换(VC)是指在保留语言内容的前提下,将人的语音转换为不同的风格。以往VC的研究都是基于序列到序列(seq 2seq)模型,这可能会误导语言信息。有人试图通过使用文本监督来克服它,它需要显式对齐,这失去了使用seq 2seq模型的好处。提出了一种基于多任务学习的文本转语音语音转换器。基于seq 2seq的文语转换的嵌入空间具有丰富的文本信息。TTS解码器的作用是将嵌入空间转换为语音,这与VC相同。在所提出的模型中,整个网络的训练,以尽量减少损失的VC和TTS。VC有望通过多任务学习捕获更多的语言信息并保持训练稳定性。在男性韩语情感文本-语音数据集上进行了VC的实验,结果表明多任务学习有助于保持VC中的语言内容。
2019-11-27 cs.CL cs.SD eess.AS
Learning to Speak Fluently in a Foreign Language: Multilingual Speech Synthesis and Cross-Language Voice Cloning
Google(谷歌)
我们提出了一个多说话人,多语言的文本到语音(TTS)合成模型的基础上,Tacotron,能够产生高质量的语音在多种语言。此外,该模型能够跨语言传输语音,例如使用英语说话者的语音合成流利的西班牙语语音,而无需对任何双语或并行示例进行训练。这种迁移可以跨远亲语言工作,例如英语和普通话。实现这一目标的关键是:1。使用音素输入表示来鼓励跨语言共享模型容量,以及2.结合对抗损失项以鼓励模型将其说话者身份的表示(其与训练数据中的语言完全相关)从语音内容中分离出来。通过对每种语言的多个说话者进行训练,并结合自动编码输入以帮助在训练期间稳定注意力,进一步扩大模型,从而产生一种模型,该模型可用于一致地合成可理解的语音,用于训练在训练期间看到的所有语言的训练说话者,以及母语或外国口音。
2019-07-24 cs.CL cs.SD eess.AS
Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
情感语音转换的目的是在保留语言内容和说话人身份的同时,转换语音中的情感韵律。先前的研究表明,使用离散表示的编码器-解码器网络(例如独热情感标签)可以解开情感韵律。这样的网络学会记住一套固定的情感风格。在本文中,我们提出了一种新的框架的基础上变分自动编码Wasserstein生成对抗网络(VAW-GAN),它利用一个预先训练的语音情感识别(SER)模型,在训练和运行时的推理转移情感风格。通过这种方式,网络能够将可见和不可见的情感风格转移到新的话语中。我们表明,建议的框架实现了显着的性能始终优于基线框架。本文还标志着用于语音转换的情感语音数据集(ESD)的发布,该数据集具有多个扬声器和语言。
2021-02-11 cs.CL cs.SD eess.AS
Improve few-shot voice cloning using multi-modal learning
NetEase Games AI Lab(网易游戏AI实验室)
近年来,Few-Shot语音克隆技术取得了显著的进步。然而,大多数用于Few-Shot语音克隆的模型是单模态的,并且多模态的Few-Shot语音克隆尚未得到充分研究。在本文中,我们提出使用多模态学习来提高Few-Shot语音克隆的性能。受最近无监督语音表示工作的启发,建议的多模态系统是通过扩展Tacotron 2与无监督语音表示模块来构建的。我们评估我们提出的系统在两个Few-Shot语音克隆的情况下,即Few-Shot文本到语音(TTS)和语音转换(VC)。实验结果表明,所提出的多模态学习可以显着提高Few-Shot的语音克隆性能比他们的对应单模态系统。
2022-03-18 cs.CL cs.SD eess.AS
Learning Singing From Speech
Tencent AI Lab(腾讯人工智能实验室)
我们提出了一种算法,能够合成高质量的目标说话人的歌声只给他们的正常语音样本。该算法首先将语音和歌唱合成集成到一个统一的框架中,并学习语音和歌唱合成任务之间可共享的通用说话人嵌入。具体地,经由语音合成目标从正常语音学习的说话者嵌入与经由统一训练框架中的歌唱合成目标从歌唱样本学习的说话者嵌入共享。这使得学习的说话者嵌入一个可转移的表示,用于说话和唱歌。我们评估所提出的算法上唱歌的声音转换任务,其中原始的歌唱内容是覆盖的音色,另一个扬声器的声音纯粹从他们的正常语音样本。我们的实验表明,该算法产生高品质的歌声,听起来非常相似的目标说话人的声音,只有他或她的正常语音样本。我们相信,该算法将为更广泛的用户和应用开辟新的机会,歌唱合成和转换。
2019-12-20 cs.CL cs.SD eess.AS
A Comparison of Discrete and Soft Speech Units for Improved Voice Conversion
Ubisoft La Forge(育碧La Forge);Stellenbosch University(斯泰伦博斯大学)
语音转换的目标是将源语音转换为目标语音,保持内容不变。在本文中,我们专注于语音转换的自监督表示学习。具体来说,我们将离散语音单元和软语音单元作为输入特征进行比较。我们发现,离散表示有效地删除扬声器信息,但放弃一些语言内容-导致发音错误。作为解决方案,我们提出了软语音单元。为了学习软单元,我们预测离散语音单元的分布。通过对不确定性进行建模,软单元捕获了更多的内容信息,提高了转换后语音的可懂度和自然度。样品可在https://ubisoft-laforge.github.io/speech/soft-vc/上获得。代码可在https://github.com/bshall/soft-vc/获得。
2022-06-08 cs.SD eess.AS
Building speech corpus with diverse voice characteristics for its prompt-based representation
The University of Tokyo(东京大学);Graduate School of Information Science and Technology(信息科学技术研究院)
针对语音特征多样性受限问题,构建配对语音特征描述与样本的日语语料库,并提出结合对比学习与特征预测学习的模型以实现基于提示的语音检索。
2024-03-20 cs.SD eess.AS
Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining
Nagoya University(名古屋大学);NTT Communication Science Laboratories(NTT通信科学实验室)
我们介绍了一种新的序列到序列(seq2seq)语音转换(VC)模型的基础上Transformer架构与文本转语音(TTS)预训练。Seq2seq VC模型由于其转换韵律的能力而具有吸引力。虽然基于递归神经网络(RNN)和卷积神经网络(CNN)的seq2seq模型已成功应用于VC,但尚未研究Transformer网络的使用,该网络已在各种语音处理任务中显示出有希望的结果。尽管如此,它们的数据饥渴属性和转换后语音的错误发音使得seq2seq模型远不实用。为此,我们提出了一种简单而有效的预训练技术,从学习的TTS模型中转移知识,这些模型受益于大规模,易于访问的TTS语料库。用这种预训练的模型参数初始化的VC模型能够为高保真、高度可理解的转换语音生成有效的隐藏表示。实验结果表明,这样的预训练方案可以促进数据有效的训练,并在可理解性,自然度和相似性方面优于基于RNN的seq2seq VC模型。
2019-12-14 cs.CL cs.LG cs.SD
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University(东南大学);National University of Singapore(新加坡国立大学)
本文提出了一种新的框架,建立一个语音转换(VC)系统的学习从文本到语音(TTS)合成系统,即TTS-VC迁移学习。首先,我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构,其中编码器提取强大的语言表示的文本,和解码器,条件下的目标说话人嵌入,需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实,并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中,编码器以语音代替文本作为输入,而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入,因此系统可以在非并行数据上进行训练,以进行任意到任意的语音转换。在语音转换训练过程中,我们分别提出了文本和语音到语音合成和语音转换网络。在运行时,语音转换网络使用自己的编码器-解码器架构。实验表明,该方法优于两个竞争的语音转换基线一致,即语音后验图和变分自动编码器的方法,在语音质量,自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
AdaSpeech: Adaptive Text to Speech for Custom Voice
Microsoft Research Asia, Microsoft Azure Speech(微软亚洲研究院,微软 Azure 语音)
自定义语音是商业语音平台上的一种特定的文本转语音(TTS)服务,其目的是利用少量的语音数据来调整源TTS模型以合成目标说话人的个人语音。定制语音对TTS适配提出了两个独特的挑战:1)为了支持不同的客户,适配模型需要处理可能与源语音数据非常不同的不同声学条件,以及2)为了支持大量客户,适配参数需要对于每个目标说话者足够小,以减少存储器使用,同时保持高语音质量。在这项工作中,我们提出了AdaSpeech,一个自适应的TTS系统,用于高质量和高效率的定制新的声音。我们在AdaSpeech中设计了几种技术来解决自定义语音中的两个挑战:1)为了处理不同的声学条件,我们使用两个声学编码器在训练过程中从目标语音中提取话语级矢量和音素级矢量序列;在推理过程中,我们从参考语音中提取话语级矢量,并使用声学预测器来预测音素级矢量。2)为了更好地权衡自适应参数和语音质量,我们在AdaSpeech的mel-频谱图解码器中引入了条件层归一化,并对这一部分进行了微调,以及说话人嵌入进行自适应。我们在LibriTTS数据集上预训练源TTS模型,并在VCTK和LJSpeech数据集上对其进行微调(具有与LibriTTS不同的声学条件),其中只有很少的适应数据,例如,20句话,1分钟左右的演讲。实验结果表明,AdaSpeech的自适应效果明显优于传统的自适应方法,每个说话人仅需5 K左右的特定参数,证明了AdaSpe…
2021-03-01 cs.AI cs.CL cs.SD
MASS: Multi-task Anthropomorphic Speech Synthesis Framework
Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全研究院);College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
文语转换(TTS)合成在人机交互中起着重要的作用。目前,大多数TTS技术都关注语音的自然性,即使语音听起来像人。然而,语音合成技术中的情感表达和说话人身份识别这两个关键任务却被忽略了,这限制了语音合成技术的应用场景。为了使合成的语音更加逼真,扩展应用场景,提出了一种多任务拟人语音合成框架(MASS),该框架可以从文本中合成具有特定情感和说话人身份的语音。MASS框架包括一个基本的TTS模块和两个新的语音转换模块:情感语音转换模块和扬声器语音转换模块。提出了基于卷积残差网络的深度情感语音转换模型(DEVC)和深度说话人语音转换模型(DSVC)。它解决了语音转换过程中的特征丢失问题。模型训练独立于并行数据集,并且能够进行多对多语音转换。在情感语音转换实验、说话人语音转换实验以及多任务语音合成实验中,实验结果表明DEVC和DSVC对语音转换效果良好。多任务语音合成实验的定量和定性评价结果表明,MASS能够有效地合成具有特定文本、情感和说话人身份的语音。
2021-05-10 cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型,实现轻量级流式零样本有声与耳语语音转换,并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
Speech Synthesis along Perceptual Voice Quality Dimensions
Paderborn University(帕德博恩大学);Bielefeld University(比勒费尔德大学)
本研究针对低抽象层级的感知语音质量控制需求,将条件连续归一化流方法集成到文本转语音系统中,通过样本学习实现连续尺度的语音属性修改,经语音学专家评估验证了系统在四种语音质量操纵上的效果与改进空间。
2025-01-15 cs.SD eess.AS
Building Multi lingual TTS using Cross Lingual Voice Conversion
Research & Development Group, Hitachi, Ltd.(日立公司研发集团)
在本文中,我们提出了一种新的跨语言的语音转换(VC)的方法,它可以生成所有的语音参数(MCEP,LF0,BAP)从一个DNN模型使用PPG(语音后验)从输入的语音使用几个ASR声学模型提取。使用建议的VC方法,我们尝试了三种不同的方法来建立一个多语种的TTS系统,而无需记录多语种的语音语料库。进行了听力测试,以评估语音质量(自然度)和转换后的语音和目标语音之间的语音相似度。结果表明,方法1实现了最高水平的自然性(3.28 MOS的5点量表)和相似性(2.77 MOS)。
2020-12-28 cs.SD eess.AS
Bootstrapping non-parallel voice conversion from speaker-adaptive text-to-speech
SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学(高等研究型大学));National Institute of Informatics(国立信息学研究所);The University of Edinburgh(爱丁堡大学)
语音转换(VC)和文本转语音(TTS)是共享类似目标的两个任务,即生成具有目标语音的语音。然而,它们通常是在截然不同的框架下独立开发的。在本文中,我们提出了一种方法来引导VC系统从一个预先训练的说话人自适应TTS模型和统一的技术,以及这两个任务的解释。此外,通过将大量的数据需求卸载到TTS模型的训练阶段,我们的VC系统可以使用少量的目标说话人语音数据来构建。它还开辟了使用一种看不见的外国语言来构建系统的可能性。我们的主观评价表明,所提出的框架不仅能够在标准的语言内的情况下实现有竞争力的性能,但也适应和转换使用语音话语在一个看不见的语言。
2019-09-14 cs.CL cs.LG cs.SD
Voice Conversion for Likability Control via Automated Rating of Speech Synthesis Corpora
National Institute of Advanced Industrial Science and Technology (AIST)(日本先进工业科学和技术研究所);Keio University(庆应大学);The University of Tokyo(东京大学)
本文提出一种语音转换方法,通过训练好感度预测器自动标注大型语音合成语料库,在保留说话人身份和语言内容的同时有效控制语音好感度,实验验证了其有效性。
2025-07-02 cs.SD eess.AS
JVS corpus: free Japanese multi-speaker voice corpus
由于包括深度学习在内的机器学习技术的改进,语音合成正在成为一项机器学习任务。为了加速语音合成的研究,我们正在开发日语语音语料库,不仅学术机构,而且商业公司合理访问。2017年,我们发布了JSUT语料库,其中包含单个扬声器发出的10小时阅读式语音,用于端到端的文本到语音合成。对于语音合成研究中更一般的用途,例如,语音转换和多说话人建模,本文构建了JVS语料库,其中包含三种风格(正常,耳语,假声)的100个说话人的语音数据。语料库包含30小时的语音数据,其中包括22小时的平行正常语音。本文介绍了我们如何设计的语料库,并总结了规格。语料库可在我们的项目页面上找到。
2019-08-17 cs.SD eess.AS
UnifySpeech: A Unified Framework for Zero-shot Text-to-Speech and Voice Conversion
Chinese Academy of Science(中国科学院);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学)
文语转换(TTS)和语音转换(VC)是两个不同的任务,都是为了根据不同的输入方式生成高质量的说话语音。由于它们的相似性,本文提出了UnifySpeech,首次将TTS和VC纳入统一的框架中。该模型是基于这样的假设,即语音可以被解耦为三个独立的成分:内容信息,说话人信息,韵律信息。TTS和VC都可以看作是从输入中挖掘这三部分信息,完成语音的重构。对于TTS,语音内容信息来自文本,而在VC中,它来自源语音,因此两个任务中除了语音内容提取模块之外,其余所有单元都是共享的。我们采用矢量量化和域约束来弥合TTS和VC的内容域之间的差距。客观和主观评价结果表明,通过将两个任务结合起来,TTS获得了更好的说话人建模能力,而VC获得了令人印象深刻的语音内容解耦能力。
2023-01-10 cs.CL cs.LG cs.SD
Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning
Baidu Research(百度研究院);OpenAI(开放人工智能研究中心);University of California, Berkeley(加州大学伯克利分校)
我们介绍了Deep Voice 3,一个完全卷积的基于注意力的神经文本到语音(TTS)系统。Deep Voice 3在自然度方面与最先进的神经语音合成系统相匹配,同时训练速度快十倍。我们将Deep Voice 3扩展到TTS前所未有的数据集大小,对来自2000多个扬声器的800多个小时的音频进行训练。此外,我们确定了常见的错误模式的注意力为基础的语音合成网络,演示了如何减轻他们,并比较几种不同的波形合成方法。我们还描述了如何在一台GPU服务器上将推理扩展到每天1000万次查询。
2018-02-22 cs.AI cs.CL cs.LG
SpeechSplit 2.0: Unsupervised speech disentanglement for voice conversion Without tuning autoencoder Bottlenecks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
SpeechSplit可以通过使用多个自动编码器以无监督的方式将语音分解为内容,节奏,音高和音色来执行特定于方面的语音转换。然而,SpeechSplit需要仔细调整自动编码器瓶颈,这可能很耗时,而且不太可靠。本文提出了SpeechSplit 2.0,它约束的语音分量的信息流,使用有效的信号处理方法,而不是瓶颈调整的自动编码器输入解开。评估结果表明,SpeechSplit 2.0在语音解纠缠和对瓶颈大小变化的鲁棒性方面与SpeechSplit具有相当的性能。我们的代码可在https://github.com/biggytruck/SpeechSplit2上获得。
2022-03-26 cs.AI cs.SD eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab(腾讯人工智能实验室)
歌唱声音转换是指在保持歌唱内容不变的前提下,将源歌唱的音色转换为目标说话人的声音。然而,歌唱数据的目标说话人是更难以收集相比,正常的语音数据。在本文中,我们介绍了一个歌唱声转换算法,能够产生高品质的目标说话人的歌声,只用他/她的正常语音数据。首先,我们通过统一标准语音合成系统和歌唱合成系统中使用的特征,将语音和歌唱的训练和转换过程集成到一个框架中。此外,为了实现一次转换,本文还设计了一个说话人嵌入模块,利用语音和歌唱数据,在转换过程中提供目标说话人的识别信息。实验结果表明,所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
PromptTTS 2: Describing and Generating Voices with Text Prompt
Microsoft Research(微软研究院)
PromptTTS 2通过变化网络和基于大语言模型的提示生成流程,解决文本提示TTS的一对多问题和数据稀缺问题,在44K小时数据集上生成更符合提示且多样化的语音。
2023-10-12 cs.CL cs.LG cs.SD
Voice Cloning for Dysarthric Speech Synthesis: Addressing Data Scarcity in Speech-Language Pathology
KTH Royal Institute of Technology(瑞典皇家理工学院);Karolinska Institutet(卡罗林斯卡学院)
本研究利用TORGO数据集和商业平台克隆构音障碍患者语音,证明合成语音能有效保留异常特征且具高真实感,为缓解医疗数据稀缺、保护隐私及提升AI诊断与个性化治疗提供了新途径。
2025-03-03 cs.AI cs.SD eess.AS
GTR-Voice: Articulatory Phonetics Informed Controllable Expressive Speech Synthesis
University of Rochester(罗切斯特大学)
本研究针对当前表现力语音合成对发音特征关注不足的问题,提出GTR三维发音框架,录制GTR-Voice数据集,验证了框架有效性及TTS模型的精准可控性,并开源相关资源。
2024-06-15 cs.AI cs.CL cs.LG
Real-time Detection of AI-Generated Speech for DeepFake Voice Conversion
Nottingham Trent University(诺丁汉特伦特大学);Nottingham(诺丁汉(注:此处仅为城市名,非完整机构,按要求提取完整机构,故仅保留前一个机构))
针对DeepFake语音转换带来的伦理与隐私风险,本研究构建DEEP-VOICE数据集,通过时域特征统计分析与机器学习模型超参数优化,实现了99.3%准确率的实时AI生成语音检测,并公开了相关数据。
2023-08-24 cs.CL cs.HC cs.LG
Securing Voice-driven Interfaces against Fake (Cloned) Audio Attacks
University of Michigan – Dearborn(密歇根大学迪尔伯恩分校)
语音克隆技术已经在从个性化语音界面到广告、机器人等各种领域得到应用,现有的语音克隆系统能够学习说话人的特征,并使用训练好的模型从少量的音频样本合成一个人的语音。克隆语音生成技术的进步能够从真正的语音中生成感知上无法区分的语音。这些进步对语音驱动接口和基于语音的访问控制系统构成了新的安全和隐私威胁。最先进的语音合成技术使用经训练或调谐的生成模型用于克隆语音生成。训练的生成模型依赖于线性运算、学习的权重和用于克隆语音合成的激励源。这些系统在合成语音中留下特征性的伪像。高阶频谱分析用于捕获真正的和克隆的音频之间的区别属性。具体而言,正交相位耦合(QPC)在估计的双相干,高斯性测试统计,和线性度测试统计被用来捕捉生成模型的文物。所提出的方法的性能进行评估克隆音频使用扬声器自适应和扬声器编码为基础的方法。对126个克隆语音和8个真实语音样本的实验结果表明,该方法能够以接近完美的检测率检测真实语音和克隆语音。
2019-02-18 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology(依图科技);National University of Singapore(新加坡国立大学)
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统,通过保持原始话语中的内容并替换为来自目标说话者的声音特征,将源说话者的话语转换为目标说话者的另一话语。现有的解决方案,例如,StarGAN-VC 2,目前有希望的结果,只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换,但它需要一个外部的预先训练的说话者验证模型。在本文中,我们提出了我们新的基于GAN的zero-shot语音转换解决方案,称为GAZEV,其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失,以及自适应实例归一化策略,以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明,输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
VoiceDiT: Dual-Condition Diffusion Transformer for Environment-Aware Speech Synthesis
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出VoiceDiT,通过双条件扩散Transformer结合文本与视觉提示,并利用大规模合成与真实语音数据集训练,实现环境感知的高质量语音合成。
2024-12-26 cs.SD eess.AS
VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS
Beijing University of Posts and Telecommunications(北京邮电大学);Hello Group(Hello集团)
提出VoTSpeech模型,通过显式中间语音潜在变量分离语音设计与语音生成,在InstructTTSEval-ZH上表现出色,可实现可控语音合成。
2026-10-14 cs.CL cs.SD
VoiceCraft: Zero-Shot Speech Editing and Text-to-Speech in the Wild
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta FAIR)
VoiceCraft是一种令牌填充神经编解码语言模型,通过Transformer解码器和令牌重排程序,在有声书、视频和播客等真实场景中同时实现了领先的语音编辑和零样本TTS性能,并发布了高难度数据集RealEdit。
2024-06-14 cs.AI cs.CL cs.LG
RoVo: Robust Voice Protection Against Unauthorized Speech Synthesis with Embedding-Level Perturbations
Soongsil University(顺斯大学)
针对现有音频级扰动防御易被语音增强抵消的问题,提出嵌入级扰动防御方法RoVo,在多个合成模型和商用API上实现高防御成功率,且抗语音增强能力强,同时保留语音自然度与可用性。
2025-05-19 cs.LG cs.SD eess.AS
ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion
KAIST, South Korea(韩国科学技术院);Chung-Ang University, South Korea(Chung-Ang 大学);The Chinese University of Hong Kong, China(香港中文大学)
提出ProsoCodec,通过将韵律建模为条件残差而非分离流,在语音转换中改善韵律保留并减少源音色泄漏。
2026-06-23 cs.SD eess.AS
VoiceGuider: Enhancing Out-of-Domain Performance in Parameter-Efficient Speaker-Adaptive Text-to-Speech via Autoguidance
Seoul National University(首尔大学);Samsung Electronics Co., Ltd(三星电子株式会社)
提出VoiceGuider,通过自引导机制强化基于LoRA的参数高效说话人自适应文本转语音系统,有效缩小与全量微调模型的性能差距,显著提升极端域外说话人的自适应表现。
2024-12-20 cs.SD eess.AS
Spotlight-TTS: Spotlighting the Style via Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
Department of Artificial Intelligence(人工智能系)
提出Spotlight-TTS,通过浊音感知风格提取聚焦与风格高度相关的浊音区域并保持连续性,结合风格方向调整优化与TTS模型的整合,显著提升了合成语音的表现力、整体质量和风格迁移能力。
2025-06-29 cs.AI cs.SD eess.AS
Voice Conversion by Cascading Automatic Speech Recognition and Text-to-Speech Synthesis with Prosody Transfer
University of Science and Technology of China(中国科学技术大学);iFLYTEK Co., Ltd.(科大讯飞股份有限公司)
随着自动语音识别(ASR)和文本转语音合成(TTS)技术的发展,将ASR和TTS系统级联构成语音转换系统已成为一种直观的方式。本文提出了一种语音转换的ASR-TTS方法,该方法利用科大讯飞的ASR引擎将源语音转换为文本,利用WaveNet声码器的Transformer TTS模型将解码后的文本合成为转换后的语音。对于文语转换模型,我们提出使用韵律码来描述语音中除文本和说话人信息之外的韵律信息。韵律编码器用于提取韵律代码。在转换过程中,源韵律通过用其代码调节Transformer TTS模型来转换为转换后的语音。实验结果表明了该方法的有效性。我们的系统还在2020年语音转换挑战赛的单语言任务中获得了最佳的自然度和相似度。
2020-09-03 cs.SD eess.AS eess.SP
Speech to Speech Synthesis for Voice Impersonation
University of California San Diego(加州大学圣迭戈分校)
本文提出STSSN模型,通过融合语音识别与合成技术,实现语音到语音风格迁移,用于语音模仿任务,实验表明其生成逼真音频效果优于生成对抗模型。
2026-02-13 cs.LG cs.SD eess.AS
High-Quality Vocoding Design with Signal Processing for Speech Synthesis and Voice Conversion
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
这个博士本论文的重点是开发一个高质量的语音合成和语音转换系统。基于声码器的语音分析、处理和合成在各种统计参数语音研究中起着至关重要的作用。虽然存在产生接近自然合成语音的声码方法,但是它们通常在计算上是昂贵的,并且因此不适合于实时实现,特别是在嵌入式环境中。因此,需要简单且计算上可行的数字信号处理算法来生成高质量且听起来自然的合成语音。在本论文中,我提出了一种提取最佳声学特征的解决方案和一种新的波形发生器,通过应用深度学习的进步来实现更高的音质和转换精度。该方法在计算上仍然有效。这一挑战产生了五个论文组,简要概述如下。
2021-01-25 cs.SD eess.AS
SLMGAN: Exploiting Speech Language Model Representations for Unsupervised Zero-Shot Voice Conversion in GANs
Columbia University(哥伦比亚大学)
该研究提出SLMGAN方法,以StarGANv2-VC为基础加入基于SLM的WavLM判别器和SLM特征匹配损失,实现无监督零样本语音转换,自然度优于现有SOTA模型且相似度相当。
2023-07-18 cs.AI cs.SD eess.AS
Quality assessment of voice converted speech using articulatory features
我们提出了一种新的应用程序的基础上对语音转换语音质量评估的声学发音反转。人类毫不费力地说话的能力需要各种发音器官、肌肉等的协调运动。这种毫不费力的运动有助于自然度、可懂度和说话者身份,这部分存在于语音转换语音中。因此,在语音转换期间,与语音产生相关的信息丢失。在本文中,这种损失是量化的男性语音,通过显示增加的RMSE误差的语音转换后的语音显示减少互信息。在女性声音的情况下也得到了类似的结果。这一观察是延长显示发音功能可以作为一个客观的措施。通过比较它们与平均意见得分的相关性,说明了所提出的措施对MCD的有效性。
2015-11-23 cs.SD
Non-parallel Voice Conversion System with WaveNet Vocoder and Collapsed Speech Suppression
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科);Information Technology Center, Nagoya University(名古屋大学信息技术中心);Graduate School of Information Science, Nagoya University(名古屋大学信息科学研究科)
在本文中,我们集成了一个简单的非并行语音转换(VC)系统与WaveNet(WN)声码器和建议的折叠语音抑制技术。WN作为基于声学特征生成高保真语音波形的声码器的有效性已在最近的工作中得到证实。然而,当将WN声码器与VC系统相结合时,失真的声学特征、声学和时间失配以及曝光偏差通常导致显著的语音质量下降,使得WN生成一些非常嘈杂的语音段,称为塌陷语音。为了解决这个问题,我们采取传统的声码器生成的语音作为参考语音推导出一个线性预测编码分布约束(LPCDC),以避免崩溃的语音问题。此外,为了减轻由LPCDC引入的负面影响,我们提出了一个崩溃的语音段检测器(CSSD),以确保LPCDC仅适用于有问题的段,以限制质量损失到短时间内。进行了客观和主观评价,实验结果证实了所提出的方法的有效性,进一步提高了我们以前提交给2018年语音转换挑战赛的非并行VC系统的语音质量。
2020-04-07 cs.SD eess.AS
Evaluation of the Speech Resynthesis Capabilities of the VoicePrivacy Challenge Baseline B1
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔朗根-纽伦堡大学);University of Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
该研究评估VoicePrivacy Challenge基线B1的语音再合成能力,通过客观指标和听力测试发现其语音表示与声码器均会引入伪影导致语音不自然,为相关组件优化提供依据。
2023-08-22 cs.SD eess.AS
Voice Reenactment with F0 and timing constraints and adversarial learning of conversions
IRCAM(声学与音乐研究中心);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本文介绍了语音再现作为语音转换(VC)的任务,在转换过程中,源说话人的表现力被保留,而目标说话人的身份被转移。为此,提出了一种基于序列到序列语音转换(S2 S-VC)的原始神经- VC架构,其中在转换期间保留源说话人的语音韵律。首先,修改S2 S-VC架构,以便通过语音持续时间编码使转换后的语音与源语音同步;其次,解码器以所需的F0值序列为条件,并在源扬声器的F0与转换后的语音之一之间制定明确的F0损失。此外,在S2 S-VC架构中集成了转换的对抗学习,以便在训练期间利用原始语音和具有操纵属性的转换语音的重建的优点,然后减少训练和转换之间的不一致性。VCTK语音数据库上的实验评估表明,语音韵律可以有效地保留在转换过程中,和所提出的对抗性学习不断提高转换和再现语音的自然度。
2022-05-31 cs.SD eess.AS
Expressive Neural Voice Cloning
University of California San Diego(加州大学圣地亚哥分校)
语音克隆是学习从几个样本中合成一个看不见的说话者的声音的任务。虽然目前的语音克隆方法在文本到语音(TTS)合成新的声音取得了可喜的成果,这些方法缺乏控制合成音频的表现力的能力。在这项工作中,我们提出了一个可控的语音克隆方法,允许细粒度控制的合成语音的各种风格方面的一个看不见的扬声器。我们实现了这一点,明确条件的语音合成模型的扬声器编码,音高轮廓和潜在的风格令牌在训练过程中。通过定量和定性的评价,我们表明,我们的框架可以用于各种表达的语音克隆任务,只需要几个转录或未转录的语音样本的一个新的扬声器。这些克隆任务包括从参考语音进行风格转换、直接从文本合成语音以及通过在推理期间操纵风格条件变量来进行细粒度风格控制。
2021-01-30 cs.LG cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
语音转换是指在保留话语内容的同时改变语音的音色。最近,许多工作集中在基于分离的学习技术,从语音信号中分离音色和语言内容信息。一旦成功,语音转换将是可行和直接的。提出了一种基于矢量量化语音转换(VQVC)和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中,以更有效地从语音中分离出内容和音色信息。实验结果表明,该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
Automatic Speech Disentanglement for Voice Conversion using Rank Module and Speech Augmentation
East China University of Science and Technology(华东理工大学);University of St.Gallen(圣加仑大学)
本文提出一种仅用两个增强函数即可自动将语音解缠为内容、音色、节奏和音高四部分的语音转换模型,无需手工特征或瓶颈调优,实验证明其在解缠有效性和自然度上优于基线。
2023-06-21 cs.LG cs.SD eess.AS
Disentangled Speech Representation Learning for One-Shot Cross-lingual Voice Conversion Using $β$-VAE
The Chinese University of Hong Kong(香港中文大学);Centre for Perceptual and Interactive Intelligence, CUHK(香港中文大学感知与交互智能中心);Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-香港中文大学媒体科学、技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
我们提出了一种无监督学习方法,将语音分解为内容表示和说话人身份表示。我们将此方法应用于具有挑战性的一次性跨语言语音转换任务,以证明解纠缠的有效性。受$β$ -VAE的启发,我们引入了一个学习目标,该目标在内容和说话人表示所捕获的信息之间进行平衡。此外,来自架构设计和训练数据集的归纳偏差进一步鼓励了所需的解纠缠。客观和主观评价表明,该方法在语音解纠缠和一次跨语言语音转换的有效性。
2022-10-25 cs.SD eess.AS
Empowering Communication: Speech Technology for Indian and Western Accents through AI-powered Speech Synthesis
Environmental Resources Management(环境资源管理公司)
本文提出一个开源Python包voice cloning and speech synthesis,通过包含说话人验证、合成器、声码器和降噪模块的系统架构,为语音障碍人士和专业人士生成个性化的合成语音,并使用MOS、GPE和SD等指标验证了其有效性。
2024-02-16 cs.SD eess.AS
Speech Enhancement-assisted Voice Conversion in Noisy Environments
National Yang Ming Chiao Tung University(国立阳明交通大学);Yuan Ze University(元智大学);Academia Sinica(中央研究院)
已经提出了许多语音转换(VC)技术用于不同说话者之间的语音转换。虽然当VC应用在干净的环境中时,可以观察到转换后的语音的良好质量,但是当系统运行在噪声条件下时,质量急剧下降。为了解决这个问题,我们提出了一种新的语音增强(SE)辅助VC系统,利用SE技术的信号预处理,其中VC和SE组件进行优化,在一个联合的训练策略,目的是提供高质量的转换后的语音信号。我们采用了流行的模型,StarGAN,作为VC组件,因此调用EStarGAN的组合系统。我们使用普通话语音语料库测试了所提出的EStarGAN系统。实验结果首次验证了EStarGAN中联合训练策略的有效性。此外,EStarGAN在各种看不见的噪声环境中表现出性能稳健性。主观听力测试结果进一步表明,EStarGAN可以提高从噪声污染的源话语转换的语音信号的声音质量。
2023-01-19 cs.SD eess.AS
The VoiceMOS Challenge 2024: Beyond Speech Quality Prediction
Nagoya University(名古屋大学);NVIDIA(英伟达);National Institute Of Information And Communications Technology(日本信息通信研究机构);Academia Sinica(中央研究院);National Institute of Informatics(情报信息学研究所)
2024年VoiceMOS挑战赛设三个不同场景的语音评分预测赛道,吸引产学研队伍参赛,验证了检索类方法、非自监督表示的有效性,推动了主观语音评分预测领域发展。
2024-09-11 cs.SD eess.AS
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.(索尼印度私人有限公司研究院);Indraprastha Institute of Information Technology (IIIT)(因德拉普拉斯信息技术学院(IIIT))
本文提出VECL-TTS端到端跨语言语音合成系统,同时控制语音身份与情感风格,并通过内容与风格一致性损失提升合成质量,在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS