Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型,实现轻量级流式零样本有声与耳语语音转换,并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
Speech Synthesis along Perceptual Voice Quality Dimensions
Paderborn University(帕德博恩大学);Bielefeld University(比勒费尔德大学)
本研究针对低抽象层级的感知语音质量控制需求,将条件连续归一化流方法集成到文本转语音系统中,通过样本学习实现连续尺度的语音属性修改,经语音学专家评估验证了系统在四种语音质量操纵上的效果与改进空间。
2025-01-15 cs.SD eess.AS
Building Multi lingual TTS using Cross Lingual Voice Conversion
Research & Development Group, Hitachi, Ltd.(日立公司研发集团)
在本文中,我们提出了一种新的跨语言的语音转换(VC)的方法,它可以生成所有的语音参数(MCEP,LF0,BAP)从一个DNN模型使用PPG(语音后验)从输入的语音使用几个ASR声学模型提取。使用建议的VC方法,我们尝试了三种不同的方法来建立一个多语种的TTS系统,而无需记录多语种的语音语料库。进行了听力测试,以评估语音质量(自然度)和转换后的语音和目标语音之间的语音相似度。结果表明,方法1实现了最高水平的自然性(3.28 MOS的5点量表)和相似性(2.77 MOS)。
2020-12-28 cs.SD eess.AS
Voice Conversion for Likability Control via Automated Rating of Speech Synthesis Corpora
National Institute of Advanced Industrial Science and Technology (AIST)(日本先进工业科学和技术研究所);Keio University(庆应大学);The University of Tokyo(东京大学)
本文提出一种语音转换方法,通过训练好感度预测器自动标注大型语音合成语料库,在保留说话人身份和语言内容的同时有效控制语音好感度,实验验证了其有效性。
2025-07-02 cs.SD eess.AS
JVS corpus: free Japanese multi-speaker voice corpus
由于包括深度学习在内的机器学习技术的改进,语音合成正在成为一项机器学习任务。为了加速语音合成的研究,我们正在开发日语语音语料库,不仅学术机构,而且商业公司合理访问。2017年,我们发布了JSUT语料库,其中包含单个扬声器发出的10小时阅读式语音,用于端到端的文本到语音合成。对于语音合成研究中更一般的用途,例如,语音转换和多说话人建模,本文构建了JVS语料库,其中包含三种风格(正常,耳语,假声)的100个说话人的语音数据。语料库包含30小时的语音数据,其中包括22小时的平行正常语音。本文介绍了我们如何设计的语料库,并总结了规格。语料库可在我们的项目页面上找到。
2019-08-17 cs.SD eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab(腾讯人工智能实验室)
歌唱声音转换是指在保持歌唱内容不变的前提下,将源歌唱的音色转换为目标说话人的声音。然而,歌唱数据的目标说话人是更难以收集相比,正常的语音数据。在本文中,我们介绍了一个歌唱声转换算法,能够产生高品质的目标说话人的歌声,只用他/她的正常语音数据。首先,我们通过统一标准语音合成系统和歌唱合成系统中使用的特征,将语音和歌唱的训练和转换过程集成到一个框架中。此外,为了实现一次转换,本文还设计了一个说话人嵌入模块,利用语音和歌唱数据,在转换过程中提供目标说话人的识别信息。实验结果表明,所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
Securing Voice-driven Interfaces against Fake (Cloned) Audio Attacks
University of Michigan – Dearborn(密歇根大学迪尔伯恩分校)
语音克隆技术已经在从个性化语音界面到广告、机器人等各种领域得到应用,现有的语音克隆系统能够学习说话人的特征,并使用训练好的模型从少量的音频样本合成一个人的语音。克隆语音生成技术的进步能够从真正的语音中生成感知上无法区分的语音。这些进步对语音驱动接口和基于语音的访问控制系统构成了新的安全和隐私威胁。最先进的语音合成技术使用经训练或调谐的生成模型用于克隆语音生成。训练的生成模型依赖于线性运算、学习的权重和用于克隆语音合成的激励源。这些系统在合成语音中留下特征性的伪像。高阶频谱分析用于捕获真正的和克隆的音频之间的区别属性。具体而言,正交相位耦合(QPC)在估计的双相干,高斯性测试统计,和线性度测试统计被用来捕捉生成模型的文物。所提出的方法的性能进行评估克隆音频使用扬声器自适应和扬声器编码为基础的方法。对126个克隆语音和8个真实语音样本的实验结果表明,该方法能够以接近完美的检测率检测真实语音和克隆语音。
2019-02-18 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology(依图科技);National University of Singapore(新加坡国立大学)
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统,通过保持原始话语中的内容并替换为来自目标说话者的声音特征,将源说话者的话语转换为目标说话者的另一话语。现有的解决方案,例如,StarGAN-VC 2,目前有希望的结果,只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换,但它需要一个外部的预先训练的说话者验证模型。在本文中,我们提出了我们新的基于GAN的zero-shot语音转换解决方案,称为GAZEV,其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失,以及自适应实例归一化策略,以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明,输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
VoiceDiT: Dual-Condition Diffusion Transformer for Environment-Aware Speech Synthesis
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出VoiceDiT,通过双条件扩散Transformer结合文本与视觉提示,并利用大规模合成与真实语音数据集训练,实现环境感知的高质量语音合成。
2024-12-26 cs.SD eess.AS
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊)
本文提出自回归神经编解码语言模型VoiceCraft-X,基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务,在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion
KAIST, South Korea(韩国科学技术院);Chung-Ang University, South Korea(Chung-Ang 大学);The Chinese University of Hong Kong, China(香港中文大学)
提出ProsoCodec,通过将韵律建模为条件残差而非分离流,在语音转换中改善韵律保留并减少源音色泄漏。
2026-06-23 cs.SD eess.AS
VoiceGuider: Enhancing Out-of-Domain Performance in Parameter-Efficient Speaker-Adaptive Text-to-Speech via Autoguidance
Seoul National University(首尔大学);Samsung Electronics Co., Ltd(三星电子株式会社)
提出VoiceGuider,通过自引导机制强化基于LoRA的参数高效说话人自适应文本转语音系统,有效缩小与全量微调模型的性能差距,显著提升极端域外说话人的自适应表现。
2024-12-20 cs.SD eess.AS
High-Quality Vocoding Design with Signal Processing for Speech Synthesis and Voice Conversion
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
这个博士本论文的重点是开发一个高质量的语音合成和语音转换系统。基于声码器的语音分析、处理和合成在各种统计参数语音研究中起着至关重要的作用。虽然存在产生接近自然合成语音的声码方法,但是它们通常在计算上是昂贵的,并且因此不适合于实时实现,特别是在嵌入式环境中。因此,需要简单且计算上可行的数字信号处理算法来生成高质量且听起来自然的合成语音。在本论文中,我提出了一种提取最佳声学特征的解决方案和一种新的波形发生器,通过应用深度学习的进步来实现更高的音质和转换精度。该方法在计算上仍然有效。这一挑战产生了五个论文组,简要概述如下。
2021-01-25 cs.SD eess.AS
Non-parallel Voice Conversion System with WaveNet Vocoder and Collapsed Speech Suppression
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科);Information Technology Center, Nagoya University(名古屋大学信息技术中心);Graduate School of Information Science, Nagoya University(名古屋大学信息科学研究科)
在本文中,我们集成了一个简单的非并行语音转换(VC)系统与WaveNet(WN)声码器和建议的折叠语音抑制技术。WN作为基于声学特征生成高保真语音波形的声码器的有效性已在最近的工作中得到证实。然而,当将WN声码器与VC系统相结合时,失真的声学特征、声学和时间失配以及曝光偏差通常导致显著的语音质量下降,使得WN生成一些非常嘈杂的语音段,称为塌陷语音。为了解决这个问题,我们采取传统的声码器生成的语音作为参考语音推导出一个线性预测编码分布约束(LPCDC),以避免崩溃的语音问题。此外,为了减轻由LPCDC引入的负面影响,我们提出了一个崩溃的语音段检测器(CSSD),以确保LPCDC仅适用于有问题的段,以限制质量损失到短时间内。进行了客观和主观评价,实验结果证实了所提出的方法的有效性,进一步提高了我们以前提交给2018年语音转换挑战赛的非并行VC系统的语音质量。
2020-04-07 cs.SD eess.AS
Evaluation of the Speech Resynthesis Capabilities of the VoicePrivacy Challenge Baseline B1
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔朗根-纽伦堡大学);University of Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
该研究评估VoicePrivacy Challenge基线B1的语音再合成能力,通过客观指标和听力测试发现其语音表示与声码器均会引入伪影导致语音不自然,为相关组件优化提供依据。
2023-08-22 cs.SD eess.AS
Voice Reenactment with F0 and timing constraints and adversarial learning of conversions
IRCAM(声学与音乐研究中心);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本文介绍了语音再现作为语音转换(VC)的任务,在转换过程中,源说话人的表现力被保留,而目标说话人的身份被转移。为此,提出了一种基于序列到序列语音转换(S2 S-VC)的原始神经- VC架构,其中在转换期间保留源说话人的语音韵律。首先,修改S2 S-VC架构,以便通过语音持续时间编码使转换后的语音与源语音同步;其次,解码器以所需的F0值序列为条件,并在源扬声器的F0与转换后的语音之一之间制定明确的F0损失。此外,在S2 S-VC架构中集成了转换的对抗学习,以便在训练期间利用原始语音和具有操纵属性的转换语音的重建的优点,然后减少训练和转换之间的不一致性。VCTK语音数据库上的实验评估表明,语音韵律可以有效地保留在转换过程中,和所提出的对抗性学习不断提高转换和再现语音的自然度。
2022-05-31 cs.SD eess.AS
AVQVC: One-shot Voice Conversion by Vector Quantization with applying contrastive learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
语音转换是指在保留话语内容的同时改变语音的音色。最近,许多工作集中在基于分离的学习技术,从语音信号中分离音色和语言内容信息。一旦成功,语音转换将是可行和直接的。提出了一种基于矢量量化语音转换(VQVC)和AutoVC的单次语音转换框架AVQVC。一种新的训练方法被应用到VQVC中,以更有效地从语音中分离出内容和音色信息。实验结果表明,该方法在分离语音内容和音质方面优于VQVC方法。
2022-02-21 cs.SD eess.AS
Disentangled Speech Representation Learning for One-Shot Cross-lingual Voice Conversion Using $β$-VAE
The Chinese University of Hong Kong(香港中文大学);Centre for Perceptual and Interactive Intelligence, CUHK(香港中文大学感知与交互智能中心);Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-香港中文大学媒体科学、技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
我们提出了一种无监督学习方法,将语音分解为内容表示和说话人身份表示。我们将此方法应用于具有挑战性的一次性跨语言语音转换任务,以证明解纠缠的有效性。受$β$ -VAE的启发,我们引入了一个学习目标,该目标在内容和说话人表示所捕获的信息之间进行平衡。此外,来自架构设计和训练数据集的归纳偏差进一步鼓励了所需的解纠缠。客观和主观评价表明,该方法在语音解纠缠和一次跨语言语音转换的有效性。
2022-10-25 cs.SD eess.AS
Empowering Communication: Speech Technology for Indian and Western Accents through AI-powered Speech Synthesis
Environmental Resources Management(环境资源管理公司)
本文提出一个开源Python包voice cloning and speech synthesis,通过包含说话人验证、合成器、声码器和降噪模块的系统架构,为语音障碍人士和专业人士生成个性化的合成语音,并使用MOS、GPE和SD等指标验证了其有效性。
2024-02-16 cs.SD eess.AS
Speech Enhancement-assisted Voice Conversion in Noisy Environments
National Yang Ming Chiao Tung University(国立阳明交通大学);Yuan Ze University(元智大学);Academia Sinica(中央研究院)
已经提出了许多语音转换(VC)技术用于不同说话者之间的语音转换。虽然当VC应用在干净的环境中时,可以观察到转换后的语音的良好质量,但是当系统运行在噪声条件下时,质量急剧下降。为了解决这个问题,我们提出了一种新的语音增强(SE)辅助VC系统,利用SE技术的信号预处理,其中VC和SE组件进行优化,在一个联合的训练策略,目的是提供高质量的转换后的语音信号。我们采用了流行的模型,StarGAN,作为VC组件,因此调用EStarGAN的组合系统。我们使用普通话语音语料库测试了所提出的EStarGAN系统。实验结果首次验证了EStarGAN中联合训练策略的有效性。此外,EStarGAN在各种看不见的噪声环境中表现出性能稳健性。主观听力测试结果进一步表明,EStarGAN可以提高从噪声污染的源话语转换的语音信号的声音质量。
2023-01-19 cs.SD eess.AS
The VoiceMOS Challenge 2024: Beyond Speech Quality Prediction
Nagoya University(名古屋大学);NVIDIA(英伟达);National Institute Of Information And Communications Technology(日本信息通信研究机构);Academia Sinica(中央研究院);National Institute of Informatics(情报信息学研究所)
2024年VoiceMOS挑战赛设三个不同场景的语音评分预测赛道,吸引产学研队伍参赛,验证了检索类方法、非自监督表示的有效性,推动了主观语音评分预测领域发展。
2024-09-11 cs.SD eess.AS
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.(索尼印度私人有限公司研究院);Indraprastha Institute of Information Technology (IIIT)(因德拉普拉斯信息技术学院(IIIT))
本文提出VECL-TTS端到端跨语言语音合成系统,同时控制语音身份与情感风格,并通过内容与风格一致性损失提升合成质量,在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
IQDUBBING: Prosody modeling based on discrete self-supervised speech representation for expressive voice conversion
IQIYI Inc(爱奇艺公司)
韵律建模在表达性语音转换中很重要,但仍然具有挑战性。由于韵律很难建模,以及其他因素,例如,在语音韵律建模中,说话人、环境和内容都与韵律有着千丝万缕的联系。在本文中,我们提出了IQDubbing来解决这个问题的表达语音转换。为了对韵律进行建模,我们利用了离散自监督语音表示(DSSR)的最新进展。首先从预先训练好的VQ-Wav 2 Vec模型中提取韵律向量,通过量化有效去除说话人和环境信息,同时嵌入丰富的韵律信息。为了进一步滤除韵律之外的冗余信息,如内容和部分说话人信息,我们提出了两种韵律滤波器来从韵律向量中采样韵律。实验表明,IQDubbing在语音质量方面优于基线和比较系统,同时保持韵律一致性和说话者相似性。
2022-01-02 cs.SD eess.AS
Audio-Visual Mandarin Electrolaryngeal Speech Voice Conversion
National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院);National Cheng Kung University Hospital(国立成功大学医院)
针对电子喉语音自然度和可懂度不足的问题,提出融合声学与视觉信息的多模态语音转换模型,实验证明其在主客观指标上均优于单模态模型,可有效提升电子喉语音转换质量。
2023-06-11 cs.SD eess.AS
Enhancing Speech Recognition through Text-to-Speech and Voice Conversion Augmentation
Sestek(塞斯特克公司)
本研究针对呼叫中心-银行领域,对比TTS与KNNVC、Seed-VC等语音转换方法,发现其可显著提升ASR的语音质量与准确率,为ASR在行业场景的应用提供指导。
2026-10-12 cs.SD eess.AS
StyleTTS-VC: One-Shot Voice Conversion by Knowledge Transfer from Style-Based TTS Models
Columbia University(哥伦比亚大学)
单次语音转换(One-shot Voice Conversion,VC)的目的是利用来自目标说话人的几秒钟参考语音,将来自任意源说话人的语音转换为任意目标说话人的语音。这在很大程度上依赖于解开说话者的身份和讲话内容,这仍然是一项具有挑战性的任务。在这里,我们提出了一种新的方法来学习解开语音表示从基于风格的文本到语音(TTS)模型的迁移学习。通过周期一致性和对抗性训练,基于风格的TTS模型可以执行具有高保真度和相似性的转录引导的一次性VC。通过学习一个额外的梅尔频谱图编码器,通过师生知识转移和新的数据增强方案,我们的方法的结果在解开语音表示,而不需要输入文本。主观评价表明,我们的方法可以显着优于以前的国家的最先进的一次性语音转换模型在自然度和相似性。
2022-12-29 cs.SD eess.AS
MAIN-VC: Lightweight Speech Representation Disentanglement for One-shot Voice Conversion
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
本文提出轻量级单次语音转换模型MAIN-VC,通过孪生编码器和互信息估计器实现简洁有效的语音表示解缠,在保持主观评分相当的同时提升客观指标。
2024-11-24 cs.SD eess.AS
SpeechSplit 2.0: Unsupervised speech disentanglement for voice conversion Without tuning autoencoder Bottlenecks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
SpeechSplit可以通过使用多个自动编码器以无监督的方式将语音分解为内容,节奏,音高和音色来执行特定于方面的语音转换。然而,SpeechSplit需要仔细调整自动编码器瓶颈,这可能很耗时,而且不太可靠。本文提出了SpeechSplit 2.0,它约束的语音分量的信息流,使用有效的信号处理方法,而不是瓶颈调整的自动编码器输入解开。评估结果表明,SpeechSplit 2.0在语音解纠缠和对瓶颈大小变化的鲁棒性方面与SpeechSplit具有相当的性能。我们的代码可在https://github.com/biggytruck/SpeechSplit2上获得。
2022-03-26 cs.AI cs.SD eess.AS
Voice Cloning for Dysarthric Speech Synthesis: Addressing Data Scarcity in Speech-Language Pathology
KTH Royal Institute of Technology(瑞典皇家理工学院);Karolinska Institutet(卡罗林斯卡学院)
本研究利用TORGO数据集和商业平台克隆构音障碍患者语音,证明合成语音能有效保留异常特征且具高真实感,为缓解医疗数据稀缺、保护隐私及提升AI诊断与个性化治疗提供了新途径。
2025-03-03 cs.AI cs.SD eess.AS
RoVo: Robust Voice Protection Against Unauthorized Speech Synthesis with Embedding-Level Perturbations
Soongsil University(顺斯大学)
针对现有音频级扰动防御易被语音增强抵消的问题,提出嵌入级扰动防御方法RoVo,在多个合成模型和商用API上实现高防御成功率,且抗语音增强能力强,同时保留语音自然度与可用性。
2025-05-19 cs.LG cs.SD eess.AS
Spotlight-TTS: Spotlighting the Style via Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
Department of Artificial Intelligence(人工智能系)
提出Spotlight-TTS,通过浊音感知风格提取聚焦与风格高度相关的浊音区域并保持连续性,结合风格方向调整优化与TTS模型的整合,显著提升了合成语音的表现力、整体质量和风格迁移能力。
2025-06-29 cs.AI cs.SD eess.AS
Voice Conversion by Cascading Automatic Speech Recognition and Text-to-Speech Synthesis with Prosody Transfer
University of Science and Technology of China(中国科学技术大学);iFLYTEK Co., Ltd.(科大讯飞股份有限公司)
随着自动语音识别(ASR)和文本转语音合成(TTS)技术的发展,将ASR和TTS系统级联构成语音转换系统已成为一种直观的方式。本文提出了一种语音转换的ASR-TTS方法,该方法利用科大讯飞的ASR引擎将源语音转换为文本,利用WaveNet声码器的Transformer TTS模型将解码后的文本合成为转换后的语音。对于文语转换模型,我们提出使用韵律码来描述语音中除文本和说话人信息之外的韵律信息。韵律编码器用于提取韵律代码。在转换过程中,源韵律通过用其代码调节Transformer TTS模型来转换为转换后的语音。实验结果表明了该方法的有效性。我们的系统还在2020年语音转换挑战赛的单语言任务中获得了最佳的自然度和相似度。
2020-09-03 cs.SD eess.AS eess.SP
Speech to Speech Synthesis for Voice Impersonation
University of California San Diego(加州大学圣迭戈分校)
本文提出STSSN模型,通过融合语音识别与合成技术,实现语音到语音风格迁移,用于语音模仿任务,实验表明其生成逼真音频效果优于生成对抗模型。
2026-02-13 cs.LG cs.SD eess.AS
SLMGAN: Exploiting Speech Language Model Representations for Unsupervised Zero-Shot Voice Conversion in GANs
Columbia University(哥伦比亚大学)
该研究提出SLMGAN方法,以StarGANv2-VC为基础加入基于SLM的WavLM判别器和SLM特征匹配损失,实现无监督零样本语音转换,自然度优于现有SOTA模型且相似度相当。
2023-07-18 cs.AI cs.SD eess.AS
Quality assessment of voice converted speech using articulatory features
我们提出了一种新的应用程序的基础上对语音转换语音质量评估的声学发音反转。人类毫不费力地说话的能力需要各种发音器官、肌肉等的协调运动。这种毫不费力的运动有助于自然度、可懂度和说话者身份,这部分存在于语音转换语音中。因此,在语音转换期间,与语音产生相关的信息丢失。在本文中,这种损失是量化的男性语音,通过显示增加的RMSE误差的语音转换后的语音显示减少互信息。在女性声音的情况下也得到了类似的结果。这一观察是延长显示发音功能可以作为一个客观的措施。通过比较它们与平均意见得分的相关性,说明了所提出的措施对MCD的有效性。
2015-11-23 cs.SD
Voice Conversion for Stuttered Speech, Instruments, Unseen Languages and Textually Described Voices
Stellenbosch University(斯泰伦博斯大学)
本研究探索kNN-VC语音转换模型在口吃、跨语言、乐器和文本描述声音等非标准任务上的表现,发现其在口吃和跨语言任务中保持高性能,但乐器转换效果不一,整体展示广泛适用性及分布外样本的局限。
2023-10-12 cs.CL cs.SD eess.AS
Expressive Neural Voice Cloning
University of California San Diego(加州大学圣地亚哥分校)
语音克隆是学习从几个样本中合成一个看不见的说话者的声音的任务。虽然目前的语音克隆方法在文本到语音(TTS)合成新的声音取得了可喜的成果,这些方法缺乏控制合成音频的表现力的能力。在这项工作中,我们提出了一个可控的语音克隆方法,允许细粒度控制的合成语音的各种风格方面的一个看不见的扬声器。我们实现了这一点,明确条件的语音合成模型的扬声器编码,音高轮廓和潜在的风格令牌在训练过程中。通过定量和定性的评价,我们表明,我们的框架可以用于各种表达的语音克隆任务,只需要几个转录或未转录的语音样本的一个新的扬声器。这些克隆任务包括从参考语音进行风格转换、直接从文本合成语音以及通过在推理期间操纵风格条件变量来进行细粒度风格控制。
2021-01-30 cs.LG cs.SD eess.AS
VoiceBank-2023: A Multi-Speaker Mandarin Speech Corpus for Constructing Personalized TTS Systems for the Speech Impaired
National Taipei University(台北大学);National Yang Ming Chiao Tung University(阳明交通大学);AcoustInTek Co., Ltd.(声智科技股份有限公司)
本文介绍了面向语障碍者的VoiceBank-2023多说话人普通话语料库,含111人共29.78小时标注语音,可申请非商用,助力构建个性化TTS系统。
2023-08-27 cs.CL cs.SD eess.AS
Automatic Speech Disentanglement for Voice Conversion using Rank Module and Speech Augmentation
East China University of Science and Technology(华东理工大学);University of St.Gallen(圣加仑大学)
本文提出一种仅用两个增强函数即可自动将语音解缠为内容、音色、节奏和音高四部分的语音转换模型,无需手工特征或瓶颈调优,实验证明其在解缠有效性和自然度上优于基线。
2023-06-21 cs.LG cs.SD eess.AS
Latent linguistic embedding for cross-lingual text-to-speech and voice conversion
National Institute of Informatics(国立信息学研究所);SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学(高等研究生院大学))
由于最近提出的语音克隆系统,NAUTILUS,是能够克隆看不见的声音使用未转录的语音,我们调查的可行性,使用它来开发一个统一的跨语言的TTS/VC系统。跨语言语音生成是指用目标说话人的声音生成一种非母语的语音。这种类型的系统不是简单地克隆目标说话者的声音,而是在特定的框架下创建一个可以被认为比原始声音更好的新声音。通过使用经过良好训练的英语潜在语言嵌入来为2020年语音转换挑战赛中的几个德语,芬兰语和普通话使用者创建跨语言TTS和VC系统,我们表明我们的方法不仅可以创建具有高说话者相似性的跨语言VC,而且可以无缝地用于跨语言TTS,而无需执行任何额外的步骤。然而,主观评价的感知自然度似乎不同的目标扬声器,这是未来的改进之一。
2020-10-08 cs.CL cs.SD eess.AS
VoiceX: A Text-To-Speech Framework for Custom Voices
Augsburg University(奥格斯堡大学);Chair for Human-Centerd Artificial Intelligence(以人为中心人工智能讲席)
针对深度学习TTS模型参数空间庞大且不可解释导致手动自定义声音困难的问题,提出基于进化算法的人在回路范式与图形界面VoiceX,支持高效创建个性化自定义声音并提供Python API。
2024-08-22 cs.HC cs.SD eess.AS
Can we reconstruct a dysarthric voice with the large speech model Parler TTS?
Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学语音技术研究中心)
本研究探索使用大型语音模型 Parler TTS 重建构音障碍患者患病前的声音,通过微调模型生成语音,发现模型能生成但难以控制可理解性和保持说话人身份,并提出了改进方向。
2025-06-04 cs.CL cs.SD eess.AS
On Using Backpropagation for Speech Texture Generation and Voice Conversion
Google Brain(谷歌大脑)
最近的神经网络图像生成依赖于对网络输入的反向传播的工作的启发,我们提出了一个概念验证系统的语音纹理合成和语音转换的基础上两种机制:近似反转的表示学习的语音识别神经网络,和不同的源和目标话语之间的神经元激活的匹配统计。与图像纹理合成和神经风格转换类似,系统通过相对于输入波形样本优化成本函数来工作。为此,我们使用可区分的梅尔滤波器组特征提取管道和训练卷积CTC语音识别网络。我们的系统能够从非常有限的目标说话人数据中提取说话人特征,仅需几秒钟,并且可以用于生成逼真的语音串音或重建不同声音中的话语。
2018-03-08 cs.SD eess.AS stat.ML
Voice Cloning: a Multi-Speaker Text-to-Speech Synthesis Approach based on Transfer Learning
Università degli Studi di Torino(都灵大学);Cerence Inc.(赛轮思公司)
深度学习模型在机器学习的许多领域中正成为主导。文本到语音(TTS),从文本合成人工语音的过程,也不例外。为此,深度神经网络通常使用来自单个说话者的几个小时的录音语音的语料库进行训练。尝试产生不同于所学习的说话者的声音是昂贵的,并且需要大量的努力,因为需要记录新的数据集并重新训练模型。这就是为什么TTS模型通常是单扬声器的主要原因。所提出的方法的目标是克服这些限制,试图获得一个系统,这是能够模拟多扬声器的声学空间。这允许生成类似于不同目标说话者的语音的语音音频,即使在训练阶段期间没有观察到它们。
2021-02-10 cs.LG cs.SD eess.AS
Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology(代尔夫特理工大学);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们提出了一种新的方法,病理语音合成。而不是使用健康的语音作为源,我们定制一个现有的病理语音样本,以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题,因为在我们的方法中,语音转换(VC)模型不需要针对语音退化进行优化,而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念,我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明,合理的自然度高清晰度构音障碍的扬声器,虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比,地面真理。对于低清晰度和高清晰度的说话人,说话人特性转换是成功的,但对于中清晰度的说话人,转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
Reimagining Speech: A Scoping Review of Deep Learning-Powered Voice Conversion
Khora & Heka VR;Aalborg University(奥尔堡大学)
本文通过范围综述系统梳理了2017-2023年间621篇文献中的123项研究,总结了深度学习声音转换的主流方法、常见问题及未来研究方向。
2023-11-14 cs.AI cs.SD eess.AS
Building African Voices
Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition(Inspired Cognition公司)
现代语音合成技术可以在给定足够的高质量数据和计算资源的情况下产生听起来自然的语音。然而,许多语文的这类数据并不容易获得。本文主要研究非洲低资源语言的语音合成,从语料库的创建到文本到语音(TTS)系统的共享和部署。我们首先创建了一套通用的指令建设语音合成系统与最低限度的技术资源和主题的专业知识。接下来,我们通过参与式方法创建新的数据集并从“发现”数据(现有记录)中管理数据集,同时考虑可访问性,质量和广度。我们证明,我们可以开发合成器,生成清晰的语音与25分钟的创建语音,即使在次优环境中记录。最后,我们发布了12种非洲语言的语音数据、代码和训练语音,以支持研究人员和开发人员。
2022-07-01 cs.CL cs.SD eess.AS
Defense Against Synthetic Speech: Real-Time Detection of RVC Voice Conversion Attacks
Northeastern University(东北大学);University of Toronto(多伦多大学);MIT Art, Design and Technology(MIT艺术设计与技术大学)
本研究提出了一种实时检测RVC语音转换攻击的方法,通过流分类任务和短窗口声学特征提取,实现了低延迟的语音检测与分析。
2025-12-31 cs.AI cs.SD eess.AS
ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations
NVIDIA(英伟达)
在这项工作中,我们提出了一种使用经过自监督学习训练的语音表示的零射击(zero-shot)语音转换方法。首先,我们开发了一个多任务模型,将语音话语分解为语言内容,说话人特征和说话风格等特征。为了理清内容和扬声器表示,我们提出了一种基于Siamese网络的训练策略,该策略鼓励原始音频和音高偏移音频的内容表示之间的相似性。接下来,我们开发了一个合成模型与音高和持续时间预测,可以有效地重建语音信号从其分解表示。我们的框架允许可控和扬声器自适应合成,以执行zero-shot任何到任何语音转换,实现最先进的结果的度量评估扬声器的相似性,可理解性和自然性。对于目标说话者,仅使用10秒的数据,我们的框架就可以执行语音交换,并实现了5.5%的说话者验证EER,对于看不见的说话者,EER为8.4%。
2023-02-16 cs.LG cs.SD eess.AS
Improve Cross-lingual Voice Cloning Using Low-quality Code-switched Data
NetEase Games AI Lab(网易游戏人工智能实验室)
最近,序列到序列(seq-to-seq)模型已经成功地应用于文本到语音(TTS)合成语音的单语言文本。为了合成多种语言的语音,通常需要来自目标说话人的多语言语音。然而,它是既费力又昂贵的收集高质量的目标说话人的多语种TTS数据。本文提出了利用非目标说话人的低质量语码转换数据来实现目标说话人的跨语言语音克隆。实验表明,我们提出的方法可以产生高质量的代码转换语音的目标声音在自然度和说话人一致性。更重要的是,我们发现,我们的方法可以实现一个比较的结果,最先进的(SOTA)的跨语言语音克隆的性能。
2022-11-17 cs.CL cs.SD eess.AS
Generative Adversarial Networks for Unpaired Voice Transformation on Impaired Speech
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院)
本文主要研究如何利用语音转换(VC)来提高切除部分发音器官的手术患者的语音清晰度。由于数据采集的困难,VC中没有并行数据是非常可取的。虽然已经开发了用于非并行VC的技术,例如CycleGAN,但它们通常专注于转换说话者身份,并直接将一个说话者的语音转换为另一个说话者的语音,因此不解决这里的任务。在本文中,我们提出了一种新的方法,非并行VC。该方法将受损语音转换为正常语音,同时保留语言内容和说话人特征。据我们所知,这是第一个应用于受损语音的端到端基于GAN的无监督VC模型。实验结果表明,该方法优于CycleGAN。
2019-08-22 cs.LG cs.SD eess.AS
An Adaptive Learning based Generative Adversarial Network for One-To-One Voice Conversion
National Institute of Technology Durgapur(杜尔加布尔国立理工学院);Indian Statistical Institute(印度统计研究所)
近年来,语音转换(VC)由于其在语音辅助技术、自动电影配音和语音到歌唱转换(仅举几例)中的新兴应用而成为语音合成领域中的重要研究领域。语音转换基本上是在保持语言内容不变的情况下,将说话人的语音风格转换为说话人的语音风格。VC任务通过由语音分析、语音特征映射和语音重构组成的三级流水线来执行。生成对抗网络(GAN)模型是目前广泛使用的语音特征映射模型。在本文中,我们提出了一个自适应学习为基础的GAN模型称为ALGAN-VC的一个有效的一对一VC的发言人。我们的ALGAN-VC框架包括一些方法来提高语音质量和语音相似性之间的源和目标扬声器。该模型采用了一个密集的残差网络(DRN)类似的架构,以有效的语音特征学习的生成器网络,源到目标语音特征转换。我们还集成了自适应学习机制来计算所提出的模型的损失函数。此外,我们使用一个提升的学习率的方法,以提高所提出的模型的学习能力。该模型通过同时使用正向和反向映射来训练一对一VC。该模型在语音转换挑战(VCC)2016年,2018年和2020年数据集以及我们自己准备的语音数据集上进行了测试,该数据集已用印度地区语言和英语记录。生成的语音样本的主观和客观评价表明,该模型优雅地执行语音转换任务,实现高的说话人相似性和足够的语音质量。
2021-04-25 cs.LG cs.SD eess.AS
Adversarially learning disentangled speech representations for robust multi-factor voice conversion
Huya Inc.(虎牙公司)
将语音分解为分离的语音表示是实现语音转换(VC)中高度可控的风格转换的关键。传统的语音表示学习方法只将语音分解为说话人和内容,缺乏对其他韵律相关因素的控制。现有的语音表征学习方法主要采用随机重排序和ad-hoc瓶颈层大小调整等解纠缠算法,但难以保证鲁棒的语音表征解纠缠。为了提高VC中高度可控的风格迁移对多个因素的鲁棒性,我们提出了一个基于对抗学习的分离式语音表示学习框架。四个语音表示特征的内容,音色,节奏和音高提取,并进一步解开对抗掩码和预测(MAP)网络启发BERT。对抗性网络通过随机掩蔽和预测其中一个表示来最小化语音表示之间的相关性。实验结果表明,该框架显著提高了VC对多种因素的鲁棒性,语音质量MOS从2.79提高到3.30,MCD从3.89降低到3.58.
2021-08-20 cs.LG cs.SD eess.AS
EmoAttack: Utilizing Emotional Voice Conversion for Speech Backdoor Attacks on Deep Speech Classification Models
School of Cyberspace Science Xiangtan University Xiangtan, China;School of Cyberspace Science Xiangtan University Beijing, China;School of Software \& Microelectronics Peking University Beijing, China
本文提出 EmoAttack,将情感语音转换作为后门触发器攻击关键词检出与说话人验证模型,实验证明其攻击成功率高且强烈情感更适合作目标。
2024-09-06 cs.AI cs.SD eess.AS