Transfer the linguistic representations from TTS to accent conversion with non-parallel data
School of Data Science, The Chinese University of Hong Kong, Shenzhen(CUHK-Shenzhen), China(香港中文大学(深圳)数据科学学院)
本文提出一种基于非平行数据的非自回归口音转换框架,通过学习口音无关的语言表示并与 TTS 系统的语言表示对齐,结合母语数据预训练策略与丰富语义特征,显著提升了转换语音的质量与可懂度。
2024-01-07 cs.CL cs.SD eess.AS
Parallel Tacotron 2: A Non-Autoregressive Neural TTS Model with Differentiable Duration Modeling
Google(谷歌)
本文介绍了并行Tacotron 2,一个非自回归神经文本到语音模型与完全可微的持续时间模型,不需要监督的持续时间信号。持续时间模型基于一种新的注意力机制和基于软动态时间规整的迭代重建损失,该模型可以自动学习令牌-帧对齐以及令牌持续时间。实验结果表明,并行Tacotron 2优于基线的主观自然度在几个不同的多扬声器评价。其持续时间控制能力也得到了证明。
2021-08-29 cs.SD eess.AS
Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search
Kakao Enterprise(Kakao企业);Seoul National University(首尔国立大学)
最近,已经提出了诸如FastSpeech和ParaNet的文本转语音(TTS)模型来并行地从文本生成梅尔频谱图。尽管有这样的优点,但在没有自回归TTS模型作为其外部对准器的指导下,并行TTS模型不能被训练。在这项工作中,我们提出了辉光TTS,一个基于流的生成模型并行TTS,不需要任何外部对准。通过结合流和动态规划的属性,该模型搜索文本和语音的潜在表示之间的最可能的单调对齐。我们证明,强制执行硬单调对齐,使强大的TTS,它概括为长的话语,并采用生成流,使快速,多样,可控的语音合成。辉光TTS获得了一个数量级的速度比自回归模型,Tacotron 2,在合成具有可比的语音质量。我们进一步表明,我们的模型可以很容易地扩展到多扬声器设置。
2020-10-23 cs.SD eess.AS
Parallel Tacotron: Non-Autoregressive and Controllable TTS
Google(谷歌)
虽然神经端到端文本到语音模型可以合成高度自然的语音,但其效率和自然度仍有改进的空间。提出了一种基于变分自编码器的非自回归神经文语转换模型。这个模型称为\emph{Parallel Tacotron},在训练和推理过程中都是高度并行的,允许在现代并行硬件上进行有效的合成。变分自编码器的使用放松了文本到语音问题的一对多映射性质并提高了自然度。为了进一步提高自然度,我们使用轻量级卷积,它可以有效地捕获局部上下文,并引入迭代细化启发的迭代频谱图损失。实验结果表明,并行Tacotron匹配一个强大的自回归基线的主观评价,显着减少推理时间。
2020-10-22 cs.SD eess.AS
Predicting pairwise preferences between TTS audio stimuli using parallel ratings data and anti-symmetric twin neural networks
University of Edinburgh(爱丁堡大学);SpeakUnique Ltd.(SpeakUnique有限公司);KTH Royal Institute of Technology(KTH皇家理工学院)
主观听力测试结果的自动预测是一项具有挑战性的任务。即使听众的偏好是一致的,评级也可能因人而异。虽然以前的工作集中在预测听众的评级(平均意见分数)的个人刺激,我们专注于预测主观偏好的两个语音刺激相同的文本更简单的任务。我们提出了一个反对称孪生神经网络的基础上,对波形和相应的偏好分数训练的模型。我们探索注意力和循环神经网络来解释一对刺激在时间上不一致的事实。为了获得一个大的训练集,我们将听众的评级从MUSHRA测试转换为反映一对刺激中的一个刺激被评为高于另一个刺激的频率的值。具体来说,我们评估的数据从12个MUSHRA评估超过五年,包含不同的TTS系统,从不同的扬声器的数据建立的性能。我们的研究结果相比,一个国家的最先进的模型训练预测MOS分数。
2022-09-22 cs.CL cs.SD eess.AS
PPSpeech: Phrase based Parallel End-to-End TTS System
Beijing University of Posts and Telecommunications(北京邮电大学);Xiaoice, Software Technology Center, Microsoft(微软小冰软件技术中心)
当前的端到端自回归TTS系统(例如Tacotron 2)在合成语音的质量上优于传统的并行方法。但同时也带来了新的问题。由于自回归的性质,推理的时间成本必须与文本的长度成正比,这对在线服务提出了很大的挑战。另一方面,合成语音的风格变得不稳定,并且可能在句子之间发生明显变化。在本文中,我们提出了一个基于短语的并行端到端TTS系统(PPSpeech)来解决这些问题。PPSpeech在短语内使用自回归方法,并对不同的短语执行并行策略。通过这种方法,我们可以实现高质量和高效率。此外,我们提出了声学嵌入和文本上下文嵌入作为编码器的条件,以保持连续性和防止突然的风格或音色变化。实验表明,当句子包含5个以上短语时,PPSpeech的合成速度比句子级自回归Tacotron 2快得多。速度优势随着句子长度的增长而增加。主观实验表明,以声学嵌入和上下文嵌入为条件的系统能够使句子间的风格渐变自然,明显优于MOS中的全局风格标记(GST)。
2020-08-06 cs.SD eess.AS
Accent conversion using discrete units with parallel data synthesized from controllable accented TTS
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出一种基于离散单元的多口音转换模型,以母语语音自监督聚类得到的离散单元为中间目标,结合多说话人TTS还原母语口音,还提出高效数据增强法降低非母语数据需求,可在保留说话人身份的同时将多种非母语音色转为母语口音、提升流利度。
2024-09-30 cs.CL cs.SD eess.AS
FPETS : Fully Parallel End-to-End Text-to-Speech System
Turing Robot Co.,Ltd.(图灵机器人有限公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
端到端的文本转语音(TTS)系统可以大大提高合成语音的质量。但由于其自回归结构,通常遭受高时间延迟。合成的语音也可能遭受一些错误模式,如重复的单词,发音错误,和跳过的单词。在本文中,我们提出了一种新的非自回归,完全并行的端到端TTS系统(FPETS)。它采用了一种新的对齐模型和最近提出的U形卷积结构UFANS。与RNN不同的是,UFANS可以以完全并行的方式捕获长期信息。可训练的位置编码和两步训练策略用于学习更好的对齐。实验结果表明,FPETS利用并行计算的力量,并达到了显着的速度相比,最先进的端到端的TTS系统的推理。更具体地说,FPETS比Tacotron 2快600倍,比DCTTS快50倍,比Deep Voice快10倍。与其它系统相比,FPETS可以产生质量相当或更好的音频,并且错误更少。据我们所知,FPETS是第一个完全并行的端到端TTS系统。
2020-02-09 cs.CL cs.LG cs.SD
Can We Achieve High-quality Direct Speech-to-Speech Translation without Parallel Speech Data?
University of Chinese Academy of Sciences(中国科学院大学);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
本文提出ComSpeech复合模型及仅用S2TT与TTS数据训练的ComSpeech-ZS方法,通过对比学习实现无并行语音数据的高质量直接语音到语音翻译。
2024-06-11 cs.AI cs.CL cs.SD
Bayesian Speech Synthesizers Can Learn from Multiple Teachers
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
BELLE通过贝叶斯推断提升语音合成的不确定性建模,以更少的数据实现更优的语音生成性能。
2026-10-12 cs.SD eess.AS
Controllable Emphasis with zero data for text-to-speech
Amazon(亚马逊)
本文提出无需录音或标注的 TTS 可控重音方法,通过增加被强调单词的预测音素时长提升自然度与重音识别率,并在多语言、多嗓音和多风格实验中获得偏好。
2023-07-13 cs.LG cs.SD eess.AS
Prior-agnostic Multi-scale Contrastive Text-Audio Pre-training for Parallelized TTS Frontend Modeling
针对TTS前端监督学习受标注数据不足、依赖同质文本信号限制的问题,提出两阶段TAP-FM流水线,通过无监督多尺度对比文本-音频预训练提取多粒度表征,并行完成三类前端任务,性能达SOTA。
2024-04-14 cs.AI cs.SD eess.AS
Pseudo-Autoregressive Neural Codec Language Models for Efficient Zero-Shot Text-to-Speech Synthesis
Shanghai Jiao Tong University(上海交通大学);Microsoft Corporation(微软公司);Shanghai Jiao Tong University, Shanghai Innovation Institute(上海交通大学上海创新研究院)
提出伪自回归编解码器语言模型PALLE,结合自回归时间建模与非自回归并行生成,实现高效零样本TTS,在质量、相似度和速度上超越现有系统。
2025-08-05 cs.CL eess.AS
StyleTTS: A Style-Based Generative Model for Natural and Diverse Text-to-Speech Synthesis
提出StyleTTS,一种基于风格的并行TTS生成模型,通过可迁移单调对齐器和时长不变数据增强,利用自监督学习从参考语音合成自然且多样化的语音,显著提升了语音自然度和说话人相似度。
2023-11-20 cs.CL cs.LG cs.SD
Bootstrapping non-parallel voice conversion from speaker-adaptive text-to-speech
SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学(高等研究型大学));National Institute of Informatics(国立信息学研究所);The University of Edinburgh(爱丁堡大学)
语音转换(VC)和文本转语音(TTS)是共享类似目标的两个任务,即生成具有目标语音的语音。然而,它们通常是在截然不同的框架下独立开发的。在本文中,我们提出了一种方法来引导VC系统从一个预先训练的说话人自适应TTS模型和统一的技术,以及这两个任务的解释。此外,通过将大量的数据需求卸载到TTS模型的训练阶段,我们的VC系统可以使用少量的目标说话人语音数据来构建。它还开辟了使用一种看不见的外国语言来构建系统的可能性。我们的主观评价表明,所提出的框架不仅能够在标准的语言内的情况下实现有竞争力的性能,但也适应和转换使用语音话语在一个看不见的语言。
2019-09-14 cs.CL cs.LG cs.SD
Voice Filter: Few-shot text-to-speech speaker adaptation using voice conversion as a post-processing module
Alexa AI(亚马逊语音助手人工智能);National Taiwan University (NTU)(台湾大学)
最先进的文本转语音(TTS)系统需要几个小时的记录语音数据来生成高质量的合成语音。当使用减少量的训练数据时,标准TTS模型遭受语音质量和可懂度降级,使得训练低资源TTS系统成为问题。在本文中,我们提出了一种新的极低资源的TTS方法,称为语音过滤器,使用少至一分钟的语音从目标扬声器。它使用语音转换(VC)作为附加到一个预先存在的高质量的TTS系统的后处理模块,标志着在现有的TTS范式的概念转变,框架的Few-Shot TTS问题作为VC任务。此外,我们建议使用一个持续时间可控的TTS系统来创建一个并行的语音语料库,以促进VC任务。结果表明,语音过滤器优于国家的最先进的Few-Shot语音合成技术的客观和主观指标方面的一分钟的语音对一组不同的声音,而竞争对手的TTS模型建立在30倍以上的数据。
2022-02-16 cs.CL cs.LG eess.AS
TTS-by-TTS: TTS-driven Data Augmentation for Fast and High-Quality Speech Synthesis
Search Solutions Inc.(搜索解决方案公司);LINE Corp.(LINE公司);NAVER Corp.(NAVER公司)
在本文中,我们提出了一个文本到语音(TTS)驱动的数据增强方法,以提高非自回归(AR)TTS系统的质量。最近提出的非AR模型,如FastSpeech 2,已经成功地实现了快速语音合成系统。然而,它们的质量并不令人满意,特别是当训练数据量不足时。为了解决这个问题,我们提出了一个有效的数据增强方法,使用一个精心设计的AR TTS系统。在该方法中,大规模的合成语料库,包括文本波形对音素持续时间的AR TTS系统产生,然后用于训练目标非AR模型。实验结果表明,该方法显著提高了非AR语音合成系统的质量。特别是,我们将5小时的训练数据库增加到179小时的合成数据库。使用这些数据库,我们的TTS系统组成的FastSpeech 2声学模型与并行WaveGAN声码器实现了平均意见得分为3.74,这是40%,比传统的方法实现的。
2020-10-26 cs.SD eess.AS
FMSD-TTS: Few-shot Multi-Speaker Multi-Dialect Text-to-Speech Synthesis for Ü-Tsang, Amdo and Kham Speech Dataset Generation
本文提出FMSD-TTS框架,通过少量参考音频和方言标签实现多方言文本到语音合成,引入新颖的说话人-方言融合模块和方言专用动态路由网络,提升方言表达和说话人相似度,公开发布大规模合成藏语语音语料库及开源评估工具。
2026-04-24 cs.AI cs.CL cs.SD
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University(东南大学);National University of Singapore(新加坡国立大学)
本文提出了一种新的框架,建立一个语音转换(VC)系统的学习从文本到语音(TTS)合成系统,即TTS-VC迁移学习。首先,我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构,其中编码器提取强大的语言表示的文本,和解码器,条件下的目标说话人嵌入,需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实,并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中,编码器以语音代替文本作为输入,而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入,因此系统可以在非并行数据上进行训练,以进行任意到任意的语音转换。在语音转换训练过程中,我们分别提出了文本和语音到语音合成和语音转换网络。在运行时,语音转换网络使用自己的编码器-解码器架构。实验表明,该方法优于两个竞争的语音转换基线一致,即语音后验图和变分自动编码器的方法,在语音质量,自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
MultiSpeech: Multi-Speaker Text to Speech with Transformer
Microsoft(微软)
基于转换器的文本转语音(TTS)模型(例如,Transformer TTS~ \cite{li2019neural},FastSpeech~ \cite{ren2019fastspeech})已经显示出训练和推理效率优于基于RNN的模型(例如,Tacotron~ \cite{shen2018natural}),这是由于其在训练和/或推理中的并行计算。然而,并行计算增加了Transformer学习文本和语音对齐的难度,在多说话人、多噪声数据的情况下,这种难度进一步放大,阻碍了Transformer在多说话人TTS中的应用。本文提出了一种鲁棒、高质量的多说话人Transformer TTS系统MultiSpeech,该系统采用了几种特殊设计的组件/技术来提高文本到语音的对齐:1)在训练和推理中对编码器-解码器注意力的权重矩阵进行对角约束; 2)在编码器中对音素嵌入进行层归一化以更好地保留位置信息; 3)解码器预网中的瓶颈,以防止连续语音帧之间的复制。在VCTK和LibriTTS多说话人数据集上的实验证明了MultiSpeech的有效性:1)与基于朴素Transformer的TTS相比,MultiSpeech合成出的多说话人语音更加鲁棒、质量更好; 2)以MutiSpeech模型为老师,我们获得了一个强多说话人FastSpeech模型,其质量几乎为零,同时具有极快的推理速度。
2020-08-01 cs.CL cs.LG cs.SD
Speak, Read and Prompt: High-Fidelity Text-to-Speech with Minimal Supervision
Google Research(谷歌研究院)
我们介绍SPEAR-TTS,一个多扬声器的文本到语音(TTS)系统,可以训练与最小的监督。通过结合两种类型的离散语音表示,我们投TTS作为两个序列到序列的任务的组成:从文本到高级语义令牌(类似于“阅读”)和从语义令牌到低级声学令牌(“说话”)。将这两个任务解耦,可以使用大量的纯音频数据来训练“说话”模块,并解锁预训练和反向翻译的高效组合,以减少训练“阅读”组件时对并行数据的需求。为了控制扬声器的身份,我们采用示例提示,这使得SPEAR-TTS可以仅使用3秒的短样本来概括未见过的扬声器,而无需任何显式的扬声器表示或扬声器ID标签。我们的实验表明,SPEAR-TTS实现的字符出错率,是有竞争力的国家的最先进的方法,仅使用15分钟的并行数据,同时匹配地面实况语音的自然度和声学质量,在主观测试中测量。
2023-02-07 cs.SD eess.AS
Parallel GPT: Harmonizing the Independence and Interdependence of Acoustic and Semantic Information for Zero-Shot Text-to-Speech
School of Future Technology, South China University of Technology(未来技术学院,华南理工大学);School of Electronic and Information, South China University of Technology(电子与信息学院,华南理工大学)
本文提出 Parallel GPT,通过 AR 与 Coupled NAR 并行架构及 Parallel Tokenizer 协调声学、语义信息,在中英文零样本 TTS 上显著提升质量与效率。
2025-08-28 cs.SD eess.AS
VAENAR-TTS: Variational Auto-Encoder based Non-AutoRegressive Text-to-Speech Synthesis
Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);University of Cambridge(剑桥大学);Huya Inc.(虎牙公司)
提出了一种基于变分自编码器的非自回归文语转换(VAENAR-TTS)模型。基于序列到序列结构的自回归TTS(AR-TTS)模型可以产生高质量的语音,但其顺序解码过程可能是耗时的。最近,非自回归TTS(NAR-TTS)模型已被证明是更有效的并行解码过程。然而,这些NAR-TTS模型依赖于音素级持续时间来生成文本和声谱图之间的硬对齐。无论是通过强制对齐还是通过知识蒸馏来获得持续时间标签都是很麻烦的。此外,基于音素扩展的硬对齐会降低合成语音的自然度。相比之下,所提出的模型VAENAR-TTS是一个端到端的方法,不需要音素级的持续时间。VAENAR-TTS模型不包含递归结构,并且在训练和推理阶段都是完全非自回归的。基于VAE架构,对齐信息被编码在潜在变量中,并且在解码器中使用文本和潜在变量之间的基于注意力的软对齐来重建频谱图。实验结果表明,VAENAR-TTS实现了最先进的合成质量,而合成速度与其他NAR-TTS模型相当。
2021-07-07 cs.MM cs.SD eess.AS
Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech
Kakao Enterprise(Kakao企业);School of Computing, KAIST(韩国科学技术院计算学院)
最近几个端到端的文本到语音(TTS)模型,使单阶段的训练和并行采样已被提出,但它们的样本质量不匹配的两个阶段的TTS系统。在这项工作中,我们提出了一个并行的端到端的TTS方法,产生更自然的声音比目前的两阶段模型的音频。我们的方法采用变分推理与规范化流程和对抗性训练过程,提高了生成建模的表达能力。我们还提出了一个随机的持续时间预测合成语音与不同的节奏从输入文本。通过对潜在变量和随机持续时间预测器的不确定性建模,我们的方法表达了自然的一对多关系,其中文本输入可以以多种方式以不同的音高和节奏进行说话。对LJ Speech(单个说话者数据集)的主观人类评价(平均意见得分或MOS)表明,我们的方法优于最好的公开TTS系统,并实现了与地面实况相当的MOS。
2021-06-11 cs.SD eess.AS
Cross-Speaker Emotion Transfer for Low-Resource Text-to-Speech Using Non-Parallel Voice Conversion with Pitch-Shift Data Augmentation
LINE Corp.(LINE公司);NAVER Corp.(NAVER公司)
通过语音转换(VC)的数据增强已成功地应用于低资源表达的文本转语音(TTS)时,只有中性数据的目标说话人。虽然VC的质量对于这种方法至关重要,但学习稳定的VC模型是具有挑战性的,因为在低资源场景中数据量有限,并且高度表达的语音具有很大的声学变化。为了解决这个问题,我们提出了一种新的数据增强方法,结合音高偏移和VC技术。由于音高偏移数据增强能够覆盖各种音高动态,因此即使只有1,000个目标说话者的中性数据可用,它也可以极大地稳定VC和TTS模型的训练。主观测试结果表明,基于FastSpeech 2的情感语音合成系统与传统方法相比,自然度和情感相似度都有明显提高。
2022-07-05 cs.LG cs.SD eess.AS
Improved parallel WaveGAN vocoder with perceptually weighted spectrogram loss
NAVER Corp.(NAVER公司);LINE Corp.(LINE公司);Search Solutions Inc.(Search Solutions公司)
本文提出了一种基于并行WaveGAN的文语转换(TTS)系统的频谱域感知加权技术。最近提出的并行WaveGAN声码器使用快速非自回归WaveNet模型成功地生成波形序列。通过将多分辨率短时傅里叶变换(MR-STFT)准则与生成对抗网络相结合,可以有效地训练轻量级卷积网络,而无需任何蒸馏过程。为了进一步提高声码性能,我们提出了频率相关加权的MR-STFT损失函数的应用。所提出的方法惩罚感知敏感的错误在频域中,因此,该模型被优化,以减少合成语音中的听觉噪声。主观听力测试结果表明,我们提出的方法实现4.21和4.26 TTS的平均意见分数为女性和男性韩国人,分别。
2021-01-19 cs.SD eess.AS
An Empirical Study on L2 Accents of Cross-lingual Text-to-Speech Systems via Vowel Space
Samsung Research(三星研究院)
随着跨语言文本转语音(TTS)系统的发展,二语(第二语言,或外国)口音问题出现了。此外,运行这样的跨语言TTS系统的主观评价是麻烦的。元音空间分析是一种很好的替代分析工具,它经常被用来探索语言的各个方面,包括第二语言的口音。本研究运用元音空间分析方法探讨跨语言TTS系统中的二语口音。通过元音空间分析,我们发现:(1)平行结构(Glow-TTS)的二语重音比自回归结构(Tacotron)的二语重音少;(2)语言对中二语重音在非共享元音中占主导地位;(3)跨语言TTS系统的二语重音与人类学习者的二语重音有一些共同现象。我们的研究结果意味着,它是必要的TTS系统处理每个语言对不同的,这取决于他们的语言特征,如非共享元音。这也暗示了我们可以在开发跨语言TTS系统时进一步结合语言学知识。
2022-11-06 cs.SD eess.AS
MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting
Kohli Centre on Intelligent Systems, IIIT Hyderabad(海得拉巴国际信息技术学院科利智能系统中心);TCS Research(塔塔咨询服务公司研究部)
本文提出MParrotTTS模型,利用自监督语音表示的模块化训练范式,在低资源下实现高质量多语言多说话人TTS及跨语言声音转换,仅用少量监督数据即超越现有基线。
2023-05-19 cs.CL cs.LG cs.SD
FastSpeech: Fast, Robust and Controllable Text to Speech
Zhejiang University(浙江大学);Microsoft Research(微软研究院);Microsoft STC Asia(微软亚洲互联网工程院)
基于神经网络的端到端文语转换(TTS)技术显著提高了合成语音的质量。突出的方法(例如,Tacotron 2)通常首先从文本生成梅尔频谱图,然后使用声码器(如WaveNet)从梅尔频谱图合成语音。与传统的拼接和统计参数方法相比,基于神经网络的端到端模型的推理速度慢,并且合成的语音通常不鲁棒(即,某些单词被跳过或重复)和缺乏可控性(语音速度或韵律控制)。在这项工作中,我们提出了一种新的前馈网络的基础上Transformer的并行生成梅尔频谱的TTS。具体而言,我们提取注意力对齐从编码器-解码器为基础的教师模型音素持续时间预测,这是由长度调节器扩展源音素序列,以匹配的目标梅尔频谱图序列的长度并行梅尔频谱图生成。在LJSpeech数据集上的实验表明,我们的并行模型在语音质量方面与自回归模型相匹配,几乎消除了特别困难情况下的单词跳过和重复问题,并且可以平滑地调整语音速度。最重要的是,与自回归Transformer TTS相比,我们的模型将梅尔频谱图生成速度提高了270倍,端到端语音合成速度提高了38倍。因此,我们称我们的模型为FastSpeech。
2019-11-20 cs.CL cs.LG cs.SD
Cotatron: Transcription-Guided Speech Encoder for Any-to-Many Voice Conversion without Parallel Data
Seoul National University(首尔国立大学);MINDsLab Inc.(MINDsLab公司)
我们提出了Cotatron,一个转录引导的语音编码器,用于与说话者无关的语言表示。Cotatron基于多扬声器TTS架构,可以使用传统的TTS数据集进行训练。我们训练了一个语音转换系统来重建语音与Cotatron特征,这是类似于以前的方法基于语音后验图(PPG)。通过使用来自VCTK数据集的108个说话者训练和评估我们的系统,我们在自然度和说话者相似性方面都优于以前的方法。我们的系统还可以转换训练过程中看不见的说话者的语音,并利用ASR来自动转录,同时最大限度地降低性能。音频样本可在https://mindslab-ai.github.io/cotatron上获得,带有预训练模型的代码将很快提供。
2020-08-14 cs.LG cs.SD eess.AS
Luna-TTS Family Technical Report
VUI Labs Research(VUI实验室研究院)
该研究提出基于扩散语言模型的 Luna-TTS 系列 TTS 系统,含非自回归与实时自回归变体,在多数据集上的语音识别、相似度及情感控制等指标优于对比系统。
2026-08-13 cs.SD eess.AS
NAIST Simultaneous Speech Translation System for IWSLT 2024
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文提出 NAIST 在 IWSLT 2024 同声传译赛道上的系统,通过结合 HuBERT 和 mBART 构建多语言端到端语音翻译模型,并采用级联增量式 TTS 模块实现语音到语音翻译,其中升级后的 TTS 模块有效提升了整体系统性能。
2024-06-30 cs.CL cs.SD eess.AS
Towards Transfer Learning for End-to-End Speech Synthesis from Deep Pre-Trained Language Models
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
现代文本到语音(TTS)系统能够生成听起来几乎像人类语音一样自然的音频。然而,开发高质量的TTS系统的门槛仍然很高,因为通常需要相当大的工作室质量的<text,audio>对。与用于开发最先进系统的商业数据相比,公开提供的数据在质量和规模方面通常较差。在公开数据上训练的TTS系统生成的音频不仅听起来不那么自然,而且还表现出更多的背景噪声。在这项工作中,我们的目标是通过在训练过程中为TTS系统提供由深度预训练的语言模型提取的文本知识来降低TTS系统对高质量数据的依赖。特别是,我们调查使用BERT,以协助培训的Tacotron-2,一个国家的最先进的TTS组成的编码器和基于注意力的解码器。BERT表示从大量的未标记的文本数据中学习,包含非常丰富的语义和语法信息的输入文本,并有可能被利用的TTS系统,以弥补缺乏高质量的数据。我们将BERT作为一个并行分支的Tacotron-2编码器与自己的注意头。对于一个输入文本,它被同时传递到BERT和Tacotron-2编码器。由两个分支提取的表示被级联,然后被馈送到解码器。作为初步研究,尽管我们没有发现将BERT整合到Tacotron-2中可以在人类可感知的水平上生成更自然或更清晰的语音,但我们观察到其他方面的改进,例如模型在知道何时停止解码方面有了显着的改进,从而在合成音频结束时的胡言乱语更少,并且在训练期间收敛更快。
2019-06-17 cs.CL cs.SD eess.AS
StreamTN: A Low-Latency Streaming Chinese Text Normalization Model for Streaming TTS in Dialogue Systems
Northwestern Polytechnical University(西北工业大学);Shenzhen Pimei Technology Co., Ltd.(深圳皮米科技有限公司)
StreamTN是一种基于Qwen3-0.6B的双轨流式中文文本规范化模型,通过任务微调实现低延迟、高准确率,并引入新基准评估,适用于对话系统TTS。
2026-09-22 eess.AS
EM-TTS: Efficiently Trained Low-Resource Mongolian Lightweight Text-to-Speech
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学)
本文提出EM-TTS,一种基于深度卷积神经网络的两阶段端到端轻量级TTS模型,通过数据增强解决低资源蒙古语问题,在保证语音质量和自然度的同时显著减少训练时间和参数。
2024-03-17 cs.LG cs.SD eess.AS
Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention
PKSHA Technology, Inc.(PKSHA科技公司)
本文描述了一种基于深度卷积神经网络(CNN)的新型文本到语音(TTS)技术,而不使用任何递归单元。近年来,递归神经网络(RNN)已经成为对序列数据建模的标准技术,并且该技术已经被用于一些前沿的神经TTS技术中。然而,训练RNN组件通常需要非常强大的计算机,或者非常长的时间,通常需要几天或几周。另一方面,最近的其他研究表明,由于高度的并行性,基于CNN的序列合成可以比基于RNN的技术快得多。本文的目的是表明,一种替代的神经TTS仅基于CNN减轻这些经济成本的培训。在我们的实验中,使用配备两个GPU的普通游戏PC对所提出的深度卷积TTS进行了充分的过夜(15小时)训练,而合成语音的质量几乎可以接受。
2020-09-30 cs.AI cs.LG cs.SD
Incremental Text-to-Speech Synthesis with Prefix-to-Prefix Framework
Kwai Inc.(Kwai公司);Amazon(亚马逊);Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
文本到语音合成(TTS)近年来取得了快速的发展,其中神经方法能够产生具有高自然度的音频。然而,这些努力仍然受到两种延迟的影响:(a){ \em计算延迟}(合成时间),即使采用并行方法,其也随着句子长度线性增长,以及(b)在输入文本增量生成的场景中(例如在同声翻译、对话生成和辅助技术中)的{ \em输入延迟}。为了减少这些延迟,我们设计了第一个神经增量TTS方法的基础上最近提出的前缀到前缀的框架。我们以在线方式合成语音,播放一段音频,同时生成下一段,导致$O(1)$而不是$O(n)$延迟。
2020-10-07 cs.CL cs.SD eess.AS
M2-CTTS: End-to-End Multi-scale Multi-modal Conversational Text-to-Speech Synthesis
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Unisound AI Technology Co., Ltd(云知声智能科技股份有限公司)
针对现有对话TTS系统忽略局部细粒度韵律特征、仅依赖文本特征的不足,提出多尺度多模态对话TTS系统M2-CTTS,通过粗细粒度结合的文本与声学上下文模块建模对话,在CMOS测试中实现更优韵律表现与自然度。
2023-05-03 cs.CL cs.SD eess.AS
FastPitchFormant: Source-filter based Decomposed Modeling for Speech Synthesis
Speech AI Lab, NCSOFT(NCSOFT语音AI实验室)
已经提出了用于对具有声学特征的韵律进行建模和控制的方法用于神经文本到语音(TTS)模型。韵律语音可以通过调节声学特征来生成。然而,合成语音与大的音高移位规模遭受音频质量下降,和扬声器特性变形。为了解决这个问题,我们提出了一个基于前馈Transformer的TTS模型,该模型基于源滤波器理论设计。这个模型称为FastPitchForcenter,它有一个独特的结构,可以并行处理文本和声学特征。通过分别对每个特征建模,可以减轻模型学习两个特征之间的关系的趋势。
2021-06-29 cs.LG cs.SD eess.AS
UFANS: U-shaped Fully-Parallel Acoustic Neural Structure For Statistical Parametric Speech Synthesis With 20X Faster
Turing Robot co.ltd(图灵机器人有限公司);Chinese University of Hongkong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data (SRIBD)(深圳大数据研究院)
具有自回归结构的神经网络,如递归神经网络(RNN),已成为近年来参数化文本到语音合成(TTS)的声学建模研究中最具吸引力的结构。尽管这些模型具有捕获长期依赖性的突出能力,但这些模型由无法完全并行的大量顺序计算组成。在本文中,我们提出了一个U形的全并行声学神经结构(UFANS),这是一个去卷积的替代RNN的统计参数语音合成(SPSS)。实验证明,我们提出的模型比基于RNN的声学模型快20倍以上,在GPU上进行训练和推理,语音质量相当。此外,我们还研究了信息依赖性的长短对合成语音质量的影响。
2018-11-28 cs.SD eess.AS
Unsupervised Text-to-Speech Synthesis by Unsupervised Automatic Speech Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
一种无监督的文本转语音合成(TTS)系统,通过观察:1)该语言中的未转录语音波形的集合; 2)在不访问任何转录语音的情况下以该语言书写的文本的集合,来学习生成与该语言中的任何书写句子相对应的语音波形。开发这样的系统可以显著提高语音技术对没有大量并行语音和文本数据的语言的可用性。本文提出了一种基于对齐模块和合成模块的无监督TTS系统,对齐模块输出伪文本,合成模块使用伪文本进行训练,真实文本进行推理。我们的无监督系统可以在七种语言中实现与有监督系统相当的性能,每种语言大约10-20小时。对文本单元和声码器的影响也进行了仔细的研究,以更好地了解哪些因素可能影响无监督TTS性能。我们的模型生成的示例可以在https://cactuswiththoughts.github.io/UnsupTTS-Demo上找到,我们的代码可以在https://github.com/lwang114/UnsupTTS上找到。
2022-08-15 cs.AI eess.AS
PortaSpeech: Portable and High-Quality Generative Text-to-Speech
Zhejiang University(浙江大学)
非自回归文本转语音(NAR-TTS)模型,如FastSpeech 2和Glow-TTS,可以从给定的文本中并行合成高质量的语音。在分析了两种生成式NAR-TTS模型(VAE和归一化流)之后,我们发现:VAE善于捕捉长范围语义特征(例如,韵律),但遭受模糊和不自然的结果;并且归一化流擅长于重构频率分箱细节,但当模型参数的数量有限时表现不佳。受这些观察的启发,使用轻量级架构生成具有自然细节和丰富韵律的多样化语音,我们提出了PortaSpeech,一种便携式和高质量的生成文本转语音模型。具体来说,1)为了准确地对韵律和梅尔频谱图细节进行建模,我们采用了一个轻量级的VAE,它具有增强的先验知识,然后是一个基于流的后网络,具有强条件输入作为主要架构。2)为了进一步压缩模型大小和内存占用,我们在后网络中的仿射耦合层中引入了分组参数共享机制。3)为了提高合成语音的表达能力,减少文本和语音之间对精确细粒度对齐的依赖,我们提出了一种混合对齐的语言编码器,它结合了硬词间对齐和软词内对齐,显式地提取词级语义信息。实验结果表明,PortaSpeech优于其他TTS模型在语音质量和韵律建模方面的主观和客观评价指标,并显示只有轻微的性能下降时,减少模型参数为6.7M(约4倍模型大小和3倍运行时内存压缩比相比FastSpeech 2)。我们广泛的消融研究证明PortaSpeech中的每种设计都是有效的。
2022-02-13 cs.SD eess.AS
ControlSpeech: Towards Simultaneous and Independent Zero-shot Speaker Cloning and Zero-shot Language Style Control
Zhejiang University(浙江大学);Alibaba Tongyi Speech Lab(阿里云语音实验室)
ControlSpeech提出一个同时可控音色、内容与风格的零样本TTS系统,通过离散解耦编解码与SMSD模块解决风格控制中的多对多问题,并公开VccmDataset数据集,在多项指标上达到可比或SOTA性能。
2025-06-04 cs.LG cs.SD eess.AS
Do You Hear What I Mean? Quantifying the Instruction-Perception Gap in Instruction-Guided Expressive Text-To-Speech Systems
National Taiwan University(台湾大学);University of Southern California(南加州大学);University of Michigan(密歇根大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(台湾大学人工智能卓越研究中心)
本文研究了指令引导的表达性文本到语音系统中指令与感知之间的差距,通过感知分析和人类评价揭示了指令可控性及系统改进方向。
2026-04-27 eess.AS
Structured State Space Decoder for Speech Recognition and Synthesis
CyberAgent, Inc.(CyberAgent公司)
近年来开发的自动语音识别(ASR)系统已经显示出具有自我注意力模型(例如,Transformer和Conformer),它们正在取代传统的递归神经网络。同时,最近提出了一种结构化的状态空间模型(S4),为各种长序列建模任务,包括原始语音分类产生了有希望的结果。S4模型可以并行训练,与Transformer模型相同。在这项研究中,我们将S4作为ASR和文本到语音(TTS)任务的解码器,通过与Transformer解码器进行比较。实验结果表明,该模型在LibriSpeech测试-clean/测试-other集上的竞争词出错率(WER)为1.88%/4.25%,在CSJ eval 1/eval 2/eval 3集上的字符出错率(CER)为3.80%/2.63%/2.98%.此外,该模型比标准的Transformer模型更鲁棒,特别是对于两个数据集上的长格式语音。对于TTS任务,所提出的方法优于Transformer基线。
2022-10-31 cs.LG cs.SD eess.AS
MaskGCT: Zero-Shot Text-to-Speech with Masked Generative Codec Transformer
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Guangzhou Quwan Network Technology(广州曲湾网络科技)
本文提出MaskGCT,一种完全非自回归的两阶段零样本TTS模型,通过掩码-预测范式并行生成语义和声学令牌,无需显式对齐和音素时长预测,在10万小时语音上超越现有最先进系统。
2024-10-20 cs.AI cs.LG cs.SD
Waveform generation for text-to-speech synthesis using pitch-synchronous multi-scale generative adversarial networks
Aalto University(阿尔托大学);National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学)
文本转语音合成的最新技术水平最近由于新颖的神经波形生成方法(例如WaveNet)而得到了相当大的改进。然而,这些方法遭受缓慢的顺序推理过程,而他们的并行版本是难以训练,甚至更昂贵的计算。与此同时,生成对抗网络(GANs)在图像生成方面取得了令人印象深刻的成果,并正在进入音频应用;并行推理是其利润丰厚的特性之一。本研究采用GAN训练技术的最新进展,研究了两个领域(语音信号和声门激励)的TTS波形生成。听力测试结果表明,虽然使用GAN的直接波形生成仍然远远落后于WaveNet,但基于GAN的声门激励模型可以实现与WaveNet声码器相当的质量和语音相似性。
2018-10-30 cs.SD eess.AS stat.ML
DubWise: Video-Guided Speech Duration Control in Multimodal LLM-based Text-to-Speech for Dubbing
Sony Research India Pvt. Ltd.(索尼印度私人有限公司研究院);Indraprastha Institute of Information Technology (IIIT)(因德拉普拉斯塔信息技术学院(IIIT))
针对配音后的音视频对齐难题,本文提出 DubWise,利用跨模态注意力融合文本、说话人身份与视频时长令牌,使 TTS 在非平行和跨语言场景下实现更好的唇形同步与自然度。
2024-06-13 cs.SD eess.AS
Unsupervised Polyglot Text To Speech
Facebook AI Research(脸书人工智能研究院);Tel-Aviv University(特拉维夫大学)
我们提出了一个TTS神经网络,能够产生多种语言的语音。所提出的网络是能够转移的声音,这是作为一个样本,在源语言,到几个目标语言之一。训练是在不使用匹配或并行数据的情况下完成的,即,而不需要多语言中的同一说话者的样本,使得该方法更加适用。这种转换基于学习一个多语言网络,该网络具有多个每种语言的子网络,并添加损失项,以保持说话者在多种语言中的身份。我们评估了拟议的polyglot神经网络的三种语言,总共超过400扬声器,并表现出令人信服的转换能力。
2019-02-06 cs.CL cs.LG cs.SD
EmoVoice: LLM-based Emotional Text-To-Speech Model with Freestyle Text Prompting
Shanghai Jiao Tong University(上海交通大学);Tongyi Speech Lab(通义语音实验室);Tianjin University(天津大学);Zhejiang University(浙江大学);Shanghai Jiao Tong University, Shanghai Innovation Institute(上海交通大学上海创新研究院)
提出情感可控 TTS 模型 EmoVoice,利用 LLM 实现细粒度自由格式自然语言情感控制,并采用音素增强变体设计提升内容一致性,同时构建高质量数据集,在多语种测试中达到 SOTA。
2025-08-13 cs.AI cs.CL eess.AS
An objective evaluation of the effects of recording conditions and speaker characteristics in multi-speaker deep neural speech synthesis
Technical University(技术大学)
多说话者口语数据集使得能够创建可以输出多个语音身份的文本到语音合成(TTS)系统。多说话者(MSPK)场景还允许每个说话者使用更少的训练样本。然而,在所得到的声学模型中,并非所有说话者都表现出相同的合成质量,并且一些语音身份根本无法使用。在本文中,我们评估了录音条件、说话者性别和说话者特殊性对深度神经TTS架构(即Tacotron 2)合成输出质量的影响。评估是可能的,因为使用了一个大型的罗马尼亚平行口语语料库,包含超过81小时的数据。在此设置中,我们还评估了不同类型的文本表示的影响:正字法,语音和语音扩展与音节边界和词汇重音标记。我们使用等错误率(EER)和单词错误率(WER)的客观措施来评估MSPK系统的结果,并且还研究了由精确的说话人验证网络计算的嵌入的自然和合成t-SNE投影之间的距离。结果表明,录音条件和说话人的合成语音质量之间确实存在很大的相关性。说话者性别不影响输出,并且用音节边界和词汇重音信息扩展输入文本表示并不能同等地增强跨所有说话者身份生成的音频。自然和合成扬声器嵌入的t-SNE投影的可视化显示,声学模型改变了一些扬声器的神经表示,但不是所有的。结果,这些扬声器具有较低的输出语音性能。
2021-06-03 cs.SD eess.AS