A review-based study on different Text-to-Speech technologies
Leading University(领先大学)
本文通过综述研究梳理了拼接式、共振峰合成、统计参数等传统TTS技术及神经、混合等前沿TTS技术,从语音自然度、系统复杂度、应用适配性维度对比优劣,为相关从业者和用户提供参考。
2023-12-17 cs.CL cs.LG cs.SD
E3 TTS: Easy End-to-End Diffusion-based Text to Speech
Google(谷歌公司)
本文提出 E3 TTS,一种无需中间表示和对齐信息的端到端扩散文本到语音模型,可直接从纯文本生成高保真音频,并支持零样本编辑等任务。
2023-11-02 cs.CL cs.LG cs.SD
Synth2Aug: Cross-domain speaker recognition with TTS synthesized speech
Google LLC(谷歌有限责任公司);DeepMind(深度思维)
近年来,文语转换(TTS)已被用作语音识别的数据增强技术,以帮助补充训练数据中的不足。相应地,我们研究了使用多说话人TTS系统来合成支持说话人识别的语音。在这项研究中,我们专注于任务的分析,其中一个相对较少的扬声器可用于培训。我们在我们的数据集上观察到,TTS合成语音提高了跨域说话人识别性能,并且可以有效地与多风格训练相结合。此外,我们探讨了不同类型的文本转录用于TTS合成的有效性。结果表明,匹配目标域的文本内容是一个很好的做法,如果这是不可行的,一个足够大的词汇量的成绩单建议。
2020-11-24 cs.LG cs.SD eess.AS
A Comparative Study of Self-Supervised Speech Representations in Read and Spontaneous TTS
KTH Royal Institute of Technology(KTH皇家理工学院)
本文通过固定TTS架构对比多种自监督语音表征在朗读与自发语音TTS中的表现,发现经ASR微调的12层wav2vec2.0第9层效果最佳,优于梅尔频谱图及其他SSL。
2023-07-10 cs.HC cs.LG cs.SD
UnifySpeech: A Unified Framework for Zero-shot Text-to-Speech and Voice Conversion
Chinese Academy of Science(中国科学院);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学)
文语转换(TTS)和语音转换(VC)是两个不同的任务,都是为了根据不同的输入方式生成高质量的说话语音。由于它们的相似性,本文提出了UnifySpeech,首次将TTS和VC纳入统一的框架中。该模型是基于这样的假设,即语音可以被解耦为三个独立的成分:内容信息,说话人信息,韵律信息。TTS和VC都可以看作是从输入中挖掘这三部分信息,完成语音的重构。对于TTS,语音内容信息来自文本,而在VC中,它来自源语音,因此两个任务中除了语音内容提取模块之外,其余所有单元都是共享的。我们采用矢量量化和域约束来弥合TTS和VC的内容域之间的差距。客观和主观评价结果表明,通过将两个任务结合起来,TTS获得了更好的说话人建模能力,而VC获得了令人印象深刻的语音内容解耦能力。
2023-01-10 cs.CL cs.LG cs.SD
Transfer Learning Framework for Low-Resource Text-to-Speech using a Large-Scale Unlabeled Speech Corpus
Seoul National University(首尔国立大学);Samsung Research, Samsung Electronics(三星电子三星研究院)
文本转语音(TTS)模型的训练需要大量的文本标记语音语料,这是一个收集起来很麻烦的问题。通过利用wav2vec2.0表示,未标记语音可以大大提高性能,特别是在缺乏标记语音的情况下。我们还将所提出的方法扩展到zero-shot多说话人TTS(ZH-TTS)。实验结果验证了该方法在自然度、可懂度和说话人泛化方面的有效性。我们强调,在仅10分钟的标记数据集上微调的单说话人TTS模型优于其他基线,并且在仅30分钟的单说话人数据集上微调的MST-TTS模型可以通过在未标记的多说话人语音语料库上进行预训练来生成任意说话人的语音。
2022-10-06 cs.LG eess.AS
Clip-TTS: Contrastive Text-content and Mel-spectrogram, A High-Quality Text-to-Speech Method based on Contextual Semantic Understanding
本文提出Clip-TTS方法,利用Clip架构在文本编码阶段建立文本与真实梅尔频谱图的语义联系,并采用Transformer结构实现快速推理,在LJSpeech和Baker数据集上取得最先进的MOS分数。
2025-03-08 cs.AI cs.CL cs.HC
SANE-TTS: Stable And Natural End-to-End Multilingual Text-to-Speech
MINDsLab Inc.(MINDsLab公司);Seoul National University(首尔国立大学);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
在本文中,我们提出了SANE-TTS,一个稳定的和自然的端到端的多语言TTS模型。由于特定说话人的多语种语料难以获取,因此,利用单语语料训练多语种TTS模型是不可避免的。我们引入了说话人正则化损失,提高了跨语言合成过程中的语音自然度,以及领域对抗训练,这适用于其他多语言TTS模型。此外,通过增加说话人正则化损失,在持续时间预测器中用零向量代替说话人嵌入,稳定了跨语言推理。通过这种替换,我们的模型生成的语音与适度的节奏,无论源扬声器在跨语言合成。在MOS评估中,SANE-TTS在跨语言和语言内合成中均达到3.80以上的自然度评分,其中地面真实评分为3.99。此外,SANE-TTS保持说话人相似性接近地面真理,即使在跨语言推理。音频样本可以在我们的网页上找到。
2022-06-24 cs.LG eess.AS
Stutter-TTS: Controlled Synthesis and Improved Recognition of Stuttered Speech
Amazon Alexa AI(亚马逊Alexa人工智能部门)
口吃是一种语言障碍,其中语音的自然流动被音节,单词和短语的块,重复或重复打断。大多数现有的自动语音识别(ASR)接口在具有口吃的话语上表现不佳,这主要是由于缺乏匹配的训练数据。因此,具有口吃的语音的合成提供了改善这种类型的语音的ASR的机会。我们描述了Stutter-TTS,一个端到端的神经文本到语音模型,能够合成不同类型的口吃话语。我们开发了一种简单而有效的韵律控制策略,在训练过程中将额外的标记引入源文本以代表特定的口吃特征。通过选择口吃标记的位置,Stutter-TTS允许单词级控制口吃在合成话语中发生的位置。我们能够以高准确度合成口吃事件(F1分数在0.63和0.84之间,取决于口吃类型)。通过对合成口吃语音的ASR模型进行微调,我们能够将口吃话语的单词错误相对减少5.7%,对于流利话语只有轻微(<0.2%相对)的退化。
2022-11-04 cs.CL cs.LG cs.SD
Enhancing Speech Intelligibility in Text-To-Speech Synthesis using Speaking Style Conversion
University of Crete(克里特大学);Foundation for Research and Technology - Hellas(希腊研究与技术基金会)
数字助理的日益普及使得文本到语音(TTS)合成系统成为现代移动设备不可或缺的功能。因此,期望构建一种能够在存在噪声的情况下生成高度可理解的语音的系统。过去的研究探讨了TTS合成中的风格转换,但合成质量下降往往会导致更差的可懂度。为了克服这些限制,我们提出了一种新的迁移学习方法,使用Tacotron和基于WaveRNN的TTS合成。所提出的语音系统利用两种修改策略:(a)伦巴第说话风格的数据和(b)频谱整形和动态范围压缩(SSDRC),已被证明提供高清晰度增益,通过重新分配信号能量的时间-频率域。我们把这种扩展称为Lombard-SSDRC TTS系统。可懂度增强量化的位(SIIB-Gauss)措施表明,拟议的Lombard-SSDRC TTS系统显示出显着的相对改善110%和130%之间的语音成形噪声(SSN),和47%至140%的竞争扬声器噪声(CSN)对国家的最先进的TTS方法。额外的主观评价表明,Lombard-SSDRC TTS成功地提高了语音清晰度,与基线TTS方法相比,SSN和CSN的中位关键字校正率分别提高了455%和104%。
2020-08-13 cs.LG cs.SD eess.AS
EAT: Enhanced ASR-TTS for Self-supervised Speech Recognition
Brno University of Technology(布尔诺理工大学)
自监督ASR-TTS模型在域外数据条件下受到影响。在这里,我们提出了一个增强的ASR-TTS(EAT)模型,它包括两个主要特征:1)ASR $\rightarrow$ TTS方向配备了一个语言模型奖励,以惩罚ASR假设,然后将其转发到TTS。2)在TTS $\rightarrow$ ASR方向上,引入超参数以在将合成语音发送到ASR以处理域外数据之前缩放来自合成语音的注意力上下文。训练策略和EAT模型的有效性进行了探讨域外数据条件下。结果表明,EAT在Librispeech和BABEL上分别将监督训练和自监督训练的性能差距缩小了2.6%和2.7%。
2021-04-13 cs.AI cs.LG cs.SD
DiTTo-TTS: Diffusion Transformers for Scalable Text-to-Speech without Domain-Specific Factors
KRAFTON(克拉夫顿(游戏公司));NVIDIA(英伟达公司)
本文提出基于 DiT 的 DiTTo-TTS,通过变长建模、长度预测和语义潜在条件,在 82K 小时数据与 790M 参数规模下实现无需音素、时长等领域因素的先进零样本 TTS。
2025-02-17 cs.AI cs.CL cs.LG
AdaSpeech 3: Adaptive Text to Speech for Spontaneous Style
Microsoft(微软)
虽然最近的文本到语音(TTS)模型在合成阅读风格(例如,有声读物)语音,但是合成自发式语音(例如,播客或对话),主要是因为两个原因:1)缺乏用于自发语音的训练数据; 2)难以对自发语音中的填充停顿(um和uh)和不同节奏进行建模。在本文中,我们开发了AdaSpeech 3,这是一个自适应TTS系统,可以微调训练有素的阅读式TTS模型,用于自发式语音。具体来说,1)为了在文本序列中适当地插入填充停顿(FP),我们在TTS模型中引入了FP预测器; 2)为了对变化的节奏建模,我们引入了混合专家模型的时长预测器(MoE),它包含三个分别负责生成快、中、慢语音的专家,并对时长预测器和音高预测器进行微调以适应节奏; 3)为了适应其他说话人的音色,我们在解码器中对一些参数进行了微调,只需要少量的语音数据。为了解决训练数据缺乏的问题,我们挖掘了一个自发语音数据集,以支持我们的研究工作,并促进未来的研究自发TTS。实验表明,AdaSpeech 3合成的语音具有自然的FP和节奏的自发风格,并取得了更好的MOS和SMOS分数比以前的自适应TTS系统。
2021-07-06 cs.CL cs.LG cs.SD
RWEN-TTS: Relation-aware Word Encoding Network for Natural Text-to-Speech Synthesis
Netmarble AI Center(网石AI中心)
随着深度学习的出现,出现了大量产生类人语音的文本到语音(TTS)模型。近年来,通过引入输入文本的句法和语义信息,人们提出了各种方法来丰富TTS模型的自然度和表达能力。虽然这些策略取得了令人瞩目的效果,但它们在利用语言信息方面仍存在一定的局限性。首先,大多数方法只使用图网络来利用句法和语义信息,而不考虑语言特征。其次,大多数以前的作品没有明确考虑相邻的词时,编码的句法和语义信息,即使它是显而易见的,相邻的词通常是有意义的编码时,当前的词。为了解决这些问题,我们提出了一种基于语义感知的单词编码网络(RWEN),它有效地允许基于两个模块(即,语义级关系编码和相邻词关系编码)。实验结果表明,与以前的作品相比,有很大的改进。
2022-12-15 cs.CL cs.LG cs.SD
On the Problem of Text-To-Speech Model Selection for Synthetic Data Generation in Automatic Speech Recognition
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司);Nara Institute of Science and Technology(奈良科学技术学院)
本文比较五种TTS解码器架构在合成数据生成中对CTC语音识别的影响,发现自回归解码优于非自回归解码,并提出量化TTS泛化能力的方法。
2024-07-31 cs.CL cs.LG cs.SD
Comparison of Speech Representations for Automatic Quality Estimation in Multi-Speaker Text-to-Speech Synthesis
University of Edinburgh(爱丁堡大学)
我们的目标是表征不同的扬声器有助于感知输出质量的多扬声器文本到语音(TTS)合成。我们使用一个神经网络(NN)训练人类平均意见评分(MOS)评级的TTS的质量自动率。首先,我们在ASVSpoof 2019逻辑访问(LA)数据集的13个不同的TTS和语音转换(VC)系统上训练和评估我们的NN模型。由于目前还不知道如何最好地表示语音的这项任务,我们比较了8种不同的表示方式,以及MOSNet基于帧的功能。我们的表示包括基于图像的频谱图特征和x向量嵌入,这些特征明确地对不同类型的噪声(如T60混响时间)进行建模。我们的NN预测MOS与人类判断高度相关。我们报告预测相关性和误差。一个关键的发现是,无论TTS或VC系统如何,某些扬声器所达到的质量似乎是一致的。人们普遍认为,一些扬声器提供更高的质量比其他人建立一个TTS系统:我们的方法提供了一个自动的方式来识别这样的扬声器。最后,为了看看我们的质量预测模型是否具有普遍性,我们使用一个单独的多扬声器TTS系统来预测合成语音的质量分数,该系统是在LibriTTS数据上训练的,并进行我们自己的MOS听力测试来比较人类的评级与我们的NN预测。
2020-04-27 cs.CL cs.LG cs.SD
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation(日本电信电话株式会社)
针对零样本TTS在含噪参考语音下质量下降的问题,提出通过在SSL模型中引入适配器并用含噪语音联合微调,同时结合语音增强前端,实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Nix-TTS: Lightweight and End-to-End Text-to-Speech via Module-wise Distillation
Amazon(亚马逊)
几种轻量级TTS的解决方案已经显示出有希望的结果。尽管如此,它们要么依赖于手工设计,达到非最佳尺寸,要么使用神经架构搜索,但通常会付出培训成本。我们提出了Nix-TTS,一个轻量级的TTS实现通过知识蒸馏到一个高质量的,但大尺寸的,非自回归,和端到端(无声码器)的TTS教师模型。具体来说,我们提供模块式蒸馏,使编码器和解码器模块能够灵活和独立地蒸馏。由此产生的Nix-TTS继承了教师的非自回归和端到端的有利特性,但尺寸明显更小,只有5.23M参数或高达89.34%的教师模型减少;它还在英特尔上实现了超过3.04倍和8.36倍的推理加速,i7 CPU和Raspberry Pi 3B分别,与教师模型相比,仍然保留了公平的声音自然度和可理解性。我们提供Nix-TTS的预训练模型和音频样本。
2022-11-05 cs.CL cs.LG cs.NE
Learning to Maximize Speech Quality Directly Using MOS Prediction for Neural Text-to-Speech
KAIST(韩国科学技术院);Konan Technology Inc.(科南技术公司)
虽然最近的神经文本转语音(TTS)系统已经实现了高质量的语音合成,但是存在TTS系统生成低质量语音的情况,这主要是由有限的训练数据或知识提取期间的信息丢失引起的。因此,我们提出了一种新的方法来提高语音质量,通过训练的TTS模型的监督下的感知损失,衡量最大可能的语音质量分数和预测之间的距离。我们首先预训练平均意见得分(MOS)预测模型,然后训练TTS模型,以最大化合成语音的MOS使用预训练MOS预测模型。所提出的方法可以独立地应用,无论TTS模型的结构或语音质量下降的原因,并有效地不增加推理时间或模型的复杂度。MOS和电话错误率的评估结果表明,我们提出的方法改善了以前的模型在自然度和可懂度。
2022-05-25 cs.LG cs.SD eess.AS
Koel-TTS: Enhancing LLM based Speech Generation with Preference Alignment and Classifier Free Guidance
NVIDIA Corporation(英伟达公司)
本文提出 Koel-TTS,利用 ASR 与说话人验证引导的偏好对齐及无分类器引导,增强文本到声学 token 的可控语音合成,并在小数据集训练下超越现有 TTS。
2025-07-22 cs.AI cs.LG cs.SD
GraphSpeech: Syntax-Aware Graph Attention Network For Neural Speech Synthesis
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
基于注意力的端到端文本到语音合成(TTS)在许多方面优于传统的统计方法。基于transformer的TTS就是这样一种成功的实现。虽然Transformer TTS很好地利用自注意机制对语音帧序列进行建模,但它没有从句子级别的句法角度将输入文本与输出话语相关联。我们提出了一种新的神经TTS模型,表示为GraphSpeech,这是制定下图神经网络框架。GraphSpeech对句子中输入词汇标记的句法关系进行显式编码,并结合这些信息来导出TTS注意力机制的句法动机字符嵌入。实验表明,GraphSpeech在语音的频谱和韵律渲染方面始终优于Transformer TTS基线。
2021-03-26 cs.LG cs.SD eess.AS
Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE
Tencent AI Lab(腾讯AI实验室)
本研究提出无需文本音频配对的无监督TTS声学模型UTTS,基于C-DSVAE主干与解纠缠表示学习,通过对齐转换实现零样本多说话人合成,经评估语音自然度与可懂度优异。
2024-10-06 cs.AI cs.CL cs.LG
Non-Autoregressive TTS with Explicit Duration Modelling for Low-Resource Highly Expressive Speech
Amazon Text-to-Speech Research(亚马逊语音合成研究)
虽然最近的神经文本到语音(TTS)方法产生高质量的语音,但它们通常需要来自目标说话者的大量录音。在以前的工作中,提出了一种3步方法来生成高质量的TTS,同时大大减少了训练所需的数据量。然而,我们已经观察到使用这种方法时,高度表达的声音所能达到的自然度水平的天花板效应。在本文中,我们提出了一种方法,用于建立高度表达TTS的声音,从目标扬声器的语音数据只有15分钟。与目前最先进的方法相比,我们提出的改进方案在语音自然度和说话人相似度方面分别缩小了23.3%和16.3%的差距。此外,我们匹配的自然度和扬声器的相似性基于Tacotron 2的完整数据(~10小时)模型只使用15分钟的目标说话人数据,而使用30分钟或更长时间,我们的性能明显优于它。提出了以下改进:1)从自回归,将基于注意力的TTS模型转换为用外部持续时间模型代替注意力的非自回归模型,以及2)附加的基于条件生成对抗网络(cGAN)的微调步骤。
2021-06-25 cs.AI cs.LG cs.SD
Learning Speaker Embedding from Text-to-Speech
Johns Hopkins University(约翰斯·霍普金斯大学)
Zero-shot多说话人文本转语音(TTS)在给定输入文本和对应的说话人嵌入的情况下生成目标说话人语音。在这项工作中,我们调查的有效性的TTS重建目标,以提高表示学习的说话人验证。我们以自我监督的方式联合训练端到端Tacotron 2 TTS和说话人嵌入网络。我们假设嵌入将包含最小的语音信息,因为TTS解码器将从文本输入中获得该信息。TTS重建还可以与说话者分类相结合,以进一步增强这些嵌入。一旦训练完成,说话人编码器计算说话人验证任务的表示,而其余的TTS块被丢弃。我们调查培训TTS从手动或ASR生成的成绩单。后者允许我们在数据集上训练嵌入,而无需手动转录。我们比较了ASR成绩单和Kaldi电话对齐TTS输入,显示后者表现更好,由于其更精细的分辨率。对于LibriTTS数据集的i向量,无监督TTS嵌入将EER绝对提高了2.06\%。在LibriTTS和Voxceleb1中,与只使用说话人分类损失的模型相比,使用说话人分类损失的TTS分别使EER提高了0.2 8%和0.73%。
2020-10-21 cs.LG cs.SD eess.AS
Prosody-controllable spontaneous TTS with neural HMMs
KTH Royal Institute of Technology(KTH皇家理工学院)
本文在基于神经 HMM 的 TTS 系统中加入话语级韵律控制,利用小规模不规则自发语音数据实现稳定单调对齐,并验证其控制准确、音质不降且可合成两类吱嘎声。
2023-06-01 cs.HC cs.LG cs.SD
EPIC TTS Models: Empirical Pruning Investigations Characterizing Text-To-Speech Models
Singapore University of Technology and Design(新加坡科技设计大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
众所周知,神经模型是过度参数化的,最近的工作表明,稀疏的文本转语音(TTS)模型可以优于密集模型。虽然已经提出了大量的稀疏方法用于其他领域,这样的方法很少被应用于文语转换。在这项工作中,我们试图回答的问题:什么是选定的稀疏技术的性能和模型复杂性的特点?我们比较了Tacotron 2基线和应用五种技术的结果。然后,我们通过自然度,可懂度和韵律的因素来评估性能,同时报告模型大小和训练时间。作为对先前研究的补充,我们发现在训练之前或训练期间进行修剪可以实现与训练后修剪相似的性能,并且可以更快地训练,而删除整个神经元比删除参数更能降低性能。据我们所知,这是第一个工作,比较稀疏范例在文本转语音合成。
2022-09-22 cs.LG eess.AS
On the Use of Self-Supervised Speech Representations in Spontaneous Speech Synthesis
KTH Royal Institute of Technology(KTH皇家理工学院)
本文系统比较了6种自监督语音表示及其3个不同层在自发语音合成中的效果,并扩展基于SSL的MOS预测框架用于合成自发语音评分,在两个自发语音语料库上验证了可推广趋势。
2023-07-11 cs.HC cs.LG cs.SD
Adversarial training of Keyword Spotting to Minimize TTS Data Overfitting
Google LLC(谷歌公司)
本文提出对抗训练方法,用于关键词识别以减少TTS数据过拟合,实验显示在真实语音上的准确性可提升12%甚至8%。
2024-08-20 cs.LG cs.SD eess.AS
A Transfer Learning End-to-End ArabicText-To-Speech (TTS) Deep Architecture
Ain Shams University(艾因夏姆斯大学)
语音合成是人类语音的人工产生。典型的文本到语音系统将语言文本转换成波形。有许多英语TTS系统,产生成熟的,自然的,和人类一样的语音合成器。相比之下,包括阿拉伯语在内的其他语言直到最近才得到考虑。现有的阿拉伯语语音合成解决方案速度慢、质量低,并且合成语音的自然度不如英语合成器。他们也缺乏必要的语音关键因素,如语调,重音和节奏。提出了不同的工作来解决这些问题,包括使用连接方法,如单位选择或参数方法。然而,它们需要大量的艰苦工作和领域专业知识。阿拉伯语语音合成器性能如此之差的另一个原因是缺乏语音语料库,不像英语有许多公开的语料库和有声读物。这项工作描述了如何使用端到端神经深度网络架构生成高质量,自然和人性化的阿拉伯语语音。这项工作只使用$\langle$文本,音频$\rangle$对与相对少量的录音音频样本,共2.41小时。它说明了如何使用英语字符嵌入,尽管使用变音阿拉伯字符作为输入,以及如何预处理这些音频样本,以达到最佳效果。
2020-07-22 cs.LG cs.SD eess.AS
SpeakEasy: Enhancing Text-to-Speech Interactions for Expressive Content Creation
Massachusetts Institute of Technology(麻省理工学院);Adobe Research(奥多比研究院)
SpeakEasy系统通过让用户提供高层级上下文和反馈来简化TTS生成,帮助内容创作者更高效地获得符合个人标准的富有表现力的语音。
2025-04-07 cs.AI cs.HC cs.LG
Diff-TTSG: Denoising probabilistic integrated speech and gesture synthesis
KTH Royal Institute of Technology(瑞典皇家理工学院)
提出首个基于扩散的概率模型Diff-TTSG,联合合成自发语音与伴随手势,克服非概率方法的过度平滑问题,并通过多模态主观测试验证其有效性。
2023-08-09 cs.AI cs.CV cs.HC
EM-TTS: Efficiently Trained Low-Resource Mongolian Lightweight Text-to-Speech
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学)
本文提出EM-TTS,一种基于深度卷积神经网络的两阶段端到端轻量级TTS模型,通过数据增强解决低资源蒙古语问题,在保证语音质量和自然度的同时显著减少训练时间和参数。
2024-03-17 cs.LG cs.SD eess.AS