Towards Controllable Speech Synthesis in the Era of Large Language Models: A Systematic Survey
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));University of Surrey(萨里大学)
该系统性综述首次全面回顾可控TTS方法,从传统技术到基于自然语言提示的新兴方法,分类模型架构、控制策略等,总结挑战与数据集,为研究人员提供分类法并指明未来方向。
2025-08-25 cs.AI cs.CL cs.LG
EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech
本文提出EmoSphere-TTS,利用球面情感向量控制情感风格与强度,通过伪标签和双条件对抗网络实现高质量可控情感语音合成。
2024-11-04 cs.AI cs.SD eess.AS
EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector
Korea University(高丽大学)
针对情感TTS在数据集、泛化性等方面的挑战,提出EmoSphere++零样本模型,通过情感自适应球面向量、多级风格编码器等技术,实现情感风格与强度可控的高质量语音合成,实验验证了有效性。
2025-04-17 cs.AI cs.SD eess.AS
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST(韩国科学技术院)
神经文本到语音(TTS)的先前工作已经解决了有限的速度在训练和推理时间,鲁棒性困难的合成条件,表达能力和可控性。虽然有几种方法解决了一些局限性,但还没有尝试一下子解决所有的弱点。在本文中,我们提出了STYLER,一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码,可以快速训练和推理,并在看不见的数据上进行稳健的合成。此外,在监督下的风格因素模型的分离扩大了合成过程的可控性,从而导致表现力的TTS。最重要的是,一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移,在没有任何额外标签的情况下分解噪声。各种实验表明,STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效,并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供,代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
A Multi-Stage Framework for Multimodal Controllable Speech Synthesis
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(深圳国际研究生院,清华大学,深圳,中国)
提出3阶段多模态可控语音合成框架,通过监督学习与知识蒸馏优化人脸编码器,并在文本-人脸与文本-语音数据上训练文本编码器,有效提升了生成语音的多样性与质量,优于单模态基线方法。
2025-06-26 cs.SD eess.AS
Unsupervised word-level prosody tagging for controllable speech synthesis
Shanghai Jiao Tong University(上海交通大学)
虽然在最近的研究中已经研究了神经文本到语音(TTS)中的词级韵律建模以用于各种语音合成,但是在没有特定参考的情况下手动控制语音合成仍然具有挑战性。这很大程度上是由于缺乏单词级的韵律标签。在这项工作中,我们提出了一种新的方法,无监督的词级韵律标记两个阶段,其中我们首先分组的单词到不同的类型与决策树根据其语音内容,然后使用GMM聚类的韵律在每种类型的单词分别。这种设计是基于这样的假设,即不同类型的词,如长或短的话,韵律应该标记有不同的标签集。此外,一个TTS系统与派生的词级韵律标签的可控语音合成训练。在LJSpeech上的实验表明,使用词级韵律标签训练的TTS模型不仅比典型的FastSpeech2模型获得了更好的自然度,而且获得了操纵词级韵律的能力。
2022-02-16 cs.AI cs.LG cs.SD
Advanced Zero-Shot Text-to-Speech for Background Removal and Preservation with Controllable Masked Speech Prediction
Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系)
针对零样本文本转语音系统处理含背景语音提示的不足,提出结合双说话人编码器的可控掩码语音预测策略,实现多声学条件下背景去除与保留的精确控制及强泛化能力。
2025-02-11 cs.SD eess.AS
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong(香港中文大学)
神经文本到语音(TTS)方法通常需要大量的高质量的语音数据,这使得很难获得这样的数据集与额外的情感标签。在本文中,我们提出了一种新的方法,情感TTS合成的TTS数据集没有情感标签。具体来说,我们提出的方法包括一个跨域语音情感识别(SER)模型和情感TTS模型。首先,我们在SER和TTS数据集上训练跨域SER模型。然后,我们使用情绪标签的TTS数据集预测训练SER模型,建立一个辅助SER任务,并联合训练它与TTS模型。实验结果表明,我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
DiffStyleTTS: Diffusion-based Hierarchical Prosody Modeling for Text-to-Speech with Diverse and Controllable Styles
University of Science and Technology of China(中国科学技术大学);iFLYTEK CO.LTD.(科大讯飞股份有限公司);China Mobile Research Institute(中国移动研究院)
针对文本到韵律的一对多映射问题,提出 DiffStyleTTS,利用条件扩散、改进无分类器引导和分层韵律建模实现风格可控的语音合成,并在自然度与速度上优于基线。
2024-12-04 cs.AI cs.CL cs.SD
EmoDiff: Intensity Controllable Emotional Text-to-Speech with Soft-Label Guidance
虽然目前的神经文本转语音(TTS)模型能够产生高质量的语音,强度可控的情感TTS仍然是一个具有挑战性的任务。大多数现有的方法需要外部优化的强度计算,导致次优的结果或质量下降。在本文中,我们提出了一个基于扩散的TTS模型,情感强度可以通过分类器指导的软标签指导技术来操纵。具体地,不是利用针对指定情感的独热向量来引导,而是利用软标签来引导PADDiff,其中指定情感和\textit{Neutral}的值分别被设置为$α$和$1-α$。这里的$α$表示情绪强度,可以从0到1中选择。我们的实验结果表明,ESDiff可以精确地控制情感强度,同时保持高的语音质量。此外,在反向去噪过程中,可以通过采样产生具有指定情感强度的多样化语音。
2023-02-16 cs.AI cs.HC cs.LG
ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models
AITRICS;KAIST(韩国科学技术院)
提出ZET-Speech零样本自适应情感可控TTS模型,通过在扩散模型上应用域对抗学习和引导方法,仅用短中性语音和情感标签即可为已见和未见说话人合成自然情感语音。
2023-05-23 cs.CL cs.SD eess.AS
LLMs-Integrated Automatic Hate Speech Recognition Using Controllable Text Generation Models
The University of Osaka(大阪大学);Ritsumeikan University(立命馆大学)
本文提出利用大语言模型和可控文本生成模型,通过课程学习逐步训练以提高仇恨言论识别的准确率和效率。
2026-01-08 cs.AI cs.SD eess.AS
CrossAccent-TTS: Cross-Lingual Accent-Intensity Controllable Text-to-Speech via Disentangled Speaker and Accent Representations
Media Analysis, Sony Research India(索尼印度研究机构媒体分析部)
提出CrossAccent-TTS框架,通过口音强度控制器(AIC)注入加权语言嵌入到口音子空间,实现跨语言口音控制与转换,同时保持说话人身份,在Indic Multilingual和L2-arctic数据集上优于基线。
2026-06-25 cs.AI cs.SD eess.AS
Vevo: Controllable Zero-Shot Voice Imitation with Self-Supervised Disentanglement
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Meta AI
Vevo提出一种自监督解纠缠的零样本声音模仿框架,通过两阶段建模实现音色与风格的可控生成,在口音和情感转换任务中达到或超越现有方法。
2025-02-11 cs.AI cs.SD eess.AS
Controllable Context-aware Conversational Speech Synthesis
Tencent AI Lab(腾讯人工智能实验室)
在口语会话中,经常会出现充满停顿和停顿的自发行为。会话伙伴倾向于使他们的言语特征与他们的对话者一致,这被称为夹带。为了产生类似人类的对话,我们提出了一个统一的可控自发会话语音合成框架来模拟上述两种现象。具体来说,我们使用显式标签来表示两个典型的自发行为充满了声学模型中的暂停和延长,并开发了一个基于神经网络的预测器来预测这两个行为的发生从文本。我们随后开发了一种基于预测器的算法来控制行为的出现频率,使合成的语音从不流利到更不流利。为了在声学水平上对语音夹带进行建模,我们利用上下文声学编码器从当前语音合成的先前语音条件中提取全局风格嵌入。此外,由于当前和先前的话语属于对话中的不同说话者,我们添加了一个域对抗训练模块,以消除声学编码器中的说话者相关信息,同时保持风格相关信息。实验结果表明,该方法可以合成真实的会话,并自然地控制自发行为的发生。
2021-06-21 cs.SD eess.AS
Varianceflow: High-Quality and Controllable Text-to-Speech using Variance Information via Normalizing Flow
NCSOFT(NCSoft公司)
非自回归文本转语音模型有两种方法可以有效地学习文本和语音之间的一对多关系。第一种是使用高级生成框架,如规范化流(NF)。第二种方法是在生成语音时将音调或能量等方差信息结合起来使用。对于第二种类型,还可以通过调整提供给模型的方差值来控制方差因子。在本文中,我们提出了一种新的模型称为VarianceFlow结合这两种类型的优点。方差流通过NF对方差进行建模,可以更准确地预测方差信息,提高语音质量。此外,NF的目标函数使得模型以一种分离的方式使用方差信息和文本,从而实现更精确的方差控制。在实验中,VarianceFlow表现出优越的性能比其他国家的最先进的TTS模型无论是在语音质量和可控性。
2023-02-27 cs.SD eess.AS
FleSpeech: Flexibly Controllable Speech Generation with Various Prompts
Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯AI实验室)
本文提出FleSpeech多阶段语音生成框架,通过多模态提示编码器统一文本、音频和视觉提示,实现对语音属性的灵活、精确控制,克服了传统方法依赖单一提示的局限。
2025-04-30 cs.SD eess.AS
Learning Robust Latent Representations for Controllable Speech Synthesis
University of Toronto(多伦多大学);Vanguard Center for Analytics and Insights(先锋分析与洞察中心)
最先进的变分自动编码器(VAE)用于学习解开的潜在表示,在发现语音数据中的音高、停顿持续时间和重音等特征方面取得了令人印象深刻的结果,从而实现了高度可控的文本到语音(TTS)合成。然而,这些基于LSTM的VAE在有限或嘈杂的数据集上训练时无法学习说话者属性的潜在聚类。此外,不同的潜变量开始编码相同的特征,限制了语音合成期间的控制和表达能力。为了解决这些问题,我们提出了RTI-VAE(重排序的Transformer与信息减少VAE),我们最大限度地减少不同的潜在变量之间的互信息,并设计了一个修改后的Transformer架构与层重新排序,以学习语音数据中的可控潜在表示。我们表明,RTI-VAE减少了至少30%的LSTM-VAE和至少7%的香草transformer-VAE的扬声器属性的集群重叠。
2021-05-10 cs.CL cs.LG cs.SD
Controllable and Lossless Non-Autoregressive End-to-End Text-to-Speech
ByteDance(字节跳动);Tsinghua University(清华大学)
最近的一些研究已经证明了单级神经文本到语音的可行性,它不需要生成梅尔频谱图,而是直接从文本中生成原始波形。单阶段文本到语音通常面临两个问题:a)由于多个语音变化而导致的一对多映射问题,以及b)由于在训练期间缺乏对地面实况声学特征的监督而导致的高频重建不足。为了解决a)问题并生成更有表现力的语音,我们提出了一种基于变分自编码器的音素级韵律建模方法,该方法具有归一化流来建模语音中的底层韵律信息。我们还使用韵律预测器来支持端到端的表达性语音合成。此外,我们提出了双并行自动编码器,以在训练过程中引入对地面实况声学特征的监督,以解决b)问题,使我们的模型能够生成高质量的语音。我们比较的合成质量与国家的最先进的文本到语音系统的内部表达英语数据集。定性和定量的评价表明,我们的方法的无损语音生成的优越性和鲁棒性,同时也表现出很强的韵律建模能力。
2022-07-13 cs.SD eess.AS
Fine-grained Emotional Control of Text-To-Speech: Learning To Rank Inter- And Intra-Class Emotion Intensities
University of St.Gallen(圣加仑大学);Reykjavik University(雷克雅未克大学)
最先进的文本到语音(TTS)模型能够产生高质量的语音。然而,生成的语音在情感表达上通常是中性的,而人们通常希望对单词或音素进行细粒度的情感控制。虽然仍然具有挑战性,但最近提出的第一个TTS模型能够通过手动分配情感强度来控制语音。不幸的是,由于忽略了类内距离,强度差异往往无法识别。在本文中,我们提出了一个细粒度可控的情感TTS,考虑类间和类内的距离,并能够合成语音识别强度差异。我们的主观和客观实验表明,我们的模型超过了两个国家的最先进的可控TTS模型的可控性,情感表达和自然。
2023-03-11 cs.AI cs.SD eess.AS
GTR-Voice: Articulatory Phonetics Informed Controllable Expressive Speech Synthesis
University of Rochester(罗切斯特大学)
本研究针对当前表现力语音合成对发音特征关注不足的问题,提出GTR三维发音框架,录制GTR-Voice数据集,验证了框架有效性及TTS模型的精准可控性,并开源相关资源。
2024-06-15 cs.AI cs.CL cs.LG
Text is All You Need: Personalizing ASR Models using Controllable Speech Synthesis
Apple(苹果公司)
由于个性化数据的稀缺性,使通用语音识别模型适应特定个体是一个具有挑战性的问题。最近的工作已经提出使用个性化的文本到语音合成来提高训练数据的量。在这里,我们提出了关于这种策略的两个基本问题:合成数据何时对个性化有效,以及为什么在这些情况下有效?为了解决第一个问题,我们采用了一个国家的最先进的自动语音识别(ASR)模型的目标扬声器从四个基准数据集代表不同的扬声器类型。我们表明,合成数据的ASR个性化在所有情况下都是有效的,但特别是当(i)目标说话人在全局数据中代表性不足,以及(ii)全局模型的容量有限时。为了解决第二个问题,为什么个性化的合成数据是有效的,我们使用可控的语音合成来生成具有不同风格和内容的语音。令人惊讶的是,我们发现,文本内容的合成数据,而不是风格,是重要的发言人适应。这些结果使我们提出了一个数据选择策略的基础上语音内容的ASR个性化。
2023-03-27 cs.LG cs.SD eess.AS
EdiTTS: Score-based Editing for Controllable Text-to-Speech
Yale University(耶鲁大学);Supertone, Inc.(Supertone公司);Neosapience, Inc.(Neosapience公司)
我们提出了EdiTTS,一个现成的语音编辑方法的基础上,基于分数的生成模型的文本到语音合成。EdiTTS允许在内容和音高方面对音频进行有针对性的精细编辑,而无需对基于分数的模型主干进行任何额外的训练、特定于任务的优化或架构修改。具体而言,我们在高斯先验空间中应用粗糙但故意的扰动,以从扩散模型中诱导出所需的行为,同时应用掩模和软化内核,以确保迭代编辑仅应用于目标区域。通过听力测试和语音到文本回转录,我们表明,EdiTTS优于现有的基线,并产生强大的样本,满足用户强加的要求。
2022-07-09 cs.LG cs.SD eess.AS
EmoSteer-TTS: Fine-Grained and Training-Free Emotion-Controllable Text-to-Speech via Activation Steering
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent AI Lab(腾讯人工智能实验室)
提出EmoSteer-TTS,通过激活引导实现无需训练的细粒度语音情感控制,支持转换、插值和擦除,优于现有最先进方法。
2025-10-25 cs.AI cs.SD eess.AS
Controllable Emotion Transfer For End-to-End Speech Synthesis
Northwestern Polytechnical University(西北工业大学)
从参考文献中学习的情感嵌入空间是编码器-解码器结构化情感文本到语音(TTS)系统中情感传递的直接方法。然而,合成语音中的情感传递不够准确和表达力,情感类别混乱。此外,很难选择合适的参考来传递期望的情感强度。为了解决这些问题,我们提出了一种新的方法,基于Tacotron。首先,我们插入两个情感分类器--一个在参考编码器之后,一个在解码器输出之后--以增强情感嵌入和预测梅尔频谱的情感辨别能力。其次,我们采用风格损失来衡量产生的梅尔光谱和参考之间的差异。由于情感嵌入可以看作是梅尔谱的特征映射,因此可以通过调节情感嵌入的值来控制合成语音中的情感强度。实验结果表明,该方法合成的语音更准确,情感类别混淆更少,情感强度的控制更突出。
2020-11-17 cs.SD eess.AS
FineCombo-TTS: Collaborative and Precise Controllable Speech Synthesis Using Text Descriptions and Reference Speech
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生院);Inner Mongolia University(内蒙古大学);Tencent, Shenzhen, China(腾讯(深圳))
提出FineCombo-TTS统一框架,通过条件流匹配的语音方差预测器实现基于文本描述的细粒度参考到目标变换,实现灵活精确的声学属性控制。
2026-06-19 cs.SD
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.(索尼印度私人有限公司研究院);Indraprastha Institute of Information Technology (IIIT)(因德拉普拉斯信息技术学院(IIIT))
本文提出VECL-TTS端到端跨语言语音合成系统,同时控制语音身份与情感风格,并通过内容与风格一致性损失提升合成质量,在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations
NVIDIA(英伟达)
在这项工作中,我们提出了一种使用经过自监督学习训练的语音表示的零射击(zero-shot)语音转换方法。首先,我们开发了一个多任务模型,将语音话语分解为语言内容,说话人特征和说话风格等特征。为了理清内容和扬声器表示,我们提出了一种基于Siamese网络的训练策略,该策略鼓励原始音频和音高偏移音频的内容表示之间的相似性。接下来,我们开发了一个合成模型与音高和持续时间预测,可以有效地重建语音信号从其分解表示。我们的框架允许可控和扬声器自适应合成,以执行zero-shot任何到任何语音转换,实现最先进的结果的度量评估扬声器的相似性,可理解性和自然性。对于目标说话者,仅使用10秒的数据,我们的框架就可以执行语音交换,并实现了5.5%的说话者验证EER,对于看不见的说话者,EER为8.4%。
2023-02-16 cs.LG cs.SD eess.AS
Emo-DPO: Controllable Emotional Speech Synthesis through Direct Preference Optimization
Agency for Science, Technology, and Research(科技研究局);National University of Singapore(新加坡国立大学)
针对现有情感TTS模型难以捕捉不同情感细微差别的问题,本研究提出Emo-DPO方法,结合直接偏好优化与情感感知LLM-TTS架构,实验证明其性能优于现有基线。
2024-09-16 cs.SD eess.AS eess.SP
CosyAccent: Duration-Controllable Accent Normalization Using Source-Synthesis Training Data
The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳));Nanjing University(南京大学);Tencent(腾讯);Shenzhen Loop Area Institute(深圳河套学院)
CosyAccent通过源合成训练数据构建方法,实现可控的声调规范化,无需真实L2数据,提升内容保持与自然度。
2026-02-22 cs.AI cs.SD eess.AS
PromptTTS: Controllable Text-to-Speech with Text Descriptions
Microsoft(微软)
使用文本描述作为提示来指导文本或图像的生成(例如,GPT-3或DALLE-2)最近引起了广泛的关注。除了文本和图像生成,在这项工作中,我们探讨了利用文本描述来指导语音合成的可能性。因此,我们开发了一个文本转语音(TTS)系统(简称为TTS),需要一个提示与风格和内容的描述作为输入,合成相应的语音。具体地说,语音合成TTS包括一个风格编码器和一个内容编码器,用于从提示中提取相应的表示,以及一个语音解码器,用于根据提取的风格和内容表示合成语音。与要求用户具有声学知识以理解诸如韵律和音高之类的风格因素的可控TTS中的先前工作相比,可控TTS更用户友好,因为文本描述是表达语音风格的更自然的方式(例如,“一位女士慢慢地对她的朋友耳语”)。鉴于没有带有提示的TTS数据集,为了对TTS任务进行基准测试,我们构建并发布了一个包含样式和内容信息以及相应语音的提示的数据集。实验结果表明,该方法能够生成风格控制精确、语音质量高的语音.音频样本和我们的数据集是公开的。
2022-11-22 cs.CL cs.LG cs.SD
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple(苹果公司)
现代神经文本转语音(TTS)合成可以生成与自然语音难以区分的语音。然而,生成的话语的韵律往往代表的平均韵律风格的数据库,而不是有广泛的韵律变化。此外,生成的韵律仅由输入文本定义,这不允许同一句子具有不同的风格。在这项工作中,我们训练一个序列到序列的神经网络的声学语音功能的条件下,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个模型的条件下,在韵律方面的音高,音高范围,电话持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,并产生各种各样的说话风格,同时保持类似的平均意见得分(4.23),我们的Tacotron基线(4.26)。
2020-09-14 cs.CL cs.LG cs.SD
PromptStyle: Controllable Style Transfer for Text-to-Speech with Natural Language Descriptions
Northwestern Polytechnical University(西北工业大学);Shanghai Mobvoi Information Technology Co., Ltd(上海出门问问信息科技有限公司)
本文提出 PromptStyle,通过改进 VITS 与跨模态风格编码器及两阶段训练,实现仅凭自然语言文本提示的跨说话人 TTS 风格迁移,并保持稳定性与说话人相似度。
2023-06-01 cs.SD eess.AS
Parallel Tacotron: Non-Autoregressive and Controllable TTS
Google(谷歌)
虽然神经端到端文本到语音模型可以合成高度自然的语音,但其效率和自然度仍有改进的空间。提出了一种基于变分自编码器的非自回归神经文语转换模型。这个模型称为\emph{Parallel Tacotron},在训练和推理过程中都是高度并行的,允许在现代并行硬件上进行有效的合成。变分自编码器的使用放松了文本到语音问题的一对多映射性质并提高了自然度。为了进一步提高自然度,我们使用轻量级卷积,它可以有效地捕获局部上下文,并引入迭代细化启发的迭代频谱图损失。实验结果表明,并行Tacotron匹配一个强大的自回归基线的主观评价,显着减少推理时间。
2020-10-22 cs.SD eess.AS
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent(腾讯)
本文提出一种基于语言模型的自发语音合成系统,通过系统性分类统一建模自发行为并引入细粒度韵律建模,在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
MM-Sonate: Multimodal Controllable Audio-Video Generation with Zero-Shot Voice Cloning
Kuaishou Technology(快手科技)
MM-Sonate通过统一的指令-音素输入实现可控的音频视频联合生成与零样本语音克隆,显著提升唇形同步和语音可懂度,同时保持与专门文本到语音系统的语音克隆保真度。
2026-01-08 cs.AI cs.CV cs.MM
Semi-supervised learning for continuous emotional intensity controllable speech synthesis with disentangled representations
Seoul National University(首尔国立大学);Supertone, Inc.(Supertone公司);Soongsil University(崇实大学)
本文针对情感语音合成中连续强度难以控制的问题,提出基于半监督学习和解耦表示的方法,利用音素级伪标签构建均匀网格情感嵌入空间,实验证明其在可控性和自然度上优于现有模型。
2023-05-29 cs.LG cs.SD eess.AS
Hierarchical Generative Modeling for Controllable Speech Synthesis
Massachusetts Institute of Technology(麻省理工学院);Google Inc.(谷歌公司)
本文提出了一种神经序列到序列的文语转换(TTS)模型,该模型可以控制生成的语音中很少在训练数据中注释的潜在属性,如说话风格、口音、背景噪声和录音条件。该模型被制定为一个条件生成模型的基础上的变分自编码器(VAE)的框架,具有两个层次的潜变量。第一级是分类变量,表示属性组(例如干净/嘈杂)并提供可解释性。第二个层次,条件是第一个,是一个多变量高斯变量,其特征在于特定的属性配置(如噪音水平,说话速率),并使这些属性的解开细粒度控制。这相当于对潜在分布使用高斯混合模型(GMM)。广泛的评价表明其控制上述属性的能力。特别是,我们训练一个高质量的可控TTS模型的真实发现的数据,这是能够推断扬声器和风格属性从嘈杂的话语,并用它来合成干净的语音可控的说话风格。
2018-12-27 cs.CL cs.LG cs.SD
TASU2: Controllable CTC Simulation for Alignment and Low-Resource Adaptation of Speech LLMs
X-LANCE Lab, Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系X-LANCE实验室);MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);Jiangsu Key Lab of Language Computing(江苏省语言计算重点实验室);AISpeech Ltd(思必驰科技股份有限公司);Nanjing University(南京大学)
TASU2通过可控CTC模拟生成文本监督,提升语音大语言模型的对齐和低资源适应性能,优于TASU和文本细调等基线方法。
2026-04-09 cs.AI eess.AS
Discl-VC: Disentangled Discrete Tokens and In-Context Learning for Controllable Zero-Shot Voice Conversion
School of Informatics(信息学院);School of Electronic Science and Engineering(电子科学与工程学院)
提出Discl-VC框架,通过解耦自监督语音表示中的内容与韵律信息,结合流匹配变换器上下文学习和掩码生成变换器预测离散韵律标记,实现了高精度的零样本语音转换与韵律控制。
2025-05-30 cs.AI cs.SD eess.AS
DisCo-Speech: Controllable Zero-Shot Speech Generation with A Disentangled Speech Codec
China Mobile Nineverse Artificial Intelligence Technology (Beijing) Co., Ltd.(中国移动Nineverse人工智能技术(北京)有限公司);Nineverse Institute of Artificial Intelligence(Nineverse人工智能研究院);The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China(多媒体信息处理国家重点实验室,北京大学,北京,中国)
DisCo-Speech通过解耦语音编解码器实现可控零样本语音生成,提升语音克隆与语调控制性能。
2026-01-04 cs.SD
LLM Gesticulator: Leveraging Large Language Models for Scalable and Controllable Co-Speech Gesture Synthesis
Soulgate Technology Co., Ltd.(Soulgate科技有限公司)
本文提出首个基于大语言模型的协同语音手势生成框架 LLM Gesticulator,通过文本提示控制手势内容与风格,并验证了模型规模扩大带来的性能缩放定律,在客观指标和用户研究中均优于现有方法。
2024-10-22 cs.AI cs.CL cs.GR
Semi-Supervised Generative Modeling for Controllable Speech Synthesis
University College London (UCL)(伦敦大学学院(UCL));Google Inc.(谷歌公司)
我们提出了一种新的生成模型,结合了最先进的神经文本到语音(TTS)与半监督概率潜变量模型。通过对一些潜在变量提供部分监督,我们能够迫使它们具有一致和可解释的目的,这在以前对于纯粹的无监督TTS模型是不可能的。我们证明了我们的模型能够可靠地发现和控制重要但很少标记的语音属性,例如影响和说话速度,只需1%(30分钟)的监督。即使在如此低的监督水平下,我们也没有观察到与最先进的基线相比合成质量的下降。音频样本可在网络上获得。
2019-10-03 cs.CL cs.LG cs.SD
E3-System: Expressive EmoData, Explicitly Controllable, Easy-to-Use TTS
Harvard University(哈佛大学);Baidu Inc.(百度公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
E3-System是满足具表现力风格建模、显式音色-风格控制、易用自然语言交互要求的零样本TTS框架,通过EmoData、Style-RAG、Dual-TTS实现,可生成保留目标音色的具表现力言语,实验表现优异。
2026-10-12 cs.SD eess.AS
The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approach
作为人机交互领域的一部分,表达性语音合成是一个非常丰富的领域,因为它需要机器学习、信号处理、社会学、心理学等领域的知识。在本章中,我们将主要关注技术方面。从表达性言语的记录到建模,读者将通过一些最突出的系统和方法,对该领域使用的主要范式进行概述。我们解释如何语音可以表示和编码的音频功能。本文介绍了文本到语音合成的主要方法的历史:拼接,参数和统计参数语音合成。最后,我们关注最后一个,最后一个技术建模文本到语音合成作为一个序列到序列的问题。这使得可以使用深度学习模块,如卷积和递归神经网络以及注意力机制。本章的最后一部分旨在整合该理论的不同方面,并对概念进行总结。
2019-10-14 cs.HC cs.LG cs.SD
AutoSIFT: Automatic Style Sifting for Controllable Speech Generation with Arbitrary Style Infilling
UNSW Sydney(新南威尔士大学悉尼分校);University of California San Diego(加利福尼亚大学圣地亚哥分校);Macquarie University(麦考瑞大学);Adobe Research(Adobe 研究院)
研究针对TTS模型难以细粒度控制说话风格的问题,提出AutoSIFT框架,将风格分解为可描述和残余两类,通过广义风格解缠器和任意风格填充器,可在保留残余风格时替换指定风格类别,实现高度可定制的语音生成。
2026-07-16 cs.SD
Controllable Neural Prosody Synthesis
Adobe Research(Adobe 研究院)
语音合成在神经声码器和神经韵律发生器的出现的推动下,最近在保真度方面有了显著的改进。然而,这些系统缺乏对韵律的直观用户控制,使得它们不能纠正韵律错误(例如,错位的重点和上下文不适当的情绪)或生成具有不同的说话者兴奋水平和情绪的韵律。我们解决这些限制与用户可控,上下文感知神经韵律发生器。给定一个真实的或合成的语音记录,我们的模型允许用户输入韵律约束的某些时间帧,并生成剩余的时间帧从输入文本和上下文韵律。我们还提出了一个音高移位神经声码器来修改输入语音,以匹配合成的韵律。通过客观和主观的评价,我们表明,我们可以成功地将用户控制到我们的韵律生成模型,而不牺牲合成语音的整体自然。
2020-08-11 cs.LG cs.SD eess.AS
PITS: Variational Pitch Inference without Fundamental Frequency for End-to-End Pitch-controllable TTS
maum.ai Inc.(maum.ai公司);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Seoul National University (SNU)(首尔大学)
本文提出端到端音高可控 TTS 模型 PITS,通过变分音高推断及 Yingram 编解码器、音高移位对抗训练,避免直接建模基频,实现高质量且高可控的语音合成。
2023-06-06 cs.LG cs.SD eess.AS
FAC-FACodec: Controllable Zero-Shot Foreign Accent Conversion with Factorized Speech Codec
The Grainger College of Engineering, Siebel School of Computing and Data Science(伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院,Siebel计算与数据科学学院)
本文提出FAC-FACodec框架,通过可控制参数实现发音层面口音修改,实现与最新AC系统相当的性能,同时增强说话人身份保真度。
2026-01-24 cs.SD
Deep Encoder-Decoder Models for Unsupervised Learning of Controllable Speech Synthesis
National Institute of Informatics(国立信息学研究所);KTH Royal Institute of Technology(KTH皇家理工学院);University of Edinburgh(爱丁堡大学)
生成通用且适当的合成语音需要控制与口语文本分离的输出表达。重要的非文本语音变化很少被注释,在这种情况下,输出控制必须以无监督的方式学习。本文对统计语音合成中的无监督学习控制方法进行了深入的研究。例如,我们证明了流行的无监督训练算法可以被解释为某些自动编码器模型中的变分推理。我们还将这些模型连接到VQ-VAE,这是最近提出的另一类深度变分自编码器,我们表明它可以从非常相似的数学论证中推导出来。这些新的概率解释的影响进行了讨论。我们说明了各种方法的实用性与应用程序的声学建模的情感语音合成,学习表达控制的无监督的方法(没有访问情感标签)被发现在许多方面匹配或超过以前的最佳监督方法的结果。
2018-09-09 cs.LG cs.SD eess.AS
Expressive, Variable, and Controllable Duration Modelling in TTS
Amazon(亚马逊)
随着非注意神经文语转换系统的兴起,时长建模再次成为重要的研究课题。目前的方法主要依赖于先前的统计参数语音合成技术进行持续时间预测,这对语音的表达性和可变性建模很差。在本文中,我们提出了两种替代方法来改善持续时间建模。首先,我们提出了一个持续时间模型的措辞,提高了预测的持续时间,并提供更好的停顿建模。我们表明,持续时间模型的措辞条件下提高了语音的自然度超过我们的基线持续时间模型。其次,我们还提出了一个多扬声器持续时间模型称为Cauliflow,使用规范化的流量来预测持续时间,更好地匹配复杂的目标持续时间分布。Cauliflow在自然性方面与我们提出的其他持续时间模型表现相当,同时为相同的提示和可变的表达水平提供可变的持续时间。最后,我们建议条件Cauliflow的参数,提供了一个直观的控制合成语音中的起搏和暂停的一种新的方式。
2022-06-28 cs.SD eess.AS
VANI: Very-lightweight Accent-controllable TTS for Native and Non-native speakers with Identity Preservation
NVIDIA(英伟达)
我们介绍VANI,一个非常轻量级的多语言口音可控的语音合成系统。我们的模型建立在RADMMM提出的解纠缠策略,并支持显式控制口音,语言,扬声器和细粒度的$F_0$和能量功能的语音合成。我们利用为LIMMITS 2023发布的印度语言数据集,作为ICASSP信号处理大挑战的一部分,合成3种不同语言的语音。我们的模型支持转移说话人的语言,同时保留他们的声音和目标语言的本地口音。对Track $1$采用大参数RADMMM模型,对Track $2$和$3$采用轻量级VANI模型。
2023-03-14 cs.LG cs.SD eess.AS
Zero-Shot Lombard Speech Synthesis with Controllable Style Embeddings
KIT Campus Transfer GmbH (KCT)(KIT校园转移公司);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Carnegie Mellon University (CMU)(卡内基梅隆大学)
本文提出了一种可控的 Lombard 语音合成系统,通过风格嵌入和 PCA 调整实现对任何说话者语音的可控生成。
2026-10-07 cs.CL cs.SD
Controllable Emphasis with zero data for text-to-speech
Amazon(亚马逊)
本文提出无需录音或标注的 TTS 可控重音方法,通过增加被强调单词的预测音素时长提升自然度与重音识别率,并在多语言、多嗓音和多风格实验中获得偏好。
2023-07-13 cs.LG cs.SD eess.AS