Speaker Adaption with Intuitive Prosodic Features for Statistical Parametric Speech Synthesis
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一种统计参数语音合成的说话人自适应方法与直观的韵律特征。该方法采用的直观韵律特征包括音高、音高范围、语速和能量，因为它们直接关系到不同说话人的整体韵律特征。该方法在说话人和说话人两个层次上提取韵律特征，并将其分别集成到现有的基于说话人编码和基于说话人嵌入的自适应框架中。声学模型是基于Tacotron 2的序列到序列模型。实验结果表明，本文提出的方法可以获得比没有直观韵律特征的基准方法更好的客观和主观性能。此外，本文提出的基于话语级韵律特征的说话人自适应方法在所有比较方法中获得了最好的合成语音相似度。
2022-03-02 cs.AI cs.SD eess.AS
Modeling Sarcastic Speech: Semantic and Prosodic Cues in a Speech Synthesis Framework
Speech Technology Lab, University of Groningen, Campus Fryslân, The Netherlands（格罗宁根大学弗里赛兰校区语音技术实验室，荷兰）；Center for Language and Cognition, University of Groningen, The Netherlands（格罗宁根大学语言与认知中心，荷兰）
提出一个计算框架，通过整合语义和韵律线索建模讽刺，使用微调LLaMA 3模型提取语义线索，从讽刺语音数据库提取韵律线索，语音合成测试表明两者结合能增强讽刺感知。
2026-06-16 cs.CL cs.SD eess.AS
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics（三星电子Innoetics）；University of West Attica（西阿提卡大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程，用于离散化音素级F0和持续时间的功能，从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块，该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率，例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器，同时保持扬声器的身份。而不是依赖于参考话语的推理，我们引入了一个事先韵律编码器，学习每个扬声器的风格，使语音合成，而不需要参考音频。我们还微调的多说话人模型，以看不见的扬声器与有限的数据量，作为一个现实的应用场景，并显示韵律控制能力的维护，验证说话人无关的韵律聚类是有效的。实验结果表明，该模型具有较高的输出语音质量，所提出的方法允许有效的韵律控制在每个扬声器的范围内，尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
Investigating Human-Model Discrepancies in Speech Quality Assessment via Acoustic and Prosodic Perturbations
Nagoya Institute of Technology, Japan（名古屋技术大学，日本）；LY Corporation, Japan（LY公司，日本）
通过声学退化、韵律错误和说话人特征扰动，发现MOS预测模型对声学退化敏感，但对韵律错误不敏感，且对基频有偏见，而对语速和基频变化不敏感。
2026-06-19 cs.CL cs.LG cs.SD
Investigating Content-Aware Neural Text-To-Speech MOS Prediction Using Prosodic and Linguistic Features
Innoetics（伊诺提克斯公司）；Samsung Electronics（三星电子）；Mobile eXperience Business, Samsung Electronics（三星电子移动体验业务部门）
本研究提出在MOS预测系统中引入韵律和语言特征作为额外输入，并在SOMOS数据集上验证其有效性，结果表明该方法能提升预测分数与真实值的相关性。
2023-05-07 cs.CL cs.LG cs.SD
Acoustic Modeling for End-to-End Empathetic Dialogue Speech Synthesis Using Linguistic and Prosodic Contexts of Dialogue History
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
我们提出了一个端到端的移情对话语音合成（DSS）模型，同时考虑了语言和韵律的对话历史背景。移情是人类在对话中主动尝试进入对话者内部的行为，而移情决策支持系统就是在口语对话系统中实现这一行为的一种技术。我们的模型是由语言和韵律特征的历史预测适当的对话上下文的条件。因此，它可以被视为传统的基于语言特征的对话历史建模的扩展。为了有效地训练移情DSS模型，我们研究了1）用大型语音语料库预训练的自监督学习模型，2）使用要通过对话上下文嵌入预测的当前话语的韵律嵌入的风格引导训练，3）结合文本和语音模态的跨模态注意，以及4）逐段嵌入以实现细粒度韵律建模而不是逐段建模。评价结果表明：1）单纯考虑对话历史的韵律语境并不能提高移情DSS的语音质量; 2）引入风格引导训练和逐行嵌入建模，语音质量比传统方法更高。
2022-06-16 cs.CL cs.LG cs.SD
On granularity of prosodic representations in expressive text-to-speech
Amazon Text-to-Speech Research（亚马逊语音合成研究部）
在表达性语音合成中，广泛采用潜在韵律表示来处理训练过程中数据的变化。相同的文本可以对应于不同的声学实现，这被称为文本转语音中的一对多映射问题。在自动编码设置中从目标信号中提取话语、单词或音素级表示，以补充语音输入并简化该映射。本文比较了韵律嵌入在不同的粒度级别，并检查其预测文本。我们发现，话语级嵌入有不足的容量和音素级倾向于引入不稳定性时，从文本预测。词级表示在容量和可预测性之间施加平衡。因此，我们将LibriTTS数据集上的合成语音和录音之间的自然度差距缩小了90%，而不会牺牲清晰度。
2023-01-26 cs.SD eess.AS
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi（印度理工学院德里分校）
本文提出Prosodic Diff-TTS，通过条件韵律层归一化将风格描述嵌入扩散GAN，在仅4步去噪内实现高保真语音合成，并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
A Discourse-level Multi-scale Prosodic Model for Fine-grained Emotion Analysis
Tsinghua University（清华大学）
本文提出话语级多尺度文本韵律模型D-MPM，通过预测音素级局部韵律嵌入和全局风格嵌入来改进细粒度情感语音合成，并构建了超1.3万条语句的中文有声书数据集DCA进行验证。
2023-09-21 cs.CL cs.SD eess.AS
Prosodic Representation Learning and Contextual Sampling for Neural Text-to-Speech
Amazon Research（亚马逊研究院）
在本文中，我们介绍了Kathaka，一个新的两阶段训练过程的神经语音合成与上下文适当的韵律训练模型。在第一阶段，我们从训练过程中可用的梅尔频谱图中学习句子级别的韵律分布。在第二阶段，我们提出了一种新的方法，从这个学习的韵律分布使用文本中的上下文信息进行采样。为此，我们在文本上使用BERT，在从文本中提取的解析树上使用图形注意力网络。与录音相比，我们显示出$13.2\%$在强基线上自然度的统计学显著相对改善。我们还对我们的采样技术的变化进行了消融研究，并显示在每种情况下，在基线上有统计学意义的改善。
2020-11-04 cs.CL cs.SD eess.AS
DrawSpeech: Expressive Speech Synthesis Using Prosodic Sketches as Control Conditions
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
针对参考语音难获取、自然语言难以细粒度控制韵律的问题，提出DrawSpeech扩散模型，依据用户绘制的韵律草图恢复音高与能量轮廓并合成语音，实现友好且精确的细粒度韵律控制。
2025-01-08 cs.SD eess.AS
Flavored Tacotron: Conditional Learning for Prosodic-linguistic Features
AI Foundation（AI基金会）
神经序列到序列文本到语音合成（TTS），如Tacotron-2，将文本转换为高质量的语音。然而，生成具有自然韵律的语音仍然是一个挑战。安田等显示与自然语音不同，Tacotron-2的编码器不能完全表示字符的韵律特征（例如英语中的音节重音），并导致平坦的基频变化。在这项工作中，我们提出了一种新的精心设计的策略，用于调节Tacotron-2在英语中的两个基本韵律特征-重音音节和音高重音，这有助于实现更自然的韵律。为此，我们使用分类器以端到端的方式学习这些特征，并在Tacotron-2的Text-To-Mel Spectrogram的三个部分应用特征调节：预编码器，后编码器和帧内解码器。此外，我们表明，在预编码器和解码器内阶段的联合条件功能的结果在韵律上自然的合成语音（与Tacotron-2），并允许该模型产生语音更准确的音调口音和重音模式。定量评估表明，我们的配方实现了更高的基频轮廓相关性，和较低的梅尔倒谱系数失真度之间的合成和自然语音。主观评价表明，该方法的平均意见得分为4.14，高于基线Tacotron-2，3.91，与自然语音（LJSpeech语料库），4.28相比。
2021-04-08 cs.CL cs.LG cs.SD
What Makes Synthetic Speech Sound Sarcastic? A Prosody-Controlled Perception Study
University of Groningen（格罗宁根大学）
通过可控神经TTS系统操纵语速、音高变化和响度，发现响度主要驱动人类对讽刺的感知，而模型更依赖语速，揭示了韵律线索权重差异。
2026-06-23 cs.SD eess.AS
Modeling Prosodic Phrasing with Multi-Task Learning in Tacotron-based TTS
Inner Mongolia University（内蒙古大学）；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
基于Tacotron的端到端语音合成已经显示出卓越的语音质量。然而，合成语音中韵律的呈现仍有待改进，特别是对于长句，韵律短语错误可能会经常发生。在本文中，我们扩展了基于Tacotron的语音合成框架，明确建模的韵律短语休息。我们提出了一个多任务的学习计划Tacotron培训，优化系统预测梅尔频谱和短语休息。据我们所知，这是第一次实现多任务学习的Tacotron为基础的TTS与韵律短语模型。实验表明，我们提出的训练方案一致提高语音质量的汉语和蒙古语系统。
2020-08-11 cs.CL cs.SD eess.AS
Automatic Prosody Annotation with Pre-Trained Text-Speech Model
Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
韵律边界在文本到语音合成（TTS）的自然度和可读性方面起着重要的作用。然而，韵律边界标签的获取依赖于人工标注，这是昂贵的和耗时的。在本文中，我们提出了自动提取韵律边界标签的文本音频数据通过神经文本语音模型与预先训练的音频编码器。该模型分别在文本和语音数据上进行预训练，并以三元组格式对TTS数据进行联合微调：{语音，文本，韵律}。自动评测和人工评测的实验结果表明：1）本文提出的文本-语音韵律标注框架显著优于纯文本基线; 2）自动韵律边界标注的质量与人工标注相当; 3）使用模型标注边界训练的TTS系统略优于使用人工边界的系统。
2022-06-16 cs.CL cs.SD eess.AS
Grapheme-Coherent Phonemic and Prosodic Annotation of Speech by Implicit and Explicit Grapheme Conditioning
Nara Institute of Science and Technology（奈良科学技术大学）；LY Corporation（LY公司）
本文提出通过隐式BERT提示编码和显式推理剪枝两种字素条件化方法，生成字素一致的音素与韵律标注，并验证其在下游口音估计任务中的有效性。
2025-06-05 cs.CL cs.SD eess.AS
Improving Mandarin Prosodic Structure Prediction with Multi-level Contextual Information
Huya Inc.（虎牙公司）
本文提出利用包含语句间与语句内信息的多层级上下文，通过层级编码器和多任务学习解码器改进普通话韵律结构预测，实验证明其有效提升韵律边界预测F1分数及合成语音自然度。
2023-08-31 cs.CL cs.SD eess.AS
Improved Prosodic Clustering for Multispeaker and Speaker-independent Phoneme-level Prosody Control
Innoetics, Samsung Electronics（Innoetics，三星电子）；Samsung Electronics（三星电子）
本文提出了一种基于韵律聚类的多说话人文语转换系统中音素级韵律控制的方法。一个自回归注意力为基础的模型，将多扬声器架构模块并行的韵律编码器。对基本的单说话人方法提出了几点改进，增加了韵律控制的范围和覆盖率。更具体地说，我们采用数据增强，F0归一化，平衡聚类的持续时间，和说话人无关的韵律聚类。这些修改使细粒度的音素级韵律控制包含在训练集中的所有扬声器，同时保持扬声器的身份。该模型也微调到看不见的扬声器与有限的数据量，它被证明保持其韵律控制能力，验证了说话人独立的韵律聚类是有效的。实验结果表明，该模型保持高输出语音质量，所提出的方法允许有效的韵律控制在每个扬声器的范围内，尽管多扬声器设置引入的变化。
2021-11-19 cs.CL cs.LG cs.SD
Exploiting Deep Sentential Context for Expressive End-to-End Speech Synthesis
Xiaomi（小米）
基于注意力的seq 2seq文本到语音系统，特别是那些使用自注意力网络（SAN）的系统，已经达到了最先进的性能。但是，具有丰富韵律的表达性语料库仍然具有挑战性，因为1）韵律方面，跨越不同的语义粒度并主要决定声学表达性，难以分类和标记; 2）当前的seq 2seq框架仅从文本编码器中提取韵律信息，这很容易被折叠为表达内容的平均表达。在本文中，我们提出了一个上下文提取器，这是建立在基于SAN的文本编码器，充分利用表达语料库的seq 2seq为基础的TTS的原始上下文。我们的上下文提取器首先收集韵律相关的原始上下文信息从不同的SAN层，然后聚合它们来学习一个全面的句子表示，以提高最终生成的语音的表达能力。具体来说，我们研究了两种上下文聚合方法：1）直接聚合，直接连接不同SAN层的输出，2）加权聚合，使用多头注意力自动学习不同SAN层的贡献。在两个表达性语料库上的实验表明，该方法能产生更自然、韵律变化更丰富的语音，并且加权聚合在表达性建模方面更有优势。
2020-08-03 cs.SD eess.AS
Applying Syntax$\unicode{x2013}$Prosody Mapping Hypothesis and Prosodic Well-Formedness Constraints to Neural Sequence-to-Sequence Speech Synthesis
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Graduate School of Arts and Sciences, The University of Tokyo（东京大学综合文化研究科）
端到端的文本到语音合成（TTS）直接从文本或音素的字符串生成语音声音，与传统的TTS相比提高了语音合成的质量。然而，大多数以前的研究都是基于主观的自然性进行评估，并没有客观地检查他们是否可以再现语音现象的音高模式，如降阶，节奏提升，并初步降低，反映了日语的句法结构。这些现象可以用语音制约和句法$\unicode{x2013}$韵律映射假说（SPMH）来解释。虽然心理语言学的一些实验已经证实了SPMH的有效性，但它是否能在TTS中实现仍然是一个关键问题。为了综合涉及句法或语音约束的语言现象，我们提出了一个基于SPMH和韵律良构性约束的语音符号模型。实验结果表明，所提出的方法合成的音高模式类似的语言学实验中报告的现象，初始降低和节奏提升。所提出的模型有效地合成语音现象的测试数据中，没有明确包括在训练数据。
2022-03-29 cs.CL cs.SD eess.AS
Vocal effort modeling in neural TTS for improving the intelligibility of synthetic speech in noise
Apple（苹果公司(Apple)）
我们提出了一种神经文本到语音（TTS）的方法，模型自然的声音努力的变化，以提高在噪声存在下的合成语音的可懂度。该方法包括首先测量未标记的传统语音数据的频谱倾斜，然后用归一化的频谱倾斜以及其他韵律因素来调节神经TTS模型。改变频谱倾斜参数并保持其他韵律因素不变使得能够在合成时独立于其他韵律因素有效地控制发声努力。通过将频谱倾斜值外推到原始数据之外，我们可以生成具有高声音努力水平的语音，从而在存在掩蔽噪声的情况下提高语音的可懂度。我们评估的清晰度和质量的正常语音和语音增加的声音努力在各种掩蔽噪声条件下的存在，并比较这些知名的语音清晰度增强算法。实验结果表明，该方法在保证语音质量的前提下，提高了合成语音的可懂度。
2022-03-29 cs.SD eess.AS
MagpieTTS-LF: Inference-Time Long-Form Speech Generation Without Training on Long-Form data
NVIDIA Corporation（英伟达公司）
提出MagpieTTS-LF推理时方法，通过软注意力先验、有状态推理和历史感知文本编码，在不重新训练模型的情况下实现连贯的长语音生成。
2026-06-18 cs.AI cs.SD eess.AS
Segmentation-Variant Codebooks for Preservation of Paralinguistic and Prosodic Information
University of Edinburgh（爱丁堡大学）；The Centre for Speech Technology Research（语音技术研究中心）
针对自监督语音模型量化易丢失韵律及副语言信息的问题，提出分段可变码本方法，在多语言单元层级量化分解语音，实验证明其在信息保留、风格还原及音质上均有提升。
2025-05-21 cs.CL cs.SD eess.AS
Adaptive Oscillatory Inductive Bias for Modeling Sharp Prosodic Dynamics in Diffusion-Based TTS
Media Analysis, Sony Research India（索尼印度研究所在媒体分析部门）
提出自适应振荡非线性激活函数（OscillaTTS），通过线性旁路保持信号稳定，增强扩散TTS解码器对尖锐韵律变化的建模能力，在LJSpeech和情感语音数据集上客观和主观评估均一致提升。
2026-06-25 cs.AI cs.CL cs.SD
Uncovering Latent Style Factors for Expressive Speech Synthesis
Google Research（谷歌研究院）
韵律建模是语音合成的核心问题。关键的挑战是从只包含语音信息的文本输入中产生所需的韵律。在这个初步的研究中，我们介绍了“风格令牌”的概念，在Tacotron，最近提出的端到端的神经语音合成模型。使用风格标记，我们的目标是从训练数据中提取独立的韵律风格。我们表明，没有注释数据或明确的监督信号，我们的方法可以自动学习各种韵律变化在一个纯粹的数据驱动的方式。重要的是，每个样式标记都对应于一个固定的样式因子，而不管给定的文本序列如何。因此，我们可以控制合成语音的韵律风格在某种程度上可预测的和全球一致的方式。
2017-11-01 cs.CL cs.SD
CHiVE: Varying Prosody in Speech Synthesis with a Linguistically Driven Dynamic Hierarchical Conditional Variational Network
Google UK（谷歌英国）；University of West Bohemia（西波西米亚大学）
由当前文本到语音系统产生的语音信号的韵律方面通常在训练材料上平均，并且因此缺乏在自然语音中发现的多样性和生动性。为了避免单调性和平均韵律轮廓，期望具有对语音的韵律方面的变化进行建模的方式，因此可以针对给定文本以多种方式合成音频信号。我们提出了一个新的，分层结构的条件变分自编码器生成韵律功能（基频，能量和持续时间）适合使用的声码器或生成模型，如WaveNet。在推理时，可以从变化层采样表示句子的韵律的嵌入，以允许韵律变化。为了有效地捕获语言输入（单词、音节和音素）的分层性质，自动编码器的编码器和解码器部分都是分层的，与语言结构一致，其中层以各自的速率动态地计时。我们在我们的实验中表明，我们的动态分层网络优于一个非分层的最先进的基线，此外，跨句子的韵律传输是可能的，通过采用一个句子的韵律嵌入生成另一个的语音信号。
2019-06-04 cs.CL cs.SD eess.AS
Prosody Labeling with Phoneme-BERT and Speech Foundation Models
CyberAgent
本文提出结合语音基础模型声学特征与音素语言基础模型语言特征的韵律标签自动标注方法，在日语重音和间断指数预测上取得显著提升。
2025-07-05 cs.SD eess.AS
Perception of prosodic variation for speech synthesis using an unsupervised discrete representation of F0
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
在英语中，韵律为片段序列添加了广泛的信息，从信息结构（例如对比）到文体变化（例如情感表达）。然而，当学习控制文本到语音语音的韵律时，不清楚控制到底在修改什么。现有的韵律离散表征学习的研究已经证明了高度的自然性，但没有分析这些表征捕获了什么，或者它们是否可以生成有意义的不同的话语变体。我们提出了一个短语级变分自动编码器与多模态前，使用的模式中心作为“语调代码”。我们的评估确定了哪些语调代码在感知上是不同的，发现来自我们的多模态潜在模型的语调代码比使用k均值聚类的基线明显更不同。我们进行了后续的定性研究，以确定代码携带的信息。最常见的是，听众对具有陈述或疑问风格的语调代码进行评论。然而，许多其他与情感相关的风格也被报道，包括：情绪化，不确定，惊讶，讽刺，被动攻击和沮丧。
2020-03-14 cs.CL cs.LG cs.SD
High quality voice conversion using prosodic and high-resolution spectral features
Nanyang Technological University (NTU)（南洋理工大学）；Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly（南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心）
语音转换方法在过去十年中发展迅速。研究表明，说话人的特征可以通过频谱特征和各种韵律特征来获取。现有的转换方法大多集中在频谱特征上，因为它直接代表了音色特征，而一些转换方法只关注基频所代表的韵律特征。本文提出了一种使用深度神经网络转换音色和韵律特征的综合框架。音色特征由高分辨率光谱特征表示。韵律特征包括F0、强度和持续时间。众所周知，DNN是一个有用的工具来建模高维特征。在这项工作中，我们证明了通过我们提出的自动编码器预训练初始化的DNN会产生高质量的DNN转换模型。这种预训练是为语音转换量身定制的，并利用自动编码器来捕获源语音的通用频谱形状。此外，我们的框架使用分段DNN模型来捕获韵律特征随时间的演变。为了重建转换后的语音，由DNN模型产生的频谱特征与由DNN分段模型产生的三个韵律特征相结合。我们的实验结果表明，韵律和高分辨率的频谱特征的应用程序，导致质量转换语音的客观评价和主观听力测试。
2015-12-06 cs.SD
Multi-Modal Automatic Prosody Annotation with Contrastive Pretraining of SSWP
The Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学言语技术研究中心）；Transsion（传音控股）
本文提出两阶段自动韵律标注方法，通过SSWP对比预训练增强韵律表示，并结合多模态标注器在英语韵律边界上取得SOTA性能，且对数据稀缺具有鲁棒性。
2024-06-11 cs.AI cs.CL cs.SD
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
大部分表达性语音合成文献集中于学习语音信号的韵律表示，然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中，我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明，规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外，我们表明，合成语音具有较高的变异性，对于一个给定的文本，由于规范化流的性质。我们还提出了一个动态的VAE模型，可以产生更高质量的语音，虽然与基于流的模型相比，降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
A Character-level Span-based Model for Mandarin Prosodic Structure Prediction
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-港中文媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；TAL Education Group（好未来教育集团）
韵律结构预测的准确性对汉语文语转换系统中合成语音的自然度至关重要，但目前普遍采用的序列到序列框架和以往分词结果的误差积累限制了韵律结构预测的准确性。本文提出了一种基于跨度的汉语韵律结构预测模型，以获得最优的韵律结构树，并将其转换为相应的韵律标签序列。该方法不需要分词的前提条件，而是由汉字级BERT提供丰富的语言特征，并将其发送给具有自注意结构的编码器。在此基础上，使用跨度表示和标签评分来描述所有可能的韵律结构树，其中每棵树都有其对应的分数。为了找到给定句子的最佳树，进一步使用自底向上的CKY风格算法。该方法可以同时预测不同层次的韵律标签，并以端到端的方式直接从汉字中完成这一过程。两个真实世界的数据集上的实验结果表明，我们的基于跨度的方法在所有序列到序列的基线方法的优异性能。
2022-03-31 cs.CL cs.SD eess.AS
VAW-GAN for Disentanglement and Recomposition of Emotional Elements in Speech
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换（EVC）的目的是将语音的情感从一种状态转换到另一种状态，同时保持语言内容和说话人身份。本文利用变分自编码Wasserstein生成对抗网络（VAW-GAN）研究语音中情感成分的分解和重组。我们提出了一种基于VAW-GAN的说话人相关EVC框架，该框架包括两个VAW-GAN管道，一个用于频谱转换，另一个用于韵律转换。我们训练一个频谱编码器，解开情感和韵律（F0）的信息从频谱特征，我们也训练韵律编码器，解开情感调制的韵律（情感韵律）从语言韵律。在运行时，频谱VAW-GAN的解码器以韵律VAW-GAN的输出为条件。声码器采用转换后的频谱和韵律特征来生成目标情感语音。实验验证了我们提出的方法在客观和主观评价的有效性。
2020-11-03 cs.CL cs.SD eess.AS
DiffStyleTTS: Diffusion-based Hierarchical Prosody Modeling for Text-to-Speech with Diverse and Controllable Styles
University of Science and Technology of China（中国科学技术大学）；iFLYTEK CO.LTD.（科大讯飞股份有限公司）；China Mobile Research Institute（中国移动研究院）
针对文本到韵律的一对多映射问题，提出 DiffStyleTTS，利用条件扩散、改进无分类器引导和分层韵律建模实现风格可控的语音合成，并在自然度与速度上优于基线。
2024-12-04 cs.AI cs.CL cs.SD
EmergentTTS-Eval: Evaluating TTS Models on Complex Prosodic, Expressiveness, and Linguistic Challenges Using Model-as-a-Judge
Boson AI（Boson人工智能）
本文提出综合TTS基准EmergentTTS-Eval，利用LLM自动生成针对六类复杂场景的1645个测试用例，并采用LALM作为裁判多维度评估语音，实验证明该方法稳健且与人类偏好高度相关。
2025-05-29 cs.LG cs.SD eess.AS
StyleTTS: A Style-Based Generative Model for Natural and Diverse Text-to-Speech Synthesis
提出StyleTTS，一种基于风格的并行TTS生成模型，通过可迁移单调对齐器和时长不变数据增强，利用自监督学习从参考语音合成自然且多样化的语音，显著提升了语音自然度和说话人相似度。
2023-11-20 cs.CL cs.LG cs.SD
ProMode: A Speech Prosody Model Conditioned on Acoustic and Textual Inputs
University of California, Los Angeles（加州大学洛杉矶分校）；Flawless AI；Imperial College London（伦敦帝国学院）
提出ProMode模型，通过部分掩码的声学和文本输入预测F0和能量等韵律特征，在GigaSpeech数据集上训练并在TTS系统中展现出优于基线的韵律预测和感知偏好。
2025-08-12 cs.CL cs.LG cs.SD
Bridging the Gap: Converting Read Text to Conversational Dialogue
Samsung Research and Development Institute, Bangalore, India（三星研发研究所，班加罗尔，印度）
本文提出了一种名为PACC的新方法，通过利用深度神经网络分析和修改语调、重音和节奏等语调特征，将阅读语音转换为更自然的对话语音，从而在虚拟助手、客户服务和语言学习工具中提高语音转换的自然度和准确性。
2026-10-16 cs.AI cs.CL cs.LG
A Variational Prosody Model for Mapping the Context-Sensitive Variation of Functional Prosodic Prototypes
Ss. Cyril and Methodius University in Skopje（斯科普里圣基里尔·麦托迪乌斯大学）；Univ. Grenoble-Alpes, CNRS, Grenoble-INP, GIPSA-lab（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔高等理工学院、GIPSA实验室）；University College London（伦敦大学学院）；Idiap Research Institute（IDIAP研究所）
长期以来，语音交际研究一直面临着一个挑战，即寻找一个将语言功能和非语言功能与韵律形式联系起来的综合语调生成模型。传统的语调模型已经让位于深度学习（DL）技术的压倒性性能，用于使用数百万个可调参数训练通用端到端映射。然而，向黑箱机器学习模型的转变带来了相反的问题--迫切需要发现知识，解释，可视化和解释。我们的工作在语调的综合生成模型和最先进的DL技术之间架起了桥梁。我们建立在功能轮廓（SFC）模型的叠加的建模范式，并提出了一个变韵律模型（VPM），它使用一个网络的变轮廓发生器捕捉上下文敏感的变化的构成基本韵律轮廓。我们表明，VPM可以通过学习一个有意义的韵律潜在空间表示结构，这些韵律原型的内在变异性的洞察。我们还表明，VPM是能够捕捉韵律现象，有多个维度的上下文为基础的变化。由于VPM基于叠加原理，因此不需要使用专门制作的语料库进行分析，从而为使用大数据进行韵律分析提供了可能性。在语音合成场景中，该模型可用于生成动态和自然的韵律轮廓，其没有平均效应。
2019-03-18 cs.SD eess.AS
Daft-Exprt: Cross-Speaker Prosody Transfer on Any Text for Expressive Speech Synthesis
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯泰伦博斯大学）
提出多说话人声学模型 Daft-Exprt，通过 FiLM 条件层与对抗解耦实现任意文本上的跨说话人韵律迁移，实验显示其优于强基线并保持高自然度。
2022-04-05 cs.SD eess.AS
GraphPB: Graphical Representations of Prosody Boundary in Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文介绍了一种用于汉语语音合成的韵律边界图形表示方法（GraphPB），旨在通过图形化的方式解析输入序列的语义和句法关系，以提高韵律性能。图嵌入的节点由韵律词构成，边由韵律短语边界（PPH）和语调短语边界（IPH）构成。不同的图神经网络（GNN），如门控图神经网络（GGNN）和图长短期记忆（G-LSTM）被用作图编码器，以利用图形韵律边界信息。提出了一种图-序列模型，该模型由图编码器和注意力解码器组成。本文提出了两种将序列信息嵌入到图-序列-文-语转换模型中的技术。实验结果表明，该方法可以有效地对语音和韵律节奏进行编码。这些GNN模型的平均意见得分（MOS）显示了与最先进的序列到序列模型在韵律方面具有更好的性能的比较结果。这为端到端语音合成中的韵律建模提供了另一种方法。
2020-12-03 cs.CL cs.SD eess.AS
Accented Text-to-Speech Synthesis with Limited Data
本文提出一个有限数据下的带口音TTS框架，通过预训练加口音相关层微调，分别用前端处理语音变化、声学模型控制韵律变化，实验证明能有效提升口音相似度与语音质量。
2023-05-08 cs.SD eess.AS
Which Prosodic Features Matter Most for Pragmatics?
University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本研究通过预测句子对语用相似性，发现时长和句首韵律特征比音高和句尾特征更重要，并指出鼻音等常被忽视的声学特征具有语用意义，可指导韵律研究与语音合成评估。
2024-08-23 cs.CL cs.SD eess.AS
Low-Resource Mongolian Speech Synthesis Based on Automatic Prosody Annotation
VXI
虽然基于深度学习的TTS（文本到语音）模型（如VITS）已经显示出出色的结果，但它们通常需要大量高质量的<text，audio>对来进行训练，这是昂贵的。到目前为止，世界上大多数语言仍然缺乏开发TTS系统所需的训练数据。本文针对低资源蒙古语语音合成面临的两个问题提出了两种改进方法：a）鉴于缺乏高质量的<text，audio>数据对，难以对语言特征到声学特征的映射问题进行建模。使用预训练的VITS模型和迁移学习方法进行改进。b）针对标注信息少的问题，提出采用一种自动韵律标注方法对文本和对应语音的韵律信息进行标注，从而提高低资源蒙古语的自然度和可懂度。通过实证研究，本文提出的方法的N-MOS为4.195，I-MOS为4.228。
2023-01-04 cs.SD eess.AS
Location, Location: Enhancing the Evaluation of Text-to-Speech Synthesis Using the Rapid Prosody Transcription Paradigm
University of Edinburgh（爱丁堡大学）
文本转语音合成系统通常使用平均意见得分（MOS）测试来评估，其中听众在李克特量表上对合成语音的样本进行评分。MOS测试的一个主要缺点是它们只提供总体质量的一般测量，即，话语的自然性--因此不能告诉我们合成错误发生的确切位置。这可能会使评估的适当性韵律变化的话语不确定。为了解决这个问题，我们提出了一种新的评估方法的基础上快速韵律转录范例。这允许听众实时标记话语中的错误位置，提供合成信号中发生的感知错误的概率表示。我们进行的实验证实，细粒度的评价可以映射到标准MOS测试的系统排名，但错误标记给出了一个更全面的综合韵律评估。特别是，对于标准有声读物测试集样本，我们看到错误标记始终聚集在标点符号指示的主要韵律边界处的单词周围。然而，对于基于问答的刺激，我们控制信息结构，我们看到的差异出现在神经TTS系统产生上下文适当的韵律突出的能力。
2021-07-06 cs.CL cs.SD eess.AS
ParaTTS: Learning Linguistic and Prosodic Cross-sentence Information in Paragraph-based TTS
Northwestern Polytechnical University（西北工业大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
神经端到端TTS模型的最新进展已经在传统的基于语音的TTS中显示出高质量、自然的合成语音。然而，它仍然是具有挑战性的再现类似的高质量时，一个完整的段落被认为是在文语转换，其中大量的上下文信息需要考虑在建立一个基于段落的文语转换模型。为了减轻训练中的困难，我们建议在训练中考虑跨句子，嵌入结构来建模语言和韵律信息。三个子模块，包括语言感知，韵律感知和停顿位置网络，一起训练与修改Tacotron 2。具体来说，学习嵌入在一个段落中的信息和相应的组成句子之间的关系，我们利用语言感知和韵律感知网络。编码器捕获段落中的信息，利用多头注意力机制学习段落中的句间信息。段落中的相对句子位置被位置网络明确地利用。在一个讲故事的有声读物语料库（4.08小时）上训练，由一位女性汉语普通话者记录，所提出的TTS模型表明，它可以产生相当自然和高质量的语音段落。该模型能够更好地预测和呈现跨句子的上下文信息，例如连续句子之间的中断和韵律变化。测试的段落文本，其长度类似于，长于，或远长于典型的段落长度的训练数据，TTS语音产生的新模型是一贯的首选在主观测试和确认在客观的措施基于语音的模型。
2022-09-14 cs.CL cs.SD eess.AS
Learning utterance-level representations through token-level acoustic latents prediction for Expressive Speech Synthesis
Innoetics, Samsung Electronics（三星电子Innoetics）；Mobile eXperience Business, Samsung Electronics（三星电子移动体验业务部）
本文提出了一种表达性语音合成模型，利用令牌级潜在韵律变量，以捕捉和控制话语级属性，如字符表演的声音和说话风格。目前的工作旨在明确因式分解这种细粒度和话语级的语音属性到不同的表示提取的模块，在相应的水平。我们发现，细粒度的潜在空间也捕获粗粒度的信息，这是更明显的潜在空间的维度增加，以捕捉不同的韵律表示。因此，在令牌级和话语级表示的多样性与它们的解纠缠之间出现权衡。我们首先将丰富的语音属性捕获到标记级潜在空间中，然后单独训练一个先验网络，该网络给定输入文本，学习话语级表示，以预测在前一步中提取的音素级后验潜在空间，从而缓解了这个问题。定性和定量的评价被用来证明所提出的方法的有效性。音频样本可在我们的演示页面。
2022-11-01 cs.CL cs.LG cs.SD
Enriching Source Style Transfer in Recognition-Synthesis based Non-Parallel Voice Conversion
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc（爱奇艺公司）
当前的语音转换（VC）方法可以成功地转换音频的音色。由于对源音频的韵律进行有效建模是一项具有挑战性的任务，因此将源风格转换为转换后的语音仍然存在局限性。本研究提出一种基于编译-合成框架的源代码风格转换方法。以往的语音生成任务中，韵律可以显式地用韵律特征建模，也可以隐式地用潜在韵律提取器建模。本文利用两者的优点，以混合方式对韵律进行建模，有效地将显式和隐式方法结合在拟议的韵律模块中。具体地说，韵律特征用于显式韵律建模，而VAE和参考编码器用于隐式韵律建模，分别以Mel谱和瓶颈特征作为输入。此外，引入对抗训练来从VAE输出中去除说话人相关信息，避免在传递风格时泄漏源说话人信息。最后，我们使用一个修改后的自我注意基于编码器提取的瓶颈功能，这也隐含地聚合源语音的韵律方面的分层表示的韵律上下文。实验结果表明，我们的方法是优于基线和竞争系统的风格转移，同时，语音质量和说话人相似性保持良好。
2021-06-26 cs.SD eess.AS
CopyCat: Many-to-Many Fine-Grained Prosody Transfer for Neural Text-to-Speech
Amazon Research（亚马逊研究院）
韵律转换（PT）是一种在合成语音时使用源音频的韵律作为参考的技术。细粒度PT旨在以非常细粒度的级别从源音频捕获韵律方面，如节奏，重点，旋律，持续时间和响度，并在合成不同目标说话者的语音时转移它们。目前的细粒度PT方法遭受源扬声器泄漏，其中合成的语音具有源扬声器的语音身份，而不是目标扬声器。为了缓解这个问题，他们在PT的质量上做出了妥协。在本文中，我们提出了CopyCat，一种新颖的，多对多PT系统，是强大的源扬声器泄漏，而不使用并行数据。我们实现这一目标，通过一种新的参考编码器架构能够捕捉时间韵律表示源扬声器泄漏是强大的。我们比较CopyCat对一个国家的最先进的细粒度PT模型，通过各种主观评价，在那里我们显示了相对改善的$47\%$的韵律传输和$14\%$在保留目标扬声器身份的质量，同时仍然保持相同的自然度。
2020-04-30 cs.SD eess.AS
Textless Speech Emotion Conversion using Discrete and Decomposed Representations
Bar-Ilan University（巴伊兰大学）；Meta AI Research（Meta人工智能研究院）；EHESS（社会科学高等学院）
言语情感转换是指在保持言语的词汇内容和说话人身份的前提下，对言语的情感进行修正。在这项研究中，我们把情感转换的问题作为一个口语翻译任务。我们将语音信号分解为离散的学习表示，包括语音内容单元，韵律特征，扬声器和情感。首先，我们通过将语音内容单元翻译成目标情感来修改语音内容，然后基于这些单元预测韵律特征。最后，通过将预测的表示馈送到神经声码器中来生成语音波形。这样的范例使我们能够超越频谱和参数变化的信号，和模型的非语言发声，如笑声插入，打哈欠删除等，我们客观和主观地证明，所提出的方法是大大优于目前的方法，甚至击败基于文本的系统在感知的情感和音频质量。我们严格评估了这样一个复杂系统的所有组件，并通过广泛的模型分析和消融研究得出结论，以更好地强调所提出的方法的架构选择，优点和缺点。示例可通过以下链接获得：https://speechbot.github.io/emotion。
2022-12-13 cs.AI cs.CL cs.LG
FastGraphTTS: An Ultrafast Syntax-Aware Speech Synthesis Framework
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文提出FastGraphTTS框架，将依存句法图编码融入端到端语音合成，在英汉双语实验中提升韵律一致性与语音转换能力，并通过AI芯片算子实现5倍加速。
2023-09-16 cs.SD eess.AS
Assessing the Ability of Neural TTS Systems to Model Consonant-Induced F0 Perturbation
University at Buffalo（布法罗大学）；Australian National University（澳大利亚国立大学）
本文提出一种段级声学探针框架，评估神经TTS模型对辅音诱导F0扰动的再现能力，发现高频率词汇表现准确，但低频率词汇泛化差，表明系统更依赖词汇级记忆而非抽象段级声学编码。
2026-03-22 cs.AI cs.CL cs.SD
FastPitchFormant: Source-filter based Decomposed Modeling for Speech Synthesis
Speech AI Lab, NCSOFT（NCSOFT语音AI实验室）
已经提出了用于对具有声学特征的韵律进行建模和控制的方法用于神经文本到语音（TTS）模型。韵律语音可以通过调节声学特征来生成。然而，合成语音与大的音高移位规模遭受音频质量下降，和扬声器特性变形。为了解决这个问题，我们提出了一个基于前馈Transformer的TTS模型，该模型基于源滤波器理论设计。这个模型称为FastPitchForcenter，它有一个独特的结构，可以并行处理文本和声学特征。通过分别对每个特征建模，可以减轻模型学习两个特征之间的关系的趋势。
2021-06-29 cs.LG cs.SD eess.AS
Hierarchical Representation of Prosody for Statistical Speech Synthesis
Institute of Behavioural Sciences, University of Helsinki（赫尔辛基大学行为科学研究所）；Aalto University（阿尔托大学）；University of Alberta（阿尔伯塔大学）；Institute for Reconstructive Sciences in Medicine (iRSM), Misericordia Hospital（misericordia 医院医学重建科学研究所（iRSM））
重音和边界是语音韵律结构的重要组成部分。它们提供了将语音流分块成语言相关单元的方法，通过为它们提供相对显著性并在连贯的话语结构内划分它们。在韵律学的基础研究和文本到语音合成中，突出和边界都得到了广泛的应用。然而，目前还没有一种表示方法能够以统一的方式对它们进行估计和建模。在这里，我们提出了一个无监督的统一帐户，估计和表示韵律连续性和边界使用的尺度空间分析的基础上连续小波变换。使用波士顿大学广播新闻语料库的方法进行评估和早期的工作进行比较。实验结果表明，该方法与目前最好的有监督标注方法具有可比性。
2015-10-07 cs.CL cs.SD
