ProSDD: Learning Prosodic Representations for Speech Deepfake Detection against Expressive and Emotional Attacks
Johns Hopkins University（约翰斯·霍普金斯大学）；Hong Kong Polytechnic University（香港理工大学）
ProSDD通过学习语音中语调变化的表示，提高对抗表现性和情感攻击的检测能力，其在ASVspoof 2019和2024训练中表现优异，显著降低误报率。
2026-04-14 eess.AS
Cross-lingual Prosody Transfer for Expressive Machine Dubbing
本文提出一种跨语言韵律迁移方法，通过解耦噪声与韵律条件，实现表现力机器配音，将系统与人类对话的差距缩小11.2%。
2023-06-20 eess.AS
MFSN: Multi-perspective Fusion Search Network For Pre-training Knowledge in Speech Emotion Recognition
China Mobile Research Institute（中国移动研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出多视角融合搜索网络MFSN，从语义和声学视角全面且适当地利用预训练知识进行语音情感识别，并在多个数据集上验证其优越性。
2024-06-26 cs.CL cs.SD eess.AS
Expressive Machine Dubbing Through Phrase-level Cross-lingual Prosody Transfer
本文提出短语级跨语言韵律迁移方法，用于表达性多语言机器配音，相比语句级基线显著提升MUSHRA分数6.2%，缩小与人类配音差距23.2%，并保持语音可懂度。
2023-06-21 eess.AS
AffectDF: The Most Comprehensive Benchmark for Speech Deepfake Detection against Emotionally Expressive Attacks
Johns Hopkins University（约翰斯·霍普金斯大学）；Hong Kong Polytechnic University（香港理工大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究提出涵盖多类情感表达型语音伪造攻击的AffectDF基准，实验发现常规训练的SDD系统在该基准上鲁棒性严重下降，为开发更鲁棒的检测模型提供支撑。
2026-08-07 eess.AS
SwanVoice: Expressive Long-Form Zero-Shot Speech Synthesis for Both Monologue and Dialogue
ByteDance（字节跳动）；Zhejiang University（浙江大学）
提出SwanVoice零样本TTS模型，通过构建独白与对话语料库、结合VAE、原始文本条件与流匹配DiT，以及两阶段训练和强化学习后训练，在长文本多说话人对话中实现表现力连贯性和可控切换。
2026-05-29 eess.AS
A Holistic Cascade System, benchmark, and Human Evaluation Protocol for Expressive Speech-to-Speech Translation
Meta AI
表达性语音到语音翻译（S2ST）旨在将源语音的韵律属性传递到目标语音，同时保持翻译的准确性。现有的研究表达S2ST是有限的，通常集中在一个单一的表现力方面的时间。同样，这个研究领域缺乏标准的评估协议和精心策划的基准数据集。在这项工作中，我们提出了一个整体的级联系统表达S2ST，结合多种韵律传输技术以前只考虑在隔离。我们在电视剧领域策划了一个基准表现力测试集，并在有声读物领域探索了第二个数据集。最后，我们提出了一个人的评价协议，以评估多个表达层面的语音对。实验结果表明，双语标注器可以评估的质量，在S2ST系统的表达保留，整体建模方法优于单方面系统。音频样本可以通过我们的演示网页访问：https://facebookresearch.github.io/speech_translation/cascade_expressive_s2st。
2023-01-25 cs.CL cs.SD eess.AS
Using joint training speaker encoder with consistency loss to achieve cross-lingual voice conversion and expressive voice conversion
提出联合训练说话人编码器与 Whisper 内容特征实现高质量跨语言语音转换，并引入说话人一致性损失提升相似度，利用音素后验图重现参考语音的说话人特征与情感。
2023-07-01 eess.AS
MSceneSpeech: A Multi-Scene Speech Dataset For Expressive Speech Synthesis
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
本文提出开源多场景普通话TTS数据集MSceneSpeech，涵盖多说话人和多样韵律，并基于提示机制建立基线，实现用户音色与场景韵律的合成。
2024-07-19 cs.SD eess.AS
Diverse and Expressive Speech Prosody Prediction with Denoising Diffusion Probabilistic Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对现有语音韵律预测器单模态、多样性不足的问题，提出基于去噪扩散概率模型的新型韵律预测器，在参数更少的情况下实现了更优的表现力与多样性。
2023-10-07 cs.SD eess.AS
StoryTTS: A Highly Expressive Text-to-Speech Dataset with Rich Textual Expressiveness Annotations
Shanghai Jiao Tong University（上海交通大学）
本文提出高表现力文本转语音数据集StoryTTS，包含61小时语音及丰富的文本表现力标注，通过大语言模型批量标注五个维度的文本表现力，实验证明结合该标签能提升TTS模型生成语音的表现力。
2024-04-23 cs.CL cs.SD eess.AS
Do You Hear What I Mean? Quantifying the Instruction-Perception Gap in Instruction-Guided Expressive Text-To-Speech Systems
National Taiwan University（台湾大学）；University of Southern California（南加州大学）；University of Michigan（密歇根大学）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（台湾大学人工智能卓越研究中心）
本文研究了指令引导的表达性文本到语音系统中指令与感知之间的差距，通过感知分析和人类评价揭示了指令可控性及系统改进方向。
2026-04-27 eess.AS
Spotlight-TTS: Spotlighting the Style via Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
Department of Artificial Intelligence（人工智能系）
提出Spotlight-TTS，通过浊音感知风格提取聚焦与风格高度相关的浊音区域并保持连续性，结合风格方向调整优化与TTS模型的整合，显著提升了合成语音的表现力、整体质量和风格迁移能力。
2025-06-29 cs.AI cs.SD eess.AS
Exploiting Deep Sentential Context for Expressive End-to-End Speech Synthesis
Xiaomi（小米）
基于注意力的seq 2seq文本到语音系统，特别是那些使用自注意力网络（SAN）的系统，已经达到了最先进的性能。但是，具有丰富韵律的表达性语料库仍然具有挑战性，因为1）韵律方面，跨越不同的语义粒度并主要决定声学表达性，难以分类和标记; 2）当前的seq 2seq框架仅从文本编码器中提取韵律信息，这很容易被折叠为表达内容的平均表达。在本文中，我们提出了一个上下文提取器，这是建立在基于SAN的文本编码器，充分利用表达语料库的seq 2seq为基础的TTS的原始上下文。我们的上下文提取器首先收集韵律相关的原始上下文信息从不同的SAN层，然后聚合它们来学习一个全面的句子表示，以提高最终生成的语音的表达能力。具体来说，我们研究了两种上下文聚合方法：1）直接聚合，直接连接不同SAN层的输出，2）加权聚合，使用多头注意力自动学习不同SAN层的贡献。在两个表达性语料库上的实验表明，该方法能产生更自然、韵律变化更丰富的语音，并且加权聚合在表达性建模方面更有优势。
2020-08-03 cs.SD eess.AS
Computational Narrative Understanding for Expressive Text-to-Speech
Deezer Research（DeepZ 研究院）；Loria（洛林实验室）；IDIAP（日内瓦人工智能实验室）
本文提出LibriQuote数据集，通过增强语音语料库的表达性，提升文本到语音系统的表达力和可懂度，同时公开数据集和评估资源以促进可重复性。
2026-04-21 cs.CL cs.SD eess.AS
Enhancing audio quality for expressive Neural Text-to-Speech
Amazon Text-to-Speech Research（亚马逊文本转语音研究院）
人工语音合成在自然度方面取得了巨大的飞跃，因为最近的文本转语音（TTS）系统能够产生与人类录音质量相似的语音。然而，并不是所有的说话风格都很容易建模：即使对最近的TTS架构来说，高度表达的声音仍然具有挑战性，因为在生成的音频的表达能力和信号质量之间似乎存在权衡。在本文中，我们提出了一套技术，可以利用它来提高信号质量的一个高度表达的声音，而不使用额外的数据。建议的技术包括：在训练过程中调整自回归循环的粒度;在声学建模中使用生成对抗网络;以及在声学模型和神经声码器中使用变分自动编码器。我们发现，当结合起来，这些技术大大关闭了39%的MUSHRA分数方面的表现力的名人的声音在基线系统和录音之间的感知自然度的差距。
2021-08-13 cs.AI eess.AS
CtrlSpeech: Coarse-to-Fine Control for Expressive Speech Synthesis
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
针对现有TTS系统难以实现词/音素级细粒度表达控制的问题，提出基于DiTAR架构的CtrlSpeech框架，结合全局说话人条件与音素对齐韵律信号，实现灵活可控的表达语音合成，兼具零样本性能与更优可控性。
2026-08-11 cs.HC cs.SD eess.AS
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）
神经元自回归模型的最新进展提高了语音合成（SS）的性能。然而，由于它们缺乏对语音的全局特征（如说话者个性或说话风格）进行建模的能力，特别是当这些特征尚未被标记时，使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中，我们提出了结合VoiceLoop，自回归SS模型，与变分自编码器（VAE）。与传统的自回归SS系统不同，这种方法使用VAE来明确地对全局特征进行建模，从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明，VAE有助于VoiceLoop生成更高质量的语音，并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
Towards Expressive Zero-Shot Speech Synthesis with Hierarchical Prosody Modeling
Northwestern Polytechnical University（西北工业大学）；Xiaomi AI Lab（小米人工智能实验室）
本文提出一种结合全局音色向量、扩散模型音高预测器和分层韵律适配器的零样本语音合成模型，在保持音色质量的同时显著提升合成语音的自然度和表现力。
2024-06-11 cs.SD eess.AS
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器，通过捕获噪声无关的表现力表征，在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon（亚马逊）
我们提出了一个文本到语音的方法来创建一个看不见的表达风格，使用一个表达性的讲话约一秒的话语。具体而言，我们增强了一个国家的最先进的序列到序列的系统与变分自编码器（VAE）和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少，同时共同提高感知指标超过国家的最先进的。在合成时，我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明，我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音，同时还提高了感知的情感强度（59与中性语音的55相比）。
2020-02-17 cs.CL cs.LG cs.SD
FlexSpeech: Towards Stable, Controllable and Expressive Text-to-Speech
针对语音生成中稳定性与自然度难以兼顾的问题，提出由自回归时长预测器和非自回归声学模型组成的FlexSpeech，实现零样本TTS的SOTA效果，且仅需约100样本即可快速稳定风格迁移。
2025-05-15 eess.AS
Learning Expressive Disentangled Speech Representations with Soft Speech Units and Adversarial Style Augmentation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出SAVC框架，利用HuBERT-soft软语音单元，通过对抗风格增强消除说话人信息，并借助知识蒸馏建模韵律，实现表达性语音转换，在可懂度和自然度上优于已有方法。
2024-05-01 cs.SD eess.AS
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM，利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步，在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
IQDUBBING: Prosody modeling based on discrete self-supervised speech representation for expressive voice conversion
IQIYI Inc（爱奇艺公司）
韵律建模在表达性语音转换中很重要，但仍然具有挑战性。由于韵律很难建模，以及其他因素，例如，在语音韵律建模中，说话人、环境和内容都与韵律有着千丝万缕的联系。在本文中，我们提出了IQDubbing来解决这个问题的表达语音转换。为了对韵律进行建模，我们利用了离散自监督语音表示（DSSR）的最新进展。首先从预先训练好的VQ-Wav 2 Vec模型中提取韵律向量，通过量化有效去除说话人和环境信息，同时嵌入丰富的韵律信息。为了进一步滤除韵律之外的冗余信息，如内容和部分说话人信息，我们提出了两种韵律滤波器来从韵律向量中采样韵律。实验表明，IQDubbing在语音质量方面优于基线和比较系统，同时保持韵律一致性和说话者相似性。
2022-01-02 cs.SD eess.AS
Seeing is Believing: Emotion-Aware Audio-Visual Language Modeling for Expressive Speech Generation
Johns Hopkins University（约翰霍普金斯大学）；Meta AI Research（Meta AI 研究）
本文提出 AVLM，将全脸视觉线索融入预训练表达性语音模型，并通过比较视觉编码器与融合策略、进行情感和对话任务微调，证明视觉信息可显著提升语音生成表现。
2025-08-27 cs.CL cs.CV cs.MM
E3-System: Expressive EmoData, Explicitly Controllable, Easy-to-Use TTS
Harvard University（哈佛大学）；Baidu Inc.（百度公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
E3-System是满足具表现力风格建模、显式音色-风格控制、易用自然语言交互要求的零样本TTS框架，通过EmoData、Style-RAG、Dual-TTS实现，可生成保留目标音色的具表现力言语，实验表现优异。
2026-10-12 cs.SD eess.AS
Towards Multi-Scale Style Control for Expressive Speech Synthesis
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文介绍了一种用于端到端表达性语音合成的多尺度语音风格建模方法。该方法采用多尺度参考编码器提取目标语音的全局尺度话语级和局部尺度准音素级风格特征，然后将其作为输入音素序列的扩展输入到语音合成模型中。在训练时间期间，多尺度风格模型可以以端到端的方式与语音合成模型联合训练。将该方法应用于风格转换任务，实验结果表明，该方法大大提高了多尺度语音风格模型的可控性和合成语音的表达能力。此外，通过分配不同的参考语音提取的风格在每个尺度上，所提出的方法的灵活性进一步显示。
2021-04-08 cs.CL cs.SD eess.AS
Boosting Multi-Speaker Expressive Speech Synthesis with Semi-supervised Contrastive Learning
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出基于半监督对比学习的多说话人TTS方法，通过多层级对比学习提取解耦的风格、情感与说话人表征，并结合半监督策略利用多领域数据，整合至改进VITS模型，实现跨说话人的风格与情感迁移及表现力语音合成。
2024-04-25 cs.SD eess.AS
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST（韩国科学技术院）
神经文本到语音（TTS）的先前工作已经解决了有限的速度在训练和推理时间，鲁棒性困难的合成条件，表达能力和可控性。虽然有几种方法解决了一些局限性，但还没有尝试一下子解决所有的弱点。在本文中，我们提出了STYLER，一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码，可以快速训练和推理，并在看不见的数据上进行稳健的合成。此外，在监督下的风格因素模型的分离扩大了合成过程的可控性，从而导致表现力的TTS。最重要的是，一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移，在没有任何额外标签的情况下分解噪声。各种实验表明，STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效，并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供，代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
Expressive paragraph text-to-speech synthesis with multi-step variational autoencoder
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于多步变分自编码器的段落语音合成系统EP-MSTTS，通过五层级建模可变风格并在段落切分数据上训练，有效提升了有声读物语音合成的表现力。
2024-06-11 cs.SD eess.AS
Towards Expressive Speaking Style Modelling with Hierarchical Context Information for Mandarin Speech Synthesis
Huya Inc.（虎牙公司）
以往表达性语音合成的研究主要集中在当前句子上。相邻句子的语境被忽视，导致同一篇文章的说话风格僵化，缺乏言语变化。在本文中，我们提出了一个层次化的框架，从上下文建模说话风格。本文提出了一种层次化的上下文编码器，该编码器考虑了上下文中的结构关系，包括短语间和句子间的关系，能够挖掘更广泛的上下文信息。此外，为了鼓励该编码器更好地学习风格表示，我们引入了一种新的训练策略与知识蒸馏，这为编码器的训练提供了目标。在普通话演讲数据集上的客观和主观评价表明，该方法可以显着提高合成语音的自然度和表现力。
2022-04-06 cs.CL cs.SD eess.AS
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
大部分表达性语音合成文献集中于学习语音信号的韵律表示，然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中，我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明，规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外，我们表明，合成语音具有较高的变异性，对于一个给定的文本，由于规范化流的性质。我们还提出了一个动态的VAE模型，可以产生更高质量的语音，虽然与基于流的模型相比，降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
On granularity of prosodic representations in expressive text-to-speech
Amazon Text-to-Speech Research（亚马逊语音合成研究部）
在表达性语音合成中，广泛采用潜在韵律表示来处理训练过程中数据的变化。相同的文本可以对应于不同的声学实现，这被称为文本转语音中的一对多映射问题。在自动编码设置中从目标信号中提取话语、单词或音素级表示，以补充语音输入并简化该映射。本文比较了韵律嵌入在不同的粒度级别，并检查其预测文本。我们发现，话语级嵌入有不足的容量和音素级倾向于引入不稳定性时，从文本预测。词级表示在容量和可预测性之间施加平衡。因此，我们将LibriTTS数据集上的合成语音和录音之间的自然度差距缩小了90%，而不会牺牲清晰度。
2023-01-26 cs.SD eess.AS
Visualization and Interpretation of Latent Spaces for Controlling Expressive Speech Synthesis through Audio Analysis
Numediart Institute, University of Mons（蒙斯大学Numediart研究所）；Acapela Group（Acapela集团）
文本到语音转换领域在过去几年中经历了巨大的进步，受益于深度学习技术。现在，制作逼真的演讲成为可能。因此，对表达性的控制，允许生成不同风格或方式的演讲，最近引起了越来越多的关注。能够控制风格的系统已经开发出来，并显示出令人印象深刻的结果。然而，控制参数往往包括潜变量，并保持复杂的解释。在本文中，我们分析和比较不同的潜在空间，并获得他们对表达性言语的影响的解释。这将使得能够构建具有可理解行为的可控语音合成系统。
2019-03-27 cs.AI cs.CL cs.LG
DEX-TTS: Diffusion-based EXpressive Text-to-Speech with Style Modeling on Time Variability
Korea University（高丽大学）
DEX-TTS是一种基于扩散的声学模型，通过区分时间不变与时间变化风格并设计高泛化编码器与适配器，结合重叠分块等策略改进扩散主干，在多说话人数据集上无需预训练即取得优异表现。
2024-06-27 cs.AI eess.AS
DurIAN-E 2: Duration Informed Attention Network with Adaptive Variational Autoencoder and Adversarial Learning for Expressive Text-to-Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
本文提出改进的表现力文本到语音合成模型DurIAN-E 2，通过结合基于SwishRNN的Transformer编码器、SAIN层、增强型VAE及对抗训练的BigVGAN生成器，显著提升了合成语音的质量与表现力，性能优于多种最先进方法。
2024-10-17 cs.SD eess.AS
DurIAN-E: Duration Informed Attention Network For Expressive Text-to-Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
本文提出 DurIAN-E 模型，通过堆叠 SwishRNN Transformer 语言编码器、SAIN 层及结合 DDPM 的去噪器，在 MOS 和偏好测试中超越现有方法，实现高表现力与高保真的语音合成。
2023-09-22 cs.SD eess.AS
Expressive Speech Retrieval using Natural Language Descriptions of Speaking Style
Massachusetts Institute of Technology（麻省理工学院）
本文提出表现力语音检索任务，通过将语音与风格文本描述映射到联合潜在空间，实现用自然语言查询检索特定说话风格的语音片段，并在22种风格数据集上验证了其有效性。
2025-08-15 cs.CL cs.SD eess.AS
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架，利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份，并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
Expressive-VC: Highly Expressive Voice Conversion with Attention Fusion of Bottleneck and Perturbation Features
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
高表达语音的语音转换是具有挑战性的。目前的方法与说话人相似性，可理解性和表现力之间的平衡斗争。为了解决这个问题，我们提出了Expressive-VC，这是一种新型的端到端语音转换框架，它利用了神经瓶颈特征（BNF）方法和信息扰动方法的优点。具体来说，我们使用BNF编码器和扰动波编码器来形成内容提取器，以分别学习语言和准语言特征，其中BNF来自鲁棒的预训练ASR模型，并且扰动波在信号扰动后变得与说话者无关。我们进一步融合的语言和准语言功能，通过一个注意力机制，其中说话人相关的韵律特征被用作注意力查询，这是从一个韵律编码器与目标说话人嵌入和归一化的音高和源语音的能量作为输入。最后，解码器消耗的综合功能和说话人相关的韵律特征，以产生转换后的语音。实验结果表明，Expressive-VC算法优于几种最先进的语音合成系统，既能获得源语音的高表现力，又能获得与目标说话人的高相似度，同时保持了较好的可懂度。
2022-11-09 cs.SD eess.AS
Contextual Expressive Text-to-Speech
Alibaba DAMO Academy（阿里巴巴达摩院）；Renmin University of China（中国人民大学）
表达性文本转语音（TTS）的目标是以高表达性合成具有期望内容、韵律、情感或音色的自然语音。以往的大多数研究都试图从给定的风格和情感标签中生成语音，这通过将风格和情感分类到固定数量的预定义类别中来过度简化问题。在本文中，我们介绍了一种新的任务设置，上下文TTS（CTTS）。CTTS的主要思想是，一个人说话的方式取决于他所处的特定上下文，其中上下文通常可以表示为文本。因此，在CTTS任务中，我们建议利用这样的上下文来指导语音合成过程，而不是依赖于风格和情感的明确标签。为了实现这一任务，我们构建了一个合成数据集，并开发了一个有效的框架。实验表明，我们的框架可以生成高质量的表达语音的基础上给定的背景下，无论是在合成数据集和现实世界的场景。
2022-11-26 cs.CL cs.LG cs.MM
DiffCSS: Diverse and Expressive Conversational Speech Synthesis with Diffusion Models
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Tencent Youtu Lab（腾讯优图实验室）；StepFun（阶跃星辰）
本文提出DiffCSS框架，结合扩散模型与基于LM的TTS主干，通过上下文感知韵律预测器采样多样韵律，生成多样、连贯且富有表现力的对话语音，优于现有系统。
2025-02-27 cs.AI cs.SD eess.AS
Seeing What You Say: Expressive Image Generation from Speech
Ewha Womans University（东亚大学）；Princeton University（普林斯顿大学）；NAVER CLOUD
本文提出端到端语音到图像模型VoxStudio，通过语音信息瓶颈模块保留韵律与情感，直接从语音生成图像，并发布大规模情感语音-图像数据集VoxEmoset，实验验证了其可行性。
2025-11-05 cs.CV cs.MM eess.AS
HuLA: Prosody-Aware Anti-Spoofing with Multi-Task Learning for Expressive and Emotional Synthetic Speech
Department of Electrical and Computer Engineering, Johns Hopkins University（电气与计算机工程系，约翰霍普金斯大学）
本文提出HuLA，一种两阶段韵律感知多任务学习框架，通过SSL骨干网络和韵律辅助任务提升防欺骗系统对表现力与情感合成语音的检测鲁棒性，实验证明其在跨域攻击上优于强基线。
2025-09-25 cs.LG cs.SD eess.AS
Daft-Exprt: Cross-Speaker Prosody Transfer on Any Text for Expressive Speech Synthesis
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯泰伦博斯大学）
提出多说话人声学模型 Daft-Exprt，通过 FiLM 条件层与对抗解耦实现任意文本上的跨说话人韵律迁移，实验显示其优于强基线并保持高自然度。
2022-04-05 cs.SD eess.AS
Rasa: Building Expressive Speech Synthesis Systems for Indian Languages in Low-resource Settings
AI4Bharat；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文发布首个面向印度语言的多语言富有表现力TTS数据集Rasa，覆盖阿萨姆语、孟加拉语和泰米尔语，并通过消融实验证明少量中性加表现力数据即可构建可用系统，为低资源语言语音合成提供了实用方案。
2024-08-30 cs.CL cs.LG cs.SD
MSStyleTTS: Multi-Scale Style Modeling with Hierarchical Context Information for Expressive Speech Synthesis
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Xverse Inc.（Xverse公司）；Skywork AI Pte. Ltd.（Skywork AI私人有限公司）
本文提出MSStyleTTS，通过多尺度风格提取器和预测器结合FastSpeech 2声学模型，利用层次上下文信息预测全局、句子和子词级风格，显著提升了多句文本语音合成的表现力。
2023-07-29 cs.SD eess.AS
Enhancing Word-Level Semantic Representation via Dependency Structure for Expressive Text-to-Speech Synthesis
Tencent（腾讯）
利用原始文本中丰富的语言信息是表达性文语转换（TTS）的关键。随着大规模预训练文本表示的发展，来自Transformers的双向编码器表示（BERT）已被证明包含语义信息，并最近被用于TTS。然而，原始的或简单的微调BERT嵌入仍然不能提供足够的语义知识，表达TTS模型应该考虑。本文提出了一种基于依存结构和预训练BERT嵌入的词级语义表示增强方法。每个词的BERT嵌入被重新处理，考虑其特定的依赖关系和句子中的相关词，以生成更有效的TTS语义表示。为了更好地利用依赖结构，引入关系门控图网络（RGGN），使语义信息通过依赖结构流动和聚合。实验结果表明，该方法可以进一步提高合成语音的自然度和表现力的中文和英文数据集。
2022-11-11 cs.CL cs.SD eess.AS
EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech Resynthesis
Meta AI；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出Expresso数据集及重合成基准，包含朗读与26种自发表达风格的即兴对话，系统评估自监督离散编码器在低比特率下保留内容与风格并转换目标声音的质量与权衡。
2023-08-10 cs.CL cs.LG cs.SD
FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）
会话文语转换（TTS）的目的是在会话语境中合成具有正确的语言和情感韵律的话语。利用当前话语和对话历史在话语级的相关性来提高合成语音的表达能力。然而，在词汇层面上的对话历史中的细粒度信息也对话语的韵律表达有重要影响，这在先前的工作中没有得到很好的研究。因此，我们提出了一种新的表达会话TTS模型，称为FCTalker，学习细粒度和粗粒度的上下文依赖在语音生成的同时。具体而言，FCTalker包括细粒度和粗粒度编码器，以利用单词和话语级上下文依赖性。为了对话语及其对话历史之间的单词级依赖关系进行建模，细粒度对话编码器构建在对话BERT模型之上。实验结果表明，所提出的方法优于所有基线，并产生更多的表达语音，是上下文适当的。我们在https://github.com/walker-hyf/FCTalker上发布源代码。
2022-10-27 cs.CL cs.SD eess.AS
EE-TTS: Emphatic Expressive TTS with Linguistic Information
Tencent AI Lab（腾讯AI实验室）；Zhejiang University（浙江大学）
提出EE-TTS，利用句法和语义的多层次语言信息，通过强调预测器和条件声学模型合成表现力语音，在表现力和自然度上分别提升MOS 0.49和0.67，并展现出跨数据集的强泛化能力。
2024-04-14 cs.CL cs.SD eess.AS
The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approach
作为人机交互领域的一部分，表达性语音合成是一个非常丰富的领域，因为它需要机器学习、信号处理、社会学、心理学等领域的知识。在本章中，我们将主要关注技术方面。从表达性言语的记录到建模，读者将通过一些最突出的系统和方法，对该领域使用的主要范式进行概述。我们解释如何语音可以表示和编码的音频功能。本文介绍了文本到语音合成的主要方法的历史：拼接，参数和统计参数语音合成。最后，我们关注最后一个，最后一个技术建模文本到语音合成作为一个序列到序列的问题。这使得可以使用深度学习模块，如卷积和递归神经网络以及注意力机制。本章的最后一部分旨在整合该理论的不同方面，并对概念进行总结。
2019-10-14 cs.HC cs.LG cs.SD
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore（信息与通信研究所（I2R）、科技研究局（A*STAR）、新加坡）
本文提出PUE方法，利用LLM-TTS架构和情感引导提示学习，在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
