Evaluating the Expressive Appropriateness of Speech in Rich Contexts
Shanghai Jiao Tong University（上海交通大学）；Kuaishou Technology（快手科技）；TeleAI（中国电信人工智能研究院）；National University of Singapore（新加坡国立大学）；Tencent（腾讯）
本文提出CEAEval框架，通过结合叙事上下文评估语音表达是否恰当，构建了首个中文对话语音语料库，并开发了CEAEval-M模型，显著提升了语音评估性能。
2026-05-10 eess.AS
Joint Audio and Speech Understanding
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出 LTU-AS，结合 Whisper 感知模块与 LLaMA 推理模块，首次实现对口语文本、语音副语言特征及非语音音频事件的联合识别与理解。
2023-12-10 cs.AI cs.SD eess.AS
Expressive Text-to-Speech using Style Tag
近年来，随着文本转语音（TTS）系统在语音质量和生成速度方面的迅速提高，许多研究者开始关注一个更具挑战性的问题：表达性TTS。为了控制说话风格，现有的表达TTS模型使用分类风格索引或参考语音作为风格输入。在这项工作中，我们提出了StyleTagging-TTS（ST-TTS），一种新颖的表达TTS模型，利用自然语言编写的风格标签。使用带有风格标签的TTS数据集和预先训练的语言模型，我们对语言嵌入和说话风格域之间的关系进行了建模，这使得我们的模型即使在训练过程中看不到风格标签也能工作。由于风格标签是用自然语言编写的，与风格索引或参考语音相比，它可以更直观、更可解释、更可扩展地控制说话风格。此外，在模型架构方面，我们提出了一个有效的单阶段训练的非自回归（NAR）TTS架构。实验结果表明，ST-TTS在语音质量和表现力方面优于现有的表达型TTS模型Tacotron 2-GST。
2022-10-06 eess.AS
Att-HACK: An Expressive Speech Database with Social Attitudes
本文介绍了攻击黑客，第一个大型数据库的行为语音与社会态度。现有的表达性语言数据库是罕见的，而且往往局限于主要的情绪：愤怒，喜悦，悲伤，恐惧。这极大地限制了表达性言语的研究范围。此外，语音韵律的一个基本方面总是被忽视，从这样的数据库中缺失：它的多样性，即重复的话语，而改变其韵律的可能性。本文代表了第一次尝试，以扩大在讲话的表现力的范围，通过提供一个数据库的行为言语与社会态度：友好的，诱人的，占主导地位的，和遥远的。建议的数据库包括25个扬声器解释100话语在4个社会态度，与3-5重复每个态度，共约30小时的讲话。Att-HACK可根据知识共享许可证免费用于学术研究。
2020-04-09 eess.AS
DiffCSS: Diverse and Expressive Conversational Speech Synthesis with Diffusion Models
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Tencent Youtu Lab（腾讯优图实验室）；StepFun（阶跃星辰）
本文提出DiffCSS框架，结合扩散模型与基于LM的TTS主干，通过上下文感知韵律预测器采样多样韵律，生成多样、连贯且富有表现力的对话语音，优于现有系统。
2025-02-27 cs.AI cs.SD eess.AS
Text-aware and Context-aware Expressive Audiobook Speech Synthesis
针对有声读物多样叙述风格难以无参考建模的问题，提出 TACA 文本与上下文感知风格建模方法，并在基于 VITS 和语言模型的两类 TTS 上验证其可提升自然度与表现力。
2024-06-12 eess.AS
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST（韩国科学技术院）
神经文本到语音（TTS）的先前工作已经解决了有限的速度在训练和推理时间，鲁棒性困难的合成条件，表达能力和可控性。虽然有几种方法解决了一些局限性，但还没有尝试一下子解决所有的弱点。在本文中，我们提出了STYLER，一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码，可以快速训练和推理，并在看不见的数据上进行稳健的合成。此外，在监督下的风格因素模型的分离扩大了合成过程的可控性，从而导致表现力的TTS。最重要的是，一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移，在没有任何额外标签的情况下分解噪声。各种实验表明，STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效，并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供，代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
JASPER: Joint Audio and Speech Pre-trained Encoder Representations
LEAP Laboratory, Electrical Engineering, Indian Institute of Science（印度科学学院电气工程学院LEAP实验室）
JASPER通过向语音预训练模型添加时频目标，实现频谱-时间表示学习，在语音、音频和音乐任务上优于现有基线，验证了统一建模的有效性。
2026-09-24 eess.AS
SaSLaW: Dialogue Speech Corpus with Audio-visual Egocentric Information Toward Environment-adaptive Dialogue Speech Synthesis
本研究提出含第一人称视听同步数据的自发对话语音语料库SaSLaW，用于建模人类的环境语音调整行为，实验证明融合听觉音频数据的TTS模型比普通模型的环境自适应语音合成效果更合理。
2024-08-13 eess.AS
Expressive Range Characterization of Open Text-to-Audio Models
本文针对开放文本转音频模型输出特性不明确的问题，将程序化生成内容领域的表现力范围分析（ERA）方法适配至该类模型，基于ESC-50数据集的标准化提示开展实验，从关键声学维度分析生成音频，提出了基于ERA的生成式音频模型探索性评估框架。
2025-10-31 cs.AI cs.SD eess.AS
A Holistic Cascade System, benchmark, and Human Evaluation Protocol for Expressive Speech-to-Speech Translation
Meta AI
表达性语音到语音翻译（S2ST）旨在将源语音的韵律属性传递到目标语音，同时保持翻译的准确性。现有的研究表达S2ST是有限的，通常集中在一个单一的表现力方面的时间。同样，这个研究领域缺乏标准的评估协议和精心策划的基准数据集。在这项工作中，我们提出了一个整体的级联系统表达S2ST，结合多种韵律传输技术以前只考虑在隔离。我们在电视剧领域策划了一个基准表现力测试集，并在有声读物领域探索了第二个数据集。最后，我们提出了一个人的评价协议，以评估多个表达层面的语音对。实验结果表明，双语标注器可以评估的质量，在S2ST系统的表达保留，整体建模方法优于单方面系统。音频样本可以通过我们的演示网页访问：https://facebookresearch.github.io/speech_translation/cascade_expressive_s2st。
2023-01-25 cs.CL cs.SD eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.（Orka实验室有限公司）；Stanford University（斯坦福大学）
本文提出SSIPNet，利用听者已有的少量（音频，评分）对构建高维能力表示，在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
Using multiple reference audios and style embedding constraints for speech synthesis
Tianjin University（天津大学）；University of Science and Technology of China（中国科学技术大学）；Huiyan Technology (Tianjin) Co., Ltd（天津慧眼科技有限公司）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
端到端的语音合成模型可以直接将一段话语作为参考音频，从文本中生成韵律和说话人特征与参考音频相似的语音。然而，在推断期间必须手动选择适当的声学嵌入。由于在训练过程中只使用匹配的文本和语音，使用不匹配的文本和语音进行推理将导致模型合成内容质量较低的语音。在这项研究中，我们建议通过使用多个参考音频和风格嵌入约束来缓解这两个问题，而不是只使用目标音频。使用由来自Transformers的双向编码器表示（BERT）确定的句子相似性来自动选择多个参考音频。此外，我们通过考虑预测和“目标”风格嵌入之间的互信息，使用来自预训练编码器的“目标”风格嵌入作为约束。实验结果表明，该模型在多个参考音频的情况下，能够提高语音的自然度和内容质量，在风格相似度的ABX偏好测试中也优于基线模型。
2021-10-09 cs.AI cs.SD eess.AS
Visualization and Interpretation of Latent Spaces for Controlling Expressive Speech Synthesis through Audio Analysis
Numediart Institute, University of Mons（蒙斯大学Numediart研究所）；Acapela Group（Acapela集团）
文本到语音转换领域在过去几年中经历了巨大的进步，受益于深度学习技术。现在，制作逼真的演讲成为可能。因此，对表达性的控制，允许生成不同风格或方式的演讲，最近引起了越来越多的关注。能够控制风格的系统已经开发出来，并显示出令人印象深刻的结果。然而，控制参数往往包括潜变量，并保持复杂的解释。在本文中，我们分析和比较不同的潜在空间，并获得他们对表达性言语的影响的解释。这将使得能够构建具有可理解行为的可控语音合成系统。
2019-03-27 cs.AI cs.CL cs.LG
Zero-Shot Parkinson's Disease Detection from Speech: Comparing Large Audio and Language Models
School of Computing, Mathematics and Engineering, Charles Sturt University（计算机科学与工程学院，查尔斯·斯图尔特大学）；Department of Computer Science, Rensselaer Polytechnic Institute（计算机科学系，伦塞拉尔理工学院）
通过比较手工声学特征和原始音频波形两种输入模态，研究零样本帕金森病检测在不同语言中的性能差异，发现手工特征在低资源语言中更稳定，而音频输入带来数据集依赖的增益。
2026-05-24 cs.AI cs.SD eess.AS
Spectral Codecs: Improving Non-Autoregressive Speech Synthesis with Spectrogram-Based Audio Codecs
本文提出一种基于有限标量量化压缩梅尔频谱图的频谱编解码器，以替代残差向量量化音频编解码器，从而改善非自回归语音合成模型的性能与质量。
2025-06-04 eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University（阿尔托大学）；National Institute of Informatics（情报学研究所）
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器，利用波形域直通估计器实现黑盒增强，证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
VoxEffects: A Speech-Oriented Audio Effects Dataset and Benchmark
National Institute of Informatics（信息理工学研究所）
本文提出VoxEffects数据集，通过精确的效果链标注，解决语音音频处理中效果和参数标注不足的问题，提供效果识别与评估基准，包含效果存在检测、预设分类和强度预测任务。
2026-04-14 eess.AS
Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis
MIT（麻省理工学院）；Meta Reality Labs Research（Meta现实实验室）
由于面部动作（如嘴唇运动）包含有关语音内容的重要信息，因此视听语音增强方法比仅音频的方法更准确也就不足为奇了。然而，最先进的方法仍然难以在具有挑战性的声学环境中生成干净、逼真的语音，而没有噪声伪影和不自然的失真。在本文中，我们提出了一种新的视听语音增强框架，用于AR/VR中的高保真电信。我们的方法利用视听语音线索来生成神经语音编解码器的代码，从而能够从嘈杂的信号中高效地合成干净，逼真的语音。鉴于特定于说话者的线索在语音中的重要性，我们专注于开发适合单个说话者的个性化模型。我们证明了我们的方法在一个新的视听语音数据集上的有效性，该数据集是在一个不受约束的大词汇量环境中收集的，以及现有的视听数据集，在定量指标和人类评估研究方面都优于语音增强基线。有关定性结果，请参见https://github.com/facebookresearch/facestar/releases/download/paper_materials/video.mp4上的补充视频。
2022-03-31 cs.CV cs.LG eess.AS
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore（信息与通信研究所（I2R）、科技研究局（A*STAR）、新加坡）
本文提出PUE方法，利用LLM-TTS架构和情感引导提示学习，在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
An Investigation Into Explainable Audio Hate Speech Detection
POSTECH（浦项科技大学）；aiXplain Inc.（aiXplain公司）
针对语音仇恨言论研究缺乏可解释性的问题，提出可解释音频仇恨言论检测任务，构建合成数据集，提出级联与端到端两种方法，验证发现端到端法性能更优且加入帧级理据可提升检测准确率。
2024-08-12 cs.AI cs.CL cs.SD
Dialogs: a studio-quality expressive conversational Russian speech corpus for dialog assistants
Langswap（朗格互换）
介绍用于对话助手的俄语对话语料库Dialogs，含20.6小时专业录制对话及风格情感标签。经人群MOS测试验证质量，虽每个说话者数据有限，但支持训练富有表现力、类似对话的TTS，还以VITS2模型作概念验证。
2026-07-17 eess.AS
StoryTTS: A Highly Expressive Text-to-Speech Dataset with Rich Textual Expressiveness Annotations
Shanghai Jiao Tong University（上海交通大学）
本文提出高表现力文本转语音数据集StoryTTS，包含61小时语音及丰富的文本表现力标注，通过大语言模型批量标注五个维度的文本表现力，实验证明结合该标签能提升TTS模型生成语音的表现力。
2024-04-23 cs.CL cs.SD eess.AS
Computational Narrative Understanding for Expressive Text-to-Speech
Deezer Research（DeepZ 研究院）；Loria（洛林实验室）；IDIAP（日内瓦人工智能实验室）
本文提出LibriQuote数据集，通过增强语音语料库的表达性，提升文本到语音系统的表达力和可懂度，同时公开数据集和评估资源以促进可重复性。
2026-04-21 cs.CL cs.SD eess.AS
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon（亚马逊）
我们提出了一个文本到语音的方法来创建一个看不见的表达风格，使用一个表达性的讲话约一秒的话语。具体而言，我们增强了一个国家的最先进的序列到序列的系统与变分自编码器（VAE）和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少，同时共同提高感知指标超过国家的最先进的。在合成时，我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明，我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音，同时还提高了感知的情感强度（59与中性语音的55相比）。
2020-02-17 cs.CL cs.LG cs.SD
GTR-Voice: Articulatory Phonetics Informed Controllable Expressive Speech Synthesis
University of Rochester（罗切斯特大学）
本研究针对当前表现力语音合成对发音特征关注不足的问题，提出GTR三维发音框架，录制GTR-Voice数据集，验证了框架有效性及TTS模型的精准可控性，并开源相关资源。
2024-06-15 cs.AI cs.CL cs.LG
Seeing is Believing: Emotion-Aware Audio-Visual Language Modeling for Expressive Speech Generation
Johns Hopkins University（约翰霍普金斯大学）；Meta AI Research（Meta AI 研究）
本文提出 AVLM，将全脸视觉线索融入预训练表达性语音模型，并通过比较视觉编码器与融合策略、进行情感和对话任务微调，证明视觉信息可显著提升语音生成表现。
2025-08-27 cs.CL cs.CV cs.MM
Time Domain Audio Visual Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
视听多模态建模已被证明是有效的许多语音相关的任务，如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet（时域语音分离网络）进行了推广，实现了多模态学习，同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器，视频编码器，提取唇嵌入视频流，多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明，与纯音频的TasNet和频域视听网络相比，我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
MSceneSpeech: A Multi-Scene Speech Dataset For Expressive Speech Synthesis
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
本文提出开源多场景普通话TTS数据集MSceneSpeech，涵盖多说话人和多样韵律，并基于提示机制建立基线，实现用户音色与场景韵律的合成。
2024-07-19 cs.SD eess.AS
CtrlSpeech: Coarse-to-Fine Control for Expressive Speech Synthesis
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
针对现有TTS系统难以实现词/音素级细粒度表达控制的问题，提出基于DiTAR架构的CtrlSpeech框架，结合全局说话人条件与音素对齐韵律信号，实现灵活可控的表达语音合成，兼具零样本性能与更优可控性。
2026-08-11 cs.HC cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance（字节跳动）
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近，基于神经网络的方法已经被应用于语音增强。然而，许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架，可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记，而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络（PANNs）来检测音频片段中包含语音或声音事件的锚片段。然后，我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物，并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中，我们输入一个带噪的语音信号，其中“Speech”的独热编码作为训练系统的条件，以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR，分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）
神经元自回归模型的最新进展提高了语音合成（SS）的性能。然而，由于它们缺乏对语音的全局特征（如说话者个性或说话风格）进行建模的能力，特别是当这些特征尚未被标记时，使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中，我们提出了结合VoiceLoop，自回归SS模型，与变分自编码器（VAE）。与传统的自回归SS系统不同，这种方法使用VAE来明确地对全局特征进行建模，从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明，VAE有助于VoiceLoop生成更高质量的语音，并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
Visual Context-driven Audio Feature Enhancement for Robust End-to-End Audio-Visual Speech Recognition
KAIST（韩国科学技术院）；Genesis Lab Inc.（Genesis Lab公司）
本文主要研究设计一个抗噪声的端到端音视频语音识别系统。为此，我们提出了视觉上下文驱动的音频特征增强模块（V-CAFE），以增强输入的嘈杂的音频语音与视听对应的帮助。所提出的V-CAFE的目的是捕捉过渡的嘴唇运动，即视觉上下文，并通过考虑所获得的视觉上下文生成降噪掩模。通过上下文相关的建模，可以细化视位到音素映射中的歧义以用于掩码生成。噪声表示用噪声降低掩模掩蔽，从而产生增强的音频特征。将增强后的音频特征与视觉特征相融合，并将其引入到由Conformer和Transformer组成的编码器-解码器模型中进行语音识别。我们提出的端到端AVSR与V-CAFE可以进一步提高噪声鲁棒性的AVSR。在噪声语音识别和重叠语音识别实验中，使用两个最大的视听数据集，LRS 2和LRS 3的所提出的方法的有效性进行评估。
2022-07-13 cs.AI cs.CV cs.MM
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器，通过捕获噪声无关的表现力表征，在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg（奥尔登堡大学）
本研究在虚拟声学环境中用非脚本自然语音探究视听增益，通过EEG和皮层语音追踪分析不同条件及说话者特征的影响，发现噪声下视听增强显著，唇部运动作用关键，验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Diverse and Expressive Speech Prosody Prediction with Denoising Diffusion Probabilistic Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对现有语音韵律预测器单模态、多样性不足的问题，提出基于去噪扩散概率模型的新型韵律预测器，在参数更少的情况下实现了更优的表现力与多样性。
2023-10-07 cs.SD eess.AS
A Knowledge-Driven Approach to Target Speech Extraction in the Presence of Background Sound Effects for Cinematic Audio Source Separation (CASS)
Georgia Institute of Technology（佐治亚理工学院）；University of Palermo（巴勒莫大学）；Dolby Laboratory（杜比实验室）
本文提出一种基于知识的语音提取方法，利用语音帧中检测到的发音方式形成知识向量，提升语音分离效果，尤其在复杂背景声音中表现更优。
2026-07-09 eess.AS
What Are They Doing? Joint Audio-Speech Co-Reasoning
Research Center（研究中心）；Concordia University（康考迪亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉（魁北克人工智能研究所））
针对音频语音任务多单模态的现状，本文提出JASCO联合音频-语音协同推理任务，发布对应场景推理数据集，构建基准探究ALLMs的跨模态推理能力，并分析模型对不同模态的依赖特性。
2025-01-12 cs.CL cs.SD eess.AS
Exploiting Deep Sentential Context for Expressive End-to-End Speech Synthesis
Xiaomi（小米）
基于注意力的seq 2seq文本到语音系统，特别是那些使用自注意力网络（SAN）的系统，已经达到了最先进的性能。但是，具有丰富韵律的表达性语料库仍然具有挑战性，因为1）韵律方面，跨越不同的语义粒度并主要决定声学表达性，难以分类和标记; 2）当前的seq 2seq框架仅从文本编码器中提取韵律信息，这很容易被折叠为表达内容的平均表达。在本文中，我们提出了一个上下文提取器，这是建立在基于SAN的文本编码器，充分利用表达语料库的seq 2seq为基础的TTS的原始上下文。我们的上下文提取器首先收集韵律相关的原始上下文信息从不同的SAN层，然后聚合它们来学习一个全面的句子表示，以提高最终生成的语音的表达能力。具体来说，我们研究了两种上下文聚合方法：1）直接聚合，直接连接不同SAN层的输出，2）加权聚合，使用多头注意力自动学习不同SAN层的贡献。在两个表达性语料库上的实验表明，该方法能产生更自然、韵律变化更丰富的语音，并且加权聚合在表达性建模方面更有优势。
2020-08-03 cs.SD eess.AS
A Methodology for Controlling the Emotional Expressiveness in Synthetic Speech -- a Deep Learning approach
Numediart Institute University of Mons（蒙斯大学Numediart研究所）
在这个项目中，我们的目标是建立一个文本到语音系统能够产生语音与可控的情感表达。我们提出了一种方法来解决这个问题的三个主要步骤。一是情感语音数据的采集。我们讨论了现有数据集的各种格式及其在语音生成中的可用性。第二步是开发一个系统，自动注释数据的情感/表现力的功能。我们比较了几种使用迁移学习的技术，通过其他任务提取这样的表示，并提出了一种方法来可视化和解释声乐和情感特征之间的相关性。第三步是开发一个基于深度学习的系统，以文本和情感/表现力为输入，并产生语音作为输出。我们研究的影响微调从一个中性的TTS对情绪的TTS的可理解性和感知的情绪。
2019-07-05 cs.CL cs.LG cs.SD
Self-supervised Context-aware Style Representation for Expressive Speech Synthesis
Microsoft（微软）
表达性语音合成与有声读物合成一样，对于风格表示学习和预测仍然具有挑战性。从参考音频中推导或从文本中预测风格标签需要大量的标记数据，这些数据获取成本高，并且难以准确定义和注释。在本文中，我们提出了一个新的框架，学习风格表示丰富的纯文本中的自我监督的方式。它利用情感词典并使用对比学习和深度聚类。我们进一步集成的风格表示作为一个条件嵌入多风格的Transformer TTS。与通过预测在相同数据集上训练但具有人类注释的风格标签的多风格TTS相比，我们的方法根据对有声读物语音中的域内和域外测试集的主观评价来实现改进的结果。此外，通过隐式上下文感知风格表示，合成音频在长段落中的情感过渡显得更自然。音频示例可在演示网站上获得。
2022-06-25 cs.AI cs.CL cs.SD
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
大部分表达性语音合成文献集中于学习语音信号的韵律表示，然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中，我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明，规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外，我们表明，合成语音具有较高的变异性，对于一个给定的文本，由于规范化流的性质。我们还提出了一个动态的VAE模型，可以产生更高质量的语音，虽然与基于流的模型相比，降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team（LongCat团队）；Meituan（美团）
本文提出LongCat-Audio-Codec，一种面向语音大语言模型的音频分词器，通过解耦架构和多阶段训练，实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
ExpGest: Expressive Speaker Generation Using Diffusion Model and Hybrid Audio-Text Guidance
Northwest A&F University（西北农林科技大学）；University of Technology Sydney（悉尼大学）；Tencent AILab（腾讯AI实验室）；City University of Hong Kong（香港城市大学）
ExpGest通过结合文本和音频信息，利用扩散模型生成更自然、可控的全身表达性手势。
2026-03-07 cs.CV cs.SD eess.AS
Towards Multi-Scale Style Control for Expressive Speech Synthesis
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文介绍了一种用于端到端表达性语音合成的多尺度语音风格建模方法。该方法采用多尺度参考编码器提取目标语音的全局尺度话语级和局部尺度准音素级风格特征，然后将其作为输入音素序列的扩展输入到语音合成模型中。在训练时间期间，多尺度风格模型可以以端到端的方式与语音合成模型联合训练。将该方法应用于风格转换任务，实验结果表明，该方法大大提高了多尺度语音风格模型的可控性和合成语音的表达能力。此外，通过分配不同的参考语音提取的风格在每个尺度上，所提出的方法的灵活性进一步显示。
2021-04-08 cs.CL cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.（小米公司）
本研究提出一种高效可扩展的语音增强方法，利用预训练生成式音频编码器提取含噪语音嵌入，经紧凑去噪编码器处理后由声码器合成干净语音，在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition
University of Electronic Science and Technology of China（电子科技大学）；Defense Innovation Institute, Academy of Military Sciences（国防科技创新研究院）；Peking University（北京大学）；High-tech Institute（高新技术研究所）
本文提出了一种端到端的噪声鲁棒音频-视觉语音识别框架，结合语音增强技术，在无需显式生成噪声掩码的情况下提升鲁棒性。
2026-03-06 cs.AI cs.LG cs.MM
SAKURA: On the Multi-hop Reasoning of Large Audio-Language Models Based on Speech and Audio Information
National Taiwan University（国立台湾大学）
针对大型音频语言模型（LALMs）多跳推理能力缺乏系统评估的问题，本文提出SAKURA基准，实验表明LALMs难以整合语音/音频信息进行多跳推理，为该领域研究提供了资源与方向。
2025-08-24 cs.CL cs.SD eess.AS
USAD: Universal Speech and Audio Representation via Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
USAD通过从领域特定SSL模型进行逐层蒸馏，将语音、声音和音乐统一到一个音频表示模型中，在SUPERB和HEAR等基准上以单一编码器取得接近最先进水平的性能。
2025-08-18 cs.CL cs.SD eess.AS
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
本文研究视频转语音中训练与推理均利用音频输入的效果，提出用预训练模型合成语音并与无声视频共同训练视听合成模型，在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
Towards Expressive Speaking Style Modelling with Hierarchical Context Information for Mandarin Speech Synthesis
Huya Inc.（虎牙公司）
以往表达性语音合成的研究主要集中在当前句子上。相邻句子的语境被忽视，导致同一篇文章的说话风格僵化，缺乏言语变化。在本文中，我们提出了一个层次化的框架，从上下文建模说话风格。本文提出了一种层次化的上下文编码器，该编码器考虑了上下文中的结构关系，包括短语间和句子间的关系，能够挖掘更广泛的上下文信息。此外，为了鼓励该编码器更好地学习风格表示，我们引入了一种新的训练策略与知识蒸馏，这为编码器的训练提供了目标。在普通话演讲数据集上的客观和主观评价表明，该方法可以显着提高合成语音的自然度和表现力。
2022-04-06 cs.CL cs.SD eess.AS
Towards Expressive Zero-Shot Speech Synthesis with Hierarchical Prosody Modeling
Northwestern Polytechnical University（西北工业大学）；Xiaomi AI Lab（小米人工智能实验室）
本文提出一种结合全局音色向量、扩散模型音高预测器和分层韵律适配器的零样本语音合成模型，在保持音色质量的同时显著提升合成语音的自然度和表现力。
2024-06-11 cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来，提出了一种基于变分自编码器（VAE）的视听语音生成模型，该模型结合噪声方差的非负矩阵分解（NMF）模型实现无监督语音增强。当视觉数据是干净的，语音增强与视听VAE表现出更好的性能比与仅音频VAE，这是在仅音频数据上训练。然而，视听VAE对于噪声视觉数据（例如，当对于某些视频帧，说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明，该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
