Continuous Wavelet Vocoder-based Decomposition of Parametric Speech Waveform Synthesis
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 语言发音研究组）
迄今为止，各种语音技术系统都采用了声码器方法，这是一种合成语音波形的方法，在统计参数语音合成的性能中发挥着重要作用。WaveNet是最好的模型之一，几乎类似于人类的声音，必须以非常复杂的神经网络结构以耗时的顺序方式生成波形。
2021-06-12 cs.SD eess.AS
Comprehensive evaluation of statistical speech waveform synthesis
Amazon（亚马逊）
直接预测语音波形的统计TTS系统最近报道了合成质量的改进。这项调查评估亚马逊的统计语音波形合成（SSWS）系统。在多个领域对SSWS进行深入评估，以更好地了解质量的一致性。通过在单独的一组测试人员上重复该程序来确认该评估的结果。最后，分析了SSWS与混合单元选择合成相比的语音错误的性质，以确定SSWS的优点和缺点。对SSWS有更深入的了解使我们能够更好地确定未来工作的重点，以改进这项新技术。
2018-12-11 cs.SD eess.AS
Analysing Shortcomings of Statistical Parametric Speech Synthesis
Amazon（亚马逊）
统计参数语音合成（SPSS）的输出在质量、自然度、说话人相似性和噪声中的可懂度方面仍然明显低于自然语音记录。关于这些缺点的起源有许多假设，但这些假设通常是模糊的，并且没有经验证据可以证实和量化特定缺点如何导致合成语音中的不完美。在整个语音合成文献中，令人惊讶的是，很少有工作致力于识别语音合成中感知上最重要的问题，即使这些知识对于创建更好的SPSS系统具有很大的价值。在本章中，我们分析了SPSS的一些缺点。特别是，我们讨论了声码的问题，并提出了一个通用的方法来量化任何的许多假设和设计选择，阻碍SPSS的效果。该方法是伴随着一个例子，仔细测量和比较声码以及其他因素，如统计模型和它的使用所施加的感知限制的严重程度。
2018-07-28 cs.SD eess.AS
Brain2Speech-Net: Fast and Intelligible Brain-to-Speech Synthesis Without Text Decoding
Johns Hopkins University（约翰霍普金斯大学）；Academia Sinica（中央研究院）；University of Edinburgh（爱丁堡大学）
该研究针对瘫痪患者言语丧失问题，提出Brain2Speech-Net单阶段框架，通过可微分音素瓶颈与深度HMM对齐器实现无需文本解码的实时可理解语音合成，性能优于级联系统。
2026-09-23 cs.SD eess.AS
Training Data Augmentation for Dysarthric Automatic Speech Recognition by Text-to-Dysarthric-Speech Synthesis
The University of Sheffield（谢菲尔德大学）
针对构音障碍语音数据稀缺问题，本文提出用基于扩散的多说话人TTDS合成生成类构音障碍语音，并微调Whisper等ASR基础模型，显著提升合成指标与DASR识别性能。
2024-06-12 cs.SD eess.AS
A Multi-Stage Framework for Multimodal Controllable Speech Synthesis
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（深圳国际研究生院，清华大学，深圳，中国）
提出3阶段多模态可控语音合成框架，通过监督学习与知识蒸馏优化人脸编码器，并在文本-人脸与文本-语音数据上训练文本编码器，有效提升了生成语音的多样性与质量，优于单模态基线方法。
2025-06-26 cs.SD eess.AS
Fine-grained Style Modeling, Transfer and Prediction in Text-to-Speech Synthesis via Phone-Level Content-Style Disentanglement
The Chinese University of Hong Kong（香港中文大学）
提出了一种新的神经网络系统设计，用于表达性文本转语音（TTS）合成中的细粒度风格建模、转换和预测。通过从音素级语音段的梅尔谱图中提取风格嵌入，实现了细粒度建模。采用协作学习和对抗学习策略，有效地分离语音中的内容和风格因素，缓解风格建模中的“内容泄漏”问题。该系统可用于单说话人情况下的变内容语音风格传输。客观和主观评价的结果表明，我们的系统性能优于其他细粒度的语音风格转移模型，特别是在内容保存方面。通过结合风格预测器，所提出的系统也可以用于文本转语音合成。提供音频样本用于系统演示https://daxintan-cuhk.github.io/pl-csd-speech。
2021-10-08 cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
表达性合成语音对于许多人机交互和音频广播场景至关重要，因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签，要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成，这两种方法都只能学习平均风格，从而忽略了语音韵律的多尺度特性。在本文中，我们提出了一个多尺度情感语音合成框架MssweetTTS，从不同的层次来建模的情感。具体而言，该方法是一个典型的基于注意力的序列到序列模型，并提出了三个模块，包括全球级情感呈现模块（GM），话语级情感呈现模块（UM）和本地级情感呈现模块（LM），分别建模的全球情感类别，话语级情感变化，音节级情感强度。除了从不同层次对情感进行建模之外，所提出的方法还允许我们以不同的方式合成情感语音，即，从参考音频中转移情感，从输入文本中预测情感，以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明，该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外，实验还表明，该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
I2TTS: Image-indicated Immersive Text-to-speech Synthesis with Spatial Perception
University of Science and Technology Beijing（北京科技大学）；Tencent AI Lab（腾讯AI实验室）；National University of Singapore（新加坡国立大学）
针对现有TTS忽略空间感知的问题，提出I2TTS多模态方法，通过场景提示编码器和混响分类优化技术，在保证语音自然度的同时实现高质量场景空间匹配，推动上下文感知语音合成发展。
2025-09-03 cs.SD eess.AS
Going Retro: Astonishingly Simple Yet Effective Rule-based Prosody Modelling for Speech Synthesis Simulating Emotion Dimensions
audEERING GmbH（audEERING公司）；University of Augsburg（奥格斯堡大学）；Imperial College London（伦敦帝国学院）
本文提出两个基于SSML的规则模型，通过修改语音合成韵律来模拟情感维度，实验证明简单方法即可有效模拟唤醒度和效价。
2023-07-05 cs.SD eess.AS
Speech Synthesis from Text and Ultrasound Tongue Image-based Articulatory Input
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 舌部发音研究组）；University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（MTA-SZTE 人工智能研究组）；Eötvös Loránd University（厄特沃什·罗兰大学）
发音信息已被证明在提高基于HMM和基于DNN的文本到语音合成的性能方面是有效的。语音合成的研究传统上集中在文本到语音的转换，当输入是文本或估计的语言表示，和目标是合成语音。然而，在过去十年中已经兴起的研究领域是发音到语音合成（具有无声语音接口SSI的目标应用），当目标是从发音器官的运动的某种表示合成语音时。在本文中，我们扩展了传统的（基于声码器的）DNN-TTS与发音输入，估计从超声舌图像。我们比较了纯文本、纯超声和组合输入。使用来自八个扬声器的数据，我们表明，组合的文本和发音输入可以在有限的数据场景中具有优势，即，它可以增加合成语音的自然度相比，单一的文本输入。此外，我们分析了几个扬声器的超声舌记录，并表明在超声换能器定位的错位可能会对最终的合成性能产生负面影响。
2021-07-05 cs.SD eess.AS
Speech Synthesis and Control Using Differentiable DSP
Sony Europe B.V.（索尼欧洲有限公司）；Technical University of Munich（慕尼黑工业大学）
现代文本到语音系统能够产生自然和高质量的语音，但语音包含文本本身无法包含的变化因素（例如音高，节奏，响度，音色）。在这项工作中，我们走向一个语音合成系统，可以通过允许（但不要求）明确控制的各种因素的变化，产生不同的语音再现的文本。我们提出了一种新的神经声码器，提供控制这些因素的变化。这是通过采用可微分数字信号处理（DDSP）（以前只用于音乐而不是语音）来实现的，其暴露了这些变化因素。实验结果表明，该方法能够产生具有真实音色的自然语音，并且可以自由控制语音的变化因素。
2020-10-28 cs.SD eess.AS
High-quality Speech Synthesis Using Super-resolution Mel-Spectrogram
UBTECH Robotics Corporate（优必选机器人公司）；Novosibirsk State University（新西伯利亚国立大学）
在语音合成和语音增强系统中，梅尔声谱图在声学表示中需要是精确的。然而，生成的频谱图过于平滑，不能产生高质量的合成语音。受图像到图像转换的启发，我们通过使用基于学习的后置滤波器结合Pix 2 PixHD和ResUnet来解决这个问题，以重建梅尔光谱图以及超分辨率。从由此产生的超分辨率频谱图网络，我们可以生成增强的频谱图，以产生高质量的合成语音。我们提出的模型实现了改进的平均意见分数（MOS）的3.71和4.01比基线结果的3.29和3.84，而使用声码器Griffin-Lim和WaveNet，分别。
2019-12-03 cs.SD eess.AS
Text-to-Speech Synthesis Techniques for MIDI-to-Audio Synthesis
National Institute of Informatics（国立信息学研究所）
语音合成和从符号输入生成音乐音频在许多方面不同，但有一些相似之处。在这项研究中，我们调查如何文本到语音合成技术可以用于钢琴MIDI到音频合成任务。我们的研究包括Tacotron和神经源滤波器波形模型作为基本组件，我们以类似于TTS框架的方式构建MIDI到音频合成系统。我们还包括使用传统声音建模技术的参考系统，例如基于样本和基于物理建模的方法。主观实验结果表明，所研究的TTS组件可以应用于钢琴MIDI到音频合成的微小修改。结果还揭示了性能瓶颈-虽然波形模型可以合成高质量的钢琴声，给定的自然声学特征，从声音到声学特征的转换是具有挑战性的。完整的MIDI到音频合成系统仍然不如基于样本或基于物理建模的方法，但我们鼓励TTS研究人员测试他们的TTS模型，以完成这项新任务，并提高性能。
2022-02-24 cs.SD eess.AS
High-Quality Vocoding Design with Signal Processing for Speech Synthesis and Voice Conversion
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
这个博士本论文的重点是开发一个高质量的语音合成和语音转换系统。基于声码器的语音分析、处理和合成在各种统计参数语音研究中起着至关重要的作用。虽然存在产生接近自然合成语音的声码方法，但是它们通常在计算上是昂贵的，并且因此不适合于实时实现，特别是在嵌入式环境中。因此，需要简单且计算上可行的数字信号处理算法来生成高质量且听起来自然的合成语音。在本论文中，我提出了一种提取最佳声学特征的解决方案和一种新的波形发生器，通过应用深度学习的进步来实现更高的音质和转换精度。该方法在计算上仍然有效。这一挑战产生了五个论文组，简要概述如下。
2021-01-25 cs.SD eess.AS
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
针对基于序列到序列的细粒度情感语音合成，提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节，往往导致平均的情感表达交付，并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成，我们引入音素级的情感强度表示，通过学习排名功能来描述本地的情感细节，并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符，我们可以通过其情感描述符（用于传输）或直接从音素级手动标签（用于控制）从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成，该模型也可以从文本中预测音素级的情感表达，不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
SqueezeWave: Extremely Lightweight Vocoders for On-device Speech Synthesis
UC Berkeley（加州大学伯克利分校）
自动语音合成是一项具有挑战性的任务，随着边缘设备开始通过语音与用户交互，该任务变得越来越重要。典型的文本到语音流水线包括声码器，其将中间音频表示转换成音频波形。大多数现有的声码器难以并行化，因为每个生成的样本是以先前的样本为条件的。WaveGlow是这些自回归模型的基于流量的前馈替代方案（Prenger等人，2019年）。然而，虽然WaveGlow可以很容易地并行化，但该模型对于边缘上的实时语音合成来说太昂贵了。本文介绍了SqueezeWave，一个基于WaveGlow的轻量级声码器家族，它可以生成与WaveGlow相似质量的音频，而MAC数减少61 - 214倍。代码、训练模型和生成的音频可在https://github.com/tianrengao/SqueezeWave上公开获取。
2020-01-16 cs.SD eess.AS
Macedonian Speech Synthesis for Assistive Technology Applications
Ss Cyril and Methodius University in Skopje（斯科普里圣西里尔与美多德大学）；Melon Inc.（Melon公司）
该研究针对马其顿语低资源辅助沟通场景，在新录制语料上比较参数化与深度学习 TTS 模型，发现参数化方案性能相当且更省资源、可控性更强。
2022-06-18 cs.SD eess.AS
Expressive paragraph text-to-speech synthesis with multi-step variational autoencoder
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于多步变分自编码器的段落语音合成系统EP-MSTTS，通过五层级建模可变风格并在段落切分数据上训练，有效提升了有声读物语音合成的表现力。
2024-06-11 cs.SD eess.AS
Visualising Model Training via Vowel Space for Text-To-Speech Systems
The University of Auckland（奥克兰大学）
随着机器学习在语音合成方面的最新发展，本研究探讨了结合语言学知识来可视化和评估合成语音模型训练。如果在合成语音中可以看到和听到第一和第二共振峰（进而是元音空间）的变化，则该知识可以告知语音合成技术开发者。在大型通用美国英语数据库上训练的语音合成模型被微调为新西兰英语语音，以识别合成语音的元音空间的变化是否可以被看到和听到。在微调过程中，在不同的时间间隔的元音空间进行了分析，以确定该模型是否学习新西兰英语元音空间。我们基于元音空间分析的研究结果表明，我们可以可视化语音合成模型如何学习它所训练的数据库的元音空间。感知测试证实，当语音合成模型学习了它所训练的语音数据库的特征时，人类可以感知。使用元音空间作为中介评估有助于理解什么声音要添加到训练数据库并构建语音基于语言学知识的综合模型。
2022-08-21 cs.SD eess.AS
Msdtron: a high-capability multi-speaker speech synthesis system for diverse data using characteristic information
Xiaomi Corporation（小米公司）
在多说话人语音合成中，由于多个说话人在年龄、说话风格、情感等方面存在很大差异，因此多说话人语音合成的建模能力是一个重要而又具有挑战性的问题。针对这一问题，本文提出了一种高性能的语音合成系统Msdtron，该系统包括：1）设计了一种语音谐波结构的表示方法，称为激励谱图，用于直接指导语音谐波的学习。2)提出了条件选通LSTM（CGLSTM），通过使用说话人信息重新加权LSTM的门来控制文本内容信息通过网络的流动。实验结果表明，在训练多说话人模型时，Mel声谱图的重建误差明显减小，说话人自适应模型的主观评价也有很大提高。
2022-02-11 cs.SD eess.AS
Emotion-Coherent Speech Data Augmentation and Self-Supervised Contrastive Style Training for Enhancing Kids's Story Speech Synthesis
Supply Chain MultiTech R\&D Centre, Pok Fu Lam, Hong Kong \
本文提出通过情感一致的语音数据增强和自监督对比训练，提升儿童故事语音合成的表达性和自然度。
2026-02-10 cs.SD eess.AS
Empowering Communication: Speech Technology for Indian and Western Accents through AI-powered Speech Synthesis
Environmental Resources Management（环境资源管理公司）
本文提出一个开源Python包voice cloning and speech synthesis，通过包含说话人验证、合成器、声码器和降噪模块的系统架构，为语音障碍人士和专业人士生成个性化的合成语音，并使用MOS、GPE和SD等指标验证了其有效性。
2024-02-16 cs.SD eess.AS
Environment Aware Text-to-Speech Synthesis
The Chinese University of Hong Kong（香港中文大学）
本研究旨在设计一个环境感知的文本转语音（TTS）系统，可以产生语音，以适应特定的声学环境。这也是出于在TTS系统开发中利用来自异构源的大量语音音频数据的愿望。其核心思想是将语音音频中的声学环境建模为数据可变性的因素，并将其作为基于神经网络的语音合成过程中的条件。使用两个专门构建的数据集训练两个嵌入提取器，用于表征和解开语音中的说话者和环境因素。训练神经网络模型以从提取的说话者和环境嵌入生成语音。客观和主观评价结果表明，该TTS系统能够有效地分离说话人和环境因素，合成出具有指定说话人特征和环境属性的语音音频。音频样本可在线演示https://daxintan-cuhk.github.io/Environment-Aware-TTS/。
2022-08-06 cs.SD eess.AS
SSR-Speech: Towards Stable, Safe and Robust Zero-shot Text-based Speech Editing and Synthesis
Johns Hopkins University（约翰斯·霍普金斯大学）；Tencent AI Lab（腾讯AI实验室）；Nanyang Technological University（南洋理工大学）
SSR-Speech提出基于Transformer解码器与无分类器引导的神经编解码器自回归模型，结合水印Encodec和原始未编辑片段重建，在零样本语音编辑与合成中实现稳定、安全、鲁棒的最先进性能。
2025-01-02 cs.SD eess.AS
UFANS: U-shaped Fully-Parallel Acoustic Neural Structure For Statistical Parametric Speech Synthesis With 20X Faster
Turing Robot co.ltd（图灵机器人有限公司）；Chinese University of Hongkong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data (SRIBD)（深圳大数据研究院）
具有自回归结构的神经网络，如递归神经网络（RNN），已成为近年来参数化文本到语音合成（TTS）的声学建模研究中最具吸引力的结构。尽管这些模型具有捕获长期依赖性的突出能力，但这些模型由无法完全并行的大量顺序计算组成。在本文中，我们提出了一个U形的全并行声学神经结构（UFANS），这是一个去卷积的替代RNN的统计参数语音合成（SPSS）。实验证明，我们提出的模型比基于RNN的声学模型快20倍以上，在GPU上进行训练和推理，语音质量相当。此外，我们还研究了信息依赖性的长短对合成语音质量的影响。
2018-11-28 cs.SD eess.AS
Long-Context Speech Synthesis with Context-Aware Memory
Speech Lab（语音实验室）
针对长文本语音合成中现有方法忽略段落上下文连贯性导致自然度低等问题，提出基于上下文感知记忆（CAM）的长上下文TTS模型，通过CAM块和前缀掩码提升上下文学习能力，实验表明其在韵律、连贯性等方面优于基线和SOTA方法。
2025-08-20 cs.SD eess.AS
Deep Speech Synthesis from Multimodal Articulatory Representations
University of California, Berkeley（加州大学伯克利分校）；University of Bremen（不来梅大学）；Carnegie Mellon University（卡内基梅隆大学）
针对发音数据稀缺问题，提出一种多模态预训练框架，通过迁移学习有效提升了基于MRI和肌电图的低资源发音到声学语音合成性能，在可懂度与多项质量指标上显著优于基线。
2024-12-17 cs.SD eess.AS
Byakto Speech: Real-time long speech synthesis with convolutional neural network: Transfer learning from English to Bangla
Brainekt AI Lab（Brainekt AI实验室）；Khulna University of Engineering and Technology（库尔纳工程技术大学）
语音合成是通过深度学习自动化的具有挑战性的任务之一，也是一种低资源语言，很少有人尝试孟加拉语语音合成。大多数现有的作品只能处理简单的孟加拉语字符脚本，非常短的句子等。这项工作试图通过将Byakta（有史以来第一个基于开源深度学习的双语（孟加拉语和英语）文本）引入语音合成系统来解决这些问题。提出了一种基于语音识别模型的TTS模型自动评分方法。我们还介绍了孟加拉语语音合成模型的测试基准数据集，用于评估语音质量。TTS可在https://github.com/zabir-nabil/bangla-tts上获得
2021-05-31 cs.LG cs.SD eess.AS
Towards Multi-Scale Speaking Style Modelling with Hierarchical Context Information for Mandarin Speech Synthesis
Huya Inc.（虎牙公司）
以往的表达性语音合成研究主要集中在从当前句子或语境中嵌入单尺度风格的建模上，而忽略了人类语音中说话风格的多尺度特性。为了提高合成语音的自然度和表现力，本文提出了一种多尺度说话风格建模方法来捕捉和预测多尺度说话风格。提出了一种多尺度提取器，用于从地面真实语音中提取三个不同层次的说话风格嵌入，并明确指导基于分层上下文信息的多尺度风格预测器的训练。在普通话有声读物数据集上的客观和主观评价表明，我们提出的方法可以显着提高合成语音的自然度和表现力。
2022-07-05 cs.SD eess.AS
Simple and Effective Unsupervised Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Meta AI
我们介绍了第一个无监督的语音合成系统的基础上，一个简单的，但有效的配方。该框架利用了最近在无监督语音识别以及现有的基于神经的语音合成的工作。仅使用未标记的语音音频和未标记的文本以及词典，我们的方法使语音合成，而不需要人类标记的语料库。实验表明，无监督的系统可以合成类似的语音监督同行的自然度和可懂度衡量的人的评价。
2022-04-20 cs.CL cs.SD eess.AS
The Potential of Neural Speech Synthesis-based Data Augmentation for Personalized Speech Enhancement
Indiana University, Luddy School of Informatics, Computing, and Engineering（印第安纳大学卢迪信息、计算与工程学院）
随着深度学习的进步，语音增强系统受益于大型神经网络架构，并实现了最先进的质量。然而，说话人不可知的方法并不总是可取的，无论是在质量和它们的复杂性，当它们被用于资源受限的环境。一种有前途的方法是个性化语音增强（PSE），这是一个更小，更容易的语音增强问题的小模型来解决，因为它专注于一个特定的测试时的用户。为了实现个性化的目标，同时处理典型的个人数据的缺乏，我们调查的数据增强的神经语音合成（NSS）的基础上的效果。在所提出的方法中，我们表明NSS系统的合成数据的质量很重要，如果它们足够好，则可以使用增强的数据集来改进优于说话者不可知基线的PSE系统。所提出的PSE系统表现出显着的复杂性降低，同时保持增强质量。
2022-11-14 cs.SD eess.AS
Neural Speech Embeddings for Speech Synthesis Based on Deep Generative Networks
Korea University（高丽大学）
本文介绍脑到语音技术，并系统分析执行语音时的神经特征与神经语音嵌入，探讨其在基于深度生成模型的语音合成中的关键作用。
2024-02-27 cs.AI cs.SD eess.AS
TDASS: Target Domain Adaptation Speech Synthesis Framework for Multi-speaker Low-Resource TTS
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
近年来，通过文本到语音（TTS）应用合成个性化语音的需求很高。但以往的TTS模型需要大量的目标说话人语音进行训练。这是一个高成本的任务，很难记录大量的话语从目标说话人。语音的数据增强是一种解决方案，但会导致低质量的合成语音问题。一些多说话人TTS模型被提出来解决这个问题。但由于说话人的说话数量不均衡，导致语音相似性问题。我们提出了目标领域自适应语音合成网络（TDASS）来解决这些问题。TDASS基于高质量TTS模型Tacotron 2的主干，引入了一个自利分类器来减少非目标影响。此外，在分类器中增加了一个特殊的梯度反转层，对目标和非目标进行不同的操作。在汉语语音库上的实验表明，该方法在语音质量和相似度方面优于基线方法。
2022-05-24 cs.SD eess.AS
Exploration of End-to-end Synthesisers forZero Resource Speech Challenge 2020
Indian Institute of Techonology Madras, India
一个看不见的语言的口语对话系统被称为零资源语音。这对于为数字资源较少的语言开发应用程序特别有益。零源语音合成是在没有传输的情况下建立文语转换模型的任务。在这项工作中，语音被建模为一个序列的瞬态和稳态的声学单元，和一组独特的声学单元被发现的迭代训练。使用声学单元序列，训练TTS模型。本文的主要目标是提高零资源语音合成系统的合成质量。提出了四种不同的系统。所有的系统包括三个阶段：单元发现，其次是单元序列到频谱图的映射，最后是频谱图到语音反转。修改提出了频谱图映射阶段。这些修改包括在语音数据上训练映射，使用x向量来改进映射，两阶段学习和性别特定的建模。在Zerospeech 2020挑战中对所提出的系统进行的评估表明，可以实现相当好的质量合成。
2020-09-10 cs.SD eess.AS
Zero resource speech synthesis using transcripts derived from perceptual acoustic units
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
零语音合成是建立词汇独立的语音合成系统的任务，其中transmittance对于训练数据不可用。因此，有必要将训练数据转换为可以在测试期间用于合成的基本声学单元的序列。本文试图发现，和模型的感知声学单位组成的稳态，瞬态地区的讲话。瞬态大致对应于CV、VC单位，而稳态对应于响音和摩擦音。首先通过使用短期能量状轮廓将语音信号分割成CVC状单元来对语音信号进行预处理。这些CVC段使用基于连接组件的图聚类技术进行聚类。聚类的CVC段被初始化，使得开始（CV）和衰减（VC）对应于瞬态，并且韵律对应于稳态。在该初始化之后，允许单元在连续语音上重新组织成HMM-GMM框架中的AU的最终集合。这样获得的AU序列用于训练合成模型。在Zerospeech 2019挑战数据库上评估了所提出方法的性能。主观和客观的分数表明，合理良好的质量合成与低比特率编码可以实现使用所提出的AU。
2020-06-08 cs.SD eess.AS
Context-aware Coherent Speaking Style Prediction with Hierarchical Transformers for Audiobook Speech Synthesis
Xverse Inc.（Xverse公司）
针对有声书多句语音合成中风格不连贯的问题，本文提出基于层次化Transformer和混合注意力掩码的上下文感知风格预测方法，结合文本与语音历史信息，实现风格连贯的长篇语音生成。
2023-04-13 cs.SD eess.AS
Evaluating Text-to-Speech Synthesis from a Large Discrete Token-based Speech Language Model
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究从五个维度评估基于离散token的语音语言模型的文本转语音效果，发现其韵律多样性等表现优于传统TTS，但可懂度等存在不足，扩大模型规模可小幅提升鲁棒性，为相关研究提供基准。
2024-05-16 cs.SD eess.AS
EME-TTS: Unlocking the Emphasis and Emotion Link in Speech Synthesis
Hangzhou Institute for Advanced Study（杭州先进研究所）
本文提出EME-TTS框架，通过弱监督学习和重音感知增强模块，结合大语言模型预测重音位置，解决了情感语音合成中重音与情感交互不足的问题，实现了更自然的情感表达与稳定的目标重音控制。
2025-07-16 cs.SD eess.AS
Embedding a Differentiable Mel-cepstral Synthesis Filter to a Neural Speech Synthesis System
Nagoya Institute of Technology（名古屋工业大学）；Techno-Speech, Inc.（Techno-Speech公司）
本文将经典的梅尔倒谱合成滤波器集成到现代神经语音合成系统中，实现端到端可控的语音合成。由于梅尔倒谱合成滤波器显式地嵌入在所提出的系统中的神经波形模型中，语音特性和合成语音的音高分别通过频率弯曲参数和基频进行高度控制。我们实现了梅尔倒谱合成滤波器作为一个微分和GPU友好的模块，使所提出的系统中的声学和波形模型，以端到端的方式同时优化。实验表明，该系统提高了语音质量从基线系统保持可控性。实验中使用的核心PyTorch模块将在GitHub上公开。
2022-11-21 cs.CL cs.SD eess.AS
ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
ED-TTS通过结合SER的话语级情感嵌入与SED的帧级情感嵌入，并利用跨域SED预测软标签，实现了多尺度情感语音合成，解决了细粒度情感标注数据稀缺的问题。
2024-01-16 cs.SD eess.AS
Speech Synthesis as Augmentation for Low-Resource ASR
Raytheon BBN（雷神BBN公司）
语音合成可能是低资源语音识别的关键。数据增强技术已成为现代语音识别训练的重要组成部分。然而，它们是简单的，天真的，很少反映现实世界的条件。与此同时，语音合成技术已经快速地接近实现类人语音的目标。在本文中，我们研究了使用合成语音作为数据增强的一种形式，以降低构建语音识别器所需的资源的可能性。我们使用三种不同的合成器进行实验：统计参数合成器、神经合成器和对抗合成器。我们的发现很有趣，并为未来指明了新的研究方向。
2020-12-23 cs.CL cs.SD eess.AS
Improving Emotional Speech Synthesis by Using SUS-Constrained VAE and Text Encoder Aggregation
Xiaomi Corporation（小米公司）
从参考音频学习情感嵌入是编码器-解码器系统中用于多情感语音合成的直接方法。但如何更好地嵌入情感信息，如何更有效地将情感信息注入到语音合成声学模型中，仍是一个有待研究的问题。在本文中，我们提出了一个创新的约束，以帮助VAE提取情感嵌入更好的集群凝聚力。此外，所获得的情感嵌入被用作查询，通过注意力聚合所有编码器层的潜在表示。此外，来自编码器层本身的查询也很有帮助。实验证明，该方法能有效地提高语音的句法和语义信息编码能力，产生更富情感表达的语音。
2022-01-28 cs.SD eess.AS
Incremental Text-to-Speech Synthesis Using Pseudo Lookahead with Large Pretrained Language Model
The University of Tokyo（东京大学）
这封信提出了一种增量文本到语音（TTS）的方法，在小的语言单元进行合成，同时保持输出语音的自然性。增量式TTS通常经受延迟和合成语音质量之间的权衡。用低延迟设置产生高质量语音是具有挑战性的，该低延迟设置不太使用未观察到的未来句子（以下称为“前瞻”）。为了解决这个问题，我们提出了一种增量TTS方法，该方法使用由语言模型生成的伪前瞻来考虑未来的上下文信息，而不会增加延迟。我们的方法可以被视为模仿人类的增量阅读，并使用预训练的GPT2，它占了大规模的语言知识，为前瞻性的一代。评估结果表明，我们的方法1）实现了更高的语音质量比只考虑观察到的信息的方法和2）实现了语音质量相当于等待未来的上下文观察。
2021-04-14 cs.SD eess.AS
LPCNet: Improving Neural Speech Synthesis Through Linear Prediction
Mozilla；Google LLC（谷歌有限责任公司）
神经语音合成模型最近已经证明了为文本到语音和压缩应用合成高质量语音的能力。这些新模型通常需要强大的GPU来实现实时操作，因此能够降低其复杂性将为许多新应用开辟道路。我们提出了LPCNet，这是一种WaveRNN变体，将线性预测与递归神经网络相结合，可显着提高语音合成的效率。我们证明，LPCNet可以实现显着更高的质量比WaveRNN相同的网络规模和高质量的LPCNet语音合成是可实现的复杂度低于3 GFLOPS。这使得在低功耗设备（如嵌入式系统和手机）上部署神经合成应用程序变得更加容易。
2019-02-19 cs.LG cs.SD eess.AS
Speech to Speech Synthesis for Voice Impersonation
University of California San Diego（加州大学圣迭戈分校）
本文提出STSSN模型，通过融合语音识别与合成技术，实现语音到语音风格迁移，用于语音模仿任务，实验表明其生成逼真音频效果优于生成对抗模型。
2026-02-13 cs.LG cs.SD eess.AS
Empirical Study Incorporating Linguistic Knowledge on Filled Pauses for Personalized Spontaneous Speech Synthesis
The University of Tokyo（东京大学）
本文通过实证研究探讨个性化自发语音合成中的填充停顿问题，提出结合非个性化外部填充停顿预测器的合成方法，揭示填充停顿位置与词语分别影响自然度和个体性的关键规律。
2023-09-19 cs.CL cs.SD eess.AS
Review of end-to-end speech synthesis technology based on deep learning
Xi'an Jiaotong University（西安交通大学）
语音合成技术作为现代人机交互系统中不可或缺的一部分，帮助用户更方便、更直观地获得智能机器的输出，因而受到越来越多的关注。由于传统语音合成技术复杂度高、效率低的局限性，目前的研究热点是基于深度学习的端到端语音合成技术，它具有更强大的建模能力和更简单的流水线。它主要由三个模块组成：文本前端、声学模型和声码器。本文对这三部分的研究现状进行了综述，并对各种方法按侧重点进行了分类和比较。此外，本文还总结了可用于语音合成任务的英语、汉语等语言的开源语音语料库，并介绍了一些常用的主观和客观语音质量评价方法。最后指出了未来的研究方向。
2021-04-20 cs.CL cs.SD eess.AS
A$^3$T: Alignment-Aware Acoustic and Text Pretraining for Speech Synthesis and Editing
University of Waterloo（滑铁卢大学）；Baidu Research USA（百度美国研究院）；Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
最近，语音表示学习已经改善了许多与语音相关的任务，例如语音识别、语音分类和语音到文本的翻译。然而，所有上述任务都是在语音理解的方向上，但对于相反的方向，语音合成，由于生成高质量语音的挑战性，表征学习的潜力尚未实现。为了解决这个问题，我们提出了我们的框架，Alignment-Aware Acoustic-Text Pretraining（A $^3$ T），它在训练过程中使用文本输入和声学文本对齐来重建掩蔽的声学信号。通过这种方式，预训练的模型可以生成高质量的重建谱图，其可以直接应用于语音编辑和不可见说话人TTS。实验结果表明，$^3$ T在语音编辑方面优于SOTA模型，并且在没有外部说话人确认模型的情况下改善了多说话人语音合成。
2022-06-18 cs.CL cs.SD eess.AS
From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University（马斯特里赫特大学）；Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）
语音到语音翻译（S2 ST）将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音（iTTS）模型已经显示出很大的质量改进，但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中，我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后，我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒，而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
End to End Bangla Speech Synthesis
Shahjalal University of Science & Technology（沙赫贾拉尔科技大学）
文语转换（TTS）系统是一个系统，语音合成从一个给定的文本按照任何特定的方法。级联合成、基于隐马尔可夫模型（HMM）的合成、具有多个构建块的基于深度学习（DL）的合成等是用于实现TTS系统的主要方法。在这里，我们将介绍我们基于深度学习的端到端孟加拉语语音合成系统。它已经实现了最少的人工注释，只使用3个主要组件（编码器，解码器，后处理网络，包括波形合成）。它不需要任何前端预处理器和G2 P转换器。我们的模型已经用语音平衡的20小时单说话者语音数据进行了训练。它获得了3.79的平均意见得分（MOS）的规模为5.0的主观评价和0.77的感知评价的语音质量（PESQ）得分的规模为[-0.5，4.5]的客观评价。它的表现优于所有现有的非商业最先进的孟加拉语TTS系统的基础上自然。
2021-08-01 cs.MM cs.SD eess.AS
Neural Speech Synthesis on a Shoestring: Improving the Efficiency of LPCNet
Amazon Web Services（亚马逊云科技）
神经语音合成模型可以合成高质量的语音，但是通常需要高计算复杂度来这样做。在以前的工作中，我们介绍了LPCNet，它使用线性预测来显着降低神经合成的复杂性。在这项工作中，我们进一步提高了LPCNet的效率-针对算法和计算改进-使其可用于各种设备。我们证明了合成质量的提高，同时操作速度提高了2.5倍。由此产生的开源LPCNet算法可以在大多数现有手机上执行实时神经合成，甚至可以在某些嵌入式设备中使用。
2022-02-22 cs.LG cs.SD eess.AS
AutoTTS: End-to-End Text-to-Speech Synthesis through Differentiable Duration Modeling
Sony Europe B.V.（索尼欧洲有限公司）
并行文本到语音（TTS）模型最近使得能够实现快速且高度自然的语音合成。然而，它们通常需要外部对齐模型，这些模型不一定针对解码器进行优化，因为它们不是联合训练的。在本文中，我们提出了一个可微的持续时间的方法来学习单调的输入和输出序列之间的对齐。我们的方法是基于一个软持续时间机制，优化随机过程的期望。使用这种可微分的持续时间的方法，我们介绍了AutoTTS，一个直接的文本到波形的语音合成模型。AutoTTS通过对抗训练和匹配总地面实况持续时间的组合，实现高保真语音合成。实验结果表明，我们的模型获得了有竞争力的结果，同时享受一个更简单的训练管道。音频样本可在线获取。
2023-03-07 cs.LG cs.SD eess.AS
