VoiceRestore: Flow-Matching Transformers for Speech Recording Quality Restoration
VoiceRestore利用自监督流匹配Transformer在合成数据上训练，统一恢复多种退化的语音录音，无需成对数据即可泛化到真实短时与长时语音恢复任务。
2025-01-01 cs.SD eess.AS
HD-DEMUCS: General Speech Restoration with Heterogeneous Decoders
Yonsei University（延世大学）；NAVER Cloud（NAVER云）
提出端到端 HD-DEMUCS，通过两个异构解码器并行完成降噪与缺失成分恢复，并以可学习权重聚合波形，在多种失真环境下优于单解码器和级联系统。
2023-06-02 cs.SD eess.AS
Generative Speech Foundation Model Pretraining for High-Quality Speech Extraction and Restoration
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）；Massachusetts Institute of Technology（麻省理工学院）
提出一种生成式预训练语音基础模型，直接处理复数值STFT系数以避免声码器限制，在语音去噪、带宽扩展和目标说话人提取等恢复任务中超越强基线。
2024-09-25 cs.SD eess.AS
KS-Net: Multi-band joint speech restoration and enhancement network for 2024 ICASSP SSI Challenge
Kuaishou Technology（快手科技）
针对ICASSP 2024 SSI挑战赛，提出结合复数域GAN与多频带融合的语音恢复增强网络，在实时与非实时赛道均获第一。
2024-02-02 cs.SD eess.AS
SEMamba++: A General Speech Restoration Framework Leveraging Global, Local, and Periodic Spectral Patterns
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出SEMamba++框架，通过整合全局、局部和周期性频谱特征，提升语音修复性能，同时保持计算效率。
2026-08-27 cs.SD eess.AS
DisSR: Disentangling Speech Representation for Degradation-Prior Guided Cross-Domain Speech Restoration
AntGroup（蚂蚁集团）；University of Science and Technology of China（中国科学技术大学）
DisSR通过降质先验引导和跨领域对齐训练，提升语音修复在不同降质和领域下的泛化能力与修复质量。
2026-02-13 cs.SD
VoiceFixer: A Unified Framework for High-Fidelity Speech Restoration
University of Surrey（萨里大学）；ByteDance（字节跳动）；The Ohio State University（俄亥俄州立大学）
针对现实中语音常受多重失真影响的问题，提出统一高保真语音修复框架VoiceFixer，采用分析-合成两阶段设计，可处理多种失真并将低带宽受损语音扩展为44.1kHz全带宽高保真语音，在严重受损语音上效果显著。
2022-04-17 cs.SD eess.AS eess.SP
ReverbMiipher: Generative Speech Restoration meets Reverberation Characteristics Controllability
Google DeepMind（谷歌DeepMind）；The University of Tokyo（东京大学）；Google（谷歌）
ReverbMiipher提出了一种基于参数化重合成框架的语音修复模型，通过ReverbEncoder提取混响特征并结合零向量替换策略实现解耦，在去噪的同时保留并控制混响特性，表现优于传统方法。
2025-07-15 cs.SD eess.AS
Miipher: A Robust Speech Restoration Model Integrating Self-Supervised Speech and Text Representations
Google（谷歌）
本文提出 Miipher 语音修复模型，结合 w2v-BERT 语音表示与 PnG-BERT 文本表示，提升对多种音频退化的鲁棒性，并证明其可将网络语音修复为录音室音质以训练高质量 TTS 模型。
2023-08-14 cs.LG cs.SD eess.AS
Analysing Diffusion-based Generative Approaches versus Discriminative Approaches for Speech Restoration
DESY（德国电子同步加速器研究所）
在过去的几年里，基于扩散的生成模型对计算机视觉和语音处理社区产生了很大的影响。除了数据生成任务之外，它们还被用于数据恢复任务，如语音增强和去混响。虽然传统上认为判别模型更强大，例如用于语音增强，但最近已经显示生成扩散方法大大缩小了这种性能差距。在本文中，我们系统地比较了生成扩散模型和判别方法在不同的语音恢复任务的性能。为此，我们扩展我们以前的贡献扩散为基础的语音增强在复杂的时间-频率域的带宽扩展的任务。然后，我们将其与具有相同网络架构的区分训练神经网络进行比较，用于三个恢复任务，即语音去噪，去混响和带宽扩展。我们观察到，生成方法在所有任务上的全局性能都优于其判别式方法，对于非加性失真模型（如去混响和带宽扩展）具有最大的优势。代码和音频示例可以在https://uhh.de/inf-sp-sgmsemultitask上找到
2023-03-16 cs.LG cs.SD eess.AS
Miipher-2: A Universal Speech Restoration Model for Million-Hour Scale Data Restoration
Google DeepMind（谷歌DeepMind）
本文提出 Miipher-2 通用语音修复模型，利用冻结 USM、并行适配器和 WaveFit 声码器，实现多语言、无条件且高效的百万小时训练数据清洗。
2025-07-23 cs.CL cs.SD eess.AS
MaskSR: Masked Language Model for Full-band Speech Restoration
Dolby Laboratories（杜比实验室）；Southeast University（东南大学）；School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院）
本文提出掩码语言模型MaskSR，通过预测离散声学token并利用迭代采样，有效恢复受噪声、混响等影响的全频带语音，实验证明其性能具竞争力。
2024-06-04 cs.AI cs.LG cs.SD
What Counts as Real? Speech Restoration and Voice Quality Conversion Pose New Challenges to Deepfake Detection
本文研究语音重建和语音质量转换对深度伪造检测系统的影响，通过多类分类方法分析模型行为，发现良性变换导致分布偏移，改进了系统鲁棒性。
2026-07-08 cs.AI cs.LG cs.SD
The CCF AATC 2025 Speech Restoration Challenge: A Retrospective
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Audio Department, Huawei CBG（华为CBG音频部门）；Beijing AISHELL Technology Co., Ltd.（北京艾斯HELL科技有限公司）；University of Science and Technology of China（中国科学技术大学）
2025年CCF AATC挑战回顾了语音恢复领域的现状，揭示了轻量模型、生成模型权衡及度量差距问题。
2025-12-27 cs.SD eess.AS
High-Resolution Speech Restoration with Latent Diffusion Model
Sony Europe B.V.（索尼欧洲有限公司）；University of Stuttgart（斯图加特大学）
本文提出基于潜在扩散的Hi-ResLDM模型，用于去除多种失真并将语音修复至48kHz录音室质量，在高频细节重建和主客观评估上均优于基于GAN和CFM的现有方法。
2025-02-10 cs.AI cs.LG cs.SD
Joint Semantic Knowledge Distillation and Masked Acoustic Modeling for Full-band Speech Restoration with Improved Intelligibility
Dolby Laboratories（杜比实验室）
针对现有语音修复生成模型MaskSR可懂度有待提升的问题，提出结合语义知识蒸馏与掩码声学建模的MaskSR2，在不增加模型容量与推理时间的前提下，显著降低词错误率，兼顾语音质量与可懂度。
2024-09-14 cs.AI cs.SD eess.AS
VoiceBridge: General Speech Restoration with One-step Latent Bridge Models
VoiceBridge通过一种通用的一步潜在桥模型实现高效语音修复，结合能量守恒的变分自编码器和可扩展Transformer，统一处理多种语音修复任务。
2026-03-10 cs.AI cs.SD eess.AS
Multi-Metric Preference Alignment for Generative Speech Restoration
针对生成式语音修复训练目标与人类感知偏好不对齐的问题，提出多度量偏好对齐策略，构建GenSR-Pref数据集结合DPO优化，在多类生成模型上取得显著性能提升，还可在数据稀缺场景生成伪标签。
2025-11-15 cs.AI cs.LG cs.SD
Machine Learning: Challenges, Limitations, and Compatibility for Audio Restoration Processes
University of Wisconsin-Eau Claire（威斯康星大学欧克莱尔分校）；North Carolina A&T State University（北卡罗来纳农工州立大学）
在本文中，机器学习网络被探索用于恢复退化和压缩的语音音频。该项目的目的是建立一个新的训练模型，从语音数据，学习压缩伪像失真的特点介绍了数据丢失从有损压缩和分辨率损失与现有的算法SEGAN：语音增强生成对抗网络。然后，从模型中得到的生成器将用于恢复退化的语音音频。本文详细介绍了随后的兼容性和操作问题的检查，这些问题是通过使用弃用的代码来解决的，这些代码阻碍了训练模型的成功开发。本文进一步探讨了当前机器学习的挑战、局限性和兼容性。
2021-09-06 cs.LG cs.SD eess.AS
WaveLLDM: Design and Development of a Lightweight Latent Diffusion Model for Speech Enhancement and Restoration
Institut Teknologi Sepuluh Nopember（泗水理工学院）
本文提出 WaveLLDM，利用神经音频编解码器与潜在扩散在压缩潜在空间中进行语音恢复和去噪，在降低计算复杂度的同时取得准确频谱重建，但感知质量仍有提升空间。
2025-08-28 cs.AI cs.SD eess.AS
Real-Time Streamable Generative Speech Restoration with Flow Matching
Signal Processing Group, Dept. of Informatics, Universität Hamburg（信息学院信号处理组，汉堡大学）
本文提出Stream.FM流式生成模型，通过优化架构和压缩技术实现低延迟的实时语音处理，展示其在语音增强等任务中的高性能表现。
2026-04-21 cs.LG cs.SD eess.SP
Sidon: Fast and Robust Open-Source Multilingual Speech Restoration for Large-scale Dataset Cleansing
The University of Tokyo, Japan（东京大学）
Sidon是一种快速且鲁棒的开源多语言语音恢复模型，用于大规模数据集清洗，通过清洗噪声语音特征并合成高质量语音，提升语音合成质量。
2026-01-26 cs.SD eess.AS
Automatic Restoration of Diacritics for Speech Data Sets
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Princess Nourah Bint Abdulrahman University（努拉·本特·阿卜杜勒拉赫曼公主大学）
针对文本变音符号恢复模型在语音转录上因领域与风格差异而错误率较高的问题，本文利用并行口语语句，通过微调 Whisper ASR 生成粗略带符转录作为辅助输入，构建并验证了新的语音变音符号恢复基线。
2024-04-07 cs.CL cs.SD
J-MAC: Japanese multi-speaker audiobook corpus for speech synthesis
The University of Tokyo（东京大学）
在本文中，我们构建了一个日语有声读物语音语料库称为“J-MAC”的语音合成研究。随着阅读式语音合成的成功，其研究对象逐渐转向使用复杂语境的任务。有声读物语音合成就是一个很好的例子，它需要跨句子、表达力等。与阅读式语音不同，有声读物语音中特定于说话人的表达力也成为上下文。为了加强这一研究，我们提出了一种方法来构建一个语料库从有声读物阅读的专业人士。从许多有声读物及其文本中，我们的方法可以自动提取和提炼数据，而不依赖于任何语言。具体来说，我们使用声乐乐器分离来提取干净的数据，连接主义的时间分类来粗略对齐文本和音频，语音活动检测来细化对齐。J-MAC在我们的项目页面中是开源的。我们还进行有声读物语音合成的评估，结果给有声读物语音合成的见解。
2022-01-26 cs.SD eess.AS
Spontaneous Informal Speech Dataset for Punctuation Restoration
University of Waterloo（滑铁卢大学）；Recognition Technologies, Inc.（识别技术公司）；Columbia University（哥伦比亚大学）
针对现有标点恢复模型仅在规范语料评估、与现实自发语音场景不匹配的问题，本研究构建了包含标点和大小写信息的非正式自发语音数据集SponSpeech，提出兼顾音文质量的过滤流水线，并搭建挑战性测试集，相关资源全部开源。
2024-09-17 cs.CL cs.HC cs.LG
Reducing over-smoothness in speech synthesis using Generative Adversarial Networks
Novosibirsk State University（新西伯利亚国立大学）
语音合成在许多实际应用中有着广泛的应用。近年来，语音合成技术发展迅速。然而，合成语音不自然的原因之一是它经常具有过度平滑。为了提高合成语音的自然度，首先提取语音的mel-声谱图并将其转换为真实图像，然后将过平滑的mel-声谱图图像作为输入，使用图像到图像翻译生成对抗网络（GANs）框架生成更真实的mel-声谱图。实验结果表明，该方法大大降低了合成语音的过平滑度，使合成语音的梅尔谱图更接近真实语音。
2018-12-17 cs.SD eess.AS
Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-filled-pause insertion
The University of Tokyo（东京大学）
本文提出一种结合语言语音正则化与伪填充停顿插入的训练方法，通过稳定非填充停顿语音合成并利用预测模型采样伪填充停顿，显著提升了自发语音合成在面对多样化填充停顿插入时的鲁棒性和自然度。
2023-09-19 cs.SD eess.AS
ToneUnit: A Speech Discretization Approach for Tonal Language Speech Synthesis
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出ToneUnit框架，利用声调标注数据作为CTC监督学习声调感知的离散语音单元，以解决中文语音合成中的“声调偏移”问题，并在中英文合成中验证了其有效性。
2024-09-03 cs.SD eess.AS
MASS: Multi-task Anthropomorphic Speech Synthesis Framework
Institute of Cyberspace Security, Zhejiang University of Technology（浙江工业大学网络空间安全研究院）；College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
文语转换（TTS）合成在人机交互中起着重要的作用。目前，大多数TTS技术都关注语音的自然性，即使语音听起来像人。然而，语音合成技术中的情感表达和说话人身份识别这两个关键任务却被忽略了，这限制了语音合成技术的应用场景。为了使合成的语音更加逼真，扩展应用场景，提出了一种多任务拟人语音合成框架（MASS），该框架可以从文本中合成具有特定情感和说话人身份的语音。MASS框架包括一个基本的TTS模块和两个新的语音转换模块：情感语音转换模块和扬声器语音转换模块。提出了基于卷积残差网络的深度情感语音转换模型（DEVC）和深度说话人语音转换模型（DSVC）。它解决了语音转换过程中的特征丢失问题。模型训练独立于并行数据集，并且能够进行多对多语音转换。在情感语音转换实验、说话人语音转换实验以及多任务语音合成实验中，实验结果表明DEVC和DSVC对语音转换效果良好。多任务语音合成实验的定量和定性评价结果表明，MASS能够有效地合成具有特定文本、情感和说话人身份的语音。
2021-05-10 cs.SD eess.AS
EMPHASIS: An Emotional Phoneme-based Acoustic Model for Speech Synthesis System
Baidu Inc.（百度公司）
提出了一种基于情感音素的语音合成声学模型EMPHASIS。EMPHASIS包括音素持续时间预测模型和声学参数预测模型。它使用基于CBHG的回归网络来建模语言特征和声学特征之间的依赖关系。我们修改了网络的输入和输出层结构，以提高性能。对于语言特征，我们采用特征分组策略来增强情感和韵律特征。声学参数被设计为适合于回归任务和波形重建。EMPHASIS可以实时合成语音，生成具有高音质的表达性的疑问和感叹语音。EMPHASIS是一个多语言模型，目前可以合成普通话和英语语音。在情感语音合成的实验中，取得了比其他实时语音合成系统更好的主观效果。
2018-06-26 cs.SD eess.AS
MSceneSpeech: A Multi-Scene Speech Dataset For Expressive Speech Synthesis
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
本文提出开源多场景普通话TTS数据集MSceneSpeech，涵盖多说话人和多样韵律，并基于提示机制建立基线，实现用户音色与场景韵律的合成。
2024-07-19 cs.SD eess.AS
Continuous Wavelet Vocoder-based Decomposition of Parametric Speech Waveform Synthesis
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 语言发音研究组）
迄今为止，各种语音技术系统都采用了声码器方法，这是一种合成语音波形的方法，在统计参数语音合成的性能中发挥着重要作用。WaveNet是最好的模型之一，几乎类似于人类的声音，必须以非常复杂的神经网络结构以耗时的顺序方式生成波形。
2021-06-12 cs.SD eess.AS
Comprehensive evaluation of statistical speech waveform synthesis
Amazon（亚马逊）
直接预测语音波形的统计TTS系统最近报道了合成质量的改进。这项调查评估亚马逊的统计语音波形合成（SSWS）系统。在多个领域对SSWS进行深入评估，以更好地了解质量的一致性。通过在单独的一组测试人员上重复该程序来确认该评估的结果。最后，分析了SSWS与混合单元选择合成相比的语音错误的性质，以确定SSWS的优点和缺点。对SSWS有更深入的了解使我们能够更好地确定未来工作的重点，以改进这项新技术。
2018-12-11 cs.SD eess.AS
Analysing Shortcomings of Statistical Parametric Speech Synthesis
Amazon（亚马逊）
统计参数语音合成（SPSS）的输出在质量、自然度、说话人相似性和噪声中的可懂度方面仍然明显低于自然语音记录。关于这些缺点的起源有许多假设，但这些假设通常是模糊的，并且没有经验证据可以证实和量化特定缺点如何导致合成语音中的不完美。在整个语音合成文献中，令人惊讶的是，很少有工作致力于识别语音合成中感知上最重要的问题，即使这些知识对于创建更好的SPSS系统具有很大的价值。在本章中，我们分析了SPSS的一些缺点。特别是，我们讨论了声码的问题，并提出了一个通用的方法来量化任何的许多假设和设计选择，阻碍SPSS的效果。该方法是伴随着一个例子，仔细测量和比较声码以及其他因素，如统计模型和它的使用所施加的感知限制的严重程度。
2018-07-28 cs.SD eess.AS
Brain2Speech-Net: Fast and Intelligible Brain-to-Speech Synthesis Without Text Decoding
Johns Hopkins University（约翰霍普金斯大学）；Academia Sinica（中央研究院）；University of Edinburgh（爱丁堡大学）
该研究针对瘫痪患者言语丧失问题，提出Brain2Speech-Net单阶段框架，通过可微分音素瓶颈与深度HMM对齐器实现无需文本解码的实时可理解语音合成，性能优于级联系统。
2026-09-23 cs.SD eess.AS
Training Data Augmentation for Dysarthric Automatic Speech Recognition by Text-to-Dysarthric-Speech Synthesis
The University of Sheffield（谢菲尔德大学）
针对构音障碍语音数据稀缺问题，本文提出用基于扩散的多说话人TTDS合成生成类构音障碍语音，并微调Whisper等ASR基础模型，显著提升合成指标与DASR识别性能。
2024-06-12 cs.SD eess.AS
A Multi-Stage Framework for Multimodal Controllable Speech Synthesis
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（深圳国际研究生院，清华大学，深圳，中国）
提出3阶段多模态可控语音合成框架，通过监督学习与知识蒸馏优化人脸编码器，并在文本-人脸与文本-语音数据上训练文本编码器，有效提升了生成语音的多样性与质量，优于单模态基线方法。
2025-06-26 cs.SD eess.AS
Fine-grained Style Modeling, Transfer and Prediction in Text-to-Speech Synthesis via Phone-Level Content-Style Disentanglement
The Chinese University of Hong Kong（香港中文大学）
提出了一种新的神经网络系统设计，用于表达性文本转语音（TTS）合成中的细粒度风格建模、转换和预测。通过从音素级语音段的梅尔谱图中提取风格嵌入，实现了细粒度建模。采用协作学习和对抗学习策略，有效地分离语音中的内容和风格因素，缓解风格建模中的“内容泄漏”问题。该系统可用于单说话人情况下的变内容语音风格传输。客观和主观评价的结果表明，我们的系统性能优于其他细粒度的语音风格转移模型，特别是在内容保存方面。通过结合风格预测器，所提出的系统也可以用于文本转语音合成。提供音频样本用于系统演示https://daxintan-cuhk.github.io/pl-csd-speech。
2021-10-08 cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
表达性合成语音对于许多人机交互和音频广播场景至关重要，因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签，要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成，这两种方法都只能学习平均风格，从而忽略了语音韵律的多尺度特性。在本文中，我们提出了一个多尺度情感语音合成框架MssweetTTS，从不同的层次来建模的情感。具体而言，该方法是一个典型的基于注意力的序列到序列模型，并提出了三个模块，包括全球级情感呈现模块（GM），话语级情感呈现模块（UM）和本地级情感呈现模块（LM），分别建模的全球情感类别，话语级情感变化，音节级情感强度。除了从不同层次对情感进行建模之外，所提出的方法还允许我们以不同的方式合成情感语音，即，从参考音频中转移情感，从输入文本中预测情感，以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明，该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外，实验还表明，该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
I2TTS: Image-indicated Immersive Text-to-speech Synthesis with Spatial Perception
University of Science and Technology Beijing（北京科技大学）；Tencent AI Lab（腾讯AI实验室）；National University of Singapore（新加坡国立大学）
针对现有TTS忽略空间感知的问题，提出I2TTS多模态方法，通过场景提示编码器和混响分类优化技术，在保证语音自然度的同时实现高质量场景空间匹配，推动上下文感知语音合成发展。
2025-09-03 cs.SD eess.AS
Going Retro: Astonishingly Simple Yet Effective Rule-based Prosody Modelling for Speech Synthesis Simulating Emotion Dimensions
audEERING GmbH（audEERING公司）；University of Augsburg（奥格斯堡大学）；Imperial College London（伦敦帝国学院）
本文提出两个基于SSML的规则模型，通过修改语音合成韵律来模拟情感维度，实验证明简单方法即可有效模拟唤醒度和效价。
2023-07-05 cs.SD eess.AS
Speech Synthesis from Text and Ultrasound Tongue Image-based Articulatory Input
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 舌部发音研究组）；University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（MTA-SZTE 人工智能研究组）；Eötvös Loránd University（厄特沃什·罗兰大学）
发音信息已被证明在提高基于HMM和基于DNN的文本到语音合成的性能方面是有效的。语音合成的研究传统上集中在文本到语音的转换，当输入是文本或估计的语言表示，和目标是合成语音。然而，在过去十年中已经兴起的研究领域是发音到语音合成（具有无声语音接口SSI的目标应用），当目标是从发音器官的运动的某种表示合成语音时。在本文中，我们扩展了传统的（基于声码器的）DNN-TTS与发音输入，估计从超声舌图像。我们比较了纯文本、纯超声和组合输入。使用来自八个扬声器的数据，我们表明，组合的文本和发音输入可以在有限的数据场景中具有优势，即，它可以增加合成语音的自然度相比，单一的文本输入。此外，我们分析了几个扬声器的超声舌记录，并表明在超声换能器定位的错位可能会对最终的合成性能产生负面影响。
2021-07-05 cs.SD eess.AS
Speech Synthesis and Control Using Differentiable DSP
Sony Europe B.V.（索尼欧洲有限公司）；Technical University of Munich（慕尼黑工业大学）
现代文本到语音系统能够产生自然和高质量的语音，但语音包含文本本身无法包含的变化因素（例如音高，节奏，响度，音色）。在这项工作中，我们走向一个语音合成系统，可以通过允许（但不要求）明确控制的各种因素的变化，产生不同的语音再现的文本。我们提出了一种新的神经声码器，提供控制这些因素的变化。这是通过采用可微分数字信号处理（DDSP）（以前只用于音乐而不是语音）来实现的，其暴露了这些变化因素。实验结果表明，该方法能够产生具有真实音色的自然语音，并且可以自由控制语音的变化因素。
2020-10-28 cs.SD eess.AS
High-quality Speech Synthesis Using Super-resolution Mel-Spectrogram
UBTECH Robotics Corporate（优必选机器人公司）；Novosibirsk State University（新西伯利亚国立大学）
在语音合成和语音增强系统中，梅尔声谱图在声学表示中需要是精确的。然而，生成的频谱图过于平滑，不能产生高质量的合成语音。受图像到图像转换的启发，我们通过使用基于学习的后置滤波器结合Pix 2 PixHD和ResUnet来解决这个问题，以重建梅尔光谱图以及超分辨率。从由此产生的超分辨率频谱图网络，我们可以生成增强的频谱图，以产生高质量的合成语音。我们提出的模型实现了改进的平均意见分数（MOS）的3.71和4.01比基线结果的3.29和3.84，而使用声码器Griffin-Lim和WaveNet，分别。
2019-12-03 cs.SD eess.AS
Text-to-Speech Synthesis Techniques for MIDI-to-Audio Synthesis
National Institute of Informatics（国立信息学研究所）
语音合成和从符号输入生成音乐音频在许多方面不同，但有一些相似之处。在这项研究中，我们调查如何文本到语音合成技术可以用于钢琴MIDI到音频合成任务。我们的研究包括Tacotron和神经源滤波器波形模型作为基本组件，我们以类似于TTS框架的方式构建MIDI到音频合成系统。我们还包括使用传统声音建模技术的参考系统，例如基于样本和基于物理建模的方法。主观实验结果表明，所研究的TTS组件可以应用于钢琴MIDI到音频合成的微小修改。结果还揭示了性能瓶颈-虽然波形模型可以合成高质量的钢琴声，给定的自然声学特征，从声音到声学特征的转换是具有挑战性的。完整的MIDI到音频合成系统仍然不如基于样本或基于物理建模的方法，但我们鼓励TTS研究人员测试他们的TTS模型，以完成这项新任务，并提高性能。
2022-02-24 cs.SD eess.AS
High-Quality Vocoding Design with Signal Processing for Speech Synthesis and Voice Conversion
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
这个博士本论文的重点是开发一个高质量的语音合成和语音转换系统。基于声码器的语音分析、处理和合成在各种统计参数语音研究中起着至关重要的作用。虽然存在产生接近自然合成语音的声码方法，但是它们通常在计算上是昂贵的，并且因此不适合于实时实现，特别是在嵌入式环境中。因此，需要简单且计算上可行的数字信号处理算法来生成高质量且听起来自然的合成语音。在本论文中，我提出了一种提取最佳声学特征的解决方案和一种新的波形发生器，通过应用深度学习的进步来实现更高的音质和转换精度。该方法在计算上仍然有效。这一挑战产生了五个论文组，简要概述如下。
2021-01-25 cs.SD eess.AS
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
针对基于序列到序列的细粒度情感语音合成，提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节，往往导致平均的情感表达交付，并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成，我们引入音素级的情感强度表示，通过学习排名功能来描述本地的情感细节，并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符，我们可以通过其情感描述符（用于传输）或直接从音素级手动标签（用于控制）从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成，该模型也可以从文本中预测音素级的情感表达，不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
SqueezeWave: Extremely Lightweight Vocoders for On-device Speech Synthesis
UC Berkeley（加州大学伯克利分校）
自动语音合成是一项具有挑战性的任务，随着边缘设备开始通过语音与用户交互，该任务变得越来越重要。典型的文本到语音流水线包括声码器，其将中间音频表示转换成音频波形。大多数现有的声码器难以并行化，因为每个生成的样本是以先前的样本为条件的。WaveGlow是这些自回归模型的基于流量的前馈替代方案（Prenger等人，2019年）。然而，虽然WaveGlow可以很容易地并行化，但该模型对于边缘上的实时语音合成来说太昂贵了。本文介绍了SqueezeWave，一个基于WaveGlow的轻量级声码器家族，它可以生成与WaveGlow相似质量的音频，而MAC数减少61 - 214倍。代码、训练模型和生成的音频可在https://github.com/tianrengao/SqueezeWave上公开获取。
2020-01-16 cs.SD eess.AS
Macedonian Speech Synthesis for Assistive Technology Applications
Ss Cyril and Methodius University in Skopje（斯科普里圣西里尔与美多德大学）；Melon Inc.（Melon公司）
该研究针对马其顿语低资源辅助沟通场景，在新录制语料上比较参数化与深度学习 TTS 模型，发现参数化方案性能相当且更省资源、可控性更强。
2022-06-18 cs.SD eess.AS
Expressive paragraph text-to-speech synthesis with multi-step variational autoencoder
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于多步变分自编码器的段落语音合成系统EP-MSTTS，通过五层级建模可变风格并在段落切分数据上训练，有效提升了有声读物语音合成的表现力。
2024-06-11 cs.SD eess.AS
Visualising Model Training via Vowel Space for Text-To-Speech Systems
The University of Auckland（奥克兰大学）
随着机器学习在语音合成方面的最新发展，本研究探讨了结合语言学知识来可视化和评估合成语音模型训练。如果在合成语音中可以看到和听到第一和第二共振峰（进而是元音空间）的变化，则该知识可以告知语音合成技术开发者。在大型通用美国英语数据库上训练的语音合成模型被微调为新西兰英语语音，以识别合成语音的元音空间的变化是否可以被看到和听到。在微调过程中，在不同的时间间隔的元音空间进行了分析，以确定该模型是否学习新西兰英语元音空间。我们基于元音空间分析的研究结果表明，我们可以可视化语音合成模型如何学习它所训练的数据库的元音空间。感知测试证实，当语音合成模型学习了它所训练的语音数据库的特征时，人类可以感知。使用元音空间作为中介评估有助于理解什么声音要添加到训练数据库并构建语音基于语言学知识的综合模型。
2022-08-21 cs.SD eess.AS
Msdtron: a high-capability multi-speaker speech synthesis system for diverse data using characteristic information
Xiaomi Corporation（小米公司）
在多说话人语音合成中，由于多个说话人在年龄、说话风格、情感等方面存在很大差异，因此多说话人语音合成的建模能力是一个重要而又具有挑战性的问题。针对这一问题，本文提出了一种高性能的语音合成系统Msdtron，该系统包括：1）设计了一种语音谐波结构的表示方法，称为激励谱图，用于直接指导语音谐波的学习。2)提出了条件选通LSTM（CGLSTM），通过使用说话人信息重新加权LSTM的门来控制文本内容信息通过网络的流动。实验结果表明，在训练多说话人模型时，Mel声谱图的重建误差明显减小，说话人自适应模型的主观评价也有很大提高。
2022-02-11 cs.SD eess.AS
Emotion-Coherent Speech Data Augmentation and Self-Supervised Contrastive Style Training for Enhancing Kids's Story Speech Synthesis
Supply Chain MultiTech R\&D Centre, Pok Fu Lam, Hong Kong \
本文提出通过情感一致的语音数据增强和自监督对比训练，提升儿童故事语音合成的表达性和自然度。
2026-02-10 cs.SD eess.AS
