ProsodyFM: Unsupervised Phrasing and Intonation Control for Intelligible Speech Synthesis
Imperial College London(帝国理工学院);Technical University of Munich(慕尼黑工业大学);The University of Tokyo(东京大学);Hunan University(湖南大学)
提出基于流匹配的韵律感知TTS模型ProsodyFM,通过短语停顿编码器与终端语调编码器在无显式标签下增强停顿与语调控制,显著提升语音可懂度、泛化能力及细粒度可控性。
2024-12-19 cs.CL cs.SD eess.AS
A unified sequence-to-sequence front-end model for Mandarin text-to-speech synthesis
Bytedance(字节跳动)
在普通话文语转换(TTS)系统中,前端文本处理模块对合成语音的可懂度和自然度有重要影响。构建一个典型的基于流水线的前端,它由多个单独的组件组成,需要大量的工作。在本文中,我们提出了一个统一的序列到序列的前端模型,将原始文本直接转换为语言特征。与基于流水线的前端相比,我们的统一前端在多音字消歧和韵律词预测方面可以达到相当的性能,并且在F1得分中将语调短语预测提高了0.0738。我们还使用Tacotron和WaveRNN实现了统一前端,以构建普通话TTS系统。由此合成的语音得到了与基于流水线的前端(4.37)相当的MOS(4.38),并且接近于人类录音(4.49)。
2019-11-11 cs.CL cs.SD eess.AS
Dynamic Prosody Generation for Speech Synthesis using Linguistics-Driven Acoustic Embedding Selection
在考虑孤立句子时,文本到语音(TTS)的最新进展已经提高了接近人类能力的质量和自然度。但是,要实现类似人类的交流,仍然缺乏的是人类语言的动态变化和适应性。本文试图解决在TTS系统中实现更加动态和自然的语调的问题,特别是对于诸如新闻播音员讲话风格的文体讲话。我们提出了一种新的嵌入选择方法,它利用语言信息,利用训练数据集中存在的语音变异性。我们分析了语义和句法特征的贡献。我们的实验结果表明,该方法提高了韵律和自然的复杂话语,以及在长形式阅读(LFR)。
2020-11-18 cs.CL cs.SD eess.AS
Nix-TTS: Lightweight and End-to-End Text-to-Speech via Module-wise Distillation
Amazon(亚马逊)
几种轻量级TTS的解决方案已经显示出有希望的结果。尽管如此,它们要么依赖于手工设计,达到非最佳尺寸,要么使用神经架构搜索,但通常会付出培训成本。我们提出了Nix-TTS,一个轻量级的TTS实现通过知识蒸馏到一个高质量的,但大尺寸的,非自回归,和端到端(无声码器)的TTS教师模型。具体来说,我们提供模块式蒸馏,使编码器和解码器模块能够灵活和独立地蒸馏。由此产生的Nix-TTS继承了教师的非自回归和端到端的有利特性,但尺寸明显更小,只有5.23M参数或高达89.34%的教师模型减少;它还在英特尔上实现了超过3.04倍和8.36倍的推理加速,i7 CPU和Raspberry Pi 3B分别,与教师模型相比,仍然保留了公平的声音自然度和可理解性。我们提供Nix-TTS的预训练模型和音频样本。
2022-11-05 cs.CL cs.LG cs.NE
Long-Prompt Zero-Shot TTS: Benchmarking Prosody Reproduction Beyond Voice Cloning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Amphion Technology Co., Ltd.(Amphion科技有限公司)
该研究提出长提示零样本TTS任务,构建LP-TTS-Bench基准,开发LPTTS参考系统,实现无需目标说话人微调的长提示韵律再现,在多韵律维度优于短提示基线。
2026-10-15 cs.SD
Penambahan emosi menggunakan metode manipulasi prosodi untuk sistem text to speech bahasa Indonesia
School of Electrical Engineering and Informatics, Institut Teknologi Bandung(万隆理工学院电气工程与信息学院)
在印尼文语转换系统中使用韵律处理方法加入情绪。文语转换系统(TTS)是一种能够将一种语言中的文本转换为语音的系统,该系统与所使用的语言中的文本的阅读相一致。本研究的重点是一个自然发声的概念,使语音合成系统的发音“人性化”的文本到语音。人类的情绪/语调可能会影响声音的产生。本研究中使用的文本到语音转换系统的主要要求是eSpeak,使用id 1的数据库MBROLA,来自网站的人类语音语料库,总结了一个国家使用频率最高的单词(最常见的单词)。并有三种类型的情感/语调设计的基础。有喜、怒、悲三种情绪。开发情感过滤器的方法是使用预定的速率因子来操纵韵律的相关特征(特别是音高和持续时间值),该速率因子通过分析标准输出文本到语音和具有情感韵律/特定语调的语音记录之间的差异而建立。人类语音语料库对快乐情绪的感知测试的测试结果为95%,对愤怒情绪的测试结果为96.25%,对悲伤情绪的测试结果为98.75%。用于感知测试系统中进行可懂度和自然度测试。可懂度测试中,语音与原句的准确率为93.3%,每句的清晰率为62.8%。在自然性方面,对高兴情绪、愤怒情绪和悲伤情绪的正确选择率分别为75.6%、73.3%和60%. - 文本到语音(TTS)是一个可以将格式转换为文本的系统,它可以将格式转换为文本。
2016-06-29 cs.CL cs.RO cs.SD
Probing Human Articulatory Constraints in End-to-End TTS with Reverse and Mismatched Speech-Text Directions
TCS Research(塔塔咨询顾问公司研究部);Tata Consultancy Services Limited(塔塔咨询顾问公司)
本文研究了人类发音限制对端到端TTS系统的影响,通过反向和不匹配的语音-文本方向实验,发现反向方向的TTS系统在保真度、可懂度和自然度方面表现更优。
2026-02-16 cs.SD
PoeticTTS -- Controllable Poetry Reading for Literary Studies
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS));Institute of Literary Studies (ILS), University of Stuttgart(斯图加特大学文学研究所(ILS));German Literature Archive (DLA)(德国文学档案馆(DLA))
由于诗歌语音固有的特定语调模式,诗歌的语音合成具有挑战性。在这项工作中,我们提出了一种方法来合成诗歌与几乎人类一样的自然性,以使文学学者系统地研究文本之间的相互作用,口语实现,和听众的感知诗歌的假设。为了满足这些特殊的要求,文学研究,我们重新合成诗歌克隆韵律值从人类参考背诵,然后利用细粒度的韵律控制来操纵合成语音在一个人的循环设置,以改变背诵w.r.t.具体现象。我们发现,微调我们的TTS模型的诗歌捕捉诗歌的语调模式在很大程度上是有益的韵律克隆和操纵,并验证了我们的方法在客观评价以及在人类研究的成功。
2022-10-18 cs.CL cs.LG cs.SD
EmergentTTS-Eval: Evaluating TTS Models on Complex Prosodic, Expressiveness, and Linguistic Challenges Using Model-as-a-Judge
Boson AI(Boson人工智能)
本文提出综合TTS基准EmergentTTS-Eval,利用LLM自动生成针对六类复杂场景的1645个测试用例,并采用LALM作为裁判多维度评估语音,实验证明该方法稳健且与人类偏好高度相关。
2025-05-29 cs.LG cs.SD eess.AS
A Transfer Learning End-to-End ArabicText-To-Speech (TTS) Deep Architecture
Ain Shams University(艾因夏姆斯大学)
语音合成是人类语音的人工产生。典型的文本到语音系统将语言文本转换成波形。有许多英语TTS系统,产生成熟的,自然的,和人类一样的语音合成器。相比之下,包括阿拉伯语在内的其他语言直到最近才得到考虑。现有的阿拉伯语语音合成解决方案速度慢、质量低,并且合成语音的自然度不如英语合成器。他们也缺乏必要的语音关键因素,如语调,重音和节奏。提出了不同的工作来解决这些问题,包括使用连接方法,如单位选择或参数方法。然而,它们需要大量的艰苦工作和领域专业知识。阿拉伯语语音合成器性能如此之差的另一个原因是缺乏语音语料库,不像英语有许多公开的语料库和有声读物。这项工作描述了如何使用端到端神经深度网络架构生成高质量,自然和人性化的阿拉伯语语音。这项工作只使用$\langle$文本,音频$\rangle$对与相对少量的录音音频样本,共2.41小时。它说明了如何使用英语字符嵌入,尽管使用变音阿拉伯字符作为输入,以及如何预处理这些音频样本,以达到最佳效果。
2020-07-22 cs.LG cs.SD eess.AS
Attempt Towards Stress Transfer in Speech-to-Speech Machine Translation
International Institute of Information Technology - Hyderabad(印度信息技术学院海得拉巴分校)
针对印度教育场景下现有语音到语音机器翻译输出单调、缺乏重音的问题,本文构建带重音标注的印度英语数据集,提出基于FastPitch的可迁移重音的TTS架构,实现印度英语到印地语的重音迁移SSMT系统,提升教育内容质量与吸引力。
2024-03-07 cs.CL cs.SD eess.AS
Diagnose, Then Refine: A Closed-Loop TTS System with AudioLLM-Guided Correction
National University of Singapore(新加坡国立大学);Tencent(腾讯);LIGHTSPEED(光速);Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Loop Area Institute(深圳河套学院)
针对开环TTS易出现韵律缺陷且指标难检测的问题,提出含AudioLLM评判器与细粒度优化器的LoopTTS框架,构建4.2万示例数据集训练优化器,实验表明其修复质量与指令遵循能力更优。
2026-09-01 cs.AI cs.SD
VARA-TTS: Non-Autoregressive Text-to-Speech Synthesis based on Very Deep VAE with Residual Attention
Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出了VARA-TTS,一种非自回归(non-AR)的文本到语音(TTS)模型,使用一个非常深的变分自编码器(VDVAE)与剩余注意力机制,它细化的文本到声学对齐逐层。层次隐变量与不同的时间分辨率从VDVAE被用作查询的剩余注意力模块。通过利用来自前一个注意层的粗略全局对齐作为额外的输入,下面的注意层可以产生对齐的细化版本。这分摊了在多个注意层之间学习文本到声学对齐的负担,并且在鲁棒性方面优于仅使用单个注意层。由联合训练的说话速度预测器计算话语级说话速度因子,该预测器将粗层的平均池化潜变量作为输入,以确定推断时的声学帧的数量。实验结果表明,VARA-TTS实现略差的语音质量的AR对应Tacotron 2,但数量级的速度在推理;和优于一个类似的非AR模型,BVAE-TTS,在语音质量方面。
2021-02-12 cs.CL cs.SD eess.AS
Fine-Tuning Text-to-Speech Diffusion Models Using Reinforcement Learning with Human Feedback
Department of Linguistics(语言学系);Department of Computer Science and Engineering(计算机科学与工程系)
提出DLPO框架,将原始训练损失融入奖励函数,利用人类反馈优化扩散TTS模型,在WaveGrad 2上显著提升语音质量与效率。
2025-08-05 cs.AI cs.SD eess.AS
A Bengali HMM Based Speech Synthesis System
Center for Educational Technology, Indian Institute of Technology Kharagpur(印度理工学院克勒格普尔分校教育技术中心)
本文介绍了基于HMM的TTS系统产生孟加拉语语音的能力。在这种合成方法中,语音参数的轨迹是从训练的隐马尔可夫模型生成的。从这些语音参数合成最终语音波形。在我们的实验中,频谱特性由梅尔倒谱系数表示。本文使用带注释的孟加拉语语音数据库研究了训练和合成问题。实验评估表明,开发的文本到语音系统是能够产生足够自然的语音孟加拉语的可懂度和语调。
2014-06-16 cs.CL cs.MM cs.SD
Qwen3-TTS Technical Report
Qwen Team(通义实验室)
Qwen3-TTS技术报告介绍了一种先进的多语言可控文本到语音模型,支持3秒语音克隆和描述控制,通过双轨架构和两种高效分词器实现高鲁棒性和低延迟的流式合成。
2026-01-22 cs.CL cs.SD eess.AS
EmoSpeech: A Corpus of Emotionally Rich and Contextually Detailed Speech Annotations
针对现有情感语音数据库标注简单、情感深度不足且人工标注成本高的问题,本文提出借助生成式模型提取富情感语音片段并生成详细自然语言标注的建库流程,提升情感粒度并降低成本,为情感可控TTS系统开发提供可扩展的经济方案。
2024-12-12 cs.AI cs.SD eess.AS
SoulX-Podcast: Towards Realistic Long-form Podcasts with Dialectal and Paralinguistic Diversity
Northwestern Polytechnical University(西北工业大学);Soul AI Lab(Soul AI实验室);X-LANCE Lab(X-LANCE实验室)
针对现有TTS系统多说话人对话生成能力不足的问题,提出集成副语言控制、支持多语言及方言的SoulX-Podcast系统,可生成90分钟以上稳定流畅的多轮对话,在独白与对话合成任务上均达SOTA。
2025-10-28 cs.SD eess.AS
HaikuS2S: A Cascaded System For Responding In Verse
Carnegie Mellon University(卡内基梅隆大学)
针对现有语音合成难以生成结构化诗歌的问题,提出结合ASR、LLM和TTS微调的级联系统HaikuS2S,以改善俳句的韵律与声调对齐,同时保持情感相似性。
2026-09-22 cs.AI cs.CL cs.SD
ParaTTS: Learning Linguistic and Prosodic Cross-sentence Information in Paragraph-based TTS
Northwestern Polytechnical University(西北工业大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音)
神经端到端TTS模型的最新进展已经在传统的基于语音的TTS中显示出高质量、自然的合成语音。然而,它仍然是具有挑战性的再现类似的高质量时,一个完整的段落被认为是在文语转换,其中大量的上下文信息需要考虑在建立一个基于段落的文语转换模型。为了减轻训练中的困难,我们建议在训练中考虑跨句子,嵌入结构来建模语言和韵律信息。三个子模块,包括语言感知,韵律感知和停顿位置网络,一起训练与修改Tacotron 2。具体来说,学习嵌入在一个段落中的信息和相应的组成句子之间的关系,我们利用语言感知和韵律感知网络。编码器捕获段落中的信息,利用多头注意力机制学习段落中的句间信息。段落中的相对句子位置被位置网络明确地利用。在一个讲故事的有声读物语料库(4.08小时)上训练,由一位女性汉语普通话者记录,所提出的TTS模型表明,它可以产生相当自然和高质量的语音段落。该模型能够更好地预测和呈现跨句子的上下文信息,例如连续句子之间的中断和韵律变化。测试的段落文本,其长度类似于,长于,或远长于典型的段落长度的训练数据,TTS语音产生的新模型是一贯的首选在主观测试和确认在客观的措施基于语音的模型。
2022-09-14 cs.CL cs.SD eess.AS
Perturbation Self-Supervised Representations for Cross-Lingual Emotion TTS: Stage-Wise Modeling of Emotion and Speaker
Tianjin Key Laboratory of Cognitive Computing and Application(天津认知计算与应用重点实验室);College of Intelligence and Computing(智能计算学院);Tianjin University(天津大学);Institute of Artificial Intelligence (TeleAI)(人工智能研究所);China Telecom, China(中国电信);Duke Kunshan University(杜克大学昆山学院);Northwestern Polytechnical University(西北工业大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院)
提出基于扰动自监督表示的两阶段跨语言情感TTS框架EMM-TTS,通过解耦情感与音色并引入SCL和SEALN模块,实现了更优的自然度、情感迁移性与音色一致性。
2025-10-13 cs.SD
Frame-Wise Breath Detection with Self-Training: An Exploration of Enhancing Breath Naturalness in Text-to-Speech
CyberAgent, Inc.(CyberAgent公司);The University of Tokyo(东京大学)
针对 TTS 中呼吸位置人工标注成本高的问题,提出结合规则初标与伪标签自训练的 Conformer 逐帧呼吸检测模型,并在多说话人 TTS 中验证其可提升呼吸合成自然度。
2024-06-14 cs.SD eess.AS
Improving Mandarin Prosodic Structure Prediction with Multi-level Contextual Information
Huya Inc.(虎牙公司)
本文提出利用包含语句间与语句内信息的多层级上下文,通过层级编码器和多任务学习解码器改进普通话韵律结构预测,实验证明其有效提升韵律边界预测F1分数及合成语音自然度。
2023-08-31 cs.CL cs.SD eess.AS
I2TTS: Image-indicated Immersive Text-to-speech Synthesis with Spatial Perception
University of Science and Technology Beijing(北京科技大学);Tencent AI Lab(腾讯AI实验室);National University of Singapore(新加坡国立大学)
针对现有TTS忽略空间感知的问题,提出I2TTS多模态方法,通过场景提示编码器和混响分类优化技术,在保证语音自然度的同时实现高质量场景空间匹配,推动上下文感知语音合成发展。
2025-09-03 cs.SD eess.AS
FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching
College of Computer Science, Nankai University(南开大学计算机科学学院);Microsoft Corporation(微软公司)
本研究提出自回归语音合成模型FELLE,融合语言建模与逐Token粗到细流匹配,通过调整先验分布、分层生成提升连续值Token建模的相干性与合成质量,实验验证其可显著改善TTS生成效果。
2025-09-03 cs.CL cs.SD eess.AS
A Linguistically Motivated Analysis of Intonational Phrasing in Text-to-Speech Systems: Revealing Gaps in Syntactic Sensitivity
Institute for Logic, Language and Computation, University of Amsterdam(逻辑、语言与计算研究所,阿姆斯特丹大学);Cognitive Science and Artificial Intelligence, Tilburg University(认知科学与人工智能,蒂尔堡大学)
本研究通过心理语言学方法分析TTS系统的句法敏感性,发现其在处理歧义句法边界时依赖表层线索,微调后可改善语调模式以反映底层结构。
2025-10-15 cs.CL
EmoSpeech: Guiding FastSpeech2 Towards Emotional Text to Speech
VK, deepvk(VK,deepvk)
本文以FastSpeech2为基础提出EmoSpeech模型,通过引入处理情感不均匀分布的条件机制等修改,有效提升了合成语音的MOS分数和情感识别准确率及表现力。
2023-06-28 cs.LG cs.SD eess.AS
LACE: Layer-Wise Compression for Dynamic Frame Rate Codecs
Carnegie Mellon University(卡内基梅隆大学)
LACE提出了一种层自适应动态帧率音频编解码器,通过每层独立压缩和联合对齐机制,在重建任务上取得更优的率-质量权衡,并提升TTS推理效率。
2026-09-16 cs.AI cs.CL cs.SD
Efficient Incremental Text-to-Speech on GPUs
NVIDIA Corporation(英伟达公司)
增量文本到语音(也称为流式TTS)已越来越多地应用于需要超低响应延迟以提供最佳用户体验的在线语音应用。然而,大多数部署在GPU上的现有语音合成管道仍然是非增量的,这暴露了高并发场景中的限制,特别是当管道是用端到端神经网络模型构建时。为了解决这个问题,我们提出了一种高效的方法来执行实时增量TTS的GPU上的即时请求池和模块明智的动态批处理。实验结果表明,该方法能够在单颗NVIDIA A10 GPU上产生首块延迟低于80 ms的高质量语音,在并发性和延迟方面均明显优于非增量双GPU。我们的工作揭示了高性能增量TTS在GPU上的有效性。
2022-12-05 cs.LG cs.SD eess.AS
Multi-Dimensional Prosody Judgment For Live Streaming Speech Synthesis
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));TaoLive-AIGC Team Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团淘Live-AIGC团队)
针对直播TTS韵律评估成本高、标准多维评估存在判定耦合的问题,提出低成本成对评估器LPJ及解耦版D-LPJ,在准确率、维度独立性及TTS候选选择上均表现优异,可用于细粒度TTS偏好优化。
2026-09-18 cs.AI cs.SD
Better speech synthesis through scaling
本文将图像生成领域的自回归transformers和DDPMs方法应用于语音合成,提出了富有表现力的多语音文本转语音系统TorToise,并已开源模型代码与权重。
2023-05-23 cs.CL cs.SD eess.AS
Prosody Analysis of Audiobooks
Department of Computer Science Stony Brook University(计算机科学系 斯托尼布鲁克大学);Department of Computer Science Earlham College(计算机科学系 埃尔哈姆学院)
本研究利用93对书籍-有声书数据集,提出基于语言建模的改进模型预测韵律属性,其预测的音高和音量比先进商业TTS系统更接近人类朗读,并通过人类评估证实了韵律增强有声书的偏好度。
2025-01-08 cs.LG cs.SD eess.AS
RASMALAI: Resources for Adaptive Speech Modeling in Indian Languages with Accents and Intonations
Indian Institute of Technology Madras(印度理工学院马德拉斯学院);Huggingface;AI4Bharat, WSAI(AI4Bharat,WSAI)
我们提出RASMALAI大规模语音数据集及IndicParlerTTS模型,支持23种印度语言和英语的可控表现性语音合成,通过文本描述实现高质量多语言语音生成。
2025-05-27 cs.CL
PortaSpeech: Portable and High-Quality Generative Text-to-Speech
Zhejiang University(浙江大学)
非自回归文本转语音(NAR-TTS)模型,如FastSpeech 2和Glow-TTS,可以从给定的文本中并行合成高质量的语音。在分析了两种生成式NAR-TTS模型(VAE和归一化流)之后,我们发现:VAE善于捕捉长范围语义特征(例如,韵律),但遭受模糊和不自然的结果;并且归一化流擅长于重构频率分箱细节,但当模型参数的数量有限时表现不佳。受这些观察的启发,使用轻量级架构生成具有自然细节和丰富韵律的多样化语音,我们提出了PortaSpeech,一种便携式和高质量的生成文本转语音模型。具体来说,1)为了准确地对韵律和梅尔频谱图细节进行建模,我们采用了一个轻量级的VAE,它具有增强的先验知识,然后是一个基于流的后网络,具有强条件输入作为主要架构。2)为了进一步压缩模型大小和内存占用,我们在后网络中的仿射耦合层中引入了分组参数共享机制。3)为了提高合成语音的表达能力,减少文本和语音之间对精确细粒度对齐的依赖,我们提出了一种混合对齐的语言编码器,它结合了硬词间对齐和软词内对齐,显式地提取词级语义信息。实验结果表明,PortaSpeech优于其他TTS模型在语音质量和韵律建模方面的主观和客观评价指标,并显示只有轻微的性能下降时,减少模型参数为6.7M(约4倍模型大小和3倍运行时内存压缩比相比FastSpeech 2)。我们广泛的消融研究证明PortaSpeech中的每种设计都是有效的。
2022-02-13 cs.SD eess.AS
TraceableSpeech: Towards Proactively Traceable Text-to-Speech with Watermarking
提出TraceableSpeech,一种直接生成带水印语音的新型TTS模型,通过逐帧水印嵌入与提取,提升了语音质量、水印不可感知性、对重拼攻击的鲁棒性及时间灵活性。
2024-11-15 cs.SD eess.AS
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple(苹果公司)
现代神经文本转语音(TTS)合成可以生成与自然语音难以区分的语音。然而,生成的话语的韵律往往代表的平均韵律风格的数据库,而不是有广泛的韵律变化。此外,生成的韵律仅由输入文本定义,这不允许同一句子具有不同的风格。在这项工作中,我们训练一个序列到序列的神经网络的声学语音功能的条件下,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个模型的条件下,在韵律方面的音高,音高范围,电话持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,并产生各种各样的说话风格,同时保持类似的平均意见得分(4.23),我们的Tacotron基线(4.26)。
2020-09-14 cs.CL cs.LG cs.SD
Source-Filter-Based Generative Adversarial Neural Vocoder for High Fidelity Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家工程研究中心);University of Science and Technology of China(中国科学技术大学)
本文提出基于声源-滤波器的生成对抗神经声码器SF-GAN,通过引入F0激励信号结合多分辨率卷积滤波器重建波形,在AS和TTS任务中超越HiFi-GAN和Fre-GAN,合成质量媲美真实音频。
2023-04-26 cs.SD eess.AS
Noise-Aware Lombard Speech Synthesis via Flow-GRPO for Intelligibility Optimization
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
该研究针对对话智能体在噪声环境下可懂度不足的问题,提出基于Flow-GRPO的NIL-TTS框架,通过FiLM机制实现发声适配,经两阶段训练后合成语音可随噪声强度提升可懂度。
2026-10-15 cs.SD
Expressivity in TTS from Semantics and Pragmatics
在本文中,我们提出了正在进行的工作,以产生一个富有表现力的TTS阅读器,可用于文本和对话应用程序。这个名为SPARSAR的系统迄今为止一直用于阅读(英语)诗歌,但现在它可以应用于任何文本。本文从语音、音系、句法、语义两个层面对文本进行了全面的分析。此外,该系统还可以访问一个有限的列表,典型的语用标记的短语和表达,用于传达特定的话语功能和言语行为,需要专门的语调轮廓。文本被转换成一个类似诗歌的结构,其中每一行对应于一个呼吸组,语义和句法一致。节对应于段落边界。类比参数与ToBI理论指数有关,但其数量增加了一倍。在本文中,我们集中在短篇小说和寓言。
2018-03-20 cs.CL
Learning to Watermark Speech Synthesis Against Model-Driven Reconstruction
East China Normal University(华东师范大学);Huaqiao University(华侨大学)
针对TTS合成语音在重建攻击下溯源难的问题,提出Thrive多比特生成式水印框架,通过同步注入与逐位可靠性选择,在保持保真度下实现87.6%恢复准确率及万级身份归属。
2026-10-06 cs.CR cs.SD
Wave-U-Net Discriminator: Fast and Lightweight Discriminator for Generative Adversarial Network-Based Speech Synthesis
NTT Communication Science Laboratories, NTT Corporation(NTT 公司 NTT 通信科学实验室)
在语音合成中,生成对抗网络(GAN),在最小-最大游戏中训练生成器(语音合成器)和训练器,被广泛用于提高语音质量。在最近的神经声码器(例如,HiFi-GAN)和端到端文本到语音(TTS)系统(例如,VITS)从多个角度仔细检查波形。这种鉴别器允许合成语音充分接近真实语音;然而,它们需要根据鉴别器数量的增加而增加模型大小和计算时间。或者,本研究提出了一个Wave-U-Net的架构,这是一个单一的,但富有表现力的Wave-U-Net的架构。这是独一无二的;它可以以与输入信号相同的分辨率以逐样本方式评估波形,同时通过具有跳跃连接的编码器和解码器提取多级特征。这种结构为生成器提供了足够丰富的信息,以使合成语音与真实语音紧密匹配。在实验过程中,所提出的想法被应用到一个代表性的神经声码器(HiFi-GAN)和一个端到端的TTS系统(VITS)。结果表明,所提出的模型可以实现相当的语音质量与2.31倍的速度和14.5倍更轻量级的编码时,用于HiFi-GAN和1.90倍的速度和9.62倍更轻量级的编码时,用于VITS。音频样本可在https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/waveunetd/上获得。
2023-03-24 cs.LG cs.SD eess.AS
VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing
School of New Media and Communication, Tianjin University(新媒体与传播学院,天津大学);Kuaishou Technology Co., Ltd.(快手科技有限公司);Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University(认知计算与应用重点实验室,智能计算学院,天津大学);Department of Automation, Tsinghua University(自动化系,清华大学);Beijing National Research Center for Information Science and Technology, Tsinghua University(北京信息科学与技术国家研究中心,清华大学);Migu Culture Technology Co., Ltd.(咪咕文化科技有限公司);Shenzhen Institute of Advanced Technology, Chinese Academy of Science(深圳先进技术研究院,中国科学院)
提出VQ-CTAP跨模态序列表示学习范式,通过向量量化对比预训练和序列转换器实现帧级文本与语音对齐,无需微调即可应用于VC和ASR,并通过序列感知连接器支持TTS,实现960倍高压缩语音编码。
2025-05-28 cs.AI cs.CL cs.SD
Sequence to Sequence Neural Speech Synthesis with Prosody Modification Capabilities
IBM Research(IBM研究院)
现代序列到序列神经TTS系统提供接近自然的语音质量。这样的系统通常包括将语言/语音特征序列转换为声学特征序列的网络,该网络与神经声码器级联。所生成的语音韵律(即音素持续时间,音高和响度)隐含地存在于声学特征中,与频谱信息混合。虽然语音听起来很自然,但它的韵律实现是随机选择的,不能轻易改变。如果训练数据中没有韵律标记,韵律控制就变得更加困难。近年来,在无监督说话风格学习和生成方面取得了很大进展,但是在训练之后仍然需要人工检查以发现和解释系统学习的说话风格。在这项工作中,我们介绍了一个全自动的方法,使系统知道的韵律,并使连续规模上的语速和表现力的控制。虽然在许多应用中是有用的本身,所提出的韵律控制也可以提高合成语音的整体质量和表现力,如主观听力评估所示。我们还提出了一种新的增强注意力机制,有利于更好的节奏控制灵敏度和更快的注意力收敛。
2019-09-23 cs.SD eess.AS
Hierarchical prosody modeling and control in non-autoregressive parallel neural TTS
Apple(苹果公司)
神经文本到语音(TTS)合成可以生成与自然语音无法区分的语音。然而,合成语音通常代表数据库的平均韵律风格,而不是具有更通用的韵律变化。此外,许多模型缺乏控制输出韵律的能力,这不允许对相同的文本输入使用不同的风格。在这项工作中,我们训练一个非自回归并行神经TTS前端模型分层条件下的粗粒度和细粒度的声学语音功能,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个非自回归TTS模型分层条件的话语明智的音高,音高范围,持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,产生各种各样的说话风格,并提供字明智的重点控制,同时保持相等或更好的质量的基线模型。
2022-03-22 cs.CL eess.AS
Prosody Labelled Dataset for Hindi using Semi-Automated Approach
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学);DSI, National University of Ireland Galway(爱尔兰国立高威大学数据科学研究所);Panlingua Language Processing LLP(Panlingua语言处理有限责任合伙公司)
本研究旨在开发一个半自动标注的印地语韵律数据库,用于增强ASR和TTS系统中的语调成分,这也有助于建立语音到语音机器翻译系统。虽然没有一个标准的韵律标签存在于印地语,研究人员在过去的文献中的感知和统计方法,以推断在印地语的韵律模式的行为。基于这些现有的研究,并在很大程度上同意在印地语的语调理论,本研究试图首先开发一个手动标注的印地语语音数据的韵律语料库,然后用于训练预测模型,生成自动韵律标签。总共标注了5 000个陈述句和疑问句(23 500字)。训练后的模型对音高重音、中间短语边界和重音短语边界的准确率分别为73.40%、93.20%和43%。
2021-12-11 cs.CL
FireRedTTS-1S: An Upgraded Streamable Foundation Text-to-Speech System
Xiaohongshu(小红书)
本文提出FireRedTTS-1S,一个升级的流式基础TTS系统,通过文本到语义和语义到声学两步解码实现高质量流式语音生成,并在零样本语音克隆中达到与真实录音相当的质量。
2025-05-26 cs.SD eess.AS
VoxAudio: Vocalized Audio Synthesis via Multi-Reward Autoregressive Flow Matching
Zhejiang University(浙江大学)
VoxAudio是一种多奖励自回归流匹配模型,通过架构、偏好、数据层面的优化,解决现有T2A系统发声控制不足的问题,在多基准上验证了有效性与效率。
2026-08-18 cs.SD
DuplexCascade: Full-Duplex Speech-to-Speech Dialogue with VAD-Free Cascaded ASR-LLM-TTS Pipeline and Micro-Turn Optimization
SB Intuitions Corp.(SB Intuitions公司);The University of Tokyo(东京大学)
DuplexCascade通过无VAD级联流水线和微轮询优化,实现全双工语音对话的高效交互与强对话智能。
2026-03-10 cs.AI cs.CL
Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody?
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Apple(苹果公司)
本研究针对语音转文本翻译系统的韵律利用问题,提出评估方法与ContraProST基准,实验发现端到端系统韵律感知能力优于级联系统,且现有系统韵律信号常不足以影响翻译。
2024-10-31 cs.CL cs.SD eess.AS
Morpho-VITS: Variational Inference with Morphological Modeling for End-to-End Speech Synthesis of a Tonal Bantu Language
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对班图声调语言文本到语音合成中声调信息缺失的问题,提出Morpho-VITS模型,通过语素序列编码器和音素到语素注意力网络显式建模形态句法,在基尼亚卢旺达语上显著提升合成语音的自然度、语调和可懂度。
2026-09-22 cs.CL eess.AS
Analyzing Speech Condition Effects in Dysarthric ASR: A Layer-wise Probing Study
Singapore Institute of Technology(新加坡理工学院)
本研究通过分层探测分析揭示构音障碍语音对ASR不同层级表征的影响,发现高层受紊乱语音影响更大,基于此提出的分层LoRA适配可高效提升低资源普通话构音障碍ASR性能。
2026-08-18 cs.CL
Multi-Task Learning for Front-End Text Processing in TTS
Massachusetts Institute of Technology(麻省理工学院);AI at Meta(Meta人工智能部门)
本文提出一种树状多任务学习框架,联合处理TTS前端的文本规范化、词性标注和同形异义词消歧,并引入预训练语言模型及新的均衡HD数据集,显著提升整体性能。
2024-01-12 cs.CL
YOLO-Stutter: End-to-end Region-Wise Speech Dysfluency Detection
Zhejiang University(浙江大学);University of California, Berkeley(加州大学伯克利分校);Harvard University(哈佛大学);University of California, San Francisco(加州大学旧金山分校)
针对当前不流利语音检测模型依赖规则系统、效率鲁棒性不足的问题,提出端到端区域级检测方法YOLO-Stutter,构建两个模拟语料库,在模拟与真实失语症语音上以最少参数实现最优性能。
2024-09-15 cs.AI cs.CL eess.AS
Beyond Global Emotion: Fine-Grained Emotional Speech Synthesis with Dynamic Word-Level Modulation
Harbin Institute of Technology(哈尔滨工业大学)
针对现有情感语音合成仅支持句子级全局情感、无法捕捉句内动态变化的问题,本文提出Emo-FiLM框架,利用词级情感标注与特征级线性调制实现细粒度情感控制,并构建FEDD数据集验证其有效性。
2025-09-20 cs.AI cs.CL