DSE-TTS: Dual Speaker Embedding for Cross-Lingual Text-to-Speech
Shanghai Jiao Tong University(上海交通大学)
本文提出DSE-TTS框架,通过双说话人嵌入分别学习语言风格和模仿音色,显著提升了跨语言语音合成的母语感与说话人相似度。
2023-06-25 cs.CL cs.SD eess.AS
VQTTS: High-Fidelity Text-to-Speech Synthesis with Self-Supervised VQ Acoustic Feature
MoE Key Lab of Artificial Intelligence, AI Institute(教育部人工智能重点实验室 人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
本文提出 VQTTS,以自监督 VQ 声学特征替代梅尔频谱图,并用 txt2vec 分类模型与 vec2wav 声码器实现高保真、自然度达到 SOTA 的 TTS。
2024-10-24 cs.SD eess.AS
ZMM-TTS: Zero-shot Multilingual and Multispeaker Speech Synthesis Conditioned on Self-supervised Discrete Speech Representations
Tianjin University(天津大学);National Institute of Informatics (NII)(信息学研究所);University of Edinburgh(爱丁堡大学)
本文提出ZMM-TTS框架,结合文本与语音自监督学习模型,利用预训练模型的量化潜在语音表征,实现了对未见说话人和未见语言的零样本多语言多说话人语音合成,实验证明其在高低资源语言中均能生成自然且高度相似的语音。
2024-08-27 cs.SD eess.AS
Interpretable Style Transfer for Text-to-Speech with ControlVAE and Diffusion Bridge
Xiamen University(厦门大学)
本文提出一种结合ControlVAE、量化VAE扩散桥和扩散细化器的TTS系统,在LibriTTS上实现了可解释且高保真的风格迁移,优于基线模型。
2023-07-11 cs.SD eess.AS
Addressing Index Collapse of Large-Codebook Speech Tokenizer with Dual-Decoding Product-Quantized Variational Auto-Encoder
The Chinese University of Hong Kong(香港中文大学);Xiaohongshu Inc.(小红书公司)
针对大码本语音分词器的“索引坍塌”问题,提出双解码乘积量化VQ-VAE,将特征编码至多个子空间并组合成大码本,有效提升了码本利用率、重建质量及基于语言模型的TTS效果。
2024-06-05 cs.SD eess.AS
Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance
National Institute of Informatics(日本国立信息学研究所)
一般来说,当训练神经语音合成系统时的主要目标是从神经网络的输出层合成自然的和有表现力的语音,而不太注意隐藏层。然而,通过学习有用的潜在表示,该系统可以用于许多更实际的场景。在本文中,我们研究了使用量化向量来模拟潜在的语言嵌入,并将其与连续对应。通过在训练中对潜在空间实施不同的策略,我们能够获得具有不同属性的潜在语言嵌入,同时在质量和说话人相似性方面具有相似的性能。我们的实验表明,建立与矢量量化的语音克隆系统只有一个小的退化方面的感知评价,但有一个离散的潜在空间,这是有用的减少表示比特率,这是可取的数据传输,或限制信息泄漏,这是重要的发言人匿名和其他任务的性质。
2021-06-25 cs.CL cs.SD eess.AS
InstructTTS: Modelling Expressive TTS in Discrete Latent Space with Natural Language Style Prompt
Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Zhejiang University(浙江大学)
针对现有TTS风格控制方法多样性和可解释性不足的问题,提出InstructTTS模型,利用自然语言风格提示,结合三阶段句子嵌入训练、离散潜空间扩散建模及互信息最小化,实现了富有表现力且避免信息泄露的语音合成。
2023-06-25 cs.SD eess.AS
DiscreTalk: Text-to-Speech as a Machine Translation Problem
Human Dataware Lab. Co. Ltd.(人类数据仓库实验室有限公司);Nagoya University(名古屋大学);Johns Hopkins University(约翰斯·霍普金斯大学)
提出了一种基于神经机器翻译(NMT)的端到端文语转换(E2 E-TTS)模型。该模型由两部分组成:一个非自回归矢量量化变分自编码器(VQ-VAE)模型和自回归变换器-NMT模型。VQ-VAE模型学习从语音波形到离散符号序列的映射函数,然后训练Transformer-NMT模型从给定的输入文本中估计该离散符号序列。由于VQ-VAE模型可以以完全数据驱动的方式学习这样的映射,因此我们不需要考虑传统E2 E-TTS模型中所需的特征提取的超参数。由于使用离散符号,我们可以使用NMT和自动语音识别(ASR)中开发的各种技术,如束搜索、子字单元和与语言模型的融合。此外,我们可以避免预测特征的过度平滑问题,这是TTS中常见的问题之一。JSUT语料库的实验结果表明,该方法在自然度上优于传统的非自回归神经声码器的Transformer-TTS模型,达到了与VQ-VAE模型重建相当的性能。
2020-05-12 cs.CL cs.SD eess.AS
DelightfulTTS 2: End-to-End Speech Synthesis with Adversarial Vector-Quantized Auto-Encoders
Microsoft Azure Speech(微软Azure语音);Microsoft Research Asia(微软亚洲研究院)
当前的文本到语音(TTS)系统通常利用级联的声学模型和声码器流水线,其中梅尔频谱图作为中间表示,其受到两个限制:1)声学模型和声码器是单独训练的,而不是联合优化的,这导致级联的误差; 2)中间语音表示(例如,MEL频谱图)是预先设计的,并且丢失了相位信息,这是次优的。为了解决这些问题,本文开发了DelightfulTTS 2,这是一种新型端到端语音合成系统,具有自动学习的语音表示以及联合优化的声学模型和声码器。具体而言,1)我们提出了一种新的基于矢量量化自编码器与对抗训练(VQ-GAN)的编解码器网络,以提取中间帧级语音表示(而不是像梅尔频谱图这样的传统表示)并重建语音波形; 2)共同优化声学模型(基于DelightfulTTS)和声码器(VQ-GAN的解码器),在声学模型上具有辅助损失以预测中间语音表示。实验表明,DelightfulTTS 2的CMOS增益比DelightfulTTS提高了+0.14,进一步的方法分析进一步验证了所开发系统的有效性。
2022-07-11 cs.SD eess.AS eess.SP
Quantize More, Lose Less: Autoregressive Generation from Residually Quantized Speech Representations
AMAP Speech(AMAP语音)
提出基于残差量化音频编解码器QDAC的TTS框架QTTS,通过分层并行和延迟多头策略实现多码本自回归建模,有效提升合成质量与推理速度。
2025-07-16 cs.AI cs.SD
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain(谷歌大脑)
最近的神经文本转语音(TTS)模型与细粒度的潜在功能,使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器(VAE)结构,提取每个输入令牌处的潜在特征(例如,音素)。然而,使用标准VAE先验生成样本通常会导致不自然和不连续的语音,令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验,可以生成更自然的声音样本。这是通过使用矢量量化(VQ)对潜在特征进行离散化,并针对结果单独训练自回归(AR)先验模型来实现的。我们评估的方法,使用听力测试,客观指标的自动语音识别(ASR)的性能,和韵律属性的测量。实验结果表明,该模型显著提高了随机样本生成的自然度。此外,初步的实验表明,从所提出的模型中随机采样可以作为数据增强,以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
When Fine-Tuning Fails and when it Generalises: Role of Data Diversity and Mixed Training in LLM-based TTS
Sprinklr AI
本文研究了LoRA微调在语音克隆任务中的有效性,发现其在语音质量和信噪比提升方面优于基模型,尤其在数据多样性支持下表现更佳。
2026-03-11 cs.AI cs.ET cs.SD
Toward Low-Latency End-to-End Voice Agents for Telecommunications Using Streaming ASR, Quantized LLMs, and Real-Time TTS
NetoAI
提出一种面向电信的低延迟端到端语音代理流水线,集成流式ASR、量化LLM与实时TTS,在500个真实电信问题上实现RTF低于1.0,为呼叫中心自动化与智能客服提供新基准。
2025-08-05 cs.AI cs.SD eess.AS
NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers
Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门)
NaturalSpeech 2利用残差向量量化神经音频编解码器与扩散模型,结合语音提示机制实现零样本语音与歌声合成,在44K小时数据上训练后显著优于以往TTS系统。
2023-05-30 cs.AI cs.CL cs.LG
AffectEcho: Speaker Independent and Language-Agnostic Emotion and Affect Transfer for Speech Synthesis
Purdue University(普渡大学)
本文提出 AffectEcho,利用五级情绪强度的 VQ 码本隐式建模量化情绪嵌入,在双语语料上实现说话人无关、语言无关的语音情绪迁移,并取得最优定性与定量结果。
2023-08-16 cs.CL cs.HC cs.SD
Same Bit Width, Different Outcomes: Post-Training Quantization of Text-to-Speech Across Architectures
UX Factory, Inc.(UX工厂有限公司)
本文跨架构评估文本转语音后训练量化,发现相同位宽因模型敏感组件不同而结果迥异,提出分阶段消融识别并逐层GPTQ修复,强调需在目标运行时验证。
2026-09-25 cs.LG cs.SD eess.AS
Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment
University of Science and Technology of China(中国科学技术大学)
提出自引导方法,通过轻量特征映射损失对齐解码器内部流形,在不改变推理过程下提升VQ-VAE神经语音编解码器重建质量,实现低比特率SOTA性能并支持4倍码本缩减。
2026-06-12 cs.LG cs.SD
BitTTS: Highly Compact Text-to-Speech Using 1.58-bit Quantization and Weight Indexing
LY Corporation(LY公司)
本文提出BitTTS,通过1.58位量化感知训练和权重索引方法,在端侧实现模型规模缩减83%,且合成质量优于同规模未量化基线。
2025-06-04 cs.LG cs.SD eess.AS
FoundationTTS: Text-to-Speech for ASR Customization with Generative Language Model
Microsoft(微软)
神经文本转语音(TTS)通常包括具有单独优化的声学模型和声码器的级联架构,或者具有连续梅尔频谱图或自提取语音帧作为中间表示以桥接声学模型和声码器的端到端架构,其遭受两个限制:1)连续的声学帧很难仅用音素来预测,并且还需要诸如持续时间或音高的声学信息来解决一对多问题,其在大规模和噪声数据集上不容易缩放; 2)为了实现基于连续语音特征的多样化语音输出,通常需要复杂的VAE或基于流的模型。在本文中,我们提出了FoundationTTS,一个新的语音合成系统与神经音频编解码器的离散语音令牌提取和波形重建和一个大的语言模型的离散令牌生成语言(音素)令牌。具体而言,1)我们提出了一种基于矢量量化自编码器对抗训练(VQ-GAN)的分层编解码器网络,该网络首先使用细粒度编解码器提取连续帧级语音表示,然后使用粗粒度编解码器从每个连续语音帧中提取离散令牌; 2)将语音标记、语言标记、说话人标记与一个大的语言模型联合优化,并对离散的语音标记进行自回归预测。实验表明,与基线系统相比,FoundationTTS实现了+0.14的MOS增益。在ASR定制任务中,我们的方法在两个强定制ASR基线上分别获得了7.09%和10.35%的WERR。
2023-03-08 cs.SD eess.AS
Autoregressive Speech Synthesis without Vector Quantization
The Chinese University of Hong Kong(香港中文大学);Microsoft Corporation(微软公司)
本文提出MELLE,一种无需向量量化的自回归语音合成方法,通过回归损失和变分推断直接生成连续梅尔频谱,相比VALL-E更简化且性能更优。
2025-05-27 cs.CL cs.SD eess.AS
ReLMCodec: Designing Predictable Speech Tokens from Pre-Quantization Phoneme Structure
Peking University(北京大学);Tencent(腾讯)
ReLMCodec 基于预量化音素结构,通过保留-控制-细化原则设计低比特率单码本语音编解码器,提升了语音 token 的可预测性与重建性能,且利于下游 TTS 合成。
2026-08-11 cs.SD eess.AS
VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing
School of New Media and Communication, Tianjin University(新媒体与传播学院,天津大学);Kuaishou Technology Co., Ltd.(快手科技有限公司);Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University(认知计算与应用重点实验室,智能计算学院,天津大学);Department of Automation, Tsinghua University(自动化系,清华大学);Beijing National Research Center for Information Science and Technology, Tsinghua University(北京信息科学与技术国家研究中心,清华大学);Migu Culture Technology Co., Ltd.(咪咕文化科技有限公司);Shenzhen Institute of Advanced Technology, Chinese Academy of Science(深圳先进技术研究院,中国科学院)
提出VQ-CTAP跨模态序列表示学习范式,通过向量量化对比预训练和序列转换器实现帧级文本与语音对齐,无需微调即可应用于VC和ASR,并通过序列感知连接器支持TTS,实现960倍高压缩语音编码。
2025-05-28 cs.AI cs.CL cs.SD