Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型,实现轻量级流式零样本有声与耳语语音转换,并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
CosyEdit: Unlocking End-to-End Speech Editing Capability from Zero-Shot Text-to-Speech Models
CosyEdit通过任务特定的后训练和互补训练范式,从零样本文本到语音模型中解锁端到端语音编辑能力,实现高一致性语音编辑。
2026-06-28 cs.SD eess.AS
Advanced Zero-Shot Text-to-Speech for Background Removal and Preservation with Controllable Masked Speech Prediction
Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系)
针对零样本文本转语音系统处理含背景语音提示的不足,提出结合双说话人编码器的可控掩码语音预测策略,实现多声学条件下背景去除与保留的精确控制及强泛化能力。
2025-02-11 cs.SD eess.AS
StyleTTS-VC: One-Shot Voice Conversion by Knowledge Transfer from Style-Based TTS Models
Columbia University(哥伦比亚大学)
单次语音转换(One-shot Voice Conversion,VC)的目的是利用来自目标说话人的几秒钟参考语音,将来自任意源说话人的语音转换为任意目标说话人的语音。这在很大程度上依赖于解开说话者的身份和讲话内容,这仍然是一项具有挑战性的任务。在这里,我们提出了一种新的方法来学习解开语音表示从基于风格的文本到语音(TTS)模型的迁移学习。通过周期一致性和对抗性训练,基于风格的TTS模型可以执行具有高保真度和相似性的转录引导的一次性VC。通过学习一个额外的梅尔频谱图编码器,通过师生知识转移和新的数据增强方案,我们的方法的结果在解开语音表示,而不需要输入文本。主观评价表明,我们的方法可以显着优于以前的国家的最先进的一次性语音转换模型在自然度和相似性。
2022-12-29 cs.SD eess.AS
SeamlessEdit: Background Noise Aware Zero-Shot Speech Editing with in-Context Enhancement
GICE, National Taiwan University, Taipei, Taiwan(国家台湾大学资讯工程研究所,台北,台湾);AI Research Center, Inventec Corporation, Taipei, Taiwan(Inventec公司人工智能研究中心,台北,台湾)
本文提出SeamlessEdit框架,通过频率带感知噪声抑制模块和上下文优化策略,解决语音与背景噪声频带未分离的问题,在多维度评估中优于现有方法。
2026-05-17 cs.SD eess.AS
Glow-WaveGAN 2: High-quality Zero-shot Text-to-speech Synthesis and Any-to-any Voice Conversion
Northwestern Polytechnical University(西北工业大学);Tencent AI Lab(腾讯人工智能实验室)
用于语音生成的zero-shot场景旨在仅用目标说话者的一个话语合成新颖的看不见的语音。虽然在zero-shot场景下适应新语音的挑战存在于两个阶段--声学建模和声码器,但以前的工作通常只从一个阶段考虑问题。在本文中,我们将以前的Glow-WaveGAN扩展到Glow-WaveGAN 2,旨在从两个阶段解决高质量zero-shot文本到语音和任意到任意语音转换的问题。首先建立一个通用的WaveGAN模型,提取语音的潜在分布$p(z)$并重建波形,然后基于流的声学模型只需要从文本中学习相同的$p(z)$,自然避免了声学模型与声码器的不匹配,无需模型微调就能生成高质量的语音。基于连续的说话人空间和流的可逆性,可以得到任意说话人的条件分布,从而可以进一步对新的说话人进行高质量的zero-shot语音生成。我们特别研究了两种构建说话人空间的方法,即预训练的说话人编码器和联合训练的说话人编码器。通过在LibriTTS语料库和VTCK语料库上进行的TTS和VC实验,证明了Glow-WaveGAN 2的优越性。
2022-07-05 cs.SD eess.AS
SC-GlowTTS: an Efficient Zero-Shot Multi-Speaker Text-To-Speech Model
DefinedCrowd Corp.(DefinedCrowd公司);Coqui(Coqui公司);Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);Federal University of Goias(戈亚斯联邦大学);Federal University of Technology – Paraná(巴拉那联邦理工大学)
在本文中,我们提出了SC-GlowTTS:一个有效的zero-shot多说话人文本转语音模型,提高了训练过程中看不见的说话人的相似性。我们提出了一个扬声器的条件架构,探讨了基于流的解码器,工作在一个zero-shot的情况。作为文本编码器,我们探索了一种基于扩张残差卷积的编码器,基于门控卷积的编码器和基于变换的编码器。此外,我们已经证明,针对TTS模型在训练数据集上预测的频谱图调整基于GAN的声码器可以显着提高新说话者的相似性和语音质量。我们的模型仅使用11个扬声器进行收敛,达到了与新扬声器相似的最先进结果,以及高语音质量。
2021-06-15 cs.SD eess.AS
MMM: Multi-Layer Multi-Residual Multi-Stream Discrete Speech Representation from Self-supervised Learning Model
Carnegie Mellon University(卡内基梅隆大学);Meta AI
本文提出 MMM,通过对 SSL 模型不同层使用结合 K-means 的迭代残差向量量化提取多流离散语音单元,并在多项语音任务中达到或超过神经编解码器性能。
2024-06-14 cs.SD eess.AS
Disentangled Speech Representation Learning for One-Shot Cross-lingual Voice Conversion Using $β$-VAE
The Chinese University of Hong Kong(香港中文大学);Centre for Perceptual and Interactive Intelligence, CUHK(香港中文大学感知与交互智能中心);Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-香港中文大学媒体科学、技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
我们提出了一种无监督学习方法,将语音分解为内容表示和说话人身份表示。我们将此方法应用于具有挑战性的一次性跨语言语音转换任务,以证明解纠缠的有效性。受$β$ -VAE的启发,我们引入了一个学习目标,该目标在内容和说话人表示所捕获的信息之间进行平衡。此外,来自架构设计和训练数据集的归纳偏差进一步鼓励了所需的解纠缠。客观和主观评价表明,该方法在语音解纠缠和一次跨语言语音转换的有效性。
2022-10-25 cs.SD eess.AS
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
X-LANCE Lab, Shanghai Jiao Tong University, China(上海交通大学X-LANCE实验室);Shanghai Innovation Institute, China(上海创新研究院);Soul AI Lab, China(Soul AI实验室)
SAC通过语义-声学双流量化提升语音编解码器的重建与语义表示能力,实现更自然的语音生成和更高效的文本到语音转换。
2025-12-14 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent(腾讯)
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音,没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入,并且有几次尝试尝试了可变长度的说话人嵌入。然而,他们忽略了转移个人的发音特征相关的音素内容,导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力,我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系,一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模,并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明,该方法可以提高合成语音的说话人相似度,特别是对未知说话人。
2022-11-11 cs.SD eess.AS
SNAC: Speaker-normalized affine coupling layer in flow-based architecture for zero-shot multi-speaker text-to-speech
Seoul National University(首尔国立大学);Institute of New Media and Communications(新媒体与通信研究所);Samsung Research, Samsung Electronics Co., Ltd(三星电子株式会社三星研究院)
Zero-shot多说话人文本转语音(ZSM-TTS)模型的目标是生成一个语音样本的语音特征的一个看不见的发言人。ZSM-TTS的主要挑战是增加未被看见的说话者的整体说话者相似性。在基于流的多说话人文本转语音(TTS)模型中,最成功的说话人条件化方法之一是根据给定的说话人嵌入向量预测仿射耦合层的尺度和偏置参数。在这封信中,我们改进了以前的扬声器调节方法,通过引入扬声器归一化仿射耦合(SNAC)层,它允许看不见的扬声器语音合成在一个zero-shot的方式利用基于归一化的调节技术。新设计的耦合层通过在训练时从扬声器嵌入向量预测的参数显式地规范化输入,从而在推理时实现新扬声器嵌入的反规范化过程。所提出的空调计划产生的最先进的性能方面的语音质量和扬声器的相似性在ZSM-TTS设置。
2022-11-30 cs.SD eess.AS
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Auckland(奥克兰大学);Institute of Science and Technology for Brain-inspired Intelligence, Fudan University(复旦大学脑启发智能科学与技术研究院)
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题,我们提出了一个zero-shot多说话人TTS,命名为nnSpeech,它可以合成一个新的说话人的声音,而无需微调,只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比,该方法基于说话人引导的条件变分自编码器,可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明,该模型可以生成自然、相似的语音,只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
ZipVoice: Fast and High-Quality Zero-Shot Text-to-Speech with Flow Matching
Xiaomi Corp.(小米公司)
本文提出ZipVoice,一种基于流匹配的紧凑零样本TTS模型,通过Zipformer和流蒸馏实现与最先进模型相当的语音质量,同时模型小3倍、推理快30倍。
2025-08-07 cs.SD eess.AS
Zero-Shot Emotion Transfer For Cross-Lingual Speech Synthesis
Northwestern Polytechnical University(西北工业大学);iQIYI Inc.(爱奇艺公司)
针对跨语言零样本情感迁移语音合成的口音与情感建模难题,基于DelightfulTTS架构分别用NPC模块建模语言特定韵律、从HuBERT提取共通情感并结合分层建模,实现了无情感训练数据下的单语说话人双语情感语音合成。
2023-10-06 cs.SD eess.AS
ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models
AITRICS;KAIST(韩国科学技术院)
提出ZET-Speech零样本自适应情感可控TTS模型,通过在扩散模型上应用域对抗学习和引导方法,仅用短中性语音和情感标签即可为已见和未见说话人合成自然情感语音。
2023-05-23 cs.CL cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation(日本电信电话株式会社)
针对零样本TTS在含噪参考语音下质量下降的问题,提出通过在SSL模型中引入适配器并用含噪语音联合微调,同时结合语音增强前端,实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Zero-Shot vs. Few-Shot Multi-Speaker TTS Using Pre-trained Czech SpeechT5 Model
NTIS – New Technologies for the Information Society(NTIS——信息社会新技术研究院);Faculty of Applied Sciences(应用科学学院);University of West Bohemia in Pilsen(西波希米亚大学(比尔森))
本文基于大规模数据预训练SpeechT5模型并微调,在零样本和少样本多说话人TTS任务上验证,发现仅用一分钟数据即可生成高质量且相似度高的合成声音。
2024-07-24 cs.CL cs.SD eess.AS
StreamMel: Real-Time Zero-shot Text-to-Speech via Interleaved Continuous Autoregressive Modeling
College of Computer Science, Nankai University(南开大学计算机科学学院);Microsoft Corporation(微软公司)
针对现有零样本TTS多为离线设计、流式方案性能欠佳的问题,提出单阶段流式框架StreamMel,通过文本与声学帧交错的连续自回归建模实现低延迟高质量合成,性能媲美离线系统,适配实时语音大模型集成需求。
2025-06-14 cs.CL cs.SD eess.AS
HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis
Korea University(高丽大学)
本文提出 HierSpeech++,一种基于分层变分自编码器的快速且强大的零样本语音合成器,通过 text-to-vec 框架和高效超分辨率技术,在 TTS 和 VC 任务中显著提升了鲁棒性、自然度与说话人相似度,实现了首个达到人类水平质量的零样本语音合成。
2023-11-27 cs.AI cs.MM cs.SD
SLMGAN: Exploiting Speech Language Model Representations for Unsupervised Zero-Shot Voice Conversion in GANs
Columbia University(哥伦比亚大学)
该研究提出SLMGAN方法,以StarGANv2-VC为基础加入基于SLM的WavLM判别器和SLM特征匹配损失,实现无监督零样本语音转换,自然度优于现有SOTA模型且相似度相当。
2023-07-18 cs.AI cs.SD eess.AS
Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration
Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
给定一段语音及其转录文本,基于文本的语音编辑旨在通过编辑转录文本来生成可以无缝插入到给定语音中的语音。现有的方法采用两个阶段的方法:使用通用的文本到语音(TTS)引擎合成输入文本,然后使用语音转换(VC)将语音转换为所需的语音。该框架的一个主要问题是VC是一个具有挑战性的问题,通常需要适量的并行训练数据才能令人满意地工作。在本文中,我们提出了一个一阶段的上下文感知框架,以产生自然和连贯的目标语音,没有任何训练数据的目标说话人。特别是,我们设法执行准确的zero-shot持续时间预测的插入文本。预测的持续时间用于调节文本嵌入和语音嵌入。然后,基于对齐的跨模态输入,我们直接生成编辑后的语音与基于变换器的解码器的梅尔频谱图。主观听力测试表明,尽管缺乏说话人的训练数据,我们的方法取得了令人满意的结果。它比最近的一个zero-shot TTS引擎性能好得多。
2021-09-12 cs.AI cs.SD eess.AS
MultiVerse: Efficient and Expressive Zero-Shot Multi-Task Text-to-Speech
SK Telecom(SK电信);NC Research(NC研究院);NCSOFT Corp.(NCsoft公司)
MultiVerse通过源-滤波器解耦和自回归与非自回归结合的韵律建模,在极少训练数据下实现零样本多任务TTS和风格迁移,性能媲美甚至超越数据驱动系统。
2024-10-04 cs.AI cs.SD eess.AS
WESPER: Zero-shot and Realtime Whisper to Normal Voice Conversion for Whisper-based Speech Interactions
The University of Tokyo(东京大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
识别耳语语音并将其转换为正常语音为语音交互创造了许多可能性。由于耳语语音的声压明显低于正常语音,因此可以在公共场所作为一种半无声的语音交互,而不会被他人听到。将耳语转换为正常语音还可以提高有语音或听力障碍的人的语音质量。然而,传统的语音转换技术不提供足够的转换质量或需要由成对的低声和正常语音发声组成的说话者相关的数据集。为了解决这些问题,我们提出了WESPER,一个zero-shot,实时耳语到正常的语音转换机制的基础上自监督学习。WESPER由一个语音到单元(STU)编码器和一个单元到语音(UTS)解码器组成,STU编码器生成耳语和正常语音共同的隐藏语音单元,UTS解码器从编码的语音单元重建语音。与现有的方法不同,这种转换是用户独立的,并且不需要用于低声和正常语音的配对数据集。UTS解码器可以从语音单元中重建任何目标说话人的语音,并且它只需要未标记的目标说话人的语音数据。我们证实,从耳语转换的语音质量得到了改善,同时保留了其自然的韵律。此外,我们还证实了所提出的方法对语言或听力残疾人进行语音重建的有效性。(项目页面:http://lab.rekimoto.org/projects/wesper)
2023-03-03 cs.HC cs.SD eess.AS
Zero-Shot Text-to-Speech for Vietnamese
Movian AI
本文构建了包含941小时高质量越南语语音的PhoAudiobook数据集,并在VALL-E、VoiceCraft和XTTS-V2三个零样本TTS模型上验证其能持续提升多项性能指标,同时发现VALL-E和VoiceCraft在短句合成上表现更优。
2025-06-02 cs.CL cs.SD eess.AS
Generalizable Zero-Shot Speaker Adaptive Speech Synthesis with Disentangled Representations
University of New South Wales(新南威尔士大学)
针对零样本说话人自适应语音合成中未见过说话人语音自然度与相似度下降的问题,提出引入解耦表征和变分自编码器增强的GZS-TV模型,提升了泛化性且在多数据集上优于基线。
2023-08-24 cs.AI cs.SD eess.AS
Speech Representation Disentanglement with Adversarial Mutual Information Learning for One-shot Voice Conversion
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);The Chinese University of Hong Kong(香港中文大学)
仅参考单个目标说话人语音的一次性语音转换(VC)已成为研究热点。现有的作品通常会将音色分解,而关于音高、节奏和内容的信息仍然混合在一起。为了有效地执行一次性VC,进一步解开这些语音分量,我们采用随机重定向的音高和内容编码器,并使用变分对比对数比互信息和基于梯度反转层的对抗性互信息学习的上限,以确保在训练过程中潜在空间的不同部分只包含所需的解开表示。在VCTK数据集上的实验表明,该模型在自然度和可重构性方面达到了一次性VC的最佳性能。此外,我们可以通过语音表示解纠缠来分别传递单次VC在音色、音高和节奏上的特征。我们的代码、预训练模型和演示可在https://im1eon.github.io/IS2022-SRDVC/上获得。
2022-08-18 cs.LG cs.SD eess.AS
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation(日本电信电话公司)
针对零样本 TTS 中未见说话人特征复现不足的问题,提出直接利用 SSL 语音表示并分离声学特征与时长条件,提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
SpeakStream: Streaming Text-to-Speech with Interleaved Data
Apple(苹果公司)
SpeakStream提出一种仅解码器架构的流式TTS系统,通过交错文本-语音数据训练,实现从流式文本增量生成语音,显著降低首令牌延迟,同时保持非流式TTS质量。
2025-05-25 cs.CL cs.LG cs.SD
ZeSTA: Zero-Shot TTS Augmentation with Domain-Conditioned Training for Data-Efficient Personalized Speech Synthesis
Maum AI Inc.(Maum AI公司);Humelo Inc.(Humelo公司)
提出ZeSTA框架,通过轻量领域嵌入区分真实与合成语音,结合真实数据过采样,在极低资源下提升零样本文本转语音增强的说话人相似度,保持可懂度和感知质量。
2026-06-23 cs.AI cs.SD eess.AS
DisCo-Speech: Controllable Zero-Shot Speech Generation with A Disentangled Speech Codec
China Mobile Nineverse Artificial Intelligence Technology (Beijing) Co., Ltd.(中国移动Nineverse人工智能技术(北京)有限公司);Nineverse Institute of Artificial Intelligence(Nineverse人工智能研究院);The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China(多媒体信息处理国家重点实验室,北京大学,北京,中国)
DisCo-Speech通过解耦语音编解码器实现可控零样本语音生成,提升语音克隆与语调控制性能。
2026-01-04 cs.SD
CTC-TTS: LLM-based dual-streaming text-to-speech with CTC alignment
School of Computer Science and Technology, Xinjiang University, China(新疆大学计算机科学与技术学院);Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China(清华大学语音处理与机器智能实验室)
CTC-TTS提出了一种基于大语言模型的双流文本到语音系统,采用CTC对齐器和双词交错策略,提升了流式合成和零样本任务的性能。
2026-09-09 cs.AI cs.SD eess.AS
Speak While You Think: Streaming Speech Synthesis During Text Generation
IBM Research(IBM研究院)
本文提出LLM2Speech架构,利用LLM隐藏嵌入在文本生成过程中同时进行流式语音合成,在保持语音质量的同时显著降低延迟,使自然语音对话成为可能。
2023-09-20 cs.CL cs.SD eess.AS
CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens
Alibaba Group(阿里巴巴集团);Speech Lab(语音实验室)
针对现有无监督语音Token缺乏语义、与文本不对齐的问题,提出基于有监督语义Token的多语言零样本TTS模型CosyVoice,在语音克隆效果和可扩展性上表现更优,为该领域首次尝试。
2024-07-09 cs.AI cs.SD eess.AS
CosyEdit2: Speech-Editing-Oriented Reinforcement Learning Unlocks Better Zero-Shot TTS
College of Computer Science, Nankai University(南开大学计算机科学学院);College of Artificial Intelligence, Nankai University(南开大学人工智能学院)
提出CosyEdit2,通过两阶段后训练框架(监督编辑初始化+基于目标语音无关数据的编辑导向GRPO)解决语音编辑与零样本TTS的局部声学一致性问题,显著提升编辑性能并增强零样本TTS能力。
2026-05-26 cs.SD
EditVoice: Variable-Length Non-Autoregressive Zero-Shot TTS and Speech Editing with Edit Flows
School of Informatics, Xiamen University(厦门大学信息学院);School of Electronic Science and Engineering, Xiamen University(厦门大学电子科学与工程学院)
EditVoice是首个变长非自回归零样本TTS模型,利用编辑流实现语音内容与长度联合更新,统一TTS与编辑任务,在多个基准上性能优异。
2026-10-14 cs.SD
A Streamwise GAN Vocoder for Wideband Speech Coding at Very Low Bit Rate
Fraunhofer(弗劳恩霍夫);Fantasmo(范塔斯莫)
最近,GAN声码器在语音合成方面取得了快速进展,开始以更高的生成速度在感知质量方面优于自回归模型。然而,自回归声码器仍然是以非常低的比特率编码的语音信号的神经生成的常见选择。在本文中,我们提出了一个GAN声码器,它能够产生宽带语音波形的参数编码在1.6 kbit/s。该模型是一个修改版本的StyleMelGAN声码器,可以运行在逐帧的方式,使其适合于流媒体应用。实验结果表明,该模型在极低比特率语音编码中的性能明显优于LPCNet等自回归声码器,计算复杂度约为5 GMAC,为该领域提供了一个新的发展方向.此外,这种流式对抗声码器在干净语音上以5.9 kbit/s提供与高级语音编解码器(例如EVS)竞争的质量,这促使前馈全卷积模型进一步用于低比特率语音编码。
2021-08-09 cs.LG cs.SD eess.AS
EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector
Korea University(高丽大学)
针对情感TTS在数据集、泛化性等方面的挑战,提出EmoSphere++零样本模型,通过情感自适应球面向量、多级风格编码器等技术,实现情感风格与强度可控的高质量语音合成,实验验证了有效性。
2025-04-17 cs.AI cs.SD eess.AS
BridgeCode: A Dual Speech Representation Paradigm for Autoregressive Zero-Shot Text-to-Speech Synthesis
South China University of Technology, Guangzhou, China(华南理工大学);Foshan University, Foshan, China(佛山大学)
本文提出基于双语音表示范式BridgeCode的AR-TTS框架BridgeTTS,通过预测稀疏token并重建连续特征减少迭代,联合优化目标,在加速合成的同时保持高质量与说话人相似度。
2025-10-13 cs.SD
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore(信息与通信研究所(I2R)、科技研究局(A*STAR)、新加坡)
本文提出PUE方法,利用LLM-TTS架构和情感引导提示学习,在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
FMSD-TTS: Few-shot Multi-Speaker Multi-Dialect Text-to-Speech Synthesis for Ü-Tsang, Amdo and Kham Speech Dataset Generation
本文提出FMSD-TTS框架,通过少量参考音频和方言标签实现多方言文本到语音合成,引入新颖的说话人-方言融合模块和方言专用动态路由网络,提升方言表达和说话人相似度,公开发布大规模合成藏语语音语料库及开源评估工具。
2026-04-24 cs.AI cs.CL cs.SD
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon(亚马逊)
我们提出了一个文本到语音的方法来创建一个看不见的表达风格,使用一个表达性的讲话约一秒的话语。具体而言,我们增强了一个国家的最先进的序列到序列的系统与变分自编码器(VAE)和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少,同时共同提高感知指标超过国家的最先进的。在合成时,我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明,我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音,同时还提高了感知的情感强度(59与中性语音的55相比)。
2020-02-17 cs.CL cs.LG cs.SD
CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models
Alibaba Group(阿里巴巴集团)
CosyVoice 2 通过有限标量量化、预训练 LLM 骨干和块感知因果流匹配,在单一模型中实现高质量流式与非流式多语言语音合成,达到人类水平自然度和极低延迟。
2024-12-25 cs.AI cs.LG cs.SD
Face-StyleSpeech: Enhancing Zero-shot Speech Synthesis from Face Images with Improved Face-to-Speech Mapping
KAIST(韩国科学技术院);AITRICS
本文提出Face-StyleSpeech零样本TTS模型,通过分离人脸编码器与韵律编码器,仅从人脸图像生成自然语音,实验证明其效果优于基线方法且适用于未见过的面孔。
2024-12-28 cs.AI cs.CL cs.CV
LLaMA-Omni2: LLM-based Real-time Spoken Chatbot with Autoregressive Streaming Speech Synthesis
Key Laboratory of Intelligent Information Processing Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(智能信息处理重点实验室,计算技术研究所,中国科学院);Key Laboratory of AI Safety, Chinese Academy of Sciences(人工智能安全重点实验室,中国科学院);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出LLaMA-Omni 2系列语音语言模型,基于Qwen2.5集成语音编码器与自回归流式语音解码器,仅用200K多轮对话样本即在语音问答和指令遵循任务上超越GLM-4-Voice等先前最优模型,实现高质量实时语音交互。
2025-05-05 cs.AI cs.CL cs.SD
AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios
Microsoft Research Asia(微软亚洲研究院)
自适应文本转语音(TTS)技术可以在zero-shot场景下有效地合成新的语音,它使用一个经过良好训练的源TTS模型,而不需要对新说话人的语音数据进行自适应。考虑到说话人具有多样性,zero-shot自适应语音合成对说话人特征的泛化能力要求很高,这给语音合成建模带来了挑战。在本文中,我们开发了AdaSpeech 4,一个zero-shot自适应TTS系统,用于高质量的语音合成。我们系统地对说话者特征进行建模,以提高对新说话者的概括性。一般来说,说话人特征的建模可以分为三个步骤:提取说话人特征,以该说话人特征为条件,在给定该说话人特征的情况下合成语音/梅尔谱图。相应地,我们分三步改进模型:1)为了提取具有更好泛化性的说话人表示,我们将说话人特征分解为基向量,并通过注意力对这些基向量进行加权组合来提取说话人表示。2)我们利用条件层归一化,将提取的说话人表示集成到TTS模型中。3)我们提出了一种新的监督损失的基础上的基向量的分布,以保持相应的扬声器特性在生成的梅尔频谱。在没有任何微调的情况下,AdaSpeech 4在多个数据集中实现了比基线更好的语音质量和相似性。
2022-04-01 cs.AI cs.CL cs.SD
VoiceCraft: Zero-Shot Speech Editing and Text-to-Speech in the Wild
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta FAIR)
VoiceCraft是一种令牌填充神经编解码语言模型,通过Transformer解码器和令牌重排程序,在有声书、视频和播客等真实场景中同时实现了领先的语音编辑和零样本TTS性能,并发布了高难度数据集RealEdit。
2024-06-14 cs.AI cs.CL cs.LG
A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个统一的系统来实现单次语音转换(VC)的音高,节奏和扬声器属性。现有的研究普遍忽视了韵律与语言内容的相关性,导致转换语音的自然度下降。此外,缺乏适当的语言功能阻止了这些系统在转换后准确地保留语言内容。为了解决这些问题,我们设计了一个级联的模块化系统,利用自我监督的离散语音单元作为语言表示。这些离散单元提供了节奏建模所必需的持续时间信息。我们的系统首先从原始波形中提取话语级韵律和说话人表示。给定韵律表示,韵律预测器估计话语中每个离散单元的音高、能量和持续时间。合成器还基于预测的韵律、说话者表示和离散单元来重构语音。实验结果表明,我们的系统优于以前的方法在自然度,可懂度,说话人可转移性,韵律可转移性。代码和示例是公开的。
2022-11-12 cs.CL cs.LG cs.SD
VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
单次语音转换(One-shot Voice Conversion,VC)是一种基于语音表示解纠缠的转换方法,它只需要一个目标说话人的语音作为参考,就可以在任意说话人之间进行转换。现有的工作通常忽略了不同的语音表示之间的相关性在训练过程中,这会导致泄漏的内容信息到扬声器表示,从而降低VC的性能。为了缓解这个问题,我们采用矢量量化(VQ)进行内容编码,并在训练过程中引入互信息(MI)作为相关性度量,通过以无监督的方式减少它们的相互依赖性,实现内容,扬声器和音高表示的适当解纠缠。实验结果反映了该方法在学习有效的解纠缠语音表示保留源语言内容和语调变化,同时捕捉目标说话人特征的优势。在这样做时,所提出的方法实现了更高的语音自然度和扬声器相似性比当前国家的最先进的单次VC系统。我们的代码、预训练模型和演示可在https://github.com/Wendison/VQMIVC上获得。
2021-06-18 cs.CL cs.MM cs.SD
FlashSpeech: Efficient Zero-Shot Speech Synthesis
The Hong Kong University of Science and Technology(香港科技大学);University of Science and Technology of China(中国科学技术大学);University of Surrey(萨里大学);Microsoft(微软公司);National University of Singapore(新加坡国立大学);Inner Mongolia University(内蒙古大学)
本文提出 FlashSpeech,一种基于潜在一致性模型与对抗一致性训练的零样本语音合成系统,仅需一两步采样即可快约20倍并保持音质和相似度。
2024-10-24 cs.AI cs.CL cs.LG
Zero-Shot Lombard Speech Synthesis with Controllable Style Embeddings
KIT Campus Transfer GmbH (KCT)(KIT校园转移公司);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Carnegie Mellon University (CMU)(卡内基梅隆大学)
本文提出了一种可控的 Lombard 语音合成系统,通过风格嵌入和 PCA 调整实现对任何说话者语音的可控生成。
2026-10-07 cs.CL cs.SD
Streaming T5-based Text-to-Speech Synthesis with Limited Lookahead
NVIDIAChina(英伟达中国);NVIDIAUSA(英伟达美国)
提出S5-TTS,一种基于T5的流式变体,通过编码器-解码器语言模型和单调对齐学习实现逐词增量语音合成,并引入前瞻因果掩码和交错多源蒸馏以在低延迟下保持质量。
2026-06-23 cs.AI cs.SD
Rhythm-TTS: High-Fidelity Shortcut Latent Modeling and Probabilistic Rhythm Generation for Zero-Shot Text-to-Speech
FPT Software AI Center(FPT软件人工智能中心)
针对零样本TTS存在的合成不可靠、推理慢、时间多样性不足等问题,提出融合离散与连续表示、重构流匹配训练的Flamed-TTS框架,在多项指标上超越SOTA且实现低延迟高保真。
2026-11-20 cs.AI cs.SD
Speech Generation Speaker Poisoning: Capability Erasure in Zero-Shot Text-to-Speech
Thomas Lord Department of Computer Science, University of Southern California, USA(汤姆斯·劳德计算机科学系,美国南加州大学);Signal Analysis and Interpretation Lab, University of Southern California, USA(信号分析与解释实验室,美国南加州大学)
针对零样本TTS语音克隆的隐私风险,提出说话人生成投毒(SGSP)任务,通过修改训练模型阻止特定身份生成,并评估了推理时过滤和参数修改基线在1、15和100个遗忘说话人上的隐私-效用权衡。
2026-09-15 cs.AI cs.SD