Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Pre-Finetuning for Few-Shot Emotional Speech Recognition
Columbia University（哥伦比亚大学）
针对语音模型过拟合说话者导致泛化差的问题，提出在困难任务上预微调Wav2Vec2.0以蒸馏知识，并在多语料库排列及33,600次少样本试验中验证其提升情感语音识别性能。
2024-11-07 cs.CL cs.LG cs.SD
Towards Zero-Shot Code-Switched Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Edinburgh（爱丁堡大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
在这项工作中，我们试图建立有效的代码切换（CS）自动语音识别系统（ASR）下的zero-shot设置没有转录CS语音数据可用于训练。以前提出的框架，有条件地分解成其组成单语部分的双语任务是一个很有前途的起点，有效地利用单语数据。然而，这些方法需要单语模块来执行语言分割。也就是说，每个单语模块必须同时检测CS点并转录一种语言的语音片段，同时忽略其他语言的语音片段-这不是一项简单的任务。我们建议简化每个单语模块，允许他们不加区别地用单语脚本（即音译）转录所有语音片段。这种简单的修改将CS点检测的责任传递给后续的双语模块，其通过考虑多个单语音译以及外部语言模型信息来确定最终输出。我们将这种基于音译的方法应用于端到端的可区分神经网络，并在普通话-英语SEAME测试集上证明了其对zero-shot CS ASR的有效性。
2022-11-09 cs.CL cs.SD eess.AS
N-Shot Benchmarking of Whisper on Diverse Arabic Speech Recognition
The University of British Columbia（不列颠哥伦比亚大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文在多种阿拉伯语方言及n样本微调设置下系统评测Whisper的ASR性能，并构建未见方言与带口音标准语数据，发现其零样本整体优于XLS-R但对五种新方言显著退化。
2023-06-05 cs.CL cs.SD eess.AS
Machine Speech Chain with One-shot Speaker Adaptation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
在之前的工作中，我们开发了一个基于深度学习的闭环语音链模型，该架构使自动语音识别（ASR）和文本到语音合成（TTS）组件能够相互提高其性能。这是通过两个部分使用标记和未标记的数据相互教导来实现的。这种方法可以显着提高单说话人语音数据集内的模型性能，但在多说话人任务中只能获得轻微的提高。此外，该模型仍然无法处理看不见的扬声器。在本文中，我们提出了一个新的语音链机制，通过集成的说话人识别模型内的循环。我们还建议扩展TTS的能力，以处理看不见的扬声器，通过实施一次性扬声器自适应。这使得TTS能够仅用一次说话者样本来模仿从一个说话者到另一个说话者的语音特征，即使是来自没有任何说话者信息的文本。在语音链循环机制中，ASR还受益于从生成的语音波形进一步学习任意说话者特征的能力，从而显著提高识别率。
2018-03-28 cs.CL cs.LG cs.SD
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR
Google Research（谷歌研究院）
视听自动语音识别（AV-ASR）旨在通过结合视觉信息来提高语音识别系统的鲁棒性。然而，从头开始训练完全监督的多模态模型来完成这项任务，受到了对大型标记视听数据集（在每个下游感兴趣的领域）的需求的限制。我们提出了AVFormer，一个简单的方法，用于增强音频模型与视觉信息，在同一时间执行轻量级的领域自适应。我们通过（i）使用轻量级可训练适配器将视觉嵌入注入到冻结的ASR模型中来做到这一点。我们表明，这些可以在少量的弱标记视频数据上进行训练，只需最少的额外训练时间和参数。(ii)我们还在训练过程中引入了一个简单的课程计划，我们表明这对于使模型能够有效地联合处理音频和视觉信息至关重要;最后（iii）我们表明我们的模型在三个不同的AV-ASR基准测试（How2，VisSpeech和Ego 4D）上实现了最先进的zero-shot结果，同时还在传统的纯音频语音识别基准测试（LibriSpeech）上保持了良好的性能。定性结果表明，我们的模型有效地利用视觉信息的鲁棒语音识别。
2023-03-29 cs.CV cs.SD eess.AS
INTapt: Information-Theoretic Adversarial Prompt Tuning for Enhanced Non-Native Speech Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
本文提出INTapt方法，通过对抗提示微调在不更新预训练模型权重的情况下，将非母语英语语音特征向母语英语对齐，从而提升非母语语音识别性能。
2023-05-25 cs.CL cs.SD eess.AS
Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对CTC架构多语言语音识别难以融入语言提示的问题，提出自条件CTC框架下的编码器提示技术，实现零样本语言适配，平均降错28%，低资源语言降错41%。
2024-06-18 cs.CL cs.SD eess.AS
Refining Pseudo-Audio Prompts with Speech-Text Alignment for Text-Only Domain Adaptation in LLM-Based ASR
Kyoto University, Japan（京都大学，日本）；LY Corporation, Japan（LY公司，日本）
本文提出通过语音-文本对齐细化伪音频提示的方法，以提升基于LLM的ASR在纯文本领域适应中的性能，实验表明该方法在整体错误率和词汇覆盖率上优于现有方法。
2026-06-26 cs.SD
Serialized Output Prompting for Large Language Model-based Multi-Talker Speech Recognition
SB Intuitions
针对现有基于大语言模型的多人语音识别系统提示设计不足的问题，提出序列化输出提示方法，通过结构化提示引导模型，搭配三阶段训练策略，在LibriMix数据集的两人、三人对话场景均实现性能提升。
2025-09-01 cs.AI cs.CL cs.SD
Revisiting Direct Speech-to-Text Translation with Speech LLMs: Better Scaling than CoT Prompting?
Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心，西班牙）；Universitat Politècnica de Catalunya, Spain（加泰罗尼亚理工大学，西班牙）；DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany（德意志联邦计算机研究中心（DFKI） GmbH，萨尔布吕肯，德国）
本文比较了CoT和直接提示在增加S2TT数据量下的表现，发现直接提示在数据增加时表现更优，可能成为更大资源下的更有效方法。
2026-01-23 cs.CL cs.SD
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性，但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中，我们提出了u-HuBERT，这是一个自监督的预训练框架，可以利用多模态和单峰语音，并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃，我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外，我们的模型微调音频可以很好地执行视听和视觉语音输入，实现zero-shot模态泛化多个语音处理任务。特别是，我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
Retrieval Augmented Generation in Prompt-based Text-to-Speech Synthesis with Context-Aware Contrastive Language-Audio Pretraining
Beijing University of Posts and Telecommunications（北京邮电大学）
本文针对基于提示的TTS中语音提示选择问题，提出将检索增强生成（RAG）适配到TTS，并设计上下文感知对比语言-音频预训练模型CA-CLAP来提取风格相关特征，实验证明该方法优于基线。
2024-06-06 cs.SD eess.AS
SSR-Speech: Towards Stable, Safe and Robust Zero-shot Text-based Speech Editing and Synthesis
Johns Hopkins University（约翰斯·霍普金斯大学）；Tencent AI Lab（腾讯AI实验室）；Nanyang Technological University（南洋理工大学）
SSR-Speech提出基于Transformer解码器与无分类器引导的神经编解码器自回归模型，结合水印Encodec和原始未编辑片段重建，在零样本语音编辑与合成中实现稳定、安全、鲁棒的最先进性能。
2025-01-02 cs.SD eess.AS
StyleS2ST: Zero-shot Style Transfer for Direct Speech-to-speech Translation
ByteDance（字节跳动）
针对直接语音到语音翻译忽略风格迁移的问题，提出StyleS2ST模型，利用平行语料和TTS数据增强实现跨语言风格迁移，在零样本场景中取得良好效果。
2023-07-25 cs.SD eess.AS
Attentron: Few-Shot Text-to-Speech Utilizing Attention-Based Variable-Length Embedding
Hyperconnect（超连接公司）
由于对个性化的需求不断增长，出现了对所谓的Few-Shot TTS系统的需求，该TTS系统仅用少量数据克隆扬声器。为了解决这个问题，我们提出Attentron，一个Few-Shot TTS模型，克隆在训练过程中看不见的扬声器的声音。它引入了两种特殊的编码器，每种编码器都有不同的用途。细粒度编码器通过注意力机制提取可变长度的风格信息，粗粒度编码器极大地稳定了语音合成，即使对于合成看不见的说话者的语音也能避免难以理解的胡言乱语。此外，该模型可以扩展到任意数量的参考音频，以提高合成语音的质量。根据我们的实验，包括人的评价，该模型显着优于国家的最先进的模型时，生成语音的说话人相似性和质量方面看不见的发言人。
2020-08-12 cs.SD eess.AS
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University（首尔大学）
最近提出的几种文本转语音（TTS）模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而，将新说话者的语音与单个参考音频合成，通常称为zero-shot多说话者文本转语音（ZSM-TTS），仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题，我们提出了对抗性说话者一致性学习（ASCL）。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后，该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明，该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型，实现轻量级流式零样本有声与耳语语音转换，并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
CosyEdit: Unlocking End-to-End Speech Editing Capability from Zero-Shot Text-to-Speech Models
CosyEdit通过任务特定的后训练和互补训练范式，从零样本文本到语音模型中解锁端到端语音编辑能力，实现高一致性语音编辑。
2026-06-28 cs.SD eess.AS
Advanced Zero-Shot Text-to-Speech for Background Removal and Preservation with Controllable Masked Speech Prediction
Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
针对零样本文本转语音系统处理含背景语音提示的不足，提出结合双说话人编码器的可控掩码语音预测策略，实现多声学条件下背景去除与保留的精确控制及强泛化能力。
2025-02-11 cs.SD eess.AS
$\text{M}^3\text{PDB}$: A Multimodal, Multi-Label, Multilingual Prompt Database for Speech Generation
Institute of Artificial Intelligence (TeleAl), China Telecom（人工智能研究院（TeleAl），中国电信）；School of Marine Science and Technology, Northwestern Polytechnical University（海洋科学与技术学院，西北工业大学）
针对语音生成在缺乏高质量提示的现实场景中受限的问题，提出首个大规模多模态多语言提示数据库M3PDB及轻量级提示选择策略，有效支持多种复杂语音生成场景。
2025-08-13 cs.SD eess.AS
StyleTTS-VC: One-Shot Voice Conversion by Knowledge Transfer from Style-Based TTS Models
Columbia University（哥伦比亚大学）
单次语音转换（One-shot Voice Conversion，VC）的目的是利用来自目标说话人的几秒钟参考语音，将来自任意源说话人的语音转换为任意目标说话人的语音。这在很大程度上依赖于解开说话者的身份和讲话内容，这仍然是一项具有挑战性的任务。在这里，我们提出了一种新的方法来学习解开语音表示从基于风格的文本到语音（TTS）模型的迁移学习。通过周期一致性和对抗性训练，基于风格的TTS模型可以执行具有高保真度和相似性的转录引导的一次性VC。通过学习一个额外的梅尔频谱图编码器，通过师生知识转移和新的数据增强方案，我们的方法的结果在解开语音表示，而不需要输入文本。主观评价表明，我们的方法可以显着优于以前的国家的最先进的一次性语音转换模型在自然度和相似性。
2022-12-29 cs.SD eess.AS
SeamlessEdit: Background Noise Aware Zero-Shot Speech Editing with in-Context Enhancement
GICE, National Taiwan University, Taipei, Taiwan（国家台湾大学资讯工程研究所，台北，台湾）；AI Research Center, Inventec Corporation, Taipei, Taiwan（Inventec公司人工智能研究中心，台北，台湾）
本文提出SeamlessEdit框架，通过频率带感知噪声抑制模块和上下文优化策略，解决语音与背景噪声频带未分离的问题，在多维度评估中优于现有方法。
2026-05-17 cs.SD eess.AS
Glow-WaveGAN 2: High-quality Zero-shot Text-to-speech Synthesis and Any-to-any Voice Conversion
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
用于语音生成的zero-shot场景旨在仅用目标说话者的一个话语合成新颖的看不见的语音。虽然在zero-shot场景下适应新语音的挑战存在于两个阶段--声学建模和声码器，但以前的工作通常只从一个阶段考虑问题。在本文中，我们将以前的Glow-WaveGAN扩展到Glow-WaveGAN 2，旨在从两个阶段解决高质量zero-shot文本到语音和任意到任意语音转换的问题。首先建立一个通用的WaveGAN模型，提取语音的潜在分布$p(z)$并重建波形，然后基于流的声学模型只需要从文本中学习相同的$p(z)$，自然避免了声学模型与声码器的不匹配，无需模型微调就能生成高质量的语音。基于连续的说话人空间和流的可逆性，可以得到任意说话人的条件分布，从而可以进一步对新的说话人进行高质量的zero-shot语音生成。我们特别研究了两种构建说话人空间的方法，即预训练的说话人编码器和联合训练的说话人编码器。通过在LibriTTS语料库和VTCK语料库上进行的TTS和VC实验，证明了Glow-WaveGAN 2的优越性。
2022-07-05 cs.SD eess.AS
SC-GlowTTS: an Efficient Zero-Shot Multi-Speaker Text-To-Speech Model
DefinedCrowd Corp.（DefinedCrowd公司）；Coqui（Coqui公司）；Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）；Federal University of Goias（戈亚斯联邦大学）；Federal University of Technology – Paraná（巴拉那联邦理工大学）
在本文中，我们提出了SC-GlowTTS：一个有效的zero-shot多说话人文本转语音模型，提高了训练过程中看不见的说话人的相似性。我们提出了一个扬声器的条件架构，探讨了基于流的解码器，工作在一个zero-shot的情况。作为文本编码器，我们探索了一种基于扩张残差卷积的编码器，基于门控卷积的编码器和基于变换的编码器。此外，我们已经证明，针对TTS模型在训练数据集上预测的频谱图调整基于GAN的声码器可以显着提高新说话者的相似性和语音质量。我们的模型仅使用11个扬声器进行收敛，达到了与新扬声器相似的最先进结果，以及高语音质量。
2021-06-15 cs.SD eess.AS
WHISMA: A Speech-LLM to Perform Zero-shot Spoken Language Understanding
Cambridge Research Laboratory（剑桥研究实验室）；Toshiba Europe Ltd（东芝欧洲有限公司）
本文提出WHISMA，一种结合Whisper语音编码器与Llama-3的语音大模型，通过参数高效微调实现零样本口语理解，在SLURP和SLU-GLUE基准上分别取得26.6%和33.0%的相对性能提升。
2024-08-29 cs.SD eess.AS
Disentangled Speech Representation Learning for One-Shot Cross-lingual Voice Conversion Using $β$-VAE
The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence, CUHK（香港中文大学感知与交互智能中心）；Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems（清华-香港中文大学媒体科学、技术与系统联合研究中心）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
我们提出了一种无监督学习方法，将语音分解为内容表示和说话人身份表示。我们将此方法应用于具有挑战性的一次性跨语言语音转换任务，以证明解纠缠的有效性。受$β$ -VAE的启发，我们引入了一个学习目标，该目标在内容和说话人表示所捕获的信息之间进行平衡。此外，来自架构设计和训练数据集的归纳偏差进一步鼓励了所需的解纠缠。客观和主观评价表明，该方法在语音解纠缠和一次跨语言语音转换的有效性。
2022-10-25 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent（腾讯）
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音，没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入，并且有几次尝试尝试了可变长度的说话人嵌入。然而，他们忽略了转移个人的发音特征相关的音素内容，导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力，我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系，一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模，并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明，该方法可以提高合成语音的说话人相似度，特别是对未知说话人。
2022-11-11 cs.SD eess.AS
Multi-accent Speech Separation with One Shot Learning
National Taiwan University（国立台湾大学）
语音分离是近年来语音处理领域研究的热点问题。然而，还没有太多的工作研究多口音语音分离的情况。未知说话人的新口音和噪声引起的域失配问题，不能很容易地解决传统的联合训练方法。因此，我们应用MAML和FOMAML来解决这个问题，并在几乎所有看不见的口音上获得了比联合训练更高的平均Si-SNRi值。这证明了这两种方法确实有能力生成经过良好训练的参数，以适应新说话人和口音的语音混合。此外，我们发现，FOMAML获得类似的性能相比，MAML，同时节省了大量的时间。
2021-08-05 cs.SD eess.AS
SNAC: Speaker-normalized affine coupling layer in flow-based architecture for zero-shot multi-speaker text-to-speech
Seoul National University（首尔国立大学）；Institute of New Media and Communications（新媒体与通信研究所）；Samsung Research, Samsung Electronics Co., Ltd（三星电子株式会社三星研究院）
Zero-shot多说话人文本转语音（ZSM-TTS）模型的目标是生成一个语音样本的语音特征的一个看不见的发言人。ZSM-TTS的主要挑战是增加未被看见的说话者的整体说话者相似性。在基于流的多说话人文本转语音（TTS）模型中，最成功的说话人条件化方法之一是根据给定的说话人嵌入向量预测仿射耦合层的尺度和偏置参数。在这封信中，我们改进了以前的扬声器调节方法，通过引入扬声器归一化仿射耦合（SNAC）层，它允许看不见的扬声器语音合成在一个zero-shot的方式利用基于归一化的调节技术。新设计的耦合层通过在训练时从扬声器嵌入向量预测的参数显式地规范化输入，从而在推理时实现新扬声器嵌入的反规范化过程。所提出的空调计划产生的最先进的性能方面的语音质量和扬声器的相似性在ZSM-TTS设置。
2022-11-30 cs.SD eess.AS
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题，我们提出了一个zero-shot多说话人TTS，命名为nnSpeech，它可以合成一个新的说话人的声音，而无需微调，只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比，该方法基于说话人引导的条件变分自编码器，可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明，该模型可以生成自然、相似的语音，只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
ZipVoice: Fast and High-Quality Zero-Shot Text-to-Speech with Flow Matching
Xiaomi Corp.（小米公司）
本文提出ZipVoice，一种基于流匹配的紧凑零样本TTS模型，通过Zipformer和流蒸馏实现与最先进模型相当的语音质量，同时模型小3倍、推理快30倍。
2025-08-07 cs.SD eess.AS
Zero-Shot Emotion Transfer For Cross-Lingual Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc.（爱奇艺公司）
针对跨语言零样本情感迁移语音合成的口音与情感建模难题，基于DelightfulTTS架构分别用NPC模块建模语言特定韵律、从HuBERT提取共通情感并结合分层建模，实现了无情感训练数据下的单语说话人双语情感语音合成。
2023-10-06 cs.SD eess.AS
ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models
AITRICS；KAIST（韩国科学技术院）
提出ZET-Speech零样本自适应情感可控TTS模型，通过在扩散模型上应用域对抗学习和引导方法，仅用短中性语音和情感标签即可为已见和未见说话人合成自然情感语音。
2023-05-23 cs.CL cs.SD eess.AS
Zero-Shot Crate Digging: DJ Tool Retrieval Using Speech Activity, Music Structure And CLAP Embeddings
本文提出一种零样本DJ工具检索系统，结合语音/音乐活动检测、音乐边界分析和CLAP模型，从个人音乐库中自动发现适合现场或录音室使用的DJ工具。
2024-11-19 cs.SD eess.AS
Learning Emotion-discriminative Representations for Zero-Shot Cross-lingual Speech Emotion Recognition
Graduate School of Informatics, Nagoya University, Japan（名古屋大学信息学研究科）；Information Technology Center, Nagoya University, Japan（名古屋大学信息技术中心）
针对零样本跨语言语音情感识别中语言分布不匹配和目标语言缺乏情感标注的问题，提出一种结合监督对比学习和说话人对抗学习的情感判别表示学习方法，显著提升了识别性能。
2026-06-04 cs.SD eess.AS
Generating Speakers by Prompting Listener Impressions for Pre-trained Multi-Speaker Text-to-Speech Systems
Shanghai Jiao Tong University（上海交通大学）；National Institute of Informatics（信息学研究所）；National Institute Of Information And Communications Technology（信息通信技术研究所）
提出利用听众印象提示控制说话人声学特征的 TTS 方法，通过 LoRA 适配并解耦提示到说话人模块，结合判别式与 flow-matching 生成式方法提升兼容性和语音保真度。
2024-06-13 cs.SD eess.AS
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
Applied Sciences Group, Microsoft Corp, USA
LiveSpeech提出一种基于全自回归语言模型的零样本文本转语音方法，通过自适应码本损失权重和码本分组并行处理实现低延迟流式输出，在内容准确性、说话人相似度、音频质量和推理速度上达到先进水平。
2024-06-10 cs.SD eess.AS
MAIN-VC: Lightweight Speech Representation Disentanglement for One-shot Voice Conversion
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出轻量级单次语音转换模型MAIN-VC，通过孪生编码器和互信息估计器实现简洁有效的语音表示解缠，在保持主观评分相当的同时提升客观指标。
2024-11-24 cs.SD eess.AS
FleSpeech: Flexibly Controllable Speech Generation with Various Prompts
Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯AI实验室）
本文提出FleSpeech多阶段语音生成框架，通过多模态提示编码器统一文本、音频和视觉提示，实现对语音属性的灵活、精确控制，克服了传统方法依赖单一提示的局限。
2025-04-30 cs.SD eess.AS
MobileSpeech: A Fast and High-Fidelity Framework for Mobile Zero-Shot Text-to-Speech
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出MobileSpeech，首个基于移动设备的快速、轻量且鲁棒的零样本文本到语音框架，通过并行语音掩码解码器与高层概率掩码实现高保真与高生成速度。
2024-06-02 cs.SD eess.AS
An Empirical Study of Speech Language Models for Prompt-Conditioned Speech Synthesis
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本研究实证分析了自回归与非自回归语音语言模型在提示条件语音合成中的表现，发现异质非平稳提示会损害音频质量，且说话者风格受内容影响，语义单元携带声学信息可能泄露。
2024-03-19 cs.CL cs.SD eess.AS
Zero-Shot Text-to-Speech from Continuous Text Streams
Applied Sciences Group（应用科学组）；Microsoft Corporation（微软公司）
本文提出LiveSpeech 2，一个基于Mamba和旋转位置嵌入的流感知零样本TTS模型，通过滑动窗口和语义引导解码实现无限长度语音生成与文本-音频流同步。
2024-10-01 cs.SD eess.AS
Towards Expressive Zero-Shot Speech Synthesis with Hierarchical Prosody Modeling
Northwestern Polytechnical University（西北工业大学）；Xiaomi AI Lab（小米人工智能实验室）
本文提出一种结合全局音色向量、扩散模型音高预测器和分层韵律适配器的零样本语音合成模型，在保持音色质量的同时显著提升合成语音的自然度和表现力。
2024-06-11 cs.SD eess.AS
StyleFusion TTS: Multimodal Style-control and Enhanced Feature Fusion for Zero-shot Text-to-speech Synthesis
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
本文提出StyleFusion-TTS，一种基于多模态参考的零样本TTS系统，通过通用前端编码器生成解耦的风格与说话人嵌入，并利用分层conformer结构实现特征融合，提升了合成语音的可编辑性与自然度。
2024-09-24 cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation（日本电信电话株式会社）
针对零样本TTS在含噪参考语音下质量下降的问题，提出通过在SSL模型中引入适配器并用含噪语音联合微调，同时结合语音增强前端，实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Few-Shot and Pseudo-Label Guided Speech Quality Evaluation with Large Language Models
Academia Sinica, National Chengchi University, NVIDIA, University of Palermo
本文提出GatherMOS框架，利用大语言模型作为元评估器整合多种信号进行质量预测，通过零样本和少样本学习展示了其在不同条件下的优越性能。
2026-04-15 cs.SD eess.AS
Improving Language Model-Based Zero-Shot Text-to-Speech Synthesis with Multi-Scale Acoustic Prompts
Skywork AI PTE. LTD.（世芯人工智能私人有限公司）
该研究针对零样本TTS中短声学提示难以还原个人说话风格的问题，基于VALL-E引入多尺度风格与音色提示，提升自然度和说话人相似度。
2024-04-09 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology（依图科技）；National University of Singapore（新加坡国立大学）
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统，通过保持原始话语中的内容并替换为来自目标说话者的声音特征，将源说话者的话语转换为目标说话者的另一话语。现有的解决方案，例如，StarGAN-VC 2，目前有希望的结果，只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换，但它需要一个外部的预先训练的说话者验证模型。在本文中，我们提出了我们新的基于GAN的zero-shot语音转换解决方案，称为GAZEV，其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失，以及自适应实例归一化策略，以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明，输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
Unet-TTS: Improving Unseen Speaker and Style Transfer in One-shot Voice Cloning
CloudMinds Inc.（达闼科技）
单次语音克隆是指在文本到语音（TTS）系统中，只使用目标参考语音的一次录音，对合成语音中说话人的声音和说话风格进行转换。域外传输仍然是一个具有挑战性的任务，影响合成语音的准确性和相似性的一个重要方面是从有限的参考文献中提取的携带说话人或风格线索的条件表示。在本文中，我们提出了一种新的一次性语音克隆算法称为Unet-TTS，具有良好的泛化能力，不可见的扬声器和风格。该模型基于跳跃连接的U网结构，能够有效地从参考音频中发现说话人级和话语级的频谱特征细节，从而能够准确地推断出复杂的声学特征，并在合成语音中模仿说话风格。根据主观和客观的相似性评价，新模型优于说话人嵌入和无监督风格建模（GST）方法在一个看不见的情感语料库。
2022-02-24 cs.SD eess.AS
Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation
Alibaba DAMO Academy（阿里巴巴达摩院）
端到端语音翻译的目的是将源语言的语音翻译成目标语言的文本而不产生中间译文。然而，端到端方法的训练依赖于并行ST数据，这是困难和昂贵的获得。幸运的是，自动语音识别（ASR）和机器翻译（MT）的监督数据通常更容易获得，这使得zero-shot语音翻译成为一个潜在的方向。现有的zero-shot方法无法将语音和文本这两种模态对齐到共享的语义空间中，导致与有监督ST方法相比性能差得多。为了使zero-shot ST，我们提出了一种新的离散跨模态对齐（DCMA）方法，采用共享的离散词汇空间，以适应和匹配语音和文本的模态。具体来说，我们引入了一个矢量量化模块，将语音和文本的连续表示离散化为一个有限的虚拟令牌集，并使用ASR数据将相应的语音和文本映射到共享码本中的同一个虚拟令牌。这样，源语言语音可以被嵌入到与源语言文本相同的语义空间中，然后可以使用MT模块将其转换为目标语言文本。多语言对的实验表明，我们的zero-shot ST方法显着提高了SOTA，甚至表现出与强监督ST基线。
2022-10-18 cs.CL cs.SD eess.AS
Zero-Shot vs. Few-Shot Multi-Speaker TTS Using Pre-trained Czech SpeechT5 Model
NTIS – New Technologies for the Information Society（NTIS——信息社会新技术研究院）；Faculty of Applied Sciences（应用科学学院）；University of West Bohemia in Pilsen（西波希米亚大学（比尔森））
本文基于大规模数据预训练SpeechT5模型并微调，在零样本和少样本多说话人TTS任务上验证，发现仅用一分钟数据即可生成高质量且相似度高的合成声音。
2024-07-24 cs.CL cs.SD eess.AS
One Shot Learning for Speech Separation
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
尽管语音分离模型最近取得了成功，但它们在面对不同人群或嘈杂环境时无法正确分离源。为了解决这个问题，我们提出将元学习应用于语音分离任务。我们的目标是找到一个元初始化模型，它可以通过只看到这些人生成的一个混合来快速适应新的说话者。在本文中，我们使用模型不可知元学习（MAML）算法和几乎没有内部循环（ANIL）算法在Conv-TasNet来实现这一目标。实验结果表明，该模型不仅能适应新的说话人集合，而且能适应噪声环境。此外，我们发现编码器和解码器作为特征重用层，而分离器是特定于任务的模块。
2021-05-03 cs.SD eess.AS
