FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
Meta AI Research(Meta人工智能研究院);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了FLEURS,通用语音表示基准的少样本学习评估。FLEURS是一个基于机器翻译FLoRes-101基准测试的102种语言的n路并行语音数据集,每种语言大约有12小时的语音监控。FLEURS可用于各种语音任务,包括自动语音识别(ASR)、语音语言识别(Speech LangID)、翻译和检索。在本文中,我们为基于mSLAM等多语言预训练模型的任务提供了基线。FLEURS的目标是使语音技术在更多的语言和催化低资源语音理解的研究。
2022-05-25 cs.CL cs.LG cs.SD
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology(南方科技大学);Microsoft China(微软中国)
机器语音链将端到端(E2 E)自动语音识别(ASR)和文本到语音(TTS)集成到一个循环中进行联合训练,已被证明可以有效地利用大量未配对数据进行数据增强。在本文中,我们探索语音链中的TTS->ASR管道,对神经TTS和E2 E ASR模型进行领域自适应,仅使用来自目标域的文本数据。我们进行了实验,通过适应从有声读物域(LibriSpeech)到呈现域(TED-LIUM),有一个相对的词出错率(WER)减少10%的E2 E ASR模型上的TED-LIUM测试集,和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外,我们通过以无监督的方式使用目标说话者的一些话语,对E2 E ASR应用Few-Shot说话者自适应,从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Pre-Finetuning for Few-Shot Emotional Speech Recognition
Columbia University(哥伦比亚大学)
针对语音模型过拟合说话者导致泛化差的问题,提出在困难任务上预微调Wav2Vec2.0以蒸馏知识,并在多语料库排列及33,600次少样本试验中验证其提升情感语音识别性能。
2024-11-07 cs.CL cs.LG cs.SD
Machine Speech Chain with One-shot Speaker Adaptation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
在之前的工作中,我们开发了一个基于深度学习的闭环语音链模型,该架构使自动语音识别(ASR)和文本到语音合成(TTS)组件能够相互提高其性能。这是通过两个部分使用标记和未标记的数据相互教导来实现的。这种方法可以显着提高单说话人语音数据集内的模型性能,但在多说话人任务中只能获得轻微的提高。此外,该模型仍然无法处理看不见的扬声器。在本文中,我们提出了一个新的语音链机制,通过集成的说话人识别模型内的循环。我们还建议扩展TTS的能力,以处理看不见的扬声器,通过实施一次性扬声器自适应。这使得TTS能够仅用一次说话者样本来模仿从一个说话者到另一个说话者的语音特征,即使是来自没有任何说话者信息的文本。在语音链循环机制中,ASR还受益于从生成的语音波形进一步学习任意说话者特征的能力,从而显著提高识别率。
2018-03-28 cs.CL cs.LG cs.SD
Large Language Models are Strong Audio-Visual Speech Recognition Learners
Imperial College London(帝国理工学院);University of Trento(特伦托大学);Meta AI;Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本文提出Llama-AVSR,通过冻结预训练音视频编码器和大语言模型、仅训练投影器与LoRA模块,在LRS3上以0.79%和0.77%的WER刷新ASR与AVSR最优结果。
2025-03-07 cs.CV cs.MM cs.SD
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性,但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中,我们提出了u-HuBERT,这是一个自监督的预训练框架,可以利用多模态和单峰语音,并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃,我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外,我们的模型微调音频可以很好地执行视听和视觉语音输入,实现zero-shot模态泛化多个语音处理任务。特别是,我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
Unsupervised speech intelligibility assessment with utterance level alignment distance between teacher and learner Wav2Vec-2.0 representations
Language Technologies Research Center(语言技术研究中心)
针对有监督语音可懂度检测依赖人工标注、扩展性差的问题,提出基于Wav2Vec-2.0自监督表征与DTW对齐距离的无监督方法,三种距离度量下准确率最高达96.58%。
2023-06-15 cs.AI cs.SD eess.AS
Adapting Language-Audio Models as Few-Shot Audio Learners
Queen Mary University of London(伦敦玛丽女王大学);Centre for Vision, Speech and Signal Processing(视觉、语音与信号处理中心);Amazon Alexa(亚马逊Alexa);The Alan Turing Institute(艾伦·图灵研究所)
本文提出 Treff 适配器,通过 CALM 结合少量标注数据与 CLAP 零样本分类,在少样本音频分类中达到或超越全监督方法,并设计了免训练版本。
2023-05-28 cs.SD eess.AS
Continuous Speech Tokens Makes LLMs Robust Multi-Modality Learners
Tsinghua University(清华大学);Microsoft Corporation(微软公司)
本文提出 Flow-Omni,用 flow matching 与小型 MLP 让自回归 LLM 预测连续语音 token,并联合离散文本 token 进行多模态训练,从而提升实时语音对话的鲁棒性。
2024-12-06 cs.SD eess.AS eess.SP
SSR-Speech: Towards Stable, Safe and Robust Zero-shot Text-based Speech Editing and Synthesis
Johns Hopkins University(约翰斯·霍普金斯大学);Tencent AI Lab(腾讯AI实验室);Nanyang Technological University(南洋理工大学)
SSR-Speech提出基于Transformer解码器与无分类器引导的神经编解码器自回归模型,结合水印Encodec和原始未编辑片段重建,在零样本语音编辑与合成中实现稳定、安全、鲁棒的最先进性能。
2025-01-02 cs.SD eess.AS
StyleS2ST: Zero-shot Style Transfer for Direct Speech-to-speech Translation
ByteDance(字节跳动)
针对直接语音到语音翻译忽略风格迁移的问题,提出StyleS2ST模型,利用平行语料和TTS数据增强实现跨语言风格迁移,在零样本场景中取得良好效果。
2023-07-25 cs.SD eess.AS
Attentron: Few-Shot Text-to-Speech Utilizing Attention-Based Variable-Length Embedding
Hyperconnect(超连接公司)
由于对个性化的需求不断增长,出现了对所谓的Few-Shot TTS系统的需求,该TTS系统仅用少量数据克隆扬声器。为了解决这个问题,我们提出Attentron,一个Few-Shot TTS模型,克隆在训练过程中看不见的扬声器的声音。它引入了两种特殊的编码器,每种编码器都有不同的用途。细粒度编码器通过注意力机制提取可变长度的风格信息,粗粒度编码器极大地稳定了语音合成,即使对于合成看不见的说话者的语音也能避免难以理解的胡言乱语。此外,该模型可以扩展到任意数量的参考音频,以提高合成语音的质量。根据我们的实验,包括人的评价,该模型显着优于国家的最先进的模型时,生成语音的说话人相似性和质量方面看不见的发言人。
2020-08-12 cs.SD eess.AS
Adversarial Speaker-Consistency Learning Using Untranscribed Speech Data for Zero-Shot Multi-Speaker Text-to-Speech
Seoul National University(首尔大学)
最近提出的几种文本转语音(TTS)模型能够在单说话人和多说话人的TTS场景中生成具有人类水平质量的语音样本。然而,将新说话者的语音与单个参考音频合成,通常称为zero-shot多说话者文本转语音(ZSM-TTS),仍然是一项非常具有挑战性的任务。ZSM-TTS的主要挑战是新说话人语音生成时的说话人域偏移问题。为了缓解这个问题,我们提出了对抗性说话者一致性学习(ASCL)。所提出的方法首先在每次训练迭代中使用外部未转录数据集生成查询说话者的附加语音。然后,该模型通过采用对抗学习方案来学习一致地生成同一说话人的语音样本作为相应的说话人嵌入向量。实验结果表明,该方法是有效的相比基线的质量和说话人相似度在ZSM-TTS。
2022-11-22 cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型,实现轻量级流式零样本有声与耳语语音转换,并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
CosyEdit: Unlocking End-to-End Speech Editing Capability from Zero-Shot Text-to-Speech Models
CosyEdit通过任务特定的后训练和互补训练范式,从零样本文本到语音模型中解锁端到端语音编辑能力,实现高一致性语音编辑。
2026-06-28 cs.SD eess.AS
QS-TTS: Towards Semi-Supervised Text-to-Speech Synthesis via Vector-Quantized Self-Supervised Speech Representation Learning
Chinese University of Hong Kong(香港中文大学);Xiaohongshu(小红书)
QS-TTS通过向量量化自监督语音表征学习,利用无标签音频降低监督数据需求,提升半监督TTS质量,在低资源场景下取得最优性能。
2023-08-31 cs.CL cs.SD eess.AS
Advanced Zero-Shot Text-to-Speech for Background Removal and Preservation with Controllable Masked Speech Prediction
Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系)
针对零样本文本转语音系统处理含背景语音提示的不足,提出结合双说话人编码器的可控掩码语音预测策略,实现多声学条件下背景去除与保留的精确控制及强泛化能力。
2025-02-11 cs.SD eess.AS
StyleTTS-VC: One-Shot Voice Conversion by Knowledge Transfer from Style-Based TTS Models
Columbia University(哥伦比亚大学)
单次语音转换(One-shot Voice Conversion,VC)的目的是利用来自目标说话人的几秒钟参考语音,将来自任意源说话人的语音转换为任意目标说话人的语音。这在很大程度上依赖于解开说话者的身份和讲话内容,这仍然是一项具有挑战性的任务。在这里,我们提出了一种新的方法来学习解开语音表示从基于风格的文本到语音(TTS)模型的迁移学习。通过周期一致性和对抗性训练,基于风格的TTS模型可以执行具有高保真度和相似性的转录引导的一次性VC。通过学习一个额外的梅尔频谱图编码器,通过师生知识转移和新的数据增强方案,我们的方法的结果在解开语音表示,而不需要输入文本。主观评价表明,我们的方法可以显着优于以前的国家的最先进的一次性语音转换模型在自然度和相似性。
2022-12-29 cs.SD eess.AS
SeamlessEdit: Background Noise Aware Zero-Shot Speech Editing with in-Context Enhancement
GICE, National Taiwan University, Taipei, Taiwan(国家台湾大学资讯工程研究所,台北,台湾);AI Research Center, Inventec Corporation, Taipei, Taiwan(Inventec公司人工智能研究中心,台北,台湾)
本文提出SeamlessEdit框架,通过频率带感知噪声抑制模块和上下文优化策略,解决语音与背景噪声频带未分离的问题,在多维度评估中优于现有方法。
2026-05-17 cs.SD eess.AS
Glow-WaveGAN 2: High-quality Zero-shot Text-to-speech Synthesis and Any-to-any Voice Conversion
Northwestern Polytechnical University(西北工业大学);Tencent AI Lab(腾讯人工智能实验室)
用于语音生成的zero-shot场景旨在仅用目标说话者的一个话语合成新颖的看不见的语音。虽然在zero-shot场景下适应新语音的挑战存在于两个阶段--声学建模和声码器,但以前的工作通常只从一个阶段考虑问题。在本文中,我们将以前的Glow-WaveGAN扩展到Glow-WaveGAN 2,旨在从两个阶段解决高质量zero-shot文本到语音和任意到任意语音转换的问题。首先建立一个通用的WaveGAN模型,提取语音的潜在分布$p(z)$并重建波形,然后基于流的声学模型只需要从文本中学习相同的$p(z)$,自然避免了声学模型与声码器的不匹配,无需模型微调就能生成高质量的语音。基于连续的说话人空间和流的可逆性,可以得到任意说话人的条件分布,从而可以进一步对新的说话人进行高质量的zero-shot语音生成。我们特别研究了两种构建说话人空间的方法,即预训练的说话人编码器和联合训练的说话人编码器。通过在LibriTTS语料库和VTCK语料库上进行的TTS和VC实验,证明了Glow-WaveGAN 2的优越性。
2022-07-05 cs.SD eess.AS
SC-GlowTTS: an Efficient Zero-Shot Multi-Speaker Text-To-Speech Model
DefinedCrowd Corp.(DefinedCrowd公司);Coqui(Coqui公司);Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);Federal University of Goias(戈亚斯联邦大学);Federal University of Technology – Paraná(巴拉那联邦理工大学)
在本文中,我们提出了SC-GlowTTS:一个有效的zero-shot多说话人文本转语音模型,提高了训练过程中看不见的说话人的相似性。我们提出了一个扬声器的条件架构,探讨了基于流的解码器,工作在一个zero-shot的情况。作为文本编码器,我们探索了一种基于扩张残差卷积的编码器,基于门控卷积的编码器和基于变换的编码器。此外,我们已经证明,针对TTS模型在训练数据集上预测的频谱图调整基于GAN的声码器可以显着提高新说话者的相似性和语音质量。我们的模型仅使用11个扬声器进行收敛,达到了与新扬声器相似的最先进结果,以及高语音质量。
2021-06-15 cs.SD eess.AS
WHISMA: A Speech-LLM to Perform Zero-shot Spoken Language Understanding
Cambridge Research Laboratory(剑桥研究实验室);Toshiba Europe Ltd(东芝欧洲有限公司)
本文提出WHISMA,一种结合Whisper语音编码器与Llama-3的语音大模型,通过参数高效微调实现零样本口语理解,在SLURP和SLU-GLUE基准上分别取得26.6%和33.0%的相对性能提升。
2024-08-29 cs.SD eess.AS
Disentangled Speech Representation Learning for One-Shot Cross-lingual Voice Conversion Using $β$-VAE
The Chinese University of Hong Kong(香港中文大学);Centre for Perceptual and Interactive Intelligence, CUHK(香港中文大学感知与交互智能中心);Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-香港中文大学媒体科学、技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
我们提出了一种无监督学习方法,将语音分解为内容表示和说话人身份表示。我们将此方法应用于具有挑战性的一次性跨语言语音转换任务,以证明解纠缠的有效性。受$β$ -VAE的启发,我们引入了一个学习目标,该目标在内容和说话人表示所捕获的信息之间进行平衡。此外,来自架构设计和训练数据集的归纳偏差进一步鼓励了所需的解纠缠。客观和主观评价表明,该方法在语音解纠缠和一次跨语言语音转换的有效性。
2022-10-25 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent(腾讯)
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音,没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入,并且有几次尝试尝试了可变长度的说话人嵌入。然而,他们忽略了转移个人的发音特征相关的音素内容,导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力,我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系,一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模,并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明,该方法可以提高合成语音的说话人相似度,特别是对未知说话人。
2022-11-11 cs.SD eess.AS
Multi-accent Speech Separation with One Shot Learning
National Taiwan University(国立台湾大学)
语音分离是近年来语音处理领域研究的热点问题。然而,还没有太多的工作研究多口音语音分离的情况。未知说话人的新口音和噪声引起的域失配问题,不能很容易地解决传统的联合训练方法。因此,我们应用MAML和FOMAML来解决这个问题,并在几乎所有看不见的口音上获得了比联合训练更高的平均Si-SNRi值。这证明了这两种方法确实有能力生成经过良好训练的参数,以适应新说话人和口音的语音混合。此外,我们发现,FOMAML获得类似的性能相比,MAML,同时节省了大量的时间。
2021-08-05 cs.SD eess.AS
Masked Autoencoders Are Articulatory Learners
University Of Maryland, College Park(马里兰大学帕克分校);Institute For Systems Research(系统研究所)
本文提出基于Masked Autoencoders的深度学习方法,成功重建XRMB数据集中被错误追踪的发音记录,恢复了3.28小时此前无法使用的录音。
2023-05-18 cs.LG cs.SD eess.AS
DDSupport: Language Learning Support System that Displays Differences and Distances from Model Speech
The University of Tokyo, Tokyo, Japan(东京大学);Sony CSL Kyoto, Kyoto, Japan(索尼CSL京都)
本文提出DDSupport系统,通过小规模未标注语音数据计算学习者发音评分和错误识别,以直观方式展示学习者与模型发音的差异和距离,帮助非母语者提升英语口语清晰度。
2022-12-08 cs.HC cs.LG cs.SD
DeCodec: Rethinking Audio Codecs as Universal Disentangled Representation Learners
Jiutian Artificial Intelligence Research Institute, China Mobile, China State Key Laboratory of Multimedia Information Processing, Peking University, China(九天人工智能研究院,中国移动,国家多媒体信息处理重点实验室,北京大学)
DeCodec通过正交子空间投影和表示交换训练,将音频编解码器转化为通用解耦表示学习器,实现语音与背景声音及语义与副语言的分层解耦,支持灵活特征选择,在语音增强、声音转换、ASR和TTS中展现新能力。
2025-09-11 cs.SD
ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models
AITRICS;KAIST(韩国科学技术院)
提出ZET-Speech零样本自适应情感可控TTS模型,通过在扩散模型上应用域对抗学习和引导方法,仅用短中性语音和情感标签即可为已见和未见说话人合成自然情感语音。
2023-05-23 cs.CL cs.SD eess.AS
Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation
Alibaba DAMO Academy(阿里巴巴达摩院)
端到端语音翻译的目的是将源语言的语音翻译成目标语言的文本而不产生中间译文。然而,端到端方法的训练依赖于并行ST数据,这是困难和昂贵的获得。幸运的是,自动语音识别(ASR)和机器翻译(MT)的监督数据通常更容易获得,这使得zero-shot语音翻译成为一个潜在的方向。现有的zero-shot方法无法将语音和文本这两种模态对齐到共享的语义空间中,导致与有监督ST方法相比性能差得多。为了使zero-shot ST,我们提出了一种新的离散跨模态对齐(DCMA)方法,采用共享的离散词汇空间,以适应和匹配语音和文本的模态。具体来说,我们引入了一个矢量量化模块,将语音和文本的连续表示离散化为一个有限的虚拟令牌集,并使用ASR数据将相应的语音和文本映射到共享码本中的同一个虚拟令牌。这样,源语言语音可以被嵌入到与源语言文本相同的语义空间中,然后可以使用MT模块将其转换为目标语言文本。多语言对的实验表明,我们的zero-shot ST方法显着提高了SOTA,甚至表现出与强监督ST基线。
2022-10-18 cs.CL cs.SD eess.AS
Zero-Shot vs. Few-Shot Multi-Speaker TTS Using Pre-trained Czech SpeechT5 Model
NTIS – New Technologies for the Information Society(NTIS——信息社会新技术研究院);Faculty of Applied Sciences(应用科学学院);University of West Bohemia in Pilsen(西波希米亚大学(比尔森))
本文基于大规模数据预训练SpeechT5模型并微调,在零样本和少样本多说话人TTS任务上验证,发现仅用一分钟数据即可生成高质量且相似度高的合成声音。
2024-07-24 cs.CL cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation(日本电信电话株式会社)
针对零样本TTS在含噪参考语音下质量下降的问题,提出通过在SSL模型中引入适配器并用含噪语音联合微调,同时结合语音增强前端,实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Zero-Shot Parkinson's Disease Detection from Speech: Comparing Large Audio and Language Models
School of Computing, Mathematics and Engineering, Charles Sturt University(计算机科学与工程学院,查尔斯·斯图尔特大学);Department of Computer Science, Rensselaer Polytechnic Institute(计算机科学系,伦塞拉尔理工学院)
通过比较手工声学特征和原始音频波形两种输入模态,研究零样本帕金森病检测在不同语言中的性能差异,发现手工特征在低资源语言中更稳定,而音频输入带来数据集依赖的增益。
2026-05-24 cs.AI cs.SD eess.AS
HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis
Korea University(高丽大学)
本文提出 HierSpeech++,一种基于分层变分自编码器的快速且强大的零样本语音合成器,通过 text-to-vec 框架和高效超分辨率技术,在 TTS 和 VC 任务中显著提升了鲁棒性、自然度与说话人相似度,实现了首个达到人类水平质量的零样本语音合成。
2023-11-27 cs.AI cs.MM cs.SD
SLMGAN: Exploiting Speech Language Model Representations for Unsupervised Zero-Shot Voice Conversion in GANs
Columbia University(哥伦比亚大学)
该研究提出SLMGAN方法,以StarGANv2-VC为基础加入基于SLM的WavLM判别器和SLM特征匹配损失,实现无监督零样本语音转换,自然度优于现有SOTA模型且相似度相当。
2023-07-18 cs.AI cs.SD eess.AS
Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration
Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
给定一段语音及其转录文本,基于文本的语音编辑旨在通过编辑转录文本来生成可以无缝插入到给定语音中的语音。现有的方法采用两个阶段的方法:使用通用的文本到语音(TTS)引擎合成输入文本,然后使用语音转换(VC)将语音转换为所需的语音。该框架的一个主要问题是VC是一个具有挑战性的问题,通常需要适量的并行训练数据才能令人满意地工作。在本文中,我们提出了一个一阶段的上下文感知框架,以产生自然和连贯的目标语音,没有任何训练数据的目标说话人。特别是,我们设法执行准确的zero-shot持续时间预测的插入文本。预测的持续时间用于调节文本嵌入和语音嵌入。然后,基于对齐的跨模态输入,我们直接生成编辑后的语音与基于变换器的解码器的梅尔频谱图。主观听力测试表明,尽管缺乏说话人的训练数据,我们的方法取得了令人满意的结果。它比最近的一个zero-shot TTS引擎性能好得多。
2021-09-12 cs.AI cs.SD eess.AS
MultiVerse: Efficient and Expressive Zero-Shot Multi-Task Text-to-Speech
SK Telecom(SK电信);NC Research(NC研究院);NCSOFT Corp.(NCsoft公司)
MultiVerse通过源-滤波器解耦和自回归与非自回归结合的韵律建模,在极少训练数据下实现零样本多任务TTS和风格迁移,性能媲美甚至超越数据驱动系统。
2024-10-04 cs.AI cs.SD eess.AS
WESPER: Zero-shot and Realtime Whisper to Normal Voice Conversion for Whisper-based Speech Interactions
The University of Tokyo(东京大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
识别耳语语音并将其转换为正常语音为语音交互创造了许多可能性。由于耳语语音的声压明显低于正常语音,因此可以在公共场所作为一种半无声的语音交互,而不会被他人听到。将耳语转换为正常语音还可以提高有语音或听力障碍的人的语音质量。然而,传统的语音转换技术不提供足够的转换质量或需要由成对的低声和正常语音发声组成的说话者相关的数据集。为了解决这些问题,我们提出了WESPER,一个zero-shot,实时耳语到正常的语音转换机制的基础上自监督学习。WESPER由一个语音到单元(STU)编码器和一个单元到语音(UTS)解码器组成,STU编码器生成耳语和正常语音共同的隐藏语音单元,UTS解码器从编码的语音单元重建语音。与现有的方法不同,这种转换是用户独立的,并且不需要用于低声和正常语音的配对数据集。UTS解码器可以从语音单元中重建任何目标说话人的语音,并且它只需要未标记的目标说话人的语音数据。我们证实,从耳语转换的语音质量得到了改善,同时保留了其自然的韵律。此外,我们还证实了所提出的方法对语言或听力残疾人进行语音重建的有效性。(项目页面:http://lab.rekimoto.org/projects/wesper)
2023-03-03 cs.HC cs.SD eess.AS
Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal
Qatar Computing Research Institute, Doha, Qatar(卡塔尔计算研究所,多哈,卡塔尔)
提出仅使用母语语音资源训练的轻量级发音评估框架,通过离散化语音标记和语言模型计算意外度,结合文本引导对齐特征,在无监督或少量校准下达到接近监督方法的性能。
2026-06-24 cs.CL cs.SD eess.AS
Zero-Shot Text-to-Speech for Vietnamese
Movian AI
本文构建了包含941小时高质量越南语语音的PhoAudiobook数据集,并在VALL-E、VoiceCraft和XTTS-V2三个零样本TTS模型上验证其能持续提升多项性能指标,同时发现VALL-E和VoiceCraft在短句合成上表现更优。
2025-06-02 cs.CL cs.SD eess.AS
VoiceShop: A Unified Speech-to-Speech Framework for Identity-Preserving Zero-Shot Voice Editing
ByteDance(字节跳动)
本研究提出统一语音转语音框架VoiceShop,基于条件扩散骨干模型搭配可选编辑模块,单次前向传播即可零样本修改语音多种属性且保留说话者音色,解决了以往专用模型效果弱、无零样本能力、音色泄漏的问题。
2024-04-11 cs.AI cs.SD eess.AS
Generalizable Zero-Shot Speaker Adaptive Speech Synthesis with Disentangled Representations
University of New South Wales(新南威尔士大学)
针对零样本说话人自适应语音合成中未见过说话人语音自然度与相似度下降的问题,提出引入解耦表征和变分自编码器增强的GZS-TV模型,提升了泛化性且在多数据集上优于基线。
2023-08-24 cs.AI cs.SD eess.AS
Direct multimodal few-shot learning of speech and images
Stellenbosch University(斯泰伦博斯大学)
我们提出了直接的多模态Few-Shot模型,该模型仅从几个成对的示例中学习口语和图像的共享嵌入空间。想象一下,一个智能体被展示了一幅图像,以及描述图片中物体的一个口语单词,例如笔,书和橡皮擦。在观察了每个类别的一些配对示例后,模型被要求在一组看不见的图片中识别“书”。以前的工作使用了两步间接的方法,依赖于学习的单峰表示:语音-语音和图像-图像比较在给定的语音-图像对的支持集上进行。我们提出了两个直接模型,而是学习一个单一的多模态空间,其中来自不同模态的输入是直接可比的:多模态三重网络(MTriplet)和多模态对应自动编码器(MCAE)。为了训练这些直接模型,我们挖掘语音图像对:支持集用于配对未标记的域内语音和图像。在语音到图像数字匹配任务中,直接模型优于间接模型,MTriplet实现了最佳的多模态五次精度。我们表明,改进是由于无监督和迁移学习在直接模型的组合,以及没有两步复合误差。
2021-07-29 cs.CL cs.SD eess.AS
Speech Representation Disentanglement with Adversarial Mutual Information Learning for One-shot Voice Conversion
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);The Chinese University of Hong Kong(香港中文大学)
仅参考单个目标说话人语音的一次性语音转换(VC)已成为研究热点。现有的作品通常会将音色分解,而关于音高、节奏和内容的信息仍然混合在一起。为了有效地执行一次性VC,进一步解开这些语音分量,我们采用随机重定向的音高和内容编码器,并使用变分对比对数比互信息和基于梯度反转层的对抗性互信息学习的上限,以确保在训练过程中潜在空间的不同部分只包含所需的解开表示。在VCTK数据集上的实验表明,该模型在自然度和可重构性方面达到了一次性VC的最佳性能。此外,我们可以通过语音表示解纠缠来分别传递单次VC在音色、音高和节奏上的特征。我们的代码、预训练模型和演示可在https://im1eon.github.io/IS2022-SRDVC/上获得。
2022-08-18 cs.LG cs.SD eess.AS
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation(日本电信电话公司)
针对零样本 TTS 中未见说话人特征复现不足的问题,提出直接利用 SSL 语音表示并分离声学特征与时长条件,提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
ZeSTA: Zero-Shot TTS Augmentation with Domain-Conditioned Training for Data-Efficient Personalized Speech Synthesis
Maum AI Inc.(Maum AI公司);Humelo Inc.(Humelo公司)
提出ZeSTA框架,通过轻量领域嵌入区分真实与合成语音,结合真实数据过采样,在极低资源下提升零样本文本转语音增强的说话人相似度,保持可懂度和感知质量。
2026-06-23 cs.AI cs.SD eess.AS
DisCo-Speech: Controllable Zero-Shot Speech Generation with A Disentangled Speech Codec
China Mobile Nineverse Artificial Intelligence Technology (Beijing) Co., Ltd.(中国移动Nineverse人工智能技术(北京)有限公司);Nineverse Institute of Artificial Intelligence(Nineverse人工智能研究院);The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China(多媒体信息处理国家重点实验室,北京大学,北京,中国)
DisCo-Speech通过解耦语音编解码器实现可控零样本语音生成,提升语音克隆与语调控制性能。
2026-01-04 cs.SD
CosyEdit2: Speech-Editing-Oriented Reinforcement Learning Unlocks Better Zero-Shot TTS
College of Computer Science, Nankai University(南开大学计算机科学学院);College of Artificial Intelligence, Nankai University(南开大学人工智能学院)
提出CosyEdit2,通过两阶段后训练框架(监督编辑初始化+基于目标语音无关数据的编辑导向GRPO)解决语音编辑与零样本TTS的局部声学一致性问题,显著提升编辑性能并增强零样本TTS能力。
2026-05-26 cs.SD
EditVoice: Variable-Length Non-Autoregressive Zero-Shot TTS and Speech Editing with Edit Flows
School of Informatics, Xiamen University(厦门大学信息学院);School of Electronic Science and Engineering, Xiamen University(厦门大学电子科学与工程学院)
EditVoice是首个变长非自回归零样本TTS模型,利用编辑流实现语音内容与长度联合更新,统一TTS与编辑任务,在多个基准上性能优异。
2026-10-14 cs.SD
Rhythm Zone Theory: Speech Rhythms are Physical after all
Jinan University(暨南大学)
语音节奏主要有三种方式:从语言学和应用语言学中对节奏作为音节和音步计时的相关性的内省分析,通过对与辅音和元音特性、音节、音步和单词相关的话语段的持续时间的分析,到语音产生和感知中的节奏模型作为物理振荡。本研究避免了内省和人类过滤注释方法,并通过添加额外的分析步骤的边缘检测,并假设在可识别的边缘标记的节奏区(节奏区理论,RZT)的多个语音节奏共存的幅度包络谱分析的信号处理范例。RZT的效用进行了探索性的调查,表明本族语和非本族语阅读相同的文本是不同的子类型的阅读讲话:一个阅读由美国母语和非本族语阅读相对低性能的广东成人英语学习者。该研究的结论是,使用所使用的方法,RZT可以区分母语阅读与非母语学习者阅读的定义明确的子类型的语音节奏,但需要进一步完善,以适用于矛盾的更复杂的语音低性能语言学习者,他们的言语节奏除了受语法、词汇和语篇制约等语言因素的影响外,还受非流利性和非流利性因素的共同影响。
2019-03-12 cs.CL cs.SD q-bio.NC
BridgeCode: A Dual Speech Representation Paradigm for Autoregressive Zero-Shot Text-to-Speech Synthesis
South China University of Technology, Guangzhou, China(华南理工大学);Foshan University, Foshan, China(佛山大学)
本文提出基于双语音表示范式BridgeCode的AR-TTS框架BridgeTTS,通过预测稀疏token并重建连续特征减少迭代,联合优化目标,在加速合成的同时保持高质量与说话人相似度。
2025-10-13 cs.SD
A Weakly-Supervised Streaming Multilingual Speech Model with Truly Zero-Shot Capability
Microsoft Speech Group(微软语音组)
本文提出流式多语言语音模型SM2,以Transformer Transducer为骨干,利用机器翻译生成的弱监督数据训练,在351千小时25种语言数据上取得与非流式模型相当或更优的语音翻译质量,并展现出面向新目标语言的真正零样本能力。
2023-07-05 cs.AI cs.CL cs.SD
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore(信息与通信研究所(I2R)、科技研究局(A*STAR)、新加坡)
本文提出PUE方法,利用LLM-TTS架构和情感引导提示学习,在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
FMSD-TTS: Few-shot Multi-Speaker Multi-Dialect Text-to-Speech Synthesis for Ü-Tsang, Amdo and Kham Speech Dataset Generation
本文提出FMSD-TTS框架,通过少量参考音频和方言标签实现多方言文本到语音合成,引入新颖的说话人-方言融合模块和方言专用动态路由网络,提升方言表达和说话人相似度,公开发布大规模合成藏语语音语料库及开源评估工具。
2026-04-24 cs.AI cs.CL cs.SD