Voice Cloning: Comprehensive Survey
Computer Vision Department, MBZUAI（计算机视觉部门，MBZUAI）；University of Ottawa（渥太华大学）
本文全面综述了语音克隆技术，以说话人自适应为基础探讨少样本、零样本及多语言TTS等变体，并介绍评估指标与数据集，旨在促进生成与检测研究以限制技术滥用。
2025-05-01 cs.AI cs.SD eess.AS
Expressive Neural Voice Cloning
University of California San Diego（加州大学圣地亚哥分校）
语音克隆是学习从几个样本中合成一个看不见的说话者的声音的任务。虽然目前的语音克隆方法在文本到语音（TTS）合成新的声音取得了可喜的成果，这些方法缺乏控制合成音频的表现力的能力。在这项工作中，我们提出了一个可控的语音克隆方法，允许细粒度控制的合成语音的各种风格方面的一个看不见的扬声器。我们实现了这一点，明确条件的语音合成模型的扬声器编码，音高轮廓和潜在的风格令牌在训练过程中。通过定量和定性的评价，我们表明，我们的框架可以用于各种表达的语音克隆任务，只需要几个转录或未转录的语音样本的一个新的扬声器。这些克隆任务包括从参考语音进行风格转换、直接从文本合成语音以及通过在推理期间操纵风格条件变量来进行细粒度风格控制。
2021-01-30 cs.LG cs.SD eess.AS
Tacit-TTS: From Autoregressive Decoding to Masked Prediction for Efficient Transcript-Free Voice Cloning
Dolby Laboratories（杜比实验室）
针对自回归TTS延迟高、非自回归依赖转录的问题，提出Tacit-TTS，用掩码预测替代自回归解码，实现免转录零样本克隆，速度提升10倍以上，且支持跨语言与非词汇参考。
2026-10-01 cs.CL cs.SD eess.AS
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
本文提出自回归神经编解码语言模型VoiceCraft-X，基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务，在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
Zero-Shot Long-Form Voice Cloning with Dynamic Convolution Attention
Azoft Inc.（阿佐夫特公司）
随着语音克隆技术的发展，目标说话人的语音合成性能已接近人类水平。然而，自回归语音克隆系统仍然遭受文本对齐失败，导致无法合成长句。在这项工作中，我们提出了一种基于注意力的文本到语音系统的变体，可以从几秒钟的参考语音中再现目标语音，并推广到很长的话语。所提出的系统是基于三个独立训练的组件：扬声器编码器，合成器和通用声码器。对长话语的概括是使用称为动态卷积注意力的基于能量的注意力机制，结合针对基于Tacotron 2的合成器提出的一组修改来实现的。此外，有效的zero-shot扬声器自适应是通过调节合成器和声码器的扬声器编码器，已经预先训练了一个大的语料库的各种数据。我们比较了语音克隆系统的语音自然度，说话人相似性，对齐一致性和合成长话语的能力方面的几个实现，并得出结论，该模型可以产生可理解的合成语音非常长的话语，同时保留了很高程度的自然性和相似性的短文本。
2022-01-26 cs.CL cs.LG cs.SD
JoyTTS: LLM-based Spoken Chatbot With Voice Cloning
JD Health International Inc.（京东健康国际有限公司）
JoyTTS 结合 LLM 与 TTS 技术构建端到端语音聊天机器人，基于 MiniCPM-o 和 CosyVoice2 在 2000 小时对话数据上训练，支持语音克隆，并开源全部代码与模型。
2025-07-03 cs.CL cs.SD eess.AS
FlashLabs Chroma 1.0: A Real-Time End-to-End Spoken Dialogue Model with Personalized Voice Cloning
FlashLabs
FlashLabs Chroma 1.0是一种实时端到端语音对话模型，通过交错调度实现低延迟和高保真个性化语音克隆，提升了说话人相似性并保持对话能力。
2026-01-16 cs.CL cs.SD eess.AS
CUHK-EE Voice Cloning System for ICASSP 2021 M2VoC Challenge
CUHK-EE（香港中文大学电子工程系）
本文介绍了用于ICASSP 2021 M2 VoC挑战的CUHK-EE语音克隆系统。该挑战提供了两个普通话语音语料库：AIShell-3语料库的218个扬声器的噪声和混响和MST语料库，包括一个男性和一个女性扬声器的高质量的语音。音轨1和音轨2分别提供3个目标说话人的100个和5个不同语音和风格的话语，要求参与者按照目标说话人的语音和风格合成语音。我们参加了音轨1，并根据目标说话人的100个话语进行语音克隆。为了完成这一任务，本文设计并实现了一个端到端的语音克隆系统。一个文本和语音前端模块的帮助下，强制对齐，2.结合Tacotron 2和DuRIAN的声学模型来预测melspectrogram，3. Hifigan声码器用于波形生成。我们的系统包括三个阶段：多说话人训练阶段，目标说话人自适应阶段和目标说话人合成阶段。我们的团队被确定为T17。由挑战赛组织者提供的主观评价结果证明了我们的系统的有效性。音频样本可以在我们的演示页面上找到：https://daxintan-cuhk.github.io/CUHK-EE-system-M2VoC-challenge/。
2021-07-05 cs.SD eess.AS
A multi-speaker multi-lingual voice cloning system based on vits2 for limmits 2024 challenge
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Information and Communication Engineering, Communication University of China（中国传媒大学信息与通信工程学院）；Shanghai Polytechnic University（上海第二工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文针对LIMMITS'24挑战赛，基于VITS2架构结合多语言ID与BERT模型，构建了支持七种印度语言的多说话人多语言语音克隆系统，在Track 1和Track 2中分别取得4.02和4.17的说话人相似度得分。
2024-06-22 cs.CL cs.SD eess.AS
Data Efficient Voice Cloning for Neural Singing Synthesis
Universitat Pompeu Fabra（庞培法布拉大学）；Yamaha Corporation（雅马哈公司）
在歌唱合成中有许多用例，其中需要从少量数据创建声音。在文本到语音转换中，将语音克隆技术应用于基于现代深度学习的模型已经取得了一些有希望的成果。在这项工作中，我们适应这样的技术的情况下，歌唱合成。通过利用来自许多说话者的数据首先创建多说话者模型，少量的目标数据可以有效地使模型适应新的看不见的声音。我们使用跨许多不同用例、语言和数据类型的听力测试来评估系统。
2019-02-19 cs.LG cs.SD eess.AS
Detecting Voice Cloning Attacks via Timbre Watermarking
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
提出“音色水印”概念及端到端抗语音克隆框架，通过频域时间不变水印与攻击共享过程建模，实现对多种语音克隆和自适应攻击的鲁棒检测。
2023-12-06 cs.MM cs.SD eess.AS
OpenVoice: Versatile Instant Voice Cloning
MIT（麻省理工学院）；Tsinghua University（清华大学）
本研究提出OpenVoice多功能即时语音克隆方法，实现灵活语音风格控制与零样本跨语言克隆，计算成本远低于商用API，已开源并获大规模应用。
2024-08-18 cs.LG cs.SD eess.AS
Unet-TTS: Improving Unseen Speaker and Style Transfer in One-shot Voice Cloning
CloudMinds Inc.（达闼科技）
单次语音克隆是指在文本到语音（TTS）系统中，只使用目标参考语音的一次录音，对合成语音中说话人的声音和说话风格进行转换。域外传输仍然是一个具有挑战性的任务，影响合成语音的准确性和相似性的一个重要方面是从有限的参考文献中提取的携带说话人或风格线索的条件表示。在本文中，我们提出了一种新的一次性语音克隆算法称为Unet-TTS，具有良好的泛化能力，不可见的扬声器和风格。该模型基于跳跃连接的U网结构，能够有效地从参考音频中发现说话人级和话语级的频谱特征细节，从而能够准确地推断出复杂的声学特征，并在合成语音中模仿说话风格。根据主观和客观的相似性评价，新模型优于说话人嵌入和无监督风格建模（GST）方法在一个看不见的情感语料库。
2022-02-24 cs.SD eess.AS
Data Efficient Voice Cloning from Noisy Samples with Domain Adversarial Training
Northwestern Polytechnical University（西北工业大学）；Meituan-Dianping Group（美团点评集团）
数据有效的语音克隆是指利用少量的注册样本合成目标说话人的语音。为此，说话人自适应和说话人编码是两种典型的基于多个说话人训练的基模型的方法。前者使用少量的目标说话人数据集，通过直接模型更新将多说话人模型转换为目标说话人的语音;而在后者中，只有几秒钟的目标说话人音频直接通过额外的说话人编码模型与多说话人模型一起合成目标说话人的语音，而无需模型更新。尽管如此，这两种方法都需要干净的目标说话人数据。然而，在实际应用中，用户提供的样本不可避免地会包含噪声。在有噪声的数据中生成目标语音仍然具有挑战性。在本文中，我们研究了数据有效的语音克隆问题，从噪声样本下的序列到序列的TTS范式。具体来说，我们将域对抗训练（DAT）引入到说话人自适应和说话人编码中，旨在从语音噪声混合物中分离噪声。实验结果表明，无论是说话人自适应还是编码，该方法都能从带噪说话人样本中合成出纯净语音，明显优于采用最新语音增强模块的方法。
2020-08-11 cs.SD eess.AS
Pronunciation Deviation Analysis Through Voice Cloning and Acoustic Comparison
California State University Long Beach（加州州立大学长滩分校）
本文提出一种通过分析用户原始语音与具有正确发音的语音克隆副本之间的声学偏差来检测发音错误的新方法，该方法无需预定义语音规则或大量训练数据即可精确定位发音错误。
2025-07-15 cs.AI cs.SD eess.AS
Learning to Speak Fluently in a Foreign Language: Multilingual Speech Synthesis and Cross-Language Voice Cloning
Google（谷歌）
我们提出了一个多说话人，多语言的文本到语音（TTS）合成模型的基础上，Tacotron，能够产生高质量的语音在多种语言。此外，该模型能够跨语言传输语音，例如使用英语说话者的语音合成流利的西班牙语语音，而无需对任何双语或并行示例进行训练。这种迁移可以跨远亲语言工作，例如英语和普通话。实现这一目标的关键是：1。使用音素输入表示来鼓励跨语言共享模型容量，以及2.结合对抗损失项以鼓励模型将其说话者身份的表示（其与训练数据中的语言完全相关）从语音内容中分离出来。通过对每种语言的多个说话者进行训练，并结合自动编码输入以帮助在训练期间稳定注意力，进一步扩大模型，从而产生一种模型，该模型可用于一致地合成可理解的语音，用于训练在训练期间看到的所有语言的训练说话者，以及母语或外国口音。
2019-07-24 cs.CL cs.SD eess.AS
Neural voice cloning with a few low-quality samples
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
在本文中，我们探讨的可能性，语音合成从低质量的发现数据，只有有限数量的样本的目标说话人。我们尝试只提取说话人嵌入从发现的数据的目标说话人不像以前的作品，试图训练整个文本到语音系统上发现的数据。此外，两个说话人模仿方法，这是适应和说话人编码器为基础的应用在新发布的LibriTTS数据集和以前发布的VCTK语料库，以检查说话人的多样性对清晰度和目标说话人相似性的影响。
2020-06-12 cs.SD eess.AS
Latent linguistic embedding for cross-lingual text-to-speech and voice conversion
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（高等研究生院大学））
由于最近提出的语音克隆系统，NAUTILUS，是能够克隆看不见的声音使用未转录的语音，我们调查的可行性，使用它来开发一个统一的跨语言的TTS/VC系统。跨语言语音生成是指用目标说话人的声音生成一种非母语的语音。这种类型的系统不是简单地克隆目标说话者的声音，而是在特定的框架下创建一个可以被认为比原始声音更好的新声音。通过使用经过良好训练的英语潜在语言嵌入来为2020年语音转换挑战赛中的几个德语，芬兰语和普通话使用者创建跨语言TTS和VC系统，我们表明我们的方法不仅可以创建具有高说话者相似性的跨语言VC，而且可以无缝地用于跨语言TTS，而无需执行任何额外的步骤。然而，主观评价的感知自然度似乎不同的目标扬声器，这是未来的改进之一。
2020-10-08 cs.CL cs.SD eess.AS
KIT's Submission to Cross-Lingual Voice Cloning in IWSLT 2026
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Carnegie Mellon University (CMU)（卡内基梅隆大学）；KIT Campus Transfer (KCT)（KIT校区转移）
针对跨语言语音克隆中的口音变化和领域词汇问题，基于FishAudio-S2-Pro多语言文本转语音模型，引入语言标签提示、强化学习微调和参考条件词汇匹配方法，提升可懂度和自然度。
2026-06-05 cs.CL cs.SD
VoiceMark: Zero-Shot Voice Cloning-Resistant Watermarking Approach Leveraging Speaker-Specific Latents
Tsinghua University（清华大学）；Pengcheng Laboratory（鹏城实验室）
针对零样本语音克隆场景下现有水印方法失效的问题，提出VoiceMark，利用说话人特定隐变量作为水印载体，实现零样本合成后超95%的水印检测准确率。
2025-05-30 cs.AI cs.CR cs.SD
Voice Cloning for Dysarthric Speech Synthesis: Addressing Data Scarcity in Speech-Language Pathology
KTH Royal Institute of Technology（瑞典皇家理工学院）；Karolinska Institutet（卡罗林斯卡学院）
本研究利用TORGO数据集和商业平台克隆构音障碍患者语音，证明合成语音能有效保留异常特征且具高真实感，为缓解医疗数据稀缺、保护隐私及提升AI诊断与个性化治疗提供了新途径。
2025-03-03 cs.AI cs.SD eess.AS
Exact Prosody Cloning in Zero-Shot Multispeaker Text-to-Speech
University of Stuttgart（斯图加特大学）
使用未转录的参考样本克隆说话人的声音是现代神经文语转换（TTS）方法的重大进展之一。最近还提出了用于模仿转录的参考音频的韵律的方法。在这项工作中，我们把这两个任务一起第一次通过话语级归一化结合话语级说话人嵌入。我们还介绍了一个轻量级的对齐器，用于提取细粒度的韵律特征，可以在几秒钟内对单个样本进行微调。我们表明，它是可能的克隆的声音的扬声器，以及独立的语音参考的韵律没有任何质量下降和高相似性的原始语音和韵律，我们的客观评价和人类的研究表明。我们所有的代码和训练模型都是可用的，还有静态和交互式演示。
2022-10-21 cs.CL cs.SD eess.AS
VoiceCloak: A Multi-Dimensional Defense Framework against Unauthorized Diffusion-based Voice Cloning
VoiceCloak通过多维防御机制有效对抗未经授权的基于扩散的语音克隆，通过扰动参考音频和破坏条件引导过程来混淆说话者身份并降低语音质量。
2025-12-09 cs.AI cs.CV cs.MM
Voice "Cloning" is Style Transfer
Cornell University（康奈尔大学）；TogetherAI；Stanford University（斯坦福大学）
研究发现语音克隆并非忠实复制原声，而是系统性地应用风格迁移，使克隆语音更权威、温暖、客服化且更人性化，导致说话者特征同质化，并影响人类信任与行为。
2026-10-07 cs.AI cs.HC cs.LG
Advancing Voice Cloning for Nepali: Leveraging Transfer Learning in a Low-Resource Language
Khwopa College Of Engineering（阔帕工程学院）
本文针对尼泊尔语低资源场景，利用迁移学习构建语音克隆系统，解决了音频质量差和数据匮乏问题，实现了带有尼泊尔语口音的自然语音输出。
2024-08-23 cs.AI cs.LG cs.SD
X-Voice: Enabling Everyone to Speak 30 Languages via Zero-Shot Cross-Lingual Voice Cloning
MoE Key Lab of Artificial Intelligence, X-LANCE Lab, Shanghai Jiao Tong University（摩埃人工智能重点实验室、X-LANCE实验室、上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Center for Language and Speech Processing, Johns Hopkins University（语言与语音处理中心、约翰霍普金斯大学）；Geely（吉利）；Dataocean AI（数据海洋人工智能）；Zhejiang University（浙江大学）；Fudan University（复旦大学）
X-Voice通过双阶段训练和多语言语音合成架构，实现零样本跨语言语音克隆，优于现有多语言系统并在性能上接近大规模模型。
2026-05-09 cs.AI cs.SD eess.AS
V2C: Visual Voice Cloning
University of Adelaide（阿德莱德大学）；South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）
现有的语音克隆（VC）任务旨在将段落文本转换为具有由参考音频指定的期望语音的语音。这极大地推动了人工语音应用的发展。但是，也存在很多VC任务无法很好体现的场景，比如电影配音，需要语音带有与电影情节一致的情感。为了填补这一空白，在这项工作中，我们提出了一个新的任务，名为视觉语音克隆（V2 C），它旨在将一段文字转换为语音与所需的语音指定的参考音频和所需的情感指定的参考视频。为了促进这一领域的研究，我们构建了一个数据集，V2 C-Animation，并基于现有的最先进的（SoTA）VC技术提出了一个强大的基线。我们的数据集包含10，217个动画电影剪辑，涵盖各种类型（例如，喜剧，幻想）和情感（例如，快乐、悲伤）。我们进一步设计了一套评价指标，命名为MCD-DTW-SL，这有助于评估地面实况语音和合成的相似性。大量的实验结果表明，即使SoTA VC方法不能为我们的V2 C任务生成令人满意的语音。我们希望所提出的新任务以及构建的数据集和评估指标将促进语音克隆领域的研究和更广泛的视觉和语言社区。
2021-11-25 cs.CV cs.SD eess.AS
The THU-HCSI Multi-Speaker Multi-Lingual Few-Shot Voice Cloning System for LIMMITS'24 Challenge
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；ByteDance（字节跳动）
本文提出THU-HCSI团队面向LIMMITS'24挑战赛的语音克隆系统，基于YourTTS引入说话人感知编码器与流解码器，结合去噪和平衡采样微调，在track 1取得最佳4.25说话人相似度MOS。
2024-04-25 cs.SD eess.AS
MM-Sonate: Multimodal Controllable Audio-Video Generation with Zero-Shot Voice Cloning
Kuaishou Technology（快手科技）
MM-Sonate通过统一的指令-音素输入实现可控的音频视频联合生成与零样本语音克隆，显著提升唇形同步和语音可懂度，同时保持与专门文本到语音系统的语音克隆保真度。
2026-01-08 cs.AI cs.CV cs.MM
Multi-modal Adversarial Training for Zero-Shot Voice Cloning
Zoom Video Communications（Zoom视频通信公司）；Cartesia AI
针对零样本语音克隆中TTS模型预测趋于平均化的问题，提出基于Transformer编码器-解码器的GAN判别器，结合FastSpeech2声学模型与Libriheavy数据集进行多模态对抗训练，显著提升了语音质量与说话人相似度。
2024-08-28 cs.LG cs.SD eess.AS
Can we steal your vocal identity from the Internet?: Initial investigation of cloning Obama's voice using GAN, WaveNet and low-quality found data
National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；University of Eastern Finland（东芬兰大学）
由于欺骗数据库的可用性不断增加，以及使用这些数据库的快速发展，用于检测语音欺骗攻击的系统变得越来越强大，ASVspoof2015数据库的错误率接近于零。然而，ASVspoof2015数据库中没有考虑的语音合成和语音转换范例正在出现。这样的例子包括直接波形建模和生成对抗网络。我们还需要研究仅使用低质量发现数据训练欺骗系统的可行性。为此，我们开发了一个基于生成对抗网络的语音增强系统，该系统可以提高公开来源中语音数据的质量。使用增强的数据，我们训练了最先进的文本到语音和语音转换模型，并在感知语音质量和说话人相似性方面对其进行了评估。结果表明，增强模型显着提高了SNR的低质量退化的数据中发现的公开来源，他们显着提高了源语音的感知清洁度，而不会显着降低语音的自然度。然而，当用低质量的发现数据生成语音时，结果也显示出局限性。
2018-03-02 cs.CL cs.SD eess.AS
EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control
Columbia University（哥伦比亚大学）
EmoKnob提出一种基于少样本示例的细粒度情感控制语音合成框架，支持开放式文本描述情感，并通过新评估指标验证其超越商业TTS的情感表现力。
2024-10-01 cs.AI cs.CL cs.HC
Accent Analogy Guidance: More Speaker Similarity at Equal Accent in Cross-Lingual Voice Cloning
ESTsoft
针对跨语言语音克隆中的口音泄漏问题，提出训练无关的口音类比引导（AAG）方法，通过减去模型自身预测估计的口音方向，在保持口音不变的同时提升说话人相似度，并在多个开源TTS模型上验证了有效性。
2026-09-25 cs.CL cs.SD eess.AS
Neural Multi-Speaker Voice Cloning for Nepali in Low-Resource Settings
本研究提出了一种少样本语音克隆系统，用于尼泊尔语低资源环境下的语音合成，通过训练说话人编码器和Tacotron2合成器实现个性化语音生成。
2026-01-26 cs.AI cs.SD
Self-supervised learning for robust voice cloning
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务部）
语音克隆是一项困难的任务，它需要在高质量的TTS系统中加入强大的和信息丰富的功能，以便有效地复制一个看不见的扬声器的声音。在我们的工作中，我们利用通过Bootstrap Your Own Latent（BYOL）方法在自监督框架中学习的功能，当特定的音频增强应用于香草算法时，该方法可以产生高质量的语音表示。我们进一步扩展了训练过程中的增强，以帮助产生的功能，以捕捉扬声器的身份，并使他们强大的噪声和声学条件。学习到的特征被用作预先训练的话语级嵌入和作为基于非注意Tacotron架构的输入，旨在实现多扬声器语音合成而不利用额外的扬声器特征。这种方法使我们能够在未标记的多说话者数据集中训练我们的模型，并使用看不见的说话者嵌入来复制说话者的声音。主观和客观的评价被用来验证所提出的模型，以及目标话语的声学条件的鲁棒性。
2022-11-02 cs.LG cs.SD eess.AS
Cloning one's voice using very limited data in the wild
ByteDance（字节跳动）
随着语音合成产品的日益普及，业界对个性化的语音合成提出了更多的要求：（1）如何利用低资源、易获取的数据克隆一个人的声音。(2)如何克隆一个人的声音，同时控制风格和韵律。针对这两个问题，提出了Hieratron模型框架，将韵律和音色分别用两个模块建模，从而在生成语音的同时实现对音色和音频其他特性的独立控制。实践表明，对于野外非常有限的目标说话人数据，Hieratron方法比传统方法具有明显的优势，除了控制生成语音的风格和语言外，生成语音的语音质量平均意见评分也提高了0.2分以上。
2021-10-08 cs.HC cs.SD eess.AS
Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning
thymia（胸腺公司）；The University of Edinburgh（爱丁堡大学）；University of Southampton（南安普顿大学）
研究针对语音合成数据增强在副语言任务应用少的问题，对八个语音克隆模型在五个副语言任务上进行基准测试，还将英语临床语音克隆成日语，发现其在低资源语言临床语音数据增强方面有前景。
2026-09-01 cs.LG cs.SD
Cross-Lingual F5-TTS: Towards Language-Agnostic Voice Cloning and Speech Synthesis
Shanghai Innovation Institute, China（上海创新研究院）；Johns Hopkins University, USA（约翰霍普金斯大学）；Geely, China（吉利公司）
本文提出Cross-Lingual F5-TTS，通过强制对齐和说话速度预测实现无需转录文本的跨语言语音克隆与合成
2026-02-09 cs.SD
Voice Cloning: a Multi-Speaker Text-to-Speech Synthesis Approach based on Transfer Learning
Università degli Studi di Torino（都灵大学）；Cerence Inc.（赛轮思公司）
深度学习模型在机器学习的许多领域中正成为主导。文本到语音（TTS），从文本合成人工语音的过程，也不例外。为此，深度神经网络通常使用来自单个说话者的几个小时的录音语音的语料库进行训练。尝试产生不同于所学习的说话者的声音是昂贵的，并且需要大量的努力，因为需要记录新的数据集并重新训练模型。这就是为什么TTS模型通常是单扬声器的主要原因。所提出的方法的目标是克服这些限制，试图获得一个系统，这是能够模拟多扬声器的声学空间。这允许生成类似于不同目标说话者的语音的语音音频，即使在训练阶段期间没有观察到它们。
2021-02-10 cs.LG cs.SD eess.AS
Vocal Identity Under Siege by AI Voice Cloning Technologies
Centre for Legal Innovation and Digital Society (CLINDS)（法律创新与数字社会研究中心）；The Chinese University of Hong Kong Faculty of Law（香港中文大学法学院）
本文通过比较分析公开权、人格权和个人数据保护权三种法律框架，探讨生成式AI语音克隆对声音身份独特价值的威胁及法律应对。
2026-06-12 cs.CY cs.SD
A Lightweight Pipeline for Noisy Speech Voice Cloning and Accurate Lip Sync Synthesis
International Islamic University（国际伊斯兰大学）；Seoul National University（首尔大学）
本文提出一种新型模块化轻量级流水线，结合Tortoise文本转语音实现仅需少量样本的高保真零样本语音克隆，并采用轻量级生成对抗网络实现鲁棒实时唇音同步，适用于带噪及低资源环境。
2025-09-16 cs.AI cs.SD
A barrier or a booster? Familiarity effects on Mandarin emotion prosody recognition using AI-powered voice cloning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Macquarie University（麦考瑞大学）
本研究考察语音来源与说话者熟悉度对情绪韵律识别的影响，发现人类语音优于AI语音，且解码合成语音受社会认知调控，揭示AI合成技术的局限。
2026-10-01 cs.HC cs.SD eess.AS
Non-autoregressive real-time Accent Conversion model with voice cloning
Ivanovo State Power Engineering University（伊万诺沃国立动力工程大学）
针对现有口音转换模型延迟高、音色难调的问题，提出一种带声音克隆的非自回归实时口音转换模型，通过多模块协作实现低延迟高质量转换，并提升ASR识别性能。
2024-05-21 cs.AI cs.SD eess.AS
RAWD-TTS: Ratio-Free Reward Alignment for Discrete-Diffusion Voice Cloning
lab260；BitmanagerAI；MTUCI
针对离散扩散语音克隆中监督训练与波形级属性不匹配的问题，提出RAWD-TTS方法，利用识别和说话人奖励及组相对优势加权掩码重建，无需目标音频，在500个俄语提示上显著降低词错误率并提升说话人相似度。
2026-09-30 cs.SD
CloneShield: A Framework for Universal Perturbation Against Zero-Shot Voice Cloning
Sichuan University（四川大学）
针对零样本语音克隆的隐私威胁，提出CloneShield通用时域对抗扰动框架，通过多目标优化和梅尔频谱分解实现跨说话人与话语的鲁棒防御，在保持音频质量的同时显著降质克隆输出。
2025-05-25 cs.AI cs.SD eess.AS
U-Style: Cascading U-nets with Multi-level Speaker and Style Modeling for Zero-Shot Voice Cloning
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
针对零样本语音克隆中自然度、相似度不足及风格适配缺失的问题，提出以Grad-TTS为骨干、带多级U网编码器的U-Style方法，实现说话人与风格解耦，性能优于现有方法，支持跨未见说话人的风格灵活组合。
2023-10-06 cs.SD eess.AS
Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer
Kandinsky Lab（坎丁斯基实验室）
本文在基础文本-音频-视频模型上添加单个零初始化线性层，经微调后实现语音克隆，在674个说话人-文本对基准上优于5个基线，且推理时可跳过视频路径提速约30倍。
2026-08-18 cs.AI cs.LG cs.MM
Fed-PISA: Federated Voice Cloning via Personalized Identity-Style Adaptation
Peng Cheng Laboratory（鹏城实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
Fed-PISA通过个性化身份-风格适应实现联邦语音克隆，减少通信成本并提升个性化表现。
2026-02-07 cs.AI cs.SD eess.AS
Cross-Lingual F5-TTS 2: A Simplified Framework for Language-Agnostic Voice Cloning
Johns Hopkins University（约翰霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创智学院）；Geely（吉利）；Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文提出跨语言F5-TTS 2，一种无需强制对齐和转录文本的跨语言语音克隆简化框架，通过预训练模型构造配对数据并微调，增强语速预测器鲁棒性，实现更高说话人相似度。
2026-09-15 cs.SD
De-AntiFake: Rethinking the Protective Perturbations Against Voice Cloning Attacks
University of Science and Technology of China（中国科学技术大学）
本文提出一种两阶段净化方法，旨在提升对抗语音克隆攻击的防御效果，通过净化扰动语音并利用音素指导进行优化，实验表明其优于现有方法。
2025-07-03 cs.AI cs.CR cs.LG
Audio Avatar Fingerprinting: An Approach for Authorized Use of Voice Cloning in the Era of Synthetic Audio
Research Directorate and AI Security Center（研究部和人工智能安全中心）
本文提出音频人像指纹技术，用于验证合成语音是否由授权身份生成，通过扩展现有说话人验证模型并引入新数据集解决合成语音授权使用验证问题。
2026-03-20 cs.SD eess.AS
PFluxTTS: Hybrid Flow-Matching TTS with Robust Cross-Lingual Voice Cloning and Inference-Time Model Fusion
PFluxTTS通过双解码器设计、序列语音提示嵌入和改进的PeriodWave vocoder，解决了流匹配TTS在稳定性与自然性平衡、跨语言语音克隆和低速率梅尔特征音频质量方面的不足，实现了更自然的语音合成和更高的语音相似度。
2026-04-01 cs.SD
RVCBench: Benchmarking the Robustness of Voice Cloning Across Modern Audio Generation Models
The University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
提出RVCBench数据集和基准，通过18项鲁棒性评估、225个说话人和14370个话语，系统评估语音克隆模型在噪声、多语言、长文本、后处理和对抗扰动等现实场景下的鲁棒性。
2026-10-02 cs.MM cs.SD eess.AS
Proactive Detection of Voice Cloning with Localized Watermarking
FAIR, Meta（Meta FAIR）；Inria（法国国家信息与自动化研究所）；Kyutai
本文提出AudioSeal，首个面向AI生成语音的局部水印检测技术，通过生成器/检测器联合训练和听觉掩蔽感知损失，在鲁棒性、不可感知性和检测速度上均达到领先水平。
2024-06-06 cs.AI cs.CR cs.SD
