Online Target Speaker Voice Activity Detection for Speaker Diarization
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）；Lenovo Research（联想研究院）
本文提出了一种在线目标说话人语音活动检测系统的说话人日记任务，它不需要从基于聚类的日记系统的先验知识，以获得目标说话人嵌入。首先，我们采用一个基于ResNet的前端模型来提取信号的每个未来块的帧级扬声器嵌入。接下来，我们根据这些帧级说话人嵌入和先前估计的目标说话人嵌入来预测每个说话人的检测状态。然后，通过根据当前块中的预测聚合这些帧级说话人嵌入来更新目标说话人嵌入。我们迭代地提取每个块的结果，并更新目标说话人嵌入，直到到达信号的末尾。在AliMeeting数据集上的实验结果表明，该方法优于基于离线聚类的日志化系统。
2022-07-13 cs.SD eess.AS eess.SP
Target-Speaker Voice Activity Detection: a Novel Approach for Multi-Speaker Diarization in a Dinner Party Scenario
STC-innovations Ltd（STC创新有限公司）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
真实场景中的说话人日志化是一个极具挑战性的问题。广泛使用的基于聚类的日记化方法在这种情况下表现得相当差，主要是由于处理重叠语音的能力有限。我们提出了一种新的目标说话人语音活动检测（TS-VAD）的方法，它直接预测每个扬声器在每个时间帧上的活动。TS-VAD模型采用传统的语音特征（例如，MFCC）以及每个扬声器的i向量作为输入。一组二进制分类输出层产生每个说话者的活动。可以迭代地估计I向量，从基于强聚类的日志化开始。我们还扩展了TS-VAD方法的多麦克风的情况下，使用一个简单的注意力机制上的隐藏表示提取的单通道TS-VAD模型。此外，预测的说话人活动概率的后处理策略进行了研究。在CHiME-6未分割数据上的实验表明，TS-VAD实现了最先进的结果，优于基于x向量的基线系统超过30%的日志化错误率（DER）绝对值。
2020-07-27 cs.CL cs.SD eess.AS
SVVAD: Personal Voice Activity Detection for Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文提出SVVAD框架，通过无标签三元组损失训练实现面向说话人验证的个人语音活动检测，在混合说话人场景下显著降低等错误率，并揭示与人类判断一致的语音重要性边界。
2023-05-31 cs.AI cs.SD eess.AS
Target Speaker Voice Activity Detection with Transformers and Its Integration with End-to-End Neural Diarization
Microsoft（微软）
提出了一种基于Transformers的目标说话人语音活动检测（TS-VAD）的说话人日志化模型。为了克服原来的TS-VAD模型的缺点，无法处理任意数量的扬声器，我们研究模型架构，使用输入张量与可变长度的时间和扬声器尺寸。将Transformer层应用于扬声器轴，以使模型输出对提供给TS-VAD模型的扬声器简档的顺序不敏感。在这些逐说话者Transformer层之间散布逐时间顺序层，以允许捕获输入语音信号的时间和跨说话者相关性。我们还扩展了一个基于端到端神经日志与基于编码器-解码器的吸引子（EEND-EDA）的日志化模型，将其基于点积的说话人检测层替换为基于变换器的TS-VAD。在VoxConverse上的实验结果表明，使用该Transformers进行跨扬声器建模将TS-VAD的日志化错误率（DER）降低了11.3%，达到了4.57%的新的最先进（SOTA）DER。此外，相对于具有类似模型大小的原始EEND-EDA，我们的扩展EEND-EDA在CALLHOME数据集上将DER降低了6.9%，在广泛使用的训练数据设置下实现了11.18%的新SOTA DER。
2022-09-26 cs.CL cs.SD eess.AS
TTS Skins: Speaker Conversion via ASR
Tel Aviv University（特拉维夫大学）
我们提出了一个完全卷积的wav-to-wav网络，用于在说话者的声音之间进行转换，而不依赖于文本。我们的网络是基于一个编码器-解码器架构，其中的编码器是预先训练的自动语音识别的任务，和多扬声器波形解码器进行训练，以重建原始信号的自回归方式。我们训练讲述有声读物的网络，并在这些声音中演示多语音TTS，通过转换语音的TTS机器人。
2020-07-26 cs.LG cs.SD stat.ML
DGC-vector: A new speaker embedding for zero-shot voice conversion
Netease Games AI Lab（网易游戏AI实验室）
近年来，越来越多的zero-shot语音转换算法被提出。说话人嵌入作为zero-shot语音转换的基础部分，是提高转换语音的说话人相似度的关键。在本文中，我们研究了说话人嵌入对zero-shot语音转换性能的影响。为了在zero-shot语音转换中更好地表达目标说话人的特征，提高说话人相似度，本文提出了一种新的说话人表示方法。我们的方法结合了D-向量，全局风格令牌（GST）的说话人表示和辅助监督的优点。客观和主观评价结果表明，该方法在zero-shot语音转换上取得了较好的效果，与D-向量和基于GST的说话人嵌入相比，该方法显著提高了说话人相似度。
2022-03-18 cs.SD eess.AS
The sound of my voice: speaker representation loss for target voice separation
Naver Corporation（Naver公司）
内容表征和风格表征是风格迁移领域的研究热点。在本文中，我们提出了一个新的损失函数，使用说话人内容表示的音频声源分离，我们称之为说话人表示损失。目标是从噪声输入中提取目标说话人语音，并将其从残留分量中去除。与传统的频谱重建相比，我们提出的框架最大限度地利用目标说话人的信息，通过最小化参考和声源分离输出的说话人表示之间的距离。我们还提出了三重说话人表示损失作为一个额外的标准，以消除目标说话人的信息，从残留的声谱图输出。在VCTK数据库上，采用VoiceFilter框架对声源分离性能进行了评估，在不增加任何网络参数的情况下，与基线损失函数相比，我们获得了更好的性能。
2020-02-27 cs.SD eess.AS
Voice Imitating Text-to-Speech Neural Networks
Neosapience（尼奥萨匹恩斯）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们提出了一个神经文本到语音（TTS）模型，可以模仿一个新的扬声器的声音，只有少量的语音样本。我们演示语音模仿只使用6秒长的语音样本，没有任何其他信息，如成绩单。我们的模型还可以立即进行语音模仿，而无需对模型进行额外的训练。我们实现了语音模仿TTS模型相结合的发言人嵌入网络与国家的最先进的TTS模型，Tacotron。说话人嵌入器网络获取新说话人的语音样本并返回说话人嵌入。将带有目标句子的说话者嵌入到Tacotron中，并使用新说话者的声音生成语音。我们表明，说话人嵌入网络提取的说话人嵌入可以代表不同的声音中的潜在结构。从我们的模型生成的语音样本具有可比的语音质量从现有的多扬声器TTS模型。
2018-06-04 cs.SD eess.AS
Data Efficient Voice Cloning from Noisy Samples with Domain Adversarial Training
Northwestern Polytechnical University（西北工业大学）；Meituan-Dianping Group（美团点评集团）
数据有效的语音克隆是指利用少量的注册样本合成目标说话人的语音。为此，说话人自适应和说话人编码是两种典型的基于多个说话人训练的基模型的方法。前者使用少量的目标说话人数据集，通过直接模型更新将多说话人模型转换为目标说话人的语音;而在后者中，只有几秒钟的目标说话人音频直接通过额外的说话人编码模型与多说话人模型一起合成目标说话人的语音，而无需模型更新。尽管如此，这两种方法都需要干净的目标说话人数据。然而，在实际应用中，用户提供的样本不可避免地会包含噪声。在有噪声的数据中生成目标语音仍然具有挑战性。在本文中，我们研究了数据有效的语音克隆问题，从噪声样本下的序列到序列的TTS范式。具体来说，我们将域对抗训练（DAT）引入到说话人自适应和说话人编码中，旨在从语音噪声混合物中分离噪声。实验结果表明，无论是说话人自适应还是编码，该方法都能从带噪说话人样本中合成出纯净语音，明显优于采用最新语音增强模块的方法。
2020-08-11 cs.SD eess.AS
Improving robustness of one-shot voice conversion with deep discriminative speaker encoder
Northwestern Polytechnical University（西北工业大学）
单次语音转换由于只需要源说话人和目标说话人分别发出一个语音而受到广泛关注。此外，在训练过程中，源说话人和目标说话人不需要被看到。然而，可用的单次语音转换方法对于看不见的说话者是不稳定的，因为从看不见的说话者的一个话语中提取的说话者嵌入是不可靠的。在本文中，我们提出了一个深度区分说话人编码器，以更有效地提取说话人嵌入从一个话语。具体地说，说话人编码器首先集成残差网络和挤压和激励网络，通过建模逐帧和逐通道的特征相互依赖性，在帧级提取有区别的说话人信息。然后引入注意力机制，通过对帧级说话人信息赋予不同的权重，进一步强调说话人相关信息。最后，使用统计池层聚合加权的帧级说话人信息，形成话语级说话人嵌入。实验结果表明，我们提出的扬声器编码器可以提高鲁棒性的一次性语音转换为看不见的扬声器，并优于基线系统的语音质量和扬声器相似性。
2021-06-19 cs.SD eess.AS
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
我们提出了一种新的训练方案，优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失，而且说话人身份损失。我们引入了一个周期的一致性损失，限制转换后的语音，以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络，但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明，该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型，实现轻量级流式零样本有声与耳语语音转换，并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
Vo-Ve: An Explainable Voice-Vector for Speaker Identity Evaluation
Artificial Intelligence Institute（人工智能研究所）
本文提出Vo-Ve，一种包含显式语音属性类别概率的可解释语音向量嵌入，在竞争性评估说话人相似度的同时提供可解释性，旨在增强各类语音任务的评估方案。
2025-06-24 cs.SD eess.AS
Simultaneous Speech Extraction for Multiple Target Speakers under the Meeting Scenarios
School of Computer Science, Wuhan University（武汉大学计算机学院）；Duke Kunshan University（昆山杜克大学）；Data & AI Engineering System, OPPO（OPPO数据与人工智能工程系统）
针对会议场景多说话人语音分离问题，提出多目标语音分离模型MTSS及说话人日志感知系统SD-MTSS，利用TSVAD决策与估计掩码实现无需注册音频的并发语音提取，在多个数据集上显著提升了分离与识别性能。
2023-11-18 cs.SD eess.AS
JVS corpus: free Japanese multi-speaker voice corpus
由于包括深度学习在内的机器学习技术的改进，语音合成正在成为一项机器学习任务。为了加速语音合成的研究，我们正在开发日语语音语料库，不仅学术机构，而且商业公司合理访问。2017年，我们发布了JSUT语料库，其中包含单个扬声器发出的10小时阅读式语音，用于端到端的文本到语音合成。对于语音合成研究中更一般的用途，例如，语音转换和多说话人建模，本文构建了JVS语料库，其中包含三种风格（正常，耳语，假声）的100个说话人的语音数据。语料库包含30小时的语音数据，其中包括22小时的平行正常语音。本文介绍了我们如何设计的语料库，并总结了规格。语料库可在我们的项目页面上找到。
2019-08-17 cs.SD eess.AS
VoiceLens: Controllable Speaker Generation and Editing with Flow
Bytedance（字节跳动）；Advanced Computing East China Sub-Center（华东先进计算分中心）
本文提出基于 flow 的半监督 VoiceLens，通过将说话人嵌入解耦为独立属性与残差信息，实现多条件新声音生成、已知声音属性编辑及带噪语音降噪。
2023-09-25 cs.SD eess.AS
Disentanglement of Emotional Style and Speaker Identity for Expressive Voice Conversion
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
表达性语音转换通过对说话人身份和情感风格的联合转换来实现情感说话人的身份转换。由于言语情感的层次结构，区分不同说话人的情感风格具有挑战性。受变分自动编码器（VAE）最近成功的扬声器解纠缠的启发，我们提出了一个任意到任意表达的语音转换框架，这是所谓的StyleVC。StyleVC旨在理清语言内容、说话者身份、音高和情感风格信息。我们研究了使用风格编码器来明确地建模情感风格。在运行时，StyleVC为任意说话者转换说话者身份和情感风格。实验验证了我们提出的框架在客观和主观评价的有效性。
2022-07-21 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology（依图科技）；National University of Singapore（新加坡国立大学）
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统，通过保持原始话语中的内容并替换为来自目标说话者的声音特征，将源说话者的话语转换为目标说话者的另一话语。现有的解决方案，例如，StarGAN-VC 2，目前有希望的结果，只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换，但它需要一个外部的预先训练的说话者验证模型。在本文中，我们提出了我们新的基于GAN的zero-shot语音转换解决方案，称为GAZEV，其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失，以及自适应实例归一化策略，以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明，输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
Expressive Voice Conversion: A Joint Framework for Speaker Identity and Emotional Style Transfer
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
传统的语音转换（VC）一直专注于说话人身份转换的语音与中性的表达。我们注意到，情感表达在日常交流中起着至关重要的作用，言语的情感风格可能取决于说话者。在本文中，我们研究的技术，共同转换的说话人身份和说话人依赖的情感风格，即表达的声音转换。我们提出了一个基于StarGAN的框架来学习不同说话者之间的多对多映射，该框架考虑了说话者依赖的情感风格，而不需要并行数据。为了实现这一点，我们的条件生成器的情感风格编码来自一个预先训练的语音情感识别（SER）模型。实验验证了我们提出的框架在客观和主观评价的有效性。据我们所知，这是第一次研究表达语音转换。
2021-10-20 cs.SD eess.AS
Controllable and Interpretable Singing Voice Decomposition via Assem-VC
MINDsLab Inc.（MINDsLab公司）；Seoul National University（首尔大学）
我们提出了一个歌唱分解系统，编码时间对齐的语言内容，音高，和源扬声器身份通过汇编VC。利用分解后的非特定人信息和目标说话人的信息嵌入，合成目标说话人的歌声。总之，我们用用户的歌声和目标歌手的转换后的歌声制作了一个完美同步的二重唱。
2021-10-25 cs.SD eess.AS
Speaker Embeddings With Weakly Supervised Voice Activity Detection For Efficient Speaker Diarization
IDLab, Department of Electronics；Information Systems Ghent University - imec, Belgium
针对现有说话人分割依赖外部VAD带来开销的问题，提出利用说话人嵌入提取器的注意力作为弱监督内部VAD，用ECAPA2嵌入同时实现VAD与嵌入提取，在多个基准上取得SOTA性能。
2024-05-15 cs.SD eess.AS
Unet-TTS: Improving Unseen Speaker and Style Transfer in One-shot Voice Cloning
CloudMinds Inc.（达闼科技）
单次语音克隆是指在文本到语音（TTS）系统中，只使用目标参考语音的一次录音，对合成语音中说话人的声音和说话风格进行转换。域外传输仍然是一个具有挑战性的任务，影响合成语音的准确性和相似性的一个重要方面是从有限的参考文献中提取的携带说话人或风格线索的条件表示。在本文中，我们提出了一种新的一次性语音克隆算法称为Unet-TTS，具有良好的泛化能力，不可见的扬声器和风格。该模型基于跳跃连接的U网结构，能够有效地从参考音频中发现说话人级和话语级的频谱特征细节，从而能够准确地推断出复杂的声学特征，并在合成语音中模仿说话风格。根据主观和客观的相似性评价，新模型优于说话人嵌入和无监督风格建模（GST）方法在一个看不见的情感语料库。
2022-02-24 cs.SD eess.AS
Generating Novel and Realistic Speakers for Voice Conversion
Department of Electrical and Computer Engineering, University of Rochester, Rochester NY, USA（电气与计算机工程系，罗切斯特大学，罗切斯特纽约州）
本文提出轻量级方法 SpeakerVAE，利用深度分层变分自编码器建模说话人音色空间并采样生成新颖说话人表示，作为即插即用模块兼容多种语音转换模型，在 FACodec 和 CosyVoice2 上验证了生成说话人的质量可与训练说话人相当。
2025-11-10 cs.SD eess.AS
Improving Zero-shot Voice Style Transfer via Disentangled Representation Learning
Duke University（杜克大学）；Microsoft（微软公司）
语音风格转换（英语：Voice style transfer），又称语音转换，是指改变说话者的语音，使其听起来像是来自另一个说话者。以前的工作已经取得了进展的语音转换与并行训练数据和预先知道的发言人。然而，zero-shot语音风格转移，从非并行数据学习，并生成以前看不见的扬声器的声音，仍然是一个具有挑战性的问题。我们提出了一种新的zero-shot语音传输方法，通过解开表示学习。该方法首先将每个输入语音的说话人相关风格和语音内容编码到分离的低维嵌入空间中，然后通过解码器将源内容嵌入和目标风格嵌入相结合，转换为新的语音。在信息论的指导下，风格和内容嵌入空间是代表性的，并且（理想情况下）彼此独立。在真实世界的VCTK数据集上，我们的方法优于其他基线，并在多对多和zero-shot设置下的语音风格传输实验中获得了最先进的传输准确性和语音自然度结果。
2021-03-17 cs.SD eess.AS
Learn2Sing: Target Speaker Singing Voice Synthesis by learning from a Singing Teacher
Northwestern Polytechnical University（西北工业大学）；Databaker (Beijing) Technology Co., Ltd.（百度（北京）科技有限公司）
随着语音合成领域的迅速发展，歌唱声合成越来越受到人们的重视。一般来说，一个录音棚级的歌唱语料库通常是必要的，以产生一个自然的歌声从歌词和音乐相关的转录。然而，这样的语料库很难收集，因为我们中的许多人很难像专业歌手那样唱歌。在本文中，我们提出了一种方法-Learn 2Sing，只需要一个歌唱教师来生成目标说话人的歌声，而不需要他们的歌声数据。在我们的方法中，一个教师的歌唱语料库和语音从多个目标扬声器训练的帧级自回归声学模型，唱歌和说话共享共同的扬声器嵌入和风格标签嵌入。同时，由于目标说话人没有与音乐相关的转录，我们使用对数尺度基频（LF 0）作为辅助特征作为声学模型的输入，以建立统一的输入表示。为了使目标说话者在推断阶段中能够在没有演唱参考音频的情况下演唱，还训练了持续时间模型和LF 0预测模型。特别地，我们在声学模型中采用域对抗训练（DAT），其目的是通过从歌唱和说话数据的声学特征中分离风格来提高目标说话者的歌唱性能。实验结果表明，该方法能够在只给出目标说话人语音样本的情况下合成目标说话人的歌声。
2020-11-17 cs.SD eess.AS
SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch Injection for Low-Bitrate Coding and Zero-Shot Voice Conversion
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
提出SDP-Codec，通过单阶段优化从预训练自监督编码器中提取局部令牌并注入归一化F0，实现说话人解耦，在低比特率下达到竞争性重构和强零样本语音转换，且说话人泄露最少。
2026-06-23 cs.SD eess.AS
DurIAN-SC: Duration Informed Attention Network based Singing Voice Conversion System
Tencent AI Lab（腾讯人工智能实验室）
歌唱声音转换是指在保持歌唱内容不变的前提下，将源歌唱的音色转换为目标说话人的声音。然而，歌唱数据的目标说话人是更难以收集相比，正常的语音数据。在本文中，我们介绍了一个歌唱声转换算法，能够产生高品质的目标说话人的歌声，只用他/她的正常语音数据。首先，我们通过统一标准语音合成系统和歌唱合成系统中使用的特征，将语音和歌唱的训练和转换过程集成到一个框架中。此外，为了实现一次转换，本文还设计了一个说话人嵌入模块，利用语音和歌唱数据，在转换过程中提供目标说话人的识别信息。实验结果表明，所提出的歌唱转换系统仅需20秒的目标说话人注册语音数据就能将源歌唱转换为目标说话人的高质量歌唱。
2020-08-07 cs.SD eess.AS
Neural voice cloning with a few low-quality samples
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
在本文中，我们探讨的可能性，语音合成从低质量的发现数据，只有有限数量的样本的目标说话人。我们尝试只提取说话人嵌入从发现的数据的目标说话人不像以前的作品，试图训练整个文本到语音系统上发现的数据。此外，两个说话人模仿方法，这是适应和说话人编码器为基础的应用在新发布的LibriTTS数据集和以前发布的VCTK语料库，以检查说话人的多样性对清晰度和目标说话人相似性的影响。
2020-06-12 cs.SD eess.AS
Erasing Your Voice Before It's Heard: Training-free Speaker Unlearning for Zero-shot Text-to-Speech
School of AI and Software（人工智能与软件学院）；Ewha Womans University（东亚女子大学）
TruS提出一种无训练的说话者去学习方法，通过推理时控制抑制目标说话者身份，防止零样本文本到语音生成中未经授权的声音合成。
2026-01-28 cs.SD eess.AS
Voice-ENHANCE: Speech Restoration using a Diffusion-based Voice Conversion Framework
Qualcomm Technologies Inc.（高通技术公司）
该研究提出名为Voice-ENHANCE的两阶段语音增强系统，前端用生成式语音修复模型降噪并修复损伤，再结合基于扩散的语音转换框架借助干净说话人嵌入进一步优化，在多数据集上达到与SOTA方法相当的语音质量。
2025-05-21 cs.SD eess.AS
Recognition-Synthesis Based Non-Parallel Voice Conversion with Adversarial Learning
University of Science and Technology of China（中国科学技术大学）
本文提出了一种基于语音合成的非并行语音转换的对抗学习方法。识别器用于将声学特征转换为语言表示，而合成器从识别器输出中恢复输出特征以及说话人身份。通过将说话人特征从语言表示中分离出来，用目标身份代替说话人身份，实现语音转换。在我们提出的方法中，采用了说话人对抗损失，以获得说话人独立的语言表示使用识别器。此外，鉴别器的引入和生成对抗网络（GAN）的损失是用来防止预测的功能被过度平滑。对于模型参数的训练，设计了先在多说话人数据集上进行预训练，然后在源-目标说话人对上进行微调的策略。我们的方法比在2018年语音转换挑战赛中获得最佳性能的基线模型实现了更高的相似性。
2020-08-05 cs.SD eess.AS
MR-SVS: Singing Voice Synthesis with Multi-Reference Encoder
Zhejiang University（浙江大学）
多说话人歌唱声合成是指生成由不同说话人演唱的歌唱声。为了推广到新的扬声器，以前的zero-shot歌唱自适应方法从单个参考音频中以固定大小的嵌入获得目标扬声器的音色。然而，它们面临着几个挑战：1）固定大小的说话人嵌入不足以捕获目标音色的全部细节; 2）单个参考音频不包含目标说话人的足够音色信息; 3）不同说话人之间的音高不一致也导致生成的语音的降级。在本文中，我们提出了一个新的模型称为MR-SVS来解决这些问题。具体来说，我们采用多参考编码器和固定大小的编码器来编码来自多个参考音频的目标扬声器的音色。多参考编码器可以捕捉目标音色的更多细节和变化。此外，我们提出了一个设计良好的音高偏移方法来解决音高不一致的问题。实验结果表明，该方法在自然度和相似度上都优于基线方法。
2022-01-11 cs.SD eess.AS
Accent and Speaker Disentanglement in Many-to-many Voice Conversion
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc（爱奇艺公司）；Databaker (Beijing) Technology Co., Ltd.（北京数据方舟科技有限公司）
本文提出了一种有趣的语音和口音联合转换方法，它可以将任意源说话人的语音转换为具有非母语口音的目标说话人的语音。这个问题是具有挑战性的，因为每个目标说话人只有本地口音的训练数据，并且我们需要在转换模型训练中解开口音和说话人信息，并在转换阶段重新组合它们。在我们的合成-合成转换框架中，我们通过两个建议的技巧来解决这个问题。首先，我们使用口音相关的语音识别器，以获得不同口音的扬声器的瓶颈功能。这旨在消除BN特征中语言信息之外的其他因素，用于转换模型训练。其次，我们建议使用对抗性训练来更好地理清基于编码器-解码器的转换模型中的说话者和口音信息。具体来说，我们将一个辅助说话人分类器插入编码器，用对抗性损失训练，从编码器输出中消除说话人信息。实验表明，我们的方法优于基线。所提出的技巧是非常有效的，在改善重音和音频质量和扬声器相似性很好地保持。
2020-11-17 cs.SD eess.AS
CUHK-EE Voice Cloning System for ICASSP 2021 M2VoC Challenge
CUHK-EE（香港中文大学电子工程系）
本文介绍了用于ICASSP 2021 M2 VoC挑战的CUHK-EE语音克隆系统。该挑战提供了两个普通话语音语料库：AIShell-3语料库的218个扬声器的噪声和混响和MST语料库，包括一个男性和一个女性扬声器的高质量的语音。音轨1和音轨2分别提供3个目标说话人的100个和5个不同语音和风格的话语，要求参与者按照目标说话人的语音和风格合成语音。我们参加了音轨1，并根据目标说话人的100个话语进行语音克隆。为了完成这一任务，本文设计并实现了一个端到端的语音克隆系统。一个文本和语音前端模块的帮助下，强制对齐，2.结合Tacotron 2和DuRIAN的声学模型来预测melspectrogram，3. Hifigan声码器用于波形生成。我们的系统包括三个阶段：多说话人训练阶段，目标说话人自适应阶段和目标说话人合成阶段。我们的团队被确定为T17。由挑战赛组织者提供的主观评价结果证明了我们的系统的有效性。音频样本可以在我们的演示页面上找到：https://daxintan-cuhk.github.io/CUHK-EE-system-M2VoC-challenge/。
2021-07-05 cs.SD eess.AS
Who Do I Sound Like? Showcasing Speaker Recognition Technology by YouTube Voice Search
University of Eastern Finland（东芬兰大学）
科学家往往忽视科学的普及，因为将高度复杂的研究成果用普通公众能够理解的语言表达可能具有挑战性。这项工作旨在通过提出一个公开吸引人的概念来展示识别系统，从而帮助向公众展示说话人识别研究。我们利用来自YouTube的数据，并将其用于大规模语音搜索Web应用程序中，该应用程序可以找到与用户声音最匹配的名人声音。这一概念在一次公共活动中以及“野外”进行了测试，收到的反馈大多是积极的。基于i-vector的说话人识别后端被发现是快速的（每个请求665 ms），并且对于YouTube目标说话人具有高识别准确率（93%）。为了帮助其他研究人员进一步发展这个想法，我们在https://github.com/bilalsoomro/speech-demo-platform上分享了用于演示的Web平台的源代码。
2019-02-11 cs.SD eess.AS
Quantifying and Reducing Speaker Heterogeneity within the Common Voice Corpus for Phonetic Analysis
University of Zurich（苏黎世大学）
本研究利用 ResNet 语音嵌入和说话人判别任务量化并降低 Common Voice 语料库中 client ID 的说话人异质性，为语音学分析和说话人相关语音技术提供更可靠的匿名说话人标识。
2025-05-31 cs.SD eess.AS
Residual Speaker Representation for One-Shot Voice Conversion
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）；Qiyuan Laboratory（启元实验室）
本文提出残差说话人模块，利用多层残差近似token增强单次语音转换对未见说话人的鲁棒性，并实现音色可控，在主观与客观评估中均优于基线方法。
2024-08-11 cs.SD eess.AS
Building Bilingual and Code-Switched Voice Conversion with Limited Training Data Using Embedding Consistency Loss
Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）；Wuhan University（武汉大学）；Advanced Computing East China Sub-center（先进计算华东分中心）
长期以来，为多个说话者和多种语言构建跨语言语音转换（VC）系统一直是一项具有挑战性的任务。本文描述了一种并行的非自回归网络，以实现双语和代码切换的语音转换，多个扬声器时，只有单语种语料库的每种语言。通过应用双语瓶颈特征，实现了多说话人汉语语音和多说话人英语语音的跨语言VC。为了提高语音克隆的性能，我们使用一个带有梯度反转层的对抗性说话人分类器来减少编码器输出中的源说话人信息。此外，为了提高参考语音和转换语音之间的说话人相似性，我们在我们的网络中采用合成语音和其自然参考语音之间的嵌入一致性损失。实验结果表明，我们提出的方法可以实现高质量的转换语音的平均意见得分（MOS）约4。该转换系统在说话人相似度方面表现良好，无论是集内说话人转换还是集外一次转换。
2021-04-22 cs.SD eess.AS
Investigation of Using Disentangled and Interpretable Representations for One-shot Cross-lingual Voice Conversion
ObEN, Inc.（ObEN公司）
本文研究了非平行语音库和一次性学习环境下的跨语言语音转换问题。大多数先前的工作需要平行的语音语料库或足够数量的训练数据从一个目标说话人。然而，我们只需要一个目标说话人的训练话语，就可以将任意源说话人的任意句子转换为目标说话人的句子。为了实现这一点，我们将问题公式化为学习解纠缠的特定于说话者和特定于上下文的表示，并遵循[1]的思想，其使用因子化分层变分自编码器（FHVAE）。在多说话人训练数据上训练FHVAE后，给定任意源说话人和目标说话人的话语，估计这些潜在表示，然后将转换后的语音的期望话语重构为目标说话人的期望话语。我们调查的有效性的方法进行语音转换实验与不同大小的训练话语，它能够实现合理的性能，即使只有一个训练话语。我们还研究了语音表示，并表明世界声码器优于[1]中使用的短时傅立叶变换（STFT）。最后，在主观测试中，对于一种语言和跨语言语音转换，与VAE-STFT和GMM基线相比，我们的方法在语音质量和相似性方面取得了显着更好或相当的结果。
2018-08-15 cs.SD eess.AS
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架，利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份，并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
Learning Noise-independent Speech Representation for High-quality Voice Conversion for Noisy Target Speakers
Tencent AI Lab（腾讯人工智能实验室）
构建一个语音转换系统的嘈杂的目标扬声器，如用户提供嘈杂的样本或互联网上找到的数据，是一个具有挑战性的任务，因为在模型训练中使用污染的语音将明显降低转换性能。在本文中，我们利用我们最近提出的Glow-WaveGAN的进步，并提出了一个独立于噪声的语音表示学习方法，用于高质量的语音转换嘈杂的目标扬声器。具体来说，我们学习一个潜在的特征空间，在这里我们确保转换模型建模的目标分布完全来自波形发生器的建模分布。在此前提下，我们进一步设法使潜在特征是噪声不变的。具体来说，我们介绍了一个噪声可控的WaveGAN，它直接学习噪声独立的声学表示波形的编码器和进行噪声控制在隐藏空间通过一个电影模块在解码器。至于转换模型，重要的是，我们使用一个基于流的模型来学习分布的噪声无关，但说话人相关的潜在功能，从音素后验图。实验结果表明，该模型在含噪目标说话人的语音转换中具有较高的语音质量和说话人相似度。
2022-07-02 cs.SD eess.AS
Exploring Voice Conversion based Data Augmentation in Text-Dependent Speaker Verification
Wuhan University（武汉大学）；Duke Kunshan University（昆山杜克大学）；Sun Yat-sen University（中山大学）；Lenovo Research（联想研究院）
本文主要研究如何在训练数据有限的情况下提高文本相关说话人确认系统的性能。基于文本相关的深度学习的说话人确认系统通常需要大规模的文本相关训练数据集，这可能是劳动力和成本昂贵的，特别是对于定制的新唤醒词。在最近的研究中，已经提出了可以生成可见和不可见说话者的高质量合成语音的语音转换系统。受这些工作的启发，我们采用两种不同的语音转换方法以及非常简单的重采样方法来产生新的文本相关的语音样本的数据增强的目的。实验结果表明，在训练数据有限的情况下，该方法将等误差率从6.51%提高到4.51%.
2020-11-21 cs.SD eess.AS
Non-Parallel Sequence-to-Sequence Voice Conversion with Disentangled Linguistic and Speaker Representations
University of Science and Technology of China（中国科学技术大学）
本文提出了一种使用非并行训练数据的序列到序列（seq2seq）语音转换方法。在该方法中，从声学特征中提取分离的语言和说话人表示，并通过保留源话语的语言表示而用目标话语替换说话人表示来实现语音转换。我们的模型是建立在编码器-解码器神经网络的框架下。设计了一个识别编码器，通过两种策略来学习解纠缠的语言表示。首先，介绍了训练数据的音素转换，为学习音频信号的语言表示提供参考。其次，采用对抗性训练策略进一步消除语言表征中的说话人信息。同时，通过扬声器编码器从音频信号中提取扬声器表示。通过两阶段训练来估计模型参数，包括使用多说话者数据集的预训练阶段和使用特定转换对的数据集的微调阶段。由于用于恢复声学特征的识别编码器和解码器都是seq2seq神经网络，因此在我们提出的方法中没有帧对齐和逐帧转换的约束。实验结果表明，我们的方法比2018年语音转换挑战赛中最好的非并行语音转换方法获得了更高的相似度和自然度。此外，我们提出的方法的性能接近最先进的并行seq2seq语音转换方法。
2019-12-13 cs.SD eess.AS
The THU-HCSI Multi-Speaker Multi-Lingual Few-Shot Voice Cloning System for LIMMITS'24 Challenge
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；ByteDance（字节跳动）
本文提出THU-HCSI团队面向LIMMITS'24挑战赛的语音克隆系统，基于YourTTS引入说话人感知编码器与流解码器，结合去噪和平衡采样微调，在track 1取得最佳4.25说话人相似度MOS。
2024-04-25 cs.SD eess.AS
One-shot Voice Conversion For Style Transfer Based On Speaker Adaptation
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
一次性风格迁移是一项具有挑战性的任务，因为对一个话语的训练使得模型非常容易过拟合到训练数据，并导致说话人相似度低和缺乏表达力。在本文中，我们建立的发音合成框架，并提出了一个一次性的语音转换方法的风格转移的基础上说话人自适应。首先，采用说话人归一化模块去除ASR提取的瓶颈特征中的说话人相关信息。其次，在自适应过程中采用权重正则化，以防止由于只使用目标说话人的一个话语作为训练数据而导致的过拟合。最后，为了全面地解耦语音因素，即，内容、说话者、风格，并将源风格传递到目标，韵律模块用于提取韵律表示。实验表明，我们的方法是优于国家的最先进的单镜头VC系统的风格和说话人的相似性，此外，我们的方法也保持了良好的语音质量。
2022-02-21 cs.SD eess.AS
End-to-End Voice Conversion with Information Perturbation
Tencent AI Lab（腾讯人工智能实验室）
语音转换的理想目标是将源说话人的语音转换成自然的目标说话人的语音，同时保持源语音的语言内容和韵律。然而，目前的方法是不足以实现全面的源韵律转移和目标说话人的音质保持在转换后的语音，和转换后的语音的质量也是不满意的，由于声学模型和声码器之间的不匹配。在本文中，我们利用信息扰动的最新进展，并提出了一个完全端到端的方法来进行高质量的语音转换。我们首先采用信息扰动去除源语音中的说话人相关信息，以解开说话人音色和语言内容，从而语言信息随后由内容编码器建模。为了更好地将源语音的韵律传递给目标语音，我们特别引入了一个与说话人相关的基音编码器，它可以保持源说话人的一般基音模式，同时灵活地修改生成语音的基音强度。最后，通过连续说话人空间建模建立单次语音转换。实验结果表明，所提出的端到端的方法显着优于国家的最先进的模型在可懂度，自然度和说话人相似性。
2022-06-15 cs.SD eess.AS
Towards Low-Resource StarGAN Voice Conversion using Weight Adaptive Instance Normalization
University of Sheffield（谢菲尔德大学）
近年来，具有非并行训练数据的多对多语音转换已经取得了显著的进展。基于StarGAN的模型一直是语音转换的研究热点。然而，大多数基于StarGAN的方法只针对说话人数量较少、训练数据量较大的情况进行语音转换实验。在这项工作中，我们的目标是提高模型的数据效率，并在训练样本有限的情况下，为相对大量的说话者实现多对多的非并行基于StarGAN的语音转换。为了提高数据效率，该模型使用说话人编码器提取说话人嵌入，并对卷积权重进行自适应实例归一化（AdaIN）。实验在两种低资源情况下进行，其中每个说话人的训练样本数分别为20和5。客观评价表明，该模型优于基线方法。此外，主观评价表明，无论是自然度和相似性，该模型优于基线方法。
2021-04-10 cs.SD eess.AS
Improving Voice Conversion for Dissimilar Speakers Using Perceptual Losses
Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学）
本文研究利用感知损失改进不同说话人之间的语音转换，以实现语音匿名化，在保留语言内容的同时改变说话人特征，从而保护用户隐私和数据安全。
2023-09-18 cs.SD eess.AS
DS-TTS: Zero-Shot Speaker Style Adaptation from Voice Clips via Dynamic Dual-Style Feature Modulation
School of Data Science and Media Intelligence, Communication University of China（数据科学与媒体智能学院，中国传媒大学）；Psyche AI Inc. Beijing, China（北京Psyche AI公司，中国）；Hainan International College, Communication University of China（海南国际学院，中国传媒大学）；Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北京理工大学）
DS-TTS 提出双风格编码网络与动态生成器网络，通过风格门控-电影机制融合互补风格特征并动态适应输入长度，在 VCTK 上显著提升零样本语音克隆的词错误率与说话人相似度。
2025-06-01 cs.SD eess.AS
Voices as Handles: Reasoning about Speaker Identity with Frozen Text LLMs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出说话人句柄（Speaker Handles），通过轻量投影器将声学身份映射为软令牌，使冻结文本大语言模型能跨会话推理说话人归属，在VoxCeleb1和SpeakerBind上分别达到97.40-98.36%和70.40%的准确率。
2026-10-01 cs.SD eess.AS
A Hierarchical Speaker Representation Framework for One-shot Singing Voice Conversion
ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
通常，歌唱声转换（SVC）依赖于从说话人查找表（LUT）或说话人识别网络（SRN）提取的嵌入向量来对说话人身份进行建模。然而，唱歌包含更多的表达扬声器的特点比会话讲话。有人怀疑，一个单一的嵌入向量可能只捕捉平均和粗粒度的扬声器特性，这是不够的SVC任务。为此，本文提出了一种新的用于SVC的分层说话人表示框架，该框架可以在不同的粒度上捕获细粒度的说话人特征。它由一个上采样流和三个下采样流组成。上采样流将语言特征转换为音频样本，而三个下采样流中的一个在相反方向上操作。期望每个下采样块的时间统计能够以不同的粒度表示说话人特征，这将参与上采样块以增强说话人建模。实验结果表明，该方法优于基于LUT和SRN的SVC系统。此外，所提出的系统支持只有几秒钟的参考音频的单次SVC。
2022-07-06 cs.SD eess.AS
Noise-robust voice conversion with domain adversarial training
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
语音转换在过去的几年里取得了很大的进展，在演播室质量的测试场景下，在语音质量和说话人相似性方面。然而，在实际应用中，源说话人或目标说话人的测试语音会受到各种环境噪声的干扰，严重影响语音质量和说话人相似度。在本文中，我们提出了一种新的基于编码器-解码器的噪声鲁棒语音转换框架，该框架包括一个扬声器编码器，一个内容编码器，一个解码器，和两个域对抗神经网络。具体来说，我们将解纠缠扬声器和内容表示技术与域对抗训练技术相结合。领域对抗训练使说话人编码器和内容编码器分别从干净语音和含噪语音中提取出说话人表示和内容表示。以这种方式，学习的说话者和内容表示是噪声不变的。因此，解码器可以将这两个噪声不变表示作为输入，以预测干净的转换频谱。实验结果表明，我们提出的方法可以合成干净的转换语音在嘈杂的测试场景下，源语音和目标语音可以被损坏的训练过程中看到或看不到的噪声类型。此外，语音质量和说话人相似度都得到了提高。
2022-01-26 cs.SD eess.AS
Universal Speaker Embedding Free Target Speaker Extraction and Personal Voice Activity Detection
School of Computer Science, Wuhan University, Wuhan, China（武汉大学计算机学院）；Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University, Kunshan, China（多模态智能系统苏州市重点实验室、数字创新研究中心、杜克昆山大学）
针对说话人日志与目标说话人提取存在的输出不一致和场景不匹配问题，提出联合执行TSE和PVAD的USEF-TP模型，采用交叉注意力帧级特征与场景感知多任务学习，在多个数据集上取得优异或有竞争力的性能。
2025-05-19 cs.SD eess.AS
Controlling your Attributes in Voice
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种无需平行数据的语音属性控制方法，结合基于GAN的变分自编码器和两阶段语音转换模型，在保持语音质量与说话人身份的同时操控年龄和性别属性。
2025-01-03 cs.SD eess.AS
