ZSVC: Zero-shot Style Voice Conversion with Disentangled Latent Diffusion Models and Adversarial Training
Microsoft（微软）；Northwestern Polytechnical University（西北工业大学）
提出 ZSVC 零样本风格语音转换方法，结合语音编解码器、语音提示潜在扩散、信息瓶颈、UMAdaIN 与对抗训练，实现风格与音色解耦，并在 44,000 小时数据上验证其优越性能。
2025-01-08 cs.SD eess.AS
Unet-TTS: Improving Unseen Speaker and Style Transfer in One-shot Voice Cloning
CloudMinds Inc.（达闼科技）
单次语音克隆是指在文本到语音（TTS）系统中，只使用目标参考语音的一次录音，对合成语音中说话人的声音和说话风格进行转换。域外传输仍然是一个具有挑战性的任务，影响合成语音的准确性和相似性的一个重要方面是从有限的参考文献中提取的携带说话人或风格线索的条件表示。在本文中，我们提出了一种新的一次性语音克隆算法称为Unet-TTS，具有良好的泛化能力，不可见的扬声器和风格。该模型基于跳跃连接的U网结构，能够有效地从参考音频中发现说话人级和话语级的频谱特征细节，从而能够准确地推断出复杂的声学特征，并在合成语音中模仿说话风格。根据主观和客观的相似性评价，新模型优于说话人嵌入和无监督风格建模（GST）方法在一个看不见的情感语料库。
2022-02-24 cs.SD eess.AS
Expressive Voice Conversion: A Joint Framework for Speaker Identity and Emotional Style Transfer
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
传统的语音转换（VC）一直专注于说话人身份转换的语音与中性的表达。我们注意到，情感表达在日常交流中起着至关重要的作用，言语的情感风格可能取决于说话者。在本文中，我们研究的技术，共同转换的说话人身份和说话人依赖的情感风格，即表达的声音转换。我们提出了一个基于StarGAN的框架来学习不同说话者之间的多对多映射，该框架考虑了说话者依赖的情感风格，而不需要并行数据。为了实现这一点，我们的条件生成器的情感风格编码来自一个预先训练的语音情感识别（SER）模型。实验验证了我们提出的框架在客观和主观评价的有效性。据我们所知，这是第一次研究表达语音转换。
2021-10-20 cs.SD eess.AS
StyleSinger: Style Transfer for Out-of-Domain Singing Voice Synthesis
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
提出首个零样本域外歌唱语音风格迁移模型StyleSinger，通过残差风格适配器和不确定性建模层归一化提升泛化能力，在音频质量和参考样本相似度上优于基线模型。
2025-05-30 cs.CL cs.SD eess.AS
Effects of language mismatch in automatic forensic voice comparison using deep learning embeddings
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of Public Service（国家公共服务大学）
本文研究英语预训练深度学习说话人嵌入在匈牙利语法庭语音比对中的跨语言适用性，发现大语料预训练模型对语言不匹配样本仍表现良好，且样本时长越长性能越好，说话风格影响不大。
2022-09-26 cs.CL cs.SD eess.AS
Spotlight-TTS: Spotlighting the Style via Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
Department of Artificial Intelligence（人工智能系）
提出Spotlight-TTS，通过浊音感知风格提取聚焦与风格高度相关的浊音区域并保持连续性，结合风格方向调整优化与TTS模型的整合，显著提升了合成语音的表现力、整体质量和风格迁移能力。
2025-06-29 cs.AI cs.SD eess.AS
Voice Impersonation using Generative Adversarial Networks
Carnegie Mellon University（卡内基梅隆大学）
语音模仿不同于语音转换，尽管后者是语音模仿的一个基本要素。在语音模仿中，合成的语音必须令人信服地传达出由目标说话者自然产生的印象，不仅要模仿音高和其他可感知的信号质量，还要模仿目标说话者的风格。在本文中，我们提出了一个新的神经网络为基础的语音质量和风格模仿框架的合成模拟的声音。该框架是建立在一个快速，准确的生成对抗网络模型。给定源和目标说话者声音的频谱表示，该模型学习模仿目标说话者的声音质量和风格，而不管任何一个声音的语言内容，生成合成频谱图，使用Griffin-Lim方法重建时域信号。实际上，该模型将众所周知的图像风格转移问题重新定义为语音信号的风格转移问题，同时本质上解决了语音声音的持续变化问题。实验表明，该模型可以产生非常令人信服的模拟语音样本。它甚至能够有效地模仿不同性别的声音。使用用于评估合成声音的标准程序对结果进行定性评估。
2018-02-19 cs.SD eess.AS
PromptVC: Flexible Stylistic Voice Conversion in Latent Space Driven by Natural Language Prompts
Northwestern Polytechnical University（西北工业大学）；Ximalaya Inc（喜马拉雅公司）
提出PromptVC，利用潜在扩散模型和自然语言提示生成风格向量，结合HuBERT离散标记与时长预测，实现灵活的风格语音转换，实验验证有效。
2023-12-26 cs.SD eess.AS
CLN-VC: Text-Free Voice Conversion Based on Fine-Grained Style Control and Contrastive Learning with Negative Samples Augmentation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
提出CLN-VC方法，通过说话人融合模块生成困难负样本增强对比学习，并用参考编码器提取细粒度风格，提升相似说话人间的语音转换质量。
2023-11-15 cs.SD eess.AS
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.（索尼印度私人有限公司研究院）；Indraprastha Institute of Information Technology (IIIT)（因德拉普拉斯信息技术学院（IIIT））
本文提出VECL-TTS端到端跨语言语音合成系统，同时控制语音身份与情感风格，并通过内容与风格一致性损失提升合成质量，在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
Cross-modal Face- and Voice-style Transfer
Sony Group Corporation（索尼集团公司）
图像到图像转换和语音转换使得能够生成新的面部图像和语音，同时分别保持一些语义，例如图像中的姿势和音频中的语言内容。它们可以在许多应用程序中帮助内容创建过程。然而，由于它们仅限于每种模态内的转换，因此匹配所生成的面部和语音的印象仍然是一个悬而未决的问题。我们提出了一个名为XFaVoT的跨模态风格转换框架，该框架联合学习四个任务：具有音频或图像指导的图像翻译和语音转换任务，这使得能够生成“与给定语音匹配的面部”和“与给定面部匹配的语音”，以及具有单个框架的模态内翻译任务。在多个数据集上的实验结果表明，XFaVoT实现了图像和语音的跨模态风格翻译，在质量，多样性和人脸-语音对应性方面优于基线。
2023-03-01 cs.CV cs.SD eess.AS
End-to-end lyrics Recognition with Voice to Singing Style Transfer
Sony Corporation（索尼公司）
单声道/复调音乐的自动转录是一项具有挑战性的任务，由于缺乏大量的转录数据的可用性。在本文中，我们提出了一个数据增强方法，将自然语音转换成歌声的基础上声码器为基础的语音合成器。这种方法，被称为语音到歌唱（V2 S），执行语音风格转换，通过调制的F0轮廓的自然语音与歌声。基于V2 S模型的风格转换可以生成高质量的歌声，从而使得能够将大型自然语音语料库转换为歌声，这在构建E2 E歌词转录系统中是有用的。在我们对单声道歌唱声音数据的实验中，V2 S风格转移为E2 E歌词转录系统提供了显着的增益（相对提高21%）。我们还讨论了其他组件，如迁移学习和基于歌词的语言建模，以提高性能的歌词转录系统。
2021-02-17 cs.LG cs.SD eess.AS
SRF-SVB: Style-Consistent Singing Voice Beautifying via Rectified Flow
Harbin Institute of Technology（哈尔滨工业大学）
提出SRF-SVB，利用修正流实现高保真、高效的歌声美化，通过上下文引导的掩码梅尔频谱图修补保留歌手风格，在英中测试集上优于基线。
2026-09-23 cs.SD eess.AS
One-shot Voice Conversion For Style Transfer Based On Speaker Adaptation
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
一次性风格迁移是一项具有挑战性的任务，因为对一个话语的训练使得模型非常容易过拟合到训练数据，并导致说话人相似度低和缺乏表达力。在本文中，我们建立的发音合成框架，并提出了一个一次性的语音转换方法的风格转移的基础上说话人自适应。首先，采用说话人归一化模块去除ASR提取的瓶颈特征中的说话人相关信息。其次，在自适应过程中采用权重正则化，以防止由于只使用目标说话人的一个话语作为训练数据而导致的过拟合。最后，为了全面地解耦语音因素，即，内容、说话者、风格，并将源风格传递到目标，韵律模块用于提取韵律表示。实验表明，我们的方法是优于国家的最先进的单镜头VC系统的风格和说话人的相似性，此外，我们的方法也保持了良好的语音质量。
2022-02-21 cs.SD eess.AS
DS-TTS: Zero-Shot Speaker Style Adaptation from Voice Clips via Dynamic Dual-Style Feature Modulation
School of Data Science and Media Intelligence, Communication University of China（数据科学与媒体智能学院，中国传媒大学）；Psyche AI Inc. Beijing, China（北京Psyche AI公司，中国）；Hainan International College, Communication University of China（海南国际学院，中国传媒大学）；Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北京理工大学）
DS-TTS 提出双风格编码网络与动态生成器网络，通过风格门控-电影机制融合互补风格特征并动态适应输入长度，在 VCTK 上显著提升零样本语音克隆的词错误率与说话人相似度。
2025-06-01 cs.SD eess.AS
Meta-Voice: Fast few-shot style transfer for expressive voice cloning using meta learning
Tencent AI Lab（腾讯人工智能实验室）
文本到语音（TTS）合成中用于语音克隆的Few-Shot风格转换任务旨在使用非常有限的中性数据量将任意源说话人的说话风格转换为目标说话人的语音。这是一个非常具有挑战性的任务，因为学习算法需要同时处理Few-Shot语音克隆和说话者韵律解纠缠。加速新目标说话人的适应过程在现实世界的应用中是重要的，但更具挑战性。在本文中，我们探讨了硬快速Few-Shot风格的转移语音克隆任务，使用Meta学习。我们研究了模型不可知的元学习（MAML）算法，并将预训练的多说话人和多韵律基TTS模型元转移到对少量样本的适应高度敏感。采用领域对抗训练机制和正交约束来分离说话人和韵律表示，以实现有效的跨说话人风格传递。实验结果表明，该方法能够进行快速的语音克隆，从一个目标说话人只有5个样本（约12秒的语音数据），只有100个自适应步骤。音频样本可在线获取。
2021-11-14 cs.CL cs.SD eess.AS
Extracting Voice Styles from Frozen TTS Models via Gradient-Based Inverse Optimization
Hanyang University（汉阳大学）
研究针对文本到语音系统中用户无法生成自身语音风格向量的问题，通过梯度下降直接求解输入，冻结模型权重仅优化风格向量，在多说话者实验中提升了相似度，验证器接受率显著提高。
2026-09-09 cs.SD eess.AS
TCSinger: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control
Zhejiang University, Shanghai AI Laboratory（浙江大学上海人工智能实验室）
提出首个零样本歌声合成模型TCSinger，通过聚类风格编码器、风格与时长语言模型及风格自适应解码器，实现跨语言风格迁移与多级风格控制，在合成质量与相似度上优于基线模型。
2025-05-30 cs.CL cs.SD eess.AS
Expressive Singing Synthesis Using Local Style Token and Dual-path Pitch Encoder
Music and Audio Research Group (MARG), Seoul National University（首尔国立大学音乐与音频研究组（MARG））；supertone Inc.（supertone公司）
本文提出了一种可控的歌声合成系统，能够通过两种新颖的方法生成富有表现力的歌声。首先，提出了从输入音高和文本序列预测帧级风格令牌的局部风格令牌模块，以允许演唱语音系统控制通常在乐谱中未指定的音乐表达（例如，呼吸和强度）。其次，我们提出了一个双路径音高编码器，可以选择两个不同的音高输入：f0轮廓或f1音高序列。因为歌唱声的初始生成通常是通过取一个小音高序列来执行的，所以可以在以后从所生成的歌唱声中提取f0轮廓，并根据需要将f0轮廓修改为更精细的水平。通过定量和定性的评价，我们证实，该模型可以控制各种音乐的表现，而不牺牲歌唱声音合成系统的音质。
2022-04-07 cs.SD eess.AS
Mellotron: Multispeaker expressive voice synthesis by conditioning on rhythm, pitch and global style tokens
NVIDIA Corporation（英伟达公司）
Mellotron是一个基于Tacotron 2 GST的多说话人语音合成模型，它可以在没有情感或歌唱训练数据的情况下使语音情感化和歌唱。通过从音频信号或乐谱中明确地调节节奏和连续的音高轮廓，Mellotron能够生成各种风格的语音，从朗读到表达性语音，从缓慢的拖音到说唱，从单调的声音到歌声。与其他方法不同，我们训练Mellotron只使用读取的语音数据，而不使用文本和音频之间的对齐。我们使用LJSpeech和LibriTTS数据集来评估我们的模型。我们提供F0帧错误和合成样本，包括来自其他扬声器的风格转移，歌手和训练期间未见过的风格，节奏和音高的程序操作以及合唱合成。
2019-10-26 cs.LG cs.SD eess.AS
HybridVC: Efficient Voice Style Conversion with Text and Audio Prompts
Australian National University（澳大利亚国立大学）
本文提出基于预训练CVAE并结合对比学习的语音转换框架HybridVC，通过文本和音频提示实现灵活的多模态语音风格转换，在有限资源下具备卓越训练效率与广泛的应用潜力。
2024-09-25 cs.MM cs.SD eess.AS
Delivering Speaking Style in Low-resource Voice Conversion with Multi-factor Constraints
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
在语音转换中，语言内容的传达和源语语调、情感等说话风格的保持是至关重要的。然而，在低资源的情况下，只有有限的话语从目标说话人是可访问的，现有的VC方法很难满足这一要求，并捕捉目标说话人的木材。在这项工作中，一种新的VC模型，被称为MFC-StyleVC，提出了低资源VC任务。具体而言，新提出的聚类方法产生的说话人音色约束，指导目标说话人音色学习的不同阶段。同时，为了防止过度拟合目标说话人的有限数据，感知正则化约束显式地保持模型在特定方面的性能，包括说话风格，语言内容和语音质量。此外，引入了一种模拟模式来模拟推理过程，以缓解训练和推理之间的不匹配。大量的实验表现出高度的语音证明了该方法在低资源VC的优越性。
2023-03-14 cs.SD eess.AS
Voice Aging with Audio-Visual Style Transfer
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；UMD College Park（马里兰大学帕克分校）
面部老化技术使用生成对抗网络（GANs）和风格迁移学习来改变一个人的外观，使其看起来更年轻/更老。通过将这些生成网络调节到源内容的学习向量表示上来保持身份。在这项工作中，我们采用了类似的方法来年龄扬声器的声音，称为语音老化。我们首先通过在来自Common Voice和VoxCeleb数据集的说话者的语音和面部数据上训练卷积神经网络（CNN）来分析说话者年龄的分类。我们从风格转换中生成老年人的声音，将输入的频谱图转换为不同的年龄，并在移动应用程序上演示我们的方法。
2021-10-05 cs.CL cs.LG cs.SD
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum（博洛尼亚大学）
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而，对于现实世界的应用程序，并行数据很少可用。我们提出了MelGAN-VC，一种语音转换方法，依赖于非并行语音数据，能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图，然后使用生成对抗网络（GAN）架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息，而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集，以及与嘈杂的现实世界的语音例子的集合。最后，我们采用相同的方法来执行音乐风格的转移，翻译任意长的音乐样本从一个流派到另一个，并表明我们的框架是灵活的，可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
Improving severity preservation of healthy-to-pathological voice conversion with global style tokens
Nagoya University（名古屋大学）；Netherlands Cancer Institute（荷兰癌症研究所）
针对健康到病理语音转换中身份转换易损失病理严重程度的问题，本文引入 PPG 与 GST 改进两阶段框架，并构建同身份平行病理/健康语音数据集，验证其可同时保持严重程度并建模目标音色。
2023-10-04 cs.SD eess.AS
Expressive Neural Voice Cloning
University of California San Diego（加州大学圣地亚哥分校）
语音克隆是学习从几个样本中合成一个看不见的说话者的声音的任务。虽然目前的语音克隆方法在文本到语音（TTS）合成新的声音取得了可喜的成果，这些方法缺乏控制合成音频的表现力的能力。在这项工作中，我们提出了一个可控的语音克隆方法，允许细粒度控制的合成语音的各种风格方面的一个看不见的扬声器。我们实现了这一点，明确条件的语音合成模型的扬声器编码，音高轮廓和潜在的风格令牌在训练过程中。通过定量和定性的评价，我们表明，我们的框架可以用于各种表达的语音克隆任务，只需要几个转录或未转录的语音样本的一个新的扬声器。这些克隆任务包括从参考语音进行风格转换、直接从文本合成语音以及通过在推理期间操纵风格条件变量来进行细粒度风格控制。
2021-01-30 cs.LG cs.SD eess.AS
Text-Driven Voice Conversion via Latent State-Space Modeling
针对现有文本驱动语音转换方法风格控制灵活性不足的问题，提出基于潜状态空间的LSS-VC方法，通过语音潜流形与自适应跨模态融合实现细粒度风格控制，性能优于现有基线。
2025-07-30 cs.GR cs.SD eess.AS
U-Style: Cascading U-nets with Multi-level Speaker and Style Modeling for Zero-Shot Voice Cloning
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
针对零样本语音克隆中自然度、相似度不足及风格适配缺失的问题，提出以Grad-TTS为骨干、带多级U网编码器的U-Style方法，实现说话人与风格解耦，性能优于现有方法，支持跨未见说话人的风格灵活组合。
2023-10-06 cs.SD eess.AS
Enriching Source Style Transfer in Recognition-Synthesis based Non-Parallel Voice Conversion
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc（爱奇艺公司）
当前的语音转换（VC）方法可以成功地转换音频的音色。由于对源音频的韵律进行有效建模是一项具有挑战性的任务，因此将源风格转换为转换后的语音仍然存在局限性。本研究提出一种基于编译-合成框架的源代码风格转换方法。以往的语音生成任务中，韵律可以显式地用韵律特征建模，也可以隐式地用潜在韵律提取器建模。本文利用两者的优点，以混合方式对韵律进行建模，有效地将显式和隐式方法结合在拟议的韵律模块中。具体地说，韵律特征用于显式韵律建模，而VAE和参考编码器用于隐式韵律建模，分别以Mel谱和瓶颈特征作为输入。此外，引入对抗训练来从VAE输出中去除说话人相关信息，避免在传递风格时泄漏源说话人信息。最后，我们使用一个修改后的自我注意基于编码器提取的瓶颈功能，这也隐含地聚合源语音的韵律方面的分层表示的韵律上下文。实验结果表明，我们的方法是优于基线和竞争系统的风格转移，同时，语音质量和说话人相似性保持良好。
2021-06-26 cs.SD eess.AS
Stylebook: Content-Dependent Speaking Style Modeling for Any-to-Any Voice Conversion using Only Speech Data
Qualcomm Technologies, Inc.（高通技术公司）
针对任意到任意语音转换中目标说话风格还原度不足的问题，提出基于SSL注意力机制的stylebook风格表示方法，结合扩散解码器实现无标注的内容依赖风格迁移，提升了说话人相似度并控制了计算复杂度。
2023-12-15 cs.AI cs.SD eess.AS
Transplantation of Conversational Speaking Style with Interjections in Sequence-to-Sequence Speech Synthesis
IBM Research AI（IBM研究院人工智能部门）
已知从语音序列直接生成低级声学特征的序列到序列文本到语音体系结构在被提供有足够量的训练数据时产生自然和有表现力的语音。这样的系统可以学习并将期望的说话风格从一个看到的说话者转移到另一个说话者（在多风格多说话者设置中），这对于创建可扩展和可定制的人机交互系统是非常期望的。在这项工作中，我们探索一对多的风格转移从一个专用的单扬声器会话语料库风格的细微差别和感叹词。我们详细阐述了语料库的设计，并探讨了这种风格的转移时，与语音转换为基础的数据增强的可行性。在一组主观听音实验中，这种方法导致高保真风格的转移，没有质量下降。然而，观察到一定的语音角色转变，需要进一步改进语音转换。
2022-07-25 cs.SD eess.AS
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架，利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份，并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是在保留语言内容和说话人身份的同时，转换语音中的情感韵律。先前的研究表明，使用离散表示的编码器-解码器网络（例如独热情感标签）可以解开情感韵律。这样的网络学会记住一套固定的情感风格。在本文中，我们提出了一种新的框架的基础上变分自动编码Wasserstein生成对抗网络（VAW-GAN），它利用一个预先训练的语音情感识别（SER）模型，在训练和运行时的推理转移情感风格。通过这种方式，网络能够将可见和不可见的情感风格转移到新的话语中。我们表明，建议的框架实现了显着的性能始终优于基线框架。本文还标志着用于语音转换的情感语音数据集（ESD）的发布，该数据集具有多个扬声器和语言。
2021-02-11 cs.CL cs.SD eess.AS
MSM-VC: High-fidelity Source Style Transfer for Non-Parallel Voice Conversion by Multi-scale Style Modeling
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
提出MSM-VC多尺度风格建模方法，通过帧级、局部和全局风格表示及显式约束模块，实现非平行语音转换中源风格的高保真迁移，同时保持语音质量和说话人相似度。
2023-09-03 cs.SD eess.AS
Voice Quality Dimensions as Interpretable Primitives for Speaking Style for Atypical Speech and Affect
AppleUSA（苹果公司）
本文针对七个语音和话语维度开发并评估了语音质量模型，在SAP数据集上训练探针，验证了其出色的跨类别泛化能力，并在多语言非典型语音和情感语音数据集上实现了出色的零样本性能，证明了语音质量维度在语音风格任务中的实用性。
2025-05-27 cs.LG cs.SD eess.AS
Voice Conversion for Lombard Speaking Style with Implicit and Explicit Acoustic Feature Conditioning
Department of Computing, Imperial College London（帝国理工学院计算机系）；Amazon Alexa, TTS Research（亚马逊Alexa，语音合成研究）
本文研究Lombard发音风格迁移，提出在语音转换中采用隐式声学特征条件策略，在转换说话人身份的同时保留Lombard风格属性，实现了与显式条件相当的可懂度提升并保持了说话人相似度。
2025-07-12 cs.CL cs.SD eess.AS
Improving Data Augmentation-based Cross-Speaker Style Transfer for TTS with Singing Voice, Style Filtering, and F0 Matching
本研究针对TTS跨说话人风格迁移问题，提出结合预训练SVC模型、F0匹配技术和风格分类器过滤器的方法，仅需数分钟目标说话人中性数据即可达最优水平，提升自然度、风格强度与说话人相似度。
2024-10-08 eess.AS
OpenVoice: Versatile Instant Voice Cloning
MIT（麻省理工学院）；Tsinghua University（清华大学）
本研究提出OpenVoice多功能即时语音克隆方法，实现灵活语音风格控制与零样本跨语言克隆，计算成本远低于商用API，已开源并获大规模应用。
2024-08-18 cs.LG cs.SD eess.AS
JVS corpus: free Japanese multi-speaker voice corpus
由于包括深度学习在内的机器学习技术的改进，语音合成正在成为一项机器学习任务。为了加速语音合成的研究，我们正在开发日语语音语料库，不仅学术机构，而且商业公司合理访问。2017年，我们发布了JSUT语料库，其中包含单个扬声器发出的10小时阅读式语音，用于端到端的文本到语音合成。对于语音合成研究中更一般的用途，例如，语音转换和多说话人建模，本文构建了JVS语料库，其中包含三种风格（正常，耳语，假声）的100个说话人的语音数据。语料库包含30小时的语音数据，其中包括22小时的平行正常语音。本文介绍了我们如何设计的语料库，并总结了规格。语料库可在我们的项目页面上找到。
2019-08-17 cs.SD eess.AS
Towards Better Disentanglement in Non-Autoregressive Zero-Shot Expressive Voice Conversion
Karlsruhe Institute for TechnologyGermany（卡尔斯鲁厄理工学院德国）；Carnegie Mellon UniversityUSA（卡内基梅隆大学美国）
本文提出改进的非自回归零样本表现力语音转换方法，通过多语言离散单元、相似性损失、混合风格归一化及局部F0与全局音高能量特征增强解耦，在情感和说话人相似度上优于基线。
2025-06-04 cs.AI cs.SD eess.AS
Transferring Source Style in Non-Parallel Voice Conversion
语音转换（VC）技术的目的是修改说话人身份，同时保留潜在的语言信息。大多数VC方法忽略了说话风格的建模（例如情感和强调），这可能包含说话者有意添加的因素，并应在转换过程中保留。本文提出了一种基于序列到序列的非并行VC方法，该方法能够通过显式建模将说话风格从源语音转换为转换后的语音。客观评价和主观听力测试表明，所提出的VC方法的语音自然度和说话人相似度的转换语音的优越性。实验结果表明，该方法具有源代码风格的可移植性。
2020-05-19 eess.AS
StableVC: Style Controllable Zero-Shot Voice Conversion with Conditional Flow Matching
Northwestern Polytechnical University（西北工业大学）；Ximalaya Inc（喜马拉雅公司）
本文提出StableVC，通过分解语言内容、音色与风格，并结合条件流匹配和自适应门控双重注意力，实现对不同未见说话人音色与风格的独立可控零样本语音转换，质量更优且推理显著加速。
2024-12-10 cs.SD eess.AS
HierVST: Hierarchical Adaptive Zero-shot Voice Style Transfer
Korea University（高丽大学）
针对零样本语音风格迁移难以迁移新说话人风格的问题，提出分层自适应端到端模型HierVST，利用分层变分推断与自监督表示在无文本下训练，通过分层自适应生成器逐步转换语音，在零样本场景中优于其他VST模型。
2023-07-30 cs.AI cs.MM cs.SD
The sound of my voice: speaker representation loss for target voice separation
Naver Corporation（Naver公司）
内容表征和风格表征是风格迁移领域的研究热点。在本文中，我们提出了一个新的损失函数，使用说话人内容表示的音频声源分离，我们称之为说话人表示损失。目标是从噪声输入中提取目标说话人语音，并将其从残留分量中去除。与传统的频谱重建相比，我们提出的框架最大限度地利用目标说话人的信息，通过最小化参考和声源分离输出的说话人表示之间的距离。我们还提出了三重说话人表示损失作为一个额外的标准，以消除目标说话人的信息，从残留的声谱图输出。在VCTK数据库上，采用VoiceFilter框架对声源分离性能进行了评估，在不增加任何网络参数的情况下，与基线损失函数相比，我们获得了更好的性能。
2020-02-27 cs.SD eess.AS
The Multi-speaker Multi-style Voice Cloning Challenge 2021
多扬声器多风格语音克隆挑战赛（M2 VoC）旨在为流行的语音克隆任务的基准测试提供一个通用的大型数据集和一个公平的测试平台。具体来说，我们制定的挑战，以适应平均TTS模型的风格目标语音与有限的数据，从目标扬声器，扬声器的身份和风格相似性进行评估。挑战赛包括两条赛道，分别是Few-Shot赛道和one-shot赛道，参赛者需要分别克隆100个和5个样本的多个目标声音。每个轨道中也有两个子轨道。对于子轨道a，为了公平地比较不同的策略，仅允许参与者严格使用组织者提供的训练数据。对于子轨道b，允许参与者使用任何公开可用的数据。在本文中，我们对挑战中使用的任务和数据进行了详细说明，然后对提交的系统和评估结果进行了总结。
2021-04-05 eess.AS
AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
非并行多对多语音转换以及zero-shot语音转换仍然是未开发的领域。生成对抗网络（GAN）和条件变分自动编码器（CVAE）等深度风格传输算法正在作为该领域的新解决方案应用。然而，GAN训练是复杂和困难的，并且没有强有力的证据表明其生成的语音具有良好的感知质量。另一方面，CVAE训练很简单，但不具有GAN的分布匹配属性。在本文中，我们提出了一种新的风格传输方案，只涉及一个自动编码器与精心设计的瓶颈。我们正式表明，该计划可以实现分布匹配的风格转移，通过训练，只有一个自我重建的损失。在此基础上，我们提出了AUTOVC，它在非并行数据的多对多语音转换中取得了最先进的结果，并且是第一个执行zero-shot语音转换的。
2019-06-06 cs.AI cs.LG cs.SD
Leveraging Symmetrical Convolutional Transformer Networks for Speech to Singing Voice Style Transfer
Indian Institute of Science（印度科学学院）；Sony Group Corporation（索尼集团公司）
在本文中，我们提出了一个模型来执行语音风格转移到歌声。与以前的基于信号处理的方法相反，这些方法需要高质量的歌唱模板或音素同步，我们探索了一种数据驱动的方法来解决将自然语音转换为歌唱声音的问题。我们开发了一种新的神经网络架构，称为SymNet，它模拟输入语音与目标旋律的对齐，同时保留扬声器的身份和自然性。所提出的SymNet模型由三种类型的层的对称堆栈组成-卷积层、Transformer层和自我注意层。本文还探讨了新的数据增强和生成损失退火方法，以促进模型训练。实验在NUS和NHSS数据集上进行，这些数据集由语音和歌声的并行数据组成。在这些实验中，我们表明，所提出的SymNet模型提高了客观重建质量显着超过以前公布的方法和基线架构。此外，主观收听测试证实了使用所提出的方法获得的音频的质量得到了改善（在基线系统上平均意见得分测量中绝对改善了0.37）。
2022-08-26 cs.LG cs.SD eess.AS
Conversational End-to-End TTS for Voice Agent
Microsoft（微软）
端到端神经TTS在阅读风格语音合成方面取得了优异的性能。然而，由于语料库和建模能力的限制，构建高质量的会话式文语转换系统仍然是一个挑战。本研究的目的是在序列到序列建模框架下为语音代理构建一个会话式TTS。我们首先构建了一个为语音代理设计的自发会话语音语料库，并采用了一种新的录音方案，既保证了录音质量，又保证了会话的风格。其次，我们提出了一种会话上下文感知的端到端TTS方法，该方法具有辅助编码器和会话上下文编码器，以加强有关当前话语及其在会话中的上下文信息。实验结果表明，本文提出的方法能产生更符合会话语境的自然韵律，在话语级和会话级都有明显的偏好增益。此外，我们发现该模型具有表达一些自发行为的能力，如填充和重复的话，这使得会话风格更真实。
2020-11-16 cs.SD eess.AS
S$^2$Voice: Style-Aware Autoregressive Modeling with Enhanced Conditioning for Singing Style Conversion
Northwestern Polytechnical University（西北工业大学）；Bytedance（字节跳动）
S$^2$Voice通过增强条件和自回归建模提升歌唱风格转换的风格控制和鲁棒性，实现更自然的音色相似性和更高的转换性能。
2026-01-20 eess.AS eess.SP
Diff-HierVC: Diffusion-based Hierarchical Voice Conversion with Robust Pitch Generation and Masked Prior for Zero-shot Speaker Adaptation
Korea University（高丽大学）
针对现有语音转换方法基频不准、说话人自适应质量低的问题，提出基于双扩散模型的分层语音转换系统Diff-HierVC，通过分层生成、解耦先验与掩码先验提升性能，在零样本场景下取得优异表现。
2023-11-08 cs.AI cs.SD eess.AS
Enhancing Expressive Voice Conversion with Discrete Pitch-Conditioned Flow Matching Model
Zhejiang University（浙江大学）；LightSpeed Studios, Tencent（腾讯光速工作室）
针对现有语音转换在表现力增强上的不足，本文提出PFlow-VC模型，通过离散基音标记和目标说话人提示，结合基音VQVAE与掩码基音条件流匹配，提升风格迁移与音色相似度，在LibriTTS和ESD数据集上表现优异。
2025-02-08 cs.SD eess.AS
Pureformer-VC: Non-parallel One-Shot Voice Conversion with Pure Transformer Blocks and Triplet Discriminative Training
针对现有单样本语音转换方法在语音成分解耦与重组上的不足，提出Pureformer-VC，通过Conformer编码器、含Styleformer的Zipformer解码器及VAE与三元组损失训练，在主观评分相当的情况下提升了客观指标。
2024-11-25 cs.AI cs.SD eess.AS
Subband-based Generative Adversarial Network for Non-parallel Many-to-many Voice Conversion
Southern University of Science and Technology（南方科技大学）；University of Technology Sydney（悉尼科技大学）；National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
语音转换是指根据源语音内容和目标语音风格生成新的语音。在本文中，我们专注于一个一般设置，即，非并行多对多语音转换，接近真实场景。顾名思义，非并行多对多语音转换不需要成对的源语音和参考语音，并且可以应用于任意语音传输。近年来，生成对抗网络（GANs）和其他技术，如条件变分自编码器（CVAE）在这一领域取得了长足的进步。然而，由于语音转换的复杂性，转换后的语音的风格相似性仍然不令人满意。受mel-声谱图固有结构的启发，我们提出了一种新的语音转换框架，即，基于子带的语音转换生成对抗网络。SGAN-VC通过显式地利用不同子带之间的空间特性来单独地转换源语音的每个子带内容。SGAN-VC包含一个样式编码器、一个内容编码器和一个解码器。特别地，风格编码器网络被设计为学习目标说话者的不同子带的风格代码。内容编码器网络可以捕获关于源语音的内容信息。最后，解码器生成特定的子带内容。此外，我们提出了一个音高转换模块来微调源扬声器的音高，使转换后的音调更准确和可解释的。大量的实验表明，所提出的方法在VCTK语料库和AISHELL 3数据集上实现了定性和定量的最先进的性能，无论是在可见或不可见的数据。此外，SGAN-VC在看不见的数据上的内容清晰度甚至超过了具有ASR网络辅助的StarGANv 2-VC。
2022-07-27 cs.MM cs.SD eess.AS
LAPS-Diff: A Diffusion-Based Framework for Singing Voice Synthesis With Language Aware Prosody-Style Guided Learning
Department of Electrical Engineering, Indian Institute of Technology, Bombay.（电子工程系，印度理工学院，博亚姆）
LAPS-Diff通过语言感知嵌入和语音风格引导学习，提升低资源环境下印地语歌唱语音合成的质量。
2025-11-28 cs.AI cs.SD eess.AS
