CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation
UNSW Sydney（新南威尔士大学悉尼分校）；Dolby Laboratories（杜比实验室）
CookVoice是统一的多模态人声生成框架，分解人声为内容、韵律、风格，支持多任务，参数少、推理高效，可控性强且生成质量接近基线模型。
2026-08-14 cs.LG cs.SD
Voice "Cloning" is Style Transfer
Cornell University（康奈尔大学）；TogetherAI；Stanford University（斯坦福大学）
研究发现语音克隆并非忠实复制原声，而是系统性地应用风格迁移，使克隆语音更权威、温暖、客服化且更人性化，导致说话者特征同质化，并影响人类信任与行为。
2026-10-07 cs.AI cs.HC cs.LG
Cross-modal Face- and Voice-style Transfer
Sony Group Corporation（索尼集团公司）
图像到图像转换和语音转换使得能够生成新的面部图像和语音，同时分别保持一些语义，例如图像中的姿势和音频中的语言内容。它们可以在许多应用程序中帮助内容创建过程。然而，由于它们仅限于每种模态内的转换，因此匹配所生成的面部和语音的印象仍然是一个悬而未决的问题。我们提出了一个名为XFaVoT的跨模态风格转换框架，该框架联合学习四个任务：具有音频或图像指导的图像翻译和语音转换任务，这使得能够生成“与给定语音匹配的面部”和“与给定面部匹配的语音”，以及具有单个框架的模态内翻译任务。在多个数据集上的实验结果表明，XFaVoT实现了图像和语音的跨模态风格翻译，在质量，多样性和人脸-语音对应性方面优于基线。
2023-03-01 cs.CV cs.SD eess.AS
Towards Better Disentanglement in Non-Autoregressive Zero-Shot Expressive Voice Conversion
Karlsruhe Institute for TechnologyGermany（卡尔斯鲁厄理工学院德国）；Carnegie Mellon UniversityUSA（卡内基梅隆大学美国）
本文提出改进的非自回归零样本表现力语音转换方法，通过多语言离散单元、相似性损失、混合风格归一化及局部F0与全局音高能量特征增强解耦，在情感和说话人相似度上优于基线。
2025-06-04 cs.AI cs.SD eess.AS
End-to-end lyrics Recognition with Voice to Singing Style Transfer
Sony Corporation（索尼公司）
单声道/复调音乐的自动转录是一项具有挑战性的任务，由于缺乏大量的转录数据的可用性。在本文中，我们提出了一个数据增强方法，将自然语音转换成歌声的基础上声码器为基础的语音合成器。这种方法，被称为语音到歌唱（V2 S），执行语音风格转换，通过调制的F0轮廓的自然语音与歌声。基于V2 S模型的风格转换可以生成高质量的歌声，从而使得能够将大型自然语音语料库转换为歌声，这在构建E2 E歌词转录系统中是有用的。在我们对单声道歌唱声音数据的实验中，V2 S风格转移为E2 E歌词转录系统提供了显着的增益（相对提高21%）。我们还讨论了其他组件，如迁移学习和基于歌词的语言建模，以提高性能的歌词转录系统。
2021-02-17 cs.LG cs.SD eess.AS
Meta-Voice: Fast few-shot style transfer for expressive voice cloning using meta learning
Tencent AI Lab（腾讯人工智能实验室）
文本到语音（TTS）合成中用于语音克隆的Few-Shot风格转换任务旨在使用非常有限的中性数据量将任意源说话人的说话风格转换为目标说话人的语音。这是一个非常具有挑战性的任务，因为学习算法需要同时处理Few-Shot语音克隆和说话者韵律解纠缠。加速新目标说话人的适应过程在现实世界的应用中是重要的，但更具挑战性。在本文中，我们探讨了硬快速Few-Shot风格的转移语音克隆任务，使用Meta学习。我们研究了模型不可知的元学习（MAML）算法，并将预训练的多说话人和多韵律基TTS模型元转移到对少量样本的适应高度敏感。采用领域对抗训练机制和正交约束来分离说话人和韵律表示，以实现有效的跨说话人风格传递。实验结果表明，该方法能够进行快速的语音克隆，从一个目标说话人只有5个样本（约12秒的语音数据），只有100个自适应步骤。音频样本可在线获取。
2021-11-14 cs.CL cs.SD eess.AS
HierVST: Hierarchical Adaptive Zero-shot Voice Style Transfer
Korea University（高丽大学）
针对零样本语音风格迁移难以迁移新说话人风格的问题，提出分层自适应端到端模型HierVST，利用分层变分推断与自监督表示在无文本下训练，通过分层自适应生成器逐步转换语音，在零样本场景中优于其他VST模型。
2023-07-30 cs.AI cs.MM cs.SD
TCSinger: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control
Zhejiang University, Shanghai AI Laboratory（浙江大学上海人工智能实验室）
提出首个零样本歌声合成模型TCSinger，通过聚类风格编码器、风格与时长语言模型及风格自适应解码器，实现跨语言风格迁移与多级风格控制，在合成质量与相似度上优于基线模型。
2025-05-30 cs.CL cs.SD eess.AS
Voice Aging with Audio-Visual Style Transfer
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；UMD College Park（马里兰大学帕克分校）
面部老化技术使用生成对抗网络（GANs）和风格迁移学习来改变一个人的外观，使其看起来更年轻/更老。通过将这些生成网络调节到源内容的学习向量表示上来保持身份。在这项工作中，我们采用了类似的方法来年龄扬声器的声音，称为语音老化。我们首先通过在来自Common Voice和VoxCeleb数据集的说话者的语音和面部数据上训练卷积神经网络（CNN）来分析说话者年龄的分类。我们从风格转换中生成老年人的声音，将输入的频谱图转换为不同的年龄，并在移动应用程序上演示我们的方法。
2021-10-05 cs.CL cs.LG cs.SD
StyleTTS-VC: One-Shot Voice Conversion by Knowledge Transfer from Style-Based TTS Models
Columbia University（哥伦比亚大学）
单次语音转换（One-shot Voice Conversion，VC）的目的是利用来自目标说话人的几秒钟参考语音，将来自任意源说话人的语音转换为任意目标说话人的语音。这在很大程度上依赖于解开说话者的身份和讲话内容，这仍然是一项具有挑战性的任务。在这里，我们提出了一种新的方法来学习解开语音表示从基于风格的文本到语音（TTS）模型的迁移学习。通过周期一致性和对抗性训练，基于风格的TTS模型可以执行具有高保真度和相似性的转录引导的一次性VC。通过学习一个额外的梅尔频谱图编码器，通过师生知识转移和新的数据增强方案，我们的方法的结果在解开语音表示，而不需要输入文本。主观评价表明，我们的方法可以显着优于以前的国家的最先进的一次性语音转换模型在自然度和相似性。
2022-12-29 cs.SD eess.AS
ZSVC: Zero-shot Style Voice Conversion with Disentangled Latent Diffusion Models and Adversarial Training
Microsoft（微软）；Northwestern Polytechnical University（西北工业大学）
提出 ZSVC 零样本风格语音转换方法，结合语音编解码器、语音提示潜在扩散、信息瓶颈、UMAdaIN 与对抗训练，实现风格与音色解耦，并在 44,000 小时数据上验证其优越性能。
2025-01-08 cs.SD eess.AS
Mellotron: Multispeaker expressive voice synthesis by conditioning on rhythm, pitch and global style tokens
NVIDIA Corporation（英伟达公司）
Mellotron是一个基于Tacotron 2 GST的多说话人语音合成模型，它可以在没有情感或歌唱训练数据的情况下使语音情感化和歌唱。通过从音频信号或乐谱中明确地调节节奏和连续的音高轮廓，Mellotron能够生成各种风格的语音，从朗读到表达性语音，从缓慢的拖音到说唱，从单调的声音到歌声。与其他方法不同，我们训练Mellotron只使用读取的语音数据，而不使用文本和音频之间的对齐。我们使用LJSpeech和LibriTTS数据集来评估我们的模型。我们提供F0帧错误和合成样本，包括来自其他扬声器的风格转移，歌手和训练期间未见过的风格，节奏和音高的程序操作以及合唱合成。
2019-10-26 cs.LG cs.SD eess.AS
AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
非并行多对多语音转换以及zero-shot语音转换仍然是未开发的领域。生成对抗网络（GAN）和条件变分自动编码器（CVAE）等深度风格传输算法正在作为该领域的新解决方案应用。然而，GAN训练是复杂和困难的，并且没有强有力的证据表明其生成的语音具有良好的感知质量。另一方面，CVAE训练很简单，但不具有GAN的分布匹配属性。在本文中，我们提出了一种新的风格传输方案，只涉及一个自动编码器与精心设计的瓶颈。我们正式表明，该计划可以实现分布匹配的风格转移，通过训练，只有一个自我重建的损失。在此基础上，我们提出了AUTOVC，它在非并行数据的多对多语音转换中取得了最先进的结果，并且是第一个执行zero-shot语音转换的。
2019-06-06 cs.AI cs.LG cs.SD
Unet-TTS: Improving Unseen Speaker and Style Transfer in One-shot Voice Cloning
CloudMinds Inc.（达闼科技）
单次语音克隆是指在文本到语音（TTS）系统中，只使用目标参考语音的一次录音，对合成语音中说话人的声音和说话风格进行转换。域外传输仍然是一个具有挑战性的任务，影响合成语音的准确性和相似性的一个重要方面是从有限的参考文献中提取的携带说话人或风格线索的条件表示。在本文中，我们提出了一种新的一次性语音克隆算法称为Unet-TTS，具有良好的泛化能力，不可见的扬声器和风格。该模型基于跳跃连接的U网结构，能够有效地从参考音频中发现说话人级和话语级的频谱特征细节，从而能够准确地推断出复杂的声学特征，并在合成语音中模仿说话风格。根据主观和客观的相似性评价，新模型优于说话人嵌入和无监督风格建模（GST）方法在一个看不见的情感语料库。
2022-02-24 cs.SD eess.AS
Expressive Voice Conversion: A Joint Framework for Speaker Identity and Emotional Style Transfer
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
传统的语音转换（VC）一直专注于说话人身份转换的语音与中性的表达。我们注意到，情感表达在日常交流中起着至关重要的作用，言语的情感风格可能取决于说话者。在本文中，我们研究的技术，共同转换的说话人身份和说话人依赖的情感风格，即表达的声音转换。我们提出了一个基于StarGAN的框架来学习不同说话者之间的多对多映射，该框架考虑了说话者依赖的情感风格，而不需要并行数据。为了实现这一点，我们的条件生成器的情感风格编码来自一个预先训练的语音情感识别（SER）模型。实验验证了我们提出的框架在客观和主观评价的有效性。据我们所知，这是第一次研究表达语音转换。
2021-10-20 cs.SD eess.AS
HybridVC: Efficient Voice Style Conversion with Text and Audio Prompts
Australian National University（澳大利亚国立大学）
本文提出基于预训练CVAE并结合对比学习的语音转换框架HybridVC，通过文本和音频提示实现灵活的多模态语音风格转换，在有限资源下具备卓越训练效率与广泛的应用潜力。
2024-09-25 cs.MM cs.SD eess.AS
Diff-HierVC: Diffusion-based Hierarchical Voice Conversion with Robust Pitch Generation and Masked Prior for Zero-shot Speaker Adaptation
Korea University（高丽大学）
针对现有语音转换方法基频不准、说话人自适应质量低的问题，提出基于双扩散模型的分层语音转换系统Diff-HierVC，通过分层生成、解耦先验与掩码先验提升性能，在零样本场景下取得优异表现。
2023-11-08 cs.AI cs.SD eess.AS
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum（博洛尼亚大学）
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而，对于现实世界的应用程序，并行数据很少可用。我们提出了MelGAN-VC，一种语音转换方法，依赖于非并行语音数据，能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图，然后使用生成对抗网络（GAN）架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息，而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集，以及与嘈杂的现实世界的语音例子的集合。最后，我们采用相同的方法来执行音乐风格的转移，翻译任意长的音乐样本从一个流派到另一个，并表明我们的框架是灵活的，可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
Pureformer-VC: Non-parallel One-Shot Voice Conversion with Pure Transformer Blocks and Triplet Discriminative Training
针对现有单样本语音转换方法在语音成分解耦与重组上的不足，提出Pureformer-VC，通过Conformer编码器、含Styleformer的Zipformer解码器及VAE与三元组损失训练，在主观评分相当的情况下提升了客观指标。
2024-11-25 cs.AI cs.SD eess.AS
Voice Impersonation using Generative Adversarial Networks
Carnegie Mellon University（卡内基梅隆大学）
语音模仿不同于语音转换，尽管后者是语音模仿的一个基本要素。在语音模仿中，合成的语音必须令人信服地传达出由目标说话者自然产生的印象，不仅要模仿音高和其他可感知的信号质量，还要模仿目标说话者的风格。在本文中，我们提出了一个新的神经网络为基础的语音质量和风格模仿框架的合成模拟的声音。该框架是建立在一个快速，准确的生成对抗网络模型。给定源和目标说话者声音的频谱表示，该模型学习模仿目标说话者的声音质量和风格，而不管任何一个声音的语言内容，生成合成频谱图，使用Griffin-Lim方法重建时域信号。实际上，该模型将众所周知的图像风格转移问题重新定义为语音信号的风格转移问题，同时本质上解决了语音声音的持续变化问题。实验表明，该模型可以产生非常令人信服的模拟语音样本。它甚至能够有效地模仿不同性别的声音。使用用于评估合成声音的标准程序对结果进行定性评估。
2018-02-19 cs.SD eess.AS
PromptVC: Flexible Stylistic Voice Conversion in Latent Space Driven by Natural Language Prompts
Northwestern Polytechnical University（西北工业大学）；Ximalaya Inc（喜马拉雅公司）
提出PromptVC，利用潜在扩散模型和自然语言提示生成风格向量，结合HuBERT离散标记与时长预测，实现灵活的风格语音转换，实验验证有效。
2023-12-26 cs.SD eess.AS
LAPS-Diff: A Diffusion-Based Framework for Singing Voice Synthesis With Language Aware Prosody-Style Guided Learning
Department of Electrical Engineering, Indian Institute of Technology, Bombay.（电子工程系，印度理工学院，博亚姆）
LAPS-Diff通过语言感知嵌入和语音风格引导学习，提升低资源环境下印地语歌唱语音合成的质量。
2025-11-28 cs.AI cs.SD eess.AS
CLN-VC: Text-Free Voice Conversion Based on Fine-Grained Style Control and Contrastive Learning with Negative Samples Augmentation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
提出CLN-VC方法，通过说话人融合模块生成困难负样本增强对比学习，并用参考编码器提取细粒度风格，提升相似说话人间的语音转换质量。
2023-11-15 cs.SD eess.AS
Vevo: Controllable Zero-Shot Voice Imitation with Self-Supervised Disentanglement
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Meta AI
Vevo提出一种自监督解纠缠的零样本声音模仿框架，通过两阶段建模实现音色与风格的可控生成，在口音和情感转换任务中达到或超越现有方法。
2025-02-11 cs.AI cs.SD eess.AS
ConVoice: Real-Time Zero-Shot Voice Style Transfer with Convolutional Network
Higher School of Economics（高等经济大学）
我们提出了一个神经网络的zero-shot语音转换（VC）没有任何并行或转录数据。我们的方法使用预先训练的模型，从说话人验证任务中获得的自动语音识别（ASR）和说话人嵌入。我们的模型是完全卷积和非自回归的，除了一个小的预先训练的递归神经网络用于扬声器编码。ConVoice可以转换任何长度的语音，而不会因其卷积架构而影响质量。我们的模型具有类似的国家的最先进的模型，同时非常快的质量。
2020-05-15 cs.SD eess.AS
Expressive Neural Voice Cloning
University of California San Diego（加州大学圣地亚哥分校）
语音克隆是学习从几个样本中合成一个看不见的说话者的声音的任务。虽然目前的语音克隆方法在文本到语音（TTS）合成新的声音取得了可喜的成果，这些方法缺乏控制合成音频的表现力的能力。在这项工作中，我们提出了一个可控的语音克隆方法，允许细粒度控制的合成语音的各种风格方面的一个看不见的扬声器。我们实现了这一点，明确条件的语音合成模型的扬声器编码，音高轮廓和潜在的风格令牌在训练过程中。通过定量和定性的评价，我们表明，我们的框架可以用于各种表达的语音克隆任务，只需要几个转录或未转录的语音样本的一个新的扬声器。这些克隆任务包括从参考语音进行风格转换、直接从文本合成语音以及通过在推理期间操纵风格条件变量来进行细粒度风格控制。
2021-01-30 cs.LG cs.SD eess.AS
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.（索尼印度私人有限公司研究院）；Indraprastha Institute of Information Technology (IIIT)（因德拉普拉斯信息技术学院（IIIT））
本文提出VECL-TTS端到端跨语言语音合成系统，同时控制语音身份与情感风格，并通过内容与风格一致性损失提升合成质量，在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
Text-Driven Voice Conversion via Latent State-Space Modeling
针对现有文本驱动语音转换方法风格控制灵活性不足的问题，提出基于潜状态空间的LSS-VC方法，通过语音潜流形与自适应跨模态融合实现细粒度风格控制，性能优于现有基线。
2025-07-30 cs.GR cs.SD eess.AS
Fed-PISA: Federated Voice Cloning via Personalized Identity-Style Adaptation
Peng Cheng Laboratory（鹏城实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
Fed-PISA通过个性化身份-风格适应实现联邦语音克隆，减少通信成本并提升个性化表现。
2026-02-07 cs.AI cs.SD eess.AS
SRF-SVB: Style-Consistent Singing Voice Beautifying via Rectified Flow
Harbin Institute of Technology（哈尔滨工业大学）
提出SRF-SVB，利用修正流实现高保真、高效的歌声美化，通过上下文引导的掩码梅尔频谱图修补保留歌手风格，在英中测试集上优于基线。
2026-09-23 cs.SD eess.AS
VibE-SVC: Vibrato Extraction with High-frequency F0 Contour for Singing Voice Conversion
Department of Artificial Intelligence（人工智能系）
针对歌声转换中颤音难建模控制的问题，提出VibE-SVC可控模型，通过离散小波变换分解F0轮廓显式提取操控颤音，实现精准风格迁移且保留说话人相似度，转换质量经主客观评估验证。
2025-10-05 cs.AI cs.SD eess.AS
One-shot Voice Conversion For Style Transfer Based On Speaker Adaptation
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
一次性风格迁移是一项具有挑战性的任务，因为对一个话语的训练使得模型非常容易过拟合到训练数据，并导致说话人相似度低和缺乏表达力。在本文中，我们建立的发音合成框架，并提出了一个一次性的语音转换方法的风格转移的基础上说话人自适应。首先，采用说话人归一化模块去除ASR提取的瓶颈特征中的说话人相关信息。其次，在自适应过程中采用权重正则化，以防止由于只使用目标说话人的一个话语作为训练数据而导致的过拟合。最后，为了全面地解耦语音因素，即，内容、说话者、风格，并将源风格传递到目标，韵律模块用于提取韵律表示。实验表明，我们的方法是优于国家的最先进的单镜头VC系统的风格和说话人的相似性，此外，我们的方法也保持了良好的语音质量。
2022-02-21 cs.SD eess.AS
DS-TTS: Zero-Shot Speaker Style Adaptation from Voice Clips via Dynamic Dual-Style Feature Modulation
School of Data Science and Media Intelligence, Communication University of China（数据科学与媒体智能学院，中国传媒大学）；Psyche AI Inc. Beijing, China（北京Psyche AI公司，中国）；Hainan International College, Communication University of China（海南国际学院，中国传媒大学）；Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北京理工大学）
DS-TTS 提出双风格编码网络与动态生成器网络，通过风格门控-电影机制融合互补风格特征并动态适应输入长度，在 VCTK 上显著提升零样本语音克隆的词错误率与说话人相似度。
2025-06-01 cs.SD eess.AS
S2Cap: A Benchmark and a Baseline for Singing Style Captioning
Pohang University of Science and Technology（釜山科学技术大学）
本文定义了歌唱风格描述生成任务，构建了覆盖发声、声学及人口统计学特征的S2Cap数据集，并提出了一种高效简洁的基线算法，以弥补现有歌声音频-文本数据集属性覆盖不足的问题。
2025-08-18 cs.AI cs.CL cs.LG
Extracting Voice Styles from Frozen TTS Models via Gradient-Based Inverse Optimization
Hanyang University（汉阳大学）
研究针对文本到语音系统中用户无法生成自身语音风格向量的问题，通过梯度下降直接求解输入，冻结模型权重仅优化风格向量，在多说话者实验中提升了相似度，验证器接受率显著提高。
2026-09-09 cs.SD eess.AS
VoiceTTA: Enhancing Zero-Shot Text-to-Speech via Reinforcement Learning-Based Test-Time Adaptation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tencent（腾讯）
提出VoiceTTA，一种基于强化学习的测试时自适应方法，通过优化可学习前缀和风格奖励，提升预训练零样本TTS模型对罕见语音风格的模仿能力。
2026-06-26 cs.AI cs.SD
Expressive Singing Synthesis Using Local Style Token and Dual-path Pitch Encoder
Music and Audio Research Group (MARG), Seoul National University（首尔国立大学音乐与音频研究组（MARG））；supertone Inc.（supertone公司）
本文提出了一种可控的歌声合成系统，能够通过两种新颖的方法生成富有表现力的歌声。首先，提出了从输入音高和文本序列预测帧级风格令牌的局部风格令牌模块，以允许演唱语音系统控制通常在乐谱中未指定的音乐表达（例如，呼吸和强度）。其次，我们提出了一个双路径音高编码器，可以选择两个不同的音高输入：f0轮廓或f1音高序列。因为歌唱声的初始生成通常是通过取一个小音高序列来执行的，所以可以在以后从所生成的歌唱声中提取f0轮廓，并根据需要将f0轮廓修改为更精细的水平。通过定量和定性的评价，我们证实，该模型可以控制各种音乐的表现，而不牺牲歌唱声音合成系统的音质。
2022-04-07 cs.SD eess.AS
Seeing Your Speech Style: A Novel Zero-Shot Identity-Disentanglement Face-based Voice Conversion
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出ID-FaceVC方法，通过身份感知对比学习模块和互信息双重解耦模块，实现零样本基于人脸的语音转换，支持音频或文本输入及可控情感与语速，在自然度、相似度和多样性上达到最先进水平。
2024-09-01 cs.AI cs.CV cs.SD
Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是在保留语言内容和说话人身份的同时，转换语音中的情感韵律。先前的研究表明，使用离散表示的编码器-解码器网络（例如独热情感标签）可以解开情感韵律。这样的网络学会记住一套固定的情感风格。在本文中，我们提出了一种新的框架的基础上变分自动编码Wasserstein生成对抗网络（VAW-GAN），它利用一个预先训练的语音情感识别（SER）模型，在训练和运行时的推理转移情感风格。通过这种方式，网络能够将可见和不可见的情感风格转移到新的话语中。我们表明，建议的框架实现了显着的性能始终优于基线框架。本文还标志着用于语音转换的情感语音数据集（ESD）的发布，该数据集具有多个扬声器和语言。
2021-02-11 cs.CL cs.SD eess.AS
Voice Quality Dimensions as Interpretable Primitives for Speaking Style for Atypical Speech and Affect
AppleUSA（苹果公司）
本文针对七个语音和话语维度开发并评估了语音质量模型，在SAP数据集上训练探针，验证了其出色的跨类别泛化能力，并在多语言非典型语音和情感语音数据集上实现了出色的零样本性能，证明了语音质量维度在语音风格任务中的实用性。
2025-05-27 cs.LG cs.SD eess.AS
Voice Conversion for Lombard Speaking Style with Implicit and Explicit Acoustic Feature Conditioning
Department of Computing, Imperial College London（帝国理工学院计算机系）；Amazon Alexa, TTS Research（亚马逊Alexa，语音合成研究）
本文研究Lombard发音风格迁移，提出在语音转换中采用隐式声学特征条件策略，在转换说话人身份的同时保留Lombard风格属性，实现了与显式条件相当的可懂度提升并保持了说话人相似度。
2025-07-12 cs.CL cs.SD eess.AS
Delivering Speaking Style in Low-resource Voice Conversion with Multi-factor Constraints
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
在语音转换中，语言内容的传达和源语语调、情感等说话风格的保持是至关重要的。然而，在低资源的情况下，只有有限的话语从目标说话人是可访问的，现有的VC方法很难满足这一要求，并捕捉目标说话人的木材。在这项工作中，一种新的VC模型，被称为MFC-StyleVC，提出了低资源VC任务。具体而言，新提出的聚类方法产生的说话人音色约束，指导目标说话人音色学习的不同阶段。同时，为了防止过度拟合目标说话人的有限数据，感知正则化约束显式地保持模型在特定方面的性能，包括说话风格，语言内容和语音质量。此外，引入了一种模拟模式来模拟推理过程，以缓解训练和推理之间的不匹配。大量的实验表现出高度的语音证明了该方法在低资源VC的优越性。
2023-03-14 cs.SD eess.AS
DeepASMR: LLM-Based Zero-Shot ASMR Speech Generation for Anyone of Any Voice
Auditory Cognition and Computational Acoustics Lab, School of Computer Science& MoE Key Laboratory of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（计算机学院听力认知与计算声学实验室、教育部人工智能关键实验室、人工智能研究院，上海交通大学）
DeepASMR通过LLM和流匹配解码器实现零样本ASMR语音生成，无需目标说话人无声数据，提升自然度和风格保真度。
2026-01-22 cs.AI cs.SD eess.AS
OpenVoice: Versatile Instant Voice Cloning
MIT（麻省理工学院）；Tsinghua University（清华大学）
本研究提出OpenVoice多功能即时语音克隆方法，实现灵活语音风格控制与零样本跨语言克隆，计算成本远低于商用API，已开源并获大规模应用。
2024-08-18 cs.LG cs.SD eess.AS
VStyle: A Benchmark for Voice Style Adaptation with Spoken Instructions
本文提出语音风格适应任务及双语基准VStyle，并设计LALM作为评判者框架，系统评估语音语言模型按语音指令调整音色、韵律和人格等风格的能力，揭示当前模型的局限性。
2025-09-22 cs.AI cs.CL cs.SD
Zero-Shot Face-to-Speech Synthesis via Latent Space Adaptation of a Style-Diffusion TTS Model
Universitat Oberta de Catalunya (UOC)（开放加泰罗尼亚大学（UOC））；Monoceros Labs（麒麟座实验室）；University of Granada（格拉纳达大学）
该研究提出基于StyleTTS 2的人脸到语音合成框架，通过人脸适配器实现静态人脸到语音的零样本生成，在LRS3数据集上验证了效果，且映射具有语言无关性。
2026-07-30 cs.AI cs.SD eess.AS
Improving severity preservation of healthy-to-pathological voice conversion with global style tokens
Nagoya University（名古屋大学）；Netherlands Cancer Institute（荷兰癌症研究所）
针对健康到病理语音转换中身份转换易损失病理严重程度的问题，本文引入 PPG 与 GST 改进两阶段框架，并构建同身份平行病理/健康语音数据集，验证其可同时保持严重程度并建模目标音色。
2023-10-04 cs.SD eess.AS
UniSS: Unified Expressive Speech-to-Speech Translation with Your Voice
Hong Kong University of Science and Technology（香港理工大学）；Soul AI Lab（Soul AI 实验室）
针对表现性语音到语音翻译中数据稀缺、流程复杂及LLM能力迁移受限的问题，提出单阶段框架UniSS，通过跨模态思维链提示实现文本到语音的翻译能力迁移，并发布44.8k小时数据集UniST，显著提升翻译保真度与语音质量。
2025-09-25 cs.AI cs.SD
U-Style: Cascading U-nets with Multi-level Speaker and Style Modeling for Zero-Shot Voice Cloning
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
针对零样本语音克隆中自然度、相似度不足及风格适配缺失的问题，提出以Grad-TTS为骨干、带多级U网编码器的U-Style方法，实现说话人与风格解耦，性能优于现有方法，支持跨未见说话人的风格灵活组合。
2023-10-06 cs.SD eess.AS
Discl-VC: Disentangled Discrete Tokens and In-Context Learning for Controllable Zero-Shot Voice Conversion
School of Informatics（信息学院）；School of Electronic Science and Engineering（电子科学与工程学院）
提出Discl-VC框架，通过解耦自监督语音表示中的内容与韵律信息，结合流匹配变换器上下文学习和掩码生成变换器预测离散韵律标记，实现了高精度的零样本语音转换与韵律控制。
2025-05-30 cs.AI cs.SD eess.AS
Leveraging Symmetrical Convolutional Transformer Networks for Speech to Singing Voice Style Transfer
Indian Institute of Science（印度科学学院）；Sony Group Corporation（索尼集团公司）
在本文中，我们提出了一个模型来执行语音风格转移到歌声。与以前的基于信号处理的方法相反，这些方法需要高质量的歌唱模板或音素同步，我们探索了一种数据驱动的方法来解决将自然语音转换为歌唱声音的问题。我们开发了一种新的神经网络架构，称为SymNet，它模拟输入语音与目标旋律的对齐，同时保留扬声器的身份和自然性。所提出的SymNet模型由三种类型的层的对称堆栈组成-卷积层、Transformer层和自我注意层。本文还探讨了新的数据增强和生成损失退火方法，以促进模型训练。实验在NUS和NHSS数据集上进行，这些数据集由语音和歌声的并行数据组成。在这些实验中，我们表明，所提出的SymNet模型提高了客观重建质量显着超过以前公布的方法和基线架构。此外，主观收听测试证实了使用所提出的方法获得的音频的质量得到了改善（在基线系统上平均意见得分测量中绝对改善了0.37）。
2022-08-26 cs.LG cs.SD eess.AS
Enriching Source Style Transfer in Recognition-Synthesis based Non-Parallel Voice Conversion
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc（爱奇艺公司）
当前的语音转换（VC）方法可以成功地转换音频的音色。由于对源音频的韵律进行有效建模是一项具有挑战性的任务，因此将源风格转换为转换后的语音仍然存在局限性。本研究提出一种基于编译-合成框架的源代码风格转换方法。以往的语音生成任务中，韵律可以显式地用韵律特征建模，也可以隐式地用潜在韵律提取器建模。本文利用两者的优点，以混合方式对韵律进行建模，有效地将显式和隐式方法结合在拟议的韵律模块中。具体地说，韵律特征用于显式韵律建模，而VAE和参考编码器用于隐式韵律建模，分别以Mel谱和瓶颈特征作为输入。此外，引入对抗训练来从VAE输出中去除说话人相关信息，避免在传递风格时泄漏源说话人信息。最后，我们使用一个修改后的自我注意基于编码器提取的瓶颈功能，这也隐含地聚合源语音的韵律方面的分层表示的韵律上下文。实验结果表明，我们的方法是优于基线和竞争系统的风格转移，同时，语音质量和说话人相似性保持良好。
2021-06-26 cs.SD eess.AS
Transplantation of Conversational Speaking Style with Interjections in Sequence-to-Sequence Speech Synthesis
IBM Research AI（IBM研究院人工智能部门）
已知从语音序列直接生成低级声学特征的序列到序列文本到语音体系结构在被提供有足够量的训练数据时产生自然和有表现力的语音。这样的系统可以学习并将期望的说话风格从一个看到的说话者转移到另一个说话者（在多风格多说话者设置中），这对于创建可扩展和可定制的人机交互系统是非常期望的。在这项工作中，我们探索一对多的风格转移从一个专用的单扬声器会话语料库风格的细微差别和感叹词。我们详细阐述了语料库的设计，并探讨了这种风格的转移时，与语音转换为基础的数据增强的可行性。在一组主观听音实验中，这种方法导致高保真风格的转移，没有质量下降。然而，观察到一定的语音角色转变，需要进一步改进语音转换。
2022-07-25 cs.SD eess.AS
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架，利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份，并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
