迈向非自回归零样本表现力语音转换中更好的解耦
Towards Better Disentanglement in Non-Autoregressive Zero-Shot Expressive Voice Conversion
AI总结：
本文提出改进的非自回归零样本表现力语音转换方法，通过多语言离散单元、相似性损失、混合风格归一化及局部F0与全局音高能量特征增强解耦，在情感和说话人相似度上优于基线。
摘要：
表现力语音转换旨在将目标语音的说话人身份和表现力属性迁移到给定的源语音中。本文在一个基于自监督的非自回归框架上，结合条件变分自编码器进行改进，重点减少源音色泄漏并改善语言-声学解耦，以实现更好的风格迁移。为最小化风格泄漏，我们使用多语言离散语音单元表示内容，并通过基于增强的相似性损失和混合风格层归一化来强化嵌入。为增强表现力迁移，我们通过交叉注意力引入局部F0信息，并提取融合了全局音高和能量特征的风格嵌入。实验表明，我们的模型在情感相似度和说话人相似度上均优于基线模型，展现出更优越的风格适应能力和更少的源风格泄漏。
英文摘要：
Expressive voice conversion aims to transfer both speaker identity and expressive attributes from a target speech to a given source speech. In this work, we improve over a self-supervised, non-autoregressive framework with a conditional variational autoencoder, focusing on reducing source timbre leakage and improving linguistic-acoustic disentanglement for better style transfer. To minimize style leakage, we use multilingual discrete speech units for content representation and reinforce embeddings with augmentation-based similarity loss and mix-style layer normalization. To enhance expressivity transfer, we incorporate local F0 information via cross-attention and extract style embeddings enriched with global pitch and energy features. Experiments show our model outperforms baselines in emotion and speaker similarity, demonstrating superior style adaptation and reduced source style leakage.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
