SemAlignVC：利用语义对齐增强零样本音色转换
SemAlignVC: Enhancing zero-shot timbre conversion using semantic alignment
AI总结：
SemAlignVC提出一种基于文本与音频表示对齐的语义编码方法，有效解决零样本语音转换中的音色泄漏问题，无需显式说话人嵌入即可实现高保真转换，并在相似性、可懂度和自然度上超越基线。
摘要：
零样本语音转换（VC）在目标说话人的声音中合成语音，同时保留语言和副语言内容。然而，音色泄漏（即源说话人特征持续存在）仍然是一个挑战，特别是在神经编解码器和基于LLM的VC中，量化的表示将说话人身份与内容纠缠在一起。我们引入了SemAlignVC，这是一种旨在利用SemAlign防止音色泄漏的架构，SemAlign是一种新颖的方法，它对齐文本和音频表示以确保独立于说话人的语义编码。这种解耦的表示条件化自回归transformer，在没有显式说话人嵌入的情况下实现高保真转换。实验表明，SemAlignVC显著减少了音色泄漏，在说话人音色相似性、可懂度和自然度方面优于基线，使其成为稳健、保护隐私且可泛化的VC解决方案。音频样本可在https://shivammehta25.github.io/SemAlignVC/ 访问。
英文摘要：
Zero-shot voice conversion (VC) synthesizes speech in a target speaker's voice while preserving linguistic and paralinguistic content. However, timbre leakage-where source speaker traits persist-remains a challenge, especially in neural codec and LLM-based VC, where quantized representations entangle speaker identity with content. We introduce SemAlignVC, an architecture designed to prevent timbre leakage using SemAlign, a novel method that aligns text and audio representations to ensure speaker-independent semantic encoding. This disentangled representation conditions an autoregressive transformer for high-fidelity conversion without explicit speaker embeddings. Experiments show SemAlignVC significantly reduces timbre leakage, outperforming baselines in speaker timbre similarity, intelligibility, and naturalness, making it a robust, privacy-preserving, and generalizable VC solution. Audio samples can be accessed at https://shivammehta25.github.io/SemAlignVC/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
