为任何声音生成可控制风格嵌入的 Lombard 语音合成
Zero-Shot Lombard Speech Synthesis with Controllable Style Embeddings
AI总结：
本文提出了一种可控的 Lombard 语音合成系统，通过风格嵌入和 PCA 调整实现对任何说话者语音的可控生成。
摘要：
Lombard 效应在自然交流中起关键作用，特别是在嘈杂环境或向听力受损听众说话时。我们提出了一种可控的文本到语音（TTS）系统，能够为任何说话者生成 Lombard 语音，而无需在训练过程中使用显式的 Lombard 数据。我们的方法利用从大规模、声调多样化的数据集中学习到的风格嵌入，并通过主成分分析（PCA）分析其与 Lombard 属性的相关性。通过调整相关的 PCA 组件，我们操纵风格嵌入并将它们纳入我们的 TTS 模型中，以生成所需的 Lombard 水平。评估表明，我们的方法在保持自然性和说话者身份的同时，增强了噪声下的可懂度，并提供了对声调的细粒度控制，为任何说话者的可控 Lombard TTS 提供了稳健的解决方案。
英文摘要：
The Lombard effect plays a key role in natural communication, particularly in noisy environments or when addressing hearing-impaired listeners. We present a controllable text-to-speech (TTS) system capable of synthesizing Lombard-like speech in a zero-shot manner without requiring Lombard-specific training data. Our approach extends F5-TTS with a learned style embedding representation and analyzes the resulting latent space using principal component analysis (PCA) to identify directions associated with Lombard-related attributes. By manipulating these directions, we obtain interpretable control over vocal effort and articulation and generate speech at different Lombard levels. Experimental results show that the proposed method preserves speaker identity and naturalness, improves intelligibility under noisy conditions, and generalizes to previously unseen speakers. These findings demonstrate that style-embedding manipulation provides an effective and scalable framework for controllable zero-shot Lombard speech synthesis.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
