无需声音说话:仅使用面部输入的多说话者无声语音生成
Speaking Without Sound: Multi-speaker Silent Speech Voicing with Facial Inputs Only
AI总结:
本文提出了一种基于面部输入的多说话者无声语音生成方法,通过解耦音调内容嵌入提升EMG信号中语言内容的提取能力。
摘要:
在本文中,我们介绍了一个新的框架,用于生成无需任何可听输入的多说话者语音。我们的方法利用无声的肌电信号(EMG)来捕捉语言内容,同时利用面部图像来匹配目标说话人的语音身份。值得注意的是,我们提出了一种音调解耦的内容嵌入,以增强从EMG信号中提取语言内容的能力。广泛分析显示,我们的方法可以在没有任何可听输入的情况下生成多说话者语音,并验证了所提出的音调解耦方法的有效性。
英文摘要:
In this paper, we introduce a novel framework for generating multi-speaker speech without relying on any audible inputs. Our approach leverages silent electromyography (EMG) signals to capture linguistic content, while facial images are used to match with the vocal identity of the target speaker. Notably, we present a pitch-disentangled content embedding that enhances the extraction of linguistic content from EMG signals. Extensive analysis demonstrates that our method can generate multi-speaker speech without any audible inputs and confirms the effectiveness of the proposed pitch-disentanglement approach.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。