arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2602.01879cs.SD
收藏

无需声音说话:仅使用面部输入的多说话者无声语音生成

Speaking Without Sound: Multi-speaker Silent Speech Voicing with Facial Inputs Only

Music and Audio Research Group (MARG)(音乐与音频研究组);Department of Intelligence and Information(智能与信息系);Interdisciplinary Program in Artificial Intelligence(人工智能跨学科项目);Artificial Intelligence Institute, Seoul National University(首尔国立大学人工智能研究所)

Jaejun Lee, Yoori Oh, Kyogu Lee

AI总结:

本文提出了一种基于面部输入的多说话者无声语音生成方法,通过解耦音调内容嵌入提升EMG信号中语言内容的提取能力。

摘要:

在本文中,我们介绍了一个新的框架,用于生成无需任何可听输入的多说话者语音。我们的方法利用无声的肌电信号(EMG)来捕捉语言内容,同时利用面部图像来匹配目标说话人的语音身份。值得注意的是,我们提出了一种音调解耦的内容嵌入,以增强从EMG信号中提取语言内容的能力。广泛分析显示,我们的方法可以在没有任何可听输入的情况下生成多说话者语音,并验证了所提出的音调解耦方法的有效性。

英文摘要:

In this paper, we introduce a novel framework for generating multi-speaker speech without relying on any audible inputs. Our approach leverages silent electromyography (EMG) signals to capture linguistic content, while facial images are used to match with the vocal identity of the target speaker. Notably, we present a pitch-disentangled content embedding that enhances the extraction of linguistic content from EMG signals. Extensive analysis demonstrates that our method can generate multi-speaker speech without any audible inputs and confirms the effectiveness of the proposed pitch-disentanglement approach.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑