看见你所说的：从语音生成富有表现力的图像
Seeing What You Say: Expressive Image Generation from Speech
AI总结：
本文提出端到端语音到图像模型VoxStudio，通过语音信息瓶颈模块保留韵律与情感，直接从语音生成图像，并发布大规模情感语音-图像数据集VoxEmoset，实验验证了其可行性。
摘要：
本文提出了VoxStudio，这是第一个统一的端到端语音到图像模型，通过联合对齐语言信息和副语言信息，直接从口语描述中生成富有表现力的图像。其核心是一个语音信息瓶颈（SIB）模块，该模块将原始语音压缩为紧凑的语义token，同时保留韵律和情感细节。通过直接在这些token上操作，VoxStudio消除了对额外语音转文本系统的需求，而这类系统通常会忽略文本之外的隐藏细节，例如语气或情感。我们还发布了VoxEmoset，这是一个大规模配对的带情感语音-图像数据集，通过先进的TTS引擎构建，以低成本生成丰富且富有表现力的话语。在SpokenCOCO、Flickr8kAudio和VoxEmoset基准上的综合实验证明了我们方法的可行性，并突出了关键挑战，包括情感一致性和语言歧义，为未来研究铺平了道路。
英文摘要：
This paper proposes VoxStudio, the first unified and end-to-end speech-to-image model that generates expressive images directly from spoken descriptions by jointly aligning linguistic and paralinguistic information. At its core is a speech information bottleneck (SIB) module, which compresses raw speech into compact semantic tokens, preserving prosody and emotional nuance. By operating directly on these tokens, VoxStudio eliminates the need for an additional speech-to-text system, which often ignores the hidden details beyond text, e.g., tone or emotion. We also release VoxEmoset, a large-scale paired emotional speech-image dataset built via an advanced TTS engine to affordably generate richly expressive utterances. Comprehensive experiments on the SpokenCOCO, Flickr8kAudio, and VoxEmoset benchmarks demonstrate the feasibility of our method and highlight key challenges, including emotional consistency and linguistic ambiguity, paving the way for future research.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
