SoundBrush：以声音为画笔的视觉场景编辑
SoundBrush: Sound as a Brush for Visual Scene Editing
AI总结：
SoundBrush 提出以声音为画笔编辑视觉场景，通过将音频特征映射到 Latent Diffusion Model 的文本空间，实现声音驱动的 2D 和 3D 场景编辑，并能保留原始内容、插入发声物体。
摘要：
我们提出 SoundBrush，一个使用声音作为画笔来编辑和操控视觉场景的模型。我们将 Latent Diffusion Model（LDM）的生成能力扩展为结合音频信息以编辑视觉场景。受现有图像编辑工作的启发，我们将该任务构建为一个监督学习问题，并利用多种现成模型构建了一个声音配对的视觉场景数据集用于训练。这个丰富生成的数据集使 SoundBrush 能够学习将音频特征映射到 LDM 的文本空间中，从而允许由多样的自然场景声音引导的视觉场景编辑。与现有方法不同，SoundBrush 可以在保留原始内容的同时，准确地操控整体场景，甚至插入发声物体以最佳匹配音频输入。此外，通过与新视角合成技术相结合，我们的框架可以扩展到编辑 3D 场景，促进声音驱动的 3D 场景操控。演示可在 https://soundbrush.github.io/ 获取。
英文摘要：
We propose SoundBrush, a model that uses sound as a brush to edit and manipulate visual scenes. We extend the generative capabilities of the Latent Diffusion Model (LDM) to incorporate audio information for editing visual scenes. Inspired by existing image-editing works, we frame this task as a supervised learning problem and leverage various off-the-shelf models to construct a sound-paired visual scene dataset for training. This richly generated dataset enables SoundBrush to learn to map audio features into the textual space of the LDM, allowing for visual scene editing guided by diverse in-the-wild sound. Unlike existing methods, SoundBrush can accurately manipulate the overall scenery or even insert sounding objects to best match the audio inputs while preserving the original content. Furthermore, by integrating with novel view synthesis techniques, our framework can be extended to edit 3D scenes, facilitating sound-driven 3D scene manipulation. Demos are available at https://soundbrush.github.io/.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
