Morpheus：文本驱动的 3D Gaussian Splat 形状与颜色风格化
Morpheus: Text-Driven 3D Gaussian Splat Shape and Color Stylization
AI总结：
针对现有新视角合成风格化难以改变几何的问题，提出自回归 3D Gaussian Splatting 方法，利用可控 RGBD 扩散模型与深度引导一致性机制实现文本驱动的形状和颜色风格化。
摘要：
使用新视角合成探索真实世界空间很有趣，而以不同风格重新构想这些世界则更添一层兴奋感。风格化世界还可用于训练数据有限且需要扩展模型训练分布的下游任务。当前大多数新视角合成风格化技术都缺乏令人信服地改变几何结构的能力。这是因为任何几何变化都需要提高风格强度，而为了风格化的稳定性和一致性，风格强度通常会被限制上限。在本文中，我们提出了一种新的自回归 3D Gaussian Splatting 风格化方法。作为该方法的一部分，我们贡献了一个新的 RGBD 扩散模型，可对外观和形状风格化进行强度控制。为确保风格化帧之间的一致性，我们结合使用了新颖的深度引导交叉注意力、特征注入，以及以复合帧为条件的 Warp ControlNet，用于引导新帧的风格化。我们通过大量定性结果、定量实验和一项用户研究验证了所提方法。代码已在线发布。
英文摘要：
Exploring real-world spaces using novel-view synthesis is fun, and reimagining those worlds in a different style adds another layer of excitement. Stylized worlds can also be used for downstream tasks where there is limited training data and a need to expand a model's training distribution. Most current novel-view synthesis stylization techniques lack the ability to convincingly change geometry. This is because any geometry change requires increased style strength which is often capped for stylization stability and consistency. In this work, we propose a new autoregressive 3D Gaussian Splatting stylization method. As part of this method, we contribute a new RGBD diffusion model that allows for strength control over appearance and shape stylization. To ensure consistency across stylized frames, we use a combination of novel depth-guided cross attention, feature injection, and a Warp ControlNet conditioned on composite frames for guiding the stylization of new frames. We validate our method via extensive qualitative results, quantitative experiments, and a user study. Code online.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
