PanoWan：利用纬度/经度感知机制将扩散视频生成模型提升至360°
PanoWan: Lifting Diffusion Video Generation Models to 360° with Latitude/Longitude-aware Mechanisms
AI总结：
本文提出PanoWan框架，通过纬度感知采样、旋转语义去噪和填充像素级解码等机制，将预训练文本到视频模型提升至360°全景视频生成，并构建PanoVid数据集，实现了最先进的生成性能和零样本鲁棒性。
摘要：
全景视频生成能够实现沉浸式360°内容创建，在需要场景一致的世界探索的应用中极具价值。然而，由于数据集规模有限以及空间特征表示上的差距，现有的全景视频生成模型难以利用来自常规文本到视频模型的预训练生成先验来生成高质量和多样化的全景视频。在本文中，我们引入了PanoWan，以通过最少的模块有效地将预训练的文本到视频模型提升至全景领域。PanoWan采用纬度感知采样以避免纬度畸变，同时其旋转语义去噪和填充像素级解码确保了经度边界的无缝过渡。为了为学习这些提升后的表示提供足够的全景视频，我们贡献了PanoVid，这是一个带有字幕和多样化场景的高质量全景视频数据集。因此，PanoWan在全景视频生成中实现了最先进的性能，并展示了对零样本下游任务的鲁棒性。我们的项目页面可在https://panowan.variantconst.com获取。
英文摘要：
Panoramic video generation enables immersive 360° content creation, valuable in applications that demand scene-consistent world exploration. However, existing panoramic video generation models struggle to leverage pre-trained generative priors from conventional text-to-video models for high-quality and diverse panoramic videos generation, due to limited dataset scale and the gap in spatial feature representations. In this paper, we introduce PanoWan to effectively lift pre-trained text-to-video models to the panoramic domain, equipped with minimal modules. PanoWan employs latitude-aware sampling to avoid latitudinal distortion, while its rotated semantic denoising and padded pixel-wise decoding ensure seamless transitions at longitude boundaries. To provide sufficient panoramic videos for learning these lifted representations, we contribute PanoVid, a high-quality panoramic video dataset with captions and diverse scenarios. Consequently, PanoWan achieves state-of-the-art performance in panoramic video generation and demonstrates robustness for zero-shot downstream tasks. Our project page is available at https://panowan.variantconst.com.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
