以场景为中心的无监督视频全景分割
Scene-Centric Unsupervised Video Panoptic Segmentation
AI总结：
提出无监督视频全景分割任务及首个方法VideoCUPS，利用深度、运动和视觉线索生成伪标签，并通过Video DropLoss训练，在无监督条件下实现准确分割。
摘要：
视频全景分割（VPS）旨在联合检测、分割和跟踪所有对象，同时将视频划分为语义一致的区域。我们引入了无监督VPS的任务设置，省略任何人工监督。现有的无监督场景理解工作主要关注图像分割任务；视频领域仍未充分探索。我们提出了VideoCUPS，这是第一个无监督VPS方法。VideoCUPS通过利用无监督的深度、运动和视觉线索，从以场景为中心的视频中生成时间一致的全景视频伪标签。使用新颖的Video DropLoss在这些伪标签上训练，可以得到一个准确的无监督VPS模型。为了对进展进行基准测试，我们引入了一个全面的评估协议和四个竞争基线，将最先进的无监督全景图像和实例视频分割模型扩展到VPS。VideoCUPS优于所有基线，并展示了强大的标签高效学习能力。通过VideoCUPS、我们的评估协议和基线，我们为未来无监督VPS的研究提供了坚实的基础。
英文摘要：
Video panoptic segmentation (VPS) aims to jointly detect, segment, and track all objects while partitioning the video into semantically consistent regions. We introduce the task setting of unsupervised VPS, omitting any human supervision. Existing unsupervised scene understanding works mainly focused on image segmentation tasks; the video domain remains underexplored. We propose VideoCUPS, the first unsupervised VPS approach. VideoCUPS generates temporally consistent panoptic video pseudo-labels from scene-centric videos by exploiting unsupervised depth, motion, and visual cues. Training on these pseudo-labels using a novel Video DropLoss yields an accurate, unsupervised VPS model. To benchmark progress, we introduce a comprehensive evaluation protocol and four competitive baselines, extending state-of-the-art unsupervised panoptic image and instance video segmentation models to VPS. VideoCUPS outperforms all baselines and demonstrates strong label-efficient learning. With VideoCUPS, our evaluation protocol, and baselines, we provide a strong foundation for future research on unsupervised VPS.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
