无需训练的时空解耦推理视频分割与自适应对象记忆
Training-Free Spatio-temporal Decoupled Reasoning Video Segmentation with Adaptive Object Memory
AI总结：
本文提出无需训练的时空解耦推理视频分割方法SDAM，通过自适应对象记忆模块和时空解耦技术实现稳定的时间传播，优于现有微调方法。
摘要：
视频对象分割的推理任务（ReasonVOS）是一项具有挑战性的任务，要求使用隐含且复杂的文本输入在视频序列中实现稳定的对象分割。先前的方法通过微调多模态大语言模型（MLLMs）来生成分割输出，这需要大量资源。此外，一些现有方法在处理时空信息时存在耦合，这在一定程度上影响了模型的时间稳定性。为了解决这些问题，我们提出了无需训练的时空解耦推理视频分割与自适应对象记忆（SDAM）。我们的目标是设计一个无需训练的推理视频分割框架，该框架在不进行微调的情况下优于现有方法，仅使用预训练模型。同时，我们提出了一种自适应对象记忆模块，该模块根据不同视频序列中的运动线索选择并记忆关键对象。最后，我们提出了一种时空解耦，以实现稳定的时序传播。在空间域中，我们实现了目标对象的精确定位和分割，而在时间域中，我们利用关键对象的时间信息来驱动稳定的跨帧传播。我们的方法在五个基准数据集上取得了优异的结果，包括Ref-YouTubeVOS、Ref-DAVIS17、MeViS、ReasonVOS和ReVOS。
英文摘要：
Reasoning Video Object Segmentation (ReasonVOS) is a challenging task that requires stable object segmentation across video sequences using implicit and complex textual inputs. Previous methods fine-tune Multimodal Large Language Models (MLLMs) to produce segmentation outputs, which demand substantial resources. Additionally, some existing methods are coupled in the processing of spatio-temporal information, which affects the temporal stability of the model to some extent. To address these issues, we propose Training-Free \textbf{S}patio-temporal \textbf{D}ecoupled Reasoning Video Segmentation with \textbf{A}daptive Object \textbf{M}emory (SDAM). We aim to design a training-free reasoning video segmentation framework that outperforms existing methods requiring fine-tuning, using only pre-trained models. Meanwhile, we propose an Adaptive Object Memory module that selects and memorizes key objects based on motion cues in different video sequences. Finally, we propose Spatio-temporal Decoupling for stable temporal propagation. In the spatial domain, we achieve precise localization and segmentation of target objects, while in the temporal domain, we leverage key object temporal information to drive stable cross-frame propagation. Our method achieves excellent results on five benchmark datasets, including Ref-YouTubeVOS, Ref-DAVIS17, MeViS, ReasonVOS, and ReVOS.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
