探索用于开放词汇零样本动作分割的视觉-语言模型
Exploring Vision-Language Models for Open-Vocabulary Zero-Shot Action Segmentation
AI总结：
本文提出开放词汇零样本时间动作分割方法，利用视觉-语言模型的零样本能力，通过帧-动作嵌入相似性和相似性矩阵时间分割实现无需训练的分割任务，展示了其在结构化时间理解中的潜力。
摘要：
时间动作分割（TAS）需要将视频分成动作片段，然而活动的广阔空间和替代划分使收集全面数据集不可行。现有方法仍然局限于封闭词汇和固定标签集。在本文中，我们通过利用视觉-语言模型（VLMs）强大的零样本能力，探索了一个长期以来未被探索的问题：开放词汇零样本时间动作分割（OVTAS）。我们介绍了一种无需训练的管道，其采用分割-分类设计：帧-动作嵌入相似性（FAES）将视频帧匹配到候选动作标签，相似性矩阵时间分割（SMTS）强制时间一致性。除了提出OVTAS外，我们还在14种多样的VLMs上进行了系统研究，提供了首次对它们适用于开放词汇动作分割的广泛分析。在标准基准上的实验表明，OVTAS在没有任务特定监督的情况下实现了强劲的结果，凸显了VLMs在结构化时间理解中的潜力。
英文摘要：
Temporal Action Segmentation (TAS) requires dividing videos into action segments, yet the vast space of activities and alternative breakdowns makes collecting comprehensive datasets infeasible. Existing methods remain limited to closed vocabularies and fixed label sets. In this work, we explore the largely unexplored problem of Open-Vocabulary Zero-Shot Temporal Action Segmentation (OVTAS) by leveraging the strong zero-shot capabilities of Vision-Language Models (VLMs). We introduce a training-free pipeline that follows a segmentation-by-classification design: Frame-Action Embedding Similarity (FAES) matches video frames to candidate action labels, and Similarity-Matrix Temporal Segmentation (SMTS) enforces temporal consistency. Beyond proposing OVTAS, we present a systematic study across 14 diverse VLMs, providing the first broad analysis of their suitability for open-vocabulary action segmentation. Experiments on standard benchmarks show that OVTAS achieves strong results without task-specific supervision, underscoring the potential of VLMs for structured temporal understanding.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
