arXiv 2403.015992024-03-03cs.CVcs.AIcs.CLcs.LG

SCHEMA：状态变化对教学视频中的过程规划至关重要

SCHEMA: State CHangEs MAtter for Procedure Planning in Instructional Videos

Columbia University（哥伦比亚大学）；The Hong Kong University of Science and Technology（香港科技大学）

Yulei Niu, Wenliang Guo, Long Chen, Xudong Lin, Shih-Fu Chang

备注：: Accepted by ICLR 2024

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对教学视频过程规划忽视状态作用的问题，本文提出 SCHEMA，将步骤表示为状态变化并结合 LLM 与跨模态对比学习追踪中间状态，在多个基准上达到 SOTA。

摘要：

我们研究教学视频中的过程规划问题，该问题旨在在给定部分视觉状态观测的情况下，制定一个面向目标的动作步骤序列。该问题的动机是学习一个结构化且可规划的状态与动作空间。近期工作在训练期间仅能获取序列级标注的情况下，成功实现了步骤的序列建模，但这些工作忽视了状态在过程中的作用。在本研究中，我们指出 State CHangEs MAtter（SCHEMA，状态变化至关重要）对教学视频中的过程规划具有重要意义。我们旨在通过研究过程中步骤与状态之间的因果关系，建立一个更具结构化的状态空间。具体而言，我们将每个步骤显式表示为状态变化，并追踪过程中的状态变化。在步骤表示方面，我们利用大语言模型（LLM）中的常识知识，通过我们设计的思维链提示来描述步骤的状态变化。在状态变化追踪方面，我们通过跨模态对比学习将视觉状态观测与语言状态描述对齐，并使用 LLM 生成的状态描述显式建模过程的中间状态。在 CrossTask、COIN 和 NIV 基准数据集上的实验表明，我们提出的 SCHEMA 模型达到了最先进性能，并获得了可解释的可视化结果。

英文摘要：

We study the problem of procedure planning in instructional videos, which aims to make a goal-oriented sequence of action steps given partial visual state observations. The motivation of this problem is to learn a structured and plannable state and action space. Recent works succeeded in sequence modeling of steps with only sequence-level annotations accessible during training, which overlooked the roles of states in the procedures. In this work, we point out that State CHangEs MAtter (SCHEMA) for procedure planning in instructional videos. We aim to establish a more structured state space by investigating the causal relations between steps and states in procedures. Specifically, we explicitly represent each step as state changes and track the state changes in procedures. For step representation, we leveraged the commonsense knowledge in large language models (LLMs) to describe the state changes of steps via our designed chain-of-thought prompting. For state change tracking, we align visual state observations with language state descriptions via cross-modal contrastive learning, and explicitly model the intermediate states of the procedure using LLM-generated state descriptions. Experiments on CrossTask, COIN, and NIV benchmark datasets demonstrate that our proposed SCHEMA model achieves state-of-the-art performance and obtains explainable visualizations.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。