PARSE-Ego4D：面向第一人称视频的个人动作推荐建议
PARSE-Ego4D: Personal Action Recommendation Suggestions for Egocentric Videos
AI总结：
为填补第一人称视频缺乏可执行动作标注的空白，本文发布 PARSE-Ego4D 数据集，结合 LLM 生成与大规模人工评估提供高质量动作推荐标注，并提出新任务以推动增强与虚拟现实系统发展。
摘要：
智能辅助不仅涉及理解，还涉及动作。现有的第一人称视频数据集包含丰富的视频标注，但缺乏智能助手在当下可以执行的动作标注。为了填补这一空白，我们发布了 PARSE-Ego4D，这是针对 Ego4D 数据集的一组新的个人动作推荐标注。我们采用多阶段方法来生成和评估这些标注。首先，我们使用提示工程驱动的大型语言模型（LLM）生成上下文感知的动作建议，并识别出超过 18,000 条动作建议。尽管这些合成动作建议很有价值，但 LLM 的固有局限性需要人工评估。为确保高质量且以用户为中心的推荐，我们进行了一项大规模人工标注研究，为整个 PARSE-Ego4D 提供基于人类偏好的基础。我们分析了评分者间的一致性，并评估了参与者的主观偏好。基于我们的合成数据集和完整的人工标注，我们提出了几项基于第一人称视频的全新动作建议任务。我们鼓励能够改善延迟和能耗需求的创新解决方案。PARSE-Ego4D 中的标注将为致力于为增强和虚拟现实系统构建动作推荐系统的研究人员与开发者提供支持。
英文摘要：
Intelligent assistance involves not only understanding but also action. Existing ego-centric video datasets contain rich annotations of the videos, but not of actions that an intelligent assistant could perform in the moment. To address this gap, we release PARSE-Ego4D, a new set of personal action recommendation annotations for the Ego4D dataset. We take a multi-stage approach to generating and evaluating these annotations. First, we used a prompt-engineered large language model (LLM) to generate context-aware action suggestions and identified over 18,000 action suggestions. While these synthetic action suggestions are valuable, the inherent limitations of LLMs necessitate human evaluation. To ensure high-quality and user-centered recommendations, we conducted a large-scale human annotation study that provides grounding in human preferences for all of PARSE-Ego4D. We analyze the inter-rater agreement and evaluate subjective preferences of participants. Based on our synthetic dataset and complete human annotations, we propose several new tasks for action suggestions based on ego-centric videos. We encourage novel solutions that improve latency and energy requirements. The annotations in PARSE-Ego4D will support researchers and developers who are working on building action recommendation systems for augmented and virtual reality systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
