Retrieval-Augmented Egocentric Video Captioning（检索增强的第一人称视频字幕生成）
Retrieval-Augmented Egocentric Video Captioning
AI总结：
针对第一人称视频行为理解的挑战，提出检索增强的多模态字幕模型EgoInstructor，通过自动检索第三人称教学视频增强效果，设计EgoExoNCE损失训练跨视角检索模块，在7个基准上取得优异性能，显著提升第一人称视频字幕生成质量。
摘要：
从第一人称视角视频中理解人类行为面临着巨大挑战。大多数现有方法仅探索第一人称视频的表示学习，却忽略了利用现有大规模第三人称视频的潜在益处。本文中，（1）我们开发了EgoInstructor，这是一种检索增强的多模态字幕生成模型，可自动检索语义相关的第三人称教学视频，以增强第一人称视频的字幕生成效果。（2）为训练跨视角检索模块，我们设计了一套自动流程，可从不同的大规模第一人称和第三人称数据集中发现第一人称-第三人称视频对。（3）我们采用一种新颖的EgoExoNCE损失函数训练跨视角检索模块，该损失通过将第一人称和第三人称视频特征对齐到描述相似动作的共享文本特征，使二者更接近。（4）通过大量实验，我们的跨视角检索模块在7个基准测试中均表现出优异性能。在第一人称视频字幕生成方面，EgoInstructor通过利用第三人称视频作为参考，展现出显著提升。项目页面地址：https://jazzcharles.github.io/Egoinstructor/
英文摘要：
Understanding human actions from videos of first-person view poses significant challenges. Most prior approaches explore representation learning on egocentric videos only, while overlooking the potential benefit of exploiting existing large-scale third-person videos. In this paper, (1) we develop EgoInstructor, a retrieval-augmented multimodal captioning model that automatically retrieves semantically relevant third-person instructional videos to enhance the video captioning of egocentric videos. (2) For training the cross-view retrieval module, we devise an automatic pipeline to discover ego-exo video pairs from distinct large-scale egocentric and exocentric datasets. (3) We train the cross-view retrieval module with a novel EgoExoNCE loss that pulls egocentric and exocentric video features closer by aligning them to shared text features that describe similar actions. (4) Through extensive experiments, our cross-view retrieval module demonstrates superior performance across seven benchmarks. Regarding egocentric video captioning, EgoInstructor exhibits significant improvements by leveraging third-person videos as references. Project page is available at: https://jazzcharles.github.io/Egoinstructor/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
