以自我为中心与以外部为中心的方法：一篇简短综述
Egocentric and Exocentric Methods: A Short Survey
浏览论文内容
中文总结 AI 辅助
本文综述了同步结合以自我为中心和以外部为中心视觉的联合学习方法，梳理相关数据集与关键应用，并指出最新进展，为多视角视频理解研究提供参考。
中文摘要 AI 辅助
以自我为中心的视觉从相机佩戴者的视角捕捉场景，而以外部为中心的视觉则捕捉整体场景上下文。联合建模自我视角和外部视角对于开发下一代人工智能智能体至关重要。社区对以自我为中心的视觉领域重新产生了兴趣。虽然第三人称视角和第一人称视角已被深入研究，但很少有工作旨在同步研究两者。以外部为中心的视频包含许多可迁移到以自我为中心的视频的相关信号。本文及时概述了结合以自我为中心和以外部为中心视觉的工作，这是一个非常新颖但有前景的研究主题。我们详细描述了相关数据集，并对自我-外部联合学习的关键应用进行了综述，其中我们识别了最新的进展。通过呈现当前进展状况，我们相信这篇简短但及时的综述将对广泛的视频理解社区具有价值，尤其是在多视角建模至关重要的场景中。
英文摘要
Egocentric vision captures the scene from the point of view of the camera wearer, while exocentric vision captures the overall scene context. Jointly modeling ego and exo views is crucial to developing next-generation AI agents. The community has regained interest in the field of egocentric vision. While the third-person view and first-person have been thoroughly investigated, very few works aim to study both synchronously. Exocentric videos contain many relevant signals that are transferrable to egocentric videos. This paper provides a timely overview of works combining egocentric and exocentric visions, a very new but promising research topic. We describe in detail the datasets and present a survey of the key applications of ego-exo joint learning, where we identify the most recent advances. With the presentation of the current status of the progress, we believe this short but timely survey will be valuable to the broad video-understanding community, particularly when multi-view modeling is critical.
发表机构
- University of Central Florida（中佛罗里达大学）
- Honda Research Institute USA（本田美国研究院）
- University of California, Riverside（加州大学河滨分校）
机构由 AI 辅助整理，请以论文原文为准。
