arXiv 2508.046812025-08-06cs.CV

第一人称感知与行动：自我中心人-物-人交互数据集与基准

Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions

MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室，上海交通大学AI研究院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所，东部技术研究所）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）；MoE Key Lab of AI, School of Computer Science, Shanghai Jiao Tong University（人工智能教育部重点实验室，上海交通大学计算机学院）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Lenovo（联想公司）

Liang Xu, Chengqun Yang, Zili Lin, Fei Xu, Yifan Liu, Congsheng Xu, Yiyi Zhang, Jie Qin, Xingdong Sheng, Yunhui Liu, Xin Jin, Yichao Yan, Wenjun Zeng, Xiaokang Yang

备注：: Accepted to ICCV 2025. Project Page: https://liangxuy.github.io/InterVLA/

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出InterVLA，首个大规模第一人称人-物-人交互数据集，并建立相关基准，以推动通用智能助手在物理世界中的发展。

摘要：

从真实世界以人为中心的交互数据集中学习动作模型，对于构建具有高效性的通用智能助手至关重要。然而，现有的大多数数据集仅提供专业化的交互类别，并忽略了AI助手基于第一人称采集进行感知和行动的事实。我们认为，通用交互知识和自我中心模态两者均不可或缺。在本文中，我们将人工辅助任务嵌入到视觉-语言-动作框架中，其中助手遵循自我中心视觉和指令为操作者提供服务。借助我们的混合RGB-MoCap系统，成对的助手和操作者根据GPT生成的脚本与多个物体和场景进行交互。在此设置下，我们构建了InterVLA，这是首个大规模人-物-人交互数据集，包含11.4小时和120万帧多模态数据，涵盖2个自我中心和5个外部中心视频，以及精确的人体/物体运动和口头指令。此外，我们建立了关于自我中心人体运动估计、交互合成和交互预测的新基准，并进行了全面分析。我们相信，我们的InterVLA测试平台和基准将促进未来在物理世界中构建AI代理的研究工作。

英文摘要：

Learning action models from real-world human-centric interaction datasets is important towards building general-purpose intelligent assistants with efficiency. However, most existing datasets only offer specialist interaction category and ignore that AI assistants perceive and act based on first-person acquisition. We urge that both the generalist interaction knowledge and egocentric modality are indispensable. In this paper, we embed the manual-assisted task into a vision-language-action framework, where the assistant provides services to the instructor following egocentric vision and commands. With our hybrid RGB-MoCap system, pairs of assistants and instructors engage with multiple objects and the scene following GPT-generated scripts. Under this setting, we accomplish InterVLA, the first large-scale human-object-human interaction dataset with 11.4 hours and 1.2M frames of multimodal data, spanning 2 egocentric and 5 exocentric videos, accurate human/object motions and verbal commands. Furthermore, we establish novel benchmarks on egocentric human motion estimation, interaction synthesis, and interaction prediction with comprehensive analysis. We believe that our InterVLA testbed and the benchmarks will foster future works on building AI agents in the physical world.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。