看，妈妈，不用手！自中心视频的智能体-环境因式分解
Look Ma, No Hands! Agent-Environment Factorization of Egocentric Videos
AI总结：
本文提出VIDM方法，通过扩散模型将自中心视频分解为智能体（人手）与环境两部分，以缓解手部遮挡和视觉不匹配问题，并在物体检测、三维重建及策略学习等任务中验证了该因式分解表示的有效性。
摘要：
由于手部遮挡以及人手与机器人末端执行器之间的视觉不匹配，将自中心视频用于机器人任务的分析和应用面临挑战。从这个意义上说，人手是一种干扰因素。然而，手部往往也提供了有价值的信号，例如手部姿态可能提示正在持握的物体类型。在本文中，我们提出提取场景的因式分解表示，将智能体（人手）与环境分离开来。这既缓解了遮挡和不匹配问题，又保留了信号，从而简化了下游机器人任务模型的设计。这一因式分解的核心是我们提出的基于扩散模型的视频修复方法（Video Inpainting via Diffusion Model，VIDM），该方法同时利用了真实世界图像的先验（通过大规模预训练扩散模型）和视频早期帧中物体的外观（通过注意力机制）。我们的实验证明了VIDM在提升自中心视频修复质量方面的有效性，以及我们的因式分解表示在众多任务中的能力：物体检测、被操作物体的三维重建，以及从视频中学习奖励函数、策略和可供性。
英文摘要：
The analysis and use of egocentric videos for robotic tasks is made challenging by occlusion due to the hand and the visual mismatch between the human hand and a robot end-effector. In this sense, the human hand presents a nuisance. However, often hands also provide a valuable signal, e.g. the hand pose may suggest what kind of object is being held. In this work, we propose to extract a factored representation of the scene that separates the agent (human hand) and the environment. This alleviates both occlusion and mismatch while preserving the signal, thereby easing the design of models for downstream robotics tasks. At the heart of this factorization is our proposed Video Inpainting via Diffusion Model (VIDM) that leverages both a prior on real-world images (through a large-scale pre-trained diffusion model) and the appearance of the object in earlier frames of the video (through attention). Our experiments demonstrate the effectiveness of VIDM at improving inpainting quality on egocentric videos and the power of our factored representation for numerous tasks: object detection, 3D reconstruction of manipulated objects, and learning of reward functions, policies, and affordances from videos.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
