SERF：面向长时域移动操作任务的时空环境与机器人特征地图
SERF: Spatiotemporal Environment and Robot Feature Map for Long-Horizon Mobile Manipulation
AI总结：
提出SERF地图，将环境与机器人身体表示为共享潜空间中的神经点，并在线更新，作为VLA模型的状态输入，提升长时域移动操作中的推理能力，在BEHAVIOR-1K上优于纯图像基线。
摘要：
长时域机器人移动操作需要对定位、环境变化和任务进度进行持续推理，而这些都难以仅从图像观测中推断。在本文中，我们表明，将移动操作策略条件化于一个时空特征地图可以改善长时域上的推理。该地图将环境和铰接机器人身体表示为共享潜空间中的神经点，并从自我中心观测和本体感受状态在线更新。我们使用基于对象的刚性跟踪更新环境神经点，并使用正向运动学更新机器人神经点。通过从多个参考帧和空间尺度提取地图标记，我们将时空环境与机器人特征（SERF）地图作为状态输入到视觉-语言-动作（VLA）模型中，为策略提供局部和全局上下文。我们在BEHAVIOR-1K（一个家庭环境中的长时域移动操作基准）上展示了SERF。实验表明，SERF VLA策略优于纯图像基线，通过遵循更直接的轨迹更快地达到子目标，提高了对场景配置变化的鲁棒性，并能从物体掉落失败中恢复。
英文摘要：
Long-horizon robot mobile manipulation requires continual reasoning about localization, environment changes, and task progress, all of which are challenging to infer from image observations alone. In this paper, we show that conditioning a mobile manipulation policy on a spatiotemporal feature map improves reasoning over long horizons. The map represents the environment and the articulated robot body as neural points in a shared latent space and is updated online from egocentric observations and proprioceptive state. We update the environment neural points using object-level rigid tracking and the robot neural points using forward kinematics. We use our spatiotemporal environment and robot feature (SERF) map as a state input to a vision-language-action (VLA) model by extracting map tokens from multiple reference frames and spatial scales, providing the policy with both local and global context. We demonstrate SERF on BEHAVIOR-1K, a benchmark for long-horizon mobile manipulation in household environments. Experiments show that the SERF VLA policy outperforms image-only baselines, reaches subgoals faster by following more direct trajectories, improves robustness to scene-configuration shifts, and recovers from object-drop failures.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
