论文导读
纽约大学、复旦大学、上海纽约大学等机构提出MoCaP，从一段人类日常活动视频里提取物体位置和接近方向，再指导移动机器人寻找目标、调整站位并抓取。在同一室内环境的实机测试中，抓纸箱20次成功16次，抓罐子10次成功8次，让“走到附近”进一步接上“伸手够得着”。
看见箱子，不代表手臂够得到
纸箱在柜子上，机器人已经走到柜子附近，抓取还是可能失败。底盘停得太远，手臂不够长；绕到了柜子背后，物体虽近，却被家具挡住。导航找到目标和准备好抓取，是两个不同问题。
MoCaP借用人类视频里的经验。视频先告诉系统目标大概在哪，也留下人伸手前站在物体哪一侧。机器人把这个方向当作参考，再根据自己的身体尺寸、深度观察和运动约束找可行位置。
图：四个连续时刻展示移动机器人接近柜子、准备抓取并最终持住纸箱
这不是复制人手的每个关节动作。人站过的位置只是接近线索，最终走多远、如何抬臂，仍要由机器人的感知、碰撞检查与规划工具决定。
一段录像，提供搜索记忆和接近方向
实验用眼镜记录人类第一视角RGB视频，离线整理场景信息和对应时间片段。任务开始后，系统把用户要求、当前机器人视角和记忆联系起来，决定先去哪里找。
到了目标附近，还要检索人此前与物体交互的片段，估计伸手前所处的方向。代码Agent随后调用导航、局部站位搜索、抓取姿态生成和手臂运动等工具。每段执行后，再用反馈与新观察决定下一段。
图：离线人类视频提取记忆和接近线索，在线代码Agent结合观察调用机器人工具
机器人拥有全向底盘、升降结构、双机械臂和RGB-D相机。人类录像不必记录机器人动作，但环境先验仍然来自被拍过的那个空间，并非凭空理解没见过的房间。
抓箱16/20，抓罐8/10
纸箱任务开始时目标就在视野中，主要检查接近和抓取；罐子起初不可见，还得先找到它。成功条件是抓住指定物体并保持握持，不是只让夹爪碰到目标。
主表报告MoCaP在纸箱试验中成功16/20，在罐子试验中成功8/10，两项都是80%。作者还比较移植到同一机器人上的CaP-X接口，以及加上避碰导航的增强版本，两者在这两项设置中均未完成任务。
图：移动机器人从桌边接近目标，调整姿态后抓起并持住罐子
比较说明整套系统在这些任务中可行，但不是人类站位先验单独造成全部差距。MoCaP还采用不同的手臂碰撞规划，论文也专门分析了对照系统停得够不着、搜索只在原地转圈等问题。
寻找蓝色垃圾桶的单独导航实验更接近检查空间记忆的作用：完整系统10/10完成，去掉先验后为7/10。报告的时间窗统计又回答另一件事——能否更快到达，而不仅是最终有没有找到。
参考人的方向，也允许它并不更好
站位实验显示，人类先验的帮助与机器人起点有关。如果机器人本来就从人站过的那侧接近，额外提示未必有收益。因此不能只挑最不利起点的提升，写成所有位置都会改善。
本研究只覆盖一个室内环境、一段记录和少量目标物体，展示的是可行性。跨家庭、跨录像以及录像里没有的物体，仍需独立测试。
这篇论文最具体的贡献，是把日常视频拆成两条可执行线索：先用记忆缩小找物范围，再用人的接近方向帮助机器人选择伸得出手的位置。最后的抓取是否成功，仍由真实执行来验收。
参考资料
https://arxiv.org/abs/2610.20998
https://arxiv.org/html/2610.20998
